KR20220033510A - 엑스선을 사용한 결함 감지 및 분류 방법 및 시스템 - Google Patents

엑스선을 사용한 결함 감지 및 분류 방법 및 시스템 Download PDF

Info

Publication number
KR20220033510A
KR20220033510A KR1020227004656A KR20227004656A KR20220033510A KR 20220033510 A KR20220033510 A KR 20220033510A KR 1020227004656 A KR1020227004656 A KR 1020227004656A KR 20227004656 A KR20227004656 A KR 20227004656A KR 20220033510 A KR20220033510 A KR 20220033510A
Authority
KR
South Korea
Prior art keywords
interest
ray
defect
defects
ray image
Prior art date
Application number
KR1020227004656A
Other languages
English (en)
Inventor
데이비드 루이스 애들러
프레디 에리치 바비안
Original Assignee
브루커 나노, 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브루커 나노, 아이엔씨. filed Critical 브루커 나노, 아이엔씨.
Publication of KR20220033510A publication Critical patent/KR20220033510A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/043—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using fluoroscopic examination, with visual observation or video transmission of fluoroscopic images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/083—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the radiation being X-rays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/18—Investigating the presence of flaws defects or foreign matter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16—Measuring radiation intensity
    • G01T1/20—Measuring radiation intensity with scintillation detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/39—Circuit design at the physical level
    • G06F30/398—Design verification or optimisation, e.g. using design rule check [DRC], layout versus schematics [LVS] or finite element methods [FEM]
    • G06K9/6256—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/007—Dynamic range modification
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67288—Monitoring of warpage, curvature, damage, defects or the like
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K1/00—Printed circuits
    • H05K1/02—Details
    • H05K1/11—Printed elements for providing electric connections to or between printed circuits
    • H05K1/115—Via connections; Lands around holes or via connections
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K3/00—Apparatus or processes for manufacturing printed circuits
    • H05K3/40—Forming printed elements for providing electric connections to or between printed circuits
    • H05K3/4038—Through-connections; Vertical interconnect access [VIA] connections
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/03—Investigating materials by wave or particle radiation by transmission
    • G01N2223/04—Investigating materials by wave or particle radiation by transmission and measuring absorption
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/426—Imaging image comparing, unknown with known substance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/50—Detectors
    • G01N2223/505—Detectors scintillation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/646—Specific applications or type of materials flaws, defects
    • G01N2223/6466—Specific applications or type of materials flaws, defects flaws comparing to predetermined standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2115/00—Details relating to the type of the circuit
    • G06F2115/12—Printed circuit boards [PCB] or multi-chip modules [MCM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/18—Manufacturability analysis or optimisation for manufacturability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Manufacturing & Machinery (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Toxicology (AREA)
  • Geometry (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Power Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)

Abstract

일 실시예에서, 자동 고속 엑스선 검사 시스템은 검사될 관심 객체에 대한 기준 객체를 식별할 수 있다. 각 기준 객체는 관심 객체와 동일한 유형 및 컴포넌트를 가질 수 있다. 시스템은 기준 객체의 엑스선 이미지에 기초하여 관심 객체에 대한 기준 모델을 생성할 수 있다. 시스템은 관심 객체의 엑스선 이미지를 참조 모델과 비교함으로써 관심 객체가 하나 이상의 결함과 관련되어 있는지 여부를 결정할 수 있다. 결함은 하나 이상의 미리 결정된 결함 모델에 의해 특성화될 수 있고 미리 결정된 결함 모델에 기초하여 각각의 결함 카테고리로 분류될 수 있다.

Description

엑스선을 사용한 결함 감지 및 분류 방법 및 시스템
본 발명은 엑스선을 이용한 객체의 고속 조사 및 검사에 관한 것이다.
집적 회로는 3D 또는 2.5D 구조를 포함하도록 제조될 수 있다. 실리콘 웨이퍼(wafers)를 검사하기 위한 광학 광자 또는 전자는 충분하게 패키징된 ICs 내부 뷰를 충분하게 제공하기 위한 다이 본딩(bonding)을 위하여 ICs, 인터포저(interposers) 또는 Cu-Cu 다이(die)를 통과하지 못하기 때문에 광학 광자(optical photons) 또는 전자(electrons)를 사용하여 검사 기술들은 3D 및 2.5D ICs 패키지에 사용될 수 없다. 광학 검사 방법은 또한 프로세스 제어를 위한 중요한 요구사항인 부분적으로 패키징된 컴포넌트들에 대한 검사 또는 계측을 수행할 수 없다. 엑스선은 패키징의 여러 레이어들을 통과할 수 있기 때문에, 엑스선 검사는 조립된 장치의 내부 뷰를 제공할 수 있다.
그러나 기존(existing)의 엑스선 시스템은 고해상도, 고처리량 IC 및 전자 패키징 검사에 대한 니즈(needs)를 충족시키기에 충분한 해상도와 이미징 속도가 부족하다. 예를 들어, 엑스선을 사용하는 전통적인(traditional) 컴퓨터 단층촬영(computed tomography, CT)은 검사된 객체의 엑스선 이미지의 많은 슬라이스를 촬영(take)할 필요가 있을 수 있고, 많은 수의 슬라이스를 사용하여 객체의 3D 모델을 구성할 필요가 있을 수 있으므로, 매우 느리고 집적 회로 검사에 적합하지 않을 수 있다.
여기에 묘사된 특정 실시예는 엑스선 이미지에 기초하여 검사된 객체의 결함을 식별하고 분류하기 위해 컴퓨터 비전 기술 또는/및 기계 학습(machine-learning, ML) 모델을 사용하는 시스템 및 방법에 관한 것이다. 특정 실시예에서, 관심 객체에 대해, 시스템은 하나 이상의 기준 객체(예, 동일한 제조 라인, 동일한 검사 라인, 또는 동일한 생산 배치(batch)의 선행 부품 또는 주변 부품)을 선택하고, 이러한 기준 객체의 엑스선 이미지에 기초하여 기준 모델을 생성할 수 있다. 이러한 기준 객체는 관심 객체와 동일한 유형의 객체일 수 있고, 관심 객체와 동일한 컴포넌트를 가질 수 있다. 시스템은 관심 객체의 엑스선 이미지를 기준 모델과 비교할 수 있다. 시스템은 관심 객체의 엑스선 이미지와 기준 모델 간의 차이에 플래그(flag)할 수 있다. 시스템은 관심 객체가 하나 이상의 결함과 연관되어 있는지 여부를 결정하기 위해 하나 이상의 결함 모델을 사용할 수 있으며, 그렇다면, 이러한 결함을 각각의 결함 카테고리로 분류할 수 있다. 결함 모델은 각각의 결함 유형을 특성화하기 위한 다수의 특징(예, 관련된 임계값과 대응하는 파라미터 의해 특성화됨)과 관련될 수 있다. 기준 객체의 엑스선 이미지는 관심 객체의 엑스선 이미지와 동일하거나 유사한 배경 노이즈 패턴을 가질 수 있기 때문에, 시스템은 관심 객체의 엑스선 이미지를 기준 모델과 비교하여 결함 식별 및 분류에 대한 배경 노이즈의 영향을 제거하거나 최소화할 수 있다. 시스템은 특정 각도에서 캡처된 단일 엑스선 이미지에 기초하여 관심 객체의 결함을 식별하고 분류할 수 있다. 단일 엑스선 이미지에 기초하여 결함을 확인하거나 분류할 수 없는 경우, 시스템은 제1 각도와 다른 제2 각도에서 관심 객체의 제2 엑스선 이미지를 생성할 수 있다. 여러 각도에서 캡처한 여러 엑스선 이미지에 기초하여 결함이 분류될 수 없는 경우, 시스템은 식별된 결함(또는 잠재적 결함)의 위치 정보를 제2 엑스선 시스템으로 전송할 수 있으며, 이는 임의의 위치 및 임의의 각도에서 단면 엑스선 이미지를 생성할 수 있다. 제2 엑스선 시스템은 제1 엑스선 시스템으로부터 수신한 위치 정보에 기초하여 관심 객체에 대한 단면 엑스선 이미지를 생성하고, 단면 이미지에 기초하여 결함을 특성화하고 분류할 수 있다. 제2 엑스선 시스템은 결함의 특성화 및 분류 정보를 제1 엑스선 시스템에 자동으로 전송할 수 있다. 제1 엑스선 시스템은, 특성화 및 분류 정보를 수신한 후, 이 정보를 사용하여 결함 모델을 업데이트/개선하거나 기계 학습(ML) 모델을 재훈련할 수 있다. 결과적으로, 시스템은 검사된 관심 객체의 결함을 식별하고 분류하기 위한 정밀도와 정확도를 점진적으로 향상시킬 수 있다.
특정 실시예에서, 시스템은 하나 이상의 기계 학습(ML) 모델을 사용하여 검사된 관심 객체의 결함을 식별하고 분류할 수 있다. ML 모델은 과거 데이터로 훈련될 수 있다(예, 지도 훈련의 경우 레이블링된 샘플, 비지도 학습의 경우 레이블링이 되지 않은 샘플). 예를 들어, ML 모델은 제2 엑스선 시스템으로부터 수신되고 제2 엑스선 시스템에 의해 분류되는 라벨링된 샘플을 사용하여 훈련될 수 있다. 훈련된 ML 모델에는 검사할 샘플이 제공될 수 있다. 시스템은 먼저 검사된 샘플(inspected sample)의 엑스선 이미지로부터 특징들의 제1 세트를 추출할 수 있다. 그 다음에, 시스템은 제1 ML 모델을 사용하여 특징들의 제1 세트에 기초하여 검사된 샘플을 인라이어(즉, 준수 샘플) 및 아웃라이어(즉, 비준수 샘플)로 분류할 수 있다. 비준수 샘플의 경우, 시스템은 검사된 샘플의 엑스선 이미지에서 특징들의 제2 세트를 추출하고 제2 ML 모델을 사용하여 특징들의 제2 세트에 기초하여 각각의 결함 카테고리로 분류할 수 있다. 예를 들어, 시스템은 하나 이상의 엑스선 이미지로부터 관심 객체의 N개의 특징을 추출하고 N차원 특징 공간에서 관심 대상을 특성화할 수 있다. 시스템은 특징 공간의 기준점까지의 해당(that) 샘플의 거리에 기초하여 각각 검사된 샘플에 대한 품질 점수를 계산할 수 있고, 해당(that) 품질 점수를 해당(corresponding) 경계 조건과 비교하여 해당(that) 샘플이 준수 샘플인지 또는 비준수 샘플인지 결정할 수 있다. 준수 샘플의 경우, 시스템은 품질 점수를 사용하여 검사된 샘플의 정량화된 품질을 측정할 수 있다. 이러한 샘플은 모두 준수 샘플일지라도 일부 샘플은 해당 품질 점수로 표시되는 더 높은 품질(예, 특징 공간에서 기준점 또는 평균점에 더 가까운)을 가질 수 있다. 비준수 샘플의 경우, 시스템은 특징 공간에서 검사된 샘플을 특성화하고 이러한 샘플을 각각의 결함 카테고리로 분류하기 위해 하나의 특징 또는 다중 특징의 조합을 사용할 수 있다. 알려진 카테고리로 분류할 수 없는 샘플의 경우, 시스템은 하나 이상의 관련 특징에 기초하여 새 카테고리를 생성할 수 있다.
여기에 개시된 실시예는 예시일 뿐이고, 본 개시의 범위는 이에 제한되지 않는다. 특정 실시예는 위에 개시된 실시예의 컴포넌트, 요소, 특징, 기능, 동작 또는 단계의 전부 또는 일부를 포함하거나, 전혀 포함하지 않을 수도 있다. 본 발명에 따른 실시예는 특히 방법, 저장 매체, 시스템 및 컴퓨터 프로그램 제품에 관한 첨부된 청구범위에 개시되어 있으며, 하나의 청구항 카테고리에서 언급된 임의의 특징(예, 방법)은 다른 청구항 카테고리(예, 시스템)에서도 청구될 수 있다. 첨부된 청구항의 종속성 또는 기준은 형식적인 이유로만 선택된다. 그러나 이전 청구항(특히 다중 종속성)에 대한 신중한(deliberate) 기준으로 인하여 발생하는 어떤 주제도 청구될 수 있으므로, 청구항들 및 특징들의 임의의 조합이 개시되고, 첨부된 청구항들에서 선택된 종속성에 관계없이 청구될 수 있도록 한다. 청구될 수 있는 주제(subject matter)는 첨부된 청구항에 기재(set out)된 특징들의 조합 뿐만 아니라 청구항의 특징의 어떤 다른 조합을 포함하며, 여기서 청구항에서 언급된 각각의 특징은 청구항에서 임의의 다른 특징 또는 다른 특징의 조합과 결합될 수 있다. 더욱이 여기에 묘사(described)되거나 서술(depicted)된 임의의 실시예 및 특징은 별도의 청구항에서 청구되거나 및/또는 여기에 묘사되거나 서술된 임의의 실시예 또는 특징을 갖는 임의의 조합 또는 첨부된 청구항의 임의의 특징을 갖는 임의의 조합일 수 있다.
도 1a는 예시적인 엑스선 이미징 시스템을 도시한다.
도 1b는 다른 방향에서 엑스선 이미지를 생성하기 위해 검사된 객체에 관하여 이동 가능한 엑스선 소스를 갖는 예시적인 엑스선 시스템을 도시한다.
도 2a는 인접한 객체의 엑스선 이미지에 기초하여 생성된 기준 모델을 사용하여 관심 객체를 검사하기 위한 프로세스를 도시한 도면이다.
도 2b는 다른 유형의 결함을 식별하기 위해 기준 모델을 사용하기 위한 예시적인 프로세스를 도시한다.
도 2c는 엑스선 이미지의 서로 다른 서브 포션(sub-portions)에 기초하여 생성된 기준 모델을 사용하여 관심 요소를 검사하기 위한 예시적인 프로세스를 도시한다.
도 2d는 감지기의 필드 오브 뷰의 동일한 위치에 위치한 기준 객체에 기초하여 기준 모델을 생성하는 예시적인 프로세스를 도시한다.
도 3a는 특징들의 제1 세트에 기초하여 검사된 샘플을 인라이어 샘플 및 아웃라이어 샘플로 분류하기 위한 예시적인 프로세스를 도시한다.
도 3b는 특징들의 제2 세트에 기초하여 검사된 샘플을 다른 서브카테고리로 분류하기 위한 예시적인 도식(scheme)을 도시한다.
도 4는 2단계 프로세스를 사용하여 검사된 샘플을 분류하기 위한 예시적인 방법을 도시한다.
도 5는 인접 객체의 엑스선 이미지에 기초하여 생성된 기준 모델을 사용하여 관심 객체를 검사하는 방법의 일 예를 도시한 도면이다.
참고: 도면에 표시된 요소는 본 발명의 기능을 설명하기 위한 것이며, 일정 비율로 그려지지 않았다.
자동 고속 엑스선 검사 시스템
엑스선 시스템 프레임워크(Framework)
본 명세서에 개시된 시스템 및 방법은 조사할 객체를 조명하거나 엑스선으로 검사하거나 엑스선을 가시(visible)(또는 근접-가시(near-visible)) 광자(photons)로 변환, 가시(또는 근접-가시) 광자의 이미지를 형성, 그리고 이미지를 전자적 형태로 변환하는 시스템 또는 시스템의 사용과 연관될 수 있다. 이와 같이, 엑스선 이미지 형성 시스템의 다양한 실시예가 먼저 제시되고, 엑스선 이미징 시스템을 활용하는 방법 및 시스템의 다양한 실시예가 뒤따른다.
비록 여기에 개시된 장치(apparatus)를 사용하여 많은 종류들의 객체들은 조사되거나 검사될 수 있으나, 집적 회로 웨이퍼 및 패키징 어셈블리(packaging assemblies)의 조사(examination) 및 검사(inspection)에 특히 적절할 것으로 예상된다. 이들 중 하나의 예는 다중 TSV를 갖는 실리콘을 포함하는 실리콘 인터포저(silicon interposer)이나, 본 발명은 집적 회로(IC) 자체, 실리콘 인터포저, 실리콘 이산화물(dioxide) 인터포저, IC가 이미 설치되어 있거나 설치되어 있지 않은 인쇄된 회로 기판(printed circuit board, PCB), 3D IC 패키지 또는 어셈블리, 2.5D IC 패키지 또는 어셈블리, 다중칩 모듈(multi-chip module, MCM), 시스템 인 패키지(system-in-package, SIP) 및 다른 전자 마이크로 장치들 또는 미세 구조를 포함하는 그들의 일부의 검사에서도 사용될 수 있다. 이들은 계측, 프로세스 제어, 검사 또는 수율 관리를 위하여 입고 재료, 완성된 제품 또는 제조의 임의의 단계에서 부분적으로 제조된 객체가 조사될 수 있다.
자기 기록 매체, 광자 구조 및 광자 결정, 메타 물질 등과 같은 마이크로 또는 나노 구조를 갖는 비전자적 장치도 본 발명을 사용하여 조사 및 검사를 할 수 있다. 지문 센서와 같은 정전 용량 센서도 조사할 수 있다. 이 장치(apparatus)의 특히 매력적인 특징은 기존의 계측 및 검사 도구에서 사용되는 것처럼 전자 또는 광학 광자를 사용하여 달리 볼 수 없는 객체 내의 특징을 비파괴, 고해상도 관찰 및 측정할 수 있다는 것이다.
일반적으로, 본 발명에 사용하기에 적절한 객체는 적어도 하나의 평평한 면을 포함할 것이다. 예는: 반도체 웨이퍼의 전자 회로, 웨이퍼의 부분 또는 웨이퍼의 선택된 영역; 집적 회로 칩, 다이스(dice), 어셈블리, 패키지 또는 이들의 부분; 미세 유체 장치; 가속도계(accelerometers), 자이로(gyros), 자기(magnetic) 및 정전 용량(capacitive) 센서 등을 포함하는 미세 전자 기계 시스템(micro-electro-mechanical systems, MEMS); 광자 소자, 특히 평면 도파로(planar waveguides)를 사용하여 제작된 소자; 얼룩진 샘플(stained samples)을 포함한 생물학적 조직; 위에 언급된 모든 장치를 인쇄하거나 제작하기 위한 포토마스크(photomasks) 또는 템플릿(templates); 및 태양 전지, 그 부품 또는 태양 전지에 속하는 부품을 포함할 수 있다. 평평한 면이 없는 다른 객체도 관찰 및 검사될 수 있지만, 불규칙한 치수(dimensions)의 객체의 경우 이미지 품질이 균일하지 않을 수 있다.
특정 실시예에서, 본 개시에서 묘사되는 엑스선 검사 시스템은 고속 엑스선 검사 시스템일 수 있다. 특정 실시예에서, 고속 엑스선 검사 시스템은 전통적인 엑스선 시스템보다 더 높은 측정/검사 속도를 가질 수 있다(예, 기존의 엑스선 시스템보다 100배 더 빠른). 제한이 아닌 예로서, 고속 엑스선 검사 시스템은 대략 33밀리초(milliseconds)의 이미지 수집 시간을 갖는 전자 컴포넌트 또는 장치를 검사할 수 있다. 특정 실시예에서, 본 개시에 묘사된 엑스선 검사 시스템은 자동화된 엑스선 검사 시스템일 수 있다. 특정 실시예에서, 자동화된 엑스선 검사 시스템은 하나 이상의 컴퓨터 또는 제어기 및 하나 이상의 컴퓨터 매체에 저장된 명령어를 포함할 수 있다. 자동화된 엑스선 검사 시스템의 자동화된 측정 프로세스는 대응하는 명령어를 실행함으로써, 컴퓨터 또는 제어기에 의하여 제어될 수 있다. 자동화된 엑스선 검사 시스템의 자동화된 측정 프로세스는 인간 작업자의 개입이 필요하지 않을 수 있으며, 특정 절차에 따라 자동으로 수행될 수 있다.
특정 실시예에서, 본 개시에서 묘사된 엑스선 검사 시스템은 하나 이상의 인공 지능(Artificial Intelligence, AI) 모듈 및/또는 기계-학습 모델을 사용할 수 있다. 특정 실시예에서, 인공 지능 모듈은 하나 이상의 컴퓨팅 시스템에 의해 수행되는 임의의 적절한 방법, 프로세서 및/또는 알고리즘이거나 이를 포함할 수 있다. 특정 실시예서, 기계-학습 모델은 예를 들어, 규칙 기반 알고리즘, 랜덤 포레스트 모델, 뉴럴 네트워크 또는 임의의 적절한 기계-학습 알고리즘 모델이거나 이를 포함할 수 있지만 이에 제한되지 않는다. 특정 실시예에서, 본 개시에서 묘사된 엑스선 검사 시스템은 다른 시스템(예, 드릴링(drilling) 머신, 본딩(bonding) 도구, 조립 도구, 또는 임의의 적절한 도구)에 의해 수행되는 하나 이상의 프로세스에 대한 실시간 측정을 수행할 수 있다. 특정 실시예에 있어서, "실시간 측정"은 관련된 프로세스를 늦추지 않으면서 관련된 프로세스(예, 드릴링(drilling) 프로세스, 본딩(bonding) 프로세스, 조립 프로세스, 또는 임의의 적절한 프로세스)와 병렬로 엑스선 검사 시스템에 의하여 수행되는 측정을 지칭할 수 있다. 검사 시스템은 측정을 수행할 수 있고, 관련된 프로세서의 속도보다 높거나 동일한 속도로 관련된 프로세스를 수행하는 시스템에 피드백을 제공할 수 있다.
특정 실시예에서, 본 개시에서 묘사된 엑스선 검사 시스템은 하나 이상의 다른 시스템 또는 도구(예, 드릴링 기계, 본딩 도구, 조립 도구, 임의의 적절한 도구)를 사용하여 시츄(situ) 및/또는 인라인(inline) 측정을 수행할 수 있다. 특정 실시예에서, "현장(in situ)"라는 용어는 다른 시스템과 통합된 엑스선 검사 시스템에 의해 수행되는 측정을 지칭할 수 있다. 예를 들어, 엑스선 검사 시스템은 드릴링 기계에 통합되어 드릴링 기계의 드릴링 프로세스를 모니터링하기 위한 시츄(situ) 측정을 수행할 수 있다. 현장 측정은 엑스선 검사 시스템과 드릴링 머신을 조율하는 하나 이상의 컴퓨팅 시스템에 의하여 자동으로 제어될 수 있다. 특정 실시예에서, "인라인 측정"이라는 용어는 다른 시스템(예, 드릴링 머신, 본딩 도구, 조립 도구, 또는 임의의 적절한 도구)에 의해 수행되는 동일한 프로세스(예, 드릴링 프로세스, 조립 프로세스, 본딩 프로세스 또는 임의의 적절한 프로세스) 내에서 엑스선 검사 시스템에 의해 수행되는 측정을 지칭할 수 있다. 예를 들어, 조립 도구에 의해 수행되는 조립 프로세스 동안, 엑스선 검사 시스템은 하나 이상의 조립 프로세스 단계 동안 조립된 컴포넌트 또는 장치를 검사할 수 있다. 컴포넌트 또는 장치는 조립 도구로부터 엑스선 검사 시스템으로 자동으로 전송(예, 로봇 암)되거나 조립 도구로부터 엑스선 검사 시스템으로 수동으로 전송(예, 인간 작업자)될 수 있다. 엑스선 검사 시스템은 조립 도구 또는 인간 작업자에게 피드백 정보를 자동으로 제공할 수 있다.
엑스선 이미징 시스템
도 1a는 자동 고속 엑스선 검사 시스템(1000A)의 예를 설명한다. 엑스선 방출기(emitter)(101)는 엑스선(111)을 방출한다. 이러한 엑스선은 시준된(collimated) 엑스선 빔(beam)(211)으로 성형(shaped)되고, 일부 실시예에서는 방출기(101) 및 구멍(aperture)(142)이 있는 플레이트(140)로부터의 거리를 사용한다. 시준된 엑스선 빔(211)은 조사할 객체(200)를 조명한다. 객체(200)를 통해 투과된 엑스선은 신틸레이터(310) 및 일부 실시예에서 신틸레이터를 위한 지지대(350)를 포함하는 신틸레이터 어셈블리(300)를 조명한다. 신틸레이터(310)는 엑스선의 일부를 흡수하고, 가시 광자(visible photons)(411)의 방출로 흡수된 에너지의 일부를 배출한다.
광학 시스템(400)을 사용하여, 신틸레이터에서 방출된 가시 광자(411)의 확대 이미지(511)가 이미지 감지기(500)에서 형성된다. 이미지 감지기(500)는 확대(magnified) 이미지(511)의 세기를 전자 신호로 변환한다. 이미지 감지기(500)는 전하 결합 장치(charge-coupled device, CCD)와 같은 전자 센서 또는 당업자에게 알려진 다른 이미지 센서를 포함할 수 있다. 전자 신호는 전자 시스템(600)에 전달되며 전달(transmitted)되고, 일부 실시예에서는 이미지 결과를 디스플레이 할 수 있고, 일부 실시예에서는 컴퓨터 시스템(700)과 함께(conjunction) 이미지 결과 저장 및/또는 이미지 결과에 대해 이미지 처리 알고리즘을 수행할 수 있다.
엑스선과 같은 이온화 방사선(ionizing radiation)을 방출하는 소스의 경우, 엑스선 소스(100) 주변에 차폐(998)를 제공하는 것이 종종 현명하며, 일부 상황에서는 작동에 법적(legally)으로 요구된다. 그러한 차폐(998)는 납 금속의 성형 시트의 단순한 인클로져(enclosure)일 수 있거나, 납이 도핑된 유리(lead-doped glass) 또는 플라스틱과 같이 다수의 엑스선 흡수 재료로 제작된 보다 복잡한 설계일 수 있고, 이것(that)은 당업자에게 알려진 것일 수 있다. 차폐는 방출기(101)로부터 직접적으로 또는 일부 다른 표면으로부터 반사된 랜덤(Random) 엑스선이 원하지 않는 효과, 특히 시스템 제어에 사용된 다양한 전자 컴포넌트들 내의 스퓨리어스(spurious) 신호를 유발하지 않도록 유지하는 것이 바람직하다.
마찬가지로, 일부 실시예에서 빔 경로 주변에 추가 차폐(999)가 필요할 수도 있으며, 일부 경우에는 작동에 법적으로 요구된다. 그러한 추가 차폐(999)는 납 금속의 성형 시트의 단순 인클로저일 수 있거나, 납이 도핑된 유리(lead-doped glass) 또는 플라스틱과 같이 다수의 엑스선 흡수 재료로 제작된 보다 복잡한 설계일 수 있고, 이것(that)은 당업자에게 알려진 것일 수 있다. 추가 차폐(999)는 방출기(101)로부터 직접적으로 또는 일부 다른 표면으로부터 반사된 랜덤 엑스선이 원하지 않는 효과, 특히 시스템을 제어에 사용된 다양한 전자 컴포넌트에서 스퓨리어스 신호를 유발하지 않도록 유지하는 것이 바람직하다.
CCD 센서를 포함하는 어떤 이미지 감지기(500)는 특별히 엑스선 노출에 민감할 수 있기 때문에, 일부 실시예에서 신틸레이터 어셈블리(300)의 일부는 신틸레이터에 의해 방출되는 가시 광자(411)를 투과시키면서 엑스선을 흡수하는 납이 도핑된 유리와 같은 재료를 사용하여 전체적으로 또는 부분적으로 제작될 수 있다.
도 1b는 다른 방향에서 엑스선 이미지를 생성하기 위하여 검사된 객체(inspected object)에 관하여 이동 가능한 엑스선 소스를 갖는 예시적인 엑스선 검사 시스템(1000B)을 설명한다. 제한이 아닌 예로서, 엑스선 시스템은 객체(200)에 대하여 엑스선 소스(100)의 위치를 이동함으로써, 객체에 대한 엑스선 빔의 입사각을 변경할 수 있는 마운트(106)를 포함할 수 있다. 마운트(106)는 엑스선 소스(100)가 x-z 평면, y-z 평면, 또는 임의의 다른 축 조합으로 스윙할 수 있도록 설계될 수 있다. 소스는 또한 z축을 따라 이동하여 엑스선 소스(100)를 객체(200)에 더 가깝게 이동할 수 있다. 이것은 빔을 더 밝게 만들고 신호 강도를 높이는 효과가 있을 수 있지만 시준이 덜 된 엑스선 빔을 사용하는 비용(cost)으로 해상도를 감소시킬 수 있다. 이 효과는 엑스선 소스의 스팟 사이즈(spot size)를 감소시킴으로써 감소되거나 제거될 수 있다.
마운트(106)를 사용하는 엑스선 소스(100)의 모션(motion)은 컴퓨터 시스템(700)에 의해 여러 방식으로 제어될 수 있다. 일부 실시예에서, 소스 마운트(106)는 이미지가 캡처될 수 있도록 엑스선 소스(100)를 고정된 위치로 이동할 수 있다 일부 실시예에서, 마운트(106)는 이미지가 수집됨에 따라 엑스선 소스(100)를 연속적으로 이동할 수 있고, 액체(200)를 통해 투과되는 엑스선 세기(intensity)의 동적 변화를 조명 각도의 함수로 기록하도록 할 수 있다. 일부 실시예에서, 엑스선 방출기(101)는 수직 입사각에서 적어도 10도(degrees)로 이동될 수 있다. 일부 실시예에서, 객체(200)에 대한 엑스선 빔(211)의 입시각의 추가(further) 조정은 객체 마운트(250)를 사용하여 객체(200)의 모션과 함께 소스 마운트(106)를 사용하는 엑스선 소스(100)의 모션을 조율함으로써 달성될 수 있다. 이 조율은 수동으로 또는 컴퓨터 시스템(700)을 사용하여 될 수 있다. 일부 실시예에서, 차폐(998)는 엑스선 소스(100) 및 소스 마운트(106)를 둘러싸도록(enclose) 설계될 것이다. 다른 실시예에서, 차폐(998)는 엑스선 소스만을 둘러싸도록 설계될 수 있고, 마운트(106)는 엑스선 소스(100)를 이동할 때 차폐(998)를 이동시키도록 설계된다. 본 발명의 일부 실시예에서, 다중 엑스선 소스는 입사각이 다른 이미지를 생성하는데 사용될 수 있다. 엑스선 소스는 공간에 고정되거나 이동할 수 있고 순차적으로 또는 동시에 동작할 수 있다. 그들은 수동으로 작동되거나 하나 이상의 컴퓨터 시스템(700)에 의해 제어될 수 있다.
특정 실시예에서, 본 개시에서 묘사되는 엑스선 이미징 시스템은 전자 장치의 엑스선 이미지를 생성하기 위한 자동 고속 및 고해상도 엑스선 이미징 시스템일 수 있다. 특정 실시예에서, 자동화된 고속 엑스선 검사 시스템은 엑스선 방사선에 대한 고감도, 큰 동적 범위를 갖는 매우 큰 숫자의 그레이스케일(grayscale) 레벨(예, 10,000+ 그레이스케일 레벨) 및 고해상도 이미지를 생성하기 위한 큰 숫자의 픽셀(예, 29 메가픽셀(megapixels)보다 큰)을 갖는 엑스선 감지기를 포함할 수 있다. 특정 실시예에서, 시스템은 2μm 미만의 공간 해상도(spatial resolution), 12mm × 12mm의 필드 오브 뷰(field of view), 분당 3000mm2보다 큰 처리량(throughput)을 가질 수 있다. 엑스선 시스템에 대한 자세한 내용은 2017년 3월 27일에 출원된 미국 특허 출원 번호 15/470726에서 찾을 수 있으며, 이는 기준으로 여기에 포함(incorporated)된다.
자동 결함 감지 및 분류 개요
해결 과제(Problems being solved)
전자 산업에서, 단면 엑스선 이미지는 전자 부품이나 장치의 검사 및 분석에 사용될 수 있다. 예를 들어, 컴퓨터 단층 촬영(CT) 엑스선 이미징 기술이 사용되어 검사된 부품의 단면 이미지를 생성할 수 있다. 그러나 이 기술은 많은 양의 이미지(예, 많은 각도 및 슬라이스의 이미지)를 생성해야 하므로 상대적으로 느리다. 또한, CT 이미징의 경우, 렌더링된 단면의 왜곡을 최소화하기 위해 검사된 샘플, 엑스선 소스 및 엑스선 감지기의 위치를 정밀하게 제어해야 한다. 고해상도 엑스선 CT 이미징의 경우, 검사된 샘플과 엑스선 소스 사이의 거리를 최소화하고 여러(multiple) 각도에서 이미지를 생성하려면 샘플을 회전해야 할 수도 있다. 이러한 모든 제한은 검사될 수 있는 샘플의 크기와 검사 프로세스의 검사 속도를 제한할 수 있다. 또한 일부 고장 분석 애플리케이션에서는 컴퓨터 단층 촬영 이미징이 허용될 수 있지만, 긴 처리 시간과 샘플 크기의 제한 때문에 전자 제품 제조업체가 제조 프로세스 중 컴포넌트 속성을 검사 및 분석하는데 사용하는 것은 적합하지 않다. 결과적으로, 컴퓨터 단층 촬영 이미징 기술의 한계는 전자 제조 프로세스의 인라인 검사 및 현장(in-situ) 모니터링에 대한 애플리케이션을 심각하게 제한한다.
또한, 엑스선 이미지를 사용하여 전자 장치를 검사하는 전통적인 방법은 인간 작업자가 엑스선 이미지를 수동으로 검사하고 결함 부품을 식별하는 데 의존할 수 있다. 엑스선 이미지의 일부 결함은 인간 작업자가 인식할 수 있지만 미묘한 특징이 있는 일부 결함은 인간 작업자가 인식하기 어렵거나 불가능할 수 있다. 더욱이, 엑스선 이미지의 수동 검사는 매우 느리고 대량(high volume) 검사 애플리케이션에 적합하지 않을 수 있다. 전자 어셈블리가 더욱 복잡해짐에 따라, 제조 프로세스에서 비준수 제품을 선별하는 능력(ability)이 제품 품질 관리에 더욱 중요해졌다. 잠재적인 결함이 있는 제품이 공급망에 들어가는 것을 허용하면 장기적인 신뢰성 및 안전 문제에 대한 심각한 문제가 일으킬(create) 수 있다.
솔루션 요약
특정 실시예에서, 본 개시에서 묘사된 자동 고속 엑스선 검사 시스템은 다양한 각도에서 캡처된 제한된 수의 엑스선 이미지(예, 단일 하향식 엑스선 이미지, 다른 각도에서 캡처한 여러 엑스선 이미지)에 기초하여 전자 부품 또는 장치를 검사할 수 있다. 시스템의 특정 실시예는 컴퓨터 비전 기술 및 다수의 결함 모델을 사용하여 검사된 부품의 결함을 자동으로 식별하고 분류할 수 있다. 시스템의 특정 실시예는 과거 데이터에 의해 훈련된 기계 학습(ML) 모델을 사용하여 준수 및 비준수 부품을 자동으로 식별하고, 비준수 부품을 각각의 결함 카테고리로 분류할 수 있다.
이점 및 장점
컴퓨터 비전 기술과 기계 학습 모델을 사용하여 엑스선 이미지를 분석함으로써, 시스템의 특정 실시예는 인간 작업자가 결함의 존재를 식별하기 위해 엑스선 이미지를 수동으로 검사할 필요를 제거할 수 있다. 시스템의 특정 실시예는 검사된 장치의 결함을 식별하기 위한 감지율 및 정확도를 개선하고 과잉 거부(over rejections)를 감소시킬 수 있다. 예를 들어, 인간의 눈으로 많은 수의 그레이스케일 레벨을 식별(discerning)하는 능력이 제한되어 있기 때문에 시스템은 인간의 눈으로 감지할 수 없는 일부 결함을 효과적이고 정확하게 감지할 수 있다. 더욱이, 자동화된 프로세스와 기계 학습 모델을 사용하여 엑스선 이미지를 분석하고, 시스템의 특정 실시예는 검사 비용을 매우 낮은 레벨(예, 부품당 2센트)로 줄이고, 검사 속도를 증가시키며(예, 전통적인 CT 이미징 시스템보다 100배 이상 빠름), 검사 커버리지(coverage)와 반복성을 개선할 수 있다.
제한된 수의 엑스선 이미지를 사용함으로써, 시스템의 특정 실시예는 전자 부품 또는 장치를 검사하기 위한 많은 수의 단면 엑스선 이미지에 대한 필요성을 제거할 수 있다. 시스템의 특정 실시예는 전자 부품을 고속으로 검사하고 엑스선 검사가 제조 프로세스에서 현장(in-situ) 및/또는 인라인(inline)으로 수행되도록 할 수 있다. 단일 집적 회로 패키지에서 수백 또는 수천 개의 솔더 조인트를 스크리닝(screening)해야 하는 애플리케이션의 경우, 시스템의 특정 실시예는 검사 시간을 극적으로 감소시키고(예, 몇 시간에서 몇 초로), 검사 속도를 개선시킨다. 예를 들어, 시스템의 특정 실시예는 검사를 수행하기 위해 단일 엑스선 이미지를 생성하는 데 몇 초 또는 몇 초 이하가 소요될 수 있는 반면, 전통적인 CT 시스템은 결함 감지를 위해 많은 수의 이미지를 생성하는 데 많은 시간이 걸릴 수 있다. 시스템의 특정 실시예는 전통적인 CT 시스템보다 적어도 100배 이상 빠르게 엑스선 이미지를 생성할 수 있다. 또한, 시스템의 특정 실시예는 전통적인 CT 시스템보다 훨씬 큰 크기의 전자 부품 또는 장치를 검사할 수 있다. 시스템의 특정 실시예는 분당 2인치 x 2인치의 처리량(throughput)으로 제품의 모든 전기 연결을 검사할 수 있다. 시스템의 특정 실시예는 엑스선 이미지를 생성하기 위한 고감도 및 고해상도를 갖는 하나 이상의 엑스선 감지기를 포함할 수 있다. 예를 들어, 엑스선 이미지는 전통적인 CT 시스템(예, 1-2메가픽셀)보다 더 많은 픽셀(예, 29메가픽셀)을 가질 수 있다. 각각의 엑스선 이미지 픽셀은 더 많은 수의 그레이스케일 레벨(예, 10000 내지 65000 그레이스케일 레벨)를 가질 수 있으며, 이는 큰 동적 범위를 제공한다. 더욱이, 시스템은 더 나은 엑스선 투과 능력과 더 나은 이미지 품질을 위해 고출력 엑스선 빔 소스(예, 1000W)를 포함할 수 있다. 이러한 모든 특징(예, 고해상도, 넓은 동적 범위, 고출력 엑스선 소스)은 전자 부품 또는 장치를 고속 및 높은 정확도로 검사하는 시스템의 기능을 개선시킨다.
인접 객체로부터 생성된 기준 모델에 기초한 검사
엑스선에 기초한 검사 및 결함 유형
특정 실시예에서, 자동 고속 엑스선 검사 시스템은 제조된 전자 부품 또는 장치를 검사하기 위한 전자 제조 프로세스에 대해 온라인(on-line)으로 또는/및 현장(in-situ)에서 사용될 수 있다. 시스템은 가시 광선 의한 검사로 식별할 수 없는 결함을 식별하기 위해 엑스선 이미지를 사용할 수 있다. 예를 들어, 플립 칩(flip chip) 또는 볼 그리드 어레이(ball grid array) 패키징의 솔더 조인트를 검사할 수 있으며 이러한 관심 특징은 동일한 부품의 다른 컴포넌트(예, 다른 레이어의 컴포넌트)에 의해 방해될 수 있으며 가시광선 기반 검사로 검사될 수 없다. 특정 실시예에서, 시스템은 예를 들어, 이에 제한되지 않는, 다이 치핑(die chipping) 또는 균열, 스탠딩 또는 툼스토닝(tombstoning) 컴포넌트, 컴포넌트 오배치, 컴포넌트 오정렬, 컴포넌트 누락, 솔더 젖음(예, 과-젖음(over-wet), 젖음 불량(non-wet)), 솔더 브릿징(예, 짧음(short)), 솔더 보이드, 대형(oversized) 솔더 조인트, 소형(undersized) 솔더 조인트, 누락된 볼, 엑스트라(extra) 솔더 재료, 잘못 위치된 솔더 볼, 표면 장착(mounted) 컴포넌트 균열, 엑스트라 컴포넌트, 이중 컴포넌트, 회전 컴포넌트, 다이 틸팅(die tilting), 젖음 불량(non-wet) 구리 연결, 표면 장착 컴포넌트를 위한 젖음 불량 솔더, 표면 장착 컴포넌트를 위한 불충분 솔더, 짧아진 표면 장착(shorted surface-mounted) 연결, 보이드(voids)를 통한(via) PCB, 탑 및 바닥 어셈블리(top and bottom assemblies), 임베디드 컴포넌트, 스택 다이, 다이 부착 커버리지 등을 포함하는 넓은 범위의 문제와 관련된 검사된 전자 부품, 컴포넌트, 패키지, 또는 장치를 식별할 수 있다.
기준 모델에 기초한 검사 예시 프로세스
도 2a는 관심 객체를 검사하기 위한 인접한 객체의 엑스선 이미지에 기초하여 생성된 기준 모델을 사용하는 예시적인 프로세스(2000A)를 도시한다. 특정 실시예에서, 관심 객체에 대해, 시스템은 하나 이상의 기준 객체의 엑스선 이미지에 기초하여 관심 객체에 대한 검사 베이스라인(baseline)으로서 기준 모델을 생성할 수 있다. 시스템은 관심 객체의 엑스선 이미지를 기준 모델과 비교하여 관심 객체(예, 전자 부품, 장치 또는 컴포넌트)을 검사할 수 있고, 관심 객체와 기준 모델의 차이에 기초하여 관심 객체에 결함이 있는지 여부를 결정할 수 있다. 시스템은 관심 샘플과 기준 모델 간의 차이가 미리 결정된 임계값보다 클 때 관심 객체에 하나 이상의 결함이 있다고 결정할 수 있다. 특정 실시예에서, 차이(difference)는 예를 들어, 이에 제한되지 않는, 위치 차이, 크기 차이, 패턴 차이, 기호(signature) 차이, 프로파일 차이, 그레이스케일 값 차이 등을 포함할 수 있다. 제한이 아닌 예로서, 시스템은 일련의 부품(예, 202A-202D)을 포함하는 검사 라인(또는 어셈블리 라인, 제조 라인, 생산 배치(batch) 등)에서 전자 부품(202D)을 검사해야 할 수 있다. 시스템은 기준 모델(202M)을 생성하기 위한 기준 부품으로서 관심 부품(202D)에 선행하는 3개의 부품(202A, 202B, 202C)을 선택할 수 있다. 기준 부품(202A, 202B, 202C)은 관심 부품(202D)과 동일한 유형의 부품일 수 있고, 관심 부품(212D)과 동일한 컴포넌트(예, 솔더 조인트, 전도성 트레이스(trace), 레이어)를 가질 수 있다. 기준 모델(202M)은 기준 부품(202A, 202B, 202C)의 엑스선 이미지의 평균 또는 가중 평균에 기초하여 생성될 수 있다. 부품 기준 모델(202M)은 관심 부품(202D)의 각각의 컴포넌트(예, 각각의 솔더 조인트)에 대해, 대응하는 기준 부품의 컴포넌트에 기초하여 생성된 기준 모델을 포함할 수 있다. 예를 들어, 부품 기준 모델(202M)은, 솔더 조인트(212D)에 대해, 대응하는 솔더 조인트(212A, 212B, 212C)에 기초하여 생성된 솔더 조인트 기준 모델(212M)을 포함할 수 있다.
도 2b는 다른 유형의 결함을 식별하기 위해 기준 모델을 사용하기 위한 예시적인 프로세스(2000B)를 도시한다. 특정 실시예에서, 시스템은 관심 부품(202D)에 임의의 결함이 있는지 여부를 결정하기 위해 관심 부품(202D)의 엑스선 이미지를 기준 모델(202M)과 비교할 수 있다. 예를 들어, 시스템은 관심 부품(202D)의 엑스선 이미지가 미리 결정된 임계값에 대한 기준 모델(203)에서 편차가 생길 때 관심 부분(202D)이 하나 이상의 결함을 갖는다고 결정할 수 있다. 시스템은 관심 부품의 결함을 식별하고 분류하기 위해 다수의 결함 모델(예, 젖음 불량(non-wet), 브릿징, 보이드, 오버사이즈 볼(oversized ball), 언더사이즈 볼(undersized ball), 헤드 인 필로우, 누락 볼(missing ball) 등)을 사용할 수 있다. 각각의 결함 모델은 하나 이상의 연관된 특징과 특정 파라미터 및 임계값을 사용하여 관련 결함을 특성화할 수 있다. 임계값은 하나 이상의 파라미터 (예, 재료 두께, 길이, 너비, 높이, 거리, 각도 등) 및 하나 이상의 위치(예, 솔더 조인트 영역 내, 솔더 조인트의 엣지 또는 환형(annular) 영역, 둘 이상의 솔더 조인트 사이 등)와 연관될 수 있다. 예를 들어, 시스템은 브릿징 결함을 특성화하기 위한 다수의 알려진 특징, 파라미터 및 임계값과 관련된 브릿징 결함 모델을 사용하여 관심 부품에 브릿징 결함이 있는지 여부를 결정할 수 있다. 도 2b에 도시된 바와 같이, 시스템은 솔더 조인트(212D, 214D) 사이의 영역(213D)을 기준 모델(202M)에 대응하는 영역(213M)과 비교할 수 있다. 시스템은 솔더 조인트(212D, 214D), 그리고 그들 사이의 영역(213D)이 브릿징 결함 모델에 의해 묘사된 바와 같이 브릿징 결함의 하나 이상의 특징 또는/및 특성과 일치하는지 결정할 수 있다. 예를 들어, 시스템은 기준 모델(202M)의 기준 영역(213M)과 비교하여 영역(213D)이 추가(extra) 솔더 재료를 포함한다고 결정할 수 있다. 추가 솔더 재료 두께가 미리 결정된 임계값에 대한 기준 영역(213M)보다 크고 추가 재료 영역은 솔더 조인트(212D 및 214D) 사이의 거리보다 더 넓은 경우, 시스템은 솔더 조인트(212D, 214D)가 영역(213D)에서 브릿징 결함을 갖는다고 결정할 수 있다.
또 다른 예로서, 시스템은 관심 부품에 보이드 결함이 있는지 여부를 결정하기 위해, 보이드 결함을 특성화하기 위한 다수의 알려진 특징, 파라미터 및 임계값과 관련된 보이드 결함 모델을 사용할 수 있다. 시스템은 솔더 조인트(216D)를 기준 모델(202M)의 대응하는 솔더 조인트 모델(216M)과 비교할 수 있다. 시스템은 솔더 조인트(216D)가 보이드 결함 모델에 의해 묘사된 바와 같이 보이드 결함의 하나 이상의 특징 또는/및 특성과 일치한다고 결정할 수 있다. 시스템은 기준 모델(202M)의 솔더 조인트 모델(216M)과 비교하여 솔더 조인트(216D)가 솔더 재료가 부족한 영역을 포함한다고 결정할 수 있다. 시스템은 솔더 조인트(216D)의 관심 영역에서 솔더 재료 두께를 솔더 조인트 모델(216M)과 비교할 수 있다. 관심 영역의 솔더 재료 두께가 미리 결정된 제1 임계값에 대한 솔더 조인트 모델(216M)보다 작은 경우, 시스템은 솔더 조인트(216D)에 보이드 결함(215)이 있다고 결정할 수 있다. 특정 실시예에서, 시스템은 보이드 영역과 관련된 픽셀의 수를 카운트함으로써 보이드 영역을 결정할 수 있다. 시스템은 픽셀의 수가 미리 결정된 임계값보다 크거나 같을 때 보이드 결함을 확인하거나 픽셀 수가 미리 결정된 임계값보다 적을 때 보이드 결함이 아님을 확인(dis-confirm)하기 위해 픽셀의 수를 미리 결정된 임계값과 비교할 수 있다. 또 다른 예로서, 시스템은 젖음 불량 솔더 조인트를 특성화하기 위한 관련 임계값과 함께 다수의 알려진 특징 및 파라미터를 포함하는 젖음 불량 결함 모델을 사용하여 관심 부품이 젖음 불량 솔더 조인트를 갖는지 여부를 결정할 수 있다. 시스템은 솔더 조인트(218D)를 기준 모델(202M)의 솔더 조인트 모델(218M)과 비교할 수 있다. 시스템은 솔더 조인트(218D)가 젖음 불량 솔더 조인트 모델에 의해 특징지어지는 바와 같이 하나1개 이상의 특징 또는/및 젖음 불량 솔더 조인트의 특성과 일치한다고 결정할 수 있다. 예를 들어, 시스템은 솔더 조인트(218D)가 젖음 불량 솔더 조인트의 특성과 일치하는 프로파일 및 더 얇은 재료 두께를 갖는 엣지 영역 또는 환형 영역(219)을 갖는다고 결정할 수 있다. 한편, 시스템은 솔더 조인트(218D)가 솔더 조인트(218D)의 내부 영역(inner area)에 추가 재료(217)를 갖는다고 결정할 수 있다. 시스템은 솔더 조인트(218D)가 젖음 불량 결함을 갖고 관심 부품(202D)이 적어도 하나의 젖음 불량 솔더 조인트를 갖는다고 결정할 수 있다.
기준 객체 선택
특정 실시예에서, 관심 객체에 대한 기준 모델을 생성하기 위해, 시스템은 관심 객체와 관련된 하나 이상의 기준 객체를 식별할 수 있다. 기준 객체는 관심 객체와 동일하거나 유사한 유형 객체일 수 있다. (예, 동일하거나 유사한 컴포넌트 또는 서브 컴포넌트를 가지는). 예를 들어, 관심 객체는 제조 라인, 어셈블리 라인 또는 검사 라인의 전자 부품일 수 있으며, 기준 객체는 동일한 유형이고 동일한 제조 라인, 어셈블리 라인 또는 검사 라인에 있는 이웃 부품일 수 있다. 기준 부품은 관심 부품과 동일한 유형의 부품일 수 있으며 관심 부품과 동일한 컴포넌트 또는 서브 컴포넌트를 가질 수 있다. 예를 들어, 기준 부품은 동일한 제조 구성(예, 온도, 습기, 기압, 기계 설정)을 사용하여 동일한 제조 프로세스 동안 제조된 동일한 생산 배치(batch)의 부품일 수 있다. 도 2a에 보여진 바와 같은 예에서, 3개의 기준 부품이 기준 객체로 선택된다. 다만, 기준 객체의 개수가 이에 한정되는 것은 아님에 주목해야 한다. 선택된 기준 객체의 수는 임의의 적절한 수(예, 1, 2, 3 또는 임의의 정수 N)일 수 있다. 특정 실시예에서, 기준 부품은 관심 부품에 선행하는 부품, 관심 부품을 둘러싸는 부품, 관심 객체에 이웃하는 부품 또는 기준 부품으로 사용하기에 관심 부품과 충분히 유사한 적절한 부품일 수 있거나 이를 포함할 수 있다.
기준 모델의 창조(create)
특정 실시예에서, 시스템은 선택된 기준 객체의 엑스선 이미지에 기초하여 기준 모델을 생성할 수 있다. 예를 들어, 시스템은 3개의 기준 객체 각각에 대한 3개의 엑스선 이미지의 평균에 기초하여 기준 모델을 생성할 수 있다. 다른 예로서, 시스템은 관심 객체에 대한 기준 객체의 상대적 위치에 기초하여 선택된 기준 객체의 엑스선 이미지의 가중 평균에 기초하여 기준 모델을 생성할 수 있다. 관심 객체에 더 가까운 기준 객체는 관심 객체에서 더 멀리(farer) 있는 기준 객체보다 더 높은 가중치를 가질 수 있다. 다른 예로, 시스템은 기준 객체의 상태에 기초하여 선택된 기준 객체의 엑스선 이미지의 가중 평균에 기초하여 기준 모델을 생성할 수 있다. 결함이 없는 것으로 결정된 기준 객체(즉, 준수 부품)은 하나 이상의 결함이 있는 것으로 결정된 기준 객체보다 더 높은 가중치를 가질 수 있다. 특정 실시예에서, 기준 부품은 일부 결함을 갖는 것으로 결정된 부품을 포함할 수 있다는 점에 주목한다. 기준 객체가 모두 동일한 위치에 동일한 결함이 있는 것은 아니므로, 매우 드문 경우이므로, 결함이 있는 기준 부품은 검사 정밀도 및 정확도에 영향을 미치지 않을 수 있다. 특정 실시예에서, 선택된 기준 부품은 일부 결함이 있는 것으로 결정된 부품을 제외할 수 있다.
특정 실시예에서, 시스템은, 이후 섹션에서 논의되는 바와 같이, 검사된 객체의 각각의 N 특징에 대응하는 N 차원을 가질 수 있는 특징 공간에서 검사된 객체를 특성화할 수 있다. 시스템은 특징 공간에서 기준점(예, 평균 또는 이상적인 점에 대응할 수 있는)까지의 검사된 객체의 거리를 나타내기 위해 검사된 객체 각각에 대한 품질 점수를 결정할 수 있다. 검사된 객체의 품질 점수는 검사된 객체의 정량화된 품질을 나타낼 수 있다. (그들이 준수 부품일지라도). 특정 실시예에서, 시스템은 기준 객체의 엑스선 이미지의 가중 평균에 기초하여 기준 모델을 생성할 수 있고 가중치는 관련된 품질 점수에 기초하여 결정될 수 있다. 예를 들어, 더 높은 품질 점수를 갖는 것으로 결정된 기준 부품은 더 낮은 품질 점수를 갖는 것으로 결정된 기준 부품보다 더 높은 가중치를 가질 수 있다. 다른 예로, 특징 공간에서 기준점까지의 거리가 짧은 기준 부품은 특징 공간에서 해당 기준점까지의 거리가 긴 기준 부품보다 더 높은 가중치를 가질 수 있다.
특정 실시예에서, 기준 모델은 엑스선 이미지의 평균 또는 가중 평균을 사용하지 않고 기준 객체의 엑스선 이미지에서 추출된 정보(예, 프로파일, 기울기, 추세, 대비 레벨(contrast levels)과 같은 특징 및 두께, 위치, 길이, 너비, 높이, 거리와 같은 파라미터)를 통합하여 생성할 수 있다. 제한이 아닌 예로서, 시스템은 기준 객체의 다중 X-이미지의 프로파일에 기초하여 관심 컴포넌트의 프로파일(예, 솔더 조인트, 연결 핀)을 결정할 수 있고 이러한 프로파일에 기초하여 해당(that) 관심 컴포넌트 대한 기준 모델을 생성할 수 있다. 다른 예로서, 시스템은 기준 객체의 다중 X-이미지에서의 위치 및 형상에 기초하여 관심 컴포넌트(예, 솔더 조인트, 연결 핀)의 위치 및 형상을 결정할 수 있고, 이러한 위치 및 형상에 기초하여 관심 컴포넌트에 대한 기준 모델을 생성할 수 있다.
관심 객체 각각에 대하여 개별화된 기준
특정 실시예에서, 관심 객체에 대한 기준 모델은 관심 객체의 가까운 기준 객체에 기초하여 생성된 관심 객체에 대한 개별화된 모델일 수 있다. 특정 실시예에서, 시스템은 (예, 생산 라인, 어셈블리 라인, 검사 라인으로부터) 전자 부품의 배치(batch) 각각을 순차적으로 검사할 수 있다. 현재 관심 부품에 대해 시스템은 가까운 부품(예, 3개, 4개, 5개 또는 N개의 선행 부품)을 기준 부품으로 사용하여 기준 모델을 생성할 수 있다. 검사할 다음 관심 부품에 대해 시스템은 검사할 다음 관심 부품의 가까운 부품에 기초하여 기준 모델을 다시 생성할 수 있다. 시스템은 이 프로세스 (예, 이웃 샘플에 기초하여 기준 모델을 생성하고 관심 샘플을 기준 모델과 비교)를 반복(repeat)하고 각 관심 샘플에 대한 기준 샘플을 선택하기 위한 이동 창(moving window)을 사용하여 시퀀스 순서로 관심 객체를 검사하도록 반복(iterate)할 수 있다. 특정 실시예에서, 시스템은 (예, 생산 라인, 어셈블리 라인, 검사 라인으로부터) 전자 부품의 배치(batch) 각각을 병렬로 검사할 수 있다. 시스템은 각각의 가까운 기준 부품(예: 3, 4 또는 5개의 선행 부품)에 기초하여 모든 관심 부품에 대해 다수의 기준 모델을 병렬로 생성하고 각각의 기준 모델에 기초하여 관심 부품을 병렬로 검사할 수 있다.
유사도 점수에 기초하여 결함을 분류
특정 실시예에서, 시스템은 예를 들어, 이에 제한되지 않는, 젖음 불량 솔더 조인트, 보이드, 브릿징 솔더 조인트, 오버사이즈 솔더 조인트, 언더사이즈 솔더 조인트, 누락된 볼, 헤드-인-필로우 결함, 불규칙한 형상의 솔더 조인트, 오정렬된 솔더 조인트, 위치가 잘못된 솔더 볼, 또는 임의의 가능한 결함을 포함하는 다수의 결함 유형에 대한 다수의 결함 모델을 생성할 수 있다. 특정 실시예에서, 시스템은 하나 이상의 관련된 특징 및 대응하는 결함 모델에 기초하여 각각의 검사된 관심 요소(예, 솔더 조인트)에 대한 유사도 점수를 결정할 수 있다. 특정 결함 모델에 기초하여 결정된 유사도 점수는 관심 요소가 해당(that) 특정 결함 모델에 의해 묘사된 결함을 가질 우도(likelihood)를 표시할 수 있다. 제한이 아닌 예로서, 시스템은 검사되는 관심 요소의 하나 이상의 특징 사이의 정량화된 일치 레벨 및 대응하는 결함 모델에 의해 특성화되는 특정 결함의 특징을 결정할 수 있다. 그 다음에, 시스템은 대응하는 특징의 정량화된 일치 레벨에 기초하여 그 특정 결함 유형에 대한 유사도 점수를 결정할 수 있다. 시스템은 각 특정 결함 유형의 유사도 점수를 대응하는 임계값과 비교할 수 있으며, 유사도 점수가 대응하는 임계값보다 크거나 같을 때 관심 요소가 그 특정 결함 유형의 적어도 하나 이상의 결함을 가지고 있다고 결정한다. 특정 실시예에서, 시스템은 다수의 미리 결정된 결함 모델을 데이터베이스에 저장할 수 있다. 각각 관심 객체(예, 전자 부품)의 각각의 검사된 관심 요소(예, 솔더 조인트)에 대해, 시스템은 데이터베이스에 저장된 미리 결정된 결함 모델에 의해 특성화되는 각 결함 유형에 대한 유사도 점수를 결정할 수 있다. 그 다음에, 시스템은 검사되는 관심 요소가 대응하는 결함 유형의 결함을 가지고 있는지 여부를 결정하기 위하여, 이러한 유사도 점수를 대응하는 임계값과 비교할 수 있다.
특정 실시예에서, 각각의 결함 모델은 그 특정 결함 유형을 특성화하는 다수의 특징(예, 위치, 경향, 프로파일, 연관된 임계값을 갖는 파라미터 등)을 포함할 수 있다. 특정 실시예에서, 결함 모델의 임계값은 소프트웨어 알고리즘 또는 인간 작업자에 의한 하나 이상의 휴리스틱(heuristic) 규칙에 기초하여 결정될 수 있다. 시스템은 대응하는 결함 모델에서 대응하는 특징에 관하여 검사되는 관심 요소와 연관된 각각의 특징에 대한 특징 점수를 결정할 수 있다. 특정 특징의 특징 점수는 그(that) 특징과 그 특정 결함 모델의 대응하는 특징 사이의 일치 레벨을 표시할 수 있다. 시스템은 모든 연관된 특징의 점수에 기초하여 관심 요소에 대한 결합된 점수를 결정할 수 있다. 시스템은 관심 요소에 특정 결함 유형의 결함이 있는지 여부를 결정하기 위하여 결합된 점수를 미리 결정된 임계값과 비교할 수 있다. 제한이 아닌 예로서, 시스템은 젖음 불량 결함 모델과 관련된 제1 특징에 대한 제1 점수를 결정할 수 있다. 제1 특징은 솔더 조인트 중심의 추가 솔더 재료를 특징으로 할 수 있다. 시스템은 젖음 불량 결함 모델과 관련된 제2 특징에 대한 제2 점수를 결정할 수 있다. 제2 특징은 솔더 조인트의 엣지 또는 환형 영역에 솔더 재료의 부재로 특성화될 수 있다. 그 다음에, 시스템은 제1 특징에 대한 제1 점수 및 제2 특징에 대한 제2 점수에 기초하여 결합된 점수를 결정할 수 있다. 시스템은 검사되는 솔더 조인트가 젖음 불량 솔더 조인트인지 여부를 결정하기 위하여 결합된 점수를 미리 결정된 임계값과 비교할 수 있다. 특정 실시예에서, 시스템은 규칙 기반 알고리즘, 랜덤 포레스트 회귀 알고리즘, 또는 임의의 적절한 알고리즘에 기초하여 결함을 분류할 수 있다.
배경 노이즈 및 간섭 요소
특정 실시예에서, 관심 객체의 엑스선 이미지는 검사를 위한 관심 요소가 아닌 다수의 특징(예, 엣지, 형상, 그림자 등)을 포함할 수 있다. 예를 들어, 검사된 장치는 특정 방향 또는 각도(예, 하향식 엑스선 이미지)에서 생성된 엑스선 이미지에서 관심 요소와 오버랩되거나 교차할 수 있는 다수의 요소(예, PCB 기판(board) 레이어, 전도성 트레이스, 레이어 간 연결, 실리콘 기판(substrates), 통합 회로 스톡(stocks), 동일 또는 다른 레이어의 솔더 조인트, 도금 관통 비아(plated-through vias), 마이크로 범프(micro-bumps), 솔더 마스크(solder masks), 연결, 스트립, 다른 레이어의 와이어)를 갖는 각 레이어와 함께 다수의 레이어를 포함할 수 있다. 이러한 간섭 특성은 관심 객체의 모든 레이어를 투과하는 엑스선에 기초하여 엑스선 이미지가 캡처되기 때문에 엑스선 이미지에 랜덤하지 않은 노이즈 패턴을 도입하여 기술적인 어려움을 일으킬(create) 수 있다. 그 결과, 엑스선 이미지에는 검사될 관심 요소와 간섭할 수 있는 다수의 간섭 요소가 포함될 수 있다. 랜덤이 아닌 배경 노이즈 패턴("패턴 노이즈"이라고 지칭될 수 있음)은 잠재적 결함과 관련된 관심 요소 및 특징을 식별하고 찾는 검사 프로세스에 부정적인 영향을 미칠 수 있다.
특정 실시예에서, 시스템은 관심 객체를 동일한 생산 배치(batch)의 가까운 객체(예, 선행 부품, 후속 부품, 이웃 부품, 주변 부품)에 기초하여 생성된 기준 모델과 비교함으로써 검사된 객체가 하나 이상의 결함을 갖고 있는지 여부를 결정할 수 있다. 가까운 객체를 기준 객체로 사용할 때의 장점 중 하나는 엑스선 이미지에서 가까운 객체가 같거나 유사한 간섭 패턴(즉, 동일하거나 유사한 배경 노이즈 패턴을 가지는)을 가질 수 있다는 것이다. 관심 객체를 가까운 객체에 기초하여 생성된 기준 모델과 비교함으로써 검사된 요소에 대한 배경 노이즈의 영향을 최소 수준으로 줄일 수 있다. 특정 실시예에서, 시스템은 기준 객체의 엑스선 이미지에 기초하여 관심 객체의 엑스선 이미지에서 랜덤이 아닌 배경 노이즈 패턴을 제거하거나 감소시킬 수 있다. 배경 노이즈가 감소되거나 제거된 엑스선 이미지는 더 나은 대비(contrast)로 관심 요소에 대한 선명한 엑스선 이미지를 제공할 수 있으므로, 시스템에서 잠재적인 결함을 더 정밀하고 정확하게 식별하고 분류할 수 있다. 제한이 아닌 예로서, 시스템은 배경 노이즈를 감소하기 위해 관심 객체의 엑스선 이미지로부터 기준 객체의 엑스선 이미지의 평균 결과를 뺄 수 있다. 시스템은 기준 객체의 엑스선 이미지에 관하여 관심 객체의 엑스선 이미지의 차이를 플래그하고 차이에 기초하여 잠재적인 결함을 식별/분류할 수 있다. 그 결과, 결함 검사에 대한 배경 노이즈의 영향이 제거되거나 최소 레벨로 감소될 수 있다.
특정 실시예에서, 시스템은 기계 학습(ML) 모델(이후 섹션에서 논의됨)을 사용하여 이러한 간섭 특징에 의해 유발되는 배경 노이즈로부터의 영향을 제거하거나 감소시킬 수 있다. 예를 들어, ML 모델은 다양한 유형의 간섭 특징 및 요소를 포함하는 엑스선 이미지로부터 특정 레이어의 특정 관심 요소를 식별하기 위해 과거 데이터(예, 레이블이 지정된 데이터 또는 레이블이 지정되지 않은 데이터)에 의해 훈련될 수 있다. 다른 예로서, ML 모델은 엑스선 이미지의 간섭 특징 및 간섭 요소로부터 관심 요소를 격리하도록 훈련될 수 있다. 특정 실시예에서, 시스템은 컴퓨터 비전 기술 및 ML 모델을 사용하여 관심 요소를 하나 이상의 특성에 기초하여 간섭 특징 또는 간섭 요소로부터 격리할 수 있다. 예를 들어, PCB 기판의 와이어 또는 도체 트레이스는 특정 형상(예, 엣지가 선명하고 두께가 균일한 스트립 형상), 특정 크기 및/또는 특정 치수를 가질 수 있다. 또 다른 예로서, 솔더 패드는 특정 크기를 갖는 원형을 가질 수 있고 특정 위치에 위치할 수 있다. (예를 들어, 설계 청사진으로부터 액세스된 정보에 기초하여)
기준으로 엑스선 이미지의 서브 포션(portion)
도 2c는 관심 요소를 검사하기 위해 엑스선 이미지의 다른 서브 포션에 기초하여 생성된 기준 모델을 사용하기 위한 예시적인 프로세스(2000C)를 도시한다. 특정 실시예에서, 관심 객체(예, 깨끗한 웨이퍼를 갖는 컴포넌트)는 간섭 요소를 포함하지 않을 수 있고 엑스선 이미지는 배경 노이즈 없이 관심 요소에 대한 선명한 이미지를 가질 수 있다. 특정 실시예에서, 관심 객체의 엑스선 이미지는 낮은 배경 노이즈 레벨 또는 낮은 레벨에서 균일하게 분포된 배경 노이즈를 가질 수 있다. 관심 객체(예, 전자 부품)의 관심 요소(예, 솔더 조인트)를 검사하기 위해, 시스템은 동일한 엑스선 이미지에서 캡처된 (동일한 관심 객체의) 가까운 기준 요소에 기초하여 관심 요소에 대한 기준 모델을 생성할 수 있다. 제한이 아닌 예로서, 관심 객체(230)(예, 전자 부품)의 관심 요소(238)(예, 솔더 조인트)를 검사하기 위해, 시스템은 기준 모델(231)을 생성하기 위한 기준 요소로서 232, 234 및 236의 3개의 가까운 요소를 선택할 수 있다. 그 다음에, 시스템은 관심 요소(238)가 임의의 결함과 연관되는지 여부를 결정하기 위하여 관심 요소(238)의 엑스선 이미지를 기준 모델(231)과 비교할 수 있다. 시스템은 관심 요소(238)와 관련된 잠재적인 결함을 식별 및 분류하기 위해 하나 이상의 결함 모델을 사용할 수 있다. 또 다른 관심 요소를 검사하기 위해 시스템은 해당 요소의 가까운 기준 요소에 기초하여 기준 모델을 다시 생성할 수 있다. 특정 실시예에서, 엑스선 이미지에 균일하게 분포된 배경 노이즈를 갖는 관심 객체의 엑스선 이미지에도 동일한 방법이 적용될 수 있다. 특정 실시예에서, 낮은 레벨의 배경 노이즈를 갖는 관심 객체의 엑스선 이미지에도 동일한 방법이 적용될 수 있다.
광학 왜곡 및 시차(Parallax)
도 2d는 감지기의 필드 오브 뷰의 동일한 위치에 위치한 기준 객체에 기초하여 기준 모델을 생성하기 위한 예시적인 프로세스(2000D)를 도시한다. 특정 실시예에서, 엑스선 센서 또는 감지기의 필드 오브 뷰(FOV)는 검사될 다수의 부품을 커버할 수 있다. 시스템은 검사할 다수의 부품을 각각 커버하는 엑스선 이미지를 생성할 수 있다. 그러나 시차 효과와 광학 왜곡으로 인해 부품이 감지기의 필드 오브 뷰(FOV)의 다른 위치에 있을 때 캡처되는 엑스선 이미지에서 동일한 객체의 형상 및 크기가 다르게 나타날 수 있다. 제한이 아닌 예로서, 시스템은 검사될 다수의 부품을 각각 커버하는 240A, 240B, 240C, 240D의 엑스선 이미지를 생성할 수 있다. 부품(248D)을 검사하기 위해, 만약 시스템이 부품(248D)에 대한 기준 모델을 생성하기 위해 기준 부품으로서 동일한 엑스선 이미지(240D)의 가까운 부품(242D, 244D, 246D)을 사용하는 경우, 기준 모델은 242D, 244D, 246D, 248D의 네 부품의 위치에 따라 시차 효과 및 렌즈의 광학 왜곡이 다르기 때문에 정확하지 않을 수 있다. 결과적으로 결함 부품을 식별하는 정밀도와 정확도가 부정적인 영향을 받을 수 있다.
시차 효과 및 광학 왜곡으로 인해 발생하는 이러한 문제를 해결하기 위해, 시스템의 특정 실시예는 기준 부품으로 감지기의 FOV 내에서 동일한 위치에 있는 부품을 사용할 수 있다. 즉, 기준 요소는 다른 엑스선 이미지에서 가져온 것일 수 있지만 이러한 엑스선 이미지가 캡처될 때 엑스선 감지기의 FOV 내의 동일한 위치에 있을 수 있다. 제한이 아닌 예로서, 엑스선 이미지(240D)의 부품(242D)을 검사하기 위해 시스템은 엑스선 이미지(240A)의 부품(242A), 엑스선 이미지(240B)의 부품(242B) 및 엑스선 이미지(240C)의 부품(242C)을 기준 모델을 생성하기 위한 기준 부품으로 한다. 이들 기준 부품은 각각의 엑스선 이미지 내에서 동일한 위치에 있기 때문에, 이들의 엑스선 이미지는 시차 효과 및 렌즈의 광학적 왜곡으로 인해 동일한 왜곡을 가질 수 있다. 결과적으로, 이러한 방식으로 선택된 기준 객체에 기초하여 기준 모델을 생성함으로써 기준 모델에 대한 시차 효과 및 광학 왜곡의 영향이 제거되거나 최소화될 수 있다.
단일 하향식 엑스선 이미지에 기초한 검사
특정 실시예에서, 자동 고속 엑스선 검사 시스템은 단일 하향식 엑스선 이미지(또는 상향식 엑스선 이미지)에 기초하여 관심 객체(예, 전자 장치, 부품, 컴포넌트, PCB 기판)을 검사할 수 있다. 시스템은 단일 하향식 엑스선 이미지에 기초하여 이미지 평면(또는 검사된 장치의 기준 평면)에 직교하는 방향으로 PCB 기판 또는 전자 패키지 내의 하나 이상의 관심 요소(예, 솔더 볼, 접촉(contact), 연결, 핀, 조인트 등)의 재료 두께를 결정할 수 있다. 예를 들어, 시스템은 이미지 그레이스케일 값의 변화로 표현되는 엑스선 흡수의 변화에 기초하여 재료 두께를 결정할 수 있다. 시스템은 컴퓨터 비전 및 컴퓨터 분석 기술을 사용하여 단일 하향식 이미지(예, 엣지, 형상, 기울기, 추세, 그레이스케일 값 등)의 하나 이상의 특징에 기초하여 재료 두께 분포(예, 관련 요소의 프로파일 또는 모양)를 결정할 수 있다. 결함이 있는 솔더 조인트는 준수(compliant) 솔더 조인트와 형상이 다르기 때문에 시스템의 특정 실시예는 결함이 있는 솔더 조인트와 준수 솔더 조인트를 구별하기 위해 그레이스케일 값의 변화를 사용할 수 있다.
제한이 아닌 예로서, 시스템은 관심 객체의 하향식 엑스선 이미지 및 다수의 결함 모델에 기초하여 관심 객체를 검사하기 위해 컴퓨터 비전 기술을 사용할 수 있다. 시스템은 다양한 유형의 결함에 대해 다수의 결함 모델을 생성하고 이러한 결함 모델을 데이터베이스에 저장할 수 있다. 시스템은 이러한 결함 모델을 사용하여 본 개시의 다른 섹션에서 묘사된 바와 같이 관심 객체의 단일 엑스선 이미지에 기초하여 검사된 객체의 결함을 식별하고 분류할 수 있다. 또 다른 예로서, 시스템은 단일 엑스선 이미지에 기초하여 검사된 관심 객체의 결함을 식별하고, 찾아내고, 그리고 분류하기 위해 과거 데이터로 훈련된 기계 학습(ML) 모델을 사용할 수 있다. 시스템은 ML 모델을 사용하여 엑스선 이미지에서 하나 이상의 관심 요소를 식별하고 관심 요소를 엑스선 이미지의 다른 간섭 요소 (예, 관심 요소와 오버랩되거나 교차할 수 있는 동일 또는 다른 레이어의 요소)로부터 격리할 수 있다. 시스템은 단일 하향식 이미지에 기초하여 관심 요소(예, 연결, 솔더 볼, PCB 레이어 등)와 관련된 하나 이상의 특징(예, 좋은(good) 연결, 다양한 유형의 결함이 있는 연결 등)을 식별할 수 있다. 그 다음에, 시스템은 ML 모델을 사용하여 관심 요소에 하나 이상의 결함이 있는지 여부를 결정하고 결함이 있는 경우 해당 결함을 각각의 결함 카테고리로 분류할 수 있다.
제2 엑스선 이미지를 사용하여 거짓 양성을 감소
특정 실시예에서, 시스템은 제1 방향 (예, 하향식 방향, 검사된 샘플의 평면에 대해 실질적으로 직교하는 방향)에서 캡처된 관심 객체의 단일 엑스선 이미지에 기초하여 관심 객체가 하나 이상의 결함을 가지고 있는지 여부를 결정할 수 있다. 제한이 아닌 예로서, 시스템은 하향식 엑스선 이미지로부터 하나 이상의 제1 특징을 추출하고 신호 하향식 엑스선 이미지로부터 추출된 하나 이상의 제1 특징에 기초하여 관심 객체와 관련된 하나 이상의 결함이 있다고 결정할 수 있다. 특정 실시예에서, 하나 이상의 제1 특징은 예를 들어, 이에 제한되지 않는, 재료 두께 값, 재료 두께 변화량, 재료 두께 프로파일, 요소 형상, 요소 크기, 관심 요소와 다른 요소 사이의 거리, 제1 엑스선 이미지에서 관심 요소의 위치, 다른 요소에 대한 관심 요소의 상대적 위치, 관심 요소와 관련된 기하학적 기호(signature) 등을 포함할 수 있다.
그러나 일부 경우에, 엑스선 이미지의 배경 노이즈나 간섭 패턴으로 때문에 결함 감지 결과가 거짓 양성(false positive) 결과로 나타날 수 있다. 특정 실시예에서, 시스템은 제1 방향과 다른 제2 방향(예, 비스듬한 방향)에서 관심 객체의 제2 엑스선 이미지를 생성할 수 있고, 제2 엑스선 이미지를 사용하여 검사된 샘플의 감지된 결함 요소를 검증하거나 무효화할 수 있다. 제한이 아닌 예로서, 시스템의 특정 실시예는 비스듬한 방향에서 관심 객체의 제2 엑스선 이미지를 생성하고 제2 엑스선 이미지 또는 제1 엑스선 이미지와 제2 엑스선 이미지의 조합으로부터 하나 이상의 제2 특징을 추출할 수 있다. 예를 들어, 자동 고속 엑스선 검사 시스템은 제1 엑스선 이미지와 제2 엑스선 이미지를 비교하여 하나 이상의 제2 특징을 결정할 수 있다. 특정 실시예에서, 하나 이상의 제2 특징은 예를 들어, 이에 제한되지 않는, 둘 이상의 레이어의 적층 순서, 관심 요소의 위치 변경, 관심 요소의 형상 변경, 간섭 요소의 위치 변경, 간섭 요소의 형상 변경, 관심 요소와 관련된 하나 이상의 그레이스케일 값 변경, 간섭 요소와 관련된 하나 이상의 그레이스케일 값 변경, 제1 엑스선 이미지와 제2 엑스선 이미지 간의 차이 등을 포함할 수 있다.
특정 실시예에서, 시스템은 하나 이상의 제1 특징을 확인하는 하나 이상의 제2 특징에 기초하여 하나 이상의 결함이 관심 객체와 관련되어 있음을 확인할 수 있다. 제한이 아닌 예로서, 시스템은 하향식 엑스선 이미지에 기초하여 2개의 솔더 조인트 사이의 브릿징 결함을 감지할 수 있다. 시스템은 다른 방향에서 관심 객체의 제2 엑스선 이미지를 생성하고 두 솔더 조인트 사이의 브릿징 결함이 실제 브릿징 결함임을 확인할 수 있다. 시스템은 감지된 결함을 확인하고 이러한 결함 결과가 거짓 양성 결과가 아니라고 결정할 수 있다. 특정 실시예에서, 시스템은 결함 요소가 다른 방향에서 생성된 검사된 샘플의 적어도 2개의 엑스선 이미지에 의해 확인된 경우에만 관심 객체의 감지된 결함 요소를 보고하거나 플래그를 지정할 수 있다. 또 다른 예로, 시스템은 해당 솔더 조인트의 엑스선 이미지를 기준 모델과 비교하여 솔더 조인트를 결함이 있는 솔더 조인트로 플래그할 수 있지만 그것이 결함이 있는 솔더 조인트인지 100% 확신할 수는 없다. 시스템은 제2 각도에서 관심 객체의 제2 엑스선 이미지를 생성할 수 있다. 시스템은 해당 솔더 조인트가 결함이 있는 솔더 조인트인지 여부를 확인하거나 불확인(disconfirm)하기 위해 관심 대상의 제2 엑스선 이미지에서 추출된 정보를 사용할 수 있다. 그리고 그것이 실제로 결함이 있는 솔더 조인트인 경우, 시스템은 제1 및 제2 엑스선 이미지에서 추출된 정보를 사용하여 결함이 있는 솔더 조인트를 해당 카테고리로 분류할 수 있다.
특정 실시예에서, 시스템은 하나 이상의 제1 특징에 기초한 결정을 무효화하는 하나 이상의 제2 특징에 기초하여 하나 이상의 결함이 관심 객체와 관련된다는 결정을 무효화할 수 있다. 제한이 아닌 예로서, 시스템은 하향식 엑스선 이미지에 기초하여 2개의 솔더 조인트 사이의 브릿징 결함을 감지할 수 있다. 시스템은 다른 방향에서 검사된 샘플의 제2 엑스선 이미지를 생성할 수 있으며 두 솔더 조인트(하향식 엑스선 이미지에서 브리지된 것처럼 보이게 함) 사이의 "브릿징 결함"이 실제로 솔더 조인트와 다른 다른 레이어에 수직으로 위치하며 하향식 방향과 직교하는 평면에서 두 개의 솔더 조인트 사이에 공간적으로 위치하는 백딜된 비아(back-dilled via)임을 식별할 수 있다. 시스템은 감지된 브릿징 결함을 무효화하고 이러한 결함 결과가 거짓 양성 결과임을 결정할 수 있다. 특정 실시예에서, 시스템은 결함 요소가 다른 방향에서 생성된 검사된 샘플의 적어도 2개의 엑스선 이미지에 의해 확인된 경우에만 관심 객체의 감지된 결함 요소를 보고하거나 플래그를 지정할 수 있다.
제2 엑스선 이미지를 사용하여 거짓 음성 감소
특정 실시예에서, 일부 상황에서, 시스템은 다수의 인자 (예, 노이즈, 간섭 패턴, 요소 크기 변화, 요소 위치 변화 등)로 인해 거짓 음성 결과(예, 하나 이상의 결함이 있는 경우 결함을 식별하지 않음)를 가질 수 있다. 특정 실시예에서, 시스템이 제1 엑스선 이미지(예, 단일 하향식 엑스선 이미지)에 기초하여 검사된 요소에 결함이 없다고 결정할 때, 시스템은 다른 방향에서 검사된 샘플의 제2 엑스선 이미지를 생성 및 분석하여 또 다른 검사를 수행할 수 있다. 특정 실시예에서, 시스템은 다른 방향에서 생성된 검사된 샘플의 적어도 2개의 엑스선 이미지에 의해 확인된 후에만 검사된 샘플에 결함이 없다고 결정할 수 있다. 특정 실시예에서, 일부 상황에서, 시스템은 단일 하향식 엑스선 이미지에 기초하는 검사에서 거짓 음성 결과를 가질 수 있다. 시스템은 컴퓨터 알고리즘 또는 모델에 의해 사용되는 하나 이상의 파라미터를 조정하여 하나 이상의 추가(further) 검사를 수행할 수 있다. 제한이 아닌 예로서, 자동 고속 엑스선 검사 시스템은 하나 이상의 결함 요소가 컴퓨터 알고리즘에 의해 사용되는 파라미터 범위를 벗어나기(fall beyond) 때문에 하나 이상의 결함 요소를 감지하지 못할 수 있다. 예를 들어, 자동 고속 엑스선 검사 시스템은 이러한 솔더 조인트는 컴퓨터 알고리즘에 의해 사용되는 70 ± 5μm의 파라미터 범위를 초과하는 70 ± 60μm의 큰 크기 변화를 갖기 때문에 결함이 있는 하나 이상의 솔더 조인트를 감지하지 못할 수 있다. 자동 고속 엑스선 검사 시스템은 파라미터 범위를 70 ± 5 μm에서 70 ± 60 μm로 조정하고 조정된 파라미터를 사용하여 검사된 샘플을 재검사할 수 있다. 자동 고속 엑스선 검사 시스템은 조정된 파라미터를 사용하여 초기 검사에서 놓친 결함 요소를 효과적으로 감지할 수 있다.
제2 엑스선 이미지에 기초하여 결함 분류
특정 실시예에서, 시스템은 제1 각도(예, 하향식)에서 캡처된 단일 엑스선 이미지에 기초하여 관심 객체와 관련된 하나 이상의 결함을 식별할 수 있으나 식별된 결함을 각각의 카테고리로 분류하지 못할 수 있다. 시스템은 제1 각도와 다른 제2 각도에서 관심 객체의 검사된 객체에 대한 제2 엑스선 이미지를 캡처할 수 있다. 시스템은 제1 및 제2 엑스선 이미지 모두에 기초하여 관심 요소와 연관된 특징을 추출하여 식별된 결함을 확인 또는 불확인(disconfirm)하고 결함을 각각의 카테고리로 분류할 수 있다. 제한이 아닌 예로서, 시스템은 해당 솔더 조인트의 엑스선 이미지가 미리 결정된 임계값에 대한 기준 모델에서 편차가 있다는(deviate) 결정에 기초하여 솔더 조인트를 결함 있는 솔더 조인트로 플래그할 수 있지만 해당(that) 엑스선 이미지만 가지고는 해당(that) 솔더 조인트의 결함 유형을 결정할 수 없다. 시스템은 제2 각도에서 관심 객체의 제2 엑스선 이미지를 생성할 수 있다. 시스템은 해당(that) 솔더 조인트의 결함 유형을 결정하기 위해 관심 객체의 제1 및 제2 엑스선 이미지 모두에서 추출된 정보를 사용할 수 있다.
특정 실시예에서, 시스템은 이미지 평면 또는 장치 기준 평면에 대해 비스듬한 각도에서 검사된 장치에 대한 제2 엑스선 이미지를 생성할 수 있고, 이(this) 제2 엑스선 이미지를 사용하여 하향식 엑스선 이미지 외에 하나 이상의 특징(예, 다중 레이어의 스테이킹(staking) 순서) 및 파라미터(예, 재료 두께, 형상, 크기, 거리, 상대 위치, 프로파일 변형, 기울기 등)를 결정할 수 있다. 예를 들어, 시스템은 PCB 기판의 다중 레이어의 적층 순서를 결정하고/하거나 이미지 평면 또는 장치 기준 평면에 직교하는 방향으로 특징 사이의 거리를 계산하기 위하여 하향식 엑스선 이미지와 비스듬한 각도에서 생성된 엑스선 이미지를 처리하기 위해 컴퓨터 비전 및 전산(computational) 분석 기술을 사용할 수 있다. 비스듬한 방향의 주어진 각도로, 시스템은 이미지 평면 또는 장치 기준 평면에 직교하는 축을 따른 특징, 특징의 상대 변위(displacements), 및/또는 직교 방향의 특징 사이의 거리를 식별하고 측정할 수 있다.
특정 실시예에서, 시스템은 잠재적인 결함을 식별하고 분류하기 위해 다른 각도에서 관심 객체의 여러 엑스선 이미지를 캡처할 수 있다. 시스템은 다른 방향 또는 각도로부터 생성된 엑스선 이미지에 기초하여 하나 이상의 관심 요소의 하나 이상의 특징(예, 크기, 형상, 상대 위치, 적층 순서, 거리 등)을 결정할 수 있다. 시스템은 전통적인 CT 기술처럼 단면에 대한 많은 수의 엑스선 이미지(예, 각각의 슬라이스별)에 의존하지 않고, 이러한 특징에 기초하여 관심 객체의 결함을 식별 및 분류할 수 있으므로 검사 속도를 크게 향상시킬 수 있다. 특정 실시예에서, 시스템은 엑스선 이미지에서 그레이스케일 값 그룹의 하나 이상의 특징 또는 속성에 기초하여 검사된 요소의 하나 이상의 특징 (예, 엣지, 형상, 크기, 그레이스케일 값, 기울기(gradient), 추세(trend) 등)을 결정할 수 있다. 예를 들어, 엑스선 이미지의 날카로운 엣지는 이(this) 특정 엑스선 이미지가 생성되는 엑스선 방향을 따른 요소의 날카로운 엣지에 대응할 수 있다. 다른 예를 들어, 그레이스케일 값이 점진적으로 변경하는 엣지 또는 형상은 요소의 점진적으로 변하는 엣지 또는 형상에 대응할 수 있다.
제2 엑스선 도구에 의한 결함 분류
특정 실시예에서, 시스템은 특정 각도에서 캡처된 단일 엑스선 이미지 또는 여러 각도에서 캡처된 여러 엑스선 이미지에 기초하여 하나 이상의 결함 (예, 관심 객체를 가까운 기준 객체에 기초하여 생성된 기준 모델과 비교)을 식별할 수 있다. 그러나 일부 시나리오에서는, 시스템에서 사용하는 컴퓨터 비전 기술이 이러한 제한된 수의 엑스선 이미지에 기초하여 식별된 결함을 정확하게 분류하지 못할 수 있다. 게다가 기계 학습(ML) 모델을 사용하여 결함을 식별하고 분류하는 경우, 기계 학습(ML) 모델은 결함을 효과적으로 식별하고 분류하기 전에 레이블링된 결함 샘플을 충분히 훈련해야 할 필요가 있을 수 있다. 이러한 문제를 해결하기 위해, 특정 실시예에서, 자동 고속 엑스선 검사 시스템(뒤에서 제1 엑스선 시스템으로 지칭되는)은 식별된 결함 또는 가능한 결함의 위치 정보를 자동으로 제2 엑스선 시스템(단면 엑스선 이미지를 생성하기 위한 CT 시스템일 수 있음)으로 전송할 수 있다. 제2 엑스선 시스템은 결함 또는 가능한 결함의 위치 정보를 수신하고 그(that) 위치 정보를 사용하여 검사된 객체에 대한 하나 이상의 단면 엑스선 이미지를 생성할 수 있다. 제2 엑스선 시스템은 결함 또는 가능한 결함의 위치 정보를 가지고 있으므로, 제2 엑스선 시스템은 많은 수의 단면 엑스선 이미지를 생성할 필요가 없을 수 있다. 대신에, 제2 엑스선 시스템은 제1 엑스선 시스템에 의해 식별된 결함 또는 가능한 결함의 위치 또는 근처에서만 단면 엑스선 이미지를 생성할 수 있다. 따라서 CT 엑스선 시스템일 수 있는 제2 엑스선 시스템에서도 전자 부품을 검사하는 프로세스 및 방법은 많은 수의 단면 엑스선 이미지에 의존하는 전통적인 방법보다 훨씬 빠르고 효율적일 수 있다.
특정 실시예에서, 제2 엑스선 시스템은 단면 엑스선 이미지에 기초하여 제1 엑스선 시스템에 의해 결정된 관심 객체의 가능한 결함을 확인하거나 불확인할 수 있다. 특정 실시예에서, 제2 엑스선 시스템은 관심 객체의 결함을 분류하고 분류 정보를 제1 엑스선 시스템에 자동으로 전송할 수 있다. 특정 실시예에서, 제2 엑스선 시스템은 관심 객체의 결함을 분류하기 위해 분류기 알고리즘(예, 랜덤 포레스트 회귀), 기계 학습(ML) 모델(예, 컨볼루션 신경망)과 함께 소프트웨어를 사용할 수 있다. 특정 실시예에서, 제2 엑스선 시스템은 관심 객체의 결함을 특성화하고 결함의 특성화 정보(예, 특정 결함 유형과 관련된 하나 이상의 특징) 및 분류 정보를 제1 엑스선 시스템에 자동으로 전송할 수 있다. 특정 실시예에서, 제2 엑스선 시스템은 인간 전문가 관심 객체의 단면 엑스선 이미지를 검사하여 인간 지식에 기초하여 결함을 특성화하고 분류할 수 있게 할 수 있다. 특정 실시예에서, 제1 엑스선 시스템은 제2 엑스선 시스템으로부터 분류 정보 및 특성화 정보를 수신할 수 있고, 결함 모델을 업데이트/개선하거나 기계 학습(ML) 모델을 훈련하기 위해 수신된 정보를 사용할 수 있다. (본 개시의 나중 섹션에서 묘사됨).
샘플 분류를 위한 2단계 프로세스
2단계 프로세스 개요
특정 실시예에서, 시스템은 검사된 샘플을 분류하기 위해 2단계 프로세스를 사용할 수 있다. 특정 실시예에서, 2단계 프로세스는 다수의 미리 생성된 결함 모델(예, 데이터베이스로부터 액세스됨)을 갖는 하나 이상의 컴퓨터 비전 알고리즘을 사용하여 구현될 수 있다. 특정 실시예에서, 2단계 프로세스는 하나 이상의 기계 학습(ML) 모델을 사용하여 구현될 수 있다. 첫 번째 단계에서 시스템은 검사된 샘플을 인라이어 샘플 또는 아웃라이어 샘플로 분류할 수 있다. 인라이어 샘플은 준수 샘플과 통계적으로 유사한 샘플일 수 있다. 아웃라이어 샘플은 준수 샘플과 통계적으로 다른 샘플일 수 있다. 인라이어 및 아웃라이어 샘플은 검사된 샘플의 엑스선 이미지로부터 추출된 특징의 제1 세트와 대응하는 준수 샘플의 특징 사이의 비교에 기초하여 분류될 수 있다. 두 번째 단계에서 시스템은 통계 분석에 기초한 아웃라이어 샘플을 거짓 양성 또는 다른 결함 유형으로 분류할 수 있다. 거짓 양성 및 다른 결함 유형의 분류는 검사된 샘플의 엑스선 이미지로부터 추출된 특징의 제2 세트와 양성 거짓 모델 및 다른 결함 모델의 각각의 특징의 비교에 기초할 수 있다.
추출된 특징
특정 실시예에서, 시스템에 의해 추출된 특징들의 제1 세트(first set of features)의 특징 또는/및 특징들의 제2 세트(the second set of features)의 특징은, 예를 들어, 이에 제한되지 않는, 하나 이상의 컴포넌트 치수(예, 직경, 길이, 너비, 높이, 두께), 컴포넌트 영역, 재료 분포, 프로파일 기울기(gradient), 위치, 다른 컴포넌트까지의 거리, 다른 컴포넌트에 대한 상대 위치 또는 적층 순서, 하나 이상의 변형이 서로 다른 방향(예, 직경 변형, 길이 변형, 너비 변형, 높이 변형, 영역 변형, 형상 변형, 위치 변형, 변위, 정렬 변형)에서 생성된 다중 X-이미지를 교차, 하나 이상의 특성 (예, 상대 진폭 차이, 변경하는 추세), 엑스선 이미지의 그레이스케일 변경율, 곡선의 곡률, 하나 이상의 엣지의 기울기, 주변 영역의 하나 이상의 특성 등을 포함할 수 있다. 특정 실시예들에서, 특징들의 제1 세트 및 특징들의 제2 세트는 각각 위에서 설명된 바와 같은 하나 이상의 특징들의 조합을 포함할 수 있다. 특정 실시예들에서, 특징들의 제2 세트는 특징들의 제1 세트와 다르거나 부분적으로 다를 수 있다. 특정 실시예에서, 특징들의 제2 세트는 특징들의 제1 세트와 동일할 수 있다.
Inline/outlier Classification 인라이어/아웃라이어 분류
도 3a는 특징들의 제1 세트에 기초하여 검사된 샘플을 인라이어 샘플 및 아웃라이어 샘플로 분류하기 위한 예시적인 프로세스를 도시한다. 특정 실시예에서, 시스템은 N개의 특징들의 제1 세트에 기초하여 N차원 특징 공간을 결정할 수 있다. 시스템은 특징 공간에서 인라이어 샘플 모델을 생성할 수 있다. 인라이어 샘플 모델은 특징 공간에서의 거리를 사용하여 인라이어 샘플의 유사도를 특성화하는 하나 이상의 기준을 사용하여 특징 공간에서 특성화될 수 있다. 새로운 샘플을 검사하기 위해, 시스템은 검사된 샘플의 엑스선 이미지에서 해당하는 특징을 추출하고, 추출된 특징을 특징 공간의 인라이어 샘플 모델과 비교하고, 검사된 샘플을 인라이어 샘플과 아웃라이어 샘플로 분류할 수 있다. 제한이 아닌 예로서, 인라이어 샘플 모델은 2개의 특징(예, 특징 X 및 특징 Y)에 의해 특징 공간에서 특징지어지는 경계 기준(319)을 포함할 수 있다. 시스템은 특징 공간에서 검사된 샘플의 위치와 인라이어 샘플에 대한 검사된 샘플의 거리를 결정하기 위해 통계적 분석(예, 컴퓨터 알고리즘 또는 기계 학습 모델을 사용하여)을 수행할 수 있다. 예를 들어, 시스템은 검사된 샘플(311 및 312)이 이 특징 공간의 경계 기준(319)을 벗어났기 때문에 아웃라이어 샘플이라고 결정할 수 있다. 다른 예로서, 시스템은 검사된 샘플(313 및 314)이 경계 기준(319) 내에 있기 때문에 인라이어 샘플로 결정할 수 있다.
특징 공간에서의 거리에 기초한 품질 메트릭
특정 실시예에서, 시스템은 특징 공간에서 기준점(315)(예를 들어, 중심점 또는 인라이어 샘플의 평균점)까지의 검사된 샘플의 거리에 기초하여 품질 메트릭을 결정할 수 있다. 기준점은 준수 샘플에 대응하는 인라이어 샘플 모델의 평균 또는 가중 평균에 대응할 수 있다. 시스템은 품질 메트릭에 기초하여 검사된 샘플의 품질을 정량적으로 평가할 수 있다. 제한이 아닌 예로서, 시스템은 인라이어 샘플 모델의 중심점(315)에 관하여, 검사된 샘플(311, 312, 312, 314) 각각에 대한 D1, D2, D3 및 D4의 거리 값을 결정할 수 있다. 시스템은 비록 샘플(313 및 314)이 모두 인라이어 샘플이지만, 샘플(313)이 샘플(314)(거리 D4를 가짐)보다 더 작은 평균 중심점(315)까지의 거리 D3를 가진다고 결정할 수 있다. 시스템은 이 품질 메트릭에 의해 측정된 샘플(313)이 314보다 더 나은 품질을 가질 수 있다고 결정할 수 있다. 샘플(314)이 경계 기준(319)에 가깝기 때문에, 시스템은 샘플(314)이 비록 이 검사 시점에 완전히 기능할 수 있지만 장기적으로 높은 신뢰성 리스크를 가질 수 있다고 결정할 수 있다.
특정 실시예에서, 시스템은 각각의 검사된 샘플에 대해 품질 메트릭에 기초하여 추정된 수명을 예측하고 특징 공간에서 해당 샘플의 대응하는 위치에 기초하여 미래에 가능한 고장 모드를 예측할 수 있다. 예를 들어, 시스템은 거리 벡터(예, D1, D2, D3 및 D4)의 길이에 기초하여 추정된 수명을 결정하고 거리 벡터(예, D1, D2, D3, D4)의 방향에 따라 가능한 고장 모드를 결정할 수 있다. 유사하게, 시스템은 샘플(311 및 312)이 모두 아웃라이어 샘플이지만, 샘플(312)이 샘플(311)(거리 D1을 가짐)보다 평균 중심점(315)까지의 거리 D2가 더 크다고 결정할 수 있다. 시스템은 샘플(312)의 제조 프로세스가 준수 샘플을 생성하는 기준 제조 프로세스에서 더 큰 편차를 가질 수 있다고 결정할 수 있다. 도 3a에 도시된 바와 같은 2차원 특징 공간은 예시에 불과하며, 특징 공간이 이에 한정되는 것은 아님에 주목할만 하다. 예를 들어, 특징 공간은 특징들의 제1 세트의 N 특징들에 정의된 N 차원 공간일 수 있다. 도 3a에 도시된 경계 기준은 예시에 불과하며, 이에 한정되는 것은 아님에 주목할만 하다. 예를 들어, 경계 기준은 단일 특징 또는 특징들의 제1 세트의 특징들의 임의의 수의 조합에 기초할 수 있다.
Defect Type Classification 분류 유형 결함
도 3b는 특징들의 제2 세트에 기초하여 검사된 샘플을 다른 서브카테고리로 분류하기 위한 예시적인 도식을 도시한다. 특정 실시예에서, 시스템은 M개의 특징을 포함하는 특징의 제2 세트에 기초하여 특징 공간에서 다른 아웃라이어 샘플 모델을 생성할 수 있다. 아웃라이어 샘플 모델은 아웃라이어 샘플의 유사도를 특성화하는 하나 이상의 기준을 사용하여 특징 공간(예, 특징들의 제2 세트의 M 특징에 기초한 M-차원 공간)에서 특성화 될 수 있다. 특정 실시예에서, 특징들의 제2 세트는 특징들의 제1 세트와 다른 특징 세트일 수 있다. 특정 실시예에서, 특징들의 제2 세트는 특징들의 제1 세트에 포함되지 않는 적어도 하나의 특징을 포함할 수 있다. 특정 실시예에서, 특징들의 제2 세트는 특징들의 제1 세트와 하나 이상의 공유 특징을 가질 수 있다. 특정 실시예에서, 특징들의 제2 세트는 특징 공간을 묘사하기 위한 특징의 다른 조합을 포함할 수 있다. 검사 프로세스 동안, 시스템은 검사된 샘플의 엑스선 이미지에서 해당 특징을 추출하고, 추출된 특징을 특징 공간의 아웃라이어 샘플 모델과 비교하고, 이상치 샘플을 다른 서브카테고리로 분류할 수 있다.
제한이 아닌 예로서, 시스템은 (예, 컴퓨터 알고리즘 또는 기계 학습 모델을 사용하여) 특징 공간에서 다수의 아웃라이어 샘플 모델을 생성할 수 있다. 아웃라이어 모델은 예를 들어, 이에 제한되지 않는, 거짓 양성 모델(324), 보이드 결함 모델(325), 비접촉 개방(non-contact open) 결함 모델(320), 젖음 불량(non-wet) 결함 모델(329), 헤드 인 필로우(head-in-pillow) 결함 모델(326), 브릿징 결함 모델(327), 언노운(unknow) 결함 모델(328) 등을 포함할 수 있다. 시스템은 특징 공간에서 아웃라이어 샘플의 대응하는 위치를 결정하고 아웃라이어 샘플을 다른 카테고리로 분류할 수 있다. 예를 들어, 아웃라이어 샘플(321)은 2단계 프로세스의 첫 번째 단계 동안 아웃라이어 샘플로 식별되기 때문에 언노운 아웃라이어로 분류될 수 있으며, 그러나 특징들의 제2 세트의 특징 공간에 있는 임의의 서브카테고리에는 실패하지 않는다. 다른 예로서, 아웃라이어 샘플(322)은 비접촉 개방 결함(320)의 경계 기준에 속하기 때문에 비접촉 개방 결함(320)으로 분류될 수 있다. 또 다른 예로서, 아웃라이어 샘플(323)은 거짓 양성 카테고리(324)의 경계 기준에 속하기 때문에 거짓 양성 카테고리로 분류될 수 있다. 도 3b에 도시된 바와 같은 아웃라이어 샘플 모델은 예시에 불과하며, 모델이 이에 한정되는 것은 아님에 주목할 만하다. 예를 들어, 모델은 특징들의 제2 세트의 임의의 수의 특징에 의해 설명된 특징 공간에 기초할 수 있다. 특정 실시예에서, 시스템은 컴퓨터 알고리즘, 기계 학습 모델, 또는/및 인간 작업자로부터의 입력에 의해 학습된 새로운 지식에 기초하여 언노운 결함을 갖는 아웃라이어 샘플에 대한 새로운 모델을 생성할 수 있다. 특정 실시예에서, 새롭게 분류된 샘플은 시간 경과에 따른 분류 정확도 및 정밀도를 개선하기 위해 기존 모델을 추가로 업데이트하거나/하고 기계 학습 모델을 훈련하는 데 사용될 수 있다.
기계 학습 모델에 의한 2단계 샘플 분류
특정 실시예에서, 자동 고속 엑스선 도구와 관련된 하나 이상의 컴퓨팅 시스템은 엑스선 이미지를 처리하고 검사된 샘플을 분류하기 위해 하나 이상의 기계 학습(ML) 모델을 사용할 수 있다. 제한이 아닌 예로서, 시스템은 검사된 샘플을 인라이어 카테고리(예, 준수 샘플) 및 아웃라이어 카테고리(예, 비준수 샘플 또는 준수 샘플과 통계적으로 다른 샘플)로 분류하기 위해 라벨링되지 않은 샘플에 의해 훈련될 수 있는 제1 기계 학습 모델을 사용할 수 있다. 검사된 샘플은 검사된 샘플의 엑스선 이미지에 기초하여 결정된 특징들의 제1 세트에 기초하여 기계 학습 모델에 의해 분류될 수 있다. 아웃라이어 샘플의 경우, 특정 실시예에서, 시스템은 다른 결함 유형의 라벨링된 샘플에 의해 훈련될 수 있는 제2 기계 학습(ML) 모델을 사용하여 검사된 샘플의 엑스선 이미지에 기초하여 결정된 특징들의 제2 세트에 기초하여 이상치 샘플을 다수의 서브카테고리(예, 거짓 양성, 보이드 결함, 젖음 불량 결함, 비접촉 개방 결함, 헤드-인-필로우 결함, 브릿징 결함, 오정렬 등)로 분류할 수 있다. 특정 실시예에서, 특징들의 제2 세트는 특징들의 제1 세트와 다른 특징들일 수 있다. 특정 실시예에서, 특징들의 제2 세트는 제1 제2 특징(first second of features)과 일부 특징을 공유할 수 있다.
특정 실시예에서, 인라이어/아웃라이어 분류 및 서브카테고리 분류를 위한 2개의 기계 학습(ML) 모델을 사용함으로써, 시스템은 다른 모델의 정확도와 정밀도에 부정적인 영향을 미치지 않으면서 두 모델 각각을 재훈련하고 업데이트할 수 있다. 예를 들어, 시스템은 제2 엑스선 도구 (예, CT 엑스선 시스템)로부터 다양한 결함 유형의 라벨링된 샘플을 주기적으로 수신하고, 새로 수신된 라벨링된 샘플을 사용하여 인라이어/아웃라이어 샘플을 분류하기 위한 제1 기계 학습 모델(ML)에 영향을 주지 않고 다양한 결함 유형을 분류하기 위해 제2 기계 학습(ML) 모델을 재훈련할 수 있다. 다른 예로서, 인라이어/아웃라이어 샘플을 분류하기 위한 제1 기계 학습(ML) 모델은 제2 기계 학습(ML) 모델에 영향을 미치지 않고 새로운 샘플(예를 들어, 라벨링되지 않은 샘플)에 의해 재훈련될 수 있다.
특정 실시예에서, 시스템은 기계 학습 모델을 사용하여 검사된 컴포넌트를 특징들의 제1 세트에 기초하여 인라이어 샘플 (예, 준수 또는 적격 샘플) 및 아웃라이어 샘플 (예, 인라이어 샘플과 통계적으로 다른 샘플)로 자동 분류할 수 있다. 그 다음에, 시스템은 특징들의 제1 세트와 다를 수 있는 특징들의 제2 세트에 기초하여, 아웃라이어 샘플을 다수의 결함 유형(예, 거짓 양성, 보이드, 젖음 불량 솔더 연결, 비접촉 개방 연결, 헤드-인-필로우 결함, 브릿징 연결, 오정렬 등)을 분류하기 위하여 동일한 기계 학습 모델을 사용할 수 있다. 특정 실시예에서, 시스템은 컴퓨터 비전 알고리즘을 사용하여 엑스선 이미지로부터 검사된 샘플의 특징을 추출하고 추출된 특징을 해당 훈련 샘플의 특징에 기초하여 훈련되는 기계 학습(ML) 모델에 공급할 수 있다. 특정 실시예에서, 시스템은 엑스선 이미지로부터 검사된 샘플의 특징을 추출하기 위해 별도의 기계 학습(ML)을 사용할 수 있고 샘플을 식별하고 분류하기 위해 추출된 특징을 또 다른 기계 학습(ML) 모델에 공급할 수 있다. 특정 실시예에서, 시스템은 검사된 샘플의 엑스선 이미지를 동일한 기계 학습 모델에 직접 공급할 수 있고, 기계 학습 모델은 엑스선 이미지에서 검사된 샘플의 특징을 추출하고 검사된 샘플과 관련된 결함을 식별 또는/및 분류할 수 있다.
라벨링된 또는 라벨링되지 않은 샘플로 훈련된 ML모델
특정 실시예에서, 기계 학습 모델은 라벨링되지 않은 샘플을 포함하는 훈련 모집단에 기초한 비지도 훈련을 사용하여 훈련될 수 있다. 비지도 학습 프로세스 동안, 기계 학습 모델은 훈련 모집단의 엑스선 이미지에 기초하여 특징들의 제1 세트를 결정하고 이러한 특징에 기초하여 다른 샘플 카테고리에 대한 모델을 구축할 수 있다. ML 모델은 하나 이상의 기술(예, 클러스터링, 이상 감지, 관련(association), 오토인코더(autoencoder) 등)을 사용하여 인라이어 샘플 및 아웃라이어 샘플을 분류하는 데 유용한 특징을 자동으로 찾을 수 있다. 특징은 엑스선 이미지에서 관심 영역의 특성이나 성질을 수치적으로 나타낼 수 있다. 훈련 프로세스 동안, 기계 학습 모델은 숨겨진 패턴이나 훈련 샘플의 그룹화를 학습하기 위해 모델의 여러 파라미터 또는 가중치를 조정할 수 있다. 기계 학습 모델은 특징들의 제1 세트의 하나 이상의 특징의 유사도에 기초한 훈련 샘플을 다른 세그먼트 또는 클러스터로 그룹화할 수 있다.
추론 프로세스 동안 검사된 샘플의 엑스선 이미지가 훈련된 기계 학습 모델에 공급될 수 있다. 기계 학습 모델은 검사된 샘플을 다양한 클러스터 또는 카테고리(예, 인라이어 샘플 및 아웃라이어 샘플)로 클러스터링할 수 있다. 예를 들어, 기계 학습 모델은 대부분의 훈련 샘플과 통계적으로 유사한(예, 특징들의 제1 세트의 하나 이상의 특징에 기초하여) 인라이어 샘플을 식별할 수 있고 대부분의 훈련 샘플과 통계적으로 다른(예, 특징들의 제1 세트의 하나 이상의 특징에 기초하여) 샘플을 아웃라이어 샘플로 식별할 수 있다. 다른 예로서, 기계 학습 모델은 훈련 샘플의 평균 또는 가중 평균과 통계적으로 유사한(예를 들어, 특징들의 제1 세트의 하나 이상의 특징에 기초하여) 샘플을 인라이어 샘플로 식별할 수 있고 훈련 샘플의 평균 또는 가중 평균과 통계적으로 다른(예를 들어, 특징들의 제1 세트의 하나 이상의 특징에 기초하여) 샘플을 이상치 샘플로 식별할 수 있다.
특정 실시예에서, 기계 학습 모델은 알려진 인라이어 샘플 및 다른 유형의 알려진 아웃라이어 샘플(예를 들어, 알려진 거짓 양성 및 알려진 결함 유형을 갖는 샘플)을 포함하는 훈련 모집단에 기초한 지도 훈련 프로세스를 사용하여 훈련될 수 있다. 알려진 인라이어 샘플 및 아웃라이어 샘플(다양한 유형의 훈련 모집단)은 훈련 프로세스(예, CT 엑스선 시스템에서 수신) 전에 인간 전문가에 의해 라벨링될 수 있다. 지도 학습 프로세스 동안 기계 학습 모델은 각 샘플 카테고리(예, 거짓 양성, 다른 유형의 결함 샘플)를 특성화하기 위해 훈련 모집단(알려진 또는 라벨링된 결함과 함께)의 엑스선 이미지에서 특징들의 제2 세트를 결정할 수 있다. 특징은 엑스선 이미지에서 관심 영역의 특성이나 성질을 수치적으로 나타낼 수 있다. 훈련 모집단의 다양한 샘플 카테고리에 대한 모델은 기계 학습(ML) 알고리즘에 의해 특징 공간에서 창조될 수 있다. 다른 샘플 카테고리에 대한 모델은 기계 학습 모델의 다수의 가중치 파라미터 또는/및 모델 데이터베이스에 저장된 다수의 특징 벡터의 조합을 포함할 수 있다. 추론 프로세스 동안, 기계 학습 모델에 검사된 샘플의 엑스선 이미지가 공급될 수 있다. 기계 학습 모델은 엑스선 이미지로부터 특징들의 제2 세트 중 하나 이상을 추출하고 추출된 특징을 다양한 모델의 특징과 비교할 수 있다. 기계 학습 모델은 특징들의 제2 세트와 모델의 특징을 비교하여 검사된 샘플을 다른 카테고리로 분류할 수 있다.
특정 실시예에서, 시스템은 엑스선 이미지를 처리하고 관심 객체의 하나 이상의 결함을 식별하기 위해 컴퓨터 비전 기술 또는/및 기계 학습(ML)을 활용하는 자동화된 프로세스를 포함할 수 있다. 예를 들어, 시스템은 컴퓨터 비전 기술 및 ML 모델(과거 데이터를 사용하여 훈련됨)을 사용하여 관심 객체의 엑스선 이미지에서 관심 요소(예, 솔더 조인트)를 식별하고 찾을 수 있다. 시스템은 컴퓨터 비전 기술 또는/및 ML 모델을 사용하여 엑스선 이미지의 엣지, 형상 또는 프로필, 변경하는 기울기, 치수 또는 크기, 다른 특징 또는 파라미터를 결정할 수 있다. 컴퓨터 비전 기술 및 ML 모델은 엑스선 이미지의 고해상도와 넓은 동적 범위를 활용하는 그레이스케일 값 (인간의 눈으로 식별할 수 없는 부분) 간의 미묘한 차이에 기초하여 이러한 특징들 중 하나 이상을 감지하고 식별할 수 있다. 시스템은 컴퓨터 비전 기술 또는/및 기계 학습(ML)을 사용하여 하나 이상의 품질 점수를 결정하고 잠재적인 결함을 식별할 수 있다. 시스템은 컴퓨터 비전 기술과 기계 학습(ML)을 사용하여 결함을 각각의 카테고리로 분류할 수 있다.
특정 실시예에서, 기계 학습(ML) 모델은 지도 학습 프로세스 동안 미리 라벨링된 결함 샘플(예, 다른 유형의 결함을 갖는 부품)에 의해 훈련될 수 있다. 특정 실시예에서, 기계 학습(ML) 모델은 비지도 학습 프로세스 동안 라벨링되지 않은 샘플에 의해 훈련될 수 있다. 지도 학습의 경우, 시스템은 기계 학습(ML) 모델을 적절하게 훈련하기 위해 라벨링된 샘플이 충분히 필요할 수 있다. 시스템은 본 개시의 이전 섹션에서 묘사된 바와 같이 제2 엑스선 시스템으로부터 수신된 특성화 정보 및 분류 정보에 기초하여 다수의 라벨링된 샘플을 결정할 수 있고, 라벨링된 샘플을 사용하여 기계 학습(ML) 모델의 훈련을 위한 샘플 데이터베이스를 업데이트할 수 있다. 그 다음에, 시스템은 기계 학습(ML) 모델이 결함 샘플을 더 잘 식별하고 분류할 수 있도록 새로 라벨링된 샘플을 사용하여 기계 학습 ML 모델을 훈련 또는/및 재훈련할 수 있다. 결과적으로 기계 학습(ML) 모델은 결함 샘플을 식별하고 분류하기 위한 정밀도와 정확도를 점진적으로 개선시킬 수 있다. 비지도 학습의 경우 기계 학습(ML) 모델은 하나 이상의 기술(예, 클러스터링, 이상 감지, 관련, 오토인코더 등)을 사용하여 준수 샘플과 다른 유형의 결함 샘플을 식별하고 분류하는 데 유용한 특징을 자동으로 찾을 수 있다.
기계 학습 모델에 의한 노이즈 감소
특정 실시예에서, 시스템은 결함 솔더 조인트를 식별하기 위해 엑스선 이미지의 그레이스케일 변화를 사용할 수 있다. 특정 실시예에서, 엑스선 이미지는 관심 객체의 엑스선 이미지에서 노이즈를 생성하는 다수의 특징(예, 엣지, 형상, 그림자 등)을 포함할 수 있다. 예를 들어, 검사된 장치는 특정 방향 또는 각도에서 생성된 엑스선 이미지에서 관심 요소와 오버랩되거나 교차할 수 있는 다수의 요소 (예, 솔더 볼, 연결, 스트립, 다른 레이어의 와이어)를 갖는 각 레이어와 함께 다수의 레이어를 포함할 수 있다. 이러한 간섭 특징 또는 요소는 노이즈 레벨에 기여하고 엑스선 이미지의 신호 대 잡음비(signal-to-noise ratio, SNR)를 감소시킬 수 있다. 감소된 SNR은 결함 솔더 조인트 결함(defecting)의 오류(예, 과잉 거부, 거짓 양성 결과, 거짓 음성 결과 등)로 이어질 수 있다. 예를 들어, 간섭 요소는 엑스선 신호를 약해지게 하고 관심 요소에 대한 엑스선 이미지의 그레이스케일 레벨의 동적 범위를 잃을 수 있다. 다른 예로서, 간섭 요소(예, 구리 원소)는 관심 요소(예, 솔더 조인트)보다 더 큰 위치 허용 오차(location tolerance)를 가질 수 있으며, 간섭 패턴(예, 크기, 위치, 상대 각도 등)의 변화를 유발할 수 있으며, 이는 시스템이 관심 요소 및 관련 결함을 식별하는 데 추가적인 어려움을 더할 수 있다. 특정 실시예에서, 시스템은 스펙트럼 특정 엑스선 필터 또는 스펙트럼 특정 엑스선 센서를 사용하여 간섭 노이즈를 줄이고 검사된 요소에 대한 신호 대 잡음비를 높이는 다른 재료에 선택적인 엑스선 이미지를 생성할 수 있다.
특정 실시예에서, 간섭 노이즈 또는 패턴을 포함하는 엑스선 이미지로부터 결함 요소를 식별하기 위해, 시스템은 엑스선 이미지를 처리하고 결함 요소 (예, 결함 솔더 조인트)를 식별하기 위해 하나 이상의 인공 지능 알고리즘 (예, 기계 학습 모델, 컴퓨터 비전 알고리즘 등)을 사용할 수 있다. 제한이 아닌 예로서, 시스템은 많은 수의 샘플(예: 전자 장치 또는 컴포넌트10K 샘플)을 사용하여 기계 학습 모델을 훈련할 수 있다 기계 학습 모델은 훈련 모집단에 기초하여 검사된 샘플에 대한 검사 모델 또는 기준 모델을 생성할 수 있다. 기계 학습 모델은 많은 샘플 모집단에 의해 훈련될 수 있기 때문에, 엑스선 이미지에서 랜덤 노이즈의 영향은 많은 샘플 모집단에 의해 평균화될 수 있다. 기계 학습 모델은, 훈련 후, 다양한 유형의 간섭 패턴(예, 구리 패턴)을 포함하는 엑스선 이미지를 기반으로 검사된 샘플의 결함 있는 관심 요소(예, 결함 솔더 조인트)를 효과적으로 식별할 수 있다. 예를 들어, 기계 학습 모델은 검사된 샘플에서 관심 요소와 관련된 다수의 특징 또는 숫자 속성을 추출하고 추출된 특징에 기초하여 이러한 관심 요소와 관련된 결함이 있는지 여부를 식별할 수 있다.
특정 실시예에서, 시스템은 이러한 간섭 특징으로부터 영향을 제거하거나 감소시키기 위해 기계 학습 모델을 사용할 수 있다. 예를 들어, 기계 학습 모델은 서로 다른 유형의 간섭 특징 및 요소를 포함하는 엑스선 이미지에서 특정 레이어의 특정 관심 요소를 식별하기 위해 과거 데이터(예, 라벨링된 데이터 또는 라벨링되지 않은 데이터)로 훈련될 수 있다. 다른 예로서, 기계 학습 모델은 엑스선 이미지에서 관심 요소를 간섭 특징 또는 요소로부터 격리하도록 훈련될 수 있다. 특정 실시예에서, 시스템은 컴퓨터 비전 기술 및 기계 학습 모델을 사용하여 관심 요소를 하나 이상의 특성에 기초하여 간섭 특징 및 요소로부터 격리할 수 있다. 예를 들어, PCB 기판의 와이어 또는 도체 스트립은 특정 모양(예, 엣지 선명하고 두께가 균일한 스트립 형상), 크기 또는/및 치수를 가질 수 있다. 또 다른 예로서, 솔더 패드는 특정 크기를 갖는 원형 형상을 가질 수 있고 특정 위치(예, 설계 청사진으로부터 액세스되는 정보에 기초하여)에 위치할 수 있다. 결과적으로 기계 학습 모델은 간섭 요소에 의해 발생(introducing)하는 노이즈에도 불구하고 검사된 구성 요소를 정확하게 분류할 수 있다.
예시 방법: 2단계 분류 프로세스
도 4는 2단계 프로세스를 사용하여 검사된 샘플을 분류하기 위한 예시적인 방법(4000)을 도시한다. 이 방법은 자동 고속 엑스선 검사 시스템과 연관된 컴퓨팅 시스템이 (예: 컴퓨터 비전 알고리즘 또는/및 기계 학습 모델 사용하여) 엑스선 이미지에서 하나 이상의 관심 리전(region)으로부터 특징들의 제1 세트를 추출할 수 있는 단계(410)에서 시작할 수 있다. 하나 이상의 관심 리전은 검사된 샘플의 관심 요소와 관련될 수 있다. 단계(420)에서, 시스템은 (예, 컴퓨터 비전 알고리즘 또는/및 기계 학습 모델을 사용하여) 추출된 특징들의 제1 세트 및 다수의 인라이어 샘플과 관련된 알려진 특징들의 제1 세트에 기초하여 검사된 샘플을 인라이어 카테고리 또는 아웃라이어 카테고리로 분류할 수 있다. 인라이어 훈련 샘플과 관련된 알려진 특징들의 제1 세트는 컴퓨터 비전 알고리즘 또는 기계 학습 모델에 의해 생성된 인라이어 샘플 모델과 관련될 수 있다. 인라이어 샘플 모델은 특징들의 제1 세트의 하나 이상의 특징에 기초하여 특징 공간에서 생성될 수 있다. 검사된 샘플의 관심 요소는 특징 공간에서 인라이어 샘플 모델의 경계 기준을 관심 요소가 만족하는 경우, 인라이어 카테고리로 분류될 수 있다. 샘플이 특징 공간에서 인라이어 샘플 모델의 경계 기준을 벗어나는 경우, 검사된 샘플은 아웃라이어 카테고리로 분류될 수 있다.
단계(430)에서, 검사된 샘플이 아웃라이어 카테고리로 분류되는 경우, 시스템은 (예, 컴퓨터 비전 알고리즘 또는/및 기계 학습 모델 사용하여) 엑스선 이미지에서 하나 이상의 관심 영역으로부터 특징들의 제2 세트를 추출할 수 있다. 특징들의 제2 세트는 특징들의 제1 세트와 다를 수 있다(예, 특징들의 제1 세트와 다른 적어도 하나의 특징을 포함하거나 특징 공간과 관련된 하나 이상의 특징들의 다른 조합을 포함함). 단계(440)에서, 시스템은 (예, 컴퓨터 비전 알고리즘 또는/및 기계 학습 모델을 사용하여) 추출된 특징들의 제2 세트 및 다른 유형들의 아웃라이어 샘플들과 관련된 알려진 특징들의 제2 세트에 기초하여 검사된 샘플을 다수의 서브카테고리들의 서브카테고리로 분류할 수 있다. 특정 실시예에서, 서브카테고리는 예를 들어, 이에 제한되지 않는, 거짓 양성 카테고리, 보이드 결함 카테고리, 비접촉 개방 결함 카테고리, 젖음 불량 결함 카테고리, 헤드 인 필로우 결함 카테고리, 브릿징 결함 카테고리, 언노운 결함 카테고리 등을 포함할 수 있다. 특정 실시예에서, 시스템은 특징 공간의 기준점까지의 관심 요소의 거리에 기초하여 관심 요소에 대한 품질 메트릭을 결정할 수 있고, 품질 메트릭에 기초하여 관심 요소의 품질을 평가할 수 있다.
특정 실시예에서, 시스템은 검사된 샘플을 인라이어/아웃라이어 샘플 카테고리로 분류하기 위해 라벨링되지 않은 샘플을 사용하여 훈련되는 제1 기계 학습(ML) 모델을 사용할 수 있다. 제1 기계 학습(ML) 모델은 검사 샘플의 엑스선 이미지에서 추출된 특징들의 제1 세트에 기초하여 검사 샘플을 분류할 수 있다. 시스템은 각각의 결함 카테고리에 대해 아웃라이어 샘플을 분류하기 위해 서로 다른 유형의 결함으로 라벨링된 샘플을 사용하여 훈련되는 제2 기계 학습(ML) 모델을 사용할 수 있다. 제2 기계 학습(ML) 모델은 검사된 샘플의 엑스선 이미지로부터 추출된 특징들의 제2 세트에 기초하여 검사된 샘플을 분류할 수 있으며, 이는 특징들의 제1 세트와 다를 수 있다. 제1 및 제2 기계 학습(ML) 모델은 서로의 분류 정밀도 및 정확도에 영향을 미치지 않으면서 별도로 학습 및 재학습될 수 있다. 특정 실시예에서, 시스템은 특징들의 제1 세트를 추출하기 위해 제1 컴퓨터 비전 알고리즘을 사용할 수 있고, 관련된 샘플을 분류하기 위해 추출된 특징을 제1 기계 학습(ML) 모델에 공급할 수 있다. 시스템은 특징들의 제2 세트를 추출하기 위해 제2 컴퓨터 비전 알고리즘을 사용할 수 있고 관련된 샘플을 분류하기 위해 추출된 특징을 제2 기계 학습(ML) 모델에 공급할 수 있다. 특정 실시예에서, 시스템은 특징을 추출하고 검사된 샘플을 분류하기 위해 검사된 샘플의 엑스선 이미지를 제1 및 제2 기계 학습(ML) 모델에 직접 공급할 수 있다. 특정 실시예에서, 시스템은 검사된 샘플을 인라이어/아웃라이어 샘플 카테고리 및 각각의 결함 카테고리로 분류하기 위해 단일 기계 학습(ML) 모델을 사용할 수 있다.
본 개시는 특정 순서로 발생하는 도 4의 방법의 특정 단계를 설명하고 예시하지만, 본 개시는 임의의 적절한 순서로 발생하는 도 4의 방법의 임의의 적절한 단계를 고려한다. 게다가, 비록 본 개시는 도 4의 방법의 특정 단계를 포함하는 2 단계 프로세스를 사용하여 검사된 샘플을 분류하기 위한 예시적인 방법을 묘사하고 도시하지만, 본 개시는 적절한 경우, 도 4의 방법의 단계 중 전부, 일부 또는 전혀 포함하지 않을 수 있는 임의의 적절한 단계를 포함하는 2단계 프로세스를 사용하여 검사된 샘플을 분류하기 위한 적절한 방법을 고려한다. 더욱이, 본 개시는 도 4의 방법의 특정 단계를 수행하는 특정 컴포넌트, 장치 또는 시스템을 묘사하고 도시하지만, 본 개시는 도 4의 방법의 임의의 적절한 단계를 수행하는 임의의 적절한 컴포넌트, 장치 또는 시스템의 임의의 적절한 조합을 고려한다.
예시 방법: 기준 모델 기반 검사
도 5는 관심 객체를 검사하기 위해 인접한 객체의 엑스선 이미지에 기초하여 생성된 기준 모델을 사용하기 위한 예시적인 방법(5000)을 도시한다. 방법은 자동 고속 엑스선 검사 시스템과 관련된 컴퓨팅 시스템이 검사될 관심 객체에 대한 하나 이상의 기준 객체를 식별할 수 있는 단계(510)에서 시작할 수 있다. 각 기준 객체는 관심 객체와 동일한 유형 및 컴포넌트를 가지고 있다. 제한이 아닌 예로서, 관심 객체는 제1 객체 유형일 수 있고 하나 이상의 특정 컴포넌트를 가질 수 있다. 각 기준 객체는 제1 객체 유형일 수 있으며, 동일한 하나 이상의 특정 컴포넌트를 가질 수 있다. 단계(520)에서, 시스템은 하나 이상의 기준 객체의 하나 이상의 엑스선 이미지에 기초하여 관심 객체에 대한 기준 모델을 생성할 수 있다. 단계(530)에서, 시스템은 관심 객체의 제1 엑스선 이미지를 기준 모델과 비교함으로써 관심 객체가 하나 이상의 결함과 관련되는지 여부를 결정할 수 있다. 하나 이상의 결함은 하나 이상의 미리 결정된 결함 모델에 의해 특성화될 수 있다. 관심 객체가 하나 이상의 결함과 관련되는 경우, 하나 이상의 결함은 하나 이상의 미리 결정된 결함 모델에 기초하여 각각의 결함 카테고리로 분류될 수 있다. 특정 실시예에서, 기준 모델 및 하나 이상의 엑스선 이미지는 제1 배경 노이즈 패턴과 연관될 수 있다. 특정 실시예에서, 관심 객체의 제1 엑스선 이미지는 제1 배경 노이즈 패턴과 실질적으로 유사한 제2 배경 노이즈 패턴과 관련될 수 있다. 제1 엑스선 이미지와 기준 객체를 포함하는 엑스선 이미지에서 실질적으로 유사한 배경 노이즈 프로파일은 관심 객체를 기준 모델과의 효과적인 비교를 허용할 수 있다. 즉, 기준 객체를 포함하는 제1 엑스선 이미지와 엑스선 이미지의 배경 노이즈 프로파일은 미리 정해진 유사도 임계값 범위 내에서 동일하거나 유사할 수 있다. 결과적으로, 그들 사이의 작은 차이로 인해 결함 감지 프로세스가 결함을 잘못 식별하거나 관심 대상과 기준 대상 간의 비교에 기초하여 결함을 식별하는 데 실패하지 않을 것이다. 특정 실시예에서, 제1 엑스선 이미지 및 기준 객체를 포함하는 엑스선 이미지의 배경 노이즈는 가까운 (예, 테스트 대상 객체 위 또는 아래에 있는 객체) 다른 객체의 전환(shifting)과 연관된 특징, 치수는 다르지만 미리 결정된 프로세스 변화 범위 내에 있는 특징, 해당하는 미리 결정된 범위 내에 있는 그레이 레벨의 왜곡 또는 노이즈(예, 샷 노이즈)와 같은 이미징 아티펙트(artifacts) 등을 포함할 수 있다. 특정 실시예에서, 실질적으로 유사한 배경 노이즈는 적합 샘플을 묘사하는 값에 대응하는 미리 결정된 범위 내에 있는 특징을 갖는 배경 잡음을 지칭할 수 있고, 배경 노이즈 차이로 인한 임의의 편차 또는 차이로 인해 시스템이 이를 결함으로 식별하지 못할 수 있다.
특정 실시예에서, 관심 객체의 제1 엑스선 이미지는 제1 각도에서 캡처될 수 있다. 시스템은 제1 각도와 다른 제2 각도에서 관심 대상의 제2 엑스선 이미지를 캡처할 수 있다. 적어도 하나의 결함은 관심 객체의 제1 엑스선 이미지 및 제2 엑스선 이미지에 기초하여 각각의 결함 카테고리로 분류될 수 있다. 특정 실시예에서, 시스템은 하나 이상의 결함과 관련된 위치 정보를 제2 엑스선 검사 도구로 전송할 수 있다. 제2 엑스선 검사 도구는 관심 객체의 단면 엑스선 이미지에 기초하여 하나 이상의 결함을 특성화할 수 있다. 시스템은 제2 엑스선 검사 도구로부터 하나 이상의 결함의 특성화 정보를 수신할 수 있다. 특정 실시예에서, 제2 엑스선 검사 툴로부터 수신된 하나 이상의 결함의 특성화 정보는 제2 엑스선 검사 툴에 의해 결정된 결함 유형 분류 정보를 포함할 수 있다.
특정 실시예에서, 시스템은 제2 엑스선 검사 도구로부터 수신된 특성화 정보에 기초하여 다수의 라벨링된 샘플을 결정할 수 있다. 시스템은 복수의 라벨링된 샘플에 기초하여 하나 이상의 기계 학습 모델을 훈련할 수 있다. 특정 실시예에서, 시스템은 제1 기계 학습 모델을 사용하여 관심 객체를 인라이어 카테고리 또는 아웃라이어 카테고리로 분류할 수 있다. 제1 기계 학습 모델은 비지도 훈련 프로세스 동안 다수의 라벨링되지 않은 샘플에 기초하여 훈련될 수 있다. . 관심 객체는 관심 객체의 특징들의 제1 세트 및 다수의 준수 샘플과 관련된 미리 결정된 특징들의 제1 세트에 기초하여 분류될 수 있다. 관심 객체는 특징들의 제1 세트의 하나 이상의 특징에 의해 특성화되는 특징 공간에서 인라이어 샘플 모델의 경계 기준을 충족(meet)할 때 인라이어 카테고리로 분류될 수 있다. . 특정 실시예에서, 관심 객체는 특징들의 제1 세트의 하나 이상의 특징에 의해 특성화되는 특징 공간에서 관심 객체가 인라이어 샘플 모델의 경계 기준을 벗어날 때 아웃라이어 카테고리로 분류될 수 있다.
특정 실시예에서, 관심 객체가 아웃라이어 카테고리로 분류되는 경우, 시스템은 제2 기계 학습 모델을 사용하여 관심 객체의 특징들의 제2 세트 및 다수의 라벨링된 샘플과 관련된 미리 결정된 특징들의 제2 세트에 기초하여 관심 대상을 다수의 서브카테고리의 서브카테고리로 분류할 수 있다.T 제2 기계 학습 모델은 라벨링된 다수의 샘플에 의해 훈련될 수 있다. 특정 실시예들에서, 특징들의 제2 세트는 특징들의 제1 세트와 다를 수 있다. 특정 실시예에서, 서브 카테고리는 거짓 양성 카테고리, 보이드 결함 카테고리, 비접촉 개방 결함 카테고리, 젖음 불량 결함 카테고리, 헤드 인 필로우 결함 카테고리, 브릿징 결함 카테고리, 또는 언노운 결함 카테고리를 포함할 수 있다.
특정 실시예에서, 시스템은 관심 객체에 대응하는 특징 공간의 점(point)로부터 특징 공간의 기준점까지의 벡터에 기초하여 관심 객체에 대한 품질 점수를 결정할 수 있다. 시스템은 관심 객체의 품질 점수 및 벡터에 기초하여 관심 객체에 대한 하나 이상의 고장 모드를 예측할 수 있다. 특정 실시예에서, 기준 모델은 하나 이상의 기준 객체의 하나 이상의 엑스선 이미지의 가중 평균에 기초하여 생성될 수 있다. 특정 실시예에서, 관심 객체의 제1 엑스선 이미지는 하나 이상의 간섭 요소를 포함할 수 있다. 하나 이상의 기준 객체는 동일한 생산 배치(batch)에서 관심 객체에 인접한 객체일 수 있다.
특정 실시예에서, 하나 이상의 기준 객체의 하나 이상의 엑스선 이미지는 하나 이상의 기준 객체가 엑스선 센서의 필드 오브 뷰(field of view) 내의 동일한 위치에 위치된 상태에서 캡처될 수 있다. 관심 객체의 제1 엑스선 이미지는 엑스선 센서의 필드 오브 뷰 내 동일한 위치에 관심 객체가 위치하여 촬영될 수 있다. 특정 실시예에서, 관심 객체의 제1 엑스선 이미지는 간섭 요소 또는 간섭 객체가 없을 수 있다. 하나 이상의 기준 객체의 하나 이상의 엑스선 이미지는 제1 엑스선 이미지의 적어도 하나의 포션에 대응할 수 있다. 하나 이상의 기준 객체는 제1 엑스선 이미지 내에서 관심 객체에 인접할 수 있다. 특정 실시예에서, 하나 이상의 미리 결정된 결함 모델 각각은 관련된 결함을 특성화하기 위한 하나 이상의 임계값을 포함할 수 있다. 하나 이상의 임계값은 하나 이상의 휴리스틱 규칙에 기초하여 결정될 수 있다. 특정 실시예에서, 관심 객체는 제1 객체 유형일 수 있고 하나 이상의 특정 컴포넌트 가질 수 있다. 각 기준 객체는 제1 객체 유형일 수 있으며 동일한 하나 이상의 특정 컴포넌트를 가질 수 있다. 특정 실시예에서, 관심 객체는 생산 배치의 전자 부품일 수 있고 기준 객체는 동일한 생산 배치에서 관심 대상에 가까운 부품일 수 있다. 특정 실시예에서, 시스템은 제1 엑스선 이미지와 기준 모델의 비교에 기초하여 관심 대상의 제1 엑스선 이미지에서 하나 이상의 간섭 요소를 제1 엑스선 이미지로부터 제거할 수 있다. 간섭 요소가 제거된 제1 엑스선 이미지는 관심 객체에서 관심 요소에 대한 선명한 엑스선 이미지를 가질 수 있다.
본 개시는 비록 특정 순서로 발생하는 도 5의 방법의 특정 단계를 설명하고 예시하지만, 본 개시는 임의의 적절한 순서로 발생하는 도 5의 방법의 임의의 적절한 단계를 고려한다. 게다가, 비록 본 개시는 도 5의 방법의 특정 단계를 포함하는 관심 객체를 검사하기 위해 인접한 객체의 엑스선 이미지에 기초하여 생성된 기준 모델을 사용하기 위한 예시적인 방법을 묘사하고 도시하지만, 본 개시는 적절한 경우, 도 4의 방법의 단계 중 전부, 일부 또는 전혀 포함하지 않을 수 있는 임의의 적절한 단계를 포함하는 관심 객체를 검사하기 위해 인정한 객체의 엑스선 이미지에 기초하여 생성된 기준 모델을 사용하기 위한 방법을 고려한다. 더욱이, 본 개시는 도 5의 방법의 특정 단계를 수행하는 특정 컴포넌트, 장치 또는 시스템을 묘사하고 도시하지만, 본 개시는 도 5의 방법의 임의의 적절한 단계를 수행하는 임의의 적절한 컴포넌트, 장치 또는 시스템의 임의의 적절한 조합을 고려한다.
장점: 검사 속도
본 발명의 중요한 장점은 엑스선의 확장된 소스가 사용될 수 있어 이미징에 사용되는 엑스선의 가용 플럭스(available flux)를 증가시킬 수 있다는 것이다. 이는 차례로(in turn) 시스템의 가능한 처리량을 증가시킨다. 다르게 말하면, PPM 시스템으로 단일 검사 이미지를 획득하는 시간에, 제안된 발명은 동일한 해상도로 300,000개 이상의 이미지를 획득할 수 있다.
다음과 같은 PPM 엑스선 시스템과의 비교를 생각한다. 이미지를 획득하기 위한 시간은 엑스선의 플럭스
Figure pct00001
에 의존한다.
Tacquire = ( P# x XP ) /
Figure pct00002
여기서 P# 은 픽셀 수, XP는 픽셀당 엑스선 수,
Figure pct00003
는 엑스선 플럭스이다. 포인트 소스로부터 엑스선 플럭스는 다음과 같다:
Flux =
Figure pct00004
= β x
Figure pct00005
x SA
여기서 β 는 포인트 소스 밝기,
Figure pct00006
는 mrad2의 각도 분포, SA는 포인트 소스 영역 SA= π r2이다. 엑스선 시스템의 소스 스팟 크기는 일반적으로 ASTM 표준 SE-1165를 사용하여 정의된다. ["Standard Test Method for Measurement of Focal Spots of Industrial X-ray Tubes by Pinhole Imaging," ASTM Committee E- 7 on Nondestructive Testing, May 15, 1992].
일반적인 엑스선 소스 밝기 β 는
β = 108 X-rays / sec / mm2 / mrad2 .
자동 검사에서 시차 오류(parallax errors)를 방지하려면 PPM 엑스선 빔을 잘 시준해야 한다. 20mrad의 발산(divergence)이 일반적이다. 포인트 소스
Ω = (20 mrad)2 = 400 mrad2
그리고 소스 스팟 직경이 d = 2r = 1 μm = 10-3 mm인, 플럭스는 다음과 같이 주어진다.
Flux =
Figure pct00007
= β x
Figure pct00008
x SA
= 108 x 400 x π x [0.5 x 10-3]2 X-rays /sec
= 400 x π x 0.25 x 108 x [10-3]2 X-rays /sec
= 400 x π x 25 X-rays /sec
= 31,416 = 3.14 x 104 X-rays / sec.
일반적인 엑스선 이미지 센서는 512 x 512 픽셀을 가질 수 있으며 이미지 형성을 위해 픽셀당 1,000개의 엑스선이 필요하다. PPM 시스템의 이미지는 따라서 약 8,350초 또는 2.3시간 내에 수집된다.
한편, 동일한 광원 밝기를 유지하지만 본 발명에 따라 더 큰 소스 스팟 크기로 조명하는 것은 객체를 조명하는 엑스선 플럭스를 극적으로 증가시킨다. 예를 들어, 객체에서 100mm 떨어진(separated) 직경 1mm(r=0.5mm)의 소스를 가정하고, 더욱이 객체에서 신틸레이터까지의 거리가 100마이크론(microns)이라고 가정한다. 엑스선 빔의 각도 발산은 다음과 같이 주어진다.
α = 1 mm /100 mm = 10 mrad,
만든다
Ω = 100 mrad2 .
스팟 영역은 = π x [0.5]2 = 0.785 mm2, 그래서 플럭스는
Flux =
Figure pct00009
= 108 x 100 x 0.785 photons /sec
= 7.85 x 109 photons /sec
이는 PPM 구성보다 250,000배 정도(by a factor of 250,000 times) 더 높다. 따라서 동일한 512 x 512 이미지(픽셀당 1,000개의 엑스선을 갖는)를 이제 고속으로 생성할 수 있으며, 예를 들어, 이제 대략 33msec의 비례하여 더 빠른 이미지 수집 시간을 가질 수 있다.
실제 문제(practical matter)로서, 처리량 향상은 이 숫자에서 2와 10 사이의 정도(by a factor of between 2 and 10)만큼 더 감소될 수 있다. PPM 이미징 시스템은 50%에서 100% 사이의 양자(quantum) 효율을 가질 수 있는 CCD 엑스선 감지기로 확대된 그림자 이미지에서 엑스선을 직접 감지할 수 있다. 일반적인 엑스선 CCD 어레이는 약 100 μm x 100 μm 크기의 픽셀 어레이를 포함한다.
비교하여(In comparison), 개시된 발명의 시스템에 대한 고해상도 직접-그림자(direct-shadow) 이미지는 확장된 엑스선 소스에서 나오며 증대(magnified)되지 않는다. 현대(contemporary)의 엑스선 이미지 감지기의 픽셀은 근접(proximity) 이미지를 해결(resolve)하기에는 너무 크다. 대신, 여기에 개시된 발명은 엑스선을 광학 광자로 변환하고 이 광학 이미지를 증대하는 신틸레이터를 포함한다.
특정 해상도를 달성하기 위해 신틸레이터의 두께 사양이 있을 수 있다. 예를 들어, 1 마이크론의 해상도에 대해 신틸레이터는 1에서 10 마이크론 사이의 구체화된 두께를 가질 수 있다. 얇은 신틸레이터의 경우 일부 입사 엑스선은 흡수되지 않고 신틸레이터를 통과한다. 따라서 이 변환 과정의 양자 효율은 신틸레이터를 통과하는 엑스선의 약 20%에 대해 가시 광자를 방출하여 PPM 시스템보다 나빠질 수 있다. 이 외에도 현미경은 광학 시스템 NA와 가시 CCD 감지기의 양자 효율에 따라 추가 광자를 잃을 수 있다. 그러나 이러한 손실에도 불구하고 확장 소스의 더 높은 플럭스가 제공하는 이점은 여전히 중요한 장점을 제공한다.
장점: 이미징 해상도
종래 기술의 PPM 시스템의 해상도는 엑스선 소스의 스팟 크기에 의해 결정된다. 예를 들어, 1 마이크론 스팟 크기의 소스는 시스템이 최적의 해상도에서 작동한다고 가정할 때 1 마이크론 해상도의 이미지를 생성한다. 실제로는 작은 스팟 크기에 대한 엑스선 소스의 효율성이 급격히 감소하기 때문에 PPM 시스템으로 1마이크론보다 훨씬 낮은 해상도를 달성하기가 어렵다. 엑스선 소스의 스팟 크기가 축소(decrease)됨에 따라 엑스선 타겟이 녹지 않도록 엑스선 파워를 줄여야 한다. 더욱이 엑스선 타겟을 더 얇게 만들어 타겟의 산란(scattering)을 감소해야 한다. 결과적으로 스팟 크기가 2배 감소할 때마다 소스의 플럭스는 약 2배에서 4배까지 정도 축소된다 전반적으로 처리량은 최소 8배 축소되어 해상도가 2배 개선된다.
본 발명에 따른 이미징 시스템의 경우, 신틸레이터는 조사되는 객체에 매우 근접하고 방출된 광자는 엑스선에 비례한다. 신틸레이터에서 방출된 광자를 감지기로 중계(relay)하는 광학 시스템의 경우, λ = 535 nm의 신틸레이터 방출 파장을 가정하고, 굴절률(refractive index) n=1.84인 LuAG 광학 요소를 포함하는 NA
Figure pct00010
1.75인 고체 이머젼(immersion) 광학 시스템, 신틸레이터 광자를 감지기로 중계하는 광학 시스템의 회절 제한 해상도(diffraction-limited resolution) R에 대한 정의는 다음과 같다.
Figure pct00011
이는 PPM 시스템의 1마이크론 해상도보다 6.5배 작다.
장점: 타임 투 마켓(Time to Market)
50마이크론 미만의 해상도에서 비파괴(non-destructive) 이미지를 수집할 수 있는 고속은 앞서 묘사된 FCI(Flip Chip Interconnect) 프로세스와 같은 제조 프로세스 개발의 타임 투 마켓을 개선할 수 있다. 앞서 묘사된 고장 분석을 위한 파괴적인 프로세스는 단일 이미지를 수집하는 데 몇 주가 걸리고 부품에 대한 통계 데이터를 수집하는 데 몇 개월이 걸릴 수 있다. 본 발명의 시스템을 사용하여 이미지를 수집하고 분석할 수 있는 빠른 시간 때문에, 이러한 제품에 대한 프로세스 개발 시간은 며칠 단위로 계산될 수 있으며, 일반적으로 새로운 제품을 설계하고 시장에 출시하는 데 필요한 총 시간의 파편(fraction)이다.
더욱이, 향상된 해상도 때문에, 본 발명은 50 마이크론보다 작은 피치(pitches)를 갖는 새로운 FCI 프로세스에 사용될 수 있다. 본 발명은 상당히 작은 피치에 사용될 수 있으며, 여전히 원하는 이미지 해상도와 속도를 유지할 수 있다. 제품 개발 주기 측면에서 피드백 시간이 1주에서 몇 주간 증가하면 새로운 제품 개발에 필요한 시간에 명백하고 상당한 영향을 미친다. 간단한 경우에, 아마도 설정 및 데이터 수집의 3~5 사이클에 의하면 새 장치에 대한 프로세스를 설립하는 데 충분할 수 있다. 고밀도 인터포저 또는 3D IC와 같은 더 복잡한 경우에는 수십 또는 수백 번의 반복이 필요할 수 있다. 본 발명이 없다면 이러한 각 사이클은 몇 주가 소요될 수 있으며 제품의 전체 타임 투 마켓은 이러한 주기에 의해 지배될 수 있다. 처리할 때 미세 피치(fine pitch)(50마이크론 이하) 본딩(bond)의 품질을 결정하는 방법은 분명히 상당한 이점을 제공한다.
여기에 개시된 시스템 및 방법에 의해 생성된 이미지 및 계산을 통해 몇 초 또는 몇 분 만에 본딩 직후 본딩 품질을 검사할 수 있다. 대량 생산을 위한 새로운 반도체 제품을 개발하고 자격을 부여하기 위해, 많은 개별 프로세스와 이러한 프로세스의 통합을 설립하고 튜닝(tuned)하고 테스트해야 한다. 반도체 웨이퍼의 관통 실리콘 비아(TSV)를 형성하는 경우, 프로세스 흐름은 일반적으로 비아(vias)가 먼저 형성되고 후속하여 비아 위의 웨이퍼 표면에 캡처 패드가 형성되어야 한다. 캡처 패드는 비아 자체의 광학 검사를 가리기(obscure) 때문에, 본 발명이 없다면, 비아와 캡처 패드 사이의 정렬은 실리콘 웨이퍼를 절단하고 크로스 섹션(cross-section)에서 이 특징을 검사하지 않고 제조 시에 정확하게 결정되지 않을 수 있다. 이 절차는 시간이 많이 걸리고 또한 실리콘 웨이퍼와 그 안에 포함된 모든 경제적 가치를 파괴하기 때문에 바람직하지 않다.
FCI를 사용하여 두 개 이상의 칩 또는 기판 또는 완전한 웨이퍼를 함께 본딩하는 경우, 정렬, 본딩 힘, 본딩 온도, 가열율(rate of heating) 및 냉각율(rate of cooling)는 다른 인자들 중에서 엄격하게 제어되어야 한다. 제조 장비 및 프로세스의 제어로 일부 필요한 제어가 가능하지만, 광학적으로 보이지 않는 제품 내 특징의 검사 및 측정도 필요할 수 있다. 본 발명에 개시된 장치(apparatus)를 사용하지 않고, 조립된 부품은 검사를 위해 크로스 섹션(cross-sectioned)이 되어야 한다. 상호 연결 본드의 미세한 피치와 매우 많은 양의 연결을 가정하면(Given), 이 절차는 몇 주가 소요될 수 있다. 일반적으로 전체 상호 연결 본드 중 매우 작은 서브셋만 실제로 검사될 수 있다.
본드를 신속하게 검사할 수 없으면 개별 프로세스 단계를 미세 튜닝하고 완제품을 만들기 위해 여러 프로세스 단계를 통합하는 데 필요한 시간이 상당히 추가될 수 있다. 예를 들어, 제품을 개발하고 자격을 부여하기 위해 본딩 프로세스를 25번 반복해야 하는 경우를 생각해 본다. 본 발명에 개시된 장치(apparatus)가 없는 경우, 각 반복은 다양한 프로세스 및 도구 구성 하에서 샘플의 각 그룹을 구축하는 데 1주일이 필요할 수 있다. 샘플 그룹을 제조한 후, 개별 유닛을 크로스 섹션화하고 창조된 본드의 품질 및 속성을 검사하는 데 추가 2주가 필요할 수 있다. 따라서 총 시간은 25사이클 x (만들기 1주 + 검사 2주) = 75.0주이다.
본 발명에 개시된 장치(apparatus)의 사용으로, 시간 소모적인 크로스 섹션의 필요성을 제거함으로써 2주의 검사가 몇 분으로 단축될 수 있다. 순차적 사이클의 총 시간은 이제 다음과 같이 계산할 수 있다: 25사이클 x (만들기 1주 + 검사 1시간) = 25.15주, 49.85주 감소(또는 초기 타임 투 마켓의 66%). 휴대폰과 같은 전자 장치가 연간 1억 대 이상 대량 판매되는 경우 출시 시간을 50주(거의 1년) 단축하면 시장에 상당한 영향을 미칠 수 있음을 쉽게 알 수 있다. 장치(apparatus)는 실시간으로 본딩 프로세스에 피드백을 제공하기 위해 본딩 도구 또는 충전 도구를 통해(via filling tool), 예를 들어 전기화학적 증착 도구(electrochemical deposition tool), 추가로 통합될 수 있다. 이러한 방식으로 장치(apparatus)를 사용하면 타임 투 마켓이 몇 주만큼 단축되고 실제로 제품이 시장에 진입할 수 있으며 그렇지 않으면 너무 비싸거나 너무 늦게 시장에 진입하여 경제적 가치를 가질 수 없다.
장점: 제품 수율 및 비용
패키지 조립 및 상호연결(interconnect)과 연관된 전체적인 수율이 80% 범위에 있는 이러한 장치에서 상업 생산이 시작된 것으로 보고되었다. 이 수율은 반도체 분야에서 일반적으로 허용되는 것보다 훨씬 낮고 스크랩(scrap) 재료와 관련된 적지 않은(considerable) 추가 비용이 있다. 그러나 이 특정 부품은 낮은 수율과 관련된 비용을 생각하더라도 80%의 패키지 어셈블리 수율로 생산할 수 있을 정도로 상업적 가치가 높은 것으로 결정되었다. 더 적은 비용, 보다 소비자 지향적인 시장 부문, 가격 책정에 대한 압력이 훨씬 더 강하고, 이 수준의 패키지 조립 수율을 가진 제품이 상업적으로 실행 가능(viable)할 것 같지 않다. 이러한 이유로 스크랩 제품의 양이나 본딩 프로세스에서 발생하는 수율 손실을 줄이기 위해 제조 프로세스가 고도로 능력 있고 엄격하게 제어되어야 한다. 전통적으로 패키지 조립 수율은 98~99% 범위이다. 당업자는 수율이 좋지 않은 본딩 기술을 사용하여 우수한 칩을 스크랩핑하고 더 낮은 가치의 칩에 대해 80%의 패키징 수율을 단순히 허용할 수 없음을 빨리 깨닫게 될 것이다.
3D IC 또는 고밀도 인터포저에 함께 장착된 다중 다이(dice)의 경우 칩에서 하나의 연결 고장으로 인해 전체 MCP 또는 패키지 어셈블리가 스크랩핑된다는 점에 유의해야 한다. 모두 설계된 대로 작동해야 하는 수천 또는 수만 개의 연결이 있을 수 있다. 임의의 본드 중 하나라도 올바르게 생산되지 않으면 모든 종류의 재작업 또는 재료 복구가 달성될 수 있는 경우는 드물다. 예를 들어, 가격이 $10인 프로세서 칩이 각각 $5, 또는 $20인 메모리 칩 4개와 함께 장착되는 경우를 사례로 든다. 따라서 칩의 총 비용은 $30이다. 칩 조립 및 패키징은 총 조립 비용 $35에 대해 $5의 추가 비용을 추가할 수 있다.
본 발명의 장치에 의해 생산된 이미지 및 측정값을 사용하여 정렬, 검사 본딩의 프로세스를 제어하고 모니터링하여, 수율을 빠르게 증가시킬 수 있다. MCP 패키지의 경우, 위의 예에서, 처음 두 다이 사이의 결점(flaw)을 감지하면 패키징 어셈블러가 처음 두 다이만 스크랩할 수 있고, 다섯 다이를 모두 잃을 필요가 없으므로, 스크랩 비용을 절약하고 수율을 개선할 수 있다. 잘 제어되고 모니터링되는 조립 프로세스가 99.9%를 넘는 수율을 갖는 것이 일반적이다. 본 발명은 최소 피치가 100마이크론 미만인 피치에서 인터포저 또는 다이 레이어당 4개 이상의 다이와 100개 이상의 TSV를 갖는 패키징 어셈블러가 MCP 구조에서 90% 초과 또는 동일한 수율을 달성하도록 할 수 있다. 가장 작은 피치가 100마이크론 미만인 피치에서 400개 이상의 마이크로범프(microbumps)를 갖는 플립 칩(flip chip) 구성에서 동일한 수율 장점이 달성될 수 있다.
비용 및 수율 면에서 이와 동일한 장점은 보이드(void)에 대한 비아 필(via fill) 모니터, 비아(via)에 대한 비아 캡처 패드 정렬, 칩 또는 인터포저 패드에 대한 칩 범프 정렬, 및 본딩 후 완성된 조인트의 품질 등과 같은 미세 피치 인터포저 및 3D 다이 적층을 위한 제조 프로세스의 다른 단계에서 볼 수 있다. 이것(it)은 또한 실리콘 장치 또는 미세 피치 인터포저의 다중 슬라이스의 어셈블리에서의 본드라인(bondline) 또는 이 본드라인(bondline) 두께가 장치 성능에 중요한 실리콘 장치와 다른 관심 재료 사이를 측정하는 데 사용될 수 있다.
기타
여기에서 "또는"은 명시적으로 달리 표시되거나 문맥에 따라 다르게 표시되지 않는 한 포괄적이고 배타적이지 않다. 따라서, 여기에서 "A 또는 B"는 달리 명시적으로 나타내지 않거나 문맥상 달리 나타내지 않는 한 "A, B 또는 둘 다"를 의미한다. 게다가, "및"은 달리 명시적으로 표시되거나 문맥에 따라 다르게 표시되지 않는 한 결합(joint) 및 개별(several)이다. 따라서, 본 명세서에서 "A 및 B"는 달리 명시적으로 나타내지 않거나 문맥상 달리 나타내지 않는 한 "A 및 B, 결합으로 또는 개별적으로"를 의미한다.
본 개시의 범위는 당업자가 이해할 수 있는 본 명세서에 묘사되거나 설명된 예시적인 실시예에 대한 모든 변경, 대체, 변화, 개조(alterations) 및 수정(modifications)을 포함(encompasses)한다. 본 개시의 범위는 여기에 묘사되거나 설명된 예시적인 실시예들에 제한되지 않는다. 게다가, 본 개시는 특정 컴포넌트, 요소, 특징, 기능, 동작 또는 단계를 포함하는 것으로서 여기에서 각각의 실시예를 묘사하고 설명하지만, 이러한 실시예 중 임의의 것은 여기에서 어느 곳에서나 묘사되거나 설명된 컴포넌트, 요소, 특징, 기능, 동작 또는 단계 중 당업자가 이해할 수 있는 임의의 조합 또는 순열을 포함할 수 있다. 더욱이, 첨부된 청구항에서 장치 또는 시스템 또는 장치 또는 시스템의 컴포넌트에 대한 참조는 해당(that) 장치(apparatus), 시스템 또는 컴포넌트가 그렇게 채택, 배열, 능력, 구성, 가능, 작동 가능 또는 작동하는 한 해당(that) 특정 기능이 활성화, 켜짐 또는 잠금 해제되었는지 여부에 관계 없이 장치, 시스템, 컴포넌트를 포함(encompass)하는 특정 기능을 수행하도록 채택(adapted to), 배열(arranged to), ~할 능력 있는(capable of), ~로 구성되는(configured to), 가능한(enabled to), 작동 가능(operable to) 또는 작동(operative) 추가로, 본 개시는 특정 장점을 제공하는 것으로 특정 실시예를 묘사하거나 설명하지만, 특정 실시예는 이러한 장점 중 어느 것도 제공하지 않거나, 일부 또는 전부를 제공할 수 있다.

Claims (21)

  1. 자동 고속 엑스선 검사 시스템에 의한 방법에 있어서,
    검사할 관심 객체(object of interest)에 대한 하나 이상의 기준 객체들(reference objects)-상기 각각의 기준 객체는 상기 관심 객체와 동일한 유형 및 컴포넌트들을 가지는-을 식별하는 단계;
    상기 하나 이상의 기준 객체들의 하나 이상의 엑스선 이미지들에 기초하여 상기 관심 객체에 대한 기준 모델을 생성하는 단계; 및
    상기 관심 객체의 제1 엑스선 이미지를 상기 기준 모델과 비교하여 상기 관심 객체가 하나 이상의 결함들-상기 하나 이상의 결함들은 하나 이상의 미리 결정된 결함 모델들에 의해 특성화되고, 상기 관심 객체가 상기 하나 이상의 결함들과 관련되는 경우, 상기 하나 이상의 결함들은 상기 하나 이상의 미리 결정된 결함 모델들에 기초하여 각각의 결함 카테고리들로 분류되는-과 관련되어 있는지 여부를 결정하는 단계;
    를 포함하는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  2. 제1항에 있어서,
    상기 기준 모델 및 상기 하나 이상의 엑스선 이미지들은 제1 배경 노이즈 패턴(background noise pattern)과 관련되고,
    상기 관심 객체의 상기 제1 엑스선 이미지는 상기 제1 배경 노이즈 패턴과 실질적으로 유사한 제2 배경 노이즈 패턴과 관련되는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  3. 제1항에 있어서,
    상기 관심 객체의 상기 제1 엑스선 이미지는 제1 각도에서 캡처되고,
    상기 제1 각도와 다른 제2 각도에서 상기 관심 객체의 제2 엑스선 이미지를 캡처하는 단계;
    를 더 포함하고,
    상기 하나 이상의 결함들이 적어도 관심 객체의 제1 엑스선 이미지 및 제2 엑스선 이미지에 기초하여 각각의 결함 카테고리들로 분류되는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  4. 제1항에 있어서,
    상기 하나 이상의 결함들과 관련된 위치 정보를 제2 엑스선 검사 도구-상기 제2 엑스선 검사 도구는 상기 관심 객체의 단면(cross section) 엑스선 이미지에 기초하여 상기 하나 이상의 결함들을 특성화(characterize)하는-로 전송하는 단계; 및
    상기 제2 엑스선 검사 도구로부터 하나 이상의 결함들의 특성화 정보를 수신하는 단계
    를 포함하는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  5. 제4항에 있어서,
    상기 제 2 엑스선 검사 도구로부터 수신된 상기 하나 이상의 결함들의 상기 특성화 정보는 상기 제 2 엑스선 검사 도구에 의해 결정된 결함 유형 분류 정보를 포함하는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  6. 제4항에 있어서,
    상기 제2 엑스선 검사 도구로부터 수신된 상기 특성화 정보(characterization information)에 기초하여 복수의 라벨링된 샘플들을 결정하는 단계; 및
    상기 복수의 라벨링된 샘플들에 기초하여 하나 이상의 기계 학습 모델을 훈련(training)하는 단계
    를 더 포함하는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  7. 제1항에 있어서,
    제1 기계 학습 모델-상기 제1 기계 학습 모델은 비지도 훈련(unsupervised training) 프로세스 동안 복수의 라벨링되지 않은 샘플들에 기초하여 훈련된-을 사용하여, 상기 관심 객체-상기 관심 객체는 상기 관심 객체의 특징들의 제1 세트(first set of features) 및 복수의 준수 샘플들(compliant samples)과 관련된 미리 결정된 특징들의 제1 세트(first set of pre-determined features)에 기초하여 분류되는-를 인라이어(inlier) 카테고리 또는 아웃라이어(outlier) 카테고리로 분류하는 단계;
    를 더 포함하는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  8. 제7항에 있어서, 상기 관심 객체가 특징 공간에서 인라이어 샘플 모델의 경계 기준을 충족하는 경우, 상기 관심 객체는 상기 인라이어 카테고리로 분류되고, 상기 특징 공간은 상기 특징들의 제1 세트의 하나 이상의 특징들에 의해 특성화되는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  9. 제7항에 있어서,
    상기 관심 객체가 특징 공간에서 인라이어 샘플 모델의 경계 기준을 벗어나는 경우, 관심 객체를 아웃라이어 카테고리로 분류하고, 상기 특징 공간은 상기 특징들의 제1 세트의 하나 이상의 특징들에 의해 특성화되는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  10. 제7항에 있어서,
    상기 관심 객체가 상기 아웃라이어 카테고리로 분류되는 경우, 제2 기계 학습 모델-상기 제2 기계 학습 모델은 상기 복수의 라벨링된 샘플들에 의해 훈련되는-에 의해 , 상기 관심 객체의 특징들의 제2 세트-상기 특징들의 제2 세트는 상기 특징들의 제1 세트와 다른- 및 복수의 라벨링된 샘플들과 관련된 상기 미리 결정된 특징들의 제2 세트에 기초하여,관심 객체를 복수의 서브카테고리들의 서브카테고리로 분류하는 단계;
    를 더 포함하는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  11. 제10항에 있어서,
    상기 복수의 서브카테고리들은 거짓 양성(false positive) 카테고리, 보이드(void) 결함 카테고리, 비접촉 개방(non-contact open) 결함 카테고리, 젖음 불량(non-wet) 결함 카테고리, 헤드 인 필로우(head-in-pillow) 결함 카테고리, 브릿징(bridging) 결함 카테고리, 또는 언노운(unknow) 결함 카테고리를 포함하는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  12. 제10항에 있어서,
    상기 관심 객체에 대응하는 특징 공간의 점(point)로부터 상기 특징 공간의 기준점까지의 벡터에 기초하여 상기 관심 객체에 대한 품질 점수를 결정하는 단계; 및
    상기 관심 객체의 품질 점수 및 상기 벡터에 기초하여 관심 객체에 대한 하나 이상의 고장 모드들을 예측하는 단계
    를 더 포함하는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  13. 제1항에 있어서,
    상기 기준 모델은 상기 하나 이상의 기준 객체들의 상기 하나 이상의 엑스선 이미지들의 가중 평균(weighted average)에 기초하여 생성되는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  14. 제1항에 있어서,
    상기 관심 객체의 상기 제1 엑스선 이미지는 하나 이상의 간섭 요소를 포함하고, 상기 하나 이상의 기준 객체들은 동일 제품 배치(batch)에서 상기 관심 객체의 선행(preceding) 객체들을 포함하는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  15. 제1항에 있어서,
    상기 하나 이상의 기준 객체들의 상기 하나 이상의 엑스선 이미지들은 상기 하나 이상의 기준 객체들이 엑스선 센서의 필드 오브 뷰(field of view) 내의 동일한 위치에 위치되어 캡처되고, 상기 관심 객체의 상기 제1 엑스선 이미지는 상기 엑스선 센서의 필드 오브 뷰 내 동일한 위치에 상기 관심 객체가 위치되어 캡처된,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  16. 제1항에 있어서,
    상기 관심 객체의 상기 제 엑스선 이미지는 간섭 요소들이 없고(free of), 상기 하나 이상의 기준 객체들의 상기 하나 이상의 엑스선 이미지들은 상기 제1 엑스선 이미지의 하나 이상의 포션(portion)들에 대응하고, 그리고 상기 하나 이상의 기준 객체들은 상기 제1 엑스선 이미지 내의 상기 관심 객체에 인접하는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  17. 제1항에 있어서,
    상기 하나 이상의 미리 결정된 결함 모델들 각각은 관련된 결함을 특성화하기 위한 하나 이상의 임계값들을 포함하고, 상기 하나 이상의 임계값들은 하나 이상의 휴리스틱(heuristic) 규칙들에 기초하여 결정되는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  18. 제1항에 있어서,
    상기 관심 객체는 제1 객체 유형이고 하나 이상의 특정 컴포넌트들을 가지고, 상기 각각의 기준 객체는 상기 제1 객체 유형이고 상기 동일한 하나 이상의 특정 컴포넌트들을 가지는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  19. 제1항에 있어서,
    상기 제1 엑스선 이미지에서, 상기 제1 엑스선 이미지 및 상기 기준 모델의 상기 비교에 기초하여 상기 관심 객체의 상기 제1 엑스선 이미지에 있는 하나 이상의 간섭 요소들을 제거하는 단계;
    를 더 포함하는,
    자동 고속 엑스선 검사 시스템에 의한 방법.
  20. 이하와 같이 실행되는 경우, 작동 가능한 소프트웨어를 구현하는 하나 이상의 컴퓨터-판독가능 비일시적 저장 매체는
    검사할 관심 객체에 대한 하나 이상의 기준 객체들-상기 각각의 기준 객체는 상기 관심 객체와 동일한 유형 및 컴포넌트들을 가지는-을 식별하고,
    상기 하나 이상의 기준 객체들의 하나 이상의 엑스선 이미지들에 기초하여 상기 관심 객체에 대한 기준 모델을 생성하고, 그리고
    상기 관심 객체의 제1 엑스선 이미지를 상기 기준 모델과 비교하여 상기 관심 객체가 하나 이상의 결함들-상기 하나 이상의 결함들은 하나 이상의 미리 결정된 결함 모델들에 의해 특성화되고, 상기 관심 객체가 상기 하나 이상의 결함들과 관련되는 경우, 상기 하나 이상의 결함들은 상기 하나 이상의 미리 결정된 결함 모델들에 기초하여 각각의 결함 카테고리들로 분류되는-과 관련되어 있는지 여부를 결정하는,
    컴퓨터-판독가능 비일시적 저장 매체.
  21. 시스템은
    하나 이상의 프로세서들;
    하나 이상의 프로세서에 연결되고, 상기 시스템이 이하의 동작을 하도록 하나 이상의 상기 프로세서들에 의하여 실행될 경우 작동 가능한 명령어들을 포함하는 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체를 포함하고,
    검사할 관심 객체에 대한 하나 이상의 기준 객체들-상기 각각의 기준 객체는 상기 관심 객체와 동일한 유형 및 컴포넌트들을 가지는-을 식별하고,
    상기 하나 이상의 기준 객체들의 하나 이상의 엑스선 이미지들에 기초하여 상기 관심 객체에 대한 기준 모델을 생성하고, 그리고
    상기 관심 객체의 제1 엑스선 이미지를 상기 기준 모델과 비교하여 상기 관심 객체가 하나 이상의 결함들-상기 하나 이상의 결함들은 하나 이상의 미리 결정된 결함 모델들에 의해 특성화되고, 상기 관심 객체가 상기 하나 이상의 결함들과 관련되는 경우, 상기 하나 이상의 결함들은 상기 하나 이상의 미리 결정된 결함 모델들에 기초하여 각각의 결함 카테고리들로 분류되는-과 관련되어 있는지 여부를 결정하는,
    시스템.

KR1020227004656A 2019-07-12 2020-07-10 엑스선을 사용한 결함 감지 및 분류 방법 및 시스템 KR20220033510A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962873752P 2019-07-12 2019-07-12
US62/873,752 2019-07-12
US16/924,645 US20210010953A1 (en) 2019-07-12 2020-07-09 Methods and Systems for Defects Detection and Classification Using X-rays
US16/924,645 2020-07-09
PCT/US2020/041514 WO2021011338A1 (en) 2019-07-12 2020-07-10 Methods and systems for defects detection and classification using x-rays

Publications (1)

Publication Number Publication Date
KR20220033510A true KR20220033510A (ko) 2022-03-16

Family

ID=80268460

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227004656A KR20220033510A (ko) 2019-07-12 2020-07-10 엑스선을 사용한 결함 감지 및 분류 방법 및 시스템

Country Status (5)

Country Link
US (1) US20210010953A1 (ko)
KR (1) KR20220033510A (ko)
CN (1) CN114402360A (ko)
TW (1) TW202109030A (ko)
WO (1) WO2021011338A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7094562B2 (ja) * 2019-07-05 2022-07-04 イーグロース株式会社 生体画像取得装置、変換器生産装置、生体画像の生産方法、変換器の生産方法、およびプログラム
US11256967B2 (en) * 2020-01-27 2022-02-22 Kla Corporation Characterization system and method with guided defect discovery
JP2022526473A (ja) * 2020-03-11 2022-05-25 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 情報を取得するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
US11379646B1 (en) * 2020-08-26 2022-07-05 Cadence Design Systems, Inc. System, method, and computer program product for determining computational requirements of a printed circuit board design
CN113837991A (zh) * 2021-06-18 2021-12-24 腾讯云计算（北京）有限责任公司 图像处理方法、装置、设备及存储介质
US20220413905A1 (en) * 2021-06-25 2022-12-29 Sap Se Data curation with synthetic data generation
CN117413238A (zh) 2021-07-19 2024-01-16 萨思学会有限公司 使用工艺数据的质量预测
EP4134883B1 (en) * 2021-08-11 2024-04-24 Siemens Aktiengesellschaft Systems and methods for automated x-ray inspection
CN113779886A (zh) * 2021-09-18 2021-12-10 天津商科数控技术股份有限公司 基于深度学习的焊点质量异常检测方法、装置、系统
CN114897864B (zh) * 2022-05-27 2024-04-12 中国科学院重庆绿色智能技术研究院 基于数模信息的工件检测及缺陷判断方法
IT202200011345A1 (it) * 2022-05-30 2023-11-30 Sacmi Metodo e sistema per eseguire un controllo di qualità di oggetti in un apparato che produce gli oggetti in ciclo continuo
CN115035081B (zh) * 2022-06-23 2024-03-01 西安交通大学 一种基于工业ct的金属内部缺陷危险源定位方法及系统
CN114878777B (zh) * 2022-07-12 2022-10-14 北京煜鼎增材制造研究院有限公司 基于增材制造的高温合金高通量制备与表征的系统及方法
CN116184104B (zh) * 2023-05-05 2023-06-30 通变电器有限公司 油浸式变压器的故障检测方法、装置、设备及存储介质
CN116908222B (zh) * 2023-09-13 2023-12-19 广东天信电力工程检测有限公司 一种gis设备故障的x射线检测方法及其系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107022A (ja) * 2001-09-28 2003-04-09 Hitachi Ltd 欠陥検査装置及び検査方法
US9129715B2 (en) * 2012-09-05 2015-09-08 SVXR, Inc. High speed x-ray inspection microscope
US10395362B2 (en) * 2017-04-07 2019-08-27 Kla-Tencor Corp. Contour based defect detection
CN114972180A (zh) * 2017-04-13 2022-08-30 英卓美特公司 用于预测在装配单元中的缺陷的方法
US10482604B2 (en) * 2017-05-05 2019-11-19 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
US11270430B2 (en) * 2017-05-23 2022-03-08 Kla-Tencor Corporation Wafer inspection using difference images
US10895541B2 (en) * 2018-01-06 2021-01-19 Kla-Tencor Corporation Systems and methods for combined x-ray reflectometry and photoelectron spectroscopy
US10713769B2 (en) * 2018-06-05 2020-07-14 Kla-Tencor Corp. Active learning for defect classifier training

Also Published As

Publication number Publication date
US20210010953A1 (en) 2021-01-14
CN114402360A (zh) 2022-04-26
WO2021011338A1 (en) 2021-01-21
TW202109030A (zh) 2021-03-01

Similar Documents

Publication Publication Date Title
KR20220033510A (ko) 엑스선을 사용한 결함 감지 및 분류 방법 및 시스템
US11615533B2 (en) Methods and systems for product failure prediction based on X-ray image re-examination
US11042981B2 (en) Methods and systems for printed circuit board design based on automatic corrections
US11688067B2 (en) Methods and systems for detecting defects in devices using X-rays
US11430118B2 (en) Methods and systems for process control based on X-ray inspection
TWI551855B (zh) 檢測晶圓之系統與方法以及由該系統讀取的程式儲存裝置
JP2019049556A (ja) ウェーハの検査システム及び方法
US11651492B2 (en) Methods and systems for manufacturing printed circuit board based on x-ray inspection
US7884948B2 (en) Surface inspection tool and surface inspection method
US11815349B2 (en) Methods and systems for inspecting integrated circuits based on X-rays
JP2006227026A (ja) パターン検査方法及びパターン検査装置
JP5036889B2 (ja) レビューｓｅｍ
TWI840585B (zh) 自動化高速x射線檢驗方法、電腦可讀取非暫態儲存媒體及電子系統
JP2012154895A (ja) 欠陥検査方法および欠陥検査装置
TWI840586B (zh) 基於自動校正的印刷電路板設計之方法、系統與非暫態電腦可讀儲存媒體
WO2023217354A1 (en) Method for testing a packaging substrate, and apparatus for testing a packaging substrate
WO2023193890A1 (en) Method and apparatus for testing a packaging substrate
KR20240018412A (ko) 반도체 결함 유도 번인 및 시스템 레벨 테스트들을 위한 시스템들 및 방법들
KR19990078765A (ko) 볼그리드어래이검사 장치 및 검사방법