KR20230099985A - 기판 검사 유닛 및 이를 포함하는 기판 처리 장치 - Google Patents

기판 검사 유닛 및 이를 포함하는 기판 처리 장치 Download PDF

Info

Publication number
KR20230099985A
KR20230099985A KR1020210189467A KR20210189467A KR20230099985A KR 20230099985 A KR20230099985 A KR 20230099985A KR 1020210189467 A KR1020210189467 A KR 1020210189467A KR 20210189467 A KR20210189467 A KR 20210189467A KR 20230099985 A KR20230099985 A KR 20230099985A
Authority
KR
South Korea
Prior art keywords
substrate
class
module
data
image data
Prior art date
Application number
KR1020210189467A
Other languages
English (en)
Inventor
유지훈
김광섭
이종민
송연철
오준호
박영호
임명준
Original Assignee
세메스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세메스 주식회사 filed Critical 세메스 주식회사
Priority to KR1020210189467A priority Critical patent/KR20230099985A/ko
Priority to CN202211540001.6A priority patent/CN116403000A/zh
Priority to US18/076,401 priority patent/US20230206415A1/en
Publication of KR20230099985A publication Critical patent/KR20230099985A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/024—Details of scanning heads ; Means for illuminating the original
    • H04N1/032—Details of scanning heads ; Means for illuminating the original for picture information reproduction
    • H04N1/034—Details of scanning heads ; Means for illuminating the original for picture information reproduction using ink, e.g. ink-jet heads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J2/00—Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed
    • B41J2/005—Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed characterised by bringing liquid or particles selectively into contact with a printing material
    • B41J2/01—Ink jet
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J29/00—Details of, or accessories for, typewriters or selective printing mechanisms not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/407—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed for marking on special material
    • B41J3/4073—Printing on three-dimensional objects not being in sheet or web form, e.g. spherical or cubic objects
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1303—Apparatus specially adapted to the manufacture of LCDs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30144—Printing quality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nonlinear Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

트레이닝 이미지 데이터 세트 검증 및 반자동 이미지 라벨링을 통해 이미지 데이터 라벨링 작업 시간을 감소시키고, 동시에 데이터 세트에 대한 분류 정확도를 향상시켜 예측 성능을 향상시킬 수 있는 기판 검사 유닛 및 이를 포함하는 기판 처리 장치를 제공한다. 상기 기판 검사 유닛은, 기 정의된 클래스에 따라 기판의 이미지 데이터와 관련된 복수의 트레이닝 데이터가 분류되면, 각각의 클래스에 포함된 트레이닝 데이터에서 특징을 추출하는 특징 추출 모듈; 특징의 유효성을 평가하는 유효성 평가 모듈; 기 정의된 클래스를 검증하는 클래스 검증 모듈; 및 유효성이 있는 것으로 판단된 특징과 검증된 클래스를 기초로 복수의 트레이닝 데이터를 재구성하는 데이터 재구성 모듈을 포함하며, 기판을 검사하는 경우 재구성된 트레이닝 데이터를 활용한다.

Description

기판 검사 유닛 및 이를 포함하는 기판 처리 장치 {Substrate inspecting unit and substrate treating apparatus including the same}
본 발명은 기판 검사 유닛 및 이를 포함하는 기판 처리 장치에 관한 것이다. 보다 상세하게는, 이미지 데이터를 이용하여 기판을 검사할 수 있는 기판 검사 유닛 및 이를 포함하는 기판 처리 장치에 관한 것이다.
LCD 패널, PDP 패널, LED 패널 등의 디스플레이 장치를 제조하기 위해 투명 기판 상에 인쇄 공정(예를 들어, RGB 패터닝(RGB Patterning))을 수행하는 경우, 잉크젯 헤드 유닛(Inkjet Head Unit)을 구비하는 인쇄 장비가 사용될 수 있다.
잉크젯 헤드 유닛을 이용하여 기판을 인쇄 처리하는 경우, 다량의 불량 기판이 양산되는 것을 방지하기 위해 기판 상에 잉크가 토출되면 해당 기판을 검사할 수 있다. 이 경우, 인쇄 장비에 설치된 카메라 모듈이 기판을 검사하기 위한 이미지 데이터를 획득하는 데에 사용될 수 있다.
이미지 데이터를 이용하여 기판을 검사하는 경우, 그 검증 신뢰도를 높이기 위해 이미지 데이터를 이용한 딥 러닝(Deep Learning) 과정이 수행될 수 있다.
그런데 딥 러닝 과정 중에 데이터 트레이닝(Data Training) 단계에서 작업자들에 의해 클래스(Class)의 분류 기준이 명확하게 정의되지 않았거나, 각각의 클래스에 맞지 않게 라벨링(Labeling)된 이미지 데이터 세트(Image Dataset)를 사용하여 트레이닝을 수행한다면 트레이닝 모델(Training Model)의 학습도는 떨어지게 되고, 최종적으로 예측 성능까지 저하될 수 있다.
본 발명에서 해결하고자 하는 기술적 과제는, 트레이닝 이미지 데이터 세트(Training Image Dataset) 검증 및 반자동 이미지 라벨링(Semi-auto Image Labeling)을 통해 이미지 데이터 라벨링(Image Data Labeling) 작업 시간을 감소시키고, 동시에 데이터 세트에 대한 분류 정확도를 향상시켜 예측 성능을 향상시킬 수 있는 기판 검사 유닛 및 이를 포함하는 기판 처리 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 기판 검사 유닛의 일 면(Aspect)은, 기 정의된 클래스에 따라 기판의 이미지 데이터와 관련된 복수의 트레이닝 데이터가 분류되면, 각각의 클래스에 포함된 트레이닝 데이터에서 특징을 추출하는 특징 추출 모듈; 상기 특징의 유효성을 평가하는 유효성 평가 모듈; 상기 기 정의된 클래스를 검증하는 클래스 검증 모듈; 및 유효성이 있는 것으로 판단된 특징과 검증된 클래스를 기초로 상기 복수의 트레이닝 데이터를 재구성하는 데이터 재구성 모듈을 포함하며, 상기 기판을 검사하는 경우 재구성된 트레이닝 데이터를 활용한다.
상기 특징 추출 모듈은 기준량 이상의 상기 기판의 이미지 데이터와 관련된 데이터를 이용하여 학습하여 얻은 결과인 사전 학습 모델을 이용하여 상기 특징을 추출할 수 있다.
상기 유효성 평가 모듈은 상기 특징에 차원 축소 방법을 적용하여 상기 특징의 유효성을 평가할 수 있다.
상기 유효성 평가 모듈은 상기 차원 축소 방법으로 t-SNE(t-distributed Stochastic Neighbor Embedding) 알고리즘을 사용할 수 있다.
상기 클래스 검증 모듈은 비계층적 군집 분석을 이용하여 상기 기 정의된 클래스를 검증할 수 있다.
상기 클래스 검증 모듈은 밀도 기반의 클러스터링 방법을 이용하여 상기 기 정의된 클래스를 검증할 수 있다.
상기 클래스 검증 모듈은 비지도 학습 기반의 군집 분석을 이용하여 상기 기 정의된 클래스를 검증할 수 있다.
상기 기판 검사 유닛은, 상기 각각의 클래스에 포함된 트레이닝 데이터의 양이 기준량 이상인지 여부를 판별하는 데이터 양 판별 모듈을 더 포함할 수 있다.
상기 특징 추출 모듈은 상기 각각의 클래스에 포함된 트레이닝 데이터의 양이 기준량 미만이면 상기 기준량 이상의 상기 기판의 이미지 데이터와 관련된 데이터를 이용하여 학습하여 얻은 결과인 사전 학습 모델을 이용하여 상기 특징을 추출할 수 있다.
상기 기판 검사 유닛은, 상기 기 정의된 클래스에 따라 상기 복수의 트레이닝 데이터를 직접 분류하는 데이터 라벨링 모듈을 더 포함할 수 있다.
상기 기판 검사 유닛은, 클래스별로 분류된 트레이닝 데이터에 대한 정보 및 상기 기 정의된 클래스에 대한 정보를 입력받거나 수신하는 라벨링 정보 획득 모듈을 더 포함할 수 있다.
상기 복수의 트레이닝 데이터는 양호한 상태의 기판의 이미지 데이터 및 불량한 상태의 기판의 이미지 데이터 중 적어도 한 종류의 이미지 데이터일 수 있다.
상기 복수의 트레이닝 데이터는 기판 처리액이 토출된 기판의 이미지 데이터일 수 있다.
상기 기판 검사 유닛은, 상기 기판의 이미지 데이터가 획득되면, 상기 기판의 이미지 데이터를 처리하는 데이터 처리 모듈; 기준 데이터를 검출하는 기준 데이터 검출 모듈; 상기 기판의 이미지 데이터와 상기 기준 데이터를 비교 및 분석하는 데이터 분석 모듈; 및 상기 기판의 이미지 데이터와 상기 기준 데이터 간 분석 결과를 기초로 상기 기판이 양호한지 아니면 불량한지를 판별하는 기판 판별 모듈을 더 포함할 수 있다.
상기 기준 데이터 검출 모듈은 상기 기 정의된 클래스 중에서 상기 기판의 이미지 데이터와 관련성이 있는 클래스를 결정하고, 결정된 클래스에 포함된 트레이닝 데이터 중에서 상기 기준 데이터를 검출할 수 있다.
상기 기판 검사 유닛은 상기 기판을 처리하는 장치가 적어도 일회 구동되면 상기 복수의 트레이닝 데이터를 재구성할 수 있다.
또한, 상기 기술적 과제를 달성하기 위한 본 발명의 기판 검사 유닛의 다른 면은, 기 정의된 클래스에 따라 기판의 이미지 데이터와 관련된 복수의 트레이닝 데이터가 분류되면, 각각의 클래스에 포함된 트레이닝 데이터에서 특징을 추출하는 특징 추출 모듈; 상기 특징의 유효성을 평가하는 유효성 평가 모듈; 상기 기 정의된 클래스를 검증하는 클래스 검증 모듈; 및 유효성이 있는 것으로 판단된 특징과 검증된 클래스를 기초로 상기 복수의 트레이닝 데이터를 재구성하는 데이터 재구성 모듈을 포함하되, 상기 기판을 검사하는 경우 재구성된 트레이닝 데이터를 활용하고, 상기 특징 추출 모듈은 기준량 이상의 상기 기판의 이미지 데이터와 관련된 데이터를 이용하여 학습하여 얻은 결과인 사전 학습 모델의 전이 학습을 이용하여 상기 특징을 추출하며, 상기 유효성 평가 모듈은 상기 특징에 차원 축소 방법을 적용하여 상기 특징의 유효성을 평가하고, 상기 클래스 검증 모듈은 비지도 학습 기반의 DBSCAN을 활용하여 상기 기 정의된 클래스를 검증하며, 상기 복수의 트레이닝 데이터는 기판 처리액이 토출된 상기 기판의 이미지 데이터로서 양호한 상태의 이미지 데이터 및 불량한 상태의 이미지 데이터 중 적어도 한 종류의 이미지 데이터이다.
또한, 상기 기술적 과제를 달성하기 위한 본 발명의 기판 처리 장치의 일 면은, 기판이 처리되는 동안 상기 기판을 지지하는 공정 처리 유닛; 상기 기판 상에 기판 처리액을 토출하는 잉크젯 헤드 유닛; 상기 잉크젯 헤드 유닛이 설치되며, 상기 잉크젯 헤드 유닛을 상기 기판 상에서 이동시키는 갠트리 유닛; 및 상기 기판을 검사하는 기판 검사 유닛을 포함하며, 상기 기판 검사 유닛은, 기 정의된 클래스에 따라 기판의 이미지 데이터와 관련된 복수의 트레이닝 데이터가 분류되면, 각각의 클래스에 포함된 트레이닝 데이터에서 특징을 추출하는 특징 추출 모듈; 상기 특징의 유효성을 평가하는 유효성 평가 모듈; 상기 기 정의된 클래스를 검증하는 클래스 검증 모듈; 및 유효성이 있는 것으로 판단된 특징과 검증된 클래스를 기초로 상기 복수의 트레이닝 데이터를 재구성하는 데이터 재구성 모듈을 포함하고, 상기 기판을 검사하는 경우 재구성된 트레이닝 데이터를 활용한다.
상기 특징 추출 모듈은 기준량 이상의 상기 기판의 이미지 데이터와 관련된 데이터를 이용하여 학습하여 얻은 결과인 사전 학습 모델의 전이 학습을 이용하여 상기 특징을 추출할 수 있다.
상기 클래스 검증 모듈은 비지도 학습 기반의 DBSCAN을 이용하여 상기 기 정의된 클래스를 검증할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 기판 처리 장치의 내부 구조를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 기판 처리 장치를 구성하는 기판 검사 유닛의 제1 방법과 관련된 내부 모듈을 개략적으로 도시한 제1 예시도이다.
도 3은 본 발명의 일 실시예에 따른 기판 처리 장치를 구성하는 기판 검사 유닛의 제1 방법과 관련된 내부 모듈을 개략적으로 도시한 제2 예시도이다.
도 4는 본 발명의 일 실시예에 따른 기판 처리 장치를 구성하는 기판 검사 유닛의 제1 방법과 관련된 내부 모듈을 개략적으로 도시한 제3 예시도이다.
도 5는 본 발명의 일 실시예에 따른 기판 처리 장치를 구성하는 기판 검사 유닛의 제1 방법을 흐름에 따라 도시한 제1 예시도이다.
도 6은 본 발명의 일 실시예에 따른 기판 처리 장치를 구성하는 기판 검사 유닛의 제1 방법을 흐름에 따라 도시한 제2 예시도이다.
도 7은 본 발명의 일 실시예에 따른 기판 처리 장치를 구성하는 기판 검사 유닛의 제1 방법을 흐름에 따라 도시한 제3 예시도이다.
도 8은 본 발명의 일 실시예에 따른 기판 처리 장치를 구성하는 기판 검사 유닛의 제2 방법과 관련된 내부 모듈을 개략적으로 도시한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 기판 처리 장치를 구성하는 기판 검사 유닛의 제2 방법을 흐름에 따라 도시한 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조부호는 동일 구성요소를 지칭한다.
소자(elements) 또는 층이 다른 소자 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 소자 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다. 반면, 소자가 "직접 위(directly on)" 또는 "바로 위"로 지칭되는 것은 중간에 다른 소자 또는 층을 개재하지 않은 것을 나타낸다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 소자 또는 구성요소들과 다른 소자 또는 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 소자의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들면, 도면에 도시되어 있는 소자를 뒤집을 경우, 다른 소자의 "아래(below)" 또는 "아래(beneath)"로 기술된 소자는 다른 소자의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 소자는 다른 방향으로도 배향될 수 있고, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면부호에 상관없이 동일하거나 대응하는 구성요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 발명은 기판의 이미지 데이터를 기초로 기판을 검사하는 기판 검사 유닛 및 이를 포함하는 기판 처리 장치에 관한 것이다. 기판 검사 유닛에 대한 보다 자세한 설명을 후술하기로 하고, 여기서는 기판 처리 장치에 대해 먼저 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 기판 처리 장치의 내부 구조를 개략적으로 도시한 도면이다.
기판 처리 장치(100)는 디스플레이 장치를 제조하는 데에 이용되는 기판(G)(예를 들어, 유리 기판(Glass))을 처리하는 것이다. 이러한 기판 처리 장치(100)는 잉크젯 헤드 유닛(140)을 이용하여 기판(G) 상에 기판 처리액을 토출(Jetting)하여 기판(G)을 인쇄하는 잉크젯 설비로 마련될 수 있다.
기판 처리 장치(100)는 기판 처리액으로 잉크를 사용할 수 있다. 여기서, 기판 처리액은 기판(G)을 인쇄 처리하는 데에 이용되는 약액을 말한다. 기판 처리액은 예를 들어, 초미세 반도체 입자를 포함하는 퀀텀닷(QD; Quantum Dot) 잉크일 수 있으며, 기판 처리 장치(100)는 예를 들어, QD(Quantum Dot) CF(Color Filter) 잉크젯(Inkjet) 설비로 마련될 수 있다. 기판 처리 장치(100)는 기판 처리액을 이용하여 기판(G)에 픽셀 인쇄(Pixel Printing)를 할 수 있으며, 기판 처리액에 의해 노즐(Nozzle)이 막히는 것을 방지하기 위해 순환계 잉크젯 설비로 마련될 수 있다.
도 1에 따르면, 기판 처리 장치(100)는 공정 처리 유닛(110), 메인터넌스 유닛(Maintenance Unit; 120), 갠트리 유닛(Gantry Unit; 130), 잉크젯 헤드 유닛(Inkjet Head Unit; 140), 기판 처리액 공급 유닛(150), 제어 유닛(Controller; 160) 및 기판 검사 유닛(200)을 포함하여 구성될 수 있다.
공정 처리 유닛(110)은 기판(G)에 대해 PT 동작이 수행되는 동안 기판(G)을 지지하는 것이다. 여기서, PT 동작은 기판 처리액을 이용하여 기판(G)을 인쇄(Printing) 처리하는 것을 말한다.
공정 처리 유닛(110)은 비접촉 방식을 이용하여 기판(G)을 지지할 수 있다. 공정 처리 유닛(110)은 예를 들어, 에어(Air)를 이용하여 기판(G)을 공중으로 부상시켜 기판(G)을 지지할 수 있다. 그러나 본 실시예가 이에 한정되는 것은 아니다. 공정 처리 유닛(110)은 접촉 방식을 이용하여 기판(G)을 지지하는 것도 가능하다. 공정 처리 유닛(110)은 예를 들어, 상부에 안착면이 마련된 지지 부재를 이용하여 기판(G)을 지지할 수도 있다.
공정 처리 유닛(110)은 에어를 이용하여 기판(G)을 지지한 상태로 기판(G)을 이동시킬 수 있다. 공정 처리 유닛(110)은 예를 들어, 제1 스테이지(1st Stage; 111) 및 에어 홀(Air Hole; 112)을 포함하여 구성될 수 있다.
제1 스테이지(111)는 베이스(Base)로서, 그 상부에 기판(G)이 안착될 수 있도록 제공되는 것이다. 에어 홀(112)은 이러한 제1 스테이지(111)의 상부 표면을 관통하여 형성될 수 있으며, 제1 스테이지(111) 상의 프린팅 영역(Printing Zone) 내에 복수 개 형성될 수 있다.
에어 홀(112)은 제1 스테이지(111)의 상부 방향(제3 방향(30))으로 에어를 분사할 수 있다. 에어 홀(112)은 이를 통해 제1 스테이지(111) 상에 안착되는 기판(G)을 공중으로 부상시킬 수 있다.
도 1에는 도시되지 않았지만, 공정 처리 유닛(110)은 파지부(Gripper)와 가이드 레일(Guide Rail)을 더 포함할 수 있다. 파지부는 기판(G)이 제1 스테이지(111)의 길이 방향(제1 방향(10))을 따라 이동하는 경우, 기판(G)을 파지하여 기판(G)이 제1 스테이지(111) 상에서 이탈되는 것을 방지하는 것이다. 파지부는 기판(G)이 이동하는 경우, 기판(G)을 파지한 상태로 가이드 레일을 따라 기판(G)과 동일한 방향으로 이동할 수 있다. 파지부와 가이드 레일은 제1 스테이지(111)의 외측에 마련될 수 있다.
메인터넌스 유닛(120)은 기판(G) 상에서의 기판 처리액의 토출 위치(즉, 타점), 기판 처리액의 토출 여부 등을 측정하는 것이다. 메인터넌스 유닛(120)은 잉크젯 헤드 유닛(140)에 구비되는 복수 개의 노즐 각각에 대해 기판 처리액의 토출 위치, 기판 처리액의 토출 여부 등을 측정할 수 있으며, 이와 같이 획득된 측정 결과가 제어 유닛(160)에 제공되게 할 수 있다.
메인터넌스 유닛(120)은 예를 들어, 제2 스테이지(2nd Stage; 121), 제3 가이드 레일(3rd Guide Rail; 122), 제1 플레이트(1st Plate; 123), 캘리브레이션 보드(Calibration Board; 124) 및 비전 모듈(Vision Module; 125)을 포함하여 구성될 수 있다.
제2 스테이지(121)는 제1 스테이지(111)와 마찬가지로 베이스로서, 제1 스테이지(111)와 나란하게 배치될 수 있다. 이러한 제2 스테이지(121)는 그 상부에 메인터넌스 영역(Maintenance Zone)을 포함할 수 있다. 제2 스테이지(121)는 제1 스테이지(111)와 동일한 크기로 마련될 수 있으나, 제1 스테이지(111)보다 작거나 또는 더 큰 크기를 가지도록 마련되는 것도 가능하다.
제3 가이드 레일(122)은 제1 플레이트(123)의 이동 경로를 가이드하는 것이다. 이러한 제3 가이드 레일(122)은 제2 스테이지(121) 상에 제2 스테이지(121)의 길이 방향(제1 방향(10))을 따라 적어도 하나의 라인으로 마련될 수 있다. 제3 가이드 레일(122)은 예를 들어, LM 가이드 시스템(Linear Motor Guide System)으로 구현될 수 있다.
도 1에는 도시되어 있지 않지만, 메인터넌스 유닛(120)은 제4 가이드 레일을 더 포함할 수 있다. 제4 가이드 레일은 제3 가이드 레일(122)과 마찬가지로 제1 플레이트(123)의 이동 경로를 가이드하는 것으로서, 제2 스테이지(121) 상에 제2 스테이지(121)의 폭 방향(제2 방향(20))을 따라 적어도 하나의 라인으로 마련될 수 있다.
제1 플레이트(123)는 제3 가이드 레일(122) 및/또는 제4 가이드 레일을 따라 제2 스테이지(121) 상에서 이동하는 것이다. 제1 플레이트(123)는 제3 가이드 레일(122)을 따라 기판(G)과 나란히 이동할 수 있으며, 제4 가이드 레일을 따라 기판(G)에 접근하거나 기판(G)으로부터 멀어질 수도 있다.
캘리브레이션 보드(124)는 기판(G) 상에서의 기판 처리액의 토출 위치를 측정하기 위한 것이다. 이러한 캘리브레이션 보드(124)는 얼라인 마크(Align Mark), 눈금자 등을 포함하여 제1 플레이트(123) 상에 설치될 수 있으며, 제1 플레이트(123)의 길이 방향(제1 방향(10))을 따라 마련될 수 있다.
비전 모듈(125)은 카메라 모듈(Camera Module)을 포함하며, 기판(G)에 대한 이미지 정보를 획득하는 것이다. 비전 모듈(125)에 의해 획득되는 기판(G)의 이미지 정보에는 기판 처리액의 토출 여부, 기판 처리액의 토출 위치, 기판 처리액의 토출량, 기판 처리액의 토출 면적 등에 대한 정보가 포함될 수 있다. 한편, 비전 모듈(125)은 기판 처리액이 토출된 기판(G)에 대한 이미지 정보와 더불어 캘리브레이션 보드(124)에 대한 정보도 획득하여 제공할 수 있다.
비전 모듈(125)은 기판(G)을 처리하는 경우에 기판(G)에 대한 이미지 정보를 실시간으로 획득할 수 있다. 비전 모듈(125)은 기판(G)을 길이 방향(제1 방향(10))으로 촬영하여 이미지 정보를 획득할 수 있으며, 이 경우 비전 모듈(125)은 라인 스캔 카메라(Line Scan Camera)를 포함하여 구성될 수 있다. 또한, 비전 모듈(125)은 기판(G)을 소정 크기의 영역별로 촬영하여 이미지 정보를 획득할 수도 있다. 이 경우, 비전 모듈(125)은 에어리어 스캔 카메라(Area Scan Camera)를 포함하여 구성될 수 있다.
비전 모듈(125)은 기판 처리액이 토출된 기판(G)의 이미지 정보를 획득하기 위해 갠트리 유닛(130)의 저면이나 측면에 부착될 수 있다. 그러나 본 실시예가 이에 한정되는 것은 아니다. 비전 모듈(125)은 잉크젯 헤드 유닛(140)의 측면에 부착되는 것도 가능하다. 한편, 비전 모듈(125)은 기판 처리 장치(100) 내에 적어도 하나 마련될 수 있으며, 고정 설치되거나 이동 가능하게 설치될 수 있다.
갠트리 유닛(130)은 잉크젯 헤드 유닛(140)을 지지하는 것이다. 이러한 갠트리 유닛(130)은 잉크젯 헤드 유닛(140)이 기판(G) 상에 기판 처리액을 토출할 수 있도록 제1 스테이지(111) 및 제2 스테이지(121)의 상부에 마련될 수 있다.
갠트리 유닛(130)은 제1 스테이지(111) 및 제2 스테이지(121)의 폭 방향(제2 방향(20))을 길이 방향으로 하여 제1 스테이지(111) 및 제2 스테이지(121) 상에 마련될 수 있다. 갠트리 유닛(130)은 제1 가이드 레일(1st Guide Rail; 170a) 및 제2 가이드 레일(2nd Guide Rail; 170b)을 따라 제1 스테이지(111) 및 제2 스테이지(121)의 길이 방향(제1 방향(10))으로 이동할 수 있다. 한편, 제1 가이드 레일(170a) 및 제2 가이드 레일(170b)은 제1 스테이지(111) 및 제2 스테이지(121)의 길이 방향(제1 방향(10))을 따라 제1 스테이지(111) 및 제2 스테이지(121)의 외측에 마련될 수 있다.
한편, 도 1에는 도시되어 있지 않지만, 기판 처리 장치(100)는 갠트리 이동 유닛을 더 포함할 수 있다. 갠트리 이동 유닛은 제1 가이드 레일(170a) 및 제2 가이드 레일(170b)을 따라 갠트리 유닛(130)을 슬라이딩 이동시키는 것이다. 갠트리 이동 유닛은 갠트리 유닛(130)의 내부에 설치될 수 있다.
잉크젯 헤드 유닛(140)은 기판(G) 상에 액적(Droplet) 형태로 기판 처리액을 토출하는 것이다. 이러한 잉크젯 헤드 유닛(140)은 갠트리 유닛(130)의 측면이나 그 저면에 설치될 수 있다.
잉크젯 헤드 유닛(140)은 갠트리 유닛(130)에 적어도 하나 설치될 수 있다. 잉크젯 헤드 유닛(140)이 갠트리 유닛(130)에 복수 개 설치되는 경우, 복수 개의 잉크젯 헤드 유닛(140)은 갠트리 유닛(130)의 길이 방향(제2 방향(20))을 따라 일렬로 배치될 수 있다. 또한, 복수 개의 잉크젯 헤드 유닛(140)은 각각 독립적으로 작동할 수 있으며, 이와 반대로 통일적으로 작동하는 것도 가능하다.
잉크젯 헤드 유닛(140)은 기판(G) 상에서 원하는 지점에 위치하기 위해 갠트리 유닛(130)의 길이 방향(제2 방향(20))을 따라 이동할 수 있다. 그러나 본 실시예가 이에 한정되는 것은 아니다. 잉크젯 헤드 유닛(140)은 갠트리 유닛(130)의 높이 방향(제3 방향(30))을 따라 이동할 수 있으며, 시계 방향 또는 반시계 방향으로 회전하는 것도 가능하다.
한편, 잉크젯 헤드 유닛(140)은 갠트리 유닛(130)에 고정되도록 설치되는 것도 가능하다. 이 경우, 갠트리 유닛(130)이 이동 가능하게 제공될 수 있다.
도 1에는 도시되어 있지 않지만, 기판 처리 장치(100)는 잉크젯 헤드 이동 유닛을 더 포함할 수 있다. 잉크젯 헤드 이동 유닛은 잉크젯 헤드 유닛(140)을 직선 이동시키거나 회전시키는 것이다.
도 1에는 도시되어 있지 않지만, 잉크젯 헤드 유닛(140)은 노즐 플레이트, 복수 개의 노즐, 압전 소자 등을 포함하여 구성될 수 있다. 노즐 플레이트는 잉크젯 헤드 유닛(140)의 몸체를 구성하는 것이다. 복수 개(예를 들어, 128개, 256개 등)의 노즐은 이러한 노즐 플레이트의 하부에 일정 간격을 두고 다행다열(多行多列)로 제공될 수 있으며, 압전 소자는 노즐 플레이트 내에 노즐의 개수에 대응하는 개수만큼 마련될 수 있다. 잉크젯 헤드 유닛(140)은 이와 같이 구성되는 경우, 압전 소자의 작동에 따라 노즐을 통해 기판(G) 상에 기판 처리액을 토출할 수 있다.
한편, 잉크젯 헤드 유닛(140)은 압전 소자에 인가되는 전압에 따라 각각의 노즐을 통해 제공되는 기판 처리액의 토출량을 독립적으로 조절하는 것도 가능하다.
기판 처리액 공급 유닛(150)은 잉크젯 헤드 유닛(140)에 잉크를 공급하는 것이다. 이러한 기판 처리액 공급 유닛(150)은 저장 탱크(150a) 및 압력 제어 모듈(150b)을 포함하여 구성될 수 있다.
저장 탱크(150a)는 기판 처리액을 저장하는 것이며, 압력 제어 모듈(150b)은 저장 탱크(150a)의 내부 압력을 조절하는 것이다. 저장 탱크(150a)는 압력 제어 모듈(150b)에 의해 제공되는 압력을 기반으로 잉크젯 헤드 유닛(140)에 적정량의 기판 처리액을 공급할 수 있다.
제어 유닛(160)은 기판 처리 장치(100)를 구성하는 각각의 유닛의 전체 작동을 제어하는 것이다. 제어 유닛(160)은 예를 들어, 공정 처리 유닛(110)의 에어 홀(112)과 파지부, 메인터넌스 유닛(120)의 비전 모듈(125), 갠트리 유닛(130), 잉크젯 헤드 유닛(140), 기판 처리액 공급 유닛(150)의 압력 제어 모듈(150b) 등의 작동을 제어할 수 있다.
제어 유닛(160)은 프로세스 컨트롤러, 제어 프로그램, 입력 모듈, 출력 모듈(또는 표시 모듈), 메모리 모듈 등을 포함하여 컴퓨터나 서버 등으로 구현될 수 있다. 상기에서, 프로세스 컨트롤러는 기판 처리 장치(100)를 구성하는 각각의 구성에 대해 제어 기능을 실행하는 마이크로 프로세서를 포함할 수 있으며, 제어 프로그램은 프로세스 컨트롤러의 제어에 따라 기판 처리 장치(100)의 각종 처리를 실행할 수 있다. 메모리 모듈은 각종 데이터 및 처리 조건에 따라 기판 처리 장치(100)의 각종 처리를 실행시키기 위한 프로그램 즉, 처리 레시피가 저장되는 것이다.
한편, 제어 유닛(160)은 잉크젯 헤드 유닛(140)에 대해 유지보수를 수행하게 하는 역할도 할 수 있다. 제어 유닛(160)은 예를 들어, 메인터넌스 유닛(120)의 측정 결과를 기초로 잉크젯 헤드 유닛(140)에 구비되는 각각의 노즐의 기판 처리액 토출 위치를 보정하거나, 복수 개의 노즐 중에서 불량 노즐(즉, 기판 처리액을 토출하지 않는 노즐)을 검출하여 불량 노즐에 대해 클리닝 작업이 수행되게 할 수 있다.
기판 검사 유닛(200)은 비전 모듈(125)에 의해 획득된 기판(G)의 이미지 데이터를 기초로 기판(G)을 검사할 수 있다. 구체적으로, 기판 검사 유닛(200)은 비전 모듈(125)에 의해 기판(G)의 이미지 데이터가 획득되면 이 이미지 데이터를 처리하며, 이후 상기 이미지 데이터와 기준 데이터를 비교 및 분석하여 기판(G)을 검사할 수 있다. 기판 검사 유닛(200)은 이를 위해 비전 모듈(125)과 연동될 수 있으며, 제어 유닛(160)과 마찬가지로 프로세스 컨트롤러, 제어 프로그램, 입력 모듈, 출력 모듈(또는 표시 모듈), 메모리 모듈 등을 포함하여 컴퓨터나 서버 등으로 마련될 수 있다.
기판 검사 유닛(200)은 딥 러닝(Deep Learning)을 통해 트레이닝 데이터(Training Data)를 분류할 수 있다. 기판 검사 유닛(200)은 이렇게 분류된 트레이닝 데이터들 중에서 기판(G)의 이미지 데이터와 비교 대상이 될 기준 데이터를 검출한 후, 기판(G)의 이미지 데이터와 기준 데이터를 비교하여 기판(G)을 검사할 수 있다.
상기에서, 트레이닝 데이터는 다양한 형상을 가지는 기판(G)의 이미지 데이터일 수 있다. 또한, 트레이닝 데이터는 디스플레이 장치를 제조하는 데에 사용될 수 있는 우량 기판의 이미지 데이터와 디스플레이 장치를 제조하는 데에 사용될 수 없는 불량 기판의 이미지 데이터 중 적어도 한 종류의 이미지 데이터를 포함할 수 있다.
딥 러닝을 통해 트레이닝 데이터를 분류하면, 이미지 데이터를 이용하여 기판(G)을 검사하는 경우 그 검증 신뢰도를 향상시킬 수 있다. 그런데 앞서 설명한 바와 같이, 딥 러닝 중 데이터 트레이닝(Data Training) 단계에서 작업자들에 의해 클래스(Class)의 분류 기준이 명확하게 정의되지 않았거나, 각각의 클래스에 맞지 않게 라벨링(Labeling)된 이미지 데이터 세트(Image Dataset)를 사용하여 트레이닝을 수행하게 되면, 트레이닝 모델(Training Model)의 학습도가 떨어지게 되며, 최종적으로 예측 성능까지 저하될 수 있다.
본 실시예에서 기판 검사 유닛(200)은 트레이닝 이미지 데이터 세트(Training Image Dataset) 검증 및 반자동 이미지 라벨링(Semi-auto Image Labeling)을 통해 이미지 데이터 라벨링(Image Data Labeling) 작업 시간을 감소시킬 수 있으며, 동시에 데이터 세트에 대한 분류 정확도를 향상시켜 예측 성능을 향상시킬 수 있다. 이하에서는 이러한 방법에 대해 자세하게 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 기판 처리 장치를 구성하는 기판 검사 유닛의 제1 방법과 관련된 내부 모듈을 개략적으로 도시한 제1 예시도이다. 기판 검사 유닛(200)은 딥 러닝을 이용하여 기판(G)의 이미지 데이터를 분류할 수 있다. 이 경우, 기판 검사 유닛(200)은 도 2에 도시된 바와 같이 라벨링 정보 획득 모듈(210a), 특징 추출 모듈(220), 유효성 평가 모듈(230), 클래스 검증 모듈(240) 및 데이터 재구성 모듈(250)을 포함할 수 있다.
라벨링 정보 획득 모듈(210a)은 복수의 트레이닝 데이터에 대해 라벨링 작업이 수행되면, 그 라벨링 작업과 관련된 라벨링 정보를 획득한다. 라벨링 정보 획득 모듈(210a)은 라벨링시 사용된 분류 클래스에 대한 정보, 라벨링에 의해 클래스별로 분류된 트레이닝 데이터에 대한 정보(즉, 라벨링된 트레이닝 데이터에 대한 정보) 등을 라벨링 정보로 획득할 수 있다.
복수의 작업자들은 복수의 트레이닝 데이터에 대해 사전에 정의된 분류 클래스에 부합하게 수동적 이미지 라벨링(Manual Image Labeling)을 수행할 수 있다. 복수의 작업자들에 의해 복수의 트레이닝 데이터에 대한 수동적 이미지 라벨링이 완료되면, 라벨링 정보 획득 모듈(210a)은 그 결과로부터 상기 라벨링 정보를 획득할 수 있다. 이 경우, 라벨링 정보 획득 모듈(210a)은 키보드, 터치스크린 등과 같은 입력 수단을 통해 라벨링 정보를 입력받을 수 있으며, 와이파이(WiFi) 등과 같은 유/무선 통신 수단을 통해 라벨링 정보를 수신하는 것도 가능하다.
특징 추출 모듈(220)은 복수의 트레이닝 데이터가 수동적 이미지 라벨링에 의해 클래스별로 분류되면, 각각의 클래스에 포함되는 트레이닝 데이터를 대상으로 특징(Feature)을 추출한다. 여기서, 특징은 예측하거나 분류해야 하는 데이터의 특성(속성값)을 말한다.
특징 추출 모듈(220)은 각각의 클래스에 포함되는 트레이닝 데이터에 대해 특징을 추출하는 경우, 사전 학습 모델(Pre-trained Model)을 기반으로 상기 특징 추출을 할 수 있다.
딥 러닝 모델의 품질을 높이기 위해서는 매우 많은 양의 데이터를 이용하여 학습을 해야 한다. 따라서 각각의 클래스와 관련하여 사전에 방대한 양의 데이터를 이용하여 학습된 모델 즉, 사전 학습 모델이 특징 추출에 적용될 수 있다. 사전 학습 모델을 이용하여 특징 추출을 하는 경우, 특징 추출 모듈(220)은 사전 학습 모델 기반의 전이 학습(Transfer Learning)을 통해 각각의 클래스에 포함되는 트레이닝 데이터를 대상으로 특징을 추출할 수 있다.
각각의 클래스에 포함되는 트레이닝 데이터가 방대한 양의 데이터이면, 특징 추출 모듈(220)은 각각의 클래스에 포함되는 트레이닝 데이터를 토대로 특징 추출을 할 수 있다. 즉, 특징 추출 모듈(220)은 사전 학습 모델을 이용하지 않아도 된다. 기판 검사 유닛(200)은 이러한 측면을 고려하여 도 3에 도시된 바와 같이 데이터 양 판별 모듈(260)을 더 포함할 수 있다. 도 3은 본 발명의 일 실시예에 따른 기판 처리 장치를 구성하는 기판 검사 유닛의 제1 방법과 관련된 내부 모듈을 개략적으로 도시한 제2 예시도이다.
데이터 양 판별 모듈(260)은 각각의 클래스에 포함되는 트레이닝 데이터가 방대한 양의 데이터인지 여부를 판별한다. 데이터 양 판별 모듈(260)은 각각의 클래스에 포함되는 트레이닝 데이터의 양(또는 개수)이 기준값 이상인지 여부를 기초로 상기 판별을 할 수 있다. 구체적으로, 데이터 양 판별 모듈(260)은 각각의 클래스에 포함되는 트레이닝 데이터의 양이 기준값 이상이면 각각의 클래스에 포함되는 트레이닝 데이터가 방대한 양의 데이터인 것으로 판별하고, 각각의 클래스에 포함되는 트레이닝 데이터의 양이 기준값 미만이면 각각의 클래스에 포함되는 트레이닝 데이터가 방대한 양의 데이터가 아닌 것으로 판별할 수 있다.
한편, 데이터 양 판별 모듈(260)은 라벨링 작업이 수행되는 복수의 트레이닝 데이터가 방대한 양의 데이터인지 여부를 판별하는 것도 가능하다. 이 경우, 라벨링 작업이 수행되는 복수의 트레이닝 데이터가 방대한 양의 데이터이면, 특징 추출 모듈(220)이 사전 학습 모델을 이용하지 않고, 각각의 클래스에 포함되는 트레이닝 데이터를 토대로 특징 추출을 할 수도 있다.
다시 도 2를 참조하여 설명한다.
유효성 평가 모듈(230)은 특징 추출 모듈(220)에 의해 추출된 특징들의 유효성을 평가한다. 이러한 유효성 평가 모듈(230)은 상기 특징들에 차원 축소 방법을 적용하여 각각의 특징의 유효성을 평가할 수 있다. 유효성 평가 모듈(230)은 각각의 특징에 대한 유효성 평가를 통해 유효성이 없는 것으로 판단되는 특징을 제거함으로써, 이미지 데이터 분류 방법과 관련된 기판 검사 유닛(200)의 계산 및 처리 속도를 향상시킬 수 있다.
유효성 평가 모듈(230)은 각각의 특징에 대해 유효성을 평가하는 경우, t-SNE(t-distributed Stochastic Neighbor Embedding) 알고리즘을 차원 축소 방법으로 이용할 수 있다. 그러나 본 실시예가 이에 한정되는 것은 아니다. 유효성 평가 모듈(230)은 UMAP(Uniform Manifold Approximation and Projection) 알고리즘을 차원 축소 방법으로 이용하는 것도 가능하다.
클래스 검증 모듈(240)은 사전에 정의된 클래스에 대해 검증을 한다. 여기서, 사전에 정의된 클래스는 수동적 이미지 라벨링에 이용된 클래스를 말한다.
클래스 검증 모듈(240)은 사전에 정의된 클래스에 대해 검증을 하는 경우, 사전에 정의된 각각의 클래스 분류 기준에 대한 적합성 여부를 토대로 사전에 정의된 클래스에 대해 검증을 할 수 있다. 이 경우, 클래스 검증 모듈(240)은 비계층적 군집 분석(Non-Hierarchical Clustering)을 이용하여 사전에 정의된 클래스에 대해 검증을 할 수 있으며, 특히 클래스 검증 모듈(240)은 비지도 학습(Unsupervised Learning) 기반의 비계층적 군집 분석을 이용하여 사전에 정의된 클래스에 대해 검증을 할 수 있다.
비계층적 군집 분석을 이용하는 경우, 클래스 검증 모듈(240)은 밀도 기반(Density-based) 클러스터링 방법을 이용하여 사전에 정의된 클래스에 대해 검증을 할 수 있다. 예를 들어, 클래스 검증 모듈(240)은 DBSCAN(Density Based Spatial Clustering of Applications with Noise)을 활용하여 사전에 정의된 클래스에 대해 검증을 할 수 있다. 그러나 본 실시예가 이에 한정되는 것은 아니다. 클래스 검증 모듈(240)은 중심 기반(Center-based) 클러스터링 방법을 이용하여 사전에 정의된 클래스에 대해 검증을 하는 것도 가능하다. 예를 들어, 클래스 검증 모듈(240)은 k-평균 알고리즘(k-means Clustering Algorithm)을 활용하여 사전에 정의된 클래스에 대해 검증을 할 수 있다.
데이터 재구성 모듈(250)은 특징에 대한 유효성 평가 및 클래스에 대한 검증이 완료되면, 유효성이 있는 것으로 판단된 특징과 검증된 클래스를 기반으로 복수의 트레이닝 데이터에 대해 클러스터링을 수행한다. 즉, 데이터 재구성 모듈(250)은 복수의 트레이닝 데이터를 대상으로 검증된 클래스에 클러스터링된 트레이닝 데이터의 경우, 검증된 클래스에 적합한 것으로 판단하여 남겨 두고, 검증된 클래스에 클러스터링되지 않은 트레이닝 데이터의 경우, 검증된 클래스에 적합하지 않은 것으로 판단하여 배제시킴으로써, 복수의 트레이닝 데이터에 대해 클러스터링을 수행할 수 있다.
기판 검사 유닛(200)은 이상 설명한 라벨링 정보 획득 모듈(210a), 특징 추출 모듈(220), 유효성 평가 모듈(230), 클래스 검증 모듈(240) 및 데이터 재구성 모듈(250)을 포함하여 트레이닝 데이터 즉, 기판(G)의 이미지 데이터를 분류할 수 있다. 기판 검사 유닛(200)의 이러한 방법은 작업자들이 주관적으로 트레이닝 데이터를 분류하는 종래의 방법보다 일관화된 트레이닝 이미지 데이터를 확보하는 것이 가능해지는 효과를 얻을 수 있다.
또한, 이미지 데이터 세트 수집 단계(Collect Image Dataset), 이미지 데이터 세트 훈련 단계(Training Image Dataset), 이미지 데이터 세트 검증 단계(Validation Image Dataset), 모델 아키텍처 디자인 단계(Design Model Architecture), 모델 훈련 단계(Train Model), 모델 평가 단계(Evaluate Model) 및 테스트 이미지 예측 단계(Predict Test Image)로 구성되는 딥 러닝 프레임워크(DL Framework)에서, 상기 종래의 방법이 상기 이미지 데이터 세트 수집 단계에서 이루어지던 것과 달리, 본 발명의 방법은 상기 이미지 데이터 세트 훈련 단계에서 이루어지는 효과도 얻을 수 있다.
한편, 기판 검사 유닛(200)은 기판 처리 장치(100)가 적어도 1회 작동을 하면 트레이닝 데이터의 재분류를 수행할 수 있다.
이상 도 2를 참조하여 설명한 기판 검사 유닛(200)은 딥 러닝을 이용하여 기판(G)의 이미지 데이터를 분류하는 경우의 예시로서, 이 경우 기판 검사 유닛(200)은 복수의 트레이닝 데이터에 대해 라벨링 작업을 수행하지 않는다. 그러나 본 실시예가 이에 한정되는 것은 아니다. 기판 검사 유닛(200)은 복수의 트레이닝 데이터에 대해 라벨링 작업을 수행하는 것도 가능하다. 이하에서는 이에 대해 설명한다.
도 4는 본 발명의 일 실시예에 따른 기판 처리 장치를 구성하는 기판 검사 유닛의 제1 방법과 관련된 내부 모듈을 개략적으로 도시한 제3 예시도이다. 도 4에 따르면, 기판 검사 유닛(200)은 데이터 라벨링 모듈(210b), 특징 추출 모듈(220), 유효성 평가 모듈(230), 클래스 검증 모듈(240) 및 데이터 재구성 모듈(250)을 포함할 수 있다.
특징 추출 모듈(220), 유효성 평가 모듈(230), 클래스 검증 모듈(240) 및 데이터 재구성 모듈(250)에 대해서는 도 2를 참조하여 전술하였는 바, 여기서는 그 자세한 설명을 생략한다.
데이터 라벨링 모듈(210b)은 미리 정해진 클래스에 따라 복수의 트레이닝 데이터를 각각의 클래스로 분류한다. 도 2의 기판 검사 유닛(200)과 비교하여 보면, 도 2의 기판 검사 유닛(200)은 복수의 트레이닝 데이터를 클래스별로 분류하지 않는 데 반해, 도 4의 기판 검사 유닛(200)은 데이터 라벨링 모듈(210b)을 통해 복수의 트레이닝 데이터를 직접 클래스별로 분류한다는 점에서 차이점이 있는 것이다.
다음으로, 기판 검사 유닛(200)의 이미지 데이터 분류 방법에 대하여 설명한다. 도 5는 본 발명의 일 실시예에 따른 기판 처리 장치를 구성하는 기판 검사 유닛의 제1 방법을 흐름에 따라 도시한 제1 예시도이다. 이하 설명은 도 5를 참조한다.
먼저, 복수의 작업자들에 의해 복수의 트레이닝 데이터가 수동으로 각각의 클래스로 분류되면(S310), 특징 추출 모듈(220)은 각각의 클래스에 포함되는 트레이닝 데이터를 대상으로 특징을 추출한다(S320). 특징 추출 모듈(220)은 사전 학습 모델 기반의 전이 학습을 통해 각각의 클래스에 포함되는 트레이닝 데이터에 대해 특징을 추출할 수 있다.
이후, 유효성 평가 모듈(230)은 특징 추출 모듈(220)에 의해 추출된 특징들의 유효성을 평가한다(S330). 유효성 평가 모듈(230)은 차원 축소 방법(예를 들어, t-SNE 알고리즘)을 이용하여 각각의 특징에 대해 유효성을 평가할 수 있다.
이후, 클래스 검증 모듈(240)은 사전에 정의된 클래스(즉, S310 단계에서 복수의 트레이닝 데이터를 분류하는 데에 이용된 클래스)에 대해 검증을 한다(S340). 클래스 검증 모듈(240)은 비지도 학습 기반의 DBSCAN을 활용하여 사전에 정의된 클래스에 대해 검증을 할 수 있다.
이후, 데이터 재구성 모듈(250)은 유효성 평가 모듈(230) 및 클래스 검증 모듈(240)에 의해 유효성이 있는 것으로 판단된 특징과 검증된 클래스를 기초로 복수의 트레이닝 데이터에 대해 클러스터링을 수행한다(S350).
한편, 앞서 설명하였지만, 각각의 클래스에 포함되는 트레이닝 데이터가 방대한 양의 데이터이면, 특징 추출 모듈(220)은 사전 학습 모델 기반의 전이 학습을 이용하지 않고, 각각의 클래스에 포함되는 트레이닝 데이터를 토대로 특징을 추출할 수 있다. 따라서 기판 검사 유닛(200)의 이미지 데이터 분류 방법은 다음과 같이 수행될 수도 있다.
도 6은 본 발명의 일 실시예에 따른 기판 처리 장치를 구성하는 기판 검사 유닛의 제1 방법을 흐름에 따라 도시한 제2 예시도이다. 이하 설명은 도 6을 참조한다.
먼저, 복수의 작업자들에 의해 복수의 트레이닝 데이터가 수동으로 각각의 클래스로 분류되면(S410), 데이터 양 판별 모듈(260)은 각각의 클래스에 포함되는 트레이닝 데이터가 방대한 양의 데이터인지 여부를 판별한다(S420).
여기서, 각각의 클래스에 포함되는 트레이닝 데이터가 방대한 양의 데이터인 것으로 판별되면, 특징 추출 모듈(220)은 각각의 클래스에 포함되는 트레이닝 데이터를 이용하여 특징을 추출한다(S430).
반면, 각각의 클래스에 포함되는 트레이닝 데이터가 방대한 양의 데이터가 아닌 것으로 판별되면, 특징 추출 모듈(220)은 사전 학습 모델에 적용된 데이터를 이용하여 특징을 추출한다(S440). 여기서, 사전 학습 모델은 각각의 클래스에 포함되는 트레이닝 데이터와 관련성이 있는 이미지 데이터들로 구성될 수 있다.
이후, 유효성 평가 모듈(230)은 특징 추출 모듈(220)에 의해 추출된 특징들의 유효성을 평가한다(S450).
이후, 클래스 검증 모듈(240)은 사전에 정의된 클래스(즉, S410 단계에서 복수의 트레이닝 데이터를 분류하는 데에 이용된 클래스)에 대해 검증을 한다(S460).
이후, 데이터 재구성 모듈(250)은 유효성 평가 모듈(230) 및 클래스 검증 모듈(240)에 의해 유효성이 있는 것으로 판단된 특징과 검증된 클래스를 기초로 복수의 트레이닝 데이터에 대해 클러스터링을 수행한다(S470).
한편, 기판 검사 유닛(200)은 복수의 트레이닝 데이터에 대해 직접 라벨링 작업을 수행하는 것도 가능하다. 도 7은 본 발명의 일 실시예에 따른 기판 처리 장치를 구성하는 기판 검사 유닛의 제1 방법을 흐름에 따라 도시한 제3 예시도이다. 이하 설명은 도 7을 참조한다.
먼저, 데이터 라벨링 모듈(210b)은 미리 정해진 클래스에 따라 복수의 트레이닝 데이터를 각각의 클래스로 분류한다(S510).
이후, 특징 추출 모듈(220)은 각각의 클래스에 포함되는 트레이닝 데이터를 대상으로 특징을 추출한다(S520).
이후, 유효성 평가 모듈(230)은 특징 추출 모듈(220)에 의해 추출된 특징들의 유효성을 평가한다(S530).
이후, 클래스 검증 모듈(240)은 사전에 정의된 클래스(즉, S510 단계에서 복수의 트레이닝 데이터를 분류하는 데에 이용된 클래스)에 대해 검증을 한다(S540).
이후, 데이터 재구성 모듈(250)은 유효성 평가 모듈(230) 및 클래스 검증 모듈(240)에 의해 유효성이 있는 것으로 판단된 특징과 검증된 클래스를 기초로 복수의 트레이닝 데이터에 대해 클러스터링을 수행한다(S550).
이상 도 2 내지 도 7을 참조하여 기판 검사 유닛(200)의 이미지 데이터 분류 방법에 대하여 설명하였다. 이하에서는 기판 검사 유닛(200)의 이미지 데이터를 이용한 기판 검사 방법에 대하여 설명한다.
도 8은 본 발명의 일 실시예에 따른 기판 처리 장치를 구성하는 기판 검사 유닛의 제2 방법과 관련된 내부 모듈을 개략적으로 도시한 예시도이다. 그리고, 도 9는 본 발명의 일 실시예에 따른 기판 처리 장치를 구성하는 기판 검사 유닛의 제2 방법을 흐름에 따라 도시한 예시도이다. 이하 설명은 도 8 및 도 9를 참조한다.
먼저, 비전 모듈(125)에 의해 기판(G)의 이미지 데이터가 획득되면(S710), 기판 검사 유닛(200)의 데이터 처리 모듈(610)은 상기 이미지 데이터를 처리한다(S720). 상기에서, 비전 모듈(125)에 의해 획득되는 기판(G)의 이미지 데이터는 잉크젯 헤드 유닛(140)에 의해 그 상부에 기판 처리액이 토출된 기판(G)의 이미지 데이터일 수 있다.
이후, 기판 검사 유닛(200)의 기준 데이터 검출 모듈(620)은 이미지 데이터 분류 방법에 따라 클래스별로 분류된 복수의 트레이닝 데이터들 중에서 기판(G)의 이미지 데이터와 비교 대상이 될 기준 데이터를 검출한다(S730). 기준 데이터 검출 모듈(620)은 사전에 정의된 클래스 중에서 기판(G)의 이미지 데이터와 관련성이 있는 클래스를 결정한 후, 해당 클래스로 분류된 트레이닝 데이터들 중에서 상기 기준 데이터를 검출할 수 있다.
상기 S730 단계는 S720 단계 이후에 수행될 수 있지만, S720 단계와 동시에 수행되는 것도 가능하다. 또는, 상기 S730 단계는 S720 단계 이전에 수행되는 것도 가능하다. 한편, 본 실시예에서는 S730 단계를 수행하기에 앞서, 이미지 데이터 분류 방법을 수행한 후, S730 단계를 수행하는 것도 가능하다.
이후, 기판 검사 유닛(200)의 데이터 분석 모듈(630)은 기판(G)의 이미지 데이터와 기준 데이터를 비교 및 분석한다(S740).
이후, 기판 검사 유닛(200)의 기판 판별 모듈(640)은 상기 비교 및 분석 결과를 토대로 기판(G)이 양호한 상태인지 아니면 불량한 상태인지를 판별한다(S750). 예를 들어, 기판(G)에 대해 픽셀 인쇄를 하는 경우, 기판 판별 모듈(640)은 기판(G) 상에 탄착 오류에 의한 라인성 결함(Line Defect)이나 에어리어성 얼룩(Area Spot)이 없는 것으로 판단되면, 기판(G)을 양호한 상태로 판별하고, 기판(G) 상에 상기 라인성 결함이나 에어리어성 얼룩이 있는 것으로 판단되면, 기판(G)을 불량한 상태로 판별할 수 있다.
이상 설명한 본 발명은 기판 검사 유닛(200)에 의해 수행되는 방법에 관한 것으로서, 비지도 학습(Unsupervised Learning) 기법 기반 반자동 이미지 라벨링 알고리즘(Semi-auto Image Labeling Algorithm)에 관한 것이다. 상기 알고리즘은 딥 러닝 적용 초기 단계에서 작업자들에 의해 수동적 라벨링(Manual Labeling)된 트레이닝 이미지 데이터를 검증 및 보완하여 예측 정확도를 향상시킬 수 있는 반자동 라벨링 알고리즘에 관한 것이다.
일반적으로 딥 러닝 알고리즘에 사용되는 트레이닝 데이터는 목적에 맞게 분류 클래스를 사전 정의한 뒤, 라벨링을 수행하여 구성된다. 이처럼 사전에 설계된 대로 트레이닝 데이터가 구성되어 있기 때문에 별도의 검증 작업 없이 딥 러닝 알고리즘의 입력 데이터(Input Data)로 사용된다.
하지만 제조 분야에서 딥 러닝 기반 양/불 이미지 검사인 경우, 별도의 트레이닝 데이터에 대한 검증 작업이 요구된다. 그 이유는 양/불 이미지 데이터가 설비 가동 전에는 어떠한 형태로 발생될지 사전 예측하기가 힘들기 때문이다. 따라서 일반적인 트레이닝 데이터 구성과는 다르게 클래스를 사전 정의하고 라벨링하기 어려운 문제점이 발생한다.
또한, Collecting Image Dataset 단계에서 N명의 작업자들이 클래스를 정의하고 수동적 라벨링을 수행한 후, 최종적으로 각 클래스를 합쳐서 트레이닝 데이터를 구성한다. 이 단계에서 N명의 작업자들의 주관들이 개별적으로 반영될 수밖에 없기 때문에 트레이닝 데이터가 클래스에 맞게 구성되었는지 검증 작업이 필요하다.
딥 러닝 알고리즘의 예측 정확도는 트레이닝 데이터 구성과 모델 아키텍처 및 훈련(Training) 반복 횟수에 크게 영향을 받는다. 그 중에서도 트레이닝 데이터 구성이 가장 영향력이 큰 요소라고 볼 수 있다.
본 발명에서 제안하는 딥 러닝 프레임워크는 N명 작업자들의 수동적 라벨링을 사전 정의된 클래스 기준에 맞게 트레이닝 데이터를 검증 및 재구성하여(Semi-auto Labeling) 분류 예측 정확도를 향상시키는 데에 목적이 있다. 본 발명에서는 이를 통해 트레이닝 데이터 구성의 신뢰도를 향상시켜 설비의 다양한 결함 발생에 보다 더 정확하게 예측 분류가 가능할 것으로 기대한다.
본 발명에서 제안하는 딥 러닝 프레임워크는 구체적으로 다음과 같이 진행된다. 앞서 종래의 문제점에서 기술한 것처럼 제조업계 분야에서는 반드시 트레이닝 데이터를 검증할 필요가 있고, 이를 통해 라벨링을 다시 수행하여 트레이닝 데이터를 재구성하여 예측 정확도를 향상시킨다. 본 발명에서는 이와 같이 트레이닝 이미지 데이터 검증 및 재구성하는 일련의 과정을 반자동 이미지 라벨링(Semi-auto Image Labeling)이라고 정의한다.
먼저, 사전 정의된 분류 클래스에 맞게 N명의 작업자들이 수동적 이미지 라벨링을 수행한다.
이후, 1차 수동적 이미지 라벨링된 트레이닝 데이터 내 각 클래스를 대상으로 범용 이미지 데이터에 특화된 사전 학습 모델 기반의 전이 학습을 통해 특징을 추출한다.
이후, t-SNE 알고리즘을 통해 추출된 특징들의 차원을 감소하여 특징들의 유효성을 확인하고, 이에 따른 계산 처리 속도를 향상시킨다.
이후, 비지도 학습 기반의 DBSCAN을 활용하여 사전 정의된 각각의 클래스 분류 기준에 대한 적합 여부를 검증한다.
클러스터링된 이미지는 해당 클래스에 적합한 것이라서 남겨 두고 클러스터링되지 않은 이미지는 해당 클래스에 부적합 것이라 배제시켜서 트레이닝 이미지 데이터를 재구성한다. 상기 과정을 나머지 클래스들에도 수행하여 전체 트레이닝 이미지 데이터를 재구성한다.
이상 설명한 본 발명의 특징을 다시 한번 정리하여 보면 다음과 같다.
첫째, 딥 러닝 수행 초기 단계에서 N명의 작업자들이 수동적으로 라벨링한 트레이닝 이미지 데이터에 대해 비지도 학습 기법 기반의 데이터 일관성을 검증한 뒤, 반자동 이미지 라벨링을 통해 보다 정확하게 분류된 트레이닝 이미지 데이터를 딥 러닝의 입력 데이터로 활용하여 예측 정확도를 향상시킬 수 있다.
둘째, 트레이닝 이미지 데이터를 대상으로 전이 학습을 통해 특징을 추출하고, t-SNE 알고리즘 기반의 특징 차원 축소(Feature Dimension Reduction)를 수행한 뒤, 비지도 학습인 DBSCAN을 활용하여 반자동 이미지 라벨링을 구현할 수 있다.
이상과 같이 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 기판 처리 장치 110: 공정 처리 유닛
120: 메인터넌스 유닛 125: 비전 모듈
130: 갠트리 유닛 140: 잉크젯 헤드 유닛
150: 기판 처리액 공급 유닛 160: 제어 유닛
200: 기판 검사 유닛 210a: 라벨링 정보 획득 모듈
210b: 데이터 라벨링 모듈 220: 특징 추출 모듈
230: 유효성 평가 모듈 240: 클래스 검증 모듈
250: 데이터 재구성 모듈 260: 데이터 양 판별 모듈
610: 데이터 처리 모듈 620: 기준 데이터 검출 모듈
630: 데이터 분석 모듈 640: 기판 판별 모듈

Claims (20)

  1. 기 정의된 클래스에 따라 기판의 이미지 데이터와 관련된 복수의 트레이닝 데이터가 분류되면, 각각의 클래스에 포함된 트레이닝 데이터에서 특징을 추출하는 특징 추출 모듈;
    상기 특징의 유효성을 평가하는 유효성 평가 모듈;
    상기 기 정의된 클래스를 검증하는 클래스 검증 모듈; 및
    유효성이 있는 것으로 판단된 특징과 검증된 클래스를 기초로 상기 복수의 트레이닝 데이터를 재구성하는 데이터 재구성 모듈을 포함하며,
    상기 기판을 검사하는 경우 재구성된 트레이닝 데이터를 활용하는 기판 검사 유닛.
  2. 제 1 항에 있어서,
    상기 특징 추출 모듈은 기준량 이상의 상기 기판의 이미지 데이터와 관련된 데이터를 이용하여 학습하여 얻은 결과인 사전 학습 모델을 이용하여 상기 특징을 추출하는 기판 검사 유닛.
  3. 제 1 항에 있어서,
    상기 유효성 평가 모듈은 상기 특징에 차원 축소 방법을 적용하여 상기 특징의 유효성을 평가하는 기판 검사 유닛.
  4. 제 3 항에 있어서,
    상기 유효성 평가 모듈은 상기 차원 축소 방법으로 t-SNE 알고리즘을 사용하는 기판 검사 유닛.
  5. 제 1 항에 있어서,
    상기 클래스 검증 모듈은 비계층적 군집 분석을 이용하여 상기 기 정의된 클래스를 검증하는 기판 검사 유닛.
  6. 제 5 항에 있어서,
    상기 클래스 검증 모듈은 밀도 기반의 클러스터링 방법을 이용하여 상기 기 정의된 클래스를 검증하는 기판 검사 유닛.
  7. 제 1 항에 있어서,
    상기 클래스 검증 모듈은 비지도 학습 기반의 군집 분석을 이용하여 상기 기 정의된 클래스를 검증하는 기판 검사 유닛.
  8. 제 1 항에 있어서,
    상기 각각의 클래스에 포함된 트레이닝 데이터의 양이 기준량 이상인지 여부를 판별하는 데이터 양 판별 모듈을 더 포함하는 기판 검사 유닛.
  9. 제 8 항에 있어서,
    상기 특징 추출 모듈은 상기 각각의 클래스에 포함된 트레이닝 데이터의 양이 기준량 미만이면 상기 기준량 이상의 상기 기판의 이미지 데이터와 관련된 데이터를 이용하여 학습하여 얻은 결과인 사전 학습 모델을 이용하여 상기 특징을 추출하는 기판 검사 유닛.
  10. 제 1 항에 있어서,
    상기 기 정의된 클래스에 따라 상기 복수의 트레이닝 데이터를 직접 분류하는 데이터 라벨링 모듈을 더 포함하는 기판 검사 유닛.
  11. 제 1 항에 있어서,
    클래스별로 분류된 트레이닝 데이터에 대한 정보 및 상기 기 정의된 클래스에 대한 정보를 입력받거나 수신하는 라벨링 정보 획득 모듈을 더 포함하는 기판 검사 유닛.
  12. 제 1 항에 있어서,
    상기 복수의 트레이닝 데이터는 양호한 상태의 기판의 이미지 데이터 및 불량한 상태의 기판의 이미지 데이터 중 적어도 한 종류의 이미지 데이터인 기판 검사 유닛.
  13. 제 1 항에 있어서,
    상기 복수의 트레이닝 데이터는 기판 처리액이 토출된 기판의 이미지 데이터인 기판 검사 유닛.
  14. 제 1 항에 있어서,
    상기 기판의 이미지 데이터가 획득되면, 상기 기판의 이미지 데이터를 처리하는 데이터 처리 모듈;
    기준 데이터를 검출하는 기준 데이터 검출 모듈;
    상기 기판의 이미지 데이터와 상기 기준 데이터를 비교 및 분석하는 데이터 분석 모듈; 및
    상기 기판의 이미지 데이터와 상기 기준 데이터 간 분석 결과를 기초로 상기 기판이 양호한지 아니면 불량한지를 판별하는 기판 판별 모듈을 더 포함하는 기판 검사 유닛.
  15. 제 14 항에 있어서,
    상기 기준 데이터 검출 모듈은 상기 기 정의된 클래스 중에서 상기 기판의 이미지 데이터와 관련성이 있는 클래스를 결정하고, 결정된 클래스에 포함된 트레이닝 데이터 중에서 상기 기준 데이터를 검출하는 기판 검사 유닛.
  16. 제 1 항에 있어서,
    상기 기판 검사 유닛은 상기 기판을 처리하는 장치가 적어도 일회 구동되면 상기 복수의 트레이닝 데이터를 재구성하는 기판 검사 유닛.
  17. 기 정의된 클래스에 따라 기판의 이미지 데이터와 관련된 복수의 트레이닝 데이터가 분류되면, 각각의 클래스에 포함된 트레이닝 데이터에서 특징을 추출하는 특징 추출 모듈;
    상기 특징의 유효성을 평가하는 유효성 평가 모듈;
    상기 기 정의된 클래스를 검증하는 클래스 검증 모듈; 및
    유효성이 있는 것으로 판단된 특징과 검증된 클래스를 기초로 상기 복수의 트레이닝 데이터를 재구성하는 데이터 재구성 모듈을 포함하되,
    상기 기판을 검사하는 경우 재구성된 트레이닝 데이터를 활용하고,
    상기 특징 추출 모듈은 기준량 이상의 상기 기판의 이미지 데이터와 관련된 데이터를 이용하여 학습하여 얻은 결과인 사전 학습 모델의 전이 학습을 이용하여 상기 특징을 추출하며,
    상기 유효성 평가 모듈은 상기 특징에 차원 축소 방법을 적용하여 상기 특징의 유효성을 평가하고,
    상기 클래스 검증 모듈은 비지도 학습 기반의 DBSCAN을 활용하여 상기 기 정의된 클래스를 검증하며,
    상기 복수의 트레이닝 데이터는 기판 처리액이 토출된 상기 기판의 이미지 데이터로서 양호한 상태의 이미지 데이터 및 불량한 상태의 이미지 데이터 중 적어도 한 종류의 이미지 데이터인 기판 검사 유닛.
  18. 기판이 처리되는 동안 상기 기판을 지지하는 공정 처리 유닛;
    상기 기판 상에 기판 처리액을 토출하는 잉크젯 헤드 유닛;
    상기 잉크젯 헤드 유닛이 설치되며, 상기 잉크젯 헤드 유닛을 상기 기판 상에서 이동시키는 갠트리 유닛; 및
    상기 기판을 검사하는 기판 검사 유닛을 포함하며,
    상기 기판 검사 유닛은,
    기 정의된 클래스에 따라 기판의 이미지 데이터와 관련된 복수의 트레이닝 데이터가 분류되면, 각각의 클래스에 포함된 트레이닝 데이터에서 특징을 추출하는 특징 추출 모듈;
    상기 특징의 유효성을 평가하는 유효성 평가 모듈;
    상기 기 정의된 클래스를 검증하는 클래스 검증 모듈; 및
    유효성이 있는 것으로 판단된 특징과 검증된 클래스를 기초로 상기 복수의 트레이닝 데이터를 재구성하는 데이터 재구성 모듈을 포함하고,
    상기 기판을 검사하는 경우 재구성된 트레이닝 데이터를 활용하는 기판 처리 장치.
  19. 제 18 항에 있어서,
    상기 특징 추출 모듈은 기준량 이상의 상기 기판의 이미지 데이터와 관련된 데이터를 이용하여 학습하여 얻은 결과인 사전 학습 모델의 전이 학습을 이용하여 상기 특징을 추출하는 기판 처리 장치.
  20. 제 18 항에 있어서,
    상기 클래스 검증 모듈은 비지도 학습 기반의 DBSCAN을 이용하여 상기 기 정의된 클래스를 검증하는 기판 처리 장치.
KR1020210189467A 2021-12-28 2021-12-28 기판 검사 유닛 및 이를 포함하는 기판 처리 장치 KR20230099985A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210189467A KR20230099985A (ko) 2021-12-28 2021-12-28 기판 검사 유닛 및 이를 포함하는 기판 처리 장치
CN202211540001.6A CN116403000A (zh) 2021-12-28 2022-12-02 基板检查单元及包括其的基板处理装置
US18/076,401 US20230206415A1 (en) 2021-12-28 2022-12-07 Substrate inspecting unit and substrate treating apparatus including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210189467A KR20230099985A (ko) 2021-12-28 2021-12-28 기판 검사 유닛 및 이를 포함하는 기판 처리 장치

Publications (1)

Publication Number Publication Date
KR20230099985A true KR20230099985A (ko) 2023-07-05

Family

ID=86896862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210189467A KR20230099985A (ko) 2021-12-28 2021-12-28 기판 검사 유닛 및 이를 포함하는 기판 처리 장치

Country Status (3)

Country Link
US (1) US20230206415A1 (ko)
KR (1) KR20230099985A (ko)
CN (1) CN116403000A (ko)

Also Published As

Publication number Publication date
CN116403000A (zh) 2023-07-07
US20230206415A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
CN106952250B (zh) 一种基于Faster R-CNN网络的金属板带表面缺陷检测方法及装置
CN102854191B (zh) 高速铁轨表面缺陷的实时视觉检测与识别方法
CN102555473B (zh) 不良记录元件检测设备和方法,以及图像形成设备和方法
US20230351583A1 (en) Enhanced print defect detection
JP2015223723A (ja) インクジェット記録装置及びイジェクタの異常検出方法
JP2003509256A (ja) インク滴分析装置
EP3007133A2 (en) Apparatus and method for defect detection in a printing system
CN110667254A (zh) 借助神经网络的喷嘴健康探测
CN112354874A (zh) 煤和矸石的识别方法以及矸石自动分离系统
CN115375690A (zh) 一种舌象腐腻苔分类识别方法
CN114536975B (zh) 一种喷墨打印中墨滴落点定位精度检测方法及装置
KR100636236B1 (ko) 미싱노즐 검출 방법 및 장치
JP4723544B2 (ja) 基板分類方法および装置、基板分類方法をコンピュータに実行させるためのプログラム、並びに上記プログラムを記録したコンピュータ読み取り可能な記録媒体
KR20230099985A (ko) 기판 검사 유닛 및 이를 포함하는 기판 처리 장치
WO2023113773A1 (en) Manufacturing defect detection augmented training sets
JP7372432B2 (ja) ノズル検査ユニットおよびそれを含む基板処理装置
JP2020114666A (ja) 改良された印刷ノズルテストパターン
Mansano et al. Inspection of metallic surfaces using local binary patterns
JP7005850B2 (ja) 印刷されたマイクロアレイを作成するための方法及びデバイス
US20230177676A1 (en) Substrate inspecting unit and substrate treating apparatus including the same
US20230101546A1 (en) Control unit and substrate treating apparatus including the same
Bischoff et al. Image-Based Predictive Maintenance Concept for Inkjet Printing of Ceramic Inks
CN112200803A (zh) 精子核蛋白成熟度检测方法及装置
US20240005118A1 (en) System and method for diagnosing inoperative inkjet patterns within printheads in an inkjet printer
US20240149582A1 (en) Substrate processing apparatus and method