KR20230127931A - 표시 장치의 결함 감지를 위한 시스템, 방법 및 저장 매체 - Google Patents

표시 장치의 결함 감지를 위한 시스템, 방법 및 저장 매체 Download PDF

Info

Publication number
KR20230127931A
KR20230127931A KR1020230025225A KR20230025225A KR20230127931A KR 20230127931 A KR20230127931 A KR 20230127931A KR 1020230025225 A KR1020230025225 A KR 1020230025225A KR 20230025225 A KR20230025225 A KR 20230025225A KR 20230127931 A KR20230127931 A KR 20230127931A
Authority
KR
South Korea
Prior art keywords
encoder
image
input image
patches
code
Prior art date
Application number
KR1020230025225A
Other languages
English (en)
Inventor
수후이 쿠
치센 쳉
이장환
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Publication of KR20230127931A publication Critical patent/KR20230127931A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 한 실시예에 따른 시스템은, 메모리, 상기 메모리에 연결된 부호기, 그리고 상기 부호기에 연결된 복호기를 포함하며, 상기 부호기에서, 입력 영상을 수신하고, 상기 부호기에 의하여, 상기 입력 영상을 복수의 영상 패치로 분할하고, 상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 코드를, 상기 코드를 포함하는 코드북으로부터 선택하고, 상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 상기 코드를 포함하는 할당 코드 행렬(assigned code matrix)을 결정하고, 상기 복호기에 의하여, 상기 부호기로부터 상기 할당 코드 행렬을 수신하고, 상기 복호기에 의하여, 상기 할당 코드 행렬에 기초하여 재건 영상을 생성한다.

Description

표시 장치의 결함 감지를 위한 시스템, 방법 및 저장 매체 {DEFECT DETECTION SYSTEM, METHOD AND STORAGE MEDIUM FOR DISPLAY DEVICE}
본 발명은 일반적으로 표시 장치의 결함 감지에 관한 것으로서, 더 상세하게는 표시 장치의 제조 과정에서 발생하는 매우 작은 결함을 감지하기 위한 벡터 양자화 자동 부호기 코드북 학습에 관한 것이다.
본 출원은 2022년 2월 24일에 미국 특허청에 출원한 미국 특허출원번호 제63/313,356호를 우선권 주장하며, 여기에 인용함으로써 이 출원의 전체 내용을 본원에 포함한다.
시각 결함 감지의 자동화를 이루기 위한 기계 학습의 사용이 늘고 있다. 그러나 결함 데이터의 부족으로 인하여 결함 감지가 쉽지 않다. 이러한 어려움을 덜기 위하여 소수(小數) 데이터(few-shot) 학습 또는 리샘플링(resampling) 등의 방식이 보고되고 있다. 그렇지만 제한된 성능과 활용도 때문에 결함 부족 문제는 여전히 해결되지 않은 상태이다.
배경 기술 항목에서 설명한 앞서의 정보는 기술의 배경에 대한 이해를 높이기 위한 것일 뿐이며, 종래 기술의 존재 또는 종래 기술과의 관련을 인정하는 것으로 해석해서는 아니된다.
본 발명이 해결하고자 하는 과제는 결함 데이터 부족으로 인한 결함 감지의 성능 저하를 줄이는 것이다.
과제의 해결 수단은 뒤의 발명을 실시하기 위한 구체적인 내용에서 상세하게 설명할 본 발명의 실시예의 특징과 개념의 선택을 도입하기 위하여 제공하는 것이다. 과제의 해결 수단은 본 발명의 요지를 정의하고자 하는 것도 아니고 본 발명의 범위를 한정하고자 하는 것도 아니다. 설명하는 특징 중 하나 이상이 하나 이상의 다른 특징과 결합하여 동작 가능한 장치를 이룰 수 있다.
본 발명의 실시예는 표시 장치의 제조 과정에서 발생하는 매우 작은 결함을 감지하기 위한 벡터 양자화 자동 부호기 코드북 학습에 관한 것이다.
본 발명의 한 실시예에 따른 시스템은, 메모리, 상기 메모리에 연결된 부호기, 그리고 상기 부호기에 연결된 복호기를 포함하며, 상기 부호기에서, 입력 영상을 수신하고, 상기 부호기에 의하여, 상기 입력 영상을 복수의 영상 패치로 분할하고, 상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 코드를, 상기 코드를 포함하는 코드북으로부터 선택하고, 상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 상기 코드를 포함하는 할당 코드 행렬(assigned code matrix)을 결정하고, 상기 복호기에 의하여, 상기 부호기로부터 상기 할당 코드 행렬을 수신하고, 상기 복호기에 의하여, 상기 할당 코드 행렬에 기초하여 재건 영상을 생성한다.
상기 입력 영상의 상기 복수의 영상 패치에 대응하는 상기 코드들은 룩업 함수(look-up function)를 사용하여 상기 코드북으로부터 선택되며, 상기 룩업 함수, 상기 코드북 및 상기 할당 코드 행렬은 상기 메모리에 저장될 수 있다.
상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치로부터 잠재 특성들을 추출하고, 상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치로부터 추출한 상기 잠재 특성들을 포함하는 잠재 특성 행렬을 결정할 수 있다.
상기 룩업 함수는 상기 잠재 특성 행렬의 상기 잠재 특성 각각에 대한 할당으로서 최근접 코드를 선택하여 상기 할당 코드 행렬을 결정할 수 있다.
상기 부호기는, 상기 잠재 특성 행렬에 있는 상기 입력 영상의 상기 복수의 영상 패치 중 하나의 영상 패치의 잠재 특성 표현과 상기 코드북에 있는 해당 코드 사이의 유사도(similarity measure)를 비교함으로써 상기 코드북으로부터 상기 하나의 영상 패치에 대응하는 코드를 선택할 수 있다.
상기 유사도는 상기 잠재 특성 행렬에 있는 상기 하나의 영상 패치의 상기 잠재 특성 표현과 상기 코드북에 있는 상기 해당 코드 사이의 유클리드 거리 또는 마할라노비스 거리를 포함할 수 있다.
상기 할당 코드 행렬은 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 상기 코드를 포함할 수 있다.
상기 입력 영상의 상기 복수의 영상 패치 중 하나의 영상 패치에 대응하는 잠재 특성의 벡터 양자화에 기초하여 상기 할당 코드 행렬에 있는 상기 코드 중 하나의 코드가 상기 하나의 영상 패치에 할당될 수 있다.
상기 시스템의 벡터 양자화 손실은, 상기 재건 영상을 생성하는 동안 발생하는 재건 손실 및 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 잠재 특성의 벡터 양자화 과정에서 발생하는 손실을 포함할 수 있다.
생성 대립 신경망(generative adversarial network)으로서 동작하여 상기 입력 영상과 상기 재건 영상 사이의 대립 훈련 손실(adversarial training loss)을 결정하는 패치별 판별기 신경망(patch-wise discriminator network)을 더 포함할 수 있다.
상기 입력 영상으로부터 상기 재건 영상을 생성하는 과정에서 발생하는 상기 시스템의 총 손실은 상기 벡터 양자화 손실 및 상기 대립 훈련 손실을 포함할 수 있다.
상기 부호기에 의하여, 검사 입력 영상을 수신하고, 상기 부호기에 의하여, 상기 검사 입력 영상을 복수의 검사 영상 패치로 분할하고, 상기 부호기에 의하여, 상기 복수의 검사 영상 패치로부터 잠재 특성을 추출하고, 상기 부호기에 의하여, 상기 추출한 잠재 특성에 기초하여 상기 복수의 검사 영상 패치 각각을 하나의 잠재 특성 벡터로 부호화하고, 상기 부호기에 의하여, 상기 복수의 검사 영상 패치 각각에 하나의 코드를 할당하여 상기 복수의 검사 영상 패치의 할당 코드들을 결정하고, 상기 부호기에 의하여, 상기 할당 코드들을 포함하는 패치 집합을 결정하고, 상기 부호기에 의하여, 상기 패치 집합의 상기 할당 코드 각각의 비정상 지수(anomaly score)를 결정하고, 상기 부호기에 의하여, 상기 패치 집합의 상기 할당 코드 각각의 상기 비정상 지수를 문턱 값과 비교하고, 상기 부호기에 의하여, 상기 비교 결과에 기초하여 상기 복수의 검사 영상 패치 중 하나 이상의 결함을 결정할 수 있다.
상기 코드북에 있는 상기 코드 중에서 상기 복수의 검사 영상 패치 중 하나의 검사 영상 패치의 상기 잠재 특성 벡터에 최단 거리에 있는 코드를 상기 하나의 검사 영상 패치에 할당할 수 있다.
상기 패치 집합의 상기 할당 코드 각각의 상기 비정상 지수는 확률 밀도 함수에 기초하여 결정할 수 있다.
본 발명의 한 실시예에 따른 방법은, 부호기에서, 입력 영상을 수신하는 단계, 상기 부호기에서, 상기 입력 영상을 복수의 영상 패치로 분할하는 단계, 상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 코드를, 상기 코드를 포함하는 코드북으로부터 선택하는 단계, 상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 상기 코드를 포함하는 할당 코드 행렬(assigned code matrix)을 결정하는 단계, 복호기에 의하여, 상기 부호기로부터 상기 할당 코드 행렬을 수신하는 단계, 그리고 상기 복호기에 의하여, 상기 할당 코드 행렬에 기초하여 재건 영상을 생성하는 단계를 포함한다.
상기 입력 영상의 상기 복수의 영상 패치에 대응하는 상기 코드들은 룩업 함수(look-up function)를 사용하여 상기 코드북으로부터 선택되며, 상기 방법은, 상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치로부터 잠재 특성들을 추출하는 단계, 그리고 상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치로부터 추출한 상기 잠재 특성들을 포함하는 잠재 특성 행렬을 결정하는 단계를 더 포함할 수 있다.
상기 룩업 함수는 상기 잠재 특성 행렬의 상기 잠재 특성 각각에 대한 할당으로서 최근접 코드를 선택하여 상기 할당 코드 행렬을 결정하고, 상기 부호기는, 상기 잠재 특성 행렬에 있는 상기 입력 영상의 상기 복수의 영상 패치 중 하나의 영상 패치의 잠재 특성 표현과 상기 코드북에 있는 해당 코드 사이의 유사도(similarity measure)를 비교함으로써 상기 코드북으로부터 상기 하나의 영상 패치에 대응하는 코드를 선택할 수 있다.
상기 입력 영상의 상기 복수의 영상 패치 중 하나의 영상 패치에 대응하는 잠재 특성의 벡터 양자화에 기초하여 상기 할당 코드 행렬에 있는 상기 코드 중 하나의 코드가 상기 하나의 영상 패치에 할당되고, 상기 벡터 양자화 손실은, 상기 재건 영상을 생성하는 동안 발생하는 재건 손실 및 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 잠재 특성의 벡터 양자화 과정에서 발생하는 손실을 포함하고, 상기 입력 영상으로부터 상기 재건 영상을 생성하는 과정에서 발생하는 총 손실은 상기 벡터 양자화 손실 및 대립 훈련 손실을 포함할 수 있다.
상기 부호기에 의하여, 상기 복수의 영상 패치로부터 잠재 특성을 추출하는 단계, 상기 부호기에 의하여, 상기 추출한 잠재 특성에 기초하여 상기 복수의 영상 패치 각각을 하나의 잠재 특성 벡터로 부호화하는 단계, 상기 부호기에 의하여, 상기 복수의 영상 패치 각각에 하나의 코드를 할당하여 상기 복수의 영상 패치의 할당 코드들을 결정하는 단계, 상기 부호기에 의하여, 상기 할당 코드들을 포함하는 패치 집합을 결정하는 단계, 상기 부호기에 의하여, 상기 패치 집합의 상기 할당 코드 각각의 비정상 지수(anomaly score)를 결정하는 단계, 상기 부호기에 의하여, 상기 패치 집합의 상기 할당 코드 각각의 상기 비정상 지수를 문턱 값과 비교하는 단계, 그리고 상기 부호기에 의하여, 상기 비교 결과에 기초하여 상기 복수의 영상 패치 중 하나 이상의 결함을 결정하는 단계를 더 포함할 수 있다.
본 발명의 한 실시예에 따른 저장 매체는, 컴퓨터로 읽을 수 있는 명령을 저장하는 비순간(non-transitory) 저장 매체로서, 상기 명령이 컴퓨터 장치에 포함된 프로세서에 의하여 실행되면, 상기 컴퓨터 장치로 하여금, 부호기에서, 입력 영상을 수신하고, 상기 부호기에 의하여, 상기 입력 영상을 복수의 영상 패치로 분할하고, 상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 코드를, 상기 코드를 포함하는 코드북으로부터 선택하고, 상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 상기 코드를 포함하는 할당 코드 행렬(assigned code matrix)을 결정하고, 복호기에 의하여, 상기 부호기로부터 상기 할당 코드 행렬을 수신하고, 상기 복호기에 의하여, 상기 할당 코드 행렬에 기초하여 재건 영상을 생성하도록 한다.
이와 같이 함으로써 결함 데이터 없이도 결함 감지가 가능하다.
도 1은 본 발명의 한 실시예에 따른 패치 벡터 양자화 자동 부호기(PVQAE) 시스템의 코덱 학습을 보여준다.
도 2a는 입력 영상을 나타내고, 도 2b는 본 발명의 한 실시예에 따라 도 1의 PVQAE 시스템이 도 2a의 입력 영상으로부터 생성한 재건 영상을 나타낸다.
도 2c는 입력 영상을 나타내고, 도 2d는 본 발명의 한 실시예에 따라 도 1의 PVQAE 시스템이 도 2c의 입력 영상으로부터 생성한 재건 영상을 나타낸다.
도 2e는 입력 영상을 나타내고, 도 2f는 본 발명의 한 실시예에 따라 도 1의 PVQAE 시스템이 도 2e의 입력 영상으로부터 생성한 재건 영상을 나타낸다.
도 3은 본 발명의 한 실시예에 따른 패치별 코드북 학습을 사용하는 결함 감지를 나타낸다.
도 4는 본 발명의 한 실시예에 따른, 도 1의 PVQAE 시스템의 습득 코드북에 기초한 자동 회귀 영상 생성 모델을 나타낸다.
도 5는 본 발명의 한 실시예에 따른, PVQAE 시스템을 사용하는 결함 감지 방법을 나타낸다.
본 발명의 실시예의 특징과 효과는 다음의 설명을 참고함으로써 잘 이해할 수 있다. 첨부한 도면과 상세한 설명 전체에서, 달리 언급하지 않는 한 동일한 도면 부호는 동일한 항목을 나타내며, 이에 따라 그에 대한 설명을 반복하지 않는다. 도면에서, 명확성을 위하여 항목, 층, 영역들의 상대적인 크기를 과장할 수 있다.
첨부한 도면을 참고하여 뒤에서 설명할 상세한 설명은 표시 장치의 제조 과정에서 발생하는 매우 작은 결함을 감지하기 위한 벡터 양자화 자동 부호기 코드북 학습(vector quantized auto-encoder codebook learning) 시스템 및 방법의 실시예에 관한 것으로서, 본 발명에 의하여 구현 또는 이용될 유일한 형태를 나타내는 것은 아니다. 이제 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 상세하게 설명한다. 그러나 서로 다른 실시예에서 구현되는 것과 동일한 또는 균등한 기능과 구조도 본 발명의 범위 내에 포함된다. 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면 부호를 붙였다.
"제1", "제2", "제3" 등의 용어를 여러 가지 원소, 성분, 영역, 층, 부분 등에 사용하지만, 이들은 이런 수식어에 의하여 한정되지 않는다. 이러한 용어는 어떤 원소, 성분, 영역, 층, 부분을 다른 원소, 성분, 영역, 층, 부분과 구별하기 위하여 사용할 뿐이다. 따라서 여기에서 설명하는 제1 원소, 성분, 영역, 층, 부분은 본 발명의 범위를 벗어나지 않고 제2 원소, 성분, 영역, 층, 부분이라고 칭할 수도 있다.
설명의 편의를 위하여 도면에 도시한 어떤 부분 또는 특성에 대한 다른 부분 또는 특성의 관계를 나타내기 위하여 "아래", "밑", "위" 등 공간 관계 용어를 사용할 수 있다. 이러한 공간 관계 용어는 도면에 도시한 사용 또는 동작하는 장치의 서로 다른 위치 및/또는 방향을 나타내기 위한 것이다. 예를 들면, 도면에서 어떤 부분의 "아래" 또는 "밑"에 있는 것으로 도시한 부분은 장치가 뒤집히면 반대로 "위"에 있는 것이 된다. 그러므로 예를 들어 "아래" 및 "밑"은 위와 아래를 모두 나타낼 수 있다. 장치가 예를 들면 90도 회전하거나 다른 방향을 향할 수 있으며, 이 경우 공간 관계 용어는 이에 맞게 해석되어야 한다. 또한, 어떤 층이 두 층의 "사이"에 있는 것으로 기재하면, 그 층이 두 층 사이에 있는 유일한 층일 수도 있고, 하나 이상의 다른 층이 중간에 끼어 있을 수도 있다.
여기에서 사용된 용어는 특정 실시예를 설명할 목적으로 사용할 뿐이며 본 발명을 제한하고자 하는 것은 아니다. 여기에서 "실질적으로(substantially)", "약" 및 이와 비슷한 용어들은 근사를 나타내는 표현일 뿐 "정도"를 나타내는 것이 아니며, 당업자가 알 수 있는 측정값 또는 계산값의 고유 오차를 설명하는 데 사용한다.
여기에서 수를 특별히 언급하지 않으면 단수 또는 복수의 경우를 모두 포함한다. 어떤 특징, 단계, 동작, 부분, 성분 등을 "포함"한다는 표현은 해당 부분 외에 다른 특징, 단계, 동작, 부분, 성분 등도 포함할 수 있다는 것을 의미한다. "및/또는"이라는 표현은 나열된 것들 중 하나 또는 둘 이상의 모든 조합을 포함한다. "적어도 하나의(at least one of)" 등의 표현이 항목 목록에 선행한다면, 이는 항목 목록 전체를 수식하는 것이지 목록의 개별 항목을 수식하는 것이 아니다. 또한, 본 발명의 실시예를 설명할 때 사용하는 "수 있다"는 표현은 "본 발명의 하나 이상의 실시예"에 적용 가능하다는 것을 뜻한다. "예시적인"이라는 용어는 예 또는 도면을 나타낸다. 여기에서 "사용", "이용" 등은 이와 유사한 다른 표현과 함께 비슷한 의미로 사용될 수 있다.
구성 요소(element) 또는 층(계)(layer)이 다른 구성 요소 또는 층(계) "위에" 있거나 이들과 "연결" 또는 "결합"되어 있거나 "인접"한 것으로 기재하는 경우, 다른 구성 요소 또는 층(계) 바로 위에 있거나 직접 연결 또는 결합되어 있거나 바로 인접한 경우뿐 아니라, 중간에 또 다른 구성 요소 또는 층(계)이 끼어 있는 경우도 포함한다. 그러나 구성 요소 또는 층(계)이 다른 구성 요소 또는 층(계) "바로 위에" 있거나 이들과 "직접 연결" 또는 "직접 결합"되어 있거나 "바로 인접"한 것으로 기재하면 중간에 또 다른 구성 요소 또는 층(계)이 끼어 있지 않다는 것을 뜻한다.
또한, 여기에 기재한 수치 범위는 해당 범위 안에 포함되는 동일한 정확도의 모든 소(小) 범위(sub-range)를 포함한다. 예를 들면, "1.0 내지 10.0"의 범위는 최소값 1.0과 최대값 10.0 및 그 사이에 있는 모든 소 범위, 즉, 1.0 이상의 최소값과 10.0 이하의 최대값을 가지는 소 범위, 예를 들면 2.4 내지 7.6을 포함한다. 여기에서 언급한 최대 수치 한정은 그 안에 포함되고 그보다 작은 모든 수치 한정을 포함하고, 본 명세서에 기재한 최소 수치 한정은 그 안에 포함되고 그보다 큰 모든 수치 한정을 포함한다.
일부 실시예에서는, 본 발명의 방법 및 시스템의 서로 다른 실시예의 하나 이상의 출력이 이와 관련된 하나 이상의 출력 또는 정보를 표시하는 표시 장치에 연결되거나 표시 장치를 포함하는 전자 장치로 전송될 수 있다.
본 발명의 실시예에 따라 설명한 전자, 전기 장치 및/또는 다른 관련 장치 또는 부분은 적절한 하드웨어, 펌웨어(보기: 응용 주문형 집적 회로), 소프트웨어 또는 이들의 조합을 사용하여 구현할 수 있다. 예를 들면, 이들 장치의 다양한 구성 요소를 하나의 집적 회로 칩에 형성될 수도 있고 서로 다른 집적 회로 칩에 구현할 수도 있다. 또한, 이들 장치의 다양한 구성 요소를 가요성 인쇄 회로 필름, 테이프 캐리어 패키지(TCP: tape carrier package), 인쇄 회로 기판 등에 구현하거나 하나의 기판 위에 형성할 수 있다. 또한, 이들 장치의 다양한 구성 요소를 여기에서 설명한 다양한 기능을 수행하기 위하여 컴퓨터 프로그램 명령을 실행하고 다른 시스템 요소와 상호 작용하는 하나 이상의 컴퓨터 장치 내에 있는 하나 이상의 프로세서에서 실행될 수 프로세스 또는 스레드(thread)일 수 있다. 컴퓨터 프로그램 명령은 램(RAM: random access memory) 등의 표준 메모리 장치를 사용하는 컴퓨터 장치에 구현된 메모리에 저장될 수 있다. 뿐만 아니라, 당업자는 본 발명의 실시예의 개념과 범위를 벗어나지 않고도 다양한 컴퓨터 장치의 기능들을 하나의 컴퓨터 장치에 결합 또는 통합하거나, 특정 컴퓨터 장치의 기능을 하나 이상의 다른 컴퓨터 장치에 분산할 수도 있다.
근년 텔레비전(TV: television) 및 모바일 표시 장치 산업이 급격하게 성장하고 있다. 새로운 유형의 표시 패널 모듈과 제조 방법이 고안됨에 따라 제품의 품질을 유지하기 위한 장비의 개량과 품질 관리 방법이 필요하다. 표시 패널의 결함은 제조 공정의 비용 증가와 손실을 일으킬 수 있으므로, 생산 과정에서 결함을 감시할 필요가 있다. 장비와 품질 관리를 강화하기 위해서는 수집한 표시 패널 영상으로 효과적인 결함 감지 시스템을 구축할 필요가 있다.
시각 결함 감지의 자동화를 달성하기 위한 기계 학습(machine learning)의 이용도가 높아지고 있다. 그러나 결함 데이터의 부족으로 인하여 결함 감지가 어려워지고 있다. 이러한 난경을 완화하기 위하여 소량(小量) 학습(few-shot learning) 또는 리샘플링(resampling) 등의 방법이 발표되었다. 그러나 그 성능과 유용성이 통상 제한적이기 때문에 결함 부족(defect scarcity) 문제는 여전히 해결되지 않고 있다.
품질 관리를 위한 시각 기반 결함 감지는 생산 과정에서 중요한 연구 및 제작 주제이다. 기계 학습의 발달로 힘을 얻은 시각 검사 자동화 방법은 표시 장치 또는 반도체 제조의 불량 패널 및 웨이퍼 식별, 섬유 생산의 직물 결함 감지, 금속 가공의 표면 검사 등을 포함하는 다양한 분야에서 개발되고 있다.
하나 이상의 학습 기반 방법에서는 정상 및 결함 데이터를 모두 입수 가능하거나 이들이 모두 동등하게 충분하다고 가정한다. 이러한 가정에 기초하면, 모델들을 효과적으로 훈련시켜 시각 패턴을 추출하고 서로 다른 클래스에 대응시킬 수 있다. 특정 시나리오의 성공에도 불구하고, 잠재적인 결함 유형들을 모두 포괄할 만큼 충분한 양의 결함 표본들을 얻는 것이 어렵고 값비싸기 때문에 이러한 가정이 자주 실패한다. 결국, 결함 표본이 상대적으로 적거나 입수 불가능한 일반적인 산업 시나리오에서는 여전히 결함 감지가 어렵다.
결함 표본 부족 문제를 완화하기 위하여, 일부 사례에서는 ImageNet 등의 대량 데이터 집합(large dataset)에서 정상 데이터의 심층 표현(deep representation)을 추출하기 위하여 사전 훈련시키는 단일 클래스 방법(one-class method)을 사용하기도 한다. 이러한 경우, 시험 시에, 거리 기반 표상(表象) 대조법(distance-based representation matching)[보기: k-번째 인접 이웃 알고리즘(k-Nearest-Neighbors algorithm)]을 통하여 이상 표본(anomalous sample)을 구분할 수 있다. 이러한 방법들은 정규 데이터 분포(normal data distribution)의 모델링을 학습함으로써 모델 훈련을 위한 결함 표본 요건(defect samples' requirement)을 제외한다. 하나 이상의 사례에서는, 이러한 방법들(보기: PatchCore)이 메모리 뱅크 기술(memory bank technique)을 사용하여 정상 상황 정보(normal context)를 유지함으로써 최신 기술(state-of-the-art) 성능을 달성할 것이다. 이 기술의 원리는 시험 시에 대부분의 정상 정보가 표상 대조에 활용될 수 있도록 잠재 공간(latent space)의 정상 데이터 포인트로부터 효과적으로 준샘플링(subsampling)하는 것이다. 그러나 일부 사례에서는, 이러한 표상 학습 방식을 일관(一貫)(end-to-end) 훈련하지 않고 추가 조정을 필요로 할 것이다. 예를 들면, 표상 학습 방법(보기: PatchCore)의 성능은 정상 표본의 범위 선택에 민감할 것이다. 또한, 일부 결함 감지 방법은 유사한 시각 패턴을 가지는 정상 데이터만을 대상으로 할 수 있는데 이는 동질의 정상 대상의 일관성으로 인하여 표상의 학습과 대조가 본질적으로 용이하기 때문이다. 그러나 그러한 요건은 검사 성분의 패턴이 다양한 현실의 시나리오에 대한 도전을 제기한다.
현실 시나리오에서 효과적으로 결함을 감지하기 위해서는, 여러 모델들을 훈련하고 동시에 유지할 필요가 있다. 그러나 이러한 방식은 시간과 컴퓨터 파워(computational power)가 들어갈 것이다.
본 발명의 실시예는 무결함(non-defect) 영상에 대해서만 훈련한 패치 벡터 양자화 자동 부호기(PVQAE: patch vector-quantized auto-encoder) 시스템에 의한 기계 학습을 사용하여 결함 감지에 도전하는 해법을 제시할 것이다. 본 발명의 실시예에서, PVQAE 시스템은 앞서 설명한 결함 감지에 대한 도전을 좀더 쉽게 할 수 있다. PVQAE는 영상을 패치로 분할하고 이들 영상 패치로부터 코드북(codebook)을 학습한다. 코드북의 코드는 패치의 특성(feature)을 나타낸다. 영상 패치에 부여된 코드로부터 비정상 지수(anomaly score)를 추산할 수 있다. PVQAE 시스템은 최신 결함 감지 성능을 달성할 수 있다.
본 발명의 실시예에 따른 PVQAE 시스템은, 단일 클래스 방법에 따라 결함 데이터 없이 훈련할 수 있다. 본 발명의 한 실시예에서, PVQAE 시스템은 벡터 양자화를 사용할 수 있다. 벡터 양자화는 이산적인 코드북에 저장된 표현적 표상(expressive representation)의 학습을 가능하게 하는 기술이다. 본 발명의 한 실시예에서, 상황 정보(context)가 풍부한 코드북은 영상 생성 및 합성을 포함하는 여러 시각 과제에서 최신 성능에 기여할 수 있다. 또한, 코드북은 일관(一貫) 체제(end-to-end framework)로서 생성 모델에 용이하게 통합될 수 있다. 이 기술을 단일 클래스 자동 부호기 체계에 도입함으로써, 본 발명의 실시예에서는, PVQAE 시스템이 특징적인(distinctive) 정상 표상을 일관 방식(end-to-end fashion)으로 학습한다. 이에 더하여, 습득한 코드북의 높은 표현성(expressivity)으로 인하여 PVQAE 시스템은 방대한 범위의 시각 패턴을 포함하는 다양한 대상에 대하여 훈련할 수 있다. 이렇게 함으로써, 본 발명의 실시예에 따른 PVQAE 시스템은 추가 조정과 데이터 집합 전용 트레이드 오프(dataset-specific trade-off)의 필요성을 없애고 복수 모델 훈련의 부담을 덜어줄 수 있다.
본 발명의 한 실시예에서, 합성곱 신경망(CNN: convolutional neural network)을 부호기로 사용하여, 각 코드북 항목(entry)은 하나의 영상에 있는 부분 시각 패턴(localized visual pattern)을 처리할 수 있다. 자연의 영상과는 달리, 제조 환경에서 찍힌 영상들은 일반적으로 영상 요소들 전반에 걸쳐 분포하는 복합적이지만 유사한 패턴들이다. 이러한 관찰에 기초하면, 코드북 학습에 포괄 정보(global information)의 보유가 필요할 것이다. 본 발명의 한 실시예에서, 시각 변환 및 변형의 경우, 다중 주의(MHA: multi-head attention) 기제는 장거리 상황 정보(long-range context) 사이의 관계를 포착하는 데 뛰어난 능력을 가질 수 있다. 본 발명의 한 실시예에서, MHA 및 CNN은 부호기 근간으로서 결합되어 부분 및 포괄 정보 표현을 강화할 수 있다.
습득한 코드북에 기초하여, 본 발명의 실시예에 따른 단일 클래스 감지 체제 또는 PVQAE 시스템은 검색한 코드에 대한 사후 확률(posterior probability)을 생성함으로써 각각의 영상 패치에 대한 비정상 지수를 계산할 수 있으며, 비정상 지수의 값을 통하여 결함을 식별할 수 있다.
본 발명의 한 실시예에서, 본 발명의 실시예에 따른 PVQAE 시스템은 두 부분으로 나뉜다. 즉, (1) 정상 데이터의 표상을 포함하는 코드북을 학습하는 패치 벡터 양자화 자동 부호기, 그리고 (2) 습득한 코드북에 기초하여 결함을 식별하는 결함 감지기가 그것이다. 본 발명의 실시예에 따른 PVQAE 시스템은 잠재 특성을 코드북의 색인들로 양자화한다. 예를 들면, 본 발명의 실시예에 따른 PVQAE 시스템은 부호기 신경망을 훈련하여 이산 임베딩(embedding) 테이블을 만들고, 복호기 신경망을 훈련하여 임베딩 테이블에서 색인을 찾아 각 영상 패치를 재건한다(도 1 참고). 부호기 및 복호기는 합성곱 신경망(CNN)일 수 있다. 검사 시에, 부호기-복호기 쌍은 습득한 코드북을 사용하여 검사 영상의 모든 패치에 대한 색인 행렬을 생성할 수 있다. 색인에 대응하는 코드의 결합 확률(joint probability)을 고려함으로써, 결함 감지기는 패치별(patch-wise) 결함 식별에 사용할 수 있는 지수 행렬을 계산해낼 수 있다.
도 1은 본 발명에 따른 패치 벡터 양자화 자동 부호기(PVQAE) 시스템의 코덱 학습을 보여준다.
PVQAE 시스템(100)은 부호기(E) 및 복호기(G) 신경망으로 잠재 특성을 항목 코드북(즉, 잠재 특성 행렬)으로 양자화한다. 예를 들면, PVQAE 시스템(100)은 벡터 양자화를 사용하여 전체 데이터 집합을 학습하며, 이에 따라 데이터 집합이 코드북으로 표현될 수 있다. 본 발명의 한 실시예에서, 코드는 표시 패널의 영상 패치의 특성을 나타낸다.
예를 들면, 훈련 시에, 부호기(E)(120)는 영상[보기: 영상(x)(110)]에 있는 시각 패턴을 읽고 추출하여 코드북(Q)(140)에 저장하며, 복호기(G)(160)는 각각의 영상 패치에 대하여 적절한 코드 색인을 선택하고 선택한 코드에 기초하여 입력 영상을 재건하고자 한다.
본 발명의 한 실시예에서, 잠재 임베딩 코드북(Q)(140)은 Q ∈ R(K×n z ),로 표현할 수 있으며, 여기에서 K는 코드북에 있는 이산 코드의 수이고, nz는 잠재 임베딩 벡터의 차원 수(dimensionality) qk ∈ R(nz), (k ∈ 1, 2, . . . , K)이다.
예를 들면, PVQAE 시스템(100)의 훈련 동안, 도 1에 도시한 바와 같이, 부호기(E)(120)는 영상(x)(110)(단, x ∈ R(H×W×3))을 수신하고 잠재 특성 행렬(z)(130)을 출력한다. 여기에서, "H"는 영상(x)(110)의 높이, "W"는 영상(x)(110)의 너비, 그리고 숫자 "3"은 영상(x)(110)의 채널(보기: 적색, 녹색, 청색) 수를 나타낸다.
예를 들면, 도 1에 도시한 방법에서, 부호기(E)(120)에서 영상(x)(110)을 수신하고 복수의 영상 패치로 분할할 수 있다. 본 발명의 한 실시예에서, 복수의 패치 각각으로부터 하나의 잠재 특성을 추출하여 잠재 특성 행렬(z)(130)을 결정할 수 있으며, z ∈ R(h×w×n z ) 이고 z = E(x)이다. 여기에서, h는 잠재 특성 행렬(z)(130)의 높이이고, w는 잠재 특성 행렬(z)(130)의 너비이며, nz 는 잠재 특성 행렬(z)(130)의 은폐 벡터 크기(hidden vector size)를 나타낸다.
예를 들면, 부호기(E)(120)가 잠재 특성 행렬(z)(130)을 결정한 다음, 벡터 양자화를 사용하여 코드북(Q)(140)을 학습하고 코드북(Q)(140)으로부터의 코드를 잠재 특성 행렬(z)(130)의 복수의 잠재 특성 각각에 할당할 수 있다. 여기에서, 잠재 특성 행렬(z)(130)의 잠재 특성 각각은 입력 영상(x)(110)으로부터의 복수의 패치 각각에 대응한다.
본 발명의 한 실시예에서, PVQAE 시스템(100)은 메모리 및 프로세서를 더 포함할 수 있다. 프로세서는 복수의 영상 패치에서 추출한 잠재 특성에 기초하여 잠재 특성 행렬(z)(130)을 결정할 수 있으며, 본 발명의 한 실시예에서, PVQAE 시스템(100)의 메모리는 잠재 특성 행렬(z)(130)을 저장할 수 있다.
예를 들면, 부호기(E)(120)가 잠재 특성 행렬(z)(130)을 결정한 후에, 순방향 전달(forward pass)에서, PVQAE 시스템(100)의 부호기(E)(120) 또는 프로세서는 룩업 함수(look-up function)[q(.)]를 사용하여 각 영상 패치에 대한 코드를 코드북(Q)(140)으로부터 선택(또는 할당)한다. 본 발명의 한 실시예에서, 룩업 함수[q(.)] 및 코드북(Q)(140)은 PVQAE 시스템(100)의 메모리에 저장될 수 있다. 잠재 특성 행렬(z)(130)의 입력 영상 패치의 잠재 특성 표현과 코드북(Q)(140)의 각 코드 사이의 유사도(similarity measure)[보기: 유클리드 거리(euclidean distance), 마할라노비스 거리(mahalanobis distance) 등]를 비교함으로써, 룩업 함수[q(.)]는 최근접 코드(nearest code)를 잠재 특성 행렬(z)(130)의 각 잠재 특성에 대한 할당으로서 선택하여 할당 코드 행렬(q)(150)을 생성한다. 예를 들면, 본 발명의 한 실시예에서, 잠재 특성 행렬(z)(130)의 입력 패치의 잠재 특성 표현과 코드북(Q)(140)의 각 코드 사이의 유클리드 거리를 비교함으로써, 룩업 함수[q(.)]는 최근접 코드(nearest code)를 잠재 특성 행렬(z)(130)의 각 잠재 특성에 대한 할당으로서 선택한다. 본 발명의 한 실시예에서, 할당 코드 행렬(q)(150)은 PVQAE 시스템(100)의 부호기(E)(120) 또는 프로세서에 의하여 생성될 수 있다.
예를 들면, 할당 코드 행렬(q)(150)의 할당은 다음과 같이 표현할 수 있다.
(1)
예를 들면, 는 할당 코드 행렬(q)(150)의 한 원소를 나타낼 수 있다.
예를 들면, 본 발명의 한 실시예에서, 입력 영상 패치에 대응하는 잠재 특성 벡터의 벡터 양자화에 기초하여 각각의 입력 영상 패치에 하나의 코드를 할당할 수 있다. 예를 들면, PVQAE 시스템(100)의 코드북 학습에서, 룩업 함수[q(.)]를 사용하여 각 영상 패치에 대하여 코드북(Q)(140)에서 하나의 코드를 선택함으로써, 할당 코드 행렬(q)(150)을 결정하는 동안 벡터 양자화 개념을 사용할 수 있다.
할당 코드 행렬(q)(150)은 이어 복호기(G)(160)에 전달되고 할당 코드 행렬(q)(150)의 원소로부터 재건 영상 또는 재건 입력 영상()을 생성한다. 본 발명의 한 실시예에서, 할당 코드 행렬(q)(150)은 잠재 특성 행렬(z)(130)과 동일한 모양이다. 예를 들면, 할당 코드 행렬(q)(150)은 잠재 특성 행렬(z)(130)의 양자화판(quantized version)일 수 있다. 할당 코드 행렬(q)(150)은 이어 복호기(G)(160)에 전달되는데, 복호기(G)(160)는 hXwXnz 특성 행렬 및 출력 HXWX3 영상을 취하는 비샘플링 신경망이다.
본 발명의 한 실시예에서, 재건 입력 영상()은 다음과 같이 표현될 수 있다.
(2)
재건 입력 영상()과 해당 입력 영상(x)의 차이는 PVQAE 시스템(100)의 지표(guidance)로 사용된다.
본 발명의 한 실시예에서, argmin 피연산자(operand)는 역방향 전파(backpropagation) 과정에서 미분 가능하지 않다(not differentiable). 이 단계의 기울기(gradient)는 STE(straight-through estimator)를 사용하여 근사할 수 있으며, 기울기를 q(z)로부터 z로 직접 전달하며, 재건 손실은 신경 이산 표상 학습의 손실과 합쳐질 수 있다. 이와 같은 벡터 양자화 손실 함수는 다음과 같이 나타낼 수 있다.
(3)
방정식 (3)에서, 첫 번째 항 은 재건 손실[보기: 재건 영상()의 생성 중 발생한 손실]을 나타낸다. 또한, 방정식 (3)에서, 두 번째 및 세 번째 항 은 벡터 양자화 손실을 나타낸다.
또한, 방정식 (3)에서, sg 함수 는 0 편도함수(zero partial derivative)가 가능한 "stop gradient" 피연산자를 나타내는데, 여기에서 q는 코드 임베딩, β는 하이퍼 파라미터(hyper-parameter)다.
본 발명의 한 실시예에서, 잠재 특성 공간에서 습득 임베딩의 표현성을 강화하기 위하여 대립 훈련(adversarial training)을 코드북에 통합할 수 있다. 예를 들면, 본 발명의 한 실시예에서, 도 1에 도시한 바와 같이, 생성 대립 신경망(GAN: generative adversarial network)에서처럼 패치별 판별기(discriminator) 신경망(D)(180)을 [예를 들어 부호기(E)(120) 및 복호기(G)(160)를 포함하는] 부호기-복호기 체제에 추가할 수 있다. 대립 훈련 손실(L GAN )을 덧붙여서 PVQAE 시스템(100)이 원본 영상(x)(110)과 재건 영상()(170)을 구별할 수 있도록 할 수 있다. 본 발명의 한 실시예에서, 패치별 판별기 신경망(D)(180)은 대립 훈련 손실(L GAN )과 PVQAE 시스템(100)의 총 손실(L)을 결정할 수 있다.
원본 입력 영상(x)(110)과 재건 영상()(170) 사이의 대립 훈련 손실은 다음과 같이 나타낼 수 있다.
(4)
전체로서, PVQAE 시스템(100) 훈련의 총 손실은 다음과 같다.
(5)
본 발명의 한 실시예에서, 방정식 (5) 또는 항 "L"은 PVQAE 시스템(100)의 훈련 중 총 손실을 나타낸다. 예를 들면, 방정식 (5)에서 항 "L"은 본질적으로 벡터 양자화 손실 "" 및 원본 영상(x)(110)과 재건 영상()(170) 사이의 GAN 손실 또는 대립 훈련 손실 ""을 포함한다. 방정식 (5)에서 "λ"는 적절하게 조정될 수 있는 하이퍼 파라미터이다.
본 발명의 한 실시예에서, 도 2a, 도 2c, 도 2e 각각은 입력 영상[보기: 도 1의 입력 영상(x)(110)]을 나타내고, 도 2b, 도 2d, 도 2f는 각각 도 1의 PVQAE 시스템(100)이 도 2a, 도 2c 및 도 2e의 입력 영상으로부터 생성한 재건 영상[보기: 도 1의 재건 영상()(170)]을 나타낸다.
본 발명의 한 실시예에서, 생산 라인의 현실 영상은 감지하기 힘든 결함 특성을 포함하는 복잡한 시각 패턴을 포함할 수 있다. 그러한 복합적인 데이터 집합에서 효과적인 코드북을 학습하기 위해서는 부분 특성들을 동시에 학습하고 이러한 부분 특성들의 전체 구성을 이해할 수 있는 모델을 채용하는 것이 바람직할 것이다. 두 관점의 정보를 부호화함으로써, 제품 영상을 부분적으로는 생생하면서도 전체적으로는 일관된 일련의 인식 코드로 나타낼 수 있다. 이를 달성하기 위해서, 합성곱 층계 위에 다중 자기 주의 층계(multi-head self-attention layer)를 적용하여 시퀀스(sequence) 내의 원소(즉, 언어 과제의 단어 또는 시각 과제의 영상 패치) 사이의 상관 의존성(inter-correlation dependency)을 학습할 수 있다. 결과적으로, PVQAE 시스템(100)은 복합 산업 제품의 풍부한 인식을 가지는 코드북을 학습할 수 있다.
본 발명의 한 실시예에서, PVQAE 시스템(100)은 또한 시스템의 결함을 판단할 수 있다. 예를 들면, 도 3은 패치별 코드북 학습을 사용하는 결함 감지를 나타낸다.
예를 들면, 검사 시에 입력 영상(x)이 주어지면, 훈련 받은 PVQAE 시스템(100)은 각각의 영상 패치[보기: 310(1), 310(2), 310(30)..., 310(n)]에 대해서 할당 코드(z q )로부터 i, j 에서 색인 작성된 비정상 지수(s i,j )를 추산함으로써 결함을 식별할 수 있다.
훈련 단계에서처럼, 도 3의 실시예에서는, 검사 시 입력 영상(x)을 복수의 영상 패치로 분할하고, 검사 시 입력 영상(x)의 복수의 영상 패치로부터 잠재 특성을 추출하고, 부호기(E)(120)로 복수의 영상 패치 중 하나의 영상 패치를 잠재 특성 벡터()(z i,j 의 약칭)로 부호화할 수 있다. 도 3에서, 원소 310(1), 310(2), 310(3)..., 310(n)는 검사 시 입력 영상(x)의 영상 패치의 잠재 특성 벡터() 표현을 나타낸다. 부호기(E)(120)는 [예를 들면, 입력 영상 패치의 잠재 특성 벡터()과 코드북(Q)(320)의 k 번째 코드 사이의 유사도에 기초하여] 코드북(Q)(320)의 모든 코드 중 잠재 특성 벡터()에서 가장 짧은 거리에 있는 k 번째 코드를 영상 패치[보기: 310(1), 310(2), 310(3) ..., 310(n)]에 할당한다. 본 발명의 한 실시예에서, 코드북(Q)(320)의 k 번째 코드는 다음과 같이 나타낼 수 있다.
(6)
모든 영상 패치에 대하여, 부호기(E)(120)는 잠재 특성 벡터()를 추출하고 해당 코드의 패치 집합(330)을 결정한다. 해당 코드의 패치 집합(330)은 다음과 같이 나타낼 수 있다.
(7)
본 발명의 한 실시예에서, 패치 집합(330)은 복수의 영상 패치[보기: 310(1), 310(2), 310(3)..., 310(n)] 각각에 대응하는 할당 코드를 포함할 수 있다.
패치 집합(330)의 각 항목에 대하여, 비정상 지수 s i,j ∈ R 는 확률 밀도 함수 및 최근접 이웃에 대한 가중 거리(weighted distance) 중 하나를 사용하여 계산할 수 있다. 예를 들면, 도 3에서, 비정상 지수 행렬(s)(340)은 패치 집합(330)의 각 항목에 대한 비정상 지수(s i,j )를 포함한다. 본 발명의 한 실시예에서, 비정상 지수(s i,j )는 다음과 같이 나타낼 수 있다.
(8)
본 발명의 한 실시예에서, 패치별 비정상 지수(s i,j )는 비정상 지수(s i,j )의 공간적 위치에 따른 비정상 지수 행렬(s)(340)로 재편될 수 있다. 본 발명의 한 실시예에서, 비정상 지수(s i,j )는 부호기(E)(120)가 계산할 수 있다.
본 발명의 한 실시예에 따르면, 결함 감지 과정에서, 비정상 지수(s i,j ) 중 어느 하나라도 색인 k에서 주어진 문턱 값보다 크면 입력 표본에 결함이 있다고 판단할 수 있으며, 이는 다음과 같이 나타낼 수 있다.
∈ s (9)
이와 같이, 본 발명의 실시예는 제조 과정에서 단일 클래스 결함 감지 문제를 위한 PVQAE 시스템을 제공한다. 본 발명의 PVQAE 시스템은 정상 데이터만으로 훈련하므로 훈련 시 불량 표본에 대한 필요성을 크게 줄일 수 있다. PVQAE 시스템의 원리는 습득한 코드북의 정상 표현(또는 표상)에 대한 학습 및 대조에 기초한다. 벡터 양자화 기술을 사용함으로써, 일관 방식의 코드북 학습을 달성할 수 있다. 본 발명의 실시예에 따른 PVQAE 시스템은 서로 다른 데이터 집합에 고유한 복잡한 조정 또는 트레이드 오프를 생략할 수 있다. 본 발명의 한 실시예에서, CNN 부호기와 다중 자기 주의 기제(multi-head self-attention mechanism)를 결합함으로써 전체 상황 정보(global context)의 표현 학습을 강화할 수도 있다. 이러한 방식은 넓은 범위의 시각 패턴에 대한 성공적 부호화를 이끌 수 있다. 본 발명의 한 실시예에서, 코드북의 높은 표현성은 하나의 모델을 사용하여 서로 다른 대상에 대한 표상 학습을 달성하는 데 도움을 줄 수 있다. 또한, 본 발명의 한 실시예에서, 상황 정보가 풍부한 코드북은 정상 영상의 영상 재건 및 합성 등 다른 후속 과제에도 도움이 될 수 있다.
도 4는 도 1의 PVQAE 시스템(100)의 습득 코드북에 기초한 자동 회귀 영상 생성 모델을 나타낸다.
인공 영상(artificial image) 생성을 위한 자동 회귀 모델(400)에서, 영상을 직접 생성하는 대신 코드 색인(k)에 자동 회귀 모델(T)을 적용할 수 있다. 합성 코드 항목 복호기[보기: 복호기(G)(160)]에 전달하여 새로운 합성 영상을 생성한다.
예를 들면, 도시한 바와 같이, 지표 영상(guidance image)(410)에서 잠재 특성을 추출할 수 있다. 다음, 지표 영상(410)에서 추출한 잠재 특성을 포함하는 잠재 코드 행렬(420)을 생성할 수 있다. 다음, 습득 코드북(Q)(140)과 잠재 코드 행렬(420)을 사용하여 자동 회귀 모델(430)을 훈련시켜 코드 사이의 잠재 상호 관계를 학습하고, 같은 방식으로 제어되는 코드 시퀀스(440) 또는 코드 행렬(440)을 생성한다. 생성된 코드 행렬(440)의 각 코드는 지표 영상(410)의 해당 잠재 특성으로부터 최단 거리를 가지는 습득 코드북(Q)(140)의 코드일 수 있다. 다음, 복호기[보기: 복호기(G)(160)]는 코드 시퀀스 또는 생성된 코드 행렬(440)로부터 고품질 고해상 인공 영상을 재건할 수 있다.
도 5는 PVQAE 시스템(100)을 사용하는 결함 감지 방법을 나타낸다.
예를 들면, 단계(501)에서, 부호기에서 입력 영상을 수신할 수 있으며, 단계(502)에서, 입력 영상을 복수의 영상 패치로 분할할 수 있다. 예를 들면, 도 1을 참고하여 설명한 바와 같이, 부호기(E)(120)에서 입력 영상(x)을 수신하고 복수의 영상 패치로 분할할 수 있다.
단계(503)에서, 부호기는 입력 영상의 복수의 패치로부터 잠재 특성을 추출할 수 있으며, 단계(504)에서, 부호기는 입력 영상의 복수의 패치로부터 추출한 잠재 특성을 포함하는 잠재 특성 행렬을 결정할 수 있다. 예를 들면, 도 1을 참고하여 설명한 바와 같이, 복수의 패치 각각으로부터 하나의 잠재 특성을 추출하여 잠재 특성 행렬(z)(130)을 결정할 수 있으며, z ∈ R(h×w×n z ) 이고 z = E(x)이다.
예를 들면, 단계(505)에서, 부호기는 코드를 포함하는 코드북으로부터 입력 영상의 복수의 패치에 대응하는 코드를 선택할 수 있다. 예를 들면, 도 1을 참고하여 설명한 바와 같이, 부호기(E)(120)는 잠재 특성 행렬(z)(130)을 결정한 후에 룩업 함수(look-up function)[q(.)]를 사용하여 각 영상 패치에 대한 코드를 코드북(Q)(140)으로부터 선택(또는 할당)한다.
단계(506)에서, 부호기는 입력 영상의 복수의 패치에 대응하는 코드를 포함하는 할당 코드 행렬을 결정할 수 있다. 예를 들면, 도 1을 참고하여 설명한 바와 같이, 잠재 특성 행렬(z)(130)의 입력 영상 패치의 잠재 특성 표현과 코드북(Q)(140)의 각 코드 사이의 유사도(similarity measure)[보기: 유클리드 거리(euclidean distance), 마할라노비스 거리(mahalanobis distance) 등]를 비교함으로써, 룩업 함수[q(.)]는 최근접 코드(nearest code)를 잠재 특성 행렬(z)(130)의 각 잠재 특성에 대한 할당으로서 선택하여 할당 코드 행렬(q)(150)을 생성한다.
단계(507)에서, 복호기는 부호기로부터 할당 코드 행렬을 수신하고, 단계(508)에서, 복호기는 할당 코드 행렬에 기초하여 재건 영상을 생성한다. 예를 들면, 도 1을 참고하여 설명한 바와 같이, 할당 코드 행렬(q)(150)은 복호기(G)(160)에 전달되고 할당 코드 행렬(q)(150)의 원소로부터 재건 영상 또는 재건 입력 영상()을 생성한다.
단계(509)에서, 부호기는 검사 입력 영상을 수신하고 복수의 영상 패치로 분할할 수 있다. 예를 들면, 도 3을 참고하여 설명한 바와 같이, 부호기에서 수신한 검사 시 입력 영상(x)을 복수의 영상 패치로 분할할 수 있다.
단계(510)에서, 부호기는 검사 입력 영상의 복수의 영상 패치로부터 잠재 특성을 추출하고, 추출한 잠재 특성에 기초하여 복수의 영상 패치 각각을 잠재 특성 벡터로 부호화할 수 있다. 예를 들면, 도 3을 참고하여 설명한 바와 같이, 검사 시 입력 영상(x)을 복수의 영상 패치로 분할한 후에 부호기(E)(120)는 복수의 영상 패치 중 하나의 영상 패치를 잠재 특성 벡터()(z i,j 의 약칭)로 부호화할 수 있다.
다음, 단계(511)에서, 복수의 영상 패치 각각에 하나의 코드를 할당하여 복수의 영상 패치의 할당 코드를 결정할 수 있다. 예를 들면, 도 3을 참고하여 설명한 바와 같이, 부호기(E)(120)는 [입력 영상 패치의 잠재 특성 벡터()과 코드북(Q)(320)의 k 번째 코드 사이의 유사도에 기초하여] 코드북(Q)(320)의 모든 코드 중 잠재 특성 벡터()에서 가장 짧은 거리에 있는 k 번째 코드를 영상 패치[보기: 310(1), 310(2), 310(3) ..., 310(n)]에 할당한다.
단계(512)에서, 부호기는 할당 코드를 포함하는 패치 집합을 결정할 수 있다. 예를 들면, 도 3을 참고하여 설명한 바와 같이, 모든 영상 패치에 대하여, 부호기(E)(120)는 잠재 특성 벡터()를 추출하고 해당 코드의 패치 집합(330)을 결정한다. 여기에서, 패치 집합(330)은 복수의 영상 패치[보기: 310(1), 310(2), 310(3)..., 310(n)] 각각에 대응하는 할당 코드를 포함할 수 있다.
단계(513)에서, 부호기는 패치 집합의 할당 코드 각각의 비정상 지수를 결정할 수 있다. 예를 들면, 도 3을 참고하여 설명한 바와 같이, 패치 집합(330), 패치 집합(330)의 각 항목에 대하여, 비정상 지수 s i,j ∈ R 는 확률 밀도 함수 및 최근접 이웃에 대한 가중 거리(weighted distance) 중 하나를 사용하여 계산할 수 있다.
단계(514)에서, 부호기는 패치 집합의 할당 코드 각각의 비정상 지수를 문턱 값과 비교할 수 있으며, 단계(515)에서, 부호기는 비교 결과에 기초하여 복수의 영상 패치 중 하나 이상에 있는 결함을 판단할 수 있다. 예를 들면, 도 3을 참고하여 설명한 바와 같이, 결함 감지 과정에서, 비정상 지수(s i,j ) 중 어느 하나라도 색인 k에서 주어진 문턱 값보다 크면 입력 표본에 결함이 있다고 판단한다.
별다른 언급이 없는 한 여기에서 사용하는 (기술적, 과학적 용어를 포함하는) 모든 용어들은 이 발명이 속하는 기술 분야의 당업자가 일반적으로 알고 있는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의된 용어 등의 용어들은 관련 기술 분야 및/또는 본 명세서에서의 의미와 일치하는 의미를 가지고 있는 것으로 해석하며, 여기에서 명시하지 않는 한 이상적인 또는 지나치게 엄격한 의미로 해석해서는 아니 된다.
여기에서 설명한 실시예는 단지 예일 뿐이다. 당업자라면 특별히 설명한 실시예들을 대체하는 다양한 실시예들을 알 수 있을 것이다. 이러한 대체 실시예 또한 본 발명의 범위에 포함하고자 한다. 이와 같이 본 발명의 실시예는 오직 다음의 청구범위와 그 등가물에 의해서만 한정된다.

Claims (10)

  1. 메모리,
    상기 메모리에 연결된 부호기, 그리고
    상기 부호기에 연결된 복호기
    를 포함하며,
    상기 부호기에서, 입력 영상을 수신하고,
    상기 부호기에 의하여, 상기 입력 영상을 복수의 영상 패치로 분할하고,
    상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 코드를, 상기 코드를 포함하는 코드북으로부터 선택하고,
    상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 상기 코드를 포함하는 할당 코드 행렬(assigned code matrix)을 결정하고,
    상기 복호기에 의하여, 상기 부호기로부터 상기 할당 코드 행렬을 수신하고,
    상기 복호기에 의하여, 상기 할당 코드 행렬에 기초하여 재건 영상을 생성하는
    시스템.
  2. 제1항에서,
    상기 입력 영상의 상기 복수의 영상 패치에 대응하는 상기 코드들은 룩업 함수(look-up function)를 사용하여 상기 코드북으로부터 선택되며,
    상기 룩업 함수, 상기 코드북 및 상기 할당 코드 행렬은 상기 메모리에 저장되고,
    상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치로부터 잠재 특성들을 추출하고,
    상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치로부터 추출한 상기 잠재 특성들을 포함하는 잠재 특성 행렬을 결정하는
    시스템.
  3. 제2항에서,
    상기 룩업 함수는 상기 잠재 특성 행렬의 상기 잠재 특성 각각에 대한 할당으로서 최근접 코드를 선택하여 상기 할당 코드 행렬을 결정하고,
    상기 부호기는, 상기 잠재 특성 행렬에 있는 상기 입력 영상의 상기 복수의 영상 패치 중 하나의 영상 패치의 잠재 특성 표현과 상기 코드북에 있는 해당 코드 사이의 유사도(similarity measure)를 비교함으로써 상기 코드북으로부터 상기 하나의 영상 패치에 대응하는 코드를 선택하는
    시스템.

  4. 제1항에서,
    상기 할당 코드 행렬은 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 상기 코드를 포함하고,
    상기 입력 영상의 상기 복수의 영상 패치 중 하나의 영상 패치에 대응하는 잠재 특성의 벡터 양자화에 기초하여 상기 할당 코드 행렬에 있는 상기 코드 중 하나의 코드가 상기 하나의 영상 패치에 할당되고,
    상기 시스템의 벡터 양자화 손실은, 상기 재건 영상을 생성하는 동안 발생하는 재건 손실 및 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 잠재 특성의 벡터 양자화 과정에서 발생하는 손실을 포함하고,
    상기 시스템은 생성 대립 신경망(generative adversarial network)으로서 동작하여 상기 입력 영상과 상기 재건 영상 사이의 대립 훈련 손실(adversarial training loss)을 결정하는 패치별 판별기 신경망(patch-wise discriminator network)을 더 포함하며,
    상기 입력 영상으로부터 상기 재건 영상을 생성하는 과정에서 발생하는 상기 시스템의 총 손실은 상기 벡터 양자화 손실 및 상기 대립 훈련 손실을 포함하는
    시스템.
  5. 제1항에서,
    상기 부호기에 의하여, 검사 입력 영상을 수신하고,
    상기 부호기에 의하여, 상기 검사 입력 영상을 복수의 검사 영상 패치로 분할하고,
    상기 부호기에 의하여, 상기 복수의 검사 영상 패치로부터 잠재 특성을 추출하고,
    상기 부호기에 의하여, 상기 추출한 잠재 특성에 기초하여 상기 복수의 검사 영상 패치 각각을 하나의 잠재 특성 벡터로 부호화하고,
    상기 부호기에 의하여, 상기 복수의 검사 영상 패치 각각에 하나의 코드를 할당하여 상기 복수의 검사 영상 패치의 할당 코드들을 결정하고,
    상기 부호기에 의하여, 상기 할당 코드들을 포함하는 패치 집합을 결정하고,
    상기 부호기에 의하여, 상기 패치 집합의 상기 할당 코드 각각의 비정상 지수(anomaly score)를 결정하고,
    상기 부호기에 의하여, 상기 패치 집합의 상기 할당 코드 각각의 상기 비정상 지수를 문턱 값과 비교하고,
    상기 부호기에 의하여, 상기 비교 결과에 기초하여 상기 복수의 검사 영상 패치 중 하나 이상의 결함을 결정하는
    시스템.
  6. 제5항에서,
    상기 코드북에 있는 상기 코드 중에서 상기 복수의 검사 영상 패치 중 하나의 검사 영상 패치의 상기 잠재 특성 벡터에 최단 거리에 있는 코드를 상기 하나의 검사 영상 패치에 할당하는 시스템.
  7. 제5항에서,
    상기 패치 집합의 상기 할당 코드 각각의 상기 비정상 지수는 확률 밀도 함수에 기초하여 결정하는 시스템.
  8. 부호기에서, 입력 영상을 수신하는 단계,
    상기 부호기에서, 상기 입력 영상을 복수의 영상 패치로 분할하는 단계,
    상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 코드를, 상기 코드를 포함하는 코드북으로부터 선택하는 단계,
    상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 상기 코드를 포함하는 할당 코드 행렬(assigned code matrix)을 결정하는 단계,
    복호기에 의하여, 상기 부호기로부터 상기 할당 코드 행렬을 수신하는 단계, 그리고
    상기 복호기에 의하여, 상기 할당 코드 행렬에 기초하여 재건 영상을 생성하는 단계
    를 포함하는 방법.
  9. 제8항에서,
    상기 입력 영상의 상기 복수의 영상 패치에 대응하는 상기 코드들은 룩업 함수(look-up function)를 사용하여 상기 코드북으로부터 선택되며,
    상기 방법은,
    상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치로부터 잠재 특성들을 추출하는 단계, 그리고
    상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치로부터 추출한 상기 잠재 특성들을 포함하는 잠재 특성 행렬을 결정하는 단계
    를 더 포함하는
    방법.
  10. 컴퓨터로 읽을 수 있는 명령을 저장하는 비순간(non-transitory) 저장 매체로서,
    상기 명령이 컴퓨터 장치에 포함된 프로세서에 의하여 실행되면, 상기 컴퓨터 장치로 하여금,
    부호기에서, 입력 영상을 수신하고,
    상기 부호기에 의하여, 상기 입력 영상을 복수의 영상 패치로 분할하고,
    상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 코드를, 상기 코드를 포함하는 코드북으로부터 선택하고,
    상기 부호기에 의하여, 상기 입력 영상의 상기 복수의 영상 패치에 대응하는 상기 코드를 포함하는 할당 코드 행렬(assigned code matrix)을 결정하고,
    복호기에 의하여, 상기 부호기로부터 상기 할당 코드 행렬을 수신하고,
    상기 복호기에 의하여, 상기 할당 코드 행렬에 기초하여 재건 영상을 생성하도록 하는
    저장 매체.

KR1020230025225A 2022-02-24 2023-02-24 표시 장치의 결함 감지를 위한 시스템, 방법 및 저장 매체 KR20230127931A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263313356P 2022-02-24 2022-02-24
US63/313,356 2022-02-24
US17/728,882 US20230267600A1 (en) 2022-02-24 2022-04-25 Vector quantized auto-encoder codebook learning for manufacturing display extreme minor defects detection
US17/728,882 2022-04-25

Publications (1)

Publication Number Publication Date
KR20230127931A true KR20230127931A (ko) 2023-09-01

Family

ID=85382762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230025225A KR20230127931A (ko) 2022-02-24 2023-02-24 표시 장치의 결함 감지를 위한 시스템, 방법 및 저장 매체

Country Status (3)

Country Link
US (1) US20230267600A1 (ko)
EP (1) EP4235511A1 (ko)
KR (1) KR20230127931A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993727A (zh) * 2023-09-26 2023-11-03 宁德思客琦智能装备有限公司 检测方法及装置、电子设备、计算机可读介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220142717A (ko) * 2021-04-15 2022-10-24 한국전자통신연구원 신경망 모델을 이용한 오디오 신호의 부호화 및 복호화 방법과 이를 수행하는 부호화기 및 복호화기

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993727A (zh) * 2023-09-26 2023-11-03 宁德思客琦智能装备有限公司 检测方法及装置、电子设备、计算机可读介质

Also Published As

Publication number Publication date
EP4235511A1 (en) 2023-08-30
US20230267600A1 (en) 2023-08-24

Similar Documents

Publication Publication Date Title
KR20230127931A (ko) 표시 장치의 결함 감지를 위한 시스템, 방법 및 저장 매체
US11710045B2 (en) System and method for knowledge distillation
KR102261884B1 (ko) 딥러닝 뉴럴 네트워크를 이용한 이상치 검출(novelty detection using deep learning neural network)
US11693924B2 (en) System and method for maintenance recommendation in industrial networks
Arteaga et al. Deep learning for power system security assessment
EP4092632A1 (en) Systems and methods for sample generation for identifying manufacturing defects
KR20220164519A (ko) 오토인코더 및 클러스터링에 기초한 비정상 검출
US20230162477A1 (en) Method for training model based on knowledge distillation, and electronic device
CN111368636A (zh) 目标分类方法、装置、计算机设备和存储介质
CN117036271A (zh) 生产线质量监测方法及其系统
Kong et al. Semi-supervised classification of wafer map based on ladder network
CN111291766A (zh) 利用深度学习的图像识别方法及服务器
CN112884721A (zh) 一种异常检测方法、系统及计算机可读存储介质
Alelaumi et al. Cleaning profile classification using convolutional neural network in stencil printing
KR102475851B1 (ko) 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법
Bakr et al. Mask R-CNN for moving shadow detection and segmentation
CN116645430A (zh) 图块向量量化自动编码器系统、缺陷检测方法和存储介质
EP4318409A1 (en) Method for video-based patch-wise vector quantized autoencoder codebook learning for video anomaly detection
CN117528053A (zh) 用于闭路电视异常检测的系统和方法以及存储介质
Mikheev et al. Data Classification for Neural Network Training
TW202416718A (zh) 用於影片異常檢測的基於影片的逐塊向量量化自動編碼器碼簿學習系統及方法及其電腦可讀取儲存媒體
Fan et al. Long-Range Comprehensive Modeling for Fine-Grained Visual Classification
Hsu et al. Upon Human's Unknown, Can AI Help to Address Uncertainty? A Practice on Package Substrate AOI Defect Detection
CN116416426A (zh) 一种用于目标检测任务的伪标签生成方法、系统及存储介质
US20240177286A1 (en) Modeling for indexing and semiconductor defect image retrieval