KR20220156078A - 이미지 분류를 위한 적응 학습 - Google Patents

이미지 분류를 위한 적응 학습 Download PDF

Info

Publication number
KR20220156078A
KR20220156078A KR1020227036807A KR20227036807A KR20220156078A KR 20220156078 A KR20220156078 A KR 20220156078A KR 1020227036807 A KR1020227036807 A KR 1020227036807A KR 20227036807 A KR20227036807 A KR 20227036807A KR 20220156078 A KR20220156078 A KR 20220156078A
Authority
KR
South Korea
Prior art keywords
data set
image
images
measure
sets
Prior art date
Application number
KR1020227036807A
Other languages
English (en)
Inventor
고넨 라베
Original Assignee
오르보테크 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오르보테크 엘티디. filed Critical 오르보테크 엘티디.
Publication of KR20220156078A publication Critical patent/KR20220156078A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 이미지 분류를 위한 적응 학습을 위한 방법, 컴퓨터화된 장치 및 컴퓨터 프로그램 제품에 관한 것이다. 이 방법은, 교정 데이터 세트 및 생산 데이터 세트에 분류 모델 세트를 적용하는 단계 및 각 데이터 세트에 대한 예측에 대한 불일치 측정값을 계산하는 단계를 포함한다. 교정의 불일치 측정값과 생산 데이터 세트 간의 유사성 측정값에 기초하여, 미리 결정된 임계값 미만이 되면, 데이터 드리프트가 생산 데이터 세트에 표시된다. 방법은 생산 데이터 세트에 대한 분류 모델을 트레이닝하기 위한 트레이닝 데이터 세트를 결정하는 단계를 더 포함한다. 트레이닝 데이터 세트는 이미지가 획득되는 시간 간격에 따라 정렬된 복수의 이미지 세트에 대해 선택된다. 그 선택은 복수의 세트에 대해 결정된 가중치에 기초하여 수행된다.

Description

이미지 분류를 위한 적응 학습
관련 출원에 대한 교차 참조
본 출원은 2020년 3월 23일자로 출원되고 미국 출원 제62/993112호로서 할당된 가특허 출원에 대한 우선권을 주장하고, 이의 개시 내용은 참고로 여기에 통합된다.
기술분야
본 발명은 일반적으로 이미지 분류에 관한 것으로, 특히 이미지 분류를 위한 적응(adaptive) 학습에 관한 것이다.
인공 지능(AI)은 상이한 계산 시스템에서의 많은 작업을 위한 기본 도구이다. AI는 기계, 컴퓨터 시스템, 학습 알고리즘 등에 의해 인간 지능 프로세스를 시뮬레이션한다. 지능 프로세스는 정보의 획득 및 정보를 사용하기 위한 규칙의 학습, 대략적이거나 명확한 결론에 도달하기 위한 규칙 사용 추론 및 자가 수정을 포함할 수 있다. AI의 특정 애플리케이션은 전문가 시스템, 음성 인식, 머신 비전, 자율 주행, 콘텐츠 전달 네트워크의 지능형 라우팅, 군사 시뮬레이션 등을 포함한다.
AI의 사용은 검사 시스템, 특히 항목 또는 항목, 제품 등의 결함의 식별 및 분류를 목표로 하는 시스템에서 매우 대중화되어 있다. AI 기술은 기술 산업의 필수적인 부분이 되었으며, 제조 프로세스에서의 많은 어려운 문제를 해결하는 데 도움이 되었다.
개시된 주제의 예시적인 일 실시예는, 이하의 단계를 포함하는 방법이며, 이 방법은, 각각이 이미지에 대한 레이블(label)을 예측하도록 구성된 분류 모델 세트를 획득하는 단계 - 상기 예측된 레이블은 상기 이미지의 클래스를 나타내고, 상기 분류 모델 세트의 각 분류 모델은 동일한 레이블 세트로부터 레이블을 예측하도록 구성됨 -; 이미지의 교정(calibration) 데이터 세트에 상기 분류 모델 세트를 적용하여, 상기 이미지의 교정 데이터 세트의 각 이미지에 대하여, 예측된 레이블의 어레이를 제공하고, 상기 교정 데이터 세트에 대한 예측된 레이블의 어레이의 세트를 제공하는 단계; 상기 교정 데이터 세트에 대한 상기 분류 모델 세트의 불일치 측정값을 계산하는 단계 - 상기 불일치 측정값은 상기 교정 데이터 세트에 대한 예측된 레이블의 어레이의 세트에 기초하여 계산되고, 상기 불일치 측정값은 상기 분류 모델 세트의 분류 모델의 예측 간의 차이에 의해 영향을 받음 -; 이미지의 생산 데이터 세트에 상기 분류 모델 세트를 적용함으로써, 상기 생산 데이터 세트에 대한 예측된 레이블의 어레이의 세트를 제공하는 단계; 상기 생산 데이터 세트에 대한 상기 분류 모델 세트의 생산 불일치 측정값을 계산하는 단계; 상기 생산 불일치 측정값과 상기 불일치 측정값 사이의 유사성 측정값을 결정하는 단계; 및 상기 유사성 측정값이 미리 결정된 임계값 미만이라는 것에 응답하여, 상기 생산 데이터 세트의 데이터 드리프트를 나타내는 단계를 포함한다.
개시된 주제의 다른 예시적인 실시예는 이하의 단계를 포함하는 방법이며, 이 방법은, 이미지 데이터 세트를 획득하는 단계 - 상기 이미지 데이터 세트는 정렬된(ordered) 복수의 이미지 세트를 포함하고, 각 이미지 세트는 시간 간격에 걸쳐 획득된 이미지를 포함하고, 상기 이미지 세트는 이들의 각각의 시간 간격에 따라 정렬됨 -; 트레이닝 데이터 세트를 결정하는 단계 - 상기 트레이닝 데이터 세트는 상기 이미지 데이터 세트로부터의 이미지를 포함함 -; 및 상기 트레이닝 데이터 세트를 사용하여 분류 모델을 트레이닝하는 단계를 포함하고, 상기 트레이닝 데이터 세트를 결정하는 단계는, 상기 정렬된 복수의 이미지 세트에 대한 가중치를 결정하는 단계 - 각 이미지 세트는 가중치와 연관되고, 적어도 2개의 이미지 세트는 상이한 가중치와 연관됨 -; 및 상기 정렬된 복수의 이미지 세트로부터, 상기 트레이닝 데이터 세트에 포함될 이미지의 서브세트를 선택하는 단계 - 상기 선택은 상기 가중치에 기초함 - 를 포함한다.
개시된 주제의 또 다른 예시적인 실시예는, 프로세서를 갖는 컴퓨터화된 장치이고, 상기 프로세서는, 이하의 단계: 각각이 이미지에 대한 레이블을 예측하도록 구성된 분류 모델 세트를 획득하는 단계 - 상기 예측된 레이블은 상기 이미지의 클래스를 나타내고, 상기 분류 모델 세트의 각 분류 모델은 동일한 레이블 세트로부터 레이블을 에측하도록 구성됨 -; 이미지의 교정 데이터 세트에 상기 분류 모델 세트를 적용하여, 상기 이미지의 교정 데이터 세트의 각 이미지에 대하여, 예측된 레이블의 어레이를 제공하고, 상기 교정 데이터 세트에 대한 예측된 레이블의 어레이의 세트를 제공하는 단계; 상기 교정 데이터 세트에 대한 상기 분류 모델 세트의 불일치 측정값을 계산하는 단계 - 상기 불일치 측정값은 상기 교정 데이터 세트에 대한 예측된 레이블의 어레이의 세트에 기초하여 계산되고, 상기 불일치 측정값은 상기 분류 모델 세트의 분류 모델의 예측 간의 차이에 의해 영향을 받음 -; 이미지의 생산 데이터 세트에 상기 분류 모델 세트를 적용함으로써, 상기 생산 데이터 세트에 대한 예측된 레이블의 어레이의 세트를 제공하는 단계; 상기 생산 데이터 세트에 대한 상기 분류 모델 세트의 생산 불일치 측정값을 계산하는 단계; 상기 생산 불일치 측정값과 상기 불일치 측정값 사이의 유사성 측정값을 결정하는 단계; 및 상기 유사성 측정값이 미리 결정된 임계값 미만이라는 것에 응답하여, 상기 생산 데이터 세트의 데이터 드리프트를 나타내는 단계를 수행하도록 구성된다.
개시된 주제의 또 다른 예시적인 실시예는, 프로그램 명령어를 유지하는 비일시적 컴퓨터 판독 가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품이며, 이 프로그램 명령어는, 프로세서에 의해 판독될 때, 프로세서로 하여금 이하의 단계를 포함하는 방법을 수행하게 하고, 이하의 단계는: 각각이 이미지에 대한 레이블을 예측하도록 구성된 분류 모델 세트를 획득하는 단계 - 상기 예측된 레이블은 상기 이미지의 클래스를 나타내고, 상기 분류 모델 세트의 각 분류 모델은 동일한 레이블 세트로부터 레이블을 예측하도록 구성됨 -; 이미지의 교정 데이터 세트에 상기 분류 모델 세트를 적용하여, 상기 이미지의 교정 데이터 세트의 각 이미지에 대하여, 예측된 레이블의 어레이를 제공하고, 상기 교정 데이터 세트에 대한 예측된 레이블의 어레이의 세트를 제공하는 단계; 상기 교정 데이터 세트에 대한 상기 분류 모델 세트의 불일치 측정값을 계산하는 단계 - 상기 불일치 측정값은 상기 교정 데이터 세트에 대한 예측된 레이블의 어레이의 세트에 기초하여 계산되고, 상기 불일치 측정값은 상기 분류 모델 세트의 분류 모델의 예측 간의 차이에 의해 영향을 받음 -; 이미지의 생산 데이터 세트에 상기 분류 모델 세트를 적용함으로써, 상기 생산 데이터 세트에 대한 예측된 레이블의 어레이의 세트를 제공하는 단계; 상기 생산 데이터 세트에 대한 상기 분류 모델 세트의 생산 불일치 측정값을 계산하는 단계; 상기 생산 불일치 측정값과 상기 불일치 측정값 사이의 유사성 측정값을 결정하는 단계; 및 상기 유사성 측정값이 미리 결정된 임계값 미만이라는 것에 응답하여, 상기 생산 데이터 세트의 데이터 드리프트를 나타내는 단계를 포함한다.
개시된 주제의 또 다른 예시적인 실시예는, 프로세서를 갖는 컴퓨터화된 장치로서, 상기 프로세서는, 이하의 단계: 이미지 데이터 세트를 획득하는 단계 - 상기 이미지 데이터 세트는 정렬된 복수의 이미지 세트를 포함하고, 각 이미지 세트는 시간 간격에 걸쳐 획득된 이미지를 포함하고, 상기 이미지 세트는 이들의 각각의 시간 간격에 따라 정렬됨 -; 트레이닝 데이터 세트를 결정하는 단계 - 상기 트레이닝 데이터 세트는 상기 이미지 데이터 세트로부터의 이미지를 포함함 -; 및 상기 트레이닝 데이터 세트를 사용하여 분류 모델을 트레이닝하는 단계를 수행하도록 구성되고, 상기 트레이닝 데이터 세트를 결정하는 단계는, 상기 정렬된 복수의 이미지 세트에 대한 가중치를 결정하는 단계 - 각 이미지 세트는 가중치와 연관되고, 적어도 2개의 이미지 세트는 상이한 가중치와 연관됨 -; 상기 정렬된 복수의 이미지 세트로부터, 상기 트레이닝 데이터 세트에 포함될 이미지의 서브세트를 선택하는 단계 - 상기 선택은 상기 가중치에 기초함 - 를 포함한다.
개시된 주제의 또 다른 예시적인 실시예는, 프로그램 명령어를 유지하는 비일시적 컴퓨터 판독 가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품이고, 상기 프로그램 명령어는, 프로세스에 의해 판독될 때, 프로세서로 하여금 이하의 단계를 포함하는 방법을 수행하게 하며, 상기 단계는, 이미지 데이터 세트를 획득하는 단계 - 상기 이미지 데이터 세트는 정렬된 복수의 이미지 세트를 포함하고, 각 이미지 세트는 시간 간격에 걸쳐 획득된 이미지를 포함하고, 상기 이미지 세트는 이들의 각각의 시간 간격에 따라 정렬됨 -; 트레이닝 데이터 세트를 결정하는 단계 - 상기 트레이닝 데이터 세트는 상기 이미지 데이터 세트로부터의 이미지를 포함함 -; 및 상기 트레이닝 데이터 세트를 사용하여 분류 모델을 트레이닝하는 단계를 포함하고, 상기 트레이닝 세트를 결정하는 단계는, 상기 정렬된 복수의 이미지 세트에 대한 가중치를 결정하는 단계 - 각 이미지 세트는 가중치와 연관되고, 적어도 2개의 이미지 세트는 상이한 가중치와 연관됨 -; 및 상기 정렬된 복수의 이미지 세트로부터, 상기 트레이닝 데이터 세트에 포함될 이미지의 서브세트를 선택하는 단계 - 상기 선택은 상기 가중치에 기초함 - 를 포함한다.
본 개시된 주제는 대응하는 또는 유사한 숫자 또는 문자가 대응하는 또는 유사한 구성요소를 나타내는 도면과 함께 취해진 이하의 상세한 설명으로부터 더 완전하게 이해되고 인식될 것이다. 달리 나타내지 않는 한, 도면은 개시내용의 예시적인 실시예 또는 양태를 제공하고, 개시내용의 범위를 제한하지 않는다. 도면에서:
도 1은 개시된 주제의 일부 예시적인 실시예에 따른, 방법의 흐름도를 도시한다.
도 2a 내지 도 2d는 개시된 주제의 일부 예시적인 실시예에 따른, 예시적인 불일치 측정의 개략도를 도시한다.
도 3은 개시된 주제의 일부 예시적인 실시예에 따른, 방법의 흐름도를 도시한다.
도 4a 및 도 4b는 개시된 주제의 일부 예시적인 실시예에 따른, 예시적인 아키텍처의 개략도를 도시한다.
도 5는 개시된 주제의 일부 예시적인 실시예에 따른, 데이터 세트에 대한 예시적인 데이터 선택의 개략도를 도시한다.
도 6a 및 도 6b는 개시된 주제의 일부 예시적인 실시예에 따른, 예시적인 트레이닝 데이터 선택 패턴의 개략도를 도시한다.
개시된 주제에 의해 다루어지는 하나의 기술적 문제는, 고객 사이트에 배치될 수 있고 그 개발자로부터 분리될 수 있는 자율적인 자가 학습 이미지 분류 도구(tool)를 제공하는 것이다. 일부 예시적인 실시예에서, 자가 학습 이미지 분류 도구는 데이터의 잠재적인 변경에도 불구하고, 시간 경과에 걸쳐 예측 정확도를 유지할 수 있다.
일부 예시적인 실시예에서, 공장, 생산 플랜트 등과 같은 생산 프로세스는, 이미지 분류를 활용하는 AI 기반 도구를 사용하여 고객 사이트에서 모니터링될 수 있다. 이러한 AI 기반 도구는 제조 프로세스에서 항목 또는 항목, 제품 등의 결함을 식별 및 분류하기 위한 검사 시스템에 활용될 수 있다. 일부 예시적인 실시예에서, AI 기반 도구는, 시각적 입력에 기초하여, 기계가 적절하게 기능하는지, 생산된 항목이 생산 계획에 따르는지 등을 결정하도록 구성될 수 있다. 시각적 입력은, 다른 생산 스테이지에서, 다른 각도 등으로 부터, 기계에 의해 생산된 제품의 이미지를 포함할 수 있다. AI 기반 도구는 이미지 내의 항목을 분류하고, 항목 또는 제품 내의 결함을 식별하기 위해, 이러한 이미지에 대한 이미지 분류를 수행하도록 구성될 수 있다. AI 기반 도구는 이미지 분류 학습 작업을 해결하기 위해 딥 러닝 또는 기타 기계 학습 방법을 적용하도록 구성될 수 있다. 예를 들어, AI 기반 소프트웨어는, 평면 패널 디스플레이(FPD) 제조, 인쇄 회로 기판(PCB) 제조 등과 같은 자동화된 광학 검사(AOI)에 사용될 수 있다. AOI 프로세스는 이미지 분류 및 기타 AI 기술에 기초할 수 있다.
일부 예시적인 실시예에서, AOI와 같은 생산 프로세스의 모니터링은, AI 기반 도구 또는 이미지 분류 모델의 개발자에게 전체 정보를 제공하지 않고 고객의 공장과 같은 분리된 고객 사이트에서 수행될 수 있다. 개발자에게 제공되는 정보는, 다른 고객, 개발 센터 등과 같은 개발자와 관련된 경쟁 당사자에게 잠재적으로 공개되는 정보를 제한하기 위해 제한될 수 있다. AI 기반 도구는, 다른 AI 소프트웨어, 그 개발자, 연구 개발 센터 등과 정보를 보내거나 공유할 수 있는 능력 없이 작동하고 적응해야 할 수 있다. 추가적으로 또는 대안적으로, AI 기반 도구는 연결된 환경에서 작동할 수 있지만, 그 개발자를 포함한 제3 자와 전송 및 공유할 데이터의 양에 제한이 있을 수 있다. 결과적으로, 이러한 AI 기반 도구에서의 분류 모델의 트레이닝은, 개발 사이트에서 사용 가능한 업데이트된 트레이닝 데이터가 상대적으로 적고 고객 사이트에서 많은 양의 트레이닝 데이터를 처리할 수 없는 제한된 계산 리소스로 인해, 상대적으로 어려운 작업일 수 있다.
개시된 주제가 다루는 또 다른 기술적 문제는, 분리된 고객 사이트에서 발생할 수 있는 변경에도 불구하고, 이미지 분류 모델의 예측 정확도 및 성능을 유지하는 것이다. 일부 예시적인 실시예에서, AI 기반 모델 또는 이미지 분류 모델은, 예를 들어 고객 또는 다른 소스로부터 획득될 수 있는 초기 트레이닝 데이터 세트에 기초하여 개발 및 트레이닝될 수 있으며, 그 후 이미지 분류 학습 작업을 해결하기 위해 고객에게 제공될 수 있다. 이러한 AI 기반 및 이미지 분류 모델은, 예측 품질을 유지하기 위해 지속적으로 모니터링될 수 있다. 이러한 모델의 예측 품질은, 이미징 기술에서의 변경, 카메라 또는 기타 광학 센서의 성능 저하, 조명 조건의 변경, 고객 프로세스의 변경, 다른 재료 사용, 데이터 생성 프로세스의 변경, 생성된 제품의 변경 등과 같은 여러 요소에 의해 영향을 받을 수 있다. 예를 들어, FPD 또는 PCB 제조에서, 제조된 FPD 또는 PCB의 색상 변화, 생산시 다른 재료의 사용 등으로 인해 이미지 픽셀이 변경될 수 있다. 이러한 변경은, 분류될 이미지의 반사율, 투과율 등에 영향을 미칠 수 있다. 또 다른 예로서, FPD 또는 PCB 제조에서, 고객 요구에 제품을 적응시키거나, 새로운 디자인 특징에 적응시키는 것 등과 같이, 생성된 제품에 대해 비록 소형일지라도 급격한 변경이 지속적으로 수행될 수 있다. 결과적으로, 제품의 새로운 결함이 도입될 수 있으며, 식별 및 수선이 필요할 수 있다.
일부 예시적인 실시예에서, 데이터의 변화는 데이터의 통계적 측정에서 나타나지 않을 수 있지만, 여전히 다르게 분류되어야 할 필요가 있을 수 있다. 새로운 이미지는 픽셀, 색상 등의 분포와 같은 기존 이미지와 유사한 통계적 특징을 가질 수 있다. 그러나, 새로운 이미지는 이전에 획득된 이미지, 최근에 획득된 이미지 등에 나타나지 않을 수 있는 새로운 제조 결함을 포착할 수 있다.
일부 예시적인 실시예에서, AI 기반 모델의 예측 정확도를 유지하기 위한, 예를 들어 며칠마다 새로운 모델을 트레이닝하는 방법은, 충분한 솔루션을 제공하지 않을 수 있다. 예를 들어, 이러한 리트레이닝은 예측 정확도에 영향을 미치는 기본 변경 사항을 고려하지 않을 수 있다. 결과적으로, 새로운 트레이닝된 모델은 주어진 데이터 세트에 과적합되어 점점 더 적은 일반화 기능 등을 제공할 수 있다. 따라서, AI 기반 도구의 예측 정확도가 저하될 수 있다.
개시된 주제가 다루는 또 다른 기술적 문제는 데이터의 지속적인 변화를 다루는 지속적인 AI 학습을 제공하는 것이다. AI 기반 모델은 한편으로 분류될 데이터의 변화에 민감해야 하지만, 예를 들어 새로운 데이터로 인해 중단되지 않도록 안정적이어야 할 수도 있다. 위에서 언급한 예를 참조하면, FPD 또는 PCB 산업에서, 이미지 결함 검출을 위한 딥 러닝 분류 모델이 활용될 수 있다. 이러한 산업에서는, 제조된 디바이스들 간의 빠른 변경이 일반적일 수 있으며, 예를 들어 2일 또는 3일마다 새로운 디바이스 또는 그 일부가 트레이닝에 활용되는 스캔된 디자인을 대체할 수 있다. 결과적으로 최근 디자인에 대한 정확한 분류와 오래된 스캔된 디자인에 대한 덜 정확한 분류가 필요할 수 있다. 그러나, 오래된 스캔된 디자인은 디바이스의 기본 구성요소, 자주 나타나는 결함 등과 같은 분류 작업과 여전히 관련이 있을 수 있다.
일부 예시적인 실시예에서, AI 기반 분류 모델은 예측의 정확성을 유지하기 위해 새로운 데이터에 기반하여 의식적으로 리트레이닝될 수 있다. 일부 경우에는, 새로운 유형의 데이터가 몇 시간마다, 며칠마다 등으로 얻어질 수 있다. 새로운 유형의 데이터를 처리하려면 AI 학습 기술이 필요할 수 있다. 그러나, 시간이 지남에 따라 데이터의 양이 증가하고, 상기 기술은 중복 이미지 또는 거의 중복 이미지가 포함될 수도 있는 대용량 데이터를 사용하여 분류 모델을 트레이닝하거나 리트레이닝하지 못할 수 있다. 일부 예시적인 실시예에서, AI 학습 기술은 새로운 데이터를 학습할 때 이전에 학습된 데이터를 완전히 "잊도록" 설계될 수 있다. 예를 들어, 데이터의 새로운 데이터 세트를 획득한 것에 대한 응답으로, 새로운 데이터 세트에 대해 분류 모델의 리트레이닝이 수행될 수 있는 반면에, 마지막 트레이닝 데이터 세트, 그 중 가장 오래된 샘플은 완전히 잊어버리고 상기 마지막 트레이닝 데이터 세트 등의 일부만을 사용하여 트레이닝될 수 있다. 이러한 솔루션은, 리트레이닝을 위한 트레이닝 데이터의 양을 잠재적으로 감소시킬 수 있음에도 불구하고, 새로운 데이터보다 현재 샘플과 더 관련이 있는 오래된 데이터 등과 같이 트레이닝에 중요한 데이터를 잃을 수 있다. 다른 순진한 AI 리트레이닝 알고리즘은 값비싼 계산 리소스와 시간을 낭비하면서 전체 데이터 양으로 리트레이닝될 수 있다. 추가적으로 또는 대안적으로, AI 리트레이닝 알고리즘은 모든 이용 가능한 데이터 세트로부터 미리 결정된 백분율, 예를 들어 0% 내지 100%를 사용하여 모델을 균일하게 리트레이닝시킬 수 있다. 그러나, 이러한 알고리즘은 트레이닝과 관련된 중요한 데이터를 놓치거나, 현재 분류 작업과 관련이 없는 데이터를 사용할 수 있다.
하나의 기술 솔루션은, 다중 분류 모델에 대한 일치에 기초으로, 데이터 드리프트가 발생했는지 여부를 결정할 수 있도록 하는 다중 분류 모델을 적용하는 것이다. 일부 경우에, 데이터 드리프트를 고려하여, 추가 또는 대체 트레이닝이 요청될 수 있다. 일부 예시적인 실시예에서, 솔루션은 고객 사이트에서 구현될 수 있다. 추가적으로 또는 대안적으로, 솔루션은 자율적인 방식으로 구현될 수 있다.
일부 예시적인 실시예에서, 각 분류 모델은 동일한 레이블 세트로부터의 클래스를 나타내는 이미지에 대한 레이블을 예측하도록 구성될 수 있다. 복수의 분류 모델은, 상이한 유형의 상이한 분류 모델, 동일한 유형의 여러 분류 모델 등을 포함할 수 있다. 예를 들어, 복수의 분류 모델은, 하나 이상의 지도(supervised) 학습 모델, 하나 이상의 비지도 학습 모델, 하나 이상의 반지도 학습 모델, 하나 이상의 AutoML(Automatic Machine Learning) 생성 모델, 하나 이상의 평생 학습 모델, 분류 모델의 하나 이상의 앙상블, 노이지(noisy) 레이블을 사용한 하나 이상의 학습 가정 모델 등을 포함할 수 있다. 일부 예시적인 실시예에서, 분류 모델의 트레이닝은, 동일한 트레이닝 데이터 세트, 상이한 트레이닝 데이터 세트 등을 사용하여 수행될 수 있다. 분류 모델의 레이블 세트는, 이미지 분류 작업에 활용된 예측기의 레이블 세트와 동일하거나 동일하지 않을 수 있다. 각 분류 모델은, 이미지에 대하여, 예측자의 동일한 레이블 세트로부터 레이블을 예측하도록 구성될 수 있다.
추가적으로 또는 대안적으로, 복수의 분류 모델은 하나 이상의 분포내(in-distribution) 분류 모델을 포함할 수 있다. 분포내 분류 모델은, 트레이닝 분포 여부를 결정하기 위해 지도되지 않은 방식으로 트레이닝될 수 있다. 이러한 분포내 분류 모델은, 이미지 세트가 트레이닝 분포와 동일하거나 유사한 통계적 특성(예를 들어, "분포내") 또는 충분히 다른 통계적 특성(예를 들어, "분포외")을 나타내는지 여부를 결정하는 데 사용될 수 있다. 일부 예시적인 실시예에서, 분포내 분류 모델은 이진 분류 모델일 수 있다. 이진 분류 모델은 검출기, g(x): X → {0, 1}일 수 있으며, 이는 데이터가 분포내 데이터인 경우 레이블 1을 할당하고, 그렇지 않은 경우 레이블 0을 할당한다.
일부 예시적인 실시예에서, 복수의 분류 모델은 라벨링된 이미지의 교정(calibration) 데이터 세트에 적용될 수 있다. 교정 데이터 세트는 상이한 트레이닝 스테이지로부터의 다중 이미지, 상이한 생산 라운드 등을 포함할 수 있다. 교정 데이터 세트로부터의 각 이미지에는 예측된 레이블의 어레이가 제공될 수 있으며, 이들의 각각은 다른 분류 모델에 의해 제공된다. 일부 예시적인 실시예에서, 교정 데이터 세트에 대한 복수의 분류 모델의 불일치 측정값이 계산될 수 있다. 불일치 측정값은, 교정 데이터 세트에 대한 예측된 레이블의 복수의 어레이에 기초하여 계산될 수 있다. 불일치 측정값은 복수의 분류 모델의 분류 모델의 예측 간의 차이에 의해 영향을 받을 수 있다. 그 후, 복수의 분류 모델은, 레이블이 없는 이미지의 생산 데이터 세트, 예를 들어 새로 획득된 이미지 세트에 적용될 수 있다. 생산 데이터 세트에 대한 복수의 분류 모델의 생산 불일치 측정값이, 계산되어 교정 데이터 세트에 대한 복수의 분류 모델의 불일치 측정값과 비교될 수 있다. 생산 불일치 측정과 트레이닝-스테이지 불일치 측정 간의 유사성 측정에 기초하여, 생산 데이터 세트의 데이터 드리프트가 결정될 수 있다. 일부 예시적인 실시예에서, 임계값 미만인 유사성 측정은, 데이터 드리프트를 나타낼 수 있다.
일부 예시적인 실시예에서, 예측기는 이미지에 대한 레이블을 예측하기 위해 활용될 수 있다. 예측기는 생산 데이터 세트에 적용되어 그 레이블을 예측할 수 있다. 예를 들어, 예측기는 이미지를 적절한 생산 출력, 오작동(및 오작동의 유형)으로 인한 출력 등을 나타내는 카테고리로 레이블 지정할 수 있다. 일부 예시적인 실시예에서, 복수의 분류 모델은 예측기를 포함할 수 있다. 예측기는 다른 분류 모델과 함께 교정 데이터 세트 및 생산 데이터 세트에 적용될 수 있으며, 그 예측된 레이블은 예측된 레이블의 어레이에 있는 것과 비교될 수 있다. 추가적으로 또는 대안적으로, 예측기는 복수의 분류 모델에서 제외될 수 있다. 예측기가 교정 데이터 세트에 대해 검증되었다고 가정하면, 생산 데이터 세트가 교정 데이터 세트와 생산 데이터 세트에 대해 복수의 분류 모델의 유사한 불일치 측정값을 나타내는 한, 예측기가 생산 데이터 세트에 적용될 때 유효한 상태로 남아있다고 가정할 수 있다.
일부 예시적인 실시예에서, 생산 데이터 세트의 드리프트를 나타내는 것에 응답하여, 분류 작업에 활용된 예측기가 리트레이닝될 수 있다. 예측기는 생산 데이터 세트의 적어도 일부에 기초하여 리트레이닝될 수 있다. 기준 불일치 측정값은 리트레이닝에 활용된 생산 데이터 세트의 적어도 일부에 기초하여 재계산될 수 있다. 리트레이닝된 예측기는 검증 데이터 세트와 관련하여, 예측기에 비해 리트레이닝된 예측기의 정확도가 개선된 경우 그 예측기를 대체할 수 있다.
일부 경우에, 이미지 분류 모델의 평생 학습은 고정된 출력 클래스 세트로 수행될 수 있으며, 이는 트레이닝의 복잡성을 감소시키기 위하여 학습 문제가 시간 경과에 걸쳐 클래스 수의 측면에서 변경되지 않음을 의미한다. 일부 예시적인 실시예에서, 분류된 샘플이 없는 클래스, 새로운 샘플이 분류되지 않은 클래스 등과 같은 관련 없는 클래스는, 출력 클래스에서 제거될 수 있다. 추가적으로 또는 대안적으로, 새로운 클래스가 생성되고 시간 경과에 따라 추가될 수 있다.
또 다른 기술적 솔루션은, 서로 다른 시간 간격에 걸쳐 획득된 데이터에서 불균일한 방식으로 선택된 적응형 트레이닝 데이터 세트를 사용하여 분류기를 리트레이닝하는 것이다. 일부 예시적인 실시예에서, 트레이닝 데이터는 시간 경과에 따라 획득될 수 있다. 데이터의 각 서브세트는, 몇 시간마다, 며칠마다 등과 같은 다른 시간 간격으로 획득될 수 있다. 새로운 데이터 세트, 예를 들어 분류할 새로운 샘플이 획득될 때, 새로운 트레이닝 데이터 세트가 결정될 수 있다. 새로운 트레이닝 데이터 세트는 다른 시간 간격으로부터의 다른 샘플 백분율을 포함할 수 있다.
일부 예시적인 실시예에서, 트레이닝 데이터 세트를 결정하기 위해 활용될 정렬된 복수의 이미지 세트가 획득될 수 있다. 일부 예시적인 실시예에서, 정렬된 복수의 세트는 오름차순 날짜로 정렬될 수 있다. 일부 실시예에서, 데이터 세트의 의미 또는 정보 가치의 정도는, 예를 들어, 도메인 전문가의 지식에 기초하여, 이에 기반한 분류 모델의 트레이닝 정확도 등에 기초하여 결정되거나 추정될 수 있다. 일부 예시적인 실시예에서, 각 세트로부터 선택할 이미지의 수 또는 백분율을 나타내는 가중치가 결정될 수 있다. 가중치는 불균일할 수 있으며, 예를 들어 적어도 2개의 세트에는 다른 가중치가 할당될 수 있다. 트레이닝 데이터 세트에 의해 포함될 이미지의 선택은, 가중치에 따라 수행될 수 있으며, 예를 들어, 연관된 가중치에 따라 각 세트의 샘플을 랜덤 또는 의사 랜덤 방식으로 획득될 수 있다. 예를 들어, 제1 세트의 가중치는, 10%일 수 있으며, 이는 트레이닝 데이터 세트에 포함될 세트의 모집단으로부터 10%의 샘플을 선택하는 것을 나타낸다. 제2 세트는 5%의 가중치와 연관될 수 있으며, 이는 트레이닝 데이터 세트가 제2 세트의 모집단에서 선택된 5%의 샘플을 포함할 것임을 나타낸다.
예를 들어, 각 세트의 가중치는, 이에 기초하여 트레이닝된 분류기의 정확도, 세트로 끝나는 미리 결정된 수의 연속적인 세트에 기초하여 트레이닝된 분류기의 정확도 등에 기초하여 결정될 수 있다. 분류기의 정확도는, 최신 세트, 연관된 세트에 연속적인 세트 등에 대한 분류기의 적용에 기초하여 계산될 수 있다. 다른 예로서, 각 세트의 가중치는, 세트의 정확도 메트릭과 이전 시간 간격으로부터의 세트 간의 차이와 상관될 수 있다. 또 다른 예로서, 가중치는, "과거 평균 초과(past-means-more)" 패턴(예를 들어, 최근 세트보다 오래된 세트에 더 큰 가중치가 주어질 수 있음); "과거 평균 미만(past-means-less)" 패턴(예를 들어, 최근 세트보다 오래된 세트에 더 낮은 가중치가 주어질 수 있음) 등과 같이 시간 경과에 따른 복수의 세트의 순서와 연관된 단조로운 패턴에 기초하여 결정될 수 있다. 이러한 원리에서, 고객은 최근 샘플과 유사한 인스턴스에서 더 잘 수행하고 과거 샘플과 유사한 인스턴스에서 덜 정확하게 수행할 것으로 예상되는 트레이닝된 모델을 갖는 옵션을 제공받을 수 있다. 샘플-포함 곡선은 선형 성장 또는 감쇠, 비선형 성장 또는 감쇠, 지수적 성장 또는 감쇠 등일 수 있다는 점에 주목한다.
일부 예시적인 실시예에서, 트레이닝에 대한 검증 세트가 결정될 수 있다. 검증 세트는 예측기와 같은 분류기의 정확도를 계산하는 데 활용될 수 있다. 일부 예시적인 실시예에서, 검증 세트는 선택된 트레이닝 세트와 반대로 결정될 수 있다. 예를 들어, 트레이닝 세트에 대한 세트로부터의 샘플의 선택된 백분율이, 과거에서 현재로 증가하는 경우, 검증 세트에 대한 세트로부터의 샘플의 선택된 백분율은 과거에서 현재로 감소할 수 있다. 예를 들어, 트레이닝 세트 선택 패턴이 비선형적으로 성장하는 과거 평균 미만인 경우, 검증 세트 패턴 선택은 비선형적으로 성장하는 평균 과거 초과일 수 있다. 일부 예시적인 실시예에서, 트레이닝 데이터 세트에 대한 가중치는, 함수 f(x)를 사용하여, 세트의 순서(예를 들어, x는 시간 등을 나타냄)에 따라 결정될 수 있는 반면, 검증 데이터 세트에 대한 가중치는 함수 -f(x)에 기초하여 결정될 수 있다. 이와 같이, 트레이닝 데이터 세트가 "과거 평균 초과" 패턴을 사용하여 결정될 때, 검증 데이터 세트는 "과거 평균 미만" 패턴을 사용하여 결정되고, 그 반대의 경우도 마찬가지이다.
개시된 주제를 활용하는 하나의 기술적 효과는, 적응형 자율 학습을 위한 자율 솔루션을 제공하고, 외부 컴퓨팅 및 데이터베이스로부터 분리되고, 고객 사이트 조건에 적응된다는 것이다. 개시된 주제는 AI 분류기를 활용하는 공장 또는 생산 플랜트의 데이터를, AI 모델의 개발자 또는 임의의 다른 외부 당사자에게 노출하지 않고, 이미지 분류 AI 모델의 정확도를 향상시킬 수 있다. 개시된 주제는, 거대한 변화 세트 하에서 이미지 분류 AI 모델의 정확도와 사용자 승인 성능을 안정화하는 자동 기능을 제공하고, 유사한 모델 세트를 통해, 앙상블 모델, 모순 모델 및 데이터 분포 변경 검출기 모델과 함께 크고 다양한 AI 모델에 의해 판단되고, 큰 이진 실행가능한 AI 모델로 패키징되는 것이 고객 사이트에 적용될 수 있다. 또한, 개시된 주제는 전체 학습 정규화 및 조정 프로세스를 지원하며, 제어 모델 세트는 주요 분류 예측기의 예측 결과에 대한 외부 판단 세트로서 작용한다.
개시된 주제를 활용하는 또 다른 기술적 효과는, 구상 중인 제품에서 판매 가능해질 때까지 필요한 TTM(Time To Market)을 줄이는 것이다. TTM은 제품이 빠르게 구식화되는 산업, 특히 FPD, PCB 등과 같은 마이크로 전자공학 분야에서 중요할 수 있다. 개시된 주제는, AI 기반 소프트웨어의 정확성, 견고성 및 안정성을 개선하고, 자동 모델 성능 추적을 가능하게 하고 시간 복잡성을 낮추는 보다 정확한 트레이닝으로 적응 학습을 제공한다. 개시된 주제는 생산 라인의 각 변경 후에 필요한 트레이닝 데이터의 양을 감소시킴으로써 TTM을 감소시킨다.
개시된 주제를 활용하는 또 다른 기술적 효과는, 지속적인 리트레이닝이 필요한 AI 기반 장수(long-life) 분류 모델의 숙련도와 정확도를 높이는 것이다. 개시된 주제는, 리트레이닝 데이터 세트로 들어가는 샘플을 "기억"하고 "망각"하는 메커니즘을 제공하여, 트레이닝 데이터의 양을 줄이면서 트레이닝의 정확도를 향상시킨다. 이러한 메커니즘은 초과 근무에 필요한 계산 및 시간 복잡성을 증가시키지 않고, AI 기반 분류 모델에 대한 지속적인 적응형 평생 학습을 가능하게 한다. 또한, 이러한 메커니즘은 리트레이닝된 분류 모델을 최신 데이터 세트 등과 같은 주어진 데이터 세트에 과적합하는 것을 방지합니다. 개시된 주제는 시간 경과에 따라 상이한 생산 스테이지로부터의 매우 다양한 데이터에 따라 리트레이닝함으로써, 리트레이닝된 분류 모델에 더 많은 일반화 능력을 도입할 수 있게 한다. 또한, 개시된 주제는, 검증 데이터의 선택이 트레이닝 데이터의 선택과 반대 패턴으로 수행되는 효율적인 검증 메커니즘을 제공한다. 이러한 메커니즘은 수렴을 분류 모델로 더 어렵게 만들 수 있으며, 분류 모델의 리트레이닝이 성공적인지 여부를 검증하고 분류기를 일반화할 수 있다.
개시된 주제는 임의의 기존 기술 및 해당 기술 분야에서 이전에 일상적이거나 통상적인 임의의 기술에 대한 하나 이상의 기술적 개선을 제공할 수 있다. 추가적인 기술적 문제, 솔루션 및 효과는, 본 개시내용을 고려하여 당업자에게 명백할 수 있다.
이제 개시된 주제의 일부 예시적인 실시예에 따른, 방법의 흐름도를 도시하는 도 1을 참조한다.
단계 100에서, 예측기가 트레이닝될 수 있다. 예측기는 이미지 분류 작업에 활용될 수 있다. 예측기는, 이미지에 대하여, 레이블 세트로부터 레이블을 예측하도록 구성될 수 있다. 일부 예시적인 실시예에서, 예측기는 이미지 및 각각의 이미지의 클래스를 나타내는 그 레이블을 포함하는 트레이닝 데이터 세트를 사용하여 트레이닝될 수 있다. 트레이닝 데이터 세트는 인간 전문가에 의해 수동으로 레이블이 지정된 이미지, 이전 반복에서 활용된 예측기를 사용하여 레이블이 지정된 이미지, 분류 모델에 의해 레이블이 지정되고 인간 전문가에 의해 검증된 이미지 등을 포함할 수 있다.
단계 110에서, 분류 모델 세트가 획득될 수 있다. 각 분류 모델은 이미지에 대한 레이블을 예측하도록 구성될 수 있다. 예측된 레이블은 이미지의 클래스를 나타낼 수 있다. 분류 모델 세트의 각 분류 모델은, 예측기와 동일한 레이블 세트로부터 레이블을 예측하도록 구성될 수 있다.
일부 예시적인 실시예에서, 분류 모델 세트는, 상이한 유형, 상이한 파라미터, 상이한 조건, 상이한 유형의 학습 등으로 복수의 분류 모델로부터 선택될 수 있다. 분류 모델은 레이블이 지정된 이미지와 레이블이 없는 이미지 모두를 포함할 수 있는 트레이닝 데이터 세트를 사용하여 트레이닝될 수 있다. 트레이닝 데이터 세트는 예측기를 트레이닝하기 위해 활용되는 트레이닝 데이터 세트 또는 그 일부를 포함할 수 있다. 추가적으로 또는 대안적으로, 트레이닝 데이터 세트는 레이블이 잘못 지정된 것으로 간주되는 이미지, 새로운 생산 스테이지로부터의 새로운 이미지 등과 같은 레이블 지정된 이미지와 레이블이 없는 이미지 모두를 포함할 수 있다. 일부 학습 유형은 레이블이 지정된 이미지에만 수행될 수 있고, 다른 학습 유형은 레이블이 지정되지 않은 이미지의 서브세트에 대해 수행될 수 있으며, 또 다른 학습 유형은 레이블이 지정된 이미지와 레이블이 지정되지 않은 이미지 모두 등을 사용하여 수행될 수 있다. 예를 들어, 클래스 조건부 확률을 사용하는 지도 학습은, 레이블이 지정된 이미지의 서브세트에 대해 수행될 수 있다. 다른 예로서, 분포내 분류 모델에 대한 비지도 학습은, 레이블이 없는 이미지의 서브세트에 대해 수행될 수 있다. 또 다른 예로서, 네트워크 가소성을 갖는 평생 학습은, 레이블이 지정된 이미지와 레이블이 없는 이미지 모두를 포함하는 전체 트레이닝 데이터 세트를 사용하여 수행될 수 있다.
분류 모델 세트의 조성은, 도메인 전문가의 결정에 기초하여, 이전 반복 정확도 측정에 기초하여, 그리고 트레이닝 데이터의 조성 등에 기초하여 무작위로, 임의로 결정될 수 있다. 예를 들어, 분류 모델 세트는, 3개의 평생 분류 모델 - 이들의 각각은 서로 다른 파라미터를 갖는 신경망을 활용함 -; 노이지 레이블을 갖는 2개의 분류 모델 - 이들의 각각은 서로 다른 수의 노이지 레이블을 가정함 -; 분포내 분류 모델 등을 포함할 수 있다.
일부 예시적인 실시예에서, 분류 모델 세트는, 분류 작업에서 활용되는 예측기를 포함할 수 있다는 점에 주목한다. 추가적으로 또는 대안적으로, 예측기는 분류 모델 세트의 구성원이 아닐 수 있다. 예측기는 교정 데이터 세트에 별도로 적용될 수도 있고 적용되지 않을 수도 있다.
단계 120에서, 분류 모델 세트는 이미지의 교정 데이터 세트에 적용될 수 있다.
일부 예시적인 실시예에서, 교정 데이터 세트는, 서로 다른 트레이닝 스테이지, 서로 다른 생산 라운드 등으로부터의 다중 이미지를 포함할 수 있다. 교정 데이터 세트는, 분류 모델의 트레이닝에 활용되는 트레이닝 데이터 세트의 서브세트, 트레이닝 데이터 세트에 기초하여 결정된 검증 세트, 최근에 획득된 이미지의 서브세트 등일 수 있다. 일부 예시적인 실시예에서, 교정 데이터 세트는 인시추(in-site) 분류 작업에 활용되는 예측기를 트레이닝하는 데 활용되는 동일한 데이터 세트일 수 있다. 추가적으로 또는 대안적으로, 교정 데이터 세트는 트레이닝 데이터 세트와 다를 수 있다. 또한, 일부 경우에, 교정 데이터 세트에 레이블이 지정되지 않을 수 있으며, 그 안의 이미지의 레이블이 활용되지 않을 수 있다는 점에 주목한다. 그 대신, 예측된 레이블만이 활용될 수 있다.
일부 예시적인 실시예에서, 각 분류 모델은 생산 데이터 세트에 각 이미지에 대한 레이블을 제공할 수 있다. 이미지의 교정 데이터 세트의 각 이미지에는 예측된 레이블의 어레이가 제공될 수 있다. 결과적으로, 교정 데이터 세트에 대한 예측된 레이블의 어레이의 세트가 제공될 수 있다.
예를 들어, 분류 모델 세트는, cls1, …, clsn으로 표시된 n개의 분류 모델을 포함할 수 있다. 교정 데이터 세트의 각 이미지에는, (l1,..., ln)의 값을 갖는 예측된 레이블의 어레이가 제공될 수 있고, 여기서 li는 clsi에 의해 예측되는 동일한 레이블 세트(L)로부터의 레이블이고, (l1,..., ln)의 값은, 잠재적으로 이질적인 값이다.
단계 130에서, 교정 데이터 세트에 대한 분류 모델 세트의 불일치 측정값이 계산될 수 있다. 불일치 측정값은 교정 데이터 세트에 대한 예측된 레이블의 어레이의 세트에 기초하여 계산될 수 있다. 불일치 측정값은, 분류 모델 세트의 분류 모델 간의 불일치 백분율에 기초하여 계산될 수 있다. 따라서, 불일치 측정값은 교정 데이터 세트의 이미지에 대한 분류 모델 세트의 분류 모델의 예측 간의 차이에 의해 영향을 받을 수 있다.
일부 예시적인 실시예에서, 불일치 측정값은, 분류 모델 세트의 분류 모델의 튜플(tuple)이 상이한 레이블을 제공하는 이미지의 일부에 기초하여 계산될 수 있다. 불일치 측정값은 교정 데이터 세트의 이미지에 대한 분류 모델 세트의 분류 모델 쌍의 예측 간의 차이, 교정 데이터 세트에서 이미지에 대한 분류 모델 세트의 분류 모델의 트리플렛(triplet)의 예측 간의 차이, 또는 교정 데이터 세트의 이미지에 대한 분류 모델 세트의 임의의 다른 분류 모델 튜플 간의 차이로서 결정될 수 있다.
추가적으로 또는 대안적으로, 불일치 측정값은, 분류 모델 세트의 분류 모델의 튜플이 동일한 레이블을 제공하는 이미지의 일부에 기초하여 계산될 수 있다. 불일치 측정값은 특정 레이블, 미리 결정된 수의 레이블 등에 대한 분류 모델의 튜플의 예측 간의 불일치를 나타낼 수 있다.
추가적으로 또는 대안적으로, 불일치 측정값은, 분류 모델 세트에서 다른 분류 모델의 예측과 비교되는 적어도 하나의 분류 모델의 예측에서의 이상(anomaly)을 나타낼 수 있다.
단계 140에서, 분류 모델 세트는, 이미지의 생산 데이터 세트에 적용될 수 있다. 일부 예시적인 실시예에서, 각 분류 모델은 생산 데이터 세트의 각 이미지에 대한 레이블을 제공할 수 있다. 결과적으로, 생산 데이터 세트에 대하여 예측된 레이블의 어레이의 세트가 생성될 수 있다.
분류 모델 세트가 분류 작업에 활용되는 예측기를 포함하지 않는 경우, 예측기는 개시된 주제에 따라 시스템의 원하는 기능(예를 들어, AOI 프로세스의 구현)을 수행하는 것과 같이 생산 데이터 세트에 별도로 적용될 수 있다.
단계 150에서, 생산 데이터 트에 대한 분류 모델 세트의 생산 불일치 측정값이 계산될 수 있다. 일부 예시적인 실시예에서, 생산 데이터 세트에 대한 분류 모델 세트의 생산 불일치 측정값은, 교정 데이터 세트에 대한 분류 모델 세트의 불일치 측정값의 계산과 유사하게 계산될 수 있다.
단계 160에서, 생산 불일치 측정값과 불일치 측정값 사이의 유사도 측정값이 결정될 수 있다. 일부 예시적인 실시예에서, 유사성 측정값은, 생산 불일치 측정값 및 불일치 측정값이 얼마나 유사한지를 나타낼 수 있다. 일반성을 잃지 않고, 설명의 명확성을 위해, 낮은 숫자는 낮은 유사도를 나타내는 반면에, 높은 숫자는 높은 유사도를 나타낼 수 있다. 예를 들어, 측정값은 0과 1 사이의 숫자일 수 있으며, 여기서 1은 두 불일치 측정값이 동일함을 의미하고, 0은 가능한 한 서로 유사하지 않음을 의미한다. 개시된 주제는 불일치 측정들 간의 거리 측정을 나타내는 거리 메트릭을 사용하여 구현될 수 있다는 점에 주목한다. 이러한 실시예에서, 낮은 값은 유사성을 나타낼 수 있는 반면에, 높은 값은 차이를 나타낼 수 있다.
단계 170에서, 유사성 측정값이 미리 결정된 임계값 미만인 것에 응답하여(예를 들어, 최소 유사성 임계값이 충족되지 않음), 생산 데이터 세트의 데이터 드리프트가 표시될 수 있다.
불일치 측정값의 감소는, 예를 들어 분류 모델 세트가 서로 더 많이 일치하는 경우, 불일치 측정의 증가로서의 데이터 드리프트를 나타낼 수 있다. 분류 모델이 서로 다른 불일치 패턴을 나타내는 경우, 이들이 거의 서로 일치하는지 여부에 관계없이, 이러한 차이는, 생산 데이터 세트가 교정 데이터 세트와 현저하게 다르다는 것을 나타낼 수 있다. 따라서, 교정 데이터 세트와 관련하여 결정된 예측기 의 정확도 측정값은, 더 이상 생산 데이터 세트에 적용되지 않을 수 있다.
일부 예시적인 실시예에서, 유사성 측정값이 미리 결정된 임계값 미만인지 여부에 대한 결정이 수행될 수 있다. 미리 결정된 임계값은, 약 20%, 30% 등과 같이 데이터 드리프트를 나타낼 수 있는 측정치들 사이의 최소 유사성을 나타내는 유사성 측정치의 값일 수 있다.
일부 예시적인 실시예에서, 미리 결정된 임계값 미만의 유사성 측정은 분류 모델의 세트가 상이한 불일치 패턴을 제공한다는 것을 나타낼 수 있다. 일부 경우에는, 데이터 드리프트를 고려하여, 분류 모델이 이전보다 더 많이 일치하지 않을 수 있는 반면, 다른 경우에는 분류 모델이 더 많이 일치할 수 있다. 추가적으로 또는 대안적으로, 다른 분류 모델이 일치하거나 일치하지 않는 인스턴스들의 속성은, 데이터 드리프트를 고려하여 변경될 수 있다. 그 결과, 교정과 비교하여 생산에서 변화하는 불일치 측정값을 고려하여, 데이터 드리프트를 자율적으로 식별할 수 있다.
단계 180에서, 생산 데이터 세트의 드리프트를 결정하는 것에 응답하여, 분류 작업에 대해 활용된 예측기가 리트레이닝될 수 있다. 일부 예시적인 실시예에서, 데이터 드리프트는 기존 트레이닝 데이터 세트를 사용한 트레이닝이 생산 데이터 세트에 적합하지 않다는 것을 나타낼 수 있다. 예측기를 리트레이닝시키기 위한 새로운 트레이닝 데이터 세트는, 생산 데이터 세트에 따라 결정될 수 있다. 새로운 트레이닝 데이터 세트는, 생산 데이터 세트에 기초하여, 교정 데이터 세트에 기초하여, 이들의 조합 등에 기초하여 결정될 수 있다. 추가적으로 또는 대안적으로, 새로운 트레이닝 데이터 세트는 유사성 측정, 생산 불일치 측정, 이상치(outlier) 검출 등에 기초하여 별도로 결정될 수 있다. 예를 들어, 트레이닝 데이터 세트는 도 3의 방법을 사용하여 결정될 수 있다.
일부 예시적인 실시예에서, 예측기가 리트레이닝되고 충분한 정확도 스코어에 도달하면, 예측기를 트레이닝하는 데 사용되는 트레이닝 세트, 예측기를 검증하는 데 사용되는 검증 세트, 이들의 샘플, 이들의 조합 등은, 단계 120-160을 재수행하는 동안에 새로운 교정 데이터 세트로서 활용될 수 있다.
이제 개시된 주제의 일부 예시적인 실시예에 따른 예시적인 불일치 측정의 개략도를 보여주는 도 2a 내지 도 2d를 참조한다.
일부 예시적인 실시예에서, 교정 데이터 세트에 대한 예측된 레이블의 어레이 세트(220)는, 분류 모델 세트 cls1, ... , clsm을 sample1, ... , samplen을 포함하는 교정 데이터 세트에 적용함으로써 생성될 수 있다. 교정 데이터 세트의 각 이미지에는, (l1,..., lk)의 값을 갖는 예측된 레이블의 어레이가 제공될 수 있으며, 여기서 li는 clsi에 의해 예측되는 동일한 레이블 세트로부터의 레이블이고, 여기서 (l1,..., lk)의 값은 잠재적으로 이질적인 값이다. 예를 들어, 어레이(223)는 분류 모델 세트(cls1,..., clsm)에 의한 제3 이미지에 대한 예측된 레이블의 어레이일 수 있다.
일부 예시적인 실시예에서, 교정 데이터 세트 {sample1,..., samplen}에 대한 분류 모델 세트 cls1,..., clsm의 불일치 측정값이 계산될 수 있다. 불일치 측정값은 어레이 세트(220)에 기초하여 계산될 수 있다. 따라서, 불일치 측정값은 교정 데이터 세트의 이미지에 대한 분류 모델 세트의 분류 모델의 예측 간의 차이에 의해 영향을 받을 수 있다. 불일치 측정값은 어레이 세트(220)의 값에 대한 통계적 측정, 그 집계, 각각의 2개 이상의 분류 모델 간의 불일치 등에 기초하여 계산될 수 있다.
일부 예시적인 실시예에서, 불일치 측정값은 분류 모델 세트의 분류 모델의 튜플이 상이한 레이블을 제공하는 이미지의 일부에 기초하여 계산될 수 있다. 예로서, 불일치 측정값은, sample15, sample18, sample22 및 sample36과 같은 이미지의 일부에 대한 cls1, cls4 및 cls6과 같은 분류 모델의 서브세트에 의해 제공된 레이블에 대한 차이에 기초하여 계산될 수 있다.
추가적으로 또는 대안적으로, 불일치 측정값은 교정 데이터 세트의 이미지에 대한 분류 모델 세트의 분류 모델 쌍의 예측 간의 차이, 분류 모델 세트의 분류 모델의 트리플렛의 예측 간의 차이, 또는 보정 데이터 세트의 이미지에 대한 분류 모델 세트의 분류 모델의 임의의 다른 튜플 간의 차이로서 결정될 수 있다. 예로서, 그래프(240)는 교정 세트에 대한 cls1 및 cls2의 예측을 나타낼 수 있다. 그래프(240)의 각 점(p1,p2)은 cls1 및 cls2에 의해 이미지에 제공된 레이블의 튜플을 개략적으로 나타낼 수 있으며, 여기서 p1은 cls1에 의해 이미지에 제공된 레이블을 나타내는 값이고, p2는 cls2에 의해 이미지에 제공된 레이블을 나타내는 값이다. 예를 들어, (l2,l3)에 위치된 점(241)은, cls1이 이미지에 레이블 l2를 제공한 반면 cls2는 동일한 이미지에 레이블 l3을 제공했음을 나타낸다(도 2c 참조).
그래프(240)는 개략적으로만 표시되며, 레이블링이 열거된 잠재적 값 세트 중 하나가 아닌 연속 값인 것처럼, 서로 다른 점(point)을 사용하여 서로 다른 인스턴스를 보여준다는 것에 주목한다. 일부 실시예에서, 레이블은 0과 1 사이의 숫자와 같은 연속 값일 수 있음에 주목한다. 또한, 이러한 예시는 두 분류자에 의해 유사하게 레이블이 지정된 다른 인스턴스를 보여줌으로써 설명의 명확성을 제공한다.
라인(242)의 점들은, cls1과 cls2가 이들의 분류에 동의한 이미지를 나타낼 수 있다. 클러스터 244, 246 및 248과 같은, 점들(points)의 각 클러스터는, cls1과 cls2 간의 일치 또는 불일치 패턴을 나타낼 수 있다. 예를 들어, 실질적으로 라인(242)에 있는 클러스터 246 및 클러스터 248은, l2(246) 및 l4(248)에 대한 분류 모델 cls1 및 cls2 쌍 간의 일치를 나타낼 수 있는 반면, 클러스터 244는 이들 간의 불일치를 나타낼 수 있다(예를 들어, cls1에 의해 l2로서 분류되고 cls2에 의해 l4로서 분류되는 인스턴스와 관련하여). 불일치 측정을 결정하기 위해 상이한 클러스터에 대해 통계적 측정이 수행될 수 있다. 추가적으로 또는 대안적으로, 불일치 측정은 분류 모델 세트에서 다른 분류 모델의 예측과 비교하는 적어도 하나의 분류 모델의 예측에서의 이상을 나타낼 수 있다. 클러스터(244)는 cls1과 cls2 사이의 이러한 이상을 나타낼 수 있다.
추가적으로 또는 대안적으로, 불일치 측정값은 분류 모델 세트의 분류 모델의 튜플이 동일한 레이블을 제공하는 이미지의 일부에 기초하여 계산될 수 있다. 불일치 측정값은 특정 레이블, 미리 결정된 수의 레이블 등에 대한 분류 모델의 튜플의 예측 간의 불일치를 나타낼 수 있다. 예로서, 불일치 측정값은 도 2d에 예시된 바와 같이, 메트릭(280)에 기초하여 계산될 수 있다. 메트릭(280)의 각 셀은 한 쌍의 분류자가 한 쌍의 레이블을 제공한 횟수 또는 백분율을 나타내는 일치 값을 포함한다. 예를 들어, 셀(282)의 값은, 제1 분류 모델이 레이블 l4를 제공한 반면 제2 분류 모델은 이미지의 0.2에서 레이블 l3을 제공했음을 나타낸다. 불일치 측정은 메트릭(280)의 대각선에 있지 않은 셀과 같이, 다른 레이블을 나타내는 셀에 기초하여 계산될 수 있다. 메트릭(280)은 각 레이블 쌍에 대한 다중 분류기의 일치 값을 나타내는 다중 차원에 레버리징될 수 있음에 주목한다. 추가적으로 또는 대안적으로, 분류기의 상이한 튜플을 비교하는 것과 같이 복수의 상이한 행렬이 활용될 수 있다.
이제 개시된 주제의 일부 예시적인 실시예에 따른 방법의 흐름도를 보여주는 도 3을 참조한다.
단계 310에서, 정렬된 복수의 이미지 세트를 포함하는 이미지 데이터 세트가 획득될 수 있다. 복수의 세트의 각 이미지 세트는, 시간 간격에 걸쳐 획득된 이미지를 포함할 수 있다. 이미지 세트는 이들의 각각의 시간 간격에 따라 정렬될 수 있다. 예로서, 정렬된 복수의 이미지 세트 중 제1 이미지 세트는, 월요일과 같은 제1 시간 간격에서 획득된 이미지를 포함할 수 있다. 정렬된 복수의 이미지 세트 중 제2 이미지 세트는, 화요일과 같이 제1 시간 간격에 바로 이어지는 제2 시간 간격에서 획득된 이미지를 포함할 수 있다. 사이에 시간 간격을 갖는 추가 세트가 없는 경우, 시간 간격이 즉시 이어지는 것으로 간주될 수 있다는 것에 주목한다. 예를 들어, 이미지가 평일에만 캡처된다고 가정하면, 월요일 시간 간격은 금요일 시간 간격에 바로 이어지는 것으로 간주될 수 있다. 일부 예시적인 실시예에서, 후속 관계는, 정렬된 복수의 세트에 기초할 수 있고, 두 세트 사이의 상대적인 순서 및 두 세트 사이에 추가 세트가 있는지 여부에 기초하여 결정될 수 있다.
일부 예시적인 실시예에서, 데이터 세트의 이미지는 그것의 클래스를 나타내는 레이블로 레이블이 지정될 수 있다. 추가로 또는 대안으로, 데이터 세트의 이미지의 일부에 레이블이 지정되지 않을 수 있다.
일부 예시적인 실시예에서, 정렬된 복수의 이미지 세트에 따른 마지막 이미지 세트는 최근 생산 데이터 세트일 수 있다. FPD 제조, PCB 제조 등의 AOI 프로세스에서와 같이 레이블이 없는 이미지에 대한 생산에서 분류 모델을 적용하는 동안에 최근 생산 데이터 세트를 획득할 수 있다. 일부 예시적인 실시예에서, 복수의 생산 데이터 세트는 정렬된 복수의 이미지 세트에 포함될 수 있고, 이들의 각각은 생산 데이터 세트가 획득되었던 시간 간격에 따라 정렬될 수 있다. 복수의 생산 데이터 세트는 정렬된 복수의 세트에서 마지막으로 정렬될 수 있으며, 여기서 가장 최근의 생산 데이터 세트는, 복수의 생산 데이터 세트 중에서 마지막으로 정렬될 수 있고, 가장 이른 생산 데이터 세트는, 복수의 생산 데이터 세트 중에서 맨 먼저 정렬될 수 있다.
단계 320에서, 트레이닝 데이터 세트가 결정될 수 있다. 트레이닝 데이터 세트는 단계 310에서 획득된 이미지 데이터 세트로부터의 이미지들을 포함할 수 있다. 트레이닝 데이터 세트는 이미지 데이터 세트의 이미지와 유사한 개념을 갖는 이미지의 분류 작업에 활용되는 분류 모델을 트레이닝하는 데 활용되도록 구성될 수 있다.
단계 322에서, 정렬된 복수의 이미지 세트의 각각의 세트에 대해 가중치가 결정될 수 있다. 일부 예시적인 실시예에서, 가중치는 불균일하게 제공될 수 있으며, 예를 들어, 상이한 속성을 갖는 상이한 세트에는 상이한 가중치가 할당될 수 있다. 그러나, 상기 세트의 일부에는 유사하거나 동일한 가중치가 제공될 수 있음에 주목한다.
일부 예시적인 실시예에서, 가중치는 세트로부터 획득할 이미지의 수를 규정할 수 있다. 가중치는 이미지의 상대적 수(예를 들어, 이미지의 백분율), 절대 수(예를 들어, 이미지의 정확한 수) 등을 규정할 수 있다. 예를 들어, 각 이미지 세트는 상기 이미지 세트로부터 선택될 이미지들의 세트로부터의 이미지들의 비율을 나타내는 백분율과 연관될 수 있다. 제로, 음의 값 등과 같은 가장 낮은 가중치 값은, 예를 들어, 연관된 이미지 세트를 드롭핑하는 것과 같이, 가장 낮은 가중치 값이 할당된 연관된 이미지 세트로부터 임의의 이미지를 선택하는 것을 피하는 것을 나타낼 수 있다. 추가적으로 또는 대안적으로, 100%와 같은 최대 가중치 값은, 연관된 이미지 세트의 모든 이미지를 유지하는 것, 예를 들어 연관된 세트를 전체로서 유지하는 것을 나타낼 수 있다.
일부 예시적인 실시예에서, 가중치는 이들의 시간 간격에 기초하여 규정된 바와 같이, 이미지 세트의 순서와 상관되도록 결정될 수 있다. 이러한 경우에, 더 낮은 가중치(예를 들어, 더 낮은 백분율을 나타내는 가중치)가 "과거 평균 미만" 패턴을 구현하는 오래된 트레이닝 데이터 세트에 대해 결정될 수 있다. 추가적으로 또는 대안적으로, 결정된 가중치는 이미지 세트의 시간 간격의 순서의 반대와 상관될 수 있다. 이러한 경우, 더 높은 가중치(예를 들어, 더 높은 백분율을 나타내는 가중치)가 "과거 평균 초과" 패턴을 구현하는 오래된 트레이닝 데이터 세트에 대해 결정될 수 있다.
일부 예시적인 실시예에서, 정렬된 복수의 이미지 세트에 대한 가중치는 엄격하게 증가하는 단조 함수, 엄격하게 감소하는 단조 함수, 선형 함수, 비선형 함수 등과 같은 불균일한 단조 함수에 따라 결정될 수 있다.
추가적으로 또는 대안적으로, 정렬된 복수의 이미지 세트에 대한 가중치는 그에 기초하여 트레이닝된 분류 모델의 예상 정확도에 기초하여 결정될 수 있다. 정확도는 각 이미지 세트에 기초하여 분류기를 트레이닝하고 그 정확도를 결정함으로써 결정될 수 있다. 추가적으로 또는 대안적으로, 정렬된 복수의 이미지 세트에 대한 가중치는 이미지 세트를 포함하는 트레이닝 데이터 및 이미지 세트를 제외한 트레이닝 데이터에 기초하여 트레이닝된 분류 모델의 예상 정확도의 차이에 기초하여 결정될 수 있다. 분류기는 이미지 세트에 선행하고 이미지 세트를 포함하는 일련의 이미지 세트를 포함하는 트레이닝 데이터 세트에 기초하여 각 이미지 세트에 대해 트레이닝될 수 있다. 각 이미지 세트의 가중치는, 동일한 트레이닝 세트를 사용하지만 연관된 이미지 세트 없이 트레이닝된 분류기의 정확도 측정값과 비교되는 연관된 분류기의 정확도 측정값에서의 차이에 기초하여 결정될 수 있다. 이미지 세트가 트레이닝 데이터에 있을 때 정확도 측정이 개선되는 경우, 연관된 이미지 세트의 가중치는 개선의 측정과 상관될 수 있다. 이미지 세트가 트레이닝 데이터에 있을 때 정확도 측정이 감소하는 경우, 가장 낮은 가중치 값이 연관된 제2 이미지 세트에 할당될 수 있다.
추가적으로 또는 대안적으로, 분류기는 세트의 서브-시리즈를 사용하여 트레이닝될 수 있고 미래 세트에 대해 그러한 세트를 사용하여 트레이닝의 영향을 결정하기 위해 연속적인 세트에 대해 테스트될 수 있다. 각 서브-시리즈는 5개의 연속 세트, 10개의 연속 세트, 15개의 연속 세트 등과 같은 정렬된 복수의 이미지 세트로부터 미리 결정된 수의 연속적인 이미지 세트를 포함할 수 있다. 서브-시리즈에 기초하여 트레이닝된 분류기는, 상기 정렬된 복수의 이미지 세트로부터 하나 이상의 이미지 세트에 적용될 수 있으며, 상기 정렬된 복수의 이미지 세트는 이미지 데이터 세트의 순서에 따라 서브-시리즈의 마지막 세트 직후에 정렬된다. 분류기는 서브-시리즈 직후에 정렬된 다음 이미지 세트, 다음 2개의 이미지 세트, 다음 4개의 이미지 세트 등과 같은, 상이한 수의 다른 복수의 이미지 세트에 적용될 수 있다. 각각의 상이한 복수의 이미지 세트에 대한 분류기의 정확도 측정값이 계산될 수 있다. 선택 패턴은 각 서브-시리즈에 기초하여 트레이닝된 분류기의 상이한 정확도 측정에 기초하여 결정될 수 있다. 예를 들어, 서브-시리즈의 이미지 세트에 대한 가중치는, 다음 이미지 세트에 연관된 분류기를 적용하는 정확도 측정값에 기초하여, 상이한 복수의 이미지의 세트의 상이한 정확도 측정값의 평균에 기초하는 등에 의해 결정될 수 있다. 또 다른 예로서, 서브-시리즈 이후에 정렬된, 트레이닝에서 스킵될 이미지 세트의 수의 결정은, 정확도 측정에 기초하여 결정될 수 있다. 분류기를 적용하는 정확도 측정값이, 임계값 초과, 예를 들어 80% 초과, 90% 초과되는 서브-시리즈 이후에 정렬된 세트에 대해 가장 낮은 가중치 값이 할당될 수 있다. 또 다른 예로서, 가장 낮은 가중치 값은, 미리 결정된 임계값 초과의 가장 높은 정확도 측정을 달성하는 복수의 이미지 세트로서 세트의 수의 이미지 세트의 복수의 시퀀스에 대해 할당될 수 있다.
단계 324에서, 이미지의 서브세트가 정렬된 복수의 이미지 세트로부터 선택될 수 있다. 일부 예시적인 실시예에서, 이미지의 각 세트로부터의 이미지의 선택은, 상기 세트에 대해 제공된 가중치에 기초하여 수행될 수 있다. 일부 예시적인 실시예에서, 각 세트의 이미지의 샘플이 선택될 수 있다. 샘플의 크기는 가중치에 기초하여 결정될 수 있다. 예로서, 선택은 가중치에 기초하여 결정될 수 있는 이미지들의 세트로부터 선택될 이미지들의 백분율에 따라 수행될 수 있다. 상기 이미지 세트의 일부는 각 세트와 연관된 백분율에 의해 규정된 비율에 따라 선택될 수 있다. 일부 예시적인 실시예에서, 세트가 완전히 드롭되지 않는다면, 적어도 10개의 이미지, 적어도 30개의 이미지, 적어도 100개의 이미지 등과 같은 최소 개수의 인스턴스가 선택될 수 있다.
일부 예시적인 실시예에서, 각 이미지 세트로부터의 샘플의 선택은 랜덤 방식, 의사 랜덤 방식 등으로 수행될 수 있다. 선택된 랜덤 샘플은, 그 샘플이 선택된 세트의 엄격한 서브세트일 수 있으며, 이는 비교시에 감소된 크기를 가질 수 있다. 랜덤 선택은 편향이 없는 통계적으로 유효한 샘플을 산출할 수 있다. 추가적으로 또는 대안적으로, 일부 경우에, 선택은 의도적으로 원하는 편향을 구현하는 것과 같이 편향될 수 있다.
일부 예시적인 실시예에서, 트레이닝 데이터 트는 트레이닝 데이터 선택 패턴에 따라 선택되지 않을 수 있지만 분류 작업과 관련될 수 있는 특정 시간 간격으로부터의 예외적인 데이터를 포함할 수 있다. 예를 들어, 하나 이상의 새로운 클래스를 도입하거나 하나 이상의 클래스를 제거할 수 있는 시간 간격의 데이터 세트 등이 있다. 이러한 트레이닝 세트는 선택 패턴에 따라 선택되지 않더라도 분류 작업에 중요할 수 있는데, 이는 분류기가 분류하는 클래스 세트를 적응시킬 수 있어 분류의 정확도를 높일 수 있기 때문이다. 다른 예로서, 덜 널리 퍼진 클래스로 분류된 샘플을 포함하는, 약 10 시간 간격, 15 시간 간격 등과 같은 미리 결정된 임계값을 초과하는 미리 결정된 수의 연속 시간 간격의 데이터 세트는, 트레이닝 데이터 세트로부터 제거될 수 있다. 일부 경우에, 특정 카테고리로 분류된 샘플의 수는 연속적인 시간 간격 동안 감소될 수 있다(예를 들어, 마지막 시간 간격에서 이러한 카테고리로 레이블링되는 샘플이 점점 더 적어짐). 이는 그러한 카테고리가 가까운 미래에 사라질 수 있고 전체 데이터 세트에서 잊혀질 것으로 예상될 수 있음을 나타낼 수 있다. 추가적으로 또는 대안적으로, 트레이닝 데이터 세트로부터 중복되거나 유사한 샘플이 제거될 수 있다. 이러한 유사성을 결정하기 위해, 서로 다른 간격으로부터 데이터 세트에 딥(deep) 클러스터링, 엔트로피 극대화, 정규 교차 상관 및 기타 알고리즘을 적용할 수 있다.
단계 330에서, 검증 데이터 세트 및 테스트 데이터 세트가 결정될 수 있다. 일부 예시적인 실시예에서, 검증 데이터 세트는 이미지 데이터 세트로부터의 이미지를 포함할 수 있다. 검증 데이터 세트는, 트레이닝 동안에 단계 330에서 트레이닝된 분류 모델을 검증하는 데 활용되도록 구성될 수 있다. 일부 예시적인 실시예에서, 검증 데이터 세트는 트레이닝 데이터 세트의 결정과 유사한 방식으로 결정될 수 있다(단계 320).
일부 예시적인 실시예에서, 검증 이미지는 단계 320에서 트레이닝 데이터 세트를 선택하기 위해 사용되는 정렬된 복수의 이미지 세트로부터 선택될 수 있다. 추가적으로, 또는 대안적으로, 검증 데이터 세트는 이전에 활용된 검증 데이터 세트 등과 같은 다른 데이터 세트로부터 선택될 수 있다.
일부 예시적인 실시예에서, 검증 데이터 세트는 정렬된 복수의 이미지 세트의 각 세트로부터 랜덤 샘플을 선택함으로써 선택될 수 있다. 일부 예시적인 실시예에서, 세트로부터 선택된 랜덤 샘플의 크기는, 단계 320에서 이루어진 선택과 유사한 방식으로, 검증 가중치에 기초하여 결정될 수 있다. 일부 예시적인 실시예에서, 검증 가중치는 10%, 20% 등과 같이 모든 세트에 대해 균일할 수 있다. 추가적으로 또는 대안적으로, 잠재적으로 상이한 검증 가중치가, 상기 정렬된 복수의 이미지 세트의 각 세트에 대하여 결정될 수 있다. 일부 예시적인 실시예에서, 검증 가중치는 트레이닝 데이터 세트를 선택하기 위해 활용되는 가중치와 반대로 결정될 수 있다. 함수 f(x)에 기초하여 단계 322에서 정렬된 복수의 이미지 세트에 대한 가중치가 측정되는 경우, 검증 가중치는 함수 g(x)= -f(x)에 기초하여 결정될 수 있다. 예를 들어, 트레이닝 데이터 세트에서 단조 증가하는 가중치가, "과거 평균 미만" 패턴을 구현하는 경우, g(x)를 사용하면, 검증 데이터 세트에서 그에 따라 단조 감소하는 가중치를 산출할 수 있고, 이는 "과거 평균 초과" 패턴을 구현한다.
단계 340에서, 분류 모델은 단계 320에서 결정된 트레이닝 데이터 세트 및 단계 330에서 결정된 검증 데이터 세트를 사용하여 트레이닝될 수 있다.
단계 350에서, 테스트 데이터 세트는 트레이닝 데이터 세트를 사용하여 트레이닝된 분류 모델을 테스트하고 검증하기 위해 활용될 수 있다. 일부 예시적인 실시예에서, 테스트 데이터 세트를 사용하여, 단계 340에서 트레이닝된 분류 모델의 정확도 측정이 결정될 수 있다.
이제, 도 4a 및 4b를 참조하여, 개시된 주제의 일부 예시적인 실시예에 따라, 개시된 주제가 활용될 수 있는 예시적인 환경 및 아키텍처의 개략도를 도시한다
일부 예시적인 실시예에서, 도 4a에 예시된 서브 시스템(400a) 및 도 4b에 예시된 서브 시스템(400b)을 포함하는 시스템은, 개시된 주제에 따라 이미지 분류를 위한 적응 학습을 수행하도록 구성될 수 있다.
일부 예시적인 실시예에서, 분류 모델은 고객에 의해 제공되는 초기 트레이닝 데이터에 기초하여, 개발 현장에서 초기에 트레이닝될 수 있다. 분류 모델은 다른 생산 스테이지에서의 제품의 이미지 등과 같은 시각적 입력에 기초한 결함 검출을 위해, 고객 사이트의 분류 작업에 활용될 수 있다. 분류 모델은, 획득된 각 이미지에 대하여 미리 결정된 클래스 세트로부터 그 이미지의 클래스를 나타내는 레이블을 예측하도록 구성될 수 있다. 각 클래스는 제품의 결함과 연관되거나 이를 나타낼 수 있다. 시스템은 분류 모델의 정확도를 지속적으로 모니터링 및 향상시키거나 업데이트된 트레이닝 데이터에 기초하여 분류 모델을 리트레이닝시키도록 구성될 수 있다.
일부 예시적인 실시예에서, 분류 모델은 초기 트레이닝 데이터 세트(402)에 기초하여 트레이닝될 수 있다. 데이터 세트(402)는 샘플링된 이미지를 포함할 수 있고, 이들의 각각은 그 클래스를 나타내는 레이블로 레이블이 지정될 수 있다. 추가적으로 또는 대안적으로, 데이터 세트(402)는 레이블이 없는 이미지를 포함할 수 있다. 데이터 세트(402)는 생산 결함의 이미지, 이전 생산 라운드로부터의 이미지, 다른 제품 구성요소의 이미지 등을 포함할 수 있다.
일부 예시적인 실시예에서, 데이터 정제 모듈(410)은 수집된 샘플을 정제하고 그 레이블을 평가하도록 구성될 수 있다. 데이터 정제 모듈(410)은 데이터 세트(402)로부터 샘플을 선택하고 그 선택된 샘플에 "분포외(out-of-distribution)" 분류기를 적용하도록 구성될 수 있다. 분포외 분류기는 데이터 분포로부터 이미지의 거리를 결정하기 위해, 선택된 샘플에 비지도 학습을 적용하도록 구성될 수 있다. 데이터의 분포와 유사한 분포를 갖는 이미지는, 분포내 데이터 Xin으로서 분류될 수 있고, 뚜렷한 분포를 갖는 이미지는 분포외 데이터 Xout로서 분류될 수 있다. 분포내 데이터 Xin은 분류 모델을 사용하여 분류 및 레이블링될 수 있으며, 인간 전문가 등에 의해 레이블링될 수 있다. 레이블이 지정된 데이터는 올바른 레이블로 태그가 지정되었는지 여부를 결정하기 위해 검토될 수 있다. 분포외 데이터 Xout는 그러한 이상치가 레이블링될 수 있는지, 레이블이 없는 데이터로서 제공되는지, 제거될 수 있는지 등의 여부를 결정하기 위해 인간 전문가에 의해 검토될 수 있다. 일부 예시적인 실시예에서, 손상된 이미지는 이상치, 실수로 촬영된 이미지(예를 들어, 검사되는 제품이 그 안에 보이지 않을 때 잘못된 타이밍에 촬영됨) 등으로서 표시될 수 있다.
일부 예시적인 실시예에서, 레이블이 지정된 데이터(x,y) 및 레이블이 없는 데이터(X) 모두를 포함할 수 있는 선택된 데이터는, 학습 모듈(420)에 제공될 수 있다. 학습 모듈(420)에서, 분류 모델의 세트는 선택된 데이터에 기초하여 트레이닝될 수 있다. 각각의 분류 모델은 데이터 세트(402)의 레이블 세트에 대해 그 클래스를 나타내는 이미지에 대한 레이블을 예측하도록 구성될 수 있다.
일부 예시적인 실시예에서, 분류 모델 세트는 모델(421-426)과 같은 복수의 분류 모델을 포함할 수 있다. 각 분류 모델은 상이한 파라미터, 상이한 조건 등을 갖는 상이한 트레이닝 방식을 사용하여 트레이닝될 수 있다. 예를 들어, 모델(423)은 클래스 조건부 확률로 지도 학습에 의해 트레이닝될 수 있다. 각 분류 모델은 레이블이 지정된 데이터(x,y)를 사용하여, 레이블이 없는 데이터(X), 이들의 조합 등을 사용하여 트레이닝될 수 있다. 예를 들어, 분포내 분류를 수행하는 모델(425)은 레이블이 없는 데이터(X)를 사용하여 트레이닝될 수 있다. 분류 모델 세트의 조성은, 이전 반복 정확도 측정에 기초하여, 트레이닝 데이터의 조성 등에 기초하여 무작위로, 임의적으로 결정될 수 있다. 분류 모델의 조성은 반복할 때마다 다를 수 있다.
일부 예시적인 실시예에서, 분류 모델 세트의 불일치 측정값이 계산될 수 있다. 불일치 측정값은 분류 모델의 각 쌍 또는 튜플의 예측 간의 갭(예를 들어, 차이)에 기초하여 계산될 수 있다. 예를 들어, 모델(422)과 모델(423)의 예측 결과 사이에 갭(430)이 계산될 수 있다. 일부 예시적인 실시예에서, 계산된 갭은 분류 모델 세트가 얼마나 견고한지를 이해하는 데 유용할 수 있다. 갭이 클수록, 불일치 측정값이 클수록, 판정에 있어서 분류 모델이 더 유익할 수 있다. 불일치 측정값은 나중에 생산 데이터의 이미지가 트레이닝에 사용된 데이터와 얼마나 다른지를 결정하기 위해, 실시간 예측 데이터에 대한 불일치 측정값과 비교될 수 있다. 추가적으로 또는 대안적으로, 불일치 측정값은 나중에 실시간 예측 데이터에 대한 불일치 측정값과 비교되어, 이들 이미지에 대한 분류 모델의 예측된 탄력성을 결정할 수 있다.
추가적으로 또는 대안적으로, 불일치 측정값은 예측 결과들 사이의 다른 거리, 하나 이상의 분류 모델의 예측 결과 등에 기초하여 결정될 수 있다. 예를 들어, 예측 결과 모델(425)은 데이터의 분포를 나타낼 수 있고, 미리 결정된 임계값 등으로 유사한 분류 모델의 이전 예측과 비교될 수 있다.
추가로 또는 대안적으로, 분류 모델 세트, 예를 들어 모델 421, 422, 423, 424, 425, 426은 패키징된 모델(435)로 함께 집계될 수 있다. 모델(435)은 분류 모델 세트의 트레이닝에 활용되는 트레이닝 데이터 세트, 그리고 유사성 측정, 데이터의 분포 측정 등과 같은 이와 관련된 기타 정보와 함께 저장될 수 있다. 일부 예시적인 실시예에서, 모델(435)은 학습 모듈(420)에 의해 이전 반복에서 생성된 모델과 비교될 수 있다. 이의 정확도 향상의 경우에, 모델(435)이 배치될 수 있다. 그렇지 않으면, 이전 모델이 배치될 수 있다.
일부 예시적인 실시예에서, 분류 모델 세트는 분류 모듈(440)에 의해 분류 작업에 활용될 주요 분류 모델을 포함할 수 있다. 예측기로도 지칭되는 주요 분류 모델은, 모델(422)과 같은 앙상블 분류기, 또는 모델(423), 모델(424) 등과 같이 레이블이 없는 이미지에 대한 레이블을 예측하는 임의의 다른 분류기일 수 있다. 주요 분류 모델이 빠르게 실행되고, 상대적으로 적은 양의 리소스를 소비하는 등이 바람직할 수 있음을 인식할 수 있다. 일부 예시적인 실시예에서, 주요 분류 모델은 소프트맥스(Softmax) 레이어를 사용하는 것과 같이, 데이터 세트에 대해 각 클래스 레이블이 선택될 확률을 결정하도록 구성될 수 있다. 새로운 생산 이미지 세트 Xnew를 얻는 것에 응답하여, 분류 모듈(440)은 새로운 생산 데이터 세트에 주 분류 모델을 적용할 수 있다. 제품에 결함이 있음을 나타내는 레이블이 지정된 이미지와 같은 결함은, 모델 추적 모듈(450)에 제공될 수 있다. 일부 예시적인 실시예에서, 결함의 전체 이미지 또는 실질적으로 전체 이미지가. 모델 추적 모듈(450)에 제공될 수 있는데, 이는 대부분의 이미지가 기능하는 생산 플랜트에 있을 것으로 예상되는 것과 같이 임의의 결함을 포함하지 않는 것으로 레이블링될 수 있기 때문이며, 대부분의 제품은 원하는 품질 수준을 충족한다.
일부 예시적인 실시예에서, 이미지의 새로운 생성 세트 Xnew로부터의 이미지의 미리 결정된 백분율 K%가, 모델 추적 모듈(450)에 제공될 수 있다. 미리 결정된 백분율 K%는 5%, 10% 등일 수 있다. 그러한 이미지는, 새로운 이미지 생성 세트 Xnew가 (예를 들어, 상이한 이미지-생성-프로세스 분포로부터 오는) 데이터 드리프트를 포함하는지 여부를 결정하기 위해, 교정 데이터 세트와 비교되는 생산 데이터 세트로서 활용될 수 있다. 데이터 드리프트는 생산 데이터 세트가 드리프트된 교정 데이터 세트를 사용하여 트레이닝되고 검증된 주요 분류 모델의 정확도에서 가질 수 있는 보증 수준을 감소시킬 수 있다.
일부 예시적인 실시예에서, 모델 추적 모듈(450)은, 이미지의 새로운 생성 세트(Xnew)의 이상, 이미지의 새로운 생성 세트(Xnew)와 주요 분류 모델 간의 불일치, 모델 정확도 저하에 대한 경고, 특별한 이상치 이미지 태깅 등을 결정하도록 구성될 수 있다. 모델 추적 모듈(450)은 "판정" 분류자로서, 생산 데이터 세트에 모델(421-426)의 각각을 적용하도록 구성될 수 있다. 생산 데이터 세트에 대한 분류 모델의 생산 불일치 측정값이 계산될 수 있고, 교정 데이터 세트를 사용하여 학습 모듈(420)에 의해 계산된 분류 모델의 불일치 측정값과 비교될 수 있다. 생산 불일치 측정값은 불일치 측정값과 유사한 방식으로, 예를 들어 분류 모델의 각 쌍 또는 튜플의 예측 간의 갭, 분포내 분류기 결과 간의 비교 등에 기초하여 계산될 수 있다.
일부 예시적인 실시예에서, 데이터 드리프트가 결정되는 경우, 결함의 서브세트와 함께 생산 데이터 세트가 트레이닝 데이터 세트 선택 모듈(460)에 제공될 수 있다. 트레이닝 데이터 세트 선택 모듈(460)은 주요 분류 모델을 리트레이닝하기 위해 어떤 데이터가 선택되어야 하는지를 결정하도록 구성될 수 있다.
일부 예시적인 실시예에서, 결함, 이상치, 드리프트 이미지, 알려진 클래스에 적합하지 않은 이미지 등을 수반하는 것으로 의심되는 이미지가, 리트레이닝을 위해 선택될 수 있다. 이러한 이미지는 데이터 정제 모듈(410)이 인간 전문가에 의해 리레이블링되도록 제공될 수 있다.
추가적으로 또는 대안적으로, 트레이닝 데이터 세트 선택 모듈(460)은 시간 경과에 따라 이용가능한 데이터로부터 이미지를 선택하도록 구성될 수 있다. 이용가능한 데이터는 몇몇 이미지 세트에 저장될 수 있으며, 이들의 각각은 시간 간격에 걸쳐 획득된 이미지를 포함한다. 예를 들어, 데이터 세트 DSi-k는 시점 i와 i로부터의 k 시점 사이의 시간 간격에서 획득된 이미지를 포함할 수 있다(예를 들어, 오늘로부터 8일 전). 이미지 세트는 {DSi-k, DSi-k+1,..., DSi-1}과 같이 각각의 시간 간격에 따라 정렬될 수 있다.
일부 예시적인 실시예에서, 트레이닝 데이터 세트 선택 모듈(460)은, 이미지 세트에 데이터 세트 망각 알고리즘(462)을 적용하도록 구성될 수 있다. 데이터 세트 망각 알고리즘(462)은, 리트레이닝을 위해 어떤 세트를 선택해야 하는지, 어떤 세트를 잊어야 하는지(예를 들어, 리트레닝 데이터 세트에서 제외)를 결정하도록 구성될 수 있다. 데이터 세트 망각 알고리즘(462)은 오래된 이미지 세트를 잊어버리거나, 배포되지 않은 이미지 세트를 잊어버리거나, 분류 모델의 전체 정확도를 감소시키는 것으로 간주되는 이미지 세트를 잊어버리거나, 다른 세트에 비해 노이즈가 많은 이미지 세트를 잊어 버리는 것 등과 같이, 어떤 잊어버릴 데이터 세트를 선택하기 위해 다른 가설을 적용하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 데이터 세트 망각 알고리즘(462)은 산업 유형, 이미징 기술, 통계적 측정 등에 기초하여, 모범 사례 가설을 적용하도록 구성될 수 있다.
추가적으로 또는 대안적으로, 트레이닝 데이터 세트 선택 모듈(460)은, 데이터 세트 망각 알고리즘(462)에 의해 선택된 이미지들의 세트에 데이터 세트 혼합 알고리즘(464)을 적용하도록 구성될 수 있다. 데이터 세트 혼합 알고리즘(464)은 선택된 세트의 어느 부분이 리트레이닝을 위해 선택되어야 하는지를 결정하도록 구성될 수 있다. 데이터 세트 혼합 알고리즘(464)은, "과거 평균 초과" 가설 - 여기서 더 오래된 데이터 세트로부터 더 많은 이미지가 선택됨 -; "과거 평균 미만" 가설 - 여기서 새로운 데이터 세트로부터 더 많은 이미지가 선택됨 -; 트레이닝의 잠재적 정확도에 기반한 선택 등과 같은 다른 선택 가설을 적용하도록 구성될 수 있다.
일부 예시적인 실시예에서, 선택된 이미지는 분류 모델 세트의 리트레이닝을 위한 학습 모듈(420)에 제공될 수 있다. 이러한 선택된 이미지는 새로운 불일치 측정값을 결정하는 데 활용되는 새로운 교정 데이터 세트일 수 있다.
개시된 주제의 일부 예시적인 실시예에 따라, 이제 데이터 세트에 대한 예시적인 데이터 선택의 개략도를 보여주는 도 5를 참조한다.
일부 예시적인 실시예에서, 이미지 데이터 세트(500)는 정렬된 복수의 이미지 세트, 즉 데이터베이스(510, 520,..., 590)를 포함할 수 있다. 각 이미지 세트는 시간 간격에 걸쳐 획득된 이미지를 포함할 수 있다. 각 시간 간격은 생산 라운드를 나타내는 시간 기간, 분류 라운드를 나타내는 시간 기간 등과 같이, 생산 속도와 관련된 미리 결정된 기간일 수 있다. 추가적으로 또는 대안적으로, 기간은 상이한 통계적 특징을 갖는 이미지가 획득된 과거 샘플에 대한 평균 기간 등과 같은 샘플링된 이미지의 변화 속도에 기초하여 결정될 수 있다. 예를 들어, PCB 산업에서는, 2~3일마다 스캔한 디자인을 교체하는 등과 같이, 제조된 디바이스 간에 빠른 변경을 가지는 것이 일반적일 수 있다. 따라서, 각 시간 간격은, 8시간, 12시간, 24시간 등과 같은 몇몇 시간으로 구성될 수 있고; 2일, 5일, 워크위크 등과 같은 며칠로 구성될 수 있다.
일부 예시적인 실시예에서, 복수의 이미지 세트는 각 세트의 이미지가 획득되는 시간 간격의 순서에 따라 정렬될 수 있다. 예를 들어, 데이터베이스(510)는 가장 오래된 시간 간격에서 획득된 이미지를 포함할 수 있고, 데이터베이스(520)는 가장 오래된 시간 간격 등 이후의 바로 다음 시간 간격에서 획득된 이미지를 포함할 수 있다. 데이터베이스(590)는 최근(예를 들어, 최신) 시간 간격에서 획득된 이미지를 포함할 수 있다. 데이터베이스(590)는 예를 들어 레이블이 없는 이미지에 대해 생산시에 분류 모델을 적용하는 동안 마지막 시간 간격에서 획득된 이미지들의 세트와 같은 생산 데이터 세트일 수 있다. 이러한 이미지는 레이블이 지정되지 않을 수 있고, 부분적으로 레이블이 지정될 수 있고, 업데이트되지 않은 분류 모델 등에 의해 레이블이 지정될 수 있다.
일부 예시적인 실시예에서, 트레이닝 데이터 세트(505)는 이미지 데이터 세트(500)에 기초하여 결정될 수 있다. 트레이닝 데이터 세트(505)는, 각각의 주어진 이미지에 대하여, 그 클래스를 나타내는 레이블을 예측하도록 구성된 분류 모델을 트레이닝하기 위해 활용될 수 있다. 일부 예시적인 실시예에서, 분류 모델은, 지속적인 AI-분류 작업에서, FPD 또는 PCB 산업 등에서의 결함 검출과 같이, 각 라운드에서 분류될 데이터의 잠재적인 변경에 활용될 수 있다. 분류 모델은 그 정확성을 유지하기 위해 주기적으로 리트레이닝될 수 있지만, 새로운 데이터로 인해 중단되지 않도록 요구될 수도 있다. 따라서, 트레이닝 데이터는 최근 샘플과 이전 샘플 모두를 포함하도록 요구될 수 있다. 각 시간 간격으로부터의 샘플 양은 분류 작업의 요구 사항, 데이터 변경의 특성 등에 기초하여 달라질 수 있다.
일부 예시적인 실시예에서, 이미지 데이터 세트(500)의 이미지의 각 세트에 대해 가중치가 결정될 수 있다. 가중치는 균일하지 않을 수 있으며 세트마다 다를 수 있다. 가중치는 도 6a에 설명된 패턴과 같으나 이에 제한되지 않는 상이한 선택 패턴에 따라 결정될 수 있다. 일부 예시적인 실시예에서, 선택 패턴은 최근 디자인에 대한 분류의 보다 정확한 결과를 제공하고 오래된 스캔된 디자인에 대해서는 덜 정확한 결과를 제공하는 것 등과 같은 클라이언트의 요구에 기초하여 결정될 수 있다. 가중치는 각 이미지 세트(예를 들어, 각 시간 간격)로부터 선택될 이미지의 양을 나타낼 수 있다. 예를 들어, 각각의 가중치는 백분율에 의해 규정된 비율에 따라 연관된 이미지 세트의 일부를 나타내는 백분율과 동일할 수 있다. 다른 예로서, 가중치는 선택될 이미지들의 세트로부터 이미지들의 비율, 이미지들의 세트로부터 선택될 이미지들의 최대 수, 이미지들의 세트로부터 선택될 이미지들의 최소 수 등일 수 있다.
일부 예시적인 실시예에서, 이미지 데이터 세트(500)로부터의 이미지의 각 세트의 서브세트는, 트레이닝 데이터 세트(505)에 포함되도록 선택될 수 있다. 각 서브세트는 연관된 세트에 대해 결정된 가중치에 기초하여 선택될 수 있다. 예를 들어, 백분율(또는 비율) α는 데이터베이스(510)로부터 선택될 수 있고, 백분율 β는 데이터베이스(520)로부터 선택될 수 있다. 따라서, 트레이닝 데이터 세트(505)는, 서브세트(515), 서브세트(525) ... 서브세트(595)와 같은 복수의 이미지 서브세트를 포함할 수 있다. Size(S)는 이미지 세트 S의 이미지의 수를 나타낼 수 있다. 일부 예시적인 실시예에서, Size(Subset 515) = α·Size(Database 510), Size(Subset 525)=β·Size(Database 525),..., Size(Subset 595)=γ·Size(Database 590).
적어도 한 쌍의 가중치(또는 백분율) α, β...γ는 상이하다(예를 들어, α≠β)는 점에 주목한다. 또한, 일부 백분율은 0일 수 있으며, 예를 들어 연관된 이미지 세트로부터 이미지가 선택되지 않을 수 있음에 주목한다.
이제 개시된 주제의 일부 예시적인 실시예에 따른 예시적인 트레이닝 데이터 선택 패턴의 개략도를 보여주는 도 6a를 참조한다.
일부 예시적인 실시예에서, (도 5의 이미지 데이터 세트(500)의 이미지 세트와 같은) 이미지 세트에 대해 결정된 가중치는, 그와 연관된 시간 간격의 순서와 상관될 수 있다. 일부 예시적인 실시예에서, 선택될 이미지의 더 낮은 백분율을 나타내는 더 낮은 가중치는, 패턴 610, 615("과거 평균 초과" 패턴)에서와 같이 더 오래된 트레이닝 데이터 세트에 대해 결정될 수 있다. 이러한 선택 패턴에서는, 최근 데이터 세트로부터 더 많은 이미지가 선택되고, 이전 데이터 세트로부터 더 적은 이미지가 선택된다. 따라서, 분류 모델은 최근 샘플에서 더 강력하고(예를 들어, 더 정확함), 과거 샘플에서 덜 정확할 수 있다. 추가적으로 또는 대안적으로, 선택될 이미지의 더 높은 백분율을 나타내는 더 높은 가중치는, 패턴 620, 625("과거 평균 미만" 패턴)에서와 같이 더 오래된 트레이닝 데이터 세트에 대해 결정될 수 있다. 이러한 선택 패턴에서는, 이전 데이터 세트로부터 더 많은 이미지가 선택되고 최근 데이터 세트로부터 더 적은 이미지가 선택된다. 이러한 패턴은, 새로운 결함이 이전의 시간 간격 등에서 도입되어 반복된 결함일 때과 같이, 더 오래된 데이터 세트로부터의 데이터가, 최신 데이터보다 최근 샘플에 대해 더 유익할 때 관련될 수 있다. 일부 실시예에서, 가중치는 시간의 단조 함수에 따라 결정될 수 있다. 단조 함수는 (패턴 620, 625에서와 같이) 엄격하게 증가하는 단조 함수, (패턴 610, 615에서와 같이) 엄격하게 감소하는 단조 함수, (패턴 615, 625에서와 같은) 선형 함수, (패턴 610, 620에서와 같은) 비선형 함수 등일 수 있다.
추가적으로 또는 대안적으로, 이미지 세트의 가중치는, (패턴 630에서와 같이) 이미지 세트에 기초한 트레이닝의 정확도, 샘플에 대한 분산, 새로운 클래스 도입 등과 같은 상기 이미지 세트의 중요도 측정에 기초하여 결정될 수 있다.
일부 예시적인 실시예에서, 이미지의 각 세트의 가중치는 적용되는 미래 데이터 세트에 기초하여 트레이닝된 분류 모델의 잠재적 정확도에 기초하여 결정될 수 있다. 잠재적인 정확도는, 이미지 세트를 포함하는 트레이닝 데이터 세트에 기초하여 분류기를 트레이닝하고, 나중에 획득된 이미지 세트에 트레이닝된 분류기를 적용함으로써 결정될 수 있다. 결과 정확도는, 연관된 이미지 세트 없이 트레이닝된 다른 분류기의 정확도와 비교될 수 있다. 예를 들어, 제1 분류기는 연속적인 이미지 세트를 포함하는 제1 데이터 세트에 기초하여 트레이닝될 수 있다. 제2 분류기는 제1 데이터 세트에 의해 포함된 이미지들의 세트에 더하여, 제1 데이터 세트의 이미지들의 마지막 세트 직후에 정렬되는 추가 이미지 세트를 포함하는 제2 데이터 세트에 기초하여 트레이닝될 수 있다. 추가 이미지 세트의 가중치는, 제1 분류기의 정확도 측정과 비교된 제2 분류기의 정확도 측정의 차이에 기초하여 결정될 수 있다. 제1 분류기의 정확도 측정과 비교된 제2 분류기의 정확도 측정의 차이가 개선을 나타내는 경우, 추가 이미지 세트의 가중치는 개선의 측정과 상관될 수 있다. 제1 분류기의 정확도 측정과 비교된 제2 분류기의 정확도 측정의 차이가, 정확도의 감소를 나타내는 경우, 추가 이미지 세트의 가중치는, 가장 낮은 가중치 값으로 할당될 수 있으며, 이는 임의의 이미지 선택을 피한다는 것을 나타낸다.
추가적으로 또는 대안적으로, 분류기는 그 이전의 모든 이미지 세트와 함께 이미지의 각 세트에 기초하여 트레이닝될 수 있다. 각 분류기의 정확도 측정값은 이전 이미지 세트 및 그 이전 세트에 기초하여 트레이닝된 분류기의 정확도 측정값과 비교될 수 있다. 예를 들어, 시간 간격 t에서 획득된 각각의 새로운 이미지 세트에 대해, 새로운 분류기 Clst는, 새로운 이미지 세트(예를 들어, (시간 간격 t-1 까지의) 이전 데이터 세트를 포함하는 축적된 트레이닝 데이터 세트) 및 새로운 이미지 세트(시간 간격 t에서 획득된 세트)까지 모든 이미지 세트에 기초하여 트레이닝될 수 있다. 분류기 Clst의 정확도 측정값은, 분류기 Clst-1의 정확도 측정값과 비교될 수 있다(예를 들어, 시간 간격 t-1에서 이미지 세트가 획득될 때까지, 모든 이미지 세트에 기초하여 분류기가 트레이닝됨). 시간 간격 t에서 획득된 새로운 이미지 세트에 대해 결정된 가중치는, 정확도 측정값 간의 차이와 상관될 수 있다.
추가적으로 또는 대안적으로, 가중치는 5세트의 이미지, 10세트의 이미지 등의 튜플과 같은, 하나의 유닛로서 이미지 세트의 튜플(예를 들어, 이미지 세트의 시리즈)에 제공될 수 있다. 상기 튜플의 각 이미지 세트에는 동일한 가중치가 할당될 수 있다. 세트의 각 튜플은 미래(예를 들어, 연속적인) 이미지 세트로부터의 이미지에 적용될 분류기를 트레이닝하는 데 활용될 수 있다. 분류기는 이의 정확도 측정을 결정하기 위해, 복수의 이미지 세트의 순서에 따라 튜플의 마지막 세트 직후에 정렬된 이미지 세트의 서브-시리즈에 적용될 수 있다. 각각의 튜플에 대한 가중치는, 이미지 세트의 연속적인 서브-시리즈에 기초하여 트레이닝된 분류기를 적용하는 정확도 측정에 기초하여 결정될 수 있다. 최소 정확도 임계값 초과의 정확도 측정값을 갖는 튜플은, 가장 낮은 가중치 값을 할당받을 수 있으며, 이는 튜플의 이미지 세트로부터 임의의 이미지를 선택하는 것을 피하는 것을 나타낸다(예를 들어, 트레이닝 데이터 세트로부터 이러한 이미지 세트를 드롭핑). 추가적으로 또는 대안적으로, 리트레이닝의 프로세스에서 스킵될 수 있는 시간 간격의 수(예를 들어, 이미지 세트의 수)가 결정될 수 있다. 높은 정확도 측정(예를 들어, 미리 결정된 임계값 초과)은, 분류 모델의 예측력 및 이러한 데이터에 대한 추가 트레이닝의 불필요성을 나타낼 수 있다. 예를 들어, 가장 낮은 가중치 값은, 미리 결정된 유사성 임계값 초과의 정확도 측정을 제공하는 서브-시리즈에서와 동일한 수의 세트를 갖는 이미지 세트의 서브-시리즈에 할당될 수 있다.
일부 예시적인 실시예에서, 하나 이상의 예외가 선택 패턴에 적용될 수 있다. 예를 들어, 새로운 분류 카테고리(예를 들어, 새로운 클래스)를 도입하는 이미지 세트는, 리트레이닝에 새로운 카테고리를 도입하기 위해, 트레이닝 데이터 세트 전체에 포함되도록 선택될 수 있으며, 가장 높은 가중치 등이 제공될 수 있다. 다른 예로서, 하나 이상의 분류 카테고리에 대한 분류를 제거하는 이미지 세트(예를 들어, 하나 이상의 클래스로 분류된 이미지가 없음)는 트레이닝 데이터 세트로부터 폐기될 수 있다. 추가적으로 또는 대안적으로, 제거된 클래스로 분류되는 모든 이미지 세트로부터의 이미지는, 이미지 세트로부터 제거될 수 있고, 이에 따라 트레이닝 데이터 세트에 있도록 선택되지 않을 수 있다. 또 다른 예로, 시간이 지남에 따라 분류되는 이미지의 개수가 불균형하거나 시간이 지남에 따라 분류되는 이미지의 수가 감소하는 등의 클래스도 제거된 것으로 간주하여 이에 분류된 이미지를 제거할 수 있다.
추가적으로 또는 대안적으로, 중복되거나 유사한 이미지가 트레이닝 데이터 세트로부터 제거될 수 있다. 선택된 이미지들에 대해 딥 클러스터링, 엔트로피 극대화, 정규 교차 상관 등의 통계적 기법을 적용하여, 이들 간의 유사도를 결정할 수 있다. 90% 초과, 95% 초과 등과 같이 미리 결정된 임계값을 초과하는 유사성 측정값을 갖는 이미지는, 트레이닝 데이터 세트로부터 제거될 수 있다.
이제 개시된 주제의 일부 예시적인 실시예에 따른 예시적인 트레이닝 데이터 세트 및 검증 데이터 세트 선택 패턴의 개략도를 보여주는 도 6b를 참조한다.
일부 예시적인 실시예에서, 이미지의 검증 데이터 세트는 정렬된 복수의 이미지 세트에 기초하여 선택될 수 있다. 각 이미지 세트에 대해 검증 가중치가 결정될 수 있다. 이미지의 검증 데이터 세트는, 검증 가중치에 기초하여 상기 정렬된 복수의 이미지 세트로부터 선택될 수 있다.
일부 예시적인 실시예에서, 검증 가중치는 트레이닝 세트의 선택과 반대되는 선택 패턴으로 결정될 수 있다.
예를 들어, 그래프(650)는 트레이닝 데이터 세트 및 검증 데이터 세트 선택 패턴을 도시할 수 있다. 트레이닝 선택 패턴은 시간 경과에 따른 이미지 세트의 가중치, 시간 경과에 따른 이미지의 각 세트로부터 선택된 이미지의 백분율 등을 나타낼 수 있는 곡선(660)에 도시된 함수 f(t)에 따를 수 있다. 검증 데이터 세트 선택 패턴은 곡선(670)에 도시된 함수 g(t)에 따를 수 있으며, 여기서 g(x) = -f(x)이다. 곡선(660)에 도시된 트레이닝 선택 패턴은 비선형 "과거 평균 초과" 패턴이다. 곡선(670에 도시된 검증 데이터 세트 선택 패턴은 비선형 "과거 평균 미만" 패턴이다.
추가적으로 또는 대안적으로, 리트레이닝된 분류 모델을 테스트하기 위한 테스트 데이터 세트는, 정렬된 복수의 이미지 세트에 기초하여 선택될 수 있다. 예를 들어, 테스트 데이터 세트는, 상기 이미지 세트로부터, 10%, 15% 등과 같은, 각 이미지 세트로부터의 이미지의 미리 결정된 백분율을 포함할 수 있다.
본 발명은 시스템, 방법, 또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은, 프로세서로 하여금 본 발명의 양태를 수행하게 하기 위한 명령어를 갖는 컴퓨터 판독 가능한 저장 매체를 포함할 수 있다.
컴퓨터 판독 가능한 저장 매체는 명령어 실행 디바이스에 의해 사용하기 위한 명령어를 유지하고 저장할 수 있는 유형의 디바이스일 수 있다. 컴퓨터 판독 가능한 저장 매체는, 예를 들어 하드 디스크, RAM(random access memory), 판독 전용 메모리(ROM), 소거 가능한 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리) 등일 수 있지만 이에 제한되지는 않는, 예를 들어 전자, 자기 광학 저장 장치 등일 수 있지만 이에 제한되지는 않는다. 일부 경우에, 명령어는 서버, 원격 컴퓨터, 원격 저장 장치 등으로부터 저장 매체로 다운로드될 수 있다.
본 발명의 동작을 수행하기 위한 컴퓨터 판독 가능한 프로그램 명령어는, 어셈블러 명령어, 명령어 세트 아키텍처(ISA) 명령어, 기계 명령어, 기계 종속 명령어, 마이크로코드, 펌웨어 명령어, 상태 설정 데이터, 또는 스몰토크(Smalltalk), C++ 등과 같은 객체 지향 프로그래밍 언어 그리고 "C" 프로그래밍 언어 또는 이와 유사한 프로그래밍 언어와 같은 종래의 절차적 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 객체 코드일 수 있다. 프로그램 명령어는, 사용자의 컴퓨터에서 전체적으로, 독립형 소프트웨어 패키지로서 사용자의 컴퓨터에서 부분적으로, 사용자의 컴퓨터에서 부분적으로, 원격 컴퓨터에서 부분적으로 또는 원격 컴퓨터 또는 서버에서 전체적으로 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 LAN(local area network) 또는 WAN(wide area network)을 포함한 임의의 유형의 네트워크를 통해 사용자의 컴퓨터에 연결되거나, (예를 들어, 인터넷 서비스 공급자를 사용하여 인터넷을 통해) 외부 컴퓨터에 연결될 수 있다.
본 발명의 양태는 방법, 장치, 시스템, 및 컴퓨터 프로그램 제품의 흐름도 및 블록도를 참조하여 본 명세서에서 설명된다. 도면의 각 블록, 및 도면의 블록들의 조합은, 컴퓨터 판독 가능한 프로그램 명령어에 의해 구현될 수 있음이 이해될 것이다.
컴퓨터 판독 가능한 프로그램 명령어는, 컴퓨터, 기타 프로그래밍 가능한 장치, 또는 기타 장치에서 실행되는 명령어가 도면의 블록에 지정된 기능을 구현하도록, 컴퓨터, 다른 프로그래밍 가능한 데이터 처리 장치, 또는 다른 장치에 로드되어, 컴퓨터, 다른 프로그래밍 가능한 장치 또는 기타 장치에서 일련의 동작 단계가 수행되어 컴퓨터 구현 프로세스를 생성할 수 있다.
도면의 흐름도 및 블록도는 본 발명의 다양한 실시예의 가능한 구현을 예시한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 모듈, 세그먼트, 또는 명령들의 일부를 나타내며, 이는 특정 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령을 포함한다. 일부 대안적인 구현에서, 블록에 언급된 기능은 도면에 언급된 순서와 다르게 발생할 수 있다. 예를 들어, 연속적으로 도시된 2개의 블록은 실제로 실질적으로 동시에 실행될 수 있거나, 관련된 기능에 따라 블록이 때때로 역순으로 실행될 수 있다. 또한, 다이어그램의 각 블록 및 블록 조합은, 특수 목적의 하드웨어 기반 시스템에 의해 구현될 수 있다는 것에 주목한다.
본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 제한하려는 의도가 아니다. 본 명세서에 사용된 바와 같이, 단수 형태 "a", "an" 및 "the"는 문맥이 명백하게 달리 나타내지 않는 한, 복수 형태도 포함하는 것으로 의도된다. 본 명세서에서 사용될 때, "포함하다" 및/또는 "포함하는"이라는 용어는, 명시된 특징, 정수, 단계, 연산, 요소, 및/또는 구성요소의 존재를 지정하지만, 하나 이상의 다른 특징, 정수, 단계, 연산, 요소, 구성요소, 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다.
아래 청구범위에 있는 모든 수단 또는 스텝 플러스 기능 요소의 대응하는 구조, 재료, 작용(act) 및 등가물은, 구체적으로 청구된 다른 청구된 요소와 조합하여 기능을 수행하기 위한 임의의 구조, 재료 또는 작용을 포함하도록 의도된다. 본 발명의 설명은 예시 및 설명의 목적으로 제시되었지만, 개시된 형태의 본 발명을 완전하게 하거나 제한하려는 의도는 아니다. 많은 수정 및 변경이 본 발명의 범위 및 사상을 벗어나지 않고 당업자에게 명백할 것이다. 실시예는 본 발명의 원리 및 실제 적용을 가장 잘 설명하고, 당업자로 하여금 고려되는 특정 용도에 적합한 다양한 수정을 갖는 다양한 실시예에 대한 본 발명을 이해할 수 있도록 하기 위해 선택되고 설명되었다.

Claims (26)

  1. 방법에 있어서,
    각각이 이미지에 대한 레이블(label)을 예측하도록 구성된 분류 모델 세트를 획득하는 단계 - 상기 예측된 레이블은 상기 이미지의 클래스를 나타내고, 상기 분류 모델 세트의 각 분류 모델은 동일한 레이블 세트로부터 레이블을 예측하도록 구성됨 -;
    이미지의 교정 데이터 세트에 상기 분류 모델 세트를 적용하여, 상기 이미지의 교정 데이터 세트의 각 이미지에 대하여, 예측된 레이블의 어레이를 제공하고, 상기 교정 데이터 세트에 대한 예측된 레이블의 어레이의 세트를 제공하는 단계;
    상기 교정 데이터 세트에 대한 상기 분류 모델 세트의 불일치 측정값을 계산하는 단계 - 상기 불일치 측정값은 상기 교정 데이터 세트에 대한 예측된 레이블의 어레이의 세트에 기초하여 계산되고, 상기 불일치 측정값은 상기 분류 모델 세트의 분류 모델의 예측 간의 차이에 의해 영향을 받음 -;
    이미지의 생산 데이터 세트에 상기 분류 모델 세트를 적용함으로써, 상기 생산 데이터 세트에 대한 예측된 레이블의 어레이의 세트를 제공하는 단계;
    상기 생산 데이터 세트에 대한 상기 분류 모델 세트의 생산 불일치 측정값을 계산하는 단계;
    상기 생산 불일치 측정값과 상기 불일치 측정값 사이의 유사성 측정값을 결정하는 단계; 및
    상기 유사성 측정값이 미리 결정된 임계값 미만이라는 것에 응답하여, 상기 생산 데이터 세트의 데이터 드리프트를 나타내는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 예측기를 상기 생산 데이터 세트에 적용하는 단계를 더 포함하고, 상기 예측기는, 이미지에 대해, 상기 동일한 레이블 세트로부터 레이블을 예측하도록 구성되는 것인 방법.
  3. 제2항에 있어서, 상기 분류 모델 세트는 상기 예측기를 제외하는 것인 방법.
  4. 제2항에 있어서, 상기 분류 모델 세트는 상기 예측기를 포함하는 것인 방법.
  5. 제2항에 있어서, 상기 생산 데이터 세트의 데이터 드리프트를 나타내는 것에 응답하여, 상기 생산 데이터 세트의 적어도 일부에 기초하여 상기 예측기를 리트레이닝시키는 단계를 더 포함하는 방법.
  6. 제5항에 있어서, 상기 생산 데이터 세트의 적어도 일부에 기초하여 불일치 측정값을 재계산하는 단계를 더 포함하는 방법.
  7. 제1항에 있어서, 상기 불일치 측정값은 상기 분류 모델 세트의 분류 모델의 튜플(tuple)이 상이한 레이블을 제공하는 이미지의 일부에 기초하여 계산되는 방법.
  8. 제1항에 있어서, 상기 불일치 측정값은 상기 분류 모델의 튜플이 동일한 레이블을 제공하는 이미지의 일부에 기초하여 계산되는 방법.
  9. 제1항에 있어서, 상기 분류 모델 세트는 cls1,..., clsn으로서 표시되는 n개의 분류 모델을 포함하고, 상기 불일치 측정값은 상기 분류 모델 세트가 (l1,..., ln)의 값을 갖는 예측된 레이블의 어레이를 제공하는 이미지의 일부에 기초하여 계산되며, li는 clsi에 의해 예측되는 동일한 레이블 세트로부터의 레이블이고, (l1,..., ln)의 값은 이질적인 값인 방법.
  10. 프로그램 명령어를 유지하는 비일시적인 컴퓨터 판독 가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 제1항의 방법을 수행하도록 구성되는 것인 컴퓨터 프로그램 제품.
  11. 방법에 있어서,
    이미지 데이터 세트를 획득하는 단계 - 상기 이미지 데이터 세트는 정렬된(ordered) 복수의 이미지 세트를 포함하고, 각 이미지 세트는 시간 간격에 걸쳐 획득된 이미지를 포함하고, 상기 이미지 세트는 이들의 각각의 시간 간격에 따라 정렬됨 -;
    트레이닝 데이터 세트를 결정하는 단계 - 상기 트레이닝 데이터 세트는 상기 이미지 데이터 세트로부터의 이미지를 포함함 -; 및
    상기 트레이닝 데이터 세트를 사용하여 분류 모델을 트레이닝하는 단계
    를 포함하고,
    상기 트레이닝 데이터 세트를 결정하는 단계는,
    상기 정렬된 복수의 이미지 세트에 대한 가중치를 결정하는 단계 - 각 이미지 세트는 가중치와 연관되고, 상기 이미지 세트 중 적어도 2개의 이미지 세트는 상이한 가중치와 연관됨 -; 및
    상기 정렬된 복수의 이미지 세트로부터, 상기 트레이닝 데이터 세트에 포함될 이미지의 서브세트를 선택하는 단계 - 상기 선택은 상기 가중치에 기초함 -
    를 포함하는 것인 방법.
  12. 제11항에 있어서,
    상기 정렬된 복수의 이미지 세트에 따른 마지작 이미지 세트는 생산 데이터 세트이고, 상기 생산 데이터 세트는 레이블이 없는 이미지에 대한 생산에서 상기 분류 모델의 적용 동안에 획득되는 것인 방법.
  13. 제11항에 있어서, 상기 가중치는 백분율이고, 각 이미지 세트는 상기 백분율과 연관되고, 상기 이미지의 서브세트를 선택하는 단계는, 각 이미지 세트로부터, 각 세트와 연관된 백분율에 의해 규정된 비율에 따라 상기 이미지 세트의 일부를 선택함으로써 수행되는 것인 방법.
  14. 제11항에 있어서, 상기 트레이닝 데이터 세트에 포함될 각각의 선택된 이미지 세트의 이미지의 백분율을 결정하는 것은,
    상기 시간 간격의 순서와 상관되는 백분율을 선택하여, 이전 트레이닝 데이터 세트에 대해 더 낮은 백분율을 결정하는 것을 포함하는 방법.
  15. 제11항에 있어서, 상기 정렬된 복수의 이미지 세트에 대한 가중치를 결정하는 단계는 단조 함수에 따라 상기 가중치를 결정하는 단계를 포함하는 것인 방법.
  16. 제15항에 있어서, 상기 단조 함수는,
    엄격하게 증가하는 단조 함수;
    엄격하게 감소하는 단조 함수;
    선형 함수; 또는
    비선형 함수
    로부터 선택된 비균일한 함수인 것인 방법.
  17. 제11항에 있어서, 상기 정렬된 복수의 이미지 세트에 대한 가중치를 결정하는 단계는,
    제1 이미지 세트에 대한 제1 분류기를 트레이닝하는 단계 - 상기 제1 분류기는 제1 데이터 세트에 기초하여 트레이닝되고, 상기 제1 데이터 세트는 상기 제1 이미지 세트를 포함함 -;
    제2 이미지 세트에 대한 제2 분류기를 트레이닝하는 단계 - 상기 제2 분류기는 제2 데이터 세트에 기초하여 트레이닝되고, 상기 제2 데이터 세트는, 상기 제1 데이터 세트 및 상기 제2 이미지 세트로 이루어지고, 상기 제2 이미지 세트는 상기 정렬된 복수의 이미지 세트에 따라 상기 제1 이미지 세트 직후에 정렬됨 -;
    상기 제1 분류기의 정확도 측정값과 비교되는 상기 제2 분류기의 정확도 측정값에서의 차이에 기초하여 상기 제2 이미지 세트의 가중치를 결정하는 단계
    를 포함하는 것인 방법.
  18. 제17항에 있어서, 상기 제1 분류기의 정확도 측정값과 비교되는 상기 제2 분류기의 정확도 측정값에서의 차이는, 개선을 나타내며, 상기 제2 이미지 세트의 가중치는 상기 개선의 측정과 상관되는 것인 방법.
  19. 제17항에 있어서, 상기 제1 분류기의 정확도 측정값과 비교되는 상기 제2 분류기의 정확도 측정값에서의 차이는, 정확도의 감소를 나타내고, 상기 제2 이미지 세트의 가중치는 가장 낮은 가중치 값이고, 상기 이미지의 서브세트를 선택하는 단계는, 상기 가장 낮은 가중치 값이 할당된 이미지의 세트로부터 임의의 이미지를 선택하는 것을 피함으로써 상기 제2 이미지 세트를 드롭핑(dropping)하는 단계를 포함하는 방법.
  20. 제11항에 있어서, 상기 정렬된 복수의 이미지 세트에 대한 가중치를 결정하는 단계는, 함수 f(x)에 기초하여 수행되고, 상기 방법은:
    상기 정렬된 복수의 이미지 세트에 대한 검증 가중치를 결정하는 단계 - 상기 검증 가중치는 함수 g(x)에 기초하여 결정되고, g(x) = -f(x) -;
    상기 정렬된 복수의 이미지 세트로부터, 이미지의 검증 데이터 세트를 선택하는 단계 - 상기 이미지의 검증 데이터 세트를 선택하는 것은 상기 검증 가중치에 기초함 -; 및
    상기 분류 모델을 검증하기 위해 상기 이미지의 검증 데이터 세트를 활용하는 단계를 더 포함하는 방법.
  21. 제11항에 있어서,
    상기 정렬된 복수의 이미지 세트로부터 이미지 세트의 제1 서브-시리즈를 결정하는 단계 - 상기 제1 서브-시리즈는 미리 결정된 수의 연속적인 이미지 세트를 포함함 -;
    상기 제1 서브-시리즈를 사용하여, 이미지에 대한 레이블을 예측하도록 구성된 분류기를 트레이닝하는 단계 - 상기 레이블은 상기 이미지의 클래스를 나타냄 -;
    상기 정렬된 복수의 이미지 세트로부터 이미지 세트의 제2 서브-시리즈에 분류기를 적용하는 단계 - 상기 제2 서브-시리즈는 다수의 세트를 가지며, 상기 제2 서브-시리즈의 제1 세트는 상기 정렬된 복수의 이미지 세트에 따라 상기 제1 서브-시리즈의 마지막 세트 직후에 정렬됨 -; 및
    상기 제2 서브-시리즈에 대한 상기 분류기의 정확도 측정값을 결정하는 단계를 더 포함하고,
    상기 정렬된 복수의 이미지 세트에 대한 가중치를 결정하는 단계는 상기 정확도 측정값에 기초하는 것인 방법.
  22. 제21항에 있어서, 상기 정렬된 복수의 이미지 세트에 대한 가중치를 결정하는 단계는, 임계값보다 높은 정확도 측정값에 기초하여 상기 제2 서브-시리즈의 세트에 대해 가장 낮은 가중치 값을 할당하는 단계를 포함하고, 상기 이미지의 서브세트를 선택하는 단계는, 상기 가장 낮은 가중치 값이 할당된 이미지 세트로부터 임의의 이미지를 선택하는 것을 피함으로써 상기 제2 서브-시리즈를 드롭핑하는 단계를 포함하는 것인 방법.
  23. 제21항에 있어서, 상기 정렬된 복수의 이미지 세트에 대한 가중치를 결정하는 단계는, 복수의 이미지 세트의 시퀀스에 대해 가장 낮은 가중치 값을 할당하는 단계를 포함하고, 상기 복수의 시퀀스의 각 시퀀스는 복수의 세트를 가지는 방법.
  24. 프로그램 명령어를 유지하는 비일시적 컴퓨터 판독 가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 제11항의 방법을 수행하도록 구성되는 것인 컴퓨터 프로그램 제품.
  25. 프로세서를 갖는 컴퓨터화된 장치로서, 상기 프로세서는, 이하의 단계:
    각각이 이미지에 대한 레이블을 예측하도록 구성된 분류 모델 세트를 획득하는 단계 - 상기 예측된 레이블은 상기 이미지의 클래스를 나타내고, 상기 분류 모델 세트의 각 분류 모델은 동일한 레이블 세트로부터 레이블을 에측하도록 구성됨 -;
    이미지의 교정 데이터 세트에 상기 분류 모델 세트를 적용하여, 상기 이미지의 교정 데이터 세트의 각 이미지에 대하여, 예측된 레이블의 어레이를 제공하고, 상기 교정 데이터 세트에 대한 예측된 레이블의 어레이의 세트를 제공하는 단계;
    상기 교정 데이터 세트에 대한 상기 분류 모델 세트의 불일치 측정값을 계산하는 단계 - 상기 불일치 측정값은 상기 교정 데이터 세트에 대한 예측된 레이블의 어레이의 세트에 기초하여 계산되고, 상기 불일치 측정값은 상기 분류 모델 세트의 분류 모델의 예측 간의 차이에 의해 영향을 받음 -;
    이미지의 생산 데이터 세트에 상기 분류 모델 세트를 적용함으로써, 상기 생산 데이터 세트에 대한 예측된 레이블의 어레이의 세트를 제공하는 단계;
    상기 생산 데이터 세트에 대한 상기 분류 모델 세트의 생산 불일치 측정값을 계산하는 단계;
    상기 생산 불일치 측정값과 상기 불일치 측정값 사이의 유사성 측정값을 결정하는 단계; 및
    상기 유사성 측정값이 미리 결정된 임계값 미만이라는 것에 응답하여, 상기 생산 데이터 세트의 데이터 드리프트를 나타내는 단계
    를 수행하도록 구성되는 것인 컴퓨터화된 장치.
  26. 프로세서를 갖는 컴퓨터화된 장치로서, 상기 프로세서는, 이하의 단계:
    이미지 데이터 세트를 획득하는 단계 - 상기 이미지 데이터 세트는 정렬된 복수의 이미지 세트를 포함하고, 각 이미지 세트는 시간 간격에 걸쳐 획득된 이미지를 포함하고, 상기 이미지 세트는 이들의 각각의 시간 간격에 따라 정렬됨 -;
    트레이닝 데이터 세트를 결정하는 단계 - 상기 트레이닝 데이터 세트는 상기 이미지 데이터 세트로부터의 이미지를 포함함 -; 및
    상기 트레이닝 데이터 세트를 사용하여 분류 모델을 트레이닝하는 단계
    를 수행하도록 구성되고,
    상기 트레이닝 데이터 세트를 결정하는 단계는,
    상기 정렬된 복수의 이미지 세트에 대한 가중치를 결정하는 단계 - 각 이미지 세트는 가중치와 연관되고, 적어도 2개의 이미지 세트는 상이한 가중치와 연관됨 -; 및
    상기 정렬된 복수의 이미지 세트로부터, 상기 트레이닝 데이터 세트에 포함될 이미지의 서브세트를 선택하는 단계 - 상기 선택은 상기 가중치에 기초함 -
    를 포함하는 것인 컴퓨터화된 장치.
KR1020227036807A 2020-03-23 2021-03-04 이미지 분류를 위한 적응 학습 KR20220156078A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062993112P 2020-03-23 2020-03-23
US62/993,112 2020-03-23
PCT/IL2021/050242 WO2021191887A1 (en) 2020-03-23 2021-03-04 Adaptive learning for image classification

Publications (1)

Publication Number Publication Date
KR20220156078A true KR20220156078A (ko) 2022-11-24

Family

ID=77748952

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227036807A KR20220156078A (ko) 2020-03-23 2021-03-04 이미지 분류를 위한 적응 학습

Country Status (8)

Country Link
US (1) US20210295213A1 (ko)
EP (1) EP4111369A4 (ko)
JP (1) JP2023518568A (ko)
KR (1) KR20220156078A (ko)
CN (2) CN117934964A (ko)
IL (1) IL296012A (ko)
TW (1) TW202139131A (ko)
WO (1) WO2021191887A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727089B2 (en) * 2020-09-08 2023-08-15 Nasdaq, Inc. Modular machine learning systems and methods
JP2022057202A (ja) * 2020-09-30 2022-04-11 富士通株式会社 プログラム，情報処理装置及び情報処理方法
CN114662622B (zh) * 2022-05-24 2022-09-16 深圳市信润富联数字科技有限公司 一种基于小样本数据的phm端到端系统的实现方法
US20230401183A1 (en) * 2022-05-31 2023-12-14 Intuit Inc. Data drift detection between data storage
US20240095514A1 (en) * 2022-09-09 2024-03-21 Tencent America LLC Friend-training: methods, systems, and apparatus for learning from models of different but related tasks
TWI824796B (zh) * 2022-10-26 2023-12-01 鴻海精密工業股份有限公司 圖像分類方法、電腦設備及儲存介質
CN115855950A (zh) * 2022-11-23 2023-03-28 环维电子(上海)有限公司 针对微小瑕疵与错件的影像检测方法及其系统
CN116824275B (zh) * 2023-08-29 2023-11-17 青岛美迪康数字工程有限公司 一种实现智能模型优化的方法、装置和计算机设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7565369B2 (en) * 2004-05-28 2009-07-21 International Business Machines Corporation System and method for mining time-changing data streams
WO2017201107A1 (en) * 2016-05-16 2017-11-23 Purepredictive, Inc. Predictive drift detection and correction
US10832162B2 (en) * 2016-09-08 2020-11-10 International Business Machines Corporation Model based data processing
US10489722B2 (en) * 2017-07-27 2019-11-26 Disney Enterprises, Inc. Semiautomatic machine learning model improvement and benchmarking
US10713769B2 (en) * 2018-06-05 2020-07-14 Kla-Tencor Corp. Active learning for defect classifier training

Also Published As

Publication number Publication date
WO2021191887A1 (en) 2021-09-30
CN115315731A (zh) 2022-11-08
EP4111369A4 (en) 2024-03-27
CN115315731B (zh) 2024-03-01
IL296012A (en) 2022-10-01
TW202139131A (zh) 2021-10-16
JP2023518568A (ja) 2023-05-02
CN117934964A (zh) 2024-04-26
EP4111369A1 (en) 2023-01-04
US20210295213A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
KR20220156078A (ko) 이미지 분류를 위한 적응 학습
CN111552609B (zh) 一种异常状态检测方法、系统、存储介质、程序、服务器
Jiang et al. Accelerating deep learning by focusing on the biggest losers
US10777470B2 (en) Selective inclusion/exclusion of semiconductor chips in accelerated failure tests
EP3800588A1 (en) System and method using knowledge distillation for training a machine learning classifier
Zhang et al. Training set debugging using trusted items
CN111353971A (zh) 基于图像的维修预测和操作误差检测
JP2020198092A (ja) 教師なし異常検出及び高次元センサデータの多数決投票による原因説明のための方法及びシステム
CN117152119A (zh) 一种基于图像处理的型材瑕疵视觉检测方法
Padberg et al. Using machine learning for estimating the defect content after an inspection
US20230281791A1 (en) Adaptive system and method for inspection of imaged items
JP7477608B2 (ja) 分類モデルの正解率の改良
JP2021033564A (ja) 画像分類方法、画像分類装置および画像分類プログラム
JP7272455B2 (ja) 検出方法、検出プログラム及び情報処理装置
Upadhyay et al. A Comparative Study on the Effectiveness of Various Machine Learning Paradigms in Image Recognition and Predictive Modelling
Yang et al. Improving quality control with industrial AIoT at HP factories: Experiences and learned lessons
Pugalenthi et al. Predicting Lumen Degradation of Light Emitting Diodes Using Hybrid Particle Filter Trained Neural Networks
Li An automated open-channel deficiency rating classification model based on machine learning in Los Angeles County
JP7321516B2 (ja) 卵分類装置
Sillitti et al. Providing proactiveness: data analysis techniques portfolios
TWI834011B (zh) 用於改良人工智慧分類模型之方法、人工智慧系統、電腦化設備及電腦程式產品
US20240185581A1 (en) Training apparatus, training method, and storage medium
US20240127153A1 (en) Systems and methods for automated risk assessment in machine learning
Abdelkarim et al. TCP-Net++: Test Case Prioritization Using End-to-End Deep Neural Networks-Deployment Analysis and Enhancements
CN117575681A (zh) 一种基于时空学习的时序销量预测方法及其销量预测模型