KR20200078304A - 노이즈 레이블에 대한 적대적 학습 시스템 및 방법 - Google Patents

노이즈 레이블에 대한 적대적 학습 시스템 및 방법 Download PDF

Info

Publication number
KR20200078304A
KR20200078304A KR1020190100418A KR20190100418A KR20200078304A KR 20200078304 A KR20200078304 A KR 20200078304A KR 1020190100418 A KR1020190100418 A KR 1020190100418A KR 20190100418 A KR20190100418 A KR 20190100418A KR 20200078304 A KR20200078304 A KR 20200078304A
Authority
KR
South Korea
Prior art keywords
data set
labeling
machine learning
learning model
updated
Prior art date
Application number
KR1020190100418A
Other languages
English (en)
Inventor
이장환
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Publication of KR20200078304A publication Critical patent/KR20200078304A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 한 실시예에 따른 시스템은, 메모리와 프로세서를 포함하며, 상기 프로세서는 제1 데이터 세트 레이블링에 기초하여 제1 머신 학습 모델을 학습시키고, 상기 제2 데이터 세트를 상기 학습된 제1 머신 학습 모델에 제공하여 갱신 제2 데이터 세트 레이블링을 포함하는 갱신 제2 데이터 세트를 생성하고, 상기 갱신 제2 데이터 세트 레이블링과 상기 제2 데이터 세트 레이블링 사이의 제1 차이를 판단하고, 상기 제1 차이가 제1 문턱값보다 크면 상기 갱신 제2 데이터 세트 레이블링에 기초하여 제2 머신 학습 모델을 학습시키고, 상기 제1 데이터 세트를 상기 학습된 제2 머신 학습 모델에 제공하여 갱신 제1 데이터 세트 레이블링을 포함하는 갱신 제1 데이터 세트를 생성하고, 상기 갱신 제1 데이터 세트 레이블링과 상기 제1 데이터 세트 레이블링 사이의 제2 차이를 판단하며, 상기 제2 차이가 제2 문턱값보다 크면 상기 갱신 제1 데이터 세트 레이블링에 기초하여 상기 제1 머신 학습 모델을 학습시킨다.

Description

노이즈 레이블에 대한 적대적 학습 시스템 및 방법{ADVERSARIAL TRAINING SYSTEM AND METHOD FOR NOISY LABELS}
본 발명은 노이즈 레이블에 대한 적대적 학습 시스템 및 방법에 관한 것이다.
본 출원은 2018년 12월 20일에 미국 특허청에 출원한 미국 특허출원번호 제62/783,150호를 우선권 주장하며, 여기에 인용함으로써 이 출원의 전체 내용을 본원에 포함한다.
최근, 표시 장치 산업은 시장에 새로운 표시 장치 기술이 도입됨으로 인하여 급격하게 발전하고 있다. 모바일 장치, 텔레비전, 가상 현실(virtual reality: VR) 헤드셋 및 다른 표시 장치는 표시 장치가 더 높은 해상도를 가지고 더 정확한 색상 재현을 구현하도록 강제하고 있다. 새로운 유형의 표시 패널 모듈 및 생산 방법이 사용됨에 따라, 종래의 방법으로는 표면 결함을 찾아내기가 어려워졌다.
전술한 내용은 본 발명의 실시예의 배경을 이해하기 위한 설명이며 종래 기술을 이루는 정보를 포함할 수 있다.
본 발명이 해결하고자 하는 과제는 노이즈 레이블에 대한 적대적 학습 시스템 및 방법을 제공하는 것이다.
다음은 본 발명의 실시예에 대한 특징과 개념을 선택적으로 기재한 것으로 자세한 내용에 대해서는 발명을 실시하기 위한 구체적인 내용에서 설명한다. 이 항목은 청구하는 발명의 핵심 또는 본질적인 특징을 정의하고자 하는 것이 아닐 뿐 아니라 청구하는 발명의 범위를 한정하는 데 사용하고자 하는 것도 아니다. 기재한 하나 이상의 특징을 다른 하나 이상의 특징과 결합하여 동작 가능한 장치를 만들 수 있다.
본 발명의 실시예는 노이즈 레이블에 대한 적대적 학습 방법에 관한 것이다.
본 발명의 한 실시예에 따른 시스템은, 메모리, 그리고 상기 메모리에 저장된 명령을 실행하는 프로세서를 포함하며, 상기 프로세서는 상기 명령에 따라, 제1 데이터 세트 레이블링을 포함하는 제1 데이터 세트를 수신하고, 제2 데이터 세트 레이블링을 포함하는 제2 데이터 세트를 수신하고, 상기 제1 데이터 세트 레이블링에 기초하여 제1 머신 학습 모델을 학습시키고, 상기 제2 데이터 세트를 상기 학습된 제1 머신 학습 모델에 제공하여 갱신 제2 데이터 세트 레이블링을 포함하는 갱신 제2 데이터 세트를 생성하되, 상기 갱신 제2 데이터 세트는 상기 학습된 제1 머신 학습 모델을 사용하여 상기 제2 데이터 세트를 분류함으로써 생성하며, 상기 갱신 제2 데이터 세트 레이블링과 상기 제2 데이터 세트 레이블링 사이의 제1 차이를 판단하고, 상기 제1 차이가 제1 문턱값보다 크면 상기 갱신 제2 데이터 세트 레이블링에 기초하여 제2 머신 학습 모델을 학습시키고, 상기 제1 데이터 세트를 상기 학습된 제2 머신 학습 모델에 제공하여 갱신 제1 데이터 세트 레이블링을 포함하는 갱신 제1 데이터 세트를 생성하되, 상기 갱신 제1 데이터 세트는 상기 학습된 제2 머신 학습 모델을 사용하여 상기 제1 데이터 세트를 분류함으로써 생성하며, 상기 갱신 제1 데이터 세트 레이블링과 상기 제1 데이터 세트 레이블링 사이의 제2 차이를 판단하며, 상기 제2 차이가 제2 문턱값보다 크면 상기 갱신 제1 데이터 세트 레이블링에 기초하여 상기 제1 머신 학습 모델을 학습시킨다.
본 발명의 한 실시예에 따르면, 상기 프로세서는 상기 명령에 따라, 상기 제1 차이가 상기 제1 문턱값 아래가 되고 상기 제2 차이가 상기 제2 문턱값 아래가 될 때까지 상기 제1 머신 학습 모델 및 상기 제2 머신 학습 모델을 학습시킬 수 있다. 본 발명의 한 실시예에 따르면, 상기 제1 문턱값 및 상기 제2 문턱값 중 하나는 0이고 상기 제1 문턱값은 상기 제2 문턱값과 다를 수 있다. 본 발명의 한 실시예에 따르면, 상기 프로세서는 상기 명령에 따라, 상기 제1 머신 학습 모델과 상기 제2 머신 학습 모델을 상기 갱신 제2 데이터 세트 및 상기 갱신 제1 데이터 세트에 적용하였을 때 동일한 데이터 세트 레이블링 결과를 생성할 때까지 상기 제1 머신 학습 모델 및 상기 제2 머신 학습 모델을 학습시킬 수 있다.
본 발명의 한 실시예에 따르면, 상기 갱신 제1 데이터 세트는 상기 학습된 제2 머신 학습 모델을 상기 제1 데이터 세트에 적용한 후에 새 클래스로 이동한 상기 제1 데이터 세트로부터의 데이터에 대한 데이터 샘플 레이블을 갱신함으로써 생성될 수 있다. 본 발명의 한 실시예에 따르면, 상기 갱신 제1 데이터 세트 레이블링은 상기 제1 데이터 세트 레이블링과 다를 수 있다. 본 발명의 한 실시예에 따르면, 상기 제1 데이터 세트는 살아 있는 인간 인스펙터에 의하여 상기 갱신 제2 데이터 세트 레이블링에 따라 다시 레이블링되어 상기 갱신 제1 데이터 세트를 생성할 수 있다. 본 발명의 한 실시예에 따르면, 상기 제1 머신 학습 모델 및 상기 제2 머신 학습 모델은 분류 알고리듬일 수 있다. 본 발명의 한 실시예에 따르면, 상기 갱신 제2 데이터 세트는 상기 학습된 제1 머신 학습 모델을 상기 제2 데이터 세트에 적용한 후에 새 클래스로 이동한 상기 제2 데이터 세트로부터의 데이터에 대한 데이터 샘플 레이블을 갱신함으로써 생성될 수 있다. 본 발명의 한 실시예에 따르면, 상기 제1 데이터 세트는 살아 있는 인간 인스펙터에 의하여 분류 또는 레이블링될 수 있다.
본 발명의 한 실시예에 따른 시스템은, 메모리, 그리고 상기 메모리에 저장된 명령을 실행하는 프로세서를 포함하며, 상기 프로세서는 상기 명령에 따라, 제1 데이터 세트의 제1 데이터 세트 레이블링에 기초하여 제1 머신 학습 모델을 학습시키고, 제2 데이터 세트 레이블링을 포함하는 제2 데이터 세트를 상기 학습된 제1 머신 학습 모델에 제공하여 갱신 제2 데이터 세트 레이블링을 포함하는 갱신 제2 데이터 세트를 생성하고, 상기 갱신 제2 데이터 세트 레이블링에 기초하여 제2 머신 학습 모델을 학습시키고, 상기 제1 데이터 세트를 상기 학습된 제2 머신 학습 모델에 제공하여 갱신 제1 데이터 세트 레이블링을 포함하는 갱신 제1 데이터 세트를 생성하며, 상기 갱신 제1 데이터 세트 레이블링에 기초하여 상기 제1 머신 학습 모델을 학습시킨다.
본 발명의 한 실시예에 따르면, 상기 프로세서는 상기 명령에 따라, 상기 갱신 제2 데이터 세트 레이블링과 상기 제2 데이터 세트 레이블링 사이의 제1 차이를 판단하여, 상기 제1 차이가 제1 문턱값보다 크면 상기 갱신 제2 데이터 세트 레이블링에 기초하여 제2 머신 학습 모델을 학습시키고, 상기 갱신 제1 데이터 세트 레이블링과 상기 제1 데이터 세트 레이블링 사이의 제2 차이를 판단하여, 상기 제2 차이가 제2 문턱값보다 크면 상기 갱신 제1 데이터 세트 레이블링에 기초하여 상기 제1 머신 학습 모델을 학습시키며, 상기 제1 차이가 상기 제1 문턱값 아래가 되고 상기 제2 차이가 상기 제2 문턱값 아래가 될 때까지 상기 제1 머신 학습 모델 및 상기 제2 머신 학습 모델을 학습시킬 수 있다. 본 발명의 한 실시예에 따르면, 상기 제1 문턱값 및 상기 제2 문턱값 중 하나는 0이고 상기 제1 문턱값은 상기 제2 문턱값과 다를 수 있다.
본 발명의 한 실시예에 따르면, 상기 갱신 제1 데이터 세트는 상기 학습된 제2 머신 학습 모델을 사용하여 상기 제1 데이터 세트를 분류함으로써 생성하고, 상기 갱신 제2 데이터 세트는 상기 학습된 제1 머신 학습 모델을 사용하여 상기 제2 데이터 세트를 분류함으로써 생성할 수 있다. 본 발명의 한 실시예에 따르면, 상기 프로세서는 상기 명령에 따라, 상기 제1 머신 학습 모델과 상기 제2 머신 학습 모델을 상기 갱신 제2 데이터 세트 및 상기 갱신 제1 데이터 세트에 적용하였을 때 동일한 데이터 세트 레이블링 결과를 생성할 때까지 상기 제1 머신 학습 모델 및 상기 제2 머신 학습 모델을 학습시킬 수 있다.
본 발명의 한 실시예에 따르면, 상기 갱신 제1 데이터 세트는 상기 학습된 제2 머신 학습 모델을 상기 제1 데이터 세트에 적용한 후에 새 클래스로 이동한 상기 제1 데이터 세트로부터의 데이터에 대한 데이터 샘플 레이블을 갱신함으로써 생성되고, 상기 갱신 제1 데이터 세트 레이블링은 상기 제1 데이터 세트 레이블링과 다르며, 상기 제1 데이터 세트는 살아 있는 인간 인스펙터에 의하여 상기 갱신 제2 데이터 세트 레이블링에 따라 다시 레이블링되어 상기 갱신 제1 데이터 세트를 생성할 수 있다. 본 발명의 한 실시예에 따르면, 상기 제1 머신 학습 모델 및 상기 제2 머신 학습 모델은 분류 알고리듬이고, 상기 제1 데이터 세트는 살아 있는 인간 인스펙터에 의하여 분류 또는 레이블링되며, 상기 갱신 제2 데이터 세트는 상기 학습된 제1 머신 학습 모델을 상기 제2 데이터 세트에 적용한 후에 새 클래스로 이동한 상기 제2 데이터 세트로부터의 데이터에 대한 데이터 샘플 레이블을 갱신함으로써 생성될 수 있다.
본 발명의 한 실시예에 따른 방법은, 프로세서에 의하여, 제1 데이터 세트의 제1 데이터 세트 레이블링에 기초하여 제1 머신 학습 모델을 학습시키는 단계, 상기 프로세서에 의하여, 제2 데이터 세트 레이블링을 포함하는 제2 데이터 세트를 상기 학습된 제1 머신 학습 모델에 제공하여 갱신 제2 데이터 세트 레이블링을 포함하는 갱신 제2 데이터 세트를 생성하는 단계, 상기 프로세서에 의하여, 상기 갱신 제2 데이터 세트 레이블링에 기초하여 제2 머신 학습 모델을 학습시키는 단계, 상기 프로세서에 의하여, 상기 제1 데이터 세트를 상기 학습된 제2 머신 학습 모델에 제공하여 갱신 제1 데이터 세트 레이블링을 포함하는 갱신 제1 데이터 세트를 생성하는 단계, 그리고 상기 프로세서에 의하여, 상기 갱신 제1 데이터 세트 레이블링에 기초하여 상기 제1 머신 학습 모델을 학습시키는 단계를 포함한다.
본 발명의 한 실시예에 따른 방법은, 상기 프로세서에 의하여, 상기 갱신 제2 데이터 세트 레이블링과 상기 제2 데이터 세트 레이블링 사이의 제1 차이를 판단하여, 상기 제1 차이가 제1 문턱값보다 크면 상기 갱신 제2 데이터 세트 레이블링에 기초하여 제2 머신 학습 모델을 학습시키는 단계, 상기 프로세서에 의하여, 상기 갱신 제1 데이터 세트 레이블링과 상기 제1 데이터 세트 레이블링 사이의 제2 차이를 판단하여, 상기 제2 차이가 제2 문턱값보다 크면 상기 갱신 제1 데이터 세트 레이블링에 기초하여 상기 제1 머신 학습 모델을 학습시키는 단계, 그리고 상기 프로세서에 의하여, 상기 제1 차이가 상기 제1 문턱값 아래가 되고 상기 제2 차이가 상기 제2 문턱값 아래가 될 때까지 상기 제1 머신 학습 모델 및 상기 제2 머신 학습 모델을 학습시키는 단계를 더 포함할 수 있다.
본 발명의 한 실시예에 따르면, 상기 제1 문턱값 및 상기 제2 문턱값 중 하나는 0이고 상기 제1 문턱값은 상기 제2 문턱값과 다르며, 상기 갱신 제1 데이터 세트는 상기 학습된 제2 머신 학습 모델을 사용하여 상기 제1 데이터 세트를 분류함으로써 생성하고, 상기 갱신 제2 데이터 세트는 상기 학습된 제1 머신 학습 모델을 사용하여 상기 제2 데이터 세트를 분류함으로써 생성할 수 있다.
이와 같이 함으로써 노이즈 레이블에 대한 효과적인 적대적 학습 시스템 및 방법을 구현할 수 있다.
도 1a는 본 발명의 한 실시예에 따른 시스템 개략도이다.
도 1b는 본 발명의 한 실시예에 따른 분류기 학습 시스템 개략도이다.
도 2는 본 발명의 한 실시예에 따른 적대적(adversarial) 학습 방법의 블록도이다.
도 3은 도 2에 도시한 적대적 학습 방법을 설명하는 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 적대적 학습 방법의 블록도이다.
도 5는 본 발명의 또 다른 실시예에 따른 적대적 학습 방법의 블록도이다.
첨부한 도면을 참고하여 다음에서 설명하는 구체적인 내용은 본 발명과 관련된 노이즈 레이블에 대한 적대적 학습 방법의 실시예에 관한 설명이며, 본 발명이 구현 또는 사용되는 유일한 형태를 나타내는 것은 아니다. 여기에서는 본 발명의 특징을 실시예와 연관지어 제시한다. 그러나 다른 실시예에 의해서도 동일한, 또는 등가의 기능과 구조를 구현할 수 있으며 이 또한 본 발명의 범위 내에 포함된다는 점을 알아야 한다. 여기에서 별다른 언급이 없으며, 동일 또는 유사한 부분 또는 특성에 대해서는 동일 또는 유사한 도면 부호를 사용한다.
최근들어, 모바일 표시 장치 산업이 급격하게 성장하고 있다. 새로운 유형의 표시 패널과 제조 방법을 사용함에 따라, 표시 장치 해상도와 화소 밀도가 커지고, 종래의 방법으로는 표면 결함[보기: 표시 패널에서 유기 발광 다이오드(organic light emitting diode: OLED)의 결함]을 찾아내기가 어려워졌다. 수동 결함 감지는 현대의 제조 장비에 적용하기에는 시간이 많이 걸리고, 자동 검사 기술은 비효율적인 측면이 있다. 예를 들면, 표면 자동 검사를 할 때 국지 이상점이 규칙적인 주변과 뚜렷한 대비를 이루면 균일한 (텍스처 없는) 표면의 결함을 쉽게 식별할 수 있다. 그러나 결함과 주변의 경계가 뚜렷하지 않고 배경의 밝기가 균일하지 않은 경우에는 저해상도 이미지의 결함을 감지하기 어렵다.
표시 결함의 통상적인 유형은 "뮤라(Mura)"이다. 뮤라는 OLED 제조 시 발견되는 결함의 큰 범주 중 하나이다. 뮤라는 인간의 시각에 불쾌한 느낌을 주는 국지적 밝기 불균일이다. 뮤라의 유형은 크기 및 모양에 따라 선(line) 뮤라, 점(spot) 뮤라, 영역(region) 뮤라로 대략 구분할 수 있다. 각 유형의 뮤라는 뚜렷한 경계가 없을 수 있으며 이미지에서 명료하게 드러나지 않을 수 있다. 그러므로 뮤라 결함을 식별하는 새로운 방법이 필요하다. 또한 뮤라를 식별하는 새로운 방법 또는 알고리듬의 처리 시간이 OLED의 생산 효율에 직접적인 영향을 미치기 때문에 이를 고려해야 한다. 또한, 완전 자동화 표면 검사 프로세스를 구현하기 위하여 표시 패널(보기: OLED 표시 패널)의 결함(보기: 뮤라) 유형을 분류할 필요가 있으며, 이는 생산 효율을 개선하고 인간의 시각 검사를 줄일 수 있다.
도 1a는 본 발명의 한 실시예에 따른 시스템 개략도이다. 도 1b는 본 발명의 한 실시예에 따른 분류기 학습 시스템 개략도이다.
도 1a 및 도 1b를 참고하면, 본 발명의 한 실시예에 따른 뮤라(Mura) 감지 시스템(101)은 전처리기(100)에서 입력 영상을 수신한다. 입력 영상은 예를 들어 검사 영상을 표시하고 있는 표시 장치의 영상을 포함할 수 있다. 검사 영상을 표시하고 있는 OLED 표시 장치의 화면을 카메라로 촬영함으로써 검사 영상을 생성할 수 있다. 본 발명의 한 실시예에 따르면, 검사 영상은 표시 장치가 뮤라[예를 들어 백점 뮤라(white spot Mura)]의 예를 보여주도록 하는 영상을 포함할 수 있다. 예를 들면, 검사 영상은 저해상도의 균일한 영상일 수 있다. 입력 영상의 해상도가 높아서 결함(보기: 백점 뮤라)이 감지될 표시 장치의 각 화소가 보일 수도 있다. 본 발명의 실시예에서는, 전처리기(100)가 입력 영상을 수신하고 영상 내의 노이즈를 줄이는 평활화를 수행할 수 있다. 입력 영상의 노이즈를 줄인 후에 전처리기(100)는 영상을 복수의 영상 패치로 분할할 수 있고, 각각의 영상 패치는 특성 추출기(110)에 제공될 수 있다.
본 발명의 한 실시예에 따르면, 특성 추출기(110)는 제공된 영상 패치에 대하여 다양한 통계적인 특성을 계산한다. 예를 들면, 통계적인 특성은 하나 이상의 영상 모멘트(보기: 화소 밀도의 가중 평균) 및 하나 이상의 텍스처 측정[보기: 그레이-레벨 공존 매트릭스(GLCM: Gray-Level Co-Occurrence Matrix)를 사용한 텍스처 분석]을 포함할 수 있다. 본 발명의 한 실시예에서는, 예를 들면, 다양한 영상 모멘트와 GLCM 텍스처 특성을 포함하는 37 통계적인 특성이 특성 추출기(110)에 의하여 추출될 수 있다. 본 발명의 한 실시예에 따르면, 특성 추출기(110)는 각각의 영상 패치에 대해서 뮤 30 모멘트(mu 30 moment)[3차 도심 모멘트(3rd order centroid moment), 대비(contrast) (GLCM) 휴 5 모멘트(hu 5 moment), 휴 1 모멘트(hu 1 moment)[1차 휴 불변 모멘트(1st Hu invariant moment) 및 상관/부동(correlation/dissimilarity)(GLCM)을 계산할 수 있다.
본 발명의 한 실시예에 따르면, 추출된 영상 패치 각각의 통계적 특성은 분류기(120)에 입력으로 공급된다. 본 발명의 한 실시예에서 분류기(120)는 추출된 특성(보기: 특성 벡터) 및 라벨 클래스 정보를 사용하여 결함(보기: 뮤라)의 예를 식별하는 머신 학습 분류기일 수 있다. 본 발명의 한 실시예에 따르면, 분류기(120)에 사용되는 머신 학습 분류 알고리듬은 결함의 위치를 특정하고 결함 종류를 분류한다. 본 발명의 한 실시예에서 클래스 정보는 분류기를 학습시킴으로써 제공될 수 있다.
머신 학습에서, 분류는 데이터 세트(데이터 세트) 내의 주어진 데이터 포인트 클래스를 예측하는 과정으로 정의될 수 있다. 머신 학습에서 분류의 개념은 데이터를 별개의 클래스로 분리하는 모델을 만드는 것을 포함할 수 있다. 본 발명의 한 실시예에 따르면, 클래스는 목표(targets), 레이블(labels) 또는 카테고리(categories)라고 할 수 있다. 분류 예측 모델링(classification predictive modeling)은 입력 변수에서 데이터 세트 내의 별개의 출력 변수로의 사상 함수(mapping function)의 근사치를 구하는 것일 수 있다. 분류 모델은 알고리듬이 배우기 위하여 클래스가 미리 레이블이 붙여진(pre-labled) 학습 데이터 집합을 입력함으로써 만들어질 수 있다. 그 모델은 클래스가 알려지지 않은 다른 데이터 세트(예를 들어 검사 데이터 세트)를 입력함으로써 모델이 학습 데이터 세트에서 배운 것에 기초하여 클래스 멤버십을 예측하도록 사용될 수도 있다. 분류 알고리듬[예를 들어 결정 트리(decision trees), 나이브 베이즈(naive Bayes), 인공 신경망(artificial neural　networks: ANN), k-최근접 이웃(k-Nearest Neighbor:　KNN)]이 분명한 클래스 레이블링(explicit class labeling)을 요구하므로 분류는 감독 학습의 형태이다.
여러 가지 분류 알고리듬(예를 들어 결정 트리, 나이브 베이즈, ANN, KNN)이 가능하지만, 어느 분류 알고리듬이 다른 분류 알고리듬보다 나은지를 결정하기는 쉽지 않을 수 있다. 분류 알고리듬은 사용가능한 데이터 세트의 특성과 적용에 기초하여 선택될 수 있다. 예를 들어 클래스 또는 레이블이 선형 분리가능하면, 로지스틱 회귀(Logistic regression), 피셔 선형 판별(Fisher's linear discriminant) 등의 선형 분류기가 복잡한 모델들보다 나을 수 있고, 그렇지 않으면 그 반대일 수 있다.
분류기(120)는 감독 학습 모델을 사용할 수 있으므로, 분류기(120)는 기능화되기 전에 학습될 수 있다. 발명의 실시예에서, 분류기(120)에 사용된 감독 학습 모델은 지원 벡터 머신이다. 감독 학습 모델(보기: 지원 벡터 머신)은 학습 기간 동안 분류기(120)에 인적 입력(또는 인적 검사)(130)을 제공함으로써 학습될 수 있다. 예를 들면, 각각의 이미지 패치에 대하여 인간이 패치를 시각적으로 검사하고 백점 뮤라의 어떤 경우라고 표시할 수 있다. 이 이미지 패치를 특성 추출기(110)에도 제공할 수 있다. 이미지 패치에 대하여 추출된 특성 벡터와 인간이 검사하고 표시한 대응 패치(예를 들어 학습 데이터 세트) 모두를 분류기(120)에 제공할 수 있다. 분류기(120)는 이러한 패치(예를 들어 학습 데이터 세트)를 사용하여 나중에 분류에 사용될 클래스 정보(보기: 모델 형성)를 생성할 수 있다.
본 발명의 한 실시예에 따르면, 감독 학습 모델(보기: 지원 벡터 머신)의 성능은 학습 데이터 세트 내에 있는 레이블 붙여진 예의 양에 (임계적으로) 의존하며, 레이블은 분명하고 정확한 것으로 가정된다. 그러나 이러한 가정은 실제 데이터 세트에서 유지되지 않는 경우가 잦은데, 예를 들면, 학습 데이터 세트 내의 유실 레이블(missing labels), 주관적인 레이블링(주관적인 레이블링) 또는 불완전하게 주석 달린 영상(inexhaustively-annotated images) 등이 있는 학습 또는 검사 데이터 세트의 경우에 그러하다. 예를 들면, 감독 학습 모델의 학습 데이터 세트에서, 클래스 레이블이 없어질 수 있으며, 그 영상의 객체(objects)가 모두 국지화되지는 않거나 살아있는 인간 전문가(live human experts)(보기: 130)가 클래스 레이블에 대해서 동의하지 않을 수도 있다. 감독 학습 모델에 사용되는 분류 알고리듬의 학습 데이터 세트가 커질수록, 검사 데이터 세트에서 유실 레이블 및 노이즈 레이블 문제가 더 첨예해진다. 소스에도 불구하고, 노이즈 레이블에 기인한 노이즈는 머신 학습 모델의 학습 성능을 급격하게 떨어뜨릴 수 있다.
본 발명의 한 실시예에 따르면, 실제 데이터를 가지는 데이터 세트의 분류에 머신 학습 모델을 사용하기 위해서는, 데이터 세트에 있는 노이즈 레이블 문제를 해결하는 것이 바람직하다. 예를 들면, 주관적인 레이블링 또는 불완전하게 주석 달린 검사 데이터 세트는 머신 학습 모델의 성능을 평가하기 어렵게 만드는데, 이는 노이즈 레이블이 오감지(misdetection) 또는 오분류(misclassification)로 감지될 수 있기 때문이다.
본 발명의 한 실시예에 따르면, 복수의 살아 있는 인간 인스펙터(inspector)로부터 레이블이 붙여진 데이터 세트는 주관적인 레이블링 문제가 있을 수 있는데 이는 그러한 레이블링이 개별 인스펙터의 검사 결과에 의존하기 때문이다. 본 발명의 한 실시예에 따르면, 검사 데이터 세트는 실제 문제에 대한 주관적인 레이블링 문제를 가질 수 있는데, 예를 들면, 실제 문제(보기: 뮤라 감지를 비롯한 결함 감지)에 대한 명확한 판단을 어렵게 할 수 있다. 본 발명의 한 실시예에 따르면, 실제 데이터 세트의 경우 통상 생기는 일이지만 학습 데이터 세트와 검사 데이터 세트 사이에 충돌이 있는 경우, 머신 학습 모델(보기: 분류 알고리듬)의 개발을 어렵게 할 수 있다.
본 발명의 한 실시예에 따르면, 데이터 세트의 전체 내용은 모든 분류 결함에 대해서 완벽하게 레이블링되지는 않을 것이다. 데이터 세트의 주요 결함 중 일부에 대해서만 인간 검사자를 레이블링 또는 분류하는 데 사용할 수 있다. 그러나 이렇게 불완전하게 레이블 붙여진 데이터 세트는 학습 데이터 세트에 문제를 일으킬 수 있는데, 이렇게 불완전하게 레이블 붙여진[예를 들어 과소 적합한(underfitted)] 학습 데이터 세트는 유실 레이블 및 일관성 없는 레이블링을 가질 수 있기 때문이다. 본 발명의 한 실시예에 따르면, 노이즈 레이블이 오감지(misdetection) 또는 오분류(misclassification)로 감지될 수 있으므로, 불완전하게 레이블 붙여진 데이터 세트는 검사 데이터 세트를 사용하여 머신 학습 모델을 평가하기 어렵게 만들 수 있다. 예를 들면, 모든 결함 위치에 걸쳐 동일한 감지 기준을 유지하려면 모든 데이터가 완전하게 표시될 필요가 있다. 이는 주관적인 레이블링 문제를 일으키지 않을 수 있다. 그러나 완전하게 주석 달린 데이터 세트와 불완전하게 주석 달린 데이터 세트의 혼합 데이터 세트에 대해서 불완전한 주석 문제와 주관적 레이블링 문제를 구별하기 어려울 수 있다.
앞서 설명한 것처럼, 분류 알고리듬이 명확한 클래스 레이블링을 필요로 하기 때문에, 분류는 감독 학습의 형태이다. 편향 분산 트레이드오프(편향 분산 트레이드오프)는 감독 학습에서 중심 문제이다. 편향 분산 트레이드오프는 예측 모델 집합의 성질일 수 있으며, 모수 추정(parameter estimation)에서 낮은 편향을 가지는 모델은 샘플에 대한 모수 추정치의 분산이 높게 나타날 수 있으며, 그 반대 또한 그러하다. 편향은 학습 알고리듬의 잘못된 가정으로부터 오는 오류일 수 있다. 본 발명의 한 실시예에 따르면, 높은 편향은 알고리듬이 특성(features)과 표적 출력(target outputs)의 상관 관계를 빠뜨리도록(보기: 과소 적합) 할 수 있다. 분산은 학습 세트의 작은 변동에 대한 민감도로부터 오는 오류일 수 있다. 본 발명의 한 실시예에 따르면, 높은 분산은 알고리듬이 의도한 출력(intended outputs)보다는 학습 데이터의 임의 노이즈를 모델링하도록[보기: 과대 적합(overfitting)] 할 수 있다. 본 발명의 한 실시예에 따르면, 편향 분산 해체(bias-variance decomposition)는 특정 문제에 대하여 학습 알고리듬의 예측 일반화 오류를 문제 그 자체에 있는 줄일 수 없는 오류(irreducible error), 분산 및 편향, 이 세 가지 항목의 합으로서 분석하는 방법이다. 본 발명의 한 실시예에 따르면, 편향 분산 문제는 감독 학습 알고리듬이 학습 세트를 넘어 일반화하는 것을 방지하는 두 개의 오류원(보기: 편향 및 분산)을 동시에 최소화하는 것과 상충될 수 있다. 편향 분산 트레이드오프는 모든 형태의 감독 학습, 예를 들면, 분류(classification), 회귀(regression), 구조화된 출력 학습(structured output learning) 등에 적용될 수 있다.
본 발명의 한 실시예에 따르면, 학습 데이터의 규칙성(regularity)을 정확하게 파악하는 동시에 보이지 않는 데이터에 제대로 일반화하는 모델을 선택하는 것이 이상적이다. 그러나 이 두 가지를 동시에 하는 것은 쉽지 않을 것이다. 고분산 학습 방법(high-variance learning method)은 학습 세트를 잘 표현할 수 있으나 노이즈 또는 대표성 없는(unrepresentative) 학습 데이터에 과대 적합(overfitting)할 우려가 있다. 이와 반대로, 고편향성 알고리듬은 과대 적합하지 않은 간단한 모델을 생성할 수 있지만 학습 데이터를 과소 적합하여 중요한 규칙성을 간과할 수 있다. 여러 가지 분류 알고리듬이 있지만, OLED 표시 장치에 표시되는 영상의 불균일한 성질 때문에 OLED의 결함을 나타내는 데이터 세트를 높은 신뢰도로 분류하기는 쉽지 않다. 또한, 실제 데이터 세트의 경우 통상 생기는 일이지만 학습 데이터 세트와 검사 데이터 세트가 상충하는 경우, 머신 학습 모델(보기: 분류 알고리듬)의 개발이 어려워질 수 있다.
종래의 감독 학습 알고리듬 대부분은 샘플에 대해서 실제(ground truth) 레이블을 정의하여 모델을 개발하고 성능을 점검할 것으로 기대하지만, 주관적인 레이블링 문제가 있는 데이터 세트의 경우에는 그렇지 않다. 뮤라 감지와 같은 결함 감지의 경우, 학습 및 검사 데이터 세트에 대한 주관적인 레이블링 및 불완전한 레이블링을 찾아보기는 어렵지 않다. 그러나 재검사를 통하여 데이터 세트(보기: 검사 데이터 세트)에 다시 올바른 레이블을 붙이는 것은 쉽지 않을 것이다. 그러므로 정확도(accuracy), 정밀도(precision) 또는 재현성(recall) 등과 같은 알맞은 성능 척도로 데이터 세트의 레이블을 재부여함으로써 유효한 머신 학습 모델을 만드는 방법(또는 알고리듬)이 바람직하다.
본 발명의 다른 실시예는 머신 학습 모델이 학습 및/또는 검사 데이터 세트에서의 노이즈 레이블과 관련된 문제점(보기: 과대 적합 또는 과소 적합 학습 데이터)을 극복하는 학습 방법을 제시할 수 있으며, 실제 데이터 세트(보기: 학습 또는 검사 데이터 세트의 결함 감지)의 높은 정확도를 달성하는 균형 모델(balanced model)을 만들어낼 수 있다. 본 발명의 다른 실시예는 또한 학습 데이터 세트와 검사 데이터 세트 사이의 분류와 관련한 불일치를 점차 줄이는 학습 방법을 제시할 수 있으며, 머신 학습 모델을 의미있게 평가하는 계수 가능한 학습 및 검사용 데이터 세트를 만들어 낼 수 있다. 본 발명의 어떤 실시예는 서로 다른 살아 있는 인간 인스펙터로부터의 주관적인 레이블링 문제를 해결하는 리뷰의 양을 줄일 수 있고, 불완전하게 레이블 붙여진 데이터 세트로부터 발생하는 주요 결함을 해결하는 리뷰의 양을 줄일 수 있으며, 데이터 샘플(보기: 학습 및/또는 검사 데이터 세트)을 다시 레이블링하는 것을 도와 복수의 인스펙터가 각각의 데이터 샘플에 대해서 하나의 명확한 개념을 가지도록 하는 도구(tool) 또는 구조(architecture)(보기: 머신 학습 모델 또는 분류 알고리듬을 제시할 수 있다.
본 발명의 한 실시예는 노이즈 레이블(보기: 주관적인 레이블링 및 불완전한 레이블링 문제)을 가지는 데이터 세트로 머신 학습 모델을 학습시키는 방법을 제시할 수 있다. 본 발명의 한 실시예에 따르면, 두 개의 서로 다른 데이터 세트[보기: 골든(golden) 데이터 세트 또는 학습 데이터 세트 및 새로운 데이터 세트 또는 검사 데이터 세트]를 사용하여 두 개의 서로 다른 머신 학습 모델(보기: 분류 알고리듬)을 학습시킬 수 있고, 서로 다른 데이터 세트의 결과를 비교(보기: 현재 주기의 갱신된 골든 데이터 세트의 데이터 세트 레이블링을 이전 주기의 골든 데이터 세트의 데이터 세트 레이블링과 비교, 예를 들면, 한 데이터 세트의 갱신 데이터 세트 레이블링을 그 데이터 세트의 이전 데이터 세트 레이블링과 비교)하며, 정확도(accuracy), 정밀도(precision) 또는 재현성(recall) 등 목표 성능 척도를 달성할 때까지 결과를 반복적으로 수렴할 수 있다. 본 발명의 한 실시예는 각각(학습 또는 검사)으로부터만의 불일치를 표시하고 두 개의 서로 다른 데이터 세트 사이의 간격을 줄이는 방법을 제시할 뿐 아니라, 두 머신 학습 모델의 분류 또는 감지 결과를 비교함으로써 반복을 끝마치는 방법을 제시할 수 있다. 본 발명의 한 실시예에 따르면, 이 방법은 또한 데이터 세트 중 하나(보기: 학습 데이터 세트)가 충분한 크기의 데이터를 가지지 못해서 다른 데이터 세트(보기: 검사 데이터 세트)에 대한 올바른 분류가 수행되지 못하는 경우에 해법을 제시할 수도 있다.
도 2는 본 발명의 한 실시예에 따른 적대적(adversarial) 학습 방법(200)의 블록도이다. 도 3은 도 2에 도시한 적대적 학습 방법(200)을 설명하는 흐름도(300)이다. 도 2의 적대적 학습 방법은 서로 다른 데이터 분포(보기: 데이터 세트 레이블링)를 가지는 두 개의 데이터 세트를 갱신하고 중간 지점(middle ground)에서 합의하는 방법을 제시한다. 도 2의 적대적 학습 방법은 두 개의 머신 학습 모델(210, 218)(또는 두 개의 분류 알고리듬)을 반복하는데, 두 개의 머신 학습 모델(210, 218)이 갱신 골든 데이터 세트(216)와 갱신 새 데이터 세트(206)에 대해서 동일한 결과(보기: 동일한 데이터 세트 레이블링 결과)를 나타낼 때까지 반복한다. 두 데이터 세트의 불일치를 반복적으로 줄임으로써, 적대적 학습 방법(200)은 두 개의 머신 학습 모델(210, 218)이 두 데이터 세트에 대해서 동일한 결과를 생성하는 지점에 이르게 된다.
도 3의 적대적 학습 방법(300)은 도 2의 블록도와 관련하여 다름 문단에서 설명한다. 도 3의 적대적 학습 방법(300)은 메모리를 포함하는 시스템의 프로세서에 의하여 수행될 수 있으며, 프로세서는 메모리에 저장된 명령(instruction)을 실행한다.
적대적 학습 방법(300)은 단계(302)에서 시작한다.
단계(304)에서, 새 데이터 세트(202) 및 골든 데이터 세트(212)를 수신한다.
본 발명의 한 실시예에 따르면, 골든 데이터 세트(212)는 살아 있는 인간 전문가가 레이블링한 데이터 세트를 가리킨다. 따라서, 골든 데이터 세트(212)는 OLED 결함 감지(보기: 뮤라 감지)용 머신 학습 알고리듬의 학습 데이터 세트로서 사용되는 신뢰할 수 있는 데이터 소스이다. 골든 데이터 세트(212)는 새 데이터 세트(202)와 다른 데이터 세트 레이블링을 가지고 있다. 예를 들면, 골든 데이터 세트(212)는 제1 데이터 세트 레이블링을 포함할 수 있고, 새 데이터 세트(202)는 제2 데이터 세트 레이블링을 포함할 수 있다.
선택적으로, 단계(306)에서, 제1 머신 학습 모델(218)은 골든 데이터 세트(212)의 데이터 세트 레이블링(보기: 제1 데이터 세트 레이블링)에 기초하여 학습된다.
단계(308)에서, 새 데이터 세트(202)는 학습된 제1 머신 학습 모델(218)에 제공되어 다시 레이블링된다. 본 발명의 한 실시예에 따르면, 제1 분포 조절 모듈(204)은 학습된 제1 머신 학습 모델(218)을 새 데이터 세트(202)에 적용할 수 있다.
단계(310)에서, 학습된 제1 머신 학습 모델(218)에 기초하여 갱신 새 데이터 세트(206)를 생성한다. 예를 들면, 갱신 새 데이터 세트(206)는 학습된 제1 머신 학습 모델(218)을 사용하여 새 데이터 세트(202)를 분류함으로써 생성될 수 있다. 갱신 새 데이터 세트(206)는 새 데이터 세트(202)의 데이터 세트 레이블링(보기: 제2 데이터 세트 레이블링)과 다른 갱신 데이터 세트 레이블링(보기: 갱신 제2 데이터 세트 레이블링) 또는 새 기준(new standard)(208)을 가질 수 있다. 예를 들면, 갱신 새 데이터 세트(206)는 갱신 제2 데이터 세트 레이블링을 포함할 수 있다. 본 발명의 한 실시예에 따르면, 새 데이터 세트(202)와 갱신 새 데이터 세트(206)는 레이블링이 다른 동일한 데이터를 포함할 수 있는데, 예를 들면, 새 데이터 세트(202)는 제2 데이터 세트 레이블링을 포함하고, 갱신 새 데이터 세트(206)는 갱신 제2 데이터 세트 레이블링을 포함할 수 있다. 갱신 새 데이터 세트(206)는 제1 머신 학습 모델(218)이 새 데이터 세트(202)에 적용된 후에 새 클래스로 이동한 [새 데이터 세트(202)의] 데이터에 대한 데이터 샘플 레이블을 갱신한다.
단계(312)에서, 갱신 새 데이터 세트(206)의 데이터 세트 레이블링(보기: 갱신 제2 데이터 세트 레이블링)과 새 데이터 세트(202)의 데이터 세트 레이블링(보기: 제2 데이터 세트 레이블링) 사이의 제1 차이(Δ1)를 판단한다.
Δ1= (갱신 제2 데이터 세트 레이블링 - 제2 데이터 세트 레이블링).
단계(314)에서, 제1 차이(Δ1)를 제1 문턱값과 비교한다. 단계(314)에서, 제1 차이(Δ1)가 제1 문턱값보다 작거나 같은 것으로 판단되면(거의 0이면), 단계(315)에서, 새 데이터 세트(202)의 데이터 세트 레이블링(보기: 제2 데이터 세트 레이블링)에 기초하여 제2 머신 학습 모델(210)을 학습시킨다. 단계(315)로부터, 알고리듬(300)은 단계(318)로 진행한다.
그러나 단계(314)에서, 제1 차이(Δ1)가 제1 문턱값보다 큰 것으로 판단되면, 단계(316)에서 새 기준(208) 또는 갱신 새 데이터 세트(206)의 데이터 세트 레이블링(보기: 갱신 제2 데이터 세트 레이블링)에 기초하여 제2 머신 학습 모델(210)을 학습시킨다.
단계(317)에서, 새 데이터 세트(202)의 데이터 세트 레이블링(보기: 제2 데이터 세트 레이블링)을 갱신 새 데이터 세트(206)의 데이터 세트 레이블링(보기: 갱신 제2 데이터 세트 레이블링)으로 갱신한다.
단계(318)에서, 골든 데이터 세트(212)를 학습된 제2 머신 학습 모델(210)에 제공한다. 본 발명의 한 실시예에 따르면, 제2 분포 조절 모듈(214)은 학습된 제2 머신 학습 모델(210)을 골든 데이터 세트(212)에 적용할 수 있다.
단계(320)에서, 학습된 제2 머신 학습 모델(210)에 기초하여 갱신 골든 데이터 세트(216)를 생성한다. 예를 들면, 갱신 골든 데이터 세트(216)는 학습된 제2 머신 학습 모델(210)을 사용하여 골든 데이터 세트(212)를 분류함으로써 생성될 수 있다. 갱신 골든 데이터 세트(216)는 골든 데이터 세트(212)의 데이터 세트 레이블링(보기: 제1 데이터 세트 레이블링)과 다른 갱신 데이터 세트 레이블링(보기: 갱신 제1 데이터 세트 레이블링)을 가질 수 있다. 본 발명의 한 실시예에 따르면, 골든 데이터 세트(212)와 갱신 골든 데이터 세트(216)는 레이블링이 다른 동일한 데이터를 포함할 수 있는데, 예를 들면, 골든 데이터 세트(212)는 제1 데이터 세트 레이블링을 포함하고, 갱신 골든 데이터 세트(216)는 갱신 제1 데이터 세트 레이블링을 포함할 수 있다. 갱신 골든 데이터 세트(216)는 제2 머신 학습 모델(210)이 골든 데이터 세트(212)에 적용된 후에 새 클래스로 이동한 [골든 데이터 세트(212)의] 데이터에 대한 데이터 샘플 레이블을 갱신한다.
단계(322)에서, 갱신 골든 데이터 세트(216)의 데이터 세트 레이블링(보기: 갱신 제1 데이터 세트 레이블링)과 골든 데이터 세트(212)의 데이터 세트 레이블링(보기: 제1 데이터 세트 레이블링) 사이의 제2 차이(Δ2)를 판단한다.
Δ2= (갱신 제1 데이터 세트 레이블링 - 제1 데이터 세트 레이블링).
본 발명의 한 실시예에 따르면, 단계(322)에서, 현재 주기에서의 갱신 골든 데이터 세트(216)의 데이터 세트 레이블링을 이전 주기에서의 동일한 데이터 세트의 데이터 세트 레이블링과 비교하여 제2 차이(Δ2)를 결정한다. 본 발명의 한 실시예에 따르면, 제2 분포 조절 모듈(214)은 갱신 골든 데이터 세트(216)의 데이터 세트 레이블링(보기: 갱신 제1 데이터 세트 레이블링)을 골든 데이터 세트(212)의 데이터 세트 레이블링(보기: 제1 데이터 세트 레이블링)과 비교하여 제2 차이(Δ2)를 결정한다.
단계(324)에서, 제2 차이(Δ2)를 제2 문턱값과 비교한다. 단계(324)에서, 제2 차이(Δ2)가 제2 문턱값보다 작거나 같은 것으로 판단되면(거의 0이면), 단계(325)에서, 프로세서는 제1 차이(Δ1)가 제1 문턱값 이하인지를 판단한다.
단계(325)에서, 제2 차이(Δ2)가 제2 문턱값 이하일 때 제1 차이(Δ1)가 제1 문턱값 이하인 것으로 판단되면, 단계(326)에서, 적대적 학습 방법(300)을 종료한다.
그러나 단계(325)에서, 제2 차이(Δ2)가 제2 문턱값 이하일 때 제1 차이(Δ1)가 제1 문턱값 이하가 아닌 판단되면, 단계(327)에서, 새 데이터 세트(202)의 데이터 세트 레이블링(보기: 제2 데이터 세트 레이블링)에 기초하여 제1 머신 학습 모델(218)을 학습시킨다. 단계(327)로부터, 알고리듬(300)은 단계(308)로 되돌아간다.
단계(324)에서, 제2 차이(Δ2)가 제2 문턱값보다 큰 것으로 판단되면, 단계(328)에서, 갱신 골든 데이터 세트(216)의 데이터 세트 레이블링(보기: 갱신 제1 데이터 세트 레이블링)에 기초하여 제1 머신 학습 모델(218)을 학습시킨다.
단계(329)에서, 골든 데이터 세트(212)의 데이터 세트 레이블링(보기: 제1 데이터 세트 레이블링)을 갱신 골든 데이터 세트(216)의 데이터 세트 레이블링(보기: 갱신 제1 데이터 세트 레이블링)으로 갱신한다.
단계(329)로부터, 알고리듬(300)은 단계(308)로 되돌아가고, 방법(300)은 계속 진행된다.
머신 학습 모델(210, 218)에 대한 학습 과정을 반복적으로 실행함으로써, 반복할 때마다 작아지는 차이 또는 작아지는 Δ1 및 Δ2 를 얻을 수 있으며, 이에 따라 인스펙터가 결정 경계(decision boundary)의 데이터만을 리뷰하면 되기 때문에 경계에 대한 뷰(view)가 더욱 명확해질 수 있다. 두 개의 머신 학습 모델(210, 218) 두 데이터 세트[보기: 갱신 골든 데이터 세트(216)와 갱신 새 데이터 세트(206))]에 대해서 동일한 결과를 산출하면 적대적 학습 방법(300)을 마친다.
본 발명의 한 실시예에 따르면, 갱신 새 데이터 세트(206) 또는 갱신 골든 데이터 세트(216)가 생성되면 제1 분포 조절 모듈(204) 및 제2 분포 조절 모듈(214)은 데이터 샘플을 선택하여 결정을 플립(flip)한다(보기: 결정에 대한 확신이 없으면, 해당 샘플을 다음 라운드를 위해 그대로 둔다).
본 발명의 한 실시예에 따르면, 골든 데이터 세트(212) 또는 새 데이터 세트(202)의 노이즈 레이블 또는 오류 레이블(mislabel)은 살아 있는 인간 인스펙터에 의하여 식별될 수 있으며, 갱신 골든 데이터 세트(216) 및 갱신 새 데이터 세트(206)이 생성된다. 동일한 인스펙터를 사용하여 골든 데이터 세트(212) 및 새 데이터 세트(202)를 리뷰함으로써 주관적인 레이블링 문제를 줄일 것을 추천한다. 데이터 세트 내의 불일치를 줄임으로써, 인스펙터는 실제 결정 경계(real decision boundary)를 대충 짐작할 수 있을 것이다. 갱신 골든 데이터 세트(216)와 갱신 새 데이터 세트(206) 양자로부터의 결과(보기: 데이터 세트 레이블링)에 대해 모든 인스펙터가 동의할 때까지 새 기준(208)과 학습 머신 학습 모델(210, 218)의 갱신을 위하여 [적대적 학습 방법(300)의] 계속 반복할 수 있다.
본 발명의 한 실시예에 따르면, 살아 있는 인간 인스펙터는 전체 골든 데이터 세트(212)를 리뷰하고 갱신 새 데이터 세트(206)의 데이터 세트 레이블링(보기: 갱신 제2 데이터 세트 레이블링)에 대한 새 기준(208)에 따라 레이블을 다시 붙이고 갱신 골든 데이터 세트(216)를 생성할 수 있다. 그러나 새 기준(208)(보기: 갱신 제2 데이터 세트 레이블링)에 따라 살아 있는 인간 인스펙터가 골든 데이터 세트(212)를 다시 레이블링함으로써 생성된 갱신 골든 데이터 세트(216)는 주관적인 레이블링 문제가 있을 수 있다. 그러므로 머신 또는 머신 학습 모델(보기: 210)이 새 기준(208)(보기: 갱신 제2 데이터 세트 레이블링)에 따라 골든 데이터 세트(212)를 다시 레이블링하는 것이 바람직하다.
적대적 학습 방법(300)은 두 개의 검사 데이터 세트(보기: 202)를 새 골든 데이터 세트로 혼합함으로써 새 평가 데이터 세트(new evaluation dataset)로 확장될 수 있다. 새 데이터 세트로 사용될 새 평가 데이터 세트를 수신하고 적대적 학습 방법(300)을 적용할 수 있다.
본 발명의 한 실시예에 따르면, 데이터 세트 레이블링 목적으로 다른 샘플과 크게 다르지 않은 특별 샘플이 두 데이터 세트[보기: 새 데이터 세트(202) 및 골든 데이터 세트(212)]에 포함될 수 있다. 이는 세부 사항을 모두 학습하기에는 너무 작은 데이터 세트의 경우에 그러하다. 이 경우에는, 큰 데이터 세트 중 하나에서 비슷한 것을 찾거나 샘플링하여 다른 데이터 세트에 더하는 커버링(covering)을 위한 합성 데이터 세트를 생성할 수 있다.
본 발명의 한 실시예에 따르면, 머신 학습 모델(210, 218)을 학습하는 것은 로컬라이저(localizer), 특성 추출기(feature extractor)(보기: 110) 및/또는 분류기(classifier)(보기: 120) 중 하나 이상을 학습하는 것을 뜻할 수 있다. 본 발명의 한 실시예에 따르면, 분류기(보기: 120)는 분류 과정을 데이터 세트에 적용하여 분포 조절 과정(보기: 300)에 사용되는 차이를 찾을 수 있다. 본 발명의 한 실시예에 따르면, 분류기(보기: 120) 및 특성 추출기(보기: 110)는 특성 세트(feature set)를 갱신할 수도 있으며 이는 차이를 찾는 것과 비슷하다. 본 발명의 한 실시예에 따르면, 로컬라이저, 특성 추출기(보기: 110) 및 분류기(보기: 120)는 새로운 감지 위치를 생성할 수 있다. 그러므로 분류 후보 위치 또한 갱신될 것이다.
도 4는 본 발명의 다른 실시예에 따른 적대적 학습 방법(400)의 블록도이다. 도 4의 적대적 학습 방법(400)은 메모리를 포함하는 시스템 내의 프로세서에 의하여 수행될 수 있으며, 프로세서는 메모리에 저장된 명령을 실행한다.
적대적 학습 방법(400)에서, 학습 데이터 세트(401) 및 검사 데이터 세트(402)를 수신한다. 학습 데이터 세트(401)는 제1 데이터 세트 레이블링을 포함하고, 검사 데이터 세트(402)는 제2 데이터 세트 레이블링을 포함할 수 있다. 본 발명의 한 실시예에 따르면, 머신 학습 모델(410)은 학습 데이터 세트(401)의 데이터 세트 레이블링(보기: 제1 데이터 세트 레이블링)을 사용하여 학습된다.
검사 데이터 세트(402)는 학습된 머신 학습 모델(410)에 제공되고 다시 레이블링된다. 학습된 머신 학습 모델(410)에 기초하여 갱신 검사 데이터 세트(415)가 생성된다. 예를 들면, 갱신 검사 데이터 세트(415)는 학습된 머신 학습 모델(410)을 사용하여 검사 데이터 세트(402)를 분류함으로써 생성된다. 갱신 검사 데이터 세트(415)는 데이터 세트 레이블링에 대한 갱신 기준 또는 검사 데이터 세트(402)의 데이터 세트 레이블링(보기: 제2 데이터 세트 레이블링)과는 다른 갱신 제2 데이터 세트 레이블링을 가질 수 있다. 갱신 검사 데이터 세트(415)는 보유된다(보기: 메모리에 저장된다).
다음, 갱신 검사 데이터 세트(415)의 데이터 세트 레이블링(보기: 갱신 제2 데이터 세트 레이블링)를 검사 데이터 세트(402)의 데이터 세트 레이블링(보기: 제2 데이터 세트 레이블링)과 비교하여 갱신 제2 데이터 세트 레이블링과 제2 데이터 세트 레이블링 사이의 제1 차이(Δ1)를 결정한다.
Δ1= (갱신 제2 데이터 세트 레이블링 - 제2 데이터 세트 레이블링).
제1 차이(Δ1)가 제1 문턱값 이하인 것으로 판단되면(거의 0이면), 검사 데이터 세트(402)의 데이터 세트 레이블링(보기: 제2 데이터 세트 레이블링)에 기초하여 머신 학습 모델(420)을 학습시킨다.
그러나 제1 차이(Δ1)가 제1 문턱값보다 큰 것으로 판단되면, 갱신 검사 데이터 세트(415)의 데이터 세트 레이블링(보기: 갱신 제2 데이터 세트 레이블링)에 기초하여 머신 학습 모델(420)을 학습시킨다. 검사 데이터 세트(402)의 데이터 세트 레이블링(보기: 제2 데이터 세트 레이블링)는 갱신 검사 데이터 세트(415)의 데이터 세트 레이블링(보기: 갱신 제2 데이터 세트 레이블링)로 갱신된다.
다음, 학습 데이터 세트(401)가 학습된 머신 학습 모델(420)에 제공되고 다시 레이블링된다. 학습된 머신 학습 모델(420)에 기초하여 갱신 학습 데이터 세트(425)를 생성한다. 예를 들면, 갱신 학습 데이터 세트(425)는 학습된 머신 학습 모델(420)을 사용하여 학습 데이터 세트(401)를 분류함으로써 생성된다. 갱신 학습 데이터 세트(425)는 원본 데이터 세트 레이블링 또는 학습 데이터 세트(401)의 제1 데이터 세트 레이블링과 다른 제1 데이터 세트 레이블링을 가질 수 있다. 갱신 학습 데이터 세트(425)는 보유된다.
다음, 갱신 학습 데이터 세트(425)의 데이터 세트 레이블링(보기: 갱신 제1 데이터 세트 레이블링)을 학습 데이터 세트(401)의 데이터 세트 레이블링(보기: 제1 데이터 세트 레이블링)과 비교하고 갱신 제1 데이터 세트 레이블링과 제1 데이터 세트 레이블링 사이의 제2 차이(Δ2)를 결정한다.
Δ2= (갱신 제1 데이터 세트 레이블링 - 제1 데이터 세트 레이블링).
본 발명의 한 실시예에 따르면, 현재 주기의 갱신 학습 데이터 세트(425)의 데이터 세트 레이블링(보기: 갱신 제1 데이터 세트 레이블링)을 동일한 데이터 세트의 이전 주기 데이터 세트 레이블링(보기: 제1 데이터 세트 레이블링)과 비교하여 제2 차이(Δ2)를 결정한다.
제2 차이(Δ2)가 제2 문턱값보다 작거나 같은 것으로 판단되면(거의 0이면), 프로세서는 제1 차이(Δ1)가 제1 문턱값 이하인지를 판단한다.
제1 차이(Δ1)가 제1 문턱값 이하이고 제2 차이(Δ2)가 제2 문턱값 이하인 것으로 판단되면, 적대적 학습 방법(400)을 종료한다.
그러나 제1 차이(Δ1)가 제1 문턱값 이하가 아니고 제2 차이(Δ2)는 제2 문턱값 이하인 것으로 판단되면, 검사 데이터 세트(402)의 데이터 세트 레이블링(보기: 제2 데이터 세트 레이블링)에 기초하여 머신 학습 모델(410)을 학습시킨다.
제2 차이(Δ2)가 제2 문턱값보다 큰 것으로 결정되면, 갱신 학습 데이터 세트(425)의 데이터 세트 레이블링(보기: 갱신 제1 데이터 세트 레이블링)에 기초하여 머신 학습 모델(410)을 갱신 또는 학습(또는 조절)시킨다.
학습 데이터 세트(401)의 데이터 세트 레이블링(보기: 제1 데이터 세트 레이블링) 갱신 학습 데이터 세트(425)의 데이터 세트 레이블링(보기: 갱신 제1 데이터 세트 레이블링)으로 갱신되고, 방법(400)은 계속 진행된다. 적대적 학습 방법(400)은 두 개의 머신 학습 모델(410, 420)이 두 개의 데이터 세트[보기: 갱신 학습 데이터 세트(425)와 갱신 검사 데이터 세트(415)]에 대해서 동일한 결과를 생성하면 완료될 수 있다.
머신 학습 모델(410, 420)에 대한 학습 과정을 반복적으로 실행함으로써, 반복할 때마다 작아지는 차이 또는 작아지는 Δ1 및 Δ2 를 얻을 수 있으며, 이에 따라 인스펙터가 결정 경계(decision boundary)의 데이터만을 리뷰하면 되기 때문에 경계에 대한 뷰(view)가 더욱 명확해질 수 있다.
도 5는 본 발명의 다른 실시예에 따른 적대적 학습 방법(500)의 블록도이다. 도 5의 적대적 학습 방법(500)은 메모리를 포함하는 시스템 내의 프로세서에 의하여 수행될 수 있으며, 프로세서는 메모리에 저장된 명령을 실행한다.
적대적 학습 방법(500)에서, 골든 데이터 세트(502)를 수신한다. 골든 데이터 세트(502)는 제1 데이터 세트 레이블링을 포함할 수 있다. 결과 데이터 세트(514)도 수신할 수 있다. 결과 데이터 세트(514)는 제2 데이터 세트 레이블링을 포함할 수 있다.
선택적으로, 머신 학습 모델(512)은 골든 데이터 세트(502)의 데이터 세트 레이블링(보기: 제1 데이터 세트 레이블링)을 사용하여 학습된다.
결과 데이터 세트(514)는 학습된 머신 학습 모델(512)에 제공되고 다시 레이블링된다. 학습된 머신 학습 모델(512)에 기초하여 새 데이터 세트(504)가 생성된다. 예를 들면, 새 데이터 세트(504)는 학습된 머신 학습 모델(512)을 사용하여 결과 데이터 세트(514)를 분류함으로써 생성된다. 새 데이터 세트(504)는 결과 데이터 세트(514)의 데이터 세트 레이블링(보기: 제2 데이터 세트 레이블링)과는 다른 갱신 데이터 세트 레이블링(보기: 갱신 제2 데이터 세트 레이블링)을 가질 수 있다. 예를 들면, 새 데이터 세트(504)는 갱신 제2 데이터 세트 레이블링을 포함할 수 있다. 본 발명의 한 실시예에 따르면, 결과 데이터 세트(514) 및 새 데이터 세트(504)는 레이블링이 다른 동일한 데이터를 포함할 수 있는데, 예를 들면, 결과 데이터 세트(514)는 제2 데이터 세트 레이블링을 포함하고, 새 데이터 세트(504)는 갱신 제2 데이터 세트 레이블링을 포함할 수 있다. 새 데이터 세트(504)는 머신 학습 모델(512)이 결과 데이터 세트(514)에 적용된 후에 새 클래스로 이동한 [결과 데이터 세트(514)의] 데이터에 대한 데이터 샘플 레이블을 갱신한다.
제1 차이(Δ1)는 갱신 제2 데이터 세트 레이블링과 제2 데이터 세트 레이블링 사이에서 결정된다.
Δ1= (갱신 제2 데이터 세트 레이블링 - 제2 데이터 세트 레이블링).
제1 차이(Δ1)를 제1 문턱값과 비교한다. 제1 차이(Δ1)가 제1 문턱값보다 작거나 같은 것으로 판단되면(거의 0이면), 골든 데이터 세트(502)가 분포 조절 모듈(506)에 제공되고 새 기준(508) 또는 새 데이터 세트(504)의 데이터 세트 레이블링(보기: 제2 데이터 세트 레이블링)에 기초하여 갱신골든 데이터 세트(510)를 생성한다. 갱신골든 데이터 세트(510)는 원본 데이터 세트 레이블링 또는 골든 데이터 세트(502)의 제1 데이터 세트 레이블링과 다른 갱신 데이터 세트 레이블링을 가질 수 있다.
다음, 갱신골든 데이터 세트(510)의 데이터 세트 레이블링(보기: 갱신 제1 데이터 세트 레이블링)을 골든 데이터 세트(502)의 데이터 세트 레이블링(보기: 제1 데이터 세트 레이블링)과 비교하고 갱신 제1 데이터 세트 레이블링과 제1 데이터 세트 레이블링 사이의 제2 차이(Δ2)를 결정한다.
Δ2= (갱신 제1 데이터 세트 레이블링 - 제1 데이터 세트 레이블링).
본 발명의 한 실시예에 따르면, 현재 주기의 갱신골든 데이터 세트(510)의 데이터 세트 레이블링(보기: 갱신 제1 데이터 세트 레이블링)을 동일한 데이터 세트의 이전 주기 데이터 세트 레이블링(보기: 제1 데이터 세트 레이블링)과 비교하여 제2 차이(Δ2)를 결정한다.
제2 차이(Δ2)가 제2 문턱값보다 작거나 같은 것으로 판단되면(거의 0이면), 적대적 학습 방법(500)을 종료한다. 그렇지 않으면, 갱신 골든 데이터 세트(510)의 데이터 세트 레이블링(보기: 갱신 제1 데이터 세트 레이블링)에 기초하여 머신 학습 모델(512)을 학습시키고, 방법(500)을 계속한다. 적대적 학습 방법(500)은 머신 학습 모델(512)이 두 개의 데이터 세트[보기: 갱신골든 데이터 세트(510)와 새 데이터 세트(504)]에 대해서 동일한 결과를 생성하면 완료될 수 있다.
머신 학습 모델(512)에 대한 학습 과정을 반복적으로 실행함으로써, 반복할 때마다 작아지는 차이 또는 작아지는 Δ2 를 얻을 수 있으며, 이에 따라 인스펙터가 결정 경계(decision boundary)의 데이터만을 리뷰하면 되기 때문에 경계에 대한 뷰(view)가 더욱 명확해질 수 있다.
"제1", "제2", "제3" 등의 용어를 여러 가지 원소, 성분, 영역, 층, 부분 등에 사용하지만, 이들은 이런 수식어에 의하여 한정되지 않는다. 이러한 용어는 어떤 원소, 성분, 영역, 층, 부분을 다른 원소, 성분, 영역, 층, 부분과 구별하기 위하여 사용하는 것이며 본 발명의 취지와 범위를 벗어나지 않는다.
설명의 편의를 위하여 도면에 도시한 어떤 부분 또는 특성에 대한 다른 부분 또는 특성의 관계를 나타내기 위하여 "아래", "밑", "위" 등 공간 관계 용어를 사용할 수 있다. 이러한 공간 관계 용어는 도면에 도시한 사용 또는 동작하는 장치의 서로 다른 위치 및/또는 방향을 나타내기 위한 것이다. 예를 들면, 도면에서 어떤 부분의 "아래" 또는 "밑"에 있는 것으로 도시한 부분은 장치가 뒤집히면 반대로 "위"에 있는 것이 된다. 그러므로 예를 들어 "아래" 및 "밑"은 위와 아래를 모두 나타낼 수 있다. 장치가 예를 들면 90도 회전하거나 다른 방향을 향할 수 있으며, 이 경우 공간 관계 용어는 이에 맞게 해석되어야 한다. 또한, 어떤 층이 다른 두 층 "사이"에 있다고 표현했을 때, 두 층 사이에 해당 층만 있을 수도 있지만 하나 이상의 다른 층이 더 있을 수 있다.
여기에서 사용된 용어는 특정 실시예를 설명할 목적으로 사용할 뿐이며 본 발명을 제한하고자 하는 것은 아니다. 여기에서 "실질적으로", "약", "대체로" 및 이와 비슷한 표현은 근사를 나타내는 표현일 뿐 "정도"를 나타내는 것이 아니며, 당업자가 알 수 있는 측정값 또는 계산값의 고유 오차를 나타내는 데 사용한다.
여기에서 수를 특별히 언급하지 않으면 단수 또는 복수의 경우를 모두 포함한다. 어떤 특징, 단계, 동작, 부분, 성분 등을 "포함"한다는 표현은 해당 부분 외에 다른 특징, 단계, 동작, 부분, 성분 등도 포함할 수 있다는 것을 의미한다. "및/또는"이라는 표현은 나열된 것들 중 하나 또는 둘 이상의 모든 조합을 포함한다. 나열 목록 앞에 기재한 "적어도 하나" 등의 표현은 목록 전체를 수식하는 것이지 목록 내의 각각의 것을 수식하는 것은 아니다. 또한, 본 발명의 실시예를 설명할 때 사용하는 "수 있다"는 표현은 "본 발명의 하나 이상의 실시예"에 적용가능하다는 것을 뜻한다. "예시적인"이라는 용어는 예 또는 도면을 나타낸다. "사용", "이용" 등은 이와 유사한 다른 표현과 함께 비슷한 의미로 사용될 수 있다.
부분, 층, 영역, 성분 등이 다른 부분, 층, 영역, 성분의 "위에" 있거나 "연결되어" 있는 것으로 기재하는 경우 "바로" 위에 있거나 또는 "직접" 연결되어 있는 경우뿐 아니라 중간에 다른 부분, 층, 영역, 성분 등이 더 끼어 있는 경우도 포함한다. 그러나 "바로 위에" 있거나 "직접 연결"되어 있는 것으로 기재하면 중간에 다른 부분이 없다는 것을 뜻한다.
여기에 기재한 수치 범위는 해당 범위 안에 포함되는 동일한 정확도의 모든 부분 범위(sub-range)를 포함한다. 예를 들면, "1.0 내지 10.0"의 범위는 최소값 1.0과 최대값 10.0 및 그 사이에 있는 모든 부분 범위, 즉, 1.0 이상의 최소값과 10.0 이하의 최대값을 가지는 부분 범위, 예를 들면 2.4 내지 7.6을 포함한다. 여기에서 언급한 최대값은 그 안에 포함되고 그보다 작은 모든 수치 한계를 포함하고, 본 명세서에 기재한 최소값은 그 안에 포함되고 그보다 큰 모든 수치 한계를 포함한다.
본 발명의 실시예에 따르면, 본 발명의 방법 및 시스템의 서로 다른 실시예의 하나 이상의 출력은 본 발명의 방법 및 시스템의 서로 다른 실시예의 하나 이상의 출력에 관한 하나 이상의 출력 또는 정보를 표시하는 표시 장치와 연결되어 있거나 이를 포함하는 전자 장치에 전송될 수 있다.
본 발명의 실시예에 따라 설명한 전자, 전기 장치 및/또는 다른 관련 장치 또는 부분은 적절한 하드웨어, 펌웨어(보기: 응용 주문형 집적 회로), 소프트웨어 또는 이들의 조합을 사용하여 구현할 수 있다. 예를 들면, 이들 장치의 다양한 구성 요소를 하나의 집적 회로 칩에 형성될 수도 있고 서로 다른 집적 회로 칩에 구현할 수도 있다. 또한, 이들 장치의 다양한 구성 요소를 가요성 인쇄 회로 필름, 테이프 캐리어 패키지(TCP: tape carrier package), 인쇄 회로 기판 등에 구현하거나 하나의 기판 위에 형성할 수 있다. 또한, 이들 장치의 다양한 구성 요소를 여기에서 설명한 다양한 기능을 수행하기 위하여 컴퓨터 프로그램 명령을 실행하고 다른 시스템 요소와 상호 작용하는 하나 이상의 컴퓨터 장치 내에 있는 하나 이상의 프로세서에서 실행될 수 프로세스 또는 스레드(thread)일 수 있다. 컴퓨터 프로그램 명령은 램(RAM: random access memory) 등의 표준 메모리 장치를 사용하는 컴퓨터 장치에 구현된 메모리에 저장될 수 있다. 뿐만 아니라, 당업자는 본 발명의 실시예의 개념과 범위를 벗어나지 않고도 다양한 컴퓨터 장치의 기능들을 하나의 컴퓨터 장치에 결합 또는 통합하거나, 특정 컴퓨터 장치의 기능을 하나 이상의 다른 컴퓨터 장치에 분산할 수도 있다.
이상에서 노이즈 레이블에 대한 적대적 학습 방법의 실시예에 대하여 설명 및 도시하였지만, 당업자라면 이러한 실시예를 변경 및 수정할 수도 있다. 따라서 여기에서 제시한 원리에 따라 구성된 다른 노이즈 레이블에 대한 적대적 학습 방법도 본 발명에 포함된다. 본 발명은 다음의 청구범위 및 그 등가물에 의하여 정의된다.
100: 전처리기
101: 뮤라 감지 시스템
110: 특성 추출기
120: 분류기
130: 인적 검사
200, 400, 500: 적대적 학습 방법
202, 504: 새 데이터 세트
204, 214, 506: 분포 조절 모듈
206: 갱신 새 데이터 세트
208, 508: 새 기준
210, 218, 420, 512: 머신 학습 모델
212, 502: 골든 데이터 세트
216, 510: 갱신 골든 데이터 세트
401: 학습 데이터 세트
402: 검사 데이터 세트
425: 갱신 학습 데이터 세트
514: 결과 데이터 세트

Claims (20)

  1. 메모리, 그리고
    상기 메모리에 저장된 명령을 실행하는 프로세서
    를 포함하며,
    상기 프로세서는 상기 명령에 따라,
    제1 데이터 세트 레이블링을 포함하는 제1 데이터 세트를 수신하고,
    제2 데이터 세트 레이블링을 포함하는 제2 데이터 세트를 수신하고,
    상기 제1 데이터 세트 레이블링에 기초하여 제1 머신 학습 모델을 학습시키고,
    상기 제2 데이터 세트를 상기 학습된 제1 머신 학습 모델에 제공하여 갱신 제2 데이터 세트 레이블링을 포함하는 갱신 제2 데이터 세트를 생성하되, 상기 갱신 제2 데이터 세트는 상기 학습된 제1 머신 학습 모델을 사용하여 상기 제2 데이터 세트를 분류함으로써 생성하며,
    상기 갱신 제2 데이터 세트 레이블링과 상기 제2 데이터 세트 레이블링 사이의 제1 차이를 판단하고,
    상기 제1 차이가 제1 문턱값보다 크면 상기 갱신 제2 데이터 세트 레이블링에 기초하여 제2 머신 학습 모델을 학습시키고,
    상기 제1 데이터 세트를 상기 학습된 제2 머신 학습 모델에 제공하여 갱신 제1 데이터 세트 레이블링을 포함하는 갱신 제1 데이터 세트를 생성하되, 상기 갱신 제1 데이터 세트는 상기 학습된 제2 머신 학습 모델을 사용하여 상기 제1 데이터 세트를 분류함으로써 생성하며,
    상기 갱신 제1 데이터 세트 레이블링과 상기 제1 데이터 세트 레이블링 사이의 제2 차이를 판단하며,
    상기 제2 차이가 제2 문턱값보다 크면 상기 갱신 제1 데이터 세트 레이블링에 기초하여 상기 제1 머신 학습 모델을 학습시키는
    적대적 학습 시스템.
  2. 제1항에서,
    상기 프로세서는 상기 명령에 따라, 상기 제1 차이가 상기 제1 문턱값 아래가 되고 상기 제2 차이가 상기 제2 문턱값 아래가 될 때까지 상기 제1 머신 학습 모델 및 상기 제2 머신 학습 모델을 학습시키는 적대적 학습 시스템.
  3. 제2항에서,
    상기 제1 문턱값 및 상기 제2 문턱값 중 하나는 0이고 상기 제1 문턱값은 상기 제2 문턱값과 다른 적대적 학습 시스템.
  4. 제1항에서,
    상기 프로세서는 상기 명령에 따라, 상기 제1 머신 학습 모델과 상기 제2 머신 학습 모델을 상기 갱신 제2 데이터 세트 및 상기 갱신 제1 데이터 세트에 적용하였을 때 동일한 데이터 세트 레이블링 결과를 생성할 때까지 상기 제1 머신 학습 모델 및 상기 제2 머신 학습 모델을 학습시키는 적대적 학습 시스템.
  5. 제1항에서,
    상기 갱신 제1 데이터 세트는 상기 학습된 제2 머신 학습 모델을 상기 제1 데이터 세트에 적용한 후에 새 클래스로 이동한 상기 제1 데이터 세트로부터의 데이터에 대한 데이터 샘플 레이블을 갱신함으로써 생성되는 적대적 학습 시스템.
  6. 제1항에서,
    상기 갱신 제1 데이터 세트 레이블링은 상기 제1 데이터 세트 레이블링과 다른 적대적 학습 시스템.
  7. 제6항에서,
    상기 제1 데이터 세트는 살아 있는 인간 인스펙터에 의하여 상기 갱신 제2 데이터 세트 레이블링에 따라 다시 레이블링되어 상기 갱신 제1 데이터 세트를 생성하는 적대적 학습 시스템.
  8. 제1항에서,
    상기 제1 머신 학습 모델 및 상기 제2 머신 학습 모델은 분류 알고리듬인 적대적 학습 시스템.
  9. 제1항에서,
    상기 갱신 제2 데이터 세트는 상기 학습된 제1 머신 학습 모델을 상기 제2 데이터 세트에 적용한 후에 새 클래스로 이동한 상기 제2 데이터 세트로부터의 데이터에 대한 데이터 샘플 레이블을 갱신함으로써 생성되는 적대적 학습 시스템.
  10. 제1항에서,
    상기 제1 데이터 세트는 살아 있는 인간 인스펙터에 의하여 분류 또는 레이블링되는 적대적 학습 시스템.
  11. 메모리, 그리고
    상기 메모리에 저장된 명령을 실행하는 프로세서
    를 포함하며,
    상기 프로세서는 상기 명령에 따라,
    제1 데이터 세트의 제1 데이터 세트 레이블링에 기초하여 제1 머신 학습 모델을 학습시키고,
    제2 데이터 세트 레이블링을 포함하는 제2 데이터 세트를 상기 학습된 제1 머신 학습 모델에 제공하여 갱신 제2 데이터 세트 레이블링을 포함하는 갱신 제2 데이터 세트를 생성하고,
    상기 갱신 제2 데이터 세트 레이블링에 기초하여 제2 머신 학습 모델을 학습시키고,
    상기 제1 데이터 세트를 상기 학습된 제2 머신 학습 모델에 제공하여 갱신 제1 데이터 세트 레이블링을 포함하는 갱신 제1 데이터 세트를 생성하며,
    상기 갱신 제1 데이터 세트 레이블링에 기초하여 상기 제1 머신 학습 모델을 학습시키는
    적대적 학습 시스템.
  12. 제11항에서,
    상기 프로세서는 상기 명령에 따라,
    상기 갱신 제2 데이터 세트 레이블링과 상기 제2 데이터 세트 레이블링 사이의 제1 차이를 판단하여, 상기 제1 차이가 제1 문턱값보다 크면 상기 갱신 제2 데이터 세트 레이블링에 기초하여 제2 머신 학습 모델을 학습시키고,
    상기 갱신 제1 데이터 세트 레이블링과 상기 제1 데이터 세트 레이블링 사이의 제2 차이를 판단하여, 상기 제2 차이가 제2 문턱값보다 크면 상기 갱신 제1 데이터 세트 레이블링에 기초하여 상기 제1 머신 학습 모델을 학습시키며,
    상기 제1 차이가 상기 제1 문턱값 아래가 되고 상기 제2 차이가 상기 제2 문턱값 아래가 될 때까지 상기 제1 머신 학습 모델 및 상기 제2 머신 학습 모델을 학습시키는
    적대적 학습 시스템.
  13. 제12항에서,
    상기 제1 문턱값 및 상기 제2 문턱값 중 하나는 0이고 상기 제1 문턱값은 상기 제2 문턱값과 다른 적대적 학습 시스템.
  14. 제11항에서,
    상기 갱신 제1 데이터 세트는 상기 학습된 제2 머신 학습 모델을 사용하여 상기 제1 데이터 세트를 분류함으로써 생성하고, 상기 갱신 제2 데이터 세트는 상기 학습된 제1 머신 학습 모델을 사용하여 상기 제2 데이터 세트를 분류함으로써 생성하는 적대적 학습 시스템.
  15. 제11항에서,
    상기 프로세서는 상기 명령에 따라, 상기 제1 머신 학습 모델과 상기 제2 머신 학습 모델을 상기 갱신 제2 데이터 세트 및 상기 갱신 제1 데이터 세트에 적용하였을 때 동일한 데이터 세트 레이블링 결과를 생성할 때까지 상기 제1 머신 학습 모델 및 상기 제2 머신 학습 모델을 학습시키는 적대적 학습 시스템.
  16. 제11항에서,
    상기 갱신 제1 데이터 세트는 상기 학습된 제2 머신 학습 모델을 상기 제1 데이터 세트에 적용한 후에 새 클래스로 이동한 상기 제1 데이터 세트로부터의 데이터에 대한 데이터 샘플 레이블을 갱신함으로써 생성되고,
    상기 갱신 제1 데이터 세트 레이블링은 상기 제1 데이터 세트 레이블링과 다르며,
    상기 제1 데이터 세트는 살아 있는 인간 인스펙터에 의하여 상기 갱신 제2 데이터 세트 레이블링에 따라 다시 레이블링되어 상기 갱신 제1 데이터 세트를 생성하는
    적대적 학습 시스템.
  17. 제16항에서,
    상기 제1 머신 학습 모델 및 상기 제2 머신 학습 모델은 분류 알고리듬이고,
    상기 제1 데이터 세트는 살아 있는 인간 인스펙터에 의하여 분류 또는 레이블링되며,
    상기 갱신 제2 데이터 세트는 상기 학습된 제1 머신 학습 모델을 상기 제2 데이터 세트에 적용한 후에 새 클래스로 이동한 상기 제2 데이터 세트로부터의 데이터에 대한 데이터 샘플 레이블을 갱신함으로써 생성되는
    적대적 학습 시스템.
  18. 프로세서에 의하여, 제1 데이터 세트의 제1 데이터 세트 레이블링에 기초하여 제1 머신 학습 모델을 학습시키는 단계,
    상기 프로세서에 의하여, 제2 데이터 세트 레이블링을 포함하는 제2 데이터 세트를 상기 학습된 제1 머신 학습 모델에 제공하여 갱신 제2 데이터 세트 레이블링을 포함하는 갱신 제2 데이터 세트를 생성하는 단계,
    상기 프로세서에 의하여, 상기 갱신 제2 데이터 세트 레이블링에 기초하여 제2 머신 학습 모델을 학습시키는 단계,
    상기 프로세서에 의하여, 상기 제1 데이터 세트를 상기 학습된 제2 머신 학습 모델에 제공하여 갱신 제1 데이터 세트 레이블링을 포함하는 갱신 제1 데이터 세트를 생성하는 단계, 그리고
    상기 프로세서에 의하여, 상기 갱신 제1 데이터 세트 레이블링에 기초하여 상기 제1 머신 학습 모델을 학습시키는 단계
    를 포함하는 적대적 학습 방법.
  19. 제18항에서,
    상기 프로세서에 의하여, 상기 갱신 제2 데이터 세트 레이블링과 상기 제2 데이터 세트 레이블링 사이의 제1 차이를 판단하여, 상기 제1 차이가 제1 문턱값보다 크면 상기 갱신 제2 데이터 세트 레이블링에 기초하여 제2 머신 학습 모델을 학습시키는 단계,
    상기 프로세서에 의하여, 상기 갱신 제1 데이터 세트 레이블링과 상기 제1 데이터 세트 레이블링 사이의 제2 차이를 판단하여, 상기 제2 차이가 제2 문턱값보다 크면 상기 갱신 제1 데이터 세트 레이블링에 기초하여 상기 제1 머신 학습 모델을 학습시키는 단계, 그리고
    상기 프로세서에 의하여, 상기 제1 차이가 상기 제1 문턱값 아래가 되고 상기 제2 차이가 상기 제2 문턱값 아래가 될 때까지 상기 제1 머신 학습 모델 및 상기 제2 머신 학습 모델을 학습시키는 단계
    를 더 포함하는 적대적 학습 방법.
  20. 제19항에서,
    상기 제1 문턱값 및 상기 제2 문턱값 중 하나는 0이고 상기 제1 문턱값은 상기 제2 문턱값과 다르며,
    상기 갱신 제1 데이터 세트는 상기 학습된 제2 머신 학습 모델을 사용하여 상기 제1 데이터 세트를 분류함으로써 생성하고, 상기 갱신 제2 데이터 세트는 상기 학습된 제1 머신 학습 모델을 사용하여 상기 제2 데이터 세트를 분류함으로써 생성하는
    적대적 학습 방법.




KR1020190100418A 2018-12-20 2019-08-16 노이즈 레이블에 대한 적대적 학습 시스템 및 방법 KR20200078304A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862783150P 2018-12-20 2018-12-20
US62/783,150 2018-12-20
US16/365,485 US11568324B2 (en) 2018-12-20 2019-03-26 Adversarial training method for noisy labels
US16/365,485 2019-03-26

Publications (1)

Publication Number Publication Date
KR20200078304A true KR20200078304A (ko) 2020-07-01

Family

ID=68426159

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190100418A KR20200078304A (ko) 2018-12-20 2019-08-16 노이즈 레이블에 대한 적대적 학습 시스템 및 방법

Country Status (6)

Country Link
US (2) US11568324B2 (ko)
EP (1) EP3671559A1 (ko)
JP (1) JP7443033B2 (ko)
KR (1) KR20200078304A (ko)
CN (1) CN111353521A (ko)
TW (1) TWI826586B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3929504A1 (en) 2020-06-26 2021-12-29 LG Electronics Inc. Refrigerator

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11416743B2 (en) * 2019-04-25 2022-08-16 International Business Machines Corporation Swarm fair deep reinforcement learning
US11645456B2 (en) * 2020-01-28 2023-05-09 Microsoft Technology Licensing, Llc Siamese neural networks for flagging training data in text-based machine learning
CN111625635B (zh) * 2020-05-27 2023-09-29 北京百度网讯科技有限公司 问答处理方法、装置、设备及存储介质
JP7513090B2 (ja) 2020-06-12 2024-07-09 日本電気株式会社 仮想化リソース配備装置、仮想化リソース配備方法及びプログラム
US11847217B2 (en) * 2020-06-30 2023-12-19 Mcafee, Llc Methods and apparatus to provide and monitor efficacy of artificial intelligence models
US11522767B2 (en) * 2020-10-22 2022-12-06 Bank Of America Corporation System for real-time imitation network generation using artificial intelligence
CN112037222B (zh) * 2020-11-04 2021-02-09 武汉精测电子集团股份有限公司 一种神经网络模型的自动更新方法及系统
WO2022101051A1 (en) * 2020-11-13 2022-05-19 Asml Netherlands B.V. Active learning-based defect location identification
CN112884135B (zh) * 2021-04-29 2021-07-30 聚时科技(江苏)有限公司 一种基于边框回归的数据标注校正方法
CN113554280B (zh) * 2021-06-30 2023-06-16 北京百度网讯科技有限公司 电网系统调度模型的训练方法、装置、设备和存储介质
US12013922B2 (en) * 2021-07-30 2024-06-18 Nxp B.V. Method for watermarking a machine learning model
CN114139631B (zh) * 2021-12-03 2023-07-28 华北电力大学 一种面向多目标训练对象可选择的灰盒的对抗样本生成方法
CN116484905B (zh) * 2023-06-20 2023-08-29 合肥高维数据技术有限公司 针对非对齐样本的深度神经网络模型训练方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101587176B1 (ko) 2007-04-18 2016-01-20 마이크로닉 마이데이타 에이비 무라 검출 및 계측을 위한 방법 및 장치
CN103324632B (zh) 2012-03-22 2016-08-03 日电（中国）有限公司 一种基于协同学习的概念识别方法及装置
WO2013190085A1 (en) 2012-06-21 2013-12-27 Philip Morris Products S.A. Systems and methods for generating biomarker signatures with integrated dual ensemble and generalized simulated annealing techniques
US11449775B2 (en) * 2018-12-27 2022-09-20 Hubspot, Inc. Multi-client service system platform
CN104392432A (zh) 2014-11-03 2015-03-04 深圳市华星光电技术有限公司 基于方向梯度直方图的显示面板缺陷检测方法
KR102415503B1 (ko) * 2015-08-21 2022-07-01 삼성전자주식회사 분류기 학습 방법 및 객체 검출 방법
CA2941729A1 (en) 2015-09-14 2017-03-14 Sightline Innovation Inc. System and method for specular surface inspection
US10275690B2 (en) * 2016-04-21 2019-04-30 Sas Institute Inc. Machine learning predictive labeling system
US10127477B2 (en) * 2016-04-21 2018-11-13 Sas Institute Inc. Distributed event prediction and machine learning object recognition system
US10223615B2 (en) * 2016-08-23 2019-03-05 Dongfang Jingyuan Electron Limited Learning based defect classification
US11580398B2 (en) 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
CN106875373B (zh) 2016-12-14 2019-12-20 惠州旭鑫智能技术有限公司 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
US10417524B2 (en) 2017-02-16 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Deep active learning method for civil infrastructure defect detection
CA3054667A1 (en) 2017-02-26 2018-08-30 Yougetitback Limited System and method for detection of mobile device fault conditions
JP6787831B2 (ja) 2017-03-30 2020-11-18 Kddi株式会社 検索結果による学習が可能な対象検出装置、検出モデル生成装置、プログラム及び方法
IL252657A0 (en) 2017-06-04 2017-08-31 De Identification Ltd System and method for preventing image recognition
US10831519B2 (en) * 2017-11-22 2020-11-10 Amazon Technologies, Inc. Packaging and deploying algorithms for flexible machine learning

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3929504A1 (en) 2020-06-26 2021-12-29 LG Electronics Inc. Refrigerator

Also Published As

Publication number Publication date
US11830240B2 (en) 2023-11-28
TWI826586B (zh) 2023-12-21
US20200202257A1 (en) 2020-06-25
JP7443033B2 (ja) 2024-03-05
US11568324B2 (en) 2023-01-31
TW202038145A (zh) 2020-10-16
JP2020102204A (ja) 2020-07-02
US20230127852A1 (en) 2023-04-27
CN111353521A (zh) 2020-06-30
EP3671559A1 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
JP7443033B2 (ja) ノイズラベルに対する敵対的学習システムおよび方法
US11714397B2 (en) System and method for generating machine learning model with trace data
KR102352697B1 (ko) 컨투어 기반 결함 검출
US20200349466A1 (en) Providing performance views associated with performance of a machine learning system
US10621717B2 (en) System and method for image-based target object inspection
KR20200100806A (ko) 테스트 결과를 결정하기 위한 캡처된 이미지의 분석
Zhou et al. Review of vision-based defect detection research and its perspectives for printed circuit board
TW202139131A (zh) 用於影像分類之適應學習
US20220114725A1 (en) Microscopy System and Method for Checking Input Data
US20230281791A1 (en) Adaptive system and method for inspection of imaged items
Lee 16‐4: Invited Paper: Region‐Based Machine Learning for OLED Mura Defects Detection
CN112070762A (zh) 液晶面板的mura缺陷检测方法、装置、存储介质及终端
Choi et al. Deep learning based defect inspection using the intersection over minimum between search and abnormal regions
CN113538376A (zh) 存储阵列的缺陷定位方法、装置、设备及可读存储介质
CN116205918B (zh) 基于图卷积的多模态融合半导体检测方法、装置及介质
CN112184717A (zh) 用于质检的自动化分割方法
CN111583225A (zh) 缺陷检测方法、装置及存储介质
KR102434442B1 (ko) 검사 대상의 결함 검사를 고속으로 수행하는 방법 및 이를 수행하는 장치들
WO2021019865A1 (ja) 検査装置、検査方法、および、検査プログラム、ならびに、学習装置、学習方法、および、学習プログラム
Ding et al. Cognitive visual inspection service for LCD manufacturing industry
Zhang et al. Improved YOLOv5s combining enhanced backbone network and optimized self-attention for PCB defect detection
US20240037768A1 (en) Optical Inspection Based on Repetitive Feature Comparison
CN118172626B (zh) 图像分割模型训练方法、装置、电子设备及存储介质
CN117523164A (zh) MiniLED异物检测定位的方法及其相关装置
Di Eugenio AI-enabled AOI: a Deep Learning-based innovative approach to improve the manufacturing processes

Legal Events

Date Code Title Description
A201 Request for examination