KR101800057B1 - 트레이닝 영상에 등급을 배정하는 방법 및 장치 - Google Patents

트레이닝 영상에 등급을 배정하는 방법 및 장치 Download PDF

Info

Publication number
KR101800057B1
KR101800057B1 KR1020137012504A KR20137012504A KR101800057B1 KR 101800057 B1 KR101800057 B1 KR 101800057B1 KR 1020137012504 A KR1020137012504 A KR 1020137012504A KR 20137012504 A KR20137012504 A KR 20137012504A KR 101800057 B1 KR101800057 B1 KR 101800057B1
Authority
KR
South Korea
Prior art keywords
image
training
training image
delete delete
class
Prior art date
Application number
KR1020137012504A
Other languages
English (en)
Other versions
KR20130126916A (ko
Inventor
에반 제이 리브닉
케네쓰 지 브리타인
그레고리 디 코스터치
캐써린 피 타르나우스키
데렉 에이치 저스티스
귈레르모 사피로
사무엘 디 허버트
데이비드 엘 호펠트
Original Assignee
쓰리엠 이노베이티브 프로퍼티즈 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쓰리엠 이노베이티브 프로퍼티즈 컴파니 filed Critical 쓰리엠 이노베이티브 프로퍼티즈 컴파니
Publication of KR20130126916A publication Critical patent/KR20130126916A/ko
Application granted granted Critical
Publication of KR101800057B1 publication Critical patent/KR101800057B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Biochemistry (AREA)
  • Textile Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

주어진 제품의 샘플을 대표하는 다량의 트레이닝 영상에 전문 등급(즉, 라벨)을 효율적이고 일관성 있게 배정함에 있어서 사용자를 지원하는 전산화 등급화 도구가 기술된다. 등급화 도구는, 트레이닝 영상을 클러스터링 및 오더링하는 단계를 포함하여, 직관적이고 구성가능한 양식으로 트레이닝 영상을 시각화하기 위한 메커니즘을 제공한다. 일부 실시 형태에서, 등급화 도구는 데이터 내에 나타나는 다중 유형의 결함을 탐색하고 전문 등급을 효율적으로 배정하기 위한 사용이 용이한 인터페이스를 제공한다. 다른 실시 형태에서, 컴퓨터는 샘플을 대표하는 다량의 디지털 영상을 함유하는 개별적인 클러스터에 등급(즉, 라벨)을 자동으로 배정한다. 추가로 전산화 도구는, 결함에 대한 영상의 가장 적절한 서브세트를 자동으로 식별 및 선택하고 추가의 사용자 상호작용이 필요 없이 이 서브세트로부터 나머지 영상으로 라벨을 자동으로 전파하는 능력을 포함하는, 매우 방대한 데이터세트를 라벨링하기에 이상적인 역량을 갖는다.

Description

트레이닝 영상에 등급을 배정하는 방법 및 장치 {METHOD AND APPARATUS FOR ASSIGNING RATINGS TO TRAINING IMAGES}
관련 출원과의 상호 참조
본 출원은 그 개시 내용이 전체적으로 본 명세서에 참고로 포함된, 2010년 10월 19일자로 출원된 미국 가특허 출원 제61/394,428호의 이익을 주장한다.
본 발명은 이동하는 웨브의 검사를 위한 전산화 시스템과 같은 자동화 검사 시스템에 관한 것이다.
이동하는 웨브 재료 분석을 위한 전산화 검사 시스템은 현대의 제조 작업에 중요한 것으로 판명되었다. 예를 들어, 광학적 검사 센서(예를 들어, 카메라)에 의해 포착된 디지털 영상을 기반으로 제조된 제품의 품질을 자동으로 분류할 수 있는 영상화-기반 검사 시스템을 활용하는 것이 점점 보편화되고 있다. 이들 검사 시스템은 전형적으로 기계 학습(machine learning), 패턴 인식(pattern recognition), 및 컴퓨터 비전(computer vision)과 같은 복잡한 기술에 의존한다.
일부 검사 시스템은 흔히 "분류기"라고 지칭되는 알고리듬을 적용하며, 이는 가장 단순한 경우에 샘플이 합격인지 불합격인지를 나타내거나, 변동의 정도 또는 품질의 수준에 상응하는 더욱 정교한 라벨의 세트를 나타내는 등급을 각각의 포착된 디지털 영상(즉, "샘플")에 배정한다. 이들 유형의 검사 시스템은 통상적으로 2개의 별도의 처리 단계로 진행된다.
오프라인으로 수행되는 제1 단계는 "트레이닝 단계(training phase)"라고 지칭된다. 트레이닝 단계 중에는, 일군의 전문가들이 대표적 샘플 영상의 세트에 수동으로 등급(본 명세서에서는 "라벨"이라고도 지칭함)을 배정한다. 전문가들은, 예를 들어, 수동으로 웨브 제품을 조사하고 잠재적 결함을 식별함에 있어서 상당한 경험을 가진 공정 기술자일 수 있다. 샘플 영상을 기반으로, 전산화 검사 시스템에 의해 사용될 수 있는 트레이닝 데이터를 위해 분류 모델이 개발된다. 이렇게 해서, 트레이닝 단계를 검사 공정의 학습 부분으로 생각할 수 있다.
일단 트레이닝 데이터로부터 모델이 개발되면, 이를 새로 제조된 제품으로부터 포착된 새로운 샘플에 잠재적으로 실시간으로 처리의 "분류 단계" 중에 적용할 수 있다. 즉, 분류 모델을 전산화 웨브 검사 시스템에 의해 온라인으로 사용하여 각각의 샘플에 라벨을 배정함으로써 새로운 샘플 영상을 분류할 수 있다.
전산화 검사 시스템이 새로운 샘플 영상을 정확하게 등급화하는 능력은, 시스템의 트레이닝에 사용된 초기 트레이닝 데이터의 품질 및 정확도, 즉, 샘플 영상 및 전문가들에 의해 배정된 그들의 상응하는 라벨에 직접 관련된다. 예를 들어, 트레이닝 세트 내의 샘플은 주어진 웨브 응용으로부터 얻어질 것으로 예상되는 데이터의 전체 분포를 대표해야 한다. 그러므로, 많은 수의 트레이닝 샘플을 갖는 것이 일반적으로 유리하며, 이는 모델을 더욱 효과적으로 트레이닝하고 과적합의 효과를 감소시키는 것을 보조할 수 있고, 이는 그것이 잡음 또는 트레이닝 샘플 사이의 다른 유의성 없는 차이를 구별하며 트레이닝 샘플 세트의 바깥에서 불량한 예측 성능을 갖는 모델에 의해 특성화된다. 그러나, 많은 수의 샘플을 수동으로 라벨링하는 작업은 극히 시간 소모적이며 전문가들에게 지루할 수 있다. 더욱 나쁜 것은, 이러한 라벨링이 주관적이며, 작업의 성질로 인하여 제품에 매우 익숙한 전문가가 불일치하는 라벨을 만들 수 있다는 사실이다. 추가로, 상이한 전문가 평가자 사이에 불일치가 발생할 수 있다. 이러한 난점은, 트레이닝 세트의 크기가 커지면서 증폭되고, 동일한 웨브 재료가 상이한 검정 허용 오차(acceptance tolerance)를 갖는 상이한 최종 용도에 적용될 수 있다는 사실에 의해 더 심각해진다. 결과적으로, 하나의 최종 용도에 있어서 불합격으로 간주될 수 있는 제품이 다른 최종 용도에 있어서는 합격일 수 있을 것이다.
일반적으로 본 개시는, 주어진 제품의 샘플을 대표하는 다량의 디지털 영상에 전문 등급(즉, 라벨)을 효율적이고 일관성 있게 배정함에 있어서 사용자를 지원할 수 있는 전산화 등급화 도구를 기술한다. 일례로서, 라벨은 샘플 내에 존재하는 특정 불균일성 결함의 심각도(severity)에 상응할 수 있다. 사용자가 각각의 샘플을 개별적으로 라벨링해야 하는 대신에(이는 지루하고, 주관적이며, 오차가 발생하기 쉬울 수 있고, 불일치하는 라벨링을 유발할 수 있음), 전산화 도구가 직관적인 시각적 피드백 및 데이터와 상호작용하기 위한 수단을 사용자에게 제공하는 가운데 가장 번거로운 측면을 자동화함으로써 작업을 단순화한다. 일부 예시적인 실시 형태에서, 전산화 도구는 시각 소구적(visually appealing) 방식으로 사용자에게 영상을 디스플레이하며 사용자가 샘플 사이의 관계를 공간적으로 시각화하는 것을 가능하게 함으로써 일관성 있는 라벨을 배정하는 작업을 용이하게 한다. 다른 실시 형태에서, 컴퓨터는 샘플을 대표하는 다량의 디지털 영상에 등급(즉, 라벨)을 자동으로 배정한다.
일부 예시적인 실시 형태에서, 기술된 전산화 등급화 도구는, 영상을 클러스터링(clustering) 및 오더링(ordering)하는 단계를 포함하는, 직관적이고 구성가능한 양식으로 데이터를 시각화하기 위한 메커니즘을 제공한다. 소정의 예시적인 실시 형태에서, 전산화 도구는 데이터 내에 나타나는 다중 유형의 결함을 탐색하고 전문 등급을 효율적으로 배정하기 위한 사용이 용이한 인터페이스를 제공한다. 추가로 전산화 도구는, 결함에 대한 영상의 가장 적절한 서브세트를 자동으로 식별 및 선택하고 추가의 사용자 상호작용이 필요 없이 이 서브세트로부터 나머지 영상으로 라벨을 자동으로 전파하는 능력을 포함하는, 매우 방대한 데이터세트를 라벨링하기에 이상적인 역량을 갖는다.
예시적인 일 실시 형태에서, 장치는 프로세서 또는 프로세서를 포함하는 컴퓨터, 복수의 트레이닝 샘플을 저장하는 기억장치, 및 프로세서 상에서 실행되는 등급화 소프트웨어를 포함한다. 등급화 소프트웨어는 각각의 트레이닝 영상의 화소값으로부터 각각의 트레이닝 영상에 대해 수치화된 디스크립터(numerical descriptor)를 계산함으로써 각각의 복수의 트레이닝 영상으로부터 특징부를 추출하기 위한 특징부 추출 모듈을 포함한다. 등급화 소프트웨어는 트레이닝 영상의 수치화된 디스크립터를 처리하여 트레이닝 영상의 대표적 서브세트를 자동으로 선택하고 트레이닝 영상의 대표적 서브세트에 대한 복수의 영상 클러스터를 계산하기 위한 제1 클러스터링 공정을 수행한다.
일부 예시적인 실시 형태에서는, 등급화 소프트웨어에 의해 제공되고 사용자로부터 입력을 받는 입력 메커니즘을 제공하는 사용자 인터페이스 또는 프로세서 상에서 실행되는 하나 이상의 등급화 소프트웨어가, 결함의 각 부류에 대한 등급 라벨의 세트 및 대표적 트레이닝 영상 내에 존재하는 결함의 하나 이상의 부류를 특정한다. 소정의 예시적인 실시 형태에서, 사용자 인터페이스는 결함의 특정된 부류 각각에 대해 개별적인 등급 라벨을 각각의 영상 클러스터에 배정하는 입력을 받기 위한 입력 메커니즘을 포함한다.
추가의, 또는 대안적인 예시적 실시 형태에서는, 프로세서 또는 컴퓨터를 사용하여 대표적 트레이닝 영상 내에 존재하는 다수의 결함 부류를 결정하고 결함의 특정된 부류 각각에 대하여 복수의 영상 클러스터 각각에 심각도 라벨을 배정한다. 일부 특정 예시적 실시 형태에서는, 프로세서 상에서 실행되는 등급화 소프트웨어가 대표적 트레이닝 영상 내에 존재하는 다수의 결함 부류를 특정하고, 결함의 특정된 부류 각각에 대하여 복수의 영상 클러스터 각각에 심각도 라벨을 배정한다.
전술한 예시적 실시 형태 중 어느 하나에서, 등급화 소프트웨어는 각각의 영상 클러스터에 대한 결함의 부류에 배정된 개별적인 등급 라벨 각각을 그 영상 클러스터 내의 모든 트레이닝 영상에 자동으로 전파할 수 있다.
추가의 실시 형태에서 본 방법은, 각각의 트레이닝 영상의 화소값으로부터 각각의 트레이닝 영상에 대한 수치화된 디스크립터를 계산함으로써, 컴퓨터 상에서 등급화 소프트웨어를 실행하여 복수의 트레이닝 영상 각각으로부터 특징부를 추출하는 단계를 포함한다. 본 방법은 트레이닝 영상의 수치화된 디스크립터를 등급화 소프트웨어로 처리하여 트레이닝 영상의 대표적 서브세트를 자동으로 선택하는 단계, 및 등급화 소프트웨어로 제1 클러스터링 공정을 수행하여 트레이닝 영상의 대표적 서브세트의 수치화된 디스크립터를 처리하고 트레이닝 영상의 대표적 서브세트에 대하여 복수의 영상 클러스터를 계산하는 단계를 추가로 포함한다.
일부 예시적인 실시 형태에서, 등급화 소프트웨어는 프로세서 상에서 실행되며, 여기서 등급화 소프트웨어는 각각의 트레이닝 영상의 화소값으로부터 각각의 트레이닝 영상에 대하여 수치화된 디스크립터를 계산함으로써 복수의 트레이닝 영상 각각으로부터 특징부를 추출하는 특징부 추출 모듈을 포함하고, 여기서 등급화 소프트웨어는 트레이닝 영상의 수치화된 디스크립터를 처리하기 위한 제1 클러스터링 공정을 수행하여 트레이닝 영상의 대표적 서브세트를 자동으로 선택하고 트레이닝 영상의 대표적 서브세트에 대하여 복수의 영상 클러스터를 계산한다. 등급화 소프트웨어에 의해 제공되고 사용자로부터 입력을 받는 입력 메커니즘을 갖는 사용자 인터페이스 또는 프로세서 상에서 실행되는 하나 이상의 등급화 소프트웨어가, 결함의 각 부류에 대한 개별적인 등급 라벨의 세트 및 대표적 트레이닝 영상 내에 존재하는 결함의 하나 이상의 부류를 특정한다.
따라서, 일부 특정 예시적 실시 형태에서 본 방법은, 결함의 각 부류에 대한 등급 라벨의 세트 및 대표적 트레이닝 영상 내에 존재하는 결함의 하나 이상의 부류를 특정하는 입력을 사용자로부터 받기 위한 등급화 소프트웨어를 가진 사용자 인터페이스를 제공하는 단계; 결함의 특정된 부류 각각에 대하여 각각의 영상 클러스터에 개별적인 등급 라벨을 배정하는 입력을 받는 단계; 및, 각각의 영상 클러스터에 대하여, 등급화 소프트웨어를 이용하여, 영상 클러스터에 대한 결함의 부류에 배정된 개별적인 등급 라벨 각각을 그 영상 클러스터 내의 모든 트레이닝 영상에 자동으로 전파하는 단계를 추가로 포함한다.
그러나, 다른 추가의, 또는 대안적인 예시적 실시 형태에서 본 방법은, 결함의 각 부류에 대한 등급 라벨의 세트 및 대표적 트레이닝 영상 내에 존재하는 결함의 하나 이상의 부류를 특정하는 입력을 컴퓨터로부터 받는 단계를 추가로 포함한다. 소정의 이러한 실시 형태에서, 컴퓨터로부터 입력을 받는 단계는, 컴퓨터를 사용하여 대표적 트레이닝 영상 내에 존재하는 다수의 결함 부류를 결정하고 결함의 특정된 부류 각각에 대하여 복수의 영상 클러스터 각각에 심각도 라벨을 배정하는 단계를 추가로 포함한다.
본 기술은 하나 이상의 이점을 제공할 수 있다. 예를 들어, 트레이닝 데이터의 방대한 세트를 수동으로 라벨링하는 것이 동반하는 내재적 문제점의 관점에서, 본 명세서에 기술된 전산화 도구는, 인간의 전문 지식을 효율적으로 이용하는 방식으로 인간을 루프 내에 여전히 유지하는 가운데, 방대한 데이터세트를 라벨링하는 이 지루한 공정의 일부를 자동화한다. 이는 감독/반-감독 분류 알고리듬(supervised/semi-supervised classification algorithm)의 트레이닝 단계를 통해 개발된 모델이 전산화 검사 시스템에 의해 성공적으로 적용되는 것을 가능하게 할 수 있다.
본 발명의 하나 이상의 실시 형태들의 상세 사항이 첨부 도면 및 이하의 설명에 기술되어 있다. 본 발명의 다른 특징부, 목적 및 이점이 설명 및 도면, 그리고 특허청구범위로부터 명백하게 될 것이다.
도 1은, 본 명세서에 기술된 기술이 적용될 수 있는, 예시적인 웨브 제조 및 전환 시스템을 도시하는 블록 다이어그램이다.
도 2는 예시적인 웨브 제조 공장에서의 검사 시스템의 예시적인 실시 형태를 도시하는 블록 다이어그램이다.
도 3은 소프트웨어 등급화 도구의 예시적 작동을 도시하는 흐름도이다.
도 4 내지 9는 등급화 도구에 의해 제공되는 사용자 인터페이스의 예시적 특징부를 도시한다.
도 1은, 본 명세서에 기술된 기술이 적용될 수 있는, 예시적 시스템(2)을 도시하는 블록 다이어그램이다. 웨브 제조 공장(6A 내지 6N)(웨브 제조 공장(6))은 웨브 롤(7)의 형태로 웨브 재료를 제조 및 운송하는 제조 현장을 나타낸다. 웨브 제조 공장(6)은 지리적으로 분산되어 있을 수 있고, 각각의 웨브 제조 공장은 하나 이상의 제조 공정 라인을 포함할 수 있다. 일반적으로, 웨브 롤(7)은 제조 공장(6) 중 어느 하나에 의해 제조되고 추가의 처리를 위해 웨브 제조 공장 사이에 운송될 수 있다. 완성된 웨브 롤(10)은 제품(12A 내지 12N)(제품(12))으로의 전환을 위해 전환 현장(8A 내지 8N)(전환 현장 (8))으로 운송된다. 도 1에 나타낸 바와 같이, 전환 제어 시스템(4), 웨브 제조 공장(6A 내지 6M)(웨브 제조 공장(6)), 및 전환 현장(8A 내지 8N)(전환 현장(8))은 웨브 재료의 제조 및 제품(12)으로의 전환에 관련된 정보(예를 들어, 결함 정보) 교환을 위하여 컴퓨터 네트워크(9)에 의해 상호연결된다.
일반적으로, 웨브 롤(7, 10)은, 하나의 방향으로 고정된 치수를 갖고 직교하는 방향으로 미리설정된 또는 부정의 길이를 갖는 임의의 시트형 재료일 수 있는 제조된 웨브 재료를 포함할 수 있다. 웨브 재료의 예는 금속, 종이, 직물(woven), 부직물(non-woven), 유리, 중합체 필름, 연성 회로 또는 이들의 조합을 포함하지만, 이에 한정되는 것은 아니다. 금속은 강철 또는 알루미늄과 같은 재료를 포함할 수 있다. 직물은 일반적으로 다양한 천(fabric)을 포함한다. 부직물은 종이, 필터 매체, 또는 절연 재료와 같은 재료를 포함한다. 필름은 예를 들어 라미네이트 및 코팅된 필름을 비롯한 투명 및 불투명 중합체 필름을 포함한다.
전환 현장(8)은 완성된 웨브 롤(10)을 웨브 제조 공장(6)으로부터 받아 고객(14A 내지 14N)(고객(14))에게 판매하기 위한 제품(12) 내로 혼입시키기 위하여 완성된 웨브 롤(10)을 개별적인 시트로 전환할 수 있다. 전환 시스템은 제품에 연계된 등급 수준과 같은 다양한 기준을 기반으로 주어진 완성된 웨브 롤(10)을 어느 제품(14)으로 전환시킬 것인지를 결정할 수 있다. 즉, 어느 시트가 어느 제품(12)에 혼입되어야 하는지의 선택 공정은 각각의 시트가 만족시키는 특정 등급 수준을 기반으로 할 수 있다. 본 명세서에 기술된 기술에 따르면, 전환 현장(8)은 완성된 웨브 롤(10)에서의 이상, 즉 잠재적인 결함에 관한 데이터를 또한 수신할 수 있다. 궁극적으로, 전환 현장(8)은 완성된 웨브 롤(10)을 고객(14A 내지 14N)(고객(14))에 판매하기 위한 제품(12)에 포함될 수 있는 개별 시트들로 전환할 수 있다.
제품(12)에 포함시킬 개별 시트로 전환할 준비가 된 완성된 웨브 롤(10)을 생산하기 위해, 미완성된 웨브 롤(7)은 하나의 웨브 제조 공장, 예를 들어, 웨브 제조 공장(6A) 내에서 또는 다수의 제조 공장 내에서 다수의 공정 라인의 처리를 거칠 필요가 있을 수 있다. 각각의 공정에 대해, 웨브 롤은 전형적으로 그로부터 웨브가 제조 공정으로 공급되도록 하는 소스 롤(source roll)로서 사용된다. 각각의 공정 후, 웨브는 전형적으로 웨브 롤(7)로 다시 수집되고, 상이한 제품 라인으로 이동되거나, 상이한 제조 공장으로 운송된 다음, 그곳에서 풀리고, 처리되며, 다시 롤로 수집된다. 이 공정은 궁극적으로 완성된 웨브 롤(10)이 제조될 때까지 반복된다. 많은 응용에 대해, 각각의 웨브 롤(7)을 위한 웨브 재료는 하나 이상의 웨브 제조 공장(6)의 하나 이상의 제조 라인에서 적용되는 다수의 코팅을 가질 수 있다. 코팅은 일반적으로 제1 제조 공정의 경우에는 베이스 웨브 재료의 노출된 표면에, 또는 후속 제조 공정의 경우에는 이전에 적용된 코팅의 노출된 표면에 적용된다. 코팅의 예는 접착제, 하드코트(hardcoat), 낮은 접착성의 배면 코팅, 금속화된 코팅, 중성 밀도 코팅, 전기 전도성 또는 비전도성 코팅, 또는 이들의 조합을 포함한다.
웨브 롤(7) 중 주어진 것을 위한 각각의 제조 공정 중에, 하나 이상의 검사 시스템이 웨브에 대한 이상 정보를 획득한다. 예를 들어, 도 2에 도시된 바와 같이, 제조 라인을 위한 검사 시스템은 웨브가 처리될 때, 예를 들어 하나 이상의 코팅이 웨브에 적용될 때, 연속적으로 이동하는 웨브에 아주 근접하게 위치되는 하나 이상의 영상 획득 장치를 포함할 수 있다. 영상 획득 장치는 디지털 영상을 얻기 위해 연속적으로 이동하는 웨브의 순차적인 부분들을 스캔한다. 검사 시스템은 하나 이상의 알고리듬으로 영상을 분석하여 웨브가 전환되는 궁극적 제품(12)에 따라 실제의 "결함"을 대표할 수 있는 소위 "국소" 이상 정보를 생성시킬 수 있다. 검사 시스템은, 예를 들어, 각각의 결함이 단일 영역에 국한된 "점" 결함에 대한 이상 정보를 생성시킬 수 있다. 다른 예로서, 검사 시스템은 웨브 재료가 넓은 영역에 걸쳐 불균일한 가변성을 나타내는 "불균일" 결함 또는 "불균일성"에 대한 이상 정보를 생성시킬 수 있다. 이러한 불균일성의 예는 얼룩(mottle), 채터(chatter), 밴딩(banding), 및 줄무늬를 포함한다.
웨브 제조 공장 내의 분석 컴퓨터는 본 명세서에서 "분류기"라고 지칭되는 알고리듬을 적용할 수 있으며, 이는 각각의 포착된 디지털 영상(즉, "샘플")에 품질 등급(즉, 라벨)을 배정한다. 분석 컴퓨터는 웨브가 제조됨에 따라 실시간으로 알고리듬을 적용하거나 웨브에 대한 모든 영상 데이터가 포착된 후에 오프라인으로 알고리듬을 적용할 수 있다. 어느 경우이든, 라벨은 웨브의 각각의 상응하는 지역을 품질 수준으로 분류한다. 일례에서는, 라벨이 각각의 지역을 합격 또는 불합격으로 분류한다. 다른 예로서, 분류기는 변동의 정도에 상응하는 정교한 라벨의 세트를 배정할 수 있다. 배정된 라벨을 궁극적으로 사용하여 웨브가 전환되는 특정 제품(12)을 기반으로 웨브 재료의 지역을 합격시키거나 불합격시킬 수 있다.
분류 공정 중에, 트레이닝 데이터를 기반으로 개발된 분류 모델의 적용에 의해 분석 컴퓨터가 포착된 디지털 영상을 분류한다. 트레이닝 데이터는 전형적으로 알고리듬의 "트레이닝 단계"중에 처리되며 분류 모델은 트레이닝 데이터에 최상으로 일치하도록 개발된다. 즉, 트레이닝 단계 및 분류 모델의 개발 후에, 트레이닝 데이터에 분류 모델을 적용하는 것은 정확성의 높은 확률을 동반하여 트레이닝 데이터를 라벨링할 것이다. 일단 트레이닝 데이터로부터 모델이 개발되면, 분석 컴퓨터는 새로 제조된 제품으로부터 포착된 샘플에 잠재적으로 실시간으로 처리의 "분류 단계" 중에 모델을 적용한다.
일부 실시 형태에서, 주어진 제조된 웨브에 대한 디지털 영상의 분류는 전환 제어 시스템(4)에 의해 오프라인으로 수행될 수 있다. 주어진 웨브에 대한 분류를 기반으로, 전환 제어 시스템(4)은 각각의 웨브 롤(10)에 대해 전환 플랜을 선택하고 생성시킬 수 있다. 소정의 이상이 하나의 제품, 예를 들어 제품(12A)에서는 결함을 유발하는 반면에 그 이상이 상이한 제품, 예를 들어 제품(12B)에서는 결함을 유발하지 않을 수 있다는 점에서, 분류는 응용-특이적(application-specific)일 수 있다. 각각의 전환 계획은 궁극적으로 고객(14)에게 판매될 수 있는 제품(12)을 만들기 위해 대응하는 완성된 웨브 롤(10)을 처리하는 정의된 명령어를 나타낸다. 예를 들어, 웨브 롤(10)은 노트북 컴퓨터의 디스플레이에 적용하기 위한 최종 제품, 예를 들어 소정 사이즈의 시트로 전환될 수 있다. 또 다른 예로서, 동일한 웨브 롤(10)이 대신에 휴대 전화의 디스플레이에 적용하기 위한 최종 제품으로 전환될 수 있다. 전환 제어 시스템(4)은, 이상에 적용될 수 있는 상이한 결함 검출 알고리듬들을 고려하여, 어떤 제품이 웨브의 최대 이용도와 같은 소정의 파라미터들을 최상으로 달성하는지를 식별할 수 있다.
도 2는 도 1의 예시적인 웨브 제조 공장(6A)에서 웨브 공정 라인(21)의 일부분 내에 위치하는 검사 시스템의 예시적인 실시 형태를 도시하는 블록 다이어그램이다. 이 예시적인 실시예에서, 웨브(20)의 세그먼트가 2개의 지지 롤(22, 24) 사이에 위치된다. 영상 획득 장치(26A 내지 26N)(영상 획득 장치(26))는 연속적으로 이동하는 웨브(20)에 아주 근접하여 위치하며, 연속적으로 이동하는 웨브(20)의 순차적인 부분을 스캔하여 영상 데이터를 얻는다. 획득 컴퓨터(27)는 영상 획득 장치(26)로부터 영상 데이터를 수집하여 분석 컴퓨터(28)로 영상 데이터를 전송한다.
영상 획득 장치(26)는, 이동하는 웨브(20)의 순차적인 부분을 판독할 수 있고 디지털 데이터 스트림의 형태로 출력을 제공할 수 있는 종래의 영상화 장치일 수 있다. 도 2에 도시된 바와 같이, 영상화 장치(26)는 디지털 데이터 스트림을 직접 제공하는 카메라, 또는 추가의 아날로그-디지털 컨버터를 구비한 아날로그 카메라일 수 있다. 예를 들어, 레이저 스캐너와 같은 다른 센서가 영상 획득 장치로서 이용될 수 있다. 웨브의 순차적인 부분은 데이터가 연속하는 단일 라인에 의해 획득됨을 지시한다. 단일 라인은 단일 열의 센서 요소 또는 픽셀에 매핑되는 연속적으로 이동하는 웨브의 영역을 포함한다. 영상을 획득하는 데 적절한 장치의 예는 Dalsa(캐나다 온타리오주 워털루 소재)의 Piranha 모델, 또는 Atmel(미국 캘리포니아주 산호세 소재)의 모델 Aviiva SC2 CL 등의 라인스캔 카메라를 포함한다. 추가의 예는 아날로그-디지털 컨버터와 함께 서피스 인스펙션 시스템즈 게엠베하(Surface Inspection Systems GmbH)(독일 뮌헨)로부터의 레이저 스캐너를 포함한다.
영상 데이터는 영상의 입수를 지원하는 광학 조립체의 이용을 통해 임의로 획득될 수 있다. 이 조립체는 카메라의 부품일 수 있거나, 카메라와는 별개일 수 있다. 광학 조립체는 영상화 공정 중에 반사된 광, 투과된 광, 또는 반투과반사된(transflected) 광을 이용한다. 반사된 광은 예를 들어 표면 스크래치와 같은 웨브 표면 변형부에 의해 야기된 결함의 검출에 흔히 적합하다.
몇몇 실시예에서, 기준 마크 제어기(fiducial mark controller)(30)는 웨브(20)로부터 롤 및 위치 정보를 수집하기 위해 기준 마크 판독기(fiducial mark reader)(29)를 제어한다. 예를 들어, 기준 마크 제어기(30)는 웨브(20)로부터 바코드 또는 다른 표식을 판독하기 위한 하나 이상의 사진-광학 센서(photo-optic sensor)를 포함할 수 있다. 또한, 기준 마크 제어기(30)는 웨브(20) 및/또는 롤러(22, 24)에 관여된 하나 이상의 고정밀 인코더로부터 위치 신호를 받을 수 있다. 이 위치 신호에 기초하여, 기준 마크 제어기(30)는 각각의 검출된 기준 마크에 대한 위치 정보를 결정한다. 기준 마크 제어기(30)는 롤 및 위치 정보를 검출된 이상과의 연계를 위해 분석 컴퓨터(28)에 전달한다.
분석 컴퓨터(28)는 획득 컴퓨터(27)로부터의 영상 데이터의 스트림을 처리한다. 즉, 본 명세서에 기술된 기술에 따라, 분석 컴퓨터(28)는 분류기를 적용하여 트레이닝 데이터(35)를 기반으로 개발된 분류 모델(34)("모델(34)")에 따라 포착된 각각의 디지털 영상에 품질 등급(즉, 라벨)을 배정한다. 분류기 및 분류기 제작에 관한 추가의 상세 사항은 PCT 국제 출원 공개 제WO 2010/059679호에 기술되어 있다.
전형적으로 트레이닝 데이터(35)는 하나 이상의 전문가(38)에 의해 등급이 배정된 대표적 샘플 디지털 영상의 방대한 세트로 구성된다. 디지털 영상은, 예를 들어, 웨브(20) 또는 웨브 공정 라인(21)에 의해 사전에 제조된 다른 웨브로부터 채취된 샘플을 대표한다.
따라서, 일부 예시적인 실시 형태에서, 트레이닝 서버(36)는 전산화 전문 등급화 도구(37)("등급화 도구(37)")를 제공하는 소프트웨어의 실행을 위한 작동 환경을 제공하여, 샘플을 대표하는 다량의 디지털 영상에 전문가(38)가 효율적이고 일관성 있게 등급(즉, 라벨)을 배정하는 것을 지원한다. 즉, 하나 이상의 전문가(38)는 전문 등급화 도구(37)에 의해 제공되는 사용자 인터페이스와 상호작용하여 샘플 세트의 각각의 디지털 영상에 품질 등급을 배정한다. 본 명세서에 추가로 상세하게 기술되는 바와 같이, 전문 등급화 도구(37)는 하나 이상의 전문가(38)가 결함의 대표 유형을 식별하고 영상에 전문 등급을 배정하기 위하여 트레이닝 데이터(35) 내의 영상의 클러스터를 시각화하고 수정하며, 트레이닝 데이터를 탐색할 수 있게 하는 사용자 인터페이스를 제공한다.
더욱 구체적으로, 전문 등급화 도구(37)는 샘플 영상의 클러스터링 및 오더링을 위한 특징부를 포함하는, 직관적이고 구성가능한 양식으로 데이터를 시각화하기 위한 메커니즘을 제공한다. 전문 등급화 도구(37)는 또한, 데이터 내에 나타나는 다중 유형의 결함을 탐색하고 전문 등급을 효율적으로 배정하기 위한 사용이 용이한 인터페이스를 제공한다. 추가로 전문 등급화 도구(37)는, 결함에 대한 영상의 가장 적절한 서브세트를 자동으로 식별 및 선택하고 추가의 사용자 상호작용이 필요 없이 이 서브세트로부터 나머지 영상으로 라벨을 전파하는 능력을 포함하는, 매우 방대한 데이터세트를 라벨링하기에 이상적인 역량을 갖는다. 이는 감독/반-감독 분류 알고리듬의 트레이닝 단계의 결과가 제조 공장(6) 내의 전산화 검사 시스템에 의해 성공적으로 적용될 수 있게 한다. 전문가(38)는 국소 사용자 인터페이스를 통해 트레이닝 서버(36)와 직접 상호작용하거나(예를 들어, 제조 공장(6A) 내의 전문가(38A)) 네트워크(9)에 의해 원격으로 상호작용할 수 있다(예를 들어, 전문가(38B)).
다른 예시적 실시 형태에서는, 추가로, 또는 대안적으로, 샘플을 대표하는 다량의 디지털 영상에 컴퓨터가 등급(즉, 라벨)을 자동으로 배정하도록 하는 것이 바람직할 수 있다. 예를 들어, 트레이닝 서버(36)는, 예를 들어, 각각의 영상에서 관찰되는 결함의 수를 기반으로 결함 부류 내로 유사한 영상을 함께 그룹화하여 결함 부류의 수의 추산을 자동으로 제공함으로써, 샘플 세트의 각각의 디지털 영상에 품질 등급을 자동으로 배정하는 소프트웨어의 실행을 위한 작동 환경을 제공할 수 있다. 예를 들어, 영상으로부터 추출된 특징부를 비교하고 그들의 유사성을 계산함으로써 이를 실행할 수 있을 것이다. 일단 이를 실행하면, 예를 들어 영상을 결함을 나타내는 다른 영상과 비교하고 다른 것에 대해 현재 영상에 나타나는 심각도를 추산함으로써, 각각의 결함 부류 내의 영상에 라벨의 초기 추산 또한 자동으로 배정할 수 있을 것이다.
전문 등급화 도구(37)는 적어도 부분적으로 또는 심지어 전체적으로, 하나 이상의 하드웨어 마이크로프로세서, 디지털 신호 프로세서(DSP: digital signal processor), 응용 특이적 집적 회로(ASIC: application specific integrated circuit), 필드 프로그램 가능 게이트 어레이(FPGA: field programmable gate array), 또는 임의의 다른 균등한 집적 또는 개별 논리 회로와 더불어 이러한 구성요소의 임의의 조합을 포함하는, 트레이닝 서버(36)의 하나 이상의 프로세서에 의해 실행되는 소프트웨어 명령어로서 시행될 수 있다. 소프트웨어 명령어는 임의 접근 기억장치(RAM: random access memory), 판독 전용 기억장치(ROM: read only memory), 프로그램 가능 판독 전용 기억장치(PROM: programmable read only memory), 소거 및 프로그램 가능 판독 전용 기억장치(EPROM: erasable programmable read only memory), 전자적 소거 및 프로그램 가능 판독 전용 기억장치(EEPROM: electronically erasable programmable read only memory), 플래시 기억장치, 하드 디스크, CD-ROM, 플로피 디스크, 카세트, 자기 매체, 광학 매체, 또는 다른 컴퓨터-판독가능 저장 매체와 같은 비-일시적 컴퓨터 판독가능 매체 내에 저장될 수 있다.
예시를 목적으로 제조 공장(6A) 내에 위치하는 것으로 나타내지만, 트레이닝 서버(36) 및 등급화 도구(37)는 제조 공장의 외부, 예를 들어 중앙 위치 또는 전환 현장에 위치할 수 있다. 예를 들어, 트레이닝 서버(36) 및 등급화 도구(37)는 전환 제어 시스템(4) 내에서 작동할 수 있다. 이러한 예에서, 트레이닝 서버(36)는 분류 모델(34)을 웨브 재료(20)로부터 수집된 샘플에 적용하기 위하여 분석 컴퓨터(28)에 전달한다.
일단 트레이닝 데이터(35) 및 분류 모델(34)이 확립되었으면, 트레이닝 서버(36)는 트레이닝 데이터를 처리하여 웨브 재료(20)에 대해 획득 컴퓨터(27)로부터 받은 영상 데이터의 실시간 분석 및 분류를 위한 후속 용도로 모델(34)을 생성시킨다. 이러한 방식으로, 웨브 재료(20)의 지역의 새로운 영상을 분류 모델(34)에 따라 분류할 수 있다. 분석 컴퓨터(28)는 신경망(neural network), 적응 제어(adaptive control), 데이터 마이닝(data mining), 유전 프로그래밍(genetic programming), 클러스터 분석, 주성분 분석(principal component analysis), 패턴 인식, 및 컴퓨터 비전을 포함하는 기계 학습과 같이 전문적으로 등급화된 트레이닝 데이터(35)를 사용할 수 있는 임의의 기술을 이용할 수 있다. 검출될 수 있는 예시적인 결함은 얼룩, 채터, 밴딩, 및 줄무늬와 같은 불균일성과 더불어, 반점(spot), 스크래치, 및 오일 드립(oil drip)을 포함하는 점 결함을 포함한다.
분석 컴퓨터(28)는 웨브(20)에 대한 롤 식별 정보 및 각각의 이상에 대한 위치 정보를 포함하는 웨브(20)에 대한 이상 정보를 데이터베이스(32) 내에 저장한다. 예를 들어, 분석 컴퓨터(28)는 기준 마크 제어기(30)에 의해 생성되는 위치 데이터를 이용하여 공정 라인의 좌표계 내에서 각각의 이상의 영상 지역 또는 공간적 위치를 결정할 수 있다. 즉, 기준 마크 제어기(30)로부터의 위치 데이터를 기반으로, 분석 컴퓨터(28)는 현재의 공정 라인에 의해 사용되는 좌표계 내에서 각각의 이상에 대한 x, y, 및 가능하게는 z 위치 또는 범위를 결정한다. 예를 들어, x 치수가 웨브(20)를 가로지른 거리를 나타내고, y 치수가 웨브의 길이를 따른 거리를 나타내며, z 치수가 웨브에 이전에 적용된 코팅, 재료 또는 다른 층의 수에 기초할 수 있는 웨브의 높이를 나타내도록, 좌표계가 정의될 수 있다.
또한, x,y,z 좌표계에 대한 원점은 공정 라인 내의 물리적 위치에 정의될 수 있고, 전형적으로 웨브(20)의 초기 공급 배치와 연관된다. 데이터베이스(32)는 데이터 저장 파일 또는 하나 이상의 데이터베이스 서버에서 실행되는 하나 이상의 데이터베이스 관리 시스템(DBMS)을 비롯한 다수의 상이한 형태 중 임의의 형태로 구현될 수 있다. 데이터베이스 관리 시스템은 예를 들어 관계형(RDBMS), 계층형(HDBMS), 다차원(MDBMS), 객체 지향형(ODBMS 또는 OODBMS) 또는 객체 관계형(ORDBMS) 데이터베이스 관리 시스템일 수 있다. 일례로서, 데이터베이스(32)는 마이크로소프트 코포레이션(Microsoft Corporation)으로부터의 SQL 서버(SQL Server™)에 의해 제공된 관계형 데이터베이스로서 구현된다.
일단 공정이 종료되었으면, 분석 컴퓨터(28)는 데이터베이스(32)에 수집된 데이터를 네트워크(9)를 통해 전환 제어 시스템(4)으로 전송할 수 있다. 예를 들어, 분석 컴퓨터(28)는 롤 정보와 더불어 이상 정보 및 각각의 이상에 대한 각각의 서브-영상을 분류 모델(34)에 따른 후속의 오프라인 상세 분석을 위해 전환 제어 시스템(4)에 전달할 수 있다. 예를 들어, 정보는 데이터베이스(32)와 전환 제어 시스템(4) 사이의 데이터베이스 동기화에 의해 전송될 수 있다. 몇몇 실시예에서, 분석 컴퓨터(28)보다는, 전환 제어 시스템(4)이 제품들(12) 중의 각각의 이상이 결함을 야기할 수 있는 그 제품을 결정할 수 있다. 일단 완성된 웨브 롤(10)에 대한 데이터가 데이터베이스(32)에 수집되었으면, 데이터는 전환 현장(8)에 전달되고/되거나, 웨브 롤 상에, 제거가능한 또는 세척가능한 마크로 웨브의 표면 상에 직접, 또는 웨브 상에 이상을 마킹하기 전에 또는 마킹하는 중에 웨브에 적용될 수 있는 커버 시트 상에, 이상을 마킹하기 위해 사용될 수 있다.
도 3은 등급화 도구(37)의 예시적 작동을 도시하는 흐름도이다. 초기에, 등급화 도구(37)는 전형적으로 영상(50)의 세트의 형태인 트레이닝 데이터(35)를 입력으로서 받는다. 그 다음에, 등급화 도구(37)의 특징부 추출 소프트웨어 모듈이 각각의 영상을 처리하여 특징부(52)를 추출한다. 특징부 추출은 각각의 영상에 내재적인 관련 정보의 간결한 수치적 표현으로서 각각의 영상의 수치화된 디스크립터를 제공한다. 트레이닝 세트 내의 영상 사이의 관계에 대한 유용한 정보를 보존하면서, 동시에 정보성이 없는 영상 특징을 제거하는 임의의 방식으로 특징부를 추출할 수 있다.
통상적인 특징부 추출 기술의 예는 필터의 세트로 영상을 컨볼빙(convolving)하고 필터된 영상의 통계를 계산하는 단계, 또는 색 또는 강도 히스토그램을 기반으로 특징부를 추출하는 단계를 포함한다. 간혹 화소값을 특징부로서 사용할 수 있으나, 이 경우에는 전형적으로 전체 영상이 저장되어야 하므로 디스크립터에 간결성이 없다. 일반적으로, 얻어진 특징부를 상응하는 영상 내의 관련 정보의 간결한 표현으로서 처리한다. 일 실시 형태에서, 특징부는 특정 응용에 특이적이지만, 대신에 특징부의 풍부한 세트를 제공하며, 이로부터 상이한 응용은 상이한 특징부 서브-세트를 사용할 수 있다. 즉, 이러한 예에서는, 복잡한 응용-특이적 필터의 사용을 통해 특징부를 추출하지 않는다. 오히려, 필터는 영상들의 유사성을 측정하기 위하여 영상들 사이의 직접 쌍대 비교를 용이하게 할 뿐이다. 등급화 도구(37)는 임의의 특정 특징부 추출 방법론과의 용도로 한정되지 않으며, 다른 유형의 특징부가 더욱 적절한 응용에 용이하게 적용될 수 있다.
관련 영상 정보를 간결한 형태로 압축하는 하나의 예시적 방식은, 특히 그것이 질감(texture)에 관련될 경우, 영상을 가로질러 화소 특징부의 작은 공분산 매트릭스(small covariance matrix)를 계산하는 것이다. 일단 이러한 작은 공분산 매트릭스(예를 들어, 5x5)가 추출되면, 영상을 직접 취급하는 대신에 이들 매트릭스만을 기반으로 하여 영상들 사이의 쌍대 비교를 효율적으로 실행할 수 있다. 예를 들어, 흑백 영상은 I(x, y)와 같이 화소 좌표 x 및 y에 의해 지표화된 2-차원 어레이로서 정의된다. 각각의 화소 위치(x, y)에서, 화소의 강도값 및 그 화소에서의 그들의 1차 및 2차 도함수를 기반으로 특징부 벡터를 추출한다:
Figure 112013042778264-pct00001
각각의 화소에서 강도값 사이의 전향차분 또는 중심차분을 단순히 계산함으로써 영상 도함수(구배)를 근사화할 수 있다. 최종적으로, 전체 영상에 걸쳐 이들 화소 특징부의 공분산 매트릭스를 계산한다:
Figure 112013042778264-pct00002
여기서 N은 영상 내의 화소의 수이고:
Figure 112013042778264-pct00003
는 화소 특징부의 평균이다. 알고리듬의 클러스터링 단계를 포함하는 후속의 처리 단계에서는, 영상들 사이의 쌍대 거리(pair-wise distance)를 계산하는 것이 유용할 수 있다. 이들 공분산 매트릭스 디스크립터의 경우, 쌍대 거리는 하기와 같이 계산된다:
Figure 112013042778264-pct00004
여기서 λ i (CI1 ;CI2)는 2개 공분산 매트릭스의 i 번째 일반화된 고유값이다.
추가의 상세 사항은 본 명세서에 참고로 포함된 문헌[O. Tuzel, F. Porikli, and P. Meer. "Region Covariance: A Fast Descriptor for Detection and Classification." Proceedings of the European Conference on Computer Vision, 2006]에서 확인할 수 있다.
각각의 트레이닝 영상에 대해 특징부를 추출한 후에, 등급화 도구(37)는 클러스터링 단계(53)에 진입하며, 여기서 영상으로부터 추출된 표현적 특징부를 기반으로 영상이 클러스터링된다. 트레이닝 및 시험 분류 알고리듬에 사용되는 영상의 세트가 흔히 대략 수만개의 영상으로 매우 방대한 것은 드문 일이 아니다. 대부분의 방대한 데이터세트는 현저한 중복을 함유하기 때문에 대표적 서브세트만 상세히 분석하면 되므로, 이렇게 많은 영상을 상세하게 시각화하고 클러스터링하는 것은 전형적으로 짧은 기간에 실현가능하지 않으며 더욱이 불필요할 수 있다.
일부 예시적인 실시 형태에서, 컴퓨터 또는 프로세서는 컴퓨터 또는 프로세서 상에서 실행되는 소프트웨어로부터 자동으로 정보를 받으며, 이는 대표적 트레이닝 영상 내에 존재하는 결함의 하나 이상의 부류 및 결함의 각 부류에 대한 등급 라벨의 세트를 특정한다. 따라서, 이러한 소정의 실시 형태에서, 컴퓨터 또는 프로세서는 대표적 트레이닝 영상 내에 존재하는 다수의 결함 부류를 결정하고 결함의 특정된 부류 각각에 대한 복수의 영상 클러스터 각각에 심각도 라벨을 배정하기 위해 사용되는 소프트웨어(예를 들어 등급화 도구(37))를 실행한다. 일부 특정 예시적 실시 형태에서는, 컴퓨터 또는 프로세서 상에서 실행되는 등급화 소프트웨어가 대표적 트레이닝 영상 내에 존재하는 다수의 결함 부류를 특정하고, 결함의 특정된 부류 각각에 대하여 복수의 영상 클러스터 각각에 심각도 라벨을 배정한다.
소정의 예시적인 실시 형태에서, 존재하는 결함 유형의 수의 결정 및 그들 결함 부류 각각의 영상에 대한 심각도 라벨의 배정 중 하나 또는 양자 모두를 사용자 입력으로서 받고/받거나, 예를 들어 컴퓨터 또는 프로세서 상에서 소프트웨어를 실행하여 그들 입력의 전부 또는 일부를 자동으로 계산 또는 추산함으로써 컴퓨터로부터의 입력으로서 받을 수 있다. 그러나, 컴퓨터로부터 입력을 받는 것은 다양한 방식으로 이루어질 수 있음을, 당업자는 이해할 것이다.
본 명세서에 각도 양자화(Angle Quantization) 방법으로 지칭되는 일례로서, 다른 단계에 의해 특정 순서로 한정되거나 제한되지 않는 한 임의의 순서로 실행될 수 있는 하기 단계들을 실행함으로써 컴퓨터가 입력을 받을 수 있다. 제1 단계(상기에 추가로 기술됨)는 처리할 영상의 대표적 서브세트를 선택하는 단계, 이들 영상 각각으로부터 표현적 수치화된 특징부 벡터를 추출하는 단계, 및 그들을 클러스터링하는 단계를 포함한다. 먼저 포괄 중심(global centroid)이라고 지칭되는 특징부 공간 내의 모든 영상의 중심(즉, 모든 영상으로부터 추출된 특징부 디스크립터의 평균)을 계산한 후에, 포괄 중심으로부터 각각의 개별적인 클러스터의 중심까지의 벡터의 각도를 다른 클러스터에 대한 벡터와 비교하여 계산함으로써, 컴퓨터 또는 프로세서 상에서 실행되는 소프트웨어에 의해 존재하는 결함 유형의 수를 추산할 수 있다. 가능하게는 다중인 클러스터의 세트가 그들 사이에 매우 작은 각도를 가진 벡터를 갖는 것으로 밝혀질 경우, 이 클러스터의 세트는 단일 유형의 결함을 가진 영상을 대표하는 것으로 추정될 수 있다. 그들 사이에 작은 각도를 가진 벡터를 가진 이러한 클러스터의 세트 전부를 식별하는 단계는 존재하는 결함 유형의 수를 결정할 것이다.
일단 결함의 각 유형이 식별되면, 그것은 포괄 중심으로부터 유래하는 단일 벡터에 의해 대표될 수 있으며, 먼저 이 결함 유형을 포함하는 클러스터의 벡터를 정규화한 후에 그들의 평균을 계산함으로써 계산될 수 있다. 최종적으로, 주어진 결함 부류 내의 영상의 심각도 라벨은, 특정 결함 유형에 대한 대표적 벡터 상에 이 영상의 벡터의 투영(projection)을 계산함으로써(포괄 중심으로부터 특징부 공간 내의 이 영상까지) 자동으로 추산할 수 있으며, 여기서 결함 심각도는 이 투영의 길이에 의해 주어진다.
본 명세서에 토픽 모델링(Topic Modeling) 방법으로 지칭되는 다른 예로서, 다른 단계에 의해 특정 순서로 한정되거나 제한되지 않는 한 임의의 순서로 실행될 수 있는 하기 단계들을 실행함으로써 컴퓨터가 입력을 받을 수 있다. 각도 양자화 방법에서와 같이 일단 영상이 클러스터링되면, 각각의 영상(또는, 많은 수의 영상이 있을 경우, 각각의 클러스터의 중심)을 특정된 크기의 정방형 패치로 분할한다. 이어서, 생성 확률론적 공정(generative probabilistic process)으로서 영상 형성을 모델화하며, 그 목적은 영상이 생성되는 이론적 공정을 가능한 한 정확하게 모델화하기 위한 시도이다. 이러한 생성 모델에 따라, 결함 유형의 혼합물로부터 각각의 영상을 제작하며, 이들 각각은 이 영상을 제작하기 위해 어느 패치를 선택할 것인지에 영향을 미칠 것이다. 이 생성 공정을 지배하는 파라미터는, 예를 들어 마르코프 체인 몬테 카를로 샘플링(Markov Chain Monte Carlo sampling)과 같은 확률론적 추론 기술(probabilistic inference technique)을 사용하여 영상으로부터 학습된다. 이 추론의 결과는, 세트 내의 각각의 영상이 이들 결함의 어떤 혼합물로서 모델화된, 이들 영상에서 발견되는 다양한 유형의 결함의 모델을 생성시킬 것이다. 이는 또한, 주어진 영상 내의 각각의 결함 유형의 기여(즉, 심각도 수준)를 측정하는 수단을 제공할 것이다.
추가의, 또는 대안적인 예시적 실시 형태에서는, 하나 이상의 전문가(38)가 전문 등급화 도구(37)에 의해 제공되는 사용자 인터페이스와 상호작용하여 샘플 세트의 각각의 디지털 영상에 품질 등급을 배정하고, 등급화 도구(37)가 영상의 대표적 서브세트를 자동으로 선택하여 라벨링 공정(54)에서 전문가(38)를 보조한다. 전문가(38)가 활발히 데이터를 탐색하고 존재하는 결함의 유형을 식별하는 것을 지원하기 위하여, 등급화 도구(37)는 정상 수준의 불완전성을 가진 영상의 예와 더불어 트레이닝 데이터(35) 내에 존재하는 결함의 상이한 유형의 극단적인 예를 함유하도록 서브세트를 자동으로 선택한다.
이러한 예시적인 일 실시 형태에서, 등급화 도구(37)는 상대적으로 극단적인 불완전성의 경우를 구별하기 위해 화소 강도의 분산을 이용하며, 이는 웨브-기반의 제품의 영상에서 불균일성(즉, 질감)을 특성화하기에 충분한 것으로 관찰되었다. 추가로, 화소 분산을 계산하는 단계는 상대적으로 계산상 저가이며, 이는 트레이닝 영상의 매우 방대한 세트에 유리할 수 있다. 상기 개관된 공분산 매트릭스 디스크립터의 경우, 추가의 계산이 필요하지 않도록 화소 강도 분산이 매트릭스 C I 의 좌상단 요소에 주어진다. 이러한 예에서, 서브 세트 선택의 제1 단계는 최고 분산을 가진 N 1 영상을 식별하는 것이다(54). 이들은 트레이닝 데이터(35) 내의 가장 결함이 있는 N 1 영상에 대략 상응한다. 서브세트가 전체로서의 세트를 대표하는 것 또한 중요하므로, 등급화 도구(37)는 또한 나머지 세트로부터 무작위로 N 2 영상을 선택한다. N 1 + N 2 영상의 이러한 세트는 초기 서브세트 S 0 (도 3에서 "서브세트(0)"으로 표기함)을 포함한다. 크기 N 1 및 N 2 는 사용자에 의해 선택된다.
추가로, 등급화 도구(37)는 S 0 에 의해 잘 대표되지 않는 S 0 에 이미 포함되지 않는 임의의 이상값을 포함하도록 서브세트를 생성시킨다(56). S 0 내에 있지 않은 각각의 나머지 영상을 처리하여, 상기 거리 함수(수학식 4)를 사용하여 특징부 공간 내에서 그의 k 최근방 이웃(kNN)을 식별한다. 용어 "특징부 공간"은 수학식 1에 상기 정의된 특징부 벡터와 같은 특징부 벡터의 차원에 의해 정의되는 다차원 공간을 지칭한다. 그의 모든 kNN까지의 거리가 역치 T d 를 초과한다면, 영상은 이상값으로 간주된다. 파라미터 k 및 T d 는, 내정값을 사용할 수 있지만, 전문가(38)에 의해 구성될 수도 있다. 이는 전문가(38)가 상이한 값을 시도하여 결과를 고찰하는 것을 가능하게 한다. 예시적인 내정값은, 예를 들어, k = 5이고 T d = 1.0일 수 있다. 등급화 도구(37)는 이 방식으로 선택된 임의의 이상값을 사전에 선택된 N 1 + N 2 영상에 첨가하여 완전한 서브세트 S 1 (도 1에서 "서브세트(1)"로 표기함)을 형성시킨다.
트레이닝 영상의 대표적 서브세트 S 1 을 선택한 후에, 등급화 도구(37)는 클러스터링 알고리듬을 서브세트에 적용하여 서브세트 S 1 내의 것들로부터 상대적으로 유사한 영상의 작은 그룹을 형성시킨다(60). 등급화 도구(37)는 클러스터를 형성시켜 트레이닝 데이터세트의 더욱 직관적인 시각화를 제공하며 전문가(38)가 탐색하는 것을 더욱 용이하게 한다. 일례에서, 등급화 도구(37)는 상향 병합식 클러스터링 알고리듬(bottom-up agglomerative clustering algorithm)을 적용하여 그들의 공분산 매트릭스 디스크립터에 따라 서브세트 S 1 내에 영상 클러스터를 형성시킨다. 이 공정에서, 각각의 영상은 초기에 별도의 클러스터로서 처리되며, 사전에 확립된 클러스터를 사용하여 연속되는 클러스터를 식별한다. 예를 들어, (4)를 사용하여 계산한 영상간 거리를 기반으로, 등급화 도구(37)는 병합식 계층형 연결 트리(agglomerative hierarchical linkage tree)를 형성시키며, 이는 트레이닝 데이터 사이의 계층형 상호관계를 압축한다. 전문가(38)에 의해 특정되는 바와 같이, 구성된 수의 클러스터 N c 를 생성시키기 위하여, 등급화 트리는 소정의 지점에서 공정을 종료한다(즉, 연결 트리를 마감함). 병합식 계층형 클러스터링에 대한 추가의 정보는 문헌[W.H.E. Day and H. Edelsbrunner, "Efficient Algorithms for Agglomerative Hierarchical Clustering Methods."Journal of Classification, vol. 1, no. 1, pp. 7-24, 1984]에서 확인할 수 있다.
다수의 클러스터(예를 들어, 일부 경우에 수백개)가 존재할 수 있으므로, 등급화 도구(37)는 또한, 가장 유사한 그룹이 서로 아주 근접하여 디스플레이되도록 클러스터를 서로에 대해 오더링한다. 이는 제2 병합식 계층형 연결 트리를 형성하는 등급화 도구(37)에 의해 이루어지며, 이 경우에 클러스터 자체 사이의 상호관계를 압축한다. 따라서, 제2 트리의 최저 수준(단말 노드(leaf node))을 관찰함으로써 클러스터의 오더링을 얻을 수 있다. 제2 계층형 연결 트리를 형성시키기 위하여, 등급화 트리(37)는 영상 클러스터를 쌍대 양식으로 분석하고 각각의 클러스터 쌍 사이의 쌍대 클러스터간 거리를 계산한다. 각각의 클러스터 사이의 클러스터간 거리를 사용하여 제2 연결 트리를 형성시킨다. 일례에서, 등급화 트리(37)는 2개 클러스터 내의 영상 사이의 개별적인 거리의 중앙값으로서 2개 클러스터 사이의 거리를 계산한다. 등급화 도구(37)는 제2 트리의 단말 노드의 배열을 이용하여 영상 클러스터의 디스플레이를 제어함으로써, 공간적으로 서로 아주 근접한 가장 유사한 영상 클러스터를 디스플레이한다. 이는 전문가(38)가 트레이닝 테이터에 의해 대표되고 그 안에 존재하는 결함을 이해하는 것을 보조한다.
일부 예시적인 실시 형태에서, 연결 트리의 개발에 의해 트레이닝 영상을 클러스터링한 후에, 등급화 도구(37)는 사용자 인터페이스를 제공하며, 이에 의해 클러스터링이 시각적으로 불합격인 경우에 클러스터를 시각화하고 영상을 재배정하는 기회가 전문가에게 주어진다(62). 이어서, 사용자는 각각의 영상을 독립적으로 라벨링하는 것이 아니라 영상의 각각의 클러스터에 전문 등급을 배정하며(64), 등급화 도구(37)는 이들 전문 등급을 추가의 사용자 상호작용이 필요 없이 영상의 나머지 세트에 전파함으로써, 전체 데이터세트에 대한 전문 등급이 얻어진다(66). 즉, 등급화 도구(37)는 본 명세서에 기술된 알고리듬을 적용하여 트레이닝 영상의 전체 데이터세트에 전문 등급을 자동으로 배정한다. 다시 말하면, 전문가(38)는 등급화 도구(37)에 의해 제공되는 사용자 인터페이스를 사용하여, 각각의 식별된 결함 부류 내에서, 서브세트 S 1 내의 영상 클러스터의 전부(또는 일부)에 전문 등급만 배정하면 된다.
등급화 도구(37)는 서브세트 S 1 내에 있지 않은 영상을 포함하는, 라벨링되지 않은 나머지 영상에 이들 전문 등급을 자동으로 전파한다. 라벨링되지 않은 각각의 영상 I u 에 대하여, 이 영상으로부터 라벨링된 각각의 영상 I l 까지의(즉, 전문 등급이 배정된 서브세트 S 1 내의 각각의 영상까지의) 쌍대 거리를 등급화 도구(37)가 거리 함수(수학식 4)를 사용하여 계산한다. 이어서, 하기 수학식에 따라 이들 거리를 쌍대 친화도로 전환한다:
Figure 112013042778264-pct00005
여기서 대역폭(bandwidth) 파라미터 σ는 거리
Figure 112013042778264-pct00006
에 대한 발견적 작동(heuristic operating)에 따라 선택된다. 이들 친화도는 하기와 같은 가중치에 대해 정규화된다:
Figure 112013042778264-pct00007
분량
Figure 112013042778264-pct00008
는 특징부 공간을 통한 무작위 행보(random walk)에서 영상 I u 로부터 영상 I l 로 이행하는 확률에 상응하며 w는
Figure 112013042778264-pct00009
이도록 정규화된다.
최종적으로, 이 결함 부류 내에서 전문 등급 e에 속하는 영상 I u 의 확률은 하기와 같이 계산된다:
Figure 112013042778264-pct00010
여기서 Ⅱ는 표시 함수(indicator function)로서, 라벨링된 영상
Figure 112013042778264-pct00011
가 이 결함 부류 내에서 전문 등급 e로 배정되었으면
Figure 112013042778264-pct00012
이고, 그렇지 않으면 0이다. 각각의 가능한 전문 등급 e에 대해 구성원 p e ( I u )의 확률을 계산하고, 최고 확률을 가진 것을 라벨링되지 않은 영상 I u 에 대한 전문 등급으로서 선택한다. 각각의 결함 부류 내에서 라벨링되지 않은 모든 영상에 대하여 등급화 도구(37)는 이 공정을 반복한다. 라벨 전파에 관련된 추가의 예시적 정보는 문헌[X. Zhu and Z. Ghahramani, "Learning from Labeled and Unlabeled Data with Label Propagation." CMU CALD Technical Report CMU-CALD-02-107, 2002]에서 확인할 수 있으며, 그 전체 내용은 본 명세서에 참고로 포함된다.
도 3으로 돌아가면, 일부 예시적인 실시 형태에서, 영상의 각 클러스터에 전문가(38)가 전문 등급을 배정하고 나머지 영상에 라벨이 자동으로 전파된 후에, 등급화 도구(37)는 전문가가 트레이닝 데이터(35)를 탐색하고 필요한 경우에 라벨 배정을 조정하여(68) 궁극적으로 트레이닝 데이터(35)의 전체 세트에 대한 전문 등급을 생성시키는 것을 가능하게 한다. 이러한 방식으로, 등급화 도구(37)는 자동 서브세트 선택 및 트레이닝 데이터(35) 내의 영상의 더 방대한 세트에 대한 전문 등급의 후속 전파를 위한 기능을 제공한다. 결과적으로, 영상이 현저한 중복을 함유하더라도 등급화 도구(37)는 전문가(38)가 방대한 데이터세트(예를 들어, 대략 수만개의 영상)에 등급을 배정하고 용이하게 취급하는 것을 가능하게 할 수 있다.
도 4는 등급화 도구(37)의 사용자 인터페이스에 의해 제공되는 예시적인 윈도우(80)의 도시이며, 이에 의해 전문가(38)는 파라미터를 구성하여 클러스터링 공정을 제어한다. 이러한 예에서, 윈도우(80)는 전문가(38)가 트레이닝 영상의 디렉토리, 트레이닝 영상의 체제, 결과 출력 및 등급화 도구가 영상의 새로운 클러스터링을 수행해야 하는지 또는 판독이 이전의 클러스터링 공정으로부터의 결과를 입력하는 것인지를 지시하는 선택을 위한 디렉토리를 특정하는 입력 메커니즘을 포함한다.
추가로, 전문가(38)는 클러스터링 공정을 제어하기 위한 소정의 파라미터를 특정할 수 있다. 특히, 윈도우(80)는 등급화 도구(37)가 그 안에 트레이닝 영상을 체계화하고자 하는 클러스터의 수를 특정하기 위한 입력 필드를 포함한다. 상기와 같이, 등급화 도구(37)는 사용자에 의해 특정된 클러스터의 원하는 수를 이용하여, 제1 연결 트리를 생성시킴에 있어서 특정된 클러스터의 수를 충족하거나 초과하는 단말 노드의 수를 갖도록 클러스터링 공정을 단축한다. 추가로, 전문가(38)는 트레이닝 데이터(35)가 방대한 데이터세트인지, 그리고 본 명세서에 기술된 바와 같이 등급화 도구(37)가 클러스터링을 위한 영상의 대표적 서브세트를 자동으로 식별해야 하는지를 특정할 수 있다. 이 경우에, 전문가(38)는 또한 대표적 서브세트 S 0 의 크기, 즉, 포함할 최고 분산을 갖는 영상의 수 N 1 (도 4에서 150) 및 나머지 영상으로부터 무작위로 선택할 영상의 수 N 2 (도 4에서 50)를 제어하기 위한 파라미터를 특정할 수 있다. 이러한 N 1 + N 2 영상의 세트는 초기 서브세트 S 0 을 포함한다. 추가로, 전문가(38)는 등급화 도구(37)가 대표적 세트 S 1 내에 이상값을 포함할 것인지를 특정할 수 있으며, 그렇다면 각각의 영상에 대한 특징부 공간 내에서 조사할 최근방 이웃의 수 k(kNN)(도 4에서 5) 및 영상을 이상값으로서 특성화하기 위한 역치 T d (도 4에서 1.0)를 특정할 수 있다.
도 5는 클러스터링 작동의 결과를 디스플레이하기 위하여 등급화 도구(37)에 의해 제공되는 예시적인 클러스터 고찰 윈도우(90)의 도시이다. 보이는 바와 같이, 영상 클러스터는 2개의 별도 패널(91A, 91B) 내에 시각적으로 디스플레이되며, 이를 통해 사용자는 내장된 하이퍼링크를 사용하여 클러스터를 검색하고 탐색할 수 있다. 좌측 패널(91A)은 각각의 클러스터(92A 내지 92N)로부터 단일 대표적(중심) 영상을 디스플레이함으로써 클러스터링 결과의 고수준 개요를 제공한다. 각각의 클러스터에 대하여, 패널(91A)은 대표적 영상, 클러스터와 연계된 식별자, 및 괄호 안에 그 클러스터에 배정된 영상의 수를 디스플레이한다. 예를 들어, 클러스터(92A)는 "10"의 식별자를 가지며 3개의 영상이 그 클러스터에 배정되었다. 등급화 도구(37)는 스크롤이 가능한 패널(91A) 내에 상기 제2 병합식 계층형 연결 트리에 따라 클러스터(94A 내지 94N)를 배열하여 유사한 영상을 함유하는 클러스터가 패널 내에서 서로 아주 근접하여 위치되도록 한다. 다시 말하면, 등급화 도구(37)는 스크롤이 가능한 패널(91A)내에 제2 병합식 계층형 연결 트리의 단말 노드에 따라 클러스터를 배열할 수 있다.
더욱 상세하게 탐색하기 위하여, 전문가(38)는 이어서 임의의 클러스터(92)에 대한 대표적 영상 또는 식별자를 선택(예를 들어, 클릭)하여 그 안에 함유된 영상을 우측 패널(91B) 내에서 고찰할 수 있다. 도 5의 예에서, 전문가(38)는 검토를 위해 클러스터(92A)(즉, 식별자 10을 갖는 클러스터)를 선택하였다. 이러한 예에서, 패널(91B)은 클러스터에 배정되고 모두 서로 강력한 유사성을 지닌 3개의 영상을 나타내며, 이는 클러스터링 알고리듬이 그들을 적절하게 그룹화하였음을 나타낸다. 패널(91A)에 의해 제공되는 바와 같이 서브세트 S1 내의 영상의 그룹화 및 오더링으로 인하여, 전문가(28)는 클러스터링된 트레이닝 데이터(35)를 매우 직관적인 방식으로 탐색할 수 있다. 이는 수동 검토 및 라벨 배정을 위해 사용자에게 다량의 체계화되지 않은 영상이 단순히 제공될 수 있는 다른 기술에 비해 유리할 수 있다. 본 명세서에 기술된 클러스터링 및 시각화 역량은 전문가(38)를 위해 데이터 탐색 작업을 단순화할 수 있으며, 전문가가 대표적 트레이닝 데이터 내에 존재하는 결함의 유형을 신속하게 식별하는 것을 가능하게 한다.
도 5에 나타낸 바와 같이, 클러스터 고찰 윈도우(90)는 입력 지역(96)을 포함하며, 이를 이용하여 전문가(38)는, 영상을 상이한 클러스터 또는 새로운 클러스터로 이동시키는 능력을 포함하여, 개별적인 영상의 클러스터 배정을 수정하기 위해 상호작용한다. 추가로 입력 지역(98)은, 2개의 클러스터를 합병하는 능력, 및 디스플레이 순서의 상이한 위치로 클러스터를 물리적으로 이동시키는 능력을 포함하여, 사용자가 클러스터 자체와 상호작용하는 것을 가능하게 한다. 등급화 도구(37)는 클러스터 고찰 윈도우(90) 내의 디스플레이 패널(91A, 91B)을 실시간으로 자동 업데이트하여 클러스터 배정 중에 생긴 변화를 반영한다. 이러한 방식으로, 등급화 도구(37)는 전문가(38)가 트레이닝 데이터(35) 내의 대표적 영상의 그룹화 또는 배정의 임의의 유형에 관한 최종 결정(final say)을 가질 수 있도록 하는 방식으로 사용될 수 있다. 궁극적으로 클러스터링 및 오더링 작동의 목적은 트레이닝 데이터를 시각화하고 등급화하는 향상된 능력을 제공하는 것이므로, 이는 또한 시각화의 관점에서 유연한 추가 수단을 제공한다.
추가로, 클러스터 고찰 윈도우(90)는 트레이닝 데이터(35) 내에 존재하는 결함 부류의 수를 정의하기 위한 입력 지역(100)을 포함한다. 클러스터 고찰 윈도우(90)는 또한, 영상에 전문 등급을 배정하기 위한 입력 지역(104)을 포함한다. 각각의 입력 지역(100, 102)은 하기에 추가로 상세히 논의된다.
소정의 예시적인 실시 형태에서는, 대표적 트레이닝 영상 내에 존재하는 결함의 하나 이상의 부류를 특정하는 입력을 사용자로부터 받는 등급화 소프트웨어를 가진 사용자 인터페이스를 제공하는 것이 바람직할 수 있다. 하나의 예시적인 사용자 인터페이스를 도 6에 나타낸다. 도 6은 고찰 윈도우(90)의 입력 지역(100)을 추가로 상세히 나타낸다. 이러한 예에서, 전문가(38)는 클러스터 고찰 윈도우(90)를 통한 클러스터링된 트레이닝 데이터(35)의 검토 및 탐색을 기반으로 트레이닝 데이터 내에 3개의 결함 부류가 존재함을 지시하였다. 도 7에 나타낸 바와 같이, 일단 전문가(38)가 결함 부류의 수를 설정하면, 클러스터 고찰 윈도우(90)는 다른 메뉴(102)를 동일한 위치에 제공하여 사용자가 결함 부류의 명칭을 입력할 수 있도록 하며, 이는 그들을 식별하기 위한 의미 있는 방식을 제공한다. 도 7의 예에서, 전문가(38)는 트레이닝 데이터(35) 내에 식별된 결함 부류의 3개 유형에 대해 "채터", "얼룩", 및 "줄무늬"의 명칭을 입력하였다. 대표적 트레이닝 데이터에 대한 결함 부류의 수 및 각각의 결함 부류에 대한 명칭을 배정하는 동안 클러스터링된 트레이닝 데이터를 검색하고 시각화하는 선택사항을 전문가가 여전히 갖도록, 클러스터 고찰 윈도우(90) 내의 디스플레이 패널(91A, 91B)은 전문가(38)가 입력 지역(100) 및 메뉴(102)와 상호작용하는 동안 개방된 채로 유지된다.
도 8은 트레이닝 데이터(35)의 대표적 서브세트 S 1 내의 영상 클러스터에 전문 등급 라벨을 배정하기 위한 클러스터 고찰 윈도우(90)의 입력 지역(104)을 나타낸다. 일단 전문가(38)가 입력 지역(100) 및 메뉴(102)와 상호작용하여 데이터 내에 존재하는 결함 부류의 수 및 명칭을 배정하였으면, 등급화 도구(37)는 전문가가 입력 지역(104)과 상호작용하여 트레이닝 데이터(35)의 영상에 전문 등급을 배정하는 것을 가능하게 한다. 이 작업을 크게 단순화하기 위하여, 등급화 도구(37)는 전문가(38)가 개별적인 영상을 라벨링해야 하는 대신에(이는 상당히 지루하고 오차가 발생하기 쉬울 수 있음), 전체 클러스터에 등급 라벨을 배정하는 것을 가능하게 한다. 추가로, 전문가(38)는 어떠한 클러스터도 라벨링하지 않는 선택사항을 갖는다. 후속 처리에서, 서브세트 S 1 내에 있지 않은 나머지 영상에 라벨이 전파될 때, 라벨링되지 않은 임의의 클러스터 내의 영상에도 라벨이 전파된다. 도 6에서 알 수 있는 바와 같이, 클러스터 고찰 윈도우(90)는 전문가(38)가 클러스터 내의 모든 결함 부류를 동시에 라벨링하는 것을 가능하게 한다. 예를 들어, 도 6에서, 전문가(38)는 트레이닝 데이터의 클러스터 "13" 내의 결함 "채터", "얼룩", 및 "줄무늬"에 대해 "5," "1", 및 "1"의 라벨을 특정하였다. 추가로, 일례에서는, 배정될 수 있는 전문 등급의 유형에 등급화 도구(37)가 제한을 두지 않는다. 라벨은 여기에 나타낸 "1" 및 "5" 라벨과 같이 수치화될 수도 있고, 또는 그들은 문자형 "합격" 및 "불합격" 라벨일 수도 있을 것이다. 일단 클러스터에 전문 등급이 배정되었으면, 패널 디스플레이(91)는 실시간으로 업데이트되어 이들 변화를 반영한다.
도 9는 등급화 도구(37)에 의해 제공되는 최종 전문 등급 고찰 윈도우(110)의 도시이며, 이를 이용하여 전문가(38)는 각각의 결함 부류 내의 전문 등급을 시각화하고 수정할 수 있다. 전문 등급 고찰 윈도우(110)는 모든 영상에 대해 최종 전문 등급 라벨을 디스플레이한다. 도 9에 나타낸 바와 같이, 전문 등급 고찰 윈도우(110)는 2개의 병렬 HTML 디스플레이 패널(112, 114)을 함유하며, 이를 통해 사용자는 내장된 하이퍼링크를 사용하여 페이지 전반을 검색함으로써 결과를 시각화할 수 있다. 전문 등급 고찰 윈도우(110)는 또한 전문 등급을 수정하기 위한 메뉴 선택사항(120)을 좌측에 함유한다.
시각화의 관점에서, 전문 등급 고찰 윈도우(110)는 직관적이고 전문가(38) 또는 다른 사용자가 이해하기 용이한 방식으로 라벨링 공정의 결과를 디스플레이한다. 일례로서, 전문 등급 고찰 윈도우(110)는 별도의 HTML 페이지 내의 각각의 결함 부류에 대한 결과를 디스플레이한다. 각각의 결함 부류에서, 각각의 가능한 전문 등급을 가진 영상을 그 결함 부류에 대한 HTML 페이지의 별도 부분으로서 패널(114) 내에 나타낸다. 예를 들어, 도 9에 나타낸 바와 같이, HTML 패널(112)은 결함 부류를 열거한다. 결함 부류 중 하나의 선택시에, HTML 패널(114)은 각각의 가능한 전문 등급에 대한 영상을 나타낸다. 이는 영상에 배정된 바와 같은 그 결함의 상이한 라벨을 기반으로 전문가(38)가 클러스터 의존적 방식으로 결함을 고찰하는 것을 가능하게 한다. 도 9의 예에서, 소프트웨어 도구는 페이지의 상단에 "1"의 라벨을 받은 영상으로 시작하여 결함 부류 1 (채터)" 내의 결과를 제공한다. 결함 부류에 이용된 각각의 라벨 및, 그 라벨에 대하여, 그 라벨로 배정된 각각의 영상을 전문가(38)가 검토할 수 있도록, HTML 패널(114)은 수직으로 스크롤이 가능하다.
데이터를 이해하는 사용자의 능력을 추가로 향상시키기 위하여, 등급화 도구(37)는 다른 클러스터링 작동을 수행하여 주어진 결함 부류 내의 각각의 가능한 전문 등급 내에서 영상을 유사한 영상의 상대적으로 작은 그룹으로 클러스터링한다. 등급화 도구(37)는 현재 선택된 결함 부류(예를 들어, "결함 부류 1(채터)")에 대해 HTML 패널(114)을 생성시켜 각각의 클러스터의 중심 영상 만을 나타내며, 이는 디스플레이 상에 작고 관리가능한 수의 영상 만을 유지하는 것을 보조한다. 예를 들어, 채터 결함 부류 내의 라벨 "1"에 대해, 등급화 도구(37)는 HTML 패널(114)을 생성시켜 중심 영상(116)을 디스플레이했다. 전문가(38)는 각각의 클러스터에 대한 중심 영상을 클릭하여, 그 클러스터 내에 함유된 모든 영상이 디스플레이되는 다른 HTML 페이지를 검색할 수 있다.
HMTL 패널(114)을 생성시키기 위한 클러스터링 작동에 관하여, 등급화 도구(37)는 각각의 가능한 전문 등급 내에서 모든 결함 부류에 대해 별도의 클러스터링 계산을 수행한다. 즉, 기술된 바와 같이, 모든 결함 부류 내에서 각각의 영상은 전문 등급을 받는다. 다시 말하면, 각각의 결함 부류는 모든 영상을 함유하지만, 일반적으로 영상은 각각의 결함 부류 내에서 가능한 전문 등급 사이에 상이하게 분포한다. 예를 들어, 소정의 영상은 결함 부류 "채터" 내에서 "1"의 전문 등급을 가질 수 있으나, 결함 부류 "얼룩" 내에서는 "5"의 전문 등급을 가질 수 있다. 등급화 도구(37)는 별도의 클러스터링을 수행하여 각각의 결함 부류의 각각의 라벨에 대해 독립적인 연결 트리를 계산한다. 일례로서, 등급화 도구(37)는 결함 부류 채터" 내에서 전문 등급 "1"을 가진 영상 및 전문 등급 "5"를 가진 것들에 대해 클러스터링을 계산할 수 있으며, 다른 결함 부류 내에서도 마찬가지이다.
예시적인 일 실시 형태에서, 클러스터는 하기와 같이 계산된다. 결함 부류 c 내에서 전문 등급 e를 가진 영상의 세트를
Figure 112013042778264-pct00013
라고 지칭한다. 세트
Figure 112013042778264-pct00014
는 초기 서브세트 S 1 로부터의 영상과 더불어,
Figure 112013042778264-pct00015
로부터의 다른 영상 양자 모두로 이루어지며, 여기에 전문 등급이 전파되었다. 영상
Figure 112013042778264-pct00016
은 결함 부류 c 내에서 전문 등급 e를 가진 영상을 대표하며, 이는 본 발명자들이 사전에 라벨링한 초기 서브세트 S 1 내에 존재했다. S 1 내의 영상이 사전에 클러스터링되었으므로,
Figure 112013042778264-pct00017
내의 각각의 영상은 이미 클러스터에 배정되었다. 등급화 도구(37)는 이들 클러스터 배정을 사용하여
Figure 112013042778264-pct00018
의 클러스터링을 초기화한다. 즉, 이를 초기 클러스터링으로 사용하여 공정을 시작한 후, 새로운 영상이 순차적으로 그들에 첨가됨에 따라 이들 클러스터를 수정한다.
Figure 112013042778264-pct00019
내의 각각의 영상(즉, 클러스터 배정을 이미 갖지 않은
Figure 112013042778264-pct00020
내의 영상)에 대해, 본 발명자들은 그것에 가장 가까운
Figure 112013042778264-pct00021
내의 클러스터에 그것을 배정한다. 이 절차는 각각의 세트
Figure 112013042778264-pct00022
에 대해 완전히 새로운 클러스터링을 계산하는 것보다 더 효율적이며, 이는 그것이 본 발명자들의 S 1 의 이전 클러스터링을 탐색하고 나머지 영상
Figure 112013042778264-pct00023
을 점진적으로 클러스터링하기 때문이다.
전문 등급 고찰 윈도우(110)는 또한, 영상 명칭을 입력함으로써 임의의 영상에 대한 전문 등급을 수정하기 위한 좌측의 메뉴 선택사항(120)을 포함한다. 메뉴 선택사항(120)을 사용하여, 사용자는 모든 결함 부류 내의 영상의 현재 전문 등급을 고찰함과 더불어 필요한 경우에 그들을 변경하는 것 양자 모두를 할 수 있다.
본 발명의 다양한 실시 형태들이 설명되었다. 이들 및 다른 실시 형태가 이하의 특허청구범위의 범주 내에 속한다.

Claims (33)

  1. 각각의 트레이닝 영상(training image)의 화소값으로부터 각각의 트레이닝 영상에 대한 수치화된 디스크립터(descriptor)를 계산함으로써, 컴퓨터 상에서 등급화 소프트웨어(rating software)를 실행하여 복수의 트레이닝 영상 각각으로부터 특징부를 추출하는 단계;
    트레이닝 영상의 수치화된 디스크립터를 등급화 소프트웨어로 처리하여 트레이닝 영상의 대표적 서브세트를 자동으로 선택하는 단계;
    등급화 소프트웨어로 제1 클러스터링(clustering) 공정을 수행하여 트레이닝 영상의 대표적 서브세트의 수치화된 디스크립터를 처리하고 트레이닝 영상의 대표적 서브세트에 대한 복수의 영상 클러스터를 계산하는 단계;
    결함의 특정된 부류 각각에 대해 복수의 영상 클러스터 각각에 개별적인 등급 라벨을 배정하는 입력을 사용자 또는 컴퓨터 중 하나 이상으로부터 받는 단계
    (여기서 사용자로부터 입력을 받는 단계는, 등급화 소프트웨어를 가진 사용자 인터페이스를 제공하여 복수의 트레이닝 영상 내에 존재하는 결함의 하나 이상의 부류를 특정하는 입력을 사용자로부터 받는 단계를 추가로 포함하고,
    임의로 여기서 컴퓨터로부터 입력을 받는 단계는 컴퓨터를 사용하여 대표적 트레이닝 영상 내에 존재하는 다수의 결함 부류를 결정하고 결함의 특정된 부류 각각에 대하여 복수의 영상 클러스터 각각에 심각도(severity) 라벨을 배정하는 단계를 추가로 포함함); 및
    각각의 영상 클러스터에 대하여, 등급화 소프트웨어를 이용하여, 영상 클러스터에 대한 결함의 부류에 배정된 개별적인 등급 라벨 각각을 그 영상 클러스터 내의 모든 트레이닝 영상에 자동으로 전파하는 단계를 포함하는, 트레이닝 영상에 등급을 배정하는 방법.
  2. 제1항에 있어서, 등급화 소프트웨어를 이용하여, 결함의 각 부류에 대해 트레이닝 영상의 대표적 서브세트 내에 포함되지 않는 트레이닝 영상의 모든 나머지 것들에 등급 라벨을 자동으로 배정하는 단계를 추가로 포함하며, 임의로 여기서 등급화 소프트웨어를 이용하여 등급 라벨을 자동으로 배정하는 단계가, 트레이닝 영상의 대표적 서브세트 내에 포함되지 않는 라벨링되지 않은 트레이닝 영상 각각에 대해,
    라벨링되지 않은 트레이닝 영상의 수치화된 디스크립터에 대해 트레이닝 영상의 대표적 서브세트 내의 라벨링된 영상 각각의 수치화된 디스크립터까지의 쌍대 거리(pair-wise distance)를 계산하는 단계;
    결함의 특정된 부류 각각에 대해 확률의 세트를 계산하는 단계(여기서 결함의 각 부류에 대한 확률의 세트는 결함의 부류에 대해 특정된 각각의 등급 라벨에 대한 확률을 포함하며, 라벨링되지 않은 트레이닝 영상이 결함의 그 특정 부류에 대해 그 특정 등급 라벨이 배정된 트레이닝 영상의 구성원일 확률을 지시함); 및
    결함의 각 부류 내에서 최고 확률을 갖는 등급 라벨을 라벨링되지 않은 트레이닝 영상에 배정하는 단계를 포함하는, 트레이닝 영상에 등급을 배정하는 방법.
  3. 제1항에 있어서, 각각의 트레이닝 영상에 대한 수치화된 디스크립터를 계산하는 단계가,
    (a) 각각의 트레이닝 영상에 대해, 트레이닝 영상의 각각의 화소에서 복수의 이웃하는 화소에 대한 화소의 강도값의 하나 이상의 도함수를 기반으로 특징부 벡터(feature vector)를 계산하는 단계, 및 트레이닝 영상의 각각의 화소에 대한 특징부 벡터를 기반으로 트레이닝 영상에 대한 공분산 매트릭스를 계산하는 단계;
    (b) 각각의 트레이닝 영상에 대해, 트레이닝 영상의 화소값을 하나 이상의 필터로 컨볼빙(convolving)하여 트레이닝 영상에 대한 수치화된 디스크립터를 계산하는 단계; 또는
    (c) 각각의 트레이닝 영상에 대해, 트레이닝 영상의 화소의 강도값의 히스토그램을 계산하는 단계, 및 강도값의 히스토그램으로부터 트레이닝 영상에 대한 수치화된 디스크립터를 계산하는 단계
    중 하나를 포함하는, 트레이닝 영상에 등급을 배정하는 방법.
  4. 제1항에 있어서, 트레이닝 영상의 대표적 서브세트를 자동으로 선택하는 단계가,
    (a) 트레이닝 영상의 수치화된 디스크립터를 등급화 소프트웨어로 처리하여 각각의 트레이닝 샘플에 대한 화소 강도 분산을 계산하는 단계, 및 등급화 소프트웨어를 이용하여 트레이닝 영상의 대표적 서브세트 내에 포함할 최고 화소 강도 분산을 갖는 트레이닝 영상의 제1 서브세트를 식별하는 단계; 또는
    (b) 등급화 소프트웨어를 실행하여 제1 서브세트를 선택한 후에 남은 트레이닝 영상으로부터 제2 서브세트를 무작위로 선택하고 트레이닝 영상의 제2 서브세트를 포함할 대표적 서브세트를 계산하는 단계
    중 하나를 포함하는, 트레이닝 영상에 등급을 배정하는 방법.
  5. 프로세서;
    복수의 트레이닝 샘플을 저장하는 기억장치; 및
    프로세서 상에서 실행되는 등급화 소프트웨어(여기서 등급화 소프트웨어는 각각의 트레이닝 영상의 화소값으로부터 각각의 트레이닝 영상에 대하여 수치화된 디스크립터를 계산함으로써 복수의 트레이닝 영상 각각으로부터 특징부를 추출하는 특징부 추출 모듈을 포함하고, 여기서 등급화 소프트웨어는 트레이닝 영상의 수치화된 디스크립터를 처리하기 위한 제1 클러스터링 공정을 수행하여 트레이닝 영상의 대표적 서브세트를 자동으로 선택하고 트레이닝 영상의 대표적 서브세트에 대하여 복수의 영상 클러스터를 계산함)를 포함하고,
    여기서, 등급화 소프트웨어에 의해 제공되고 사용자로부터 입력을 받는 입력 메커니즘을 갖는 사용자 인터페이스 또는 프로세서 상에서 실행되는 하나 이상의 등급화 소프트웨어는, 결함의 각 부류에 대한 개별적인 등급 라벨의 세트 및 대표적 트레이닝 영상 내에 존재하는 결함의 하나 이상의 부류를 특정하고,
    여기서, 사용자 인터페이스는 결함의 특정된 부류 각각에 대해 개별적인 등급 라벨을 각각의 영상 클러스터에 배정하는 입력을 받기 위한 입력 메커니즘을 추가로 포함하고,
    임의로 여기서, 프로세서 상에서 실행되는 등급화 소프트웨어는 대표적 트레이닝 영상 내에 존재하는 다수의 결함 부류를 특정하며, 결함의 특정된 부류 각각에 대하여 복수의 영상 클러스터 각각에 심각도 라벨을 배정하고;
    여기서 각각의 영상 클러스터에 대하여, 등급화 소프트웨어는 영상 클러스터에 대한 결함의 부류에 배정된 개별적인 등급 라벨 각각을 그 영상 클러스터 내의 모든 트레이닝 영상에 자동으로 전파하며, 임의로 여기서 등급화 소프트웨어가 결함의 각 부류에 대해 트레이닝 영상의 대표적 서브세트 내에 포함되지 않는 트레이닝 영상의 모든 나머지 것들에 등급 라벨을 자동으로 배정하는, 트레이닝 영상에 등급을 배정하는 장치.
  6. 등급화 소프트웨어를 실행하는 서버를 포함하며, 여기서 서버는,
    프로세서;
    복수의 트레이닝 샘플을 저장하는 기억장치;
    프로세서 상에서 실행되는 등급화 소프트웨어(여기서 등급화 소프트웨어는 각각의 트레이닝 영상의 화소값으로부터 각각의 트레이닝 영상에 대하여 수치화된 디스크립터를 계산함으로써 복수의 트레이닝 영상 각각으로부터 특징부를 추출하는 특징부 추출 모듈을 포함하고, 여기서 등급화 소프트웨어는 트레이닝 영상의 수치화된 디스크립터를 처리하기 위한 제1 클러스터링 공정을 수행하여 트레이닝 영상의 대표적 서브세트를 자동으로 선택하며 트레이닝 영상의 대표적 서브세트에 대하여 복수의 영상 클러스터를 계산하고;
    여기서, 등급화 소프트웨어에 의해 제공되는 사용자 인터페이스 또는 프로세서 상에서 실행되는 하나 이상의 등급화 소프트웨어는, 결함의 각 부류에 대한 개별적인 등급 라벨의 세트 및 대표적 트레이닝 영상 내에 존재하는 결함의 하나 이상의 부류를 특정하며,
    추가로 여기서, 사용자 인터페이스는 결함의 특정된 부류 각각에 대해 개별적인 등급 라벨을 각각의 영상 클러스터에 배정하는 입력을 사용자로부터 받기 위한 입력 메커니즘을 포함하고,
    임의로 여기서, 프로세서 상에서 실행되는 등급화 소프트웨어는 대표적 트레이닝 영상 내에 존재하는 다수의 결함 부류를 특정하며, 결함의 특정된 부류 각각에 대하여 복수의 영상 클러스터 각각에 심각도 라벨을 배정하고,
    여기서, 각각의 영상 클러스터에 대하여, 등급화 소프트웨어는 영상 클러스터에 대한 결함의 부류에 배정된 개별적인 등급 라벨 각각을 그 영상 클러스터 내의 모든 트레이닝 영상에 자동으로 전파하며,
    추가로 여기서, 등급화 소프트웨어는 트레이닝 단계를 실행하여 트레이닝 영상에 배정된 등급 라벨을 기반으로 분류 모델을 계산함); 및
    웨브 재료의 순차적인 부분들을 스캔하여 샘플을 얻기 위한 전산화 검사 시스템(여기서 전산화 검사 시스템은 분류기를 적용하여 분류 모델에 따라 각각의 샘플에 등급을 배정함)을 포함하는, 웨브 제조 장치.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
KR1020137012504A 2010-10-19 2011-10-14 트레이닝 영상에 등급을 배정하는 방법 및 장치 KR101800057B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US39442810P 2010-10-19 2010-10-19
US61/394,428 2010-10-19
PCT/US2011/056377 WO2012054339A1 (en) 2010-10-19 2011-10-14 Computer-aided assignment of ratings to digital samples of a manufactured web product

Publications (2)

Publication Number Publication Date
KR20130126916A KR20130126916A (ko) 2013-11-21
KR101800057B1 true KR101800057B1 (ko) 2017-11-21

Family

ID=45975571

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137012504A KR101800057B1 (ko) 2010-10-19 2011-10-14 트레이닝 영상에 등급을 배정하는 방법 및 장치

Country Status (8)

Country Link
US (1) US8965116B2 (ko)
EP (1) EP2630474A4 (ko)
JP (1) JP5898221B2 (ko)
KR (1) KR101800057B1 (ko)
CN (1) CN103168227B (ko)
BR (1) BR112013008305A2 (ko)
SG (1) SG189840A1 (ko)
WO (1) WO2012054339A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102287954B1 (ko) * 2020-05-15 2021-08-06 강병진 인공지능 기반의 김 분류를 통한 상품화 및 품질 관리 시스템 및 방법
KR102617719B1 (ko) * 2023-02-07 2023-12-27 한국과학기술원 파일 정렬 시스템

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130179252A1 (en) * 2012-01-11 2013-07-11 Yahoo! Inc. Method or system for content recommendations
WO2014076360A1 (en) * 2012-11-16 2014-05-22 Metso Automation Oy Measurement of structural properties
US20140201208A1 (en) 2013-01-15 2014-07-17 Corporation Symantec Classifying Samples Using Clustering
CN103411974B (zh) * 2013-07-10 2017-02-08 杭州赤霄科技有限公司 基于云端大数据的平面材料检测远程系统及检测方法
KR101491461B1 (ko) * 2013-08-02 2015-02-23 포항공과대학교 산학협력단 공분산 기술자를 이용하는 물체 인식 방법 및 장치
US9767385B2 (en) * 2014-08-12 2017-09-19 Siemens Healthcare Gmbh Multi-layer aggregation for object detection
US10268927B2 (en) * 2014-10-14 2019-04-23 Eigen Innovations Inc. System, apparatus and method for configuration of industrial vision control modules
WO2016115280A1 (en) 2015-01-14 2016-07-21 Virta Laboratories, Inc. Anomaly and malware detection using side channel analysis
US20160321523A1 (en) * 2015-04-30 2016-11-03 The Regents Of The University Of California Using machine learning to filter monte carlo noise from images
WO2017029758A1 (ja) * 2015-08-20 2017-02-23 三菱電機株式会社 学習装置および学習識別システム
CN105480772B (zh) * 2015-11-26 2017-08-25 凌云光技术集团有限责任公司 卷装标签检剔分离系统及离线剔除设备的停机方法
US9928427B2 (en) * 2015-12-03 2018-03-27 GM Global Technology Operations LLC Vision-based wet road surface condition detection using tire rearward splash
CN105599440B (zh) * 2015-12-16 2017-11-14 凌云光技术集团有限责任公司 凹印机检剔分离工艺中的剔废方法及装置
US10181185B2 (en) * 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
US10235623B2 (en) * 2016-02-12 2019-03-19 Adobe Inc. Accurate tag relevance prediction for image search
US10664719B2 (en) 2016-02-12 2020-05-26 Adobe Inc. Accurate tag relevance prediction for image search
US10190991B2 (en) * 2016-11-03 2019-01-29 Applied Materials Israel Ltd. Method for adaptive sampling in examining an object and system thereof
KR102450374B1 (ko) * 2016-11-17 2022-10-04 삼성전자주식회사 데이터 인식 및 트레이닝 장치 및 방법
CN108038516B (zh) * 2017-12-27 2022-02-01 中山大学 基于低维图像编码与集成学习的白胚布平整度分级方法
NZ770514A (en) 2018-06-19 2022-11-25 Borealis Ag Method for evaluation of quality of laser printed samples
US11682113B2 (en) 2018-11-29 2023-06-20 Inspekto A.M.V. Ltd. Multi-camera visual inspection appliance and method of use
WO2020110129A1 (en) * 2018-11-29 2020-06-04 Inspekto A.M.V Ltd Centralized analytics of multiple visual inspection appliances
US11023710B2 (en) * 2019-02-20 2021-06-01 Huawei Technologies Co., Ltd. Semi-supervised hybrid clustering/classification system
KR20210041856A (ko) * 2019-10-08 2021-04-16 한국전자통신연구원 딥 러닝 기반으로 애니메이션 캐릭터를 학습하는 데 필요한 학습 데이터 생성 방법 및 장치
JP7442550B2 (ja) * 2019-12-20 2024-03-04 京東方科技集團股▲ふん▼有限公司 推論演算装置、モデル訓練装置、及び推論演算システム
CN111459779B (zh) * 2020-03-13 2023-01-06 苏州浪潮智能科技有限公司 一种服务器质量等级分类方法和系统
TW202147250A (zh) * 2020-04-22 2021-12-16 美商Ｐｄｆ對策公司 異常晶圓圖像分類
CN113808094A (zh) * 2021-09-10 2021-12-17 武汉联开检测科技有限公司 一种射线检测焊接缺陷图像评级系统及方法
US20230177155A1 (en) * 2021-12-02 2023-06-08 At&T Intellectual Property I, L.P. System for detection of visual malware via learned contextual models

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5911139A (en) 1996-03-29 1999-06-08 Virage, Inc. Visual image database search engine which allows for different schema
JP4132229B2 (ja) * 1998-06-03 2008-08-13 株式会社ルネサステクノロジ 欠陥分類方法
US6445834B1 (en) 1998-10-19 2002-09-03 Sony Corporation Modular image query system
JP4173246B2 (ja) 1999-04-28 2008-10-29 株式会社リコー 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体
US6999614B1 (en) * 1999-11-29 2006-02-14 Kla-Tencor Corporation Power assisted automatic supervised classifier creation tool for semiconductor defects
US7099860B1 (en) 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
US6681060B2 (en) 2001-03-23 2004-01-20 Intel Corporation Image retrieval using distance measure
US6847733B2 (en) 2001-05-23 2005-01-25 Eastman Kodak Company Retrieval and browsing of database images based on image emphasis and appeal
US7283659B1 (en) * 2002-01-09 2007-10-16 Kla-Tencor Technologies Corporation Apparatus and methods for searching through and analyzing defect images and wafer maps
JP4155496B2 (ja) * 2002-04-25 2008-09-24 大日本スクリーン製造株式会社 分類支援装置、分類装置およびプログラム
JP2004045356A (ja) * 2002-05-20 2004-02-12 Jfe Steel Kk 表面欠陥検出方法
JP2004109105A (ja) * 2002-07-23 2004-04-08 Jfe Steel Kk 表面欠陥検出における疵種分類境界設定方法、及び欠陥検出方法
US7233692B2 (en) * 2002-11-14 2007-06-19 Lockheed Martin Corporation Method and computer program product for identifying output classes with multi-modal dispersion in feature space and incorporating multi-modal structure into a pattern recognition system
US7162071B2 (en) 2002-12-20 2007-01-09 Taiwan Semiconductor Manufacturing Co., Ltd. Progressive self-learning defect review and classification method
US7359544B2 (en) * 2003-02-12 2008-04-15 Kla-Tencor Technologies Corporation Automatic supervised classifier setup tool for semiconductor defects
US20050135667A1 (en) * 2003-12-22 2005-06-23 Abb Oy. Method and apparatus for labeling images and creating training material
US7720289B2 (en) * 2005-12-14 2010-05-18 Mitsubishi Electric Research Laboratories, Inc. Method for constructing covariance matrices from data features
US7792353B2 (en) * 2006-10-31 2010-09-07 Hewlett-Packard Development Company, L.P. Retraining a machine-learning classifier using re-labeled training samples
US8175739B2 (en) * 2007-07-26 2012-05-08 3M Innovative Properties Company Multi-unit process spatial synchronization
US7542821B2 (en) * 2007-07-26 2009-06-02 3M Innovative Properties Company Multi-unit process spatial synchronization of image inspection systems
JP5255953B2 (ja) * 2008-08-28 2013-08-07 株式会社日立ハイテクノロジーズ 欠陥検査方法及び装置
WO2010059679A2 (en) 2008-11-19 2010-05-27 3M Innovative Properties Company Constructing enhanced hybrid classifiers from parametric classifier families using receiver operating characteristics
JP5063632B2 (ja) * 2009-03-10 2012-10-31 株式会社豊田中央研究所 学習モデル生成装置、対象物検出システム、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102287954B1 (ko) * 2020-05-15 2021-08-06 강병진 인공지능 기반의 김 분류를 통한 상품화 및 품질 관리 시스템 및 방법
KR102617719B1 (ko) * 2023-02-07 2023-12-27 한국과학기술원 파일 정렬 시스템

Also Published As

Publication number Publication date
CN103168227B (zh) 2016-01-20
US8965116B2 (en) 2015-02-24
WO2012054339A1 (en) 2012-04-26
BR112013008305A2 (pt) 2023-12-26
KR20130126916A (ko) 2013-11-21
EP2630474A4 (en) 2017-04-19
EP2630474A1 (en) 2013-08-28
US20130202200A1 (en) 2013-08-08
JP2013541715A (ja) 2013-11-14
CN103168227A (zh) 2013-06-19
JP5898221B2 (ja) 2016-04-06
SG189840A1 (en) 2013-06-28

Similar Documents

Publication Publication Date Title
KR101800057B1 (ko) 트레이닝 영상에 등급을 배정하는 방법 및 장치
KR20140031201A (ko) 웨브 기반 재료 내의 불균일성의 검출 시스템
JP5912125B2 (ja) ウェブベース材料における不均一性の高速処理と検出
JP2013541779A (ja) ウェブベースの材料のばらつきを検出するための、不均一性の厳しさ度の連続的なチャート化
Bisheh et al. A layer-by-layer quality monitoring framework for 3D printing
KR20060128979A (ko) 웹 기반 제품의 수율을 최대화하는 방법 및 시스템
JP2021515885A (ja) 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
US20240071059A1 (en) Active Learning Management System for Automated Inspection Systems
García et al. A configuration approach for convolutional neural networks used for defect detection on surfaces
JP5566616B2 (ja) 特性解析装置、特性解析方法をコンピュータに実行させるためのプログラム、上記プログラムを記録したコンピュータ読み取り可能な記録媒体
US20240046617A1 (en) Machine Learning-Based Generation of Rule-Based Classification Recipes for Inspection System
CN115082660A (zh) 信息处理方法、装置及电子设备和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right