KR20130139287A - 웨브-기반의 재료의 가변성 검출을 위한 불균일성 심각도의 연속 차트화 - Google Patents

웨브-기반의 재료의 가변성 검출을 위한 불균일성 심각도의 연속 차트화 Download PDF

Info

Publication number
KR20130139287A
KR20130139287A KR1020137012508A KR20137012508A KR20130139287A KR 20130139287 A KR20130139287 A KR 20130139287A KR 1020137012508 A KR1020137012508 A KR 1020137012508A KR 20137012508 A KR20137012508 A KR 20137012508A KR 20130139287 A KR20130139287 A KR 20130139287A
Authority
KR
South Korea
Prior art keywords
training
image
training image
web
software
Prior art date
Application number
KR1020137012508A
Other languages
English (en)
Inventor
에반 제이 리브닉
데이비드 엘 호펠트
데렉 에이치 저스티스
귈레르모 사피로
Original Assignee
쓰리엠 이노베이티브 프로퍼티즈 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쓰리엠 이노베이티브 프로퍼티즈 컴파니 filed Critical 쓰리엠 이노베이티브 프로퍼티즈 컴파니
Publication of KR20130139287A publication Critical patent/KR20130139287A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65H—HANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H43/00—Use of control, checking, or safety devices, e.g. automatic devices comprising an element for sensing a variable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
    • G06F18/21375—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps involving differential geometry, e.g. embedding of pattern manifold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Textile Engineering (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

제조된 웨브 재료 내의 불균일성 결함의 존재를 검출하고 각각의 결함의 심각도 수준을 지시하는 출력을 제공하기 위한 전산화 검사 시스템이 기술된다. 본 시스템은 실시간으로 불균일성 결함의 심각도 수준을 연속 척도로 제공하는 출력을 제공한다. 트레이닝 소프트웨어는 복수의 트레이닝 샘플을 처리하여 모델을 생성시키며, 여기서 각각의 트레이닝 샘플에는 불균일성 결함에 대한 불연속 등급 라벨의 세트 중 하나만을 배정하면 된다. 트레이닝 소프트웨어는 트레이닝 영상의 연속 순위를 나타내는 모델을 생성시키고, 검사 시스템은 출력을 트레이닝 샘플에 배정된 불연속 등급 라벨로 한정하지 않으면서, 모델을 이용하여 실시간으로 웨브 재료의 심각도 수준을 연속 척도로 계산한다.

Description

웨브-기반의 재료의 가변성 검출을 위한 불균일성 심각도의 연속 차트화 {CONTINUOUS CHARTING OF NON-UNIFORMITY SEVERITY FOR DETECTING VARIABILITY IN WEB-BASED MATERIALS}
관련 출원과의 상호 참조
본 출원은 그 개시 내용이 전체적으로 본 명세서에 참고로 포함된, 2010년 10월 19일자로 출원된 미국 가특허 출원 제61/394,655호의 이익을 주장한다.
본 발명은 이동하는 웨브의 검사를 위한 전산화 시스템과 같은 자동화 검사 시스템에 관한 것이다.
이동하는 웨브 재료의 분석을 위한 전산화 검사 시스템은 현대의 제조 작업에 중요한 것으로 판명되었다. 제조 라인의 목적은 완벽하게 균일하고 가변성이 배제된 재료를 제조하는 것이다. 그러나, 웨브-기반의 재료를 제조할 때 불균일성은 통상적인 문제점이다. 이는 많은 공정 변수 또는 제형화 오차에 의해 유발될 수 있다. 결과적으로, 광학적 검사 센서(예를 들어, 카메라)에 의해 포착된 디지털 영상을 기반으로 제조된 제품의 품질을 자동으로 분류할 수 있는 영상화-기반 검사 시스템을 활용하는 것이 점점 보편화되고 있다. 일부 검사 시스템은 흔히 "분류기"라고 지칭되는 알고리듬을 적용하며, 이는 각각의 포착된 디지털 영상(즉, "샘플")에 등급의 배정을 시도하여, 가장 단순한 경우에 샘플 또는 그의 일부가 합격인지 불합격인지를 지시한다.
이들 검사 시스템은 흔히, 각각의 결함이 제조된 재료의 단일 영역에 국한된 "점" 결함의 식별을 시도한다. 그러나, "불균일" 결함 또는 "불균일성"으로 지칭되는 다른 유형의 결함이 존재할 수 있으며, 여기에서는 웨브 재료가 넓은 영역에 걸쳐 불균일한 가변성을 나타낸다. 이러한 불균일성의 예는 얼룩(mottle), 채터(chatter), 밴딩(banding), 및 줄무늬를 포함한다. 이들과 같은 불균일성-유형의 결함은 정의상 분포되며 비-국한적이다. 결과적으로, 이러한 결함은 국한된 점 결함에 비해 전산화 검사 시스템이 검출하고 정량화하기가 더 어려울 수 있다. 결과적으로, 작업자 또는 품질 제어 기술자는 드문 드문 샘플링한 웨브 샘플을 오프라인에서 수동으로, 즉 제조가 완료된 후에 검사하는 것에 의존할 수 있다.
일반적으로, 본 개시는 불균일성 결함의 존재를 검출하고 각각의 결함의 심각도를 지시하는 출력을 제공하기 위한 전산화 검사 시스템을 기술한다. 추가로, 본 기술은 불균일성 심각도의 연속 차트화를 제공하는 출력을 제공할 수 있다. 다시 말하면, "합격" 또는 "불합격", 또는 "1", "3", 또는 "5"와 같은 불연속 등급 라벨로 제한되는 것이 아니라, 전산화 검사 시스템은 더욱 연속적인 샘플의 순위를 제공할 수 있다. 예를 들어, 전산화 검사 시스템은 알고리듬을 적용하여 주어진 샘플의 불균일성 심각도의 측정값을, 0 내지 10의 척도의 1.63과 같이, 연속 척도로 생성시킬 수 있다.
일 실시 형태에서, 장치는 프로세서 및 복수의 트레이닝(training) 샘플을 저장하는 기억장치를 포함한다. 각각의 영상에는 트레이닝 영상 내에 존재하는 불균일 결함에 대한 불연속 등급 라벨의 세트 중 하나가 배정되었다. 프로세서 상에서 실행되는 트레이닝 소프트웨어는 각각의 트레이닝 영상의 화소값으로부터 각각의 트레이닝 영상에 대해 특징부 벡터를 계산함으로써 복수의 트레이닝 영상 각각으로부터 특징부를 추출하기 위한 특징부 추출 모듈을 포함한다. 트레이닝 소프트웨어는 트레이닝 영상을 위한 각각의 특징부 벡터를 다차원 공간 내의 점으로서 나타낸다. 트레이닝은 트레이닝 영상의 연속 순위를 계산하며, 여기에서 상이한 유형의 결함에 대해 각각의 트레이닝 영상에 불균일성 심각도 순위값이 연속 척도로 배정된다.
다른 실시 형태에서, 전산화 검사 시스템은 트레이닝 영상의 연속 순위를 나타내는 모델을 다차원 특징부 공간 내의 복수의 점으로서 저장하기 위한 기억장치를 포함한다. 다차원 공간 내의 각각의 점은 트레이닝 영상 중 상이한 하나에 대한 특징부 벡터에 상응한다. 전산화 검사 시스템은 제조된 웨브 재료로부터 포착된 새로운 영상을 처리하여 새로운 영상으로부터 특징부를 추출하는 소프트웨어를 실행하는 서버를 포함한다. 소프트웨어는 트레이닝 영상의 모델을 기반으로 웨브 재료에 대한 불균일 결함의 심각도 수준을 연속 척도로 계산한다. 전산화 검사 시스템은 사용자에게 심각도 수준을 출력하기 위한 사용자 인터페이스를 포함한다.
다른 실시 형태에서, 방법은 각각의 트레이닝 영상의 화소값으로부터 각각의 트레이닝 영상에 대한 수치화된 디스크립터(descriptor)를 계산함으로써 복수의 트레이닝 영상 각각으로부터 특징부를 추출하기 위하여 컴퓨터 상에서 소프트웨어를 실행하는 단계를 포함하며, 여기서 각각의 영상에는 트레이닝 영상 내에 존재하는 불균일 결함에 대한 불연속 등급 라벨의 세트 중 하나가 배정되어 있다. 본 방법은 트레이닝 영상의 수치화된 디스크립터를 등급화 소프트웨어로 처리하여 트레이닝 영상에 배정된 불연속 등급 라벨을 기반으로 트레이닝 영상의 연속 순위를 계산하는 단계를 추가로 포함한다. 본 방법은 제조된 웨브 재료로부터 포착된 새로운 영상을 처리하여 새로운 영상으로부터 특징부를 추출하고 트레이닝 영상의 연속 순위를 기반으로 웨브에 대한 불균일 결함의 심각도 수준을 계산하는 단계; 및 사용자에게 심각도 수준을 출력하기 위한 사용자 인터페이스를 제공하는 단계를 포함한다.
본 기술은 하나 이상의 이점을 제공할 수 있다. 일례로서, 작업자에게 제공되는 정보가 더욱 상세할수록, 불균일성의 원인에 관한 이해를 제공함에 있어서 그것이 더욱 유용할 수 있다. 결함의 심각도 수준이 연속 척도의 실시간 출력인 불균일성 심각도의 연속 차트화는 시간이 흐름에 따라 발생하는 불균일성의 양 및 심각도를 작업자가 더욱 명확하게 시각화하는 것을 가능하게 할 수 있으며, 이는 "양호" 및 "불량"과 같은 불연속 출력보다 더욱 유리할 수 있다. 이러한 방식으로, 특정 불균일 결함에 대해 작업자에게 제공되는 출력은 트레이닝 샘플에 배정되는 불연속 등급 라벨로 제한되지 않는다.
추가로, 전산화 검사 시스템에 의해 본 기술을 적용하여 웨브 제조 시설 내에서 공정 기술자와 같은 사용자에게 불균일성의 존재 및 그들의 심각도에 관하여 실시간 피드백을 제공할 수 있으며, 이에 의해, 제조를 현저하게 지연시키거나 사용할 수 없는 재료를 다량으로 제조하지 않으면서 공정 조건을 조정하여 문제점을 해소함으로써, 발생하는 불균일성에 사용자가 신속하게 대응하는 것을 가능하게 한다. 다시 말하면, 본 기술을 적용하는 것은, 불량이 발생하는 대로 그것을 검출하는 능력을 작업자에게 부여하여, 폐기량을 저감할 수 있다.
추가로, 본 기술은 연속 순위 모델을 적용하여 샘플의 연속 순위화를 달성하며, 입력으로서, 불균일성 심각도 수준이 예를 들어 "1", "3", 및 "5"의 수준과 같이 조악하게 구분된 척도로만 알려진 트레이닝 영상의 세트로부터 연속 순위 모델을 개발할 수 있다.
추가로, 불균일성 심각도의 연속 차트화를 위한 본 명세서에 기술된 기술은 웨브 상에 제조되는 임의의 재료를 포함하는 다수의 제품 라인에서 응용성 및 유용성을 갖는다. 본 기술은 또한, 불투명하거나 반사 조명을 필요로 하는 제품에서 불균일성의 식별 및 등급화에 유용하다. 그러나, 본 기술은 임의의 특정 제조된 재료 또는 영상화 양식에 한정되지 않는다.
본 발명의 하나 이상의 실시 형태들의 상세 사항이 첨부 도면 및 이하의 설명에 기술되어 있다. 본 발명의 다른 특징부, 목적 및 이점이 설명 및 도면, 그리고 특허청구범위로부터 명백하게 될 것이다.
<도 1>
도 1은, 본 명세서에 기술된 기술이 적용될 수 있는, 예시적인 웨브 제조 및 전환 시스템을 도시하는 블록 다이어그램이다.
<도 2>
도 2는 예시적인 웨브 제조 공장에서의 검사 시스템의 예시적인 실시 형태를 도시하는 블록 다이어그램이다.
<도 3>
도 3은 본 명세서에 기술된 시스템의 예시적 작동을 도시하는 흐름도이다.
<도 4>
도 4는 "매니폴드"라고 지칭되는 연속 3-차원(3D) 표면을 도시하며, 이를 참조하여 연속 순위 모델을 생성시키기 위해 트레이닝 소프트웨어에 의해 적용되는 알고리듬이 용이하게 이해된다.
<도 5>
도 5는, 트레이닝 소프트웨어가 트레이닝 영상으로부터 추출된 특징부 벡터를 처리하여 트레이닝 영상의 연속 순위를 개발하고 연속 순위 모델을 생성시키는 예시적인 공정을 더욱 상세하게 나타내는 흐름도이다.
<도 6>
도 6은 차트화 모듈이 실시간으로 연속 순위 모델을 이용하여 불균일성 결함의 존재를 검출하고 각각의 결함에 대한 심각도 수준의 연속 차트화를 제공하는 예시적인 공정을 더욱 상세하게 나타내는 흐름도이다.
<도 7>
도 7은 2-차원 특징부 공간 내에서 k-최근방 이웃을 찾는 논리적 표현을 제공하는 그래프이다.
<도 8>
도 8은 해싱 알고리듬(hashing algorithm)을 사용하여 k-최근방 이웃을 찾는 제2 기술을 도시한다.
도 1은, 본 명세서에 기술된 기술이 적용될 수 있는, 예시적 시스템(2)을 도시하는 블록 다이어그램이다. 웨브 제조 공장(6A 내지 6N)(웨브 제조 공장(6))은 웨브 롤(7)의 형태로 웨브 재료를 제조 및 운송하는 제조 현장을 나타낸다. 웨브 제조 공장(6)은 지리적으로 분산되어 있을 수 있고, 각각의 웨브 제조 공장은 하나 이상의 제조 공정 라인을 포함할 수 있다. 일반적으로, 웨브 롤(7)은 제조 공장(6) 중 어느 하나에 의해 제조되고 추가의 처리를 위해 웨브 제조 공장 사이에 운송될 수 있다. 완성된 웨브 롤(10)은 제품(12A 내지 12N)(제품(12))으로의 전환을 위해 전환 현장(8A 내지 8N)(전환 현장(8))으로 운송된다. 도 1에 나타낸 바와 같이, 전환 제어 시스템(4), 웨브 제조 공장(6A 내지 6M)(웨브 제조 공장(6)), 및 전환 현장(8A 내지 8N)(전환 현장(8))은 웨브 재료의 제조 및 제품(12)으로의 전환에 관련된 정보(예를 들어, 결함 정보) 교환을 위하여 컴퓨터 네트워크(9)에 의해 상호연결된다.
일반적으로, 웨브 롤(7, 10)은, 하나의 방향으로 고정된 치수를 갖고 직교하는 방향으로 소정의 또는 부정의 길이를 갖는 임의의 시트형 재료일 수 있는 제조된 웨브 재료를 함유할 수 있다. 웨브 재료의 예는 금속, 종이, 직물(woven), 부직물(non-woven), 유리, 중합체 필름, 연성 회로 또는 이들의 조합을 포함하지만, 이에 한정되는 것은 아니다. 금속은 강철 또는 알루미늄과 같은 재료를 포함할 수 있다. 직물은 일반적으로 다양한 천(fabric)을 포함한다. 부직물은 종이, 필터 매체, 또는 절연 재료와 같은 재료를 포함한다. 필름은 예를 들어 라미네이트 및 코팅된 필름을 포함하는 투명 및 불투명 중합체 필름을 포함한다.
전환 현장(8)은 완성된 웨브 롤(10)을 웨브 제조 공장(6)으로부터 받아 고객(14A 내지 14N)(고객(14))에게 판매하기 위한 제품(12) 내로 혼입시키기 위하여 완성된 웨브 롤(10)을 개별적인 시트로 전환할 수 있다. 전환 시스템은 제품에 연계된 등급 수준과 같은 다양한 기준을 기반으로 주어진 완성된 웨브 롤(10)을 어느 제품(14)으로 전환시킬 것인지를 결정할 수 있다. 즉, 어느 시트가 어느 제품(12)에 혼입되어야 하는지의 선택 공정은 각각의 시트가 만족시키는 특정 등급 수준을 기반으로 할 수 있다. 본 명세서에 기술된 기술에 따르면, 전환 현장(8)은 완성된 웨브 롤(10)에서의 이상, 즉 잠재적인 결함에 관한 데이터를 또한 수신할 수 있다. 궁극적으로, 전환 현장(8)은 완성된 웨브 롤(10)을 고객(14A 내지 14N)(고객(14))에 판매하기 위한 제품(12)에 포함될 수 있는 개별 시트들로 전환할 수 있다.
제품(12)에 포함시킬 개별 시트로 전환할 준비가 된 완성된 웨브 롤(10)을 생산하기 위해, 미완성된 웨브 롤(7)은 하나의 웨브 제조 공장, 예를 들어, 웨브 제조 공장(6A) 내에서 또는 다수의 제조 공장 내에서 다수의 공정 라인의 처리를 거칠 필요가 있을 수 있다. 각각의 공정에 대해, 웨브 롤은 전형적으로 그로부터 웨브가 제조 공정으로 공급되도록 하는 소스 롤(source roll)로서 사용된다. 각각의 공정 후, 웨브는 전형적으로 웨브 롤(7)로 다시 수집되고, 상이한 제품 라인으로 이동되거나, 상이한 제조 공장으로 운송된 다음, 그곳에서 풀리고, 처리되며, 다시 롤로 수집된다. 이 공정은 궁극적으로 완성된 웨브 롤(10)이 제조될 때까지 반복된다. 많은 응용에 대해, 각각의 웨브 롤(7)을 위한 웨브 재료는 하나 이상의 웨브 제조 공장(6)의 하나 이상의 제조 라인에서 적용되는 다수의 코팅을 가질 수 있다. 코팅은 일반적으로 제1 제조 공정의 경우에는 베이스 웨브 재료의 노출된 표면에, 또는 후속 제조 공정의 경우에는 이전에 적용된 코팅의 노출된 표면에 적용된다. 코팅의 예는 접착제, 하드코트(hardcoat), 낮은 접착성의 배면 코팅, 금속화된 코팅, 중성 밀도 코팅, 전기 전도성 또는 비전도성 코팅, 또는 이들의 조합을 포함한다.
주어진 하나의 웨브 롤(7)을 위한 각각의 제조 공정 중에, 하나 이상의 검사 시스템이 웨브에 대한 이상 정보를 획득한다. 예를 들어, 도 2에 도시된 바와 같이, 제조 라인을 위한 검사 시스템은 웨브가 처리될 때, 예를 들어 하나 이상의 코팅이 웨브에 적용될 때, 연속적으로 이동하는 웨브에 아주 근접하게 위치되는 하나 이상의 이미지 획득 장치를 포함할 수 있다. 영상 획득 장치는 디지털 영상을 얻기 위해 연속적으로 이동하는 웨브의 순차적인 부분들을 스캔한다. 검사 시스템은, 하나 이상의 알고리듬으로 영상을 분석하여 웨브가 전환되는 궁극적 제품(12)에 따라 실제의 "결함"을 나타낼 수 있는 소위 "국소" 이상 정보를 생성시키는 분석 컴퓨터를 포함한다. 검사 시스템은, 예를 들어, 각각의 결함이 단일 영역에 국한된 "점" 결함에 대한 이상 정보를 생성시킬 수 있다. 다른 예로서, 검사 시스템은 웨브 재료가 점 결함의 영역보다 넓은 영역에 걸쳐 불균일한 가변성을 나타내는 "불균일" 결함 또는 "불균일성"에 대한 이상 정보를 생성시킬 수 있다. 이러한 불균일성의 예는 얼룩, 채터, 밴딩, 및 줄무늬를 포함한다.
웨브 제조 공장(6) 내의 분석 컴퓨터는 불균일성 결함의 존재를 검출하고 각각의 결함의 심각도를 지시하는 출력을 제공하기 위한 알고리듬을 적용할 수 있다. 추가로, 본 기술은 불균일성 심각도의 연속 차트화를 제공하는 출력을 제공할 수 있다. 분석 컴퓨터는 웨브가 제조됨에 따라 실시간으로 알고리듬을 적용하거나 웨브에 대한 모든 영상 데이터가 포착된 후에 오프라인으로 알고리듬을 적용할 수 있다. 예를 들어, 전산화 검사 시스템은 웨브 제조 공장(6) 내의 공정 기술자와 같은 사용자에게 불균일성의 존재 및 그들의 심각도에 관하여 실시간 피드백을 제공할 수 있으며, 이에 의해, 제조를 현저하게 지연시키거나 사용할 수 없는 재료를 다량으로 제조하지 않으면서 공정 조건을 조정하여 문제점을 해소함으로써, 발생하는 불균일성에 사용자가 신속하게 대응하는 것을 가능하게 한다. 전산화 검사 시스템은 알고리듬을 적용하여 주어진 샘플의 불균일성 심각도의 측정값을, 0 내지 10의 척도의 1.63과 같이 연속 척도 또는 더욱 정확하게 샘플링된 척도로 생성시킬 수 있다. 불균일성 심각도의 연속 차트화는 시간이 흐름에 따라 발생하는 불균일성의 양 및 심각도를 작업자가 더욱 명확하게 시각화하는 것을 가능하게 할 수 있으며, 이는 "양호" 및 "불량""과 같은 불연속 출력보다 더 유리할 수 있다. 예를 들어, 전산화 검사 시스템은 불균일성의 원인에 관한 이해를 유발할 수 있는 상세한 정보를 작업자에게 제공할 수 있다.
이러한 연속 차트화 공정 중에, 분석 컴퓨터는 트레이닝 데이터를 기반으로 개발된 연속 순위 모델의 적용에 의해 포착된 디지털 영상을 처리한다. 트레이닝 데이터는 전형적으로 알고리듬의 "트레이닝 단계" 중에 처리되며 연속 순위 모델은 트레이닝 데이터에 최상으로 일치하도록 개발된다. 즉, 트레이닝 단계 및 연속 순위 모델의 개발 후에, 트레이닝 데이터에 연속 순위 모델을 적용하는 것은 정확성의 높은 확률을 동반하여 트레이닝 데이터를 라벨링할 것이다. 일단 트레이닝 데이터로부터 모델이 개발되면, 처리의 "분류 단계" 중에 분석 컴퓨터가 새로 제조된 제품으로부터 포착된 샘플에 잠재적으로 실시간으로 모델을 적용하고 "합격" 또는 "불합격", 또는 "1", "3", 또는 "5"와 같은 불연속 등급 라벨로 제한되지 않는 불균일성 심각도의 연속 차트화를 제공하며, 전산화 검사 시스템은 샘플의 연속 순위를 제공할 수 있다. 예를 들어, 전산화 검사 시스템은 알고리듬을 적용하여 웨브 재료 내의 불균일성 결함에 대한 심각도의 측정값을 0 내지 10의 척도의 1.63과 같이 연속 척도로 생성시킬 수 있다. 추가로, 불균일성 심각도 수준이 조악하게 구분된 척도로만 알려진 트레이닝 영상의 세트로부터 샘플의 연속 순위화를 달성하기 위해 사용되는 연속 순위 모델을 개발할 수 있다.
일부 실시 형태에서, 주어진 제조된 웨브에 대한 디지털 영상의 분석은 전환 제어 시스템(4)에 의해 오프라인으로 수행될 수 있다. 주어진 웨브에 대한 분류를 기반으로, 전환 제어 시스템(4)은 각각의 웨브 롤(10)에 대해 전환 플랜을 선택하고 생성시킬 수 있다. 소정의 불균일성이 하나의 제품, 예를 들어 제품(12A)에서는 결함을 유발할 수 있는 반면에, 그 이상이 상이한 제품, 예를 들어 제품(12B)에서는 결함을 유발하지 않을 수 있다는 점에서, 디지털 영상의 분석 및 심각도 수준의 결정은 응용-특이적(application-specific)일 수 있다. 각각의 전환 계획은 궁극적으로 고객(14)에게 판매될 수 있는 제품(12)을 만들기 위해 대응하는 완성된 웨브 롤(10)을 처리하는 정의된 명령어를 나타낸다. 예를 들어, 웨브 롤(10)은 노트북 컴퓨터의 디스플레이에 적용하기 위한 최종 제품, 예를 들어 소정 사이즈의 시트로 전환될 수 있다. 또 다른 예로서, 동일한 웨브 롤(10)이 대신에 휴대 전화의 디스플레이에 적용하기 위한 최종 제품으로 전환될 수 있다. 전환 제어 시스템(4)은, 이상에 적용될 수 있는 상이한 결함 검출 알고리듬들을 고려하여, 어느 제품이 웨브의 최대 이용도와 같은 소정의 파라미터들을 최상으로 달성하는지를 식별할 수 있다.
도 2는 도 1의 예시적인 웨브 제조 공장(6A)에서 웨브 공정 라인(21)의 일부분 내에 위치하는 검사 시스템의 예시적인 실시 형태를 도시하는 블록 다이어그램이다. 이 예시적인 실시예에서, 웨브(20)의 세그먼트가 2개의 지지 롤(22, 24) 사이에 위치된다. 영상 획득 장치(26A 내지 26N)(영상 획득 장치(26))는 연속적으로 이동하는 웨브(20)에 아주 근접하여 위치하며, 연속적으로 이동하는 웨브(20)의 순차적인 부분을 스캔하여 영상 데이터를 얻는다. 획득 컴퓨터(27)는 영상 획득 장치(26)로부터 영상 데이터를 수집하여 분석 컴퓨터(28)로 영상 데이터를 전송한다.
이미지 획득 장치(26)는, 이동하는 웨브(20)의 순차적인 부분을 판독할 수 있고 디지털 데이터 스트림의 형태로 출력을 제공할 수 있는 종래의 영상화 장치일 수 있다. 도 2에 도시된 바와 같이, 영상화 장치(26)는 디지털 데이터 스트림을 직접 제공하는 카메라, 또는 추가의 아날로그-디지털 컨버터를 구비한 아날로그 카메라일 수 있다. 예를 들어, 레이저 스캐너와 같은 다른 센서가 이미지 획득 장치로서 이용될 수 있다. 웨브의 순차적인 부분은 데이터가 연속하는 단일 라인에 의해 획득됨을 지시한다. 단일 라인은 단일 열의 센서 요소 또는 픽셀에 매핑되는 연속적으로 이동하는 웨브의 영역을 포함한다. 이미지를 획득하는 데 적절한 장치의 예는 Dalsa(캐나다 온타리오주 워털루 소재)의 Piranha 모델, 또는 Atmel(미국 캘리포니아주 산호세 소재)의 모델 Aviiva SC2 CL 등의 라인스캔 카메라를 포함한다. 추가의 예는 아날로그-디지털 컨버터와 함께 서피스 인스펙션 시스템즈 게엠베하(Surface Inspection Systems GmbH)(독일 뮌헨)로부터의 레이저 스캐너를 포함한다.
영상 데이터는 영상의 입수를 지원하는 광학 조립체의 이용을 통해 임의로 획득될 수 있다. 이 조립체는 카메라의 부품일 수 있거나, 카메라와는 별개일 수 있다. 광학 조립체는 영상화 공정 중에 반사된 광, 투과된 광, 또는 반투과반사된(transflected) 광을 이용한다. 반사된 광은 예를 들어 표면 스크래치와 같은 웨브 표면 변형부에 의해 야기된 결함의 검출에 흔히 적합하다.
몇몇 실시예에서, 기준 마크 제어기(fiducial mark controller)(30)는 웨브(20)로부터 롤 및 위치 정보를 수집하기 위해 기준 마크 판독기(fiducial mark reader)(29)를 제어한다. 예를 들어, 기준 마크 제어기(30)는 웨브(20)로부터 바코드 또는 다른 표식을 판독하기 위한 하나 이상의 사진-광학 센서(photo-optic sensor)를 포함할 수 있다. 또한, 기준 마크 제어기(30)는 웨브(20) 및/또는 롤러(22, 24)에 관여된 하나 이상의 고정밀 인코더로부터 위치 신호를 받을 수 있다. 이 위치 신호에 기초하여, 기준 마크 제어기(30)는 각각의 검출된 기준 마크에 대한 위치 정보를 결정한다. 기준 마크 제어기(30)는 롤 및 위치 정보를 검출된 이상과의 연계를 위해 분석 컴퓨터(28)에 전달한다.
분석 컴퓨터(28)는 획득 컴퓨터(27)로부터의 영상 데이터의 스트림을 처리한다. 일례로서, 본 명세서에 기술된 기술에 따라, 전산화 불균일성 차트화 모듈(39)("차트화 모듈(39)")이 분석 컴퓨터(28) 상에서 실행되고, 트레이닝 데이터(35)를 기반으로 개발된 연속 순위 모델(34)("모델(34)")을 이용하는 알고리듬을 적용하여 불균일성 결함의 존재를 검출하고 각각의 결함의 심각도 수준의 연속 차트화를 제공한다.
전형적으로 트레이닝 데이터(35)는 하나 이상의 전문가(38)에 의해 등급이 배정된 대표적 샘플 디지털 영상의 방대한 세트로 구성된다. 사전에 자동으로 순위화된 데이터 또한 트레이닝에 사용할 수 있다. 디지털 영상은, 예를 들어, 웨브(20) 또는 웨브 공정 라인(21)에 의해 사전에 제조된 다른 웨브로부터 채취된 샘플을 나타낼 수 있다. 트레이닝 서버(36)는 전산화 전문 등급화 도구(37)("등급화 도구(37)")를 제공하는 소프트웨어의 실행을 위한 작동 환경을 제공하여, 샘플을 나타내는 다량의 디지털 영상에 전문가(38)가 효율적이고 일관성 있게 등급(즉 라벨)을 배정하는 것을 지원할 수 있다. 예시적인 전문 등급화 도구(37)의 추가의 상세 사항은, 2010년 10월 19일자로 출원되고 발명의 명칭이 "제조된 웨브 제품의 디지털 샘플에 대한 컴퓨터-보조 등급 배정(COMPUTER-AIDED ASSIGNMENT OF RATINGS TO DIGITAL SAMPLES OF A MANUFACTURED WEB PRODUCT)"인 미국 가특허 출원 제61/394,428호(Ribnick et al.)에서 확인할 수 있다.
차트화 모듈(39)은 적어도 부분적으로, 하나 이상의 하드웨어 마이크로프로세서, 디지털 신호 프로세서(DSP: digital signal processor), 응용 특이적 집적 회로(ASIC: application specific integrated circuit), 필드 프로그램 가능 게이트 어레이(FPGA: field programmable gate array), 또는 임의의 다른 균등한 집적 또는 개별 논리 회로와 더불어 이러한 구성요소의 임의의 조합을 포함하는, 분석 컴퓨터(28)의 하나 이상의 프로세서에 의해 실행되는 소프트웨어 명령어로서 시행될 수 있다. 소프트웨어 명령어는 임의 접근 기억장치(RAM: random access memory), 판독 전용 기억장치(ROM: read only memory), 프로그램 가능 판독 전용 기억장치(PROM: programmable read only memory), 소거 및 프로그램 가능 판독 전용 기억장치(EPROM: erasable programmable read only memory), 전자적 소거 및 프로그램 가능 판독 전용 기억장치(EEPROM: electronically erasable programmable read only memory), 플래시 기억장치, 하드 디스크, CD-ROM, 플로피 디스크, 카세트, 자기 매체, 광학 매체, 또는 다른 컴퓨터-판독가능 저장 매체와 같은 비-일시적 컴퓨터 판독가능 매체 내에 저장될 수 있다. 예시를 목적으로 제조 공장(6A) 내에 위치하는 것으로 나타내지만, 분석 컴퓨터(28) 및 차트화 모듈(39)은, 트레이닝 서버(36) 및 등급화 도구(37)와 더불어, 제조 공장의 외부, 예를 들어 중앙 위치 또는 전환 현장에 위치할 수 있다. 예를 들어, 분석 컴퓨터(28) 및 트레이닝 서버(36)는 전환 제어 시스템(4) 내에서 작동할 수 있다. 다른 예에서, 차트화 모듈(39) 및 등급화 도구(37)는 단일 계산 플랫폼 상에서 실행되며 동일한 소프트웨어 시스템 내에 집적될 수 있다.
일단 트레이닝 데이터(35)가 확립되었으면, 트레이닝 모듈(41)은 웨브 재료(20)에 대해 획득 컴퓨터(27)로부터 받은 영상 데이터의 실시간 분석을 위하여 트레이닝 데이터를 처리하여 차트화 모듈(39)에 의한 후속 용도로 연속 순위 모델(34)을 생성시킨다. 이러한 방식으로, 웨브 재료(20)의 지역의 새로운 영상을 연속 순위 모델(34)에 따라 분류할 수 있다. 검출될 수 있는 예시적인 결함은 얼룩, 채터, 밴딩, 및 줄무늬와 같은 불균일성과 더불어, 반점(spot), 스크래치, 및 오일 드립(oil drip)을 포함하는 점 결함을 포함한다.
분석 컴퓨터(28)는 웨브(20)에 대한 롤 식별 정보 및 각각의 이상에 대한 위치 정보를 포함하는 웨브(20)에 대한 이상 정보를 데이터베이스(32) 내에 저장한다. 예를 들어, 분석 컴퓨터(28)는 기준 마크 제어기(30)에 의해 생성되는 위치 데이터를 이용하여 공정 라인의 좌표계 내에서 각각의 이상의 영상 지역 또는 공간적 위치를 결정할 수 있다. 즉, 기준 마크 제어기(30)로부터의 위치 데이터를 기반으로, 분석 컴퓨터(28)는 현재의 공정 라인에 의해 사용되는 좌표계 내에서 각각의 이상에 대한 x, y, 및 가능하게는 z 위치 또는 범위를 결정한다. 예를 들어, x 치수가 웨브(20)를 가로지른 거리를 나타내고, y 치수가 웨브의 길이를 따른 거리를 나타내며, z 치수가 웨브에 이전에 적용된 코팅, 재료 또는 다른 층의 수에 기초할 수 있는 웨브의 높이를 나타내도록, 좌표계가 정의될 수 있다. 또한, x,y,z 좌표계에 대한 원점은 공정 라인 내의 물리적 위치에 정의될 수 있고, 전형적으로 웨브(20)의 초기 공급 배치와 연관된다. 데이터베이스(32)는 데이터 저장 파일 또는 하나 이상의 데이터베이스 서버에서 실행되는 하나 이상의 데이터베이스 관리 시스템(DBMS)을 포함하는 다수의 상이한 형태 중 임의의 형태로 구현될 수 있다. 데이터베이스 관리 시스템은 예를 들어 관계형(RDBMS), 계층형(HDBMS), 다차원(MDBMS), 객체 지향형(ODBMS 또는 OODBMS) 또는 객체 관계형(ORDBMS) 데이터베이스 관리 시스템일 수 있다. 일례로서, 데이터베이스(32)는 마이크로소프트 코포레이션(Microsoft Corporation)으로부터의 SQL 서버(SQL Server™)에 의해 제공된 관계형 데이터베이스로서 구현된다.
일단 공정이 종료되었으면, 분석 컴퓨터(28)는 데이터베이스(32)에 수집된 데이터를 네트워크(9)를 통해 전환 제어 시스템(4)으로 전송할 수 있다. 예를 들어, 분석 컴퓨터(28)는 롤 정보와 더불어 이상 정보 및 각각의 이상에 대한 각각의 서브-영상을 연속 순위 모델(34)에 따른 후속의 오프라인 상세 분석을 위해 전환 제어 시스템(4)에 전달할 수 있다. 예를 들어, 정보는 데이터베이스(32)와 전환 제어 시스템(4) 사이의 데이터베이스 동기화에 의해 전송될 수 있다. 일부 실시예에서, 분석 컴퓨터(28)보다는, 전환 제어 시스템(4)이 제품들(12) 중의 각각의 이상이 결함을 야기할 수 있는 그 제품을 결정할 수 있다. 일단 완성된 웨브 롤(10)에 대한 데이터가 데이터베이스(32)에 수집되었으면, 데이터는 전환 현장(8)에 전달되고/되거나, 웨브 롤 상에, 제거가능하거나 세척가능한 마크로 웨브의 표면 상에 직접, 또는 웨브 상에 이상을 마킹하기 전에 또는 마킹하는 중에 웨브에 적용될 수 있는 커버 시트 상에, 이상을 마킹하기 위해 사용될 수 있다.
도 3은 트레이닝 모듈(41) 및 차트화 모듈(39)의 작동의 개요를 제공하는 흐름도이다. 일반적으로, 본 공정은 하기 2개의 일반적인 처리 단계를 포함한다: 트레이닝 단계(45) 및 온라인 추산 단계(47).
초기에, 트레이닝 모듈(41)은, 심각도 순위가 아마도 조악하게 구분된 척도로 이미 알려진, 전형적으로는 영상의 세트 형태의 트레이닝 데이터(35)를 입력으로서 받는다(50). 즉, 트레이닝 데이터(35)는 웨브(20)로부터 채취된 샘플을 나타내는 디지털 영상일 수 있으며, 미국 가특허 출원 제61/394,428호에 기술된 방식으로 전산화 전문 등급화 도구(37)("등급화 도구(37)")가 각각의 디지털 영상에 불연속 등급(53)을 배정했을 수 있다.
그 다음에, 트레이닝 모듈(41)의 특징부 추출 소프트웨어 모듈이 각각의 영상을 처리하여 특징부를 추출한다(52). 특징부 추출은 각각의 영상에 내재적인 관련 정보의 간결한 수치적 표현으로서 각각의 영상의 수치화된 디스크립터를 제공한다. 트레이닝 세트 내의 영상 사이의 관계에 대한 유용한 정보를 보존하면서, 동시에 정보성이 없는 영상 특징을 제거하는 임의의 방식으로 특징부를 추출할 수 있다. 통상적인 특징부 추출 기술의 예는 필터의 세트로 영상을 컨볼빙(convolving)하고 필터된 영상의 통계를 계산하는 단계, 또는 색 또는 강도 히스토그램을 기반으로 특징부를 추출하는 단계를 포함한다. 간혹 화소값을 특징부로서 사용할 수 있으나, 이 경우에는 전형적으로 전체 영상이 저장되어야 하므로 디스크립터에 간결성이 없다. 일반적으로, 얻어진 특징부를 상응하는 영상 내의 관련 정보의 간결한 표현으로서 처리한다.
본 명세서에 기술된 기술은 임의의 특정 특징부 추출 방법론을 동반하는 용도로 한정되지 않으며, 다른 유형의 특징부가 더욱 적절한 응용에 용이하게 적용될 수 있다. 일반적으로, 영상으로부터 추출된 특징부는, 그들이 특정 유형의 불균일성에 대해 영상에 관한 식별 정보를 함유한다는 점에서 표현적이다. 그러므로, 일단 특징부가 추출되었으면, 각각의 영상에 상응하는 특징부 벡터는 그 영상에 함유된 대부분의 관련 정보를 나타낸다.
관련 영상 정보를 간결한 형태로 압축하는 하나의 예시적 방식은, 특히 그것이 질감(texture)에 관련될 경우, 영상을 가로질러 화소 특징부의 작은 공분산 매트릭스(small covariance matrix)를 계산하는 것이다. 일단 이러한 작은 공분산 매트릭스(예를 들어, 5x5)가 추출되면, 영상을 직접 취급하는 대신에 이들 매트릭스만을 기반으로 영상들 사이의 쌍대(pair-wise) 비교를 효율적으로 실행할 수 있다. 예를 들어, 흑백 영상은 I(x, y)와 같이 화소 좌표 x 및 y에 의해 지표화된 2-차원 어레이로서 정의된다. 각각의 화소 위치(x, y)에서, 화소의 강도값 및 그 화소에서의 그들의 1차 및 2차 도함수를 기반으로 특징부 벡터를 추출한다:
[수학식 01]
Figure pct00001
각각의 화소에서 단순히 강도값 사이의 전향차분 또는 중심차분을 계산함으로써 영상 도함수(구배)를 근사화할 수 있다. 더 고차의 도함수 또는 필터된 영상으로부터의 결과를 포함하는 다른 특징부를 (수학식 1)의 벡터에 혼입시킬 수 있다. 마찬가지로, 모든 도함수가 포함될 필요는 없으며, 예를 들어, 주어진 방향의 도함수가 특정 결함에 대한 정보를 제공하지 않는다면, 그것을 (수학식 1)로부터 제거할 수 있다. 최종적으로, 전체 영상에 걸쳐 이들 화소 특징부의 공분산 매트릭스를 계산한다:
[수학식 02]
Figure pct00002
여기서 N은 영상 내의 화소의 수이고:
[수학식 03]
Figure pct00003
는 화소 특징부의 평균이다. 후속의 처리 단계에서는, 영상들 사이의 쌍대 거리를 계산하는 것이 유용할 수 있다. 이들 공분산 매트릭스 디스크립터의 경우, 쌍대 거리는 하기와 같이 계산된다:
[수학식 04]
Figure pct00004
여기서 λ i (CI1 ;CI2)는 2개 공분산 매트릭스의 i 번째 일반화된 고유값이다. 추가의 상세 사항은 문헌[O. Tuzel, F. Porikli, and P. Meer. "Region Covariance: A Fast Descriptor for Detection and Classification."Proceedings of the European Conference on Computer Vision, 2006]에서 확인할 수 있다.
각각의 트레이닝 영상에 대해 특징부를 추출한 후에, 트레이닝 모듈(41)은 특징부 벡터를 처리하여 트레이닝 영상의 연속 순위를 학습하고 그들의 불균일성의 심각도를 기반으로 연속 순위 모델(34)을 생성시킨다(54). 트레이닝 단계(45) 중에, 트레이닝 모듈(41)은 트레이닝 영상의 연속 순위를 그들의 불균일성의 심각도를 기반으로 학습한다. 초기에, 각각의 트레이닝 영상에 관해 알려진 전부는, 상응하는 샘플이 특정 유형의 불균일성에 대해 "양호" 또는 "불량", 또는 "1", "3", 또는 "5"인지를 표기하는 전문 등급이다. 이들 전문 등급은 흔히 트레이닝 영상의 조악한 오더링(ordering)을 제공하며, 즉, 트레이닝 영상은 2개 또는 3개의 불연속 카테고리, 또는 작업자가 이러한 정보를 제공할 수 있다면 그 이상의 카테고리로 순위화될 수 있다. 트레이닝 모델(41)은 이 조악한 오더링을 입력으로서 사용하여, 특정 불균일성에 대한 연속 척도에 따라 트레이닝 영상이 최상으로부터 최하까지 순위화되는 연속 순위를 학습한다. 양호한 순위는 가능한 한 전문 등급을 중시해야 하지만(예를 들어, "양호" 영상을 배정하는 것은 "불량"으로 라벨링된 것들에 비해 심각도 순위를 낮춤), 일부 경우에는 트레이닝 모듈(41)이 불연속 라벨에 의해 제시되는 조악한 순위를 위반하는 것이 완전히 방지되지는 않으며, 이는 트레이닝 데이터의 수동 라벨링의 주관성으로 인해 전문 등급에 실수가 존재한다는 것이 가능하고 사실상 통상적이기 때문이다.
온라인 추산 단계(47) 중에, 차트화 모듈(39)은 학습된 연속 순위 모델(34)을 제조 라인에 실시간으로 적용한다. 제조되는 웨브의 새로운 영상이 포착됨에 따라(56), 트레이닝 영상에서와 같은 방식으로 특징부를 추출한다(58). 이어서, 트레이닝 단계(45)로부터의 연속 순위 모델(34)을 사용하여 트레이닝 영상과의 구조화된 비교를 기반으로 새로운 영상에 심각도 등급을 배정한다(60).
도 4는 "매니폴드"(80)라고 지칭되는 연속 3-차원(3D)표면을 도시하며, 이를 참조하여 연속 순위 모델(34)을 생성시키기 위해 트레이닝 모듈(41)에 의해 적용되는 알고리듬이 용이하게 이해된다. 각각의 영상에 연계된 특징부 벡터는 고차원 공간에서 단일한 점이라고 생각할 수 있다. 그러나, 모든 영상이 동일한 유형의 재료의 영상이고 동일한 영상화 조건 및 기하형태 하에서 동일한 영상화 장치 또는 다른 센서를 이용하여 채취되므로, 자유도의 기본 수(underlying number)는 내장된 특징부 공간의 차원수(dimensionality)보다 낮을 수 있다. 그러므로, 각각의 트레이닝 영상을 매니폴드(80)(즉, 연속 3D 표면) 또는 매니폴드의 집합 상에 놓인 고차원의 점 중의 하나로서 고찰하는 것이 유용하며, 이는 이 공간 내에 내장되지만, 전체 공간에 비해 낮은 고유 차원수(intrinsic dimensionality)(자유도)를 가질 수 있다. 2-차원 물체가 그 안에 내장된 3-차원 공간의 단순한 경우에 대하여 도시된 예를 도 4에 나타내지만, 실제로 특징부 벡터의 차원수는 전형적으로 훨씬 더 높다. 고차원 공간 내의 매니폴드 내장에 관한 추가의 예시적인 상세 사항은 문헌[H.S. Seung and Daniel D. Lee, "Cognition: The Manifold Ways of Perception," Science, vol. 290, no. 5500, pp. 2268-2269, Dec. 22, 2000]에 기술되어 있다.
도 4에 대한 단순한 일례로서, 모든 트레이닝 영상이 상이한 수준의 다운-웨브 채터(down-web chatter)를 가진 동일한 웨브 재료를 나타내는 트레이닝 영상의 세트를 나타낸다. 이러한 단순한 경우에, 각각의 트레이닝 영상이 다양한 질감-관련 특징을 포착하는 고차원 특징부 벡터에 의해 나타내어질 수 있지만, 이 경우에는 채터의 수준에 상응하는 단 하나의 기본 자유도(underlying degree of freedom)만이 이러한 영상의 세트 내에 존재할 수 있다. 그러므로, 이들 트레이닝 영상을 1-차원 매니폴드, 예를 들어, 도 4의 고차원 공간 내의 곡선형 경로를 통해 만곡하는 선 상에 놓인 점으로서 고찰할 수 있다.
매니폴드 상의 점으로서의 특징부 벡터의 이러한 표현의 한가지 이점은 트레이닝 모듈(41)의 알고리듬이 트레이닝 데이터 내의 이러한 기본 구조를 탐색하여 그 안에 함유된 가장 관련이 있고 유용한 정보만을 이용한다는 것이다. 추가로, 상대적으로 적은 고차원 특징부 벡터로부터 학습하는 경우에는, 더 낮은 차원의 공간 내에 내장되는 것이 유용할 수 있다. 매니폴드 내장을 수행하기 위한 알고리듬이 존재하며, 이는 기본 구조를 보존하는 중에 고차원 데이터의 저차원 표현을 회복하는 작업에 대해 본 명세서에서 사용하는 용어이다. 이러한 알고리듬의 일부 예는 자기조직화(코호넨(Kohonen)) 맵, 다차원 척도화(Multi-Dimensional Scaling), 아이소맵(Isomap), 및 국소-선형 내장(Locally-Linear Embedding)을 포함한다. 하기에 추가로 상세하게 기술되는 바와 같이, 하나의 예시적 알고리듬은 확산 맵(Diffusion Map)이다. 확산 맵에 관한 추가의 상세 사항은 문헌[S. Lafon and A.B. Lee, "Diffusion Maps and Coarse-Graining: A Unified Framework for Dimensionality Reduction, Graph Partitioning, and Data Set Parameterization, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, no. 9, pp.1393-1403, Sep. 2006]에서 확인할 수 있다.
각각의 트레이닝 영상의 표현이 특징부 공간 내의 매니폴드 상에 점으로서 주어지면, 트레이닝 모듈(41)의 알고리듬은 특징부 공간 주위에서 이산적 무작위 행보(discrete random walk)를 수행한다. 이러한 무작위 행보 중에, 각각의 시간 단계에 있어서, 무작위 행보체(random walker)는 매니폴드를 전혀 이탈하지 않으면서 매니폴드 상의 한 점으로부터 다른 점으로 이동할 수 있다. 이러한 맥락에서, 알고리듬은 매니폴드 상의 한 점으로부터 다른 모든 점으로 이행하는 확률을 계산한다. 일반적으로, 이러한 이행 확률은 전형적으로 매니폴드 내의 가까운 점에서 더 높고 먼 점에서 더 낮다. 그러나, 알고리듬은 전문 등급을 고려하여, 상이한 불연속 라벨을 가진 점 사이의 이행에 페널티를 부과한다. 이어서, 이들 이행 확률을 사용하여 각각의 점으로부터 주변의 모든 점으로 전문 등급을 전파함으로써, 모든 점이 다른 점으로부터의 불연속 라벨의 일부 분율로 마감되며, 이는 본 발명자들이 연속 표면을 따라 트레이닝 영상 중 하나에 상응하는 각각의 점에 대한 연속 심각도값을 계산하는 것을 가능하게 한다. 추출된 특징부 및 제공된 (전문) 순위 양자 모두를 이 단계에서 탐색한다.
도 5는, 트레이닝 모듈(41)이 특징부 벡터를 처리하여 트레이닝 영상의 연속 순위를 학습하고 연속 순위 모델(34)을 생성시키는 예시적인 공정을 더욱 상세하게 나타내는 흐름도이다.
먼저, 트레이닝 모듈(41)은 크기가 N x N인 친화도 매트릭스 K를 계산하며, 여기서 N은 트레이닝 샘플의 수이다(단계(100)). 예를 들어, N개의 트레이닝 영상의 연속 순위를 학습하기 위하여, 특징부 벡터의 세트를 상응하는 전문 등급
Figure pct00005
을 가진
Figure pct00006
으로서 정의한다. 각각의 불연속 등급을 "1", "3", 또는 "5"로 가정하며(즉,
Figure pct00007
), 여기서 "1"은 합격인 샘플이고, "5"는 명확하게 불합격인 샘플이다. 전문 등급을 이보다 다소 미세하게 구분할 수 있으며, 알고리듬은 이러한 특정 예에 한정되지 않는다. 특징부 벡터가 주어지면, 트레이닝 모듈(41)은 크기가 N x N인 친화도 매트릭스 K를 계산하며, 여기서 각각의 요소는, 예를 들어 하기 수학식에 의해 주어질 수 있다:
[수학식 05]
Figure pct00008
친화도 매트릭스는 특징부 공간 내의 각 쌍의 트레이닝 샘플 사이의 유사성의 측정값을 제공하며, (수학식 5)와는 상이한 다른 것들, 예를 들어 다항식을 사용할 수 있다. 대역폭(bandwidth) 파라미터 σ 는 점들의 쌍 사이의 거리가 증가함에 따라 얼마나 신속하게 지수함수가 감쇠하는지를 정의한다. 실제로, 국소 파라미터 σ 는, 그의 k-최근방 이웃까지의 중앙값 거리와 같이 발견법(heuristic)에 따라 각각의 트레이닝 샘플에 대해 추산된다. 이 경우에, 수학식 (5)의 분모는 샘플 x i 및 x j 에 상응하는 국소 대역폭의 곱이 된다.
친화도 매트릭스에 사용되는 거리는 (5)의 예에서와 같이 단순히 유클리드 거리(Euclidean distance)이거나, 공분산 거리 또는 쿨백-라이블러 거리(Kullback-Leibler distance)와 같이 특징부에 따라 더 복잡한 것들일 수 있다.
그 다음에, 점들 사이의 친화도만을 기반으로 하는, 특징부 공간 내의 무작위 행보 상에서 x i 로부터 x j 로 이행할 확률에 상응하는 하기 수학식에 따라 친화도 매트릭스로부터 이행 확률을 계산할 수 있다(단계(102)):
[수학식 06]
Figure pct00009
이것은 친화도 매트릭스 K의 정규화한 것으로서, 그것의 행이 타당한 확률 분포임을(즉, 1로 합산됨) 보장한다.
전문 등급에 의해 주어진 불연속 라벨을 감안하기 위하여, 트레이닝 모듈(41)은 x i 로부터 x j 로 이행할 사전 확률을 계산한다:
[수학식 07]
Figure pct00010
여기서 σ p 는 이러한 사전 확률 항에 대한 대역폭 파라미터이다(단계(103)). p b (i,j)에 대한 표현은 더 먼 부분인 전문 등급에 더 무거운 페널티를 부과하므로, 불연속 라벨에 배정된 수치값의 선택이 이러한 맥락에서 중요하다.
이어서, 트레이닝 모듈(41)은 p a (i,j) 및 p b (i,j)의 곱에 의해 각 쌍의 트레이닝 샘플에 대한 전체 이행 확률을 계산한다(단계(104)에서):
[수학식 08]
Figure pct00011
자동 확산 매트릭스의 구성요소 및 전문 등급 위반에 대한 페널티를 다른 방식으로 조합할 수 있다. 종합적으로, 전체 이행 확률 p(i,j)는 매트릭스 P를 형성한다. P 내의 각각의 성분은 하나의 시간 단계에서 상응하는 점들의 쌍 사이의 이행 확률을 나타낸다.
트레이닝 모듈(41)은 매트릭스 P를 거듭제곱 t 로 상승시킴으로써 t 시간 단계에 대한 무작위 행보 이행 확률을 전파한다(단계(105)):
[수학식 09]
Figure pct00012
여기서 P t (i,j) 는 t 시간 단계에서 x i 로부터 x j 로 이행할 확률에 상응한다. 시간 단계 t 의 수는 물리적 의미를 갖지 않으나, 사용자에 의해 소프트웨어 적용 중에 설정될 수 있는 구성가능한 파라미터이다.
이들 이행 확률을 기반으로, 트레이닝 모듈(41)은 확산 거리를 계산한다(단계(106)). 이러한 각각의 거리는 매니폴드 상의 각 쌍의 점들 사이의 비유사성의 측정값이다. 2개의 점들의 이행 확률의 분포가 유사하다면, 더 낮은 확산 거리가 그들에게 배정된다(즉, 확산 공간 내에서 서로 더 가깝다고 표현함). 다시 말하면, 그들의 매트릭스의 각 행 P t 가 서로 유사하다면, 2개의 점들에 더 낮은 확산 거리가 배정된다. 일례에서, 확산 거리의 제곱은 하기의 균등한 표현에 따라 계산된다:
[수학식 10]
Figure pct00013
여기서
Figure pct00014
이며, 즉, Ψ l 및 λ l 은 각각 P의 고유 벡터 및 고유값이다. 이는 매트릭스 P를 거듭제곱 t까지 분명하게 상승시키는 것(다수의 트레이닝 샘플이 입수가능하다면, 이는 계산상 고가의 작업일 수 있음)에 연계된 자원의 사용을 피할 수 있다. 고유 벡터를 계산하기 위한 고속 기술, 특히 최대 고유값에 상응하는 제1 고유 벡터를 계산하기 위해 개발된 것들을 사용할 수 있다.
샘플들의 쌍 사이의 비유사성에 비례하는 이들 확산 거리는, 트레이닝 모듈(41)에 의해 하기 수학식에 따라 유사성에 비례하는 가중치로 전환된다(단계(108)):
[수학식 11]
Figure pct00015
여기서 σ w 는 다른 대역폭 파라미터이고, η는 단순히 정규화 상수로서 가중치 매트릭스 W의 행들이 1로 합산됨을 보장한다. 최종적으로, 트레이닝 모듈(41)은 하기 수학식에 의해 각각의 트레이닝 샘플 x i 에 대한 불균일성 심각도 순위값을 계산함으로써 연속 순위 모델(34)("모델(34)")을 생성시킨다(단계(110)):
[수학식 12]
Figure pct00016
얻어진 순위값 r i 는 모든 트레이닝 영상의 전문 등급의 가중 평균이다. 그러나, 전문 등급이 고도로 불연속적일 수 있어도(예를 들어, "1", "3", 또는 "5"), 순위값은 연속적인 미세 척도 상에 있다. 추가로, 전체적으로 연속적인 순위를 제공하도록 사용자 인터페이스에 의해 알고리듬 파라미터를 조정할 수 있다. (수학식 12)의 가중치는 전문 순위와의 자동 영상/특징부 비교를 조합하는 확산 거리 공정에 의해 유도된다. 정규화 가중(normalized weighting)의 다른 방식, 예를 들어, 지수 가중 함수를 고려할 수 있다.
도 5에 대한 상기 공정은 전문 등급 내의 부정확한 라벨을 무시할 수 있다. 즉, 전문가가 실수로 소정 영상을, 예를 들어 "5" 대신에 "1"로 라벨링했다면, 그럼에도 불구하고 본 공정은 이 점에 다른 "5" 점에 더 가까운 순위값을 배정할 수 있을 것이다. 이는 주로 수학식 (8)의 곱의 상이한 2개의 항의 영향에 기인한다. 제2 항은 불연속 라벨을 감안하는 반면에, 제1 항은 매니폴드 상의 데이터의 고유 구조만을 기반으로 한다. 이들 항의 상대적 효과는 그들 각각의 대역폭 파라미터에 의해 제어된다. σ p 가 큰 값으로 설정된다면, 사전 확률 항은 이행 확률에 아주 작은 영향을 가질 것이다.
추가로, 또한 다중 전문가를 조합할 수 있다. 이러한 경우에, 트레이닝 모듈(41)은 각자의 전문가에 대해 친화도 매트릭스의 계산에 추가의 가중치를 이용한다. 상이한 전문가의 신뢰도를 동일한 양식으로 평가할 수 있다.
도 6은 차트화 모듈(39)이 실시간으로 연속 순위 모델(34)("모델(34)")을 이용하여 불균일성 결함의 존재를 검출하고 각각의 결함에 대한 심각도 수준의 연속 차트화를 제공하는 예시적인 공정을 더욱 상세하게 나타내는 흐름도이다.
제조되는 웨브의 새로운 영상이 포착됨에 따라(120), 트레이닝 영상에서와 동일한 방식으로 특징부를 추출한다(122). 구체적으로, 트레이닝 샘플의 특징부 벡터
Figure pct00017
이 트레이닝 단계에서 학습된 상응하는 순위값
Figure pct00018
과 함께 주어지면, 실시간 차트화 모듈(39)의 함수는 새로운 영상으로부터 추출된 새로운 특징부 벡터
Figure pct00019
에 대한 순위값을 추산할 것이며, 이를 본 명세서에서는 쿼리 샘플(query sample)이라고 지칭한다.
초기에, 차트화 모듈(39)은 주어진 결함에 대해 트레이닝 샘플
Figure pct00020
중에서
Figure pct00021
의 k-최근방 이웃의 위치를 정한다(124). 일 실시 형태에서, 차트화 모듈(39)은 특징부 공간 내의 유클리드 거리를 사용하여 하기 수학식에 의해 주어지는 최근방 이웃을 찾는다:
[수학식 13]
Figure pct00022
차트화 모듈(39)은 인터페이스를 제공할 수 있으며, 이에 의해 사용자는 최근방 이웃의 수, k를 구성가능한 파라미터로서 특정할 수 있다. 도 7은 2-차원 특징부 공간 내에서 k-최근방 이웃을 찾는 논리적 표현을 제공하는 그래프이다. 이러한 예에서는, 특징부 공간 내의 쿼리 점(135)에 대해 6개의 최근방 이웃이 식별된다.
몇몇 기술을 사용하여 k-최근방 이웃의 위치를 정할 수 있다. 하나의 기술은
Figure pct00023
(쿼리 점)로부터 트레이닝 세트 내의 각각의 샘플
Figure pct00024
까지의 거리를 계산함으로써 전체 검색(exhaustive search)을 수행하는 것이다. 그러나, 특히 트레이닝 샘플의 수가 크고 특징부 공간이 고차원이라면, 이러한 유형의 전체 검색은 계산상 고가일 수 있다. 2개의 다른 기술이 기술되어 있다. 하나는 완전일치 검색(exact search)이고(즉, 본 기술은 전체 검색과 동일한 결과를 내지만 더 효율적인 방식임), 다른 하나는 근사 검색(approximate search)이다. 전체 검색에 비교하여 계산 경비의 관점에서 양자 모두의 기술이 현저한 개선을 제공한다. 임의의 k-최근방 이웃 검색 방법을 사용할 수 있으며, 이들은 단지 2개의 예를 나타낸다.
더 효율적인 k-최근방 이웃(kNN) 검색을 수행하지만, 전체 검색과 동일한 결과를 여전히 제공하는 하나의 기술은, 먼저 트레이닝 샘플
Figure pct00025
을 "볼 트리(ball tree)"로 조직화하는 것이다. 볼 트리는 특징부 공간 내에서 트레이닝 샘플의 근접성을 기반으로 트레이닝 샘플을 계층형 그룹화로 조직화하는 데이터 구조이다. 트리의 최저 수준에서, 각각의 "단말(leaf)" 노드는 서로 가까운 하나 또는 몇몇 샘플을 함유할 것이다. 차트화 모듈(39)이 트리 위로 더 높이 진행함에 따라, 그룹화는 많은 수의 점을 함유하지만, 여전히 근접성을 기반으로 그룹화된다. 최종적으로, 트리의 상단에서, "뿌리(root)" 노드는 이 트레이닝 세트 내의 모든 점을 함유한다. 이 구조는 트레이닝 샘플에 대해 단 한번 계산된 후에, 쿼리에서 여러 번 사용될 것임에 유의한다. 볼 트리의 용도에 관한 추가의 상세 사항은 문헌[A.W. Moore, "The Anchors Hierarchy: Using the Triangle Inequality to Survive High Dimensional Data," Proceedings of the 12th Conference on Uncertainty in Artificial Intelligence, pp. 397-405, 2000]에 기술되어 있다.
일단 트레이닝 샘플이 이러한 계층형 볼 트리 내에 조직화되면, 그들을 효율적으로 검색하여 새로운 쿼리 점의 kNN을 정확하게 찾을 수 있다. 이러한 검색을 수행하기 위한 알고리듬은 반복성일 수 있으며, 트레이닝 데이터의 고유 구조를 탐색하여 그것을 효율적으로 검색한다. 예를 들어, 쿼리 점
Figure pct00026
가 볼 트리 내의 하나의 특정 노드에 가깝다는 것이 알려져 있다면, 차트화 모듈(39)은 멀리 떨어진 다른 노드 내의 쿼리 점의 kNN에 대한 검색을 계속하기 위해 시간을 낭비하지 않는다. 검색 시간에서의 이러한 증가된 효율에 대한 계산 비용은 트리 구축의 복잡성에 있으며, 이는 트레이닝 샘플만을 포함하므로 오프라인으로 제작될 수 있다.
두번째 예로서, 전체 검색의 결과와 정확하게 동일함이 보장되지는 않지만 유사한 결과를 제공하도록 설계된 근사 kNN 검색을 사용함으로써 추가의 계산 효율을 달성할 수 있다. 하나의 이러한 접근 방법은 국소성-감지 해싱(LSH: Locality-Sensitive Hashing)이다. 앞에서와 같이, 신속한 kNN 검색을 가능하게 하기 위하여 차트화 모듈(39)은 트레이닝 샘플을 특징부 공간 내의 그들의 구조를 기반으로 조직화한다. 이 경우에, 트레이닝 샘플을 지표화하는 몇몇 해시 표(hash table)가 형성된다. 각각의 해시 표는, 각각의 샘플에 대한 1-차원 표현을 유발하는 트레이닝 샘플의 무작위 투영(random projection)을 취한 후에 이 선을 따라 샘플을 불연속 그룹의 세트로 비닝(binning)함으로써 형성된다. 이러한 절차를 반복하여, 몇몇 해시 표를 형성시키고 이들 해시 표를 기반으로 점의 근사 kNN을 높은 확률로 신속하게 찾을 수 있다. 3개 해시 표(140)(그 안에 3개의 트레이닝 샘플(141A, 141B, 및 141C) 및 쿼리 샘플(142) 각각이 해싱됨)의 단순한 경우에 대하여 이것의 도시를 도 8에 나타낸다. 이 경우에, 얻어지는 해시 표의 지표화는 쿼리 샘플의 2개의 최근방-이웃(141A, 141B)의 정확한 식별을 유발한다. 국소성-감지 해싱(LSH)에 관한 추가의 상세 사항은 문헌["Locality-sensitive hashing: A. Andoni and P. Indyk, \Near-Optimal Hashing Algorithms for Approximate Nearest Neighbor in High Dimensions," Communications of the ACM, vol. 51, no. 1, pp. 117-122, Jan. 2008]에 기술되어 있다.
도 6의 흐름도로 돌아가면, k-최근방 이웃을 식별한 후에, 차트화 모듈(39)은 쿼리 점을 그의 k-최근방 이웃의 선형 조합으로서 가장 잘 표현하는 쿼리 점에 대한 재건 가중치(reconstruction weight)를 계산한다(126). 가중치는 양성 또는 음성일 수 있으며, 하기의 오차를 최소화함으로써 계산할 수 있다:
[수학식 14]
Figure pct00027
여기서 w i 는 재건 가중치이고, Ω는 k-최근방 이웃의 세트이다. 오차 함수(14)는 폐쇄형으로 최소화할 수 있다. 가중치 또한 폐쇄형으로 계산할 수 있다.
그 다음에, 차트화 모듈(39)은 특정 결함에 대한 쿼리 점의 심각도 순위값을, 그 결함에 대한 그의 k-최근방 이웃의 순위값의 가중 평균으로서 계산한다(128). 일례에서는, 심각도 순위값을 하기와 같이 계산할 수 있다:
[수학식 15]
Figure pct00028
앞에서와 같이, 쿼리 점의 불균일성 심각도 순위값은 연속 척도 상에 있다. 이러한 접근 방법은, 쿼리 점이 트레이닝 세트 내의 가장 유사한 영상의 순위값에 가까운 순위값을 받는 것을 가능하게 한다. 최근방-이웃 기술 대신에 다른 표본외(out-of-sample) 기술을 사용할 수 있다는 것이 고려된다.
최종적으로, 차트화 모듈(39)은 계산된 심각도 순위값을 작업자에게 출력한다(130). 결함에 대한 심각도 순위의 경향을 나타내도록 출력은 차트를 업데이트하는 형태를 취할 수 있거나, 차트화 모듈(39)이 심각도 순위값을 단일 숫자로서 단순히 출력할 수 있다. 예를 들어, 시간이 흐름에 따라 웨브 재료에 대한 불균일 결함의 심각도 수준을 그래프화하도록, 차트화 모듈(39)은 각각의 새로운 영상의 처리시에 차트를 업데이트할 수 있다. 그 후에, 전산화 검사 시스템 또는 다른 구성요소는 제조 공정을 위한 공정 제어 파라미터에 대한 변화를 특정하는 입력을 사용자로부터 받을 수 있으며, 입력에 반응하여 공정 제어 파라미터를 조정할 수 있다.
본 발명의 다양한 실시 형태들이 설명되었다. 이들 및 다른 실시 형태가 이하의 특허청구범위의 범주 내에 속한다.

Claims (13)

  1. 각각의 트레이닝(training) 영상의 화소값으로부터 각각의 트레이닝 영상에 대한 수치화된 디스크립터(descriptor)를 계산함으로써 복수의 트레이닝 영상 각각으로부터 특징부를 추출하기 위하여 컴퓨터 상에서 소프트웨어를 실행하는 단계(여기서 각각의 영상에는 트레이닝 영상 내에 존재하는 불균일 결함에 대한 불연속 등급 라벨(discrete rating label)의 세트 중 하나가 배정되어 있음);
    트레이닝 영상의 수치화된 디스크립터를 등급화 소프트웨어로 처리하여, 트레이닝 영상에 배정된 불연속 등급 라벨을 기반으로 트레이닝 영상의 연속 순위를 계산하는 단계; 및
    제조된 웨브 재료로부터 포착된 새로운 영상을 처리하여 새로운 영상으로부터 특징부를 추출하고 트레이닝 영상의 연속 순위를 기반으로 웨브에 대한 불균일 결함의 심각도(severity) 수준을 계산하는 단계를 포함하는 방법.
  2. 제1항에 있어서, 심각도 수준을 사용자에게 출력하기 위한 사용자 인터페이스를 제공하는 단계를 추가로 포함하는 방법.
  3. 제2항에 있어서, 사용자 인터페이스를 제공하는 단계가, 시간의 흐름에 따라 웨브 재료에 대한 불균일 결함의 심각도 수준을 그래프화하기 위하여 차트를 업데이트하는 단계를 포함하는 방법.
  4. 제2항에 있어서,
    사용자로부터 입력을 받는 단계; 및
    입력에 반응하여 제조된 웨브 재료에 대한 공정 제어 파라미터를 조정하는 단계를 추가로 포함하는 방법.
  5. 제1항에 있어서, 각각의 트레이닝 영상에 대한 수치화된 디스크립터를 계산하는 단계가 다차원 특징부 공간 내의 특징부 벡터를 계산하는 단계를 포함하는 방법.
  6. 제5항에 있어서, 트레이닝 영상의 수치화된 디스크립터를 등급화 소프트웨어로 처리하여 트레이닝 영상의 연속 순위를 계산하는 단계가,
    트레이닝 영상에 대한 각각의 특징부 벡터를 다차원 공간 내의 점으로서 나타내는 단계;
    다차원 공간 내의 각각의 점으로부터 특징부 벡터에 의해 나타내어지는 각각의 다른 점으로의 이행 확률을 계산하며, 여기서 이행 확률을 계산하는 단계는 상이한 등급 라벨이 배정된 트레이닝 영상을 나타내는 2개의 점 사이의 이행에 대한 페널티를 포함하는 단계를 포함하는 단계;
    이행 확률을 기반으로, 각각의 점 사이의 쌍대(pair-wise) 거리를 계산하며, 여기서 각각의 거리는 점에 의해 나타내어지는 트레이닝 영상 사이의 비유사성의 측정값을 지시하는 단계; 및
    트레이닝 영상에 의해 나타내어지는 점과 다차원 특징부 공간을 가진 각각의 다른 점 사이의 쌍대 거리의 함수로서 각각의 트레이닝 영상에 대한 불균일성 심각도 순위를 계산하는 단계를 포함하는 방법.
  7. 제6항에 있어서, 새로운 영상을 처리하는 단계가,
    새로운 영상에 대해 다차원 특징부 공간 내의 특징부 벡터를 계산하는 단계;
    소프트웨어를 이용하여, 다차원 특징부 공간 내의 트레이닝 영상에 대해 복수의 최근방 이웃 점을 식별하는 단계;
    새로운 영상에 대한 특징부 벡터를 복수의 최근방 이웃 점의 선형 조합으로서 가장 잘 표현하는 재건 가중치(reconstruction weight)의 세트를 계산하는 단계; 및
    다차원 공간 내의 복수의 최근방 이웃 점에 의해 나타내어지는 트레이닝 영상의 불균일성 순위값의 가중 평균을 기반으로 새로운 영상의 불균일 결함의 심각도 수준을 계산하는 단계를 포함하는 방법.
  8. 프로세서;
    복수의 트레이닝 샘플을 저장하는 기억장치(여기서 각각의 영상에는 트레이닝 영상 내에 존재하는 불균일 결함에 대한 불연속 등급 라벨의 세트 중 하나가 배정되어 있음); 및
    프로세서 상에서 실행되는 트레이닝 소프트웨어(여기서 소프트웨어는 각각의 트레이닝 영상의 화소값으로부터 각각의 트레이닝 영상에 대해 특징부 벡터를 계산함으로써 복수의 트레이닝 영상 각각으로부터 특징부를 추출하기 위한 특징부 추출 모듈을 포함하며,
    여기서 트레이닝 소프트웨어는 트레이닝 영상에 대한 각각의 특징부 벡터를 다차원 공간 내의 점으로서 나타내고, 각각의 트레이닝 영상에 연속 척도로 불균일성 심각도 순위값이 배정되는 트레이닝 영상의 연속 순위를 계산함)를 포함하는 장치.
  9. 제8항에 있어서, 트레이닝 소프트웨어가 다차원 공간 내의 각각의 점으로부터 특징부 벡터에 의해 나타내어지는 각각의 다른 점으로의 이행 확률을 계산하며, 여기서 트레이닝 소프트웨어는 상이한 등급 라벨이 배정된 트레이닝 영상을 나타내는 2개의 점 사이의 이행에 상응하는 이행 확률에 페널티를 포함하는 장치.
  10. 제8항에 있어서, 트레이닝 소프트웨어가 이행 확률을 기반으로 각각의 점 사이의 쌍대 거리를 계산하고(여기서 각각의 거리는 점에 의해 나타내어지는 트레이닝 영상 사이의 비유사성의 측정값을 지시함); 트레이닝 영상에 의해 나타내어지는 점과 다차원 특징부 공간을 가진 각각의 다른 점 사이의 쌍대 거리의 함수로서 각각의 트레이닝 영상에 대한 불균일성 심각도 순위값을 계산하는 장치.
  11. 트레이닝 영상의 연속 순위를 나타내는 모델을 다차원 특징부 공간 내의 복수의 점으로서 저장하기 위한 기억장치(여기서 다차원 공간 내의 각각의 점은 트레이닝 영상 중 상이한 하나에 대한 특징부 벡터에 상응함);
    소프트웨어를 실행하는 서버(여기서 소프트웨어는 제조된 웨브 재료로부터 포착된 새로운 영상을 처리하여 새로운 영상으로부터 특징부를 추출하고, 트레이닝 영상의 모델을 기반으로 웨브 재료 연속 척도에 대한 불균일 결함의 심각도 수준을 계산함); 및
    사용자에게 심각도 수준을 출력하기 위한 사용자 인터페이스를 포함하는 전산화 검사 시스템.
  12. 제11항에 있어서, 소프트웨어가 새로운 영상에 대한 다차원 특징부 공간 내의 특징부 벡터를 계산하고, 복수의 점을 갖는 다차원 특징부 공간 내의 복수의 최근방 이웃 점을 식별하며, 새로운 영상에 대한 특징부 벡터를 복수의 최근방 이웃 점의 선형 조합으로서 가장 잘 표현하는 재건 가중치의 세트를 계산하고, 다차원 공간 내의 복수의 최근방 이웃 점에 의해 나타내어지는 트레이닝 영상의 불균일성 순위값의 가중 평균을 기반으로 웨브에 대한 불균일 결함의 심각도 수준을 계산하는 전산화 검사 시스템.
  13. 컴퓨터 프로세서가,
    각각의 트레이닝 영상의 화소값으로부터 각각의 트레이닝 영상에 대한 수치화된 디스크립터를 계산함으로써 복수의 트레이닝 영상 각각으로부터 특징부를 추출하기 위하여 컴퓨터 상에서 소프트웨어를 실행하며(여기서 각각의 영상에는 트레이닝 영상 내에 존재하는 불균일 결함에 대한 불연속 등급 라벨의 세트 중 하나가 배정되어 있음);
    트레이닝 영상의 수치화된 디스크립터를 등급화 소프트웨어로 처리하여 트레이닝 영상에 배정된 불연속 등급 라벨을 기반으로 트레이닝 영상의 연속 순위를 계산하고;
    제조된 웨브 재료로부터 포착된 새로운 영상을 처리하여 새로운 영상으로부터 특징부를 추출하고 트레이닝 영상의 연속 순위를 기반으로 웨브에 대한 불균일 결함의 심각도 수준을 계산하며;
    사용자에게 심각도 수준을 출력하기 위한 사용자 인터페이스를 제공하도록 하는 소프트웨어 명령어를 포함하는 비-일시적 컴퓨터-판독가능 매체.
KR1020137012508A 2010-10-19 2011-10-04 웨브-기반의 재료의 가변성 검출을 위한 불균일성 심각도의 연속 차트화 KR20130139287A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US39465510P 2010-10-19 2010-10-19
US61/394,655 2010-10-19
PCT/US2011/054673 WO2012054225A2 (en) 2010-10-19 2011-10-04 Continuous charting of non-uniformity severity for detecting variability in web-based materials

Publications (1)

Publication Number Publication Date
KR20130139287A true KR20130139287A (ko) 2013-12-20

Family

ID=45975802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137012508A KR20130139287A (ko) 2010-10-19 2011-10-04 웨브-기반의 재료의 가변성 검출을 위한 불균일성 심각도의 연속 차트화

Country Status (8)

Country Link
US (1) US20130208978A1 (ko)
EP (1) EP2630473A2 (ko)
JP (1) JP2013541779A (ko)
KR (1) KR20130139287A (ko)
CN (1) CN103180724A (ko)
BR (1) BR112013008307A2 (ko)
SG (1) SG189226A1 (ko)
WO (1) WO2012054225A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160109716A (ko) * 2015-03-12 2016-09-21 한국전자통신연구원 응급 정신상태 예측 장치 및 방법
KR20180044198A (ko) * 2016-10-21 2018-05-02 텍스마그 게엠베하 베르트리에브스게셀스차프트 소재 웹 관찰 및 소재 웹 검사를 위한 방법 및 장치

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140031964A1 (en) * 2012-07-27 2014-01-30 Geoffrey Rajay Sidhu Method and system for manufacturing an article
US9923892B1 (en) * 2013-06-14 2018-03-20 Whitehat Security, Inc. Enhanced automatic response culling with signature generation and filtering
TWI506461B (zh) * 2013-07-16 2015-11-01 Univ Nat Taiwan Science Tech 人體動作的辨識方法與裝置
EP3063495A4 (en) * 2013-10-31 2017-08-09 3M Innovative Properties Company Multiscale uniformity analysis of a material
US9778973B2 (en) 2015-10-28 2017-10-03 International Business Machines Corporation Early diagnosis of hardware, software or configuration problems in data warehouse system utilizing grouping of queries based on query parameters
GB201519801D0 (en) * 2015-11-10 2015-12-23 Rolls Royce Plc Pass fail sentencing of hollow components
US10181185B2 (en) * 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
WO2018221605A1 (en) * 2017-05-31 2018-12-06 Nipro Corporation Method for evaluation of glass container
TWI649659B (zh) * 2017-10-27 2019-02-01 財團法人工業技術研究院 自動光學檢測影像分類方法、系統及含有該方法之電腦可讀取媒體
CN108227664A (zh) * 2018-02-05 2018-06-29 华侨大学 基于样本数据训练的产品质量控制设备及质量控制方法
US11315231B2 (en) 2018-06-08 2022-04-26 Industrial Technology Research Institute Industrial image inspection method and system and computer readable recording medium

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539106B1 (en) * 1999-01-08 2003-03-25 Applied Materials, Inc. Feature-based defect detection
US6999614B1 (en) * 1999-11-29 2006-02-14 Kla-Tencor Corporation Power assisted automatic supervised classifier creation tool for semiconductor defects
WO2001041068A1 (fr) * 1999-11-29 2001-06-07 Olympus Optical Co., Ltd. Systeme de detection de defaut
JP2003344300A (ja) * 2002-05-21 2003-12-03 Jfe Steel Kk 表面欠陥判別方法
JP4118703B2 (ja) * 2002-05-23 2008-07-16 株式会社日立ハイテクノロジーズ 欠陥分類装置及び欠陥自動分類方法並びに欠陥検査方法及び処理装置
JP2008175588A (ja) * 2007-01-16 2008-07-31 Kagawa Univ 外観検査装置
JP5255953B2 (ja) * 2008-08-28 2013-08-07 株式会社日立ハイテクノロジーズ 欠陥検査方法及び装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160109716A (ko) * 2015-03-12 2016-09-21 한국전자통신연구원 응급 정신상태 예측 장치 및 방법
KR20180044198A (ko) * 2016-10-21 2018-05-02 텍스마그 게엠베하 베르트리에브스게셀스차프트 소재 웹 관찰 및 소재 웹 검사를 위한 방법 및 장치

Also Published As

Publication number Publication date
EP2630473A2 (en) 2013-08-28
BR112013008307A2 (pt) 2019-09-24
JP2013541779A (ja) 2013-11-14
WO2012054225A3 (en) 2012-07-05
US20130208978A1 (en) 2013-08-15
CN103180724A (zh) 2013-06-26
SG189226A1 (en) 2013-05-31
WO2012054225A2 (en) 2012-04-26

Similar Documents

Publication Publication Date Title
KR20130139287A (ko) 웨브-기반의 재료의 가변성 검출을 위한 불균일성 심각도의 연속 차트화
KR101800057B1 (ko) 트레이닝 영상에 등급을 배정하는 방법 및 장치
KR20140031201A (ko) 웨브 기반 재료 내의 불균일성의 검출 시스템
TWI751376B (zh) 識別在一晶圓上偵測到之缺陷中之損害及所關注缺陷
JP5912125B2 (ja) ウェブベース材料における不均一性の高速処理と検出
US10115040B2 (en) Convolutional neural network-based mode selection and defect classification for image fusion
Bulnes et al. An efficient method for defect detection during the manufacturing of web materials
KR20170005379A (ko) 검사를 위한 고해상도 전체 다이 이미지 데이터의 사용
US7283659B1 (en) Apparatus and methods for searching through and analyzing defect images and wafer maps
CN108369915B (zh) 减少配准及设计附近所引发的裸片内检验的噪声
WO2016172622A1 (en) Outlier detection on pattern of interest image populations
Medina et al. Automated visual classification of frequent defects in flat steel coils
CN113222982A (zh) 基于改进的yolo网络的晶圆表面缺陷检测方法及系统
Niskanen et al. Real-time aspects of SOM-based visual surface inspection
CN115830302A (zh) 一种多尺度特征提取融合配电网设备定位识别方法
Abyasa et al. YOLOv8 for Product Brand Recognition as Inter-Class Similarities
KR102618194B1 (ko) Ai와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3d 자동 공정검사 방법 및 시스템
Pan et al. Automatic LED chips defect inspection using level set method of image segmentation
CN116977274A (zh) 适用于移动生产线上的坚果智能检测方法及系统

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid