KR20190011200A - 결함 검사 시스템 및 결함 검사 방법 - Google Patents

결함 검사 시스템 및 결함 검사 방법 Download PDF

Info

Publication number
KR20190011200A
KR20190011200A KR1020180082657A KR20180082657A KR20190011200A KR 20190011200 A KR20190011200 A KR 20190011200A KR 1020180082657 A KR1020180082657 A KR 1020180082657A KR 20180082657 A KR20180082657 A KR 20180082657A KR 20190011200 A KR20190011200 A KR 20190011200A
Authority
KR
South Korea
Prior art keywords
image
line
data
line segment
divided
Prior art date
Application number
KR1020180082657A
Other languages
English (en)
Inventor
마야 오자키
오사무 히로세
Original Assignee
스미또모 가가꾸 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스미또모 가가꾸 가부시키가이샤 filed Critical 스미또모 가가꾸 가부시키가이샤
Publication of KR20190011200A publication Critical patent/KR20190011200A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Textile Engineering (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

결함 검사 시스템(1)에서는, 촬상부(3)에 의해 반송 방향(X)으로 휘도가 변화하는 2차원 화상(F)(t1) 등이 촬상되고, 라인 분할 처리부(9)에 의해 2차원 화상(F)(t1) 등의 동일 위치의 라인(L1)(t1) 등을 시계열순으로 병렬시킨 라인 분할 화상(DL1)(t1) 등의 화상 데이터로 처리되고, 분류부(10)에 따라서 상이한 휘도의 라인 분할 화상(DL1)(t1) 등이 복수의 라인 분할 화상군(G1)(t1) 등으로 분류되고, 통합부(11)에 의해 라인 분할 화상(DL1)(t1) 등으로 검사 대상(T)의 동일 위치를 촬상한 화상 데이터의 화소값끼리가 통합되어, 라인 분할 화상군(G1)(t1) 등마다 화상 통합 데이터(C1)(t1) 등이 생성되고, 분할 출력부(12)에 의해 미리 정한 규칙에 따라서 화상 통합 데이터(C1)(t1)가 분할되어 출력되고, 미리 정한 규칙에 따른 분할마다 화상 통합 데이터(C1)(t1) 등의 화상의 보이는 방식이 상이하여, 결함(D)의 종별을 인식하기 쉬워진다.

Description

결함 검사 시스템 및 결함 검사 방법{SYSTEM FOR DEFECT INSPECTION AND METHOD FOR DEFECT INSPECTION}
본 발명은 결함 검사 시스템 및 결함 검사 방법에 관한 것이다.
검사 대상의 촬상 화상에 기초하여 검사 대상의 결함을 검사하는 결함 검사 시스템으로서, 예를 들어 편광 필름 및 위상차 필름 등의 광학 필름, 전지의 세퍼레이터에 사용되는 적층 필름 등의 결함을 검출하는 결함 검사 시스템이 알려져 있다. 이러한 종류의 결함 검사 시스템은, 반송 방향으로 필름을 반송하고, 필름의 2차원 화상을 이산 시간마다 촬상하고, 촬상한 2차원 화상에 기초하여 결함 검사를 행한다. 예를 들어, 일본 특허 제4726983호의 시스템은, 2차원 화상을 반송 방향으로 병렬하는 복수의 라인으로 분할하여, 이산 시간마다 촬상된 2차원 화상 각각에서의 동일 위치의 라인을 시계열순으로 병렬시킨 라인 분할 화상을 생성한다. 라인 분할 화상은, 휘도 변화를 강조한 결함 강조 처리 화상으로 처리된다. 결함 강조 처리 화상에 대해서, 검사 대상에서의 동일 위치를 촬상한 결함 강조 처리 화상의 화상 데이터의 화소값끼리가 적산됨으로써 통합된다. 이에 의해, 필름의 결함 유무나 위치가 용이하게 특정된다.
그런데, 필름의 결함에는, 돌출된 볼록 결함이나 오목한 오목 결함 등의 종별이 있다. 결함 검사 시스템에 있어서는, 결함의 유무나 위치뿐만 아니라, 결함의 종별도 식별되는 것이 바람직하다. 그러나, 상기 기술에 있어서는, 결함 강조 처리 화상의 화상 데이터의 화소값끼리가 적산됨으로써 통합되어 있기 때문에, 결함의 돌출이나 오목부의 정보는 소멸되어 버리거나 서로 상쇄되어, 결함의 종별을 식별하기가 어려워, 개선이 요망되고 있다.
여기에서 본 발명은, 결함의 종별을 인식하기 쉬워지는 결함 검사 시스템 및 결함 검사 방법을 제공하는 것을 목적으로 한다.
본 발명은, 검사 대상에 광을 조사하는 광원과, 광원으로부터 검사 대상에 조사되어 검사 대상을 투과 또는 반사한 광에 의한 2차원 화상을 이산 시간마다 촬상하는 촬상부와, 광원 및 촬상부에 대하여 검사 대상을 반송 방향으로 상대적으로 반송하는 반송부와, 촬상부에 의해 촬상된 2차원 화상의 화상 데이터를 처리하는 화상 처리부를 구비하며, 촬상부는, 2차원 화상에서의 반송 방향과 합치하는 방향으로 휘도가 변화하는 2차원 화상을 촬상하고, 화상 처리부는, 2차원 화상을 반송 방향으로 병렬하는 복수의 라인으로 분할하여, 촬상부에 의해 이산 시간마다 촬상된 2차원 화상 각각에서의 동일 위치의 라인을 시계열순으로 병렬시킨 라인 분할 화상의 화상 데이터로 처리하는 라인 분할 처리부와, 라인 분할 처리부에 의해 처리된 라인 분할 화상 각각을 미리 정한 규칙에 따라서 2 이상의 라인 분할 화상군으로 분류하는 분류부와, 분류부에 의해 동일한 라인 분할 화상군으로 분류된 라인 분할 화상 각각에 대해서, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 화소값끼리를 통합하여, 라인 분할 화상군마다 화상 통합 데이터를 생성하는 통합부와, 통합부에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터를 미리 정한 규칙에 따라서 분할하여 출력하는 분할 출력부를 갖는 결함 검사 시스템이다.
이 구성에 의하면, 검사 대상에 광을 조사하는 광원과, 광원으로부터 검사 대상에 조사되어 검사 대상을 투과 또는 반사한 광에 의한 2차원 화상을 이산 시간마다 촬상하는 촬상부와, 광원 및 촬상부에 대하여 검사 대상을 반송 방향으로 상대적으로 반송하는 반송부와, 촬상부에 의해 촬상된 2차원 화상의 화상 데이터를 처리하는 화상 처리부를 구비한 결함 검사 시스템에 있어서, 촬상부에 의해, 2차원 화상에서의 반송 방향과 합치하는 방향으로 휘도가 변화하는 2차원 화상이 촬상되고, 화상 처리부의 라인 분할 처리부에 의해, 2차원 화상이 반송 방향으로 병렬하는 복수의 라인으로 분할되어, 촬상부에 의해 이산 시간마다 촬상된 2차원 화상 각각에서의 동일 위치의 라인을 시계열순으로 병렬시킨 라인 분할 화상의 화상 데이터로 처리되기 때문에, 동일한 검사 대상이 촬상된 화상이어도 라인 분할 화상 각각은 상이한 휘도를 갖는 화상이 된다. 또한, 화상 처리부의 분류부에 의해, 라인 분할 처리부에 의해 처리된 상이한 휘도를 갖는 라인 분할 화상 각각이 미리 정한 규칙에 따라서 2 이상의 라인 분할 화상군으로 분류되고, 화상 처리부의 통합부에 의해, 동일한 라인 분할 화상군으로 분류된 라인 분할 화상 각각에 대해서, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 화소값끼리가 통합되어, 라인 분할 화상군마다 화상 통합 데이터가 생성되고, 화상 처리부의 분할 출력부에 의해, 통합부에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터가 미리 정한 규칙에 따라서 분할되어 출력되기 때문에, 화상 데이터의 화소값끼리가 통합된 화상 통합 데이터여도, 미리 정한 규칙에 따라서 분할되어 출력됨으로써 미리 정한 규칙에 따른 분할마다 화상 통합 데이터의 화상의 보이는 방식이 상이한 것으로 되기 때문에, 화상 통합 데이터에서의 검사 대상의 결함의 종별을 인식하기 쉬워진다.
이 경우, 촬상부에서 이산 시간마다 촬상되는 2차원 화상은, 명부와, 암부와, 명부와 암부 사이의 경계부를 가지고, 반송부는, 촬상부에 대하여 검사 대상을 명부, 암부 및 경계부에 교차하는 반송 방향으로 상대적으로 반송하는 것이 적합하다.
이 구성에 의하면, 촬상부에서 이산 시간마다 촬상되는 2차원 화상은, 명부와, 암부와, 명부와 암부 사이의 경계부를 가지고, 반송부에 의해, 촬상부에 대하여 검사 대상이 명부, 암부 및 경계부에 교차하는 반송 방향으로 상대적으로 반송되기 때문에, 이산 시간마다 촬상된 일련의 2차원 화상에서의 검사 대상의 각 부위가 명부, 암부 및 경계부 중 어느 것에 들어간다. 이 때문에, 분할 출력부에 의해 출력되는 화상 데이터가 화상 데이터의 화소값끼리가 통합된 화상 통합 데이터여도, 미리 정한 규칙에 따른 분할마다의 화상 통합 데이터의 화상의 보이는 방식이 또한 상이한 것으로 되기 때문에, 화상 통합 데이터에서의 검사 대상의 결함의 종별을 보다 인식하기 쉬워진다.
이 경우, 분류부는, 라인 분할 처리부에 의해 처리된 라인 분할 화상 각각을, 2차원 화상 각각에서의 명부의 라인을 시계열순으로 병렬시킨 라인 분할 화상의 라인 분할 화상군, 2차원 화상 각각에서의 암부의 라인을 시계열순으로 병렬시킨 라인 분할 화상의 라인 분할 화상군, 및 2차원 화상 각각에서의 경계부의 라인을 시계열순으로 병렬시킨 라인 분할 화상의 라인 분할 화상군으로 분류하는 것이 적합하다.
이 구성에 의하면, 분류부에 의해, 라인 분할 처리부에 의해 처리된 라인 분할 화상 각각이, 2차원 화상 각각에서의 명부의 라인을 시계열순으로 병렬시킨 라인 분할 화상의 라인 분할 화상군, 2차원 화상 각각에서의 암부의 라인을 시계열순으로 병렬시킨 라인 분할 화상의 라인 분할 화상군, 및 2차원 화상 각각에서의 경계부의 라인을 시계열순으로 병렬시킨 라인 분할 화상의 라인 분할 화상군으로 분류되기 때문에, 분할 출력부에 의해 출력되는 화상 데이터가 화상 데이터의 화소값끼리가 통합된 화상 통합 데이터여도, 명부, 암부 및 경계부의 라인 분할 화상군마다 분할되어 출력됨으로써 라인 분할 화상군마다 화상 통합 데이터의 화상의 보이는 방식이 또한 상이한 것으로 되기 때문에, 화상 통합 데이터에서의 검사 대상의 결함의 종별을 보다 인식하기 쉬워진다.
또한, 광원과 검사 대상 사이에 위치하여, 광원으로부터 검사 대상에 조사되는 광의 일부를 차광함으로써, 촬상부에서 이산 시간마다 촬상되는 2차원 화상에 명부와 암부와 경계부를 형성하는 차광체를 더 구비하고, 반송부는, 광원, 차광체 및 촬상부에 대하여 검사 대상을 명부, 암부 및 경계부에 교차하는 반송 방향으로 상대적으로 반송해도 된다.
이 구성에 의하면, 차광체에 의해 2차원 화상에 명부와 암부와 경계부를 용이하게 형성할 수 있고, 이산 시간마다 촬상된 일련의 2차원 화상에서의 검사 대상의 각 부위가 명부, 암부 및 경계부 중 어느 것에 들어가도록 할 수 있다.
또한, 분할 출력부는, 통합부에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터를, 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도가 임의의 명(明)역치 이상인 화소, 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도가 임의의 암(暗)역치 이하인 화소, 및 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도의 변화폭이 임의의 변화 역치 이상인 화소 각각으로 분할하여 출력하는 것이 적합하다.
이 구성에 의하면, 분할 출력부에 의해, 통합부에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터가, 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도가 임의의 명역치 이상인 항상 밝은 화소, 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도가 임의의 암역치 이하인 항상 어두운 화소, 및 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도의 변화폭이 임의의 변화 역치 이상인 명암의 변화가 많은 화소 각각으로 분할되어 출력되기 때문에, 라인 분할 화상군마다 화상 통합 데이터의 화상 명부, 암부 및 경계부에서의 보이는 방식이 파악되기 쉬워지기 때문에, 화상 통합 데이터에서의 검사 대상의 결함의 종별을 더욱 인식하기 쉬워진다.
이 경우, 분할 출력부는, 통합부에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터를, 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도가 임의의 명역치 이상인 화소, 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도가 임의의 암역치 이하인 화소, 및 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도의 변화폭이 임의의 변화 역치 이상인 화소 각각을 서로 상이한 색으로 착색한 착색부로서 분할하여 출력하는 것이 적합하다.
이 구성에 의하면, 분할 출력부에 의해, 통합부에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터가, 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도가 임의의 명역치 이상인 항상 밝은 화소, 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도가 임의의 암역치 이하인 항상 어두운 화소, 및 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도의 변화폭이 임의의 변화 역치 이상인 명암의 변화가 많은 화소 각각이 서로 상이한 색으로 착색된 착색부로서 분할되어 출력된다.
이에 의해, 라인 분할 화상군마다 화상 통합 데이터의 화상 명부, 암부 및 경계부에서의 보이는 방식이 색채에 의해 파악하기 쉬워지기 때문에, 화상 통합 데이터에서의 검사 대상의 결함의 종별을 또한 인식하기 쉬워진다.
또한, 분할 출력부는, 통합부에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터를, 라인 분할 화상군마다 분할하여 출력하는 것이 적합하다.
이 구성에 의하면, 화상 데이터의 화소값끼리가 통합된 화상 통합 데이터여도, 라인 분할 화상군마다 분할되어 출력됨으로써 라인 분할 화상군마다 화상 통합 데이터의 화상의 보이는 방식이 상이한 것으로 되기 때문에, 화상 통합 데이터에서의 검사 대상의 결함의 종별을 인식하기 쉬워진다.
또한, 분할 출력부는, 통합부에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터를, 라인 분할 화상군 사이의 미리 정한 역치마다 분할하여 출력하는 것이 적합하다.
이 구성에 의하면, 화상 데이터의 화소값끼리가 통합된 화상 통합 데이터여도, 라인 분할 화상군 사이의 미리 정한 역치마다 분할되어 출력됨으로써 라인 분할 화상군 사이의 미리 정한 역치마다 화상 통합 데이터의 화상의 보이는 방식이 상이한 것으로 되기 때문에, 화상 통합 데이터에서의 검사 대상의 결함의 종별을 인식하기 쉬워진다.
또한, 통합부는, 동일한 라인 분할 화상군으로 분류된 라인 분할 화상 각각에 대해서, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 화소의 휘도의 기준값에 대한 고저에 따라서 화소에 정부의 부호를 갖는 차분값을 부여하고, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 화소의 차분값끼리를 통합하여, 라인 분할 화상군마다 화상 통합 데이터를 생성하는 것이 적합하다.
이 구성에 의하면, 통합부는, 동일한 라인 분할 화상군으로 분류된 라인 분할 화상 각각에 대해서, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 화소의 휘도의 기준값에 대한 고저에 따라서 화소에 정부의 부호를 갖는 차분값을 부여하고, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 화소의 차분값끼리를 통합하여, 라인 분할 화상군마다 화상 통합 데이터를 생성하기 때문에, 간단한 연산에 의해, 라인 분할 화상군마다, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 화소의 휘도의 기준값에 대한 고저가 강조된 화상 통합 데이터를 생성할 수 있다.
또한, 통합부는, 동일한 라인 분할 화상군으로 분류된 라인 분할 화상 각각에 대해서, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 서로 인접하는 화소의 휘도 변화를 강조하는 강조 처리를 실시하고, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 화소의 강조 처리를 실시한 값끼리를 통합하여, 라인 분할 화상군마다 화상 통합 데이터를 생성하는 것이 적합하다.
이 구성에 의하면, 통합부는, 동일한 라인 분할 화상군으로 분류된 라인 분할 화상 각각에 대해서, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 서로 인접하는 화소의 휘도 변화를 강조하는 강조 처리를 실시하고, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 화소의 강조 처리를 실시한 값끼리를 통합하여, 라인 분할 화상군마다 화상 통합 데이터를 생성하기 때문에, 간단한 연산에 의해, 라인 분할 화상군마다, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 서로 인접하는 화소의 휘도 변화가 강조된 화상 통합 데이터를 생성할 수 있다.
또한, 통합부에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터에 포함되는 결함의 종별의 식별에 관한 기계 학습의 결과를 축적한 데이터에 기초하여 검사 대상의 결함의 종별을 식별하는 해석부를 더 구비하는 것이 적합하다.
이 구성에 의하면, 해석부에 의해, 통합부에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터에 포함되는 결함의 종별의 식별에 관한 기계 학습의 결과를 축적한 데이터에 기초하여 검사 대상의 결함 종별이 식별되지만, 화상 데이터의 화소값끼리가 통합된 화상 통합 데이터는, 라인 분할 화상군마다 화상 데이터의 화소값끼리가 통합되어 있기 때문에, 당해 화상 통합 데이터에 대한 기계 학습의 결과에 기초하여 결함의 종별이 식별되게 되므로, 검사 대상의 결함 종별의 식별 정밀도를 향상시킬 수 있다.
한편, 본 발명은, 결함 검사 시스템의 광원으로부터 검사 대상에 광을 조사하는 조사 공정과, 결함 검사 시스템의 촬상부에 의해, 조사 공정에 의해 광원으로부터 검사 대상에 조사되어 검사 대상을 투과 또는 반사한 광에 의한 2차원 화상을 이산 시간마다 촬상하는 촬상 공정과, 결함 검사 시스템의 반송부에 의해, 광원 및 촬상부에 대하여 검사 대상을 반송 방향으로 상대적으로 반송하는 반송 공정과, 결함 검사 시스템의 화상 처리부에 의해, 촬상 공정에서 촬상된 2차원 화상의 화상 데이터를 처리하는 화상 처리 공정을 구비하며, 촬상 공정에서는, 2차원 화상에서의 반송 방향과 합치하는 방향으로 휘도가 변화하는 2차원 화상을 촬상하고, 화상 처리 공정에서는, 2차원 화상을 반송 방향으로 병렬하는 복수의 라인으로 분할하여, 촬상부에 의해 이산 시간마다 촬상된 2차원 화상 각각에서의 동일 위치의 라인을 시계열순으로 병렬시킨 라인 분할 화상의 화상 데이터로 처리하는 라인 분할 처리 공정과, 라인 분할 공정에서 처리된 라인 분할 화상 각각을 미리 정한 규칙에 따라서 2 이상의 라인 분할 화상군으로 분류하는 분류 공정과, 분류 공정에서 동일한 라인 분할 화상군으로 분류된 라인 분할 화상 각각에 대해서, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 화소값끼리를 통합하여, 라인 분할 화상군마다 화상 통합 데이터를 생성하는 통합 공정과, 통합 공정에서 생성된 라인 분할 화상군마다의 화상 통합 데이터를 미리 정한 규칙에 따라서 분할하여 출력하는 분할 출력 공정을 갖는 결함 검사 방법이다.
이 경우, 조사 공정에서는, 촬상 공정에서 이산 시간마다 촬상되는 2차원 화상은, 명부와, 암부와, 명부와 암부의 경계부를 가지고, 반송 공정에서는, 촬상부에 대하여 검사 대상을 명부, 암부 및 경계부에 교차하는 반송 방향으로 상대적으로 반송하는 것이 적합하다.
이 경우, 분류 공정에서는, 라인 분할 처리 공정에서 처리된 라인 분할 화상 각각을, 2차원 화상 각각에서의 명부의 라인을 시계열순으로 병렬시킨 라인 분할 화상의 라인 분할 화상군, 2차원 화상 각각에서의 암부의 라인을 시계열순으로 병렬시킨 라인 분할 화상의 라인 분할 화상군, 및 2차원 화상 각각에서의 경계부의 라인을 시계열순으로 병렬시킨 라인 분할 화상의 라인 분할 화상군으로 분류하는 것이 적합하다.
또한, 조사 공정에서는, 광원과 검사 대상 사이에 위치하여, 광원으로부터 검사 대상에 조사되는 광의 일부를 차광하는 차광체에 의해, 촬상 공정에서 이산 시간마다 촬상되는 2차원 화상에 명부와 암부와 경계부를 형성하고, 반송 공정에서는, 광원, 차광체 및 촬상부에 대하여 검사 대상을 명부, 암부 및 경계부에 교차하는 반송 방향으로 상대적으로 반송하는 것이 적합하다.
또한, 분할 출력 공정에서는, 통합 공정에서 생성된 라인 분할 화상군마다의 화상 통합 데이터를, 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도가 임의의 명역치 이상인 화소, 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도가 임의의 암역치 이하인 화소, 및 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도의 변화폭이 임의의 변화 역치 이상인 화소 각각으로 분할하여 출력하는 것이 적합하다.
이 경우, 분할 출력 공정에서는, 통합 공정에서 생성된 라인 분할 화상군마다의 화상 통합 데이터를, 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도가 임의의 명역치 이상인 화소, 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도가 임의의 암역치 이하인 화소, 및 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도의 변화폭이 임의의 변화 역치 이상인 화소 각각을 서로 상이한 색으로 착색한 착색부로서 분할하여 출력하는 것이 적합하다.
또한, 분할 출력 공정에서는, 통합 공정에서 생성된 라인 분할 화상군마다의 화상 통합 데이터를, 라인 분할 화상군마다 분할하여 출력하는 것이 적합하다.
또한, 분할 출력 공정은, 통합 공정에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터를, 라인 분할 화상군 사이의 미리 정한 역치마다 분할하여 출력하는 것이 적합하다.
또한, 통합 공정에서는, 동일한 라인 분할 화상군으로 분류된 라인 분할 화상 각각에 대해서, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 화소의 휘도의 기준값에 대한 고저에 따라서 화소에 정부의 부호를 갖는 차분값을 부여하고, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 화소의 차분값끼리를 통합하여, 라인 분할 화상군마다 화상 통합 데이터를 생성하는 것이 적합하다.
또한, 통합 공정에서는, 동일한 라인 분할 화상군으로 분류된 라인 분할 화상 각각에 대해서, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 서로 인접하는 화소의 휘도 변화를 강조하는 강조 처리를 실시하고, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 화소의 강조 처리를 실시한 값끼리를 통합하여, 라인 분할 화상군마다 화상 통합 데이터를 생성하는 것이 적합하다.
또한, 통합 공정에서 생성된 라인 분할 화상군마다의 화상 통합 데이터에 포함되는 결함의 종별의 식별에 관한 기계 학습의 결과를 축적한 데이터에 기초하여 검사 대상의 결함의 종별을 식별하는 해석 공정을 더 구비하는 것이 적합하다.
도 1은 실시 형태에 따른 결함 검사 시스템을 나타내는 사시도이다.
도 2는 도 1의 결함 검사 시스템의 광원, 촬상부, 차광체 및 검사 대상의 배치를 나타내는 도면이다.
도 3은 도 1의 결함 검사 시스템의 화상 처리부의 상세를 나타내는 블록도이다.
도 4는 실시 형태에 따른 결함 검사 방법의 공정을 나타내는 흐름도이다.
도 5는 도 4의 화상 처리 공정의 상세를 나타내는 흐름도이다.
도 6의 (A), (B), (C), (D), (E), (F) 및 (G)는, 도 1의 결함 검사 시스템의 화상 처리부의 라인 분할 처리부에서 처리되는 화상을 나타내는 도면이다.
도 7의 (A)는 시계열의 2차원 화상을 나타내는 도면이며, (B)는 각 위치의 라인을 시계열순으로 병렬시킨 라인 분할 화상 각각을 나타내는 도면이며, (C)는 (B)의 라인 분할 화상 각각이 검사 대상의 동일 위치를 나타내도록 시각을 어긋나게 한 위치 정렬 화상을 나타내는 도면이다.
도 8의 (A), (B) 및 (C)는, 도 1의 결함 검사 시스템의 화상 처리부의 분류부에서 처리되는 화상을 나타내는 도면이며, (D), (E) 및 (F)는, 도 1의 결함 검사 시스템의 화상 처리부의 통합부에서 처리되는 화상을 나타내는 도면이다.
도 9는, 도 1의 결함 검사 시스템의 분할 출력부에 의해, 도 8의 (D)의 화상 통합 데이터의 화소 각각이 서로 상이한 색으로 착색된 착색부로서 출력된 상태를 나타내는 도면이다.
도 10은 합성곱 신경망(convolutional neural network)을 나타내는 도면이다.
이하, 도면을 참조하여 본 발명의 결함 검사 시스템 및 결함 검사 방법의 적합한 실시 형태에 대하여 상세하게 설명한다. 도 1 및 도 2에 도시한 바와 같이, 본 발명의 실시 형태에 따른 결함 검사 시스템(1)은, 광원(2), 촬상부(3), 반송부(4), 화상 처리부(5), 차광체(6), 평행광 렌즈(7) 및 해석부(8)를 구비하고 있다. 본 실시 형태의 결함 검사 시스템은, 편광 필름 및 위상차 필름 등의 광학 필름, 전지의 세퍼레이터에 사용되는 적층 필름 등의 필름을 검사 대상(T)으로 하고, 검사 대상(T)의 결함을 검출한다. 검사 대상(T)는, 반송부(4)의 반송 방향(X)으로 연장되고, 반송 방향(X)에 직교하는 폭 방향(Y)으로 미리 설정된 폭을 갖는다. 검사 대상(T)에 발생하는 결함이란, 원하는 상태와는 상이한 상태를 가리키는 것이며, 예를 들어 이물, 타격 흠집, 기포(성형 시에 발생하는 것 등), 이물 기포(이물의 혼입에 의해 발생하는 것 등), 흠집, 닉(knick)(접음선 자국 등에 의해 발생하는 것 등) 및 줄무늬(두께의 차이에 의해 발생하는 것 등)을 들 수 있다. 결함 검사 시스템(1)은 이들 결함의 종별을 식별한다.
도 1 및 도 2에 도시한 바와 같이, 광원(2)은 검사 대상(T)에 광을 조사한다. 광원(2)은 폭 방향(Y)에 평행한 선상의 광을 조사하도록 배치되어 있다. 광원(2)으로서는, 메탈 할라이드 램프, 할로겐 전송 라이트, 형광등 등, 검사 대상(T)인 필름의 조성 및 성질에 영향을 주지 않는 광을 조사하는 것이면, 특별히 한정되지 않는다.
촬상부(3)는, 광원(2)으로부터 검사 대상(T)에 조사되어 검사 대상(T)을 투과 또는 반사한 광에 의한 2차원 화상을 이산 시간마다 촬상한다. 촬상부(3)는 복수의 광학 부재와 광전 변환 소자를 갖고 있다. 광학 부재는 광학 렌즈, 셔터 등으로 구성되고, 검사 대상(T)인 필름을 투과한 광을 광전 변환 소자의 표면에 결상시킨다. 광전 변환 소자는, 2차원 화상을 촬상하는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 등의 촬상 소자로 구성되는 에어리어 센서이다. 촬상부(3)는, 색채를 갖지 않는 2차원 화상 및 색채를 갖는 2차원 화상 중 어느 것을 촬상하는 것이어도 된다.
반송부(4)는, 광원(2) 및 촬상부(3)에 대하여 검사 대상(T)을 반송 방향(X)으로 상대적으로 반송한다. 반송부(4)는, 예를 들어 검사 대상(T)인 필름을 반송 방향(X)으로 반송하는 송출 롤러와 수취 롤러를 구비하며, 로터리 인코더 등에 의해 반송 거리를 계측한다. 본 실시 형태에서는, 반송부(4)에 의한 검사 대상(T)의 반송 속도는, 반송 방향(X)으로 2 내지 100m/분 정도로 설정된다. 반송부(4)에서의 반송 속도는, 화상 처리부(5) 및 해석부(8)에 의해 설정 및 제어된다.
화상 처리부(5)는, 촬상부(3)에 의해 촬상된 2차원 화상의 화상 데이터를 처리한다. 화상 처리부(5)는, 2차원 화상 데이터의 화상 처리를 행하는 것이면, 특별히 한정되는 것은 아니며, 예를 들어 화상 처리 소프트웨어가 인스톨된 PC(퍼스널 컴퓨터), 화상 처리 회로가 기술된 FPGA(Field Programmable Gate Array)를 탑재하는 화상 캡처 보드 등을 적용할 수 있다.
차광체(6)는, 광원(2)과 검사 대상(T) 사이에 위치하여, 광원(2)으로부터 검사 대상(T)에 조사되는 광의 일부를 차광함으로써, 촬상부(3)에서 이산 시간마다 촬상되는 2차원 화상에 명부와, 암부와, 명부와 암부 사이의 경계부를 형성한다. 차광체(6)에 의해, 촬상부(3)는, 2차원 화상에서의 반송 방향(X)과 합치하는 방향으로 휘도가 변화하는 2차원 화상을 촬상한다. 보다 구체적으로는, 반송부(4)는, 광원(2), 평행광 렌즈(7), 차광체(6) 및 촬상부(3)에 대하여 검사 대상(T)을 명부와 암부와 경계부에 교차하는 반송 방향(X)으로 상대적으로 반송한다. 본 실시 형태에서는, 경계부의 길이 방향은 반송 방향(X)에 수직인 폭 방향(Y)에 평행하다. 또한, 촬상부(3)가 2차원 화상에서의 반송 방향(X)과 합치하는 방향으로 휘도가 변화하는 2차원 화상을 촬상하는 것이 가능하면, 차광체(6)를 구비하지 않아도 된다. 평행광 렌즈(7)는, 광원(2)으로부터 검사 대상(T) 및 차광체(6)에 조사되는 광의 진행 방향을 평행하게 한다. 평행광 렌즈(7)는, 예를 들어 텔레센트릭 광학계에 의해 구성할 수 있다.
이하, 화상 처리부(5)의 상세에 대하여 설명한다. 도 3에 도시한 바와 같이, 화상 처리부(5)는 라인 분할 처리부(9)와 분류부(10)와 통합부(11)와 분할 출력부(12)를 갖는다. 라인 분할 처리부(9)는, 2차원 화상을 반송 방향(X)으로 병렬하는 복수의 라인으로 분할하여, 촬상부(3)에 의해 이산 시간마다 촬상된 2차원 화상 각각에서의 동일 위치의 라인을 시계열순으로 병렬시킨 라인 분할 화상의 화상 데이터로 처리한다.
분류부(10)는, 라인 분할 처리부(9)에 의해 처리된 라인 분할 화상 각각을 미리 정한 규칙에 따라서 2 이상의 라인 분할 화상군으로 분류한다. 통합부(11)는, 동일한 라인 분할 화상군으로 분류된 라인 분할 화상 각각에 대해서, 검사 대상(T)에서의 동일 위치를 촬상한 화상 데이터의 화소값끼리를 통합하여, 라인 분할 화상군마다 화상 통합 데이터를 생성한다.
보다 구체적으로는, 통합부(11)는, 라인 분할 처리부(9)에 의해 처리된 라인 분할 화상 각각을, 2차원 화상 각각에서의 명부의 라인을 시계열순으로 병렬시킨 라인 분할 화상의 라인 분할 화상군, 2차원 화상 각각에서의 암부의 라인을 시계열순으로 병렬시킨 라인 분할 화상의 라인 분할 화상군, 및 2차원 화상 각각에서의 경계부의 라인을 시계열순으로 병렬시킨 라인 분할 화상의 라인 분할 화상군으로 분류한다.
또한, 통합부(11)는, 동일한 라인 분할 화상군으로 분류된 라인 분할 화상 각각에 대해서, 검사 대상(T)에서의 동일 위치를 촬상한 화상 데이터의 화소의 휘도의 기준값에 대한 고저에 따라서 화소에 정부의 부호를 갖는 차분값을 부여하고, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 화소의 차분값끼리를 통합하여, 라인 분할 화상군마다 화상 통합 데이터를 생성한다. 또는, 통합부(11)는, 동일한 라인 분할 화상군으로 분류된 라인 분할 화상 각각에 대해서, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 서로 인접하는 화소의 휘도 변화를 강조하는 강조 처리를 실시하고, 검사 대상에서의 동일 위치를 촬상한 화상 데이터의 화소의 강조 처리를 실시한 값끼리를 통합하여, 라인 분할 화상군마다 화상 통합 데이터를 생성한다.
분할 출력부(12)는, 통합부(11)에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터를 미리 정한 규칙에 따라서 분할하여 출력한다. 보다 구체적으로는, 분할 출력부(12)는, 통합부(11)에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터를, 라인 분할 화상군마다 분할하여 출력한다. 또는, 분할 출력부는, 통합부에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터를, 라인 분할 화상군 사이의 미리 정한 역치마다 분할하여 출력한다. 미리 정한 역치란, 예를 들어 라인 분할 화상군에 속하는 라인 분할 화상의 화소 휘도 등이다.
또한, 분할 출력부(12)는, 통합부(11)에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터를 라인 분할 화상군마다 분할하고, 검사 대상(T)에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도가 임의의 명역치 이상인 화소, 검사 대상(T)에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도가 임의의 암역치 이하인 화소, 및 검사 대상(T)에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도의 변화폭이 임의의 변화 역치 이상인 화소 각각으로 분할하여 출력한다.
또한, 분할 출력부(12)는, 통합부(11)에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터를, 검사 대상(T)에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도가 임의의 명역치 이상인 화소, 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도가 임의의 암역치 이하인 화소, 및 검사 대상에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부, 암부 및 경계부에서의 휘도의 변화폭이 임의의 변화 역치 이상인 화소 각각을 서로 상이한 색으로 착색한 착색부로서 분할하여 출력한다.
도 2로 돌아가서, 화상 처리부(5)에 접속된 해석부(8)는, 예를 들어 PC(퍼스널 컴퓨터) 등을 포함한다. 해석부(8)는, 통합부(11)에 의해 생성된 라인 분할 화상군마다의 화상 통합 데이터에 포함되는 결함의 종별의 식별에 관한 기계 학습의 결과를 축적한 데이터에 기초하여 검사 대상(T)의 결함의 종별을 식별한다. 기계 학습의 결과를 축적한 데이터는, 해석부(8)를 포함하는 PC의 하드 디스크 등의 기억 장치에 기억되고, 기계 학습의 결과에 수반하여 갱신된다.
또한, 본 실시 형태에서는, 라인 분할 화상에 포함되는 결함의 종별의 식별에 관한 기계 학습의 결과를 축적한 데이터란, 결함 검사 시스템(1)의 내부 촬상부(3)에서 이산 시간마다 촬상된 일련의 2차원 화상이 처리된 라인 분할 화상에 포함되는 결함의 종별의 식별에 관한 기계 학습의 결과를 축적한 데이터 외에도, 결함 검사 시스템(1)의 외부에서 별도 제작된 라인 분할 화상에 포함되는 결함의 종별의 식별에 관한 기계 학습의 결과를 축적한 데이터도 포함된다. 즉, 본 실시 형태에서는, 결함 검사 시스템(1)의 내부에서 기계 학습이 이루어진 상태에서 결함의 종별이 식별되는 양태 외에도, 결함 검사 시스템(1)의 내부에서는 아직 기계 학습이 이루어지지 않은 상태에서 결함 검사 시스템(1)의 외부에서 별도 제작된 기계 학습의 결과를 축적한 데이터에 기초하여 결함의 종별이 식별되는 양태도 포함된다.
또한, 해석부(8)는, 화상 처리부(5)에 의해 식별된 결함의 종별을 LC(Liquid Crystal) 표시 패널, 플라스마 표시 패널, EL(Electro Luminescence) 표시 패널 등에 표시한다. 또한, 화상 처리부(5)가 결함의 종별을 식별하고, 처리된 화상을 표시하는 해석부(8)를 그 내부에 갖고 있어도 된다.
이하, 본 실시 형태의 결함 검사 방법에 대하여 설명한다. 도 4에 도시한 바와 같이, 결함 검사 시스템(1)의 광원(2)으로부터 검사 대상(T)에 광을 조사하는 조사 공정이 행해진다(S1). 도 6의 (A)에 나타내는 바와 같이, 조사 공정에서는, 광원(2)과 검사 대상(T) 사이에 위치하여, 광원(2)으로부터 검사 대상(T)에 조사되는 광의 일부를 차광하는 결함 검사 시스템(1)의 차광체(6)에 의해, 촬상 공정에서 이산 시간마다 촬상되는 2차원 화상(F)(t1)에, 명부(l)과, 암부(d)와, 명부(l)와 암부(d) 사이의 경계부(b)가 형성된다. 도 6의 (A)에 나타내는 바와 같이, 시각 t=t1에서의 2차원 화상(F)(t1)은, 광원(2)으로부터의 광이 차광체(6)에 의해 차광되기 때문에, 반송 방향(X)의 하류측에 달함에 따라서 2차원 화상(F)(t1) 내의 명도가 높아진다. 또한, 2차원 화상(F)(t1)에는, 검사 대상(T)의 필름 상의 결함(D)이 찍혀 있다. 시각 t=t2, t3, …, tm에서의 2차원 화상(F)(t2), (F)(t3), … (F)(tm)에 대해서도 마찬가지이다(m은 임의의 자연수).
도 4에 도시한 바와 같이, 결함 검사 시스템(1)의 촬상부(3)에 의해, 조사 공정에 의해 광원(2)으로부터 검사 대상(T)에 조사되어 검사 대상(T)을 투과 또는 반사한 광에 의한 2차원 화상(F)(t1)을 이산 시간마다 촬상하는 촬상 공정이 행해진다(S2). 도 6의 (A)에 나타내는 바와 같이, 촬상 공정에서는, 차광체(6)에 의해 광원(2)으로부터 검사 대상(T)에 조사되는 광의 일부가 차광되기 때문에, 2차원 화상(F)(t1)에서의 반송 방향(X)과 합치하는 방향으로 휘도가 변화하는 2차원 화상(F)(t1)이 촬상된다. 시각 t=t2, t3…tm에서의 2차원 화상(F)(t2), (F)(t3), … (F)(tm)에 대해서도 동일하다.
또한, 도 4에 도시한 바와 같이, 결함 검사 시스템(1)의 반송부(4)에 의해, 광원(2) 및 촬상부(3)에 대하여 검사 대상(T)을 반송 방향(X)으로 상대적으로 반송하는 반송 공정이 행해진다(S3). 도 6의 (A)에 나타내는 바와 같이, 반송 공정에서는, 광원(2), 평행광 렌즈(7), 차광체(6) 및 촬상부(3)에 대하여 검사 대상(T)을 명부(l)와 암부(d)와 경계부(b)에 교차하는 반송 방향(X)으로 상대적으로 반송한다. 본 실시 형태에서는, 경계부(b)는 반송 방향(X)에 직교하는 폭 방향(Y)에 평행하지만, 경계부(b)와 반송 방향(X)이 이루는 각도는 90° 이외여도 된다. 또한, 경계부(b)는 반드시 엄밀한 것은 아니고, 경계부란, 명부(l)가 포함하는 2차원 화상(F)(t1)의 가장 휘도가 큰 부위와 암부(d)가 포함하는 2차원 화상(F)의 가장 휘도가 작은 부위의 중간의 부위를 의미한다.
도 4에 도시한 바와 같이, 결함 검사 시스템(1)의 화상 처리부(5)에 의해, 촬상 공정에서 촬상된 2차원 화상(F)(t1) 내지 (F)(tm)의 화상 데이터를 처리하는 화상 처리 공정이 행해진다(S4). 이하, 화상 처리 공정의 상세에 대하여 설명한다. 도 5에 도시한 바와 같이, 화상 처리 공정에서는, 결함 검사 시스템(1)의 화상 처리부(5)의 라인 분할 처리부(9)에 의해, 라인 분할 처리 공정이 행해진다(S41). 도 6의 (B)에 나타내는 바와 같이, 라인 분할 처리 공정에서는, 라인 분할 처리부(9)는, 2차원 화상(F)(t1)을 반송 방향(X)으로 병렬하는 복수의 1번째의 라인(L1)(t1) 내지 j번째의 라인(Lj)(t1) 내지 k번째의 라인(Lk)(t1)으로 분할한다(j 및 k는 임의의 자연수, j≤k). 라인(L1)(t1) 내지 라인(Lk)(t1)의 반송 방향(X)의 폭은, 시각 t1, 시각 t2, …, 시각 tj, …, 시각 tm 각각의 1 프레임 간격에 있어서, 검사 대상(T)이 반송 방향(X)으로 반송되는 거리와 동일하다. 시각 t=t2, t3…tm에서의 2차원 화상(F)(t2), (F)(t3), … (F)(tm)에 대해서도 동일한 처리가 행해진다.
라인 분할 처리부(9)는, 2차원 화상(F)(t1) 내지 (F)(tm)을 촬상 공정에서 이산 시간마다 촬상된 2차원 화상(F)(t1) 내지 (F)(tm) 각각에서의 동일 위치의 라인(L1)(t1), (L1)(t2), (L1)(t3) 등을 시계열순으로 병렬시킨 라인 분할 화상의 화상 데이터로 처리한다. 1번째의 라인 분할 화상을 예로 들어 설명한다. 도 6의 (C)에 나타내는 바와 같이, 라인 분할 처리부(9)는, 이산 시간마다 촬상된 2차원 화상(F)(t1), (F)(t2), (F)(t3), … 각각에서의 반송 방향(X)의 가장 하류측의 1번째의 라인(L1)(t1), (L1)(t2), (L1)(t3), …을 시계열순(반송 방향(X))으로 병렬시킨다. 도 6의 (D)에 나타내는 바와 같이, 라인 분할 처리부(9)는, 2차원 화상(F)(t1) 내지 (F)(tm) 각각에서의 1번째의 라인(L1)(t1) 내지 (L1)(tm)을 시계열순으로 병렬시켜, 1번째의 라인 분할 화상(DL1)(t1)을 생성한다.
도 6의 (E), 도 6의 (F) 및 도 6의 (G)에 나타내는 바와 같이, 라인 분할 처리부(9)는, 2차원 화상(F)(t1) 내지 (F)(tm) 각각에서의 1번째의 라인(L1)(t1) 내지 (L1)(tm), …, j번째의 라인(Lj)(t1) 내지 (Lj)(tm), …, k번째의 라인(Lk)(t1) 내지 (Lk)(tm)에도 동일한 처리를 행하고, 1번째의 라인 분할 화상(DL1)(t1), …, j번째의 라인 분할 화상(DLJ)(t1), …, k번째의 라인 분할 화상(DLk)(t1)을 생성한다. 도 6의 (E)에 나타내는 바와 같이, 라인 분할 화상(DL1)(t1)은, 2차원 화상(F)(t1) 내지 (F)(tk)에서의 명부(l)의 위치의 라인(L1)(t1) 내지 (L1)(tk)을 시계열순으로 병렬시킨 것이다.
도 7의 (A) 및 도 7의 (B)에 나타내는 바와 같이, 라인 분할 화상(DL1)(t1) 내지 (DLk)(t1)은, 이산 시간마다 촬상된 2차원 화상(F)(t1) 내지 (F)(tm) 각각에서의 동일 위치의 라인(L1)(t1) 내지 (Lk)(t1) 각각을 시계열순으로 병렬시킨 것이기 때문에, 동일한 시각의 범위의 라인 분할 화상(DL1)(t1) 내지 (DLk)(t1)은 검사 대상(T)의 상이한 위치를 나타내고 있고, 라인 분할 화상(DL1)(t1) 내지 (DLk)(t1) 중 결함(D)의 위치도 각각 어긋나 있다. 그래서, 본 실시 형태에서는, 각각 상이한 시각의 범위에서 촬상된 2차원 화상 각각에서의 동일 위치의 라인을 시계열순으로 병렬된 라인 분할 화상을 제작함으로써, 라인 분할 화상 각각이 검사 대상(T)의 동일 위치를 나타내도록 위치 정렬을 행한다.
도 7의 (A)에 나타내는 바와 같이, 촬상 공정에서 2차원 화상(F)(t1) 내지 (F)(tm)이 이산 시간마다 촬상된다. 검사 대상(T)는 반송 방향(X)으로 반송되어 가기 때문에, 2차원 화상(F)(t1) 내지 (F)(tm) 중 결함(D)의 위치는 각각 어긋나 있다. 도 7의 (B)에 나타내는 바와 같이, 상술한 바와 같이, 라인 분할 화상(DL1)(t1) 내지 (DLj)(t1) 내지 (DLk)(t1)이 생성된다. 동일한 시각의 범위의 라인 분할 화상(DL1)(t1) 내지 (DLk)(t1)은 검사 대상(T)의 상이한 위치를 나타내고 있기 때문에, 라인 분할 화상(DL1)(t1) 내지 (DLk)(t1) 중 결함(D)의 위치도 각각 어긋나 있다.
반송 방향(X)의 하류측으로부터 1번째의 라인(L1)(t1) 내지 (L1)(tm)에 대하여, 예를 들어 동일한 시각의 범위의 반송 방향(X)의 하류측으로부터 j번째의 라인(Lj)(t1) 내지 (Lj)(tm)은, (j-1)분의 프레임 간격으로 검사 대상(T)이 반송되는 거리만큼 검사 대상(T)의 반송 방향(X)의 상류측의 위치를 나타내고 있다. 따라서, 도 7의 (C)에 나타내는 바와 같이, 1번째의 라인(L1)(tm) 내지 (L1)(t(m+(m-1)))의 라인 분할 화상(DL1)(tm)에 대하여, 예를 들어 j번째의 라인의 라인 분할 화상에 대해서는, 시각 t1 내지 시각 tm의 범위에 대하여 (j-1)분의 프레임 간격의 시간만큼 거슬러 올라간 시각 t(m-(j-1)) 내지 시각 t(m+(m-j)) 범위의 라인 분할 화상(DLj)(t(m-(j-1)))이 검사 대상(T)의 동일 위치를 나타내게 된다.
동일하게, 1번째의 라인(L1)(tm) 내지 (L1)(t(m+(m-1)))의 라인 분할 화상(DL1)(tm)에 대하여, 예를 들어 k번째의 라인의 라인 분할 화상에 대해서는, 시각 t1 내지 시각 tm의 범위에 대하여 (k-1)분의 프레임 간격의 시간만큼 거슬러 올라간 시각 t(m-(k-1)) 내지 시각 t(m+(m-k)) 범위의 라인 분할 화상(DLk)(t(m-(k-1)))이 검사 대상(T)의 동일 위치를 나타내게 된다.
또는, 1번째의 라인(L1)(t1) 내지 (L1)(t(1+(m-1)))의 라인 분할 화상(DL1)(t1)에 대하여, 예를 들어 j번째의 라인의 라인 분할 화상에 대해서는, 시각 t(1-(j-1)) 내지 시각 t(1+(m-j)) 범위의 라인 분할 화상(DLj)(t(1-(j-1)))이 검사 대상(T)의 동일 위치를 나타낸다. 또한, 1번째의 라인(L1)(t1) 내지 (L1)(t(1+(m-1)))의 라인 분할 화상(DL1)(t1)에 대하여, 예를 들어 k번째의 라인의 라인 분할 화상에 대해서는, 시각 t(1-(k-1)) 내지 시각 t(1+(m-k)) 범위의 라인 분할 화상(DLk)(t(1-(k-1)))이 검사 대상(T)의 동일 위치를 나타낸다. 이렇게 시각의 범위를 어긋나게 함으로써, 라인 분할 화상 각각이 검사 대상(T)의 동일 위치를 나타내도록 위치 정렬을 행할 수 있다.
예를 들어, 도 6의 (F)에 나타내는 라인 분할 화상(DLj)(t(1-(j-1)))은, 2차원 화상(F)(t(1-(j-1))) 내지 (F)(t(m-(j-1)))에서의 경계부(b) 위치의 라인(Lj)(t(1-(j-1))) 내지 (Lj)(t(m-(j-1)))을 시계열순으로 병렬시킨 것이다. 또한, 도 6의 (G)에 나타내는 라인 분할 화상(DL)(k-2)(t(1-(k-3)))은, 2차원 화상(F)(t(1-(k-3))) 내지 (F)(t(m-(k-3)))에서의 암부(d) 위치의 라인(L)(k-2)(t(1-(k-3))) 내지 (Lk)(t(m-(k-3)))을 시계열순으로 병렬시킨 것이다.
또한, 위치 어긋남의 양이 기지인 경우나, 라인 분할 화상의 사이즈가 결함에 대하여 충분히 큰 경우에는 반드시 라인 분할 화상 내에 결함이 수렴되기 때문에, 위치 정렬을 하지 않아도 결함이 포함되는 라인 분할 화상을 기계 학습을 위해 사용하는 것이 가능하다. 따라서, 이러한 경우에는, 위치 정렬은 행해지지 않아도 된다.
도 5에 도시한 바와 같이, 화상 처리 공정에서는, 결함 검사 시스템(1)의 화상 처리부(5)의 분류부(10)에 의해, 분류 공정이 행해진다(S42). 분류 공정에서는, 분류부(10)는, 라인 분할 공정에서 처리된 라인 분할 화상(DL1)(t1) 등 각각을 미리 정한 규칙에 따라서 2 이상의 라인 분할 화상군으로 분류한다.
도 8의 (A)에 나타내는 바와 같이, 분류 공정에서는, 분류부(10)는, 라인 분할 처리 공정에서 처리된 라인 분할 화상(DL1)(t1) 등 각각을, 2차원 화상(F)(t1) 등 각각에서의 명부(l)의 라인(L1)(t1)…, (L2)(t0)…, (L3)(t(-1))… 등을 시계열순으로 병렬시킨 라인 분할 화상(DL1)(t1), (DL2)(t0), (DL3)(t(-1)), …의 라인 분할 화상군(G1)(t1)으로 분류한다.
도 8의 (B)에 나타내는 바와 같이, 분류 공정에서는, 분류부(10)는, 라인 분할 처리 공정에서 처리된 라인 분할 화상(DLj)(t(1-(j-1))) 등 각각을, 2차원 화상(F)(t(1-(j-1))) 등 각각에서의 경계부(b)의 라인(Lj)(t(1-(j-1)))…, (L)(j+1)(t(1-j))…, (L)(j+2)(t(1-(j+1)))… 등을 시계열순으로 병렬시킨 라인 분할 화상(DLj)(t(1-(j-1))), (DL)(j+1)(t(1-j)), (DL)(j+2)(t(1-(j+1)))…의 라인 분할 화상군(G2)(t(1-(j-1)))으로 분류한다.
도 8의 (C)에 나타내는 바와 같이, 분류 공정에서는, 분류부(10)는, 라인 분할 처리 공정에서 처리된 라인 분할 화상(DL)(k-2)(t(1-(k-3))) 등 각각을, 2차원 화상(F)(t(1-(k-3))) 등 각각에서의 경계부(d)의 라인(L)(k-2)(t(1-(k-3)))…, (L)(k-1)(t(1-(k-2))…(Lk)(t(1-(k-1)))… 등을 시계열순으로 병렬시킨 라인 분할 화상(DL)(k-2)(t(1-(k-3))), (DL)(k-1)(t(1-(k-2))), (DLk)((1-(k-1)))…의 라인 분할 화상군(G3)(t(1-(k-3)))으로 분류한다.
도 5에 도시한 바와 같이, 화상 처리 공정에서는, 결함 검사 시스템(1)의 화상 처리부(5)의 통합부(11)에 의해, 통합 공정이 행해진다(S43). 도 8의 (D)에 나타내는 바와 같이, 통합 공정에서는, 통합부(11)는, 동일한 라인 분할 화상군(G1)(t1)으로 분류된 라인 분할 화상(DL1)(t1), (DL2)(t0), (DL3)(t(-1)), … 각각에 대해서, 검사 대상(T)에서의 동일 위치를 촬상한 화상 데이터의 화소값끼리를 통합하여, 라인 분할 화상군(G1)(t1)마다 화상 통합 데이터(C1)(t1)를 생성한다.
도 8의 (E)에 나타내는 바와 같이, 통합 공정에서는, 통합부(11)는, 동일한 라인 분할 화상군(G2)(t(1-(j-1)))으로 분류된 라인 분할 화상(DLj)(t(1-(j-1))), (DL)(j+1)(t(1-j)), (DL)(j+2)(t(1-(j+1)))… 각각에 대해서, 검사 대상(T)에서의 동일 위치를 촬상한 화상 데이터의 화소값끼리를 통합하여, 라인 분할 화상군(G2)(t(1-(j-1)))마다 화상 통합 데이터(C2)(t(1-(j-1)))를 생성한다.
도 8의 (F)에 나타내는 바와 같이, 통합 공정에서는, 통합부(11)는, 동일한 라인 분할 화상군(G3)(t(1-(k-3)))으로 분류된 라인 분할 화상(DL)(k-2)(t(1-(k-3))), (DL)(k-1)(t(1-(k-2))), (DLk)((1-(k-1)))… 각각에 대해서, 검사 대상(T)에서의 동일 위치를 촬상한 화상 데이터의 화소값끼리를 통합하여, 라인 분할 화상군(G3)(t(1-(k-3)))마다 화상 통합 데이터(C3)(t(1-(k-3)))를 생성한다.
통합 공정에서는, 통합부(11)는, 동일한 라인 분할 화상군(G1)(t1) 등으로 분류된 라인 분할 화상(DL1)(t1), (DL2)(t0), (DL3)(t(-1))… 등 각각에 대해서, 검사 대상(T)에서의 동일 위치를 촬상한 화상 데이터의 화소의 휘도의 기준값에 대한 고저에 따라서 화소에 정부의 부호를 갖는 차분값을 부여하고, 검사 대상(T)에서의 동일 위치를 촬상한 화상 데이터의 화소의 차분값끼리를 통합하여, 라인 분할 화상군(G1)(t1) 등마다 화상 통합 데이터(C1)(t1) 등을 생성해도 된다.
또는, 통합 공정에서는, 통합부(11)는, 동일한 라인 분할 화상군(G1)(t1) 등으로 분류된 라인 분할 화상(DL1)(t1), (DL2)(t0), (DL3)(t(-1))… 등 각각에 대해서, 검사 대상(T)에서의 동일 위치를 촬상한 화상 데이터의 서로 인접하는 화소의 휘도 변화를 강조하는 강조 처리를 실시하고, 검사 대상(T)에서의 동일 위치를 촬상한 화상 데이터의 화소의 강조 처리를 실시한 값끼리를 통합하여, 라인 분할 화상군(G1)(t1) 등마다 화상 통합 데이터(C1)(t1) 등을 생성해도 된다. 또한, 도 8의 (D), 도 8의 (E) 및 도 8의 (F)에 나타낸 예는, 어디까지나 모식도이며, 현실의 화상 통합 데이터(C1)(t1) 등의 보이는 방식은, 결함(D)의 형상 등에 의해 상이하다.
도 5에 도시한 바와 같이, 화상 처리 공정에서는, 결함 검사 시스템(1)의 화상 처리부(5)의 분할 출력부(12)에 의해, 분할 출력 공정이 행해진다(S44). 분할 출력 공정에서는, 분할 출력부(12)는, 통합 공정에서 생성된 라인 분할 화상군(G1)(t1) 등마다의 화상 통합 데이터(C1)(t1) 등을 미리 정한 규칙에 따라서 분할하여 출력한다. 예를 들어, 분할 출력 공정에서는, 분할 출력부(12)는, 통합 공정에서 생성된 라인 분할 화상군(G1)(t1) 등마다의 화상 통합 데이터(C1)(t1) 등을 라인 분할 화상군(G1)(t1) 등마다 분할하여 출력한다. 먼저, 분할 출력 공정에서는, 분할 출력부(12)는, 통합 공정에서 생성된 라인 분할 화상군(G1)(t1) 등마다의 화상 통합 데이터(C1)(t1) 등을 라인 분할 화상군(G1)(t1) 등마다 분할한다.
도 9에 나타내는 바와 같이, 분할 출력 공정에서는, 분할 출력부(12)는, 검사 대상(T)에서의 동일 위치를 촬상한 화상 통합 데이터(C1)(t1) 등의 화소로서 명부(l), 암부(d) 및 경계부(b)에서의 휘도가 임의의 명역치 이상인 화소, 검사 대상(T)에서의 동일 위치를 촬상한 화상 통합 데이터(C1)(t1) 등의 화소로서 명부(l), 암부(d) 및 경계부(b)에서의 휘도가 임의의 암역치 이하인 화소, 및 검사 대상(T)에서의 동일 위치를 촬상한 화상 통합 데이터(C1)(t1) 등의 화소로서 명부(l), 암부(d) 및 경계부(b)에서의 휘도의 변화폭이 임의의 변화 역치 이상인 화소 각각을, 적색으로 착색된 착색부 R, 청색으로 착색된 착색부 B 및 녹색으로 착색된 착색부 G 각각으로서 출력한다.
예를 들어, 분할 출력부(12)는, 검사 대상(T)에서의 동일 위치를 촬상한 화상 통합 데이터(C1)(t1) 등의 화소로서 명부(l), 암부(d) 및 경계부(b)에서의 휘도가 명역치 이상이며 항상 밝은 화소 각각을 착색부 R로 할당하고, 검사 대상(T)에서의 동일 위치를 촬상한 화상 통합 데이터(C1)(t1) 등의 화소로서 명부(l), 암부(d) 및 경계부(b)에서의 휘도가 암역치 이하이며 항상 어두운 화소 각각을 착색부 B로 할당하고, 검사 대상(T)에서의 동일 위치를 촬상한 화상 통합 데이터(C1)(t1) 등의 화소로서 명부(l), 암부(d) 및 경계부(b)에서의 휘도의 변화폭이 변화 역치 이상인 명암의 변화가 많은 화소 각각을 착색부 G로 할당할 수 있다.
착색부 R, 착색부 B 및 착색부 G의 할당은 어떻게 설정해도 된다. 또한, 명역치, 암역치 및 변화 역치는 어떻게라도 설정할 수 있지만, 일반적으로 명역치≥암역치이다.
예를 들어, 분할 출력 공정에서는, 분할 출력부(12)는, 통합 공정에서 생성된 라인 분할 화상군(G1)(t1) 등마다의 화상 통합 데이터(C1)(t1) 등을, 라인 분할 화상군(G1)(t1) 등 사이의 미리 정한 역치마다 분할하여 출력해도 된다.
도 4에 도시한 바와 같이, 결함 검사 시스템(1)의 해석부(8)에 의해, 통합 공정에서 생성된 라인 분할 화상군(G1)(t1) 등마다의 화상 통합 데이터(C1)(t1) 등에 포함되는 결함의 종별의 식별에 관한 기계 학습의 결과를 축적한 데이터에 기초하여 검사 대상(T)의 결함(D)의 종별을 식별하는 해석 공정이 행해진다(S5). 기계 학습은, 예를 들어 합성곱 신경망이 행해진다. 또한, 기계 학습에 의해 결함의 종별을 식별 가능하면, 합성곱 신경망 이외의 신경망이나 그 외의 방법을 사용하는 것도 가능하다.
도 10에 도시한 바와 같이, 합성곱 신경망(100)은, 입력층(110), 은닉층(120) 및 출력층(130)을 구비하고 있다. 입력층(110)에는, 결함 검사 시스템(1)의 화상 처리부(5)에 의해, 통합 공정에서 생성된 라인 분할 화상군(G1)(t1), (G2)(t(1-(j-1))), (G3)(t(1-(k-3))) 등마다의 화상 통합 데이터(C1)(t1), (C2)(t(1-(j-1))), (C3)(t(1-(k-3)))가 입력된다. 은닉층(120)은, 가중 필터(f)에 의한 화상 처리가 행해지는 합성곱층(121, 123)과, 합성곱층(121, 123)으로부터 출력된 2차원 배열을 종횡으로 작게 하여 유효한 값을 남기는 처리를 행하는 풀링층(122)과, 각 층의 가중 계수 n이 갱신되는 전체 결합층(124)을 갖는다. 출력층(130)에서는, 기계 학습에 의한 결함(D)의 종별의 식별 결과가 출력된다. 합성곱 신경망(100)에서는, 출력된 식별 결과와 정답값의 오차를 역방향(R)으로 역전파함으로써 각 층의 가중치(weight)가 학습된다.
예를 들어, 해석부(8)에 미리 복수의 화상 통합 데이터(C1)(t1)를 결함(D)의 종별의 식별의 정답과 함께 입력하여 학습시켜 둠으로써, 새롭게 입력된 화상 통합 데이터(C1)(t1) 등에 포함되는 것이 특정한 결함(D)의 종별인지 여부가 순차 식별되어, 식별 결과가 순차 출력된다. 순차 출력된 식별 결과와 정답의 오차는 역방향(R)으로 역전파되고, 각 층의 가중 계수 n이 순차 갱신되어, 데이터로서 축적된다. 각 상의 가중치가 순차 갱신된 상태에서, 또한 새롭게 입력된 화상 통합 데이터(C1)(t1) 등에 포함되는 것이 특정한 결함의 종별인지 여부가 순차 식별되고, 식별 결과가 순차 출력되어, 순차 출력된 식별 결과와 정답의 오차에 기초하여 각 층의 가중 계수 n이 순차 갱신되고, 데이터로서 축적되는 것이 반복됨으로써, 식별 결과와 정답의 오차가 작아져, 결함(D)의 종별의 식별 정밀도가 향상된다.
본 실시 형태에서는, 검사 대상(T)에 광을 조사하는 광원(2)과, 광원(2)으로부터 검사 대상(T)에 조사되어 검사 대상(T)을 투과 또는 반사한 광에 의한 2차원 화상(F)(t1)을 이산 시간마다 촬상하는 촬상부(3)와, 광원(2) 및 촬상부(3)에 대하여 검사 대상(T)을 반송 방향(X)으로 상대적으로 반송하는 반송부(4)와, 촬상부(3)에 의해 촬상된 2차원 화상(F)(t1)의 화상 데이터를 처리하는 화상 처리부(5)를 구비한 결함 검사 시스템(1)에 있어서, 촬상부(3)에 의해, 2차원 화상(F)(t1)에서의 반송 방향(X)과 합치하는 방향으로 휘도가 변화하는 2차원 화상(F)(t1)이 촬상되고, 화상 처리부(5)의 라인 분할 처리부(9)에 의해, 2차원 화상(F)(t1)이 반송 방향(X)으로 병렬하는 복수의 라인(L1)(t1) 등으로 분할되어, 촬상부(3)에 의해 이산 시간마다 촬상된 2차원 화상(F)(t1) 각각에서의 동일 위치의 라인(L1)(t1) 등을 시계열순으로 병렬시킨 라인 분할 화상(DL1)(t1) 등의 화상 데이터로 처리되기 때문에, 동일한 검사 대상(T)이 촬상된 화상이어도 라인 분할 화상(DL1)(t1) 등 각각은 상이한 휘도를 갖는 화상이 된다.
또한, 화상 처리부(5)의 분류부(10)에 의해, 라인 분할 처리부(9)에 의해 처리된 상이한 휘도를 갖는 라인 분할 화상(DL1)(t1) 등 각각이 미리 정한 규칙에 따라서 2 이상의 라인 분할 화상군(G1)(t1) 등으로 분류되고, 화상 처리부(5)의 통합부(11)에 의해, 동일한 라인 분할 화상군(G1)(t1) 등으로 분류된 라인 분할 화상(DL1)(t1) 등 각각에 대해서, 검사 대상(T)에서의 동일 위치를 촬상한 화상 데이터의 화소값끼리가 통합되어, 라인 분할 화상군(G1)(t1) 등마다 화상 통합 데이터(C1)(t1) 등이 생성되고, 화상 처리부(5)의 분할 출력부(12)에 의해, 통합부(11)에 의해 생성된 라인 분할 화상군(G1)(t1) 등마다의 화상 통합 데이터(C1)(t1) 등이 미리 정한 규칙에 따라서 분할되어 출력되기 때문에, 화상 데이터의 화소값끼리가 통합된 화상 통합 데이터(C1)(t1) 등이어도, 미리 정한 규칙에 따라서 분할되어 출력됨으로써 미리 정한 규칙에 따른 분할마다 화상 통합 데이터(C1)(t1) 등의 화상의 보이는 방식이 상이한 것으로 되기 때문에, 화상 통합 데이터(C1)(t1) 등에서의 검사 대상(T)의 결함(D)의 종별을 인식하기 쉬워진다.
또한, 본 실시 형태에 따르면, 촬상부(3)에서 이산 시간마다 촬상되는 2차원 화상(F)(t1)은, 명부(l)와, 암부(d)와, 명부(l)와 암부(d) 사이의 경계부(b)를 가지고, 반송부(4)에 의해, 촬상부(3)에 대하여 검사 대상이 명부(l), 암부(d) 및 경계부(b)에 교차하는 반송 방향(X)으로 상대적으로 반송되기 때문에, 이산 시간마다 촬상된 일련의 2차원 화상(F)(t1)…에서의 검사 대상(T)의 각 부위가 명부(l), 암부(d) 및 경계부(b) 중 어느 것에 들어간다. 이 때문에, 분할 출력부(12)에 의해 출력되는 화상 데이터가 화상 데이터의 화소값끼리가 통합된 화상 통합 데이터여도, 미리 정한 규칙에 따른 분할마다의 화상 통합 데이터의 화상의 보이는 방식이 또한 상이한 것으로 되기 때문에, 화상 통합 데이터에서의 검사 대상(T)의 결함(D)의 종별을 보다 인식하기 쉬워진다.
또한, 본 실시 형태에 따르면, 분류부(10)에 의해, 라인 분할 처리부(9)에 의해 처리된 라인 분할 화상 각각이, 2차원 화상(F)(t1) 등 각각에서의 명부(l)의 라인을 시계열순으로 병렬시킨 라인 분할 화상(DL1)(t1)의 라인 분할 화상군(G1)(t1), 2차원 화상(F)(t1) 등 각각에서의 암부(d)의 라인을 시계열순으로 병렬시킨 라인 분할 화상(DL)(k-2)(t(1-(k-3)))의 라인 분할 화상군(G3)(t(1-(k-3))) 및 2차원 화상(F)(t1) 등 각각에서의 경계부(b)의 라인을 시계열순으로 병렬시킨 라인 분할 화상(DLj)(t(1-(j-1)))의 라인 분할 화상군(G2)(t(1-(j-1)))으로 분류되기 때문에, 분할 출력부(12)에 의해 출력되는 화상 데이터가 화상 데이터의 화소값끼리가 통합된 화상 통합 데이터여도, 명부(l), 암부(d) 및 경계부(b)의 라인 분할 화상군(G1)(t1) 등마다 분할되어 출력됨으로써 라인 분할 화상군(G1)(t1) 등마다 화상 통합 데이터의 화상의 보이는 방식이 또한 상이한 것으로 되기 때문에, 화상 통합 데이터에서의 검사 대상(T)의 결함(D)의 종별을 보다 인식하기 쉬워진다.
또한, 본 실시 형태에 따르면, 차광체(6)에 의해 2차원 화상(F)(t1) 등에 명부(l)와 암부(d)와 경계부(b)를 용이하게 형성할 수 있고, 이산 시간마다 촬상된 일련의 2차원 화상(F)(t1)…에서의 검사 대상(T)의 각 부위가 명부(l), 암부(d) 및 경계부(b) 중 어느 것에 들어가도록 할 수 있다.
또한, 본 실시 형태에 따르면, 분할 출력부(12)에 의해, 통합부(11)에 의해 생성된 라인 분할 화상군(G1)(t1) 등마다의 화상 통합 데이터가, 검사 대상(T)에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부(l), 암부(d) 및 경계부(b)에서의 휘도가 임의의 명역치 이상인 항상 밝은 화소, 검사 대상(T)에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부(l), 암부(d) 및 경계부(b)에서의 휘도가 임의의 암역치 이하인 항상 어두운 화소, 및 검사 대상(T)에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부(l), 암부(d) 및 경계부(b)에서의 휘도의 변화폭이 임의의 변화 역치 이상인 명암의 변화가 많은 화소 각각으로 분할되어 출력되기 때문에, 라인 분할 화상군(G1)(t1) 등마다 화상 통합 데이터의 화상 명부(l), 암부(d) 및 경계부(b)에서의 보이는 방식이 파악되기 쉬워지기 때문에, 화상 통합 데이터에서의 검사 대상(T)의 결함(D)의 종별을 더욱 인식하기 쉬워진다.
또한, 본 실시 형태에 따르면, 분할 출력부(12)에 의해, 통합부(11)에 의해 생성된 라인 분할 화상군(G1)(t1) 등마다의 화상 통합 데이터가, 검사 대상(T)에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부(l), 암부(d) 및 경계부(b)에서의 휘도가 임의의 명역치 이상인 항상 밝은 화소, 검사 대상(T)에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부(l), 암부(d) 및 경계부(b)에서의 휘도가 임의의 암역치 이하인 항상 어두운 화소, 및 검사 대상(T)에서의 동일 위치를 촬상한 화상 통합 데이터의 화소로서 명부(l), 암부(d) 및 경계부(b)에서의 휘도의 변화폭이 임의의 변화 역치 이상인 명암의 변화가 많은 화소 각각이 서로 상이한 색으로 착색된 착색부 R, G, B로서 분할되어 출력된다. 이에 의해, 라인 분할 화상군(G1)(t1) 등마다 화상 통합 데이터의 화상 명부(l), 암부(d) 및 경계부(b)에서의 보이는 방식이 색채에 의해 파악하기 쉬워지기 때문에, 화상 통합 데이터에서의 검사 대상(T)의 결함(D)의 종별을 더욱 인식하기 쉬워진다.
또한, 본 실시 형태에 따르면, 화상 데이터의 화소값끼리가 통합된 화상 통합 데이터여도, 라인 분할 화상군(G1)(t1) 등마다 분할되어 출력됨으로써 라인 분할 화상군(G1)(t1) 등마다 화상 통합 데이터의 화상의 보이는 방식이 상이한 것으로 되기 때문에, 화상 통합 데이터에서의 검사 대상(T)의 결함(D)의 종별을 인식하기 쉬워진다.
또한, 본 실시 형태에 따르면, 화상 데이터의 화소값끼리가 통합된 화상 통합 데이터여도, 라인 분할 화상군(G1)(t1) 등의 사이의 미리 정한 역치마다 분할되어 출력됨으로써 라인 분할 화상군(G1)(t1) 등의 사이의 미리 정한 역치마다 화상 통합 데이터의 화상의 보이는 방식이 상이한 것으로 되기 때문에, 화상 통합 데이터에서의 검사 대상(T)의 결함(D)의 종별을 인식하기 쉬워진다.
또한, 본 실시 형태에 따르면, 통합부(11)는, 동일한 라인 분할 화상군(G1)(t1) 등으로 분류된 라인 분할 화상(DL1)(t1) 등 각각에 대해서, 검사 대상(T)에서의 동일 위치를 촬상한 화상 데이터의 화소의 휘도의 기준값에 대한 고저에 따라서 화소에 정부의 부호를 갖는 차분값을 부여하고, 검사 대상(T)에서의 동일 위치를 촬상한 화상 데이터의 화소의 차분값끼리를 통합하여, 라인 분할 화상군(G1)(t1) 등마다 화상 통합 데이터(C1)(t1) 등을 생성하기 때문에, 간단한 연산에 의해, 라인 분할 화상군(G1)(t1) 등마다, 검사 대상(T)에서의 동일 위치를 촬상한 화상 데이터의 화소의 휘도의 기준값에 대한 고저가 강조된 화상 통합 데이터(C1)(t1) 등을 생성할 수 있다.
또한, 본 실시 형태에 따르면, 통합부(11)는, 동일한 라인 분할 화상군(G1)(t1) 등으로 분류된 라인 분할 화상(DL1)(t1) 각각에 대해서, 검사 대상(T)에서의 동일 위치를 촬상한 화상 데이터의 서로 인접하는 화소의 휘도 변화를 강조하는 강조 처리를 실시하고, 검사 대상(T)에서의 동일 위치를 촬상한 화상 데이터의 화소의 강조 처리를 실시한 값끼리를 통합하여, 라인 분할 화상군(G1)(t1) 등마다 화상 통합 데이터(C1)(t1) 등을 생성하기 때문에, 간단한 연산에 의해, 라인 분할 화상군(G1)(t1) 등마다, 검사 대상(T)에서의 동일 위치를 촬상한 화상 데이터의 서로 인접하는 화소의 휘도 변화가 강조된 화상 통합 데이터(C1)(t1) 등을 생성할 수 있다.
또한, 본 실시 형태에 따르면, 해석부(8)에 의해, 통합부(11)에 의해 생성된 라인 분할 화상군(G1)(t1) 등마다의 화상 통합 데이터에 포함되는 결함의 종별의 식별에 관한 기계 학습의 결과를 축적한 데이터에 기초하여 검사 대상(T)의 결함(D)의 종별이 식별되지만, 화상 데이터의 화소값끼리가 통합된 화상 통합 데이터는, 라인 분할 화상군(G1)(t1) 등마다 화상 데이터의 화소값끼리가 통합되어 있기 때문에, 당해 화상 통합 데이터(C1)(t1) 등에 대한 기계 학습의 결과에 기초하여 결함의 종별이 식별되는 것이기 때문에, 검사 대상(T)의 결함(D)의 종별의 식별 정밀도를 향상시킬 수 있다.
이상, 본 발명의 실시 형태에 대하여 설명했지만, 본 발명은 상기 실시 형태에 한정되지 않고 다양한 형태로 실시된다. 예를 들어, 상기 실시 형태에서는, 검사 대상(T)이 필름인 경우에 대해 중심으로 설명했지만, 본 발명의 결함 검사 시스템 및 결함 검사 방법은, 예를 들어 생산 라인에서, 용기에 충전된 액체의 충전량 검사에 적용할 수 있다. 본 실시 형태의 결함 검사 시스템(1) 및 결함 검사 방법에 의해, 용기 내의 원하는 위치까지 액체가 도달해있지 않은지, 또는 액체가 용기 내의 원하는 위치를 초과해있지 않은지 등의 결함을 검출할 수 있다.
또한, 본 실시 형태의 결함 검사 시스템(1) 및 결함 검사 방법은, 생산 라인에서, 유리 제품 등의 균열이나 흠집 등의 외관 검사에 적용할 수 있다. 유리 제품에 균열이나 흠집 등의 결함이 있는 경우에는 휘도가 다른 부위보다도 높아지는 것을 이용하여 결함을 추출할 수 있다.

Claims (22)

  1. 검사 대상에 광을 조사하는 광원과,
    상기 광원으로부터 상기 검사 대상에 조사되어 상기 검사 대상을 투과 또는 반사한 상기 광에 의한 2차원 화상을 이산 시간마다 촬상하는 촬상부와,
    상기 광원 및 상기 촬상부에 대하여 상기 검사 대상을 반송 방향으로 상대적으로 반송하는 반송부와,
    상기 촬상부에 의해 촬상된 상기 2차원 화상의 화상 데이터를 처리하는 화상 처리부
    를 구비하며,
    상기 촬상부는,
    상기 2차원 화상에서의 상기 반송 방향과 합치하는 방향으로 휘도가 변화하는 상기 2차원 화상을 촬상하고,
    상기 화상 처리부는,
    상기 2차원 화상을 상기 반송 방향으로 병렬하는 복수의 라인으로 분할하여, 상기 촬상부에 의해 상기 이산 시간마다 촬상된 상기 2차원 화상 각각에서의 동일 위치의 상기 라인을 시계열순으로 병렬시킨 라인 분할 화상의 상기 화상 데이터로 처리하는 라인 분할 처리부와,
    상기 라인 분할 처리부에 의해 처리된 상기 라인 분할 화상 각각을 미리 정한 규칙에 따라서 2 이상의 라인 분할 화상군으로 분류하는 분류부와,
    상기 분류부에 의해 동일한 상기 라인 분할 화상군으로 분류된 상기 라인 분할 화상 각각에 대해서, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 데이터의 화소값끼리를 통합하여, 상기 라인 분할 화상군마다 화상 통합 데이터를 생성하는 통합부와,
    상기 통합부에 의해 생성된 상기 라인 분할 화상군마다의 상기 화상 통합 데이터를 미리 정한 규칙에 따라서 분할하여 출력하는 분할 출력부
    를 갖는, 결함 검사 시스템.
  2. 제1항에 있어서, 상기 촬상부에서 이산 시간마다 촬상되는 상기 2차원 화상은, 명부와, 암부와, 상기 명부와 상기 암부 사이의 경계부를 가지고,
    상기 반송부는,
    상기 촬상부에 대하여 상기 검사 대상을 상기 명부, 상기 암부 및 상기 경계부에 교차하는 상기 반송 방향으로 상대적으로 반송하는, 결함 검사 시스템.
  3. 제2항에 있어서, 상기 분류부는,
    상기 라인 분할 처리부에 의해 처리된 상기 라인 분할 화상 각각을, 상기 2차원 화상 각각에서의 상기 명부의 상기 라인을 시계열순으로 병렬시킨 상기 라인 분할 화상의 상기 라인 분할 화상군, 상기 2차원 화상 각각에서의 상기 암부의 상기 라인을 시계열순으로 병렬시킨 상기 라인 분할 화상의 상기 라인 분할 화상군, 및 상기 2차원 화상 각각에서의 상기 경계부의 상기 라인을 시계열순으로 병렬시킨 상기 라인 분할 화상의 상기 라인 분할 화상군으로 분류하는, 결함 검사 시스템.
  4. 제2항 또는 제3항에 있어서, 상기 광원과 상기 검사 대상 사이에 위치하여, 상기 광원으로부터 상기 검사 대상에 조사되는 상기 광의 일부를 차광함으로써, 상기 촬상부에서 이산 시간마다 촬상되는 상기 2차원 화상에 상기 명부와 상기 암부와 상기 경계부를 형성하는 차광체를 더 구비하고,
    상기 반송부는,
    상기 광원, 상기 차광체 및 상기 촬상부에 대하여 상기 검사 대상을 상기 명부, 상기 암부 및 상기 경계부에 교차하는 상기 반송 방향으로 상대적으로 반송하는, 결함 검사 시스템.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서, 상기 분할 출력부는,
    상기 통합부에 의해 생성된 상기 라인 분할 화상군마다의 상기 화상 통합 데이터를, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 통합 데이터의 상기 화소로서 상기 명부, 상기 암부 및 상기 경계부에서의 휘도가 임의의 명역치 이상인 상기 화소, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 통합 데이터의 상기 화소로서 상기 명부, 상기 암부 및 상기 경계부에서의 휘도가 임의의 암역치 이하인 상기 화소, 및 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 통합 데이터의 상기 화소로서 상기 명부, 상기 암부 및 상기 경계부에서의 휘도의 변화폭이 임의의 변화 역치 이상인 상기 화소 각각으로 분할하여 출력하는, 결함 검사 시스템.
  6. 제5항에 있어서, 상기 분할 출력부는,
    상기 통합부에 의해 생성된 상기 라인 분할 화상군마다의 상기 화상 통합 데이터를, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 통합 데이터의 상기 화소로서 상기 명부, 상기 암부 및 상기 경계부에서의 휘도가 임의의 명역치 이상인 상기 화소, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 통합 데이터의 상기 화소로서 상기 명부, 상기 암부 및 상기 경계부에서의 휘도가 임의의 암역치 이하인 상기 화소, 및 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 통합 데이터의 상기 화소로서 상기 명부, 상기 암부 및 상기 경계부에서의 휘도의 변화폭이 임의의 변화 역치 이상인 상기 화소 각각을 서로 상이한 색으로 착색한 착색부로서 분할하여 출력하는, 결함 검사 시스템.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 분할 출력부는,
    상기 통합부에 의해 생성된 상기 라인 분할 화상군마다의 상기 화상 통합 데이터를, 상기 라인 분할 화상군마다 분할하여 출력하는, 결함 검사 시스템.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 분할 출력부는,
    상기 통합부에 의해 생성된 상기 라인 분할 화상군마다의 상기 화상 통합 데이터를, 상기 라인 분할 화상군 사이의 미리 정한 역치마다 분할하여 출력하는, 결함 검사 시스템.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 통합부는,
    동일한 상기 라인 분할 화상군으로 분류된 상기 라인 분할 화상 각각에 대해서, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 데이터의 상기 화소의 휘도의 기준값에 대한 고저에 따라서 상기 화소에 정부의 부호를 갖는 차분값을 부여하고, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 데이터의 상기 화소의 상기 차분값끼리를 통합하여, 상기 라인 분할 화상군마다 화상 통합 데이터를 생성하는, 결함 검사 시스템.
  10. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 통합부는,
    동일한 상기 라인 분할 화상군으로 분류된 상기 라인 분할 화상 각각에 대해서, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 데이터의 서로 인접하는 상기 화소의 휘도 변화를 강조하는 강조 처리를 실시하고, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 데이터의 화소의 상기 강조 처리를 실시한 값끼리를 통합하여, 상기 라인 분할 화상군마다 화상 통합 데이터를 생성하는, 결함 검사 시스템.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 통합부에 의해 생성된 상기 라인 분할 화상군마다의 상기 화상 통합 데이터에 포함되는 결함의 종별의 식별에 관한 기계 학습의 결과를 축적한 데이터에 기초하여 상기 검사 대상의 결함의 종별을 식별하는 해석부를 더 구비한, 결함 검사 시스템.
  12. 결함 검사 시스템의 광원으로부터 검사 대상에 광을 조사하는 조사 공정과,
    상기 결함 검사 시스템의 촬상부에 의해, 상기 조사 공정에 의해 상기 광원으로부터 상기 검사 대상에 조사되어 상기 검사 대상을 투과 또는 반사한 상기 광에 의한 2차원 화상을 이산 시간마다 촬상하는 촬상 공정과,
    상기 결함 검사 시스템의 반송부에 의해, 상기 광원 및 상기 촬상부에 대하여 상기 검사 대상을 반송 방향으로 상대적으로 반송하는 반송 공정과,
    상기 결함 검사 시스템의 화상 처리부에 의해, 상기 촬상 공정에서 촬상된 상기 2차원 화상의 화상 데이터를 처리하는 화상 처리 공정
    을 구비하며,
    상기 촬상 공정에서는,
    상기 2차원 화상에서의 상기 반송 방향과 합치하는 방향으로 휘도가 변화하는 상기 2차원 화상을 촬상하고,
    상기 화상 처리 공정에서는,
    상기 2차원 화상을 상기 반송 방향으로 병렬하는 복수의 라인으로 분할하여, 상기 촬상부에 의해 상기 이산 시간마다 촬상된 상기 2차원 화상 각각에서의 동일 위치의 상기 라인을 시계열순으로 병렬시킨 라인 분할 화상의 상기 화상 데이터로 처리하는 라인 분할 처리 공정과,
    상기 라인 분할 공정에서 처리된 상기 라인 분할 화상 각각을 미리 정한 규칙에 따라서 2 이상의 라인 분할 화상군으로 분류하는 분류 공정과,
    상기 분류 공정에서 동일한 상기 라인 분할 화상군으로 분류된 상기 라인 분할 화상 각각에 대해서, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 데이터의 화소값끼리를 통합하여, 상기 라인 분할 화상군마다 화상 통합 데이터를 생성하는 통합 공정과,
    상기 통합 공정에서 생성된 상기 라인 분할 화상군마다의 상기 화상 통합 데이터를 미리 정한 규칙에 따라서 분할하여 출력하는 분할 출력 공정
    을 갖는, 결함 검사 방법.
  13. 제12항에 있어서, 상기 조사 공정에서는,
    상기 촬상 공정에서 이산 시간마다 촬상되는 상기 2차원 화상은, 명부와, 암부와, 상기 명부와 상기 암부의 경계부를 가지고,
    상기 반송 공정에서는,
    상기 촬상부에 대하여 상기 검사 대상을 상기 명부, 상기 암부 및 상기 경계부에 교차하는 상기 반송 방향으로 상대적으로 반송하는, 결함 검사 방법.
  14. 제13항에 있어서, 상기 분류 공정에서는,
    상기 라인 분할 처리 공정에서 처리된 상기 라인 분할 화상 각각을, 상기 2차원 화상 각각에서의 상기 명부의 상기 라인을 시계열순으로 병렬시킨 상기 라인 분할 화상의 상기 라인 분할 화상군, 상기 2차원 화상 각각에서의 상기 암부의 상기 라인을 시계열순으로 병렬시킨 상기 라인 분할 화상의 상기 라인 분할 화상군, 및 상기 2차원 화상 각각에서의 상기 경계부의 상기 라인을 시계열순으로 병렬시킨 상기 라인 분할 화상의 상기 라인 분할 화상군으로 분류하는, 결함 검사 방법.
  15. 제13항 또는 제14항에 있어서, 상기 조사 공정에서는,
    광원과 검사 대상 사이에 위치하여, 상기 광원으로부터 상기 검사 대상에 조사되는 광의 일부를 차광하는 차광체에 의해, 상기 촬상 공정에서 이산 시간마다 촬상되는 상기 2차원 화상에 상기 명부와 상기 암부와 상기 경계부를 형성하고,
    상기 반송 공정에서는,
    상기 광원, 상기 차광체 및 상기 촬상부에 대하여 상기 검사 대상을 상기 명부, 상기 암부 및 상기 경계부에 교차하는 상기 반송 방향으로 상대적으로 반송하는, 결함 검사 방법.
  16. 제13항 내지 제15항 중 어느 한 항에 있어서, 상기 분할 출력 공정에서는,
    상기 통합 공정에서 생성된 상기 라인 분할 화상군마다의 상기 화상 통합 데이터를, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 통합 데이터의 상기 화소로서 상기 명부, 상기 암부 및 상기 경계부에서의 휘도가 임의의 명역치 이상인 상기 화소, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 통합 데이터의 상기 화소로서 상기 명부, 상기 암부 및 상기 경계부에서의 휘도가 임의의 암역치 이하인 상기 화소, 및 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 통합 데이터의 상기 화소로서 상기 명부, 상기 암부 및 상기 경계부에서의 휘도의 변화폭이 임의의 변화 역치 이상인 상기 화소 각각으로 분할하여 출력하는, 결함 검사 방법.
  17. 제16항에 있어서, 상기 분할 출력 공정에서는,
    상기 통합 공정에서 생성된 상기 라인 분할 화상군마다의 상기 화상 통합 데이터를, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 통합 데이터의 상기 화소로서 상기 명부, 상기 암부 및 상기 경계부에서의 휘도가 임의의 명역치 이상인 상기 화소, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 통합 데이터의 상기 화소로서 상기 명부, 상기 암부 및 상기 경계부에서의 휘도가 임의의 암역치 이하인 상기 화소, 및 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 통합 데이터의 상기 화소로서 상기 명부, 상기 암부 및 상기 경계부에서의 휘도의 변화폭이 임의의 변화 역치 이상인 상기 화소 각각을 서로 상이한 색으로 착색한 착색부로서 분할하여 출력하는, 결함 검사 방법.
  18. 제12항 내지 제17항 중 어느 한 항에 있어서, 상기 분할 출력 공정에서는,
    상기 통합 공정에서 생성된 상기 라인 분할 화상군마다의 상기 화상 통합 데이터를, 상기 라인 분할 화상군마다 분할하여 출력하는, 결함 검사 방법.
  19. 제12항 내지 제17항 중 어느 한 항에 있어서, 상기 분할 출력 공정은,
    상기 통합 공정에 의해 생성된 상기 라인 분할 화상군마다의 상기 화상 통합 데이터를, 상기 라인 분할 화상군 사이의 미리 정한 역치마다 분할하여 출력하는, 결함 검사 방법.
  20. 제12항 내지 제19항 중 어느 한 항에 있어서, 상기 통합 공정에서는,
    동일한 상기 라인 분할 화상군으로 분류된 상기 라인 분할 화상 각각에 대해서, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 데이터의 상기 화소의 휘도의 기준값에 대한 고저에 따라서 상기 화소에 정부의 부호를 갖는 차분값을 부여하고, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 데이터의 상기 화소의 상기 차분값끼리를 통합하여, 상기 라인 분할 화상군마다 화상 통합 데이터를 생성하는, 결함 검사 방법.
  21. 제12항 내지 제19항 중 어느 한 항에 있어서, 상기 통합 공정에서는,
    동일한 상기 라인 분할 화상군으로 분류된 상기 라인 분할 화상 각각에 대해서, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 데이터의 서로 인접하는 상기 화소의 휘도 변화를 강조하는 강조 처리를 실시하고, 상기 검사 대상에서의 동일 위치를 촬상한 상기 화상 데이터의 화소의 상기 강조 처리를 실시한 값끼리를 통합하여, 상기 라인 분할 화상군마다 화상 통합 데이터를 생성하는, 결함 검사 방법.
  22. 제12항 내지 제21항 중 어느 한 항에 있어서, 상기 통합 공정에서 생성된 상기 라인 분할 화상군마다의 상기 화상 통합 데이터에 포함되는 결함의 종별의 식별에 관한 기계 학습의 결과를 축적한 데이터에 기초하여 상기 검사 대상의 결함의 종별을 식별하는 해석 공정을 더 구비한, 결함 검사 방법.
KR1020180082657A 2017-07-24 2018-07-17 결함 검사 시스템 및 결함 검사 방법 KR20190011200A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2017-142929 2017-07-24
JP2017142929A JP6970550B2 (ja) 2017-07-24 2017-07-24 欠陥検査システム及び欠陥検査方法

Publications (1)

Publication Number Publication Date
KR20190011200A true KR20190011200A (ko) 2019-02-01

Family

ID=65172597

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180082657A KR20190011200A (ko) 2017-07-24 2018-07-17 결함 검사 시스템 및 결함 검사 방법

Country Status (4)

Country Link
JP (1) JP6970550B2 (ko)
KR (1) KR20190011200A (ko)
CN (1) CN109297971B (ko)
TW (1) TWI797145B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI786827B (zh) * 2021-09-15 2022-12-11 和碩聯合科技股份有限公司 測試資料產生方法以及測試資料產生裝置
CN113628212B (zh) * 2021-10-12 2022-03-11 高视科技(苏州)有限公司 不良偏光片识别方法、电子设备和存储介质
CN115829907B (zh) * 2022-04-18 2024-02-23 宁德时代新能源科技股份有限公司 对复合料带的隔膜进行缺陷检测的方法、装置、系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3476913B2 (ja) * 1994-07-08 2003-12-10 オリンパス株式会社 欠陥種別判定装置及びプロセス管理システム
JPH09284749A (ja) * 1996-04-12 1997-10-31 Furukawa Electric Co Ltd:The トンネル内壁面の撮影方法とそれを用いた撮影装置
JP4220595B2 (ja) * 1998-08-10 2009-02-04 株式会社日立製作所 欠陥の分類方法並びに教示用データ作成方法
MXPA01006327A (es) * 1998-12-21 2002-06-04 Hottinger Maschb Gmbh Metodo y aparato para el reconocimiento de objetos.
JP2001134763A (ja) * 1999-11-09 2001-05-18 Hitachi Ltd 撮像画像に基づく欠陥の分類方法、および、その結果の表示方法
JP2004163416A (ja) * 2002-10-23 2004-06-10 Nippon Steel Corp 欠陥検査装置
WO2004104566A1 (de) * 2003-05-19 2004-12-02 Micro-Epsilon Messtechnik Gmbh & Co. Kg Verfahren und vorrichtung zur optischen qualitätsprüfung von objekten mit vor­zugsweise kreisförmig umlaufendem rand
JP2004354250A (ja) * 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
JP4694914B2 (ja) * 2005-08-03 2011-06-08 昭和電工株式会社 表面検査方法および同装置
JP4753019B2 (ja) * 2005-10-18 2011-08-17 東洋製罐株式会社 ネックリング検査装置及びネックリング検査方法
JP4739044B2 (ja) * 2006-02-09 2011-08-03 三菱原子燃料株式会社 外観検査装置
JP4367474B2 (ja) * 2006-10-03 2009-11-18 横河電機株式会社 欠陥検査装置
JP4652391B2 (ja) * 2006-12-08 2011-03-16 株式会社東芝 パターン検査装置、及び、パターン検査方法
JP2008175588A (ja) * 2007-01-16 2008-07-31 Kagawa Univ 外観検査装置
JP4726983B2 (ja) * 2009-10-30 2011-07-20 住友化学株式会社 欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、記録媒体、および欠陥検査用画像処理方法
JP2011145305A (ja) * 2011-04-12 2011-07-28 Sumitomo Chemical Co Ltd 欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、記録媒体、および欠陥検査用画像処理方法
WO2014119772A1 (ja) * 2013-01-30 2014-08-07 住友化学株式会社 画像生成装置、欠陥検査装置および欠陥検査方法
CN104101611A (zh) * 2014-06-06 2014-10-15 华南理工大学 一种类镜面物体表面光学成像装置及其成像方法
WO2016121878A1 (ja) * 2015-01-29 2016-08-04 株式会社デクシス 光学式外観検査装置、及びこれを用いた光学式外観検査システム
CN104751474A (zh) * 2015-04-13 2015-07-01 上海理工大学 一种级联式快速图像缺陷分割方法

Also Published As

Publication number Publication date
CN109297971B (zh) 2022-10-21
CN109297971A (zh) 2019-02-01
TWI797145B (zh) 2023-04-01
JP6970550B2 (ja) 2021-11-24
JP2019023589A (ja) 2019-02-14
TW201908717A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
KR20170136992A (ko) 결함 검사 시스템, 필름 제조 장치 및 결함 검사 방법
TWI484161B (zh) 缺陷檢查系統及使用於該缺陷檢查系統之缺陷檢查用攝影裝置、缺陷檢查用畫像處理裝置、缺陷檢查用畫像處理程式、記錄媒體及缺陷檢查用畫像處理方法
KR101773791B1 (ko) 검사대상 물체의 표면 검사 방법 및 장치
CA2615117C (en) Apparatus and methods for inspecting a composite structure for inconsistencies
US20080285840A1 (en) Defect inspection apparatus performing defect inspection by image analysis
TWI608230B (zh) 圖像產生裝置、缺陷檢查裝置及缺陷檢查方法
CN104729426B (zh) 基于机器视觉的角钢自动在线检测系统及方法
KR20190011198A (ko) 결함 검사 시스템 및 결함 검사 방법
KR20190011200A (ko) 결함 검사 시스템 및 결함 검사 방법
CN113454638A (zh) 用于使用计算机视觉进行复杂视觉检查任务的联合学习的系统和方法
CN112889087B (zh) 对片材部件的自动检查的系统、处理单元和方法
SA109300619B1 (ar) طريقة ونظام لتعريف صنف
TWI588472B (zh) Defect inspection device and defect inspection method
US20060093235A1 (en) Image processing method and image processing apparatus
KR20190011199A (ko) 결함 검사 시스템 및 결함 검사 방법
KR20100025001A (ko) 촬상 장치 및 방법
JP2021092439A (ja) 照明最適化方法、制御装置、及びプログラム
CN105391998B (zh) 微光夜视仪分辨率自动检测方法和装置
CN112129768B (zh) 外观检查管理系统、装置、方法以及存储介质
JP7293907B2 (ja) 外観検査管理システム、外観検査管理装置、外観検査管理方法及びプログラム
JP2015200544A (ja) 表面凹凸検査装置及び表面凹凸検査方法
JP2020118572A (ja) 表面欠陥検査装置及び表面欠陥検査方法
JP2020144727A (ja) 単板判定システムおよび単板の判定方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application