KR20190122550A - 검사 관리 시스템, 검사 관리 장치 및 검사 관리 방법 - Google Patents

검사 관리 시스템, 검사 관리 장치 및 검사 관리 방법 Download PDF

Info

Publication number
KR20190122550A
KR20190122550A KR1020190037102A KR20190037102A KR20190122550A KR 20190122550 A KR20190122550 A KR 20190122550A KR 1020190037102 A KR1020190037102 A KR 1020190037102A KR 20190037102 A KR20190037102 A KR 20190037102A KR 20190122550 A KR20190122550 A KR 20190122550A
Authority
KR
South Korea
Prior art keywords
defect
inspection
image
photographing
same
Prior art date
Application number
KR1020190037102A
Other languages
English (en)
Inventor
기요타카 우에다
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20190122550A publication Critical patent/KR20190122550A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G01N21/3151—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths using two sources of radiation of different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

복수의 상이한 방식에 의해 피검사물을 촬영하고, 각각의 촬영 방식마다 결함을 검출하는 시트상 물품의 외관 검사에 있어서, 동일한 결함을 나타내는 복수의 결함 화상 데이터를 개별로 관리하는 것에 의한 폐해를 저감하는 수단을 제공한다.
시트상의 피검사물을 검사하기 위한 검사 관리 시스템이며, 상기 피검사물(T)의 외관을, 상이한 방식에 의해 촬영하는 복수의 촬영 수단과, 상기 복수의 촬영 수단에 의해 촬영된 각각의 화상에 기초하여, 상기 피검사물의 결함을 검출하는 검출 수단을 구비하는 외관 검사부와, 상기 복수의 상이한 방식의 촬영 수단마다, 상기 검출 수단에 의해 검출된 결함이 촬영되어 있는 결함 화상 데이터가 기록되는 기억부와, 상기 기억부에 기록된 상기 피검사물에 있어서의 동일한 결함이 촬영되어 있는 복수의 결함 화상 데이터를, 하나의 동일 결함 화상 세트로서 처리하는 동일 결함 화상 통합 수단을 구비하는, 검사 관리부를 갖는다.

Description

검사 관리 시스템, 검사 관리 장치 및 검사 관리 방법 {INSPECTION MANAGEMENT SYSTEM, INSPECTION MANAGEMENT APPARATUS AND INSPECTION MANAGEMENT METHOD}
본 발명은 시트상의 피검사물의 이상 개소를 검출하는 기술, 특히, 검출된 이상을 분석하기 위한 기술에 관한 것이다.
시트상 물품을 제조 또는 가공하기 위한 생산 라인에서는, 가시광이나 자외광을 시트에 조사하여 그 투과광 또는 반사광을 카메라로 촬영함으로써 얻어지는 화상을 사용하여, 시트에 있어서의 이상(이물 혼입, 오염, 주름 등. 이하, 결함이라고도 함)을 검출하는 검사 장치가 이용되고 있다(예를 들어, 특허문헌 1, 특허문헌 2 등).
이와 같은 장치에는, 표면 반사상, 이면 반사상, 투과 화상, 가시광 화상, 적외광 화상 등과 같이, 상이한 복수의 촬영 방법에 의해 피검사물을 촬영하고 각 화상에서 결함 검출(불량 판정)을 행하는 것이 있고, 이에 의해, 검사의 정밀도를 향상시키는(결함의 간과를 저감하는) 것이 도모되어 있다.
그리고, 상기와 같은 장치를 사용하여, 제품의 결함을 검출하여 불량품을 제거할 뿐만 아니라, 그 검출된 결함을 발생 요인(이하, 종별이라고도 함)마다 분류하여, 각 결함의 발생 빈도를 데이터화하고, 분석함으로써, 제조 상품의 품질의 상황 파악이나, 제조 공정의 이상 개소의 조기 발견, 예조 보전 등에 이용하는 것도 기대되고 있다.
이와 같이, 결함 종별로 분류된 데이터를 유효 활용하는 데 있어서는, 그 발생수, 분류 등에 대하여, 정확한 것이 중요하지만, 상기와 같이 상이한 복수의 촬영 방법(이하, 검사 방식이라고도 함)을 사용하는 경우에는, 얻어지는 데이터의 정확성을 손상시키는 폐해가 발생하는 경우도 있다.
예를 들어, 결함 종별마다의 정확한 결함수를 구하려고 해도, 복수의 검사 방식을 사용하는 경우에는, 하나의 결함에 대하여 복수의 검사 방식의 각각에 있어서 결함을 검출하는 경우도 있기 때문에, 각 검사 방식으로 얻어지는 결함수를 단순하게 합계한 경우, 그 수가 제품상의 본래의 결함수와 합치하지 않는다는 문제가 발생한다.
이에 비해, 특허문헌 2에서는, 상이한 카메라 장치로 촬상된 동일한 결함에 대한 결함 정보를 비교하여, 결정 룰에 따라 결정된 상이한 카메라 장치 중 하나의 카메라 장치로 촬상된 화상 데이터에 기초하여 추출한 결함 정보를 대표 결함 정보로서 결정하고, 표시하는 기능을 구비한 검사 시스템이 제안되어 있다. 그러나, 이와 같은 방법에서는, 모처럼 복수의 카메라에 의해 취득된, 대표 결함 정보 이외의 결함 화상 데이터가 골라내어져, 유효하게 활용되지 않게 되어 버린다.
또한, 결함의 종별을 분류하는 데 있어서, 결함 화상을 교사 데이터로서 심층 학습시킨 AI를 사용하는 것도 행해지지만, 교사 데이터를 등록할 때에, 결함 종별의 식별이 곤란한 결함 화상에 대하여, 실제의 결함 종별과는 상이한 결함의 종별과 묶어서 등록을 행해 버린다는 인위적 미스도 발생할 수 있다. 또한, 이때에는, 본래는 동일한 결함을 나타내고 있을 수 있는 복수의 결함 화상 데이터에 대하여, 검사 방식마다 별도의 결함 종별을 등록해 버린다는 것도 발생할 우려도 있다. 그리고, 이와 같이 하여 등록된 잘못된 교사 데이터를 사용하여 학습한 AI에 의해 분류된 데이터는 정확성에 의심스러운 곳이 발생하게 된다.
또한, 복수의 검사 방식마다 결함 화상을 취득하고, 이것들을 개별로 결함 종별과 묶어서 등록을 행하는 것은, 검사 방식의 종류가 많으면, 단순하게 그만큼 교사 데이터 등록의 수고가 증가하게 되어, 비효율적이었다.
일본 특허 공개 제2015-172519호 공보 일본 특허 제5305002호 공보
본 발명은 상기와 같은 실정을 감안하여 이루어진 것이고, 그 목적으로 하는 점은, 복수의 상이한 방식에 의해 피검사물을 촬영하고, 각각의 촬영 방식마다 결함을 검출하는 시트상 물품의 외관 검사에 있어서, 동일한 결함을 나타내는 복수의 결함 화상 데이터를 개별로 관리하는 것에 의한 폐해를 저감할 수 있는 수단을 제공하는 데 있다.
상기한 과제를 해결하기 위해, 본 발명에 관한 검사 관리 시스템은, 시트상의 피검사물을 검사하기 위한 검사 관리 시스템이며, 상기 피검사물의 외관을, 상이한 방식에 의해 촬영하는 둘 이상의 촬영 수단과, 상기 복수의 촬영 수단에 의해 촬영된 각각의 화상에 기초하여, 상기 피검사물의 결함을 검출하는 검출 수단을 구비하는 외관 검사부와, 상기 복수의 상이한 방식의 촬영 수단마다, 상기 검출 수단에 의해 검출된 결함이 촬영되어 있는 결함 화상 데이터가 기록되는 기억부와, 상기 기억부에 기록된 상기 결함 화상 데이터의 집합 중, 상기 피검사물에 있어서의 동일한 결함이 촬영되어 있는 복수의 결함 화상 데이터를, 하나의 동일 결함 화상 세트로서 처리하는 동일 결함 화상 통합 수단을 구비하는, 검사 관리부를 갖는다.
여기서, 「상이한 방식에 의해 촬영」이란, 예를 들어 촬영하는 피검사물의 면이 상이한 것이어도 되고, 검출하는 광의 파장이 상이한 것이어도 되고, 반사광을 촬영하는 것과 투과광을 촬영하는 것의 차이여도 된다. 또한, 「상기 피검사물에 있어서의 동일한 결함이 촬영되어 있다」는 것에 대해서는, 후술하는 바와 같이, 피검사물에 있어서의 결함의 위치가 동일한 경우에 그와 같이 인정하면 된다. 또한, 시스템을 구성하는 각 요소는 별체일 필요는 없고, 모두가 일체화된 하우징에 수렴되어 있어도 되고, 일부가 일체로 되어 있어도 된다.
상기와 같은 구성에 의하면, 복수의 방식에 의해 피검사물을 촬영하고, 피검사물에 있어서의 하나의 결함에 대하여 촬영 방식이 상이한 복수의 결함 화상 데이터가 기록된 경우라도, 동일한 결함을 나타내는 복수의 데이터를 1세트로서 관리할 수 있다. 이에 의해, 동일한 결함을 나타내는 복수의 결함 화상 데이터를 개별로 관리하는 것에 의한 폐해를 저감할 수 있다.
또한, 상기 검사 관리부는, 상기 동일 결함 화상 세트의 수를 계수하고, 소정의 검사 단위마다, 결함수를 산출하는 결함 계수 수단을 더 구비하고 있어도 된다. 여기서, 「소정의 검사 단위」는, 유저가 임의의 타이밍에서 설정·변경할 수도 있다. 이와 같은 구성이면, 동일한 결함에 대하여 촬영된 복수의 결함 화상을 개별로 계수하는 것은 아니고, 피검사물에 있어서의 결함마다 결함수를 계수하게 되기 때문에, 정확한 결함수를 산출할 수 있다.
또한, 상기 검사 관리 시스템은, 출력부를 더 갖고 있고, 상기 검사 관리부는, 상기 산출된 결함수가 소정의 값을 초과한 경우에, 그 취지를 상기 출력부를 통해 통지하는 결함수 경고 수단을 더 구비하고 있어도 된다. 이와 같은 구성을 취함으로써, 결함수가 소정의 값을 초과한 경우에, 유저는 그것을 용이하게 알 수 있기 때문에, 효율적으로 검사 관리를 행하는 것이 가능해진다.
또한, 출력부는 유저가 지각 가능한 방법으로 통지를 행하는 것이면 되고, 예를 들어 액정 디스플레이 등의 표시 장치여도 되고, 스피커 등의 음성 출력 장치여도 되고, 인쇄 장치여도 된다. 또한, 이것들을 병용하여 통지를 행하는 것이어도 된다.
또한, 상기 검사 관리부는, 상기 동일 결함 화상 세트마다, 상기 결함의 종별을 분류하는 결함 종별 분류 수단을 더 구비하고 있어도 된다. 이와 같은 구성이면, 본래는 동일한 결함을 나타내고 있을 수 있는 복수의 결함 화상 데이터에 대하여, 복수의 상이한 촬영 수단마다 별도의 결함 종별로 분류해 버린다는 것을 방지할 수 있다.
또한, 상기 검사 관리부는, 상기 결함 종별 분류 수단에 의해 분류된 결함 종별마다 상기 동일 결함 화상 세트의 수를 계수하고, 소정의 검사 단위마다, 결함 종별마다의 결함수를 산출하는 결함 종별 계수 수단을 더 구비하고 있어도 된다. 이와 같은 구성이면, 결함 종별마다 정확한 결함수를 구할 수 있다.
또한, 상기 검사 관리 시스템은, 출력부를 갖고 있고, 상기 검사 관리부는, 상기 산출된 결함 종별마다의 결함수가, 해당 결함 종별마다 정해진 소정의 값을 초과한 경우에, 그 취지를 상기 출력부를 통해 통지하는 결함 종별 결함수 경고 수단을 더 구비하고 있어도 된다. 또한, 결함 종별 결함수 경고 수단은 소정의 값을 초과한 결함의 종별에 대해서도 더불어 통지하는 것이어도 된다. 이와 같은 구성이면, 유저는 결함 종별마다, 결함수가 소정의 값을 초과한 경우에 그것을 알 수 있고, 더 상세한 검사 관리를 행하는 것이 가능해진다.
또한, 검사 시스템이 상기 결함수 경고 수단도 구비하는 구성인 경우에는, 출력부는 상기 결함수 경고 수단과 공통의 구성이어도 된다.
또한, 상기 결함 종별 분류 수단은, 심층 학습의 방법에 의해 학습 완료된 추론 수단을 포함하고 있어도 된다. 근년, 심층 학습의 방법을 사용한 인공 지능에 의한 화상 인식 기술이 높은 성과를 높이고 있고, 이와 같은 기술을 사용함으로써, 결함 종별의 분류를 효율적으로 자동으로 행할 수 있다.
또한, 상기 검사 관리 시스템은, 표시부를 더 갖고 있고, 상기 검사 관리부는, 상기 표시부에, 상기 동일 결함 화상 세트마다 해당 세트를 구성하는 결함 화상 데이터를 동시에 표시하고, 해당 표시된 결함 화상 데이터의 세트에 대응하는 결함 종별의 등록을 유저에게 요구하는, 심층 학습용 교사 데이터 등록 수단을 더 구비하고 있어도 된다.
여기서, 표시부란, 일반적으로는 액정 디스플레이 등의 디스플레이 장치이지만, 프로젝터에 의한 표시 등, 다른 표시 수단을 사용하는 것이라도 상관없다. 상기와 같은 구성에 의하면, 동일한 결함을 나타내는 결함 화상 데이터에 대해서는 일괄적으로 등록을 행할 수 있고, 효율적으로 교사 데이터의 등록을 행할 수 있다. 또한, 유저는 동일 결함 화상 세트에 포함되는 복수의 검사 방식에 의한 결함 화상을 비교하여 결함 종별을 결정, 등록할 수 있기 때문에, 개별의 결함 화상 데이터만을 대상으로 하여 결함 종별의 등록을 행하는 데 비해, 결함 종별의 선택을 잘못하거나, 판단에 시간을 필요로 하거나 하는 것을 저감할 수 있다.
또한, 상기 결함 종별 분류 수단은, 상기 동일 결함 화상 세트의 결함 종별의 분류를, 소정의 정확도 이상의 정확함으로 행할 수 없을 경우에는, 해당 동일 결함 화상 세트에 대한 결함 종별을 불명으로서 분류해도 된다. 이와 같은 구성에 의하면, 정확도가 높지 않은 결함 종별의 분류를 무리하게 행함으로써, 결과적으로 얻어지는 데이터의 신뢰도를 낮추는 것을 방지할 수 있다.
또한, 상기 결함 종별 분류 수단은, 결함 종별을 불명으로서 분류한 상기 동일 결함 화상 세트에 대하여, 유저에 의한 결함 종별의 분류를 요구하는 것이어도 된다. 이와 같은 구성에 의하면, 결함 종별이 불명으로서 분류된 동일 결함 화상 세트가 그대로 분류 불명료한 데이터로서 남는 것을 방지할 수 있다.
또한, 상기 피검사물의 외관을 상이한 방식에 의해 촬영하는 복수의 촬영 수단은, 상기 피검사물의 제1 면에서 반사한 반사광에 의한 화상을 촬영하는 표면 촬영 수단, 상기 피검사물의 제1 면과 반대측의 제2 면에서 반사한 반사광에 의한 화상을 촬영하는 이면 촬영 수단 및 상기 피검사물을 투과한 투과광에 의한 화상을 촬영하는 투과광 촬영 수단 중, 어느 2개 이상을 포함하는 것이어도 된다. 이와 같은 구성에 의하면, 다양한 결함의 종류에 대응하여, 결함의 검출 및/또는 분류를 행할 수 있다.
또한, 상기 피검사물의 외관을 상이한 방식에 의해 촬영하는 복수의 촬영 수단은, 제1 파장의 광에 의해 상기 피검사물을 촬영하는 제1 파장 촬영 수단과, 상기 제1 파장과는 상이한 파장의 광에 의해 상기 피검사물을 촬영하는 제2 파장 촬영 수단을 포함하는 것이어도 된다. 이와 같은 구성에 의하면, 다양한 결함의 종류에 대응하여, 결함의 검출 및/또는 분류를 행할 수 있다.
또한, 상기 동일 결함 화상 통합 수단은, 상기 피검사물에 있어서의 상기 결함의 위치가 동일한 범위 내인 복수의 상이한 결함 화상 데이터를, 하나의 동일 결함 화상 세트로서 통합해도 된다.
여기서, 「위치가 동일한 범위 내」란, 완전히 위치가 일치하는 것에 한정되지 않고, 소정의 허용 범위 내에 있는 것을 포함하는 의미이다. 복수의 결함 화상 데이터에 있어서, 촬영되어 있는 결함이 동일한 것인지 여부를 식별하는 방법으로서, 제품에 있어서의 결함의 위치가 동일한 것은, 동일한 결함이 촬영된 화상 데이터라고 인정하는 방법을 채용할 수 있다. 피검사물에 있어서의 결함의 위치를 특정하기 위해서는, 예를 들어 미리 정해져 있는, 각 촬영 수단의 배치 장소, 촬영 범위, 피검사물의 반송 속도 등에 기초하여, 결함의 위치를 산출하면 된다.
또한, 상기한 과제를 해결하기 위해, 본 발명에 관한 검사 관리 장치는, 시트상의 피검사물 외관을 상이한 복수의 촬영 방식에 의해 촬영하여 취득한 결함 화상 데이터를 처리하는 검사 관리 장치이며, 상기 결함 화상 데이터의 집합으로부터, 상기 피검사물에 있어서의 동일한 결함이 촬영되어 있는 복수의 결함 화상 데이터를, 하나의 동일 결함 화상 세트로서 처리하는, 동일 결함 화상 통합 수단을 구비한다.
또한, 상기한 과제를 해결하기 위해, 본 발명에 관한 검사 관리 방법은, 시트상의 피검사물의 외관 검사를 관리하는 방법이며, 상기 피검사물을 둘 이상의 상이한 방식에 의해 촬영하는 제1 스텝과, 상기 제1 스텝에서 촬영된 복수의 상이한 촬영 방식에 의한 피검사물의 화상에 기초하여, 상기 피검사물의 결함을 검출하는 제2 스텝과, 상기 제2 스텝에서 검출된 결함이 촬영되어 있는 결함 화상 데이터를 기록하는 제3 스텝과, 상기 제3 스텝에서 기록된 결함 화상 데이터의 집합 중, 상기 피검사물에 있어서의 동일한 결함이 촬영되어 있는 복수의 결함 화상 데이터를, 하나의 동일 결함 화상 세트로서 통합하는 제4 스텝과, 소정의 검사 단위마다, 상기 제4 스텝에서 통합된 동일 결함 화상 세트의 수를 계수하고, 결함수를 산출하는 제5 스텝을 갖는다.
또한, 상기 검사 관리 방법은, 상기 제5 스텝에서 산출된 결함수가 소정의 값을 초과한 경우에, 그 취지를 통지하는 제6 스텝을 더 갖고 있어도 된다.
또한, 상기 처리나 수단은 기술적인 모순이 발생하지 않는 한에 있어서, 자유롭게 조합하여 실시할 수 있다.
본 발명에 따르면, 복수의 상이한 방식에 의해 피검사물을 촬영하고, 각각의 촬영 방식마다 결함을 검출하는 시트상 물품의 외관 검사에 있어서, 동일한 결함을 나타내는 복수의 결함 화상 데이터를 개별로 관리하는 것에 의한 폐해를 저감할 수 있다.
도 1은 적용예에 관한 검사 관리 시스템의 구성예를 모식적으로 도시하는 도면이다.
도 2는 적용예에 관한 검사 관리 시스템에 있어서 행해지는 처리의 흐름을 도시하는 흐름도이다.
도 3은 실시예에 관한 검사 관리 시스템의 구성예를 모식적으로 도시하는 도면이다.
도 4는 실시예에 있어서의 결함 종별 분류의 처리의 흐름을 도시하는 흐름도이다.
이하, 도면을 참조하여, 본 발명의 실시 형태의 일례에 대하여 설명한다.
<적용예>
본 발명은 예를 들어, 도 1에 도시한 바와 같은 검사 관리 시스템(9)으로서 적용할 수 있다. 도 1은 본 적용예에 관한 검사 관리 시스템(9)의 구성예를 모식적으로 도시하는 도면이다. 검사 관리 시스템(9)은 시트상의 물품의 결함의 검출 및 검사에 관한 정보의 관리를 행하는 시스템이고, 주요한 구성 요소로서, 조명계의 표면 반사 광원(911), 이면 반사 광원(912), 투과 광원(913)과, 측정계로서의 표면 촬영 카메라(921), 이면 촬영 카메라(922)와, 제어 단말기(93)와, 반송 기구(도시 생략)를 구비하고 있다.
도 1에 도시한 바와 같이, 피검사물(T)은, 도시하지 않은 반송 기구에 의해, 수평 방향(화살표 방향)으로 반송되고, 그 반송 중에 측정계에 의해 피검사물(T)의 외관 화상이 연속적으로 취득되고, 이것에 기초하여 검사가 실시된다. 피검사물(T)은 시트상으로 형성되어 있고, 예를 들어 종이, 천, 필름, 수지, 셀룰로오스 등을 예시할 수 있다. 또한, 단일 소재에 한정되지 않고, 필름과 부직포를 접합한 포장지 등과 같이, 복수의 층을 갖는 시트체여도 된다. 또한, 건조 김 등의 식품이어도 된다.
조명계의 표면 반사 광원(911)은 가시광(예를 들어, 백색광)을 피검사물(T)의 표면(제1 면)에 대하여 조사하도록 배치되고, 이면 반사 광원(912)은 동일하게 가시광을 피검사물(T)의 이면(제2 면)에 대하여 조사하도록 배치된다. 또한, 투과 광원(913)은 적외선을, 피검사물(T)의 이면(제2 면)에 대하여 조사하도록 배치되어 있다.
측정계의 표면 촬영 카메라(921)는 도시하지 않지만, 신호 출력부, 가시광 수광 센서, 적외선 수광 센서, 분광 프리즘, 렌즈를 구비하고 있고, 피검사물(T)의 표면을 촬상하도록 배치된다. 구체적으로는, 표면 반사 광원(911)으로부터 조사되고 피검사물(T)의 표면에서 반사한 광(이하, 표면 반사광이라고 함), 투과 광원(913)으로부터 조사되고, 피검사물(T)을 투과한 적외선(이하, 투과광이라고 함), 에 의해 피검사물(T)을 촬영한다. 분광 프리즘은 카메라에 입광한 광을, 적어도 가시광 영역의 파장의 광과, 적외선으로 분광하고, 대응하는 각 센서에 수광시킨다. 센서에는, 예를 들어 CCD 또는 CMOS 센서를 사용할 수 있다.
또한, 이면 촬영 카메라(922)는 도시하지 않지만, 신호 출력부, 가시광 영역의 광을 검지 가능한 수광 센서, 렌즈를 구비하고 있고, 피검사물(T)의 이면을 촬상하도록 배치된다. 구체적으로는, 이면 반사 광원(912)으로부터 조사되고 피검사물(T)의 이면에서 반사한 광(이하, 이면 반사광이라고 함)에 의해 피검사물(T)을 촬영한다. 수광 센서에는, 예를 들어 CCD 또는 CMOS 센서를 사용할 수 있다.
제어 단말기(93)는 조명계, 측정계, 반송 기구의 제어를 행함과 함께, 검사에 관한 각종 정보의 처리를 행한다. 하드웨어 구성으로서는, 각종 입출력 장치, 프로세서, 기억 장치 등을 구비하고 있고, 기능 모듈로서, 결함 검출부(931), 결함 위치 특정부(932), 결함 화상 기억부(933), 동일 결함 화상 통합부(934), 결함 계수부(935), 결함수 경고부(936), 결함 종별 분류부(937)를 구비하고 있다.
결함 검출부(931)는 측정계의 각 카메라로부터 입력된 화상 신호에 기초하여, 피검사물(T)에 포함되는 결함의 검출을 행한다. 결함의 검출은, 예를 들어 촬영된 화상으로부터 얻어지는 특징량이 소정의 역치로부터 일탈하고 있지 않은지를 판정함으로써 행해진다. 특징량에는, 예를 들어 휘도 등을 사용할 수 있고, 명도, 채도, 색상 등을 사용해도 된다.
본 적용예에 있어서는, 표면 촬영 카메라(921)가 촬영하는, 표면 반사광에 의한 화상(이하, 표면 반사 화상이라고 함) 및 투과광에 의한 화상(이하, 투과 화상이라고 함)과, 이면 촬영 카메라(922)가 촬영하는, 이면 반사광에 의한 화상(이하, 이면 반사 화상이라고 함)의 각각에 대하여, 특징량의 판정이 행해진다.
결함 위치 특정부(932)는 결함이 검출된 경우에, 당해 결함이 피검사물(T)의 어느 개소에 위치하는지를 특정한다. 위치의 특정은 예를 들어, 미리 정해져 있는 피검사물(T)의 반송 속도, 카메라의 설치 위치, 피검사물(T)의 크기 및 검사 개시로부터의 경과 시간에 기초하여 행할 수 있다.
결함 화상 기억부(933)는 결함이 검출된 경우에, 각 카메라에 의해 촬영된 당해 결함의 화상(이하, 결함 화상이라고 함)을, 결함 위치 특정부(932)가 특정한 당해 결함의 위치의 정보와 관련지어 기억 장치에 기록한다. 또한, 결함이 검출된 촬영 방식의 화상뿐만 아니라, 다른 촬영 방식의 대응하는 개소의 화상도 기억 장치에 기록한다.
동일 결함 화상 통합부(934)는 결함 위치 특정부(932)가 특정한 결함의 위치가 동일한 복수의 상이한 결함 화상이 기억 장치에 기록된 경우에, 당해 결함의 위치가 동일한 복수의 화상을, 1조의 동일 결함 화상 세트로서 묶는다. 이와 같이 하여 세트로 된 복수의 결함 화상은, 이후, 표시 장치로의 표시, 각종 데이터 분석 등의 시에, 일체적으로 처리된다. 또한, 당해 동일 결함 화상 세트를, 세트로서 재차 기억 장치에 기록하도록 해도 된다.
결함 계수부(935)는 소정의 검사 단위마다, 동일 결함 화상 세트의 수를 계수하고, 당해 검사 단위당의 결함수를 산출한다. 여기서, 소정의 검사 단위란, 소정수(예를 들어, 1롤, 1로트, 수로트)여도 되고, 소정 시간(예를 들어, 1일, 1주일, 1개월)이어도 된다. 이와 같이 하여 결함수를 산출하기 때문에, 피검사물(T)에 있어서의 동일한 결함을 나타내는 복수의 결함 화상 데이터를 중복하여 카운트해 버리는 경우가 없어, 소정의 검사 단위마다의 정확한 결함수를 얻을 수 있다.
결함수 경고부(936)는 결함 계수부(935)가 산출하는 결함수가 소정의 값을 초과하는지 여부를 판정하고, 결함수가 당해 소정의 값을 초과한다고 판정한 경우에는, 그 취지를 도시하지 않은 출력 장치(예를 들어, 액정 디스플레이, 스피커 등)로부터 출력함으로써 유저에게 통지한다.
결함 종별 분류부(937)는 동일 결함 화상 세트로서 통합된 결함 화상 데이터를, 결함의 종류별로 분류하고, 당해 분류 후의 종별과 결함 화상 데이터를 묶어서 기록한다. 분류되는 결함의 종별은 유저에게 있어서 임의로 설정할 수 있고, 예를 들어 이물 혼입, 오염, 주름, 구멍이라는 종별을 마련해도 되고, 더욱 미세한 종별(예를 들어, 벌레, 목편, 금속 이물, 오일 오염, 물 오염, 큰 구멍, 작은 구멍 등)로 분류하는 것이어도 된다.
결함 종별을 분류하는 방법으로서는, 표면 반사 화상, 이면 반사 화상, 투과 화상의 어떤 화상에 대한 특징량에 기초하여 행해도 되고, 각 화상의 결함 개소의 특징량의 대비에 의해 행해도 되고, 또한 각각의 검사 방식으로 결함이 검출되었는지 여부 및 그 조합 등에 의해 행해도 된다. 또한, 이것들의 방법을 복합적으로 사용하여 분류할 수도 있다. 이와 같이 하여, 동일한 결함을 나타내는 복수의 결함 화상 데이터를 세트로 하여 결함 종별의 분류를 행함으로써, 결함이 검출된 단일의 화상에 기초하여 결함 종별의 분류를 행하는 데 비해, 정확하게 결함 종별의 분류를 행할 수 있다.
도 2는 본 적용예에 관한 검사 관리 시스템(9)에 있어서 행해지는 처리의 흐름을 도시하는 흐름도이다. 검사 관리 시스템(9)은 먼저, 측정계에 의해 표면 반사 화상, 이면 반사 화상, 투과 화상을 취득하고(스텝 S101), 당해 화상에 기초하여, 결함 검출부(931)에 의한 결함의 검출을 행한다(스텝 S102). 이어서, 결함 화상 기억부(933)가 결함 화상을 기억 장치에 기록한다(스텝 S103). 계속해서, 동일 결함 화상 통합부(934)가, 기록된 결함 화상으로부터, 피검사물에 있어서의 결함의 위치가 동일한 복수의 화상을, 1조의 동일 결함 화상 세트로서 통합한다(스텝 S104). 이어서, 결함 계수부(935)는 소정의 검사 단위마다, 동일 결함 화상 세트의 조수를 계수하고, 당해 검사 단위당의 결함수를 산출한다(스텝 S105). 여기서, 결함수 경고부(936)는 스텝 S105에서 산출된 결함수가 소정의 값(역치)을 초과하는지 여부를 판정하고(스텝 S106), 초과한다고 판정한 경우에는, 그 취지를 통지하고(스텝 S107), 스텝 S108로 진행된다. 한편, 결함수가 소정의 값을 초과하지 않는다고 판정한 경우에는, 그대로 스텝 S108로 진행된다. 그리고, 스텝 S108에 있어서, 결함 종별 분류부(937)가, 동일 결함 화상 세트로서 통합된 결함 화상 데이터의 결함 종별을 분류, 기록하고, 일련의 처리를 종료한다. 또한, 결함수의 계측으로부터 결함수가 소정값을 초과한 경우의 통지(스텝 S105 내지 스텝 S107)까지의 처리와, 스텝 S108의 처리는 순서가 교체되어도 상관없다.
이상과 같은 본 적용예에 관한 검사 관리 시스템(9)의 구성에 의해, 동일한 결함을 나타내는 복수의 결함 화상 데이터를 세트로 하여, 계수, 결함 종별 분류를 할 수 있으므로, 동일한 결함을 나타내는 복수의 결함 화상 데이터를 개별로 관리하는 것에 의한 폐해(예를 들어, 동일한 결함을 중복하여 계수하는, 정확도가 낮은 결함 종별의 분류를 행하는 등)를 저감할 수 있다.
<실시예>
이하에, 본 발명을 실시하기 위한 형태의 일례를, 더욱 상세하게 설명한다. 단, 이 실시예에 기재되어 있는 구성 부품의 치수, 재질, 형상, 그 상대 배치 등은, 특별히 기재가 없는 한은, 본 발명의 범위를 그것들에만 한정하는 취지의 것은 아니다.
(시스템 구성)
도 3은 본 실시예에 관한 검사 관리 시스템(1)의 구성예를 모식적으로 도시하는 도면이다. 도 3에 도시한 바와 같이, 본 실시예에 관한 검사 관리 시스템(1)은 주된 구성으로서, 외관 검사 장치(2) 및 검사 관리 장치(3)를 갖고 있다.
(외관 검사 장치)
외관 검사 장치(2)는 시트상의 물품의 외관 화상을 취득하고, 당해 화상에 기초하여, 결함의 검출을 행하기 위한 장치이고, 주된 구성으로서, 조명계, 측정계, 반송 기구(도시 생략), 제어 단말기(23)를 구비하고 있다.
피검사물(T)은 도시하지 않은 반송 기구에 의해, 수평 방향(화살표 방향)으로 반송되고, 그 반송 중에 측정계에 의해 피검사물(T)의 외관 화상이 연속적으로 취득되고, 이것에 기초하여 검사가 실시된다. 피검사물(T)은 시트상으로 형성되어 있고, 예를 들어 종이, 천, 필름 등을 예시할 수 있다. 또한, 단일 소재에 한정되지 않고, 필름과 부직포를 접합한 포장지 등과 같이, 복수의 층을 갖는 시트체여도 된다. 또한, 건조 김 등의 식품이어도 된다.
조명계는, 피검사물(T)의 표면에 가시광(예를 들어, 백색광)을 조사하는 표면 반사 광원(211), 피검사물(T)의 표면에 가시광을 조사하는 이면 반사 광원(212), 피검사물(T)의 이면에 가시광을 조사하는 투과 광원(213)을 구비하고 있다. 이것들의 각 광원에는, 예를 들어 LED 조명 등을 사용해도 된다.
측정계는, 표면 반사 광원(211)으로부터 조사되고 피검사물(T)의 표면에서 반사한 광(이하, 표면 반사광이라고 함)을 촬영하는 표면 반사광 카메라(221)와, 이면 반사 광원(212)으로부터 조사되고 피검사물(T)의 이면에서 반사한 광(이하, 이면 반사광이라고 함)을 촬영하는 이면 반사광 카메라(222)와, 투과 광원(213)으로부터 조사되고, 피검사물(T)을 투과한 광을 촬영하는 투과광 카메라(223)를 구비하고 있다. 또한, 측정계를 구성하는 각 카메라가, 본 발명에 있어서의 촬영 수단에 해당한다.
각 카메라는, 각각이 촬영하는 광을 검지 가능한 수광 센서와, 렌즈와, 신호 출력부 센서로서는, 예를 들어 CCD 또는 CMOS 센서를 사용할 수 있다.
제어 단말기(23)는 조명계, 측정계, 반송 기구를 제어함과 함께, 각종 정보의 처리를 행한다. 하드웨어 구성으로서는, 입출력 장치, 프로세서, 기억 장치 등을 구비하고 있고, 기능 모듈로서, 결함 검출부(231), 결함 위치 특정부(232), 결함 화상 기억부(233)를 구비하고 있다.
결함 검출부(231)는 측정계의 각 카메라로부터 입력된 화상 신호에 기초하여, 피검사물(T)에 포함되는 결함의 검출을 행한다. 결함의 검출은, 예를 들어 촬영된 화상으로부터 얻어지는 특징량이 소정의 역치로부터 일탈하고 있지 않은지를 판정함으로써 행해진다. 특징량에는 예를 들어, 휘도 등을 사용할 수 있고, 명도, 채도, 색상 등을 사용해도 된다.
본 실시예에서는, 표면 반사광 카메라(221)가 촬영하는 화상(이하, 표면 반사 화상이라고 함), 이면 반사광 카메라(222)가 촬영하는 화상(이하, 이면 반사 화상이라고 함) 및 투과광 카메라(223)가 촬영하는 화상(이하, 투과 화상이라고 함)의 각각에 대하여, 특징량의 판정이 행해진다.
결함 위치 특정부(232)는 피검사물(T)로부터 결함이 검출된 경우에, 당해 결함이 피검사물(T)의 어느 개소에 위치하는지를 특정한다. 위치의 특정은 예를 들어, 미리 정해져 있는 피검사물(T)의 반송 속도, 카메라의 설치 위치, 피검사물(T)의 크기 및 검사 개시로부터의 경과 시간에 기초하여 행할 수 있다.
결함 화상 기억부(233)는 결함이 검출된 경우에, 각 카메라에 의해 촬영된 당해 결함의 화상(이하, 결함 화상이라고 함)을, 결함 위치 특정부(232)가 특정한 당해 결함의 위치의 정보와 관련지어 기억 장치에 기록한다(이하, 기록된 데이터를 결함 화상 데이터라고 함). 또한, 결함이 검출된 촬영 방식의 화상뿐만 아니라, 다른 촬영 방식의 대응하는 개소의 화상도 기억 장치에 기록하도록 해도 된다.
(검사 관리 장치)
상술한 외관 검사 장치(2)는 네트워크(LAN)를 통해 검사 관리 장치(3)에 접속되어 있다. 검사 관리 장치(3)는 외관 검사 장치(2)로부터 검사에 관한 정보를 취득하고, 당해 정보의 처리를 행하는 것이고, CPU(프로세서), 주기억 장치(메모리), 보조 기억 장치(하드 디스크 등), 입력 장치(키보드, 마우스, 컨트롤러, 터치 패널 등), 출력 장치(액정 디스플레이, 스피커, 프린터 등) 등을 구비하는 범용적인 컴퓨터 시스템에 의해 구성된다.
또한, 검사 관리 장치(3)는 1대의 컴퓨터에 의해 구성해도 되고, 복수의 컴퓨터에 의해 구성해도 된다. 혹은, 외관 검사 장치(2)의 제어 단말기(23)에, 검사 관리 장치(3)의 기능의 전부 또는 일부를 실장하는 것도 가능하다. 혹은, 검사 관리 장치(3)의 기능의 일부를 네트워크상의 서버(클라우드 서버 등)에 의해 실현해도 된다.
본 실시예의 검사 관리 장치(3)의 CPU는 기능 모듈로서, 동일 결함 화상 통합부(31)와, 결함 종별 분류부(32)와, 교사 데이터 등록부(33)와, 결함 종별 계수부(34)와, 결함 종별 결함수 경고부(35)를 구비하고 있다.
동일 결함 화상 통합부(31)는 외관 검사 장치(2)로부터 결함 화상 데이터를 취득하고, 피검사물(T)에 있어서의 결함의 위치가 동일한 복수의 결함 화상을, 1조의 동일 결함 화상 세트로서 통합한다. 이와 같이 하여 세트가 된 복수의 결함 화상은 1세트로서 기억 장치에 기록되고, 표시 장치로의 표시, 각종 데이터 분석 등의 시에, 일체적으로 처리된다.
결함 종별 분류부(32)는 동일 결함 화상 세트로서 통합된 결함 화상 데이터를, 결함 종별로 분류한다. 분류되는 결함의 종별은 유저에게 있어서 임의로 설정할 수 있고, 예를 들어 이물 혼입, 오염, 주름, 구멍이라는 종별을 마련해도 되고, 더욱 미세한 종별(예를 들어, 벌레, 목편, 금속 이물, 오일 오염, 물 오염, 큰 구멍, 작은 구멍 등)로 분류하는 것이어도 된다.
결함 종별을 분류하는 방법으로서는, 표면 반사 화상, 이면 반사 화상, 투과 화상의 어떤 화상에 대한 특징량에 기초하여 행해도 되고, 각 화상의 결함 개소의 특징량의 대비에 의해 행해도 되고, 또한 각각의 검사 방식으로 결함이 검출되었는지 여부, 검출이 되는 방법의 조합 등에 의해 행해도 된다. 또한, 이것들의 방법을 조합하여, 분류할 수도 있다.
본 실시예에 있어서는, 결함 종별 분류부(32)는 심층 학습의 방법으로 생성한 학습 완료 모델을 이용하는 추론 처리를 조합하여 결함 종별의 분류를 행한다. 또한, 결함 종별 분류 처리의 흐름에 대해서는 후술한다.
교사 데이터 등록부(33)는 결함 종별 분류부(32)의 인공 지능에 심층 학습을 행하게 하기 위한 교사 데이터의 등록을 접수하는 기능을 갖고 있고, 표시 장치에 동일 결함 화상 세트를 구성하는 복수의 결함 화상을 표시한 후, 당해 동일 결함 화상 세트에 대응하는 결함 종별의 입력을 유저에게 요구한다.
결함 종별 계수부(34)는 결함 종별 분류 후의 동일 결함 화상 세트의 수를 종별마다 계수하고, 소정의 검사 단위당의 결함 종별마다의 결함수를 산출한다. 여기서, 소정의 검사 단위란, 소정수(예를 들어, 1롤, 1로트, 수로트)여도 되고, 소정 시간(예를 들어, 1일, 1주일, 1개월)이어도 된다.
결함 종별 결함수 경고부(35)는 결함 종별 계수부가 산출하는 결함 종별마다의 결함수가, 해당 결함 종별마다 정해진 소정의 값을 초과하는지 여부를 판정하고, 당해 소정의 값을 초과하여 결함수가 산출된 결함 종별이 있다고 판정한 경우에는, 그 취지를 출력 장치로부터 출력함으로써 유저에게 통지한다. 여기서, 출력 장치에 의한 출력이란, 예를 들어 표시 장치에 의해 표시하는 것이어도 되고, 스피커로부터 경보음을 발하는 것이어도 되고, 프린터에 의해 인쇄되는 것이어도 된다. 또한, 이것들을 병용하여 통지를 행해도 된다. 또한, 결함 종별 결함수 경고부(35)는 소정의 값을 초과한 결함의 종별에 대해서도 더불어 통지하도록 해도 된다.
(결함 종별 분류의 처리의 흐름)
이어서, 결함 종별 분류부(32)가, 결함 종별을 분류할 때의 처리의 흐름을 도 4에 기초하여 설명한다. 도 4는 본 실시예에 있어서의 결함 종별 분류의 처리의 흐름을 도시하는 흐름도이다.
결함 종별 분류부(32)는 먼저, 대상이 되는 동일 결함 화상 세트에 있어서의, 표면 반사 화상, 이면 반사 화상, 투과 화상의 결함 검출 유무의 조합에 의해 결함 종별을 분류한다(스텝 S201). 결함 종별에 따라서는, 반드시 특정한 검사 방식으로 검출되거나, 또는 특정한 검출 방식으로는 검출되지 않는다는 경우가 존재하기 때문에, 세트에 포함되는 각 검사 방식의 화상의 유무(즉, 검사 시에 결함 검출되었는지 여부)의 조합 조건에서, 결함 종별의 판별을 행할 수 있다. 또한, 결함 화상 데이터의 기록 시에, 결함이 검출된 촬영 방식의 화상뿐만 아니라, 다른 촬영 방식의 대응하는 개소의 화상도 기억 장치에 기록하도록 하는 경우에는, 각 화상에 결함 검출 유무의 식별 정보를 부여하도록 하면, 당해 식별 정보의 조합에서 동일한 처리를 행할 수 있다. 스텝 S201에서 결함 종별의 분류를 할 수 있던 경우에는 처리를 종료하고, 분류를 할 수 없던 경우에는 스텝 S203으로 진행된다(스텝 S202).
스텝 S203에서는, 결함 종별 분류부(32)는 소정의 특징량에 의한 결함 종별 분류를 행한다. 구체적으로는, 동일 결함 화상 세트에 포함되는 결함 화상 중, 하나라도 당해 특징량 판정의 조건에 맞는 화상이 존재한 경우, 동일 결함 화상 세트는 당해 결함 종별에 해당한다고 분류한다. 예를 들어, 투과 화상에 대하여, 휘도의 피크 레벨이 100 이상이며(최고치는 255), 당해 결함을 나타내는 면적이 1㎟ 이상인 경우에는, 동일 결함 화상 세트의 결함 종별은 구멍이라고 분류한다. 스텝 S203에서 결함 종별의 분류를 할 수 있던 경우에는 처리를 종료하고, 분류를 할 수 없던 경우에는 스텝 S205로 진행된다(스텝 S204).
스텝 S205에서는, 결함 종별 분류부(32)는 동일 결함 화상 세트에 대하여, 사전에 검사 방식마다 심층 학습의 방법으로 생성한 학습 완료 추론 모델에 의한 결함 종별 분류를 행한다. 구체적으로는, 표면 반사 화상, 이면 반사 화상, 투과 화상의 각 화상에 대응하는 검사 방식의 학습 완료 모델을 이용하여 추론을 행하고, 각 결함 종별의 판정 확률(즉, 소정의 결함 종별일 확률)을 산출한다. 그리고, 세트에 포함되는 모든 화상의 각 결함 종별의 판정 확률 중에서, 가장 값이 큰 결함 종별을, 당해 동일 결함 화상 세트의 결함 종별이라고 분류한다. 또한, 세트에 포함되는 화상에, 소정의 판정 확률(예를 들어, 50％)을 초과하는 결함 종별이 없는 경우에는, 결함 종별을 「불명」이라고 분류한다. 스텝 S205에서 결함 종별이 「불명」이라고 분류된 경우에는, 스텝 S207로 진행되고, 그 이외의 결함 종별로 분류된 경우에는, 처리를 종료한다(스텝 S206).
스텝 S207에서는, 결함 종별이 불명이라고 분류된 동일 결함 화상 세트의 화상을 표시 장치에 표시한 후, 유저에게 확인을 촉구하는 경고를 행하고, 분류 처리를 종료한다. 이상과 같은 구성에 의해, 유저는 대량으로 있는 화상 중에서 우선적으로 확인해야 할 화상을 판단할 수 있다.
또한, 상기한 분류 결과는, 또한 추론 모델의 교사 데이터로서 활용할 수도 있다. 최종적으로 종별이 「불명」이라고 분류된 동일 결함 화상 세트라도 교사 데이터로서 활용할 수 있다. 구체적으로는, 상기한 스텝 S207의 경고 후, 유저가 당해 세트를 확인하고, 가장 판정 확률이 높았던 결함 종별이 실제의 결함과 일치하고 있으면, 당해 결함의 교사 데이터로서 동일 결함 화상 세트에 포함되는 화상을 추가한다. 한편, 가장 판정 확률이 높았던 결함 종별과 상이한 결함 종별이 실제의 결함이었던 경우에는, 당해 다른 결함의 교사 데이터로서 동일 결함 화상 세트에 포함되는 화상을 등록한다. 이와 같이 함으로써, 더 정확한 교사 데이터를 축적할 수 있다.
또한, 교사 데이터 등록부(33)의 기능에 의해, 교사 데이터 등록 시에는, 동일한 결함을 나타내는 복수의 검사 방식에 의한 화상을 한 번에, 병렬하여 표시하고, 일괄적으로 결함 종별의 입력을 접수하기 때문에, 정확하고 또한 효율적으로 결함 화상 데이터를 교사 데이터로서 등록할 수 있다. 이와 같이 하여 등록된, 정확한 교사 데이터에 기초하여 학습시킴으로써, 더 판정 정밀도가 높은 학습 완료 모델을 작성할 수 있다.
<변형예>
또한, 상기 실시예의 결함 종별 분류의 처리에서는, 특징량에 의한 결함 종별 분류를 행하고 나서(스텝 S203), 학습 완료 추론 모델에 의한 결함 종별 분류를 행하고 있었지만(스텝 S205), 이것들의 처리의 순서가 바뀌어도 상관없다.
또한, 상기 실시예에서는, 심층 학습의 방법으로 생성한 추론 모델을 사용하고 있었지만, 다른 기계 학습의 방법에 의해 생성된 모델을 사용해도 된다. 또한, 복수의 기계 학습의 방법에 의해 생성된 모델을 조합하여 분류 처리를 행해도 된다.
또한, 상기한 실시예에서는, 검사 관리 장치(3)는 결함 종별 분류 후의 동일 결함 화상 세트의 수를 계수하는 결함 종별 계수부(34)를 갖는 구성이었지만, 이것에 더하여, 결함 종별 분류 전의 동일 결함 화상 세트를 계수하는 결함수 계측부를 구비하고 있어도 된다. 또한, 이 경우에는, 당해 결함수 계측부가 산출한 결함수가 소정의 값을 초과하고 있는지 여부를 판정하여, 초과하고 있는 경우에는 출력 장치를 통해 그 취지를 유저에게 통지하는 결함수 경고부를 더 구비하고 있어도 된다.
또한, 상기한 실시예에서는, 조명계의 광원은 모두 가시광을 조사하는 것이고, 측정계는 광원의 수와 동일한 수의 카메라를 구비하는 것이었지만, 조명계, 측정계의 구성은 반드시 이것에 한정되지 않는다. 예를 들어, 광원의 일부 또는 전부를 적외선으로 해도 되고, 측정계의 카메라에 분광 프리즘을 설치하고, 복수의 상이한 파장의 광을 1대의 카메라로 검출 가능한 구성으로 해도 된다. 또한, 표면 반사 화상, 이면 반사 화상, 투과 화상의 어느 것을 취득하지 않는 구성으로 해도 된다.
<기타>
상기한 실시예의 설명은, 본 발명을 예시적으로 설명하는 것에 지나지 않고, 본 발명은 상기한 구체적 형태에 한정되지는 않는다. 본 발명은, 그 기술적 사상의 범위 내에서 다양한 변형이 가능하다. 예를 들어, 상기한 각 예에서는 조명계 및 측정계를 고정하고, 피검사물(T)을 이동시키고 있었지만, 이것 대신에, 피검사물(T)을 고정하고, 조명계 및 측정계를 이동시켜도 된다.
본 발명의 일 양태는, 시트상의 피검사물을 검사하기 위한 검사 관리 시스템(1)이며, 상기 피검사물(T)의 외관을, 상이한 방식에 의해 촬영하는 복수의 촬영 수단(221; 222; 223)과, 상기 복수의 촬영 수단에 의해 촬영된 각각의 화상에 기초하여, 상기 피검사물의 결함을 검출하는 검출 수단(231)을 구비하는 외관 검사부(2)와, 상기 복수의 상이한 방식의 촬영 수단마다, 상기 검출 수단에 의해 검출된 결함이 촬영되어 있는 결함 화상 데이터가 기록되는 기억부와, 상기 기억부에 기록된 상기 결함 화상 데이터의 집합 중, 상기 피검사물에 있어서의 동일한 결함이 촬영되어 있는 복수의 결함 화상 데이터를, 하나의 동일 결함 화상 세트로서 처리하는 동일 결함 화상 통합 수단(31)을 구비하는, 검사 관리부(3)를 갖는 검사 관리 시스템이다.
또한, 본 발명의 다른 하나의 양태는, 시트상의 피검사물의 외관 검사를 관리하는 방법이며, 상기 피검사물을 둘 이상의 상이한 방식에 의해 촬영하는 제1 스텝(S101)과, 상기 제1 스텝에서 촬영된 복수의 상이한 촬영 방식에 의한 피검사물의 화상에 기초하여, 상기 피검사물의 결함을 검출하는 제2 스텝(S102)과, 상기 제2 스텝에서 검출된 결함이 촬영되어 있는 결함 화상 데이터를 기록하는 제3 스텝(S103)과, 상기 제3 스텝에서 기록된 결함 화상 데이터의 집합 중, 상기 피검사물에 있어서의 동일한 결함이 촬영되어 있는 복수의 결함 화상 데이터를, 하나의 동일 결함 화상 세트로서 통합하는 제4 스텝(S104)과, 소정의 검사 단위마다, 상기 제4 스텝에서 통합된 동일 결함 화상 세트의 수를 계수하고, 결함수를 산출하는 제5 스텝(S105)을 갖는 검사 관리 방법이다.
1, 9 : 검사 관리 시스템
2 : 외관 검사 장치
211, 911 : 표면 반사 광원
212, 912 : 이면 반사 광원
213, 913 : 투과 광원
221 : 표면 반사광 카메라
222 : 이면 반사광 카메라
223 : 투과광 카메라
23, 93 : 제어 단말기
3 : 검사 관리 장치
921 : 표면 촬영 카메라
T : 피검사물

Claims (16)

  1. 시트상의 피검사물 검사를 관리하기 위한 검사 관리 시스템이며,
    상기 피검사물의 외관을, 상이한 방식에 의해 촬영하는 복수의 촬영 수단과, 상기 복수의 촬영 수단에 의해 촬영된 각각의 화상에 기초하여, 상기 피검사물의 결함을 검출하는 검출 수단을 구비하는 외관 검사부와,
    상기 복수의 상이한 방식의 촬영 수단마다, 상기 검출 수단에 의해 검출된 결함이 촬영되어 있는 결함 화상 데이터가 기록되는 기억부와,
    상기 기억부에 기록된 상기 결함 화상 데이터의 집합 중, 상기 피검사물에 있어서의 동일한 결함이 촬영되어 있는 복수의 결함 화상 데이터를, 하나의 동일 결함 화상 세트로서 처리하는 동일 결함 화상 통합 수단을 구비하는, 검사 관리부를 갖는 검사 관리 시스템.
  2. 제1항에 있어서, 상기 검사 관리부는,
    상기 동일 결함 화상 세트의 수를 계수하고, 소정의 검사 단위마다, 결함수를 산출하는 결함 계수 수단을 더 구비하는 것을 특징으로 하는, 검사 관리 시스템.
  3. 제2항에 있어서, 출력부를 더 갖고 있고,
    상기 검사 관리부는,
    상기 산출된 결함수가 소정의 값을 초과한 경우에, 그 취지를 상기 출력부를 통해 통지하는 결함수 경고 수단을 더 구비하는 것을 특징으로 하는, 검사 관리 시스템.
  4. 제1항에 있어서, 상기 검사 관리부는,
    상기 동일 결함 화상 세트마다, 상기 결함의 종별을 분류하는 결함 종별 분류 수단을 더 구비하는 것을 특징으로 하는, 검사 관리 시스템.
  5. 제4항에 있어서, 상기 검사 관리부는,
    상기 결함 종별 분류 수단에 의해 분류된 결함 종별마다 상기 동일 결함 화상 세트의 수를 계수하고, 소정의 검사 단위마다, 결함 종별마다의 결함수를 산출하는 결함 종별 계수 수단을 더 구비하는 것을 특징으로 하는, 검사 관리 시스템.
  6. 제5항에 있어서, 출력부를 갖고 있고,
    상기 검사 관리부는, 상기 산출된 결함 종별마다의 결함수가, 해당 결함 종별마다 정해진 소정의 값을 초과한 경우에, 그 취지를 상기 출력부를 통해 통지하는 결함 종별 결함수 경고 수단을 더 구비하는 것을 특징으로 하는, 검사 관리 시스템.
  7. 제4항 내지 제6항 중 어느 한 항에 있어서, 상기 결함 종별 분류 수단은, 심층 학습의 방법에 의해 학습 완료된 추론 수단을 포함하는 것을 특징으로 하는, 검사 관리 시스템.
  8. 제7항에 있어서, 표시부를 더 갖고 있고,
    상기 검사 관리부는,
    상기 표시부에, 상기 동일 결함 화상 세트마다 해당 세트를 구성하는 결함 화상 데이터를 동시에 표시하고, 해당 표시된 결함 화상 데이터의 세트에 대응하는 결함 종별의 등록을 유저에게 요구하는, 심층 학습용 교사 데이터 등록 수단을 더 구비하는 것을 특징으로 하는, 검사 관리 시스템.
  9. 제4항에 있어서, 상기 결함 종별 분류 수단은,
    상기 동일 결함 화상 세트의 결함 종별의 분류를, 소정의 정확도 이상의 정확함으로 행할 수 없는 경우에는, 해당 동일 결함 화상 세트에 대한 결함 종별을 불명으로서 분류하는 것을 특징으로 하는, 검사 관리 시스템.
  10. 제9항에 있어서, 상기 결함 종별 분류 수단은,
    결함 종별을 불명으로서 분류한 상기 동일 결함 화상 세트에 대하여, 유저에 의한 결함 종별의 분류를 요구하는 것을 특징으로 하는, 검사 관리 시스템.
  11. 제1항에 있어서, 상기 피검사물의 외관을 상이한 방식에 의해 촬영하는 복수의 촬영 수단은,
    상기 피검사물의 제1 면에서 반사한 반사광에 의한 화상을 촬영하는 표면 촬영 수단, 상기 피검사물의 제1 면과 반대측의 제2 면에서 반사한 반사광에 의한 화상을 촬영하는 이면 촬영 수단 및 상기 피검사물을 투과한 투과광에 의한 화상을 촬영하는 투과광 촬영 수단 중, 어느 2개 이상을 포함하는 것을 특징으로 하는, 검사 관리 시스템.
  12. 제1항에 있어서, 상기 피검사물의 외관을 상이한 방식에 의해 촬영하는 복수의 촬영 수단은,
    제1 파장의 광에 의해 상기 피검사물을 촬영하는 제1 파장 촬영 수단과, 상기 제1 파장과는 상이한 파장의 광에 의해 상기 피검사물을 촬영하는 제2 파장 촬영 수단을 포함하는 것을 특징으로 하는, 검사 관리 시스템.
  13. 제1항에 있어서, 상기 동일 결함 화상 통합 수단은,
    상기 피검사물에 있어서의 상기 결함의 위치가 동일한 복수의 상이한 결함 화상 데이터를, 하나의 동일 결함 화상 세트로서 통합하는 것을 특징으로 하는, 검사 관리 시스템.
  14. 시트상의 피검사물 외관을 상이한 복수의 촬영 방식에 의해 촬영하여 취득한 결함 화상 데이터를 처리하는 검사 관리 장치이며,
    상기 결함 화상 데이터의 집합으로부터, 상기 피검사물에 있어서의 동일한 결함이 촬영되어 있는 복수의 결함 화상 데이터를, 하나의 동일 결함 화상 세트로서 처리하는, 동일 결함 화상 통합 수단을 구비하는, 검사 관리 장치.
  15. 시트상의 피검사물의 외관 검사를 관리하는 검사 관리 방법이며,
    상기 피검사물을 둘 이상의 상이한 방식에 의해 촬영하는 제1 스텝과,
    상기 제1 스텝에서 촬영된 복수의 상이한 촬영 방식에 의한 피검사물의 화상에 기초하여, 상기 피검사물의 결함을 검출하는 제2 스텝과,
    상기 제2 스텝에서 검출된 결함이 촬영되어 있는 결함 화상 데이터를 기록하는 제3 스텝과,
    상기 제3 스텝에서 기록된 결함 화상 데이터의 집합 중, 상기 피검사물에 있어서의 동일한 결함이 촬영되어 있는 복수의 결함 화상 데이터를, 하나의 동일 결함 화상 세트로서 통합하는 제4 스텝과,
    소정의 검사 단위마다, 상기 제4 스텝에서 통합된 동일 결함 화상 세트의 수를 계수하고, 결함수를 산출하는 제5 스텝을 갖는, 검사 관리 방법.
  16. 제15항에 있어서, 상기 제5 스텝에서 산출된 결함수가 소정의 값을 초과한 경우에, 그 취지를 통지하는 제6 스텝을 더 갖는 것을 특징으로 하는, 검사 관리 방법.
KR1020190037102A 2018-04-20 2019-03-29 검사 관리 시스템, 검사 관리 장치 및 검사 관리 방법 KR20190122550A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2018-081064 2018-04-20
JP2018081064A JP6981352B2 (ja) 2018-04-20 2018-04-20 検査管理システム、検査管理装置及び検査管理方法

Publications (1)

Publication Number Publication Date
KR20190122550A true KR20190122550A (ko) 2019-10-30

Family

ID=68284892

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190037102A KR20190122550A (ko) 2018-04-20 2019-03-29 검사 관리 시스템, 검사 관리 장치 및 검사 관리 방법

Country Status (4)

Country Link
JP (1) JP6981352B2 (ko)
KR (1) KR20190122550A (ko)
CN (1) CN110390661A (ko)
TW (1) TWI693397B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021060345A (ja) * 2019-10-09 2021-04-15 オムロン株式会社 シート検査装置
US11880968B2 (en) 2019-12-20 2024-01-23 Boe Technology Group Co., Ltd. Distributed computing system for product defect analysis
TWI762271B (zh) * 2020-08-13 2022-04-21 日商名南製作所股份有限公司 板狀木材的缺陷檢測系統、缺陷檢測方法以及缺陷檢測用程式
CN111982929A (zh) * 2020-08-14 2020-11-24 加藤义晴 一种电子部件检测设备及电子部件检测方法
TWI816060B (zh) * 2020-10-28 2023-09-21 友達光電股份有限公司 監測系統及其方法
KR102485878B1 (ko) * 2021-02-01 2023-01-06 김현식 플라스틱 박스 포장기
CN113960071B (zh) * 2021-10-23 2022-08-23 朗升柯式印刷(深圳)有限公司 用于彩印产品的品质检测方法及检测系统
CN115055385B (zh) * 2022-06-09 2024-03-22 黄冈师范学院 机器视觉片材瑕疵自动剔除方法
CN117408931A (zh) * 2022-07-06 2024-01-16 纬创资通(昆山)有限公司 影像缺陷检测系统、其产生方法及计算机可读取记录媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS535002A (en) 1976-07-06 1978-01-18 Kobe Steel Ltd Sintering method of iron ore
JP2015172519A (ja) 2014-03-12 2015-10-01 オムロン株式会社 シート検査装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19511534C2 (de) * 1995-03-29 1998-01-22 Fraunhofer Ges Forschung Verfahren und Vorrichtung zur Erfassung von 3D-Fehlstellen bei der automatischen Inspektion von Oberflächen mit Hilfe farbtüchtiger Bildauswertungssysteme
JP4220595B2 (ja) * 1998-08-10 2009-02-04 株式会社日立製作所 欠陥の分類方法並びに教示用データ作成方法
JP2003262593A (ja) * 2002-03-08 2003-09-19 Mitsubishi Rayon Co Ltd 欠陥検出装置及び欠陥検出方法
JP2003329596A (ja) * 2002-05-10 2003-11-19 Mitsubishi Rayon Co Ltd 欠陥検査装置及び欠陥検査方法
JP2004286532A (ja) * 2003-03-20 2004-10-14 Olympus Corp 外観検査方法及びその装置
JP4793266B2 (ja) * 2004-11-24 2011-10-12 旭硝子株式会社 透明板状体の欠陥検査方法および装置
JP2009036747A (ja) * 2007-07-06 2009-02-19 Toray Ind Inc 回路パターンの欠陥検査装置および欠陥検査方法
KR101286534B1 (ko) * 2008-02-29 2013-07-16 엘지디스플레이 주식회사 액정표시장치의 검사장치 및 검사방법
TWI420098B (zh) * 2008-07-18 2013-12-21 Asahi Glass Co Ltd A defect inspection apparatus and method using the image data for defect inspection, a method for manufacturing the same, and a recording medium
JP2017215277A (ja) * 2016-06-02 2017-12-07 住友化学株式会社 欠陥検査システム、フィルム製造装置及び欠陥検査方法
CN107656986A (zh) * 2017-09-12 2018-02-02 武汉华星光电技术有限公司 微观缺陷整合预警方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS535002A (en) 1976-07-06 1978-01-18 Kobe Steel Ltd Sintering method of iron ore
JP2015172519A (ja) 2014-03-12 2015-10-01 オムロン株式会社 シート検査装置

Also Published As

Publication number Publication date
TWI693397B (zh) 2020-05-11
JP2019190891A (ja) 2019-10-31
CN110390661A (zh) 2019-10-29
TW201944059A (zh) 2019-11-16
JP6981352B2 (ja) 2021-12-15

Similar Documents

Publication Publication Date Title
KR20190122550A (ko) 검사 관리 시스템, 검사 관리 장치 및 검사 관리 방법
JP7005930B2 (ja) シート検査装置及び検査システム
JP2017215277A (ja) 欠陥検査システム、フィルム製造装置及び欠陥検査方法
KR20120091249A (ko) 결함 검사용 화상 처리 장치 및 결함 검사용 화상 처리 방법
KR102108956B1 (ko) 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
JP2009133741A (ja) 検査群データ管理システム
JP6616906B1 (ja) 欠陥のある撮影データの検知装置及び検知システム
JP2018179698A (ja) シート検査装置
WO2024055796A9 (zh) 一种缺陷检测系统、方法、装置、电子设备及存储介质
KR20140148067A (ko) 광학 필름의 결함 판별 방법
KR102295669B1 (ko) 외관 검사 관리 시스템, 외관 검사 관리 장치, 외관 검사 관리 방법 및 프로그램
KR102284095B1 (ko) 외관 검사 관리 시스템, 외관 검사 관리 장치, 외관 검사 관리 방법 및 프로그램
KR102174424B1 (ko) 서버 기반 부품 검사방법 및 그를 위한 시스템 및 장치
JP2009264882A (ja) 外観検査装置
JP6769447B2 (ja) 鋼板の疵検査装置及び疵検査方法
TWM600842U (zh) 片狀材料快速檢測瑕疵整合系統
JP3469288B2 (ja) 自動検査システム
TWI823261B (zh) 支援裝置以及支援方法
TWI731565B (zh) 片狀材料快速檢測瑕疵整合系統及其使用方法
WO2023243253A1 (ja) ウェーハの判定方法、判定プログラム、判定装置、ウェーハの製造方法及びウェーハ
US20230419529A1 (en) Method and apparatus for acquiring master data of an object
CN117670867A (zh) 工业缺陷检测方法、装置、电子设备及存储介质
KR20230139167A (ko) 강화마루 검사 장치
TW202232090A (zh) 光學膜片之剝離檢測方法
CN117253176A (zh) 基于视频分析与计算机视觉的安全生产Al智能检测方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application