KR20210038143A - 인공지능(ai) 기반 대상물 검사 시스템 및 방법 - Google Patents

인공지능(ai) 기반 대상물 검사 시스템 및 방법 Download PDF

Info

Publication number
KR20210038143A
KR20210038143A KR1020190120905A KR20190120905A KR20210038143A KR 20210038143 A KR20210038143 A KR 20210038143A KR 1020190120905 A KR1020190120905 A KR 1020190120905A KR 20190120905 A KR20190120905 A KR 20190120905A KR 20210038143 A KR20210038143 A KR 20210038143A
Authority
KR
South Korea
Prior art keywords
image
classification
roi
unit
classification model
Prior art date
Application number
KR1020190120905A
Other languages
English (en)
Inventor
이순종
김학권
윤석민
김우열
Original Assignee
(주)쎄미시스코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)쎄미시스코 filed Critical (주)쎄미시스코
Priority to KR1020190120905A priority Critical patent/KR20210038143A/ko
Priority to PCT/KR2019/017267 priority patent/WO2021066253A1/ko
Publication of KR20210038143A publication Critical patent/KR20210038143A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N21/896Optical defects in or on transparent materials, e.g. distortion, surface flaws in conveyed flat sheet or rod
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1306Details
    • G02F1/1309Repairing; Testing
    • G06K9/3233
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30121CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Nonlinear Science (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Textile Engineering (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

학습을 이용하여 유리 기판 등의 대상물의 결함을 검사하는 AI 기반 대상물 검사 시스템 및 방법이 개시된다. 상기 AI 기반 대상물 검사 시스템은 대상물의 이미지인 입력 이미지로부터 ROI(관심 영역)를 검출하여 ROI 이미지를 생성하는 ROI 검출부, 제 1 분류 모델에 기초하여 상기 ROI 검출부에 의해 생성된 ROI 이미지를 분류하는 분류부 및 상기 분류부로부터 제공된 이미지를 학습시켜 모델을 생성하는 데이터 학습부를 포함할 수 있다. 여기서, 상기 분류부는 상기 제 1 분류 모델에 기초하여 상기 ROI 이미지를 분류한 결과 분류 기준에 속하지 않는 새로운 이미지가 존재하는 경우 상기 새로운 이미지를 상기 데이터 학습부로 제공하고, 상기 데이터 학습부는 상기 제공된 새로운 이미지를 반영하여 새로운 제 2 분류 모델을 생성하여 상기 분류부로 제공하며, 상기 분류부는 상기 제공된 제 2 분류 모델을 기초로 ROI 이미지를 분류시킬 수 있다.

Description

인공지능(AI) 기반 대상물 검사 시스템 및 방법{SYSTEM AND METHOD OF INSPECTING OBJECT BASED ON ARTIFICIAL INTELLIGENCE}
본 발명은 AI 기반 대상물 검사 시스템 및 방법에 관한 것이다.
디스플레이 공정에서는 유리 기판의 결함을 검사하는 과정이 필수적으로 수행된다. 기존에는 규칙 기반의 필터 처리를 통하여 유리 기판의 결함을 검사하였다.
다만, 디스플레이 공정 동안 새로운 유형의 결함이 발견되는 경우, 기존 규치 기반 검사 방법은 새로운 유형의 결함에 맞는 필터를 새롭게 개발한 후 새롭게 유리 기판의 결함을 검사하여야만 했다. 결과적으로, 대응 기간이 오래 걸리고 검사 비용이 상승할 수밖에 없었다.
KR 10-0939424 B
본 발명은 학습을 이용하여 유리 기판 등의 대상물의 결함을 검사하는 AI 기반 대상물 검사 시스템 및 방법을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 AI 기반 대상물 검사 시스템은 대상물의 이미지인 입력 이미지로부터 ROI(관심 영역)를 검출하여 ROI 이미지를 생성하는 ROI 검출부; 제 1 분류 모델에 기초하여 상기 ROI 검출부에 의해 생성된 ROI 이미지를 분류하는 분류부; 및 상기 분류부로부터 제공된 이미지를 학습시켜 모델을 생성하는 데이터 학습부를 포함한다. 여기서, 상기 분류부는 상기 제 1 분류 모델에 기초하여 상기 ROI 이미지를 분류한 결과 분류 기준에 속하지 않는 새로운 이미지가 존재하는 경우 상기 새로운 이미지를 상기 데이터 학습부로 제공하고, 상기 데이터 학습부는 상기 제공된 새로운 이미지를 반영하여 새로운 제 2 분류 모델을 생성하여 상기 분류부로 제공하며, 상기 분류부는 상기 제공된 제 2 분류 모델을 기초로 ROI 이미지를 분류시킨다.
본 발명의 다른 실시예에 따른 AI 기반 대상물 검사 시스템은 대상물의 이미지인 입력 이미지로부터 ROI(관심 영역)를 검출하여 ROI 이미지를 생성하는 ROI 검출부; 제 1 분류 모델에 기초하여 상기 ROI 검출부에 의해 생성된 ROI 이미지를 분류하는 분류부; 및 상기 분류부로부터 제공된 이미지를 학습시켜 모델을 생성하는 데이터 학습부를 포함한다. 여기서, 상기 분류부는 상기 제 1 분류 모델에 기초하여 상기 ROI 이미지를 분류한 결과 상기 제 1 분류 모델의 기준에 속하는 학습된 유형의 오검출이나 미검출이 존재하는 경우, 상기 오검출이나 미검출에 해당하는 이미지를 상기 데이터 학습부로 제공하고, 상기 데이터 학습부는 상기 제공된 이미지를 반영하여 새로운 제 2 분류 모델을 생성하여 상기 분류부로 제공하며, 상기 분류부는 상기 제공된 제 2 분류 모델을 기초로 ROI 이미지를 분류시킨다.
상기 AI 기반 대상물 검사 방법은 대상물의 이미지인 입력 이미지로부터 ROI(관심 영역)를 검출하여 ROI 이미지를 생성하는 단계; 제 1 분류 모델에 기초하여 상기 ROI 검출부에 의해 생성된 ROI 이미지를 분류하는 단계; 상기 제 1 분류 모델의 기준에 속하나 오검출 또는 미검출에 해당하는 이미지가 존재하거나 상기 제 1 분류 모델에 속하지 않는 새로운 이미지가 존재하는 경우, 상기 이미지를 학습시켜 제 2 분류 모델을 생성하는 단계; 및 상기 생성된 제 2 분류 모델을 새로운 ROI 이미지에 적용하여 상기 새로운 ROI 이미지를 분류하는 단계를 포함한다.
본 발명에 따른 AI 기반 대상물 검사 시스템 및 방법은 학습을 통하여 대상물의 결함을 검출할 수 있다. 결과적으로, 새로운 유형의 결함이 발견되더라도 새로운 분류 모델을 생성하여 신속하여 대상물의 결함을 검출할 수 있다. 따라서, 대응 기간이 감축되고 검사 비용이 감소할 수 있다.
또한, 상기 대상물 검사 시스템이 결함뿐만 아니라 정상도 학습시키므로, 상기 검사 정확도가 상당히 상승할 수 있다.
도 1은 본 발명의 일 실시예에 따른 AI 기반 대상물 검사 시스템을 개략적으로 도시한 블록도이다.
도 2는 기존의 규칙 기반 대상물 검사 시스템과 본 발명의 AI 기반 대상물 검사 시스템의 비교를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 AI 기반 대상물 검사 과정을 도시한 순서도이다.
도 4 및 도 5는 본 발명의 다른 실시예에 따른 AI 기반 대상물 검사 과정을 도시한 도면들이다.
도 6은 AI 기반 대상물 검사 방법과 규칙 기반 대상물 검사 방법의 오검출율을 비교한 결과를 도시한 도면이다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 발명은 AI(Artificial intelligence, 인공지능) 기반 대상물 검사 시스템 및 방법에 관한 것으로서, 학습 방법을 이용하여 대상물의 결함(defect)을 검사할 수 있다. 여기서, 대상물은 예를 들어 디스플레이 공정에 사용되는 유리 기판, 필름 등일 수 있으며, 학습 방법이 적용 가능한한 제한이 없다.
종래 기판 검사 방법은 규칙 기반의 필터 처리를 통하여 결함 유무를 판단하였다. 따라서, 새로운 결함이 발견되는 경우 즉시 결함 검출이 어렵고 오랜 시간에 걸쳐서 새로운 필터를 개발하여 공정에 적용하여야만 한다. 결과적으로, 대응 기간이 오래 걸리고 검사 비용이 상승하는 문제점이 있다.
반면에, 본 발명의 대상물 검사 시스템은 필터 사용없이 AI에 기반한 학습 방법을 통하여 대상물의 결함을 검출한다. 따라서, 새로운 결함도 학습을 통하여 검사가 가능하며, 그 결과 현장에서 즉시 기존 형태의 결함 및 새로운 형태의 결함에 대한 검사가 가능하여 대응 기간이 단축되고 검사 비용이 절감될 수 있다.
일 실시예에 따르면, 본 발명의 대상물 검사 시스템은 결함 학습뿐만 아니라 정상 학습도 수행하여 대상물의 결함을 검출할 수 있다. 일반적으로 에러에 대하여만 학습하여 모델에 적용하지만,본 발명의 대상물 검사 시스템은 결함을 학습시킬뿐만 아니라 정상도 학습시켜 모델에 적용할 수 있다.
유리 기판 등의 검사 대상물에는 다양한 종류의 결함이 존재하고 동일한 결함이더라도 다양한 형태가 존재하며, 정상인지 결함인지 분별하기 어려운 작은 흠도 존재한다. 결과적으로, 결함으로 판단되어야 할 결함이 대상물에 발생하더라도 검사 시스템이 결함으로 판별하지 못할 경우가 발생할 수 있다.
따라서, 본 발명의 대상물 검사 시스템은 결함뿐만 아니라 정상도 모델에 반영하여 검사에 적용할 수 있다. 결과적으로, 결함 학습에 의해 결함으로 판별되지 않았던 대상물이 정상 학습에 의해 결함으로 판별될 수도 있다. 예를 들어, 대상물의 결함이 정상에 속하지 않는 경우, 상기 대상물 검사 시스템은 결함 학습에 의해 결함으로 판별되지 않았더라도 대상물에 결함이 발생하였다고 결정할 수 있다. 결과적으로, 본 발명의 대상물 검사 시스템은 더 정밀하게 대상물의 결함을 검사할 수 있어 검사 정확도가 향상될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다.
도 1은 본 발명의 일 실시예에 따른 AI 기반 대상물 검사 시스템을 개략적으로 도시한 블록도이고, 도 2는 기존의 규칙 기반 대상물 검사 시스템과 본 발명의 AI 기반 대상물 검사 시스템의 비교를 도시한 도면이다.
도 1을 참조하면, 본 실시예의 대상물 검사 시스템은 ROI(Region Of Interest, 관심 영역) 검출부(100), 분류부(102) 및 데이터 학습부(104)를 포함한다.
ROI 검출부(100)는 입력 데이터를 이용하여 ROI(관심 영역)을 검출하며, 예를 들어 카메라에 의해 촬영된 대상물의 이미지(입력 데이터)에서 관심 영역의 이미지들(ROI 이미지들)을 검출할 수 있다.
분류부(102)는 ROI 검출부(100)로부터 전송된 ROI 이미지들을 정상 이미지(정상 데이터) 및 결함 이미지(결함 데이터)로 분류하고, 필요에 따라서는 상기 정상 이미지 및 상기 결함 이미지를 해당 분류 모델이 제시하는 관심 영역별, 결함 형태별, 정상 형태별 및 결함 크기별 중 적어도 하나의 기준에 따라 분류할 수 있다. 결과적으로, 상기 정상 이미지 또는 상기 결함 이미지가 상기 분류 모델의 기준에 따라 체계적으로 분류될 수 있다.
일 실시예에 따르면, 분류부(102)는 데이터 학습부(104)에 의해 제공된 제 1 분류 모델에 기초하여 상기 결함 데이터 및 상기 정상 데이터를 체계적으로 분류하고, 새로운 결함의 발견 등으로 인하여 상기 제 1 분류 모델이 제 2 분류 모델로 변경된 경우 상기 제 2 분류 모델에 기초하여 상기 결함 데이터 및 상기 정상 데이터를 체계적으로 분류할 수 있다. 이 때, 상기 제 1 분류 모델에서는 정상 이미지로 판단되었던 이미지 또는 새로운 결함이어서 판단되지 못하였던 이미지가 상기 제 2 분류 모델에서는 결함 이미지로 판별될 수도 있다.
또한, 분류부(102)는 분류된 이미지들을 출력할 수 있으며, 결함 판단부(미도시)는 상기 출력된 이미지들을 통하여 대상물, 예를 들어 유리 기판의 결함 여부를 결정할 수 있다.
데이터 학습부(104)는 분류부(104)로부터 제공되는 정상 이미지 및 결함 이미지 중 적어도 하나를 학습하여 분류 모델을 생성할 수 있다. 예를 들어, 데이터 학습부(104)는 딥 러닝 기법을 활용하여 정상 이미지 및 결함 이미지를 학습시킬 수 있다.
일 실시예에 따르면, 데이터 학습부(104)는 이전 분류 모델에 따라 ROI 이미지들 중 정상 이미지 및 결함 이미지에 속하지 않는 새로운 이미지가 존재하는 경우 해당 이미지를 분류부(102)로부터 수신하고, 상기 수신된 이미지를 학습시켜 새로운 분류 모델을 생성할 수 있다. 여기서, 상기 새로운 이미지는 정상 이미지에 속하지 않으므로 결함 이미지에 해당할 가능성이 높다.
이어서, 데이터 학습부(104)는 상기 생성된 새로운 분류 모델을 분류부(102)로 제공하고, 분류부(102)는 새로운 분류 모델에 따라 ROI 이미지를 정상 이미지 또는 결함 이미지로 분류할 수 있다.
다른 실시예에 따르면, 데이터 학습부(104)는 분류부(104)로부터 제공되는 이미지뿐만 아니라 검사자에 의해 제공되는 검사 결과(예를 들어 이미지)도 고려하여 분류 모델을 생성할 수 있다. 이 것은 분류부(104)가 결함 이미지로 판단하지 않았지만 검사자가 시각적으로 검사한 결과 결함이 있다고 판단할 수도 있고, 상기 검사자가 새로운 이미지에 대하여 정상 이미지인지 결함 이미지인지를 판단하여 판단 결과를 제공할 수도 있기 때문이다.
정리하면, 본 발명의 AI 기반 대상물 검사 시스템은 학습을 이용하여 대상물의 결함을 검사하고, 특히 결함뿐만 아니라 정상도 학습시켜 대상물의 결함을 검사할 수 있다. 또한, 상기 대상물 검사 시스템은 해당 분류 모델에 의해 정상 이미지 또는 결함 이미지에 속하지 않는 ROI 이미지도 학습시켜 정상 이미지 또는 결함 이미지로 분류시키므로, 결함 검출 정확도가 종래의 대상 결함물 검사 시스템에 비하여 상당히 향상될 수 있다.
도 2를 참조하여 기존 규칙 기반 대상물 검사 시스템과 본 발명의 AI 기반 대상물 검사 시스템을 비교하면, 기존의 규칙 기반 대상물 검사 시스템은 새로운 유형의 결함 존재시 상기 결함을 필터링할 수 있는 새로운 필터를 개발하여야 하기 때문에 약 14일이 소요되는 반면에, 본 발명의 AI 기반 대상물 검사 시스템은 새로운 이미지 발견시 학습을 통하여 새로운 분류 모델을 생성하여 검사에 적용하므로 1일이 소요되지 않을 수 있다. 즉, 새로운 이미지 발견시 본 발명의 AI 기반 대상물 검사 시스템의 대응 기간이 기존의 규칙 기반 대상물 검사 시스템의 대응 기간에 비하여 획기적으로 단축될 수 있다.
도 3은 본 발명의 일 실시예에 따른 AI 기반 대상물 검사 과정을 도시한 순서도이다.
도 3을 참조하면, 상기 대상물 검사 시스템은 유리 기판 등의 대상물을 촬영하여 대상물 이미지(입력 이미지)를 획득할 수 있다(S300).
이어서, 상기 대상물 검사 시스템은 결함이라고 의심되는 부분을 결함 후보군으로 검출한다(S302).
계속하여, 상기 대상물 검사 시스템은 분류부(102)를 통하여 결함 후보군을 분류할 수 있다(S304).
이어서, 상기 대상물 검사 시스템은 상기 분류 결과가 올바르게 되었는지를 판단한다(S306).
계속하여, 상기 대상물 검사 시스템은 분류 결과가 올바르게 되었으면 분류 결과를 출력시킬 수 있다(S310).
반면에, 상기 대상물 검사 시스템은 분류 결과가 올바르게 되지 않았다고 판단되는 경우 재학습하여 새로운 분류 모델을 생성하고(S308), 상기 생성된 분류 모델을 적용하여 분류된 분류 결과를 출력시킬 수 있다(S310).
도 4 및 도 5는 본 발명의 다른 실시예에 따른 AI 기반 대상물 검사 과정을 도시한 도면들이다. 도 6은 AI 기반 대상물 검사 방법과 규칙 기반 대상물 검사 방법의 오검출율을 비교한 결과를 도시한 도면이다.
도 4를 참조하면, ROI 검출부(100)는 대상물 촬영 이미지인 입력 데이터를 수신하고, 상기 수신된 입력 데이터를 분류하기 용이하도록 전처리하며, 전처리된 입력 데이터에서 ROI를 검출하여 ROI 이미지들을 생성할 수 있다.
예를 들어, ROI는 유리 기판의 에지 영역들일 수 있으며, 이 경우 ROI 검출부(100)는 도 5에 도시된 바와 같이 기설정된 에지 영역들을 검출하여 ROI 이미지들을 생성할 수 있다. 도 5에서는 사변의 에지 영역들을 검출하여 ROI 이미지를 생성하였다.
이어서, 분류부(102)는 해당 분류 모델에 기초하여 상기 ROI 이미지를 정상 이미지 또는 결함 이미지로 분류할 수 있다.
계속하여, 분류부(102)는 분류 결과를 출력할 수 있다. 구체적으로는, 분류부(102)는 해당 ROI 이미지를 결함 이미지 또는 정상 이미지인지를 판단하고 판단 결과를 분류 결과로서 출력할 수 있다. 이러한 분류 결과가 도 5에 보여진다.
또한, 분류부(102)는 해당 분류 모델에서 정한 기준에 속하지 않은 새로운 이미지(예를 들어 새로운 유형의 결함을 가지는 이미지)가 존재하는 경우 상기 새로운 이미지를 새로운 데이터로 하여 데이터 학습부(104)로 제공한다. 이 때, 검사자가 시각적으로 확인한 검사 결과가 새로운 데이터로 하여 분류부(102)에서 제공하는 이미지와 함께 데이터 학습부(104)로 제공될 수 있다.
이어서, 데이터 학습부(104)는 분류부(102)에서 제공된 새로운 이미지와 검사자에 의해 제공된 검사 결과를 반영하여 새로운 분류 모델을 생성하고, 상기 생성된 새로운 분류 모델을 분류부(102)로 제공할 수 있다.
계속하여, 분류부(102)는 새로운 분류 모델을 적용하여 ROI 이미지를 정상 이미지 또는 결함 이미지로 분류하고 분류 결과를 출력할 수 있다. 결과적으로, 이전 분류 모델에서 판단하지 못하였던 새로운 이미지를 새로운 분류 모델에서는 정상 이미지인지 결함 이미지인지를 판단할 수 있고, 이전 분류 모델에서 오류가 발생하였던 형태의 이미지에 대하여도 새로운 분류 모델을 적용하여 정상적으로 판단할 수 있다.
이러한 AI 기반 대상물 검사 방법을 사용하였을 때의 오검출과 기존 규칙 기반 대상물 검사 방법을 사용하였을 때의 오검출의 비율을 7개의 결함에 대하여 실험하여본 결과, 도 6의 결과가 도출되었다.
도 6에 도시된 바와 같이, 기존 규칙 기반 대상물 검사 방법을 사용하였을 때 오검출율이 20%인 반면에, 본 발명의 AI 기반 대상물 검사 방법을 사용하였을 때의 오검출율이 1%로 확인되었으며, 즉 오검출율이 획기적으로 개선됨을 확인할 수 있다.
위에서는, 분류부(102)가 새로운 이미지를 데이터 학습부(104)로 제공하는 것으로 설명하였으나, 분류부(102)는 해당 분류 모델에 속하는 학습된 유형의 오검출 또는 미검출이 발생한 경우 상기 오검출 또는 상기 미검출에 해당하는 이미지를 데이터 학습부(104)로 제공할 수 있으며, 데이터 학습부(104)는 상기 제공된 이미지를 반영하여 새로운 분류 모델을 생성하여 분류부(102)로 제공하고, 분류부(102)는 상기 새로운 분류 모델을 ROI 이미지에 적용하여 상기 ROI 이미지를 분류할 수 있다.
즉, 본 발명의 AI 기반 대상물 검사 시스템은 분류 모델에 속하지 않는 새로운 유형의 결함뿐만 아니라 분류 모델에 속하는 학습된 오검출이나 미검출도 반영하여 새로운 분류 모델을 생성할 수 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100 : ROI 검출부 102 : 분류부
104 : 데이터 학습부

Claims (9)

  1. 대상물의 이미지인 입력 이미지로부터 ROI(관심 영역)를 검출하여 ROI 이미지를 생성하는 ROI 검출부;
    제 1 분류 모델에 기초하여 상기 ROI 검출부에 의해 생성된 ROI 이미지를 분류하는 분류부; 및
    상기 분류부로부터 제공된 이미지를 학습시켜 모델을 생성하는 데이터 학습부를 포함하되,
    상기 분류부는 상기 제 1 분류 모델에 기초하여 상기 ROI 이미지를 분류한 결과 분류 기준에 속하지 않는 새로운 이미지가 존재하는 경우 상기 새로운 이미지를 상기 데이터 학습부로 제공하고, 상기 데이터 학습부는 상기 제공된 새로운 이미지를 반영하여 새로운 제 2 분류 모델을 생성하여 상기 분류부로 제공하며, 상기 분류부는 상기 제공된 제 2 분류 모델을 기초로 ROI 이미지를 분류시키는 것을 특징으로 하는 AI 기반 대상물 검사 시스템.
  2. 제1항에 있어서, 상기 대상물은 디스플레이 공정에 사용되는 유리 기판 또는 필름이되,
    상기 ROI는 상기 대상물의 에지 영역을 포함하는 것을 특징으로 하는 AI 기반 대상물 검사 시스템.
  3. 제1항에 있어서, 상기 데이터 학습부는 결함 이미지뿐만 아니라 정상 이미지도 학습하며, 상기 분류부는 상기 ROI 이미지를 정상 이미지 또는 결함 이미지로 분류하고 분류 결과를 출력하되,
    상기 새로운 이미지는 상기 제 1 분류 모델에 따라 상기 정상 이미지 또는 상기 결함 이미지에 속하지 않는 이미지인 것을 특징으로 하는 AI 기반 대상물 검사 시스템.
  4. 제3항에 있어서, 검사자는 상기 분류부로부터 출력된 분류 결과를 검사하고 상기 검사 결과를 상기 데이터 학습부로 제공하며, 상기 데이터 학습부는 상기 새로운 이미지뿐만 아니라 상기 검사자에 의해 제공된 검사 결과를 반영하여 상기 제 2 분류 모델을 생성하는 것을 특징으로 하는 AI 기반 대상물 검사 시스템.
  5. 대상물의 이미지인 입력 이미지로부터 ROI(관심 영역)를 검출하여 ROI 이미지를 생성하는 ROI 검출부;
    제 1 분류 모델에 기초하여 상기 ROI 검출부에 의해 생성된 ROI 이미지를 분류하는 분류부; 및
    상기 분류부로부터 제공된 이미지를 학습시켜 모델을 생성하는 데이터 학습부를 포함하되,
    상기 분류부는 상기 제 1 분류 모델에 기초하여 상기 ROI 이미지를 분류한 결과 상기 제 1 분류 모델의 기준에 속하는 학습된 유형의 오검출이나 미검출이 존재하는 경우, 상기 오검출이나 미검출에 해당하는 이미지를 상기 데이터 학습부로 제공하고, 상기 데이터 학습부는 상기 제공된 이미지를 반영하여 새로운 제 2 분류 모델을 생성하여 상기 분류부로 제공하며, 상기 분류부는 상기 제공된 제 2 분류 모델을 기초로 ROI 이미지를 분류시키는 것을 특징으로 하는 AI 기반 대상물 검사 시스템.
  6. 제5항에 있어서, 제1항에 있어서, 상기 데이터 학습부는 결함 이미지뿐만 아니라 정상 이미지도 학습하며, 상기 분류부는 상기 ROI 이미지를 정상 이미지 또는 결함 이미지로 분류하고 분류 결과를 출력하되,
    검사자는 상기 분류부로부터 출력된 분류 결과를 검사하고 상기 검사 결과를 상기 데이터 학습부로 제공하며, 상기 데이터 학습부는 상기 분류부로부터 제공된 이미지뿐만 아니라 상기 검사자에 의해 제공된 검사 결과를 반영하여 상기 제 2 분류 모델을 생성하는 것을 특징으로 하는 AI 기반 대상물 검사 시스템.
  7. 대상물의 이미지인 입력 이미지로부터 ROI(관심 영역)를 검출하여 ROI 이미지를 생성하는 단계;
    제 1 분류 모델에 기초하여 상기 ROI 검출부에 의해 생성된 ROI 이미지를 분류하는 단계;
    상기 제 1 분류 모델의 기준에 속하나 오검출 또는 미검출에 해당하는 이미지가 존재하거나 상기 제 1 분류 모델에 속하지 않는 새로운 이미지가 존재하는 경우, 상기 이미지를 학습시켜 제 2 분류 모델을 생성하는 단계; 및
    상기 생성된 제 2 분류 모델을 새로운 ROI 이미지에 적용하여 상기 새로운 ROI 이미지를 분류하는 단계를 포함하는 것을 특징으로 하는 AI 기반 대상물 검사 방법.
  8. 제7항에 있어서, 상기 제 2 분류 모델 생성시 상기 이미지뿐만 아니라 검사자에 의해 시각적으로 검사된 검사 결과도 반영하여 상기 제 2 분류 모델을 생성하는 것을 특징으로 하는 AI 기반 대상물 검사 방법.
  9. 제7항에 있어서, 상기 제 1 분류 모델 또는 상기 제 2 분류 모델은 상기 대상물이 결함을 가지는 결함 이미지뿐만 아니라 상기 대상물이 정상인 정상 이미지도 학습함에 의해 생성되되,
    상기 ROI 이미지는 상기 정상 이미지 또는 상기 결함 이미지로 분류되는 것을 특징으로 하는 AI 기반 대상물 검사 방법.





KR1020190120905A 2019-09-30 2019-09-30 인공지능(ai) 기반 대상물 검사 시스템 및 방법 KR20210038143A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190120905A KR20210038143A (ko) 2019-09-30 2019-09-30 인공지능(ai) 기반 대상물 검사 시스템 및 방법
PCT/KR2019/017267 WO2021066253A1 (ko) 2019-09-30 2019-12-09 인공지능(ai) 기반 대상물 검사 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190120905A KR20210038143A (ko) 2019-09-30 2019-09-30 인공지능(ai) 기반 대상물 검사 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20210038143A true KR20210038143A (ko) 2021-04-07

Family

ID=75336541

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190120905A KR20210038143A (ko) 2019-09-30 2019-09-30 인공지능(ai) 기반 대상물 검사 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20210038143A (ko)
WO (1) WO2021066253A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022234957A1 (ko) * 2021-05-03 2022-11-10 한국표준과학연구원 딥러닝을 이용한 초음파 비파괴 검사방법 및 시스템과 이에 사용되는 오토 인코더 기반의 예측모델 학습방법
KR20230045239A (ko) 2021-09-28 2023-04-04 주식회사 크레셈 인공지능을 이용한 양품 선별 학습모델 생성 방법
KR20230064249A (ko) 2021-11-03 2023-05-10 주식회사 크레셈 학습모델을 이용한 기판 검사 방법
KR102535327B1 (ko) * 2021-11-16 2023-05-26 라이트비전 주식회사 공간군 추론이 용이한 분류 체계 시스템 및 이에 있어서 정대축 추천 방법
KR20230081913A (ko) * 2021-11-30 2023-06-08 (주)자비스 3차원 처리 기반 대상체 비파괴 검사 방법, 장치 및 시스템
WO2023167498A1 (ko) * 2022-03-02 2023-09-07 주식회사 엘지에너지솔루션 배터리 불량 검출 장치, 방법 및 시스템
WO2023182855A1 (ko) * 2022-03-25 2023-09-28 경상국립대학교산학협력단 상하수도 시설물 결함 검출 방법 및 이를 지원하는 결함 검출 시스템
KR102606407B1 (ko) * 2022-06-27 2023-11-29 (주) 보성글로벌 이차전지 생산 시스템에 대한 이미지 분석 기반의 검사 시스템
KR20240002168A (ko) * 2022-06-27 2024-01-04 (주) 보성글로벌 이미지 분석 기반의 이차전지 생산 시스템의 검사 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100939424B1 (ko) 2008-04-28 2010-01-28 선문대학교 산학협력단 유리 기판의 결함 검사 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013072788A (ja) * 2011-09-28 2013-04-22 Hitachi High-Technologies Corp 基板表面欠陥検査方法および検査装置
KR101759496B1 (ko) * 2015-08-20 2017-07-19 충북대학교 산학협력단 Pcb 결함 및 결함종류 분류 시스템 및 방법
KR102285760B1 (ko) * 2017-02-13 2021-08-05 주식회사 고영테크놀러지 인쇄 회로 기판에 실장된 부품을 검사하는 장치, 그 동작 방법 및 컴퓨터 판독 가능한 기록 매체
JP6567004B2 (ja) * 2017-08-30 2019-08-28 キヤノン株式会社 パターン形成装置、決定方法、プログラム、情報処理装置及び物品の製造方法
JP2019100753A (ja) * 2017-11-29 2019-06-24 アンリツ株式会社 プリント基板検査装置及びプリント基板検査方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100939424B1 (ko) 2008-04-28 2010-01-28 선문대학교 산학협력단 유리 기판의 결함 검사 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022234957A1 (ko) * 2021-05-03 2022-11-10 한국표준과학연구원 딥러닝을 이용한 초음파 비파괴 검사방법 및 시스템과 이에 사용되는 오토 인코더 기반의 예측모델 학습방법
KR20230045239A (ko) 2021-09-28 2023-04-04 주식회사 크레셈 인공지능을 이용한 양품 선별 학습모델 생성 방법
KR20230064249A (ko) 2021-11-03 2023-05-10 주식회사 크레셈 학습모델을 이용한 기판 검사 방법
KR102535327B1 (ko) * 2021-11-16 2023-05-26 라이트비전 주식회사 공간군 추론이 용이한 분류 체계 시스템 및 이에 있어서 정대축 추천 방법
KR20230081913A (ko) * 2021-11-30 2023-06-08 (주)자비스 3차원 처리 기반 대상체 비파괴 검사 방법, 장치 및 시스템
WO2023167498A1 (ko) * 2022-03-02 2023-09-07 주식회사 엘지에너지솔루션 배터리 불량 검출 장치, 방법 및 시스템
WO2023182855A1 (ko) * 2022-03-25 2023-09-28 경상국립대학교산학협력단 상하수도 시설물 결함 검출 방법 및 이를 지원하는 결함 검출 시스템
KR102606407B1 (ko) * 2022-06-27 2023-11-29 (주) 보성글로벌 이차전지 생산 시스템에 대한 이미지 분석 기반의 검사 시스템
KR20240002168A (ko) * 2022-06-27 2024-01-04 (주) 보성글로벌 이미지 분석 기반의 이차전지 생산 시스템의 검사 장치 및 방법

Also Published As

Publication number Publication date
WO2021066253A1 (ko) 2021-04-08

Similar Documents

Publication Publication Date Title
KR20210038143A (ko) 인공지능(ai) 기반 대상물 검사 시스템 및 방법
CN109949305B (zh) 产品表面缺陷检测方法、装置及计算机设备
US20220004818A1 (en) Systems and Methods for Evaluating Perception System Quality
US8131059B2 (en) Defect inspection device and defect inspection method for inspecting whether a product has defects
KR102168724B1 (ko) 이미지 검사를 이용한 이상 판별 방법 및 장치
WO2019186915A1 (ja) 異常検査装置および異常検査方法
US20210350521A1 (en) Method for computer-implemented determination of blade-defects of a wind turbine
US10860901B2 (en) Detection system, information processing apparatus, evaluation method, and program
US11741065B2 (en) Hardware, firmware, and software anomaly handling based on machine learning
CN116542984A (zh) 五金件缺陷检测方法、装置、计算机设备及存储介质
JP2021143884A (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
CN114266737A (zh) 缺陷检测方法、装置、设备和存储介质
JP2004258034A (ja) マルチバリアント・イメージ分析を用いた製造欠陥の検出及び報告システム及び方法
CN112184717A (zh) 用于质检的自动化分割方法
US20220335254A1 (en) Computer vision inferencing for non-destructive testing
US10901726B2 (en) Intelligent visual regression system
JP2023047003A (ja) 機械学習システム、学習データ収集方法及び学習データ収集プログラム
WO2023032549A1 (ja) 欠陥検査装置、欠陥検査方法および予測モデル生成方法
JP7332028B2 (ja) アイテムの検査を実行するための方法、装置、コンピュータプログラムおよびコンピュータ命令を含む媒体
US20230419653A1 (en) Method for detecting defect of images and electronic device
CN113808067B (zh) 电路板检测方法、视觉检测设备及具有存储功能的装置
US11790508B2 (en) Computer vision predictions for non-destructive testing
TWI792135B (zh) 缺陷檢測方法及裝置、電子裝置及電腦可讀存儲介質
US20240104717A1 (en) Defect detection method and device
JP2023007260A (ja) 計算機及び外観検査方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application