KR20240109419A - 사후 보정이 가능한 비지도 학습기반 불량 검사 방법 및 장치 - Google Patents

사후 보정이 가능한 비지도 학습기반 불량 검사 방법 및 장치 Download PDF

Info

Publication number
KR20240109419A
KR20240109419A KR1020230001187A KR20230001187A KR20240109419A KR 20240109419 A KR20240109419 A KR 20240109419A KR 1020230001187 A KR1020230001187 A KR 1020230001187A KR 20230001187 A KR20230001187 A KR 20230001187A KR 20240109419 A KR20240109419 A KR 20240109419A
Authority
KR
South Korea
Prior art keywords
defect inspection
defective
data
learning
defect
Prior art date
Application number
KR1020230001187A
Other languages
English (en)
Inventor
박태준
이승재
윤종완
고병진
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020230001187A priority Critical patent/KR20240109419A/ko
Publication of KR20240109419A publication Critical patent/KR20240109419A/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

본 명세서는, 사후 보정이 가능한 비지도 학습 기반 불량 검사 방법을 제공할 수 있다. 이때, 불량 검사 방법은 비지도 학습에 기초하여 정상 데이터만으로 학습한 제1 불량 검사 학습모델을 불량 검사 모듈에 적용하는 단계, 불량 검사 모듈에 데이터를 입력으로 제공하는 단계 및 불량 검사 모듈에 기초하여 입력으로 제공된 데이터에 대한 불량 여부 및 불량 영역에 대한 정보를 포함하는 불량 검사 결과 정보를 출력으로 도출하여 불량 데이터 여부를 판단하는 단계를 포함하되, 불량 데이터가 발생한 경우, 불량 데이터를 통해 준지도 학습에 기초하여 제2 불량 검사 학습모델을 학습하고, 학습된 제2 불량 검사 학습모델을 불량 검사 모듈에 적용하여 업데이트할 수 있다.

Description

사후 보정이 가능한 비지도 학습기반 불량 검사 방법 및 장치{METHOD AND APPARATUS FOR DEFECTIVE INSPECTION BASED ON UNSUPERVISED LEARNING CAPABLE OF POST-CORRECTION}
본 명세서는 사후 보정이 가능한 비지도 학습기반 불량 검사 방법 및 장치에 대한 것이다. 구체적으로, 비지도 학습 기반 불량 검사 모델을 생성하고, 준지도 학습 기반 모델 강화 방법 및 장치에 대한 것이다.
기술발전에 따라 인공지능 및 머신러닝에 대한 적용분야가 증가하고 있으며, 인공 신경망에 기초한 딥러닝 기술이 발전하고 있다. 많은 기술들에서 인공지능 및 머신러닝을 접목하고자 하는 시도가 있으며, 다양한 산업현장에서 응용 사례가 증가하고 있다.
제품 생산과 같은 생산라인에서 기존에는 사람이 직접 불량을 검출하거나 기 설정된 테스트 방식에 기초하여 불량을 검출하였다. 여기서, 인공지능 및 머신러닝 기술이 불량 검사에 적용되어 불량 검출에 대한 정확도가 높아질 수 있다. 다만, 인공지능 및 머신러닝을 통해서도 묵인해도 되는 불량이나 특정 불량만을 집중적으로 찾아나는데 한계가 존재할 수 있으며, 하기에서는 이를 위한 방안에 대해 서술한다.
한국등록특허 제 10-2271418 B
본 명세서는 사후 보정이 가능한 비지도 학습 기반 불량 검사를 수행하는 방법 및 장치를 제공할 수 있다.
본 명세서는 비지도 학습 기반 불량 검사 모델을 생성하고, 준지도 학습 기반 모델 강화를 수행하는 방법 및 장치를 제공할 수 있다.
본 명세서는 불량 검사 모듈에서 묵인할 수 있는 불량을 정상 데이터로 간주하도록 하는 학습을 수행하는 방법 및 장치를 제공할 수 있다.
본 명세서는 불량 검사 모듈에서 특정 불량을 검출하기 위한 학습을 수행하는 방법 및 장치를 제공할 수 있다.
본 명세서의 일 실시예에 따라, 사후 보정이 가능한 비지도 학습 기반 불량 검사 방법에 있어서, 비지도 학습에 기초하여 정상 데이터만으로 학습한 제1 불량 검사 학습모델을 불량 검사 모듈에 적용하는 단계, 불량 검사 모듈에 데이터를 입력으로 제공하는 단계 및 불량 검사 모듈에 기초하여 입력으로 제공된 데이터에 대한 불량 여부 및 불량 영역에 대한 정보를 포함하는 불량 검사 결과 정보를 출력으로 도출하여 불량 데이터 여부를 판단하는 단계를 포함하되, 불량 데이터가 발생한 경우, 불량 데이터를 통해 준지도 학습에 기초하여 제2 불량 검사 학습모델을 학습하고, 학습된 제2 불량 검사 학습모델을 불량 검사 모듈에 적용하여 업데이트할 수 있다.
본 명세서의 일 실시예에 따라, 사후 보정이 가능한 비지도 학습 기반 불량 검사를 수행하는 장치에 있어서, 메모리, 송수신부 및 메모리와 송수신부를 제어하는 제어부를 포함하되, 제어부는 비지도 학습에 기초하여 정상 데이터만으로 학습한 제1 불량 검사 학습모델을 불량 검사 모듈에 적용하고, 불량 검사 모듈에 데이터를 입력으로 제공하고, 및 불량 검사 모듈에 기초하여 입력으로 제공된 데이터에 대한 불량 여부 및 불량 영역에 대한 정보를 포함하는 불량 검사 결과 정보를 출력으로 도출하여 불량 데이터 여부를 판단하되, 불량 데이터가 발생한 경우, 불량 데이터를 통해 준지도 학습에 기초하여 제2 불량 검사 학습모델을 학습하고, 학습된 제2 불량 검사 학습모델을 불량 검사 모듈에 적용하여 업데이트할 수 있다.
본 명세서의 일 실시예에 따라, 사후 보정이 가능한 비지도 학습 기반 불량 검사를 수행하는 불량 검사 모듈에 있어서, 불량 검사 모듈은 비지도 학습 기반의 제1 불량 검사 학습모델 및 준지도 학습 기반의 제2 불량 검사 학습모델을 포함하고, 비지도 학습에 기초하여 정상 데이터만으로 제1 불량 검사 학습모델을 학습하여 불량 검사 모듈에 적용하고, 불량 검사 모듈에 데이터를 입력으로 제공하고, 및 불량 검사 모듈에 기초하여 입력으로 제공된 데이터에 대한 불량 여부 및 불량 영역에 대한 정보를 포함하는 불량 검사 결과 정보를 출력으로 도출하여 불량 데이터 여부를 판단하되, 불량 데이터가 발생한 경우, 불량 데이터를 준지도 학습에 기초하여 제2 불량 검사 학습모델을 학습하고, 학습된 제2 불량 검사 학습모델을 불량 검사 모듈에 적용하여 업데이트할 수 있다.
또한, 다음의 사항들은 공통으로 적용될 수 있다.
본 명세서의 일 실시예에 따라, 비지도 학습에 기초하여 학습하는 제1 불량 검사 학습모델은 한 클래스 이상 감지(one class anomaly detection) 모델일 수 있다.
또한, 본 명세서의 일 실시예에 따라, 제1 불량 검사 학습모델은 하나의 제품에 대한 정상 데이터만으로 불량 데이터 없이 학습할 수 있다.
또한, 본 명세서의 일 실시예에 따라, 제1 불량 검사 학습모델에 기초하여 학습되는 경우, 정상 데이터에서 ResNet을 통해 제1 피쳐 맵이 생성되고, 정상 데이터에서 피쳐 압축 모듈을 통해 압축된 후 이미지 복원 모듈의 복원을 통해 제2 피쳐 맵이 생성되고, 제1 피쳐 맵과 제2 피쳐 맵의 유사도에 기초하여 학습하되, 제1 피쳐 맵과 제2 피쳐 맵의 유사도가 낮을수록 불량 점수가 높게 책정될 수 있다.
또한, 본 명세서의 일 실시예에 따라, 불량 검사 모듈에 데이터가 입력으로 제공되는 경우, 데이터의 제1 피쳐 맵 및 데이터의 제2 피쳐 맵이 생성된 후 유사도 비교를 통해 불량 점수가 도출되고, 불량 점수에 기초하여 불량 데이터 여부가 결정될 수 있다.
또한, 본 명세서의 일 실시예에 따라, 제2 불량 검사 학습모델은 에프터 서비스(after service) 모델이고, 발생한 불량 데이터에 대한 라벨링에 기초하여 학습할 수 있다.
또한, 본 명세서의 일 실시예에 따라, 발생한 불량 데이터가 묵인 가능한 제1 불량 영역을 포함하는 불량 데이터인 경우, 제2 불량 검사 학습모델에 기초하여 제1 불량 영역의 불량 점수를 산출하고, 제1 불량 영역의 불량점수에 낮은 가중치를 적용하여 제2 불량 검사 학습모델을 학습할 수 있다.
또한, 본 명세서의 일 실시예에 따라, 발생한 불량 데이터가 타겟하는 불량으로 제2 불량 영역을 포함하는 불량 데이터인 경우, 제2 불량 검사 학습모델에 기초하여 제2 불량 영역의 불량 점수를 산출하고, 제2 불량 영역의 불량점수에 높은 가중치를 적용하여 제2 불량 검사 학습모델을 학습할 수 있다.
또한, 본 명세서의 일 실시예에 따라, 제2 불량 검사 학습모델에 기초하여 업데이트된 불량 검사 모듈에 기초하여 불량 데이터 여부가 판단될 수 있다.
본 명세서는 사후 보정이 가능한 비지도 학습 기반 불량 검사 방법을 제공할 수 있다.
본 명세서는 비지도 학습 기반 불량 검사 모델을 생성하고, 준지도 학습 기반 모델 강화를 수행하는 방법을 제공할 수 있다.
본 명세서는 불량 검사 모듈에서 묵인할 수 있는 불량을 정상 데이터로 간주하도록 하는 학습을 수행하는 방법을 제공할 수 있다.
본 명세서는 불량 검사 모듈에서 특정 불량을 검출하기 위한 학습을 수행하는 방법을 제공할 수 있다.
본 명세서에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시에 적용되는 네트워크 환경을 도시한 도면이다.
도 2는 본 개시에 적용되는 장치 구성을 나타낸 도면이다.
도 3은 본 개시에 적용되는 비지도 학습 기반의 불량 검사를 수행하고, 준지도 학습에 기초하여 불량 검사 모듈을 강화하는 방법을 나타낸 도면이다.
도 4는 본 개시에 적용되는 비지도 학습 기반의 불량 검사 모델을 나타낸 도면이다.
도 5는 본 개시에 적용되는 비지도 학습 기반의 불량 검사 모델을 나타낸 도면이다.
도 6은 본 개시에 적용되는 준지도 학습을 통해 모델을 강화하는 방법을 나타낸 도면이다.
도 7은 본 개시에 적용되는 사후 보정이 가능한 비지도 학습 기반 불량 검사 수행 방법을 나타낸 순서도이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다.
이하의 실시예들은 본 발명의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성할 수도 있다. 본 발명의 실시예 들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.
이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시된다. 또한, 본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.
또한, 본 명세서에서 제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 명세서의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게, 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
또한 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 그리고 명세서에 기재된 "…유닛", "…부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 및/또는 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 개시에 적용되는 네트워크 환경을 나타낸 도면이다.
도 1을 참조하면, 장치들(110, 120, 130, 140)은 네트워크(150)를 통해 연결될 수 있다. 일 예로, 장치들(110, 120, 130, 140)은 적어도 하나 이상의 장치 또는 서버로 유선 또는 무선 네트워크(150)를 통해 연결될 수 있으며, 이를 통해 데이터를 송수신할 수 있다. 또한, 장치들(110, 120, 130, 140)은 이동성 장치이거나, 고정형 장치일 수 있다. 구체적으로, 장치들(110, 120, 130, 140)은 스마트폰(smart phone)이나 태블릿, 웨어러블 디바이스와 같은 이동성 장치일 수 있다. 또한, 장치들(110, 120, 130, 140)은 컴퓨터, 노트북 및 PC와 같은 고정형 장치일 수 있다. 또 다른 일 예로, 장치들(110, 120, 130, 140)은 IoT(internet of things) 디바이스, VR(virtual reality)/AR(augmented reality) 디바이스 및 그 밖의 장치일 수 있으며, 특정 실시예로 한정되지 않는다.
또한, 서버는 하나 이상의 장치와 네트워크(150)를 통해 연결되어 콘텐츠나 서비스를 제공하는 기능을 구비한 장치일 수 있다. 구체적인 일 예로, 서버는 네트워크(150)를 통해 접속하는 적어도 하나 이상의 장치로 서비스를 제공하거나 요청에 따른 응답을 제공할 수 있다. 여기서, 서버는 적어도 하나 이상의 장치 각각에 설치된 소프트웨어 또는 어플리케이션에 기초하여 연동될 수 있으며, 이를 통해 서비스를 제공할 수 있다.
도 2는 본 개시에 적용되는 장치 구성을 나타낸 도면이다. 도 2를 참조하면, 장치(210)는 제어부(211), 송수신부(212) 및 메모리(213)을 포함할 수 있다. 또한, 장치(210)는 상술한 구성 이외의 다른 구성을 더 포함하는 것도 가능할 수 있다. 도 2의 장치(210)는 다른 장치(220)와 통신을 통해 데이터를 송수신할 수 있으며, 사용자 디바이스일 수 있다. 일 예로, 장치(210)는 스마트폰, 스마트패드, 노트북, PC 및 그 밖의 통신이 가능한 장비들을 지칭할 수 있으며, 특정 장치로 한정되는 것은 아닐 수 있다.
일 예로, 장치(210)의 제어부(211)는 장치(210)의 구동 또는 동작과 관련된 명령어를 실행하고 처리하도록 구성될 수 있다. 제어부(211)는 송수신부(212) 및 그 밖의 구성을 제어하는 논리적인 엔티티일 수 있으며, 특정 실시예로 한정되지 않는다. 장치(210)의 제어부(211)는 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 일 예로, 명령은 메모리(213)에 저장되거나 송수신부(212)를 통해 획득되는 신호에 기초하여 제어부(211)에 제공될 수 있으며, 제어부(211)는 이에 기초한 동작을 수행할 수 있다.
송수신부(212)는 네트워크를 통해 다른 장치(220) 및 서버 중 적어도 어느 하나와 통신을 위한 기능을 제공할 수 있다. 일 예로, 다른 장치(220)도 제어부(221), 송수신부(222) 및 메모리(223)를 포함할 수 있다. 또한, 다른 장치(220)도 상술한 스마트 디바이스나 PC 및 그 밖의 통신이 가능한 장치일 수 있으며, 특정 실시예로 한정되지 않는다.
또한, 일 예로, 장치(210)는 입력부(미도시) 및 출력부(미도시)를 포함할 수 있다. 여기서, 입력부는 키보드, 마우스, 터치패드, 카메라 및 그 밖의 입력 신호를 제공하는 구성일 수 있으며, 출력부는 디스플레이나 스피커 및 그 밖의 출력 신호를 제공하는 구성일 수 있다. 다만, 이에 한정되는 것은 아닐 수 있다. 등의 장치를, 그리고 외부 출력 장치는 디스플레이, 스피커, 햅틱 피드백 디바이스(haptic feedback device) 등과 같은 장치를 포함할 수 있다.
메모리(213)는 비-일시적인 컴퓨터 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory)와 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있으며, 특정 형태로 한정되지 않는다. 또한, 메모리(213)에는 장치(210)의 구동 또는 동작과 관련된 명령어나 프로그램 코드를 저장할 수 있다. 또한, 메모리(213)에는 장치(210)의 운영체제나 기타 소프트웨어들이 저장될 수 있다. 또한, 일 예로, 장치(210)는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩되는 소프트웨어를 이용할 수 있다. 여기서, 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 및 그 밖의 기록매체를 포함할 수 있으며, 특정 실시예로 한정되지 않는다.
하기에서는 상술한 장치(210)에 기초하여 불량 검사를 수행하는 방법에 대해 서술한다. 일 예로, 불량 검사를 위한 학습이 상술한 장치(210)를 통해 수행될 수 있으나, 특정 형태로 한정되지 않는다. 또한, 불량 검사에 기초한 정보들은 상술한 장치(210) 및 다른 장치들로 네트워크(150)를 통해 공유될 수 있으며, 특정 형태로 한정되지 않는다.
일 예로, 기계학습에 기초하여 이상 탐지(anomaly detection)가 수행될 수 있다. 이상 탐지는 정상 제품(또는 샘플)에서 불량 제품(또는 비정상 샘플)을 구별하는 것을 의미할 수 있으며, 이상 탐지를 위한 학습기법이 적용될 수 있다. 여기서, 지도학습(supervised learning)에 기초한 이상 탐지는 정상 데이터와 불량 데이터에 대한 라벨이 모두 존재하는 경우일 수 있다. 즉, 정상 데이터와 불량 데이터 각각에 대한 라벨에 기초하여 학습이 수행되기 때문에 이상 탐지 또는 불량 검사에 대한 정확도가 높을 수 있다. 일 예로, 불량 데이터에 대한 샘플이 다양할수록 정확도가 높아질 수 있다.
또 다른 일 예로, 비지도 학습으로 한 클래스 이상 탐지(one class anomaly detection) 기법에 기초하여 이상 탐지가 수행될 수 있다. 여기서, 한 클래스 이상 탐지는 불량 데이터를 사용하지 않고 정상 데이터만을 통해 학습이 수행되는 비지도 학습 기반 학습 모델일 수 있다. 지도학습을 위해서는 불량 데이터에 대한 샘플이 다수 필요할 수 있으나, 불량 데이터를 확보하기 위해 시간과 비용이 많이 들 수 있으며, 신규라인에서는 불량 데이터가 존재하지 않을 수 있다. 일 예로, 최근 기술의 발달로 인해 불량품이 매우 적거나 아직 나오지 않은 경우도 존재하며, 이러한 경우에는 한 클래스 이상 탐지와 같이 정상 데이터만을 사용해 학습을 통해 정상과 유사하지 않은 것을 불량 데이터로 판별하도록 할 수 있다.
다만, 한 클래스 이상 탐지에서 모든 불량을 잡기 때문에 묵인해도 되는 불량까지 검출할 수 있다. 구체적으로, 한 클래스 이상 탐지에서는 정상 데이터를 기반으로 학습이 수행되기 때문에 정상 데이터와 상이한 데이터는 불량 데이터로 간주될 수 있으며, 이에 따라 묵인해도 되는 불량으로 정상 데이터로 분류될 데이터가 불량 데이터로 분류될 수 있다. 즉, 상술한 학습 방법은 원하는 종류의 불량만을 집중적으로 찾아내는데 한계가 존재할 수 있다. 상술한 점을 고려하여 하기에서는 준지도 학습으로 에프터 서비스(after service) 모델에 기초하여 소수의 불량 데이터와 정상 데이터를 추가적으로 학습시켜 묵인해도 되는 불량을 검출하지 않고, 원하는 불량을 더 정밀하게 검출하도록 하는 방법에 대해 서술한다. 이러한 방식의 장점은 아직 불량이 나오지 않은 신규라인에도 적용할 수 있을뿐더러 추후 불량이 나올 경우 불량 검사 시스템을 더욱 정교하게 변경할 수 있다.
일 예로, 기존의 비전 불량 검사기술은 수 많은 정상 데이터와 모든 유형을 나타내는 충분한 양을 가진 불량 데이터를 이용해 완전 지도 학습(Fully-Supervised Learning)기반으로 개발되었다. 상술한 방식은 정확도가 높지만 기술이 발전하고 공정이 정교해짐에 따라 불량 데이터 발생이 줄어들어 불량 데이터 확보가 어려워지고, 학습하지 않은 유형의 불량을 검출하지 못하는 문제가 발생할 수 있다. 이에, 불량 데이터를 적게 사용하는 준 지도 학습(Semi-Supervised Learning) 기반의 불량 검사 기술들도 개발 되었다. 다만, 공장의 신규라인과 같은 아직 불량 데이터가 나오지 않거나 새로운 불량 유형이 나오는 경우, 불량 검출에 한계가 존재할 수 있다.
상술한 점을 고려하여 불량 데이터를 사용하지 않는 비지도 학습(unsupervised learning) 기반의 불량 검사기술이 필요할 수 있다. 여기서, 한 클래스 이상 탐지(one class anomaly detection)는 오직 한 가지 경우의 제품에 대해 정상 데이터만을 가지고 학습해 정상데이터와 다른 특징을 가진 경우 불량으로 검출하는 기술일 수 있다. 다만, 한 클래스 이상 탐지는 정상 데이터만을 가지고 학습하므로 범용성은 뛰어날 수 있으나, 묵인할 수 있는 불량이더라도 학습했던 정상 데이터와 상이하면 전부 불량으로 검출할 수 있다. 또한, 특정한 불량을 검출하고자 하는 경우에도 모든 불량이 검출되기 때문에 불량 특징을 고려하여 불량 검출을 수행하는데 한계가 존재하였다.
하기에서는 상술한 점을 고려하여 비지도 학습인 한 클래스 이상 탐지 기술과 준지도 학습을 결합하여 학습을 수행하는 방법에 대해 서술한다. 구체적으로, 불량 검출은 먼저 한 클래스 이상 탐지 기술에 기초하여 진행될 수 있다. 한 클래스 이상 탐지는 정상 데이터만을 이용하여 학습을 수행하기 때문에 불량 데이터가 없는 신규 라인에도 적용될 수 있다.
이후, 불량 검출에 대해 준지도 학습으로 구성된 에프터 서비스(after service) 모델을 적용할 수 있다. 이때, 에프터 서비스 모델에 기초하여 비지도 학습으로 불량 데이터로 검출된 데이터 중 묵인할만한 불량인 경우 불량으로 검출되지 않도록 모델을 강화할 수 있다. 또한, 에프터 서비스 모델은 라벨과 함께 제공되는 불량 데이터를 통해 해당 영역의 불량 검출 확률을 높여 특정 불량을 집중적으로 검출하도록 할 수 있다. 즉, 불량 검출을 위한 불량 검사는 비지도 학습에서 시작하고, 준지도 학습으로 점진적으로 전환되어 모델이 강화되도록 할 수 있다.
상술한 바에 기초하여 정상 데이터만을 가진 신규라인도 비전검사 시스템을 가질 수 있으며, 준지도 학습으로 점진적으로 전환되므로 시간이 지날수록 점점 더 정교해지는 모델을 갖출 수 있다. 상술한 모델을 통해 비전검사 시스템을 갖출 수 없었던 다품종 소로트생산에도 비전검사 시스템을 갖출 수 있도록 할 수 있다.
도 3은 본 개시에 적용되는 비지도 학습 기반의 불량 검사를 수행하고, 준지도 학습에 기초하여 불량 검사 모듈을 강화하는 방법을 나타낸 도면이다.
도 3을 참조하면, 비지도 학습 기반 불량 검사가 수행될 수 있다. 여기서, 비지도 학습 불량 검사는 정상 데이터(311)만을 이용하여 학습을 수행하는 한 클래스 이상 탐지(one class anomaly detection) 모델(312)에 기초하여 수행될 수 있다. 구체적으로, 한 클래스 이상 탐지 모델(312)은 하나의 제품에 대해 정상 데이터(311)를 통해 학습을 수행하고, 정상 데이터(311)와 상이한 데이터를 불량 데이터로 검출하도록 학습될 수 있다. 그 후, 학습된 한 클래스 이상 탐지 모델(312)은 불량 검사 모듈(322)에 적용될 수 있다. 일 예로, 불량 검사 모듈(322)은 상술한 장치에서 동작할 수 있으며, 불량 검사를 수행하는 엔티티로 특정 형태로 한정되지 않는다. 즉, 불량 검사 모듈(322)은 장치나 네트워크에서 구현되어 상술한 한 클래스 이상 탐지 모델(312)이 적용되는 모듈일 수 있으며, 그 형태가 제한되는 것은 아닐 수 있다. 여기서, 불량 검사 모듈(322)에 불량 검사 대상(321)이 입력으로 제공되고, 불량 검사 결과(323)로서 불량 여부 및 불량 영역에 대한 정보가 출력으로 도출될 수 있다. 상술한 바에 기초하여 비지도 학습 기반 불량 검사가 수행될 수 있으며, 불량 데이터가 적은 경우나 신규라인에서도 불량 검사가 가능할 수 있다. 이때, 일 예로, 비지도 학습 불량 검사를 수행함과 동시에 에프터 서비스(after service) 모델(332)에 기초하여 준지도 학습을 통한 모델 강화가 수행될 수 있다. 보다 상세하게는, 정상 데이터(311)를 기반으로 학습된 한 클래스 이상 탐지 모델(312)에 추가적으로 준지도 학습으로 에프터 서비스 모델(332)이 동시에 적용되어 불량 검사 모듈(322)이 강화될 수 있다. 여기서, 한 클래스 이상 탐지 모델(312)과 에프터 서비스 모델(332)은 각각의 학습모델일 수 있으며, 불량 검사 모듈(322)에서 동시에 적용될 수 있다. 일 예로, 학습된 한 클래스 이상 탐지 모델(312)에서 에프터 서비스 모델(332)에 기초하여 불량 검사 모듈(322)이 강화되는 경우, 묵인할만한 불량을 지닌 정상 데이터(331)가 에프터 서비스 모델(332)의 입력으로 제공될 수 있다. 또 다른 일 예로, 특정 불량 영역을 라벨링한 불량 데이터(333)가 에프터 서비스 모델(332)의 입력으로 제공될 수 있다. 에프터 서비스 모델(332)은 상술한 입력 데이터를 기반으로 학습을 수행하여 모델을 강화할 수 있다. 즉, 불량 검사 모듈(322)의 불량 검사 모델은 비지도 학습 기반 모델에서 준지도 학습 기반 모델이 적용되어 점진적으로 강화될 수 있다.
도 4 및 도 5는 본 개시에 적용되는 비지도 학습 기반의 불량 검사 모델을 나타낸 도면이다. 도 4 및 도 5를 참조하면, 불량 검사 모듈에 비지도 학습 기반 모델에 기초하여 학습이 수행될 수 있다. 여기서, 비지도 학습 기반 모델은 one class anomaly detection 모델일 수 있으며, 정상 데이터(410)만을 이용할 수 있다. 구체적으로, 비지도 학습 기반 모델은 정상 데이터(410)를 입력으로 할 수 있다. 정상 데이터(410)는 ResNet(Residual neural network, 420)을 통해 피쳐맵 1(430)을 생성할 수 있다. 또한, 정상 데이터(410)는 ResNet(420)을 통해 피쳐 압축 모듈(440)을 통해 압축된 두 이미지 복원 모듈(450)을 통해 복원되어 피쳐맵 2(460)를 생성할 수 있다. 이후, 피쳐맵 1(430)과 피쳐맵(460) 사이의 유사도를 산출해 두 피쳐맵 사이의 유사도를 산출해 두 피쳐맵이 유사해지도록 인공지능 모델이 학습될 수 있다. 여기서, 두 피쳐맵의 유사도가 낮을수록 불량 점수가 높게 책정될 수 있으며, 불량 데이터인 확률이 높을 수 있다. 상술한 바에 기초하여 학습된 인공지능 모델에 불량 데이터가 입력으로 제공되는 경우, 불량 데이터에서 피쳐맵 1과 피쳐맵 2가 도출되면 피쳐맵 1과 피쳐맵 2에서 차이가 발생할 수 있으며, 도 5와 같을 수 있다. 상술한 바에 기초하여 불량 검사 모듈에서는 정상 데이터만을 이용하여 비지도 학습 기반의 모델이 생성될 수 있으며, 불량 데이터를 검출할 수 있다. 다만, 도 5에서처럼 정답 영역과 검출 영역이 유사할 수 있으나, 묵인할만한 불량인지 여부에 대한 검출에 한계가 존재할 수 있으며, 특정 불량을 검출하는 능력에도 한계가 존재할 수 있다.
도 6은 본 개시에 적용되는 준지도 학습을 통해 모델을 강화하는 방법을 나타낸 도면이다. 불량 검사 모듈에서는 상술한 바와 같이 비지도 학습 기반으로 학습이 수행되어 불량 검사 학습 모델이 생성될 수 있다. 여기서, 불량 검사 학습 모델은 준지도 학습을 통해 강화될 수 있다. 구체적인 일 예로, 도 6(a)를 참조하면, 불량 검사 학습 모델에 상술한 에프터 서비스 모델에 기초하여 묵인할만한 불량 A를 가진 정상 데이터가 입력으로 제공될 수 있다.(S610) 여기서, 불량 A 영역의 불량 점수가 산출될 수 있고(S620), 불량 A 영역의 불량 점수를 낮게 부과하도록 학습할 수 있다.(S630) 즉, 묵인할만한 불량 A를 가진 정상 데이터를 이용하여 준지도 학습으로 에프터 서비스 모델을 통해 불량 검사 학습 모델을 강화할 수 있다. 상술한 바를 통해 불량 A와 유사한 데이터가 입력으로 제공되는 경우에 불량 검사 학습 모델은 해당 데이터를 정상 데이터로 분류할 수 있다.
또 다른 일 예로, 도 6(b)를 참조하면, 불량 검사 학습 모델에 특히 검출하고자 하는 불량 B를 가진 이미지와 해당 영역의 라벨 정보가 입력으로 제공될 수 있다.(S640) 그 후, 준지도 학습으로 에프터 서비스 모델에 기초하여 불량 B 영역의 불량 점수가 산출되고(S650), 불량 B 영역의 불량 점수를 높게 부과하도록 학습할 수 있다.(S660) 즉, 불량 B 영역에 대해서는 불량 점수가 높도록 가중치가 부여되어 학습될 수 있으며, 이를 통해 불량 검사 학습 모델이 강화될 수 있다. 상술한 바를 통해, 불량 B와 유사한 데이터가 입력으로 제공되는 경우에 불량 검사 학습 모델은 해당 데이터를 불량 데이터로 분류할 수 있다.
상술한 바에 기초하여 불량 검사 모듈은 비지도 학습 기반 모델에서 준지도 학습 모델로 점진적으로 강화될 수 있다. 즉, 불량 데이터가 적거나 신규라인처럼 불량 데이터가 없는 경우에도 불량 검사 모듈을 구성할 수 있으며, 이후 발생하는 불량 데이터를 기반으로 준지도 학습 기반 모델을 통해 학습이 수행되어 모델이 강화될 수 있다.
여기서, 일 예로, 준지도 학습의 에프터 서비스 모델은 비지도 학습 기반 불량 검사 학습 모델에서 불량 데이터가 발생되면 적용되어 모델을 강화할 수 있다. 즉, 정상 데이터만을 이용하여 학습된 불량 검사 학습 모델에서 정상 데이터와 상이한 불량 데이터가 발생된 경우, 불량 데이터를 체크하여 라벨링이 수행될 수 있다. 일 예로, 불량 데이터에서 불량이 발생한 특정 영역을 식별한 경우, 해당 특정 영역이 묵인할만한 불량으로 정상 데이터로 분류될 필요성이 있는지 여부가 판단될 수 있다. 이때, 묵인할만한 불량으로 판단되는 경우, 에프터 서비스 모델에 기초하여 불량 데이터에서 특정 영역에 대한 불량 점수가 산출되고, 가중치를 낮게 적용하여 불량 점수를 낮게 부과하도록 학습될 수 있다.
반면, 불량 데이터에서 불량이 발생한 특정 영역을 식별하고, 해당 특정 영역이 특히 검출하고자 하는 불량인 경우에 해당 특정 영역에 대한 불량 점수를 산출하고, 가중치를 높게 적용하여 불량 점수를 높게 부과하도록 학습될 수 있다. 즉, 각각의 불량 영역에 대한 타입을 고려하여 준지도 학습 기반 학습을 수행하도록 하여 모델을 강화할 수 있다. 상술한 바를 통해 불량 데이터가 소수이거나 불량 데이터가 없는 신규라인에서도 불량 검사 학습 모델을 구축하여 점진적으로 강화되는 학습 모델을 적용할 수 있다.
도 7은 본 개시에 적용되는 사후 보정이 가능한 비지도 학습 기반 불량 검사 수행 방법을 나타낸 순서도이다.
도 7을 참조하면, 비지도 학습에 기초하여 정상 데이터만으로 학습을 수행한 제1 불량 검사 학습 모델을 불량 검사 모듈에 적용할 수 있다.(S710) 그 후, 불량 검사 모듈에 데이터를 입력으로 제공하고(S720), 불량 검사 모듈에 기초하여 입력으로 제공된 데이터에 대한 불량 여부 및 불량 영역에 대한 정보를 포함하는 불량 검사 결과 정보를 출력으로 도출할 수 있다.(S730) 그 후, 불량 검사 결과 정보에 기초하여 불량 데이터 여부를 판단할 수 있다. (S740) 여기서, 불량 데이터가 발생한 경우, 불량 데이터를 통해 준지도 학습에 기초하여 제2 불량 검사 학습모델을 학습하고, 학습된 제2 불량 검사 학습모델을 불량 검사 모듈에 적용하여 업데이트할 수 있다.
일 예로, 사후 보정이 가능한 비지도 학습 기반 불량 검사는 상술한 장치에 기초하여 수행될 수 있다. 또한, 일 예로, 사후 보정이 가능한 비지도 학습 기반 불량 검사를 수행하는 불량 검사 모듈은 상술한 비지도 학습 기반의 제1 불량 검사 학습모델 및 준지도 학습 기반의 제2 불량 검사 학습모델을 포함할 수 있다.
일 예로, 비지도 학습에 기초하여 학습하는 제1 불량 검사 학습모델은 상술한 한 클래스 이상 감지(one class anomaly detection) 모델일 수 있다. 또한, 제1 불량 검사 학습모델은 하나의 제품에 대한 정상 데이터만으로 불량 데이터 없이 학습할 수 있다. 여기서, 제1 불량 검사 학습모델에 기초하여 학습되는 경우, 정상 데이터에서 ResNet을 통해 제1 피쳐 맵이 생성되고, 정상 데이터에서 피쳐 압축 모듈을 통해 압축된 후 이미지 복원 모듈의 복원을 통해 제2 피쳐 맵이 생성될 수 있다. 그 후, 제1 피쳐 맵과 제2 피쳐 맵의 유사도에 기초하여 학습되며, 제1 피쳐 맵과 제2 피쳐 맵의 유사도가 낮을수록 불량 점수가 높게 책정될 수 있다. 또한, 불량 검사 모듈에 데이터가 입력으로 제공되는 경우, 데이터의 제1 피쳐 맵 및 데이터의 제2 피쳐 맵이 생성된 후 유사도 비교를 통해 불량 점수가 도출되고, 불량 점수에 기초하여 불량 데이터 여부가 결정될 수 있다.
또한, 일 예로, 제2 불량 검사 학습모델은 에프터 서비스(after service) 모델이고, 발생한 불량 데이터에 대한 라벨링에 기초하여 학습할 수 있다. 여기서, 발생한 불량 데이터가 묵인 가능한 제1 불량 영역을 포함하는 불량 데이터인 경우, 제2 불량 검사 학습모델에 기초하여 제1 불량 영역의 불량 점수를 산출하고, 제1 불량 영역의 불량점수에 낮은 가중치를 적용하여 제2 불량 검사 학습모델을 학습할 수 있다. 반면, 발생한 불량 데이터가 타겟하는 불량으로 제2 불량 영역을 포함하는 불량 데이터인 경우, 제2 불량 검사 학습모델에 기초하여 제2 불량 영역의 불량 점수를 산출하고, 제2 불량 영역의 불량점수에 높은 가중치를 적용하여 제2 불량 검사 학습모델을 학습할 수 있으며, 이는 상술한 바와 같다. 또한, 제2 불량 검사 학습모델에 기초하여 업데이트된 불량 검사 모듈에 기초하여 불량 데이터 여부가 판단될 수 있다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시형태에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시 형태를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 이상에서는 본 명세서의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 명세서의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
그리고 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.
210 : 장치
211 : 장치의 제어부
212 : 장치의 송수신부
213 : 장치의 메모리
220 : 장치
221 : 장치의 제어부
222 : 장치의 송수신부
223 : 장치의 메모리

Claims (19)

  1. 사후 보정이 가능한 비지도 학습 기반 불량 검사 방법에 있어서,
    비지도 학습에 기초하여 정상 데이터만으로 학습한 제1 불량 검사 학습모델을 불량 검사 모듈에 적용하는 단계;
    상기 불량 검사 모듈에 데이터를 입력으로 제공하는 단계; 및
    상기 불량 검사 모듈에 기초하여 입력으로 제공된 상기 데이터에 대한 불량 여부 및 불량 영역에 대한 정보를 포함하는 불량 검사 결과 정보를 출력으로 도출하여 불량 데이터 여부를 판단하는 단계를 포함하되,
    불량 데이터가 발생한 경우, 상기 불량 데이터를 통해 준지도 학습에 기초하여 제2 불량 검사 학습모델을 학습하고, 학습된 상기 제2 불량 검사 학습모델을 상기 불량 검사 모듈에 적용하여 업데이트하는, 불량 검사 방법.
  2. 제1 항에 있어서,
    상기 비지도 학습에 기초하여 학습하는 상기 제1 불량 검사 학습모델은 한 클래스 이상 감지(one class anomaly detection) 모델인, 불량 검사 방법.
  3. 제2 항에 있어서,
    상기 제1 불량 검사 학습모델은 하나의 제품에 대한 상기 정상 데이터만으로 불량 데이터 없이 학습하는, 불량 검사 방법.
  4. 제3 항에 있어서,
    상기 제1 불량 검사 학습모델에 기초하여 학습되는 경우, 상기 정상 데이터에서 ResNet을 통해 제1 피쳐 맵이 생성되고,
    상기 정상 데이터에서 피쳐 압축 모듈을 통해 압축된 후 이미지 복원 모듈의 복원을 통해 제2 피쳐 맵이 생성되고,
    상기 제1 피쳐 맵과 상기 제2 피쳐 맵의 유사도에 기초하여 학습하되,
    상기 제1 피쳐 맵과 상기 제2 피쳐 맵의 유사도가 낮을수록 불량 점수가 높게 책정되는, 불량 검사 방법.
  5. 제4 항에 있어서,
    상기 불량 검사 모듈에 상기 데이터가 입력으로 제공되는 경우, 데이터의 제1 피쳐 맵 및 데이터의 제2 피쳐 맵이 생성된 후 유사도 비교를 통해 불량 점수가 도출되고,
    상기 불량 점수에 기초하여 불량 데이터 여부가 결정되는, 불량 검사 방법.
  6. 제1 항에 있어서,
    상기 제2 불량 검사 학습모델은 에프터 서비스(after service) 모델이고, 발생한 상기 불량 데이터에 대한 라벨링에 기초하여 학습하는, 불량 검사 방법.
  7. 제6 항에 있어서,
    발생한 상기 불량 데이터가 묵인 가능한 제1 불량 영역을 포함하는 불량 데이터인 경우, 상기 제2 불량 검사 학습모델에 기초하여 제1 불량 영역의 불량 점수를 산출하고, 상기 제1 불량 영역의 불량점수에 낮은 가중치를 적용하여 상기 제2 불량 검사 학습모델을 학습하는, 불량 검사 방법.
  8. 제6 항에 있어서,
    발생한 상기 불량 데이터가 타겟하는 불량으로 제2 불량 영역을 포함하는 불량 데이터인 경우, 상기 제2 불량 검사 학습모델에 기초하여 제2 불량 영역의 불량 점수를 산출하고, 상기 제2 불량 영역의 불량점수에 높은 가중치를 적용하여 상기 제2 불량 검사 학습모델을 학습하는, 불량 검사 방법.
  9. 제6 항에 있어서,
    상기 제2 불량 검사 학습모델에 기초하여 업데이트된 상기 불량 검사 모듈에 기초하여 상기 불량 데이터 여부가 판단되는, 불량 검사 방법.
  10. 사후 보정이 가능한 비지도 학습 기반 불량 검사를 수행하는 장치에 있어서,
    메모리;
    송수신부; 및
    상기 메모리와 상기 송수신부를 제어하는 제어부를 포함하되,
    상기 제어부는
    비지도 학습에 기초하여 정상 데이터만으로 학습한 제1 불량 검사 학습모델을 불량 검사 모듈에 적용하고,
    상기 불량 검사 모듈에 데이터를 입력으로 제공하고, 및
    상기 불량 검사 모듈에 기초하여 입력으로 제공된 상기 데이터에 대한 불량 여부 및 불량 영역에 대한 정보를 포함하는 불량 검사 결과 정보를 출력으로 도출하여 불량 데이터 여부를 판단하되,
    불량 데이터가 발생한 경우, 상기 불량 데이터를 통해 준지도 학습에 기초하여 제2 불량 검사 학습모델을 학습하고, 학습된 상기 제2 불량 검사 학습모델을 상기 불량 검사 모듈에 적용하여 업데이트하는, 불량 검사를 수행하는 장치.
  11. 제10 항에 있어서,
    상기 비지도 학습에 기초하여 학습하는 상기 제1 불량 검사 학습모델은 한 클래스 이상 감지(one class anomaly detection) 모델인, 불량 검사를 수행하는 장치.
  12. 제11 항에 있어서,
    상기 제1 불량 검사 학습모델은 하나의 제품에 대한 상기 정상 데이터만으로 불량 데이터 없이 학습하는, 불량 검사를 수행하는 장치.
  13. 제12 항에 있어서,
    상기 제1 불량 검사 학습모델에 기초하여 학습되는 경우, 상기 정상 데이터에서 ResNet을 통해 제1 피쳐 맵이 생성되고,
    상기 정상 데이터에서 피쳐 압축 모듈을 통해 압축된 후 이미지 복원 모듈의 복원을 통해 제2 피쳐 맵이 생성되고,
    상기 제1 피쳐 맵과 상기 제2 피쳐 맵의 유사도에 기초하여 학습하되,
    상기 제1 피쳐 맵과 상기 제2 피쳐 맵의 유사도가 낮을수록 불량 점수가 높게 책정되는, 불량 검사를 수행하는 장치.
  14. 제13 항에 있어서,
    상기 불량 검사 모듈에 상기 데이터가 입력으로 제공되는 경우, 데이터의 제1 피쳐 맵 및 데이터의 제2 피쳐 맵이 생성된 후 유사도 비교를 통해 불량 점수가 도출되고,
    상기 불량 점수에 기초하여 불량 데이터 여부가 결정되는, 불량 검사를 수행하는 장치.
  15. 제10 항에 있어서,
    상기 제2 불량 검사 학습모델은 에프터 서비스(after service) 모델이고, 발생한 상기 불량 데이터에 대한 라벨링에 기초하여 학습하는, 불량 검사를 수행하는 장치.
  16. 제15 항에 있어서,
    발생한 상기 불량 데이터가 묵인 가능한 제1 불량 영역을 포함하는 불량 데이터인 경우, 상기 제2 불량 검사 학습모델에 기초하여 제1 불량 영역의 불량 점수를 산출하고, 상기 제1 불량 영역의 불량 점수에 낮은 가중치를 적용하여 상기 제2 불량 검사 학습모델을 학습하는, 불량 검사 방법.
  17. 제15 항에 있어서,
    발생한 상기 불량 데이터가 타겟하는 불량으로 제2 불량 영역을 포함하는 불량 데이터인 경우, 상기 제2 불량 검사 학습모델에 기초하여 제2 불량 영역의 불량 점수를 산출하고, 상기 제2 불량 영역의 불량점수에 높은 가중치를 적용하여 상기 제2 불량 검사 학습모델을 학습하는, 불량 검사를 수행하는 장치.
  18. 제15 항에 있어서,
    상기 제2 불량 검사 학습모델에 기초하여 업데이트된 상기 불량 검사 모듈에 기초하여 상기 불량 데이터 여부가 판단되는, 불량 검사를 수행하는 장치.
  19. 사후 보정이 가능한 비지도 학습 기반 불량 검사를 수행하는 불량 검사 모듈에 있어서,
    상기 불량 검사 모듈은
    비지도 학습 기반의 제1 불량 검사 학습모델 및 준지도 학습 기반의 제2 불량 검사 학습모델을 포함하고,
    비지도 학습에 기초하여 정상 데이터만으로 상기 제1 불량 검사 학습모델을 학습하여 상기 불량 검사 모듈에 적용하고,
    상기 불량 검사 모듈에 데이터를 입력으로 제공하고, 및
    상기 불량 검사 모듈에 기초하여 입력으로 제공된 상기 데이터에 대한 불량 여부 및 불량 영역에 대한 정보를 포함하는 불량 검사 결과 정보를 출력으로 도출하여 불량 데이터 여부를 판단하되,
    불량 데이터가 발생한 경우, 상기 불량 데이터를 준지도 학습에 기초하여 상기 제2 불량 검사 학습모델을 학습하고, 학습된 상기 제2 불량 검사 학습모델을 상기 불량 검사 모듈에 적용하여 업데이트하는, 불량 검사 모듈.
KR1020230001187A 2023-01-04 2023-01-04 사후 보정이 가능한 비지도 학습기반 불량 검사 방법 및 장치 KR20240109419A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230001187A KR20240109419A (ko) 2023-01-04 2023-01-04 사후 보정이 가능한 비지도 학습기반 불량 검사 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230001187A KR20240109419A (ko) 2023-01-04 2023-01-04 사후 보정이 가능한 비지도 학습기반 불량 검사 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20240109419A true KR20240109419A (ko) 2024-07-11

Family

ID=91924858

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230001187A KR20240109419A (ko) 2023-01-04 2023-01-04 사후 보정이 가능한 비지도 학습기반 불량 검사 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20240109419A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102271418B1 (ko) 2019-06-17 2021-07-01 라온피플 주식회사 제품 검사를 위한 자동 학습 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102271418B1 (ko) 2019-06-17 2021-07-01 라온피플 주식회사 제품 검사를 위한 자동 학습 방법 및 시스템

Similar Documents

Publication Publication Date Title
CN108984234B (zh) 一种移动终端与摄像装置的调用提示方法
KR20220038907A (ko) 생성적 대립 신경망(gan) 기반의 데이터 예측 방법, 그리고 이를 구현하기 위한 장치
JP2024522120A (ja) オブジェクトの機械学習分析に基づく画像ベースの異常検出
CN115905450A (zh) 一种基于无人机监控的水质异常溯源方法及系统
CN115145391A (zh) 一种基于ai深度学习的虚拟现实跑步机自适应方法及系统
US20240161486A1 (en) Systems and methods for image classification
KR102371487B1 (ko) 명목형 데이터를 포함하는 데이터를 기반으로 하는 학습 방법 및 장치
US20230305919A1 (en) Electronic apparatus and operating method thereof
KR20240109419A (ko) 사후 보정이 가능한 비지도 학습기반 불량 검사 방법 및 장치
CN116778412A (zh) 基于模型分析的园区异常事件预警方法及系统
CN116245808A (zh) 工件缺陷检测方法、装置、电子设备及存储介质
US11557041B2 (en) Dynamic artificial intelligence camera model update
CA3221548A1 (en) Systems and methods for knowledge-based reasoning of an autonomous system
CN115600213A (zh) 基于应用程序的漏洞管理方法、装置、介质及设备
KR20220022383A (ko) 멀티미디어 기기의 테스트 방법 및 시스템
US11921957B2 (en) Follow-the-leader control of tapping devices
US20190325094A1 (en) System and method for automating the creation of machine learning based hardware and software component simulators
KR20230138335A (ko) 제품 이미지를 기반으로 불량 제품을 감지하는 인공 지능 장치 및 그 방법
US20240219326A1 (en) Systems, apparatus, articles of manufacture, and methods to inspect semiconductor wafers
US20230350392A1 (en) Method and system for seamless transition of runtime system from controller device to digitalization platform
US20240259408A1 (en) Test case-based anomaly detection within a computing environment
US12020421B2 (en) Image defect detection method, electronic device using the same
US20240185090A1 (en) Assessment of artificial intelligence errors using machine learning
KR20230138314A (ko) 제품 이미지를 기반으로 불량 제품을 감지하는 인공 지능 장치 및 그 방법
US20230245450A1 (en) Learning semantic segmentation models in the absence of a portion of class labels