KR102434442B1 - 검사 대상의 결함 검사를 고속으로 수행하는 방법 및 이를 수행하는 장치들 - Google Patents

검사 대상의 결함 검사를 고속으로 수행하는 방법 및 이를 수행하는 장치들 Download PDF

Info

Publication number
KR102434442B1
KR102434442B1 KR1020200072390A KR20200072390A KR102434442B1 KR 102434442 B1 KR102434442 B1 KR 102434442B1 KR 1020200072390 A KR1020200072390 A KR 1020200072390A KR 20200072390 A KR20200072390 A KR 20200072390A KR 102434442 B1 KR102434442 B1 KR 102434442B1
Authority
KR
South Korea
Prior art keywords
layer
neural network
feature map
artificial neural
layers
Prior art date
Application number
KR1020200072390A
Other languages
English (en)
Other versions
KR20210155191A (ko
Inventor
윤종필
정승현
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020200072390A priority Critical patent/KR102434442B1/ko
Publication of KR20210155191A publication Critical patent/KR20210155191A/ko
Application granted granted Critical
Publication of KR102434442B1 publication Critical patent/KR102434442B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

검사 대상의 결함 검사를 고속으로 수행하는 방법 및 이를 수행하는 장치들이 개시된다. 일 실시예에 따른 검사 대상의 결함 검사를 고속으로 수행하는 방법은 상기 검사 대상에 대한 학습 데이터들을 통해 학습된 제1 인공 신경망의 복수의 레이어들의 특징 맵을 이용하여 최종 특징 맵을 생성하는 단계와, 상기 최종 특징 맵 및 상기 학습 데이터들을 통해 학습된 제2 인공 신경망을 이용하여 상기 검사 대상의 결함 검사를 수행하는 단계를 포함한다.

Description

검사 대상의 결함 검사를 고속으로 수행하는 방법 및 이를 수행하는 장치들{METHOD OF PERFORMING DEFECT INSPECTION OF INSPECTION OBJECT AT HIGH SPEED AND APPARATUSES PERFORMING THE SAME}
아래 실시예들은 검사 대상의 결함 검사를 고속으로 수행하는 방법 및 이를 수행하는 장치들에 관한 것이다.
최근에는 검사 대상(또는 제품)이 촬영된 영상을 통해 제품의 결함을 검사할 수 있다. 영상에서 결함의 종류를 판단하는 인식 모듈은 영상 결함 검사 성능에 많은 영향을 미치는 주요 요소일 수 있다.
과거에는 개발자의 경험적 판단으로 검사 대상에 대한 정상과 결함을 판단하는 rule-base 방법에 의존하여 검사 대상에 대한 특징의 주요 인자를 추출하는 알고리즘 개발 방법으로 결함 검사 시스템을 개발하였다.
하지만, 기존의 결함 검사 방법은 개발 기간이 길어지는 단점 및 제품과 결함에 따라 매번 주요 인자 추출 알고리즘을 개발해야 하는 단점이 있다.
실시예들은 레이어 수가 많은 인공 신경망의 연산 속도와 성능의 trade-off 문제가 해결된 인공 신경망을 이용하여 검사 대상의 결함 검사를 고속으로 수행하는 기술을 제공할 수 있다.
다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.
일 실시예에 따른 검사 대상의 결함 검사를 고속으로 수행하는 방법은 상기 검사 대상에 대한 학습 데이터들을 통해 학습된 제1 인공 신경망의 복수의 레이어들의 특징 맵을 이용하여 최종 특징 맵을 생성하는 단계와, 상기 최종 특징 맵 및 상기 학습 데이터들을 통해 학습된 제2 인공 신경망을 이용하여 상기 검사 대상의 결함 검사를 수행하는 단계를 포함하고, 상기 제1 인공 신경망은 레이어 수가 많은 신경망이고, 상기 제2 인공 신경망은 레이어 수가 적은 신경망일 수 있다.
상기 생성하는 단계는 상기 학습된 제1 인공 신경망의 출력 레이어부터 입력 레이어까지 순차적으로 상기 복수의 레이어들의 특징 맵을 합하여 상기 최종 특징 맵을 생성하는 단계를 포함할 수 있다.
상기 복수의 레이어들의 특징 맵을 합하여 상기 최종 특징 맵을 생성하는 단계는 상기 복수의 레이어들 내 연속하는 레이어들 중에서 제1 레이어의 특징 맵 크기에 기초하여 상기 연속하는 레이어들 중에서 제2 레이어의 특징 맵의 크기를 조절하는 단계와, 상기 제1 레이어의 특징 맵과 크기가 조절된 특징 맵을 곱하는 단계를 포함할 수 있다.
상기 제1 레이어는 상기 연속하는 레이어들 중에서 상기 입력 레이어 측에 위치한 레이어이고, 상기 제2 레이어는 상기 연속하는 레이어들 중에서 상기 출력 레이어 측에 위치한 레이어일 수 있다.
상기 제2 레이어가 상기 출력 레이어가 아닌 경우, 상기 제2 레이어의 특징 맵은 상기 복수의 레이어들 중에서 상기 출력 레이어부터 상기 제2 레이어까지의 특징 맵들이 합산된 특징 맵일 수 있다.
일 실시예에 따른 검사 대상의 결함 검사를 고속으로 수행하는 장치는 인스트럭션들을 포함하는 메모리와, 상기 인스트럭션들을 실행하기 위한 컨트롤러를 포함하고, 상기 컨트롤러는 상기 검사 대상에 대한 학습 데이터들을 통해 학습된 제1 인공 신경망의 복수의 레이어들의 특징 맵을 이용하여 최종 특징 맵을 생성하고, 상기 최종 특징 맵 및 상기 학습 데이터들을 통해 학습된 제2 인공 신경망을 이용하여 상기 검사 대상의 결함 검사를 수행하고, 상기 제1 인공 신경망은 레이어 수가 많은 신경망이고, 상기 제2 인공 신경망은 레이어 수가 적은 신경망일 수 있다.
상기 컨트롤러는 상기 학습된 제1 인공 신경망의 출력 레이어부터 입력 레이어까지 순차적으로 상기 복수의 레이어들의 특징 맵을 합하여 상기 최종 특징 맵을 생성할 수 있다.
상기 컨트롤러는 상기 복수의 레이어들 내 연속하는 레이어들 중에서 제1 레이어의 특징 맵 크기에 기초하여 상기 연속하는 레이어들 중에서 제2 레이어의 특징 맵의 크기를 조절하고, 상기 제1 레이어의 특징 맵과 크기가 조절된 특징 맵을 곱할 수 있다.
상기 제1 레이어는 상기 연속하는 레이어들 중에서 상기 입력 레이어 측에 위치한 레이어이고, 상기 제2 레이어는 상기 연속하는 레이어들 중에서 상기 출력 레이어 측에 위치한 레이어일 수 있다.
상기 제2 레이어가 상기 출력 레이어가 아닌 경우, 상기 제2 레이어의 특징 맵은 상기 복수의 레이어들 중에서 상기 출력 레이어부터 상기 제2 레이어까지의 특징 맵들이 합산된 특징 맵일 수 있다.
도 1은 기존의 결함 검사 방법을 설명하기 위한 일 예를 나타낸다.
도 2는 일 실시예에 따른 결함 검사 시스템의 개략적인 블록도를 나타낸다.
도 3은 도 2에 도시된 결함 검사 장치의 개략적인 블록도를 나타낸다.
도 4는 도 3에 도시된 컨트롤러의 최종 특징 맵 생성 동작을 설명하기 위한 일 예를 나타낸다.
도 5는 도 3에 도시된 컨트롤러의 제2 인공 신경망 학습 동작을 설명하기 위한 일 예를 나타낸다.
도 6은 도 3에 도시된 컨트롤러의 결함 검사 동작을 설명하기 위한 일 예를 나타낸다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
도 1은 기존의 결함 검사 방법을 설명하기 위한 일 예를 나타낸다.
최근에는 스마트 팩토리(smart factory) 구현을 위한 다양한 기술들이 집중 연구되고 있다. 스마트 팩토리는 입력(input)과 출력(output)의 상관관계를 분석하여 품질을 예측하고, 대량 결함 발생을 사전에 방지하고, 설비 고장을 사전에 예측하여 선제적으로 대응할 수 있어야 한다.
스마트 팩토리 구현을 위해서는 공정 데이터가 필요하고, 그 결과로 나타나는 제품의 품질 데이터가 DB(data base)화 되어 있어야 한다. 공정 데이터는 원료량, 원료 품질, 제조 공정 데이터(온도, 습도 등) 및 설비 운전 조건 등의 다양한 데이터일 수 있다.
제품의 결함을 검사하는 결함 검사 시스템은 스마트 팩토리 구현을 위한 핵심 기술일 수 있다. 예를 들어, 결함 검사 시스템은 비전 시스템, 광학 모듈, 데이터 처리 모듈 및 MMI(Man machine interface) 모듈로 구성되어 제품의 결함을 실시간 검사하고 제품의 품질을 판정할 수 있다. 이때, 결함 검사 시스템의 주요 요소는 영상에서 결함의 위치와 종류를 판단하는 데이터 처리 모듈(또는 결함 인식 모듈)일 수 있다.
비전 시스템은 제품의 표면 결함을 검사할 수 있다. 광학 모듈은 제품을 촬영하기 위해서 카메라와 조명으로 구성되어 제품에 대한 영상을 획득할 수 있다. 데이터 처리 모듈은 광학 모듈에서 획득된 영상에서 결함을 검사할 수 있다. MMI 모듈은 제품에 대한 영상과 결함 검사 결과를 표시(또는 디스플레이) 및 저장할 수 있다.
다만, 기존의 결함 검사 방법은 제품과 결함에 따라 주요 인자 추출 알고리즘을 개발해야 하는 단점 및 개발 기간이 길어지는 단점이 있다. 기존의 결함 검사 방법은 상술한 단점으로 인해 기존의 결함을 인식하는 성능이 저하되는 문제가 나타날 수 있다.
최근에는 신경망 레이어가 깊게 쌓여 있는 구조로 레이어 수가 많아질수록 복잡하고 어려운 문제를 풀 수 있는 딥러닝 기술을 이용하여 제품의 결함을 검사하는 인식 알고리즘을 개발하는 추세이다. 딥러닝 기술이 적용된 결함 검사 기술은 영상을 통해 제품의 결함 검출 및 분류를 위한 특징을 추출하여 양품과 불량, 더 나아가서 불량의 종류를 판별하는 결함 검사 기술일 수 있다.
하지만, 생산 속도가 고속인 제품에 대한 전면, 전수 검사를 위해서는 알고리즘의 처리 속도가 매우 고속이여야 하기에, 딥러닝 기반의 알고리즘을 적용하기 어렵다.
도 2는 일 실시예에 따른 결함 검사 시스템의 개략적인 블록도를 나타낸다.
결함 검사 시스템(10)은 이미지 제공 장치(100) 및 결함 검사 장치(300)를 포함할 수 있다.
이미지 제공 장치(100)는 결함 검사 장치(300)가 검사할 검사 대상의 이미지를 결함 검사 장치(300)에 제공할 수 있다. 예를 들어, 이미지 제공 장치(100)는 카메라를 이용하여 검사 대상을 촬영하여 검사 대상에 대응하는 이미지(또는 영상)을 생성할 수 있다. 검사 대상은 다양한 결함(또는 불량)이 발생될 수 있는 다양한 오브젝트(object)일 수 있다. 오브젝트는 스마트 팩토리 및 일반적인 팩토리 등에서 다양한 공정 과정을 거쳐 생성된 제품일 수 있다. 검사 대상의 이미지는 검사 대상의 내부 및/또는 외부 이미지일 수 있다.
결함 검사 장치(300)는 레이어 수가 많은 인공 신경망의 연산 속도와 성능의 trade-off 문제가 해결된 인공 신경망을 이용하여 검사 대상의 결함 검사를 고속으로 수행할 수 있다. 이때, trade-off 문제가 해결된 인공 신경망은 레이어 수가 적은 인공 신경망일 수 있다. 인공 신경망은CNN(convolutional neural network), DNN(deep neural network) 등 다양한 인공 신경망일 수 있다.
이에, 결함 검사 장치(300)는 결함 검사에 대한 연산 속도가 빠르면서 깊은 인공 신경망의 결함 검사 성능을 유지하면서 빠른 연산 속도로 검사 대상의 양불량을 검사할 수 있다. 결함 검사 장치(300)는 검사 대상을 고속으로 생산하는 고속 생산 라인에 적용되어 검사 대상의 결함 검사를 고속으로 수행할 수 있다.
결함 검사 장치(300)는 딥러닝을 이용한 영상 분석 기술을 다양한 제조업 제품의 품질 진단, 결함 검사에 응용하고, 영상에서 개발된 딥러닝을 활용한 결함 검사 기술을 다양한 제품의 내외부 결함 검사, 품질 정량화의 핵심 기술로 사용할 수 있다. 예를 들어, 결함 검사 장치(300)는 특정 대상을 자동으로 검사하는 기술을 통해 결함 검사뿐만 아니라, 비파괴 검사와 같은 진단 분야에도 사용될 수 있다.
결함 검사 장치(300)는 Smart Factory 구현의 필수기술로, 생산 조업 조건에 따른 설비의 상태를 판정하고 설비 상태에 따른 제품의 품질을 예측하여 생산 조건을 최적화하는 기술에도 응용 가능할 수 있다.
이하에서는 설명의 편의를 위해서, 레이어 수가 많은 인공 신경망을 제1 인공 신경망으로 명명하고, 레이어 수가 적은 인공 신경망을 제2 인공 신경망으로 명명하도록 한다.
도 3은 도 2에 도시된 결함 검사 장치의 개략적인 블록도를 나타낸다.
결함 검사 장치(300)는 메모리(310) 및 컨트롤러(330)를 포함할 수 있다.
메모리(310)는 컨트롤러(330)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 컨트롤러(330)의 동작 및/또는 컨트롤러(330)의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
컨트롤러(330)는 메모리(310)에 저장된 데이터를 처리할 수 있다. 컨트롤러(330)는 메모리(310)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 컨트롤러(330)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
컨트롤러(330)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
컨트롤러(330)는 결함 검사 장치(300)의 전반적인 동작을 제어할 수 있다. 예를 들어, 컨트롤러(330)는 메모리(310)의 동작을 제어할 수 있다.
컨트롤러(330)는 검사 대상에 대한 학습 데이터들을 통해 제1 인공 신경망을 학습할 수 있다.
컨트롤러(330)는 학습된 제1 인공 신경망의 복수의 레이어들의 특징 맵을 이용하여 최종 특징 맵을 생성할 수 있다. 예를 들어, 컨트롤러(330)는 학습된 제1 인공 신경망의 출력 레이어부터 입력 레이어까지 순차적으로 복수의 레이어들의 특징 맵을 합하여 최종 특징 맵을 생성할 수 있다. 이때, 컨트롤러(330)는 학습된 제1 인공 신경망의 복수의 레이어들 내 연속하는 레이어들 중에서 제1 레이어의 특징 맵 크기에 기초하여 연속하는 레이어들 중에서 제2 레이어의 특징 맵의 크기를 조절할 수 있다. 제1 레이어는 연속하는 레이어들 중에서 입력 레이어 측에 위치한 레이어이고, 제2 레이어는 연속하는 레이어들 중에서 출력 레이어 측에 위치한 레이어일 수 있다. 제2 레이어가 출력 레이어가 아닌 경우, 제2 레이어의 특징 맵은 복수의 레이어들 중에서 출력 레이어부터 제2 레이어까지의 특징 맵들이 합산된 특징 맵일 수 있다. 컨트롤러(330)는 제1 레이어의 특징 맵과 크기가 조절된 특징 맵을 pixel-wise 곱하여 합 연산을 수행할 수 있다.
컨트롤러(330)는 최종 특징 맵 및 검사 대상에 대한 학습 데이터들을 이용하여 제2 인공 신경망을 학습할 수 있다.
컨트롤러(330)는 학습된 제2 인공 신경망을 이용하여 검사 대상의 결함 검사를 수행할 수 있다.
도 4는 도 3에 도시된 컨트롤러의 최종 특징 맵 생성 동작을 설명하기 위한 일 예를 나타낸다.
컨트롤러(330)는 검사 대상의 이미지 데이터를 이용하여 정상과 불량, 그리고 불량 종류를 분류하기 위해서 제1 인공 신경망을 학습할 수 있다. 이때, 제1 인공 신경망 학습의 손실 함수는 제1 인공 신경망에 입력되는 검사 대상에 대한 학습 데이터들 각각의 이미지 데이터의 레이블 정보인 y_true와 제1 인공 신경망의 출력인 y값과의 cross entropy로 구성될 수 있다. 학습 데이터들 각각의 이미지 데이터는 각 결함을 포함하는 검사 대상의 이미지 데이터일 수 있다. 예를 들어, 레이블 정보는 정상이면 [1, 0, …, 0], 불량 1이면 [0, 1, 0, …, 0], 불량 2이면 [0, 0, 1, …, 0]일 수 있다.
컨트롤러(330)는 학습된 제1 인공 신경망의 제1 인공 신경망의 출력 레이어부터 입력 레이어까지 채널(channel) 방향으로 순차적으로 합 연산을 수행하여 최종 특징 맵을 생성할 수 있다.
구체적으로, 컨트롤러(330)는 출력 레이어인 제N 레이어의 평균이 된 특징 맵(feature map(N))의 크기를 출력 레이어 앞단에 위치한 제N-1 레이어의 특징 맵(feature map(N-1))의 크기만큼 조절(resize)할 수 있다.
컨트롤러(330)는 제N-1 레이어의 특징 맵의 크기만큼 조절된 특징 맵과 제N-1 레이어의 특징 맵을 pixel-wise 곱하여 합 연산된 특징 맵을 생성할 수 있다.
컨트롤러(330)는 제N-1 레이어의 특징 맵을 합 연산된 특징 맵으로 변경할 수 있다.
컨트롤러(330)는 변경된 특징 맵의 크기를 다시 제N-1 레이어 앞단에 위치한 제N-2 레이어의 특징 맵의 크기만큼 조절하고, 제N-2 레이어의 특징 맵의 크기만큼 조절된 특징 맵과 제N-2 레이어의 특징 맵을 pixel-wise 곱하여 합 연산된 특징 맵을 생성할 수 있다.
컨트롤러(330)는 상술한 연산을 입력 레이어까지 반복하여 최종 특징 맵을 생성할 수 있다. 컨트롤러(330)는 검사 대상에 대한 모든 학습 데이터들 각각에 대해 최종 특징 맵을 각각 계산할 수 있다.
도 5는 도 3에 도시된 컨트롤러의 제2 인공 신경망 학습 동작을 설명하기 위한 일 예를 나타낸다.
학습된 제1 인공 신경망은 레이어 수가 많기 때문에 연산량이 많다. 따라서, 학습된 제1 인공 신경망은 실시간 및 고속으로 검사 대상의 결함 검사를 수행하기 어려운 문제점이 있다.
상술한 문제점을 극복하기 위해서, 컨트롤러(330)는 최종 특징 맵을 이용하여 제2 인공 신경망을 학습함으로써, 학습된 제1 인공 신경망의 성능을 유지하면서 연산 속도가 빠른 인공 신경망을 검사 대상의 결함 검사에 사용할 수 있다.
컨트롤러(330)는 제1 인공 신경망에 비해서 레이어 수가 적은 제2 인공 신경망을 생성할 수 있다.
컨트롤러(330)는 최종 특징 맵 및 검사 대상에 대한 학습 데이터들을 이용하여 제2 인공 신경망을 학습할 수 있다. 예를 들어, 제2 인공 신경망은 도 4에서 설명한 제1 인공 신경망 학습 과정이 적용될 수 있다. 다만, 제2 인공 신경망은 제1 인공 신경망 학습 과정과 다르게 y_true를 따라가게만 학습되는 것이 아니라 추가적으로 최종 특징 맵을 따라가게 학습될 수 있다. 제2 인공 신경망은 최종 특징 맵만을 따라가는 것이 아니라, 중간 중간의 feature map을 따라가게 하여 더욱 성능이 높아질 수 있다.
제2 인공 신경망 학습의 손실 함수는 수학식 1, 2 및 3 중에서 어느 하나로 나타낼 수 있다.
Figure 112020061314269-pat00001
Figure 112020061314269-pat00002
Figure 112020061314269-pat00003
학습된 제2 인공 신경망의 최종 특징 맵은 학습된 제1 인공 신경망의 최종 특징 맵과 같아질 수 있다. 따라서, 학습된 제2 인공 신경망은 학습된 제1 인공 신경망의 결함 검사 성능과 유사하면서 학습된 제1 인공 신경망의 결함 검사 연산 속도 보다 빠른 딥러닝 모델일 수 있다.
도 6은 도 3에 도시된 컨트롤러의 결함 검사 동작을 설명하기 위한 일 예를 나타낸다.
컨트롤러(330)는 학습된 제2 신경망을 이용하여 검사 대상에 대한 검사 결함을 수행할 수 있다. 이하에서는 컨트롤러(330)가 검사 대상에 대한 검사 결함을 수행할 수 있는 신호 처리 모듈인 것으로 가정하도록 한다.
예를 들어, 이미지 제공 장치(100)는 이미지 제공 장치(100)의 광학 모듈을 이용하여 검사 대상의 이미지(또는 영상)을 획득하고, 획득된 이미지를 결함 검사 장치(300)에 전송할 수 있다(610). 광학 모듈은 조명과 카메라로 이루어질 수 있다.
신호 처리 모듈은 이미지 제공 장치(100)로부터 전송된 이미지를 수신하여 학습된 제2 인공 신경망에 입력할 수 있다(630).
신호 처리 모듈은 검사 대상의 이미지를 이용하여 학습된 제2 인공 신경망을 통해 결함 검사(또는 불량 검사)를 수행할 수 있다(650).
신호 처리 모듈은 검사 대상에 대한 결함 검사 결과를 MMI(Man Machine Interface)로 보내어 MMI가 조업자에게 결함 검사 결과를 display하게하고 결함 검사 결과와 검사 대상에 대한 이미지를 저장할 수 있다(670) 저장된 결과는 조회 기능을 통해 조회될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (10)

  1. 검사 대상의 결함 검사를 고속으로 수행하는 방법에 있어서,
    상기 검사 대상에 대한 학습 데이터들을 이용하여 상기 검사 대상의 결함 검사를 위한 제1 인공 신경망을 학습시키는 단계;
    상기 제1 인공 신경망으로부터 획득된 최종 특징 맵 및 상기 학습 데이터들을 이용하여 상기 검사 대상의 결함 검사를 위한 제2 인공 신경망을 학습시키는 단계; 및
    학습된 제2 인공 신경망을 이용하여 상기 검사 대상의 결함 검사를 수행하는 단계
    를 포함하고,
    상기 최종 특징 맵은 상기 제1 인공 신경망의 출력 레이어에서 입력 레이어 방향으로 복수의 레이어들의 특징 맵을 순차적으로 합한 것이고,
    상기 학습된 제2 인공 신경망은 상기 제1 인공 신경망보다 레이어 수가 적은 신경망인, 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 복수의 레이어들 내 연속하는 레이어들 중에서 제1 레이어의 특징 맵 크기에 기초하여 상기 연속하는 레이어들 중에서 제2 레이어의 특징 맵의 크기는 조절되고,
    상기 최종 특징 맵은 상기 제1 레이어의 특징 맵과 크기가 조절된 특징 맵을 곱하여 획득되는 것인, 방법.
  4. 제3항에 있어서,
    상기 제1 레이어는 상기 연속하는 레이어들 중에서 상기 입력 레이어 측에 위치한 레이어이고,
    상기 제2 레이어는 상기 연속하는 레이어들 중에서 상기 출력 레이어 측에 위치한 레이어인, 방법.
  5. 제3항에 있어서,
    상기 제2 레이어가 상기 출력 레이어가 아닌 경우,
    상기 제2 레이어의 특징 맵은,
    상기 복수의 레이어들 중에서 상기 출력 레이어부터 상기 제2 레이어까지의 특징 맵들이 합산된 특징 맵인, 방법.
  6. 검사 대상의 결함 검사를 고속으로 수행하는 장치에 있어서,
    인스트럭션들을 포함하는 메모리; 및
    상기 인스트럭션들을 실행하기 위한 컨트롤러
    를 포함하고,
    상기 컨트롤러는,
    상기 검사 대상에 대한 학습 데이터들을 이용하여 상기 검사 대상의 결함 검사를 위한 제1 인공 신경망을 학습시키고, 상기 제1 인공 신경망으로부터 획득된 최종 특징 맵 및 상기 학습 데이터들을 이용하여 상기 검사 대상의 결함 검사를 위한 제2 인공 신경망을 학습시키고, 학습된 상기 제2 인공 신경망을 이용하여 상기 검사 대상의 결함 검사를 수행하고,
    상기 최종 특징 맵은 상기 제1 인공 신경망의 출력 레이어에서 입력 레이어 방향으로 복수의 레이어들의 특징 맵을 순차적으로 합한 것이고,
    상기 학습된 제2 인공 신경망은 상기 제1 인공 신경망보다 레이어 수가 적은 신경망인, 장치.
  7. 삭제
  8. 제6항에 있어서,
    상기 컨트롤러는,
    상기 복수의 레이어들 내 연속하는 레이어들 중에서 제1 레이어의 특징 맵 크기에 기초하여 상기 연속하는 레이어들 중에서 제2 레이어의 특징 맵의 크기를 조절하고, 상기 제1 레이어의 특징 맵과 크기가 조절된 특징 맵을 곱하는, 장치.
  9. 제8항에 있어서,
    상기 제1 레이어는 상기 연속하는 레이어들 중에서 상기 입력 레이어 측에 위치한 레이어이고,
    상기 제2 레이어는 상기 연속하는 레이어들 중에서 상기 출력 레이어 측에 위치한 레이어인, 장치.
  10. 제8항에 있어서,
    상기 제2 레이어가 상기 출력 레이어가 아닌 경우,
    상기 제2 레이어의 특징 맵은,
    상기 복수의 레이어들 중에서 상기 출력 레이어부터 상기 제2 레이어까지의 특징 맵들이 합산된 특징 맵인, 장치.
KR1020200072390A 2020-06-15 2020-06-15 검사 대상의 결함 검사를 고속으로 수행하는 방법 및 이를 수행하는 장치들 KR102434442B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200072390A KR102434442B1 (ko) 2020-06-15 2020-06-15 검사 대상의 결함 검사를 고속으로 수행하는 방법 및 이를 수행하는 장치들

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200072390A KR102434442B1 (ko) 2020-06-15 2020-06-15 검사 대상의 결함 검사를 고속으로 수행하는 방법 및 이를 수행하는 장치들

Publications (2)

Publication Number Publication Date
KR20210155191A KR20210155191A (ko) 2021-12-22
KR102434442B1 true KR102434442B1 (ko) 2022-08-22

Family

ID=79164191

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200072390A KR102434442B1 (ko) 2020-06-15 2020-06-15 검사 대상의 결함 검사를 고속으로 수행하는 방법 및 이를 수행하는 장치들

Country Status (1)

Country Link
KR (1) KR102434442B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115485913A (zh) 2020-11-13 2022-12-16 株式会社 Lg新能源 包括二次密封的软包型电池单体的制造方法和由此制造的软包型电池单体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650508B2 (en) * 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
KR102220109B1 (ko) * 2018-05-31 2021-02-25 주식회사 뷰노 심층 신경망을 이용하여 영상을 분류하는 방법 및 이를 이용한 장치

Also Published As

Publication number Publication date
KR20210155191A (ko) 2021-12-22

Similar Documents

Publication Publication Date Title
US11714397B2 (en) System and method for generating machine learning model with trace data
US20230419472A1 (en) Defect detection method, device and system
US11341626B2 (en) Method and apparatus for outputting information
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN110136101B (zh) 一种基于孪生距离比对的轮胎x光病疵检测方法
KR20200078304A (ko) 노이즈 레이블에 대한 적대적 학습 시스템 및 방법
CN111814850A (zh) 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN111164646A (zh) 用于大型偏移裸片对裸片检验的多步骤图像对准方法
CN112534470A (zh) 用于基于图像的目标对象检验的系统及方法
CN112102281B (zh) 基于改进Faster Rcnn的货车制动缸故障检测方法
CN111811694B (zh) 一种温度校准方法、装置、设备及存储介质
KR102434442B1 (ko) 검사 대상의 결함 검사를 고속으로 수행하는 방법 및 이를 수행하는 장치들
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
Lyu et al. Automated visual inspection expert system for multivariate statistical process control chart
CN116433661B (zh) 多任务学习的半导体晶圆检测方法、装置、设备及介质
CN116205918B (zh) 基于图卷积的多模态融合半导体检测方法、装置及介质
KR102298708B1 (ko) 검사 대상에 존재하는 결함을 검사하는 방법 및 이를 수행하는 장치들
JP2023145412A (ja) 欠陥検出方法及びシステム
KR102512625B1 (ko) 데이터 증강을 이용하여 결함 검사를 위한 학습 방법 및 이를 수행하는 장치
CN113658183B (zh) 工件质检方法、装置及计算机设备
US11836909B2 (en) Active learning of product inspection engine
CN116740385B (zh) 一种设备质检方法、装置和系统
CN110688292B (zh) 一种基于注意机制的软件测试视觉检测方法
KR20230119842A (ko) 인공지능 기반의 제품의 외관 결함을 검사하는 방법 및 장치
CN118037655A (zh) 一种基于ssd的光伏板瑕疵检测方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant