KR101992970B1 - 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법 - Google Patents

딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법 Download PDF

Info

Publication number
KR101992970B1
KR101992970B1 KR1020170134238A KR20170134238A KR101992970B1 KR 101992970 B1 KR101992970 B1 KR 101992970B1 KR 1020170134238 A KR1020170134238 A KR 1020170134238A KR 20170134238 A KR20170134238 A KR 20170134238A KR 101992970 B1 KR101992970 B1 KR 101992970B1
Authority
KR
South Korea
Prior art keywords
image
defect
unit
product
test
Prior art date
Application number
KR1020170134238A
Other languages
English (en)
Other versions
KR20190042384A (ko
Inventor
윤종필
이상준
진용식
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020170134238A priority Critical patent/KR101992970B1/ko
Publication of KR20190042384A publication Critical patent/KR20190042384A/ko
Application granted granted Critical
Publication of KR101992970B1 publication Critical patent/KR101992970B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 발명의 실시예에 따른 기계 학습을 통한 결함 검출 방법은 학습용 정상 제품 영상을 영상 복원부의 입출력으로 인가하여 정상 제품 영상을 출력하도록 결함 검출부를 기계 학습시키는 단계; 상기 기계 학습된 결함 검출부에 시험용 정상 제품 영상을 입력하여 시험용 복원(reconstruction) 영상을 생성하고, 상기 시험용 정상 제품 영상과 상기 시험용 복원 영상을 비교하여 복원 에러를 포함하는 복수의 시험용 결함 영상을 생성하는 단계; 상기 복수의 시험용 결함 영상에 기초하여 복원 에러 모델을 생성하는 단계; 상기 기계 학습된 결함 검출부에 피검사제품 영상을 입력하고 상기 영상 복원부를 이용하여 피검사제품 복원 영상을 생성하는 단계; 상기 피검사제품 영상과 상기 피검사제품 복원 영상을 비교하여 노이즈를 포함하는 피검사제품 결함 영상을 생성하는 단계; 및 상기 노이즈를 포함하는 피검사제품 결함 영상과와 상기 복원 에러 모델을 비교하여 최종 결함 영상을 생성하는 단계를 포함할 수 있다.

Description

딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법{Apparatus And Method for Detecting A Surface Defect Using A Deep Neural Network And Noise Reduction}
본 발명은 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법에 관한 것으로, 보다 구체적으로, 복원 에러 모델과 노이즈를 포함하는 결함 영상을 비교하여 노이즈를 제거한 결함 영상을 추출하는 기계 학습을 통한 결함 검출 방법 및 시스템에 관한 것이다.
최근 알파고와 이세돌 9단의 대결로 인공지능에 대한 관심이 크게 증가하였다. 특히 알파고의 핵심 기술로 알려진 딥러닝에 대한 학계와 산업계의 연구가 폭발적으로 증가하였으며, 딥러닝은 기존에 알려진 인공신경망(ANN: Artificial Neural Network)의 문제점, 즉 베니싱 현상(vanishing problem), 오버피팅(overfitting) 등의 문제를 정류 선형 유닛(ReLU, Rectified Linear Unit)의 개발과 드롭아웃(Drop-out)과 같은 알고리즘 개선으로 성능을 향상시켰다. 또한 GPU(Graphic Processing Units)와 같은 하드웨어의 발전, 그리고 복잡한 구조를 학습시킬 수 있는 빅데이터의 힘 덕분에 최근 여러 분야에 뛰어난 성능을 발휘하고 있다. 이러한 딥러닝 기술은 해외 많은 기업에 의해 빠르게 발전되고 있으며 얼굴인식, 음성인식, 자연어처리, 검색 서비스, 의료 등의 분야에 적용되고 있다.
최근에는 기존에 육안으로 이루어지던 제품의 결함 검출을 딥러닝 기술이 적용된 머신 비전(Machine Vision)으로 대체하려는 연구들이 속속 등장하고 있다. 이 경우, 머신 비전을 학습시키기 위하여 가장 문제가 되는 것은 빅데이터의 확보이다. 즉 결함 영상이 충분히 많이 있어야, 복잡한 딥 뉴럴 네트워크(Deep Neural Network)의 수많은 파라미터를 충분히 학습 시킬 수 있다.
그러나, 실제 산업체에서는 제품에 치명적인 결함의 발생 빈도는 매우 적다. 특히, 섬유나 일부 금속 제품 등의 일부 제품들은 실제 제품을 생산하는 생산 라인에서 결함 발생 확률이 매우 낮아 기계 학습을 위한 결함 영상을 충분히 확보하는 것이 매우 어려웠다. 하지만 이러한 치명 결함을 발견하지 못하면 대량 불량이 발생하고 나아가서는 제조 라인의 고가의 장치들 마저 고장을 일으킨다.
또한, 결함을 포함하는 영상을 취득할 당시의 환경 예컨대, 조명, 습도 등의 주변 환경 상태가 조금만 차이가 나도 오검출이 발생할 수 있으며, 또한 제품의 위치 변동이 발생할 시에도 오검출이 발생할 수 있었다.
따라서, 결함 발생 수가 적지만 결함 발생 시 치명적인 손실을 입힐 수 있는 제조업에서 딥러닝 등의 기계 학습을 활용하여 사람의 노고를 현저하게 줄이면서도 결함의 이상 부위의 위치와 크기를 정확히 판단할 수 있으며, 고속으로 검사를 수행할 수 있는 표면 결함 검사 장치가 요구되고 있었다.
본 발명은 상술한 요구에 부응하기 위하여 안출된 것으로, 본 발명의 목적은 정상 제품의 영상으로 기계 학습 시킨 결함 검출 장치를 제공하고, 더 나아가 복원 에러 모델을 이용하여 기계 학습 과정에서 생성된 노이즈를 제공한 결함 영상을 제공하는 결함 검출 장치를 제공하는 것이다.
따라서, 본 발명의 일 실시예에 따른 기계 학습을 통한 결함 검출 방법은, 학습용 정상 제품 영상을 영상 복원부의 입출력으로 인가하여 정상 제품 영상을 출력하도록 결함 검출부를 기계 학습시키는 단계; 상기 기계 학습된 결함 검출부에 시험용 정상 제품 영상을 입력하여 시험용 복원(reconstruction) 영상을 생성하고, 상기 시험용 정상 제품 영상과 상기 시험용 복원 영상을 비교하여 복원 에러를 포함하는 복수의 시험용 결함 영상을 생성하는 단계; 상기 복수의 시험용 결함 영상에 기초하여 복원 에러 모델을 생성하는 단계; 상기 기계 학습된 결함 검출부에 피검사제품 영상을 입력하고 상기 영상 복원부를 이용하여 피검사제품 복원 영상을 생성하는 단계; 상기 피검사제품 영상과 상기 피검사제품 복원 영상을 비교하여 노이즈를 포함하는 피검사제품 결함 영상을 생성하는 단계; 및 상기 노이즈를 포함하는 피검사제품 결함 영상과와 상기 복원 에러 모델을 비교하여 최종 결함 영상을 생성하는 단계를 포함할 수 있다.
이 경우, 기계 학습을 통한 결함 검출 방법은, 상기 최종 결함 영상을 입력 받아, 피검사제품의 결함 부분을 이진화시키는 단계; 및 상기 이진화된 노이즈가 제거된 결함 영상 중 기준 결함 크기 이상의 결함 부분을 표면 결함으로 판단하는 단계를 더 포함할 수 있다.
또한, 상기 이진화시키는 단계는, 피검사제품의 결함 부분의 밝기에 대한 임계값에 기초하여 피검사제품의 결함 부분을 이진화시키는 단계를 포함할 수 있다.
또한, 상기 복원 에러 모델을 생성하는 단계는 상기 복수의 시험용 결함 영상을 평균하여 생성하는 단계를 포함할 수 있다.
또한, 상기 영상 복원부는 오토인코더(auto-encoder)를 포함할 수 있다.
또한, 상기 기계 학습하는 단계는 오토인코더의 요소별 활성화 함수, 가중치 계수 및 바이어스 벡터를 산출하는 단계를 포함할 수 있다.
한편, 본 발명에 따른 결함 검출 장치는, 프로세스 제어부; 학습용 정상 제품 영상을 입력 영상 및 출력 영상으로 인가하여 기계 학습된 오토인코더를 포함하는 영상 복원부; 상기 오토인코더의 입력 영상과 출력 영상의 차이를 구하는 차분 영상 생성부; 상기 차분 영상 생성부에서 생성한 출력 영상 및 복원 에러 모델을 입력 받아 최종 결함 영상을 생성하는 합성부를 포함하되, 상기 프로세스 제어부는 검출 모드 제어부를 포함하며, 상기 검출 모드 제어부는 하여금 상기 영상 복원부의 오토인코더의 입력 영상으로 피검사제품 영상을 입력받아 피검사제품 복원 영상을 생성하도록 제어하며, 상기 차분 영상 입력부는 상기 피검사제품 복원 영상과 상기 피검사제품 영상을 비교하여 노이즈를 포함하는 결함 영상을 생성하고, 상기 합성부는 상기 노이즈를 포함하는 결함 영상을 상기 복원 에러 모델과 비교하여 최종 결함 영상을 생성하도록 구성될 수 있다.
이 경우, 상기 오토인코더는 기계 학습을 통해 생성된 요소별 활성화 함수, 가중치 행렬 및 바이어스 벡터를 포함하는 인공신경망 회로일 수 있다.
또한, 상기 결함 검출 장치는, 감도 모듈 및 사이즈 필터를 포함하는 영상 조정부를 더 포함하되, 상기 감도 모듈은 상기 합성부에서 생성된 최종 결함 영상을 임계값에 기초하여 이진화하며, 상기 사이즈 필터는 상기 이진화된 최종 결함 영상 중 기준 결함 크기 이상의 크기를 가지는 결함 부분만을 표면 결함으로서 판단하도록 구성될 수 있다.
또한, 상기 프로세스 제어부는 학습모드 제어부 및 에러 모델 생성 모드 제어부를 더 포함하며, 상기 학습모드 제어부는 상기 오토인코더로 하여금 상기 학습용 정상 제품 영상을 입력 영상 및 출력 영상으로 인가하여 기계 학습하도록 제어하며, 상기 에러 모델 생성 제어부는 시험용 정상 제품 영상을 상기 오토인코더의 입력 영상으로 인가하여 시험용 복원 영상을 생성하도록 제어하고, 상기 차분 영상 생성부로 하여금 상기 시험용 복원 영상과 상기 시험용 정상 제품 영상의 차이를 구하여 노이즈를 포함하는 복수의 시험용 결함 영상을 생성하도록 제어하며, 상기 복원 에러 모델링부로 하여금 상기 복수의 시험용 결함 영상에 기초하여 상기 복원 에러 모델을 생성하도록 제어할 수 있다.
상술한 바와 같이 이루어진 본 발명에 따른 기계 학습을 통한 결함 검출 방법 및 시스템은 결함 검출부가 학습용 정상 제품 영상에 기초하여 기계 학습을 수행함으로서 결함 발생량이 적어 결함 영상 확보가 힘든 경우에도 정상 제품의 영상만으로 복잡한 딥러닝 구조를 효과적으로 학습하여 결함을 검출할 수 있다.
또한, 본 발명의 표면 결함 검출 방법은 복원 에러 모델을 생성하여 결함 영상의 노이즈(복원 에러 및 결함 영상 내 불균일한 배경 등)를 효과적으로 제거할 수 있다. 따라서, 결함의 위치와 크기를 정확히 판단할 수 있어, 불량 원인, 고장 진단에 핵심기술로 사용 할 수 있다.
또한, 기계 학습을 통한 결함 검출 방법 및 시스템은 표면 결함 검사 뿐 아니라, 비파괴 검사와 같은 진단 분야, Smart Factory 구현의 필수기술로, 생산 조업 조건에 따른 제품의 품질을 판정하고 이를 이용하여 생산 조건을 최적화 하는 기술 및 결함 발생 수가 적지만 한번 발생시 치명적인 손실을 입힐 수 있는 제조업에도 응용될 수 있다. 물론 이러한 효과들에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1 및 도 2는 본 발명의 실시예에 따른 기계 학습을 통한 결함 검출 시스템에 대한 블록도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 정상 영상 복원부의 기계 학습모드를 설명하기 위한 블록도이다.
도 5는 본 발명의 실시예에 따른 복원 에러 획득을 설명하기 위한 블록도이다.
도 6은 본 발명의 실시예에 따른 검출 모드를 설명하기 위한 블록도이다.
도 7은 본 발명의 실시예에 따른 결함 검출 영상이다.
도 8은 본 발명의 실시예에 따른 기계 학습을 통한 결함 검출 방법 순서도이다.
도 9는 본 발명의 실시예에 따른 오토인코더를 설명하기 위한 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있는 것으로, 이하의 실시예는 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 또한, 설명의 편의를 위하여 도면에서는 구성 요소들이 그 크기가 과장 또는 축소될 수 있다.
그러나, 이하의 실시예는 이 기술분야에서 통상적인 지식을 가진 자에게 본 발명이 충분히 이해되도록 제공되는 것으로서 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 기술되는 실시예에 한정되는 것은 아니다.
도 1 및 도 2를 참조하면, 기계 학습을 통한 결함 검출 시스템은 제품 검사 라인(100), 결함 검출부(200) 및 결함 출력부(300)를 포함할 수 있다. 이 때, 제품 검사 라인(100)은 조명 및 카메라를 포함하는 영상 취득부(101)를 포함할 수 있다.
영상 취득부(101)는 예를 들어, 제품 표면의 결함 부분에서 빛의 경로가 변하여 카메라에 들어오는 빛의 양 변화를 영상화하여, 결함 부위의 신호 대 잡음비(S/N ratio)를 높여 촬영한 원본 영상을 결함 검출부(200)에 보낼 수 있다. 이 경우, 피검사대상(107), 예를 들어, 가공된 섬유, 철판, 금속 가공물 등 제조공정에서 표면에 결함을 가질 수 있는 물체들이 컨베이어 벨트에 의해 고속으로 지나가는 로딩 시스템(105)이 영상 취득부(101)의 하부에 배치될 수 있다.
한편, 결함 검출부(200)는 제품 검사 라인(100)에서 취득된 피검사대상에 대한 영상들로부터 결함을 자동으로 검출할 수 있으며, 프로세스 제어부(110), 영상 복원부(120), 차분 영상 생성부(130), 복원 에러 모델링부(140), 합성부(150), 영상 조정부(160)를 포함할 수 있다. 이 경우, 결함 검출부(200) 및 결함 검출부(200)의 구성요소들은 하드웨어 모듈, 소프트웨어 모듈 또는 하드웨어와 소프트웨어의 결합 등 다양한 형태로 구현될 수 있다.
결함 검출부(200)의 구성들 중 하나인 프로세스 제어부(110)는 학습모드 제어부(113), 에러 모델 생성 모드 제어부(115), 검출 모드 제어부(117)를 포함할 수 있다. 결함 검출부(200)는 학습모드, 에러 모델 생성 모드, 검출 모드의 3 개의 모드로 동작할 수 있는데, 프로세스 제어부(110)는 각각의 모드에서 영상 복원부(120), 차분 영상 생성부(130) 및 복원 에러 모델링부(140)의 동작 프로세스를 제어한다.
영상 복원부(120)는 학습모드에서 오토인코더(Auto-encoder)를 이용하여 입출력으로 동일한 학습용 정상 제품 영상(310)을 입력하여 기계 학습을 수행한 후, 검출 모드에서 영상 취득부(101)로부터 피검사제품 영상을 입력 받아 피검사제품의 복원 영상을 생성할 수 있다.
이 때, 차분 영상 생성부(130)는 영상 복원부(120)의 입력 데이터와 복원 영상의 차를 구하여 복원 에러 모델링부(140)와 합성부(150)에 제공한다.
복원 에러 모델링부(140)는 에러 모델 생성 모드에서 차분 영상 생성부(130)로부터 제공받은 입력 영상과 복원 영상의 차 영상을 이용하여 복원 에러 모델(540)을 생성할 수 있다. 보다 구체적으로, 복원 에러 모델링부(140)는 에러 모델 생성 모드에서 시험용 정상 제품 영상(510)에 기초하여 생성된 시험용 복원 영상(520) 중의 복원 에러 및 배경 노이즈를 평균하여 복원 에러 모델(540)을 생성할 수 있다. 또한 검출 모드에서 합성부(150)에 생성된 복원 에러 모델(540)을 제공할 수 있다.
합성부(150)는 검출 모드에서 복원 에러 모델(540)과 피검사제품 영상에 기초하여 검출된 피검사제품 결함 영상(630)을 합성하여 최종 결함 영상(710)을 생성한다.
영상 조정부(160)는 감도 모듈(163) 및 사이즈 필터(165)를 포함한다. 이 때, 감도 모듈(163)은 임계값(threshold)을 기준으로 생성된 최종 결함 영상(710)을 이진화하고, 사이즈 필터(165)는 이진화된 최종 결함 영상(710)에서 특정 크기 이상의 결함을 표면 결함으로서 판단(검출)한다.
한편, 검출 출력부(300)는 상술한 영상 조정부(160)에서 출력된 표면 결함을 표시장치에 표시하거나, 데이터 베이스에 저장한다.
상술한 바와 같은 본 발명의 구성에 기초하여 이하에서는 도 3 내지 도 7을 참조하여 학습모드, 검출 모드 및 복원 에러 모델 생성 모드에서의 각 구성요소의 동작들을 상세히 설명한다.
도 3을 참조하면, 기계 학습모드에서 영상 복원부(120)는 학습용 정상 제품 영상(310, 320)에 기초하여 기계 학습을 수행할 수 있다. 이 경우, 입력 영상으로 제공되는 학습용 정상 제품 영상(310)과 출력 영상으로서 제공되는 학습용 정상 제품 영상은 동일한 것이 바람직하다.
보다 구체적으로 영상 복원부(120)는 오토인코더(125, Auto-encoder)를 포함한다. 오토인코더(125)는 입력층과 출력층에 동일한 데이터를 적용하여 학습을 시키는 신경망 회로 중 특수한 회로이며, 내부의 층들이 대칭적으로 구성되어 있다.
도 9를 참조하면, 오토인코더(125)는 인코더부와 디코더부를 포함하는데, 인코더부를 φ, 디코더부를 ψ라 하면, 다음과 같은 구조를 가진다.
Figure 112017101799111-pat00001
이 경우, 입력 x를
Figure 112017101799111-pat00002
에서 취하고, 입력x를 은닉층 z(
Figure 112017101799111-pat00003
)에 매핑시키는 경우에, 도 9에서 은닉층 z는 다음과 같이 표현된다. 여기서, 연산부호 “
Figure 112017101799111-pat00004
”는 요소별(element-wise) 곱을 의미한다.
Figure 112017101799111-pat00005
이 경우, σ는 요소별 활성화 함수(element-wise activation function)이고, W는 가중치 행렬이며, b는 바이어스 벡터(bias vector)이다. 이 때 z는 코드(code), 또는 잠재변수(Latent variables)라 부르며, 입력보다 낮은 차원으로 표현되기 때문에 입력 x의 압축 표현형(Compressed representation)으로도 불린다.
한편, 복원 데이터를 x’라 하면, z는 아래와 같이 매핑된다.
Figure 112017101799111-pat00006
이 경우, σ’W’, b’는 각각 요소별 활성화 함수, 가중치 행렬 및 바이어스 벡터로서 오토인코더(125)의 설계에 따라 σ, W, b와 달라질 수 있다.
오토인코더(125)는 입력과 x와 복원 x’의 복원 에러가 최소화되도록 다음과 같이 학습된다.
Figure 112017101799111-pat00007
즉, 오토인코더(125)는 입출력이 동일한 형태를 가지도록 학습되면서, 입력되는 정상 제품 영상의 특징을 추출할 수 있다.
그리고, 상술한 바와 같이 동일한 입출력 영상을 입력한 상태에서 학습모드 제어부(113)는 요소별 활성화 함수, 가중치 행렬 및 바이어스 벡터들은 예를 들어 역전파(Back-propagation) 방식 등으로 연산하도록 오토인코더(125)를 제어한다.
상술한 기계 학습의 목표는 도 4에 나타낸 바와 같이 피검사제품 영상(610)이 입력될 때, 정상 제품의 특징을 지니는 피검사제품 복원 영상(620)을 출력하도록 복원하여 차를 구했을 경우에, 최종 결과로서 결함 영상만을 가지는 최종 결함 영상(710)을 획득하는 것을 목표로 한다.
다만, 실제의 경우에는 오토인코더(125)에서 발생하는 복원 에러 또는 배경에서 발생하는 배경 노이즈(325)가 생길 수 있어서, 표면 결함을 영상을 통하여 검출할 경우에 검출에 심각한 에러를 발생시킬 수 있다.
보다 구체적으로, 영상은 제품 부분과 배경 부분으로 나눌 수 있다. 제품이 정상이라 할지라도 배경 부분은 제품 영상을 획득할 때마다 차이가 발생한다. 예를 들어 콘베이어 벨트의 표면이 고르지 못하거나, 제품이 놓여진 평면의 특징에 따라 차이가 발생할 수 있다. 이러한 경우에는 오토인코더(125)로 입력과 출력이 동일하게 학습을 하더라도 제품 부분은 동일하게 복원이 되지만 배경 부분은 완벽히 없어지지 않고 영상마다 약간의 노이즈로 남는다. 이러한 배경부분을 제거하지 못하면 오검출이 발생할 수 있다.
따라서, 본 발명에서는 상술한 노이즈 및 복원 에러를 제거하기 위하여 복원 에러 모델 생성 모드를 수행한다.
도 5를 참조하면, 에러 모델 생성 모드 제어부(115)는 시험용 정상 제품 영상(510)을 입력으로 받은 후, 영상 복원부(120)를 통과시켜 시험용 복원 영상(520)을 획득한다.
그리고, 에러 모델 생성 모드 제어부(115)는 차분 영상 생성부(130)로 하여금 상술한 시험용 정상 제품 영상(510)과 시험용 복원 영상(520)의 차를 구하여 복원 에러를 포함하는 복수의 시험용 결함 영상(530)을 생성한다.
한편, 복원 에러 모델링부(140)는 복원 에러를 포함하는 복수의 시험용 결함 영상(530)들을 저장한 후, 복수의 복원 에러를 포함하는 시험용 결함 영상(530)들의 평균 영상을 구하여 복원 에러 모델(540)을 생성한다.
한편, 기계 학습이 충분히 진행되고, 복원 에러 모델(540)이 생성되면, 검출 모드를 수행하여 피검사제품의 검사를 진행한다.
이하에서는, 도 6 및 도 7을 참조하여 검출 모드에 대하여 설명한다.
도 6을 참조하면, 검출 모드 제어부(117)는 영상 취득부(101)로부터 피검사제품 영상(610)을 입력 받아 영상 복원부(120)에 입력으로 제공한다.
입력된 피검사제품 영상(610)은 기계 학습이 수행된 영상 복원부(120)의 오토인코더(125)에 의하여 복원되어 피검사제품 복원 영상(620)을 생성한다.
피검사제품 복원 영상(620) 및 피검사제품 영상(610)은 차분 영상 생성부(130)에 입력되며, 복원 에러가 포함된 피검사제품 결함 영상(630)을 생성한다.
이 경우, 복원 에러가 포함된 피검사제품 결함 영상(630) 및 복원 에러 모델(540)은 합성부(150)로 입력되고, 합성부(150)는 복원 에러가 포함된 결함 영상(630)과 복원 에러 모델(540)의 차 영상(differential image)를 구하여 최종 결함 영상(710, 도 7 참조)으로 영상 조정부(160)에 입력하게 된다.
영상 조정부(160)의 감도 모듈(163)는 최종 결함 영상(710) 중, 미리 설정된 임계값 이상의 밝기를 가지는 결함부분을 이진화하여 출력한다. 예컨대, 감도 모듈(163)은 상술한 차 영상 중 임계값 이상의 밝기를 가지는 결함 부분을 ‘1’로, 임계값 이하의 밝기를 가지는 부분을 ‘0’으로 나타내도록 처리할 수 있다. 이 경우, 임계값은 응용 분야/기술에 따라 또는 사용자의 설정에 따라 다양하게 설정될 수 있다.
또한 영상 조정부(160)의 사이즈 필터(165)는 이진화된 최종 결함 영상에서 기준 결함 크기 이상의 결함 부분만을 표면 결함이라 판단(검출)할 수 있다. 이 때, 결함의 기준 사이즈는 사용자의 설정에 따라 다양하게 설정될 수 있다.
한편, 결함 출력부(300)는 결함 검출부(200)에서 검출된 표면 결함을 표시하거나 저장할 수 있다.
도 8은 본 발명의 실시예에 대한 기계 학습을 통한 결함 검출 방법에 대한 순서도이다.
도 8을 참조하면, 먼저, 복수의 학습용 정상 제품 영상(310)을 오토인코더(125)를 포함하는 영상 복원부(120)의 입력층, 출력층으로 인가한 후, 결함 검출부(111)를 기계 학습 시킬 수 있다. (단계 S800) 이 경우, 영상 복원부(120)의 오토인코더(125)의 입/출력층에는 동일한 학습용 정상 제품 영상(310)이 인가된다.
보다 상세하게, 영상 복원부(120)는 오토인코더(125)를 통하여 학습용 정상 제품 영상(310)의 특징을 학습을 통하여 추출하고 입/출력층에 인가된 차이가 최소화되도록 기계 학습 시킬 수 있다. 예컨대, 기계 학습된 계수들은 요소별 활성화 함수, 가중치 행렬 및 바이어스 벡터가이 될 수 있다.
이 때, 학습모드 제어부는 모든 기계 학습된 계수들이 결정될 수 있도록 충분한 수의 학습용 정상 제품 영상(310)을 제공해야 한다.
기계 학습이 충분히 이루어진 경우, 복원 에러 모델링 획득 모드로 진입하여, 에러 모델 생성 모드 제어부(115)는 시험용 정상 제품 영상(510)을 오토인코더(125)에 입력하여 시험용 복원 영상(520)을 생성할 수 있다. (단계 S810)
한편, 차분 영상 생성부(130)는 시험용 복원 영상(520)과 시험용 정상 제품 영상(510)을 비교하여 노이즈를 포함하는 복수의 시험용 결함 영상(530)들을 추출 및 저장할 수 있다. (단계 S820) 상기 노이즈는 복원 에러 및 배경 노이즈를 포함할 수 있다.
그 후, 복원 에러 모델링부(140)는 복수의 시험용 결함 영상(530)들에 기초하여 복원 에러 모델(540)을 생성할 수 있다. (단계 S830)
이 경우, 복원 에러 모델(540)은 복수의 시험용 결함 영상(530)의 평균 영상 데이터가 될 수 있다.
한편, 기계 학습모드 및 복원 에러 모델링 획득 모드의 수행이 완료되면, 검출 모드 제어부(117)가 피검사제품 영상(610)을 영상 복원부(120)의 입력으로서 제공한다. 이 때, 피검사제품 영상(610)은 표면 결함 영상 데이터를 포함할 수 있다.
그리고, 영상 복원부(120)는 피검사제품 영상(610)이 영상 복원부(120)에 인가되면 피검사제품 복원 영상(620)을 생성할 수 있다. (단계 S840)
그 후, 차분 영상 생성부(130)는 피검사제품 영상(610)과 피검사제품 복원 영상(620)을 비교하여 노이즈를 포함하는 피검사제품 결함 영상(630)를 생성할 수 있다. (단계 S850)
마지막으로, 노이즈를 포함하는 피검사제품 결함 영상(630)와 복원 에러 모델(540)을 비교하여 노이즈가 제거된 피검사제품 결함 영상(630)를 최종 결함 영상(710)으로 생성할 수 있다. (단계 S860)
추가적으로, 영상 조정부(160)는 최종 결함 영상 중 임계값 보다 큰 밝기를 가지는 부분을 결함 부분으로 하는 이진화 변환을 수행한 후, 기준 결함 크기 이상의 크기를 가지는 결함 부분만을 표면 결함으로 판단한다. 그리고, 결함 출력부(300)는 인식된 표면 결함을 화면상에 표시하거나 데이터베이스에 저장한다.
따라서, 본 발명에 따르면, 결함 발생량이 적어, 결함 영상 확보가 힘들 경우에도 결함 검출부의 기계 학습을 통해 결함을 포함하지 않는 정상 제품 영상으로 결함 검출부를 학습하여 표면 결함을 검출할 수 있다.
종래 결함 검출 장치는 결함을 포함하는 제품의 영상을 다수 확보하여 검사 대상 제품과 비교한 후, 모양, 크기, 밝기 값, 위치 정보 등 결함의 특징들을 별도로 추출해야 했었다. 그러나, 특징 값을 추출하는 과정에서 사람의 노고가 상당히 투여되어야 하고, 특히, 결함 영상을 확보하기 위한 어려움이 상당히 컸다.
그러나, 본 발명에 따르면, 확보하기 용이한 정상 제품 영상만으로 학습이 가능하며, 배경의 불균일함이 존재하는 경우에도 노이즈를 제거한 결함 영상을 출력할 수 있어, 불량 원인, 고장 진단에 핵심 기술로 사용 가능하다.
한편, 본 발명의 상세한 설명 및 첨부도면에서는 구체적인 실시예에 관해 설명하였으나, 본 발명은 개시된 실시예에 한정되지 않고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능하다. 따라서, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들을 포함하는 것으로 해석되어야 할 것이다.
100: 제품 검사 라인
101: 영상 취득부
200: 결함 검출부
300: 결함 출력부
110: 프로세스 제어부
120: 영상 복원부
130: 차분 영상 생성부
140: 복원 에러 모델링부
150: 합성부
160: 영상 조정부

Claims (10)

  1. 학습용 정상 제품 영상을 영상 복원부의 입출력으로 인가하여 정상 제품 영상을 출력하도록 결함 검출부를 기계 학습시키는 단계;
    상기 기계 학습된 결함 검출부에 시험용 정상 제품 영상을 입력하여 시험용 복원(reconstruction) 영상을 생성하고, 상기 시험용 정상 제품 영상과 상기 시험용 복원 영상을 비교하여 복원 에러를 포함하는 복수의 시험용 결함 영상을 생성하는 단계;
    상기 복수의 시험용 결함 영상에 기초하여 복원 에러 모델을 생성하는 단계;
    상기 기계 학습된 결함 검출부에 피검사제품 영상을 입력하고 상기 영상 복원부를 이용하여 피검사제품 복원 영상을 생성하는 단계;
    상기 피검사제품 영상과 상기 피검사제품 복원 영상을 비교하여 노이즈를 포함하는 피검사제품 결함 영상을 생성하는 단계; 및
    상기 노이즈를 포함하는 피검사제품 결함 영상과 상기 복원 에러 모델을 비교하여 최종 결함 영상을 생성하는 단계를 포함하는,
    기계 학습을 통한 결함 검출 방법.
  2. 제 1 항에 있어서,
    상기 최종 결함 영상 중 임계값 보다 큰 밝기를 가지는 부분을 결함 부분으로 하는 이진화 변환을 수행하는 단계; 및
    상기 이진화 변환된 최종 결함 영상 중 기준 결함 크기 이상의 크기를 가지는 결함 부분을 표면 결함으로 판단하는 단계를 더 포함하는,
    기계 학습을 통한 결함 검출 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 복원 에러 모델은 상기 복수의 시험용 결함 영상을 평균하여 생성되는,
    기계 학습을 통한 결함 검출 방법.
  5. 제 1 항에 있어서,
    상기 영상 복원부는 오토인코더(auto-encoder)를 포함하는,
    기계 학습을 통한 결함 검출 방법.
  6. 제 5 항에 있어서,
    상기 기계 학습시키는 단계는 상기 오토인코더의 요소별 활성화 함수, 가중치 계수 및 바이어스 벡터를 산출하는 단계를 포함하는,
    기계 학습을 통한 결함 검출 방법
  7. 프로세스 제어부;
    학습용 정상 제품 영상을 입력 영상 및 출력 영상으로 인가하여 기계 학습된 오토인코더를 포함하는 영상 복원부;
    상기 오토인코더의 입력 영상과 출력 영상의 차이를 구하는 차분 영상 생성부;
    상기 차분 영상 생성부에서 생성한 출력 영상 및 복원 에러 모델을 입력 받아 최종 결함 영상을 생성하는 합성부를 포함하되,
    상기 프로세스 제어부는 검출 모드 제어부를 포함하며,
    상기 검출 모드 제어부는 피검사제품 영상을 상기 영상 복원부의 오토인코더의 입력 영상으로서 제공하고,
    상기 오토인코더는 상기 피검사제품 영상을 복원하여 피검사제품 복원 영상을 생성하며,
    상기 차분 영상 생성부는, 상기 오토인코더의 출력 영상인 상기 피검사제품 복원 영상과 상기 오토인코더의 입력 영상인 상기 피검사제품 영상을 비교하여 노이즈를 포함하는 결함 영상을 생성하고,
    상기 합성부는 상기 노이즈를 포함하는 결함 영상을 상기 복원 에러 모델과 비교하여 최종 결함 영상을 생성하도록 구성되는,
    결함 검출 장치.
  8. 제 7항에 있어서,
    상기 오토인코더는 기계 학습을 통해 생성된 요소별 활성화 함수, 가중치 행렬 및 바이어스 벡터를 포함하는 인공신경망 회로인,
    결함 검출 장치.
  9. 제7항에 있어서,
    감도 모듈 및 사이즈 필터를 포함하는 영상 조정부를 더 포함하되,
    상기 감도 모듈은 상기 합성부에서 생성된 최종 결함 영상을 임계값에 기초하여 이진화하며, 상기 사이즈 필터는 상기 이진화된 최종 결함 영상 중 기준 결함 크기 이상의 크기를 가지는 결함 부분만을 표면 결함으로서 판단하도록 구성되는,
    결함 검출 장치.
  10. 제7항에 있어서,
    복원 에러 모델링부(140)를 더 포함하며,
    상기 프로세스 제어부는 학습모드 제어부 및 에러 모델 생성 모드 제어부를 더 포함하며,
    상기 학습모드 제어부는 상기 오토인코더로 하여금 상기 학습용 정상 제품 영상을 입력 영상 및 출력 영상으로 인가하여 기계 학습하도록 제어하며,
    상기 에러 모델 생성 제어부는 시험용 정상 제품 영상을 상기 오토인코더의 입력 영상으로 인가하여 시험용 복원 영상을 생성하도록 제어하고, 상기 차분 영상 생성부로 하여금 상기 시험용 복원 영상과 상기 시험용 정상 제품 영상의 차이를 구하여 노이즈를 포함하는 복수의 시험용 결함 영상을 생성하도록 제어하며, 상기 복원 에러 모델링부로 하여금 상기 복수의 시험용 결함 영상에 기초하여 상기 복원 에러 모델을 생성하도록 제어하는,
    결함 검출 장치.
KR1020170134238A 2017-10-16 2017-10-16 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법 KR101992970B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170134238A KR101992970B1 (ko) 2017-10-16 2017-10-16 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170134238A KR101992970B1 (ko) 2017-10-16 2017-10-16 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190042384A KR20190042384A (ko) 2019-04-24
KR101992970B1 true KR101992970B1 (ko) 2019-06-26

Family

ID=66282302

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170134238A KR101992970B1 (ko) 2017-10-16 2017-10-16 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101992970B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210070586A (ko) 2019-12-05 2021-06-15 주식회사 포스코건설 Cnn을 이용한 음향 처리방법
KR102302540B1 (ko) * 2020-07-06 2021-09-16 한국생산기술연구원 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110146292B (zh) * 2019-06-04 2021-08-31 昆明理工大学 一种基于集成噪声重构的总体局部均值分解的滚动轴承故障检测方法
CN113128539A (zh) * 2019-12-31 2021-07-16 财团法人工业技术研究院 基于适应标注的物件侦测模型的训练方法及系统
JP7360092B2 (ja) * 2020-01-28 2023-10-12 オムロン株式会社 検査装置、検査方法、及び検査プログラム
KR102415572B1 (ko) * 2020-04-23 2022-07-04 한국전력공사 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법
KR102437115B1 (ko) * 2020-06-04 2022-08-29 한국생산기술연구원 제품 구조 예측 기술을 이용한 딥러닝 기반 결함 검사 장치 및 방법
KR102646887B1 (ko) * 2023-11-01 2024-03-13 다겸 주식회사 이미지 픽셀의 위치 가중치 설정을 포함하는 이상 탐지 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101822963B1 (ko) 2017-07-25 2018-01-31 한국생산기술연구원 이진 영상을 이용한 결함 탐지장치 및 방법
KR101911061B1 (ko) 2018-03-26 2018-10-23 주식회사 대곤코퍼레이션 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 시스템 및 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100406399B1 (ko) * 1998-12-26 2004-01-24 주식회사 포스코 강판의표면결함검출방법
KR102288280B1 (ko) * 2014-11-05 2021-08-10 삼성전자주식회사 영상 학습 모델을 이용한 영상 생성 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101822963B1 (ko) 2017-07-25 2018-01-31 한국생산기술연구원 이진 영상을 이용한 결함 탐지장치 및 방법
KR101911061B1 (ko) 2018-03-26 2018-10-23 주식회사 대곤코퍼레이션 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 시스템 및 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210070586A (ko) 2019-12-05 2021-06-15 주식회사 포스코건설 Cnn을 이용한 음향 처리방법
KR102302540B1 (ko) * 2020-07-06 2021-09-16 한국생산기술연구원 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법

Also Published As

Publication number Publication date
KR20190042384A (ko) 2019-04-24

Similar Documents

Publication Publication Date Title
KR101992970B1 (ko) 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법
US10964004B2 (en) Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program, and deep learning system thereof
WO2020031984A1 (ja) 部品の検査方法及び検査システム
JP7074460B2 (ja) 画像検査装置および方法
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
CN109781733A (zh) 缺陷检查装置、缺陷检查方法及计算机可读存储介质
JP2021515885A (ja) 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
US20230222645A1 (en) Inspection apparatus, unit selection apparatus, inspection method, and computer-readable storage medium storing an inspection program
CN111798409A (zh) 一种基于深度学习的pcb缺陷数据生成方法
KR102265298B1 (ko) 머신러닝에 의해 생성된 가상 데이터를 이용한 고장 진단 방법 및 장치
WO2019176354A1 (ja) 学習用データ収集方法、学習用データ収集装置、異変検知システム及びコンピュータプログラム
KR102325347B1 (ko) 머신러닝 기반 결함 분류 장치 및 방법
CN114170478A (zh) 基于跨图像局部特征对齐的缺陷检测、定位的方法及系统
Kähler et al. Anomaly detection for industrial surface inspection: Application in maintenance of aircraft components
KR101822963B1 (ko) 이진 영상을 이용한 결함 탐지장치 및 방법
JP7459697B2 (ja) 異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法
CN116580014A (zh) 一种工业缺陷检测方法及系统
CN114119562B (zh) 一种基于深度学习的刹车盘外表面缺陷检测方法及系统
TW202020802A (zh) 信息處理方法及計算機程序
WO2022130814A1 (ja) 指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラム
KR20230139165A (ko) 딥러닝 기술을 이용한 목재 제품 표면 결함 검사 방법
CN113781449A (zh) 一种基于多尺度特征融合的纺织品瑕疵分类方法
WO2022201968A1 (ja) 情報処理装置、制御プログラム、および制御方法
Hu et al. A lightweight reconstruction network for surface defect inspection
JP7459696B2 (ja) 異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法演算装置の学習方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant