KR101863196B1 - 딥러닝 기반 표면 결함 검출장치 및 방법 - Google Patents

딥러닝 기반 표면 결함 검출장치 및 방법 Download PDF

Info

Publication number
KR101863196B1
KR101863196B1 KR1020170093742A KR20170093742A KR101863196B1 KR 101863196 B1 KR101863196 B1 KR 101863196B1 KR 1020170093742 A KR1020170093742 A KR 1020170093742A KR 20170093742 A KR20170093742 A KR 20170093742A KR 101863196 B1 KR101863196 B1 KR 101863196B1
Authority
KR
South Korea
Prior art keywords
image
defect
gtd
defect detection
network
Prior art date
Application number
KR1020170093742A
Other languages
English (en)
Inventor
윤종필
이상준
진용식
정대웅
황영하
안다운
김동섭
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020170093742A priority Critical patent/KR101863196B1/ko
Application granted granted Critical
Publication of KR101863196B1 publication Critical patent/KR101863196B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 발명의 실시예에 따른 딥러닝 기반 표면 결함 검출 방법은, GTD(Ground Truth Data) 영상 원본, 및 상기 GTD 영상 원본의 결함 이미지와 동일한 형상과 위치를 나타내며 결함의 종류에 따라 다른 색상 또는 명암으로 표시된 레이블(Label)을 포함하는 GTD 출력 영상을 포함하는 GTD 영상 제공 단계; 상기 GTD 영상에 기초하여, 적어도 하나의 컨볼루션 층과 풀링층이 순차적으로 배치되는 복수의 층을 포함하는 제 1 서브네트워크 및 복수의 컨볼루션 층이 연속적으로 배치되는 층을 포함하는 제 2 서브네트워크를 포함하는 결함 검출 네트워크; 및 상기 제 1 서브네트워크 및 제 2 서브네트워크를 통과한 결과를 업샘플링하는 업샘플링부를 포함하는 결함 검출부를 기계학습하는 단계; 원본 영상을 생성하는 원본 영상 취득 단계; 상기 기계학습된 결함 검출부에서, 상기 결함 이미지와 동일한 형상과 위치를 나타내며 결함의 종류에 따라 다른 색상 또는 명암으로 표시된 레이블(Label)을 포함하는 최종 출력 영상을 출력하는 단계를 포함할 수 있다.

Description

딥러닝 기반 표면 결함 검출장치 및 방법{An Apparatus and A Method For Detecting A Defect On Surfaces Based On Deep Learning}
본 발명은 머신 비전을 활용한 결함 검출 장치에 관한 것으로, 특히, 딥러닝을 이용한 자율 학습 기반으로 결함의 종류 및 형태를 동시에 검출할 수 있는 결함 탐지 장치 및 방법에 관한 것이다.
최근 알파고와 이세돌 9단의 대결로 인공지능에 대한 관심이 크게 증가하였다. 특히 알파고의 핵심 기술로 알려진 딥러닝에 대한 학계와 산업계의 연구가 폭발적으로 증가하였으며, 딥러닝은 기존에 알려진 인공신경망(ANN: Artificial Neural Network)의 문제점, 즉 베니싱 현상(vanishing problem), 오버피팅(overfitting) 등의 문제를 정류 선형 유닛(ReLU, Rectified Linear Unit)의 개발과 드롭아웃(Drop-out)과 같은 알고리즘 개선으로 성능을 향상시켰다. 또한 GPU(Graphic Processing Units)와 같은 하드웨어의 발전, 그리고 복잡한 구조를 학습시킬 수 있는 빅데이터의 힘 덕분에 최근 여러 분야에 뛰어난 성능을 발휘하고 있다. 이러한 딥러닝 기술은 해외 많은 기업에 의해 빠르게 발전되고 있으며 얼굴인식, 음성인식, 자연어처리, 검색 서비스, 의료 등의 분야에 적용되고 있다.
본 발명에서는 딥러닝의 입력을 단순히 결함 영상으로만 했을 경우의 단점을 극복하고 결함 검출 및 분류를 한번에 할 수 있는 기술과 학습을 위한 GTD(Ground Truth Data)를 결함 위치와 결함 종류를 동시에 입력할 수 있는 GTD 생성 기술을 제안한다.
본 발명은 상술한 요구에 부응하기 위하여 안출된 것으로, 본 발명에 따르면, 딥러닝을 이용한 자율 학습 기반으로 결함의 종류 및 형태를 동시에 검출할 수 있는 결함 검출 장치 및 방법을 제공한다.
본 발명의 실시예에 따른 딥러닝 기반 표면 결함 검출 방법은, GTD(Ground Truth Data) 영상 원본, 및 상기 GTD 영상 원본의 결함 이미지와 동일한 형상과 위치를 나타내며 결함의 종류에 따라 다른 색상 또는 명암으로 표시된 레이블(Label)을 포함하는 GTD 출력 영상을 포함하는 GTD 영상 제공 단계; 상기 GTD 영상에 기초하여, 적어도 하나의 컨볼루션 층과 풀링층이 순차적으로 배치되는 복수의 층을 포함하는 제 1 서브네트워크 및 복수의 컨볼루션 층이 연속적으로 배치되는 층을 포함하는 제 2 서브네트워크를 포함하는 결함 검출 네트워크; 및 상기 제 1 서브네트워크 및 제 2 서브네트워크를 통과한 결과를 업샘플링하는 업샘플링부를 포함하는 결함 검출부를 기계학습하는 단계; 원본 영상을 생성하는 원본 영상 취득 단계; 및 상기 기계학습된 결함 검출부에서, 상기 결함 이미지와 동일한 형상과 위치를 나타내며 결함의 종류에 따라 다른 색상 또는 명암으로 표시된 레이블(Label)을 포함하는 최종 출력 영상을 출력하는 단계를 포함할 수 있다.
이 때, 상기 최종 출력 영상을 출력하는 단계는, 상기 결함 검출 네트워크의 마지막 층을 통과한 영상을 업샘플링한 영상과 상기 결함 검출 네트워크의 마지막에서 두번째 풀링층을 통과한 영상을 가중치 합한 제 1 업샘플링 이미지를 생성하는 단계를 포함할 수 있다.
또한, 상기 결함 검출부를 기계학습하는 단계는, GTD(Ground Truth Data) 영상에 기초하여 상기 제 1 서브 네트워크의 컨볼루션 층과 상기 제 2 서브네트워크의 컨볼루션 층이 기계학습된 컨볼루션 필터를 포함하도록 하며, 상기 업샘플링부가 기계학습된 업샘플링 가중치를 포함하도록 기계학습을 수행할 수 있다.
또한, 상기 업샘플링 가중치는 상기 결함 검출 네트워크의 마지막 층을 통과한 영상을 업샘플링한 영상과 상기 결함 검출 네트워크의 마지막에서 두번째 풀링층을 통과한 영상의 부분별로 달라질 수 있다.
또한, 상기 풀링층의 개수는 아래 식
(마지막 컨볼루션 층의 커널 사이즈) > (결함 이미지의 최대 크기)/(풀링층의 개수 x 2)
을 만족하도록 결정될 수 있다.
한편, 본 발명의 실시예에 따른 딥러닝 기반 표면 결함 검출 장치는, 원본 영상을 생성하는 영상 취득부; 상기 원본 영상의 결함 이미지와 동일한 형상과 위치를 나타내며 결함의 종류에 따라 다른 색상 또는 명암으로 표시된 레이블(Label)을 포함하는 최종 출력 영상을 출력하는 결함 검출부; 및 상기 최종 출력 영상을 표시하거나 저장하는 결함 출력부를 포함하며, 상기 결함 검출부는, 적어도 하나의 컨볼루션 층과 풀링층이 순차적으로 배치되는 복수의 층을 포함하는 제 1 서브네트워크 및 복수의 컨볼루션 층이 연속적으로 배치되는 층을 포함하는 제 2 서브네트워크를 포함하는 결함 검출 네트워크; 및 상기 제 1 서브네트워크 및 제 2 서브네트워크를 통과한 결과를 업샘플링하는 업샘플링부를 포함하며, 상기 업샘플링부는 상기 결함 검출 네트워크의 마지막 층을 통과한 영상을 업샘플링한 영상과 상기 결함 검출 네트워크의 마지막에서 두번째 풀링층을 통과한 영상을 가중치 합한 제 1 업샘플링 이미지를 생성하며, 상기 결함 검출 네트워크는 GTD 영상 원본 및 GTD 출력 영상을 포함하는 GTD(Ground Truth Data) 영상에 기초하여 기계학습된 컨볼루션 층과 업샘플링 가중치를 가지며, 상기 GTD 출력 영상은 상기 GTD 영상 원본의 결함 이미지와 동일한 형상과 위치를 나타내며 결함의 종류에 따라 다른 색상 또는 명암으로 표시된 레이블(Label)을 포함할 수 있다.
또한, 상기 업샘플링 가중치는 상기 결함 검출 네트워크의 마지막 층을 통과한 영상을 업샘플링한 영상과 상기 결함 검출 네트워크의 마지막에서 두번째 풀링층을 통과한 영상의 부분별로 달라질 수 있다.
또한, 상기 풀링층의 개수는 아래 식
(마지막 컨볼루션 층의 커널 사이즈) > (결함 이미지의 최대 크기)/(풀링층의 개수 x 2)
을 만족하도록 결정될 수 있다.
상기한 바와 같이 이루어진 본 발명에 따른 이진 영상을 이용한 결함 탐지장치 및 방법은 머신 비전을 이용하여 움직이는 스트립(strip)의 제품 표면의 결함을 실시간으로 검출 및 분류할 수 있다.
또한, 명암 또는 색상을 이용하여 영상에 결함 종류를 레이블(Label)로 표시함으로써 GTD 생성의 어려움을 획기적으로 개선할 수 있다.
또한, GTD 데이터와 영상만으로 간단한 학습이 가능하며, 추가적인 전처리(pre-processing)이나 후 처리(post processing)를 생략하는 것이 가능하다.
도 1 및 도 2는 본 발명의 실시예에 따른 결함 검출장치의 구성을 나타낸 블록도이다.
도 3는 본 발명의 실시예에 따른 결함 검출장치의 인공지능 구성에 대한 블록도이다.
도 4은 본 발명의 실시예에 따른 GTD(Ground Truth Data)의 준비 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 업샘플링(Up-sampling)을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 결함 검출 방법을 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 업샘플링 가중치 적용 예를 설명하기 위한 도면이다.
도 8은 종래기술을 설명하기 위한 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있는 것으로, 이하의 실시예는 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 또한, 설명의 편의를 위하여 도면에서는 구성 요소들이 그 크기가 과장 또는 축소될 수 있다.
그러나, 이하의 실시예는 이 기술분야에서 통상적인 지식을 가진 자에게 본 발명이 충분히 이해되도록 제공되는 것으로서 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 기술되는 실시예에 한정되는 것은 아니다.
도 1 및 도 2는 본 발명의 실시예에 따른 딥러닝 기판 표면 결함 검출장치의 구성을 나타낸 블록도이다.
도 1 및 도 2를 참조하면, 결함 검출 장치는 영상 취득부(100), 결함 출력부(116) 및 제어부(110)를 포함할 수 있다. 이 경우, 영상 취득부(100)는 조명 및 카메라를 포함하는 광학모듈(10)을 포함할 수 있다.
보다 구체적으로, 광학모듈(10)은 결함 부분에서 빛의 경로가 변하여 카메라에 들어오는 빛의 양 변화를 영상화하여, 결함 부위의 신호 대 잡음비(S/N ratio)를 높여 촬영한 원본 영상을 제어부(110)에 보낼 수 있다. 이 경우, 피검사대상(107), 예를 들어, 다양한 주조 제품, 섬유, 종이 기계 전자부품 등 제조공정에서 표면에 결함을 가질 수 있는 물체들이 컨베이어 벨트(105)에 의해 고속으로 지나가는 로딩 시스템이 상기 광학 모듈(101)의 하부에 배치될 수 있다.
결함 출력부(116)는 결함을 사용자가 확인할 수 있는 모니터 또는 결함 영상을 저장하여 향후 결함 분석 및 개선 작업에 활용할 수 있는 서버 등이 될 수 있다. 결함 출력부(116)는 제어부(110)로부터 최종 출력 영상(370)을 전달 받아 사용자에게 결함을 영상으로 표시하거나, 또는 서버에 결함 데이터를 저장할 수 있다. 이 때 최종 출력 영상(370)은 도 3에 나타낸 바와 같이 결함 이미지(350)를 포함하는 원본 영상이 입력되었을 때에 결함 이미지(350)와 동일한 형상 및 위치를 나타내며 결함 종류별로 다른 색상 또는 다른 명암으로 구성된 레이블(Label, 350-1)을 가진다. 결함 검출부(115)는 최종 출력 영상(370)이 상술한 바와 같은 레이블(350-1)을 가지도록 GTD를 이용하여 기계학습된다.
한편, 제어부(110)는 영상 취득부(100)에서 취득된 피검사대상에 대한 영상들로부터 결함의 종류, 위치에 대한 정보들을 자동으로 검출할 수 있으며, 영상 입력부(113) 및 결함 검출부(115)를 포함할 수 있다. 제어부(110)는 컴퓨터 등의 연산 가능한 하드웨어, 소프트웨어 모듈 또는 하드웨어와 소프트웨어 모듈의 결합된 모듈 등 다양한 형태로 구현될 수 있다.
이 때, 영상 입력부(112)는 영상 취득부(100)에서 전달받은 원본 영상(360)을 결함 검출부(115)의 입력으로 제공한다. 필요한 경우, 결함 검출부(115)의 입력에 적합하도록, 예컨대, 입력 영상의 크기, 색상, 명암 등이 결함 검출부(115)에서 처리가능한 영상으로 변형하여 입력한다.
이하에서는 도 3을 참조하여 결함 검출부(115)에 관하여 상세히 설명하도록 한다.
결함 검출부(115)는 컨볼루션 층과 풀링층을 연속적으로 포함하는 제 1 서브네트워크(310), 복수의 컨볼루션 층이 연속되는 제 2 서브네트워크(320), 업샘플링(Up-sampling)부 및 출력부(340)을 포함한다.
결함 검출부(115)는 기계학습 모드 및 결함 검출 모드의 2개 모드로 구동된다.
기계 학습 모드에서 결함 검출부(115)는 본 발명의 특징 중 하나인 결함 종류별로 다른 색상으로 레이블링(labeling)된 GTD(Ground Truth Data)를 통하여 기계 학습되며, 기계 학습시 컨볼루션 층의 필터 종류 또는 이하에서 후술될 업샘플링 시 가중치 등을 습득하게 된다.
결함 검출 모드에서 결함 검출부(115)는 기계 학습시 습득된 컨볼루션 필터 종류, 가중치 등에 기초하여 원본 영상을 입력받아 최종 출력 영상(370)을 출력하게 되며, 결함 출력부(116)을 통하여 사용자가 최종 출력 영상(370)을 볼 수 있게 한다.
다시, 도 3을 참조하여, 결함 검출부(115)의 구성에 대하여 설명하면, 제 1 서브네트워크(310)는 컨볼루션층(Convolution Layer)과 풀링층(Pooling)이 연속적으로 포함하는 구성이다.
보다 구체적으로, 컨볼루션 층은 원본 사이즈보다 작은 크기의 컨볼루션 필터(커널)에 기초하여 피처맵(Feature Map)을 추출하게 된다. 컨볼루션 필터는 원본 사이즈보다 작은 크기의 행렬로서, 예를 들어, 에지 필터 커널 또는 블러 필터 커널 등이 사용될 수 있다. 이 때, 컨볼루션 필터를 이동시켜 가면서 원본 영상에 곱하게 되면 피처맵(Feature Map)을 추출할 수 있다. 이 때, 컨볼루션 연산을 완료한 후에, 데이터 활성화를 위하여 추가적으로 활성화 함수, 예를 들어, ReLU 등에 통과시킬 수 있다.
컨볼루셔널 레이어(310)를 통과한 후에는 데이터 및 연산량을 줄이기 위하여 풀링층를 통과하게 된다. 이 경우, 풀링층는 피처맵에서 풀링 커널(예를 들어 nⅹm) 크기만큼의 데이터를 하나의 데이터로 만들어서 피처맵을 압축하게 된다. 예를 들어, 풀링 커널의 크기가 3ⅹ3일 때, 9개의 데이터를 평균값, 최대값 또는 그 중 임의의 한 값을 이용하여 하나의 값으로 압축시킬 수 있다.
제 2 서브네트워크(320)는 복수의 컨볼루션층을 연속적으로 포함하는 구성이다. 종래의 CNN(Convolution Neural Network) 방식의 인공지능은 이미지를 입력받아서 컨볼루션 층(Convolution Layer)과 풀링층(Pooling layer)을 교차, 반복적으로 통과시켜 최종적으로는 1차원의 결과값을 얻을 수 있으나, 이 경우, 원본 화상에 대한 정보들이 너무 많이 유실되어 다시 이미지로 재생하는 것이 어려웠다.
본 발명에서는 1차원의 결과값을 얻기 전에 다시 원본 화상과 유사한 화상으로 재생을 하기 위하여 일부 풀링층을 생략한 제 2 서브네트워크(320)를 도입하였다.
전체 결함 검출부(115)에서의 풀링층의 개수는 최대 결함의 크기에 따라 결정된다. 예를 들어, 결함의 최대 크기가 20 x 20 픽셀인 경우에, 풀링층이 1개인 경우에는 결함 부분의 영상 크기는 10 x 10 픽셀이며, 풀링층이 2개인 경우 5 x 5 픽셀, 풀링층이 3개인 경우에는 2 x 2 픽셀이 얻어진다고 가정하자. 이 경우, 마지막 컨볼루션 층의 커널(컨볼루션 필터 행렬)의 크기가 3 x 3인 경우에는, 풀링층이 3개 있을 경우에는 정보가 유실되어 업샘플링 후 결함 검출이 어려울 수 있다.
이 경우, 아래와 같은 식을 만족하도록 결함 검출부(115)의 풀링층의 개수를 선택할 수 있다.
(마지막 컨볼루션 층의 커널 사이즈) > (결함의 최대 크기)/(풀링층의 개수 x 2)
한편, 업샘플링부(330)는 제1 서브네트워크(310) 및 제 2 서브네트워크(320)를 통과하여 출력된 이미지를 다시 업샘플링하여 최종 출력 영상(370)을 출력부에 출력한다.
본 발명에서 최종적으로 출력하고자 하는 최종 출력 영상(370)은 원본 영상(360)에서 결함 이미지(350)를 분할(Segmentation)하고, 분할된 결함 이미지(350)를 결함 종류별로 다른 색상 또는 명암으로 레이블링한 영상이다. 본 발명의 최종 출력 영상(370)에 관해서는 도 4에 대한 설명에서 상세히 후술하기로 한다.
이하에서는 도 5를 통하여 업샘플링부(330)의 업샘플링 방법을 상세히 설명한다. 도 5는 예시적인 결함 검출부(115)의 구성을 나타낸다.
도 5를 참조하면, 업샘플링부(330)는 마지막 컨볼루션층(컨볼루션층 #8)을 통과한 이미지와 마지막에서 하나 전 풀링층(풀링층#4)의 이미지를 결합하여 제 1 업샘플링 이미지(업샘플링 이미지 #1)을 생성한다.
보다 구체적으로, 업샘플링부(330)는 먼저, 마지막 컨볼루션층(컨볼루션층 #8)의 이미지를 풀링층, 예를 들어, 마지막 풀링층(풀링층 #5)의 풀링 크기만큼 업샘플링한다. 예를 들어, 본 실시예에서는 마지막 풀링층(풀링층 #5)에서 1/2만큼 풀링을 수행하였으므로, 마지막 컨볼루션층(컨볼루션층 #8)을 통과한 이미지를 2배만큼 업샘플링한다.
그 후, 업샘플링부(330)는 마지막 컨볼루션층(컨볼루션층 #8)을 통과한 이미지를 2배만큼 업샘플링한 이미지와 마지막 컨볼루션 층의 업샘플링시 참조하였던 풀링층의 이전 풀링층, 예를 들어, 마지막에서 하나 전 풀링층(풀링층#4)의 이미지를 픽셀별로 가중치 합하여 제 1 업샘플링 이미지를 획득한다. 이 때, 가중치는 A1i, A2i이다.
본 실시예에서는 전체 픽셀에 인가되는 가중치를 동일한 것으로 하여 설명하였으나, 전체 이미지의 부분별로 가중치를 다르게 하는 것도 가능하다. 즉, 업샘플링 가중치는 예를 들어, 도 7과 같이, 상기 결함 검출 네트워크의 마지막 층을 통과한 영상을 업샘플링한 영상과 상기 결함 검출 네트워크의 마지막에서 두번째 풀링층을 통과한 영상의 부분별로 달라질 수 있다.
이러한 방식으로 가중치 합을 통하여 업샘플링을 구현하는 경우에는 컨볼루션 레이어의 출력값 사이의 중요도가 고려될 수 있다. 예를 들어, 폴링층#4의 영상과 컨볼루션 층#8의 영상을 가중치 합을 하는 경우에, 폴링층#4의 영상에 더 중요한 정보를 많이 포함하고 있는 경우에는 폴링층#4의 영상에 더 큰 가중치가 가해져서 더해질 수 있다.
그 후, 필요하다면, 업샘플링부(330)는 업샘플링을 반복하여 수행할 수 있다. 보다 상세하게는, 제 1 업샘플링 이미지를 마지막에서 하나 전 풀링층(풀링층 #4)의 크기만큼 업샘플링한 이미지와 마지막에서 두번째 전 풀링층(풀링층 #3)의 이미지를 가중치 합하여 제 2 업샘플링 이미지를 획득한다. 이 경우, 업샘플링 회수는 결함의 구분이 가능한 수준까지 반복할 수 있다.
업샘플링부(330)에서 예를 들어, 업샘플링을 2회만 반복한 경우에는 제 2 업샘플링 이미지가 최종 출력 영상(370)으로 획득되고, 출력부(340)에 출력된다.
다시 도 3을 참조하면, 출력부(340)는 최종 출력 영상을 결함 출력부(116)에 출력하게 된다.
이와 같은 결함 검출부(115)의 구성에서 결함 검출부(115)는 결함 검출을 수행하기 전에 GTD(Ground Truth Data)에 기초하여 기계학습을 수행하게 된다. 기계 학습에서는 컨볼루션 층의 필터 종류, 풀링 층의 풀링 방법 및 상술한 업샘플링 시의 가중치 합에서의 가중치 등이 결정될 수 있다.
이하에서는 도 4를 참조하여 최종 출력 영상(370)을 출력하기 위한 GTD의 구성에 관하여 상세히 설명한다.
GTD는 GTD 영상 원본(460) 및 GTD 최종 출력 영상(470)을 포함할 수 있다.
최초, 결함 이미지(410)을 포함하는 GTD 영상 원본(460)을 영상 취득부(100)을 통하여 취득한다. 취득된 영상은 예를 들어, 256 계조를 가지는 그레이 이미지 일 수 있으며 또는 컬러 이미지 일 수 있다.
그 후, GTD 영상 원본(460)의 결함 부위를 배경(355)으로부터 분할(segmentation)할 수 있다. 이와 같은 분할은 수작업으로 이루어 질 수도 있으나, 배경(355)과 결함 이미지(410)의 계조 차이에 기초하여 자동으로 이루어 질 수도 있다.
이 경우, GTD의 분할될 결함 부분(430)은 결함의 종류에 따른 색상 또는 명암을 가질 수 있다. 사용자가 수작업으로 색상 또는 명암을 줄 수도 있고, 가로 대 세로비(Aspect Ratio), 크기에 따라 자동으로 이루어 질 수도 있다. 다만, 자동으로 분할 및 색상/명암 부여가 수행되더라도, 본발명의 결함 검출 장치는 사용자의 검토를 거쳐 최종적으로 결함의 분할될 부분(430) 및 분할될 부분(430)의 색상이 결정된다. 이 경우, 본발명의 결함 검출 장치는 사용자의 검토를 위한 UI(User Interface)를 제공할 수 있다.
이 경우, 분할될 결함 부분(430)의 색상 또는 명암은 결함의 종류에 기초하여 미리 지정될 수 있다. 예를 들어, 256 계조를 가지는 명암을 활용할 경우, 결함의 종류가 4 종류인 경우에는, 64 계조(256/4), 128 계조(256/4ⅹ2), 192계조(256/4ⅹ3), 256 계조(256/4ⅹ4)로 결함을 표시할 수 있다.
분할될 부분(430)이 배경으로부터 분할된 후에는 분할 부분 전체가 사용자가 지정한 색상 또는 명암이 표시되면서 레이블링(Labeling)된다. 즉, 최종 출력 영상(470)은 색상 또는 명암으로 표시되며, 결함과 동일한 형상 및 위치를 가지는 레이블(Label)을 포함한다.
상술한 과정으로 준비된 GTD에 기초하여 본 발명의 결함 검출부(115)가 기계학습 되고, 결함 검출부(115)의 변수인 컨볼루션 필터 종류, 풀링 방법 및 업샘플링 가중치가 결정된다.
다시 도 3을 참조하면, 본 발명에 따른 결함 검출부(115)는 기계 학습 모드를 거친 후, 결함 검출 모드에서 결함을 검사하게 된다.
결함 검사 후, 결함 종류 별로 색상 또는 명함을 달리하여 표시한 최종 출력 영상(370)이 결함 출력부(116)으로 출력되며, 사용자는 결함 출력부(116)를 통하여 피검사대상의 결함 유무를 빠르게 식별할 수 있다.
이하에서는 도 7을 참조하여, 본 발명의 실시예에 따른 딥러닝 기반 표면 검출 방법에 대하여 상세히 설명한다.
최초, 딥러닝 기반 표면 결함 검출 방법은, GTD 영상을 준비하여 제공하는 단계(S400)를 수행한다. 이 때, GTD 영상은 GTD(Ground Truth Data) 영상 원본, 및 상기 GTD 영상 원본의 결함 이미지와 동일한 형상과 위치를 나타내며 결함의 종류에 따라 다른 색상 또는 명암으로 표시된 레이블(Label)을 포함한다.
그 후, GTD 영상이 제공되면, 본 발명에 따른 결함 검출부를 GTD 영상에 기초하여 기계학습 시킨다.(단계 S410)
구체적으로, 결함 검출부(115)는 앞서 설명한 바와 같이, 적어도 하나의 컨볼루션 층과 풀링층이 순차적으로 배치되는 복수의 층을 포함하는 제 1 서브네트워크 및 복수의 컨볼루션 층이 연속적으로 배치되는 층을 포함하는 제 2 서브네트워크를 포함하는 결함 검출 네트워크; 및 상기 제 1 서브네트워크 및 제 2 서브네트워크를 통과한 결과를 업샘플링하는 업샘플링부를 포함할 수 있다.
이 때, 기계학습 단계는, GTD 영상에 기초하여 상기 제 1 서브 네트워크의 컨볼루션 층과 상기 제 2 서브네트워크의 컨볼루션 층이 기계학습된 컨볼루션 필터를 포함하도록 하며, 업샘플링부가 기계학습된 업샘플링 가중치를 포함하도록 기계학습을 수행할 수 있다.
기계학습이 완료되면, 전체 표면 결함 검출 장치는 결함 검출 모드로 동작하게 된다. 이 때, 원본 영상을 생성하는 원본 영상 취득 단계가 수행된다.(S420)
그리고, 원본 영상은 결함 검출부의 입력으로 제공되며(S430), 상기 결함 이미지와 동일한 형상과 위치를 나타내며 결함의 종류에 따라 다른 색상 또는 명암으로 표시된 레이블(Label)을 포함하는 최종 출력 영상을 출력하는 단계(S440, S450)을 수행하게 된다.
이 때, 최종 출력 영상을 출력하는 단계는, 결함 검출 네트워크의 마지막 층을 통과한 영상을 업샘플링한 영상과 상기 결함 검출 네트워크의 마지막에서 두번째 풀링층을 통과한 영상을 가중치 합한 제 1 업샘플링 이미지를 생성할 수 있다.
도 8를 참조하여, 기존의 결함 분류기와의 차이점을 설명하면, 기존에는 이미지를 검출한 후에 영상에서 결함으로 추측되는 부분의 모양, 크기, 밝기 값, 위치 정보 등 결함의 특징들을 별도로 추출해야 했었다. 그리고, 추출된 특징 값을 예를 들어, SVM(Support Vector Machine), 결정 트리(Decision tree), 인공신경망 회로(Artificial Neural Network) 등의 별도의 분류기에 넣어서 결함을 분류해야 했었다.
과거에는 특징 값을 추출하는 과정에서 사람의 노고가 투여되어야 하고, 사람이 일일이 사진에서 결함부위를 추출해야 하기 때문에 고속으로 검사가 수행되어야 하는 환경에서는 도저히 수행되는 것이 불가능했다.
그러나, 본 발명에서는 도 3와 같이, 원본 영상의 결함 부위를 색상 또는 명암으로 표시하기 때문에 사용자가 결함 유무를 빠르게 알 수 있다. 상기한 바와 같이 이루어진 본 발명에 따른 결함 탐지장치 및 방법은 머신 비전을 이용하여 움직이는 스트립(strip)의 제품 표면의 결함을 실시간으로 검출 및 분류할 수 있다.
또한, 명암 또는 색상을 이용하여 영상에 결함 종류를 레이블(Label)로 표시함으로써 GTD 생성의 어려움을 획기적으로 개선할 수 있다.
또한, GTD 데이터와 영상만으로 간단한 학습이 가능하며, 추가적인 전처리(pre-processing)이나 후 처리(post processing)를 생략하는 것이 가능하다.
한편, 본 발명의 상세한 설명 및 첨부도면에서는 구체적인 실시예에 관해 설명하였으나, 본 발명은 개시된 실시예에 한정되지 않고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능하다. 따라서, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 것들을 포함하는 것으로 해석되어야 할 것이다.
100: 영상 취득부
110: 제어부
113: 영상 입력부
115: 결함 검출부
116: 결함 출력부
310: 제 1 서브네트워크
320: 제 2 서브네트워크
330: 업샘플링부

Claims (8)

  1. GTD(Ground Truth Data) 영상 원본, 및 상기 GTD 영상 원본의 결함 이미지와 동일한 형상과 위치를 나타내며 결함의 종류에 따라 다른 색상 또는 명암으로 표시된 레이블(Label)을 포함하는 GTD 출력 영상을 포함하는 GTD 영상 제공 단계;
    상기 GTD 영상에 기초하여, 적어도 하나의 컨볼루션 층과 풀링층이 순차적으로 배치되는 복수의 층을 포함하는 제 1 서브네트워크 및 복수의 컨볼루션 층이 연속적으로 배치되는 층을 포함하는 제 2 서브네트워크를 포함하는 결함 검출 네트워크; 및 상기 제 1 서브네트워크 및 제 2 서브네트워크를 통과한 결과를 업샘플링하는 업샘플링부를 포함하는 결함 검출부를 기계학습하는 단계;
    원본 영상을 생성하는 원본 영상 취득 단계;
    상기 기계학습된 결함 검출부에서, 상기 원본 영상의 결함 이미지와 동일한 형상과 위치를 나타내며 결함의 종류에 따라 다른 색상 또는 명암으로 표시된 레이블(Label)을 포함하는 최종 출력 영상을 출력하는 단계를 포함하는,
    딥러닝 기반 표면 결함 검출 방법.
  2. 제 1 항에 있어서,
    상기 최종 출력 영상을 출력하는 단계는, 상기 결함 검출 네트워크의 마지막 층을 통과한 영상을 업샘플링한 영상과 상기 결함 검출 네트워크의 마지막에서 두번째 풀링층을 통과한 영상을 가중치 합한 제 1 업샘플링 이미지를 생성하는 단계를 포함하는,
    딥러닝 기반 표면 결함 검출 방법.
  3. 제 2 항에 있어서,
    상기 결함 검출부를 기계학습하는 단계는, GTD(Ground Truth Data) 영상에 기초하여 상기 제 1 서브 네트워크의 컨볼루션 층과 상기 제 2 서브네트워크의 컨볼루션 층이 기계학습된 컨볼루션 필터를 포함하도록 하며, 상기 업샘플링부가 기계학습된 업샘플링 가중치를 포함하도록 기계학습을 수행하는,
    딥러닝 기반 표면 결함 검출 방법.
  4. 제 3 항에 있어서,
    상기 업샘플링 가중치는 상기 결함 검출 네트워크의 마지막 층을 통과한 영상을 업샘플링한 영상과 상기 결함 검출 네트워크의 마지막에서 두번째 풀링층을 통과한 영상의 부분별로 달라지는,
    딥러닝 기반 표면 결함 검출 방법.
  5. 제 1 항에 있어서,
    상기 풀링층의 개수는 아래 식
    (마지막 컨볼루션 층의 커널 사이즈) > (결함 이미지의 최대 크기)/(풀링층의 개수 x 2)
    을 만족하도록 결정되는,
    딥러닝 기반 표면 결함 검출 방법.
  6. 원본 영상을 생성하는 영상 취득부;
    상기 원본 영상의 결함 이미지와 동일한 형상과 위치를 나타내며 결함의 종류에 따라 다른 색상 또는 명암으로 표시된 레이블(Label)을 포함하는 최종 출력 영상을 출력하는 결함 검출부; 및
    상기 최종 출력 영상을 표시하거나 저장하는 결함 출력부를 포함하며,
    상기 결함 검출부는, 적어도 하나의 컨볼루션 층과 풀링층이 순차적으로 배치되는 복수의 층을 포함하는 제 1 서브네트워크 및 복수의 컨볼루션 층이 연속적으로 배치되는 층을 포함하는 제 2 서브네트워크를 포함하는 결함 검출 네트워크; 및 상기 제 1 서브네트워크 및 제 2 서브네트워크를 통과한 결과를 업샘플링하는 업샘플링부를 포함하며,
    상기 업샘플링부는 상기 결함 검출 네트워크의 마지막 층을 통과한 영상을 업샘플링한 영상과 상기 결함 검출 네트워크의 마지막에서 두번째 풀링층을 통과한 영상을 가중치 합한 제 1 업샘플링 이미지를 생성하며,
    상기 결함 검출 네트워크는 GTD 영상 원본 및 GTD 출력 영상을 포함하는 GTD(Ground Truth Data) 영상에 기초하여 기계학습된 컨볼루션 층과 업샘플링 가중치를 가지며,
    상기 GTD 출력 영상은 상기 GTD 영상 원본의 결함 이미지와 동일한 형상과 위치를 나타내며 결함의 종류에 따라 다른 색상 또는 명암으로 표시된 레이블(Label)을 포함하는,
    딥러닝 기반 표면 결함 검출 장치.
  7. 제 6 항에 있어서,
    상기 업샘플링 가중치는 상기 결함 검출 네트워크의 마지막 층을 통과한 영상을 업샘플링한 영상과 상기 결함 검출 네트워크의 마지막에서 두번째 풀링층을 통과한 영상의 부분별로 달라지는,
    딥러닝 기반 표면 결함 검출 장치.
  8. 제 6 항에 있어서,
    상기 풀링층의 개수는 아래 식
    (마지막 컨볼루션 층의 커널 사이즈) > (결함 이미지의 최대 크기)/(풀링층의 개수 x 2)
    을 만족하도록 결정되는,
    딥러닝 기반 표면 결함 검출 장치.
KR1020170093742A 2017-07-24 2017-07-24 딥러닝 기반 표면 결함 검출장치 및 방법 KR101863196B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170093742A KR101863196B1 (ko) 2017-07-24 2017-07-24 딥러닝 기반 표면 결함 검출장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170093742A KR101863196B1 (ko) 2017-07-24 2017-07-24 딥러닝 기반 표면 결함 검출장치 및 방법

Publications (1)

Publication Number Publication Date
KR101863196B1 true KR101863196B1 (ko) 2018-06-01

Family

ID=62634891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170093742A KR101863196B1 (ko) 2017-07-24 2017-07-24 딥러닝 기반 표면 결함 검출장치 및 방법

Country Status (1)

Country Link
KR (1) KR101863196B1 (ko)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108627794A (zh) * 2018-06-27 2018-10-09 江苏高远智能科技有限公司 一种基于深度学习的智能化仪表检测方法
CN109191558A (zh) * 2018-07-27 2019-01-11 深圳市商汤科技有限公司 图像打光方法和装置
KR102008973B1 (ko) * 2019-01-25 2019-08-08 (주)나스텍이앤씨 딥러닝 기반의 하수도관 내부 결함 탐지 장치 및 방법
KR20200013148A (ko) * 2018-07-18 2020-02-06 주식회사 케이엠티엘 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
KR20200031860A (ko) * 2018-09-17 2020-03-25 윈디텍 주식회사 안전점검 기준표와 분류별 결함 데이터를 활용한 풍력 발전기 블레이드 안전 관리 시스템 및 방법
KR102083786B1 (ko) * 2018-09-13 2020-04-23 포항공과대학교 산학협력단 문자열 식별 방법 및 장치, 그리고 이를 이용한 디스플레이 영상 식별 시스템
KR20200044172A (ko) 2018-10-05 2020-04-29 주식회사 지앤아이 표면검사를 위한 딥러닝 학습방법
KR20200084444A (ko) 2018-12-26 2020-07-13 한국생산기술연구원 딥러닝 기반 영상 데이터 생성 기술을 이용한 분류 시스템 및 그 제어 방법
KR20200086812A (ko) * 2019-01-10 2020-07-20 (주)펨트론 기포에 의한 기판불량 검사시스템 및 기포에 의한 기판불량 검사방법
KR20200124887A (ko) * 2019-04-25 2020-11-04 에스케이텔레콤 주식회사 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
KR102178238B1 (ko) * 2019-05-30 2020-11-12 한국생산기술연구원 회전 커널을 이용한 머신러닝 기반 결함 분류 장치 및 방법
KR20200135044A (ko) * 2019-05-24 2020-12-02 한국생산기술연구원 영상 변환을 이용한 머신러닝 기반 결함 분류 장치 및 방법
KR20210000215A (ko) * 2019-06-24 2021-01-04 국민대학교산학협력단 혈액영상을 이용한 백혈구 감별방법
CN112381755A (zh) * 2020-09-28 2021-02-19 台州学院 一种基于深度学习的输液器导管涂胶缺陷检测方法
KR20210031444A (ko) * 2019-04-25 2021-03-19 에스케이텔레콤 주식회사 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
KR20210044080A (ko) * 2019-10-14 2021-04-22 한국생산기술연구원 머신러닝 기반 결함 분류 장치 및 방법
WO2021095991A1 (ko) * 2019-11-12 2021-05-20 라온피플 주식회사 불량 이미지 생성 장치 및 방법
KR102254773B1 (ko) 2020-09-14 2021-05-24 한국건설기술연구원 영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류 시스템 및 그 방법
KR102272100B1 (ko) * 2020-07-28 2021-07-02 현대제철 주식회사 이미지 학습을 통한 연속 주조의 면세로 크랙 탐지 방법 및 시스템
CN113160200A (zh) * 2021-04-30 2021-07-23 聚时科技(上海)有限公司 一种基于多任务孪生网络的工业图像缺陷检测方法及系统
CN113219303A (zh) * 2021-05-12 2021-08-06 广西大学 一种小电流接地系统单相接地故障数据的提取方法
WO2021187683A1 (ko) * 2020-03-20 2021-09-23 라온피플 주식회사 딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템
CN113506239A (zh) * 2021-05-21 2021-10-15 冶金自动化研究设计院 一种基于跨阶段局部网络的带钢表面缺陷检测方法
WO2021221372A1 (ko) * 2020-04-28 2021-11-04 삼성전자 주식회사 제품의 불량과 연관된 정보를 제공하기 위한 전자 장치 및 그 동작 방법
US11195265B2 (en) * 2018-12-06 2021-12-07 Lg Cns Co., Ltd. Server and method for recognizing image using deep learning
KR20220005275A (ko) * 2020-07-06 2022-01-13 한국생산기술연구원 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템 및 방법
KR20220013134A (ko) * 2020-07-24 2022-02-04 한국해양대학교 산학협력단 기계학습기반 다이캐스팅 주조품 결함검출 및 원인분석을 이용한 자동 공정 변수 제어 방법 및 장치
US11348263B2 (en) 2018-10-23 2022-05-31 Samsung Electronics Co., Ltd. Training method for detecting vanishing point and method and apparatus for detecting vanishing point
KR20230073720A (ko) 2021-11-19 2023-05-26 부산대학교 산학협력단 딥러닝 모델을 이용한 냉연강판에서의 표면결함 자동분류를 위한 장치 및 방법
US12001952B2 (en) 2018-10-29 2024-06-04 Samsung Electronics Co., Ltd. Electronic device and method for controlling electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130017402A (ko) * 2011-08-10 2013-02-20 주식회사 포스코 열간소재의 표면결함검출장치 및 검출방법
KR101562988B1 (ko) * 2014-05-08 2015-10-23 주식회사 포스코 열간소재의 표면결함 검출 장치 및 표면 검출 방법
US20160163035A1 (en) * 2014-12-03 2016-06-09 Kla-Tencor Corporation Automatic Defect Classification Without Sampling and Feature Selection
US20170206450A1 (en) * 2016-01-18 2017-07-20 Fujitsu Limited Method and apparatus for machine learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130017402A (ko) * 2011-08-10 2013-02-20 주식회사 포스코 열간소재의 표면결함검출장치 및 검출방법
KR101562988B1 (ko) * 2014-05-08 2015-10-23 주식회사 포스코 열간소재의 표면결함 검출 장치 및 표면 검출 방법
US20160163035A1 (en) * 2014-12-03 2016-06-09 Kla-Tencor Corporation Automatic Defect Classification Without Sampling and Feature Selection
US20170206450A1 (en) * 2016-01-18 2017-07-20 Fujitsu Limited Method and apparatus for machine learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Fully-convolutional network를 활용한 철강제품 정보 인식 *

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108627794A (zh) * 2018-06-27 2018-10-09 江苏高远智能科技有限公司 一种基于深度学习的智能化仪表检测方法
KR20200013148A (ko) * 2018-07-18 2020-02-06 주식회사 케이엠티엘 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
KR102121958B1 (ko) * 2018-07-18 2020-06-11 주식회사 케이엠티엘 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
US11455516B2 (en) 2018-07-27 2022-09-27 Shenzhen Sensetime Technology Co., Ltd. Image lighting methods and apparatuses, electronic devices, and storage media
KR20200014842A (ko) * 2018-07-27 2020-02-11 선전 센스타임 테크놀로지 컴퍼니 리미티드 이미지 조명 방법, 장치, 전자 기기 및 저장 매체
WO2020019618A1 (zh) * 2018-07-27 2020-01-30 深圳市商汤科技有限公司 图像打光方法、装置、电子设备及存储介质
CN109191558A (zh) * 2018-07-27 2019-01-11 深圳市商汤科技有限公司 图像打光方法和装置
CN109191558B (zh) * 2018-07-27 2020-12-08 深圳市商汤科技有限公司 图像打光方法和装置
KR102290985B1 (ko) 2018-07-27 2021-08-19 선전 센스타임 테크놀로지 컴퍼니 리미티드 이미지 조명 방법, 장치, 전자 기기 및 저장 매체
KR102083786B1 (ko) * 2018-09-13 2020-04-23 포항공과대학교 산학협력단 문자열 식별 방법 및 장치, 그리고 이를 이용한 디스플레이 영상 식별 시스템
KR102166654B1 (ko) * 2018-09-17 2020-10-19 윈디텍 주식회사 안전점검 기준표와 분류별 결함 데이터를 활용한 풍력 발전기 블레이드 안전 관리 시스템 및 방법
KR20200031860A (ko) * 2018-09-17 2020-03-25 윈디텍 주식회사 안전점검 기준표와 분류별 결함 데이터를 활용한 풍력 발전기 블레이드 안전 관리 시스템 및 방법
KR20200044172A (ko) 2018-10-05 2020-04-29 주식회사 지앤아이 표면검사를 위한 딥러닝 학습방법
US11348263B2 (en) 2018-10-23 2022-05-31 Samsung Electronics Co., Ltd. Training method for detecting vanishing point and method and apparatus for detecting vanishing point
US12001952B2 (en) 2018-10-29 2024-06-04 Samsung Electronics Co., Ltd. Electronic device and method for controlling electronic device
US11195265B2 (en) * 2018-12-06 2021-12-07 Lg Cns Co., Ltd. Server and method for recognizing image using deep learning
KR20200084444A (ko) 2018-12-26 2020-07-13 한국생산기술연구원 딥러닝 기반 영상 데이터 생성 기술을 이용한 분류 시스템 및 그 제어 방법
KR102172768B1 (ko) * 2019-01-10 2020-11-02 (주)펨트론 기포에 의한 기판불량 검사시스템 및 기포에 의한 기판불량 검사방법
KR20200086812A (ko) * 2019-01-10 2020-07-20 (주)펨트론 기포에 의한 기판불량 검사시스템 및 기포에 의한 기판불량 검사방법
KR102008973B1 (ko) * 2019-01-25 2019-08-08 (주)나스텍이앤씨 딥러닝 기반의 하수도관 내부 결함 탐지 장치 및 방법
KR102342495B1 (ko) * 2019-04-25 2021-12-22 에스케이텔레콤 주식회사 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
KR20200124887A (ko) * 2019-04-25 2020-11-04 에스케이텔레콤 주식회사 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
KR102230559B1 (ko) * 2019-04-25 2021-03-22 에스케이텔레콤 주식회사 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
KR20210031444A (ko) * 2019-04-25 2021-03-19 에스케이텔레콤 주식회사 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
KR102239133B1 (ko) * 2019-05-24 2021-04-12 한국생산기술연구원 영상 변환을 이용한 머신러닝 기반 결함 분류 장치 및 방법
KR20200135044A (ko) * 2019-05-24 2020-12-02 한국생산기술연구원 영상 변환을 이용한 머신러닝 기반 결함 분류 장치 및 방법
KR102178238B1 (ko) * 2019-05-30 2020-11-12 한국생산기술연구원 회전 커널을 이용한 머신러닝 기반 결함 분류 장치 및 방법
KR20210000215A (ko) * 2019-06-24 2021-01-04 국민대학교산학협력단 혈액영상을 이용한 백혈구 감별방법
KR102264612B1 (ko) * 2019-06-24 2021-06-14 국민대학교산학협력단 혈액영상을 이용한 백혈구 감별방법
KR102325347B1 (ko) * 2019-10-14 2021-11-11 한국생산기술연구원 머신러닝 기반 결함 분류 장치 및 방법
KR20210044080A (ko) * 2019-10-14 2021-04-22 한국생산기술연구원 머신러닝 기반 결함 분류 장치 및 방법
WO2021095991A1 (ko) * 2019-11-12 2021-05-20 라온피플 주식회사 불량 이미지 생성 장치 및 방법
CN114586062A (zh) * 2019-11-12 2022-06-03 乐人株式会社 缺陷图像生成装置和方法
WO2021187683A1 (ko) * 2020-03-20 2021-09-23 라온피플 주식회사 딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템
WO2021221372A1 (ko) * 2020-04-28 2021-11-04 삼성전자 주식회사 제품의 불량과 연관된 정보를 제공하기 위한 전자 장치 및 그 동작 방법
KR20220005275A (ko) * 2020-07-06 2022-01-13 한국생산기술연구원 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템 및 방법
KR102369293B1 (ko) 2020-07-06 2022-03-03 한국생산기술연구원 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템 및 방법
KR20220013134A (ko) * 2020-07-24 2022-02-04 한국해양대학교 산학협력단 기계학습기반 다이캐스팅 주조품 결함검출 및 원인분석을 이용한 자동 공정 변수 제어 방법 및 장치
KR102370144B1 (ko) * 2020-07-24 2022-03-03 한국해양대학교 산학협력단 기계학습기반 다이캐스팅 주조품 결함검출 및 원인분석을 이용한 자동 공정 변수 제어 방법 및 장치
KR102272100B1 (ko) * 2020-07-28 2021-07-02 현대제철 주식회사 이미지 학습을 통한 연속 주조의 면세로 크랙 탐지 방법 및 시스템
KR102254773B1 (ko) 2020-09-14 2021-05-24 한국건설기술연구원 영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류 시스템 및 그 방법
CN112381755A (zh) * 2020-09-28 2021-02-19 台州学院 一种基于深度学习的输液器导管涂胶缺陷检测方法
CN113160200B (zh) * 2021-04-30 2024-04-12 聚时科技(上海)有限公司 一种基于多任务孪生网络的工业图像缺陷检测方法及系统
CN113160200A (zh) * 2021-04-30 2021-07-23 聚时科技(上海)有限公司 一种基于多任务孪生网络的工业图像缺陷检测方法及系统
CN113219303A (zh) * 2021-05-12 2021-08-06 广西大学 一种小电流接地系统单相接地故障数据的提取方法
CN113219303B (zh) * 2021-05-12 2023-06-23 广西大学 一种小电流接地系统单相接地故障数据的提取方法
CN113506239A (zh) * 2021-05-21 2021-10-15 冶金自动化研究设计院 一种基于跨阶段局部网络的带钢表面缺陷检测方法
CN113506239B (zh) * 2021-05-21 2024-06-04 冶金自动化研究设计院 一种基于跨阶段局部网络的带钢表面缺陷检测方法
KR20230073720A (ko) 2021-11-19 2023-05-26 부산대학교 산학협력단 딥러닝 모델을 이용한 냉연강판에서의 표면결함 자동분류를 위한 장치 및 방법

Similar Documents

Publication Publication Date Title
KR101863196B1 (ko) 딥러닝 기반 표면 결함 검출장치 및 방법
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
KR102102161B1 (ko) 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
US11393100B2 (en) Automatically generating a trimap segmentation for a digital image by utilizing a trimap generation neural network
US11651477B2 (en) Generating an image mask for a digital image by utilizing a multi-branch masking pipeline with neural networks
Aquino et al. Grapevine flower estimation by applying artificial vision techniques on images with uncontrolled scene and multi-model analysis
KR101969022B1 (ko) 영상 분석 장치 및 방법
CN108280426B (zh) 基于迁移学习的暗光源表情识别方法及装置
CN112561813B (zh) 人脸图像增强方法、装置、电子设备及存储介质
JP2015099563A (ja) 画像処理装置、画像処理方法及びプログラム
CN113297956B (zh) 一种基于视觉的手势识别方法及系统
Hadiprakoso et al. Face anti-spoofing using CNN classifier & face liveness detection
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
KR101822963B1 (ko) 이진 영상을 이용한 결함 탐지장치 및 방법
Ettalibi et al. AI and Computer Vision-based Real-time Quality Control: A Review of Industrial Applications
CN113435514A (zh) 一种基于元深度学习的建筑垃圾精细分类方法、装置
KR20200071021A (ko) 영상 분석 장치, 영상 분석 방법 및 기록 매체
Saifullah et al. Palm oil maturity classification using K-nearest neighbors based on RGB and L* a* b color extraction
Mpouziotas et al. Object Detection for Low Light Images
CN115311544A (zh) 一种水下鱼类目标检测方法及装置
CN112115824A (zh) 果蔬检测方法、装置、电子设备以及计算机可读介质
Milyaev et al. Improving the processing of machine vision images of robotic systems in the Arctic
Aguiar et al. Identification of External Defects on Fruits Using Deep Learning
CN111222468A (zh) 一种基于深度学习的人流检测方法及系统
Sajeena et al. Indian sign language recognition using AlexNet

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant