KR20200135044A

KR20200135044A - 영상 변환을 이용한 머신러닝 기반 결함 분류 장치 및 방법

Info

Publication number: KR20200135044A
Application number: KR1020190061418A
Authority: KR
Inventors: 윤종필; 신우상; 구교권; 김민수; 정대웅
Original assignee: 한국생산기술연구원
Priority date: 2019-05-24
Filing date: 2019-05-24
Publication date: 2020-12-02
Also published as: KR102239133B1

Abstract

본 발명은 결함 분류 기술에 관한 것으로서, 상세하게는 제품의 원본 영상의 크기를 변화시켜 크기가 다른 영상 입력을 병렬로 구성한 머신러닝 기반의 분류기를 사용하여 제품 결함의 분류 성능을 향상시킨 영상 변환을 이용한 머신러닝 기반 결함 분류 장치 및 방법에 관한 것이다. 이를 위해, 본 발명에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 장치는 제품의 원본 영상의 크기를 순차적으로 축소하는 영상 변환부와, 상기 영상 변환부에서 순차적으로 축소된 각 영상에 대해 특징 맵을 추출하고 각 특징 맵을 결합한 후 결합한 특징 맵을 분석하여 제품의 결함을 분류하는 결함 분류부를 포함한다.

Description

영상 변환을 이용한 머신러닝 기반 결함 분류 장치 및 방법{Apparatus and method of defect classification using image transformation based on machine-learning}

본 발명은 결함 분류 기술에 관한 것으로서, 상세하게는 제품의 원본 영상의 크기를 변화시켜 크기가 다른 영상 입력을 병렬로 구성한 머신러닝 기반의 분류기를 사용하여 제품 결함의 분류 성능을 향상시킨 영상 변환을 이용한 머신러닝 기반 결함 분류 장치 및 방법에 관한 것이다.

최근 알파고와 이세돌 9단의 대결로 인공지능에 대한 관심이 크게 증가하였다. 특히 알파고의 핵심 기술로 알려진 딥러닝에 대한 학계와 산업계의 연구가 폭발적으로 증가하였다.

딥러닝은 기존에 알려진 인공 신경망(Artificial Neural Network)의 여러 문제점(즉, vanishing problem, overfitting 등)을 활성함수(ReLU)의 개발과 드롭아웃(Drop-out)과 같은 알고리즘 개선으로 그 성능을 향상시켰고 또한 GPU(Graphic Processing Units)와 같은 하드웨어의 발전과 복잡한 구조를 학습시킬 수 있는 빅데이터의 힘 덕분에 최근 여러 분야에 뛰어난 성능을 발휘하고 있다.

이러한 딥러닝 기술은 해외 많은 기업(구글, 페이스북, 애플, 마이크로소프트, 알리바바, 바이두)에 의해 빠르게 발전되고 있으며 얼굴인식, 음성인식, 자연어처리, 검색 서비스, 의료 등의 분야에 적용되고 있다. 이렇게 빠르게 발전하는 딥러닝의 최신 기술을 확보하고 더 나아가 응용 분야를 선점하고 빠르게 상용화 하는 것이 시급하다.

종래의 결함 검사 장비에서 사용되는 결함 분류 방법은 도 1과 같다.

알고리즘 개발자가 영상에서 분류가 잘 될 것 같은 특징을 영상처리 알고리즘으로 추출한 후 이러한 특징들을 분류기(SVM, Decision tree)로 학습한다.

조명과 카메라를 이용하여 광학 장치를 구성하고, 결함 부분에서 빛의 경로가 변함에 따라 카메라에 들어오는 빛의 양의 변화를 영상화하여 결함 부위의 S/N ratio를 높인다. 이러한 영상에서 결함 검출 알고리즘이 결함 후보를 검출하고, 결함 후보 영상에 대해 특징 추출 알고리즘과 분류 알고리즘을 이용해 결함을 검출 및 분류하게 된다.

이러한 방법은 사람이 얼마나 특징 추출 알고리즘을 잘 디자인하여 특징을 추출하는지가 성능의 한계이다. 또한 선택된 특징에 따라 분류 성능이 제한적이고, 영상의 회전, 밝기 변화, 크기 변화 등에 따라 분류 성능이 달라지는 문제점이 있다. 제품별로 영상의 특징이 달라서 이를 분석하여 개발하는데, 시간이 많이 소요되는 단점도 존재한다.

최신 기술인 딥러닝 중 CNN 방법을 응용한 분류 알고리즘은 영상에서 인공지능이 스스로 특징을 추출하고 학습하는 방법이다. 딥러닝 기술을 응용하여 결함 분류 알고리즘을 구성하면 위의 문제를 해결할 수 있다. 다양한 딥러닝 구조 중 영상 분야에서의 딥러닝은 CNN(Convolutional Neural Network)이라는 구조가 사용된다.

CNN을 이용한 영상 분류는 CNN 스스로가 분류 성능을 높일 수 있는 특징을 추출하고 학습한다는 특징이 있다. 이러한 특징을 이용하여 영상을 기반으로 하는 결함 검출 분야에 적용한다면 획기적인 성능 향상을 기대할 수 있다.

일반적인 딥러닝을 이용한 분류기의 구성은 도 2와 같다.

입력 영상에 대해 컨벌루션 층(Convolution layer)과 활성함수(Activation function)를 적용시킨 후 나온 특징 맵(feature map)을 풀링 층(Pooling layer)을 통해 크기를 줄인 후 다음 컨벌루션 층(convolution layer)으로 전달한다.

이러한 기본 구조를 반복적으로 깊게 쌓아서 영상에서 결함 분류를 위한 특징을 효과적으로 추출하게 한다. 풀링(Pooling)은 특징 맵의 크기를 작게하여 연산량이 줄어드는 장점과 수용 영역(receptive field)을 늘려 분류에 사용되는 특징을 넓게 포함시킬 수 있는 장점이 있다.

하지만 종래의 방법은 입력 영상 그레이(gray) 정보를 처음 컨벌루션 층(convolution layer)에서만 사용하는 단점이 있다. 즉, 원본 영상의 그레이 정보를 수용 영역이 좁은 영역에서만 사용하여 그레이 정보를 다양하게 사용하지 못하는 단점이 있다.

따라서 딥러닝의 입력을 단순히 결함 영상으로만 했을 경우의 단점을 극복하고 결함 분류 성능을 최대화하는 새로운 방법을 개발할 필요가 있다.

미국공개특허 제2019-0045168호

본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 딥러닝 기반 결함 분류 성능을 최대화하는 것이다.

이를 위해, 본 발명에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 장치는 제품의 원본 영상의 크기를 순차적으로 축소하는 영상 변환부와, 상기 영상 변환부에서 순차적으로 축소된 각 영상에 대해 특징 맵을 추출하고 각 특징 맵을 결합한 후 결합한 특징 맵을 분석하여 제품의 결함을 분류하는 결함 분류부를 포함한다.

또한, 본 발명에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 방법은 제품의 원본 영상의 크기를 순차적으로 축소하는 영상 변환 단계와, 상기 순차적으로 축소된 각 영상에 대해 특징 맵을 추출하는 특징 맵 추출 단계와, 상기 각 특징 맵을 결합한 후 결합한 특징 맵을 분석하여 제품의 결함을 분류하는 결함 분류 단계를 포함한다.

또한, 본 발명에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 방법은 제품의 원본 영상(제1 영상)의 크기(제1 크기)를 순차적으로 축소하여 제2 크기로 축소된 제2 영상부터 제N 크기로 축소된 제N 영상을 생성하는 단계와, 원본 영상에 대해 N번의 컨벌루션 및 풀링을 수행하고, 제2 영상에 대해 N-1번의 컨벌루션 및 풀링을 수행하는 방식으로, 마지막 제N 영상에 대해 1번의 컨벌루션 및 풀링을 수행하여 제1 영상부터 제N 영상까지 각각 동일한 크기의 특징 맵을 추출하는 단계와, 상기 각각 동일한 크기의 특징 맵을 결합한 후 결합한 특징 맵을 신경망을 통해 분석하여 제품의 결함을 분류하는 단계를 포함한다.

상술한 바와 같이, 본 발명은 결함 분류를 위한 특징 추출 시 원본 영상의 명암 정보를 다양하게 이용할 수 있어서 결함 분류의 성능을 획기적으로 개선할 수 있는 효과가 있다.

또한, 본 발명은 각 영상 간에 특징 맵을 연결하여 다양한 특징 맵을 추출함으로써 결함 분류의 성능을 더욱 향상시킬 수 있는 효과가 있다.

도 1은 종래 결함 분류 방법을 설명하기 위한 도면.
도 2는 일반적인 딥러닝 기반 분류 방법을 설명하기 위한 도면.
도 3은 본 발명에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 장치의 개략적 구성을 나타낸 도면.
도 4는 본 발명의 제1 실시예에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 장치의 상세 구성도.
도 5는 본 발명의 제2 실시예에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 장치의 상세 구성도.
도 6은 본 발명에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 과정을 나타낸 순서도.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.

도 3은 본 발명에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 장치의 개략적인 구성을 나타낸 것이다.

도 3을 참조하면, 영상 변환을 이용한 머신러닝 기반 결함 분류 장치(이하, 결함 분류 장치)는 영상 변환부(10)와 결함 분류부(20)를 주요 구성요소로 한다.

결함 분류 장치를 구성하는 영상 변환부(10)와 결함 분류부(20)는 소프트웨어 또는 하드웨어로 구현될 수 있다. 결함 분류부(20)는 제품의 결함 검출 및 분류기능을 수행하는 모델이 적용되어 있으며 이 모델은 머신러닝 기반으로 학습된 모델이다.

본 발명에 따른 결함 분류 장치는 제품의 표면 결함 검사뿐만 아니라 비파괴 검사와 같은 진단 분야에도 사용될 수 있다. 또한, 스마트 팩토리(smart factory) 구현의 필수 기술로서 생산 조업 조건에 따른 제품의 품질을 판정하는데도 사용될 수 있다.

영상 변환부(10)는 제품의 원본 영상을 변환시키는 부분이다. 영상 변환부(10)는 제품의 원본 영상의 크기를 순차적으로 축소시킨다. 영상 변환부(10)는 원본 영상의 그레이 값은 유지한채로 영상의 크기만을 조정한다.

결함 분류부(20)는 원본 영상과 영상 변환부(10)로부터 축소된 영상을 입력받아 각 영상으로부터 특징 맵을 추출하고 각 특징 맵을 결합한 후 결합한 특징 맵을 분석하여 제품의 결함을 검출 및 분류한다.

도 4는 본 발명의 제1 실시예에 따른 결함 분류 장치의 구성을 구체적으로 나타낸 것이다.

도 4를 참조하면, 영상 변환부(10)는 원본 영상을 입력받아 제1 크기의 원본 영상(제1 영상)을 제2 크기로 축소한 제2 영상, 제3 크기로 축소한 제3 영상, 그리고 마지막으로 제N 크기로 축소한 제N 영상을 출력한다.

영상 변환부(10)를 통해 영상의 크기가 순차적으로 축소된 제2 영상 내지 제N 영상까지의 N-1개의 영상이 출력되면, 원본 영상(제1 영상)과 각 축소된 영상들이 병렬로 결함 분류부(20)에 입력된다.

결함 분류부(20)는 제1 영상에 대해 제1 특징 맵을 추출하고, 제2 영상에 대해 제2 특징 맵을 추출하는 방식으로 나머지 제3 영상부터 제N 영상까지 각각의 특징 맵(제3 특징 맵 내지 제N 특징 맵)을 추출한다.

제1 영상(원본 영상)에 대한 특징 맵을 추출하기 위한 레이어(22)의 개수가 N개라면 제2 영상을 처리하기 위한 레이어의 개수는 N-1개가 되며, 마지막 제N 영상을 처리하기 위한 레이어의 개수는 1개가 된다.

레이어(22)는 컨벌루션(convolution) 및 풀링(pooling)을 수행하는 부분으로 특징 맵의 크기를 작게 한다.

제1 영상은 제1 레이어(22.1)부터 제N 레이어(22.N)까지 N개의 레이어를 통과하면서 제1 특징 맵으로 출력된다.

제2 영상은 제2 레이어(22.2)부터 제N 레이어(22.N)까지 N-1개의 레이어를 통과하면서 제2 특징 맵으로 출력된다. 제2 영상의 크기는 제1 영상이 제1 레이어(22.1)를 통과했을 때 출력되는 특징 맵의 크기와 동일하다.

마찬가지로 제3 영상은 제3 레이어(22.3)부터 제N 레이어(22.N)까지 N-2개의 레이어를 통과하면서 제3 특징 맵으로 출력된다. 제3 영상의 크기는 제2 영상이 제2 레이어(22.2)를 통과했을 때 출력되는 특징 맵의 크기와 동일하다.

따라서 일정한 크기로 축소된 각 영상에 대한 레이어의 수는 순차적으로 하나씩 감소되어 각 영상마다 레이어를 통과해 마지막으로 출력되는 특징 맵의 크기는 모두 동일하게 된다.

즉, 원본 영상으로부터 추출된 제1 특징 맵부터 마지막 제N 영상으로부터 추출된 제N 특징 맵까지 특징 맵의 크기는 모두 동일하게 되어 각각의 특징 맵은 결합 층(concatenate layer)(24)으로 입력된다.

결합 층(24)은 제1 특징 맵부터 제N 특징 맵까지 N개의 특징 맵을 깊이(depthe) 방향으로 결합(concatenate)하여 하나의 특징 맵을 생성한다.

결합 층(24)에서 결합된 특징 맵은 전역 평균 풀링층(Global Average Pooling layer)(26)에서 전역 평균 풀링이 수행되어 특징 맵의 크기와 상관 없이 일정 크기의 특징 벡터를 생성한다.

전역 평균 풀링은 특징 맵에 1 x 1 컨벌루션을 수행해서 출력 벡터의 원소 개수가 분류 클래스의 개수와 맞게 한다.

전역 평균 풀링층(26)을 통해 생성된 특징 벡터는 최종 분류하고자 하는 결함의 종류의 수와 동일한 크기의 완전 연결층(fully connected layer)(28)과 연결되어 최종 결함 분류 결과가 출력된다. 즉, 특징 벡터의 원소 값이 완전 연결층의 신경망을 거쳐 제품의 결함 분류가 수행된다.

도 5는 본 발명의 제2 실시예에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 장치의 구성을 나타낸 것이다.

도 5에 도시된 결함 분류 장치의 구성은 도 4에 도시된 구성과 동일하나 레이어(22) 사이에 특징 맵을 결합하기 위한 결합부(21)가 포함되어 있는 것이 다르다.

각 영상에 속하는 레이어와 레이어 사이에 결합부(21)가 위치하여 각 결합부(21)는 해당 영상의 레이어에서 출력된 특징 맵과 하위 영상의 레이어에서 출력된 특징 맵을 결합하여 해당 영상의 다음 레이어로 전달한다.

도 5를 참조하면, 제1 영상의 두 번째 레이어인 제2 레이어(22.2)에서 출력된 특징 맵의 크기와 제2 영상의 첫 번째 레이어인 제2 레이어(22.2)에서 출력된 특징 맵의 크기는 같기 때문에, 제1 영상의 제2 레이어의 출력단에 위치한 결합부(21)에서 제1 영상의 제2 레이어에서 출력된 특징 맵과 제2 영상의 제2 레이어에서 출력된 특징 맵이 결합될 수 있다.

결합부(21)는 두 특징 맵을 픽셀별(pixel-wise)로 더하거나 두 특징 맵을 깊이 방향으로 결합(concatenate)하여 하나의 특징 맵을 생성할 수 있다.

이렇게 윗층의 특징 맵과 아랫층의 특징 맵을 상호 연결하여 다양한 특징 맵을 추출할 수 있다.

도 6은 본 발명에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 과정을 나타낸 것이다.

도 6을 참조하면, 먼저 제품의 원본 영상의 크기를 순차적으로 축소하는 영상 변환 단계(S10)를 수행한다. 예를 들어, 224 x 224 원본 영상의 크기를 112 x 112, 56 x 56, 28 x 28 등의 크기로 축소할 수 있다.

다음, 순차적으로 축소된 각 영상에 대해 특징 맵을 추출하는 특징 맵 추출 단계(S20)를 수행한다.

특징 맵 추출 단계(S20)는 원본 영상과 각각의 축소된 영상에 대해 컨벌루션 및 풀링 과정을 통해 각 영상마다 동일한 크기의 특징 맵을 추출한다.

이어서 각 영상마다 추출한 동일한 크기의 특징 맵을 모두 결합한 후 결합한 특징 맵을 분석하여 제품의 결함을 분류하는 분류 단계(S30)를 수행한다.

분류 단계(S30)는 결합한 특징 맵에 대해 전역 평균 풀링을 수행한 후 완전 연결층의 신경망을 통해 제품의 결함을 분류하게 된다.

이와 같이 본 발명에 따른 결함 분류 방법은 결함 분류를 위한 특징 맵 추출 시 원본 영상의 크기를 변화시켜 다양한 크기의 영상을 병렬적으로 결함 분류부(20)에 입력함으로써 입력 영상에 대한 수용 영역(receptive field)을 확장시킬 수 있게 된다. 즉, 원본 영상의 그레이 정보를 수용 영역이 넓은 영역에서 사용하여 그레이 정보를 다양하게 사용할 수 있다.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다.

따라서 본 발명의 명세서에 개시된 실시예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.

10: 영상 변환부 20: 결함 분류부
21: 결합부 22: 레이어
24: 결합층 26: 전역 평균 풀링층
28: 완전연결층

Claims

제품의 원본 영상의 크기를 순차적으로 축소하는 영상 변환부와,
상기 영상 변환부에서 순차적으로 축소된 각 영상에 대해 특징 맵을 추출하고 각 특징 맵을 결합한 후 결합한 특징 맵을 분석하여 제품의 결함을 분류하는 결함 분류부를 포함하는 영상 변환을 이용한 머신러닝 기반 결함 분류 장치.
제1항에 있어서,
상기 영상 변환부는 제1 크기의 원본 영상(제1 영상)을 제2 크기로 축소한 제2 영상부터 제N-1 영상을 제N 크기로 축소한 제N 영상까지 출력하는 것을 특징으로 하는 영상 변환을 이용한 머신러닝 기반 결함 분류 장치.
제2항에 있어서,
상기 결함 분류부는 상기 원본 영상에 대해 제1 특징 맵을 추출하고 상기 제2 영상부터 제N 영상까지 각각에 대해 제2 특징 맵부터 제N 특징 맵을 추출하여, 제1 특징 맵부터 제N 특징 맵까지 결합한 특징 맵을 생성하는 것을 특징으로 하는 영상 변환을 이용한 머신러닝 기반 결함 분류 장치.
제1항에 있어서,
상기 결함 분류부는 상기 결합한 특징 맵에 대해 전역 평균 풀링을 수행한 후 완전 연결층의 신경망을 통해 제품의 결함을 분류하는 것을 특징으로 하는 영상 변환을 이용한 머신러닝 기반 결함 분류 장치.
제1항에 있어서,
상기 결함 분류부는 각 특징 맵을 추출하기 위한 컨벌루션 및 풀링을 수행하는 레이어가 복수 개 연결되어 있는 것을 특징으로 하는 영상 변환을 이용한 머신러닝 기반 결함 분류 장치.
제5항에 있어서,
상기 레이어 간에 특징 맵을 결합하기 위한 결합부가 포함되어 있는 것을 특징으로 하는 영상 변환을 이용한 머신러닝 기반 결함 분류 장치.
제품의 원본 영상의 크기를 순차적으로 축소하는 영상 변환 단계와,
상기 순차적으로 축소된 각 영상에 대해 특징 맵을 추출하는 특징 맵 추출 단계와,
상기 각 특징 맵을 결합한 후 결합한 특징 맵을 분석하여 제품의 결함을 분류하는 결함 분류 단계를 포함하는 영상 변환을 이용한 머신러닝 기반 결함 분류 방법.
제7항에 있어서,
상기 영상 변환 단계는 제1 크기의 원본 영상(제1 영상)을 제2 크기로 축소한 제2 영상부터 제N-1 영상을 제N 크기로 축소한 제N 영상까지 출력하는 것을 특징으로 하는 영상 변환을 이용한 머신러닝 기반 결함 분류 방법.
제8항에 있어서,
상기 특징 맵 추출 단계는 상기 원본 영상에 대해 제1 특징 맵을 추출하고 상기 제2 영상부터 제N 영상까지 각각에 대해 제2 특징 맵부터 제N 특징 맵을 추출하는 것을 특징으로 하는 영상 변환을 이용한 머신러닝 기반 결함 분류 방법.
제7항에 있어서,
상기 결함 분류 단계는 상기 결합한 특징 맵에 대해 전역 평균 풀링을 수행한 후 완전 연결층의 신경망을 통해 제품의 결함을 분류하는 것을 특징으로 하는 영상 변환을 이용한 머신러닝 기반 결함 분류 방법.
제9항에 있어서,
상기 특징 맵 추출 단계는 각 영상에 대해 컨벌루션 및 풀링을 반복적으로 수행하여 각 영상의 특징 맵을 추출하는 것을 특징으로 하는 영상 변환을 이용한 머신러닝 기반 결함 분류 방법.
제11항에 있어서,
상기 특징 맵 추출 단계는 상기 원본 영상에 대해 N개의 컨벌루션 및 풀링 레이어를 통해 제1 특징 맵을 추출하고, 상기 제2 영상부터 제N 영상까지 N개를 기준으로 그 개수가 순차적으로 하나씩 감소한 컨벌루션 및 풀링 레이어를 통해 제2 특징 맵부터 제N 특징 맵을 추출하는 것을 특징으로 하는 영상 변환을 이용한 머신러닝 기반 결함 분류 방법.
제12항에 있어서,
각 영상마다 각 컨벌루션 및 풀링 레이어에서 출력된 특징 맵과 하위 영상에 속하는 컨벌루션 및 풀링 레이어에서 출력된 특징 맵을 결합하는 단계를 더 포함하는 것을 특징으로 하는 영상 변환을 이용한 머신러닝 기반 결함 분류 방법.
제품의 원본 영상(제1 영상)의 크기(제1 크기)를 순차적으로 축소하여 제2 크기로 축소된 제2 영상부터 제N 크기로 축소된 제N 영상을 생성하는 단계와,
원본 영상에 대해 N번의 컨벌루션 및 풀링을 수행하고, 제2 영상에 대해 N-1번의 컨벌루션 및 풀링을 수행하는 방식으로, 마지막 제N 영상에 대해 1번의 컨벌루션 및 풀링을 수행하여 제1 영상부터 제N 영상까지 각각 동일한 크기의 특징 맵을 추출하는 단계와,
상기 각각 동일한 크기의 특징 맵을 결합한 후 결합한 특징 맵을 신경망을 통해 분석하여 제품의 결함을 분류하는 단계를 포함하는 영상 변환을 이용한 머신러닝 기반 결함 분류 방법.