KR101688458B1

KR101688458B1 - 깊은 신경망 학습 방법을 이용한 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법

Info

Publication number: KR101688458B1
Application number: KR1020160051808A
Authority: KR
Inventors: 곽동민; 전정우
Original assignee: 디아이티 주식회사
Priority date: 2016-04-27
Filing date: 2016-04-27
Publication date: 2016-12-23
Anticipated expiration: 2036-04-27

Abstract

자동결함분류를 위한 깊은 신경망 학습 장치 및 방법이 제공된다. 본 발명의 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 장치는, 데이터 학습을 통해 결함 분류를 수행하는 결함 분류 시스템에 있어서, 입력된 결함 후보 영상을 분산하여 학습 데이터로 저장하는 학습 데이터 저장부; 상기 학습 데이터를 이용하여 과적합이 발생하지 않는 양의 지능적 결함 영상을 더 생성하는 지능적 데이터 증가부; 및 상기 학습 데이터를 이용하여 입력된 제품의 영상을 분석하고, 상기 제품의 분류 결과를 출력하는 인공 신경망;을 포함하며, 상기 지능적 데이터 증가부는, 상기 지능적 결함 영상을 생성하는 방법으로, 영상 처리 변환 기술을 비 지도 학습 기반 신경망 학습에 적용하여 학습한 영상 생성 과정 및 데이터 분포 방법을 이용한다.

Description

깊은 신경망 학습 방법을 이용한 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법{Image inspection apparatus for manufactured articles using deep neural network training method and image inspection method of manufactured articles thereby}

본 발명은 자동결함분류를 위한 깊은 신경망 학습 및 방법에 관한 것으로, 특히 평판디스플레이, PCB 등의 제조과정에서 발생하는 결함들의 분석을 위해 데이터를 학습하고 결함을 분석하는 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법에 관한 것이다.

과거 생산 현장에서는 생산된 디스플레이 패널, PCB 등의 결함 여부에 대한 확인을 작업자의 육안에 의지하였다. 하지만, 기술이 점점 발전함에 따라 생산되는 디스플레이 패널은 그 크기 및 해상도가 증가하고, PCB는 고다층화, 초박막화, 초미세패턴화 됨에 따라 작업자의 육안만으로 생산된 제품에 대한 결함 여부를 확인하는 방법은 한계점에 봉착하였다. 따라서, 이러한 한계를 극복하기 위해 제시된 다양한 방법 중 광학계를 이용한 컴퓨터 비전기술이 현재 사용되고 있다.

광학계를 이용한 컴퓨터 비전 기술은, 자동 검사를 통해 불량품과 양품을 구분할 수 있는 수준까지 도달하였다.

이러한 컴퓨터 비전기술 분야에서는 HOG, SIFT, SURF 등과 같은 핸드크래프티드(handcrafted) 특징을 일반적으로 사용한다. 하지만, 핸드크래프티드 특징은 전문가의 경험과 분석에 의한 가정일 뿐 실제 어느 정도 유용한가에 대해서는 전체적인 기계학습이라는 틀 안에서 시도와 에러(Trial and Error)를 반복해가며 긴 시간 동안 찾아나가야 하는 문제점이 있다. 즉, 제조공정의 요인, 환경의 요인 등의 직간접적 요인들에 의해 발생할 수 있는 결함의 종류는 몇 가지로 요약되거나 한정시키기 어려운 상황이며 이를 매번 새로운 유형의 결함이 발생할 때마다 전문가가 나서서 특징을 정의하기란 여간 어려운 일이 아니며 큰 비용이 발생하게 된다.

한편, 디스플레이 패널의 종래의 검사 방법의 경우, 글라스 층의 표면에 일시적으로 접촉한 먼지와 같은 부유성 이물질까지 검출하고, 이를 불량으로 처리한다. 따라서, 불량이 아닌 제품도 부유성 이물질이 검출되어 불량품으로 분류되어 검사 결과의 신뢰성이 낮아질 수 있는 문제점이 존재한다. 또한, 불량품으로 분류된 제품들을 재검사하여 양품으로 처리하는 등의 반복되는 과정은, 생산 비용 및 시간을 증가시킨다는 문제점이 존재한다.

이러한 문제점을 해결하려는 방안으로써, 인간이 지니고 있는 효율적인 패턴인식방법을 컴퓨터에 적용시키려는 연구가 활발히 진행되고 있다. 이러한 연구 중의 하나로써, 인간의 생물학적 신경 세포의 특성을 수학적 표현에 의해 모델링한 인공 신경망에 대한 연구가 존재한다. 이는 인공 신경망을 이용하여 인간이 가지고 있는 학습 능력을 모방한 알고리즘을 획득하고, 입력 패턴과 출력 패턴 사이의 사상을 생성해 내는데 그 목적이 있으며, 이를 학습 능력이라고 표현한다. 또, 학습된 결과에 기초하여 학습에 이용되지 않은 입력 데이터에 대하여 비교적 올바른 출력을 생성할 수 있다.

한편, 인공 신경망은, 히든 레이어를 쌓는 방법에 따라 얕은 신경망과 깊은 신경망으로 분류될 수 있다. 히든 레이어는 입력 레이어와 출력 레이어 사이에 형성되며, 학습 파라미터의 수를 결정한다. 즉, 히든 레이어가 여러 겹으로 쌓이는 경우, 인공 신경망은 깊은 신경망으로써 학습 파라미터의 수 및 학습 수용력이 증가한다.

이로 인해 깊은 신경망은 매우 많은 수의 학습 데이터가 사용 가능한 경우에 그로부터 많은 정보를 추출하고 학습할 수 있기 때문에 분류의 정확도가 증가하지만, 학습 수용력에 비해 획득하는 데이터의 양이 적을 경우, 과적합(overfitting)이 되어 일반화 성능이 감소하게 되는 문제점이 있다.

KR 1311981 B

상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명의 일 실시예는 핸드크래프티드 특징을 신경망이 자동으로 추출함으로써 비용을 줄이고 정확도의 성능을 개선할 수 있는 자동결함분류를 위한 깊은 신경망 학습 장치 및 방법을 제공하고자 한다.

또한, 본 발명의 일 실시예는 학습 수용력에 비해 획득하는 데이터 양이 적은 경우에도 과적합이 되지 않는 자동결함분류를 위한 깊은 신경망 학습 장치 및 방법을 제공하고자 한다.

위와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 자동결함분류를 위한 깊은 신경망 학습 장치가 제공된다. 상기 자동결함분류를 위한 깊은 신경망 학습 장치는, 입력된 결함 후보 영상을 분산하여 학습 데이터로 저장하는 학습 데이터 저장부; 상기 학습 데이터를 이용하여 과적합이 발생하지 않는 양의 지능적 결함 영상을 더 생성하여 학습 데이터의 양을 증가시키는 지능적 데이터 증가부; 및 상기 지능적 데이터 증가부에서 증가된 학습 데이터를 이용하여 입력된 제품의 영상을 분석하고, 상기 제품의 분류 결과를 출력하는 인공 신경망;을 포함하며, 상기 지능적 데이터 증가부는, 상기 지능적 결함 영상을 생성하는 방법으로, 영상 처리 변환 기술을 비 지도 학습 기반 신경망 학습에 적용하여 학습한 영상 생성 과정 및 데이터 분포 방법을 이용한다.

상기 학습 데이터 저장부는, 상기 입력된 결함 후보 영상들을 분산 병렬 처리 스토리지에 분산하여 저장할 수 있다.

상기 지능적 데이터 증가부는, 상기 영상 생성 과정 및 데이터 분포 방법을 이용하여 생성된 결함 영상에 다양한 노이즈를 추가함으로써 상기 지능적 결함 영상을 생성할 수 있다.

상기 인공 신경망은, 상기 지능적 데이터 증가부에서 증가된 학습 데이터를 입력 받는 입력 레이어부;및 상기 은닉층에서 추출된 특징을 이용하여 분류 결과를 획득하는 출력 레이어부;를 포함하며, 상기 은닉층은, 상기 입력 레이어부에 입력된 학습 데이터를 컨볼루션 연산하여 특징을 학습하며, 복수의 입력 특징맵과 연결되는 특징맵을 가지는 컨볼루션 레이어부;및 상기 컨볼루션 레이어부와 연결되며, 학습된 특징들을 종합하여 추상적인 특징을 더 학습하는 풀리 커넥티드 레이어부;를 포함할 수 있다.

또한, 상기 은닉층은, 상기 컨볼루션 레이어부와 연결되어 컨볼루션 연산을 수행하여 특징을 학습하며, 상기 컨볼루션 레이어부와 동일한 수의 특징맵을 가지는 풀링 레이어부를 더 포함할 수 있으며, 이 경우, 상기 풀리 커넥티드 레이어부는, 상기 풀링 레이어부와 연결된다.

상기 인공 신경망은, 상기 입력 레이어부, 은닉층, 풀리 커넥티드 레이어부 및 출력 레이어부를 통해 출력된 결과를 이용하여 오차를 계산하여 가중치를 수정하는 학습부; 및 상기 수정된 가중치를 이용하여 출력된 결과로 결함 분류 결과를 도출하는 분류부;를 더 포함할 수 있다.

본 발명의 일 측면에 따르면, 자동결함분류를 위한 깊은 신경망 학습 방법이 제공된다. 상기 자동결함분류를 위한 깊은 신경망 학습 방법은, a) 검사 장치를 이용하여 학습 데이터를 획득하는 단계; b) 상기 학습 데이터를 이용하여 과적합이 발생하지 않는 양의 지능적 결함 영상을 더 생성하는 단계; 및 c) 상기 지능적 결함 영상을 이용하여 입력 영상의 결함 분류 결과를 획득하는 단계;를 포함하며, 상기 지능적 결함 영상은, 영상 처리 변환 기술을 비 지도 학습 기반 신경망 학습에 적용하여 학습한 영상 생성 과정 및 데이터 분포 방법을 이용하여 생성된다.

상기 학습 데이터는, 상기 검사 장치를 이용하여 획득한 결함 영상을 포함하며 분산 병렬 스토리지에 저장될 수 있다.

상기 단계 b)는, 상기 더 생성된 지능적 결함 영상이 기 설정된 개수 이하인 경우 상기 단계 b)를 반복할 수 있다.

상기 단계 c)는, 인공 신경망을 이용하여 결함 분류 결과를 획득하고, 상기 인공 신경망은 깊은 신경망으로 형성될 수 있다.

상기 단계 c)는, c1) 학습부에서 상기 학습 데이터를 이용하여 오류를 추정한 후, 역방향으로 추정한 오류를 전파하고 오류를 줄이는 방향으로 연결된 가중치를 업데이트하는 단계; 및 c2) 상기 업데이트 된 가중치를 이용하여 상기 학습 데이터의 결함 분류 결과를 분류부에서 획득하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 장치 및 방법은, 데이터 학습을 통해 능동적으로 생산 제품에 대한 자동 결함 분류를 수행하되, 특징추출과 분류를 하나의 신경망에서 수행할 수 있으므로, 재검으로 인한 생산 과정 및 비용을 감소시킬 수 있을 뿐만 아니라, 다양한 상황에서 새롭게 발생되는 결함들에 대한 특징을 신속하고 견고하게 파악할 수 있는 효과가 있다.

또, 본 발명의 일 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 장치 및 방법은, 학습 수용력에 비해 획득하는 데이터의 양이 적은 경우에도 과적합이 되지 않는 깊은 신경망을 이용하여 데이터 학습을 수행할 수 있는 효과가 있다.

또한, 본 발명의 일 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 장치 및 방법은, 과적합이 발생하지 않음으로써 일반화 성능이 증가하는 효과가 있다.

도 1은 본 발명의 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 장치의 블록도이다.
도 2a는 본 발명의 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 방법을 나타낸 순서도이고, 도 2b는 도 2a를 설명하기 위한 도이다.
도 3a는 도 2a의 단계 S230 중 오류역전파 방법을 나타낸 도이고, 도 3b는 도 2a의 단계 S230의 결함 분류 결과 획득 방법을 나타낸 도이다.
도 4는 본 발명의 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 장치 및 방법에서 결함 영상을 깊은 컨볼루션 신경망을 이용하여 자동 분류하는 상세한 과정을 나타낸 도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.

도 1은 본 발명의 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 장치의 블록도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 장치(100)는, 데이터 관리부(110) 및 인공 신경망(130)을 포함한다.

데이터 관리부(110)는 검사 장비로부터 수집한 학습 데이터를 저장하고, 그 양을 증가시킨다. 이때, 데이터 관리부(110)는, 학습 데이터 저장부(111) 및 지능적 데이터 증가부(113)를 포함한다.

학습 데이터 저장부(111)는, 입력된 결함 후보 영상을 학습 데이터로 분산하여 저장한다. 학습 데이터 저장부(111)는 바람직하게는 분산 병렬 처리가 가능한 저장소로 형성될 수 있고, 그 일 예로 하둡을 사용할 수 있고, 결함 후보 영상은, 광학계 비전 검사 장비를 통해 수집될 수 있다.

이때, 학습 데이터 저장부(111)는, 일 예로 각 영상들에 대해 필요한 전처리를 맵리듀스 등의 병렬 처리 기법으로 수행함으로써 빠른 시간 내에 각 영상들에 대한 전처리를 일괄적으로 수행할 수 있다. 또, 학습 데이터 저장부(111)는 후술되는 지능적 데이터 증가부(113)에서 형성된 지능적 결함 영상을 학습 데이터로써 더 저장할 수 있다.

지능적 데이터 증가부(113)는, 결함 영상 데이터 중 카테고리의 불균등한 구성, 즉 데이터 개수의 불균등을 균등하게 맞춰주거나, 깊은 신경망의 특성상, 적은 양의 결함 영상을 사용함으로써 발생할 수 있는 과적합(overfitting)을 방지하기 위해 학습 데이터 저장부(111)에서 증가된 학습 데이터의 양을 더 증가시킨다.

지능적 데이터 증가부는(113)는 지능적 결함 영상을 생성하는 방법을 획득하기 위해 먼저, 어파인(affine) 변환 등으로 표현되는 다양한 영상 처리 변환 기술을 사용자가 기 설정한 순서에 따라 자동으로 생성한다. 이후, 지능적 데이터 증가부(113)는 오토 인코더 등의 비 지도 학습 기반 신경망 학습에 영상 처리 변환 기술을 적용하여 영상 생성 과정 및 데이터 분포를 학습할 수 있다.

마지막으로, 지능적 데이터 증가부(113)는, 학습한 내용을 이용하여 새로운 결함 영상을 생성해 낼 수 있다. 이때, 지능적 데이터 증가부(113)는, 생성된 새로운 결함 영상에 다양한 노이즈를 추가함으로써 지능적인 결함 영상을 증가시킬 수 있다.

본 발명의 일 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 장치(100)는, 지능적 데이터 증가부(113)에서 증가시킨 지능적인 결함 영상을 이용하여 과적합 문제를 해결할 수 있다. 또, 지능적 데이터 증가부(113)에서 생성된 지능적인 결함 영상은 학습 데이터 저장부(111)에 학습 데이터로써 저장될 수도 있다.

한편, 인공 신경망(130)은, 학습 데이터 저장부(111)에 저장된 학습 데이터를 신경망에 입력시켜, 오류를 수정하고, 수정된 오류를 이용하여 결함 분류 결과를 출력한다. 이때, 인공 신경망(130)은, 입력 레이어부(131), 은닉층(140) 및 출력 레이어부(135)를 포함할 수 있다.

입력 레이어부(131)는 학습 데이터 저장부(111)에 저장된 학습 데이터를 획득하고, 획득한 학습 데이터를 특징맵을 가지는 레이어로 저장한다. 특징맵은 다수의 노드들이 2차원으로 배열된 구조를 가짐으로써 후술되는 은닉층(140)과의 연결을 용이하게 할 수 있다.

은닉층(140)은 상위 계층에 위치한 레이어의 특징맵을 획득하고, 획득한 특징맵으로부터 점차 높은 수준의 특징을 추출한다. 이때 은닉층(140)은 하나 또는 그 이상으로 형성될 수 있으며 컨볼루션 레이어부(141), 풀링 레이어부(143) 및 풀리 커넥티드 레이어부(145)를 포함한다. 또, 두 개 이상의 은닉층(140)이 형성되는 경우, 은닉층(140)들은 서로 적층될 수 있으며, 입력 레이어부(131)와 맞닿는 컨볼루션 레이어부(141)가 입력 레이어부(131)의 특징맵을 획득할 수 있다.

컨볼루션 레이어부(141)는 학습 데이터로부터 컨볼루션 연산을 수행하는 구성으로서, 복수의 입력 특징맵과 연결되는 특징맵을 포함한다. 특징맵의 노드들은 하위 계층 특징맵 중 특정한 윈도우/필터 내의 노드들과 연결된다. 이때, 동일한 특징맵의 노드들은 동일한 가중치를 공유한다. 즉, 일 예로 특징맵 A에 포함된 노드들은 모두 동일한 가중치 B의 값을 가지고, 특징맵 C에 포함된 노드들은 모두 동일한 가중치 D의 값을 가질 수 있다.

이때, 각각의 가중치는 2차원 영상 처리 및 특징 추출에 주로 사용되는 컨볼루션과 동일한 효과를 가지며, 컨볼루션 마스크의 역할을 수행한다. 본 발명의 일 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 장치(100)는, 컨볼루션 마스크가 신경망의 가중치로 구현되기 때문에 학습 데이터로부터 자동으로 획득할 수 있다.

풀링 레이어부(143)는, 컨볼루션 레이어부(141)의 출력을 입력으로 받아 컨볼루션 연산, 즉 서브 샘플링 연산을 수행하는 구성으로서, 은닉층(140)의 하위 계층에 위치한 컨볼루션 레이어부(141)가 가지는 입력 특징맵의 수와 동일한 수의 특징맵을 포함하며, 각각의 특징맵은 입력 특징맵과 일대일로 연결된다. 또, 각각의 특징맵의 노드들 역시 입력 특징맵 중 특정 좌표에 위치한 윈도우 내의 입력 노드들과 연결된다. 이때, 풀링 레이어부(143)는 은닉층(140)에 선택적으로 구비될 수 있다.

또, 풀링 레이어부(143)에 포함된 노드들은 연결된 입력 노드들의 값 중 최대 값 또는 평균값을 선택적으로 획득할 수 있다. 이를 이용하여 풀링 레이어부(143)의 노드들은 각 특징이 추출되는 위치상의 변이를 흡수할 수도 있고, 적은 수의 계층으로도 큰 영상을 인식하도록 할 수도 있다.

즉, 풀링 레이어부(143)에 포함된 노드들은 윈도우 내의 특징 값 중 최대값이나 평균값을 획득하지만, 해당 값의 좌표는 획득하지 않기 때문에, 특징의 위치가 변화하더라도 특징 값이 보존될 수 있다.

한편, 풀리 커넥티드 레이어부(145)는, 컨볼루션 레이어부(141)의 출력을 입력으로 받아 출력 레이어부(135)에서 출력되는 각 카테고리별 출력에 맞게 학습하는 구성으로서, 학습된 국소적 정보, 즉 특징들을 종합하여 추상적인 내용을 학습한다. 이때, 은닉층(140)이 풀링 레이어부(143)를 구비할 경우, 풀리 커넥티드 레이어부(145)는 풀링 레이어부(143)와 연결되며, 풀링 레이어부(143)의 출력으로부터 특징들을 종합하여 추상적인 내용을 학습한다. 한편, 풀리 커넥티드 레이어부(145)는, 일반적으로 멀티 레이어 퍼셉트론의 구조를 가지며, 바람직하게는 드롭아웃 기법을 이용하여 과적합을 방지할 수 있다.

드롭아웃은 일반화 및 안정화 기법으로써, 신경망을 학습하는 경우, 신경망에 존재하는 모든 레이어에 대해 학습을 수행하는 것이 아니라 히든 레이어 내의 일부 뉴런들을 생략하고 줄어든 신경망을 통해 학습을 수행하는 기법이다. 이때, 미니배치(mini-batch) 구간 동안 생략된 망에 대한 학습을 종료하고, 다시 무작위로 다른 뉴런들을 생략하면서 반복적으로 학습을 수행한다.

여기서, 미니배치(mini-batch)는 신경망을 학습하는 경우, 학습 데이터 세트를 일정 량으로 분리하여 반복적으로 학습시키는 것을 의미한다.

즉, 드롭아웃 기법은, 일부 뉴런을 획득하여 일정 량의 데이터를 반복적으로 학습시키는 방법을 반복함으로써 전체 뉴런이 전체 데이터를 학습할 수 있도록 하는 기법으로, 이를 이용하여 신경망 학습 시 일반화 및 안정화를 통해 과적합을 방지할 수 있다.

출력 레이어부(135)는 소프트 맥스(soft-max) 등의 함수를 이용하여 분류하고자 원하는 각 카테고리별 출력을 확률값으로 매핑한다. 이때, 출력 레이어부(135)에서 출력된 결과는, 학습부(136) 또는 분류부(137)로 전달되어 오류역전파를 수행하거나 결함 분류 결과로써 출력될 수도 있다.

학습부(136)는, 인공 신경망(130)의 학습을 수행한다. 본 발명의 일 실시예에서, 인공 신경망(130)의 학습은 감독학습(supervised-learning)으로 이루어진다. 감독학습이란, 학습 데이터와 그에 대응하는 출력 데이터를 함께 신경망에 입력하고, 학습 데이터에 대응하는 출력 데이터가 출력되도록 연결된 간선들의 가중치를 업데이트 하는 방법이다. 일 예로, 본 발명의 인공 신경망은 델타 규칙 및 오류역전파 학습 등을 이용하여 인공뉴런들 사이의 연결 가중치를 업데이트 할 수 있다.

오류역전파(Error-back-propagation) 학습은, 도 3a에 도시된 바와 같이, 주어진 학습 데이터에 대해 전방계산(Feed-Forward)으로 오류를 추정한 후, 출력 레이어에서 시작하여 은닉층(140)과 입력 레이어(131) 방향인 역방향으로 추정한 오류를 전파하고, 오류를 줄이는 방향으로 인공 뉴런들 사이의 연결 가중치를 업데이트 하는 방법이다.

즉, 본 발명의 일 실시예에 따른 학습부(136)는, 입력 레이어부(131) - 은닉층(140) - 풀리 커넥티드 레이어부(145) - 출력 레이어부(135)를 통해 획득된 결과로부터 오차를 계산하고, 계산된 오차를 보정하기 위해 다시 출력 레이어부(135) - 풀리 커넥티드 레이어부(145) - 은닉층(140) - 입력 레이어부(131)의 순서로 오류를 전파하여 연결 가중치를 업데이트할 수 있다.

분류부(137)는, 입력된 학습 데이터가 결함을 가지고 있는지 확인하여 자동 결함 분류 결과를 획득한다. 분류부(137)는 학습부(136)에서의 오류역전파를 통해 업데이트 된 연결 가중치를 가지는 인공 신경망(130)의 출력 데이터를 자동 결함 분류 결과로 출력할 수 있다.

즉, 분류부(137)는, 업데이트 된 연결 가중치를 가지는 인공 신경망(130)에 학습 데이터, 테스트 데이터, 또는 학습에 사용되지 않은 새 데이터가 입력되면, 입력 레이어부(131) - 은닉층(140) - 풀리 커넥티드 레이어부(145) - 출력 레이어부(135)를 통해 출력된 결과를 획득하여 결함 분류 결과로 출력할 수 있다.

이때, 본 발명의 일 실시예에서는 상술된 학습부 및 분류부가 독립적으로 존재하는 것으로 표현하였지만, 본 발명은 이에 한정되지 않으며, 사용자의 설정에 따라 출력 레이어부가 학습부 및 분류부의 동작을 더 수행할 수도 있다.

즉, 인공 신경망(130)은, 현재 설정된 연결 가중치가 최적에 가까운지를 측정하기 위하여 비용함수를 정의하고, 정의한 비용함수의 결과에 기초하여 연결 가중치들을 계속 변경하며, 학습을 반복적으로 수행할 수 있다. 이때, 비용함수는 일 예로 신경망이 학습 데이터에 기초하여 실제 출력한 출력 값 및 출력되기를 원하는 기대 값 사이의 오류를 계산하기 위한 오류 함수일 수 있다. 또한 비용함수에 L1, L2등과 같은 일반화(Regularization)텀을 추가하여 선택적으로 높은 가중치를 조절해 나갈 수 있으며 이를 통해 과적합을 방지할 수 있다.

한편, 데이터 학습을 통해 제품의 결함을 자동적으로 분류하는 데이터 학습을 통한 자동 결함 분류 방법(200)의 순서도가 도 2a에 도시되고 있다. 또, 도 2b는 본 발명의 일 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 방법을 간략히 설명한 도이며, 도 3a는 단계 S230 중 오차계산-오류역전파 방법을 나타낸 도이고, 도 3b는 단계 S230 중 결함 분류 결과를 획득하는 방법을 나타낸 도이다.

도 2a 및 도 2b를 참조하면, 본 발명의 일 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 방법(200)은, 검사 장치를 이용하여 학습 데이터를 획득하는 단계(S210), 학습 데이터를 이용하여 지능적 결함 영상을 증가시키는 단계(S220), 및 학습 데이터를 이용하여 입력 영상의 결함 분류 결과를 획득하는 단계(S230)를 포함한다.

이하에서는, 본 발명의 일 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 방법(200)을 수행하는 장치를 도 1에 도시된 데이터 학습을 통한 자동 결함 분류 시스템(100)로 설명하도록 하지만, 본 발명은 이에 한정되지는 않는다.

본 발명의 일 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 방법(200)은 먼저, 검사 장치를 이용하여 학습 데이터를 획득한다(단계 S210). 검사 장치는 결함 분류가 필요한 제품에 대해 영상을 촬영하고, 촬영된 영상을 학습 데이터로써 자동 결함 분류 시스템에 전달한다. 여기서, 촬영된 영상은, 바람직하게는 결함이 포함된 영상일 수 있다.

이때, 학습 데이터 저장부는 촬영된 영상을 획득하여 스토리지에 분산하여 저장한다. 학습 데이터 저장부는 각 스토리지에 분산되어 저장된 영상들을 맵리듀스 등의 병렬 처리 기법을 사용하여 전처리 함으로써 처리 속도를 증가시킬 수 있다.

다음으로, 지능적 데이터 증가부는 학습 데이터를 이용하여 지능적 결함 영상을 증가시킨다(단계 S220).

본 발명의 일 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 방법은 깊은 신경망을 사용한다. 깊은 신경망은, 학습 데이터의 양이 충분하지 않은 경우, 과적합 문제가 발생할 수 있다. 따라서, 본 발명의 일 실시예에서는 기 획득한 학습 데이터를 이용하여 임의의 지능적 결함 영상을 증가시킴으로써 충분한 학습 데이터의 양을 획득할 수 있다.

지능적 데이터 증가부에서는, 지능적 결함 영상을 생성하는 방법을 획득하기 위해 먼저, 어파인(affine) 변환 등으로 표현되는 다양한 영상 처리 변환 기술을 사용자가 기 설정한 순서에 따라 자동으로 생성한다. 이후, 오토 인코더 등의 비 지도 학습 기반 신경망 학습에 영상 처리 변환 기술을 적용하여 영상 생성 과정 및 데이터 분포를 학습할 수 있다.

마지막으로, 지능적 데이터 증가부에서는, 학습한 내용을 이용하여 새로운 결함 영상을 생성해 낼 수 있다. 지능적 데이터 증가부에서 생성된 새로운 결함 영상은 다양한 노이즈가 추가됨으로써 다수의 지능적 결함 영상으로 형성될 수 있다. 이때, 지능적 데이터 증가부에서 생성된 지능적인 결함 영상은 학습 데이터 저장부에 학습 데이터로써 저장될 수도 있다.

이때, 학습 데이터 저장부에 저장된 학습 데이터 양이 기 설정된 개수보다 작은 경우, 지능적 데이터 증가부에서는 추가로 지능적 결함 영상을 더 생성하여 학습 데이터에 저장하도록 단계 S220을 반복할 수 있다.

마지막으로, 인공 신경망은 학습 데이터를 이용하여 입력 영상의 결함 분류 결과를 획득한다(단계 S230).

인공 신경망은 학습 데이터를 입력 레이어부에서 획득하여, 특징맵을 가지는 레이어로 변환시키고, 은닉층을 이용하여 학습 데이터의 특징을 추출한다. 또, 추출한 특징들을 종합하여 풀리 커넥티드 레이어에서 추상적인 내용을 학습하고, 학습한 내용을 토대로 출력 레이어에서 결함 분류 결과를 출력하도록 한다.

이때, 풀리 커넥티드 레이어는, 드롭아웃 기법을 이용하여 결함 분류 결과에서의 과적합을 방지할 수 있다.

한편, 은닉층에서 획득되는 가중치는 학습 데이터에 따라 오류가 존재할 수 있기 때문에 인공 신경망은 학습 데이터 저장부에 저장된 학습 데이터를 이용하여 입력 영상의 결함 분류 결과를 획득하기 위한 사전 단계로써, 도 3a와 같은 오류역전파 단계를 더 포함할 수 있다.

오류역전파 단계는, 주어진 학습 데이터에 대하여 오류를 추정하고, 추정된 오류를 감소시키는 방향으로 가중치를 변경시키는 과정이다.

이때, 학습부는 출력 레이어부에서 출력된 결과를 확인하고, 오류를 감소시키도록 가중치를 조절한다. 조절된 가중치는 일반적인 과정의 역방향인 출력 레이어부 - 풀리 커넥티드 레이어부 - 은닉층 - 입력 레이어부 방향으로 진행되며 가중치를 업데이트함으로써 오류를 감소시키는 오류역전파 학습이 수행될 수도 있다.

따라서, 본 발명의 일 실시예에 따른 자동결함분류를 위한 깊은 신경망 학습 방법(200) 중 학습 데이터를 이용하여 입력 영상의 결함 분류 결과를 획득하는 단계(S230)는, 도 3a와 같이 학습부에서 오류역전파 단계를 수행한 후 도 3b에 도시된 바와 같이 분류부에서 단계 S230을 수행함으로써 결함 분류 결과를 획득할 수 있다.

이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.

100: 자동결함분류를 위한 깊은 신경망 학습 장치
110: 데이터 관리부 111: 학습 데이터 저장부
113: 지능적 데이터 증가부 130: 인공 신경망
131: 입력 레이어부 135: 출력 레이어부
136: 학습부 137: 분류부
140: 은닉층 141: 컨볼루션 레이어부
143: 풀링 레이어부 145: 풀리 커넥티드 레이어부

Claims

제조 과정에 의해 제조된 제조품으로부터 획득한 영상에 대하여 깊은 신경망을 이용하여 상기 제조품의 자동 결함 분류를 수행하는 제조품용 영상 검사 장치에 있어서,
상기 제조품에 대한 결함 영상을 획득하여 분산 저장하고, 하기 지능적 데이터 증가부에서 생성된 지능적 결함 영상을 추가 저장하는 학습 데이터 저장부;
상기 학습 데이터 저장부에 저장된 결함 영상만으로 상기 지능적 결함 영상을 생성하여 전체 결함 영상의 양을 증가시키는 지능적 데이터 증가부; 및
상기 학습 데이터 저장부에 저장된 결함 영상을 이용하여 입력된 제조품의 영상을 분석하고, 상기 제조품의 결함 분류 결과를 출력하는 깊은 신경망인 인공 신경망;
을 포함하되,
상기 지능적 데이터 증가부는,
상기 학습 데이터 저장부에 저장된 결함 영상에 어파인 변환을 포함하는 복수개의 영상 처리 변환 기술을 기 설정된 순서에 따라 적용하여 변환 영상을 생성하며,
상기 변환 영상에 대하여 오토 인코더를 포함하는 비 지도 학습 기반 신경망 학습에 적용하여 영상 생성 과정 및 데이터 분포 방법을 학습하고,
학습된 영상 생성 과정 및 데이터 분포 방법을 이용하여 새로운 결함 영상인 상기 지능적 결함 영상을 생성하며,
상기 지능적 결함 영상에 다양한 노이즈를 추가함으로써 상기 지능적 결함 영상을 추가 생성하는 것을 특징으로 하는 제조품용 영상 검사 장치.
제1항에 있어서,
상기 학습 데이터 저장부는,
상기 결함 영상들을 분산 병렬 처리 스토리지에 분산하여 저장하는 것을 특징으로 하는 제조품용 영상 검사 장치.
제1항에 있어서,
상기 인공 신경망은,
드롭 아웃 기법을 이용하여 일부 뉴런을 생략한 학습을 수행하거나,
비용함수를 정의하여 현재 설정된 연결 가중치가 최적에 가까운지를 측정하고 정의한 비용함수의 결과에 기초하여 연결 가중치들을 계속 변경하여 학습을 반복적으로 수행하되 비용함수에 일반화 텀을 추가하여 선택적으로 연결 가중치를 조절하는 학습을 수행하며,
상기 비용함수는,
인공 신경망이 결함 영상에 기초하여 실제 출력한 출력 값 및 출력되기를 원하는 기대 값 사이의 오류를 계산하기 위한 오류 함수인 것을 특징으로 하는 제조품용 영상 검사 장치.
제2항에 있어서,
상기 인공 신경망은,
상기 학습 데이터 저장부에 저장된 결함 영상을 입력 받고, 입력 받은 결함 영상을 특징맵을 가지는 레이어로 저장하는 입력 레이어부;
상기 결함 영상을 이용하여 상위 계층에 위치한 레이어의 특징맵을 획득하고, 획득한 특징맵으로부터 특징을 학습하는 하나 이상의 은닉층; 및
상기 은닉층에서 추출된 특징을 이용하여 분류 결과를 획득하되 소프트 맥스(soft-max)의 함수를 이용하여 분류하고자 원하는 각 카테고리별 출력을 확률값으로 매핑하는 출력 레이어부;를 포함하며,
상기 은닉층은,
상기 입력 레이어부에 입력된 결함 영상을 컨볼루션 연산하여 특징을 학습하고, 복수의 입력 특징맵과 연결되는 특징맵을 가지는 컨볼루션 레이어부; 및
상기 컨볼루션 레이어부와 연결되어 학습된 특징들을 종합하여 추상적인 특징을 더 학습하되 출력 레이어부에서 출력되는 각 카테고리별 출력에 맞게 학습하는 풀리 커넥티드 레이어부;를 포함하며,
상기 컨볼루션 레이어부의 특징맵의 노드들은,
하위 계층 특징맵 중 특정한 윈도우 내의 노드들과 연결되되, 컨볼루션 마스크의 역할을 수행하도록 동일한 특징맵의 노드들이 동일한 가중치를 공유하는 것을 특징으로 하는 제조품용 영상 검사 장치.
제4항에 있어서,
상기 은닉층은,
상기 컨볼루션 레이어부의 출력을 입력으로 받아 서브 샘플링 연산을 수행하여 특징을 학습하고 상기 컨볼루션 레이어부와 동일한 수의 특징맵을 가지는 풀링 레이어부를 더 포함하며,
상기 풀리 커넥티드 레이어부는,
상기 풀링 레이어부와 연결되어 상기 풀링 레이어부의 출력으로부터 특징들을 종합하여 추상적인 내용을 학습하고 멀티 레이어 퍼셉트론의 구조를 가지며 드롭아웃 기법을 이용하여 과적합을 방지하고,
상기 풀링 레이어부의 특징맵은,
입력 특징맵과 일대일로 연결되고 노드들이 입력 특징맵 중 특정 좌표에 위치한 윈도우 내의 입력 노드들과 연결되며,
상기 풀링 레이어부에 포함된 노드들은,
입력 노드들이 가지는 최대값 또는 평균값을 선택적으로 획득하는 것을 특징으로 하는 제조품용 영상 검사 장치.
제5항에 있어서,
상기 인공 신경망은,
상기 입력 레이어부, 은닉층 및 출력 레이어부를 통해 출력된 결과를 이용하여 오차를 계산하고 계산된 오차를 보정하기 위해 출력 레이어부, 은닉층 및 입력 레이어부의 순서로 오류를 전파하여 연결 가중치를 수정하는 학습부; 및
상기 수정된 연결 가중치를 이용하여 출력된 결과로 결함 분류 결과를 도출하는 분류부;를 더 포함하는 것을 특징으로 하는 제조품용 영상 검사 장치.
제1항, 제2항, 제4항 및 제5항 중 어느 한 항에 따른 제조품용 영상 검사 장치의 자동결함분류에 의한 제조품 영상 검사 방법으로서,
a) 학습 데이터 저장부에서 학습 데이터인 결함 영상을 획득하는 단계;
b) 지능적 데이터 증가부에서 상기 결함 영상을 이용하여 지능적 결함 영상을 추가 생성하는 단계; 및
c) 인공 신경망에서 상기 지능적 결함 영상을 이용하여 입력 영상의 결함 분류 결과를 획득하는 단계;를 포함하고,
상기 지능적 결함 영상은,
어파인(affine) 변환의 영상 처리 변환 기술을 오토 인코더의 비 지도 학습 기반 신경망 학습에 적용하여 학습한 영상 생성 과정 및 데이터 분포 방법을 이용하여 생성되며,
상기 단계 b)는,
상기 추가 생성된 지능적 결함 영상이 기 설정된 개수 이하인 경우 상기 단계 b)를 반복하는 것을 특징으로 하는 제조품용 영상 검사 방법.
제7항에 있어서,
상기 결함 영상은,
분산 병렬 스토리지에 저장되는 것을 특징으로 하는 제조품용 영상 검사 방법.
삭제
삭제
제8항에 있어서,
상기 단계 c)는,
c1) 학습부에서 상기 결함 영상을 이용하여 오류를 추정한 후, 역방향으로 추정한 오류를 전파하고 오류를 줄이는 방향으로 연결 가중치를 업데이트하는 단계; 및
c2) 상기 업데이트 된 연결 가중치를 이용하여 상기 결함 영상의 결함 분류 결과를 분류부에서 획득하는 단계;를 포함하는 것을 특징으로 하는 제조품용 영상 검사 방법.