KR101087022B1 - 불량인식 시스템의 학습방법 - Google Patents

Abstract

본 발명은, 현장에서 양불(良不)판단이 효과적으로 이루어지도록, 다수의 테스트 결과 중 최고의 정확성을 가지는 학습결과를 도출하는 불량인식 시스템의 학습방법에 관한 것이다.

본 발명에 의한 불량인식 시스템의 학습방법은, 학습할 물품을 선택하는 품목선택과정(S12)과; 신규 학습인지, 아니면 기존학습을 이어서 하는지의 여부를 판단하는 유형판단과정(S14)과; 새 카테고리를 형성하는 카테고리형성과정(S16)과; 기존 카테고리를 선택하는 카테고리선택과정(S18)과; 카테고리별로 학습할 데이터(data) 수의 비율을 선택하는 비율선택과정(S20)과; 카테고리별로 학습한 이미지 데이터(data)를 저장할 폴더를 선택하는 폴더선택과정(S22)과; 이미지를 입력받아 저장하는 입력과정(S24)과; 실제 제품을 이용하여 테스트하는 테스트과정(S26)과; 테스트결과가, 요구하는 학습 결과값을 만족하는지의 여부를 판단하는 결과판단과정(S30)과; 학습결과를 저장하는 저장과정(S32); 등으로 이루어진다. 이와 같은 본 발명에 의하면, 양불(良不) 판단에 관한 학습이 효과적으로 이루어지는 이점이 있다.

불량, 양품, 판단, 학습

Description

불량인식 시스템의 학습방법 {Testing method for failure recognition system}

본 발명은 불량인식 시스템에 관한 것으로, 보다 상세하게는 현장에서 양불(良不) 판단이 효과적으로 이루어지도록, 다수의 테스트 결과 중 최고의 정확성을 가지는 학습결과를 도출하는 불량인식 시스템의 학습방법에 관한 것이다.

종래에는 프레스 등의 가공 작업에 의해 성형된 제품의 품질을 판단하기 위해서는 작업자가 일일이 제품을 눈으로 보고 판단한다. 즉, 작업자의 개별 판단에 의해 각각의 제품을 시각적으로 인식하여 불량과 양품을 판단하게 된다.

따라서, 이러한 작업자의 판단에 의하는 경우에는 일일이 제품을 검사하여야 하므로, 작업 능률이 저하되는 문제점이 있다. 또한, 작업자의 상황에 따라 검사기준이 변경되기도 한다. 즉, 작업자의 그날 컨디션에 따라 불량과 양품의 기준에 변화할 수 있기 때문에 품질판단이 주관적으로 되는 문제점이 있다.

한편, 근래에는 인공지능이나 신경망이론 등에 의해 제품의 형상을 인식하는 방법이 나오고 있다. 그러나, 이러한 인공지능이나 신경망이론에 의하는 경우에도 해당 제품을 설정하고, 그에 대한 변수를 지정해야 하는 등 기본적으로 해당 판단 기준을 모두 프로그램화하여 지정하여야 한다.

즉, 종래의 인공지능이나 신경망 이론에 의하여 제품 형상을 판단하는 경우에도 많은 신경망의 입력뉴런(input neuron)이 필요하므로, 이러한 신경망의 학습시간이 과다하게 소요되고 계산시간도 많이 소요된다.

또한, 특정된 해당 제품에 대해서만 형상 판단이 가능하므로 다수의 제품에 대한 형상 판단을 위해서는 그때마다 프로그램을 수정하고, 해당 제품의 기준을 설정해 주어야 하는 번거로움이 있다.

그리고, 양품과 불량을 판단하여 학습하기 위한 별도의 학습시스템이 없으므로, 신규 또는 기존의 불량인식 시스템에 불량인식 이미지를 추가하기 위해서는 일일이 하나씩 이미지를 추가하여 양품과 불량임을 인지시켜야 하며, 이러한 경우에는 정확하게 이미지가 일치하는 경우에만 양불(良不)의 판단이 가능한 문제점이 있다.

본 발명의 목적은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 실제 현장에서 보다 정확한 양불(良不)판단이 가능하도록 하는 최적의 불량인식 시스템의 학습방법을 제공하는 것이다.

본 발명의 다른 목적은, 학습시간이 짧으면서도 정밀도가 높은 학습방식을 가지는 불량인식 시스템의 학습방법을 제공하는 것이다.

상기한 바와 같은 목적을 달성하기 위한 본 발명에 의한 불량인식 시스템의 학습방법은, 학습할 물품을 선택하는 품목선택과정과; 신규 학습인지, 아니면 기존학습을 이어서 하는지의 여부를 판단하는 유형판단과정과; 상기 유형판단과정에서의 판단결과, 신규학습인 경우에는 새 카테고리를 형성하는 카테고리형성과정과; 상기 유형판단과정에서의 판단결과, 기존학습을 이어서 하는 경우에는 기존 카테고리를 선택하는 카테고리선택과정과; 카테고리별로 학습할 데이터(data) 수의 비율을 선택하는 비율선택과정과; 카테고리별로 학습한 이미지 데이터(data)를 저장할 폴더를 선택하는 폴더선택과정과; 이미지를 입력받아 저장하는 입력과정과; 실제 제품을 이용하여 테스트하는 테스트과정과; 상기 테스트과정에서의 결과를 확인하는 확인과정과; 상기 확인과정에서 확인된 테스트결과가, 요구하는 학습 결과값을 만족하는지의 여부를 판단하는 결과판단과정과; 상기 결과판단과정에서의 판단결과, 결과에 만족하는 경우에는 학습결과를 저장하는 저장과정;을 포함하는 것을 특 징으로 한다.

상기한 바와 같은 본 발명에 따르면, 다수의 제품에 대해 별도의 조작없이도 학습에 의해 품질판단이 가능하므로 작업능률이 향상되고, 품질기능이 향상되는 장점이 있다. 즉, 본 발명에 의하면 제품의 유형이 달라지는 경우에도 학습에 의해 자동적으로 해당 유형을 판별하여 해당 제품의 품질 기준으로 제품의 불량여부를 판단하게 된다. 이와 같이 본 발명에 의하면, 보다 인간에 가까운 학습 및 판단이 가능하므로 품질판단 작업이 보다 효과적으로 가능하게 된다.

또한, 본 발명에서는, 학습과정에서가 이미지센서(Image sensor)가 여러 개의 이미지(Image)에서 랜덤(Random)하게 읽어들이는 횟수와, 최대거리 범위내의 벡터(vector)는 동시에 발생하는 것으로 간주하는 최대거리(MaxDistance) 및 추론(inference)과정에서 필요한 변수(parameter)이며 정규분포의 표준편차로서 동시에 발생하는 경우의 수의 범위를 지정하는 시그마(Sigma)에 대한 최적의 수치를 제공한다. 따라서, 학습에 소요되는 시간이 단축되고 제품의 양불(良不) 판단의 정확도(Accuracy)가 향상되는 장점이 있다.

그리고, 본 발명에서는 학습을 위하여, 신규의 카테고리를 형성하는 외에, 간단히 기존 카테고리에 데이터를 추가하는 것이 가능하므로, 카테고리의 형성 및 업데이트가 자유로운 이점이 있다.

뿐만 아니라, 본 발명에서는, 학습한 결과가 요구되는 결과치를 만족하는지 검토하는 과정이 부가되어 있으므로, 학습된 다수의 결과 중 가장 정확하다고 인정 되는 학습결과를 불량인식 시스템에 제공하여 현장에서 사용하게 되므로, 양불(良不) 판단이 보다 정확해지는 효과가 있다.

이하 본 발명에 의한 불량인식 시스템의 학습방법에 대하여 설명한다.

본 발명은, 기본적으로 에이치티엠(HTM)을 기반으로 하는 인식엔진(recognition engine)에 의해 품질을 판단하는 시스템에 있어서 학습하는 방법에 관한 것이다.

에이치티엠(HTM: Hierarchical Temporal Memory) 모델은, 인간의 지능을 관장하는 신피질의 메커니즘을 의미한다. 즉, Hawkins가 인간 두뇌(Brain)의 뉴런(Neuron)과 시냅시스(Synapsis)의 동작을 모형화해 제안한 신피질(Neocortex)의 연산 모델(Computational Model)이다.

이러한 에이치티엠(HTM: Hierarchical Temporal Memory) 모델은, 기존의 휴리스틱탐색(Huristic search)을 기본으로 하는 인공지능(Artificial intelligence(AI))이나, 단순 뉴런(Neuron)들의 연결로 보는 인공신경망(Artificial neural network(ANN))과는 다르다.

그리고, 에이치티엠(HTM: Hierarchical Temporal Memory)에서는, 네트워크의 기본 단위인 노드(Node)를 6개 층으로 이루어진 신피질(Neocortex)의 기본 단위 즉, 신피질컬럼((Neocortex column)을 단위 노드(Node)로 하여(이는 대략 1,000개의 뉴런들과 1,000,000개의 시냅시스들로 구성됨), 이들을 계층 네트워크(Hierarchy network)로 구성하며, 이를 이용하여 세계(World)의 시공간 적(Spatial-temporal) 패턴(Pattern) 정보(특히, 시간(Temporal) 정보)를 기억해 효율적으로 지능적 판단을 할 수 있게 한다.

따라서, 기존의 AI나 ANN에 비해 세계에 대한 인식이 효율적(Efficient)이면서 훨씬 강건한(Robust) 것으로 나타나고 있다.

보다 구체적으로 살펴보면 에이치티엠(HTM: Hierarchical Temporal Memory)은, ⅰ)계층적(Hierarchical)의 의미로, HTM은 트리 모양을 하는 노드들의 계층으로 조직되며, 각 노드는 학습과 메모리 기능을 가지며 이를 수행하는 내부 알고리즘을 갖는다. 낮은 수준의 노드는 외부로부터 많은 양의 입력을 받아 처리한 후 다음 상위 수준으로 그 처리 결과를 보낸다.

ⅱ)시간적 (Temporal)의 의미로, 훈련하는 동안, HTM 응용은 해당 객체를 시간에 걸쳐 변해가는 형태로 나타내는데, 예를 들어, 그림 응용을 훈련시키는 동안에 이미지는 위에서 아래로, 그리고 왼쪽에서 오른쪽으로 마치 이미지가 시간에 걸쳐 움직이는 것으로 나타내어진다. 그리고, 이러한 시간적 요소가 매우 중요하며, 알고리즘은 시간에 따라 점차 변하는 입력을 기대하도록 되어 있다.

ⅲ)메모리(Memory)의 의미로, HTM 응용은 두 단계로 동작한다. 즉, 메모리를 훈련하고, 그 메모리를 추론에 사용한다. 우선 훈련하는 동안에 HTM 네트워크는 그것이 받아들이고 있는 입력에서 패턴을 인식하기 위해 학습하며, 이때 계층의 각 수준에서 분리적으로 훈련된다.

이렇게 하여 네트워크의 훈련이 완전히 끝나면, 계층의 각 수준은 그것의 세계에 있는 모든 객체들을 메모리 안에 체계적으로 갖게 된다.

다음으로 추론하여 인식하는 동안에 HTM 네트워크는 새로운 객체를 받아, 그것이 이미 알고 있는 객체들 중의 하나로 가장 그럴 것 같다고 판단한다.

이러한 HTM(Hierarchical Temporal Memory)은, 인간은 쉽게 해결하지만 기계는 해결하기 어려운 문제들을 컴퓨터로 해결할 수 있도록 하기 위해, 인간 두뇌의 신피질(neocortex)을 소프트웨어적으로 모델링한 새로운 컴퓨팅 패러다임이다.

HTM을 이용하면 입력되는 센서 데이터에 나타나는 패턴을 발견할 수 있으며, 몇 가지 간단한 응용들(이미지 인식, 다이아그램 인식, 웨이브 인식)에서는 성능의 우수성이 이미 입증되었다.

본 발명은, 이러한 HTM을 이용하여, 제조 공장의 품질보증을 위한 판단에 활용할 수 있도록 한 것이다. 즉, 각종 센서(이미지, 온도, 습도, 먼지)들로부터 수집된 데이터를 이용해 공정 내 또는 공정 간의 품질 상황을 판단할 수 있는 시스템이다.

이와 같이, 에이치티엠(HTM)을 기반으로 하는 인식엔진(recognition engine)에서는, 다수의 이미지(Image)가 혼재하여 있는 경우에 이러한 다수의 이미지(Image)들을 유사한 종류끼리 각각 분류하여 판단한다. 이는, 어린이에게 기차와 비행기를 사진이나 실물을 통해 인식시켜 주면, 이와 유사한 형체는 그 크기와 무관하게 기차와 비행기로 인식하게 되는 것과 같다.

도 1은, 본 발명이 적용되는 불량인식 시스템의 개략적인 구성 상태를 보인 블럭도이다.

이에 도시된 바와 같이, 불량인식 시스템은, 양품과 불량에 대한 정보를 학 습에 의해 획득하는 학습단계(S10)와, 제품의 양불 판단을 위한 시스템의 기준 정보를 설정하는 설정단계(S100)와, 상기 설정단계(S100)에서 설정된 기준에 따라 제품을 검사하는 제품검사단계(S150)와, 상기 제품검사단계(S150)에서 측정된 제품의 영상을 구체화하여 제품의 유형과 정확한 제품 형상을 인식하는 제품인식단계(S160)와, 상기 제품인식단계(S160)에서 최종적으로 인식된 영상을 상기 학습단계(S10)에서 획득된 정보에 의해 불량과 양품을 판단하는 제품품질판단단계(S170)와, 상기 제품품질판단단계(S170)에 의해 제품 불량이 발생한 경우에는 이러한 사실을 외부로 알림과 동시에 상기 설정단계(S100)에서 설정된 제어방법에 따라 설비를 제어하는 후속조치단계(S180) 등으로 이루어진다.

상기 학습단계(S10)는, 본 발명에 의한 학습방법을 의미하며, 도 2는 이러한 본 발명에 의한 불량인식 시스템의 학습방법에 대해 구체적으로 도시한 플로우차트이다.

이에 도시된 바와 같이, 상기 학습단계(S10)는, 학습할 물품을 선택하는 품목선택과정(S12)과, 신규 학습인지 아니면 기존학습을 이어서 하는지의 여부를 판단하는 유형판단과정(S14)과, 상기 유형판단과정(S14)에서의 판단결과 신규학습인 경우에는 새 카테고리를 형성하는 카테고리형성과정(S16)과, 상기 유형판단과정(S14)에서의 판단결과 기존학습을 이어서 하는 경우에는 기존 카테고리를 선택하는 카테고리선택과정(S18)과, 카테고리별로 학습할 데이터(data) 수의 비율을 선택하는 비율선택과정(S20)과, 카테고리별로 학습한 이미지 데이터(data)를 저장할 폴더를 선택하는 폴더선택과정(S22)과, 이미지를 입력받아 저장하는 입력과정(S24) 과, 실제 제품을 이용하여 테스트하는 테스트과정(S26)과, 상기 테스트과정(S26)에서의 결과를 확인하는 확인과정(S28)과, 상기 확인과정(S28)에서 확인된 테스트결과가 요구하는 학습 결과값을 만족하는지의 여부를 판단하는 결과판단과정(S30)과, 상기 결과판단과정(S30)에서의 판단결과 결과에 만족하는 경우에는 학습결과를 저장하는 저장과정(S32) 등으로 이루어진다.

도 3a에는 본 발명에 의한 불량인식 시스템의 학습방법을 수행하기 의한 메인화면의 일례가 도시되어 있다. 이에 도시된 바와 같이, 양품과 불량, 그리고, 학습데이터와 테스트데이터 등이 일괄적으로 관리된다.

상기 유형판단과정(S14)은, 학습할 내용이 신규의 제품에 대한 것인지, 아니면, 이전에 학습한 적이 있는 제품에 대하여 추가로 학습하는 것인지의 여부를 판단하는 과정이다.

따라서, 이러한 유형판단과정(S14)에서의 판단결과에 따라, 상기 카테고리형성과정(S16)이나 카테고리선택과정(S18)이 진행된다.

상기 카테고리형성과정(S16)은, 새로운 제품의 학습되는 이미지 데이터를 보관하기 위하여 새 카테고리를 형성하는 과정이다.

이 과정에서는, 크게 양품 카테고리와 불량 카테고리로 나누어 생성되도록 하며, 또한, 불량 카테고리는, 불량의 종류에 따라 불량1, 불량2....기타 등과 같은 다양한 카테고리로 이루어진다.

예를 들어 구체적으로 살펴보면, 불량1은 제품의 일부에 비틀림이 발생한 유형이고, 불량2는 제품의 일부가 절단되어 깎인 유형이며, '기타'는 어떤 유형에도 포함되지 않으나 양품은 아닌 경우의 제품이 소속되는 카테고리이다.

도 3b는 상기 카테고리형성과정(S16)에 의해 형성된 카테고리의 유형의 일례를 보여주는 화면이다.

그리고, 상기 카테고리선택과정(S18)은, 기존에 존재하는 다수의 카테고리 중에서 해당 제품의 카테고리를 선택하여, 새로이 입력되는 학습 이미지를 저장할 카테고리를 선택하여 지정하는 과정이다.

상기 카테고리형성과정(S16)이나 카테고리형성과정(S16)이 완료되고 나면, 다음으로는 비율선택과정(S20)이 진행된다.

상기 비율선택과정(S20)은, 각 카테고리를 어떠한 비율로 하여 학습을 수행할 것인지를 결정하는 과정이다. 즉, 학습하는 이미지의 수를 어떠한 비율로 할 것인지를 선택하는 과정이며, 여기에서는, 양품과 불량에 대해 학습하는 이미지(Image)데이터(Data) 수의 비를 실제 현장에서 발생하는 양품과 불량의 비율과 유사한 비율로 설정한다. 이처럼, 학습하기 위한 양품과 불량의 기본 데이터 비는, 실제 현장에서 발생하는 비율과 같은 비가 되도록 함이 바람직하다.

그리고, 상기 비율선택과정(S20)에서는, 양품:불량1:불량2의 유형별로 학습하는 이미지(Image)데이터(Data) 수의 비(比)를 4:1:1 로 하는 것이 가장 바람직하다. 이와 같은 비율선택과정(S20)은 아래에서 상세히 살펴본다. 도 3c에는 이러한 비율선택과정(S20)에 따라 양품과 불량 이미지의 비율을 선택하는 화면의 일례가 도시되어 있다.

상기 입력과정(S24)은, 이미 저장되어 있는 이미지를 입력하여 양불(良不)을 판단하는 과정이거나, 또는 실제 테스트를 거쳐 양품과 불량품을 이미지로 입력받아 저장하는 과정이다.

즉, 컴퓨터에 미리 제품에 대한 이미지를 스캔하여 저장하고 있는 경우에는, 이러한 이미지 데이터를 불러들여 양품이미지인지 불량이미지인지를 판단하는 과정이다.

그리고, 이미지가 미리 저장되어 있지 않은 경우에는, 실제로 물건을 라인(Line)에 흘려보내면서 제품 이미지를 읽어들이고, 이 이미지를 유형별로 구분하여 저장하는 과정이다. 즉, 이미지 센서를 작동시킨 상태에서, 실제로 양품 또는 불량품을 라인(Line)으로 흘려서, 이미지 센서를 통해 이미지를 입력받아 저장하는 과정이다.

상기와 같은 입력과정(S24)이 진행되어 불량에 대한 정보와, 양품에 대한 정보가 입력되면, 이러한 양불(良不)에 대한 학습정보에 따라 실제로 제품을 테스트해보는 테스트과정(S26)이 진행된다.

상기 테스트과정(S26)은, 실제로 제품을 라인(Line)으로 흘려보내서, 센서를 통해 읽어들인 값이 양품인지 불량인지 판단하게 한다. 이 과정에서는 각종 파라미터(parameter)를 조정하면서 테스트를 수행하게 된다. 즉, 여기에서는 최적의 파라미터(parameter) 값을 자동적으로 인공지능에 의해 설정하여 테스트를 진행하게 되는데, 도 3d에는 이러한 파라미터(parameter) 값을 설정하는 화면의 일례가 도시되어 있다. 상기 테스트과정(S26)의 구체적인 예를 아래에서 구체적으로 살펴본다.

그리고, 상기 확인과정(S28)은, 상기 테스트과정(S26)에서 실험한 결과가, 제대로 이루어지는지 여부를 확인하는 과정이다. 즉, 상기에서 학습한 형태에 따라 양품과 불량을 제대로 판단하였는지 확인하는 과정이다.

도 3e에는 상기와 같은 테스트과정(S26)을 통해 생성된 테스트 데이터값을 확인하는 상태의 화면 일례를 보여주고 있다.

상기 결과판단과정(S30)은, 상기 확인과정(S28)에서의 확인된 테스트 결과가 필요한 결과값인지 여부를 판단하는 과정이다. 즉, 예를 들어, 적어도 100%의 정확성을 요구하는 경우에는, 상기 확인과정(S28)에서의 확인결과, 테스트 결과가 90% 이상의 정확성을 가지는지 판단하는 과정이다.

상기 저장과정(S32)은, 상기 결과판단과정(S30)에서의 판단결과, 요구되는 정확성이 충족되는 경우에는 학습결과를 저장하여, 향후 현장에 적용 가능하도록 하는 과정이다. 즉, 각 결과를 비교한 다음, 가장 정확하다고 판단되는 학습결과를 불량인식 시스템으로 전송하여 저장함으로써, 현장 적용에 사용되도록 한다.

한편, 상기 결과판단과정(S30)에서의 판단결과, 결과에 만족하지 못하는 경우에는 그 원인을 확인하여 조절하는 조절과정(S34)이 진행된다. 즉, 테스트 결과가 요구되는 정확도를 가지지 못하는 경우에는, 오류 유형을 분석하여, 왜 판단 오류가 났는지의 여부를 확인하고, 오류가 보정되도록 조치를 취한다.

예를 들어, 해당 품목을 잘못 선택하여 오류가 난 경우에는, 상기 품목선택과정(S12)으로 되돌아가서, 올바른 해당 품목을 다시 선택하여 학습을 진행한다.

그리고, 양품과 불량의 비율이 잘못되어서 양품이나 불량의 유형 중 일부에 오류가 집중된다고 판단되는 경우에는, 상기 비율선택과정(S20)으로 되돌아가서 비 율을 조정하여 다시 학습한다.

도 4는, 상기 비율선택과정(S20)에서 최적의 데이터(Data) 수를 찾기 위한 실험과정을 나타낸 것이다. 즉, 도 4에는 양품과 불량1 및 불량2의 데이터 수의 비(比)를 각각 다르게 한 경우에 나타나는 불량1과 불량2 및 양품의 비율(%)이 도표 및 그래프로 도시되어 있다.

이에 도시된 바와 같이, 레벨(Level)1에서는 불량1:불량2:양품=120:120:120으로 한 경우의 양불(良不) 비율은 불량1:불량2:양품=60.86%:41.25%:62.50%이며, 레벨(Level)2에서는 불량1:불량2:양품=60:60:120으로 한 경우의 양불(良不) 비율은 불량1:불량2:양품=70.00%:27.50%:80.00%이고, 불량1:불량2:양품=30:30:120으로 한 경우의 양불(良不) 비율은 불량1:불량2:양품=51.67%:16.25%:80.38%이다.

따라서, 이러한 양품과 불량의 비율을 실제 양품과 불량의 비율과 비교한 결과, 상기 비율선택과정(S20)에서는 양품과 불량1, 불량2로 유형을 분류하는 경우에는 학습하는 이미지(Image)데이터(Data) 수의 비(比)는 양품:불량1:불량2 = 4:1:1 로 하는 것이 최적임을 알 수 있다.

즉 실제 현장에서는 양품의 비율이 높고, 불량품의 비율이 매우 낮음에도 불구하고, 상기 학습 실험에서 레벨1과 레벨2는 불량의 비율이 지나치게 놓게 나온다. 따라서, 이러한 경우에는 많은 양품이 불량품으로 판정되어 제조라인의 중단이 빈번히 발생하는 폐단이 있다. 따라서, 결국 이미지(Image)데이터(Data) 수의 비(比)는 양품:불량1:불량2 = 4:1:1로 하는 것이 보다 양품 판단의 정확도(Accuracy)를 높일 수 있다.

도 5a 내지 도 7b에는, 상기 테스트과정(S26)을 수행하면서, 파라미터(parameter)의 변화에 따른 정확도를 살펴본 결과가 도시되어 있다. 즉, 보다 정확한 판단을 위해 어떠한 파라미터(parameter) 값을 사용하는 것이 가장 좋은지를 실험적으로 보여주고 있다.

도 5a 및 도 5b는, 상기 테스트과정(S26)에서 이미지센서(Image sensor)가 여러 개의 이미지(Image)에서 랜덤(Random)하게 읽어들이는 횟수를 의미하는 '반복(iteration)수'의 변화에 따른 정확도(Accuracy)를 테스트한 실험 결과를 보여주고 있다. 즉, 도 5a는 '반복(iteration)수'를 레벨1 내지 레벨3이 모두 동일하도록 한 경우의 실험 결과값이며, 도 5b는 '반복(iteration)수'를 레벨1과 레벨2는 동일하게 하고 레벨3만 변화시킨 경우의 결과값이다.

이들 실험결과에 의하면, 도 5a에서는 레벨1 내지 레벨3이 모두 '반복(iteration)수'의 변화는 의미가 없을 정도로 미약하며, 도 5b에서도 '반복(iteration)수'의 변화는 양품 판단의 정확도(Accuracy)에 별 영향을 미치지 못함을 알 수 있다. 결론적으로, '반복(iteration)수'의 많고 적음은 양품과 불량 판단의 정확도(Accuracy)에 영향을 미치지 못한다고 판단된다.

따라서, 불필요하게 '반복(iteration)수'를 많이 하게 되면, 컴퓨터의 수행능력이 한계에 부딪히게 되고, 학습시간이 길어지게 되므로, 반복(iteration)수는 5,000회 이상이 되도록 하는 것이 바람직하며, 더 구체적으로는 최소한의 '반복(iteration)수'는 약 5,000회가 적당하다고 하겠다.

도 6a 내지 도 6c는, 본 발명에 이용되는 HTM 인식엔진(recognition engine) 의 파라미터(parameter)인 '최대거리(MaxDistance)'의 최적값을 구한 실험결과를 나타내고 있다. 여기서 '최대거리(MaxDistance)'는 유클리드의 거리(Euclidean distance)로 학습하는 동안, 입력된 벡터(vector)들을 저장값으로부터의 최대거리를 설정하여, 최대거리 범위내의 벡터(vector)는 동시에 발생하는 것으로 간주하는 거리를 의미한다. 즉, '최대거리(MaxDistance)'는 하나의 기준 센서로부터 원본이미지와 비교할 이미지를 비교하는 최대거리를 뜻한다.

이러한 '최대거리(MaxDistance)'는 값은 작게 설정할 경우 보다 더 정확한 비교가 가능하다. 그러나, 너무 낮은 값의 '최대거리(MaxDistance)'를 설정하게 되면, 컴퓨터의 수행능력이 한계에 부딪히게 되어 학습 불능이 될 수 있으며 학습시간이 지나치게 과다하게 된다. 따라서, 양품과 불량을 판단하는 정확도(Accuracy)에 별 영향을 미치지 않는 범주내에서 최대한 작은 수치를 찾는 것이 바람직하다.

이와 같은 주변요건을 고려하여, 실험 결과를 살펴보면, '최대거리(MaxDistance)'는 약 1400 내지 1900이 되도록 하는 것이 바람직하다. 즉, 이 수치에서는 상대적으로 '최대거리(MaxDistance)'의 값이 작으면서도 양품의 비율이 높아 정확도(Accuracy) 수준이 상당히 높은 것으로 판단되며, 그 중에서도 '최대거리(MaxDistance)'의 값이 1,500이 되는 것이 보다 최적임을 알 수 있다.

도 7a와 도 7b는 '시그마(Sigma)'변화에 따른 정확도(Accuracy) 결과를 비교한 실험데이터이다. '시그마(Sigma)'는 추론(inference)과정에서 필요한 변수(parameter)이며 정규분포의 표준편차로서 동시에 발생하는 경우의 수의 범위를 지정하는 것이다. 즉, '시그마(Sigma)'는 비교범위 내의 노이즈(Noise)정도를 설정 하는 파라미터(parameter)로, 비교할 이미지의 노이즈(Noise) 정도에 따라 정확도(Accuracy)가 많이 달라지기 때문에 적당한 시그마(Sigma)값의 설정이 중요하며, 정확도(Accuracy)가 가장 높게 나오는 시그마(Sigma)값을 찾을 필요가 있다.

실험 결과에 도시된 바와 같이, '시그마(Sigma)'값은 정확도(Accuracy)에 많은 영향을 미친다. 그리고, 이러한 '시그마(Sigma)'값은 '최대거리(MaxDistance)'의 제곱근 전후에서 가장 높은 정확도(Accuracy)를 보이는 것을 알 수 있다. 즉, 실험에서 '최대거리(MaxDistance)'가 1,500인 경우, 이러한 1,500의 제곱근에 해당하는 38.7 전후에서 가장 높은 정확도(Accuracy)를 나타냄을 알 수 있다.

한편, 상기 설정단계(S100)는, 제품을 생산하는 제품생산설비정보와 압력이나 온도 등과 같은 주위 환경 상태를 측정하는 센서정보를 입력하는 설비정보입력과정(S110)과, 제품 검사를 어떤 방식으로 실시할 것인지를 시간적 또는 수량적으로 조건을 설정하는 검사조건설정과정(S120)과, 다수의 제품 각각에 대하여 불량과 양품의 판단기준이 되는 상기 학습단계(S10)에서 학습한 정보를 로딩(Loading)하는 품질기준설정과정(S130)과, 불량이 발생할 경우에 설비 작동을 어떻게 제어할 것인지에 대한 제어방법을 설정하는 설비제어방법설정과정(S140) 등으로 이루어진다.

상기 설비정보입력과정(S110)은, 제품을 생산하는 설비와 기타 센서 정보 등을 입력하는 과정이다. 즉, 본 발명에 의한 품질판단 시스템은, 제품을 생산하는 공정 중에서 제품의 이미지(Image)를 판단하여 불량 여부를 가려내는 것이므로, 설비와 연동되어야 한다. 따라서, 이러한 설비에 대한 정보가 입력되어야 한다.

또한, 본 발명에 의한 품질판단 시스템에서는, 공정 중의 제품 품질을 판단 하기 위해 다양한 센서가 설치 가능하다. 즉, 이미지(Image) 센서(sensor)는 물론, 온도, 습도, 먼지 등을 감지하는 센서(sensor)들이 설치될 수 있으며, 이때 이러한 각종 센서(sensor)들에 대한 정보가 미리 입력된다.

그리고, 설비에 대한 정보와 다양한 센서(sensor)들에 대한 정보는 서로 매칭(matching)되어야 한다.

상기 검사조건설정과정(S120)에서는 어떤식으로 제품을 검사할 것인지를 설정하게 된다. 여기서는 시간적으로 조건을 정하거나 수량적으로 조건을 정하는 것이 일반적이다. 즉, 예를 들어, 10초마다 또는 1분마다 한번씩 검사를 실행하도록 하거나, 10개 또는 20개의 제품이 나오는 경우에 그 중 하나를 검사하게 하는 수량적 검사방식을 설정할 수 있다.

상기 품질기준설정과정(S130)은 제품의 양품과 불량을 판단하는 정보를 설정하는 과정이다. 즉, 상기 학습단계(S100)에서 학습한 제품의 양품과 불량 상태에 대한 정보를 입력하여 판단기준을 설정하는 과정이다.

상기 설비제어방법설정과정(S140)은, 불량이 발생하는 경우의 설비 제어를 어떻게 할 것인지에 관한 내용과 이러한 불량 발생시 불량 상태를 외부로 알리도록 설정하는 과정이다. 여기서는, 불량이 연속적으로 발생하는 경우에 설비를 정지시키고, 이러한 상태를 부저(Buzzer)를 통해 외부로 알림과 동시에 메신저(SMS)를 통해 원거리의 사용자에게 알리도록 설정된다. 즉, 메신저(SMS)를 통해 사용자의 핸드폰으로 불량 상태를 송신하도록 설정된다.

여기서, 연속적인 불량 상태는 제품의 품질 요구 정도에 따라 또는 사용자의 의지에 따라 다양하게 변경될 수 있다. 즉, 연속적으로 3개의 불량이 나오는 경우에는 설비를 정지시킴과 동시에 외부로 알리도록 하거나, 연속적으로 3개의 불량이 나오는 경우에는 외부로 알리는 기능만 작동하도록 하고, 연속적으로 10개의 불량이 나오는 경우에는 설비를 정지시키도록 하는 등 다양하게 설정 가능하다.

상기 제품검사단계(S150)는, 제품의 영상을 촬영하여 이미지(Image)를 읽어들이는 영상읽기과정(152)과, 상기 영상읽기과정(152)에서 읽어들인 영상을 편집하는 영상편집과정(154)과, 상기 영상편집과정(154)에 의해 조작된 영상을 저장하는 영상저장과정(156)을 통해 제품을 검사하는 단계이다.

도 8에는 상기 제품검사단계(S150)의 세부과정이 순차적으로 도시되어 있다.

이에 도시된 바와 같이, 상기 제품검사단계(S150)의 영상읽기과정(152)은, 촬영기기(200)에 의해 촬영된 제품의 영상을 BMP파일로 읽어들이는 과정이다. 즉, 다수의 제품이 동시에 하나의 영상으로 입력되며, 이때 1024×768의 해상도로 입력된다.

그리고, 상기 제품검사단계(S150)의 영상편집과정(154)은, 상기 영상읽기과정(152)에 의해 읽어들인 영상을 이진 영상으로 변환하고 각 제품의 외곽선 위치를 파악함과 동시에 영역별로 잘라내는 제1조작과정(S154')과, 상기 제1조작과정(S154')을 거친 영상의 밝기 및 명암을 조절하여 영상판단이 용이하도록 하는 제2조작과정(S154")을 포함하는 과정이다.

상기 제1조작과정(S154')은 도시된 바와 같이 다수의 제품을 하나씩 잘라내는 크롭(Crop)과정이며, 상기 제2조작과정(S154")은 밝기와 명암을 조절하여 선명 도를 증가시키는 콘트라스트(Contrast)과정이다.

상기 제품검사단계(S150)의 영상저장과정(156)은, 상기 영상편집과정(154)을 거친 BMP 영상파일을 각각 저장하는 과정이다. 즉, 도시된 바와 같이, 128×128의 해상도를 가지는 각각의 BMP 영상파일로 이미지를 저장하는 과정이다.

도 9에는 제2조작과정(S154")에서 수행되는 콘트라스트(Contrast)의 강화에 따른 정확도(Accuracy) 변화 결과치가 나타나 있다.

이에 도시된 바와 같이, 콘트라스트(Contrast)를 강화한 경우에는 인식률이 전체적으로 상승함을 알 수 있다. 즉, 불량1의 경우에는 26.0% -> 56.0, 불량2의 경우에는 20.9% -> 23.0%, 양품의 경우에는 90.0% -> 92.5%로 그 인식률이 향상되었다.

따라서, 정확도(Accuracy)를 높이기 위해서는 윤곽선을 뚜렷하게 할 필요가 있으며, 이와 같이 윤곽선을 명확하게 하는 방법으로 콘트라스트(Contrast)를 높이는 방법을 사용하였다.

도 10에는 상기 제품인식단계(S160)의 구성이 도식적으로 나타나 있다.

이에 도시된 바와 같이, 상기 제품인식단계(S160)는, 기 제품검사단계(S150)에서 입력되는 128×128 픽셀(pixel)의 이미지 파일을 로드(Load)하여 16×16노드(Node)로 읽어들이는 제1레벨과정(S162)과, 상기 제1레벨과정(S162)에 의해 16×16노드(Node)로 변환된 결과를 8×8노드(Node)로 읽어들이는 제2레벨과정(S164)과, 상기 제2레벨과정(S164)에 의해 8×8노드(Node)로 변환된 결과를 4×4노드(Node)로 읽어들이는 제3레벨과정(S166)과, 상기 제3레벨과정(S166)에 의해 4×4노드(Node) 로 변환된 전체 이미지 영역을 한번에 인식하는 제4레벨과정(S168) 등으로 구성된다.

여기에서는 도시된 바와 같이 레벨이 증가할수록 즉, 상위레벨로 올라갈수록 노드(Node)의 수가 줄어든다. 즉, 제1레벨과정(S162) 내지 제3레벨과정(S166)에서는 자식 노드(Node)에서의 4개 노드(Node)가 부모 노드(Node)에서는 하나의 노드(Node)로 된다. 그리고, 제4레벨과정(S168)에서는 전체 16개의 노드(Node)가 하나의 노드(Node)로 합쳐져서 전체 이미지 영역이 한번에 인식 가능하게 된다.

이와 같이 최종적으로 영상이 확정되면, 제품의 유형이 판별되고, 따라서, 해당 제품의 학습된 영상과 입력된 영상을 비교하여, 입력된 영상을 가지는 제품이 불량인지 양품인지를 판단하게 된다. 이러한 단계가 상기 제품품질판단단계(S170)이다.

상기 후속조치단계(S180)는, 제품 중 불량이 발생한 경우에 이를 처리하는 과정으로, 상기 설비제어방법설정과정(S140)에서 설정된 내용에 따라 조치를 취하게 된다.

상기 후속조치단계(S180)는, 제품의 불량이 연속으로 일정 회수 이상 발생하는 경우에는 설비를 정지시키는 설비제어과정(S182)과, 제품의 불량이 연속으로 일정 회수 이상 발생하는 경우에는 알람을 발생함과 동시에 메신저(SMS)를 통해 원거리의 사용자에게 현재 상황을 송신하는 외부알림과정(S184) 등으로 이루어진다.

구체적으로 살펴보면, 상기 설비제어방법설정과정(S140)에서 설명한 바와 같이, 불량이 연속적으로 발생하는 경우에 설비를 정지시키고, 이러한 상태를 부 저(buzzer)를 통해 외부로 알림과 동시에 메신저(SMS)를 통해 원거리의 사용자에게 알리게 된다. 즉, 연속적으로 3개의 불량이 나오는 경우에는 설비를 정지시킴과 동시에 외부로 알리도록 하는 등 조치를 취하게 된다.

한편, 상기 설비정보입력과정(S110), 검사조건설정과정(S120), 품질기준설정과정(S130) 및 설비제어방법설정과정(S140)은, 동시에 이루어지거나 순서에 관계없이 차례로 수행된다. 즉, 순서에 관계없이 각 단계가 이루어져도 무방하며, 동시에 이루어지는 것도 가능하다.

도 11에는 본 발명이 적용되는 불량인식 시스템에 의한 주요 흐름도가 도시되어 있다.

이에 도시된 바와 같이, 시스템이 시작되면, 설비 및 품목에 대한 기초정보가 로딩(Loading)된다(S300). 그리고, 불량으로 판명된 제품의 수량을 나타내는 불량수(C)는 제로(Zero)로 셋팅(Setting)된다(S310).

다음으로는 영상(Image)이 입력되었는지를 판단하게 되고(S320), 영상이 입력되지 않은 경우에는 계속적으로 영상 입력여부를 감지하며, 영상이 입력된 경우에는 영상(Image)처리단계(S330)로 넘어간다. 상기 영상처리단계(S330)는 상기에서 설명한 제품검사단계(S150)에 대응되는 단계이다.

그런 다음, 해당제품이 무엇인지 판단하여 해당 제품의 설정기준 즉, 상기 학습단계(S10)에서 학습에 의해 정해진 불량과 양품의 판단기준과 매칭(matching)시킨다(S340). 이러한 과정은 상기 제품인식단계(S160)에 대응된다.

이와 같이, 입력된 영상이 해당 제품의 불량판단을 위한 학습 영상과 매 칭(Matching)되어 비교되면, 제품이 불량인지의 여부를 판단하게 된다(S350). 그리고, 이러한 단계(S350)는 앞에서 설명한 제품품질판단단계(S170)에 대응된다.

이러한 단계(S350)에서의 판단결과, 제품이 양품인 경우에는 도시된 바와 같이 단계(S310)로 되돌아간다.

반면, 제품이 불량인 경우에는 불량수(C)에 1이 더해지고(S360), 다음으로는 이러한 불량수(C)가 설정된 기준수(N)에 도달하였는지 여부를 판단하게 된다(S370). 즉, 사용자가 상기 설비제어방법설정과정(S140)에서 설정한 연속 불량 기준수(N)에 도달하였는지의 여부를 판단한다(S370).

이러한 단계(S370)에서의 판단결과, 연속 불량수(C)가 기준수(N)에 도달하지 못한 경우에는 상기의 단계(S320)로 되돌아간다.

반면, 연속 불량수(C)가 기준수(N)에 도달한 경우에는 상기 후속조치단계(S180)가 진행된다(S380). 즉, 이때에는 사용자의 설정에 따라 설비를 정지시키고, 이러한 상태를 부저(Buzzer)를 통해 외부로 알림과 동시에 메신저(SMS)를 사용자에게 송신하게 된다.

이상과 같은 과정에 의해 사용자에게 불량 상태가 전달되면, 사용자는 제품의 불량상태를 직접 확인하고, 설비를 점검하게 된다.

이러한 본 발명의 범위는 상기에서 예시한 실시예에 한정되지 않고, 상기와 같은 기술범위 안에서 당 업계의 통상의 기술자에게 있어서는 본 발명을 기초로 하는 다른 많은 변형이 가능할 것이다.

도 1은 본 발명에 의한 학습방법의 바람직한 실시예가 이용되는 불량인식 시스템의 구성 상태를 개략적으로 보인 블럭도.

도 2는 본 발명에 의한 불량인식 시스템의 학습방법의 바람직한 실시예를 보인 흐름도.

도 3a 내지 도 3e는 본 발명에 의한 불량인식 시스템을 구성하는 각 과정의 일례를 보인 화면구성도.

도 4는 본 발명 실시예에서 양품과 불량의 데이터(Data) 수에 따른 정확도(Accuracy) 결과를 보인 실험 결과표.

도 5a 및 도 5b는 본 발명 실시예에서 '반복(iteration)수'의 변화에 따른 정확도(Accuracy)를 테스트한 실험 결과를 보인 도표 및 그래프.

도 6a 내지 도 6c는 본 발명 실시예에서 '최대거리(MaxDistance)'의 최적값은 구한 실험결과를 보인 도표 및 그래프.

도 7a와 도 7b는 본 발명 실시예에서 '시그마(Sigma)'변화에 따른 정확도(Accuracy) 결과를 보인 도표 및 그래프.

도 8은 본 발명 실시예가 이용되는 불량인식 시스템을 구성하는 제품검사단계의 세부과정을 보인 도면.

도 9는 본 발명 실시예가 이용되는 불량인식 시스템에서 콘트라스트(Contrast)의 강화에 따른 정확도(Accuracy) 변화 결과치를 보인 도표.

도 10은 본 발명 실시예가 이용되는 불량인식 시스템을 구성하는 제품인식단 계를 설명하기 위한 도면.

도 11은 본 발명 실시예가 적용되는 불량인식 시스템의 사용 상태를 보인 흐름도.

* 도면의 주요 부분에 대한 부호의 설명 *

S10.학습단계 S12. 품목선택과정

S14. 유형판단과정 S16. 카테고리형성과정

S18. 카테고리선택과정 S20. 비율선택과정

S22. 폴더선택과정 S24. 입력과정

S26. 테스트과정 S28. 확인과정

S30. 결과판단과정 S32. 저장과정

S34. 조절과정

Claims (5)

1. 학습할 물품을 선택하는 품목선택과정(S12)과;

   신규 학습인지, 아니면 기존학습을 이어서 하는지의 여부를 판단하는 유형판단과정(S14)과;

   상기 유형판단과정(S14)에서의 판단결과, 신규학습인 경우에는 새로이 양품카테고리와 불량1카테고리 및 불량2카테고리를 형성하는 카테고리형성과정(S16)과;

   상기 유형판단과정(S14)에서의 판단결과, 기존학습을 이어서 하는 경우에는 기존의 양품카테고리와 불량1카테고리 및 불량2카테고리 중 어느 하나를 선택하는 카테고리선택과정(S18)과;

   양품카테고리와 불량1카테고리 및 불량2카테고리의 유형별로 학습할 데이터(data) 수의 비율을 4:1:1로 선택하는 비율선택과정(S20)과;

   카테고리별로 학습한 이미지 데이터(data)를 저장할 폴더를 선택하는 폴더선택과정(S22)과;

   이미 저장되어 있는 이미지를 입력하여 양불(良不)을 판단하는 입력과정(S24)과;

   실제 제품을 이용하여 상기 입력과정(S24)에서 입력된 양불(良不)에 대한 학습정보에 따라 실제로 제품을 테스트하는 테스트과정(S26)과;

   상기 테스트과정(S26)에서 양품과 불량을 제대로 판단하였는지 결과를 확인하는 확인과정(S28)과;

   상기 확인과정(S28)에서 확인된 테스트결과가, 요구하는 학습 결과값을 만족하는지의 여부를 판단하는 결과판단과정(S30)과;

   상기 결과판단과정(S30)에서의 판단결과, 결과에 만족하는 경우에는 학습결과를 저장하는 저장과정(S32);를 포함하는 것을 특징으로 하는 불량인식 시스템의 학습방법.
2. 삭제
3. 삭제
4. 삭제
5. 삭제

Images