KR20210066411A - 기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법 - Google Patents

Abstract

본 발명은 기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법에 관한 것으로, 차량용 원형 플러그에 대하여 전기를 이용하여 아연 도금을 하는데 있어 작업자의 육안 관찰없이 아연 도금 상태의 불량 여부를 자동으로 판별할 수 있도록 하는 "기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법"에 관한 것이다.
본 발명의 기술적 사상인 기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법은,
(a) 원형 플러그의 2차원 영상을 추출하는 단계
(b) 추출된 2차원 영상에 대하여 경계 강화 방법을 적용하는 단계;
(c) 원형 허프 변환 방법을 수행하여 복수개의 동심원을 추출하는 단계;
(d) 최소 직경을 갖는 최소 직경 동심원 영역을 선별하는 단계;
(e) 상기 최소 직경 동심원 영역을 에워싸는 사각형 형상 생성하여 상기 최소 직경 동심원영역과 결합하는 단계;
(f) 상기 최소 직경 동심원 영역을 제외한 주변 영역의 화소값을 0으로 설정하여 제거하는 단계(상기 최소 동심원 영역과 상기 사각형 사이 영역);
(g) 학습된 딥러닝 툴에 입력하여 상기 원형 플러그의 전기 아연 도금 상태의 불량 여부를 판별하는 단계로 이루어지는 것을 특징으로 한다
본 발명에서 제안하는 기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법을 실시하는 경우, 원형 플러그의 전기 아연 도금 상태에서 제일 중요한 중심 영역에 대한 효율적인 판정이 가능하므로 원형 플러그 이미지 전체를 대상으로 하는 기계학습 방법에 비하여 매우 효율적인 결과를 얻을 수 있다.

Description

기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법{Determination of defects of electrolytic zinc-coated Circular Plugs by using Machine Learning Pretreatment}

본 발명은 기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법에 관한 것으로, 차량용 원형 플러그에 대하여 전기를 이용하여 아연 도금을 하는데 있어 작업자의 육안 관찰없이 아연 도금 상태의 불량 여부를 자동으로 판별할 수 있도록 하는 "기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법"에 관한 것이다.

일반적으로, 전기기기나 회로 따위를 구성하는 단위부품으로서의 소자(素子)나 차량용 부품과 같이, 균일 형상으로 다량 생산되는 부품들은 제품을 출하하기 전에 그 제품이 정상적인지를 검사하는 제품성능 검사 과정을 거쳐 제품의 불량여부를 판별한 후 정상적인 제품만을 선별하는 공정이 필수적으로 수행된다.

여러 부품들이 조합/결합되어 완성되는 자동차, 가전제품 등의 경우, 여러 부품 중 하나에서 미미한 오작동이 발생하더라도 정상 동작하는데 장애가 발생할 수 있기 때문에 조합/결합되는 여러 부품 하나 하나마다 양품인지 불량품인지를 선별해 내는 것이 매우 중요하다.

따라서 부품의 출하 전에 다양한 정밀검사를 통해 양품인지 불량품인지를 선별하기 위한 과정이 진행된다.

이러한 정밀검사 중 하나인 비전검사(Vision inspection)는, 실러(Sealer) 도포 상태, 프레임(Frame) 결합 상태, 마킹(Marking) 상태, 리드(Lead)나 볼 그리드(Ball Grid)의 파손여부, 크랙(Crack), 스크래치(Scratch) 등과 관련하여 부품의 외관 상태를 검사하기 위해 주로 사용된다.

최근 부품의 생산 과정은 공정라인을 따라 이동하는 자동화 생산 과정으로 이루어지는 것이 대부분이며, 따라서 비전검사장치는, 공정라인 상의 곳곳에 설치되어, 공정라인을 따라 이동하는 부품(이하, 검사대상물)에 대해 비전검사를 수행하고 있다.

그런데 기존의 비전검사장치의 비전검사 방식은, 검사대상물을 촬영한 촬영영상과 기 저장된 양품영상을 비교하여 양품인지 아니면 불량품인지를 선별해내는 매우 단순한 방식을 채용하고 있다.

따라서 기존의 비전검사 방식은 비전검사 방식 자체의 정확도가 100% 보장되지 않는 한, 선별 결과(검사 결과)의 오류(예 : 양품을 불량품으로 선별하는 경우, 불량품을 양품으로 선별하는 경우 등)가 발생할 수 밖에 없는데, 비전검사 방식 자체의 정확도가 100% 보장되는 것은 사실상 불가능하기 때문에 결국 잦은 선별 결과(검사 결과) 오류가 발생하게 된다.

특히, 양품과 불량품을 판별하는 기준을 미리 시스템에 옵션으로 정교하게 설정해 놓는다 하더라도 작업 인력의 눈으로 이루어지는 종래의 인력 검사에 비해서는 비록 속도면에서는 빠른 공정 속도를 가지게 되지만 판별의 정확도와 신뢰도가 떨어지는 문제점을 가지고 있다. 더군다나 이 같은 판별 기준을 몇가지 옵션을 가지고 셋팅하는 과정만으로는 실제 현장 작업자가 가지는 판별 기준과는 미세한 차이를 가질 수 밖에 없으며, 이러한 미세한 차이가 자동화된 선별 방향에 오류를 불러오는 경우가 많아 현장에서는 별도의 작업 인력을 배치해 자동화된 판별 과정에 개입하고 있는 실정이다.

결국 이 같은 상황은 선별 작업자가 가지는 기준을 기계적인 판별 옵션의 셋팅으로 완벽히 반영할 수 없기 때문에 발생하는 상황일 것이다.

이러한 문제는 차량용 원형 플러그의 전기 아연 도금 상태가 불량인지, 양품인지 여부를 검사하는 과정에서도 동일하게 발생한다

종래의 경우, 원형 플러그의 전기 아연 도금 불량은 원형 플러그의 중심 영역에 불균일한 도금이 존재하는지 여부를 육안으로 관찰하고 있는 실정이며, 원형 플러 영상 전체를 활용하여 기계학습 기술을 기반으로 하는 영상 분석 기법을 적용한 자동 분류 방법을 수행하는 경우도 있으나, 원형 플러그 전체 이미지를 대상으로 하는 까닭에 도금 상태가 중요하지 않는 주변부가 노이즈로 작용하여 불량 여부 판정의 에러율이 매우 높다.

왜냐하면 , 원형 플러그의 전기 아연 도금 상태는 원형 플러그의 중심 영역의 상태가 제일 중요하기 때문이다.

즉, 원형 플러그의 중심 영역 이외의 부분에 대한 도금 상태는 원형 플러그의 불량 여부와 무관하기 때문이다.

이 때문에 원형 플러 전체 이미지를 대상으로 한 종래의 기계적 학습 방법은 원형 플러그의 중심 영역만의 불량 여부를 판정하는데 한계가 있었다(원형 플러그의 중심 영역의 주변부가 노이즈로 작용한 결과임)

1. 특허출원번호 10-2017-0177516 발명의 명칭 : "딥러닝을 이용한 양품 선별 방법"

본 발명에서는 원형 플러그의 중심 영역의 아연 도금 상태의 불량 여부를 보다 구체적으로 판정할 수 있는 "기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법"을 제안하고자 한다

이를 위하여 본 발명에서는 원형 허프 변환(circular Hough Transformation)을 이용하여 원형 허프 변환(이하, 허프 변환)의 가장 안쪽 원을 추출하고, 해당 영역을 중심으로 심층학습의 훈련과 추론을 실행하는 방법을 제안하고자 한다.

본 발명의 기술적 사상인 기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법은,

(a) 원형 플러그의 2차원 영상을 추출하는 단계

(b) 추출된 2차원 영상에 대하여 경계 강화 방법을 적용하는 단계;

(c) 원형 허프 변환 방법을 수행하여 복수개의 동심원을 추출하는 단계;

(d) 최소 직경을 갖는 최소 직경 동심원 영역을 선별하는 단계;

(e) 상기 최소 직경 동심원 영역을 에워싸는 사각형 형상 생성하여 상기 최소 직경 동심원영역과 결합하는 단계;

(f) 상기 최소 직경 동심원 영역을 제외한 주변 영역의 화소값을 0으로 설정하여 제거하는 단계(상기 최소 동심원 영역과 상기 사각형 사이 영역);

(g) 학습된 딥러닝 툴에 입력하여 상기 원형 플러그의 전기 아연 도금 상태의 불량 여부를 판별하는 단계로 이루어지는 것을 특징으로 한다

본 발명에 있어서, 상기 단계 (d)와 상기 단계 (e) 사이에, 상기 최소 직경 동심원 영역을 표준 직경으로 표준화시키는 단계를 더 구비하는 것을 특징으로 한다

본 발명에서 제안하는 기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법을 실시하는 경우, 원형 플러그의 전기 아연 도금 상태에서 제일 중요한 중심 영역에 대한 효율적인 판정이 가능하므로 원형 플러그 이미지 전체를 대상으로 하는 기계학습 방법에 비하여 매우 효율적인 결과를 얻을 수 있다.

도 1은 자동차용 부품으로 사용되는 원형 플러그를 나타낸다.
도 2는 원형 플러그에 대하여 실시한 전기 아연 도금 상태를 도시한다.
도 3은 원형 허프 변환의 결과의 일예를 보여주는 도면이다
도 4는 원형 허프 변환 후 직경이 가장 짧은 동심원을 추출한 상태를 보여준다.
도 5는 도 4에서 추출한 동심원을 에워싸는 사각형 이미지를 생성시켜 동심원과 결합시킨 도면이다.
도 6은 본 발명에서 제안하는 기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법에 대한 전제 흐름도이다.

이하, 도면을 참조하여 본 발명에서 제안하는 기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법에 대하여 설명하기로 한다.

도 1은 자동차용 부품으로 사용되는 원형 플러그를 나타낸다. 도시된 바와 같이, 해당 원형 플러그는 중심 영역이 주변 영역과 미세한 단차를 가지고 있다.

이러한 원형 플러그는 전기 아연 도금 처리를 한 후, 불량 여부를 육안으로 검사하는 과정을 필수적으로 수행한다.

하지만, 숙련자와 비숙련자 사이에 판별 능력에 차이가 나고 단순 반복 작업인 관계로 작업자의 피로도가 매우 높은 실정이다.

따라서, 원형 플러그에 대한 전기 아연 도금 상태를 자동화할 필요성이 있다

도 2는 원형 플러그에 대하여 실시한 전기 아연 도금 상태를 도시한다.

도 2에서, 원형 플러그의 전기 아연 도금의 불양 여부는 원형 플로그의 중심 영역의 도금 상태에 따라 달라진다.

즉, 원형 플러그의 경우, 붉은 색 원으로 표시된 영역의 도금 상태가 매우 중요하고 나머지 주변부의 도금 상태 여부는 성능에 큰 영향을 미치지 아니한다.

도 2에서 좌측 사진은 불량 도금 상태를 우측 사진은 정상 도금 상태를 보여준다.

본 발명에서는 이러한 원형 플러그의 불양 여부를 자동으로 판별하는 방법을 제안하고자 한다.

이에 본 발명에서는 영상 촬영 장치를 이용하여 원형 플러그의 2차원 이미지를 추출한다.

다음, 추출된 원형 플로그 2차원 이미지에 대하여 원형 허프 변환을 수행한다

원형 허프 변환을 수행하면 원형 플로그 2차원 이미지에 대하여 중심이 같은 복수개의 동심원을 추출할 수 있다.

본 발명에 적용된 원형 플러그의 경우 도 3의 우측 사진에 도시된 바와 같이 복수개의 동심원(적색으로 표시)이 추출된다.

다음, 추출된 동심원 중에서 반지름(또는 직경)이 가장 짧은 동심원을 선택한다.

도 4는 원형 허프 변환 후 직경이 가장 짧은 동심원을 추출한 상태를 보여준다.

도 4의 동심원 내부 영역의 전기 아연 도금 처리 결과에 따라 원형 플러그의 불량 여부가 결정될 것이다.

다음 도 5에 도시된 바와 같이, 본 발명에서는 도 4에서 추출한 동심원을 에워싸는 사각형 이미지를 생성시켜 상기 도 4의 동심원과 결합시킨다.

다음, 동심원 주변과 사각형 사이의 공간(외부영역 또는 배경)을 제거한다.

동심원 외부 영역의 화소값을 0로 설정하여 제거한 다음, 양품/불량품 학습 DB를 생성한다.

다음, SVM, Adaboost, 또는 심층학습(deep learning)을 적용하여 심층학습 계수를 도출한다.

이렇게 많은 수의 원형 플러그에 대하여 위와 같은 프로세스를 반복 수행함으로써 원형 플로그의 전기 아연 도금 불량 여부를 자동적으로 판별하는 시스템을 구축할 수 있다.

도 6은 본 발명에서 제안하는 기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법에 대한 전제 흐름도이다.

도시된 바와 같이, 본 발명의 실시를 위하여 영상 촬영 장치를 이용하여 원형 플러그 영상(원형 플로그 2차원 이미지)을 추출한다.

다음, 경계 강화 방법(Edge Enhancement)을 수행하여 원형 플로그 2차원 이미지의 노이즈를 제거한다.

다음, 원형 허프 변환 방법(Hough Transform)을 수행하여 원형 플로그 2차원 이미지로부터 복수개의 동심원을 추출한다.

다음, 추출된 복수개의 동심원 중에서 최소 직경 동심원 영역을 추출한다.

원형 허프 변환 방법을 통하여 최소 직경 동심원 영역을 추출하고, 최소 직경 동심원 영역에 대하여 심층학습을 수행하는 것은 원형 플러그 입력 영상의 크기에 상관없이 관심 영역인 ROI(region of interests)를 설정할 수 있는 장점이 있다.

한편, 영상 촬영 장치를 이용하여 획득한 원형 플로그 2차원 이미지의 사이즈는 촬영 거리에 따라 미세한 차이가 있을 수 있으므로 추출된 최소 직경 동심원 영역을 표준 직경으로 표준화하는 과정을 거친다.

따라서, 아래에서 수행되는 모든 과정에 있어서, 최소 직경 동심원 영역의 치수는 동일하다.

다음, 최소 직경 동심원 영역을 에워싸는 사각형 이미지를 최소 직경 동심원과 결합시킨다. 원형 허프 변환 방법에 의하여 생성된 동심원이 원형이므로 사각형은 정사각형으로 설정된다.

다음, 최소 직경 동심원 영역과 사각형 사이의 공간에 해당하는 동심원 외부 영역의 화소값을 0 으로 처리한다.

본 발명에서, 추출된 최소 직경 동심원 영역만을 학습 대상으로 하는 대신에 사각형 영역을 설정하고 외부 영역을 0으로 설정하는 추가 단계를 더 제공하는 이유는 하기의 딥 러닝 학습 또는 추론 과정에서 컨볼루션 처리에 유리하기 때문이다.

다음, SVM, Adaboost, 또는 심층학습(deep learning)을 적용하여 양품/불량품 학습 데이터베이스를 생성하고, 양품/불량품 분류와 관련한 심층학습 훈련을 거쳐 심층학습 계수를 도출한다.

이렇게 많은 수의 원형 플러그에 대하여 위와 같은 프로세스를 반복 수행함으로써 원형 플로그의 전기 아연 도금 불량 여부를 자동적으로 판별하는 시스템을 구축할 수 있다.

도출된 심층학습 계수는 실제 추론(시험)에 적용된다.

다음, 우측 흐름도에서 알 수 있듯이, 테스트 대상인 소정의 원형 플로그 영상이 입력되면 위와 같은 프로세스를 수행하는 딥 러닝 시스템을 통하여 양품인지 불량품인지 여부를 판정할 수 있다

이러한 방법을 실시하는 경우 단순 반복적인 작업에 대하여 숙련도와 무관하게 안정적인 제품 불량 여부 판정을 신속하게 진행할 수 있다는 이점이 있다.

즉, 본 발명에서 제안하는 기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법을 실시하는 경우, 원형 플러그의 전기 아연 도금 상태에서 제일 중요한 중심 영역에 대한 효율적인 판정이 가능하므로 원형 플러그 이미지 전체를 대상으로 하는 기계학습 방법에 비하여 매우 효율적인 결과를 얻을 수 있다.

Claims (2)

1. 기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법으로서,
   (a) 원형 플러그의 2차원 영상을 추출하는 단계
   (b) 추출된 2차원 영상에 대하여 경계 강화 방법을 적용하는 단계;
   (c) 원형 허프 변환 방법을 수행하여 복수개의 동심원을 추출하는 단계;
   (d) 최소 직경을 갖는 최소 직경 동심원 영역을 선별하는 단계;
   (e) 상기 최소 직경 동심원 영역을 에워싸는 사각형 형상 생성하여 상기 최소 직경 동심원영역과 결합하는 단계;
   (f) 상기 최소 직경 동심원 영역을 제외한 주변 영역의 화소값을 0으로 설정하여 제거하는 단계(상기 최소 동심원 영역과 상기 사각형 사이 영역);
   (g) 학습된 딥러닝 툴에 입력하여 상기 원형 플러그의 전기 아연 도금 상태의 불량 여부를 판별하는 단계로 이루어지는 것을 특징으로 하는 기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법.
2. 제 1 항에 있어서,
   상기 단계 (d)와 상기 단계 (e) 사이에, 상기 최소 직경 동심원 영역을 표준 직경으로 표준화시키는 단계를 더 구비하는 것을 특징으로 하는 기계학습 전처리를 통한 원형 플러그의 전기 아연 도금 불량 판별 방법.

Images