KR20240020507A - 펄프몰드 제품의 불량 판정 및 그 방법 - Google Patents

Abstract

이상치 탐지를 통한 펄프몰드 불량 검출 방법으로써, 제품 이미지를 취득하는 단계, 이상치 탐지를 통해 불량을 판정하는 단계, 불량의 각 유형으로 분류하는 단계를 포함할 수 있다.

Description

펄프몰드 제품의 불량 판정 및 그 방법{Determination of defects in pulp molded products and method therefor}

본 발명은 펄프몰드 제품의 불량 판정 및 그 방법에 관한 것으로, 딥러닝 기반 이상치탐지 기술을 이용해 제품의 결함을 탐지하는 방법에 관한 것이다.

최근 카메라 성능의 발전으로 디지털 사진 및 영상을 취득함에 있어 성능이 개선되었다. 또한, 카메라를 이용한 영상 인식 분야에 대해 연구가 많이 수행되어 이를 통한 산업화도 꾸준히 증가하고 있다.

얼굴인식, 홍채인식, 문자인식, 물체인식 등의 기술과 인공지능의 발전과 적용으로 카메라를 이용한 영상 인식 기술을 '머신비전(Machine Vision)'이라 한다. 머신비전 장치에서 카메라는 인간의 눈에 대응하는 하드웨어적 구성일 수 있으며, 카메라를 통하여 취득한 영상을 인식하고 다른 구성 요소들은 뇌에 대응되는 하드웨어(또는 소프트웨어)일 수 있다. 특히, 머신비전의 기술 중 물체인식 기술은 영상데이터에서 획득된 피사체의 개수, 모양,크기 등을 인식하는 기술로 여러 산업 분야에서 활용되고 있다.

이러한 머신비전 기술은 문자인식, 공장조립라인의 부품인식, 바코드 인식, 제품 표면의 불량 검사 등에 활용될 수 있으며, 공장 자동화 장치나 자동 검사 장치에서 불량품 검사 또는 합격품 검사를 위해 필요에 따라 물체 형태를 비교하여 불량품 또는 합격품을 구분하는 영상처리 기술이 이용되고 있다.

그러나, 실제 펄프몰드 제조현장에서 작업자가 육안으로 검사를 수행하고 있으며, 정상제품에 비해 불량제품이 현저히 적어 불량을 선별하는데 긴 시간이 소요되고, 작업자의 주관적 관점으로 정확도도 떨어지는 문제가 있었다.

상술한 문제점인 생산되는 불량 제품이 적어 충분한 학습데이터를 확보하기 힘든 문제를 이상치 탐지 모델을 적용하여 극복하고, 미처 학습하지 못한 새로운 불량유형을 가진 제품이 생산되었을 때, 학습되어있는 이상치 탐지 모델이 그 불량까지 선별한다.

본 발명은 펄프몰드 제품의 불량 판정과 그 유형을 판별하기 위해 카메라를 통해 펄프몰드 이미지를 획득하고, 이상치 탐지 모델을 이용해 불량을 판별하고, 분류모델을 이용해 불량 유형을 판별한다.

카메라에서 취득한 영상을 이상치 탐지 모델에 입력하여 연산된 결과로 정상 비정상을 결정한다. 그 이후 비정상으로 판정된 데이터를 불량유형 분류 모델에 입력하여 연산결과로 불량유형 분류를 결정한다.

본 발명은 펄프몰드 제품의 불량판정을 위해 촬영한 이미지를 이상치 탐지로 불량 유무를 판별하고, 불량유형 분류를 수행하여 제품의 불량 유무와 불량의 그 분류까지 판별해 정확도 높은 불량 검사 방법을 제공한다.

또한, 다수의 이미지를 이상치 탐지하여 생성되는 데이터를 그 분류에 따라 분류하고, 검증 과정에서 사용되지 않는 정상데이터를 이용해 학습한 후 이상치 탐지 점수 기준을 구하여 그것을 학습한다.

펄프몰드 제품의 불량판정 및 그 방법은, 제품의 이미지를 획득하는 단계, knowledge distillation 이상치 탐지 방법으로 정상 데이터를 학습하는 단계, 이상치 탐지 모델의 anomaly map과 이미지를 합쳐 분류모델에 적용하는 단계, 분류모델을 이용하여 검사하고자 하는 이미지의 불량 유형을 분류하는 단계를 포함한다.

상기 anomaly map과 이미지를 분류모델에 적용할 때, 펄프몰드 난좌를 패치화 하여 비정상 데이터로 판정된 부분의 anomaly map을 잘라 적용한다.

본 해결 수단을 통해, 펄프몰드 제품의 불량 판정 및 그 방법은 카메라로 펄프몰드 제품의 이미지를 획득하여 검사를 수행함으로 육안검사에 의존하여 이루어지는 검사공정의 정확도가 높아지는 효과가 있다.

또한, 특정 불량 유형의 충분한 데이터를 획득하지 못함에도 검사를 수행할 수 있고, 패치화 하여 불량판정을 수행함으로 특정위치에서 불량을 정확하게 검사해내는 효과가 있다.

도 1은 알고리즘의 흐름도이다.
도 2는 이상치 탐지 모델의 전체 구조이다.
도 3은 불량유형 분류 모델이다.
도 4는 펄프몰드 제품에서 발생하는 불량유형이다.

도 1은 전체 알고리즘 개발 흐름도이다. 본 기술의 목표는 펄프몰드 제품의 결함탐지 및 불량유형의 분류를 하는 것이다. 카메라에서 취득한 영상을 이상치 탐지 모델에 입력하여 연산결과로 정상과 비정상을 결정하게 된다. 그 후 비정상으로 판정된 데이터를 불량유형 분류 모델에 입력하여 연산결과로 불량유형 분류를 결정하게 된다.

학습은 이상치 탐지 모델의 경우 검증 과정에서 사용되지 않는 정상데이터를 이용하여 학습한 후 이상치 탐지 점수 기준을 구하며, 불량유형 분류 모델의 경우 불량유형 데이터의 불량 일부를 잘라서 학습한 후 불량유형분류를 한다.

정상, 비정상 분류가 성공한 횟수와 물품당 처리시간을 정량적으로 평가하고, 각 불량유형별 이미지를 이용하여 정확하게 분류가 이루어진 횟수를 정량적 평가로 실시한다.

도 2는 teacher-student 구조의 knowledge distillation 방법을 사용한 이상치 탐지 모델이다. Teacher network의 경우에는 ImageNet에서 pretrained된 ResNet-18구조고, Student network는 동일하게 ResNet-18구조이지만 ImageNet에서 pretrained되지 않은 모델이다. 학습할 때 student는 정상 데이터에 대해서 teacher와 모든 layer에서 동일한 feature map으로 output을 내도록 한다. 이 output으로 student-network-loss를 계산한다.

도 3은 ImageNet에서 pretrained된 ResNet-50이다. 초기에 anomaly map을 포함하지 않고 이미지만 사용한 3채널로 분류를 시도하였을 경우에 분류가 잘 되지 않아, 입력 데이터로 이상치 모델에서 얻어낸 anomaly map과 이미지가 합쳐진 4채널의 데이터를 사용하였다. loss는 분류모델에서 많이 사용하는 cross-entropy loss를 사용했다.

도 4는 펄프몰드 제품의 불량 유형 이미지이다.

Claims (1)

1. 펄프몰드 제품을 촬영하여 학습용 이미지와 검사용 이미지를 획득하는 단계;
   상기 획득한 학습용 정상 이미지 혹은 영상을 이용해 이상치 탐지 모델을 학습하는 단계;
   학습에 이용되지 않은 검사용 이미지에 대하여 이상치 탐지를 수행하여 정상 및 불량에 대한 판정을 수행하는 단계;
   불량으로 판정된 이미지에 대하여 분류기를 통해 각 불량으로 판정된 제품의 이미지가 어떤 불량 유형인지 판별하는 단계
   를 포함하는 불량검사 방법.