KR102297232B1 - 형태학적 영상처리를 활용한 이상 탐지 방법 - Google Patents

Abstract

본 발명은 정상데이터가 대부분이고, 불량데이터의 데이터세트의 수가 적은 상황에서 이상유무를 탐지하는 방법에 관한 것을 정상데이터의 형태학적 변환과 이를 자기주도학습을 통한 신경망의 학습에 그 특징이 있으며, 본 발명의 적용으로 인하여, 실제 현장에서 많이 발생하는 이상에 대하여 아주 높은 확률로 탐지할 수 있게 된다.

Description

형태학적 영상처리를 활용한 이상 탐지 방법{Anomaly Detection via Morphological Transformations}

본 발명은 신경망 학습을 이용하여 비정상데이터를 추출하는 탐지 방법에 관한 것으로, 보다 상세하게는 비정상 데이터 세트의 크기가 매우 작을때 정상데이터만 이용하여 신경망을 학습시켜 이상을 탐지하는 방법에 관한 것이다.

이상 탐지란 정상 데이터들로만 구성된 데이터 세트만을 활용하여 비정상 데이터를 구분할 수 있는 신경망을 개발하는 것을 의미한다. 따라서 정상 데이터들이 가지는 주요한 특징들의 추출 및 이에 대한 학습이 이상 탐지 기술의 주요 목적이 되고 있다.

한편, 자가지도학습이란 훈련 데이터 세트에 사용자가 정의한 임의의 별도 라벨링과정을 수행 후, 신경망에 이에 대해 학습을 유도하는 것을 의미한다. 즉, 자가지도학습을 통해서 신경망은 훈련 데이터 세트들이 가지는 특징 중 사용자가 정의한 주요 특징에 대해서 더 중점을 두어 학습하는 것이 가능하게 된다.

종래의 방법에 의한 이상탐지방법은 정상데이터들의 의미학적 특징에 대하여 학습을 하고 있으며, 이상을 판별함에 있어서 주로 정상데이터에 회전변환을 적용하여 판별하는 학습을 진행하고 있다.

도 1을 참조하여 종래의 회전변환방식을 설명한다. 도면을 보면 정상적인 얼굴사진을 180도 돌린 사진임을 금방 알 수 있다. 즉, 우리는 정상적인 얼굴에서 코가 어디에 있고, 눈이 어디에 있고, 또한 각각은 어떻게 생겼는지 알기때문에 이 사진은 180도가 돌아갔다는 것을 이해할 수 있고, 종래에는 이러한 회전변환방식을 통하여 이상유무를 판별하고 있다.

즉, 정상데이터가 공통적으로 어떤 특징을 가지고 있는지 판단하고 학습을 하고, 정상데이터가 회전하였는지, 얼마나 회전하였는지 등에 대하여 학습을 하고, 이를 바탕으로 판단을 하고 있다. 여기서 정상데이터의 공통된 특징을 의미학적 특징(semantic feature)이라고 한다.

그런데, 실제 산업현장에는 도 1과 같은 데이터는 드물고 도 2(a)와 같은 데이터가 많이 있다. 이 사진은 몇 도 회전한 이미지인지 파악하기 힘들다. 아무리 돌려봐도 정상처럼 보인다. 실제 다양한 산업에서의 제품들의 정상 영상은 이처럼 회전에 둔감한 형태를 취하고 있는 경우가 많다.

그런데, 도 1과 같은 회전방식에 의해 회전각도를 파악하는 방식으로는 도 2(a)와 같은 데이터의 이상유무를 판단하는데 있어서는 한계가 있음이 명확하다.

일본공개특허 JP2016110578 (2016.06.20). 이미지 인식 시스템, 서버 장치 및 이미지 인식 방법 대한민국공개특허 KR1020200092143 (2020.08.03). 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법 일본공개특허 JP2020501281 (2020.01.16). 장애물 검출 방법 및 장치 일본공개특허 JP2008059110 (2008.03.13). 물체 식별 파라미터 학습 시스템, 물체 식별 파라미터 학습방법 및 물체 식별 파라미터 학습용 프로그램

본 발명은 이러한 종래기술의 문제점을 해결하기 위하여 안출된 것으로, 정상 데이터가 절대적으로 많고 비정상 데이터가 적거나 없는 경우에 신경망학습을 통하여 정상과 이상을 보다 적확하게 판단할 수 있는 방법을 제공하는 것을 그 목적으로 한다.

본 발명은 상기의 목적을 달성하기 위하여, 의미론(의미학)적 형태가 아닌 형태학적(형태론적) 특징에 중점을 두어 학습하게 하는 것에 그 특징이 있다.

디지털 영상 처리에서 형태학적 변환이란 경계, 골격, 볼록 깍지(convex hull) 같은 영역 모양의 표현 및 묘사에 유용한 영상 성분을 추출하기 위한 도구이며, 본 발명에 있어서, 형태학적 변환에는 침식(erosion), 팽창(dilation), 후선화(thickening), 형태론적 기울기(mophological gradient) 등이 있다.

본 발명은 정상데이터를 수집하는 단계와; 상기 수집된 정상데이터에 형태학적 변환을 적용하는 단계와; 상기 정상데이터와 상기 형태학적 변환이 적용된 데이터로 신경망을 학습시키는 단계와; 상기 학습된 신경망을 활용하여 테스트데이터의 이상여부를 탐지를 하는 단계를 포함하는 이상탐지방법을 제공한다.

상기 형태학적 변환을 적용하는 단계에서 형태학적 변환의 종류에 따른 라벨정보를 부여할 수 있고, 이때 신경망을 학습시키는 단계에서는 상기 라벨정보를 학습시킬 수 있다. 이러한 학습방법을 자기주도학습(self supervised learning)이라고 한다.

상기 이상을 탐지 단계는 상기 테스트데이터를 구비하는 단계와; 상기 테스트데이터에 형태적 변환을 적용하는 단계와; 상기 테스트데이터의 형태적변환과 상기 정상데이터의 형태적 변환을 비교하는 단계를 포함한다.

정상데이터의 형태적 변환과 상기 테스트데이터의 형태적변환이 동일한 형태적변환이면 상기 테스트 데이터를 정상이라고 판단하고, 그렇치 않으면 이상이라고 판단할 수도 있다.

본 발명은 정상데이터가 대부분이고, 불량데이터의 데이터세트의 수가 적은 상황에서 이상유무를 탐지하는 방법에 관한 것을 정상데이터의 형태학적 변환과 이를 자기주도학습을 통한 신경망의 학습에 그 특징이 있으며, 본 발명의 적용으로 인하여, 실제 현장에서 많이 발생하는 이상에 대하여 아주 높은 확률로 탐지할 수 있게 된다.

도 1은 영상데이터의 의미론적 특징을 이해하기 위한 참고도
도 2a-2d는 정상데이터와 이에 형태적변환을 적용한 영상데이터로서, 2a는 정상데이터 2b는 침식변환, 2c는 팽창변환, 2d는 형태학적 기울기 변환을 적용한 것이다.
도 3a-3d는 이상데이터와 이에 형태적변환을 적용한 영상데이터로서, 3a는 이상데이터 3b는 침식변환, 3c는 팽창변환, 3d는 형태학적 기울기 변환을 적용한 것이다.
도 4는 본 발명의 일실시예에 따른 이상탐지방법의 순서도이다.

이하, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세히 설명한다.

본 발명에 따른 방법을 도시한 도 4를 참조하면, 먼저 도 2a와 같은 정상데이터의 디지털영상데이터를 확보한다.(S1) 이를 신경망을 학습시키기 위한 훈련데이터(training data)라고 부르기도 한다.

이 정상데이터에 형태학적 변환을 적용한다.(S2)

형태학적 변환에는 침식, 팽창, 형태학적 기울기, 후선화 등이 있다.

먼저 침식(erosion)의 경우는 데이터 변환하는 방식에 대하여 설명한다.

어떤 크기 b의 임의의 위치의 이미지i의 센터를 (x, y)하고 하면, 침식은

으로 표현된다.

예를 들어, b를 3 × 3 커넬(kernel)이라고 하면, 3 × 3의 픽셀에서 가운데 픽셀은 자신과 주변의 나머지 8개 픽셀 중에 제일 작은 값을 선택하게 되는 것을 의미하고, 결과적으로 기존에 비해 어둡게 된다. 도2(a)의 영상을 침식에 의해 변환한 것이 도 2(b)이다.

팽창(dilation)도 같은 방식으로 구할 수 있다.

결과적으로 사이즈 b의 컨넬에서 주변에서 제일 밝은 것이 선택되게 되어 기존에 비해 밝게 된다. 도2(a)의 영상을 팽창에 의해 변환한 것이 도 2(c)이다.

형태학적 영상처리의 다른 예로서는 형태적 기울기(mophological gradient)가 있다. 이는 예를 들어 아래식으로 표현할 수가 있다.

즉, 어두운 곳은 더 어둡게 되고, 밝은 곳은 더 밝게 변환되는 것이다.

침식과 팽창의 결과를 활용하여, 테두리 정보를 더욱 잘 표현하고자 할때 사용되는 방식이고, 도2(a)의 영상을 형태적기울기에 의해 변환한 것이 도 2(d)이다.

이렇게 정상데이터에 형태학적 변환을 적용하고, 이를 구분하여 라벨링 한다. 즉, 침식변환을 했는지, 팽창변환을 했는지, 형태학적 기울기변환을 했는지에 대하여 구분한다.

다음으로 S2에서 취득한 정보를 신경망에 학습을 시킨다.(S3)

학습은 정상데이터의 형태학적 변환 및 그 라벨정보를 같이 학습시킨다. 이러한 방식을 자기주도학습이라고 한다.

다음으로 실제 이상유무를 탐지해야할 데이터를 취득한다. (S4) 이러한 데이터를 테스트 데이터라고 한다.

취득된 테스트 데이터에 형태학적 변환을 적용하고, 정상데이터에서 처리했던 바와 같이, 이에 대한 라벨 정보 취득한다. (S5)

다음으로 S3단계에서 자기주도학습이 진행된 신경망에 형태학적 변환이 적용된 테스트 데이터를 입력시킨다. (S6)

신경망은 입력된 테스트데이터의 데이터가 정상인지를 탐지하게 되는데(S7), 이때 신경망은 입력된 테스트 데이터의 형태학적 변환이 적용된 영상데이터를 정상데이터의 형태적변환 중에 어디에 속하는지 라벨을 비교한다.

비교하여, 만약, 테스트데이터의 형태학적 변환이 정상데이터의 형태학적 변환과 동일하면, 이 테스트 데이터는 정상으로 판단하고, 만약, 테스트데이터의 형태학적 변환이 정상데이터의 형태학적 변환과 다르면, 이상으로 판단하게 된다

즉, 테스트데이터의 형태적 변환으로 침식을 적용하였는데, 신경망의 학습된 데이터에서는 팽창으로 인식하면, 이상으로 판단하고, 동일하게 침식으로 인식하면 정상으로 판단하게 되는 것이다.

여기서 동일하게 판단하는 것을 에러가 적다. 다르게 판단하는 것을 에러가 많다는 표현을 사용할 수도 있다.

한편, 신경망에 자기주도학습방법에 의하여 학습을 시키는 방법을 보다 구체적으로 설명하면 아래와 같다.

이상 감지를 위한 신경망을

훈련 데이터 세트를

로 표현한다.

사용자가 정의한

개의 형태론적 변환 (morphological transformation)을

로 표기하며 이에 대한 라벨 정보를

로 표기할 경우,

는 아래 수식 (1)으로 정의가 가능하다.

:

- (1)

훈련 단계에서 이상 감지를 위한 신경망

는

을 입력으로 받으며, 여기서

는

이

개의 변환 중 어떠한 변환에 속하는지 알 수 없다.

입력 후

는 모든

개의 형태론적 변환에 대한 확률 분포를 출력하여 이는 아래 수식 (2)으로 정의가 가능하다.

- (2)

여기서

는 예측 결과를 의미하며,

는 가중치 (weights)처럼

의 학습 가능한 파라미터를 나타낸다.

자가지도학습을 위한

개의 학습데이터

에 대한 목적함수 (objective function)은 아래 수식 (3)으로 정의할 수 있다.

- (3)

여기서

는 다음과 같이 정의된다.

위와 같은 학습방법을 통해서 이상 탐지를 위한 신경망

는

정상데이터들의 형태론적 특징에 대해 집중적으로 학습할 수 있으며, 이를 통해 실제 산업에서 요구되는 다양한 이상 감지에 활용할 수 있다.

이상에서 본 발명에 따른 일 실시예를 설명하였으며, 이는 예시이며, 본 발명의 정신을 벗어나지 않고 다양한 변화와 변형은 가능할 것이나, 이는 본 발명의 권리범위에 속하게 됨은 첨부된 청구범위를 통해서 이해할 수 있을 것이다.

Claims (3)

1. 정상데이터의 디지털영상데이터를 수집하는 단계와;
   상기 수집된 정상데이터에 침식, 팽창, 형태학적 기울기를 포함하는 형태학적 변환을 적용하는 단계와;
   상기 정상데이터의 상기 형태학적 변환이 적용된 데이터와, 상기 형태학적 변환의 종류로 신경망을 학습시키는 단계와;
   이상 유무를 탐지해야 할 테스트데이터를 취득하는 단계와;
   상기 취득된 테스트 데이터에 형태학적 변환을 적용하는 단계와;
   상기 학습된 신경망에 형태학적 변환이 적용된 테스트 데이터를 입력하는 단계와;
   상기 학습된 신경망을 활용하여, 상기 테스트데이터의 형태학적 변환과 상기 정상데이터의 형태학적 변환이 동일한 종류의 형태학적 변환인지를 탐지하는 단계를 포함하는 이상탐지방법
   
2. 제 1항에 있어서,
   상기 형태학적 변환을 적용하는 단계에서 형태학적 변환의 종류에 따른 라벨정보를 부여하고, 이때 신경망을 학습시키는 단계에서는 상기 라벨정보를 학습시키는 이상탐지방법
   
3. 삭제

Images