KR102595182B1

KR102595182B1 - 이미지 이상 탐지 방법

Info

Publication number: KR102595182B1
Application number: KR1020230043418A
Authority: KR
Inventors: 김복년; 임다니엘지섭
Original assignee: 주식회사 크로커스
Priority date: 2023-04-03
Filing date: 2023-04-03
Publication date: 2023-10-30

Abstract

본 발명의 이미지 이상 탐지 방법은 공장에서 생산되는 대상물의 이미지를 이용해 대상물의 이상(anomaly)을 탐지하는 방법에 있어서, 이미지 모델링부에 의해, 상기 대상물의 입력 이미지를 입력받아 출력 이미지를 산출하는 이미지 모델링 생성 단계, 상기 이미지 모델링 생성 단계로부터 복수의 파라미터를 산출하고, 복수의 파라미터로 구성되는 다중 분포를 생성하는 다중 분포 단계 및 이상 감지부에 의해, 상기 다중 분포 단계의 다중 분포 및 상기 다중 분포의 스레스홀드를 이용해, 대상물 또는 이미지의 이상을 탐지하는 이상 판단 단계를 포함할 수 있다.

Description

이미지 이상 탐지 방법{Image anomaly detection method}

본 발명은 공장에서 대량 생산되는 제품 등의 산출물의 촬영 이미지를 이용해 산출물의 이상(anomaly) 또는 비정상(abnormal)을 탐지가능한 이미지 이상 탐지 방법에 대한 것이다.

제품 등의 이미지를 이용해 이상(anomaly) 또는 비정상(abnormal)을 탐지하는 기술은 다양한 분야에서 이용가능한 확장성을 가지고 있다.

오브젝트로부터 획득한 이미지로부터 머신러닝을 통해 정상적인 부분을 학습하고, 비정상적인 부분만을 검출하여 시각화 및 수치화할 수 있는 머신러닝 기반의 이미지 이상 탐지 시스템에 대한 출원번호 10-2020-0058176 건, 합성곱 신경망(Convolutional Neural Network, CNN) 기반해 정상 데이터를 기초로 적어도 하나의 이상 데이터를 생성하고, 상기 정상 데이터에 상응하는 제1 플롯 이미지(plot image)를 생성하고, 상기 적어도 하나의 이상 데이터를 기초로 제2 플롯 이미지를 생성하고, 상기 제1 플롯 이미지 및 상기 제2 플롯 이미지를 기초로 이상 감지 모델을 학습시키고, 상기 학습시킨 이상 감지 모델을 이용하여 기상 관측 장치에서 관측된 데이터에 상응하는 관측 플롯 이미지의 이상 여부를 결정하는 출원번호 10-2019-0126979 건 등, 에서는 획득된 이미지를 이용해 오브젝트의 이상을 탐지하거나, 기상 관측 이상을 감지하는 내용이 개제되어 있다.

본 발명은, 공장에서 생산하거나 제조한 제품 또는 물품의 불량 또는 비정상 등의 이상(anomaly)을 조사하기 위한 것으로, 이미지 데이터를 분석하여 도출한 복수의 파라미터의 분포를 이용하여 제품의 정상 여부를 판단하는 구체적인 기술을 제공할 수 있다.

본 발명의 다중 분포 단계는 오차 측정 단계, 분포 산출 단계 및 파라미터 산출 단계를 포함하고, 오차 측정 단계에서, 오차 측정부는 상기 이미지 모델링 생성 단계의 입력 이미지의 입력 이미지 벡터, 및 출력 이미지의 출력 이미지 벡터 간을 상호 비교하여 차이를 산출하며, 파라미터 산출 단계에서, 파라미터 산출부는 상기 입력 이미지 벡터와 출력 이미지 벡터 간의 차이로부터 복수의 파라미터를 산출하고, 이상 판단 단계는 상기 복수의 파라미터로부터 다중 분포를 생성하여, 상기 다중 분포를 이용해 대상물의 이상 여부를 판정할 수 있다.

제품 등의 이미지를 이용해 이상(anomaly) 또는 비정상(abnormal)을 탐지하는 기술은 다양한 분야에서 적용될 수 있다. 특히, 본 발명은 공장에서 생산하거나 제조한 제품 또는 물품의 불량 또는 비정상 등의 이상(anomaly)을 조사시 제조된 제품의 이미지만으로 불량 여부를 판단할 수 있다.

즉, 제품 생산 업체는 제품의 일련의 전체 제조 과정 중에서 생산이 완성된 제품을 촬영한 이미지 데이터만을 정상 여부 판단을 위한 계약 업체에 제공하면 되므로, 제품 생산 업체는 계약 업체와의 회사 기밀 유출이나 기술 유출 등의 복잡한 이익 상충 문제에서 상당히 자유로워져 사후 두 기업 간의 분쟁 발생 여지도 대폭 경감될 수 있다.

또한, 본 발명은 하나의 파라미터 또는 기준에 의한 불량품 탐지에 비해, 복수 파라미터를 결합한 다중 분포를 이용하여 불량 제품을 더 정확히 감지해낼 수 있다.

도 1은 본 발명의 이미지 모델링부에 의한 이미지 모델링 생성 단계에 대한 설명도이다.
도 2는 본 발명의 이미지 이상 탐지 방법의 흐름도이다.
도 3은 본 발명의 이미지 이상 탐지 장치의 구성도이다.
도 4는 본 발명의 이미지 모델링 생성 단계의 구성도이다.
도 5는 본 발명의 이미지 벡터 생성 단계의 설명도이다.
도 6은 본 발명의 이미지 벡터 복원 단계의 설명도이다.
도 7은 본 발명의 다중 분포 단계의 설명도이다.
도 8은 본 발명의 오차 측정 단계 및 파라미터 산출 단계의 설명도이다.
도 9는 본 발명의 다중 분포에 대한 설명도이다.
도 10은 본 발명의 스레스홀드 업데이트 단계에 대한 설명도이다. 도 10의 (a)는 본 발명의 스레스홀 업데이트부에 의한, ROC(Receiver Operating Characteristic) 곡선을 나타내고, 도 10의 (b)는 이상 탐지 결과의 정확도를 판단하기 위해 혼동 행렬(confusion matrix)의 일 실시 예를 나타낸다.

도 1 내지 도 10을 참조하여, 본 발명의 이미지 이상 탐지 장치 및 방법에 대해 설명한다.

공장 등에서 제조된 제품이든 그 제품과 관련된 것이든, 제조 기업의 의도한 바와 다른 불량품을 감지하여 정상품과 불량품을 판매 전에 분별해내는 것은 중요한 이슈이다.

이하 불량, 비정상, 이상(anomaly) 등은 원 목적에서 이탈된 것을 의미하는 점에서 혼용될 수 있다. 이하 범주, 그룹 등의 용어는 정상 및 이상을 포함하는 다른 특성으로 분별되는 것들을 지칭하는 것으로 상호 혼용될 수 있다. 이하 제품, 대상물, 대상, 오브젝트는 본 발명의 이미지 이상 탐지 장치 및 방법에 목적이 되는 물체로 혼용될 수 있다.

항목별로 기준을 설정하고 정상과 이상을 구분하는 것은, 대상물(object)을 2종류 이상으로 분별하는 것과 같고, 이러한 다른 그룹으로의 분별은 각 그룹을 개별 학습함으로써 이루어지는 경우가 많다.

그러나, 제조된 제품의 이상 탐지는 제대로 생산될수록 정상 범주의 제품 개수가 훨씬 많고 이상 범주의 제품 개수 또는 표본은 훨씬 작은 경우가 대다수이다.

따라서, 본 발명은, 분류하고자 하는 그룹을 각자 학습시켜서 분류해내는 방식은 어렵기에, 선정되거나 제시되는 정상 제품군의 이미지(I)을 이용해 정상 범주를 설정 또는 학습한 후, 그 정상 범주에서 벗어나는 것을 이상으로 탐지하고자 한다.

이때, 본 발명은, 더 정확한 제품 이상 탐지를 위해, 이상 여부의 판단 기준이 되는 하나의 파라미터를 이용하거나 가능한 판단 기준을 나열하는 것이 아니라, 복수의 파라미터를 결합한 다중 분포를 이용하는 것을 특징으로 한다.

본 발명은, 하나의 파라미터 또는 기준에 의한 불량품 탐지에 비해, 상기 복수 파라미터를 결합한 다중 분포를 이용하여 불량 오브젝트를 더 정확히 감지해낼 수 있다.

정상 이미지 그룹은 수천개의 표본 수를 가지나, 이상 이미지 그룹은 수십개에 불과하는 경우, 분별하고자 하는 두 그룹 간의 사이즈 차이가 커, 각 그룹을 각자 학습하여 분류하는 방식으로는 분류 민감도가 낮아질 수 있다. 따라서, 이미지 또는 이미지 데이터(I)를 이용해 불량 제품을 분별하기 위해 하나의 파라미터에 의존하는 경우 분류 민감도가 낮아 저효율을 보일 수 있으므로, 이미지 데이터로부터 복수의 파라미터를 도출하여, 도출된 복수의 파라미터를 이용한 다중 분포를 생성하여, 분류 민감도를 상당 수준 개선할 수 있다. 제품의 촬영된 이미지(image)에 대한 정보를 제공한다는 측면에서 이미지(I) 또는 이미지 데이터(image data)는 혼용될 수 있다.

불량 제품의 분별은 생산되는 제품의 수가 적어면, 수동형의 방식으로 일일히 검사하여 수행되는 것이 정확도가 더 높을수 있으나, 수천, 수만개의 제품을 대량으로 제조하는 경우에는 이러한 수동형 방식의 이상 감지 방법에는 한계가 있고, 자동적으로 이상(anomaly)을 감지하는 방법이 필수적이다.

다양한 제품을 대량으로 처리하는 기업의 경우, 특정 제품의 이상만 감지하는 방법이 아니라 제품의 종류를 불문하고 이상을 감지하는 것이 필요하고, 특히 생산된 제품의 이미지를 촬영하여 정상 여부를 판정가능하다면 획기적으로 넓은 제품군에 적용되는 장점이 있다.

또한, 본 발명은 제품의 이미지 데이터만을 이용해 제품의 이상을 판별가능한 편의성을 가지므로, 제품 생산 업체는 제품의 일련의 전체 제조 과정 중에서 생산이 완성된 제품을 촬영한 이미지 데이터만을 정상 여부 판단을 위한 계약 업체에 제공하면 되기에, 제품 생산 업체는 계약 업체와의 회사 기밀 유출이나 기술 유출 등의 복잡한 이익 상충 문제에서 상당히 자유로워져 사후 두 기업 간의 분쟁 발생 여지도 대폭 경감되는 장점도 있다.

도 2를 참조하면, 본 발명의 이미지 이상 탐지 방법은, 이미지 모델링부(100)에 의해 입력 이미지(I1)을 입력받아 출력 이미지(I2)가 산출되는 이미지 모델링 생성 단계(S100), 상기 이미지 모델링 생성 단계(S100)로부터 복수의 파라미터를 산출하고, 복수의 파라미터로 구성되는 다중 분포를 생성하는 다중 분포 단계(S200), 상기 다중 분포 단계(S200)의 다중 분포 및 그에 따른 스레스홀드(TH)를 이용해, 입력된 이미지의 이상을 탐지하는 이상 판단 단계(S300), 및 이상 판단 단계(S300)의 결과를 이용해 스레스홀드(TH)의 유효성을 검증하고 업데이트하는 스레스홀드 업데이트 단계(S320) 중 적어도 하나를 포함할 수 있다.

도 1을 참조하면, 공장 등에서 제조된 다량의 제품이 생산되고 그 제품들을 촬영하여 이미지 데이터 또는 이미지(I)를 생성하는 것을 상정할 수 있다.

도 3을 참조하면, 본 발명의 이미지 이상 탐지 장치는, 이미지 모델링 생성 단계(S100)를 수행하는 이미지 모델링부(100)를 포함하고, 이미지 모델링부(100)는 임베딩부(110), 특징 추출부(130), 분류부(150), 및 복원부(170) 중 적어도 하나를 포함할 수 있다.

이미지 모델링부(100)는 제조된 제품들의 촬영된 입력 이미지(I1)를 입력받아 소정의 처리를 거친후 대응하는 출력 이미지(I2)를 출력할 수 있다.

이미지 모델링부(100)에서 수행하는 소정의 처리는, 입력 이미지(I1)의 특징을 추출하고, 추출된 특징을 이용해 분류 기준을 설정하며, 역으로 추출된 특징으로부터 출력 이미지(I2)를 복원하여 자기 자신을 인식 또는 학습하는 것일 수 있다.

즉, 이미지 모델링부(100)는 자기 복제를 위한 모델링을 하거나, 자기 복제를 학습하는 것일 수 있다. 이미지 모델링부(100)의 출력 이미지(IV2)는 입력 이미지(IV1)에 대한 예측으로, 이미지 모델링부(100)는 정상적인 자신 자신의 이미지를 인식 또는 학습하여 가능한한 자기 자신과 가장 가까운 이미지 또는 데이터를 생성하는 것일 수 있다.

따라서, 입력 이미지(IV1)에 이미지 모델링부(100)에 의해 인식된 자기 자신의 특징 및 그에 따른 분류에 속하지 않는 이상(anomaly)이 포함된다면, 이미지 모델링부(100)에 의해 그 이상은 제외된 채로 출력 이미지(IV2)가 산출될 것이므로, 결과적으로 입력 이미지(IV1)와 출력 이미지(IV)를 비교한다면 정상 범주에서 벗어난 이상 상태를 탐지할 수 있을 것이다.

이미지 모델링 생성 단계(S100)는, 이미지 벡터 생성 단계(S110), 특징 추출 단계(S130), 분류 단계(S150), 및 이미지 벡터 복원 단계(S170) 중 적어도 하나를 포함할 수 있다.

도 5를 참조하면, 이미지 벡터 생성 단계(S110)에서, 임베딩부(110)는 입력 이미지(I1)로부터 픽셀 및 각 픽셀별 색값을 구성요소로 가지는 이미지 벡터(IV) 또는 입력 이미지 벡터(IV1)를 산출할 수 있다. 각 픽섹별 색값은 무채색, 유채색을 포함하고, 색값을 정하는 방법은 개별 픽셀당 값이나, 픽셀들의 평균 색의 값 등 다양한 방법으로 정해질 수 있다.

즉, 임베딩부(110)는 입력 이미지(I1)의 각 단위별(픽셀별) 색값의 정보를 담은 이미지 벡터(IV)를 특징 공간에 임베딩(embedding)할 수 있다.

도 5를 참조하면, 이미지 벡터 생성 단계(S110)의 일 예로, 입력 이미지 벡터(IV1)는 각 픽셀 좌표로 2개의 성분을 갖고, 각 픽셀에 해당하는 색값을 3번째 성분으로 갖는 3차원 벡터 방식으로 표현된 것을 나타낸다. 이와 같이, 하나의 입력 이미지(I1)는 복수의 입력 이미지 벡터(IV1)들로 표현될 수 있다.

편의상 색값을 3번째 성분으로하여 3차원 벡터로 표시하였지만, 색은 무채색, 유채색에 따라 구분되고 세분화될 수 있으며, 예를 들어, RGB(R-Red, G-Green, B-Blue) 3개의 채널로 빨강, 초록, 파란색 각각의 명암을 이용하여 이미지의 색상을 표현된다면, 이미지 벡터(IV)의 3번째 성분은 그 자체로 복수의 차원이 다시 내재된 것으로 전체 이미지 벡터(IV) 차원은 3차원 이상으로 높아질 수 있다.

특징 추출 단계(S130)에서, 특징 추출부(130)는 상기 이미지 벡터 생성 단계(S110)의 임베딩된 이미지 벡터(IV)의 특징을 추출하는 것일 수 있다.

특징 추출 단계(S130)는, 상기 이미지 벡터 생성 단계(S110)의 임베딩된 이미지 벡터(IV)를 이용해 특징 맵을 산출하는 단계(S130-a), 상기 S130-a 단계의 결과에 비선형성(nonlimearuty)를 부여하는 단계(S130-b), 상기 S130-a 단계에서 너무 많은 특징들로 인한 연산량을 감소시키고 목적에 가장 부합하는 특징을 선별하여 데이터 연산을 경감하는 단계(S130-c), 상기 S130-a 또는 S130-c 단계에서 다음 단계로 이동되는 데이터의 크기를 유지하기 위해 경계값 데이터를 처리하는 단계(S130-d), 및 상기 S130-a 내지 S130-d 단계를 반복하여 입력된 이미지(I1)의 분별 민감도가 높은 최적의 특징들을 추출하는 단계(S130-e) 중 적어도 하나를 포함할 수 있다.

분류 단계(S150)에서, 분류부(150)는 상기 특징 추출 단계(S130)의 추출된 특징을 이용해 이미지(I), 이미지 데이터, 또는 입력 이미지(I1), 이미지 벡터(IV), 또는 입력 이미지 벡터(IV1)를 분별할 수 있다.

분류 단계(S150)는, 상기 특징 추출 단계(S130)에서 추출된 특징을 분별하도록 데이터의 차원을 낮추거나 1차원으로 변경시키는 단계(S150-a), 서로 다른 개수를 가진 추출된 특징의 수 및 복원될 출력 이미지 벡터(I2)의 차원을 연결하고, 그 연결시 가중치를 부여하는 단계(S150-b), 및 상관관계가 높은 특징에 대한 편향성을 제거하고자 상기 S150-b 단계의 추출된 특징 및 복원될 출력 이미지 벡터(I2)의 연결시 일부 구성요소의 연결을 제외시킨 복수의 상관 관계들을 종합한 상관 관계를 도출하는 단계(S150-c) 중 적어도 하나를 포함할 수 있다.

이러한 특징 추출부(130)에 의한 특징 추출, 및 분류부(150)에 의한 분류가 완료되면, 복원부(170)는, 상기 특징 추출 단계(S130) 및 분류 단계(S150)를 역과정으로 하는 이미지 벡터 복원 단계(S170)를 수행하여 다시 출력 이미지 벡터(IV2) 및 출력 이미지(I2)를 산출할 수 있다.

도 7 내지 도 9를 참조하여, 본 발명의 다중 분포 단계(S200)에 대해 설명한다.

도 7을 참조하면, 다중 분포 단계(S200)는, 오차 측정 단계(S210), 파라미터 산출 단계(S230), 분포 산출 단계(S250), 분포 거리 산출 단계(S270), 및 스레스홀드 산출 단계(S290) 중 적어도 하나를 포함할 수 있다.

도 3을 참조하면, 본 발명의 이미지 이상 탐지 장치는, 다중 분포 단계(S200)를 수행하는 오차 측정부(200), 파라미터 산출부(210), 분포 산출부(300), 분포 거리 산출부(320), 및 스레스홀드부(340) 중 적어도 하나를 포함할 수 있다.

도 8은 본 발명의 이미지 이상 탐지 방법의 오차 측정 단계(S210) 또는 파라미터 산출 단계(S230)를 나타낸 것일 수 있다.

도 8을 참조하면, 오차 측정 단계(S210)에서, 오차 측정부(200)는, 이미지 모델링부(100)에 의한 이미지 모델링 생성 단계(S100)의 입력 이미지(I1) 및 출력 이미지(I2) 간을 상호 비교하여 그 차이를 산출할 수 있다. 이는 입력 이미지 벡터(IV1) 및 출력 이미지 벡터(IV2) 간을 상호 비교하여 그 차이를 산출하는 것과 동일할 수 있다.

도 8에서는, 오차 측정 단계(S210)의 일 실시 예로, 복수의 입력 이미지 벡터(IV1)와 출력 이미지 벡터(IV2) 중에서 상호 대응하는 한쌍를 도시한 것이고, 각 대응하는 벡터별로 모두 표시가능하다. 이러한 입력 이미지 벡터(IV1)와 출력 이미지 벡터(IV2) 간의 차이 또는 오차로부터 파라미터 산출부(210)에 의한 복수의 파라미터가 산출될 수 있다.

즉, 파라미터 산출 단계(S230)에서 파라미터 산출부(210)는 입력 이미지 벡터(IV1)와 출력 이미지 벡터(IV2) 간의 차이 또는 오차로부터 복수의 파라미터를 산출할 수 있다.

각 파라미터에는 대응하는 입력 이미지 벡터(IV1)와 출력 이미지 벡터(IV2) 간의 차이가 내재될 수 있다.

본 발명은 입력 이미지 벡터(IV1)와 출력 이미지 벡터(IV2) 간의 차이 또는 오차가 내재된 복수의 파라미터를 산출하고, 그 복수의 파라미터로 구성된 다중 분포를 형성하여, 그 다중 분포를 이용해 정상/이상 여부를 판정하는 것일 수 있다.

파라미터의 일 실시 예로, 파라미터는 제1 파라미터(P1) 및 제2 파라미터(P2)를 포함할 수 있다. 제1 파라미터(P1)는 대응하는 입력 이미지 벡터(IV1)와 출력 이미지 벡터(IV2) 간의 각도 차이를 나타낼 수 있고, 제2 파라미터(P2)는 대응하는 입력 이미지 벡터(IV1)와 출력 이미지 벡터(IV2) 간의 거리 차이를 나타낼 수 있다.

제1 파라미터(P1)는, 실제 이미지 벡터인 입력 이미지 벡터(IV1)와 출력 이미지 벡터(IV2) 간의 각도 차이를 나타내는 코사인 각도(cosθ)일 수 있고, 이미지(I)의 색깔의 방향성을 나타낼 수 있으며, 이미지(I)의 색깔의 구성 정보를 나타낼 수 있다.

제2 파라미터(P2)는, 실제 이미지 벡터인 입력 이미지 벡터(IV1)와 출력 이미지 벡터(IV2) 간의 유클리디안 벡터 거리 차이(제1 거리, D1)일 수 있고, 입력 이미지 벡터(IV1)와 출력 이미지 벡터(IV2) 간의 RMSE(Root Mean Squared Error)일 수 있으며, 이미지 픽셀의 색깔 차이를 나타낼 수 있다.

도 9는 본 발명의 분포 산출 단계(S250), 분포 거리 산출 단계(S270), 스레스홀드 산출 단계(S290), 및 이상 판단 단계(S300) 중 적어도 하나를 나타낸 것일 수 있다.

도 9를 참조하면, 분포 산출 단계(S250)에서, 분포 산출부(300)는, 상기 파라미터 산출 단계(S230)의 파라미터 산출부(210)에 의해 산출된 제1 파라미터(P1) 및 제2 파라미터(P2)를 이용해 다중 분포를 산출하는 것일 수 있다.

분포 산출부(300)는 제1 파라미터(P1) 및 제2 파라미터(P2)를 각 축으로 하는 다중 분포를 산출할 수 있다.

복수의 파라미터를 이용해 산출된 다중 분포는, 서로 다른 클래스가 존재할 때(예를 들어, 정상과 이상), 이미지 벡터 간의 유클리드 거리 또는 각도 오차에 대한 코사인 유사도만을 기준으로 하면 그 구별이 어려운 경우가 많다. 이는 각 파라미터에 대한 유사도는 도 9와 같의 오차 데이터를 각 축에 내려서 분별하는 것에 대응하므로 다른 파라미터 측면에서는 구별되는 것이라도 하나의 파라미터에 대한 구별에서는 구분되지 않기 때문일 수 있다.

도 9의 2차원의 2개의 파라미터를 이용한 다중 분포 구성은 일 실시 예일뿐, 다중 분포 차원은 2이상의 파라미터를 구성요소로 가지는 2 이상의 차원을 형성할 수 있다.

분포 산출 단계(S250)에서, 분포 산출부(300)는, 오차 측정 단계(S210)에서의 대응하는 입력 이미지 벡터(IV1) 및 출력 이미지 벡터(IV2) 간의 오차 또는 차이를, 파라미터 산출 단계(S230)에서의 각 파라미터를 축으로 하는 다중 분포에 표시할 수 있다.

도 9의 다중 분포 산출에 이용된 오차 데이터(입력 이미지 벡터(IV1) 및 출력 이미지 벡터(IV2) 간의 오차 또는 차이)는 동그라미로 표시될 수 있다. 즉, 동그라미는 이미지 이상 판단을 위한 기준 설정을 형성하는 기준 데이터라 할 수 있다.

분포 거리 산출 단계(S270)에서, 분포 거리 산출부(320)는, 다중 분포로부터 오차 데이터 간을 분별하는 분포 거리(제2 거리, D2)를 설정할 수 있다. 분포 거리(D2)는 다중 분포에서 오차 데이터 간의 거리를 나타내는 것일 수 있다.

다중 분포에서의 새로운 측정 데이터 까지의 거리(분포 거리, 제2 거리, D2)는 타원형상의 분포의 중심으로부터의 거리일 수 있다.

분포 거리 산출 단계(S270)에서, 분포 거리 산출부(320)는, 다중 분포 형성을 위해 사용된 데이터들의 제1 파라미터(P1) 및 제2 파라미터(P2)의 평균을 계산한 것인 다중 분포 중심(C)을 산출할 수 있다.

분포 거리(D2)는, 제1 파라미터(P1) 및 제2 파라미터(P2)로 이루어진 2차원에서 각 차원의 편차를 고려한 거리일 수 있다. 여기서 편차는 제1 파라미터(P1) 및 제2 파라미터(P2)의 공분산(covariance), 상관계수(Correlation Coefficient) 등을 의미할 수 있다.

또한, 분포 거리 산출 단계(S270)에서, 분포 거리 산출부(320)는, 지형 등고선과 마찬가지로 같은 분포 거리(D2)를 가지는 타원형 데이터 분포에 따라 복수의 분포 등고선(DC)을 형성할 수 있다.

다중 분포에서의 다른 그룹 간의 분별은 타원형 분포 등고선(DC)으로 주어질 수 있다. 예를 들어, 하나의 타원 분포내에서 장축에 해당하는 분포 거리는 단축에 해당하는 분포 거리와 동일할 수 있다. 이는 특정 타원에 포함되는 분포들은 모두 같은 거리 또는 분포 경향을 가진다고 판단될 수 있다.

특정 타원에 포함되는 데이터들은 모두 동일한 분포 거리(D2)를 가진다고 할 수 있다.

스레스홀드 산출 단계(S290)에서, 스레스홀드부(340)는 스레스홀드(TH)를 설정할 수 있다. 스레스홀드(TH)는 분포 거리(D2)가 동일한 데이터의 집단으로 구성될 수 있다.

분포 등고선(DC)은 입력되는 새로운 이미지 데이터의 정상 또는 이상 여부를 판정하는 기준인 스레스홀드(TH)의 설정에 이용될 수 있다. 예를 들어, 오차 데이터로부터 다중 분포 중심(C)이 산출될 수 있고, 다중 분포 중심(C)으로부터의 거리인 분포 거리(D2)에 따라 복수의 분포 등고선(DC)이 형성될 수 있으며, 분포 등고선(DC) 중 어느 하나는 스레스홀드(TH)로 설정될 수 있다.

도 9에서는, 분포 등고선(DC) 중 가장 큰 분포 거리(D2)를 가지는 분포 등고선이 선택된 경우를 나타낸 것일 수 있다.

새로운 측정 데이터 즉, 새로운 이미지가 입력되면, 기설정된 다중 분포 상의 위치에 따라 새로운 측정 데이터에서의 정상/이상 여부를 판정할 수 있을 것이다.

새로운 측정 데이터는 세모 또는 엑스로 표시된 것이며, 세모로 표시된 새로운 측정 데이터는 타원의 내부에 위치하고, 엑스로 표시된 새로운 측정 데이터는 타원의 외부에 위치하는 것을 알 수 있다.

본 발명의 이미지 이상 탐지 장치는 이상 판단 단계(S300)를 수행하는 이상 감지부(400), 또는 스레스홀드 업데이트 단계(S320)를 수행하는 스레스홀드 업데이트부(420)를 포함할 수 있다.

이상 판단 단계(S300)에서, 이상 감지부(400)는, 새로운 측정 데이터 또는 새로운 이미지 데이터가 스레스홀드(TH)의 분포 거리(D2)보다 작으면 정상으로, 크면 비정상(이상)으로 판단할 수 있다.

스레스홀드 업데이트 단계(S320)는, 상기 이상 판단 단계(S300)에서 정상 또는 이상으로 판단된 값(라벨링(labeling), True/False, 또는 0/1)을 산출(예측)하여 리스트에 기록 또는 저장하는 단계(S320-a), 스레스홀드(TH) 검증을 위해 준비되거나 제공된 데이터의 수만큼 상기 S320-a 단계를 반복하는 단계(S320-b), 실제 라벨링(정상 또는 이상 판단 값)과 예측된 라벨링의 AUROC(Area Under ROC)를 계산하는 단계(S320-c), 상기 S320-a 단계의 AUROC가 가장 높은 스레스홀드(TH)를 채택하는 단계(S320-d), 및 상기 이상 판단 단계(S300)의 판단 기준이 되는 스레스홀드(TH)를 상기 S320-d 단계의 스레스홀드(TH)로 업데이트하는 단계(S320-e), 중 적어도 하나를 포함할 수 있다.

도 10을 참조하여, 상기 S320-c 단계에 대해 구체적으로 설명한다.

S320-c 단계에서의 AUROC(Area Under ROC)는 ROC(Receiver Operating Characteristic) 곡선의 면적을 의미할 수 있다.

도 10의 (a)는 곡선은 ROC를 나타내고, AUROC는 이러한 ROC 곡선의 면적을 의미할 수 있다.

ROC 곡선은 이진 분류기의 성능을 표현할 수 있고, 가능한 스레스홀드(TH)에 대해 FPR(False Positive Rate) 또는 TPR(True Positive Rate)의 비율을 표현한 것일 수 있다.

도 10의 (b)는, 스레스홀드부(340)에 의해 이상 판단 단계(S300)에서의 이상 탐지 결과의 정확도를 판단하기 위해 이용되는 혼동 행렬(confusion matrix)의 일 실시 예를 나타낸다. 이하 혼동 행렬의 지표로 양성/음성 판단에 이용되는 TP, FP, TN, FN 등을 이용하나, 제품의 이상 또는 이미지의 이상 판단을 위한 지표면 이들에 한정되지 않는다.

도 10의 (b)를 참조하면, TP(True Positive)는 제품 또는 제품 이미지에 이상이 있는 것을 이상(anomaly)이 있다는 양성(positive)으로 판단하는 경우일 수 있고, FP(False Positive)는 제품 또는 제품 이미지에 이상이 없는 것을 양성으로 오판한 경우일 수 있다.

또한, TN(True Negative)은 이상이 없는 것을 이상이 없다는 음성(negative)로 판단한 경우일 수 있고, FN(False Negative)은 이상이 있는데 음성으로 오판한 경우일 수 있다.

이때, TPR은 TP 를 TP 및 FN 의 합으로 나눈것일 수 있고, FPR은 TN 을 TN 및 FP 의 합으로 나눈것일 수 있다. TPR 및 FPR 간에는 FRP = 1 - TRP 의 관계가 성립할 수 있다.

도 10의 (a)의 화살표와 같이, ROC 곡선은 좌상단에 가까울수록 더 좋은 분류기 기능을 할 수 있다. ROC 곡선이 좌상단에 가까울수록 AUROC 의 값은 점점 증가할 수 있으므로, AUROC 가 가장 높은 스레스홀드(TH)를 채택한다면(S320-d), 분류 성능이 가장 좋게 개선될 수 있다.

100... 이미지 모델링부 110... 임베딩부
130... 특징 추출부 150... 분류부
170... 복원부 200... 오차 측정부
210... 파라미터 산출부 211... 제1 파라미터 산출부
212... 제2 파라미터 산출부 300... 분포 산출부
320... 분포 거리 산출부 340... 스레스홀드부
400... 이상 감지부 420... 스레스홀드 업데이트부
S100... 이미지 모델링 생성 단계 S110... 이미지 벡터 생성 단계
S130... 특징 추출 단계 S150... 분류 단계
S170... 이미지 벡터 복원 단계 S200... 다중 분포 단계
S210... 오차 측정 단계 S230... 파라미터 산출 단계
S250... 분포 산출 단계 S270... 분포 거리 산출 단계
S290... 스레스홀드 산출 단계 S300... 이상 판단 단계
S400... 스레스홀드 업데이트 단계 I... 이미지
I1... 입력 이미지 I2... 출력 이미지
IV... 이미지 벡터 IV1... 입력 이미지 벡터
IV2... 출력 이미지 벡터 P... 파라미터
P1... 제1 파라미터 P2... 제2 파라미터
D... 거리 D1... 제1 거리
D2... 제2 거리(분포 거리) TH... 스레스홀드
DC... 분포 등고선 C... 다중 분포 중심

Claims

공장에서 생산되는 대상물의 이미지를 이용해 대상물의 이상(anomaly)을 탐지하는 방법에 있어서,
이미지 모델링부에 의해, 상기 대상물의 입력 이미지를 입력받아 출력 이미지를 산출하는 이미지 모델링 생성 단계;
상기 이미지 모델링 생성 단계로부터 복수의 파라미터를 산출하고, 복수의 파라미터로 구성되는 다중 분포를 생성하는 다중 분포 단계; 및
이상 감지부에 의해, 상기 다중 분포 단계의 다중 분포 및 상기 다중 분포의 스레스홀드를 이용해, 대상물 또는 이미지의 이상을 탐지하는 이상 판단 단계; 를 포함하고,
상기 다중 분포 단계는 분포 산출 단계 및 분포 거리 산출 단계를 포함하고,
상기 분포 산출 단계에서, 분포 산출부는 상기 입력 이미지의 입력 이미지 벡터와 상기 출력 이미지의 출력 이미지 벡터 간의 차이로부터 추출되는 제1 파라미터 및 제2 파라미터를 이용해 다중 분포를 산출하며,
상기 분포 거리 산출 단계에서, 분포 거리 산출부는,
상기 다중 분포의 데이터를 분별하고, 상기 다중 분포의 데이터 간의 거리를 나타내는 분포 거리를 설정하며,
동일한 분포 거리를 가지는 타원형 데이터 분포에 따라 복수의 분포 등고선을 형성하고,
상기 분포 등고선으로 표시되는 특정 타원에 포함되는 데이터는 동일한 분포 거리 또는 분포 경향을 가진다고 판단되는 이미지 이상 탐지 방법.
제1 항에 있어서,
상기 다중 분포 단계는 오차 측정 단계 및 파라미터 산출 단계를 포함하고,
상기 오차 측정 단계에서, 오차 측정부는 상기 이미지 모델링 생성 단계의 입력 이미지의 입력 이미지 벡터, 및 출력 이미지의 출력 이미지 벡터 간을 상호 비교하여 차이를 산출하며,
상기 파라미터 산출 단계에서, 파라미터 산출부는 상기 입력 이미지 벡터와 출력 이미지 벡터 간의 차이로부터 복수의 파라미터를 산출하고,
상기 이상 판단 단계는 상기 다중 분포를 이용해 대상물의 이상 여부를 판정하는 이미지 이상 탐지 방법.
제1 항에 있어서,
상기 다중 분포 단계는 파라미터 산출 단계를 포함하고,
상기 파라미터 산출 단계에서, 파라미터 산출부는 상기 입력 이미지의 입력 이미지 벡터와 상기 출력 이미지의 출력 이미지 벡터 간의 차이로부터 복수의 파라미터를 산출하며,
상기 분포 산출 단계에서, 분포 산출부는 상기 파라미터 산출 단계의 제1 파라미터 및 제2 파라미터를 이용해 다중 분포를 산출하고,
상기 다중 분포는 상기 제1 파라미터 및 제2 파라미터를 각 축으로 하는 2 차원을 형성하는 이미지 이상 탐지 방법.
제3 항에 있어서,
상기 제1 파라미터는 코사인 각도를 포함하는 입력 이미지 벡터와 출력 이미지 벡터 간의 각도 차이를 나타내며,
상기 제2 파라미터는 입력 이미지 벡터와 출력 이미지 벡터 간의 유클리디안 벡터 거리를 나타내는 이미지 이상 탐지 방법.
삭제
공장에서 생산되는 대상물의 이미지를 이용해 대상물의 이상(anomaly)을 탐지하는 방법에 있어서,
이미지 모델링부에 의해, 상기 대상물의 입력 이미지를 입력받아 출력 이미지를 산출하는 이미지 모델링 생성 단계;
상기 이미지 모델링 생성 단계로부터 복수의 파라미터를 산출하고, 복수의 파라미터로 구성되는 다중 분포를 생성하는 다중 분포 단계; 및
이상 감지부에 의해, 상기 다중 분포 단계의 다중 분포 및 상기 다중 분포의 스레스홀드를 이용해, 대상물 또는 이미지의 이상을 탐지하는 이상 판단 단계; 를 포함하고,
상기 다중 분포 단계는 분포 산출 단계 및 분포 거리 산출 단계를 포함하고,
상기 분포 산출 단계에서, 분포 산출부는 상기 입력 이미지의 입력 이미지 벡터와 상기 출력 이미지의 출력 이미지 벡터 간의 차이로부터 추출되는 제1 파라미터 및 제2 파라미터를 이용해 다중 분포를 산출하며,
상기 분포 거리 산출 단계에서, 분포 거리 산출부는,
상기 다중 분포의 데이터를 분별하고, 상기 다중 분포의 데이터 간의 거리를 나타내는 분포 거리를 설정하며,
상기 제1 파라미터 및 제2 파라미터의 평균을 계산한 것인 다중 분포 중심을 산출하고,
상기 분포 거리는 상기 제1 파라미터 및 제2 파라미터로 이루어진 2차원에서 각 차원의 편차를 고려한 것이며,
상기 편차는 제1 파라미터 및 제2 파라미터의 공분산(covariance) 또는 상관계수(Correlation Coefficient)를 포함하는 이미지 이상 탐지 방법.
삭제
공장에서 생산되는 대상물의 이미지를 이용해 대상물의 이상(anomaly)을 탐지하는 방법에 있어서,
이미지 모델링부에 의해, 상기 대상물의 입력 이미지를 입력받아 출력 이미지를 산출하는 이미지 모델링 생성 단계;
상기 이미지 모델링 생성 단계로부터 복수의 파라미터를 산출하고, 복수의 파라미터로 구성되는 다중 분포를 생성하는 다중 분포 단계; 및
이상 감지부에 의해, 상기 다중 분포 단계의 다중 분포 및 상기 다중 분포의 스레스홀드를 이용해, 대상물 또는 이미지의 이상을 탐지하는 이상 판단 단계; 를 포함하고,
상기 다중 분포 단계는 분포 산출 단계 및 분포 거리 산출 단계를 포함하고,
상기 분포 산출 단계에서, 분포 산출부는 상기 입력 이미지의 입력 이미지 벡터와 상기 출력 이미지의 출력 이미지 벡터 간의 차이로부터 추출되는 제1 파라미터 및 제2 파라미터를 이용해 다중 분포를 산출하며,
상기 분포 거리 산출 단계에서, 분포 거리 산출부는, 상기 다중 분포의 데이터를 분별하고, 상기 다중 분포의 데이터 간의 거리를 나타내는 분포 거리를 설정하며, 동일한 분포 거리를 가지는 복수의 분포 등고선을 형성하고,
상기 다중 분포 단계는 스레스홀드부에 의해, 상기 분포 등고선은 입력되는 새로운 이미지 데이터의 정상 또는 이상 여부를 판정하는 기준인 스레스홀드가 설정되는 스레스홀드 산출 단계를 포함하는 이미지 이상 탐지 방법.
제1 항에 있어서,
상기 다중 분포 단계는 스레스홀드부에 의해, 새로운 이미지 데이터의 정상 또는 이상 여부를 판정하는 기준인 스레스홀드가 설정되는 스레스홀드 산출 단계를 포함하고,
상기 스레스홀드는 상기 분포 거리가 동일한 데이터의 집단으로 구성되며,
상기 이상 판단 단계에서, 상기 이상 감지부는 새로운 이미지 데이터가 상기 스레스홀드의 분포 거리보다 작으면 정상으로, 크면 이상으로 판단하는 이미지 이상 탐지 방법.
제1 항에 있어서,
상기 이미지 모델링 생성 단계는, 이미지 벡터 생성 단계, 특징 추출 단계, 분류 단계, 및 이미지 벡터 복원 단계 중 적어도 하나를 포함하고,
상기 이미지 벡터 생성 단계는 임베딩부에 의해 상기 입력 이미지로부터 픽셀 및 각 픽셀별 색값을 구성요소로 가지는 입력 이미지 벡터가 산출되며,
상기 특징 추출 단계는 특징 추출부에 의해 상기 이미지 벡터 생성 단계의 임베딩된 이미지 벡터의 특징이 추출되며,
상기 분류 단계는 분류부에 의해 상기 특징 추출 단계의 추출된 특징을 이용해 상기 이미지 벡터를 분별하고,
상기 이미지 벡터 복원 단계는, 복원부에 의해 상기 특징 추출 단계 및 분류 단계를 역과정을 수행하여 다시 출력 이미지 벡터 또는 출력 이미지를 산출하는 이미지 이상 탐지 방법.
제1 항에 있어서,
상기 이미지 모델링 생성 단계에서,
상기 이미지 모델링부는 제조된 대상물의 촬영된 입력 이미지를 입력받아 소정의 처리를 거친후 대응하는 출력 이미지를 출력하고,
상기 소정의 처리는, 상기 입력 이미지의 특징을 추출하고, 추출된 특징을 이용해 분류 기준을 설정하며, 역으로 추출된 특징으로부터 출력 이미지를 복원하여 자기 자신을 인식 또는 학습하는 것인 이미지 이상 탐지 방법.
제1 항에 있어서,
상기 이미지 모델링 생성 단계에서,
상기 이미지 모델링부는,
자기 복제를 위한 모델링을 하거나 자기 복제를 학습하고,
상기 입력 이미지에 자기 자신의 특징 및 그에 따른 분류에 속하지 않는 이상이 포함되는 경우, 상기 출력 이미지에서는 이상이 제외된 채로 출력되는 이미지 이상 탐지 방법.
제1 항에 있어서,
상기 이미지 모델링 생성 단계는 이미지 벡터 생성 단계를 포함하고,
상기 이미지 벡터 생성 단계에서, 임베딩부는 상기 입력 이미지의 각 픽셀별 색의 정보를 담은 이미지 벡터를 특징 공간에 임베딩(embedding)하는 이미지 이상 탐지 방법.
제1 항에 있어서,
상기 이미지 모델링 생성 단계는 특징 추출 단계를 포함하고,
상기 특징 추출 단계에서, 특징 추출부는 상기 입력 이미지로부터 산출된 이미지 벡터의 특징을 추출하며,
상기 특징 추출 단계는,
이미지 벡터를 이용해 특징 맵을 산출하는 단계(S130-a),
상기 S130-a 단계에서 복수의 특징들로 인한 연산량을 감소시키는 특징을 선별하여 데이터 연산을 경감하는 단계(S130-c), 및
상기 S130-a 또는 S130-c 단계에서 다음 단계로 이동되는 데이터의 크기를 유지하기 위해 경계값 데이터를 처리하는 단계(S130-d), 중 적어도 하나를 포함하는 이미지 이상 탐지 방법.
제1 항에 있어서,
상기 이미지 모델링 생성 단계는 특징 추출 단계, 및 분류 단계를 포함하고,
상기 특징 추출 단계에서, 특징 추출부는 상기 입력 이미지로부터 산출된 이미지 벡터의 특징을 추출하며,
상기 분류 단계는,
상기 특징 추출 단계에서 추출된 특징을 분별하도록 데이터의 차원을 낮추는 단계(S150-a),
추출된 특징의 수 및 복원될 출력 이미지 벡터를 연결하고, 그 연결시 가중치를 부여하는 단계(S150-b), 및
상기 S150-b 단계의 추출된 특징 및 복원될 출력 이미지 벡터의 연결시 일부 구성요소의 연결을 제외시킨 복수의 상관 관계를 종합하여 도출하는 단계(S150-c), 중 적어도 하나를 포함하는 이미지 이상 탐지 방법.
제1 항에 있어서,
상기 이상 판단 단계에서, 스레스홀드부는 상기 다중 분포로부터 획득되는 스레스홀드를 기준으로 대상물의 이상 여부를 판단하고,
상기 스레스홀드를 새로운 스레스홀드로 업데이트하는 스레스홀드 업데이트 단계를 추가로 포함하며,
상기 스레스홀드 업데이트 단계에서, 상기 스레스홀드부는 상기 이상 판단 단계의 이상 탐지 결과를 이용해 스레스홀드의 유효성을 검증하며 스레스홀드를 업데이트하는 이미지 이상 탐지 방법.
제16 항에 있어서,
상기 스레스홀드부는 상기 이상 판단 단계에서의 이상 탐지 결과의 정확도를 판단하기 위해 혼동 행렬(confusion matrix)을 이용하는 이미지 이상 탐지 방법.
공장에서 생산되는 대상물의 이미지를 이용해 대상물의 이상(anomaly)을 탐지하는 방법에 있어서,
이미지 모델링부에 의해, 상기 대상물의 입력 이미지를 입력받아 출력 이미지를 산출하는 이미지 모델링 생성 단계;
상기 이미지 모델링 생성 단계로부터 복수의 파라미터를 산출하고, 복수의 파라미터로 구성되는 다중 분포를 생성하는 다중 분포 단계; 및
이상 감지부에 의해, 상기 다중 분포 단계의 다중 분포 및 상기 다중 분포의 스레스홀드를 이용해, 대상물 또는 이미지의 이상을 탐지하는 이상 판단 단계; 를 포함하고,
상기 이상 판단 단계는 판단 기준이되는 스레스홀드를 이용해 대상물 또는 대상물 이미지의 이상 여부를 판단하고,
상기 스레스홀드를 새로운 스레스홀드로 업데이트하는 스레스홀드 업데이트 단계를 추가로 포함하며,
상기 스레스홀드 업데이트 단계는,
상기 이상 판단 단계에서 정상 또는 이상으로 판단된 값(라벨링)을 예측하는 단계(S320-a), 상기 S320-a 단계를 반복하는 단계(S320-b), 실제 라벨링과 예측된 라벨링의 AUROC(Area Under Receiver Operating Characteristic)를 계산하는 단계(S320-c), 및 상기 S320-a 단계의 AUROC가 가장 높은 스레스홀드를 채택하는 단계(S320-d)중 적어도 하나를 포함하는 이미지 이상 탐지 방법.
공장에서 생산되는 대상물의 이미지를 이용해 대상물의 이상(anomaly)을 탐지하는 방법에 있어서,
이미지 모델링부에 의해, 상기 대상물의 입력 이미지를 입력받아 출력 이미지를 산출하는 이미지 모델링 생성 단계;
상기 이미지 모델링 생성 단계로부터 복수의 파라미터를 산출하고, 복수의 파라미터로 구성되는 다중 분포를 생성하는 다중 분포 단계; 및
이상 감지부에 의해, 상기 다중 분포 단계의 다중 분포 및 상기 다중 분포의 스레스홀드를 이용해, 대상물 또는 이미지의 이상을 탐지하는 이상 판단 단계; 를 포함하고,
상기 이상 판단 단계는 판단 기준이되는 스레스홀드를 이용해 대상물 또는 대상물 이미지의 이상 여부를 판단하고,
상기 스레스홀드를 새로운 스레스홀드로 업데이트하는 스레스홀드 업데이트 단계를 추가로 포함하며,
상기 스레스홀드 업데이트 단계는,
실제 라벨링과 상기 이상 판단 단계에서 정상 또는 이상으로 판단된 값(라벨링)의 AUROC(Area Under ROC)를 계산하는 단계(S320-c)를 포함하고,
상기 AUROC는 ROC(Receiver Operating Characteristic) 곡선의 면적이며,
상기 ROC 곡선은, 이진 분류기의 성능을 표현하고, 가능한 스레스홀드에 대해 FPR(False Positive Rate) 또는 TPR(True Positive Rate)의 비율을 표현한 것이고,
상기 스레스홀드 업데이트 단계의 새로운 스레스홀드는 상기 AUROC 가 가장 높은 스레스홀드가 채택되는 이미지 이상 탐지 방법.
제19 항에 있어서,
TP(True Positive)는 대상물 또는 이미지에 이상(anomaly)이 있는 것을, 이상이 있다는 양성(positive)으로 판단하는 경우이고,
FP(False Positive)는 대상물 또는 이미지에 이상이 없는 것을, 양성으로 오판한 경우이며,
TN(True Negative)은 이상이 없는 것을, 이상이 없다는 음성(negative)로 판단한 경우이고,
FN(False Negative)은 이상이 있는데 음성으로 오판한 경우이며,
상기 TPR은 상기 TP 를 상기 TP 및 FN 의 합으로 나눈 것이고,
상기 FPR은 상기 TN 을 상기 TN 및 FP 의 합으로 나눈 것인 이미지 이상 탐지 방법.