KR20220058842A

KR20220058842A - 결함 검출 방법, 장치, 컴퓨터 기기 및 저장 매체

Info

Publication number: KR20220058842A
Application number: KR1020217037651A
Authority: KR
Inventors: 린시아오 니우; 쳉 리
Original assignee: 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2020-10-30
Filing date: 2021-04-25
Publication date: 2022-05-10
Also published as: CN112288723A; CN112288723B; JP2023503751A; WO2022088628A1

Abstract

본 발명은 결함 검출 방법, 장치, 컴퓨터 기기 및 저장 매체를 제공하고, 여기서, 상기 결함 검출 방법은, 검출될 이미지 및 템플릿 이미지를 획득하는 단계; 상기 검출될 이미지에 대해 특징 추출을 수행하여, 상기 검출될 이미지의 제1 특징 이미지를 얻고, 상기 템플릿 이미지에 대해 특징 추출을 수행하여, 상기 템플릿 이미지에 대응되는 제2 특징 이미지를 얻는 단계; 상기 제1 특징 이미지 및 상기 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 특징 융합 이미지를 얻는 단계; 및 상기 특징 융합 이미지에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻는 단계를 포함한다. 본 발명의 실시예는 더욱 높은 결함 검출 정밀도를 구비한다.

Description

결함 검출 방법, 장치, 컴퓨터 기기 및 저장 매체

관련 출원의 상호 참조

본 발명은 출원번호가 202011191743.3이고 출원일자가 2020년 10월 30일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 전부 내용을 본 발명에 인용하여 참조로 한다.

본 발명은 이미지 처리 기술 분야에 관한 것으로서, 구체적으로, 결함 검출 방법, 장치, 컴퓨터 기기 및 저장 매체에 관한 것이다.

과학 기술의 발전에 따라, 현대 제조업이 다양한 공업 부품, 제품에 대한 수요도 날로 증가되고 있다. 일부 기계 장치, 전자 부품 자체의 품질도 일부 부속품들이 요구에 부합되는지 여부에 따라 상당하게 결정된다. 때문에 물체 표면의 결함 검출도 표준화 생산에서의 중요한 부분이다. 현재 신경 네트워크에 기반하는 결함 검출 방법은, 보통 결함 위치가 태깅된 대량의 샘플 이미지를 사용하여 신경 네트워크에 대해 훈련을 수행한 다음, 훈련된 신경 네트워크를 사용하여, 물체의 검출될 이미지에 대해 결함 검출을 수행한다. 이런 검출 방법은 검출 정밀도가 낮은 문제가 존재한다.

본 발명의 실시예는 적어도 결함 검출 방법, 장치, 컴퓨터 기기 및 저장 매체를 제공한다.

제1 측면에 있어서, 본 발명의 실시예는 결함 검출 방법을 제공하고, 상기 결함 검출 방법은, 검출될 이미지 및 템플릿 이미지를 획득하는 단계; 상기 검출될 이미지에 대해 특징 추출을 수행하여, 상기 검출될 이미지의 제1 특징 이미지를 얻고, 상기 템플릿 이미지에 대해 특징 추출을 수행하여, 상기 템플릿 이미지에 대응되는 제2 특징 이미지를 얻는 단계; 상기 제1 특징 이미지 및 상기 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 특징 융합 이미지를 얻는 단계; 및 상기 특징 융합 이미지에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻는 단계를 포함한다.

이렇게, 처리될 이미지의 제1 특징 이미지 및 템플릿 이미지의 제2 특징 이미지에 대해 특징 혼동 처리를 수행하는 것을 통해, 제1 특징 이미지 및 제2 특징 이미지 사이에 존재하는 생산 오차, 매칭 오차 및 샘플링 노이즈 등 오차를 줄인 다음, 특징 융합 이미지를 사용하여, 제1 특징 이미지의 더욱 정밀한 결함 검출 결과를 얻을 수 있다.

가능한 실시 형태에서, 상기 검출될 이미지에 대해 특징 추출을 수행하여, 상기 검출될 이미지의 제1 특징 이미지를 얻는 단계는, 상기 검출될 이미지에 대해 다단계 특징 추출을 수행하여, 각 단계 특징 추출과 대응되는 제1 특징 이미지를 획득하는 단계를 포함하고; 상기 템플릿 이미지에 대해 특징 추출을 수행하여, 상기 템플릿 이미지에 대응되는 제2 특징 이미지를 얻는 단계는, 상기 템플릿 이미지에 대해 다단계 특징 추출을 수행하여, 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지를 획득하는 단계를 포함하며; 상기 제1 특징 이미지 및 상기 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 특징 융합 이미지를 얻는 단계는, 각 제1 특징 이미지를 대상으로 하여, 상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 상기 각 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻는 단계를 포함한다.

이렇게, 검출될 이미지 및 템플릿 이미지에 대해 다단계 특징 추출을 각각 수행하는 것을 통해, 얻은 특징 융합 이미지로 하여금, 검출될 이미지 및 템플릿 이미지에서의 더욱 많은 특징을 포함하도록 하여, 특징 융합 이미지에 기반하여 검출될 이미지의 결함 검출 결과를 결정함으로써, 더욱 높은 정밀도를 구비한다.

가능한 실시 형태에서, 상기 특징 융합 이미지에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻는 단계는, 상기 각 제1 특징 이미지에 대응되는 특징 융합 이미지에 기반하여, 상기 각 제1 특징 이미지의 결함 검출 결과를 얻는 단계; 및 다단계 특징 추출과 각각 대응되는 제1 특징 이미지의 결함 검출 결과에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻는 단계를 포함한다.

이렇게, 다단계 특징 추출에 각각 대응되는 결함 검출 결과를 얻는 것을 통해, 다단계 특징 추출에 각각 대응되는 결함 검출 결과를 사용하여 결정한 검출될 이미지의 결함 검출 결과는 더욱 높은 검출 정밀도를 구비한다.

가능한 실시 형태에서, 상기 검출될 이미지에 대해 다단계 특징 추출을 수행하여, 각 단계 특징 추출과 대응되는 중간 특징 이미지를 획득하고; 상기 각 단계 특징 추출은 마지막 단계 특징 추출인 경우, 마지막 단계 특징 추출에 대응되는 중간 특징 이미지를, 상기 마지막 단계 특징 추출에 대응되는 제1 특징 이미지로 사용하며; 상기 각 단계 특징 추출은 마지막 단계 특징 추출을 제외한 다른 단계 특징 추출인 경우, 상기 각 단계 특징 추출과 대응되는 중간 특징 이미지와 상기 단계 특징 추출의 다음 단계 특징 추출에 대응되는 제1 특징 이미지를 특징 융합하여, 상기 각 단계 특징 추출과 대응되는 제1 특징 이미지를 얻는다.

이렇게, 검출될 이미지에 대해 다단계 특징 추출을 각각 수행하는 것을 통해, 상이한 단계 특징 추출로 얻은 제1 특징 이미지로 하여금 검출될 이미지 중 상이한 특징을 포함하도록 하여, 다단계 특징 추출에 각각 대응되는 제1 특징 이미지의 결함 검출 결과에 기반하여, 결정된 검출될 이미지의 결함 검출 결과로 하여금 더욱 높은 검출 정밀도를 구비하도록 한다.

가능한 실시 형태에서, 상기 각 단계 특징 추출과 대응되는 중간 특징 이미지와, 상기 단계 특징 추출의 다음 단계 특징 추출에 대응되는 제1 특징 이미지를 특징 융합하여, 상기 각 단계 특징 추출과 대응되는 제1 특징 이미지를 얻는 단계는, 상기 단계 특징 추출의 다음 단계 특징 추출과 대응되는 제1 특징 이미지를 업 샘플링하여, 업 샘플링 벡터를 얻는 단계; 및 상기 업 샘플링 벡터와 상기 단계 특징 추출에 대응되는 중간 특징 이미지를 오버레이 한 다음, 상기 단계 특징 추출에 대응되는 제1 특징 이미지를 얻는 단계를 포함한다.

이렇게, 업 샘플링을 통해, 제1 특징 이미지 및 대응되는 중간 특징 이미지의 차원을 통일하여, 이들의 융합을 더욱 용이하게 한다.

가능한 실시 형태에서, 상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 대해 특징 혼동 처리를 수행하는 단계는, 상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지에 대해 특징 강화 처리를 수행하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지의 특징 강화 이미지를 얻는 단계; 및 상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 상기 각 제1 특징 이미지와 대응되는 어텐션 마스크 이미지를 얻는 단계 - 상기 어텐션 마스크 이미지 중 어느 한 픽셀 포인트의 픽셀 값은, 상기 제1 특징 이미지 중 위치가 상기 어느 한 픽셀 포인트에 매칭되는 제1 특징 포인트에 결함이 존재하는 이상도 값을 나타냄 - ; 및 상기 특징 강화 이미지 및 상기 어텐션 마스크 이미지에 기반하여, 상기 각 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻는 단계를 포함한다.

이렇게, 특징 강화는, 템플릿 이미지의 제2 특징 이미지에 대해 특징 강화를 수행하는 것을 통해, 검출될 이미지에 존재하는 샘플링 노이즈, 매칭 오차 및 생산 오차로 인한 검출될 이미지 및 템플릿 이미지 사이의 차이를 줄임으로써, 검출될 이미지에 대한 결함 검출 정밀도를 향상시킬 수 있다.

또한, 검출될 이미지의 제1 특징 이미지에 대응되는 어텐션 마스크 이미지를 생성하는 것을 통해, 상기 어텐션 마스크 이미지에서의 각 픽셀 포인트의 픽셀 값은, 제1 특징 이미지에서 대응되는 위치의 제1 특징 포인트에는 결함이 존재하는지 여부의 이상도 값을 나타낸 다음, 어텐션 마스크 이미지에 따라, 제1 특징 이미지의 결함 검출 결과를 결정하여, 더욱 높은 검출 정밀도를 구비한다.

가능한 실시 형태에서, 상기 각 제1 특징 이미지 및 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 각 제1 특징 이미지에 대응되는 제2 특징 이미지에 대해 특징 강화 처리를 수행하는 단계는, 각 제1 특징 이미지에서의 각 제1 특징 포인트를 대상으로 하여, 각 제1 특징 이미지에 대응되는 제2 특징 이미지의 복수 개 제2 특징 포인트에서, 상기 제1 특징 포인트와 대응되는 복수 개 연관 특징 포인트를 결정하는 단계 - 상기 제1 특징 포인트에 대응되는 각 연관 특징 포인트와 상기 제1 특징 포인트 위치에 매칭되는 타깃 제2 특징 포인트 사이의 거리는 기설정 조건을 만족함 - ; 및 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행하는 단계를 포함한다.

이렇게, 각 제1 특징 포인트에 연관 특징 포인트를 결정하고, 복수 개 연관 특징 포인트와 각각 대응되는 제1 특징 포인트 사이의 유사도에 기반하여 상기 대응되는 제3 픽셀 포인트 이상도 값을 결정하는 것을 통해, 상기 제3 픽셀 포인트와 대응되는 제2 픽셀 포인트의 이상도 값을 얻고, 제2 픽셀 포인트의 이상도 값으로 하여금 템플릿 이미지 중 복수 개 픽셀 포인트의 영향을 받도록 함으로써, 생산 오차, 매칭 오차, 샘플링 노이즈 등 검출될 이미지 중 제2 픽셀 포인트의 결함 검출 결과에 대한 영향을 낮추고, 처리될 이미지에 대한 결함 검출 정밀도를 향상시킨다.

가능한 실시 형태에서, 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행하는 단계는, 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도 및 각 연관 특징 포인트의 특징값에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행하는 단계를 포함한다.

이렇게, 연관 특징 포인트와 제1 특징 포인트의 유사도 및 각 연관 특징 포인트의 특징값을 통해, 제1 특징 포인트 위치에 매칭되는 타깃 제2 특징 포인트의 특징값을 다시 결정하여, 다시 결정된 특징값으로 하여금 제1 특징 포인트 사이에 존재하는 다양한 오차를 낮춤으로써, 특징 강화 이미지에 기반하여 결함 검출을 수행하는 경우 더욱 높은 검출 정밀도를 구비할 수 있다.

가능한 실시 형태에서, 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도 및 각 연관 특징 포인트의 특징값에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행하는 단계는, 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트에 대응되는 복수 개 연관 특징 포인트에 각각 대응되는 특징값에 대해 가중치 합산을 수행함으로써, 제1 합산값을 얻는 단계; 복수 개 연관 특징 포인트에 각각 대응되는 유사도에 대해 합산하여, 제2 합산값을 얻는 단계; 및 상기 제1 합산값 및 상기 제2 합산값의 비율을, 상기 타깃 제2 특징 포인트에 대해 특징 강화 처리한 후의 특징값으로 사용하는 단계를 포함한다.

가능한 실시 형태에서, 상기 제1 특징 이미지 및 상기 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 상기 제1 특징 이미지와 대응되는 어텐션 마스크 이미지를 얻는 단계는, 상기 제1 특징 이미지에서의 각 제1 특징 포인트를 대상으로 하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지의 복수 개 제2 특징 포인트에서, 상기 제1 특징 포인트와 대응되는 복수 개 연관 특징 포인트를 결정하는 단계 - 상기 제1 특징 포인트에 대응되는 각 연관 특징 포인트와 상기 제1 특징 포인트 위치에 매칭되는 타깃 제2 특징 포인트 사이의 거리는 기설정 조건을 만족함 - ; 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트의 이상도 값을 결정하는 단계; 및 상기 제1 특징 이미지 중 각 제1 특징 포인트에 대응되는 이상도 값에 기반하여, 상기 어텐션 마스크 이미지를 얻는 단계를 포함한다.

가능한 실시 형태에서, 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트의 이상도 값을 결정하는 단계는, 복수 개 연관 특징 포인트와 상기 제1 특징 포인트 사이의 각 유사도의 최대 유사도를 결정하는 단계; 및 상기 최대 유사도에 기반하여, 상기 제1 특징 포인트의 이상도 값을 결정하는 단계를 포함한다.

가능한 실시 형태에서, 하기 형태를 사용하여 제1 특징 포인트 및 상기 제1 특징 포인트와 대응되는 어느 한 연관 특징 포인트 사이의 유사도를 결정하고, 상기 제1 특징 포인트가 상기 제1 특징 이미지에서의 위치 및 기설정된 거리 임계값에 기반하여, 제1 특징 서브 이미지를 얻으며; 상기 제1 특징 포인트와 대응되는 어느 한 연관 특징 포인트가 상기 제2 특징 이미지에서의 위치 및 상기 거리 임계값에 기반하여, 제2 특징 서브 이미지를 얻고; 상기 제1 특징 서브 이미지 및 상기 제2 특징 서브 이미지에 기반하여, 상기 제1 특징 포인트와 상기 제1 특징 포인트에 대응되는 상기 어느 한 연관 특징 포인트 사이의 유사도를 결정한다.

가능한 실시 형태에서, 상기 특징 강화 이미지 및 상기 어텐션 마스크 이미지에 기반하여, 상기 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻는 단계는, 상기 특징 강화 이미지 및 상기 제1 특징 이미지에 대해 병합 처리를 수행하여, 상기 제1 특징 이미지에 대응되는 병합 특징 이미지를 얻는 단계; 및 상기 어텐션 마스크 이미지 및 상기 병합 특징 이미지에 기반하여, 상기 특징 융합 이미지를 얻는 단계를 포함한다.

제2 측면에 있어서, 본 발명의 실시예는 결함 검출 장치를 더 제공하고, 상기 결함 검출 장치는, 검출될 이미지 및 템플릿 이미지를 획득하도록 구성된 획득 부분; 상기 검출될 이미지에 대해 특징 추출을 수행하여, 상기 검출될 이미지의 제1 특징 이미지를 얻고, 상기 템플릿 이미지에 대해 특징 추출을 수행하여, 상기 템플릿 이미지에 대응되는 제2 특징 이미지를 얻도록 구성된 특징 추출 부분; 상기 제1 특징 이미지 및 상기 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 특징 융합 이미지를 얻도록 구성된 특징 혼동 부분; 및 상기 특징 융합 이미지에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻도록 구성된 검출 부분을 포함한다.

가능한 실시 형태에서, 상기 특징 추출 부분은, 상기 검출될 이미지에 대해 특징 추출을 수행하여, 상기 검출될 이미지의 제1 특징 이미지를 얻는 경우, 상기 검출될 이미지에 대해 다단계 특징 추출을 수행하여, 각 단계 특징 추출과 대응되는 제1 특징 이미지를 획득하도록 구성되고; 상기 특징 추출 부분은, 상기 템플릿 이미지에 대해 특징 추출을 수행하여, 상기 템플릿 이미지에 대응되는 제2 특징 이미지를 얻는 경우, 상기 템플릿 이미지에 대해 다단계 특징 추출을 수행하여, 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지를 획득하도록 구성되며; 상기 특징 혼동 부분은, 상기 제1 특징 이미지 및 상기 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 특징 융합 이미지를 얻는 경우, 각 제1 특징 이미지를 대상으로 하여, 상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 상기 각 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻도록 구성된다.

가능한 실시 형태에서, 검출 부분은, 상기 특징 융합 이미지에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻는 경우, 상기 각 제1 특징 이미지에 대응되는 특징 융합 이미지에 기반하여, 상기 각 제1 특징 이미지의 결함 검출 결과를 얻고; 다단계 특징 추출과 각각 대응되는 제1 특징 이미지의 결함 검출 결과에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻도록 구성된다.

가능한 실시 형태에서, 상기 특징 추출 부분은, 상기 검출될 이미지에 대해 다단계 특징 추출을 수행하여, 각 단계 특징 추출과 대응되는 제1 특징 이미지를 획득하는 경우, 상기 검출될 이미지에 대해 다단계 특징 추출을 수행하여, 각 단계 특징 추출과 대응되는 중간 특징 이미지를 획득하고; 상기 각 단계 특징 추출은 마지막 단계 특징 추출인 경우, 마지막 단계 특징 추출에 대응되는 중간 특징 이미지를, 상기 마지막 단계 특징 추출에 대응되는 제1 특징 이미지로 사용하며; 상기 각 단계 특징 추출은 마지막 단계 특징 추출을 제외한 다른 단계 특징 추출인 경우, 상기 각 단계 특징 추출과 대응되는 중간 특징 이미지와 상기 단계 특징 추출의 다음 단계 특징 추출에 대응되는 제1 특징 이미지를 특징 융합하여, 상기 각 단계 특징 추출과 대응되는 제1 특징 이미지를 얻도록 구성된다.

가능한 실시 형태에서, 상기 특징 추출 부분은, 각 단계 특징 추출과 대응되는 중간 특징 이미지와, 상기 단계 특징 추출의 다음 단계 특징 추출에 대응되는 제1 특징 이미지를 특징 융합하여, 상기 각 단계 특징 추출과 대응되는 제1 특징 이미지를 얻는 경우, 상기 단계 특징 추출의 다음 단계 특징 추출과 대응되는 제1 특징 이미지를 업 샘플링하여, 업 샘플링 벡터를 얻고; 상기 업 샘플링 벡터와 상기 단계 특징 추출에 대응되는 중간 특징 이미지를 오버레이 한 다음, 상기 단계 특징 추출에 대응되는 제1 특징 이미지를 얻도록 구성된다.

가능한 실시 형태에서, 상기 특징 혼동 부분은, 상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 대해 특징 혼동 처리를 수행하는 경우,

상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지에 대해 특징 강화 처리를 수행하여, 각 제1 특징 이미지에 대응되는 제2 특징 이미지의 특징 강화 이미지를 얻고;

상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 상기 각 제1 특징 이미지와 대응되는 어텐션 마스크 이미지를 얻으며 - 상기 어텐션 마스크 이미지 중 어느 한 픽셀 포인트의 픽셀 값은, 상기 제1 특징 이미지 중 위치가 상기 어느 한 픽셀 포인트에 매칭되는 제1 특징 포인트에 결함이 존재하는 이상도 값을 나타냄 - ;

상기 특징 강화 이미지 및 상기 어텐션 마스크 이미지에 기반하여, 상기 각 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻도록 구성된다.

가능한 실시 형태에서, 상기 특징 혼동 부분은, 각 제1 특징 이미지 및 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 각 제1 특징 이미지에 대응되는 제2 특징 이미지에 대해 특징 강화 처리를 수행하는 경우, 각 제1 특징 이미지에서의 각 제1 특징 포인트를 대상으로 하여, 각 제1 특징 이미지에 대응되는 제2 특징 이미지의 복수 개 제2 특징 포인트에서, 상기 제1 특징 포인트와 대응되는 복수 개 연관 특징 포인트를 결정하고 - 상기 제1 특징 포인트에 대응되는 각 연관 특징 포인트와 상기 제1 특징 포인트 위치에 매칭되는 타깃 제2 특징 포인트 사이의 거리는 기설정 조건을 만족함 - ; 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행하도록 구성된다.

가능한 실시 형태에서, 상기 특징 혼동 부분은, 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행하는 경우, 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도 및 각 연관 특징 포인트의 특징값에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행하도록 구성된다.

가능한 실시 형태에서, 상기 특징 혼동 부분은, 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도 및 각 연관 특징 포인트의 특징값에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행하는 경우, 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트에 대응되는 복수 개 연관 특징 포인트에 각각 대응되는 특징값에 대해 가중치 합산을 수행함으로써, 제1 합산값을 얻고; 복수 개 연관 특징 포인트에 각각 대응되는 유사도에 대해 합산하여, 제2 합산값을 얻으며; 상기 제1 합산값 및 상기 제2 합산값의 비율을, 상기 타깃 제2 특징 포인트에 대해 특징 강화 처리한 후의 특징값으로 사용하도록 구성된다.

가능한 실시 형태에서, 상기 특징 혼동 부분은, 상기 제1 특징 이미지 및 상기 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 상기 제1 특징 이미지와 대응되는 어텐션 마스크 이미지를 얻는 경우, 상기 제1 특징 이미지에서의 각 제1 특징 포인트를 대상으로 하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지의 복수 개 제2 특징 포인트에서, 상기 제1 특징 포인트와 대응되는 복수 개 연관 특징 포인트를 결정하고 - 상기 제1 특징 포인트에 대응되는 각 연관 특징 포인트와 상기 제1 특징 포인트 위치에 매칭되는 타깃 제2 특징 포인트 사이의 거리는 기설정 조건을 만족함 - ; 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트의 이상도 값을 결정하며; 상기 제1 특징 이미지 중 각 제1 특징 포인트에 대응되는 이상도 값에 기반하여, 상기 어텐션 마스크 이미지를 얻도록 구성된다.

가능한 실시 형태에서, 상기 특징 혼동 부분은, 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트의 이상도 값을 결정하는 경우, 복수 개 연관 특징 포인트와 상기 제1 특징 포인트 사이의 각 유사도의 최대 유사도를 결정하고; 상기 최대 유사도에 기반하여, 상기 제1 특징 포인트의 이상도 값을 결정하도록 구성된다.

가능한 실시 형태에서, 상기 특징 혼동 부분은, 하기 형태를 사용하여 제1 특징 포인트 및 상기 제1 특징 포인트와 대응되는 어느 한 연관 특징 포인트 사이의 유사도를 결정하고, 상기 제1 특징 포인트가 상기 제1 특징 이미지에서의 위치 및 기설정된 거리 임계값에 기반하여, 제1 특징 서브 이미지를 얻으며; 상기 제1 특징 포인트와 대응되는 어느 한 연관 특징 포인트가 상기 제2 특징 이미지에서의 위치 및 상기 거리 임계값에 기반하여, 제2 특징 서브 이미지를 얻고; 상기 제1 특징 서브 이미지 및 상기 제2 특징 서브 이미지에 기반하여, 상기 제1 특징 포인트와 상기 제1 특징 포인트에 대응되는 상기 어느 한 연관 특징 포인트 사이의 유사도를 결정하도록 구성된다.

가능한 실시 형태에서, 상기 특징 혼동 부분은, 상기 특징 강화 이미지 및 상기 어텐션 마스크 이미지에 기반하여, 상기 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻는 경우, 상기 특징 강화 이미지 및 상기 제1 특징 이미지에 대해 병합 처리를 수행하여, 상기 제1 특징 이미지에 대응되는 병합 특징 이미지를 얻고; 상기 어텐션 마스크 이미지 및 상기 병합 특징 이미지에 기반하여, 상기 특징 융합 이미지를 얻도록 구성된다.

제3 측면에 있어서, 본 발명의 실시예는 컴퓨터 기기를 더 제공하고, 상기 컴퓨터 기기는, 서로 연결된 프로세서 및 메모리를 포함하며, 상기 메모리에는 상기 프로세서가 실행 가능한 기계 판독 가능 명령어가 저장되어 있고, 컴퓨터 기기가 작동될 경우, 상기 기계 판독 가능 명령어는 상기 프로세서에 의해 실행됨으로써 상기 제1 측면 또는 제1 측면 중 어느 한 가지 가능한 실시 형태에서의 결함 검출 방법을 구현한다.

제4 측면에 있어서, 본 발명의 실시예는 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 때 상기 제1 측면 또는 제1 측면 중 어느 한 가지 가능한 실시 형태에서의 결함 검출 방법을 실행한다.

본 발명의 일 측면에 따라서, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 상기 결함 검출 방법을 실행 및 구현한다.

본 발명의 상기 목적, 특징 및 장점이 더욱 선명하고 알기 쉽도록 하기 위해, 아래 문장은 특별히 바람직한 실시예를 예로 들고, 첨부된 도면에 맞춰, 아래과 같이 상세하게 설명한다.

본 발명 실시예의 기술 방안을 더욱 명확하게 설명하기 위해, 아래에 실시예에서 사용하게 될 도면에 대해 간단히 설명하고, 여기서 도면은 명세서에 통합되어 본 명세서의 일부를 구성하며, 이러한 도면은 본 발명에 부합되는 실시예를 도시하고, 명세서와 함께 본 발명의 기술 방안을 설명하기 위한 것이다. 이해해야 할 것은, 아래의 도면은 다만 본 발명의 일부 실시예를 도시하였을 뿐이기에, 범위에 대한 한정으로 간주되어서는 안되고, 본 분야의 통상적 기술자는, 창조성 노동을 부여하지 않는 전제하에서도, 이러한 도면에 따라 다른 관련된 도면을 획득할 수 있다.
도 1은 본 발명의 실시예에서 제공하는 결함 검출 방법의 흐름도를 도시하였다.
도 2a-2d는 본 발명의 실시예에서 제공하는 특징 융합의 네트워크 구조 예시도를 도시하였다.
도 3a는 본 발명의 실시예에서 제공하는 신경 네트워크를 사용하여 결함 검출을 구현하는 예시도를 도시하였다.
도 3b는 본 발명의 실시예에서 제공하는 제1 특징 이미지 및 상기 제1 특징 이미지와 대응되는 제2 특징 이미지에 대해 특징 혼동 처리를 수행하는 구체적 방법의 흐름도를 도시하였다.
도 4a는 본 발명의 실시예에서 제공하는 특징 강화 이미지의 과정 예시도를 도시하였다.
도 4b는 본 발명의 실시예에서 제공하는 특징 혼동 네트워크의 구조 예시도를 도시하였다.
도 5는 본 발명의 실시예에서 제공하는 결함 검출 장치의 예시도를 도시하였다.
도 6은 본 발명의 실시예에서 제공하는 컴퓨터 기기의 예시도를 도시하였다.

본 발명 실시예의 목적, 기술 방안 및 장점을 더욱 명확하게 하기 위해, 아래에 본 발명의 실시예에서의 도면을 결합하여, 본 발명의 실시예에서의 기술 방안에 대해 명확하고 완전한 설명을 수행하며, 설명된 실시예는 다만 본 발명의 일부 실시예이고, 모든 실시예가 아님은 분명하다. 통상적으로 여기 도면에서 설명 및 도시된 본 발명의 실시예의 컴포넌트는 다양하고 상이한 구성으로 배치 및 설계된다. 따라서, 아래에 도면에서 제공된 본 발명의 실시예에 대한 상세한 설명은 보호 요청된 본 발명의 범위를 한정하려는 것은 아니고, 다만 본 발명의 선정된 실시예를 나타내는 것이다. 본 발명의 실시예에 기반하여, 본 분야의 기술자가 창조성 노동을 부여하지 않은 전제하에서 획득한 모든 다른 실시예는 전부 본 발명의 보호 범위에 속한다.

연구를 통해, 물체 표면 결함에 대해 검출을 수행하는 방법에는 보통 아래 두 가지가 있고,

(1) 템플릿이 없는 방법에 있어서, 상기 방법은 보통 간단한 이미지 처리를 사용하여 검출될 대상의 검출될 이미지에서 결함이 존재하는 위치 및 결함의 타입을 획득하고; 또한, 대량의 샘플을 사용하여 신경 네트워크 모델을 훈련시킴으로써, 검출될 대상의 검출될 이미지를 훈련된 신경 네트워크 모델에 입력하여, 검출될 대상의 검출될 이미지의 결함 검출 결과를 얻을 수도 있다. 이런 템플릿이 없는 형태는 템플릿 이미지에서의 관련 정보가 부족하여, 설계된 부품 및 결함이 있는 부품을 구분할 수 없기에, 대량의 잘못된 검출 타깃을 리콜할 수 있다.

(2) 템플릿이 있는 방법에 있어서, 상기 방법은 템플릿 이미지 및 검출될 대상의 검출될 이미지를 사용하여 결함에 대해 포지셔닝 및 분류하지만; 검출될 대상의 생산 과정에 있어서, 검출될 대상에 일정한 생산 오차가 존재하는 경우가 많고; 또한, 검출될 대상의 검출될 이미지 및 템플릿 이미지를 비교하는 경우에도, 이미지 사이의 매칭 오차가 존재할 수 있으며; 또한, 검출될 이미지는 수집 과정에서 샘플링 노이즈가 존재할 수도 있기에; 이런 오차로 인해 현재 부품 결함 검출 결과에 대해 대량의 오검출 영역이 존재하여, 결함 검출 정밀도가 저하된다.

따라서, 현재 검출될 대상에 대해 결함 검출을 수행하는 방법은 모두 검출 정밀도가 낮은 문제가 존재한다.

상기 연구에 기반하여, 본 발명은 결함 검출 방법 및 장치를 제공하고, 검출될 이미지에 대해 다단계 특징 추출을 수행하는 것을 통해, 각 단계 특징 추출과 대응되는 제1 특징 이미지를 획득하고, 템플릿 이미지에 대해 다단계 특징 추출을 수행하여, 각 제1 특징 이미지에 대응되는 제2 특징 이미지를 획득한 다음, 각 제1 특징 이미지를 대상으로 하여, 상기 제1 특징 이미지 및 상기 제1 특징 이미지와 대응되는 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 상기 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻음으로써, 처리될 이미지 및 템플릿 이미지 중 특징을 융합하는 것을 통해, 제1 특징 이미지 및 제2 특징 이미지 사이에 존재하는 생산 오차, 매칭 오차 및 샘플링 노이즈 등 오차를 줄인 다음, 특징 융합 이미지를 사용하여, 제1 특징 이미지의 결함 검출 결과를 얻음으로써, 다단계 특징 추출에 각각 대응되는 제1 특징 이미지의 결함 검출 결과를 종합하여, 더욱 높은 정밀도로 검출될 이미지의 결함 검출 결과를 얻는다.

상기 방안에 존재하는 결함에 대해, 모두 발명인이 실천 및 면밀한 연구를 거친 후 얻은 결과이고, 따라서, 상기 문제점의 발견 과정과 상기 문제점을 해결하기 위해 아래의 본 발명에서 제안하는 해결 방안은, 모두 본 발명의 과정에서 본 발명에 대한 발명자가 기여한 것이어야 한다.

유의해야 할 것은, 유사한 부호 및 문자는 아래의 도면에서 유사한 항목을 나타내므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 추가로 정의 및 해석될 필요가 없다.

본 실시예에 대해 이해를 용이하게 하기 위해, 먼저 본 발명의 실시예에서 개시된 결함 검출 방법에 대해 상세하게 소개하고, 본 발명의 실시예에서 제공하는 결함 검출 방법의 실행 주체는 보통 일정한 컴퓨팅 능력을 구비한 컴퓨터 기기이며, 컴퓨터 기기에는 예를 들어, 단말 기기 또는 서버 또는 다른 처리 기기가 포함되고, 단말 기기는 품질 검출에 전문적으로 사용되는 기기일 수 있으며, 프로세서가 메모리에 저장된 컴퓨터 판독 가능 명령어를 호출하는 형태를를 통해 구현될 수도 있다.

또한, 본 발명의 실시예에서 제공하는 결함 검출 방법은 검출될 대상이 결함 검출을 수행하는 것을 위한 것일 수 있을 뿐만 아니라, 예를 들어 공작물, 기계 부품 등과 같은 다른 물품에 대해 결함 검출을 수행할 수도 있다.

아래에 검출될 대상에 대해 결함 검출을 수행하는 것을 예로 들어 본 발명의 실시예에서 제공하는 결함 검출 방법에 대해 설명한다.

도 1에 도시된 바를 참조하면, 본 발명의 실시예에서 제공하는 결함 검출 방법의 흐름도이고, 상기 결함 검출 방법은 단계 S101~S104를 포함한다.

단계 S101에 있어서, 검출될 이미지 및 템플릿 이미지를 획득한다.

단계 S102에 있어서, 상기 검출될 이미지에 대해 특징 추출을 수행하여, 상기 검출될 이미지의 제1 특징 이미지를 얻고, 상기 템플릿 이미지에 대해 특징 추출을 수행하여, 상기 템플릿 이미지에 대응되는 제2 특징 이미지를 얻는다.

단계 S103에 있어서, 상기 제1 특징 이미지 및 상기 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 특징 융합 이미지를 얻는다.

단계 S104에 있어서, 상기 특징 융합 이미지에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻는다.

아래 상기 단계 S101~S103에 대해 상세하게 설명한다.

I：상기 단계 S101에 있어서, 템플릿 이미지는, 공업 생산에서 표준으로 사용되는 설계 도면 또는 검출될 대상에 대해 결함 검출을 수행하는 경우 사용되는 합격 대상에 대해 촬영된 이미지를 의미하고, 여기서, 합격 대상은 즉 결함이 존재하지 않는 대상이다. 검출될 이미지는, 검출될 대상에 대해 획득된 이미지를 의미한다.

예시적으로, 검출될 대상은 예를 들어 각 종류의 기계 부품, 재료, 인쇄회로기판, 전자 부품 등 중 적어도 하나를 포함한다.

부품을 검출될 대상으로 사용하는 것을 예로 들어,

검출될 부품에 대해 결함 검출을 수행하는 경우, 예를 들어 먼저 검출될 부품의 모델 또는 식별자를 획득한 다음; 부품의 모델 또는 식별자에 따라, 미리 구축된 템플릿 이미지 라이브러리에서, 검출될 부품과 대응되는 템플릿 이미지를 획득할 수 있고; 또 예를 들어, 템플릿 이미지 라이브러리에 검출될 부품의 템플릿 이미지가 존재하지 않는 경우, 예를 들어 먼저 복수 개 검출될 부품에서 결함이 존재하지 않는 템플릿 부품을 결정한 다음, 상기 템플릿 부품의 이미지를 획득하여, 템플릿 이미지를 얻을 수 있다.

검출될 이미지는 예를 들어 결함 검출 기기에 설치된 이미지 수집 모듈을 통해 획득할 수 있고, 다른 기기에 의해 전송된 검출될 이미지를 수신할 수도 있다.

II：상기 단계 S102에 있어서, 처리될 이미지에 대해 특징 추출을 수행하고, 예를 들어 하기 형태를 사용할 수 있다.

상기 검출될 이미지에 대해 다단계 특징 추출을 수행하여, 각 단계 특징 추출과 대응되는 제1 특징 이미지를 획득한다.

본 발명의 실시예에 있어서, 검출될 이미지에 대해 다단계 특징 추출을 수행한 다음, 다단계 특징에 기반하여 특징 융합하여, 각 단계 특징 추출과 대응되는 제1 특징 이미지를 획득할 수 있고; 여기서, 도 2a에 도시된 바와 같이, 각 단계 특징 추출과 대응되는 제1 특징 이미지를 획득하는 형태는 특징화 이미지 피라미드 네트워크를 사용할 수 있으며; 도 2b에 도시된 바와 같이, 단일 특징 이미지 네트워크를 사용할 수도 있고; 도 2c에 도시된 바와 같이, 피라미드 특징 계층 네트워크를 사용할 수도 있으며; 2d에 도시된 바와 같이, 특징 피라미드 네트워크를 사용할 수도 있고; 이에 대해, 본 발명의 실시예는 한정하지 않는다.

예시적으로, 각 단계 특징 추출은 모두 처리될 이미지의 중간 특징 이미지를 얻을 수 있다. 여기서, 임의의 인접한 두 단계 특징 추출에 대해, 이전 단계 특징 추출에서 얻은 중간 특징 이미지는, 다음 단계 특징 추출의 입력이고, 즉, 다음 단계 특징 추출은 이전 단계 특징 추출에서 얻은 중간 특징 이미지에 기반하여 상기 다음 단계 특징 추출을 수행함으로써, 상기 다음 단계 특징 추출의 중간 특징 이미지를 얻는다. 다단계 특징 추출에서의 마지막 단계 특징 추출을 대상으로 하여, 마지막 단계 특징 추출에 대응되는 중간 특징 이미지를, 상기 마지막 단계 특징 추출에 대응되는 제1 특징 이미지로 사용하며; 다단계 특징 추출에서 마지막 단계 특징 추출을 제외한 다른 단계 특징 추출을 대상으로 하여, 각 단계 특징 추출과 대응되는 중간 특징 이미지와 상기 단계 특징 추출의 다음 단계 특징 추출에 대응되는 제1 특징 이미지를 특징 융합하여, 상기 각 단계 특징 추출과 대응되는 제1 특징 이미지를 얻는다.

각 단계 특징 추출과 대응되는 중간 특징 이미지와 상기 단계 특징 추출의 다음 단계 특징 추출에 대응되는 제1 특징 이미지를 특징 융합하는 경우, 상기 단계 특징 추출의 다음 단계 특징 추출에 대응되는 제1 특징 이미지의 사이즈에 응답하여, 상기 단계 특징 추출에 대응되는 중간 특징 이미지보다 작으면, 상기 단계 특징 추출의 다음 단계 특징 추출에 대응되는 제1 특징 이미지를 업 샘플링하여, 업 샘플링 이미지를 얻고; 상기 업 샘플링 이미지의 사이즈와 상기 단계 특징 추출에 대응되는 중간 특징 이미지의 사이즈가 일치하면, 상기 업 샘플링 이미지 및 상기 단계 특징 추출에 대응되는 중간 특징 이미지를 오버레이한 다음, 상기 단계 특징 추출에 대응되는 제1 특징 이미지를 얻는다.

각 단계 특징 추출과 대응되는 중간 특징 이미지와 상기 단계 특징 추출의 다음 단계 특징 추출에 대응되는 제1 특징 이미지를 특징 융합하는 경우, 상기 단계 특징 추출의 다음 단계 특징 추출에 대응되는 제1 특징 이미지의 사이즈에 응답하여, 상기 단계 특징 추출에 대응되는 중간 특징 이미지와 같으면, 예를 들어 상기 단계 특징 추출의 다음 단계 특징 추출에 대응되는 제1 특징 이미지 및 상기 단계 특징 추출에 대응되는 중간 특징 이미지를 직접 오버레이 하여, 상기 단계 특징 추출에 대응되는 제1 특징 이미지를 얻을 수 있다.

본 발명의 한 가지 실시예에 있어서, 예를 들어 미리 훈련된 특징 추출 네트워크를 사용하여 검출될 이미지에 대해 다단계 특징 추출을 수행할 수 있다.

일부 실시예에 있어서, 특징 추출 네트워크는 예를 들어, AlexNet, 옥스퍼드 대학 컴퓨터 시각 팀(Visual Geometry Group, VGG)에서 개발한 심도 컨볼루션 신경 네트워크, 잔차 신경 네트워크(Residual Neural Network, ResNet), 스퀴즈 넷(SqueezeNet), 밀집 네트워크(DenseNet), GoogLeNet, ShuffleNet, 모바일 신경 네트워크(MobileNet), ResNeXt 등과 같은 컨볼루션 신경 네트워크(Convolutional Neural Network, CNN)에 기반하는 구조를 사용할 수 있다.

예시적으로, 도 3a에 도시된 바를 참조하면, 본 발명의 실시예는 특징 추출 네트워크의 구조 예시를 더 제공하고, 4 단계 네트워크 계층을 포함하며, 상기 4 단계 네트워크 계층은 앞에서 뒤로 순차적으로, 제1 단계 네트워크 계층, 제2 단계 네트워크 계층, 제3 단계 네트워크 계층 및 제4 단계 네트워크 계층을 포함한다.

상기 4 단계 네트워크 계층을 통해 처리될 이미지 A에 대해 4 단계 특징 추출을 수행하고, 각 단계 네트워크 계층은 모두 상기 단계 네트워크 계층과 대응되는 중간 특징 이미지를 출력할 수 있으며, 여기서, 제1 단계 네트워크 계층은 검출될 이미지에 대해 제1 계층 특징 추출을 수행하여, 중간 특징 이미지 A1을 얻고, 제2 단계 네트워크 계층은 중간 특징 이미지 A1에 대해 제2 단계 특징 추출을 수행하여, 중간 특징 이미지 A2를 얻으며; 제3 단계 네트워크 계층은 중간 특징 이미지 A2에 대해 제3 단계 특징 추출을 수행하여, 중간 특징 이미지 A3을 얻고; 제4 단계 네트워크 계층은 중간 특징 이미지 A3에 대해 제4 단계 특징 추출을 수행하여, 중간 특징 이미지 A4를 얻는다.

제4 단계 네트워크 계층을 대상으로 하여, 중간 특징 이미지 A4를 제4 단계 특징 추출에 대응되는 제1 특징 이미지 A4’로 사용하고;

제3 단계 네트워크 계층을 대상으로 하여, 제4 단계 특징 추출에 대응되는 제1 특징 이미지 A4’를 업 샘플링한 다음, 제3 단계 특징 추출에 대응되는 중간 특징 이미지 A3과 오버레이 하여, 제3 단계 특징 추출에 대응되는 제1 특징 이미지 A3’를 얻는다.

제2 단계 네트워크 계층을 대상으로 하여, 제3 단계 특징 추출에 대응되는 제1 특징 이미지 A3’를 업 샘플링한 다음, 제2 단계 특징 추출에 대응되는 중간 특징 이미지 A2와 오버레이 하여, 제2 단계 특징 추출에 대응되는 제1 특징 이미지 A2’를 얻는다.

제1 단계 네트워크 계층을 대상으로 하여, 제2 단계 특징 추출에 대응되는 제1 특징 이미지 A2’를 업 샘플링한 다음, 제1 단계 특징 추출에 대응되는 중간 특징 이미지 A1와 오버레이 하여, 제1 단계 특징 추출에 대응되는 제1 특징 이미지 A1’를 얻는다.

템플릿 이미지에 대해 특징 추출을 수행하는 경우, 예를 들어 템플릿 이미지에 대해 다단계 특징 추출을 수행하여, 각 제1 특징 이미지와 대응되는 제2 특징 이미지를 획득할 수도 있고; 제2 특징 이미지를 획득하는 과정과 제1 특징 이미지를 획득하는 과정은 유사하며, 여기서 더 이상 설명하지 않는다.

여기서, 예를 들어 미리 훈련된 특징 추출 네트워크를 사용하여 템플릿 이미지에 대해 다단계 특징 추출을 수행함으로써, 다단계 특징 추출에 각각 대응되는 제2 특징 이미지를 얻을 수 있다.

여기서, 상기 특징 추출 네트워크와 상기 제1 특징 이미지를 얻는 특징 추출 네트워크는 동일한 네트워크일 수 있고, 샴 네트워크의 두 개 특징 추출 분기일 수도 있다. 두 개 특징 추출 네트워크는 샴 네트워크의 두 개 특징 추출 분기인 경우, 두 개 특징 추출 분기의 파라미터는 동일하다.

예시적으로, 도 3a에 도시된 예시를 참조하면, 제2 특징 이미지를 얻는 특징 추출 네트워크와 제1 특징 이미지를 얻는 특징 추출 네트워크는 샴 네트워크의 두 개 특징 추출 분기이다.

제2 특징 이미지를 얻기 위한 특징 추출 네트워크와 제1 특징 이미지를 얻기 위한 특징 추출 네트워크는 동일하고, 마찬가지로 4 단계 네트워크 계층을 포함하며, 4 단계 네트워크 계층은 앞에서 뒤로 순차적으로, 제1 단계 네트워크 계층, 제2 단계 네트워크 계층, 제3 단계 네트워크 계층 및 제4 단계 네트워크 계층을 포함한다.

상기 4 단계 네트워크 계층을 통해 템플릿 이미지 B에 대해 4 단계 특징 추출을 수행하고, 각 단계 네트워크 계층은 모두 상기 단계 네트워크 계층과 대응되는 중간 특징 이미지를 출력할 수 있으며, 여기서, 제1 단계 네트워크 계층은 검출될 이미지에 대해 제1 계층 특징 추출을 수행하여, 중간 특징 이미지 B1을 얻고, 제2 단계 네트워크 계층은 중간 특징 이미지 B1에 대해 제2 단계 특징 추출을 수행하여, 중간 특징 이미지 B2를 얻으며; 제3 단계 네트워크 계층은 중간 특징 이미지 B2에 대해 제3 단계 특징 추출을 수행하여, 중간 특징 이미지 B3을 얻고; 제4 단계 네트워크 계층은 중간 특징 이미지 B3에 대해 제4 단계 특징 추출을 수행하여, 중간 특징 이미지 B4를 얻는다.

제4 단계 네트워크 계층을 대상으로 하여, 중간 특징 이미지 B4를 제4 단계 특징 추출에 대응되는 제2 특징 이미지 B4’로 사용하고;

제3 단계 네트워크 계층을 대상으로 하여, 제4 단계 특징 추출에 대응되는 제2 특징 이미지 B4’를 업 샘플링한 다음, 제3 단계 특징 추출에 대응되는 중간 특징 이미지 B3과 오버레이 하여, 제3 단계 특징 추출에 대응되는 제2 특징 이미지 B3’를 얻는다.

제2 단계 네트워크 계층을 대상으로 하여, 제3 단계 특징 추출에 대응되는 제2 특징 이미지 B3’를 업 샘플링한 다음, 제2 단계 특징 추출에 대응되는 중간 특징 이미지 B2와 오버레이 하여, 제2 단계 특징 추출에 대응되는 제2 특징 이미지 B2’를 얻는다.

제1 단계 네트워크 계층을 대상으로 하여, 제2 단계 특징 추출에 대응되는 제2 특징 이미지 B2’를 업 샘플링한 다음, 제1 단계 특징 추출에 대응되는 중간 특징 이미지 B1와 오버레이 하여, 제1 단계 특징 추출에 대응되는 제2 특징 이미지 B1’를 얻는다.

본 발명의 다른 실시예에 있어서, 복수 개 동일한 부품에 대해 결함 검출을 수행하는 경우, 복수 개 부품에 대응되는 템플릿 이미지는 일반적으로 모두 동일하기에, 따라서, 복수 개 동일한 부품에 대응되는 동일한 템플릿 이미지를 대상으로 하여, 다단계 특징 추출의 과정을 한 번만 수행하고, 다단계 특징 추출에 각각 대응되는 제2 특징 이미지를 얻은 다음, 각 단계 특징 추출에 각각 대응되는 제2 특징 이미지를 실행 주체의 기설정된 저장 위치에 저장할 수 있다. 특정된 부품에 대해 결함 검출을 수행하는 경우, 만약 현재 상기 부품에 대응되는 템플릿 이미지의 제2 특징 이미지가 존재하면, 기설정된 저장 위치에서 직접 판독할 수 있고, 템플릿 이미지에 대해 다단계 특징 추출을 다시 수행할 필요가 없다.

다른 실시예에 있어서, 검출될 이미지에 대해 적어도 한 단계 특징 추출을 수행하여, 마지막 단계 특징 추출의 출력을, 검출될 이미지의 제1 특징 이미지로 사용하고; 템플릿 이미지에 대해 적어도 한 단계 특징 추출을 수행하여, 마지막 단계 특징 추출의 출력을, 템플릿 이미지의 제2 특징 이미지로 사용할 수도 있다.

III：상기 단계 S103에 있어서, 제1 특징 이미지 및 제2 특징 이미지에 대해 특징 혼동 처리를 수행하는 경우, 예를 들어 각 제1 특징 이미지를 대상으로 하여, 상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 상기 각 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻을 수 있다.

예시적으로, 도 3b에 도시된 것을 참조하면, 본 발명의 실시예는 제1 특징 이미지 및 상기 제1 특징 이미지와 대응되는 제2 특징 이미지에 대해 특징 혼동 처리를 수행하는 방법을 더 제공하고, 상기 방법은 하기 단계를 포함한다.

단계 S301에 있어서, 상기 제1 특징 이미지 및 상기 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지에 대해 특징 강화 처리를 수행하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지의 특징 강화 이미지를 얻는다.

일부 실시예에 있어서, 정규 교차 상관 매칭 알고리즘(Normalized Cross Correlation, NCC)에 기반하여, 제2 특징 이미지 F₂에서, 제1 특징 포인트와 매칭되는 타깃 제2 타깃 특징 포인트 f₂를 결정하고, 다시 제1 특징 이미지에서의 각 제1 특징 포인트 위치에 매칭되는 타깃 제2 특징 포인트 f₂를 대상으로 하여 각각 특징 강화를 수행하여, 제2 특징 이미지의 특징 강화 이미지 F₂₂를 얻을 수 있으며; 도 4a에 도시된 바와 같다.

일부 실시예에 있어서, 예를 들어 하기 형태를 사용하여 상기 제1 특징 이미지에 대응되는 제2 특징 이미지에 대해 특징 강화 처리를 수행할 수 있다.

상기 제1 특징 이미지에서의 각 제1 특징 포인트를 대상으로 하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지의 복수 개 제2 특징 포인트에서, 상기 제1 특징 포인트와 대응되는 복수 개 연관 특징 포인트를 결정하고 - 상기 제1 특징 포인트에 대응되는 각 연관 특징 포인트와 상기 제1 특징 포인트 위치에 매칭되는 타깃 제2 특징 포인트 사이의 거리는 기설정 조건을 만족함 - ; 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행한다.

예시적으로, 각 제1 특징 포인트를 대상으로 하여, 만약 제1 특징 이미지 및 제2 특징 이미지의 사이즈가 모두 n×m이면, 여기서,

제1 특징 이미지는

로 표시된다.

제2 특징 이미지는

로 표시된다.

제1 특징 이미지에서의 어느 한 제1 특징 포인트

에 대해, 그 위치와 매칭되는 타깃 제2 특징 포인트는

이다.

어느 한 제1 특징 포인트에 대응되는 복수 개 연관 특징 포인트는, 예를 들어 제2 특징 이미지에 있어서, 타깃 제2 특징 포인트와의 거리는 기설정된 특정된 거리 임계값보다 작은 제2 특징 포인트이다.

예시적으로, 상기 거리는 예를 들어 L1 거리, L2 거리, 유클리드 거리, 맨해튼 거리 중 어느 한 가지이다.

각 제1 특징 포인트에 복수 개 연관 특징 포인트를 결정하는 경우, 먼저 제2 특징 이미지에서, 상기 제1 특징 포인트에 위치가 매칭되는 타깃 제2 특징 포인트를 결정한 다음, 제2 특징 이미지 중, 타깃 제2 특징 포인트와의 거리가 기설정 조건을 만족하는 모든 제2 특징 포인트를 모두 상기 제1 특징 포인트에 대응되는 복수 개 연관 특징 포인트로 사용한다. 제2 특징 이미지 중, 타깃 제2 특징 포인트와의 거리가 기설정 조건을 만족하는 모든 제2 특징 포인트를 대안 특징 포인트로 사용한 다음, 무작위 샘플링 또는 균일 간격 샘플링의 형태에 따라, 복수 개 대안 특징 포인트에서 복수 개 연관 특징 포인트를 결정할 수도 있다.

제1 특징 포인트의 복수 개 연관 특징 포인트를 결정한 다음, 예를 들어 하기 형태를 사용하여 각 연관 특징 포인트 및 제1 특징 포인트 사이의 유사도를 결정할 수 있다.

상기 제1 특징 포인트가 상기 제1 특징 이미지에서의 위치 및 기설정된 거리 임계값에 기반하여, 제1 특징 서브 이미지를 얻으며; 상기 제1 특징 포인트와 대응되는 어느 한 연관 특징 포인트가 상기 제2 특징 이미지에서의 위치 및 상기 기설정된 거리 임계값에 기반하여, 제2 특징 서브 이미지를 얻고; 상기 제1 특징 서브 이미지 및 상기 제2 특징 서브 이미지에 기반하여, 상기 제1 특징 포인트와 상기 제1 특징 포인트에 대응되는 상기 어느 한 연관 특징 포인트 사이의 유사도를 결정한다. 여기서, 기설정된 거리 임계값은 수요에 따라 설치될 수 있고, 이에 대해, 본 발명의 실시예는 한정하지 않는다.

가능한 실시 형태에 있어서, 제1 특징 포인트에 대응되는 제1 특징 서브 이미지를 결정하는 경우, 예를 들어 제1 특징 이미지에서, 상기 제1 특징 포인트를 원심으로 하고, 상기 기설정된 거리 임계값을 반경으로 하는 제1 원형 영역에서, 상기 제1 특징 이미지에서 상기 제1 원형 영역 내에 위치하는 제1 특징 포인트에 기반하여, 상기 제1 특징 서브 이미지를 얻을 수 있다.

여기서, 제1 특징 서브 이미지에서의 제1 특징 포인트는, 제1 원형 영역 내에 위치하는 모든 제1 특징 포인트를 포함할 수 있고, 제1 원형 영역 내에 위치하는 부분 제1 특징 포인트만 포함할 수도 있다.

일부 실시예에 있어서, 어느 한 연관 특징 포인트에 대응되는 제2 특징 서브 이미지를 결정하는 경우, 예를 들어 상기 제2 특징 이미지에서, 상기 어느 한 각 연관 특징 포인트를 원심으로 하고, 상기 기설정된 거리 임계값을 반경으로 하는 제2 원형 영역을 결정하고, 상기 제2 특징 이미지에서 상기 제2 원형 영역 내에 위치하는 제2 특징 포인트에 기반하여, 상기 제2 특징 서브 이미지를 얻을 수 있다.

여기서, 제2 특징 서브 이미지에서의 제2 특징 포인트는, 제2 원형 영역 내에 위치하는 모든 제2 특징 포인트를 포함할 수 있고, 제2 원형 영역 내에 위치하는 부분 제2 특징 포인트만 포함할 수도 있다.

예시적으로, 제1 특징 서브 이미지에서의 제1 특징 포인트는 제1 원형 영역 내에 위치하는 부분 제1 특징 포인트만 포함하는 경우, 제2 특징 서브 이미지에서의 제2 특징 포인트도 제2 원형 영역 내의 부분 제2 특징 포인트만 포함하고; 제1 특징 서브 이미지에서의 제1 특징 포인트 및 제2 서브 이미지에서의 제2 특징 포인트 위치는 일일이 매칭된다.

다른 가능한 실시 형태에 있어서, 제1 특징 포인트에 대응되는 제1 특징 서브 이미지를 결정하는 경우, 예를 들어 상기 제1 특징 이미지에서, 제1 특징 포인트를 중심으로 하고, 결정된 상기 타깃 변의 길이를 변의 길이로 하는 제1 정사각형 영역을 결정하고, 상기 제1 특징 이미지에서 상기 제1 정사각형 영역 내에 위치하는 제1 특징 포인트에 기반하여, 상기 제1 특징 서브 이미지를 얻을 수 있다.

제1 특징 포인트에 대응되는 제1 특징 서브 이미지를 결정하는 경우, 제1 특징 서브 이미지에 포함되는 제1 특징 포인트는, 예를 들어 제1 정사각형 영역 내에 위치하는 모든 제1 특징 포인트를 포함할 수 있고, 제1 정사각형 영역 내에 위치하는 부분 제1 특징 포인트만 포함할 수도 있다.

일부 실시예에 있어서, 어느 한 연관 특징 포인트에 대응되는 제2 특징 서브 이미지를 결정하는 경우, 예를 들어 상기 기설정된 거리 임계값에 기반하여, 타깃 변의 길이를 결정할 수도 있고; 상기 제2 특징 이미지에서, 상기 각 연관 특징 포인트를 중심으로 하고, 결정된 상기 타깃 변의 길이를 변의 길이로 하는 제2 정사각형 영역을 결정하고, 상기 제2 특징 이미지에서 상기 제2 정사각형 영역 내에 위치하는 제2 특징 포인트에 기반하여, 상기 제2 특징 서브 이미지를 얻을 수도 있다.

연관 특징 포인트에 대응되는 제2 특징 서브 이미지를 결정하는 경우, 제2 특징 서브 이미지에 포함되는 제2 특징 포인트는, 예를 들어 제2 정사각형 영역 내에 위치하는 모든 제2 특징 포인트를 포함할 수 있고, 제2 정사각형 영역 내에 위치하는 부분 제2 특징 포인트만 포함할 수도 있다.

제1 특징 서브 이미지 및 제2 특징 서브 이미지를 얻은 다음, 제1 특징 서브 이미지에 기반하여 제1 특징 포인트 및 상기 제1 특징 포인트에 대응되는 어느 한 연관 특징 포인트 사이의 유사도를 결정한다.

예시적으로, 만약 어느 한 제1 특징 포인트와 대응되는 연관 특징 포인트가 N 개 있으면, 상기 제1 특징 포인트 및 n 번째 연관 특징 포인트 사이의 유사도

는 하기 공식(1)을 만족한다.

(1)

여기서,

는 제1 특징 서브 이미지를 나타내고;

는 n 번째 연관 특징 포인트의 제2 특징 서브 이미지를 나타내며;

는 제1 특징 서브 이미지 및 n 번째 연관 특징 포인트의 제2 특징 서브 이미지를 행렬 곱셈하는 것을 나타내고;

는 행렬 중 모든 요소의 요소값을 합산하는 것을 나타내며; N≥n≥1이다.

제1 특징 포인트 및 각 연관 특징 포인트 사이의 유사도를 얻은 다음, 예를 들어 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도 및 각 연관 특징 포인트의 특징값에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행할 수 있다.

예시적으로, 예를 들어 상기 각 연관 특징 포인트와 제1 특징 포인트 사이의 유사도에 기반하여, 복수 개 상기 연관 특징 포인트에 각각 대응되는 특징값에 대해 가중치 합산을 수행하여, 제1 합산값을 얻고; 복수 개 연관 특징 포인트에 각각 대응되는 유사도에 대해 합산하여, 제2 합산값을 얻으며; 상기 제1 합산값 및 상기 제2 합산값의 비율을, 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리한 후의 특징값으로 사용할 수 있다.

예시적으로, 어느 한 제1 특징 포인트에 대해, 상기 제1 특징 포인트 위치에 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리한 후의 특징값

은 하기 공식(2)를 만족한다.

(2)

여기서,

는 n 번째 연관 특징 포인트에 대응되는 특징값을 나타낸다.

제1 특징 이미지에서의 각 제1 특징 포인트 위치에 매칭되는 타깃 제2 특징 포인트를 대상으로 하여 각각 특징 강화를 수행한 다음, 제2 특징 이미지의 특징 강화 이미지를 얻는다.

본 발명의 실시예에서 제공하는 특징 혼동 처리의 과정은 하기 단계를 더 포함한다.

단계 S302에 있어서, 상기 제1 특징 이미지 및 상기 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 상기 제1 특징 이미지와 대응되는 어텐션 마스크 이미지 - 상기 어텐션 마스크 이미지 중 어느 한 픽셀 포인트의 픽셀 값은, 상기 제1 특징 이미지 중 위치가 상기 어느 한 픽셀 포인트에 매칭되는 제1 특징 포인트에 결함이 존재하는 이상도 값을 나타냄 - 를 얻는다.

여기서, 유의해야 할 것은, 상기 단계 S301 및 단계 S302는 선후 논리적 관계가 없다.

일부 실시예에 있어서, 예를 들어 하기 형태를 사용하여 어느 한 제1 특징 이미지와 대응되는 어텐션 마스크 이미지를 얻을 수 있고, 상기 제1 특징 이미지에서의 각 제1 특징 포인트를 대상으로 하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지의 복수 개 제2 특징 포인트에서, 상기 제1 특징 포인트와 대응되는 복수 개 연관 특징 포인트를 결정하며 - 상기 제1 특징 포인트에 대응되는 각 연관 특징 포인트와 상기 제1 특징 포인트 위치에 매칭되는 타깃 제2 특징 포인트 사이의 거리는 기설정 조건을 만족함 - ; 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트의 이상도 값을 결정한다.

여기서, 제1 특징 포인트에 대응되는 연관 특징 포인트의 형태 및 제1 특징 포인트와 연관 특징 포인트 사이의 유사도를 결정하는 형태는, 상기 단계 S301과 유사하고, 여기서 더 이상 설명하지 않는다.

제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도를 결정한 다음, 예를 들어 복수 개 연관 특징 포인트와 상기 제1 특징 포인트 사이의 각 유사도의 최대 유사도를 결정하고; 상기 최대 유사도에 기반하여, 상기 제1 특징 포인트의 이상도 값을 결정할 수 있다.

어느 한 제1 특징 포인트의 이상도 값 S는 예를 들어 하기 공식(3)을 만족한다.

(3)

여기서, H는 최대 유사도를 나타낸다.

는 기설정 파라미터이고, 예를 들어 1, 0.5 등이다. 구체적으로 실제적 수요에 따라 설정될 수 있다.

또 예를 들어, 복수 개 연관 픽셀 포인트와 상기 제1 픽셀 포인트 사이의 각 유사도에 따라, 유사도 평균값을 결정하고, 상기 유사도 평균값에 기반하여, 상기 제1 픽셀 포인트의 이상도 값을 결정할 수 있다.

제1 특징 이미지 중 각 제1 특징 포인트에 대응되는 이상도 값을 결정한 다음, 상기 제1 특징 이미지 중 각 제1 특징 포인트에 대응되는 이상도 값에 기반하여, 상기 어텐션 마스크 이미지를 얻고; 이때, 예를 들어 모든 제1 특징 포인트에 각각 대응되는 이상도 값으로 구성된 이미지를, 어텐션 마스크 이미지로 사용할 수 있다.

단계 S303에 있어서, 상기 특징 강화 이미지 및 상기 어텐션 마스크 이미지에 기반하여, 상기 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻는다.

여기서, 예를 들어 상기 특징 강화 이미지 및 상기 제1 특징 이미지에 대해 병합 처리를 수행하여, 상기 제1 특징 이미지에 대응되는 병합 특징 이미지를 얻은 다음, 다시 상기 어텐션 마스크 이미지 및 상기 병합 특징 이미지에 기반하여, 상기 특징 융합 이미지를 얻을 수 있다.

일부 실시예에 있어서, 예를 들어 특징 강화 이미지 및 제1 특징 이미지를 오버레이 하여, 병합 특징 이미지를 얻을 수 있다.

어텐션 마스크 이미지 및 병합 특징 이미지에 기반하여, 특징 융합 이미지를 얻는 경우, 예를 들어 어텐션 마스크 이미지 및 병합 특징 이미지를 행렬 곱셈하여, 특징 융합 이미지를 얻을 수 있다.

본 발명의 실시예에 있어서, 제1 특징 이미지 및 임계값에 대응되는 제2 특징 이미지에 대해 특징 혼동 처리를 수행하는 과정은, 예를 들어 미리 훈련된 특징 혼동 네트워크를 사용하여 구현할 수 있다.

예시적으로, 도 4b에 도시된 것을 참조하면, 본 발명의 실시예는 특징 혼동 네트워크의 구조를 더 제공하고, 상기 특징 혼동 네트워크의 구조는, 특징 강화 부분 및 이상 어텐션 부분을 포함한다.

여기서, 이상 어텐션 부분은, 상기 단계 S302에서 제공하는 방법에 기반하여, 제1 특징 이미지의 어텐션 마스크 이미지를 얻도록 구성된다. 특징 강화 부분은, 상기 단계 S302에서 제공하는 방법에 기반하여, 제1 특징 이미지와 대응되는 제2 특징 이미지에 대응되는 특징 강화 이미지를 얻도록 구성된다.

다음 특징 강화 이미지 및 제1 특징 이미지를 오버레이 하여, 병합 특징 이미지를 얻고; 어텐션 마스크 이미지 및 병합 특징 이미지에 기반하여, 특징 융합 이미지를 얻는다.

다른 실시예에 있어서, 만약 제1 특징 이미지 및 제2 특징 이미지는 모두 하나뿐이면, 상기와 유사한 형태에 따라 제1 특징 이미지 및 제2 특징 이미지를 특징 혼동 처리하여, 특징 융합 이미지를 얻을 수도 있고, 구체적 특징 혼동 처리 방법은 여기서 더 이상 설명하지 않는다.

IV：상기 단계 S104에 있어서, 특징 융합 이미지에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻는 경우, 다단계 특징 처리에 각각 대응되는 제1 특징 이미지 및 제2 특징 이미지를 얻는 것에 응답하여, 예를 들어 상기 각 제1 특징 이미지에 대응되는 특징 융합 이미지에 기반하여, 상기 각 제1 특징 이미지의 결함 검출 결과를 얻고; 다단계 특징 추출과 각각 대응되는 제1 특징 이미지의 결함 검출 결과에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻을 수 있다.

예시적으로 미리 훈련된 검출 네트워크를 사용하여, 특징 융합 이미지에 대해 결함 검출 처리를 수행함으로써, 검출될 이미지와 대응되는 결함 검출 결과를 얻을 수 있다. 본 발명의 실시예에서 제공하는 미리 훈련된 검출 네트워크는, FCOS, Fovea, 망막 네트워크(RetinaNET), faster R-CNN 등일 수 있고; 미리 훈련된 검출 네트워크에 대해 수요에 따라 설치될 수 있으며, 본 발명의 실시예는 한정하지 않는다.

일부 실시예에 있어서, 미리 훈련된 검출 네트워크는 완전 컨볼루션 픽셀 단위 타깃 검출(Fully Convolutional One-Stage Object Detection, FCOS) 네트워크를 사용할 수 있다. 여기서 FCOS 네트워크는 결함 타입, 결함 중심성, 결함 박스가 제1 특징 이미지에서의 위치를 얻을 수 있다.

여기서, 결함 중심성은 제1 특징 이미지에서의 특정된 특징 포인트가 결함 박스 중심일 확률을 위한 것이다.

결함 박스가 제1 특징 이미지에서의 위치는, 제1 특징 이미지에서 결함이 존재하는 위치를 지시한다.

예시적으로, 도 3a에 도시된 바와 같은 예시에서, FCOS 검출 헤드를 통해, 4 단계 특징 추출에 각각 대응되는 제1 특징 이미지의 결함 검출 결과를 얻고, 상기 결함 검출 결과는, 결함 타입, 결함 중심성, 결함 박스의 위치를 포함한다.

다단계 특징 추출에서 각 단계 특징 추출에 대응되는 제1 특징 이미지의 검출 결과를 얻은 다음, 예를 들어 비최대 억제법(Non-Maximum Suppression, NMS)을 사용하여 다단계 특징 추출에 각각 대응되는 제1 특징 이미지의 검출 결과를 병합 처리함으로써, 검출될 이미지의 결함 검출 결과를 얻을 수 있다.

또 예를 들어, 다단계 특징 추출에 각각 대응되는 제1 특징 이미지의 검출 결과의 교집합을 취하여, 검출될 이미지의 결함 검출 결과를 결정할 수도 있다.

본 발명의 실시예는 검출될 이미지에 대해 다단계 특징 추출을 수행하는 것을 통해, 각 단계 특징 추출과 대응되는 제1 특징 이미지를 획득하고, 템플릿 이미지에 대해 다단계 특징 추출을 수행하여, 각 제1 특징 이미지에 대응되는 제2 특징 이미지를 획득한 다음, 각 제1 특징 이미지를 대상으로 하여, 상기 제1 특징 이미지 및 상기 제1 특징 이미지와 대응되는 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 상기 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻음으로써, 처리될 이미지 및 템플릿 이미지 중 특징을 융합하는 것을 통해, 제1 특징 이미지 및 제2 특징 이미지 사이에 존재하는 생산 오차, 매칭 오차 및 샘플링 노이즈 등 오차를 줄인 다음, 특징 융합 이미지를 사용하여, 제1 특징 이미지의 결함 검출 결과를 얻음으로써, 다단계 특징 추출에 각각 대응되는 제1 특징 이미지의 결함 검출 결과를 종합하여, 더욱 높은 정밀도로 검출될 이미지의 결함 검출 결과를 얻는다.

본 분야의 기술자는 구체적인 실시 형태의 상기 방법에 있어서, 각 단계의 기록 순서는 엄격한 수행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 구체적인 수행 순서는 그 기능 및 가능한 내부 논리에 의해 결정되는 것을 이해할 수 있다.

동일한 발명 구상에 기반하여, 본 발명의 실시예에서는 결함 검출 방법과 대응되는 결함 검출 장치를 더 제공하고, 본 발명의 실시예에서의 장치가 문제를 해결하는 원리는 본 발명의 실시예의 상기 결함 검출 방법과 유사하기에, 장치의 실시는 방법의 실시를 참조할 수 있고, 중복되는 부분은 더 이상 반복하여 설명하지 않는다.

도 5에 도시된 바를 참조하면, 본 발명의 실시예에서 제공하는 결함 검출 장치의 예시도이고, 상기 결함 검출 장치는, 획득 부분(51), 특징 추출 부분(52), 특징 혼동 부분(53) 및 검출 부분(54)을 포함한다.

획득 부분(51)은, 검출될 이미지 및 템플릿 이미지를 획득하도록 구성되고

특징 추출 부분(52)은, 상기 검출될 이미지에 대해 특징 추출을 수행하여, 상기 검출될 이미지의 제1 특징 이미지를 얻고, 상기 템플릿 이미지에 대해 특징 추출을 수행하여, 상기 템플릿 이미지에 대응되는 제2 특징 이미지를 얻도록 구성되며;

특징 혼동 부분(53)은, 상기 제1 특징 이미지 및 상기 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 특징 융합 이미지를 얻도록 구성되고;

검출 부분(54)은, 상기 특징 융합 이미지에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻도록 구성된다.

가능한 실시 형태에서, 상기 특징 추출 부분(52)은, 검출될 이미지에 대해 특징 추출을 수행하여, 상기 검출될 이미지의 제1 특징 이미지를 얻는 경우, 상기 검출될 이미지에 대해 다단계 특징 추출을 수행하여, 각 단계 특징 추출과 대응되는 제1 특징 이미지를 획득하도록 구성되고; 상기 특징 추출 부분(52)은, 상기 템플릿 이미지에 대해 특징 추출을 수행하여, 상기 템플릿 이미지에 대응되는 제2 특징 이미지를 얻는 경우, 상기 템플릿 이미지에 대해 다단계 특징 추출을 수행하여, 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지를 획득하도록 구성되며; 상기 특징 혼동 부분(53)은, 상기 제1 특징 이미지 및 상기 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 특징 융합 이미지를 얻는 경우, 각 제1 특징 이미지를 대상으로 하여, 상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 상기 각 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻도록 구성된다.

가능한 실시 형태에서, 검출 부분(54)은, 상기 특징 융합 이미지에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻는 경우, 상기 각 제1 특징 이미지에 대응되는 특징 융합 이미지에 기반하여, 상기 각 제1 특징 이미지의 결함 검출 결과를 얻고; 다단계 특징 추출과 각각 대응되는 제1 특징 이미지의 결함 검출 결과에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻도록 구성된다.

가능한 실시 형태에서, 상기 특징 추출 부분(52)은, 상기 검출될 이미지에 대해 다단계 특징 추출을 수행하여, 각 단계 특징 추출과 대응되는 제1 특징 이미지를 획득하는 경우, 상기 검출될 이미지에 대해 다단계 특징 추출을 수행하여, 각 단계 특징 추출과 대응되는 중간 특징 이미지를 획득하고; 상기 각 단계 특징 추출은 마지막 단계 특징 추출인 경우, 마지막 단계 특징 추출에 대응되는 중간 특징 이미지를, 상기 마지막 단계 특징 추출에 대응되는 제1 특징 이미지로 사용하며; 상기 각 단계 특징 추출은 마지막 단계 특징 추출을 제외한 다른 단계 특징 추출인 경우, 상기 각 단계 특징 추출과 대응되는 중간 특징 이미지와 상기 단계 특징 추출의 다음 단계 특징 추출에 대응되는 제1 특징 이미지를 특징 융합하여, 상기 각 단계 특징 추출과 대응되는 제1 특징 이미지를 얻도록 구성된다.

가능한 실시 형태에서, 상기 특징 추출 부분(52)은, 각 단계 특징 추출과 대응되는 중간 특징 이미지와, 상기 단계 특징 추출의 다음 단계 특징 추출에 대응되는 제1 특징 이미지를 특징 융합하여, 상기 각 단계 특징 추출과 대응되는 제1 특징 이미지를 얻는 경우, 상기 단계 특징 추출의 다음 단계 특징 추출과 대응되는 제1 특징 이미지를 업 샘플링하여, 업 샘플링 벡터를 얻고; 상기 업 샘플링 벡터와 상기 단계 특징 추출에 대응되는 중간 특징 이미지를 오버레이 한 다음, 상기 단계 특징 추출에 대응되는 제1 특징 이미지를 얻도록 구성된다.

가능한 실시 형태에서, 상기 특징 혼동 부분(53)은, 상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 대해 특징 혼동 처리를 수행하는 경우, 상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지에 대해 특징 강화 처리를 수행하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지의 특징 강화 이미지를 얻고; 상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 상기 각 제1 특징 이미지와 대응되는 어텐션 마스크 이미지를 얻으며 - 상기 어텐션 마스크 이미지 중 어느 한 픽셀 포인트의 픽셀 값은, 상기 제1 특징 이미지 중 위치가 상기 어느 한 픽셀 포인트에 매칭되는 제1 특징 포인트에 결함이 존재하는 이상도 값을 나타냄 - ; 상기 특징 강화 이미지 및 상기 어텐션 마스크 이미지에 기반하여, 상기 각 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻도록 구성된다.

가능한 실시 형태에서, 상기 특징 혼동 부분(53)은, 상기 제1 특징 이미지 및 상기 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지에 대해 특징 강화 처리를 수행하는 경우, 상기 제1 특징 이미지에서의 각 제1 특징 포인트를 대상으로 하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지의 복수 개 제2 특징 포인트에서, 상기 제1 특징 포인트와 대응되는 복수 개 연관 특징 포인트를 결정하고 - 상기 제1 특징 포인트에 대응되는 각 연관 특징 포인트와 상기 제1 특징 포인트 위치에 매칭되는 타깃 제2 특징 포인트 사이의 거리는 기설정 조건을 만족함 - ; 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행하도록 구성된다.

가능한 실시 형태에서, 상기 특징 혼동 부분(53)은, 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행하는 경우, 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도 및 각 연관 특징 포인트의 특징값에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행하도록 구성된다.

가능한 실시 형태에서, 상기 특징 혼동 부분(53)은, 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도 및 각 연관 특징 포인트의 특징값에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행하는 경우, 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트에 대응되는 복수 개 연관 특징 포인트에 각각 대응되는 특징값에 대해 가중치 합산을 수행함으로써, 제1 합산값을 얻고 복수 개 연관 특징 포인트에 각각 대응되는 유사도에 대해 합산하여, 제2 합산값을 얻으며; 상기 제1 합산값 및 상기 제2 합산값의 비율을, 상기 타깃 제2 특징 포인트에 대해 특징 강화 처리한 후의 특징값으로 사용하도록 구성된다.

가능한 실시 형태에서, 상기 특징 혼동 부분(53)은, 상기 제1 특징 이미지 및 상기 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 상기 제1 특징 이미지와 대응되는 어텐션 마스크 이미지를 얻는 경우, 상기 제1 특징 이미지에서의 각 제1 특징 포인트를 대상으로 하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지의 복수 개 제2 특징 포인트에서, 상기 제1 특징 포인트와 대응되는 복수 개 연관 특징 포인트를 결정하고 - 상기 제1 특징 포인트에 대응되는 각 연관 특징 포인트와 상기 제1 특징 포인트 위치에 매칭되는 타깃 제2 특징 포인트 사이의 거리는 기설정 조건을 만족함 - ; 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트의 이상도 값을 결정하며; 상기 제1 특징 이미지 중 각 제1 특징 포인트에 대응되는 이상도 값에 기반하여, 상기 어텐션 마스크 이미지를 얻도록 구성된다.

가능한 실시 형태에서, 상기 특징 혼동 부분(53)은, 상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트의 이상도 값을 결정하는 경우, 복수 개 연관 특징 포인트와 상기 제1 특징 포인트 사이의 각 유사도의 최대 유사도를 결정하고; 상기 최대 유사도에 기반하여, 상기 제1 특징 포인트의 이상도 값을 결정하도록 구성된다.

가능한 실시 형태에서, 상기 특징 혼동 부분(53)은, 하기 형태를 사용하여 제1 특징 포인트 및 상기 제1 특징 포인트와 대응되는 어느 한 연관 특징 포인트 사이의 유사도를 결정하고; 상기 제1 특징 포인트가 상기 제1 특징 이미지에서의 위치 및 기설정된 거리 임계값에 기반하여, 제1 특징 서브 이미지를 얻으며; 상기 제1 특징 포인트와 대응되는 어느 한 연관 특징 포인트가 상기 제2 특징 이미지에서의 위치 및 상기 거리 임계값에 기반하여, 제2 특징 서브 이미지를 얻고; 상기 제1 특징 서브 이미지 및 상기 제2 특징 서브 이미지에 기반하여, 상기 제1 특징 포인트와 상기 제1 특징 포인트에 대응되는 상기 어느 한 연관 특징 포인트 사이의 유사도를 결정하도록 구성된다.

가능한 실시 형태에서, 상기 특징 혼동 부분(53)은, 상기 특징 강화 이미지 및 상기 어텐션 마스크 이미지에 기반하여, 상기 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻는 경우, 상기 특징 강화 이미지 및 상기 제1 특징 이미지에 대해 병합 처리를 수행하여, 상기 제1 특징 이미지에 대응되는 병합 특징 이미지를 얻고; 상기 어텐션 마스크 이미지 및 상기 병합 특징 이미지에 기반하여, 상기 특징 융합 이미지를 얻도록 구성된다.

본 발명의 실시예 및 다른 실시예에 있어서, “부분”은 부분 회로, 부분 프로세서, 부분 프로그램 또는 소프트웨어 등일 수 있고, 물론 유닛일 수도 있으며, 모듈화 또는 비모듈화일 수도 있다.

장치에서의 각 모듈의 처리 흐름 및 각 모듈 사이의 인터랙션 흐름의 설명은 상기 방법 실시예에서의 관련 설명을 참조할 수 있고, 여기서 더 이상 상세하게 설명하지 않는다.

본 발명의 실시예는 컴퓨터 기기(10)를 더 제공하고, 도 6에 도시된 바와 같이, 본 발명의 실시예에서 제공하는 컴퓨터 기기(10) 구조 예시도이며,

프로세서(11) 및 메모리(12)를 포함하고; 상기 메모리(12)에는 상기 프로세서(11)가 실행 가능한 기계 판독 가능 명령어가 저장되어 있으며, 컴퓨터 기기가 작동될 경우, 상기 기계 판독 가능 명령어는 상기 프로세서에 의해 실행됨으로써 하기 단계를 구현한다.

상기 결함 검출 방법은, 검출될 이미지 및 템플릿 이미지를 획득하고;

상기 검출될 이미지에 대해 다단계 특징 추출을 수행하여, 각 단계 특징 추출과 대응되는 제1 특징 이미지를 획득하며, 상기 템플릿 이미지에 대해 다단계 특징 추출을 수행하여, 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지를 획득하고;

각 제1 특징 이미지를 대상으로 하여, 상기 제1 특징 이미지 및 상기 제1 특징 이미지와 대응되는 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 상기 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻으며;

상기 특징 융합 이미지에 기반하여, 상기 제1 특징 이미지의 결함 검출 결과를 얻고;

다단계 특징 추출과 각각 대응되는 제1 특징 이미지의 결함 검출 결과에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻는다.

상기 명령어의 구체적 실행 과정은 본 발명의 실시예에 따른 결함 검출 방법의 단계를 참조할 수 있고, 여기서 더 이상 설명하지 않는다.

본 발명의 실시예는 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 때 상기 방법 실시예에 따른 결함 검출 방법의 단계를 실행한다. 여기서, 상기 저장 매체는 휘발성 또는 비휘발성의 컴퓨터 판독 가능 저장 매체일 수 있다.

본 발명의 실시예에서 제공하는 결함 검출 방법의 컴퓨터 프로그램 제품은, 프로그램 코드가 저장된 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 프로그램 코드에 포함된 명령어는 상기 방법 실시예에 따른 결함 검출 방법의 단계를 실행하기 위한 것일 수 있으며, 구체적으로 상기 방법 실시예를 참조할 수 있고, 여기서 더 이상 설명하지 않는다.

본 발명의 실시예는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 전술된 실시예의 어느 한 가지 방법을 구현한다. 상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 결합의 방식을 통해 구현될 수 있다. 선택 가능한 실시예에 있어서, 상기 컴퓨터 프로그램 제품은 컴퓨터 저장 매체로서 구체적으로 체현되며, 다른 선택 가능한 실시예에 있어서, 컴퓨터 프로그램 제품은 예를 들어 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로서 구체적으로 체현된다.

해당 분야의 기술자는 설명의 편의 및 간결함을 위해, 상기 설명된 시스템 및 장치의 구체적인 작업 과정은, 전술된 방법 실시예에서의 대응되는 과정을 참조할 수 있음을 명확하게 이해할 수 있으며, 여기서 더 이상 반복하여 설명하지 않는다. 본 발명에서 제공하는 몇 개의 실시예에 있어서, 개시된 시스템, 장치 및 방법은 다른 형태로 구현될 수 있음을 이해해야 한다. 위에서 설명한 장치 실시예는 다만 예시적일 뿐이고, 예를 들어, 상기 유닛의 분할은 다만 논리적 기능 분할이며, 실제로 구현될 때에는 다른 분할 방식이 있을 수 있으며, 또 예를 들어, 복수 개의 유닛 또는 컴포넌트는 다른 시스템에 결합 또는 통합될 수 있거나, 또는 일부 특징을 무시하거나 실행하지 않을 수 있다. 또한, 나타내거나 논의된 상호 간의 결합 또는 직접 결합 또는 통신 연결은 일부 통신 인터페이스, 장치 또는 유닛을 통한 간접 결합 또는 통신 연결일 수 있고, 전기적, 기계적 또는 다른 형태일 수 있다.

상기 분리 부재로서 설명된 유닛은 물리적으로 분리되거나, 분리되지 않을 수도 있고, 유닛으로서 게시된 부재는 물리적 유닛일 수도, 아닐 수도 있으며, 즉 한곳에 위치할 수 있거나, 복수 개의 네트워크 유닛에 분포될 수도 있다. 실제 필요에 따라 그중의 일부 또는 전부를 선택하여 본 실시예 방안의 목적을 구현할 수 있다.

또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 단독 물리적으로 존재할 수도 있으며, 두 개 또는 두 개 이상의 유닛이 하나의 유닛에 통합될 수도 있다.

상기 기능이 만약 소프트웨어 기능 유닛의 형태로 구현되고 또한 단독적인 제품으로 판매되거나 사용될 경우, 프로세서가 실행 가능한 비휘발성 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 기술 방안은 본질적으로 또는 기존 기술에 대해 기여하는 부분 또는 상기 기술 방안의 일부는 소프트웨어 제품의 형태로 반영될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 발명의 각 실시예의 상기 방법의 전부 또는 일부 단계를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술된 저장 매체는 USB 메모리, 외장 하드, 읽기 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 디스켓 또는 CD 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

마지막으로 설명할 것은, 이상의 상기 실시예는, 다만 본 발명의 구체적인 실시 방식이고, 본 발명의 기술적 해결 수단을 설명하기 위한 것일 뿐이며, 이를 한정하는 것은 아니고, 본 발명의 보호 범위는 이에 한정되지 않으며, 전술한 실시예를 참조하여 본 발명에 대해 상세한 설명을 진행하였으나, 본 분야의 통상의 기술자는, 본 기술 분야에 익숙한 기술자라면 본 발명에서 개시된 기술적 범위 내에서, 전술한 실시예에 기재된 기술 방안에 대해 여전히 수정할 수 있거나 변화 또는 일부 기술 특징에 대해 동등한 교체를 진행할 수 있음을 쉽게 생각할 수 있고; 이러한 수정, 변화 또는 교체는, 상응한 기술 방안의 본질이 본 발명의 실시예의 기술 방안의 사상 및 범위를 벗어나지 않으며, 모두 본 발명의 보호 범위 내에 속해야 함을 이해해야 한다. 따라서, 본 발명의 보호 범위는 상기 청구 범위의 보호 범위를 기준으로 해야 한다.

본 발명의 실시예에서, 처리될 이미지 및 템플릿 이미지 중 특징을 융합하는 것을 통해, 제1 특징 이미지 및 제2 특징 이미지 사이에 존재하는 생산 오차, 매칭 오차 및 샘플링 노이즈 등 오차를 줄인 다음, 특징 융합 이미지를 사용하여, 제1 특징 이미지의 결함 검출 결과를 얻음으로써, 다단계 특징 추출에 각각 대응되는 제1 특징 이미지의 결함 검출 결과를 종합하여, 더욱 높은 정밀도로 검출될 이미지의 결함 검출 결과를 얻는다.

Claims

결함 검출 방법으로서,
검출될 이미지 및 템플릿 이미지를 획득하는 단계;
상기 검출될 이미지에 대해 특징 추출을 수행하여, 상기 검출될 이미지의 제1 특징 이미지를 얻고, 상기 템플릿 이미지에 대해 특징 추출을 수행하여, 상기 템플릿 이미지에 대응되는 제2 특징 이미지를 얻는 단계;
상기 제1 특징 이미지 및 상기 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 특징 융합 이미지를 얻는 단계; 및
상기 특징 융합 이미지에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻는 단계를 포함하는 것을 특징으로 하는 결함 검출 방법.
제1항에 있어서,
상기 검출될 이미지에 대해 특징 추출을 수행하여, 상기 검출될 이미지의 제1 특징 이미지를 얻는 단계는,
상기 검출될 이미지에 대해 다단계 특징 추출을 수행하여, 각 단계 특징 추출과 대응되는 제1 특징 이미지를 획득하는 단계를 포함하고;
상기 템플릿 이미지에 대해 특징 추출을 수행하여, 상기 템플릿 이미지에 대응되는 제2 특징 이미지를 얻는 단계는,
상기 템플릿 이미지에 대해 다단계 특징 추출을 수행하여, 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지를 획득하는 단계를 포함하며;
상기 제1 특징 이미지 및 상기 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 특징 융합 이미지를 얻는 단계는,
각 제1 특징 이미지를 대상으로 하여, 상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 상기 각 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 결함 검출 방법.
제2항에 있어서,
상기 특징 융합 이미지에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻는 단계는,
상기 각 제1 특징 이미지에 대응되는 특징 융합 이미지에 기반하여, 상기 각 제1 특징 이미지의 결함 검출 결과를 얻는 단계; 및
다단계 특징 추출과 각각 대응되는 제1 특징 이미지의 결함 검출 결과에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻는 단계를 포함하는 것을 특징으로 하는 결함 검출 방법.
제2항 또는 제3항에 있어서,
상기 검출될 이미지에 대해 다단계 특징 추출을 수행하여, 각 단계 특징 추출과 대응되는 제1 특징 이미지를 획득하는 단계는,
상기 검출될 이미지에 대해 다단계 특징 추출을 수행하여, 각 단계 특징 추출과 대응되는 중간 특징 이미지를 획득하는 단계;
상기 각 단계 특징 추출은 마지막 단계 특징 추출인 경우, 마지막 단계 특징 추출에 대응되는 중간 특징 이미지를, 상기 마지막 단계 특징 추출에 대응되는 제1 특징 이미지로 사용하는 단계; 및
상기 각 단계 특징 추출은 마지막 단계 특징 추출을 제외한 다른 단계 특징 추출인 경우, 상기 각 단계 특징 추출과 대응되는 중간 특징 이미지와 상기 단계 특징 추출의 다음 단계 특징 추출에 대응되는 제1 특징 이미지를 특징 융합하여, 상기 각 단계 특징 추출과 대응되는 제1 특징 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 결함 검출 방법.
제4항에 있어서,
상기 각 단계 특징 추출과 대응되는 중간 특징 이미지와, 상기 단계 특징 추출의 다음 단계 특징 추출에 대응되는 제1 특징 이미지를 특징 융합하여, 상기 각 단계 특징 추출과 대응되는 제1 특징 이미지를 얻는 단계는,
상기 단계 특징 추출의 다음 단계 특징 추출과 대응되는 제1 특징 이미지를 업 샘플링하여, 업 샘플링 벡터를 얻는 단계; 및
상기 업 샘플링 벡터와 상기 단계 특징 추출에 대응되는 중간 특징 이미지를 오버레이 한 다음, 상기 단계 특징 추출에 대응되는 제1 특징 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 결함 검출 방법.
제2항 내지 제5항 중 어느 한 항에 있어서,
상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 대해 특징 혼동 처리를 수행하는 단계는,
상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지에 대해 특징 강화 처리를 수행하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지의 특징 강화 이미지를 얻는 단계; 및
상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 상기 각 제1 특징 이미지와 대응되는 어텐션 마스크 이미지를 얻는 단계 - 상기 어텐션 마스크 이미지 중 어느 한 픽셀 포인트의 픽셀 값은, 상기 제1 특징 이미지 중 위치가 상기 어느 한 픽셀 포인트에 매칭되는 제1 특징 포인트에 결함이 존재하는 이상도 값을 나타냄 - ; 및
상기 특징 강화 이미지 및 상기 어텐션 마스크 이미지에 기반하여, 상기 각 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 결함 검출 방법.
제6항에 있어서,
상기 각 제1 특징 이미지 및 상기 각 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지에 대해 특징 강화 처리를 수행하는 단계는,
상기 제1 특징 이미지에서의 각 제1 특징 포인트를 대상으로 하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지의 복수 개 제2 특징 포인트에서, 상기 제1 특징 포인트와 대응되는 복수 개 연관 특징 포인트를 결정하는 단계 - 상기 제1 특징 포인트에 대응되는 각 연관 특징 포인트와 상기 제1 특징 포인트 위치에 매칭되는 타깃 제2 특징 포인트 사이의 거리는 기설정 조건을 만족함 - ; 및
상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 결함 검출 방법.
제7항에 있어서,
상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행하는 단계는,
상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도 및 각 연관 특징 포인트의 특징값에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 결함 검출 방법.
제8항에 있어서,
상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도 및 각 연관 특징 포인트의 특징값에 기반하여, 상기 제1 특징 포인트 위치와 매칭되는 타깃 제2 특징 포인트에 대해 특징 강화 처리를 수행하는 단계는,
상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트에 대응되는 복수 개 연관 특징 포인트에 각각 대응되는 특징값에 대해 가중치 합산을 수행함으로써, 제1 합산값을 얻는 단계;
복수 개 연관 특징 포인트에 각각 대응되는 유사도에 대해 합산하여, 제2 합산값을 얻는 단계; 및
상기 제1 합산값 및 상기 제2 합산값의 비율을, 상기 타깃 제2 특징 포인트에 대해 특징 강화 처리한 후의 특징값으로 사용하는 단계를 포함하는 것을 특징으로 하는 결함 검출 방법.
제6항 내지 제9항 중 어느 한 항에 있어서,
상기 제1 특징 이미지 및 상기 제1 특징 이미지와 대응되는 제2 특징 이미지에 기반하여, 상기 제1 특징 이미지와 대응되는 어텐션 마스크 이미지를 얻는 단계는,
상기 제1 특징 이미지에서의 각 제1 특징 포인트를 대상으로 하여, 상기 제1 특징 이미지에 대응되는 제2 특징 이미지의 복수 개 제2 특징 포인트에서, 상기 제1 특징 포인트와 대응되는 복수 개 연관 특징 포인트를 결정하는 단계 - 상기 제1 특징 포인트에 대응되는 각 연관 특징 포인트와 상기 제1 특징 포인트 위치에 매칭되는 타깃 제2 특징 포인트 사이의 거리는 기설정 조건을 만족함 - ; 및
상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트의 이상도 값을 결정하는 단계; 및
상기 제1 특징 이미지 중 각 제1 특징 포인트에 대응되는 이상도 값에 기반하여, 상기 어텐션 마스크 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 결함 검출 방법.
제10항에 있어서,
상기 제1 특징 포인트와 각 연관 특징 포인트 사이의 유사도에 기반하여, 상기 제1 특징 포인트의 이상도 값을 결정하는 단계는,
복수 개 연관 특징 포인트와 상기 제1 특징 포인트 사이의 각 유사도의 최대 유사도를 결정하는 단계; 및
상기 최대 유사도에 기반하여, 상기 제1 특징 포인트의 이상도 값을 결정하는 단계를 포함하는 것을 특징으로 하는 결함 검출 방법.
제7항 내지 제11항 중 어느 한 항에 있어서,
하기 형태를 사용하여 제1 특징 포인트 및 상기 제1 특징 포인트와 대응되는 어느 한 연관 특징 포인트 사이의 유사도를 결정하고,
상기 제1 특징 포인트가 상기 제1 특징 이미지에서의 위치 및 기설정된 거리 임계값에 기반하여, 제1 특징 서브 이미지를 얻으며;
상기 제1 특징 포인트와 대응되는 어느 한 연관 특징 포인트가 상기 제2 특징 이미지에서의 위치 및 상기 거리 임계값에 기반하여, 제2 특징 서브 이미지를 얻고;
상기 제1 특징 서브 이미지 및 상기 제2 특징 서브 이미지에 기반하여, 상기 제1 특징 포인트와 상기 제1 특징 포인트에 대응되는 상기 어느 한 연관 특징 포인트 사이의 유사도를 결정하는 것을 특징으로 하는 결함 검출 방법.
제6항 내지 제12항 중 어느 한 항에 있어서,
상기 특징 강화 이미지 및 상기 어텐션 마스크 이미지에 기반하여, 상기 각 제1 특징 이미지에 대응되는 특징 융합 이미지를 얻는 단계는,
상기 특징 강화 이미지 및 상기 제1 특징 이미지에 대해 병합 처리를 수행하여, 상기 제1 특징 이미지에 대응되는 병합 특징 이미지를 얻는 단계; 및
상기 어텐션 마스크 이미지 및 상기 병합 특징 이미지에 기반하여, 상기 특징 융합 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 결함 검출 방법.
결함 검출 장치로서,
검출될 이미지 및 템플릿 이미지를 획득하도록 구성된 획득 부분;
상기 검출될 이미지에 대해 특징 추출을 수행하여, 상기 검출될 이미지의 제1 특징 이미지를 얻고, 상기 템플릿 이미지에 대해 특징 추출을 수행하여, 상기 템플릿 이미지에 대응되는 제2 특징 이미지를 얻도록 구성된 특징 추출 부분;
상기 제1 특징 이미지 및 상기 제2 특징 이미지에 대해 특징 혼동 처리를 수행하여, 특징 융합 이미지를 얻도록 구성된 특징 혼동 부분; 및
상기 특징 융합 이미지에 기반하여, 상기 검출될 이미지의 결함 검출 결과를 얻도록 구성된 검출 부분을 포함하는 것을 특징으로 하는 결함 검출 장치.
컴퓨터 기기로서,
서로 연결된 프로세서 및 메모리를 포함하고, 상기 메모리에는 상기 프로세서가 실행 가능한 기계 판독 가능 명령어가 저장되어 있으며, 컴퓨터 기기가 작동될 경우, 상기 기계 판독 가능 명령어는 상기 프로세서에 의해 실행됨으로써 제1항 내지 제13항 중 어느 한 항에 따른 결함 검출 방법을 구현하는 것을 특징으로 하는 컴퓨터 기기.
컴퓨터 판독 가능 저장 매체로서,
상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되어 있고, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 제1항 내지 제13항 중 어느 한 항에 따른 결함 검출 방법을 실행하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
컴퓨터 프로그램으로서,
컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 컴퓨터 기기에서 작동될 경우, 상기 컴퓨터 기기에서의 프로세서는 제1항 내지 제13항 중 어느 한 항에 따른 결함 검출 방법을 실행하는 것을 특징으로 하는 컴퓨터 프로그램.