KR20180129640A

KR20180129640A - 화상 분류 프로그램, 분류 데이터 작성 프로그램 및 분류 데이터 작성 방법

Info

Publication number: KR20180129640A
Application number: KR1020180054177A
Authority: KR
Inventors: 요이치 기가와
Original assignee: 닛토덴코 가부시키가이샤
Priority date: 2017-05-26
Filing date: 2018-05-11
Publication date: 2018-12-05
Also published as: US20180341829A1; CN108932523B; CN108932523A; JP2018200530A; JP6726641B2; US11410409B2

Abstract

입력된 화상을 분류하기 위한 프로그램이며, 컴퓨터를, 입력된 화상 데이터에 대하여 특징량 추출 처리와 전체 결합 처리를 실행하도록 구축되는 네트워크, 상기 네트워크에 있어서의 처리 경로를 추출하는 경로 추출 수단 및 상기 경로 추출 수단에서 추출한 추출 경로와, 분류와 관련지어진 미리 설정된 복수의 설정 경로를 비교하여, 일치하는 경로에 관련지어진 분류를, 상기 입력된 화상의 분류로 하는 판단부로서 기능시키는, 화상 분류 프로그램.

Description

화상 분류 프로그램, 분류 데이터 작성 프로그램 및 분류 데이터 작성 방법{IMAGE CLASSIFICATION SYSTEM AND METHOD, CLASSIFICATION DATA CREATION SYSTEM AND METHOD, AND STORAGE MEDIUM}

본원은, 2017년 5월 26일 출원의 일본특허출원 제2017-104449호에 기초하는 우선권을 주장하고, 이 출원이 인용에 의해 편입된다.

본 발명은, 화상 분류 프로그램, 분류 데이터 작성 프로그램 및 분류 데이터 작성 방법에 관한 것이다.

종래, 컨벌루션 신경망(CNN: Convolutional Neural Network)을 사용한 화상인식 처리가 행해지고 있다.

이러한 종류의 컨벌루션 신경망은, 예를 들어 특징량 추출 처리로서 컨벌루션 처리 및 풀링 처리를 교대로 실행하고, 이들의 후단에서 전체 결합 처리를 실행하도록 구축된다.

컨벌루션 처리에서는, 입력되는 화상 데이터에 대하여 학습이 끝난 복수의 필터를 사용한 컨벌루션 처리가 행해지고, 이에 의해, 화상 데이터에 포함되는 특징량이 추출된다. 컨벌루션 처리에 이어지는 풀링 처리에서는, 학습이 끝난 복수의 필터를 사용하여, 컨벌루션 처리에 의해 얻어지는 특징량 맵 중 근방수 화소의 영역으로부터 최댓값 또는 평균값을 특징량으로서 출력하는 풀링 처리가 행해지고, 이 처리에 의해, 특징량의 미소한 변화가 흡수된다.

전체 결합 처리에서는, 컨벌루션 처리 및 풀링 처리에 의해 추출된 특징량에 대하여, 학습이 끝난 복수의 유닛을 사용한 전체 결합 처리가 행해지고, 이에 의해, 화상 데이터에 포함되는 대상물이 분류된다.

일본특허공개 2016-115248호 공보

여기서, 컨벌루션 신경망을, 예를 들어 제품이 양품인지, 결함품인지를 화상에 의해 판정하는 시스템에 적응시키는 경우에는, 충분한 주의가 필요하다.

즉, 컨벌루션 신경망은, 비교적 높은 식별율을 발휘할 수 있다. 그러나, 결함품을 양품이라고 판정해버리는 「못보고 놓침」이 발생하지 않는 높은 식별율(즉, 「못보고 놓침」의 발생 수량이 매우 제로에 가까운 식별율)을 발휘할 수 없으면, 정밀도면에서, 양품/결함품을 판정하는 시스템에 컨벌루션 신경망을 적응시키는 것은 곤란하다.

또한, 결함품을 양품이라고 판정해버린 화상을, 재차 결함품으로서 판정시키기 위해서는, 학습 단계에까지 거슬러 올라가, 다시 네트워크를 구축하고, 검증하는 것이 필요해지기 때문에, 운용면에서도, 양품, 결함품을 판정하는 시스템에 컨벌루션 신경망을 적응시키는 것은, 곤란하다.

본 발명은, 상기 사정을 감안하여, 충분히 고정밀도로 화상을 분류하는 것을 가능하게 하는 화상 분류 프로그램, 분류 데이터 작성 프로그램 및 분류 데이터 작성 방법을 제공하는 것을 과제로 한다.

본 발명에 관한 화상 분류 프로그램은,

입력된 화상을 분류하기 위한 프로그램이며,

적어도 하나의 컴퓨터를,

입력된 화상 데이터에 대하여 특징량 추출 처리와 전체 결합 처리를 실행하도록 구축되는 네트워크,

상기 네트워크에 있어서의 처리 경로를 추출하는 경로 추출 수단 및

상기 경로 추출 수단에서 추출한 추출 경로와, 분류와 관련지어진 미리 설정된 복수의 설정 경로를 비교하여, 일치하는 경로에 관련지어진 분류를, 상기 입력된 화상의 분류로 하는 판단부

로서 기능시킨다.

상기 구성의 화상 분류 프로그램에 있어서는,

상기 경로 추출 수단은, 상기 네트워크에 있어서의 상기 특징량 추출 처리에 의해 얻어지는 복수의 특징값에서 선택되는 적어도 하나의 특징값과, 상기 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값에서 선택되는 적어도 하나의 전체 결합 출력값을 연결하는 경로를 추출하는 수단이고,

상기 선택되는 특징값 및 상기 선택되는 전체 결합 출력값의 적어도 한쪽에는, 최댓값이 포함되어 있는 것이 바람직하다.

상기 구성의 화상 분류 프로그램에 있어서는,

상기 경로 추출 수단은, 상기 특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 적어도 하나의 특징값과, 상기 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 적어도 하나의 전체 결합 출력값을 연결하는 경로를 추출하는 수단이고,

상기 특징값군과 상기 전체 결합 출력값군 중 적어도 어느 한쪽으로부터 적어도 2개의 값을 선택하고,

해당 2개의 값에는, 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되어 있는 것이 바람직하다.

본 발명의 분류 데이터 작성 프로그램은,

화상 분류 장치용의 분류 데이터를 작성하는 분류 데이터 작성 프로그램이며,

적어도 하나의 컴퓨터를,

상기 네트워크에 있어서의 상기 특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 적어도 하나의 특징값과, 상기 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 적어도 하나의 전체 결합 출력값이며, 상기 특징값군과 상기 전체 결합 출력값군 중 적어도 어느 한쪽에서 선택되는 값에는 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되도록 선택되는 특징값과 전체 결합 출력값을 연결하는 경로를 설정 경로로서 추출하는 설정 경로 추출 수단 및

추출한 설정 경로와 화상을 분류하기 위한 분류를 관련짓는 관련 지음 수단

으로서 기능시킨다.

본 발명의 분류 데이터 작성 방법은,

화상 분류 장치용의 분류 데이터를 작성하는 방법이며,

입력된 화상 데이터에 대하여 특징량 추출 처리와 전체 결합 처리를 실행하는 네트워크 처리 공정과,

상기 네트워크 처리 공정에서의 상기 특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 적어도 하나의 특징값과, 상기 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 적어도 하나의 전체 결합 출력값이며, 상기 특징값군과 상기 전체 결합 출력값군 중 적어도 어느 한쪽에서 선택되는 값에는 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되도록 선택되는 특징값과 전체 결합 출력값을 연결하는 경로를 설정 경로로서 추출하는 설정 경로 추출 공정과,

추출한 설정 경로와 화상을 분류하기 위한 분류를 관련짓는 관련 지음 공정을 포함한다.

도 1은 본 발명의 실시 형태에 따른 화상 분류 프로그램에 의해 실행되는 처리를 도시하는 블록도이다.
도 2는 일반적인 컨벌루션 신경망에 있어서의 처리의 흐름을 모식적으로 도시하는 도면이다.
도 3은 일반적인 특징량 추출 처리의 흐름을 모식적으로 도시하는 도면이다.
도 4는 일반적인 전체 통합 처리의 흐름을 모식적으로 도시하는 도면이다.
도 5는 본 실시 형태의 화상 분류 프로그램에 사용되는 컨벌루션 신경망의 전체 경로를 모식적으로 도시하는 도면이다.
도 6은 추출되는 경로의 일례를 나타내는 개략도이다.
도 7은 추출되는 경로의 일례를 나타내는 개략도이다.
도 8은 추출되는 경로의 일례를 나타내는 개략도이다.
도 9는 추출되는 경로의 일례를 나타내는 개략도이다.
도 10은 본 발명의 실시 형태에 따른 화상 분류 시스템의 블록도이다.
도 11은 본 실시 형태의 화상 분류 프로그램이 적용되는 검사 장치의 개략적인 측면도이다.
도 12는 본 발명의 실시 형태에 따른 분류 데이터 작성 프로그램에 의해 실행되는 처리를 도시하는 블록도이다.
도 13은 실시예 1의 결과를 나타내는 그래프이다.
도 14는 실시예 2의 결과를 나타내는 그래프이다.
도 15는 실시예 3의 결과를 나타내는 그래프이다.
도 16은 실시예 4의 결과를 나타내는 그래프이다.

이하, 본 발명의 실시 형태에 따른 화상 분류 프로그램, 분류 데이터 작성 프로그램 및 분류 데이터 작성 방법에 대해서, 도면을 참조하면서 설명한다.

먼저, 본 실시 형태의 화상 분류 프로그램에 대해서, 설명한다.

도 1에 도시한 바와 같이, 본 실시 형태의 화상 분류 프로그램은,

입력된 화상을 분류하기 위한 프로그램이며,

적어도 하나의 컴퓨터를,

로서 기능시킨다.

본 실시 형태의 화상 분류 프로그램은, 입력된 화상을 분류하기 위한 프로그램이다.

입력되는 화상은, 해당 화상 중에 분류의 대상물이 포함되어 있으면 되고, 특별히 한정되지 않는다.

본 실시 형태의 화상 분류 프로그램은, 적어도 하나의 컴퓨터를, 입력된 화상 데이터에 대하여 특징량 추출 처리와 전체 결합 처리를 실행하도록 구축되는 네트워크로서 기능시킨다.

본 실시 형태에서는, 특징량 추출 처리와 전체 통합 처리를 실행하도록 구축되는 네트워크의 일례로서, 컨벌루션 신경망을 채용하는 양태에 대해서 설명하지만, 본 실시 형태에서 채용하는 네트워크는, 이것에 특별히 한정되는 것은 아니다.

여기서, 컨벌루션 신경망의 일반적인 처리에 대해서, 이하, 설명한다.

컨벌루션 신경망은, 화상 인식 분야에서 자주 사용되고, 입력 데이터인 화상 데이터로부터 소정의 형상이나 패턴을 인식하는 화상 인식 기술에 응용되는 것이다.

컨벌루션 신경망은, 2차원 화상에 대하여 필터에 의한 컨벌루션 처리를 적어도 행함으로써, 입력된 화상 데이터로부터 특징량을 추출한다.

컨벌루션 신경망은, 컨벌루션 처리를 실행하는 층과 풀링 처리를 실행하는 층을 반복하는 특징량 추출층과, 전체 결합 처리를 실행하는 전체 결합층을 갖는 다층 네트워크로 구성되어 있다.

컨벌루션 신경망에 있어서는, 컨벌루션 처리를 실행하는, 특징량의 추출에 유효한 필터의 계수를, 학습용 화상(학습용 화상군) 등의 학습용 데이터(교육용 데이터)를 사용해서 학습시킨다. 필터의 계수는, 교육용 데이터를 사용하여, 필터에 의한 컨벌루션 처리와, 일정 영역의 컨벌루션 처리 결과를 통합하는 풀링 처리를 반복해서 학습함으로써, 얻어진다.

컨벌루션 처리에서는, 전계층으로부터 입력되는 화상 데이터에 대하여 학습이 끝난 필터를 사용한 컨벌루션 처리(컨볼루션 연산 처리)가 행해지고, 이에 의해, 화상 데이터에 포함되는 특징량이 추출된다. 컨벌루션 처리에 이어지는 풀링 처리에서는, 컨벌루션 처리에 의해 얻어지는 특징량의 맵 중, 서로 인접하는 몇 화소 정도의 영역으로부터 최댓값 또는 평균값을 출력하는 풀링 처리가 행해지고, 이에 의해, 해당 영역이 하나로 합쳐져서, 특징량이 추출된다. 이 풀링 처리에 의해, 위치 감도가 저하되기는 하지만, 위치 변화에 대한 인식 성능이 향상되기 때문에, 특징량의 미소한 변화가 흡수된다.

컨벌루션 신경망에 있어서는, 이러한 컨벌루션 처리 및 풀링 처리에 의한 처리를 반복함으로써, 보다 고정밀도로 특징량이 추출된다.

전체 결합 처리에서는, 컨벌루션 처리 및 풀링 처리에 의해 얻어진 특징량을 결합해서 최종적인 처리 데이터를 출력한다.

도 2에 도시하는 컨벌루션 신경망 CNN은, 입력되는 화상 데이터에 대하여 컨벌루션 처리를 실행하는 컨벌루션(Convolution)층 C와, 풀링 처리를 실행하는 풀링(Pooling)층 P와, 전체 결합 처리를 실행하는 전체 결합(fully Connected)층 F를 갖는다.

컨벌루션층 C는, 1개 이상 구비되어 있다. 도 2에서는, 2개의 컨벌루션층 C1, C2가 구비되어 있다. 각 컨벌루션층 C는, 복수의 필터를 갖는다.

컨벌루션층 C는, 전계층으로부터 입력되는 화상 데이터에 대하여 주지의 컨벌루션 처리를 실행하고, 그 처리 결과(데이터)를 출력한다.

컨벌루션층 C는, 풀링층 P의 전단에, 복수 연속해서 구비되어 있어도 된다.

제1층째(최전단)의 컨벌루션층 C1은, 장치 외부로부터 입력되는 화상 데이터 D를 컨벌루션 처리하고, 처리 결과(데이터)를 풀링층 P1에 출력한다.

다음의 제2층째(최후단의) 컨벌루션층 C2는, 풀링층 P1로부터 입력되는 처리 결과(데이터)를 컨벌루션 처리하고, 그 처리 결과를 풀링층 P2에 출력한다.

풀링층 P는, 1개 이상 구비되어 있다. 도 2에서는, 2개의 풀링층 P1, P2가 구비되어 있다. 각 풀링층 P는, 복수의 필터를 갖는다. 또한, 풀링층 P가 구비되어 있지 않은 구성을 채용해도 된다.

풀링층 P는, 컨벌루션층 C에 의한 처리 결과(데이터)에 대하여 주지의 풀링 처리를 실행하고, 그 처리 결과(데이터)를 출력한다.

제1층째(최전단)의 풀링층 P1은, 컨벌루션층 C1로부터 입력되는 처리 결과(데이터)를 풀링 처리하고, 그 처리 결과(데이터)를 컨벌루션층 C2에 출력한다.

다음의 제2층째(최후단)의 풀링층 P2는, 컨벌루션층 C2로부터 입력되는 처리 결과(데이터)를 풀링 처리하고, 그 처리 결과(데이터)를 전체 결합층 F에 출력한다.

전체 결합층 F는, 1개 이상 구비되어 있다. 도 2에서는, 3개의 전체 결합층 F1, F2, F3이 구비되어 있다. 각 전체 결합층 F는, 복수의 유닛을 갖는다.

전체 결합층 F는, 직전의 풀링층 P(최후단의 풀링층 P)에 의한 처리 결과에 대하여 주지의 전체 결합 처리를 실행하고, 그 처리 결과(데이터)를 출력한다.

제1층째(최전단)의 전체 결합층 F1은, 풀링층 P2로부터 입력되는 처리 결과(데이터)를 전체 결합 처리하고, 그 처리 결과(데이터)를 전체 결합층 F2에 출력한다.

다음의 제2층째의 전체 결합층 F2는, 전체 결합층 F1로부터 입력되는 처리 결과(데이터)를 전체 결합 처리하고, 그 처리 결과(데이터)를 전체 결합층 F3에 출력한다.

다음의 제3층째(최후단)의 전체 결합층 F3은, 그 처리 결과를, 화상이 어느 분류에 속하는 것인지를 분류하고, 식별 결과로서 출력한다.

도 2에서는, 컨벌루션층 C와 풀링층 P가 세트로 되고, 이 세트가 단계적으로 접속되어 있다.

이어서, 도 2의 컨벌루션 신경망 CNN에서의 일반적인 처리의 흐름에 대해서, 도 3 및 도 4를 참조하면서 설명한다. 또한, 각 처리는, 화상 분류 시스템의 특징량 추출 연산부에 의해 실행된다.

도 3에 도시한 바와 같이, 제1층째의 컨벌루션층 C1에 의한 처리에서는, 입력되는 화상 데이터 D를 예를 들어 래스터 스캔에 의해 소정의 화소 사이즈, 예를 들어 도 3에 해칭으로 나타내는 5×5 화소마다 주사한다. 또한, 주사에 사용되는 화소 사이즈는, 5×5 화소에 한정되지 않고 적절히 변경될 수 있다. 그리고, 주사한 데이터에 대하여 주지의 컨벌루션 처리를 행하고, 처리 결과 C1(1), C1(2)…를 제1층째의 컨벌루션층 C1의 출력 데이터로 한다.

제1층째의 풀링층 P1에 의한 처리에서는, 제1층째의 컨벌루션층 C1로부터 입력되는 출력 데이터 C1(1), C1(2), …에 대하여, 각각 소정의 화소 사이즈, 이 경우, 2×2 화소마다 주지의 풀링 처리를 행하고, 처리 결과 P1(1), P1(2)…를 풀링층 P1의 출력 데이터로 한다. 또한, 주사에 사용되는 화소 사이즈는, 2×2 화소에 한정되지 않고 적절히 변경될 수 있다.

이들 컨벌루션 처리 및 풀링 처리에 의해, 입력된 화상 데이터 D에 포함되는 특징량이 추출된다.

마찬가지로, 제2층째의 컨벌루션층 C2에 의한 처리에서는, 전계층인 제1층째의 풀링층 P1로부터 입력되는 출력 데이터 P1(1), P1(2), …에 대하여, 각각 소정의 화소 사이즈마다 주사한다. 그리고, 주사한 데이터에 대하여 주지의 컨벌루션 처리를 행하고, 처리 결과 C2(1), C2(2), …를 제2층째의 컨벌루션층 C2의 출력 데이터로 한다.

또한, 제2층째의 풀링층 P2에 의한 처리에서는, 제2층째의 컨벌루션층 C2로부터 입력되는 출력 데이터 C2(1), C2(2), …에 대하여, 각각 소정의 화소 사이즈마다 주지의 풀링 처리를 행하고, 처리 결과 P2(1), P2(2)…를 제2층째의 풀링층 P2의 출력 데이터로 한다. 이들 컨벌루션 처리 및 풀링 처리에 의해, 입력된 화상 데이터 D에 포함되는 특징량이, 더 추출된다.

이와 같이, 복수의 컨벌루션층 C1, C2, … 및 복수의 풀링층 P1, P2, …에 의한 처리를 반복함으로써, 화상 데이터 D에 포함되는 여러 특징량이 추출되고, 최종적으로 추출된 특징량이 전체 결합층 F에 출력된다.

도 4에 도시한 바와 같이, 제1층째의 전체 결합층 F1에 의한 처리에서는, 전계층인 제2층째의 풀링층 P2로부터 입력되는 복수의 출력 데이터 P2(1), P2(2)…에 대하여, 가중 계수를 다르게 하면서 이들의 곱합 연산을 행하는 주지의 전체 결합 처리를 행하고, 처리 결과 F1(1), F1(2)…를 제1층째의 전체 결합층 F1의 출력 데이터로 한다.

제2층째의 전체 결합층 F2에 의한 처리에서는, 전계층인 제1층째의 전체 결합층 F1로부터 입력되는 복수의 출력 데이터 F1(1), F1(2)…에 대하여, 가중 계수를 다르게 하면서 이들의 곱합 연산을 행하는 주지의 전체 결합 처리를 행하고, 처리 결과 F2(1), F2(2)…를 제2층째의 전체 결합층 F2의 출력 데이터로 한다.

제3층째의 전체 결합층 F3에 의한 처리에서는, 전계층인 제2층째의 전체 결합층 F2로부터 입력되는 복수의 출력 데이터 F2(1), F2(2)…에 대하여, 가중 계수를 다르게 하면서 이들의 곱합 연산을 행하는 주지의 전체 결합 처리를 행하고, 처리 결과 F3(1), F3(2)…를 제3층째의 전체 결합층 F3의 출력 데이터로 한다.

제3층째의 전체 결합층 F3으로부터 출력되는 출력 데이터 F3(1), F3(2)…는, 원하는 화상의 분류 결과(여기서는, 클래스 1, 클래스 2, 클래스 3의 3개의 분류)에 대응한다.

여기서, 종래의 화상 분류 프로그램에서는, 컨벌루션 신경망에 있어서, 특징량 추출 처리를 실행하는 층의 모든 필터를 지나고, 또한 전체 결합 처리를 실행하는 층의 모든 유닛을 지나는 경로를 더듬어 가서 각 처리가 실행되고, 최종적으로 전체 결합부로부터 출력된 수치가 상대적으로 비교되어, 화상이 분류되었다.

그러나, 이와 같이 화상을 처리하면, 후술하는 실시예에 나타내는 바와 같이, 충분히 고정밀도로 화상을 분류하는 것이 곤란해진다.

그래서, 본 실시 형태의 화상 분류 프로그램에서는,

적어도 하나의 컴퓨터를,

컨벌루션 신경망에 있어서의 처리 경로를 추출하는 경로 추출 수단 및

로서 기능시킨다.

예를 들어 도 5에 도시하는 컨벌루션 신경망에 있어서, 컨벌루션 신경망 CNN은, 연속한 2개의 컨벌루션층 C(C1, C2)와, 그 후단의 1개의 풀링층 P(P1)과, 그 후단의 연속한 3개의 전체 결합층 F(F1, F2, F3)를 갖는다.

컨벌루션층 C1은 3개의 필터를 갖고, 컨벌루션층 C2는 8개의 필터를 갖고, 풀링층 P1은 8개의 필터를 갖고, 전체 결합층 F1은 24개의 유닛을 갖고, 전체 결합층 F2는 8개의 유닛을 갖고, 전체 결합층 F3은 3개의 유닛을 갖는다.

이들 컨벌루션층 C, 풀링층 P 및 전체 결합층 F에 의해, 컨벌루션 신경망 CNN이 구성되어 있다.

본 실시 형태에서는, 이와 같이 구성된 컨벌루션 신경망 CNN에 있어서, 분류와 관련지어진 미리 설정된 복수의 설정 경로가 설정되어 있다.

또한, 설정 경로는, 예를 들어 후술하는 설정 경로 추출 수단에 의해 추출된다.

본 실시 형태의 화상 분류 프로그램은, 적어도 하나의 컴퓨터를, 이러한 컨벌루션 신경망 CNN에 있어서의 처리 경로를 추출하는 경로 추출 수단으로서 기능시킨다.

또한, 적어도 하나의 컴퓨터를, 경로 추출 수단에서 추출한 추출 경로와, 분류와 관련지어진 미리 설정된 복수의 설정 경로를 비교하여, 일치하는 경로에 관련지어진 분류를, 상기 입력된 화상의 분류로 하는 판단부로서 기능시킨다.

구체적으로는, 본 실시 형태에서는, 상기 경로 추출 수단이, 상기 네트워크에 있어서의 상기 특징량 추출 처리에 의해 얻어지는 복수의 특징값에서 선택되는 적어도 하나의 특징값과, 상기 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값에서 선택되는 적어도 하나의 전체 결합 출력값을 연결하는 경로를 추출하는 수단이고,

상기 선택되는 특징값 및 상기 선택되는 전체 결합 출력값의 적어도 한쪽에는, 최댓값이 포함되어 있다.

여기서, 특징값은, 각 필터에 의해 얻어지는 특징량에 포함되는 값 중, 동 계층의 다른 필터에 의해 얻어지는 특징량과 비교할 수 있는 대표적인 값이며, 해당 특징값으로서는, 최댓값, 평균값이나, 중간값 등을 들 수 있다.

이러한 경로로서는, 예를 들어

특징량 추출 처리에 의해 얻어지는 복수의 특징값 중 최댓값과, 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값에서 선택되는 적어도 하나의 값을 각각 연결하는 경로,

특징량 추출 처리에 의해 얻어지는 복수의 특징값에서 선택되는 적어도 하나의 값과, 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값 중 최댓값을 각각 연결하는 경로

등을 들 수 있다.

이 외에, 상기 경로로서는, 예를 들어,

특징량 추출 처리에 의해 얻어지는 복수의 특징값 중 최댓값 및 제2 위치의 값과, 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값에서 선택되는 적어도 하나의 값을 각각 연결하는 경로

등도 들 수 있다.

또한, 그 외에, 상기 경로로서는, 예를 들어,

특징량 추출 처리에 의해 얻어지는 복수의 특징값에서 선택되는 적어도 하나의 값과, 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값 중 최댓값 및 제2 위치의 값을 각각 연결하는 경로

등도 들 수 있다.

또한, 경로 추출 수단이, 이 외에 대한 경로를 추출해도 되는 것은, 말할 필요도 없다.

예를 들어, 도 6 내지 도 9에 있어서는, 경로 추출 수단은, 풀링층 P1의 복수의 필터에 의한 처리에 의해 얻어지는 복수의 특징값에서 선택되는 적어도 하나의 특징값과, 전체 결합층 F1의 복수의 유닛에 의한 처리에 의해 얻어지는 복수의 전체 결합 출력값에서 선택되는 적어도 하나의 전체 결합 출력값을 연결하는 경로를, 상기와 같이 추출한다.

더욱 구체적으로는, 본 실시 형태에서는, 도 6 내지 도 9에 굵은 선으로 나타내는 바와 같이, 상기 경로 추출 수단이, 상기 특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 적어도 하나의 특징값과, 상기 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 적어도 하나의 전체 결합 출력값을 연결하는 경로를 추출하는 수단이고,

해당 2개의 값에는, 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되어 있도록, 예를 들어 상기와 같이 경로를 추출한다.

이러한 경로로서는, 예를 들어 도 6, 도 9에 굵은 선으로 나타내는 바와 같이,

특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 최댓값과, 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 최댓값을 연결하는 경로,

특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 최댓값과, 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 제2 위치의 값을 연결하는 경로,

특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 제2 위치의 값과, 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 최댓값을 연결하는 경로,

특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 제2 위치의 값과, 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 제2 위치의 값을 연결하는 경로

등을 들 수 있다.

또한, 이 외에, 상기 경로로서는, 예를 들어 도 7에 굵은 선으로 나타내는 바와 같이,

특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 최댓값 및 제2 위치의 값과, 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 최댓값을 각각 연결하는 경로,

특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 최댓값 및 제2 위치의 값과, 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 제2 위치의 값을 각각 연결하는 경로

등도 들 수 있다.

또한, 이 외에, 상기 경로로서는, 예를 들어 도 8에 굵은 선으로 나타내는 바와 같이,

특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 최댓값과, 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 최댓값 및 제2 위치의 값을 각각 연결하는 경로,

특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 제2 위치의 값과, 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 최댓값 및 제2 위치의 값을 각각 연결하는 경로

등도 들 수 있다.

예를 들어, 도 6 내지 도 9에 있어서는, 경로 추출 수단은, 풀링층 P1의 복수의 필터에 의한 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 적어도 하나의 특징값과, 전체 결합층 F1의 복수의 유닛에 의한 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 적어도 하나의 전체 결합 출력값을 연결하는 경로를 추출하고, 특징값군과 전체 결합 출력값군 중 적어도 어느 한쪽으로부터 적어도 2개의 값을 선택하고, 해당 2개의 값에는, 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되어 있도록, 예를 들어 상기와 같이 경로를 추출한다.

이에 더하여, 본 실시 형태에서는, 도 6 내지 도 9에 굵은 선으로 나타내는 바와 같이, 경로 추출 수단은, 전체 결합층 F 중 전체 결합층 F1과 전체 결합층 F2 사이 및 전체 결합층 F2와 전체 결합층 F3 사이에 있어서도, 상기한 풀링층 P1과 전체 결합층 F1 사이에서 경로를 추출하는 것과 마찬가지로, 경로를 추출한다.

전체 결합층 F1과 전체 결합층 F2 사이에 대해서는, 구체적으로는, 경로 추출 수단은, 전체 결합층 F1의 복수의 유닛에 의한 처리에 의해 얻어지는 복수의 전체 결합 출력값에서 선택되는 적어도 하나의 전체 결합 출력값과, 전체 결합층 F2의 복수의 유닛에 의한 처리에 의해 얻어지는 복수의 전체 결합 출력값에서 선택되는 적어도 하나의 전체 결합 출력값을 연결하는 경로를 추출한다.

보다 구체적으로는, 경로 추출 수단은, 전체 결합층 F1의 복수의 유닛에 의한 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군(제1 전체 결합 출력값군)에서 선택되는 적어도 하나의 전체 결합 출력값과, 전체 결합층 F2의 복수의 유닛에 의한 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군(제2 전체 결합 출력값군)에서 선택되는 적어도 하나의 전체 결합 출력값을 연결하는 경로를 추출하고, 제1 전체 결합 출력값군과 제2 전체 결합 출력값군 중 적어도 어느 한쪽으로부터 적어도 2개의 값을 선택하고, 해당 2개의 값에는, 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되어 있도록, 경로를 추출한다.

전체 결합층 F2와 전체 결합층 F3 사이에 대해서는, 경로 추출 수단은, 전체 결합층 F2의 복수의 유닛에 의한 처리에 의해 얻어지는 복수의 전체 결합 출력값에서 선택되는 적어도 하나의 전체 결합 출력값과, 전체 결합층 F3의 복수의 유닛에 의한 처리에 의해 얻어지는 복수의 전체 결합 출력값에서 선택되는 적어도 하나의 전체 결합 출력값을 연결하는 경로를 추출한다.

보다 구체적으로는, 경로 추출 수단은, 전체 결합층 F2의 복수의 유닛에 의한 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군(제2 전체 결합 출력값군)에서 선택되는 적어도 하나의 전체 결합 출력값과, 전체 결합층 F3의 복수의 유닛에 의한 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군(제3 전체 결합 출력값군)에서 선택되는 적어도 하나의 전체 결합 출력값을 연결하는 경로를 추출하고, 제2 전체 결합 출력값군과 제3 전체 결합 출력값군 중 적어도 어느 한쪽으로부터 적어도 2개의 값을 선택하고, 해당 2개의 값에는, 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되어 있도록, 경로를 추출한다.

또한, 도 5에 도시하는 컨벌루션 신경망에 있어서는, 풀링층 P1로부터 전체 결합층 F3에 이르기까지의 경로가 결정되면, 그것보다 전단의, 컨벌루션층 C1로부터 풀링층 P1에 이르기까지의 경로가 결정된다.

그러나, 컨벌루션층 C1로부터 풀링층 P1에 이르기까지의 경로가, 전술한 도 3 및 도 4와 같이, 후단의 경로에 의해 결정되지 않는 경로인 경우에는, 경로 추출 수단이, 컨벌루션층 C1과 컨벌루션층 C2 사이 및 컨벌루션층 C2와 풀링층 P1 사이에 있어서도, 상기와 마찬가지로, 경로를 추출해도 된다.

컨벌루션층 C1과 컨벌루션층 C2 사이에 대해서는, 경로 추출 수단은, 컨벌루션층 C1에 의한 처리에 의해 얻어지는 복수의 특징값에서 선택되는 적어도 하나의 특징값과, 컨벌루션층 C2에 의한 처리에 의해 얻어지는 복수의 특징값에서 선택되는 적어도 하나의 특징값을 연결하는 경로를 추출해도 된다.

보다 구체적으로는, 경로 추출 수단은, 컨벌루션층 C1의 복수의 필터에 의한 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군(제1 특징값군)에서 선택되는 적어도 하나의 특징값과, 컨벌루션층 C2의 복수의 필터에 의한 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군(제2 특징값군)에서 선택되는 적어도 하나의 특징값을 연결하는 경로를 추출하고, 제1 특징값군과 제2 특징값군 중 적어도 어느 한쪽으로부터 적어도 2개의 값을 선택하고, 해당 2개의 값에는, 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되어 있도록, 경로를 추출해도 된다.

컨벌루션층 C2와 풀링층 P1 사이에 대해서는, 경로 추출 수단은, 컨벌루션층 C2에 의한 처리에 의해 얻어지는 복수의 특징값에서 선택되는 적어도 하나의 특징값과, 풀링층 P1에 의한 처리에 의해 얻어지는 복수의 특징값에서 선택되는 적어도 하나의 특징값을 연결하는 경로를 추출해도 된다.

보다 구체적으로는, 경로 추출 수단은, 컨벌루션층 C2의 복수의 필터에 의한 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군(제2 특징값군)에서 선택되는 적어도 하나의 특징값과, 풀링층 P1의 복수의 필터에 의한 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군(제3 특징값군)에서 선택되는 적어도 하나의 특징값을 연결하는 경로를 추출하고, 제2 특징값군과 제3 특징값군 중 적어도 어느 한쪽으로부터 적어도 2개의 값을 선택하고, 해당 2개의 값에는, 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되어 있도록, 경로를 추출해도 된다.

본 실시 형태의 화상 분류 프로그램은, 경로 추출 수단이 추출한 경로와, 화상의 분류와 관련지어진 미리 설정된 복수의 설정 경로를 비교하여, 일치하는 경로에 관련지어진 분류를, 상기 입력된 화상의 분류로 하는 판단부로서 기능시킨다.

복수의 설정 경로는, 각각, 예를 들어 분류 1, 분류 2, 분류 3, …이라고 하는 복수의 화상의 분류의 어느 것에 미리 관련지어져 있다.

판단부는, 경로 추출 수단이 추출한 경로와, 복수의 설정 경로를 비교하여, 일치하는 경로에 관련지어진 분류를, 입력된 화상의 분류라고 판단한다.

또한, 경로 추출 수단에서 추출되지 않은 경로에 대해서는, 판단부는, 대상으로 되는 분류에 속하지 않는다고 판단한다.

이어서, 본 실시 형태의 화상 분류 프로그램이 컴퓨터를 기능시키는 경우의 화상 분류 시스템에 대해서 설명한다.

도 10에 도시하는 바와 같이, 본 실시 형태의 화상 분류 시스템(10)은, 컴퓨터의 제어부에 저장된다. 해당 화상 분류 시스템(10)은, 입력부(11)와, 특징량 연산부(13)와, 경로 추출 수단(15)과, 기억부(17)와, 판단부(19)를 구비한다. 또한, 화상 분류 시스템(10)은, 예를 들어 복수의 컴퓨터의 각 제어부에 저장되어 있어도 된다.

특징량 연산부(13)와, 경로 추출 수단(15)과, 판단부(19)는, CPU와 같은 컴퓨터의 제어부에 저장되고, 기억부(17)는 서버, 하드 디스크 등에 저장된다.

입력부(11)는 분류하는 화상의 화상 데이터가 입력되고, 입력된 화상 데이터를 특징량 연산부(13)에 입력하는 기능을 갖는다.

특징량 연산부(13)는, 입력부(11)로부터 입력된 화상 데이터에 대하여, 컨벌루션 신경망에 있어서의 특징량 추출 처리와 전체 결합 처리를 실행하는 기능을 갖는다. 본 실시 형태에서는, 특징량 연산부(13)는, 특징량 추출 처리로서, 컨벌루션 처리와 풀링 처리를 실행한다.

도 5에 도시하는 컨벌루션 신경망에서는, 화상 분류 시스템(10)의 특징량 연산부(13)는, 입력되는 화상 데이터 D(도 5에서는 128×128 화소)를, 예를 들어 래스터 스캔에 의해 소정의 필터(도 5에서는 3개)의 각 소정의 화소 사이즈(도 5에서는 10×10 화소)마다 주사한다. 그리고, 주사한 데이터에 대하여 주지의 컨벌루션 처리를 행하고, 처리 결과 C1(1), C1(2)…를 제1층째의 컨벌루션층 C1의 출력으로 한다(도 5에서는 119×119 화소, 3개의 화상 데이터).

특징량 연산부(13)는, 전계층인 제1층째의 컨벌루션층 C1로부터 입력되는 출력 데이터 C1(1), C1(2), …에 대하여, 각각 소정의 필터(도 5에서는 8개)의 각 소정의 화소 사이즈(도 5에서는 56×56화소)마다 주지의 컨벌루션 처리를 행하고, 처리 결과 C2(1), C2(2)…를 제2층째의 컨벌루션층 C2의 출력 데이터로 한다(도 5에서는 64×64 화소, 8개의 화상 데이터).

특징량 연산부(13)는, 전계층(최종층)인 제2층째의 컨벌루션층 C2로부터 입력되는 출력 데이터 C2(1), C2(2), …에 대하여, 각각 소정의 화소 사이즈(도 5에서는 8×8 화소)마다 주사한다. 그리고, 주사한 데이터에 대하여 주지의 풀링 처리를 행하고, 처리 결과 P1(1), P2(2), …를 제1층째의 풀링층 P1의 출력 데이터로 한다(도 5에서는 8×8 화소, 8개의 화상 데이터). 또한, 도 5에서는, 풀링층 P는 풀링층 P1의 1층만이다.

특징량 연산부(13)는, 전계층(최종층)인 제1층째의 풀링층 P1로부터 입력되는 복수의 출력 데이터 P1(1), P1(2), …에 대하여, 소정의 유닛(도 5에서는 24개)으로 가중 계수를 다르게 하면서 이들의 곱합 연산을 행하는 주지의 전체 결합 처리를 행하고, 처리 결과 F1(1), F1(2), …를 제1층째의 전체 결합층 F1의 출력 데이터로 한다(24개의 데이터).

특징량 연산부(13)는, 전계층인 제1층째의 전체 결합층 F1로부터 입력되는 복수의 출력 데이터 F1(1), F1(2), …에 대하여, 소정의 유닛(도 5에서는 8개)으로 가중 계수를 다르게 하면서 이들의 곱합 연산을 행하는 주지의 전체 결합 처리를 행하고, 처리 결과 F2(1), F2(2), …를 제2층째의 전체 결합층 F2의 출력 데이터로 한다(8개의 데이터).

특징량 연산부(13)는, 전계층인 제2층째의 전체 결합층 F2로부터 입력되는 복수의 출력 데이터 F2(1), F2(2), …에 대하여, 소정의 유닛(도 5에서는 3개)으로 가중 계수를 다르게 하면서 이들의 곱합 연산을 행하는 주지의 전체 결합 처리를 행하고, 처리 결과 F3(1), F3(2), …를 제3층째(최종층)의 전체 결합층 F3의 출력 데이터로 한다(3개의 데이터).

제3층째의 전체 결합층 F3으로부터 출력되는 출력 데이터 F3(1), F3(2)…는, 화상의 분류 결과(여기서는, 클래스 1, 클래스 2, 클래스 3의 3개의 분류)에 대응한다.

경로 추출 수단(15)은 특징량 연산부(13)에서의 처리 결과로부터, 전술한 바와 같이 경로를 추출하는 기능을 갖는다.

기억부(17)는 분류와 관련지어진 미리 설정된 복수의 설정 경로를, 테이블 등의 분류 데이터로서 저장하고 있다.

판단부(19)는 기억부(17)에 저장된 분류 데이터를 읽어들이고, 경로 추출 수단(15)으로부터 추출된 경로를 분류 데이터와 비교하여, 설정 경로와 일치하는 경로에 관련지어진 분류를, 입력된 화상의 분류로 하는 기능을 갖는다.

판단부(19)의 처리 결과는, 표시 장치(20)에 출력된다.

본 실시 형태의 화상 분류 시스템(10)은, 본 실시 형태의 화상 분류 프로그램에 의해, 전술한 바와 같이, 입력되는 화상 데이터에 대하여, 특징량 연산부(13)에 의한 특징량 추출 처리 및 전체 결합 처리와, 경로 추출 수단(15)에 의한 경로 추출 처리와, 입력된 화상의 분류 처리를 실행한다.

그리고, 화상 분류 시스템(10)은, 전술한 본 실시 형태의 화상 분류 프로그램에 의해, 상기 컨벌루션 신경망과, 상기 경로 추출 수단과, 판단부로서 기능하고, 상기 처리를 실행한다.

상기한 바와 같이, 본 실시 형태의 화상 분류 프로그램은,

입력된 화상을 분류하기 위한 프로그램이며,

적어도 하나의 컴퓨터를,

로서 기능시킨다.

이러한 구성에 따르면, 상기 네트워크에 있어서의 처리 경로를 추출하고, 추출한 추출 경로와, 분류와 관련지어진 미리 설정된 복수의 설정 경로를 비교하여, 일치하는 경로에 관련지어진 분류를, 입력된 화상의 분류라고 판단하는 것이 가능해진다.

이에 의해, 충분히 고정밀도로 분류하는 것이 가능하게 된다.

본 실시 형태의 화상 분류 프로그램에 있어서는,

이러한 구성에 따르면, 경로 추출 수단이, 네트워크에 있어서의 특징량 추출 처리에 의해 얻어지는 복수의 특징값에서 선택되는 적어도 하나의 특징값과, 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값에서 선택되는 적어도 하나의 전체 결합 출력값을 연결하는 경로를 추출하고, 선택되는 특징값 및 선택되는 전체 결합 출력값의 적어도 한쪽에는, 최댓값이 포함되어 있음으로써, 보다 충분히 고정밀도로 화상을 분류하는 것이 가능하게 된다.

본 실시 형태의 화상 분류 프로그램에 있어서는,

이러한 구성에 따르면, 경로 추출 수단이, 특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 적어도 하나의 특징값과, 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 적어도 하나의 전체 결합 출력값을 연결하는 경로를 추출하고, 특징값군과 전체 결합 출력값군 중 적어도 어느 한쪽으로부터 적어도 2개의 값을 선택하고, 해당 2개의 값에는, 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되어 있음으로써, 더욱더 충분히 고정밀도로 화상을 분류하는 것이 가능하게 된다.

상기한 본 실시 형태의 화상 분류 프로그램을 실행시키는 화상 분류 시스템(10)은, 여러 장치에 적용되고, 적용되는 장치는, 특별히 한정되는 것이 아니다.

예를 들어, 화상 분류 시스템(10)은, 하기와 같이, 검사 장치에 적용될 수 있다.

도 11에 도시한 바와 같이, 본 실시 형태의 검사 장치(1)는, 피검사물(50)의 결함을 검사하는 검사 장치(1)이고,

상기 피검사물(50)을, 화상 데이터 D로서 촬상 가능한 촬상부(3)와,

상기 촬상부(3)에 의해 촬상된 상기 화상 데이터 D에 기초하여 상기 결함을 분류하는 분류부(40)를 구비하고,

상기 분류부(40)가, 본 실시 형태의 화상 분류 시스템(10)을 구비하고, 해당 화상 분류 시스템(10)에 의해 상기 결함을 분류하도록 구성되어 있다.

피검사물은, 특별히 한정되는 것이 아니다. 예를 들어, 피검사물(50)로서, 예를 들어 시트를 들 수 있다. 시트로서, 예를 들어 광학 필름, 차열 필름, 단열 필름, UV 컷 필름 등을 들 수 있다. 시트로서, 예를 들어 기재와, 해당 기재에 적층된 점착제층을 갖는 점착 테이프 등도 들 수 있다. 해당 점착 테이프로서는, 상기 기재의 한쪽 면에만 점착제층이 적층되어 이루어지는 점착 테이프나, 상기 기재의 양면에 점착제층이 적층되어 이루어지는 점착 테이프 등을 들 수 있다.

촬상부(3)는 피검사물(50)을, 화상 데이터로서 촬상 가능한 것이다.

촬상부(3)는 피검사물(50)을, 화상 데이터로서 촬상 가능하다면, 특별히 한정되지 않는다.

촬상부(3)로서는, 예를 들어 카메라를 들 수 있다.

피검사물(50)의 결함은, 소정의 형상을 갖는 화상으로서 촬상부(3)에 의해 촬상 가능한 것이면, 특별히 한정되는 것이 아니다.

예를 들어, 피검사물(50)이 시트인 경우에는, 주름(요철), 수축, 점 형상 결함 등을 들 수 있다.

본 실시 형태의 검사 장치(1)에 있어서는, 촬상부(3)에 의해 피검사물(50)이 화상 데이터로서 촬상되고, 얻어진 화상 데이터가, 화상 분류 시스템(10)에 의해 분류됨으로써, 피검사물(50)에 포함되는 결함이 분류된다.

예를 들어, 피검사물(50) 중 결함이, 분류 1(예를 들어, 시트의 주름(요철)), 분류 2(예를 들어, 시트의 수축), 분류 3(예를 들어, 점 형상 결함)의 어느 것으로, 분류된다.

또한, 본 실시 형태의 화상 분류 프로그램에서 사용되는, 경로 추출용의 분류 데이터는, 예를 들어 하기의 프로그램에 의해 작성된다.

이어서, 본 실시 형태의 분류 데이터 작성 프로그램에 대해서 설명한다.

본 실시 형태의 분류 데이터 작성 프로그램은,

적어도 하나의 컴퓨터를,

으로서 기능시킨다.

본 실시 형태의 분류 작성용 프로그램으로 분류되는 화상으로서는, 해당 화상 중에 분류의 대상물이 포함되어 있으면 되고, 특별히 한정되지 않는다.

입력된 화상 데이터에 대하여 특징량 추출 처리와 전체 결합 처리를 실행하도록 구축되는 네트워크로서는, 전술한 컨벌루션 신경망을 들 수 있다.

본 실시 형태의 분류 데이터 작성 프로그램은, 컴퓨터를, 설정 경로로서 추출하는 설정 경로 추출 수단과, 추출한 설정 경로와 화상을 분류하기 위한 분류를 관련짓는 관련 지음 수단으로서 기능시킨다.

설정 경로 추출 수단은, 상기 네트워크에 있어서의 상기 특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 적어도 하나의 특징값과, 상기 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 적어도 하나의 전체 결합 출력값이며, 상기 특징값군과 상기 전체 결합 출력값군 중 적어도 어느 한쪽에서 선택되는 값에는 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되도록 선택되는 특징값과 전체 결합 출력값을 연결하는 경로를 설정 경로로서 추출한다.

여기서, 특징값은, 각 필터에 의해 얻어지는 특징량에 포함되는 값 중, 동 계층의 다른 필터에 의해 얻어지는 특징량과 비교할 수 있는 대표적인 값이며, 해당 특징값으로서는, 최댓값 또는, 평균값이나 중간값 등을 들 수 있다.

이러한 설정 경로로서는, 예를 들어 도 6, 도 9에 굵은 선으로 나타내는 바와 같이,

등을 들 수 있다.

또한, 이 외에, 상기 설정 경로로서는, 예를 들어 도 7에 굵은 선으로 나타내는 바와 같이,

등도 들 수 있다.

또한, 이 외에, 상기 설정 경로로서는, 예를 들어 도 8에 굵은 선으로 나타내는 바와 같이,

등도 들 수 있다.

예를 들어, 도 6 내지 도 9에 있어서는, 설정 경로 추출 수단은, 풀링층 P1의 복수의 필터에 의한 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 적어도 하나의 특징값과, 전체 결합층 F1의 복수의 유닛에 의한 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 적어도 하나의 전체 결합 출력값이며, 상기 특징값군과 상기 전체 결합 출력값군 중 적어도 어느 한쪽에서 선택되는 값에는 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되도록 선택되는 특징값과 전체 결합 출력값을 연결하는 경로를, 예를 들어 상기와 같은 설정 경로로서 추출한다.

이에 더하여, 본 실시 형태에서는, 도 6 내지 도 9에 굵은 선으로 나타내는 바와 같이, 설정 경로 추출 수단은, 전체 결합층 F 중 전체 결합층 F1과 전체 결합층 F2 사이 및 전체 결합층 F2와 전체 결합층 F3 사이에 있어서도, 상기한 풀링층 P1과 전체 결합층 F1 사이에서 설정 경로를 추출하는 것과 마찬가지로, 설정 경로를 추출한다.

전체 결합층 F1과 전체 결합층 F2 사이에 대해서는, 설정 경로 추출 수단은, 전체 결합층 F1의 복수의 유닛에 의한 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군(제1 전체 결합 출력값군)에서 선택되는 적어도 하나의 특징값과, 전체 결합층 F2의 복수의 유닛에 의한 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군(제2 전체 결합 출력값군)에서 선택되는 적어도 하나의 전체 결합 출력값이며, 상기 특징값군과 상기 전체 결합 출력값군 중 적어도 어느 한쪽에서 선택되는 값에, 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되어 있도록, 설정 경로를 추출한다.

전체 결합층 F2와 전체 결합층 F3 사이에 대해서는, 설정 경로 추출 수단은, 전체 결합층 F2의 복수의 유닛에 의한 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군(제2 전체 결합 출력값군)에서 선택되는 적어도 하나의 특징값과, 전체 결합층 F3의 복수의 유닛에 의한 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군(제3 전체 결합 출력값군)에서 선택되는 적어도 하나의 전체 결합 출력값이며, 상기 특징값군과 상기 전체 결합 출력값군 중 적어도 어느 한쪽에서 선택되는 값에, 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되어 있도록, 설정 경로를 추출한다.

또한, 설정 경로 추출 수단이, 이 외의 경로를 추출해도 되는 것은, 말할 필요도 없다.

또한, 도 5에 도시하는 컨벌루션 신경망에 있어서는, 풀링층 P1로부터 전체 결합층 F3에 이르기까지의 설정 경로가 결정되면, 그것보다 전단인, 컨벌루션층 C1로부터 풀링층 P1에 이르기까지의 설정 경로가 결정된다.

그러나, 컨벌루션층 C1로부터 풀링층 P1에 이르기까지의 설정 경로가, 전술한 도 3 및 도 4와 같이, 후단의 설정 경로에 의해 결정되지 않는 경로인 경우에는, 설정 경로 추출 수단이, 컨벌루션층 C1과 컨벌루션층 C2 사이 및 컨벌루션층 C2와 풀링층 P1 사이에 있어서도, 상기와 마찬가지로, 설정 경로를 추출해도 된다.

컨벌루션층 C1과 컨벌루션층 C2 사이에 대해서는, 설정 경로 추출 수단은, 컨벌루션층 C1의 복수의 필터에 의한 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군(제1 특징값군)에서 선택되는 적어도 하나의 특징값과, 컨벌루션층 C2의 복수의 필터에 의한 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군(제2 특징값군)에서 선택되는 적어도 하나의 특징값이며, 상기 제1 특징값군과 상기 제2 특징값군 중 적어도 어느 한쪽에서 선택되는 값에는 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되어 있도록, 설정 경로를 추출해도 된다.

컨벌루션층 C2와 풀링층 P2 사이에 대해서는, 설정 경로 추출 수단은, 컨벌루션층 C2의 복수의 필터에 의한 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군(제2 특징값군)에서 선택되는 적어도 하나의 특징값과, 풀링층 P1의 복수의 필터에 의한 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군(제3 특징값군)에서 선택되는 적어도 하나의 특징값이며, 상기 제2 특징값군과 상기 제3 특징값군 중 적어도 어느 한쪽에서 선택되는 값에, 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되어 있도록, 설정 경로를 추출해도 된다.

관련 지음 수단은, 설정 경로 추출 수단이 추출한 설정 경로와 화상을 분류하기 위한 분류를 관련짓는다.

관련 지음 수단에 의해, 복수의 설정 경로는, 각각, 예를 들어 분류 1, 분류 2, 분류 3, …이라고 하는 복수의 화상의 분류의 어느 것에 미리 관련지어진다. 또한, 이 관련 지음에 의해, 분류 데이터가 작성된다.

이어서, 본 실시 형태의 프로그램이 컴퓨터를 기능시키는 경우의 분류 데이터 작성 시스템에 대해서 설명한다.

도 12에 도시하는 바와 같이, 본 실시 형태의 분류 데이터 작성 시스템(30)은, 컴퓨터의 제어부에 저장된다. 해당 분류 데이터 작성 시스템(30)은, 입력부(31)와, 특징량 연산부(33)와, 설정 경로 추출 수단(35)과, 관련 지음부(37)와, 기억부(39)를 구비한다.

특징량 연산부(33)와, 설정 경로 추출 수단(35)과, 관련 지음부(37)는, 컴퓨터의 CPU 등의 제어부에 저장되고, 기억부는 서버, 하드 디스크 등에 저장된다.

입력부(31)는, 분류하는 화상의 화상 데이터가 입력되고, 입력된 화상 데이터를 특징량 연산부(33)에 입력하는 기능을 갖는다.

특징량 연산부(33)는, 입력부(31)로부터 입력된 화상 데이터에 대하여, 컨벌루션 신경망에 있어서의 특징량 추출 처리와 전체 결합 처리를 실행하는 기능을 갖는다. 본 실시 형태에서는, 특징량 연산부(33)는, 특징량 추출 처리로서, 컨벌루션 처리와 풀링 처리를 실행한다.

본 실시 형태에서는, 특징량 연산부(33)는, 전술한 특징량 연산부(13)와 마찬가지 기능을 갖고, 마찬가지 처리를 실행한다.

설정 경로 추출 수단(35)은, 특징량 연산부(33)에서의 처리 결과로부터, 전술한 바와 같이 설정 경로를 추출하는 기능을 갖는다.

관련 지음부(37)는, 설정 경로 추출 수단(35)에 의해 추출된 설정 경로를, 전술한 분류와 관련지어서 분류 데이터를 작성하는 기능을 갖는다.

기억부(39)는, 작성된 분류 데이터를, 테이블 등으로서 기억한다.

본 실시 형태의 분류 데이터 작성 시스템(30)은, 본 실시 형태의 분류 데이터 작성 프로그램에 의해, 전술한 바와 같이, 입력되는 화상 데이터에 대하여, 특징량 연산부(33)에 의한 특징량 추출 처리 및 전체 결합 처리와, 설정 경로 추출 수단(35)에 의한 설정 경로 추출 처리와, 관련 지음부(37)에 의한 설정 경로와 분류의 관련 지음과, 기억부(39)에 의한 분류 데이터의 기억을 실행한다.

상기한 바와 같이, 본 실시 형태의 분류 데이터 작성용 프로그램은,

화상 분류 장치용 분류 데이터를 작성하는 분류 데이터 작성 프로그램이며,

적어도 하나의 컴퓨터를,

으로서 기능시킨다.

이러한 구성에 따르면, 네트워크에 있어서의 특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 적어도 하나의 특징값과, 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 적어도 하나의 전체 결합 출력값이며, 특징값군과 전체 결합 출력값군 중 적어도 어느 한쪽에서 선택되는 값에는 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되도록 선택되는 특징값과 전체 결합 출력값을 연결하는 경로를 설정 경로로서 추출하고, 추출한 설정 경로와 화상을 분류하기 위한 분류를 관련짓는 것이 가능하게 된다.

이에 의해, 충분히 고정밀도로 화상을 분류하는 것이 가능한 분류 데이터가 얻어진다.

따라서, 이 분류 데이터를 사용함으로써, 충분히 고정밀도로 화상을 분류하는 것이 가능하게 된다.

이어서, 본 실시 형태의 분류용 데이터 작성 프로그램이 기능시키는 분류 데이터 작성 시스템을 사용한 분류 데이터 작성 방법에 대해서 설명한다.

본 실시 형태의 분류 데이터 작성 방법은, 상기한 본 실시 형태의 분류 데이터 작성 시스템을 사용해서 실시된다.

구체적으로는, 본 실시 형태의 분류 데이터 작성 방법은,

화상 분류 장치용 분류 데이터를 작성하는 방법이며,

네트워크 처리 공정에서는, 전술한 특징량 추출 수단 및 전체 결합 처리 수단에 의해, 특징량 추출 처리 및 전체 결합 처리를 실시한다.

설정 경로 추출 공정에서는, 전술한 설정 경로 추출 수단에 의해, 전술한 바와 같이 설정 경로를 추출한다.

관련 지음 공정에서는, 전술한 관련 지음 수단에 의해, 전술한 바와 같이 추출한 설정 경로와 화상을 분류하기 위한 분류를 관련지어서 분류 데이터를 작성한다.

이러한 본 실시 형태의 분류 데이터 작성 방법에 의하면, 네트워크에 있어서의 특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 적어도 하나의 특징값과, 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 적어도 하나의 전체 결합 출력값이며, 특징값군과 전체 결합 출력값군 중 적어도 어느 한쪽에서 선택되는 값에는 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되도록 선택되는 특징값과 전체 결합 출력값을 연결하는 경로를 설정 경로로서 추출하고, 추출한 설정 경로와 화상을 분류하기 위한 분류를 관련짓는 것이 가능하게 된다.

이상과 같이, 본 실시 형태에 따르면, 충분히 고정밀도로 분류하는 것이 가능한 화상 분류 프로그램, 분류 데이터 작성 프로그램 및 분류 데이터 작성 방법이 제공된다.

본 실시 형태의 화상 분류 프로그램, 분류 데이터 작성 프로그램 및 분류 데이터 작성 방법은 상기한 바와 같지만, 본 발명은, 상기 실시 형태에 한정되는 것이 아니고, 적절히 설계 변경 가능하다.

이하, 본 발명에 대해서, 실시예를 참조하면서 보다 상세하게 설명하지만, 본 발명은 이들 실시예에 한정되는 것은 아니다.

실시예

화상 데이터로서, 시트를 촬상한 화상 데이터를 사용하고, 화상을 하기의 결함 중 어느 것으로 분류하기 위해, 도 10에 도시하는 바와 같은 화상 분류 시스템에 있어서, 교육용 데이터를 사용하여, 도 5에 도시한 바와 같은 특징량 추출 처리 및 전체 결합 처리를 실행하는 컨벌루션 신경망을 구축했다.

분류(Class) 1: 주름(요철)

분류(Class) 2: 수축

분류(Class) 3: 점 형상 결함

교육용 데이터로서는, 클래스 1의 결함을 갖는 996매의 화상 데이터, 클래스2의 결함을 갖는 1000매의 화상 데이터, 클래스 3의 결함을 갖는 144매의 화상 데이터를 사용했다.

그리고, 교육용 데이터와는 별도로 준비한, 분류 1의 결함을 갖는 500매의 화상 데이터, 분류 2의 결함을 갖는 4802매의 화상 데이터, 분류 3의 결함을 갖는 298매의 화상 데이터를 평가용 화상 데이터로 하고, 이들 평가용 화상 데이터에 대해서, 구축한 컨벌루션 신경망을 사용해서 분류를 행하고, 분류 정밀도를 조사했다.

(비교예 1)

구축한 컨벌루션 신경망에 있어서, 풀링층 P1에 의한 풀링 처리로부터 전체 결합층 F3에 의한 전체 결합 처리까지의 모든 경로를 지나는 경로에서, 각 처리를 실행하여, 최종적으로 전체 결합층 F3에 의한 전체 결합 처리를, 분류(Class) 1 내지 3의 상관값(3개의 합계가 1이 되는 상관값)으로서 출력했다.

결과를 표 1에 나타낸다.

표 1에 있어서, 역치를 0.5로 하고, 다시, 평가용 데이터에 대해서 분류 처리를 행하면, 클래스 2가 못보고 놓친 화상 데이터(본래는 클래스 2로 분류되어야 하는데, 클래스 2로 분류되지 않은 화상 데이터)는, 4802매 중, 9매이고, 분류 정밀도는 99.43%였다.

(실시예 1)

구축한 컨벌루션 신경망에 있어서, 분류 1 내지 3의 각 교육용 데이터를 사용해서 특징량 추출 처리 및 전체 결합 처리를 각각 1회 실행하고, 각 분류의 교육 데이터를 사용했을 때의 특징량 추출 처리의 특징값의 최댓값과 전체 결합 처리의 전체 결합 출력값의 최댓값을 연결하는 경로를 설정 경로로서 추출하고, 추출된 경로와, 대응하는 각 분류를 각각 관련지어서 분류 데이터로 하였다.

보다 구체적으로는, 전술한 도 6에 굵은 선으로 나타내는 바와 같이, 각 분류 1 내지 3에 대해서, 풀링층 P1에 의한 처리에 의해 얻어진 복수의 특징값(특징값군) 중 최댓값과, 전체 결합층 F1에 의한 처리에 의해 얻어진 복수의 전체 결합 출력값(전체 결합 출력값군) 중 최댓값을 연결하고, 또한 전체 결합층 F1에 의한 처리에 의해 얻어진 복수의 전체 결합 출력값(전체 결합 출력값군) 중 최댓값과, 전체 결합층 F2에 의한 처리에 의해 얻어진 복수의 전체 결합 출력값(전체 결합 출력값군) 중 최댓값을 연결하는 경로를, 설정 경로로서 추출했다.

이와 같이 해서 얻어진 분류 데이터를, 화상 분류 시스템의 기억부에 저장했다.

또한, 도 5에서는, 컨벌루션층 C1은, 최초의 컨벌루션층이기 때문에, 분류간에서의 특징량의 차이는 없고, 또한 컨벌루션층 C1, 컨벌루션층 C2, 풀링층 P1에서는, 동일한 경로를 지나는 것이 명백하고, 전체 결합층 F3은, 최종의 층이기 때문에, 이들 층 C1, C2, P1, F3을 연결하는 경로에서는, 층 P1, 층 F1, 층 F2를 연결하는 경로가 결정되면, 그에 따라 경로가 결정되게 된다.

이 점에서는, 추출된 설정 경로는, 특징 추출 처리의 모든 각 처리의 최댓값을 연결하는 경로에 상당한다.

이와 같이 최댓값을 연결하는 경로를, 하기 식 (1)과 같이 정의했다. 하기 식 (1)에 있어서, MAX()는, 최댓값이 되는 필터 번호(처리 번호) 및 유닛 번호(처리 번호)를 나타낸다.

Route=[Max(C1), Max(C2), Max(P1), Max(F1), Max(F2), Max(F3)] (1)

예를 들어, 도 5의 굵은 선으로 나타내는 경로는, Route [1,2,2,3,2,1]이고, 이것은, 층 C1(1), 층 C2(2), 층 P1(1), 층 F1(3), 층 F2(2), 층 F3(1)을 지나는 경로인 것을 나타낸다.

그리고, 화상 분류 시스템에 평가용 화상 데이터를 입력하고, 특징량 추출 처리 및 전체 결합 처리를 실행하여, 입력한 평가용 화상 데이터가, 분류 1 내지 3의 어느 것으로 분류되는지를 조사했다.

결과를 도 13에 나타낸다. 도 13에서는, 횡축에 Route의 패턴, 종축에 도수를 나타낸다.

또한, 도 13의 횡축 중, F1층에서는, 상단을 10의 위치, 하단을 1의 위치로서 나타냈다.

또한, 도 13에 있어서, 각 층의 필터 및 유닛에서의 처리 결과의 값이 제로인 경우에는, 식별 번호를 「0」으로 하였다. 즉, 어느 필터 및 유닛도 활성화되어 있지 않고, 이것은, 어느 필터 및 유닛을 지나서도 차이가 없는 것을 의미한다.

도 13에 도시하는 바와 같이, 경로는 28패턴 존재하고, 각 분류마다 특정한 경로를 더듬어 가는 것이 확인되었다.

또한, 층 P1로부터 층 F2에 이르는 경로 중, Route[2,13,3], Route[4,21,3] 및 Route[4,21,3]에서는, 분류 1과 분류 3이 동일한 경로를 더듬어 가는 것을 알 수 있다.

그래서, 이 중복에 의한 못보고 놓치는 것을 억제하기 위해, 상기 28개의 경로 중, 분류 1뿐이라고 판정된 경로를 분류 1에 관련지어진 설정 경로로 하고, 분류 3뿐이라고 판정된 경로를 분류 3에 관련지어진 설정 경로로 하고, 그 이외의 경로를, 분류 2에 관련지어진 설정 경로로 하였다.

이와 같이 결정된 분류 데이터를 기억부에 저장하고, 화상 분류 시스템에 의해, 평가용 데이터에 대해서, 다시, 특징량 추출 처리 및 상기 식별 처리를 실행하여, 입력한 평가용 화상 데이터가, 분류 1 내지 3의 어느 것으로 분류되는지를 조사했다.

그 결과, 분류 2로 분류되어야 할 화상 데이터 4802매 중, 못보고 놓친 화상 데이터는 4매였다.

또한 상기한 층 P1로부터 층 F2에 이르는 경로의 각 최댓값을 연결하는 경로에 더하여, 층 P1로부터 층 F2 중 층 F1, 층 F2에 대해서는 최댓값을 연결하고, 층 P1에 대해서는 제2 위치 및 제3 위치의 값을 각각 연결하도록 상기 층 P1로부터 층 F2에 이르는 경로도 설정했다. 그 결과, 못보고 놓친 화상 데이터는 제로가 되었다. 그때의 분류 정밀도는, 98.88%였다. 즉, 비교예 1과 분류 정밀도가 동일 정도이면서도, 못보고 놓치는 것이 발생하지 않고(못보고 놓친 것이 제로이고) 분류를 행하는 것이 가능하게 되었다.

(실시예 2)

구축한 컨벌루션 신경망에 있어서, 분류 1 내지 3의 각 교육용 데이터를 사용해서 특징량 추출 처리 및 전체 결합 처리를 각각 1회 실행하고, 각 분류의 교육 데이터를 사용했을 때의 특징량 추출 처리의 최댓값 및 제2 위치의 값과, 전체 결합 처리의 최댓값을 각각 연결하는 경로를 추출하고, 추출된 경로와, 대응하는 각 분류를 관련지어서 설정 경로로 하였다.

구체적으로는, 전술한 도 7에 굵은 선으로 나타내는 바와 같이, 각 분류 1 내지 3에 대해서, 풀링층 P1에 의한 처리에 의해 얻어진 복수의 특징값(특징값군) 중 최댓값 및 제2 위치의 값과, 전체 결합층 F1에 의한 처리에 의해 얻어진 복수의 전체 결합 출력값(전체 결합 출력값군) 중 최댓값을 각각 연결하고, 또한 전체 결합층 F1에 의한 처리에 의해 얻어진 복수의 전체 결합 출력값(전체 결합 출력값군) 중 최댓값과 전체 결합층 F2에 의한 처리에 의해 얻어진 복수의 전체 결합 출력값(전체 결합 출력값군)의 최댓값을 연결하는 경로를, 설정 경로로서 추출했다.

그 이외는, 실시예 1과 마찬가지로 하여, 화상 분류 시스템에 평가용 화상 데이터를 입력하고, 특징량 추출 처리 및 전체 결합 처리를 실행하여, 입력한 평가용 화상 데이터가, 분류 1 내지 3의 어느 것으로 분류되는지를 조사했다.

결과를 도 14에 도시한다.

(실시예 3)

구축한 컨벌루션 신경망에 있어서, 분류 1 내지 3의 각 교육용 데이터를 사용해서 특징량 추출 처리 및 전체 결합 처리를 각각 1회 실행하고, 각 분류의 교육 데이터를 사용했을 때의 특징량 추출 처리의 특징값의 최댓값과, 전체 결합 처리의 전체 결합 출력값의 최댓값 및 제2 위치의 값을 경로를 추출하고, 추출된 경로와, 대응하는 각 분류를 관련지어서 설정 경로로 하였다.

구체적으로는, 전술한 도 8에 굵은 선으로 나타내는 바와 같이, 각 분류 1 내지 3에 대해서, 풀링층 P1에 의한 처리에 의해 얻어진 복수의 특징값(특징값군) 중 최댓값과 전체 결합층 F1에 의한 처리에 의해 얻어진 복수의 전체 결합 출력값(전체 결합 출력값군) 중 최댓값 및 제2 위치의 값을 각각 연결하고, 또한 전체 결합층 F1에 의한 처리에 의해 얻어진 복수의 전체 결합 출력값(전체 결합 출력값군) 중 최댓값 및 제2 위치의 값과 전체 결합층 F2에 의한 처리에 의해 얻어진 복수의 전체 결합 출력값(전체 결합 출력값군) 중 최댓값을 각각 연결하는 경로를, 설정 경로로서 추출했다.

결과를 도 15에 도시한다.

(실시예 4)

구축한 컨벌루션 신경망에 있어서, 분류 1 내지 3의 각 교육용 데이터를 사용해서 특징량 추출 처리 및 전체 결합 처리를 각각 1회 실행하고, 각 분류의 교육 데이터를 사용했을 때의 특징량 추출 처리의 특징값의 최댓값과, 전체 결합 처리의 전체 결합 출력값의 최댓값 및 제2 위치의 값을 각각 연결하는 경로를 추출하고, 추출된 경로와, 대응하는 각 분류를 관련지어서 설정 경로로 하였다.

구체적으로는, 전술한 도 9에 굵은 선으로 나타내는 바와 같이, 각 분류 1 내지 3에 대해서, 풀링층 P1에 의한 처리에 의해 얻어진 복수의 특징값(특징값군) 중 최댓값과 전체 결합층 F1에 의한 처리에 의해 얻어진 복수의 전체 결합 출력값(전체 결합 출력값군) 중 최댓값을 연결하고, 또한 전체 결합층 F1에 의한 처리에 의해 얻어진 복수의 전체 결합 출력값(전체 결합 출력값군) 중 최댓값과 전체 결합층 F2에 의한 처리에 의해 얻어진 복수의 전체 결합 출력값(전체 결합 출력값군)의 최댓값 및 제2 위치의 값을 각각 연결하는 경로를, 설정 경로로서 추출했다.

결과를 도 16에 나타낸다.

도 13 내지 도 16에 도시하는 바와 같이, 실시예 1보다, 실시예 2 내지 4쪽이, 복수의 분류로 분류되는 경로가 감소했다.

이상과 같이 본 발명의 실시 형태 및 실시예에 대해서 설명을 행하였지만, 각 실시 형태 및 실시예의 특징을 적절히 조합하는 것도 당초부터 예정되어 있다. 또한, 금회 개시된 실시 형태 및 실시예는 모든 점에서 예시이며 제한적인 것이 아니라고 생각되어야 한다. 본 발명의 범위는 상기한 실시 형태 및 실시예가 아니고 특허 청구 범위에 의해 나타나며, 특허 청구 범위와 균등한 의미 및 범위 내에서의 모든 변경이 포함되는 것이 의도된다.

1 : 검사 장치
3 : 촬상부
10 : 화상 분류 시스템
11 : 입력부
13 : 특징량 연산부
15 : 경로 추출 수단
17 : 기억부
19 : 판단부
30 : 분류 데이터 작성 시스템
31 : 입력부
33 : 특징량 연산부
35 : 설정 경로 추출 수단
37 : 관련 지음부
39 : 기억부
50 : 피검사물

Claims

입력된 화상을 분류하기 위한 프로그램이며,
적어도 하나의 컴퓨터를,
입력된 화상 데이터에 대하여 특징량 추출 처리와 전체 결합 처리를 실행하도록 구축되는 네트워크,
상기 네트워크에 있어서의 처리 경로를 추출하는 경로 추출 수단 및
상기 경로 추출 수단에서 추출한 추출 경로와, 분류와 관련지어진 미리 설정된 복수의 설정 경로를 비교하여, 일치하는 경로에 관련지어진 분류를, 상기 입력된 화상의 분류로 하는 판단부
로서 기능시키는,
화상 분류 프로그램.
제1항에 있어서, 상기 경로 추출 수단은, 상기 네트워크에 있어서의 상기 특징량 추출 처리에 의해 얻어지는 복수의 특징값에서 선택되는 적어도 하나의 특징값과, 상기 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값에서 선택되는 적어도 하나의 전체 결합 출력값을 연결하는 경로를 추출하는 수단이고,
상기 선택되는 특징값 및 상기 선택되는 전체 결합 출력값의 적어도 한쪽에는, 최댓값이 포함되어 있는, 화상 분류 프로그램.
제1항에 있어서, 상기 경로 추출 수단은, 상기 특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 적어도 하나의 특징값과, 상기 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 적어도 하나의 전체 결합 출력값을 연결하는 경로를 추출하는 수단이고,
상기 특징값군과 상기 전체 결합 출력값군 중 적어도 어느 한쪽으로부터 적어도 2개의 값을 선택하고,
해당 2개의 값에는, 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되어 있는, 화상 분류 프로그램.
제2항에 있어서, 상기 경로 추출 수단은, 상기 특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 적어도 하나의 특징값과, 상기 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 적어도 하나의 전체 결합 출력값을 연결하는 경로를 추출하는 수단이고,
상기 특징값군과 상기 전체 결합 출력값군 중 적어도 어느 한쪽으로부터 적어도 2개의 값을 선택하고,
해당 2개의 값에는, 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되어 있는, 화상 분류 프로그램.
화상 분류 장치용의 분류 데이터를 작성하는 분류 데이터 작성 프로그램이며,
적어도 하나의 컴퓨터를,
입력된 화상 데이터에 대하여 특징량 추출 처리와 전체 결합 처리를 실행하도록 구축되는 네트워크,
상기 네트워크에 있어서의 상기 특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 적어도 하나의 특징값과, 상기 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 적어도 하나의 전체 결합 출력값이며, 상기 특징값군과 상기 전체 결합 출력값군 중 적어도 어느 한쪽에서 선택되는 값에는 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되도록 선택되는 특징값과 전체 결합 출력값을 연결하는 경로를 설정 경로로서 추출하는 설정 경로 추출 수단 및
추출한 설정 경로와 화상을 분류하기 위한 분류를 관련짓는 관련 지음 수단
으로서 기능시키는,
분류 데이터 작성 프로그램.
화상 분류 장치용의 분류 데이터를 작성하는 방법이며,
입력된 화상 데이터에 대하여 특징량 추출 처리와 전체 결합 처리를 실행하는 네트워크 처리 공정과,
상기 네트워크 처리 공정에서의 상기 특징량 추출 처리에 의해 얻어지는 복수의 특징값을 포함하는 특징값군에서 선택되는 적어도 하나의 특징값과, 상기 전체 결합 처리에 의해 얻어지는 복수의 전체 결합 출력값을 포함하는 전체 결합 출력값군에서 선택되는 적어도 하나의 전체 결합 출력값이며, 상기 특징값군과 상기 전체 결합 출력값군 중 적어도 어느 한쪽에서 선택되는 값에는 선택원의 값군에 포함되는 복수의 값 중 최댓값이 포함되도록 선택되는 특징값과 전체 결합 출력값을 연결하는 경로를 설정 경로로서 추출하는 설정 경로 추출 공정과,
추출한 설정 경로와 화상을 분류하기 위한 분류를 관련짓는 관련 지음 공정을 포함하는,
분류 데이터 작성 방법.