KR102027107B1

KR102027107B1 - 네트워크 구축 장치 및 네트워크 구축 방법

Info

Publication number: KR102027107B1
Application number: KR1020197008947A
Authority: KR
Inventors: 도시사다 마리야마; 구니히코 후쿠시마; 와타루 마츠모토
Original assignee: 미쓰비시덴키 가부시키가이샤
Priority date: 2016-10-03
Filing date: 2016-10-03
Publication date: 2019-10-01
Also published as: US11373110B2; CN109804386A; WO2018066032A1; JP6150964B1; US20190251399A1; JPWO2018066032A1; DE112016007312T5; TW201814595A; TWI643138B; KR20190039329A

Abstract

소자 구축부(13)가, 출력치 산출부(12)에 의해 산출된 중간층(2)에 포함되어 있는 1개 이상의 소자의 출력치와 임계치를 비교하고, 중간층(2)에 포함되어 있는 1개 이상의 소자의 출력치 중, 어느 하나의 출력치가 임계치보다 크면, 중간층(2)에 포함되어 있는 소자의 수를 유지하고, 중간층(2)에 포함되어 있는 1개 이상의 소자의 출력치의 모두가 임계치 이하이면, 중간층(2)에 포함되어 있는 소자의 수를 늘리도록 구성한다.

Description

네트워크 구축 장치 및 네트워크 구축 방법

본 발명은, 뉴럴 네트워크를 구축하는 네트워크 구축 장치 및 네트워크 구축 방법에 관한 것이다.

뉴럴 네트워크는, 입력층, 중간층 및 출력층이 종속(縱續)으로 접속되어 있는 네트워크이다.

뉴럴 네트워크는, 사전에 입력 데이터와 출력 데이터의 상관 관계를 학습함으로써, 임의의 입력 데이터가 주어졌을 때에, 임의의 입력 데이터에 대응하는 출력 데이터를 예측하는 근사 함수의 일종이다.

중간층에 포함되는 소자의 수 등의 뉴럴 네트워크의 구조는, 뉴럴 네트워크의 설계자에 의해 수동으로 결정되는 일이 많지만, 뉴럴 네트워크를 숙지하고 있지 않은 설계자는, 뉴럴 네트워크의 구조를 적정하게 결정하는 것이 곤란하다.

이하의 비특허문헌 1에는, AiS(Add if Silent)라 불리고 있는 수법을 이용하여, 뉴럴 네트워크의 구조를 자동적으로 결정하는 네트워크 구축 방법이 개시되어 있다.

이 뉴럴 네트워크는, 네오코그니트론이라 불리는 생물의 시각 정보 처리를 모방한 뉴럴 네트워크이고, 이 뉴럴 네트워크의 중간층에 포함되는 소자는, 입출력 응답이 정규화 선형 함수로 결정되는 소자이다.

비특허문헌 1 : Fukushima, K. : "Artificial vision by multi-layered neural networks: Neocognitron and its advances", Neural Networks, vol. 37, pp. 103-119 (2013).

종래의 네트워크 구축 방법은 이상과 같이 구성되어 있으므로, 중간층에 포함되는 소자가, 입출력 응답이 정규화 선형 함수로 결정되는 소자이면, 중간층에 포함되는 소자의 수 등을 자동적으로 결정할 수 있다. 그러나, 중간층에 포함되는 소자가, 입출력 응답이 가우스 함수로 결정되는 소자인 경우, AiS라 불리고 있는 수법을 이용하더라도, 중간층에 포함되는 소자의 수 등을 자동적으로 결정할 수 없다고 하는 과제가 있었다.

본 발명은 상기와 같은 과제를 해결하기 위해 이루어진 것이고, 중간층에 포함되는 소자가, 입출력 응답이 가우스 함수로 결정되는 소자이더라도, 중간층에 포함되는 소자의 수를 자동적으로 결정할 수 있는 네트워크 구축 장치 및 네트워크 구축 방법을 얻는 것을 목적으로 한다.

본 발명과 관련되는 네트워크 구축 장치는, 입출력 응답이 가우스 함수로 결정되는 소자를 포함하는 중간층을 구비하는 뉴럴 네트워크를 구축할 때에, 중간층에 포함되어 있는 소자마다, 당해 소자에 관한 가우스 함수의 파라미터를 초기 설정하는 초기 설정부와, 초기 설정부에 의해 초기 설정된 파라미터와 뉴럴 네트워크의 입력층에 포함되어 있는 소자의 출력치에 따라 중간층에 포함되어 있는 1개 이상의 소자의 출력치를 산출하는 출력치 산출부를 마련하고, 소자 구축부가, 출력치 산출부에 의해 산출된 1개 이상의 소자의 출력치와 임계치를 비교하고, 중간층에 포함되어 있는 1개 이상의 소자의 출력치 중, 어느 하나의 소자의 출력치가 임계치보다 크면, 중간층에 포함되어 있는 소자의 수를 유지하고, 중간층에 포함되어 있는 1개 이상의 소자의 출력치의 모두가 임계치 이하이면, 중간층에 포함되어 있는 소자의 수를 늘리는 소자 구축 처리를 실시하도록 한 것이다.

본 발명에 의하면, 소자 구축부가, 출력치 산출부에 의해 산출된 1개 이상의 소자의 출력치와 임계치를 비교하고, 중간층에 포함되어 있는 1개 이상의 소자의 출력치 중, 어느 하나의 소자의 출력치가 임계치보다 크면, 중간층에 포함되어 있는 소자의 수를 유지하고, 중간층에 포함되어 있는 1개 이상의 소자의 출력치의 모두가 임계치 이하이면, 중간층에 포함되어 있는 소자의 수를 늘리는 소자 구축 처리를 실시하도록 구성했으므로, 중간층에 포함되는 소자가, 입출력 응답이 가우스 함수로 결정되는 소자이더라도, 중간층에 포함되는 소자의 수를 자동적으로 결정할 수 있는 효과가 있다.

도 1은 본 발명의 실시의 형태 1에 의한 네트워크 구축 장치를 나타내는 구성도이다.
도 2는 본 발명의 실시의 형태 1에 의한 네트워크 구축 장치의 하드웨어 구성도이다.
도 3은 본 발명의 실시의 형태 1에 의한 네트워크 구축 장치가 적용하는 뉴럴 네트워크의 일례를 나타내는 설명도이다.
도 4는 네트워크 구축 장치가 소프트웨어나 펌웨어 등으로 실현되는 경우의 컴퓨터의 하드웨어 구성도이다.
도 5는 네트워크 구축 장치가 소프트웨어나 펌웨어 등으로 실현되는 경우의 처리 수순인 네트워크 구축 방법을 나타내는 플로차트이다.
도 6은 네트워크 구축 장치가 소프트웨어나 펌웨어 등으로 실현되는 경우의 처리 수순인 네트워크 구축 방법을 나타내는 플로차트이다.
도 7은 본 발명의 실시의 형태 2에 의한 네트워크 구축 장치가 적용하는 뉴럴 네트워크의 일례를 나타내는 설명도이다.
도 8은 네트워크 구축 장치가 소프트웨어나 펌웨어 등으로 실현되는 경우의 처리 수순인 네트워크 구축 방법을 나타내는 플로차트이다.
도 9는 본 발명의 실시의 형태 3에 의한 네트워크 구축 장치를 나타내는 구성도이다.
도 10은 본 발명의 실시의 형태 3에 의한 네트워크 구축 장치의 하드웨어 구성도이다.

이하, 본 발명을 보다 상세하게 설명하기 위해, 본 발명을 실시하기 위한 형태에 대하여, 첨부한 도면에 따라 설명한다.

뉴럴 네트워크의 중간층에 포함되어 있는 소자의 입출력 응답이 정규화 선형 함수인 경우, 예컨대, 상정한 범위를 크게 일탈하고 있는 정(正)의 데이터가 중간층에 입력되면, 중간층으로부터 큰 정의 데이터가 출력되는 것이 상정된다. 그 결과, 출력층으로부터도 큰 정의 데이터가 출력되는 것이 상정된다.

이것에 의해, 예컨대, 뉴럴 네트워크의 출력측의 장치는, 상정의 범위를 크게 일탈하고 있는 데이터가 중간층에 입력되면, 뉴럴 네트워크의 출력층으로부터 큰 정의 데이터가 출력되기 때문에, 큰 영향을 받을 가능성이 있다.

뉴럴 네트워크의 중간층에 포함되어 있는 소자의 입출력 응답이 가우스 함수인 경우, 예컨대, 상정의 범위를 크게 일탈하고 있는 정 또는 부(負)의 데이터가 중간층에 입력되면, 중간층으로부터 제로에 가까운 데이터가 출력된다. 그 결과, 출력층으로부터도 제로에 가까운 데이터가 출력된다.

이것에 의해, 예컨대, 뉴럴 네트워크의 출력측의 장치는, 상정의 범위를 크게 일탈하고 있는 데이터가 중간층에 입력되더라도, 뉴럴 네트워크의 출력층으로부터 제로에 가까운 데이터가 출력되기 때문에, 큰 영향을 회피할 수 있다.

실시의 형태 1.

도 1은 본 발명의 실시의 형태 1에 의한 네트워크 구축 장치를 나타내는 구성도이고, 도 2는 본 발명의 실시의 형태 1에 의한 네트워크 구축 장치의 하드웨어 구성도이다.

도 3은 본 발명의 실시의 형태 1에 의한 네트워크 구축 장치가 적용하는 뉴럴 네트워크의 일례를 나타내는 설명도이다.

도 1 내지 도 3에 있어서, 뉴럴 네트워크는, 입력층(1), 중간층(2) 및 출력층(3)을 구비하고 있다.

본 실시의 형태 1에서는, 중간층(2)의 층수가 1인 예를 설명하고, 중간층(2)의 층수가 2 이상인 예는 실시의 형태 2에서 설명한다.

입력층(1)은 I(I는 1 이상의 정수)개의 소자 a_i(i=1, …, I)를 포함하고 있고, 예컨대, 센서 등으로부터 M(M은 1 이상의 정수)개의 학습 데이터 x^m=(x₁ ^m, x₂ ^m, …, x_I ^m)이 순차적으로 주어진다. m=1, 2, …, M이다.

학습 데이터 x^m의 차원수는 I이고, 학습 데이터 x^m에 포함되어 있는 x_i ^m(i=1, …, I)을 성분 데이터라고 칭한다.

입력층(1)은 학습 데이터 x^m의 i번째의 성분 데이터 x_i ^m(i=1, …, I)이, i번째의 소자 a_i(i=1, …, I)에 주어지면, 중간층(2)에 포함되어 있는 j번째의 소자 b_j(j=1, …, J)에 대한 i번째의 소자 a_i의 출력치로서, y_i=x_i ^m을 출력한다.

중간층(2)은 J(J는 1 이상의 정수)개의 소자 b_j(j=1, …, J)를 포함하고 있고, j번째의 소자 b_j는, 입출력 응답이 가우스 함수로 결정되는 소자이다.

단, 본 실시의 형태 1에서는, 설명의 편의상, 네트워크 구축 장치에 의한 네트워크의 구축 전은, 중간층(2)이 포함하고 있는 소자의 수는 제로인 것으로 한다. 이것은 일례에 지나지 않고, 네트워크 구축 장치에 의한 네트워크의 구축 전이더라도, 중간층(2)이 1개 이상의 소자를 포함하고 있더라도 좋다.

중간층(2)은 입력층(1)에 포함되어 있는 I개의 소자 a_i의 출력치 y_i(i=1, …, I)가 j번째의 소자 b_j에 주어지면, I개의 소자 a_i의 출력치 y_i로부터 j번째의 소자 b_j의 출력치 z_j(j=1, …, J)를 산출하고, 소자 b_j의 출력치 z_j를 출력층(3)에 출력한다.

출력층(3)은 소자 c를 포함하고 있고, 소자 c는, 예컨대, 중간층(2)과 출력층(3)의 사이의 가중치 v_j(j=1, …, J)와, 중간층(2)에 포함되어 있는 J개의 소자 b_j의 출력치 z_j(j=1, …, J)의 곱의 총합을 산출하고, 그 총합을 출력한다.

도 3에서는, 출력층(3)이 포함하고 있는 소자 c의 개수가 1개인 예를 나타내고 있지만, 복수의 소자 c를 포함하고 있더라도 좋다.

초기 설정부(11)는 예컨대 도 2의 초기 설정 회로(21)로 실현되는 것이다.

초기 설정부(11)는 중간층(2)에 포함되어 있는 소자마다, 당해 소자 b_j에 관한 가우스 함수의 파라미터를 초기 설정하는 처리를 실시한다.

초기 설정부(11)는, 가우스 함수의 파라미터로서, 예컨대, 가우스 분포의 표준 편차치 σ_{i, j}와, 가우스 함수의 중심 좌표 μ_{i, j}와, 입력층(1)에 포함되어 있는 i번째의 소자 a_i와 중간층(2)에 포함되어 있는 j번째의 소자 b_j의 사이의 가중치 W_{i, j}를 초기 설정한다.

가우스 분포의 표준 편차치 σ_{i, j}는, 중간층(2)에 포함되어 있는 j번째의 소자 b_j에 대한 예컨대 I개의 소자 a_i의 출력치 y_i(i=1, …, I)의 표준 편차치이다.

가우스 함수의 중심 좌표 μ_{i, j}는, 중간층(2)에 포함되어 있는 j번째의 소자 b_j의 중심의 성분이다.

출력치 산출부(12)는 예컨대 도 2의 출력치 산출 회로(22)로 실현되는 것이다.

출력치 산출부(12)는 초기 설정부(11)로부터 가우스 함수의 파라미터의 초기치로서, 가우스 분포의 표준 편차치 σ_{i, j}와, 가우스 함수의 중심 좌표 μ_{i, j}와, 가중치 W_{i, j}가 주어진다.

출력치 산출부(12)는 초기 설정부(11)로부터 주어진 파라미터의 초기치를 갖는 가우스 함수에 대하여, 입력층(1)에 포함되어 있는 예컨대 I개의 소자 a_i의 출력치 y_i(i=1, …, I)를 대입함으로써, j번째의 소자 b_j의 출력치 z_j(j=1, …, J)를 산출하는 처리를 실시한다.

소자 구축부(13)는 예컨대 도 2의 소자 구축 회로(23)로 실현되는 것이다.

소자 구축부(13)는 출력치 산출부(12)에 의해 산출된 J개의 소자 b_j의 출력치 z_j(j=1, …, J)와 사전에 설정된 임계치 Th를 비교하고, 중간층(2)에 포함되어 있는 J개의 소자 b_j의 출력치의 z_j 중, 어느 하나의 소자 b_j의 출력치 z_j가 임계치 Th보다 크면, 중간층(2)에 포함되어 있는 소자 b_j의 수를 유지한다.

또한, 소자 구축부(13)는 J개의 소자 b_j의 출력치 z_j의 모두가 임계치 Th 이하이면, 중간층(2)에 포함되어 있는 소자 b_j의 수를 늘리는 소자 구축 처리를 실시한다.

데이터 기억부(14)는 예컨대 도 2의 데이터 기억 회로(24)로 실현되는 것이다.

데이터 기억부(14)는 중간층(2)에 포함되어 있는 소자 b_j의 개수 J 외에, 초기 설정부(11)에 의해 초기 설정된 소자 b_j에 관한 가우스 함수의 파라미터 및 출력치 산출부(12)에 의해 산출된 소자 b_j의 출력치 z_j를 저장한다.

파라미터 갱신부(15)는 예컨대 도 2의 파라미터 갱신 회로(25)로 실현되는 것이다.

파라미터 갱신부(15)는 소자 구축부(13)에 의해 소자 구축 처리가 실시된 후, 학습 데이터가 입력층(1)에 주어졌을 때에 가우스 함수의 파라미터의 학습을 행하는 지도 학습(supervised learning)을 실시함으로써, 데이터 기억부(14)에 저장되어 있는 가우스 함수의 파라미터 및 중간층(2)에 포함되어 있는 j번째의 소자 b_j와 출력층(3)에 포함되어 있는 소자 c의 사이의 가중치 v_j를 갱신한다.

또한, 파라미터 갱신부(15)는 지도 학습을 실시함으로써, 입력층(1)에 포함되어 있는 i번째의 소자 a_i와 중간층(2)에 포함되어 있는 j번째의 소자 b_j의 사이의 가중치 W_{i, j}를 갱신하는 처리를 실시한다.

도 1에서는, 네트워크 구축 장치의 구성 요소인 초기 설정부(11), 출력치 산출부(12), 소자 구축부(13), 데이터 기억부(14) 및 파라미터 갱신부(15)의 각각이, 도 2에 나타내는 바와 같은 전용 하드웨어, 즉, 초기 설정 회로(21), 출력치 산출 회로(22), 소자 구축 회로(23), 데이터 기억 회로(24) 및 파라미터 갱신 회로(25)로 실현되는 것을 상정하고 있다.

여기서, 데이터 기억 회로(24)는, 예컨대, RAM(Random Access Memory), ROM(Read Only Memory), 플래시 메모리, EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read Only Memory) 등의 비휘발성 또는 휘발성의 반도체 메모리나, 자기 디스크, 플렉서블 디스크, 광 디스크, 콤팩트 디스크, 미니 디스크, DVD(Digital Versatile Disc) 등이 해당한다.

또한, 초기 설정 회로(21), 출력치 산출 회로(22), 소자 구축 회로(23) 및 파라미터 갱신 회로(25)는, 예컨대, 단일 회로, 복합 회로, 프로그램화한 프로세서, 병렬 프로그램화한 프로세서, ASIC(Application Specific Integrated Circuit), FPGA(Field-Programmable Gate Array), 또는, 이들을 조합한 것이 해당한다.

단, 네트워크 구축 장치의 구성 요소는, 전용 하드웨어로 실현되는 것에 한하는 것이 아니고, 네트워크 구축 장치가 소프트웨어, 펌웨어, 또는, 소프트웨어와 펌웨어의 조합으로 실현되는 것이더라도 좋다.

소프트웨어나 펌웨어는 프로그램으로서, 컴퓨터의 메모리에 저장된다. 컴퓨터는, 프로그램을 실행하는 하드웨어를 의미하고, 예컨대, CPU(Central Processing Unit), 중앙 처리 장치, 처리 장치, 연산 장치, 마이크로프로세서, 마이크로컴퓨터, 프로세서, DSP(Digital Signal Processor) 등이 해당한다.

도 4는 네트워크 구축 장치가 소프트웨어나 펌웨어 등으로 실현되는 경우의 컴퓨터의 하드웨어 구성도이다.

네트워크 구축 장치가 소프트웨어나 펌웨어 등으로 실현되는 경우, 데이터 기억부(14)를 컴퓨터의 메모리(31) 상에 구성함과 아울러, 초기 설정부(11), 출력치 산출부(12), 소자 구축부(13) 및 파라미터 갱신부(15)의 처리 수순을 컴퓨터에 실행시키기 위한 프로그램을 메모리(31)에 저장하고, 컴퓨터의 프로세서(32)가 메모리(31)에 저장되어 있는 프로그램을 실행하도록 하면 된다.

도 5 및 도 6은 네트워크 구축 장치가 소프트웨어나 펌웨어 등으로 실현되는 경우의 처리 수순인 네트워크 구축 방법을 나타내는 플로차트이다.

또한, 도 2에서는 네트워크 구축 장치의 구성 요소의 각각이 전용 하드웨어로 실현되는 예를 나타내고, 도 4에서는, 네트워크 구축 장치가 소프트웨어나 펌웨어 등으로 실현되는 예를 나타내고 있지만, 네트워크 구축 장치에 있어서의 일부의 구성 요소가 전용 하드웨어로 실현되고, 나머지의 구성 요소가 소프트웨어나 펌웨어 등으로 실현되는 것이더라도 좋다.

다음으로 동작에 대하여 설명한다.

본 실시의 형태 1에 있어서의 네트워크 구축 장치의 처리 내용은, 크게 2개의 처리 내용으로 나누어진다.

제 1 처리 내용은, 중간층(2)의 구조를 결정하는 처리 내용, 즉, 중간층(2)에 포함되는 소자 b_j의 개수 J를 결정함과 아울러, 소자 b_j에 관한 가우스 함수의 파라미터를 초기 설정하는 처리 내용이다(도 5의 스텝 ST1).

제 2 처리 내용은, 지도 학습을 실시함으로써, 초기 설정된 가우스 함수의 파라미터 및 입력층(1)에 포함되어 있는 i번째의 소자 a_i와 중간층(2)에 포함되어 있는 j번째의 소자 b_j의 사이의 가중치 W_{i, j}를 갱신하는 처리 내용이다(도 5의 스텝 ST2).

이하, 도 6을 참조하면서, 제 1 처리 내용을 구체적으로 설명한다.

본 실시의 형태 1에서는, 중간층(2)에 포함되어 있는 소자 b_j의 개수 J의 초기치가 0개인 것으로 한다.

소자 구축부(13)는, 제 1 처리 내용을 실행함에 있어서, 중간층(2) 안에 소자 b_j가 포함되어 있는지 여부를 판정한다.

즉, 소자 구축부(13)는, 중간층(2)에 포함되어 있는 소자 b_j의 개수 J가 0개인지 여부를 판정한다(도 6의 스텝 ST11).

소자 구축부(13)는, 중간층(2)에 포함되어 있는 소자 b_j의 개수 J가 0개라고 판정하면(도 6의 스텝 ST11 : YES의 경우), 중간층(2) 안에 새로운 소자 b_j를 1개 추가한다. 즉, 소자 구축부(13)는, 중간층(2) 안에 소자 b₁을 작성한다(도 6의 스텝 ST12).

소자 구축부(13)는, 중간층(2)에 포함되어 있는 소자 b_j의 개수 J가 0개가 아니라고 판정하면(도 6의 스텝 ST11 : NO의 경우), 이 단계에서는, 중간층(2) 안에 새로운 소자 b_j를 추가하는 처리를 행하지 않는다. 본 실시의 형태 1에서는, 중간층(2)에 포함되어 있는 소자 b_j의 개수 J의 초기치를 0개로 하고 있으므로, 여기서는, 소자 구축부(13)가 중간층(2) 안에 소자 b₁을 작성한다.

초기 설정부(11)는, 소자 구축부(13)가 중간층(2) 안에 소자 b₁을 작성하면, 이미, M개의 학습 데이터 x^m=(x₁ ^m, x₂ ^m, …, x_I ^m)의 모두를 취득하였는지 여부를 판정한다(도 6의 스텝 ST13).

초기 설정부(11)는, 이미 M개의 학습 데이터 x^m을 취득하였으면(도 6의 스텝 ST13 : YES의 경우), 중간층(2)의 구조를 결정하는 제 1 처리 내용을 종료한다.

초기 설정부(11)는, 아직 M개의 학습 데이터 x^m을 취득하지 않았으면(도 6의 스텝 ST13 : NO의 경우), 아직 취득하지 않은 학습 데이터 x^m을 취득한다(도 6의 스텝 ST14).

본 실시의 형태 1에서는, 초기 설정부(11)는, 이 단계에 있어서, M개의 학습 데이터 x^m을 취득하지 않았으므로, 아직 취득하지 않은 학습 데이터 x^m으로서 1개째의 학습 데이터 x¹=(x₁ ¹, x₂ ¹, …, x_I ¹)을 취득한다.

초기 설정부(11)는, 1개째의 학습 데이터 x¹=(x₁ ¹, x₂ ¹, …, x_I ¹)을 취득하면, 입력층(1)에 포함되어 있는 i번째의 소자 a_i의 출력치 y_i=x_i ¹로부터, 중간층(2)에 포함되어 있는 소자 b₁에 관한 가우스 함수의 파라미터를 초기 설정한다(도 6의 스텝 ST15).

즉, 초기 설정부(11)는, 중간층(2)에 포함되어 있는 소자 b₁에 관한 가우스 함수의 파라미터의 1개로서, 가우스 분포의 표준 편차치 σ_{i, 1}(i=1, …, I)을 초기 설정한다.

가우스 분포의 표준 편차치 σ_{i, 1}은, 중간층(2)에 포함되어 있는 소자 b₁에 대한 I개의 소자 a_i의 출력치 y_i=x_i ¹의 표준 편차치이고, 입력층(1)에 포함되어 있는 I개의 소자 a_i의 출력치 y_i=x_i ¹로부터 산출된다. 표준 편차치 σ_{i, 1}의 산출 처리 자체는 공지의 기술이기 때문에 상세한 설명을 생략한다.

또한, 초기 설정부(11)는, 중간층(2)에 포함되어 있는 소자 b₁에 관한 가우스 함수의 파라미터의 1개로서, 가우스 함수의 중심 좌표 μ_{i, 1}(i=1, …, I)을 초기 설정한다.

가우스 함수의 중심 좌표 μ_{i, 1}은, 이하의 식 (1)에 나타내는 바와 같이, 입력층(1)에 포함되어 있는 i번째의 소자 a_i의 출력치 y_i=x_i ¹이다.

또한, 초기 설정부(11)는, 중간층(2)에 포함되어 있는 소자 b₁에 관한 가우스 함수의 파라미터의 1개로서, 이하의 식 (2)에 나타내는 바와 같이, 입력층(1)에 포함되어 있는 i번째의 소자 a_i와 중간층(2)에 포함되어 있는 소자 b₁의 사이의 가중치 W_{i, 1}(i=1, …, I)을 초기 설정한다.

여기서는, 가중치 W_{i, 1}을 1로 설정하는 예를 나타내고 있지만, 이것은 일례에 지나지 않고, 1 이외의 값으로 설정하도록 하더라도 좋다.

초기 설정부(11)는, 중간층(2)에 포함되어 있는 소자 b₁에 관한 가우스 함수의 파라미터를 초기 설정하면, 그 파라미터의 초기치를 출력치 산출부(12)에 출력함과 아울러, 그 파라미터의 초기치를 데이터 기억부(14)에 저장한다.

출력치 산출부(12)는, 초기 설정부(11)로부터 중간층(2)에 포함되어 있는 소자 b₁에 관한 가우스 함수의 파라미터의 초기치를 취득한다.

또한, 출력치 산출부(12)는, 1개째의 학습 데이터 x¹=(x₁ ¹, x₂ ¹, …, x_I ¹)을 취득한다.

출력치 산출부(12)는, 1개째의 학습 데이터 x¹을 취득하면, 중간층(2)에 포함되어 있는 소자 b₁의 출력치 z₁을 산출한다(도 6의 스텝 ST16).

즉, 출력치 산출부(12)는, 이하의 식 (3)에 나타내는 가우스 함수에 대하여, 중간층(2)에 포함되어 있는 소자 b₁에 관한 가우스 함수의 파라미터의 초기치와, 입력층(1)에 포함되어 있는 I개의 소자 a_i의 출력치 y_i=x_i ¹을 대입함으로써, 중간층(2)에 포함되어 있는 소자 b₁의 출력치 z₁을 산출한다.

출력치 산출부(12)는, 중간층(2)에 포함되어 있는 소자 b₁의 출력치 z₁을 산출하면, 소자 b₁의 출력치 z₁을 소자 구축부(13)에 출력함과 아울러, 소자 b₁의 출력치 z₁을 데이터 기억부(14)에 저장한다.

소자 구축부(13)는, 출력치 산출부(12)로부터 소자 b₁의 출력치 z₁을 받으면, 소자 b₁의 출력치 z₁과 사전에 설정된 임계치 Th를 비교한다(도 6의 스텝 ST17).

소자 b₁의 출력치 z₁은 최대 1이기 때문에, 임계치 Th로서는, 1 이하의 양의 실수, 혹은, e^-0.25 이상 1 이하의 양의 실수 등을 생각할 수 있다.

소자 구축부(13)는, 중간층(2)에 포함되어 있는 소자 b₁의 출력치 z₁이 임계치 Th보다 크면(도 6의 스텝 ST17 : NO의 경우), 중간층(2)에 포함되어 있는 소자의 개수 J(J=1)를 유지한다. 중간층(2)에 포함되어 있는 소자 b₁의 출력치 z₁이 임계치 Th보다 큰 경우, 중간층(2)에 포함되어 있는 소자 b₁은, 입력층(1)에 포함되어 있는 소자 a₁의 출력치 y₁에 대응하는 소자라고 말할 수 있다. 즉, 중간층(2)에 포함되어 있는 소자 b₁은, 가우스 함수에 있어서의 가우스 분포의 중심 좌표를 나타내고 있는 소자라고 말할 수 있다. 이 때문에, 새로운 소자 b₂를 중간층(2)에 추가할 필요가 없기 때문에, 소자 구축부(13)는, 중간층(2)에 포함되어 있는 소자의 개수 J(J=1)를 유지한다.

소자 구축부(13)는, 중간층(2)에 포함되어 있는 소자 b₁의 출력치 z₁이 임계치 Th 이하이면(도 6의 스텝 ST17 : YES의 경우), 중간층(2)에 포함되어 있는 소자의 수가 증가하도록, 새로운 소자 b₂를 중간층(2)에 추가한다(도 6의 스텝 ST18). 중간층(2)에 포함되어 있는 소자 b₁의 출력치 z₁이 임계치 Th 이하인 경우, 중간층(2)에 포함되어 있는 소자 b₁은, 입력층(1)에 포함되어 있는 소자 a₁의 출력치 y₁에 대응하는 소자라고 말할 수 없다. 이 때문에, 소자 구축부(13)는, 새로운 소자 b₂를 중간층(2)에 추가한다.

본 실시의 형태 1에서는, 설명의 편의상, 중간층(2)에 포함되어 있는 소자 b₁의 출력치 z₁이 임계치 Th 이하이기 때문에, 새로운 소자 b₂를 중간층(2)에 추가하는 것으로 한다.

초기 설정부(11)는, 소자 구축부(13)가 새로운 소자 b₂를 중간층(2)에 추가, 혹은, 중간층(2)에 포함되어 있는 소자의 개수 J를 유지하면, 이미, M개의 학습 데이터 x^m=(x₁ ^m, x₂ ^m, …, x_I ^m)의 모두를 취득하였는지 여부를 판정한다(도 6의 스텝 ST13).

본 실시의 형태 1에서는, 초기 설정부(11)는, 이 단계에 있어서, M개의 학습 데이터 x^m을 취득하지 않았으므로, 아직 취득하지 않은 학습 데이터 x^m으로서, 2개째의 학습 데이터 x²=(x₁ ², x₂ ², …, x_I ²)를 취득한다.

초기 설정부(11)는, 2개째의 학습 데이터 x²=(x₁ ², x₂ ², …, x_I ²)를 취득하면, 입력층(1)에 포함되어 있는 i번째의 소자 a_i의 출력치 y_i=x_i ²로부터, 중간층(2)에 포함되어 있는 소자 b₁, b₂에 관한 가우스 함수의 파라미터를 초기 설정한다(도 6의 스텝 ST15).

즉, 초기 설정부(11)는, 중간층(2)에 포함되어 있는 소자 b₁, b₂에 관한 가우스 함수의 파라미터의 1개로서, 입력층(1)에 포함되어 있는 I개의 소자 a_i의 출력치 y_i=x_i ²로부터, 가우스 분포의 표준 편차치 σ_{i, j}(i=1, …, I : j=1, 2)를 산출한다.

또한, 초기 설정부(11)는, 중간층(2)에 포함되어 있는 소자 b₁, b₂에 관한 가우스 함수의 파라미터의 1개로서, 이하의 식 (4)에 나타내는 바와 같이, 입력층(1)에 포함되어 있는 i번째의 소자 a_i의 출력치 y_i=x_i ²를 가우스 함수의 중심 좌표 μ_{i, j}(i=1, …, I : j=1, 2)에 초기 설정한다.

또한, 초기 설정부(11)는, 중간층(2)에 포함되어 있는 소자 b₁, b₂에 관한 가우스 함수의 파라미터의 1개로서, 이하의 식 (5)에 나타내는 바와 같이, 입력층(1)에 포함되어 있는 i번째의 소자 a_i(i=1, …, I)와 중간층(2)에 포함되어 있는 j번째의 소자 b_j(j=1, 2)의 사이의 가중치 W_{i, j}를 초기 설정한다.

여기서는, 가중치 W_{i, j}를 1로 설정하는 예를 나타내고 있지만, 이것은 일례에 지나지 않고, 1 이외의 값으로 설정하도록 하더라도 좋다.

초기 설정부(11)는, 중간층(2)에 포함되어 있는 소자 b₁, b₂에 관한 가우스 함수의 파라미터를 초기 설정하면, 그 파라미터의 초기치를 출력치 산출부(12)에 출력함과 아울러, 그 파라미터의 초기치를 데이터 기억부(14)에 저장한다.

출력치 산출부(12)는, 초기 설정부(11)로부터 중간층(2)에 포함되어 있는 소자 b₁, b₂에 관한 가우스 함수의 파라미터의 초기치를 취득한다.

또한, 출력치 산출부(12)는, 2개째의 학습 데이터 x²=(x₁ ², x₂ ², …, x_I ²)를 취득한다.

출력치 산출부(12)는, 2개째의 학습 데이터 x²를 취득하면, 중간층(2)에 포함되어 있는 소자 b₁의 출력치 z₁을 산출한다(도 6의 스텝 ST16).

즉, 출력치 산출부(12)는, 이하의 식 (6)에 나타내는 가우스 함수에 대하여, 중간층(2)에 포함되어 있는 소자 b₁에 관한 가우스 함수의 파라미터의 초기치와, 입력층(1)에 포함되어 있는 I개의 소자 a_i의 출력치 y_i=x_i ²를 대입함으로써, 중간층(2)에 포함되어 있는 소자 b₁의 출력치 z₁을 산출한다.

중간층(2)에 포함되어 있는 소자 b₁에 관한 가우스 함수의 파라미터의 초기치는, 가우스 분포의 표준 편차치 σ_{i, 1}(i=1, …, I), 가우스 함수의 중심 좌표 μ_{i, 1}(i=1, …, I), 가중치 W_{i, 1}(i=1, …, I)이다.

또한, 출력치 산출부(12)는, 이하의 식 (6)에 나타내는 가우스 함수에 대하여, 중간층(2)에 포함되어 있는 소자 b₂에 관한 가우스 함수의 파라미터의 초기치와, 입력층(1)에 포함되어 있는 I개의 소자 a_i의 출력치 y_i=x_i ²를 대입함으로써, 중간층(2)에 포함되어 있는 소자 b₂의 출력치 z₂를 산출한다.

중간층(2)에 포함되어 있는 소자 b₂에 관한 가우스 함수의 파라미터의 초기치는, 가우스 분포의 표준 편차치 σ_{i, 2}(i=1, …, I), 가우스 함수의 중심 좌표 μ_{i, 2}(i=1, …, I), 가중치 W_{i, 2}(i=1, …, I)이다.

여기서는, 식 (6)에 있어서, i=1, …, I, j=1, 2이다.

출력치 산출부(12)는, 중간층(2)에 포함되어 있는 소자 b₁의 출력치 z₁ 및 소자 b₂의 출력치 z₂를 산출하면, 소자 b₁, b₂의 출력치 z₁, z₂를 소자 구축부(13)에 출력함과 아울러, 소자 b₁, b₂의 출력치 z₁, z₂를 데이터 기억부(14)에 저장한다.

소자 구축부(13)는, 출력치 산출부(12)로부터 소자 b₁, b₂의 출력치 z₁, z₂를 받으면, 소자 b₁, b₂의 출력치 z₁, z₂와 임계치 Th를 비교한다(도 6의 스텝 ST17).

소자 구축부(13)는, 중간층(2)에 포함되어 있는 소자 b₁, b₂의 출력치 z₁, z₂ 중, 어느 하나의 출력치가 임계치 Th보다 크면(도 6의 스텝 ST17 : NO의 경우), 중간층(2)에 포함되어 있는 소자의 개수 J(J=2)를 유지한다. 중간층(2)에 포함되어 있는 소자 b₁, b₂의 출력치 z₁, z₂ 중, 어느 하나의 출력치가 임계치 Th보다 큰 경우, 출력치가 임계치 Th보다 큰 소자는, 입력층(1)에 포함되어 있는 소자의 출력치에 대응하는 소자라고 말할 수 있다. 이 때문에, 새로운 소자 b₃을 중간층(2)에 추가할 필요가 없기 때문에, 소자 구축부(13)는, 중간층(2)에 포함되어 있는 소자의 개수 J(J=2)를 유지한다.

소자 구축부(13)는, 중간층(2)에 포함되어 있는 소자 b₁, b₂의 출력치 z₁, z₂의 모두가 임계치 Th 이하이면(도 6의 스텝 ST17 : YES의 경우), 중간층(2)에 포함되어 있는 소자의 수가 증가하도록, 새로운 소자 b₃을 중간층(2)에 추가한다(도 6의 스텝 ST18). 중간층(2)에 포함되어 있는 소자 b₁, b₂의 출력치 z₁, z₂의 모두가 임계치 Th 이하인 경우, 중간층(2)에 포함되어 있는 어느 소자도, 입력층(1)에 포함되어 있는 소자의 출력치에 대응하는 소자라고 말할 수 없다. 이 때문에, 소자 구축부(13)는, 새로운 소자 b₃을 중간층(2)에 추가한다.

본 실시의 형태 1에서는, 설명의 편의상, 중간층(2)에 포함되어 있는 소자 b₁, b₂의 출력치 z₁, z₂의 모두가 임계치 Th 이하이기 때문에, 새로운 소자 b₃을 중간층(2)에 추가하는 것으로 한다.

이후, 중간층(2)에 포함되어 있는 현재의 소자의 개수가 J개(J≥3)인 것으로 하여 설명한다.

초기 설정부(11)는, 소자 구축부(13)가 새로운 소자를 중간층(2)에 추가, 혹은, 중간층(2)에 포함되어 있는 소자의 개수 J를 유지하면, 이미, M개의 학습 데이터 x^m=(x₁ ^m, x₂ ^m, …, x_I ^m)의 모두를 취득하였는지 여부를 판정한다(도 6의 스텝 ST13).

초기 설정부(11)는, 예컨대, M개의 학습 데이터 x^m 중, 아직 m개째의 학습 데이터 x^m을 취득하지 않았으면, m개째의 학습 데이터 x^m을 취득한다.

초기 설정부(11)는, m개째의 학습 데이터 x^m을 취득하면, 입력층(1)에 포함되어 있는 i번째의 소자 a_i의 출력치 y_i=x_i ^m으로부터, 중간층(2)에 포함되어 있는 소자 b₁~b_J에 관한 가우스 함수의 파라미터를 초기 설정한다(도 6의 스텝 ST15).

즉, 초기 설정부(11)는, 중간층(2)에 포함되어 있는 소자 b₁~b_J에 관한 가우스 함수의 파라미터의 1개로서, 입력층(1)에 포함되어 있는 I개의 소자 a_i의 출력치 y_i=x_i ^m으로부터, 가우스 분포의 표준 편차치 σ_{i, j}(i=1, …, I : j=1…, J)를 산출한다.

또한, 초기 설정부(11)는, 중간층(2)에 포함되어 있는 소자 b₁~b_J에 관한 가우스 함수의 파라미터의 1개로서, 식 (4)에 나타내는 바와 같이, 입력층(1)에 포함되어 있는 i번째의 소자 a_i의 출력치 y_i=x_i ^m을 가우스 함수의 중심 좌표 μ_{i, j}에 초기 설정한다.

또한, 초기 설정부(11)는, 중간층(2)에 포함되어 있는 소자 b₁~b_J에 관한 가우스 함수의 파라미터의 1개로서, 식 (5)에 나타내는 바와 같이, 입력층(1)에 포함되어 있는 i번째의 소자 a_i(i=1, …, J)와 중간층(2)에 포함되어 있는 j번째의 소자 b_j(j=1, …, J)의 사이의 가중치 W_{i, j}를 초기 설정한다.

초기 설정부(11)는, 중간층(2)에 포함되어 있는 소자 b₁~b_J에 관한 가우스 함수의 파라미터를 초기 설정하면, 그 파라미터의 초기치를 출력치 산출부(12)에 출력함과 아울러, 그 파라미터의 초기치를 데이터 기억부(14)에 저장한다.

출력치 산출부(12)는, 초기 설정부(11)로부터 중간층(2)에 포함되어 있는 소자 b₁~b_J에 관한 가우스 함수의 파라미터의 초기치를 취득한다.

또한, 출력치 산출부(12)는, m개째의 학습 데이터 x^m=(x₁ ^m, x₂ ^m, …, x_I ^m)을 취득한다.

출력치 산출부(12)는, m개째의 학습 데이터 x^m=(x₁ ^m, x₂ ^m, …, x_I ^m)을 취득하면, 중간층(2)에 포함되어 있는 소자 b₁~b_J의 출력치 z₁~z_J를 산출한다(도 6의 스텝 ST16).

즉, 출력치 산출부(12)는, 식 (6)에 나타내는 가우스 함수에 대하여, 중간층(2)에 포함되어 있는 소자 b_j(j=1, …, J)에 관한 가우스 함수의 파라미터의 초기치와, 입력층(1)에 포함되어 있는 I개의 소자 a_i의 출력치 y_i=x_i ^m을 대입함으로써, 중간층(2)에 포함되어 있는 소자 b_j의 출력치 z_j(j=1, …, J)를 산출한다.

중간층(2)에 포함되어 있는 소자 b_j에 관한 가우스 함수의 파라미터의 초기치는, 가우스 분포의 표준 편차치 σ_{i, j}(i=1, …, I : j=1, …, J), 가우스 함수의 중심 좌표 μ_{i, j}(i=1, …, I : j=1, …, J), 가중치 W_{i, j}(i=1, …, I : j=1, …, J)이다.

출력치 산출부(12)는, 중간층(2)에 포함되어 있는 소자 b₁~b_J의 출력치 z₁~z_J를 산출하면, 소자 b₁~b_J의 출력치 z₁~z_J를 소자 구축부(13)에 출력함과 아울러, 소자 b₁~b_J의 출력치 z₁~z_J를 데이터 기억부(14)에 저장한다.

소자 구축부(13)는, 출력치 산출부(12)로부터 소자 b₁~b_J의 출력치 z₁~z_J를 받으면, 소자 b₁~b_J의 출력치 z₁~z_J와 임계치 Th를 비교한다(도 6의 스텝 ST17).

소자 구축부(13)는, 중간층(2)에 포함되어 있는 소자 b₁~b_J의 출력치 z₁~z_J 중, 어느 하나의 출력치가 임계치 Th보다 크면(도 6의 스텝 ST17 : NO의 경우), 중간층(2)에 포함되어 있는 소자의 개수 J를 유지한다.

소자 구축부(13)는, 중간층(2)에 포함되어 있는 소자 b₁~b_J의 출력치 z₁~z_J의 모두가 임계치 Th 이하이면(도 6의 스텝 ST17 : YES의 경우), 중간층(2)에 포함되어 있는 소자의 수가 증가하도록, 새로운 소자를 중간층(2)에 추가한다(도 6의 스텝 ST18).

스텝 ST13~ST18의 처리는, M개의 학습 데이터 x^m의 모두가 취득될 때까지 반복하여 실시되고, 스텝 ST13의 판정 처리에서 "YES"라고 판정되면, 제 1 처리 내용이 종료된다.

파라미터 갱신부(15)는, 제 1 처리 내용이 종료된 후, 제 2 처리 내용을 실시한다.

즉, 파라미터 갱신부(15)는, 제 1 처리 내용이 종료된 후, M개의 학습 데이터 x^m=(x₁ ^m, x₂ ^m, …, x_I ^m)이 순차적으로 주어질 때마다, 데이터 기억부(14)에 저장되어 있는 가우스 함수의 파라미터, 즉, 중간층(2)에 포함되어 있는 J개의 소자 b_j(j=1, …, J)에 관한 가우스 함수의 파라미터의 학습을 행하는 지도 학습을 실시함으로써, 데이터 기억부(14)에 저장되어 있는 가우스 함수의 파라미터 및 중간층(2)에 포함되어 있는 j번째의 소자 b_j와 출력층(3)에 포함되어 있는 소자 c의 사이의 가중치 v_j를 갱신한다.

또한, 파라미터 갱신부(15)는, 지도 학습을 실시함으로써, 입력층(1)에 포함되어 있는 i번째의 소자 a_i와 중간층(2)에 포함되어 있는 j번째의 소자 b_j의 사이의 가중치 W_{i, j}를 갱신한다.

지도 학습 자체는 공지의 기술이기 때문에 상세한 설명을 생략하지만, 예컨대, 공지의 역전파(back propagation)법을 이용함으로써, 지도 학습을 실시할 수 있다.

또, 파라미터 갱신부(15)는, 가우스 함수에 있어서의 모든 파라미터를 갱신하도록 하더라도 좋지만, 가우스 함수에 있어서의 일부의 파라미터만을 갱신하도록 하더라도 좋다.

예컨대, 가우스 분포의 표준 편차치 σ_{i, j}, 가우스 함수의 중심 좌표 μ_{i, j} 및 가중치 W_{i, j} 중, 가우스 함수의 중심 좌표 μ_{i, j}를 고정하고, 가우스 분포의 표준 편차치 σ_{i, j} 및 가중치 W_{i, j}를 갱신하는 방법 A를 생각할 수 있다.

또한, 가우스 분포의 표준 편차치 σ_{i, j}를 고정하고, 가우스 함수의 중심 좌표 μ_{i, j} 및 가중치 W_{i, j}를 갱신하는 방법 B, 가중치 W_{i, j}를 고정하고, 가우스 분포의 표준 편차치 σ_{i, j} 및 가우스 함수의 중심 좌표 μ_{i, j}를 갱신하는 방법 C 등을 생각할 수 있다.

이상에서 분명한 바와 같이, 본 실시의 형태 1에 의하면, 소자 구축부(13)가, 출력치 산출부(12)에 의해 산출된 중간층(2)에 포함되어 있는 1개 이상의 소자 b_j의 출력치 z_j와 임계치 Th를 비교하고, 중간층(2)에 포함되어 있는 1개 이상의 소자 b_j의 출력치 z_j 중, 어느 하나의 출력치 z_j가 임계치 Th보다 크면, 중간층(2)에 포함되어 있는 소자 b_j의 수를 유지하고, 중간층(2)에 포함되어 있는 1개 이상의 소자 b_j의 출력치 z_j의 모두가 임계치 Th 이하이면, 중간층(2)에 포함되어 있는 소자 b_j의 수를 늘리도록 구성했으므로, 뉴럴 네트워크의 중간층(2)에 포함되는 소자 b_j가, 입출력 응답이 가우스 함수로 결정되는 소자이더라도, 뉴럴 네트워크의 중간층(2)에 포함되는 소자 b_j의 수를 자동적으로 결정할 수 있는 효과를 발휘한다.

실시의 형태 2.

상기 실시의 형태 1에서는, 뉴럴 네트워크가 구비하고 있는 중간층(2)의 층수가 1인 예를 설명하고 있다.

본 실시의 형태 2에서는, 뉴럴 네트워크가 구비하고 있는 중간층(2)의 층수가 2 이상인 예를 설명한다.

도 7은 본 발명의 실시의 형태 2에 의한 네트워크 구축 장치가 적용하는 뉴럴 네트워크의 일례를 나타내는 설명도이다. 도 7에 있어서, 도 3과 동일 부호는 동일 또는 상당 부분을 나타내므로 설명을 생략한다.

중간층(2-1~2-G)은 입력층(1)과 출력층(3)의 사이에 종속으로 접속되어 있다.

g층째의 중간층(2-g)(g=1, 2, …, G)은 J(J는 1 이상의 정수)개의 소자 b_j ^g(j=1, 2, …, J)를 포함하고 있고, j번째의 소자 b_j ^g는, 입출력 응답이 가우스 함수로 결정되는 소자이다.

1층째의 중간층(2-1)은 도 3의 중간층(2)과 마찬가지로, 입력층(1)에 포함되어 있는 I개의 소자 a_i의 출력치 y_i=x_i ^m이 j번째의 소자 b_j ¹에 주어지면, I개의 소자 a_i의 출력치 y_i로부터 j번째의 소자 b_j ^m의 출력치 z_j ^m을 산출하고, 소자 b_j ^m의 출력치 z_j ^m을 2층째의 중간층(2-2)에 출력한다.

g층째의 중간층(2-g)(g=2, 3, …, G-1)은 (g-1)층째의 중간층(2-(g-1))에 포함되어 있는 모든 소자 b_j ^g-1의 출력치 z_j ^g-1이 j번째의 소자 b_j ^g에 주어지면, 모든 소자 b_j ^g-1의 출력치 z_j ^g-1로부터 j번째의 소자 b_j ^g의 출력치 z_j ^g를 산출하고, 소자 b_j ^g의 출력치 z_j ^g를 G층째의 중간층(2-G)에 출력한다.

G층째의 중간층(2-G)은 (G-1)층째의 중간층(2-(G-1))에 포함되어 있는 모든 소자 b_j ^G-1의 출력치 z_j ^G-1이 j번째의 소자 b_j ^G에 주어지면, 모든 소자 b_j ^G-1의 출력치 z_j ^G-1로부터 j번째의 소자 b_j ^G의 출력치 z_j ^G를 산출하고, 소자 b_j ^G의 출력치 z_j ^G를 출력층(3)에 출력한다.

도 7에서는, 중간층(2-1~2-G)에 포함되어 있는 소자의 개수가 모두 동수이도록 표기하고 있지만, 후술하는 소자 구축부(13)의 처리에 의해, 중간층(2-1~2-G)에 포함되는 소자의 개수가 상이한 수로 결정되는 일이 있는 것은 말할 필요도 없다.

다음으로 동작에 대하여 설명한다.

상기 실시의 형태 1에서는, 지도 학습을 실시하기 전에, 중간층(2)의 구조를 결정하는 예를 설명했지만, 본 실시의 형태 2에서는, 지도 학습을 실시하기 전에, 중간층(2-1~2-G)의 구조를 결정하는 예를 설명한다.

본 실시의 형태 2에서는, 중간층(2-1~2-G) 중, 입력층(1)측의 중간층(2-g)(g=1, 2, …, G)으로부터 차례로, 중간층(2-g)의 구조를 결정한다.

도 8은 네트워크 구축 장치가 소프트웨어나 펌웨어 등으로 실현되는 경우의 처리 수순인 네트워크 구축 방법을 나타내는 플로차트이다.

중간층(2-1~2-G) 중에서, 가장 입력층(1)측의 중간층(2-1)의 구조를 결정하는 처리는, 도 3의 중간층(2)의 구조를 결정하는 처리와 마찬가지이기 때문에 설명을 생략한다.

이하, 도 8을 참조하면서, 중간층(2-g)(g=2, 3, …, G)의 구조를 결정하는 처리 내용을 설명한다.

본 실시의 형태 2에서는, 중간층(2-g)에 포함되어 있는 소자 b_j ^g의 개수 J의 초기치가 0개인 것으로 한다.

또한, 중간층(2-(g-1))에 포함되어 있는 소자 b_j ^g-1의 개수 J가 이미 K개로 결정되어 있고, 중간층(2-(g-1))에 포함되어 있는 k번째의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1이 산출되어 있는 것으로 한다.

소자 구축부(13)는, 제 1 처리 내용을 실행함에 있어서, 중간층(2-g) 안에 소자 b_j ^g가 포함되어 있는지 여부를 판정한다.

즉, 소자 구축부(13)는, 중간층(2-g)에 포함되어 있는 소자 b_j ^g의 개수 J가 0개인지 여부를 판정한다(도 8의 스텝 ST21).

소자 구축부(13)는, 중간층(2-g)에 포함되어 있는 소자 b_j ^g의 개수 J가 0개라고 판정하면(도 8의 스텝 ST21 : YES의 경우), 중간층(2-g) 안에 새로운 소자 b_j ^g를 1개 추가한다. 즉, 소자 구축부(13)는, 중간층(2-g) 안에 소자 b₁ ^g를 작성한다(도 8의 스텝 ST22).

소자 구축부(13)는, 중간층(2-g)에 포함되어 있는 소자 b_j ^g의 개수 J가 0개가 아니라고 판정하면(도 8의 스텝 ST21 : NO의 경우), 이 단계에서는, 중간층(2-g) 안에 새로운 소자 b_j ^g를 추가하는 처리를 행하지 않는다. 본 실시의 형태 2에서는, 중간층(2-g)에 포함되어 있는 소자 b_j ^g의 개수 J의 초기치를 0개로 하고 있으므로, 여기서는, 소자 구축부(13)가 중간층(2-g) 안에 소자 b₁ ^g를 작성한다.

초기 설정부(11)는, 소자 구축부(13)가 중간층(2-g) 안에 소자 b₁ ^g를 작성하면, 이미, M개의 학습 데이터 x^m=(x₁ ^m, x₂ ^m, …, x_I ^m)(m=1, …, M)이 입력층(1)에 주어졌고, M개째의 학습 데이터 x^M에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1을 취득하였는지 여부를 판정한다(도 8의 스텝 ST23).

초기 설정부(11)는, 이미 M개째의 학습 데이터 x^M에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1을 취득하였으면(도 8의 스텝 ST23 : YES의 경우), 중간층(2-g)의 구조를 결정하는 제 1 처리 내용을 종료한다.

초기 설정부(11)는, 아직 M개째의 학습 데이터 x^M에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1을 취득하지 않았으면(도 8의 스텝 ST23 : NO의 경우), 아직 취득하지 않은 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1을 취득한다(도 8의 스텝 ST24).

본 실시의 형태 2에서는, 초기 설정부(11)는, 이 단계에 있어서, 1개째의 학습 데이터 x¹에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1을 취득하지 않았으므로, 1개째의 학습 데이터 x¹에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1을 취득한다.

초기 설정부(11)는, 1개째의 학습 데이터 x¹에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1을 취득하면, 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1로부터, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g에 관한 가우스 함수의 파라미터를 초기 설정한다(도 8의 스텝 ST25).

즉, 초기 설정부(11)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g에 관한 가우스 함수의 파라미터의 1개로서, 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1로부터, 가우스 분포의 표준 편차치 σ_{k, 1} ^g(k=1, …, K)를 산출한다.

또한, 초기 설정부(11)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g에 관한 가우스 함수의 파라미터의 1개로서, 가우스 함수의 중심 좌표 μ_{k, 1} ^g(k=1, …, K)를 초기 설정한다.

가우스 함수의 중심 좌표 μ_{k, 1} ^g는, 이하의 식 (7)에 나타내는 바와 같이, 중간층(2-(g-1))에 포함되어 있는 k번째의 소자 b_k ^g-1의 출력치 z_k ^g-1이다.

또한, 초기 설정부(11)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g에 관한 가우스 함수의 파라미터의 1개로서, 이하의 식 (8)에 나타내는 바와 같이, 중간층(2-(g-1))에 포함되어 있는 k번째의 소자 b_k ^g-1과 중간층(2-g)에 포함되어 있는 소자 b₁ ^g의 사이의 가중치 W_{k, 1} ^g를 초기 설정한다.

여기서는, 가중치 W_{k, 1} ^g를 1로 설정하는 예를 나타내고 있지만, 이것은 일례에 지나지 않고, 1 이외의 값으로 설정하도록 하더라도 좋다.

초기 설정부(11)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g에 관한 가우스 함수의 파라미터를 초기 설정하면, 그 파라미터의 초기치를 출력치 산출부(12)에 출력함과 아울러, 그 파라미터의 초기치를 데이터 기억부(14)에 저장한다.

출력치 산출부(12)는, 초기 설정부(11)로부터 중간층(2-g)에 포함되어 있는 소자 b₁ ^g에 관한 가우스 함수의 파라미터의 초기치를 취득한다.

또한, 출력치 산출부(12)는, 1개째의 학습 데이터 x¹에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1을 취득한다.

출력치 산출부(12)는, 1개째의 학습 데이터 x¹에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1을 취득하면, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g의 출력치 z₁ ^g를 산출한다(도 8의 스텝 ST26).

즉, 출력치 산출부(12)는, 이하의 식 (9)에 나타내는 가우스 함수에 대하여, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g에 관한 가우스 함수의 파라미터의 초기치와, 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1을 대입함으로써, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g의 출력치 z₁ ^g를 산출한다.

출력치 산출부(12)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g의 출력치 z₁ ^g를 산출하면, 소자 b₁ ^g의 출력치 z₁ ^g를 소자 구축부(13)에 출력함과 아울러, 소자 b₁ ^g의 출력치 z₁ ^g를 데이터 기억부(14)에 저장한다.

소자 구축부(13)는, 출력치 산출부(12)로부터 소자 b₁ ^g의 출력치 z₁ ^g를 받으면, 소자 b₁ ^g의 출력치 z₁ ^g와 사전에 설정된 임계치 Th를 비교한다(도 8의 스텝 ST27).

소자 b₁ ^g의 출력치 z₁ ^g는 최대 1이기 때문에, 임계치 Th로서는, 1 이하의 양의 실수, 혹은, e^-0.25 이상 1 이하의 양의 실수 등을 생각할 수 있다.

소자 구축부(13)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g의 출력치 z₁ ^g가 임계치 Th보다 크면(도 8의 스텝 ST27 : NO의 경우), 중간층(2-g)에 포함되어 있는 소자의 개수 J(J=1)를 유지한다.

소자 구축부(13)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g의 출력치 z₁ ^g가 임계치 Th 이하이면(도 8의 스텝 ST27 : YES의 경우), 중간층(2-g)에 포함되어 있는 소자의 수가 증가하도록, 새로운 소자 b₂ ^g를 중간층(2-g)에 추가한다(도 8의 스텝 ST28).

본 실시의 형태 2에서는, 설명의 편의상, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g의 출력치 z₁ ^g가 임계치 Th 이하이기 때문에, 새로운 소자 b₂ ^g를 중간층(2-g)에 추가하는 것으로 한다.

초기 설정부(11)는, 소자 구축부(13)가 새로운 소자 b₂ ^g를 중간층(2-g)에 추가, 혹은, 중간층(2-g)에 포함되어 있는 소자의 개수 J를 유지하면, 이미, M개째의 학습 데이터 x^M에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1을 취득하였는지 여부를 판정한다(도 8의 스텝 ST23).

초기 설정부(11)는, 이미 M개째의 학습 데이터 x^m에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1을 취득하였으면(도 8의 스텝 ST23 : YES의 경우), 중간층(2)의 구조를 결정하는 제 1 처리 내용을 종료한다.

초기 설정부(11)는, 아직 M개째의 학습 데이터 x^m에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1을 취득하지 않았으면(도 8의 스텝 ST23 : NO의 경우), 아직 취득하지 않은 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1을 취득한다(도 8의 스텝 ST24).

본 실시의 형태 2에서는, 초기 설정부(11)는, 이 단계에 있어서, 2개째의 학습 데이터 x²에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1을 취득하지 않았으므로, 2개째의 학습 데이터 x²에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1을 취득한다.

초기 설정부(11)는, 2개째의 학습 데이터 x²에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1을 취득하면, 2개째의 학습 데이터 x²에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1로부터, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g, b₂ ^g에 관한 가우스 함수의 파라미터를 초기 설정한다(도 8의 스텝 ST25).

즉, 초기 설정부(11)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g, b₂ ^g에 관한 가우스 함수의 파라미터의 1개로서, 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1로부터, 가우스 분포의 표준 편차치 σ_{k, j} ^g(k=1, …, K : j=1, 2)를 산출한다.

또한, 초기 설정부(11)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g, b₂ ^g에 관한 가우스 함수의 파라미터의 1개로서, 이하의 식 (10)에 나타내는 바와 같이, 중간층(2-(g-1))에 포함되어 있는 k번째의 소자 b_k ^g-1의 출력치 z_k ^g-1을 가우스 함수의 중심 좌표 μ_{k, j} ^g(k=1, …, K : j=1, 2)에 초기 설정한다.

또한, 초기 설정부(11)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g, b₂ ^g에 관한 가우스 함수의 파라미터의 1개로서, 이하의 식 (11)에 나타내는 바와 같이, 중간층(2-(g-1))에 포함되어 있는 k번째의 소자 b_k ^g-1과 중간층(2-g)에 포함되어 있는 j번째의 소자 b_j ^g(j=1, 2)의 사이의 가중치 W_{k, j} ^g(k=1, …, K : j=1, 2)를 초기 설정한다.

여기서는, W_{k, j} ^g를 1로 설정하는 예를 나타내고 있지만, 이것은 일례에 지나지 않고, 1 이외의 값으로 설정하도록 하더라도 좋다.

초기 설정부(11)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g, b₂ ^g에 관한 가우스 함수의 파라미터를 초기 설정하면, 그 파라미터의 초기치를 출력치 산출부(12)에 출력함과 아울러, 그 파라미터의 초기치를 데이터 기억부(14)에 저장한다.

출력치 산출부(12)는, 초기 설정부(11)로부터 중간층(2-g)에 포함되어 있는 소자 b₁ ^g, b₂ ^g에 관한 가우스 함수의 파라미터의 초기치를 취득한다.

또한, 출력치 산출부(12)는, 2개째의 학습 데이터 x²에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1을 취득한다.

출력치 산출부(12)는, 2개째의 학습 데이터 x²에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1을 취득하면, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g의 출력치 z₁ ^g 및 소자 b₂ ^g의 출력치 z₂ ^g를 산출한다(도 8의 스텝 ST26).

즉, 출력치 산출부(12)는, 이하의 식 (12)에 나타내는 가우스 함수에 대하여, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g에 관한 가우스 함수의 파라미터의 초기치와, 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1을 대입함으로써, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g의 출력치 z₁ ^g를 산출한다.

중간층(2-g)에 포함되어 있는 소자 b₁ ^g에 관한 가우스 함수의 파라미터의 초기치는, 가우스 분포의 표준 편차치 σ_{k, 1} ^g(k=1, …, K), 가우스 함수의 중심 좌표 μ_{k, 1} ^g(k=1, …, K), 가중치 W_{k, 1} ^g(k=1, …, K)이다.

또한, 출력치 산출부(12)는, 이하의 식 (12)에 나타내는 가우스 함수에 대하여, 중간층(2-g)에 포함되어 있는 소자 b₂ ^g에 관한 가우스 함수의 파라미터의 초기치와, 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1을 대입함으로써, 중간층(2-g)에 포함되어 있는 소자 b₂ ^g의 출력치 z₂ ^g를 산출한다.

중간층(2-g)에 포함되어 있는 소자 b₂ ^g에 관한 가우스 함수의 파라미터의 초기치는, 가우스 분포의 표준 편차치 σ_{k, 2} ^g(k=1, …, K), 가우스 함수의 중심 좌표 μ_{k, 2} ^g(k=1, …, K), 가중치 W_{k, 2} ^g(k=1, …, K)이다.

여기서는, 식 (12)에 있어서, j=1, 2이다.

출력치 산출부(12)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g의 출력치 z₁ ^g 및 소자 b₂ ^g의 출력치 z₂ ^g를 산출하면, 소자 b₁ ^g, b₂ ^g의 출력치 z₁ ^g, z₂ ^g를 소자 구축부(13)에 출력함과 아울러, 소자 b₁ ^g, b₂ ^g의 출력치 z₁ ^g, z₂ ^g를 데이터 기억부(14)에 저장한다.

소자 구축부(13)는, 출력치 산출부(12)로부터 소자 b₁ ^g, b₂ ^g의 출력치 z₁ ^g, z₂ ^g를 받으면, 소자 b₁ ^g, b₂ ^g의 출력치 z₁ ^g, z₂ ^g와 임계치 Th를 비교한다(도 8의 스텝 ST27).

소자 구축부(13)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g, b₂ ^g의 출력치 z₁ ^g, z₂ ^g 중, 어느 하나의 출력치가 임계치 Th보다 크면(도 8의 스텝 ST27 : NO의 경우), 중간층(2-g)에 포함되어 있는 소자의 개수 J(J=2)를 유지한다.

소자 구축부(13)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g, b₂ ^g의 출력치 z₁ ^g, z₂ ^g의 모두가 임계치 Th 이하이면(도 8의 스텝 ST27 : YES의 경우), 중간층(2-g)에 포함되어 있는 소자의 수가 증가하도록, 새로운 소자 b₃ ^g를 중간층(2-g)에 추가한다(도 8의 스텝 ST28).

본 실시의 형태 2에서는, 설명의 편의상, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g, b₂ ^g의 출력치 z₁ ^g, z₂ ^g의 모두가 임계치 Th 이하이기 때문에, 새로운 소자 b₃ ^g를 중간층(2)에 추가하는 것으로 한다.

이후, 중간층(2-g)에 포함되어 있는 현재의 소자의 개수가 J개(J≥3)인 것으로 하여 설명한다.

초기 설정부(11)는, 소자 구축부(13)가 새로운 소자를 중간층(2-g)에 추가, 혹은, 중간층(2-g)에 포함되어 있는 소자의 개수 J를 유지하면, 이미, M개째의 학습 데이터 x^M에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1을 취득하였는지 여부를 판정한다(도 8의 스텝 ST23).

본 실시의 형태 2에서는, 초기 설정부(11)는, 이 단계에 있어서, M개의 학습 데이터 중, m개째의 학습 데이터 x^m에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1을 취득하지 않았으므로, m개째의 학습 데이터 x^m에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1을 취득하는 것으로 한다.

초기 설정부(11)는, m개째의 학습 데이터 x^m에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1을 취득하면, m개째의 학습 데이터 x^m에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1로부터, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g~b_J ^g에 관한 가우스 함수의 파라미터를 초기 설정한다(도 8의 스텝 ST25).

즉, 초기 설정부(11)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g~b_J ^g에 관한 가우스 함수의 파라미터의 1개로서, 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1로부터, 가우스 분포의 표준 편차치 σ_{k, j} ^g(k=1, …, K : j=1, …, J)를 산출한다.

또한, 초기 설정부(11)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g~b_J ^g에 관한 가우스 함수의 파라미터의 1개로서, 식 (10)에 나타내는 바와 같이, 중간층(2-(g-1))에 포함되어 있는 k번째의 소자 b_k ^g-1의 출력치 z_k ^g-1을 가우스 함수의 중심 좌표 μ_{k, j} ^g(k=1, …, K : j=1, …, J)에 초기 설정한다.

또한, 초기 설정부(11)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g~b_J ^g에 관한 가우스 함수의 파라미터의 1개로서, 식 (11)에 나타내는 바와 같이, 중간층(2-(g-1))에 포함되어 있는 k번째의 소자 b_k ^g-1과 중간층(2-g)에 포함되어 있는 j번째의 소자 b_j ^g(j=1, …, J)의 사이의 가중치 W_{k, j} ^g(k=1, …, K : j=1, …, J)를 초기 설정한다.

초기 설정부(11)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g~b_J ^g에 관한 가우스 함수의 파라미터를 초기 설정하면, 그 파라미터의 초기치를 출력치 산출부(12)에 출력함과 아울러, 그 파라미터의 초기치를 데이터 기억부(14)에 저장한다.

출력치 산출부(12)는, 초기 설정부(11)로부터 중간층(2)에 포함되어 있는 소자 b₁ ^g~b_J ^g에 관한 가우스 함수의 파라미터의 초기치를 취득한다.

또한, 출력치 산출부(12)는, m개째의 학습 데이터 x^m에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1을 취득한다.

출력치 산출부(12)는, m개째의 학습 데이터 x^m에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1을 취득하면, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g~b_J ^g의 출력치 z₁ ^g~z_J ^g를 산출한다(도 8의 스텝 ST26).

즉, 출력치 산출부(12)는, 식 (12)에 나타내는 가우스 함수에 대하여, 중간층(2-g)에 포함되어 있는 소자 b_j ^g(j=1, …, J)에 관한 가우스 함수의 파라미터의 초기치와, 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1의 출력치 z_k ^g-1을 대입함으로써, 중간층(2-g)에 포함되어 있는 소자 b_j ^g의 출력치 z_j ^g(j=1, …, J)를 산출한다.

중간층(2-g)에 포함되어 있는 소자 b_j ^g에 관한 가우스 함수의 파라미터의 초기치는, 가우스 분포의 표준 편차치 σ_{k, j} ^g(k=1, …, K : j=1, …, J), 가우스 함수의 중심 좌표 μ_{k, j} ^g(k=1, …, K : j=1, …, J), 가중치 W_{k, j} ^g(k=1, …, K : j=1, …, J)이다.

출력치 산출부(12)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g~b_J ^g의 출력치 z₁ ^g~z_J ^g를 산출하면, 소자 b₁ ^g~b_J ^g의 출력치 z₁ ^g~z_J ^g를 소자 구축부(13)에 출력함과 아울러, 소자 b₁ ^g~b_J ^g의 출력치 z₁ ^g~z_J ^g를 데이터 기억부(14)에 저장한다.

소자 구축부(13)는, 출력치 산출부(12)로부터 소자 b₁ ^g~b_J ^g의 출력치 z₁ ^g~z_J ^g를 받으면, 소자 b₁ ^g~b_J ^g의 출력치 z₁ ^g~z_J ^g와 임계치 Th를 비교한다(도 8의 스텝 ST27).

소자 구축부(13)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g~b_J ^g의 출력치 z₁ ^g~z_J ^g 중, 어느 하나의 출력치가 임계치 Th보다 크면(도 8의 스텝 ST27 : NO의 경우), 중간층(2-g)에 포함되어 있는 소자의 개수 J를 유지한다.

소자 구축부(13)는, 중간층(2-g)에 포함되어 있는 소자 b₁ ^g~b_J ^g의 출력치 z₁ ^g~z_J ^g의 모두가 임계치 Th 이하이면(도 8의 스텝 ST27 : YES의 경우), 중간층(2-g)에 포함되어 있는 소자의 수가 증가하도록, 새로운 소자를 중간층(2-g)에 추가한다(도 8의 스텝 ST28).

스텝 ST23~ST28의 처리는, M개의 학습 데이터 x^m(m=1, …, M)에 근거하는, 1개 전의 중간층(2-(g-1))에 포함되어 있는 K개의 소자 b_k ^g-1(k=1, …, K)의 출력치 z_k ^g-1이 취득될 때까지 반복하여 실시되고, 스텝 ST23의 판정 처리에서 "YES"라고 판정되면, 제 1 처리 내용이 종료된다.

즉, 파라미터 갱신부(15)는, 중간층(2-1~2-G)의 구조가 결정된 후, M개의 학습 데이터 x^m=(x₁ ^m, x₂ ^m, …, x_I ^m)이 순차적으로 주어질 때마다, 상기 실시의 형태 1과 마찬가지로, 데이터 기억부(14)에 저장되어 있는 가우스 함수의 파라미터를 갱신함과 아울러, 중간층(2-1~2-G)에 포함되어 있는 소자에 관한 가우스 함수의 파라미터의 학습을 행하는 지도 학습을 실시함으로써, 중간층(2-G)에 포함되어 있는 j번째의 소자 b_j ^g와 출력층(3)에 포함되어 있는 소자 c의 사이의 가중치 v_j를 갱신한다.

또한, 파라미터 갱신부(15)는, 지도 학습을 실시함으로써, 입력층(1)에 포함되어 있는 i번째의 소자 a_i와 중간층(2-1)에 포함되어 있는 j번째의 소자 b_j ¹의 사이의 가중치 W_{i, j} ¹, 중간층(2-(g-1))에 포함되어 있는 k번째의 소자 b_k ^g-1(k=1, …, K)과 중간층(2-g)에 포함되어 있는 j번째의 소자 b_j ^g(j=1, …, J)의 사이의 가중치 W_{k, j} ^g를 갱신한다.

즉, 중간층(2-1~2-G)에 포함되어 있는 소자에 관한 가우스 함수의 파라미터의 학습을 행하는 지도 학습을 실시함으로써, 데이터 기억부(14)에 저장되어 있는 가우스 함수의 파라미터 및 가중치를 갱신한다.

이상에서 분명한 바와 같이, 본 실시의 형태 2에 의하면, 뉴럴 네트워크가 2층 이상의 중간층(2-g)을 구비하고 있는 경우에도, 뉴럴 네트워크의 중간층(2-g)에 포함되는 소자 b_j ^g의 수를 자동적으로 결정할 수 있는 효과를 발휘한다.

실시의 형태 3.

상기 실시의 형태 2에서는, 뉴럴 네트워크가 구비하고 있는 중간층(2-g)의 층수가 G로 고정되어 있는 예를 설명하고 있다.

본 실시의 형태 3에서는, 뉴럴 네트워크가 구비하는 중간층(2-g)의 층수를 적당히 결정하는 예를 설명한다.

도 9는 본 발명의 실시의 형태 3에 의한 네트워크 구축 장치를 나타내는 구성도이고, 도 10은 본 발명의 실시의 형태 3에 의한 네트워크 구축 장치의 하드웨어 구성도이다.

도 9 및 도 10에 있어서, 도 1 및 도 2와 동일 부호는 동일 또는 상당 부분을 나타내므로 설명을 생략한다.

층수 결정부(16)는 예컨대 도 10의 층수 결정 회로(26)로 실현되는 것이고, 뉴럴 네트워크가 구비하는 중간층(2-g)의 층수 G를 결정하는 처리를 실시한다.

도 9에서는, 네트워크 구축 장치의 구성 요소인 초기 설정부(11), 출력치 산출부(12), 소자 구축부(13), 데이터 기억부(14), 파라미터 갱신부(15) 및 층수 결정부(16)의 각각이, 도 10에 나타내는 바와 같은 전용 하드웨어, 즉, 초기 설정 회로(21), 출력치 산출 회로(22), 소자 구축 회로(23), 데이터 기억 회로(24), 파라미터 갱신 회로(25) 및 층수 결정 회로(26)로 실현되는 것을 상정하고 있다.

여기서, 데이터 기억 회로(24)는, 예컨대, RAM, ROM, 플래시 메모리, EPROM, EEPROM 등의 비휘발성 또는 휘발성의 반도체 메모리나, 자기 디스크, 플렉서블 디스크, 광 디스크, 콤팩트 디스크, 미니 디스크, DVD 등이 해당한다.

또한, 초기 설정 회로(21), 출력치 산출 회로(22), 소자 구축 회로(23), 파라미터 갱신 회로(25) 및 층수 결정 회로(26)는, 예컨대, 단일 회로, 복합 회로, 프로그램화한 프로세서, 병렬 프로그램화한 프로세서, ASIC, FPGA, 또는, 이들을 조합한 것이 해당한다.

네트워크 구축 장치가 소프트웨어나 펌웨어 등으로 실현되는 경우, 데이터 기억부(14)를 도 4에 나타내는 컴퓨터의 메모리(31) 상에 구성함과 아울러, 초기 설정부(11), 출력치 산출부(12), 소자 구축부(13), 파라미터 갱신부(15) 및 층수 결정부(16)의 처리 수순을 컴퓨터에 실행시키기 위한 프로그램을 메모리(31)에 저장하고, 도 4에 나타내는 컴퓨터의 프로세서(32)가 메모리(31)에 저장되어 있는 프로그램을 실행하도록 하면 된다.

또한, 도 10에서는 네트워크 구축 장치의 구성 요소의 각각이 전용 하드웨어로 실현되는 예를 나타내고, 도 4에서는, 네트워크 구축 장치가 소프트웨어나 펌웨어 등으로 실현되는 예를 나타내고 있지만, 네트워크 구축 장치에 있어서의 일부의 구성 요소가 전용 하드웨어로 실현되고, 나머지의 구성 요소가 소프트웨어나 펌웨어 등으로 실현되는 것이더라도 좋다.

다음으로 동작에 대하여 설명한다.

층수 결정부(16)를 실장하고 있는 점 이외에는, 상기 실시의 형태 2와 마찬가지이기 때문에, 여기서는, 층수 결정부(16)의 처리 내용만을 설명한다.

층수 결정부(16)는, 초기 설정부(11), 출력치 산출부(12) 및 소자 구축부(13)가, 상기 실시의 형태 2와 마찬가지의 방법으로, 1개의 중간층(2-g)의 구조를 결정하면, 그때마다, 구조 결정이 끝난 중간층(2-g)을 입력층(1)과 출력층(3)의 사이에 접속한다.

예컨대, 3개의 중간층(2-1~2-3)의 구조의 결정이 완료되어 있는 단계에서는, 3개의 중간층(2-1~2-3)을 입력층(1)과 출력층(3)의 사이에 접속한다.

또한, 4개의 중간층(2-1~2-4)의 구조의 결정이 완료되어 있는 단계에서는, 4개의 중간층(2-1~2-4)을 입력층(1)과 출력층(3)의 사이에 접속한다.

층수 결정부(16)는, 새롭게 구조를 결정한 중간층(2-g)을 입력층(1)과 출력층(3)의 사이에 접속하면, 임의의 데이터를 입력층(1)에 준다.

그리고, 층수 결정부(16)는, 데이터를 입력층(1)에 주고 나서, 출력층(3)으로부터 데이터가 출력될 때까지의 시간을, 뉴럴 네트워크에 있어서의 데이터의 입출력 시간 Ta로서 계측한다.

식 (13)에 있어서, T_IN은 입력층(1)에 데이터가 입력된 시각, T_OUT는 출력층(3)으로부터 데이터가 출력된 시각이다.

층수 결정부(16)는, 뉴럴 네트워크에 있어서의 데이터의 입출력 시간 Ta를 계측하면, 그 입출력 시간 Ta와, 입출력 시간의 허용 시간 Tb를 비교한다.

입출력 시간의 허용 시간 Tb는, 네트워크 구축 장치가 허용하는 시간이고, 사전에 설정되는 시간이다.

층수 결정부(16)는, 뉴럴 네트워크에 있어서의 데이터의 입출력 시간 Ta가, 입출력 시간의 허용 시간 Tb보다 짧은 경우, 데이터의 입출력 시간 Ta로부터, 입력층(1)과 출력층(3)의 사이에 접속되어 있는 각 1층에 대한 중간층(2-g)의 입출력 시간 Ta/E를 산출한다.

E는, 현시점에 있어서, 입력층(1)과 출력층(3)의 사이에 접속되어 있는 중간층(2-g)의 층수이다.

층수 결정부(16)는, 이하의 식 (14)를 만족하는 경우, 입력층(1)과 출력층(3)의 사이에 접속하는 중간층(2-g)의 수를 1개 늘리더라도, 뉴럴 네트워크에 있어서의 데이터의 입출력 시간 Ta가 허용 시간 Tb 이내에 있을 가능성이 높기 때문에, 입력층(1)과 출력층(3)의 사이에 접속하는 중간층(2-g)의 수를 1개 늘리는 것을 허가한다.

이것에 의해, 초기 설정부(11), 출력치 산출부(12) 및 소자 구축부(13)는, 상기 실시의 형태 2와 마찬가지의 방법으로, 새롭게 추가하는 중간층(2-g)의 구조를 결정하는 처리를 실시한다.

층수 결정부(16)는, 식 (14)를 만족하지 않는 경우, 입력층(1)과 출력층(3)의 사이에 접속하는 중간층(2-g)의 수를 1개 늘리면, 뉴럴 네트워크에 있어서의 데이터의 입출력 시간 Ta가 허용 시간 Tb를 넘을 가능성이 높기 때문에, 입력층(1)과 출력층(3)의 사이에 접속하는 중간층(2-g)의 수를 늘리는 것을 거부한다.

이것에 의해, 현시점에 있어서, 입력층(1)과 출력층(3)의 사이에 접속되어 있는 중간층(2-g)의 층수 E가, 뉴럴 네트워크가 구비하는 중간층(2-g)의 층수 G로 결정된다.

이상에서 분명한 바와 같이, 본 실시의 형태 3에 의하면, 층수 결정부(16)가, 뉴럴 네트워크에 있어서의 데이터의 입출력 시간 Ta와, 입출력 시간의 허용 시간 Tb로부터, 중간층(2-g)의 층수 G를 결정하도록 구성했으므로, 뉴럴 네트워크에 있어서의 데이터의 입출력 시간 Ta를 허용 시간 Tb 이내에 설정할 수 있는 효과를 발휘한다.

본 실시의 형태 3에서는, 층수 결정부(16)가, 뉴럴 네트워크에 있어서의 데이터의 입출력 시간 Ta를 계측하고, 그 입출력 시간 Ta와 허용 시간 Tb로부터 중간층(2)의 층수 G를 결정하고 있는 예를 설명하고 있지만, 이것에 한하는 것이 아니다.

예컨대, 층수 결정부(16)가, 뉴럴 네트워크의 학습 시간 Tc를 계측하고, 그 학습 시간 Tc와, 학습 시간의 허용 시간 Td로부터 중간층(2)의 층수 G를 결정하도록 하더라도 좋다.

구체적으로는, 이하와 같다.

층수 결정부(16)는, 새롭게 구조를 결정한 중간층(2-g)을 입력층(1)과 출력층(3)의 사이에 접속하면, 학습 데이터를 입력층(1)에 줌으로써, 뉴럴 네트워크에 학습을 실시시킨다.

그리고, 층수 결정부(16)는, 예컨대, 학습 데이터를 입력층(1)에 주고 나서, 출력층(3)으로부터 데이터가 출력될 때까지의 시간을, 뉴럴 네트워크의 학습 시간 Tc로서 계측한다.

식 (15)에 있어서, T_IN은 입력층(1)에 학습 데이터가 입력된 시각, T_OUT는 출력층(3)으로부터 데이터가 출력된 시각이다.

층수 결정부(16)는, 뉴럴 네트워크의 학습 시간 Tc를 계측하면, 그 학습 시간 Tc와, 학습 시간의 허용 시간 Td를 비교한다.

학습 시간의 허용 시간 Td는, 네트워크 구축 장치가 허용하는 시간이고, 사전에 설정되는 시간이다.

층수 결정부(16)는, 뉴럴 네트워크의 학습 시간 Tc가, 학습 시간의 허용 시간 Td보다 짧은 경우, 뉴럴 네트워크의 학습 시간 Tc로부터, 입력층(1)과 출력층(3)의 사이에 접속되어 있는 각 1층에 대한 중간층(2-g)의 학습 시간 Tc/E를 산출한다.

층수 결정부(16)는, 이하의 식 (16)을 만족하는 경우, 입력층(1)과 출력층(3)의 사이에 접속하는 중간층(2-g)의 수를 1개 늘리더라도, 뉴럴 네트워크의 학습 시간 Tc가 허용 시간 Td 이내에 있을 가능성이 높기 때문에, 입력층(1)과 출력층(3)의 사이에 접속하는 중간층(2-g)의 수를 1개 늘리는 것을 허가한다.

층수 결정부(16)는, 식 (16)을 만족하지 않는 경우, 입력층(1)과 출력층(3)의 사이에 접속하는 중간층(2-g)의 수를 1개 늘리면, 뉴럴 네트워크의 학습 시간 Tc가 허용 시간 Td를 넘을 가능성이 높기 때문에, 입력층(1)과 출력층(3)의 사이에 접속하는 중간층(2-g)의 수를 늘리는 것을 거부한다.

층수 결정부(16)가, 뉴럴 네트워크의 학습 시간 Tc를 계측하고, 그 학습 시간 Tc와 허용 시간 Td로부터 중간층(2)의 층수 G를 결정하는 경우, 뉴럴 네트워크의 학습 시간 Tc를 허용 시간 Td 이내에 설정할 수 있는 효과를 발휘한다.

또, 본원 발명은 그 발명의 범위 내에 있어서, 각 실시의 형태의 자유로운 조합, 혹은 각 실시의 형태의 임의의 구성 요소의 변형, 또는 각 실시의 형태에 있어서 임의의 구성 요소의 생략이 가능하다.

(산업상 이용가능성)

본 발명은, 뉴럴 네트워크를 구축하는 네트워크 구축 장치 및 네트워크 구축 방법에 적합하다.

1 : 입력층
2, 2-1~2-G : 중간층
3 : 출력층
11 : 초기 설정부
12 : 출력치 산출부
13 : 소자 구축부
14 : 데이터 기억부
15 : 파라미터 갱신부
16 : 층수 결정부
21 : 초기 설정 회로
22 : 출력치 산출 회로
23 : 소자 구축 회로
24 : 데이터 기억 회로
25 : 파라미터 갱신 회로
26 : 층수 결정 회로
31 : 메모리
32 : 프로세서

Claims

입출력 응답이 가우스 함수로 결정되는 소자를 포함하는 중간층을 구비하는 뉴럴 네트워크를 구축할 때에, 상기 중간층에 포함되어 있는 소자마다, 당해 소자에 관한 가우스 함수의 파라미터를 초기 설정하는 초기 설정부와,
상기 초기 설정부에 의해 초기 설정된 파라미터와 상기 뉴럴 네트워크의 입력층에 포함되어 있는 소자의 출력치에 따라 상기 중간층에 포함되어 있는 1개 이상의 소자의 출력치를 산출하는 출력치 산출부와,
상기 출력치 산출부에 의해 산출된 1개 이상의 소자의 출력치와 임계치를 비교하고, 상기 중간층에 포함되어 있는 1개 이상의 소자의 출력치 중, 어느 하나의 소자의 출력치가 상기 임계치보다 크면, 상기 중간층에 포함되어 있는 소자의 수를 유지하고, 상기 중간층에 포함되어 있는 1개 이상의 소자의 출력치의 모두가 상기 임계치 이하이면, 상기 중간층에 포함되어 있는 소자의 수를 늘리는 소자 구축 처리를 실시하는 소자 구축부를 구비하되,
상기 출력치 산출부는, 상기 초기 설정부에 의해 초기 설정된 파라미터를 갖는 가우스 함수에 대하여, 상기 입력층에 포함되어 있는 소자의 출력치를 대입함으로써, 상기 중간층에 포함되어 있는 소자의 출력치를 산출하며, 상기 가우스 함수의 파라미터의 1개로서, 상기 중간층에 포함되어 있는 각각의 소자에 대한 상기 가우스 함수에 있어서의 가우스 분포의 표준 편차치를 이용하는 것을 특징으로 하는
네트워크 구축 장치.
삭제
제 1 항에 있어서,
상기 소자 구축부에 의해 소자 구축 처리가 실시된 후, 학습 데이터가 상기 입력층에 주어졌을 때에 상기 가우스 함수의 파라미터의 학습을 행하는 지도 학습(supervised learning)을 실시함으로써, 상기 가우스 함수의 파라미터를 갱신함과 아울러, 상기 중간층에 포함되어 있는 소자와 출력층에 포함되어 있는 소자의 사이의 가중치를 갱신하는 파라미터 갱신부를 구비한 것을 특징으로 하는 네트워크 구축 장치.
제 3 항에 있어서,
상기 파라미터 갱신부는, 상기 지도 학습을 실시함으로써, 상기 입력층에 포함되어 있는 소자와 상기 중간층에 포함되어 있는 소자의 사이의 가중치를 갱신하는 것을 특징으로 하는 네트워크 구축 장치.
삭제
제 1 항에 있어서,
상기 출력치 산출부는, 상기 중간층에 포함되어 있는 각각의 소자에 대한 상기 가우스 분포의 표준 편차치로서, 상기 입력층에 포함되어 있는 복수의 소자의 출력치의 표준 편차치를 이용하는 것을 특징으로 하는 네트워크 구축 장치.
제 1 항에 있어서,
상기 출력치 산출부는, 상기 중간층에 포함되어 있는 각각의 소자에 대한 상기 가우스 분포의 표준 편차치로서, 양의 실수를 이용하는 것을 특징으로 하는 네트워크 구축 장치.
제 1 항에 있어서,
상기 소자 구축부는, 상기 임계치로서, 1 이하의 양의 실수를 이용하는 것을 특징으로 하는 네트워크 구축 장치.
제 1 항에 있어서,
상기 소자 구축부는, 상기 임계치로서, e^-0.25 이상 1 이하의 양의 실수를 이용하는 것을 특징으로 하는 네트워크 구축 장치.
제 3 항에 있어서,
상기 파라미터 갱신부는, 상기 가우스 함수의 파라미터로서, 상기 가우스 함수에 있어서의 가우스 분포의 표준 편차치를 나타내는 파라미터, 상기 가우스 함수의 중심 좌표를 나타내는 파라미터 중, 어느 1개 이상의 파라미터를 갱신하는 것을 특징으로 하는 네트워크 구축 장치.
제 1 항에 있어서,
상기 뉴럴 네트워크가 G(G는 2 이상의 정수)층의 중간층을 구비하고, 상기 G층의 중간층이 상기 입력층과 출력층의 사이에 종속(縱續)으로 접속되어 있고,
상기 출력치 산출부는, 상기 입력층에 포함되어 있는 소자의 출력치가 1층째의 중간층에 포함되어 있는 1개 이상의 소자에 주어지면, 상기 입력층에 포함되어 있는 소자의 출력치에 따라 1층째의 중간층에 포함되어 있는 1개 이상의 소자의 출력치를 산출하고, (g-1)층째(g=2, …, G)의 중간층에 포함되어 있는 소자의 출력치가 g층째(g=2, …, G)의 중간층에 포함되어 있는 1개 이상의 소자에 주어지면, (g-1)층째(g=2, …, G)의 중간층에 포함되어 있는 소자의 출력치에 따라 g층째(g=2, …, G)의 중간층에 포함되어 있는 1개 이상의 소자의 출력치를 산출하고,
상기 소자 구축부는, 상기 출력치 산출부에 의해 산출된 g층째(g=1, …, G)의 중간층에 포함되어 있는 1개 이상의 소자의 출력치와 상기 임계치를 비교하고, g층째(g=1, …, G)의 중간층에 포함되어 있는 1개 이상의 소자의 출력치 중, 어느 하나의 소자의 출력치가 상기 임계치보다 크면, g층째(g=1, …, G)의 중간층에 포함되어 있는 소자의 수를 유지하고, g층째(g=1, …, G)의 중간층에 포함되어 있는 1개 이상의 소자의 출력치의 모두가 상기 임계치 이하이면, g층째(g=1, …, G)의 중간층에 포함되어 있는 소자의 수를 늘리는 소자 구축 처리를 실시하는
것을 특징으로 하는 네트워크 구축 장치.
제 11 항에 있어서,
상기 소자 구축부에 의해 소자 구축 처리가 실시된 후, 학습 데이터가 상기 입력층에 주어졌을 때에 G(G는 2 이상의 정수)층의 중간층에 포함되어 있는 소자에 관한 가우스 함수의 파라미터의 학습을 행하는 지도 학습을 실시함으로써, 상기 가우스 함수의 파라미터를 갱신함과 아울러, G층째의 중간층에 포함되어 있는 소자와 출력층에 포함되어 있는 소자의 사이의 가중치를 갱신하는 파라미터 갱신부를 구비한 것을 특징으로 하는 네트워크 구축 장치.
제 12 항에 있어서,
상기 파라미터 갱신부는, 상기 지도 학습을 실시함으로써, (g-1)층째(g=2, …, G)의 중간층에 포함되어 있는 소자와 g층째(g=2, …, G)의 중간층에 포함되어 있는 소자의 사이의 가중치를 갱신하는 것을 특징으로 하는 네트워크 구축 장치.
제 12 항에 있어서,
상기 파라미터 갱신부는, 상기 지도 학습을 실시함으로써, 상기 입력층에 포함되어 있는 소자와 1층째의 중간층에 포함되어 있는 소자의 사이의 가중치를 갱신하는 것을 특징으로 하는 네트워크 구축 장치.
제 11 항에 있어서,
상기 뉴럴 네트워크가 구비하는 중간층의 층수를 결정하는 층수 결정부를 구비한 것을 특징으로 하는 네트워크 구축 장치.
제 15 항에 있어서,
상기 층수 결정부는, 상기 뉴럴 네트워크에 있어서의 데이터의 입출력 시간과, 상기 입출력 시간의 허용 시간으로부터, 상기 중간층의 층수를 결정하는 것을 특징으로 하는 네트워크 구축 장치.
제 15 항에 있어서,
상기 층수 결정부는, 상기 뉴럴 네트워크의 학습 시간과, 상기 학습 시간의 허용 시간으로부터, 상기 중간층의 층수를 결정하는 것을 특징으로 하는 네트워크 구축 장치.
입출력 응답이 가우스 함수로 결정되는 소자를 포함하는 중간층을 구비하는 뉴럴 네트워크를 구축할 때에, 초기 설정부가, 상기 중간층에 포함되어 있는 소자마다, 당해 소자에 관한 가우스 함수의 파라미터를 초기 설정하고,
출력치 산출부가, 상기 초기 설정부에 의해 초기 설정된 파라미터와 상기 뉴럴 네트워크의 입력층에 포함되어 있는 소자의 출력치에 따라 상기 중간층에 포함되어 있는 1개 이상의 소자의 출력치를 산출하고,
소자 구축부가, 상기 출력치 산출부에 의해 산출된 1개 이상의 소자의 출력치와 임계치를 비교하고, 상기 중간층에 포함되어 있는 1개 이상의 소자의 출력치 중, 어느 하나의 소자의 출력치가 상기 임계치보다 크면, 상기 중간층에 포함되어 있는 소자의 수를 유지하고, 상기 중간층에 포함되어 있는 1개 이상의 소자의 출력치의 모두가 상기 임계치 이하이면, 상기 중간층에 포함되어 있는 소자의 수를 늘리는 소자 구축 처리를 실시하되,
상기 출력치 산출부가, 상기 초기 설정부에 의해 초기 설정된 파라미터를 갖는 가우스 함수에 대하여, 상기 입력층에 포함되어 있는 소자의 출력치를 대입함으로써, 상기 중간층에 포함되어 있는 소자의 출력치를 산출하고, 상기 가우스 함수의 파라미터의 1개로서, 상기 중간층에 포함되어 있는 각각의 소자에 대한 상기 가우스 함수에 있어서의 가우스 분포의 표준 편차치를 이용하는 것을 특징으로 하는
네트워크 구축 방법.
삭제
제 18 항에 있어서,
파라미터 갱신부가, 상기 소자 구축부에 의해 소자 구축 처리가 실시된 후, 학습 데이터가 상기 입력층에 주어졌을 때에 상기 가우스 함수의 파라미터의 학습을 행하는 지도 학습을 실시함으로써, 상기 가우스 함수의 파라미터를 갱신함과 아울러, 상기 중간층에 포함되어 있는 소자와 출력층에 포함되어 있는 소자의 사이의 가중치를 갱신하는 것을 특징으로 하는 네트워크 구축 방법.