KR920006792B1

KR920006792B1 - 다입력-출력회로를 계층형상으로 접속한 학습기계

Info

Publication number: KR920006792B1
Application number: KR1019900002309A
Authority: KR
Inventors: 시게오 사카우에; 토시유끼 코우다; 야스하루 시메키; 히데유끼 타카기; 하야또 토가와
Original assignee: 마쯔시다덴기산교 가부시기가이샤; 다니이 아끼오
Priority date: 1989-02-23
Filing date: 1990-02-23
Publication date: 1992-08-17
Also published as: US5168550A; EP0385637A2; DE69027874D1; KR910015939A; EP0579341A3; DE69027874T2; EP0385637A3; EP0385637B1; EP0579341A2

Abstract

내용없음.

Description

다입력-출력회로를 계층형상으로 접속한 학습기계

제1도는 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계의 일반적 구성도.

제2도는 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계의 구성도.

제3도는 동종래예에 있어서의 포화입출력특성을 가진 가산기의 특성함수의 그래프.

제4도는 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계의 학습회로의 구성도.

제5도는 동종래예의 학습회로의 상세한 블록도.

제6도는 본 발명의 제1의 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계의 구성도.

제7도는 동실시예의 학습회로의 구성도.

제8도는 동실시예의 공역구배방향결정부의 상세한 블록도.

제9도는 본 발명의 제2의 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계의 구성도.

제10도는 동실시예의 학습회로의 구성도.

제11도는 동실시예에 있어서의 동작을 설명하는 오차곡면의 등고선의 모식도.

제12도는 동실시예에 있어서의 동작을 설명하는 오차곡면의 출발점과 P₁과의 사이의 단면도.

제13도는 동실시예의 직선탐색에 있어서의 동작을 표시한 PAD도(Problem Analysis Diagram).

제14도는 본 발명의 제3의 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계의 구성도.

제15도는 동실시예에 있어서의 동작을 설명하는 오차곡면의 등고선의 모식도.

제16도는 본 발명의 제4의 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계의 구성도.

제17도는 동 실시예의 숨은층 적화기억부의 상세 블록도.

제18도는 본 발명의 제5의 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계의 구성도.

* 도면의 주요부분에 대한 부호의 설명

1, 2 : 입력단자 3∼8 : 가변가중승산기

9, 10, 11 : 가산기 12 : 출력단자

13 : 교사(敎師)신호발생부 14 : 오차산출부

15 : 공역구배(共役勾配)방향결정부 16 : 가중변경부

17 : 학습회로 18, 19, 20 : 다입력-출력회로

21 : 출력층 22 : 숨은층

23, 26, 27 : 출력단자 24, 25 : 입력단자

28 : 최급강하방향산출부 29 : 공역구배방향산출부

30 : 가중변경방향산출부 31 : 학습회수계수부

32, 35 : 입력단자 33, 34 : 출력단자

36, 37 : 미계수(微係數)산출부 38 : 출력층미계수기억부

39 : 숨은층미계수기억부 40 : δ기억부

41 : 금회의 출력층의 최급강하방향기억부

42 : 전회의 출력층의 최급강하방향 기억부

43 : β산출부

44 : 전회의 출력층 가중변경방향 기억부

45∼51 : 승산기 52 : 가산기

53 : δ*W버퍼 54 : 입력신호기억부

55 : 금회의 숨은층의 최급강하방향기억부

56 : 전회의 숨은층의 최급강하방향기억부

58 : 전회의 숨은층가중변경방향기억부 59, 60 : 가중변경방향절환부

61 : 학습파라미터승산기 63, 64 : 가산기

65 : 가중변경부 66 : 학습파라미터초기화부

67 : 직선탐색부 68 : 포물선근사부

69 : 학습회로 70, 71 : 승산기

72 : 학습파라미터산출부 73, 74 : 가산기

75 : 가중기억부 77 : 숨은층 적화(積和)기억부

78 : 직선탐색부 79 : 학습회로

80∼83 : 입력단자 84 : 출력단자

85, 86, 87 : 승산기 88, 89 : 적화기억부

90 : 가산기 91 : 비선형변환부

92 : 부적학습상태검출부 93 : 학습회로

본 발명은 데이터처리장치의 다입력-출력회로를 계층형상으로 접속한 학습기계에 관한 것이다.

종래의 다입력-출력회로를 계층형상으로 접속한 학습기계로서는, 예를들면 D.E.Rummelhart등에 의한 "Learning representations by back-propagating errors", Nature vol. 323 No.9(1986)에 명시되어 있다. 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계에서는, 다입력-출력회로는 입력신호에 가중(weighting)을 해서 가산한 신호에 포화특성을 가진 변환을 실시하여 출력한다. 즉,

여기에, y[j]는 제j번째의 다입력-출력회로의 출력신호, y[i]는 앞단계의 층의 제i번째의 다입력-출력회로의 출력신호이며, W[i, j]는 앞단계의 층의 제i번째의 다입력-출력회로의 출력신호가 제j번째의 다입력-출력회로에 입력될때에 매겨지는 가중이다. fnc()는 포화특성을 가진 함수로서 시그모이드함수

등으로 표시된다. 학습기계는 다입력-출력회로를 계층형상으로 접속한 구성으로 되어 있으며, 입력신호에 대해서 바람직한 출력신호(이하, 교사신호(敎師信號)라부름)을 출력하도록 학습한다. 학습에 있어서는, 교사신호와 실제의 출력신호로부터, 다음에 표시한 ②식에 따라서 오차 E를 구한다.

여기서, y_p[j]는 제p번째의 입력신호에 대한 출력층의 제j번째의 다입력→출력회로의 출력신호, t_p[j]는 y_p[j]에 대한 교사신호, Σ_p는 모든 교사신호에 관한 종합계, Σ_j는 출력층의 모든 다입력-출력회로에 관한 총합계,

은 가중 W[i, j]을 성분으로 하는 벡터(이하

를 가중벡터라부름)이다. ②식에서 표시된 바와 같이 오차 E는 교사신호와 실제의 출력신호와의 차의 2제곱합으로 표시되며, 가중벡터

의 함수가 된다. 학습의 목적은 가중벡터를 변경하여, 교사신호와 실제의 출력신호와의 차 즉 오차를 최소화하는 일이다. 가중벡터의 변경량은

에 의해서 결정된다. 여기서, ε는 학습파라미터라고 호칭되는 정(正)의 정수, α는 가속파라미터라고 호칭되는 정의 정수이며,

는 ②식에서 표시되는 오차 E의 가중 W[i, j]에 의한 미분을 성분으로 하는 벡터로서, 최급강하방향이라고 호칭된다.

는, 전회(前回)의 학습에 있어서의 가중변경량의 벡터표현이다. 이학습 알고리즘은 오차역전반법(誤差逆傳搬法)이라고 호칭된다.

이상과 같은, 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계에서는, 학습파라미터 ε 및 가속파라미터 α는 고정이고, 경험 또는 시행착오에 의해서 정해져 있으며, 이들은 반드시 최적치는 아니고, 학습에 소요되는 시간이 길어진다고 하는 과제를 가지고 있었다. 또 학습의 목적인 오차의 최소화에는 최급강하법에 의거한 오차 역전반법을 사용하고 있으며, 오차의 최소화법으로서는 반드시 최적은 아니라고 하는 과제를 가지고 있었다. 또, 그이상 학습을 진행시켜도 오차가 감소하지 않는 비효율적상태에 학습이 빠진다고 하는 과제를 가지고 있었다.

본 발명은 이러한점에 비추어, 교사신호(바람직한 출력신호)와 실제의 출력신호와의 오차를 최소화하는 방법으로서 최급강하법보다 뛰어나 있다고 생각되는 공역구배법(共役句配法)을 학습에 사용하고, 학습에 소요되는 시간이 짧은 다입력-출력회로를 계층형상으로 접속한 학습기계를 제공하는 것을 목적으로 한다.

본 발명의 또 하나의 목적은, 학습파라미터의 최적치를 동적으로 설정하여 학습을 진행시키므로서, 학습에 소요되는 시간이 짧은 다입력 출력회로를 층계형상으로 접속한 학습기계를 제공하는 일이다.

본 발명의 또 하나의 목적은, 일정한 가중변경방향에 관한 복수의 학습파라미터에 대한 오차를 산출할때에, 연산량을 삭감하므로서 학습에 소요되는 시간이 짧은 다입력-출력회로를 층계형상으로 접속한 학습기계를 제공하는 일이다.

본 발명의 또 하나의 목적은, 그이상 학습을 진행시켜도 오차가 감소하지 않는 비효율적 상태에 학습이 빠져 있는 것을 검출하면, 가중을 다시고쳐서 조정하여 학습을 재개하므로서, 학습시간이 짧은 다입력-출력회로를 계층형상으로 접속한 학습기계를 제공하는 일이다.

본 발명은, 입력신호의 가중합에 포화특성을 가진 특성함수로 비선형 처리를 실시해서 출력하는 복수의 다입력-출력회로로 이루어진 숨은 층과, 상기 숨은층의 출력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시해서 출력하는 다입력-출력회로로 이루어진 출력층과, 상기 출력층의 바람직한 출력신호를 발생하는 교사신호발생부와, 상기 교사신호 발생부의 출력과 상기 출력층의 출력과의 오차를 최소화하기 위한 가중변경방향을 복수의 방향으로부터 선택해서 결정하는 가중변경방향결정부와, 가중 변경방향에 관해서 복수의 학습파라미터에 대한 가중변경량을 출력하는 직선탐색부와, 상기 직선탐색부에서 구하게 된 가중 변경량으로부터 가중변경량을 선택하는 가중변경부와, 입력신호와 숨은층의 가중과의 적화(積和) 및 입력신호와 숨은층의 가중이 변경방향과의 적화를 기억하는 숨은층 적화기억부와, 학습을 그이상 진행시켜도 오차가 효율적으로 감소하지 않는 부적당한 상태에 빠져 있는 것을 검출하는 부적학습상태검출부를 구비한 다입력-출력회로를 계층형상으로 접속한 학습기계이다.

본 발명은 상기한 구성에 의해, 숨은층 및 출력층에서 입력신호에 가중을 해서 가산하고, 비선형처리를 실시해서 출력신호를 구하여, 교사신호발생부가 출력하는 바람직한 출력신호와 실제의 출력신호와의 오차를, 최소화하기 위하여, 가중변경방향결정부에서 가중의 변경방향을 복수의 방향으로부터 선택해서 결정한후, 직선탐색부에서 복수의 학습파라미터에 대한 가중변경량을 구하고, 숨은층 적화기억부에서 기억한 입력신호와 숨은층의 가중과의 적화 및 입력신호와 숨은층의 가중의 변경방향과의 적화를 근거로, 숨은층적화기억부 및 출력층에 의해서 직선탐색부에서 설정된 가중변경량에 대한 출력신호를 적은 연산량으로 구하고, 부적학습상태검출부에서 학습이 비효율상태에 빠져 있지 않는지 어떤지 조사하면서, 가중변경부에서 상기 직선탐색부에서 구하게된 가중변경량으로부터 가중변경량을 선택해서 각가중을 변경한다. 이하 마찬가지로, 가중의 변경방향에 있어서 오차가 최소가 되는 학습파라미터를 사용해서 가중을 변경하는 동작을 반복해서 오차를 충분히 작게 한다. 이상에 의해, 가중의 변경방향이 결정되면 그 방향에 있어서 최적의 학습파라미터를 동적으로 설정하고, 최적의 학습파라미터를 사용해서 가중을 변경하여 오차를 작게 하므로서, 짧은 학습시간으로 오차가 충분히 작게 되고, 학습을 종료할 수 있다.

본 발명에서는, 오차를 최소화하기 위하여, 상기한 구성의 가중변경방향결정부에서 가중의 변경방향을 결정한다. 가중의 변경방향으로서는, 예를들면 최급강하 방향은, 현재의 가중의 값의 아주근처에 있어서는 가장 적은 가중의 변경량이고 가장 오차의 감소량이 크다고 하는 의미에서, 국소적으로는 가장 효율이 좋은 방향이다. 이에 대해서, 예를들면 공역 구배방향은, 전회까지의 학습에 있어서의 가중의 변경방향과는 다른 방향으로 가중을 변경한다고하는 의미에서, 대국적으로봐서 가장 효율이 좋은 방향이다. 따라서, 본 발명에서는, 가중의 변경방향은 가중변경방향을 복수의 방향으로부터 선택해서 결정하고, 최적의 가중변경방향으로 가중을 변경하므로서 학습에 소요되는 시간을 단축한다.

본 발명에서는, 상기한 구성의 숨은층 적화기억부에 의해서, 입력신호와 숨은층의 가중과의 적화 및 입력신호와 숨은 층의 가중의 변경방향과의 적화를 기억하므로서, 가중의 변경방향을 일정하게한채 복수의 학습파라미터에 대한 오차를 구할때에, 숨은층의 출력신호를 구하는 연산량을 대폭 삭감하고, 학습에 소요되는 시간을 단축한다.

본 발명에서는, 상기한 구성의 부적학습상태검출부에서, 최급강하방향 또는 공역구배방향으로 가중을 변경해도, 오차가 감소하지않는것을 검출하면, 학습이 비효율적 상태로 빠진 것으로 판단하고, 가중을 다시 조정하여 학습을 재개하므로서, 학습이 비효율적상태에 빠지는 것을 피하고, 학습이 소요되는 시간을 단축한다.

본 발명의 실시예의 상세한 설명을 하기전에, 제1도 내지 제5도를 사용해서 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계에 대해서 더욱 상세하게 설명한다.

제1도는 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계의 일반적 구성도를 도시한 것이며, (201), (202)는 입력단자, (217)은 학습회로, (218), (219), (220)은 다입력-출력회로, (221)은 출력층, (222)는 숨은층이다. 제1도에 도시된 바와 같이, 학습기계는 다입력-출력회로를 계층형상으로 접속한 구성에 의해서, 입력단자로부터 입력된 신호를 처리해서, 출력단자로부터 출력한다. 이와 같이, 계층형상으로 접속된 다입력-출력회로중, 출력신호를 출력하는 다입력-출력회로로 이루어진 층을 출력층이라고 부르며, 그이외의 다입력-출력회로로 이루어진 층을 숨은층이라고 부른다. 숨은층은, 1개의 층을 이루는 다입력-출력회로에 의해서 구성되어도 되고, 복수의 층을 이루는 다입력-출력회로에 의해서 구성되어도 된다.

제2도는 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계의 구성도를 도시한 것이며, (203), (204), (205), (206), (207), (208)은 가변가중승산기, (209), (210), (211)은 포화입출력특성을 가진 가산기, (212)는 출력단자, (213)은 교사신호발생부, (214)는 오차산출부, (215)는 최급강하방향결정부, (216)은 가중변경부이다. 제2도는, 제1도에 도시한 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계의 일반적 구성도에 있어서, 출력층을 1개의 다입력-출력회로로 구성하고, 숨은층을 2개의 1층의 다입력-출력회로로 구성한 것으로 되어 있다. 제2도에 표시된 바와 같이, 다입력-출력회로는 가변가중승산기와 포화입출력특성을 가진 가산기로 이루어져 있으며, 학습기계는 다입력-출력회로를 계층형상으로 접속한 구성으로 되어 있다. 제3도에 포화입출력특성을 가진 가산기(209), (210) 및 (211)의 특성함수의 그래프를 표시한다. 가산기(209), (210) 및 (211)은 제3도에 표시된 바와 같은 포화입출력 특성을 가진다.

종래의 다입력-출력회로를 계층형상으로 접속한 학습기계는, 입력신호에 대해서 바람직한 출력신호를 얻기 위하여, 가변가중승산기에 의해서 입력신호에 매겨지는 가중을 변경한다. 제4도에, 이 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계의 학습회로(217)의 구성도를 표시한다. 제4도에 있어서, (223)은 출력층출력의 입력단자, (224)는 숨은층출력의 입력단자, (225)는 입력신호의 입력단자, (226)은 출력층의 가중의 출력단자, (227)은 숨은층의 가중의 출력단자이다. 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계의 학습회로에서는, 교사신호발생부(213)이, 입력신호에 대한 교사신호(바람직한 출력신호) t_p[j]를 발생한다. 오차산출부(214)는, 교사신호 t_p[j]와 실제의 출력신호 y_p[j]로부터 ②식으로 표시되는 오차 E를 산출한다. 오차산출부(214)는 가중의 변경을 위하여 필요한 교사신호와 출력신호와의 차(差)신호

t_p[j]-y_p[j]

를, 최급강하방향결정부(215)에 출력한다. 최급강하방향결정부(215)에 출력한다. 최급강하방향결정부(215)는 상기 차신호, 출력층 출력신호, 숨은층 출력신호, 입력신호 및 출력층의 가중을 근거로, 가중을 벡터로 표현하는 가중공간에 있어서의 오차 E의, 최급강하방향을 구한다. 최급강하방향

는,

에 의해서 구할 수 있다. ④식의 우변은, 오차 E이 가중에 의한 미분의 벡터표현이다. 최급강하방향결정부(215)는, 최급강하방향으로 학습파라미터를 매겨서, 가중변경부(216)에 출력한다. 가중변경부(216)은 ③식에 의해서 가중변경량을 구하고, 각 가변가중승산기(203), (204), (205), (206), (207), (208)에 의해서 매기는 가중을 변경한다. 이상과 같이 최급강하법에 의해서 가중의 변경량을 구하는 일의 반복에 의해, 오차를 작게 해가고, 오차가 충분히 작게 되면, 출력신호가 바람직한 값으로 충분히 가깝게 된 것으로 해서, 학습을 종료한다.

제5도에, 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계의 학습회로(217)의 상세블록도를 도시한다. 제5도에 있어서, (228)은 학습종료판정부, (229) 및 (230)은 미계수(微係數)산출부, (231)은 출력층미계수기억부, (232)는 δ기억부, (233)은 δ*W버퍼, (234)는 숨은층미계수기억부, (235)는 입력신호기억부, (236), (237), (238), (239) 및 (240)은 승산기, (241), (242), (243) 및 (244)는 가산기, (245) 및 (246)은 학습파라미터승산기, (247)은 출력층의 가중기억부, (248)은 숨은층의 가중기억부이다. 제5도를 사용해서, 이하에 학습회로(217)의 동작을 상세히 설명한다. 최급강하방향결정부(215)가 출력하는 가중변경량은,

로 표시된다. 여기서 W[i, j]는 제j번째의 다입력-출력회로에 입력되는 전단(前段)의 층의 제i번째의 다입력-출력회로의 출력신호에 매겨지는 가중, △W_g[i, j]는 W[i, j]의 최급강하방향에 관한 변경량, ε는 학습파라미터이다.

⑤식은 변형되어서

단, net_p[j]=Σ_i(W[i, j]*y_p[i]이며, y_p[i]는 제p번째의 입력신호에 대한 전단의 층의 제i번째의 다입력-출력회로의 출력신호이다. ⑥식은 다시 변형되어서

단,

로 된다. 이하, 식의 변형은, 제j번째의 다입력-출력회로가 출력층에 있을때와, 제j번째의 다입력-출력회로가 숨은층에 있을때에 있어서 다르다.

제j번째의 다입력-출력회로가 출력층에 있을 때

로 표시된다. 단 fnc(net_p[j])는 출력층의 각 다입력-출력회로의 특성함수(=y_p[j])이다. ②식을 사용해서, 이 식은 다시 변형되어서

로 되며, 결국

로 표시할 수 있다. 제5도에 있어서, 가산기(241)이 ⑨식에 있어서의 (t_p[j]-y_p[j])를 계산하고, 미계수산출부(229)가

를 계산하고, 출력층 미계수기억부(231)을 개재해서, 승산기(236)에 의해서 (t_p[j]-y_p[j])*

가 계산된다. 이 값은 δW_p[j]이므로 δ기억부(232)에 기억된다. 승산기(237)에서 δW_p[j]와 숨은층 출력 y_p[i]와의 적을 구하고 승산기(245)에 의해서 학습파라미터 ε를 매겨서, ⑨식으로 표시되는 △W_g[i, j]를 구한다. ⑨식의 △W_g[i, j]에 전회의 학습에서의 가중변형량의 δ배를 가산해서, ③식으로 표시되는 가중변형량 △W[i, j]를 구하고, 가산기(243)에 의해서 변경전의 가중과의 합을 구하고, 출력층의 가중기억부(247)에 기억되어 있는 출력층의 가중을 변경한다.

제j번째 다입력-출력회로가 숨은 층에 있을때

로 표시된다. 단, net_p[k]=Σ_j(W[j, k] * y_p[j])이고, W[j, k]는 제j번째의 다입력-출력회로의 출력 y_p[j]가 다음 단의 다입력-출력회로에 입력될때에 매겨지는 가중이다. ⑧식을 사용해서, 이 식은 다시 변형되어서

로 되며, 결국

로 된다. 제5도에 있어서, 승산기(238)이 δ기억부(232)의 출력 δW_p[k]와 출력층의 가중 W[j, k]와의 적을 구하고, δ*W 버퍼(233)과 가산기(242)에 의해서 Σ_k(δW_p[K * W[j, k])를 구한다. 미계수산출부(230)에서 산출된 미계수

는, 숨은층 미계수기억부(234)를 개재해서 승산기(239)에 입력되어, 상기 Σ_k(δW_p[k] * W[i, j])와의 적이 구하여진다. 승산기(240)에 의해서 입력신호 y_p[i]로 매기고, 승산기(246)에 의해서 학습파라미터 ε와의 적을 구하고, ⑩식으로 표시되는 △W_g[i, j]를 구한다. ⑩식의 △W_g[i, j]에 전회의 학습에 있어서의 가중변경량의 δ배를 가산해서, ③식으로 표시되는 가중변경량 △W[i, j]를 구하고, 가산기(244)에 의해서 변경전의 가중과의 합을 구하고, 숨은층의 가중기억부(248)에 기억되어 있는 숨은 층의 가중을 변경한다.

이상과 같이, 출력층의 출력신호와 교사신호와의 오차를 감소시키기 위하여, 출력신호와 교사신호와의 차신호로부터, 먼저 출력층의 가중의 변경량을 구하고, 출력층쪽으로부터 입력쪽을 향해서 순차 가중의 변경량을 구한다. 이 학습알고리즘은 오차역전반법이라고 호칭된다.

그러나 상기와 같은 구성에서는, 학습파라미터 ε 및 가속파라미터 δ는 경험적으로 정해지거나 시행착오로 구하게 된 고정의 값이 사용되고 있으므로, 이들은 반드시 최적치는 아니고, 학습에 소요되는 시간이 길어진다고 하는 과제를 가지고 있었다. 또 가중의 변경방향으로서는, 오차 E의 가중에 의한 미분(즉 최급강하방향)을 사용하고 있으며, 가중의 변경방향으로서는 반드시 최적이 아니다라고 하는 과제를 가지고 있었다. 또, 그이상 학습을 진행시켜도 오차가 감소하지 않는다고 하는 비효율적인 상태로 학습이 빠진다고 하는 과제를 가지고 있었다.

제6도는 본 발명의 제1의 실시예 있어서의 다입력-출력회로를 계층형상으로 접속한 학습기계의 구성도를 도시한 것이다. 제6도에 있어서, (1) 및 (2)는 입력단자, (3), (4), (5), (6), (7) 및 (8)은 가변가중승산기, (9), (10) 및 (11)은 포화입력출력 특성을 가진 가산기, (12)는 출력단자, (13)은 교사신호발생부, (14)는 오차산출부, (15)는 공역구배방향결정부, (16)은 가중변경부, (17)은 학습회로, (18), (19) 및 (20)은 다입력-출력회로, (21)은 출력층, (22)는 숨은층, (61)은 학습파라미터 승산기이다.

본 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계는, 가변가중승산기와 포화입출력 특성을 가진 가산기로 이루어진 다입력-출력회로를 계층형상으로 접속한 구성으로 되어 있다. 입력신호에 대해서 각 다입력-출력회로에 가중해서 가산하고, 각 가산기의 특성함수에 의해서 비선형처리를 실시해서, 출력신호를 구한다. 본 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계의 학습에 있어서는, 출력층(21)의 출력과 교사신호발생부(13)의 출력이 동등하게 되도록, 가변가중승산기(3), (4), (5), (6), (7) 및 (8)에 의해서 매겨지는 가중을 변경한다. 이들 가중을 성분으로 하는 벡터를 가중벡터라고 부른다면, 가중벡터의 변경량을 벡터로 표시할 수 있다. 이 가중의 변경 벡터의 방향을 가중의 변경방향이라고 부른다. 본 실시예에서는, 가중의 변경방향으로서, 공역구배방향을 사용한다. 공역구배방향

는

로 부여된다. 단,

는 ④식으로 부여되는 최급강하방향이며, β는

로 부여되는 정수이며,

는 전회의 학습에 있어서의 공역구배방향,

는 전회학습에 있어서의 최급강하방향

의 백테의 노음(norm)이다. 또한 최초 회의 학습에 있어서의 가중변경방향은, 최급강하방향으로 결정한다.

제7도에 본 실시예의 학습회로(17)의 구성도를 도시한다. 제7도에 있어서, (23)은 입력신호의 입력단자. (24)는 숨은층 출력의 입력단자, (25)는 입력신호의 입력단자, (26)은 출력중의 가중의 출력단자, (27)은 숨은층의 가중의 출력단자, (28)은 최급강하방향산출부, (29)는 공역구배방향산출부, (30)은 가중변경방향결정부, (31)은 학습회수계수부이다.

제7도를 사용해서, 본 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계의 학습회로(17)의 동작을 설명한다. 교사신호발생부(13)은 입력신호에 대한 바람직한 출력신호를 교사신호로서 부여하고, 오차산출부(14)는 교사신호에 실제의 출력신호와의 차신호를 출력한다. 공역구배방향결정부(15)는, 이 차신호를 근거로 가중의 변경방향을 구하고, 학습파라미터승산기(61)에서 구하게 된 가중변경량에 따라서, 가중변경부(16)에서 가중이 변경된다. 공역구배방향결정부(15)에서는, 이하와 같이 해서 가중변경방향을 구한다. 최급강하방향산출부(28)은, 오차산출부(14)에서 얻어진 차신호, 숨은층 출력신호, 입력신호 및 출력층의 가중을 근거로, ④식에 의해서 부여되는 최급강하방향을 구한다. 공역구배방향산출부(29)는, 최급강하방향 및 전회의 학습에 있어서의 가중의 변경방향을 근거로, 공역구배방향을 구한다. 학습회수계수부(31)에서는 학습회수를 계수하고, 가중의 변경방향으로서 최급강하방향을 사용하는지 공역구배방향을 사용하는지를 표시하는 선택신호를 출력한다.

공역구배법에서는, 가중의 계수와 동등한 회수에 1회의 학습에서는 최급강하방향을 사용하면 오차의 수속이 빨라지므로, 본 실시예에서도 가중의 계수와 동등한 회수에 1회의 학습에서는 최급강하방향을 사용하도록 학습회수계수부(31)이 선택신호를 출력한다. 가중변경방향결정부(30)에서는 학습회수계수부(31)로부터 선택신호에 따라서, 가중의 변경방향을 최급강하방향과 공역구배방향에 의해서 절환한다. 학습파라미터 승산부(61)에서는 가중의 변경방향으로 학습파라미터를 매겨서, 가중의 변경량을 구하고, 가중변경부(16)에서 가중을 변경한다.

제8도에 공역구배방향결정부(16)의 상세 블록도를 도시한다. 제8도에 있어서, (32)는 출력층의 가중의 입력단자, (33)은 출력층의 가중변경방향의 출력단자, (34)는 숨은층의 가중변경방향의 출력단자, (35)는 차신호의 입력단자(36) 및 (37)은 미계수산출부, (38)은 출력층 미계수기억부, (39)는 숨은층 미계수기억부, (40)은 δ기억부, (41)은 금회의 출력층의 가중변경방향기억부, (45), (46), (47), (48), (49), (50) 및 (51)은 승산기, (52)는 가산기, (53)은 δ* W버퍼, (54)는 입력신호기억부, (55)는 금회의 숨은층의 최급강하방향기억부, (56)은 전회의 숨은층의 최급강하방향기억부, (58)은 전회의 숨은층 가중변경방향기억부, (59) 및 (60)은 가중변경방향절환부(63) 및 (64)는 가산기이다.

제8도를 사용해서, 공역구배방향결정부(15)의 동작을 상세하게 설명한다. 최급강하방향산출부(28)은, 제5도에 도시한 종래의 다입력-출력회로를 계층형상을 접속한 학습기계의 최급강하방향결정부(215)와 거의 똑같은 구조로 되어 있으며, 승산기(46)의 출력층의 가중에 관한 최급강하방향을 출력하고, 승산기(50)이 숨은층의 가중에 관한 최급강하방향을 출력한다. 이등 최급강하방향을 표시하는 신호는, 가중변경방향결정부(30)의 가중변경방향절환부(59) 및 (60)과, 공역구배방향산출부(29)의 금회의 출력층의 최급강하방향기억부(41) 및 금회의 숨은층의 최급강하방향기억부(55)에 출력된다. 금회의 출력층의 최급강하방향기억부(41) 및 금회의 숨은층의 최급강하방향기억부(55)에 기억되어 있는 금회의 학습에 있어서의 최급강하방향과, 전회의 출력층의 최급강하방향기억부(42) 및 전회의 숨은층의 최급강하방향기억부(56)에 기억되어 있는 전회의 학습에 있어서의 최급강하방향을 근거로, β산출부(43)은 ⑫식을 사용해서 β를 구한다. 승산기(48) 및 (51)은 전회의 학습의 가중변경방향

와 β와의 적을 구하고, 가산기(63) 및 (64)에 의해서 최급강하방향과의 합을 구하게 되며, 공역구배방향으로서 가중변경방향결정부(30)의 가중변경방향절환부(59) 및 (60)에 출력된다. 이상과 같이 해서 가중변경방향절환부(59) 및 (60)에는, 최급강하방향 및 공역구배방향이 입력된다. 한편, 학습회수계수부(31)은 학습회수를 계수하고 있으며, 가중의 계수와 동등한 회수에 1회의 학습에서는 최급강하방향을 가중의 변경방향으로 하고, 그 이외의 회수의 학습에서는 공역구배방향을 가중변경방향으로 하도록 선택신호를 출력한다. 이 선택신호에 따라서, 가중변경방향절환부(59) 및 (60)은 가중의 변경방향을 최급강하방향과 공역구배방향에 의해서 절환한다.

이상과 같이 본 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계에서는, 공역구배방향결정부(15)가 가중의 변경방향으로서 최급강하방향과 공역구배방향을 절환해서 출력한다. 변경방향을 공역구배방향으로 하면, 전회까지의 학습에 있어서의 가중변경방향과는 다른 방향으로 가중을 변경하게 되므로, 공역구배방향은, 기중변경방향으로서, 대국적으로 봐서 가장 효율이 좋은 방향이다. 따라서 본 실시예에 의하면, 가중의 변경방향으로서 최급강하방향을 사용하는 종래의 다입력-출력회로를 계층적으로 접속한 학습회로에 비해서 학습을 단시간으로 종료할 수 있다.

또한 본 실시예에서는, 가중의 변경방향을, 가중의 개수와 동등한 회수에 1회의 학습에서는 최급강하방향으로 하였으나, 최초 회의 학습 이외는 모두 공역구배방향으로 해도 되고, 가중의 개수의 반분에 동등한 회수에 1회의 학습에서는 최급강하방향으로 해도 된다.

또, 본 실시예에서는, 숨은층(22)는 입력신호를 처리해서 출력층에 출력하는 다입력-출력회로로 이루어지고, 2개의 입력신호에 대해서 1개의 출력신호를 출력하였으나, 제1도에 도시한 종래의 다입력-출력회로를 계층형상을 접속한 학습기계의 일반적 구성도와 같이, 숨은층(22)는 계층형상을 접속된 다입력-출력회로에 의해서 구성해도 되고, 입출력신호의 개수는 몇개라도 된다.

제9도에 본 발명의 제2의 실시예의 다입력-출력회로를 층계형상을 접속한 학습기계의 구성도를 도시한다. 제9도에 있어서, (65)는 가중변경부, (66)은 학습파라미터 초기화부, (67)은 직선탐색부, (68)은 포물선근사부, (69)는 학습회로이다.

본 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계는, 제9도와 제2도를 비교하면 알 수 있는 바와 같이, 학습파라미터 초기화부(66), 직선탐색부(67) 및 포물선근사부(68)을 배설한 점에서, 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계와 다르다. 즉, 종래는 학습파라미터로서 고정의 값을 사용하고 있었던 것에 대해서, 본 실시예에서는 직선탐색부(67)에서 복수의 학습 파라미터에 대한 가중변경량을 구하고, 숨은층(22), 출력층(21) 및 오차산출부(14)에서 각 학습파라미터에 대한 오차를 구하고, 또 포물선근사부(68)에서 오차가 작은 학습파라미터에 대한 오차의 값으로부터 오차곡선을 포물선근사하고, 포물선의 정점에 있어서의 오차를 구하고, 가중변경부(65)는 이들 오차중에서 최소의 오차에 대한 학습파라미터를 사용해서 가중을 변경한다.

제10도에 본 실시예의 학습회로(69)의 구성도를 도시한다. 제10도에 있어서 (70) 및 (71)은 승산기, (72)는 포물선의 정점의 학습파라미터산출부, (73) 및 (74)는 가산기, (75)는 가중기억부이다. 교사신호발생부(13)은 입력신호에 대한 교사신호를 발생하고, 오차산출부(14)는 실제의 출력신호와 교사신호와의 신호 및 오차를 출력한다. 최급강하방향산출부(28)은 상기 차신호, 출력층 출력신호, 숨은층 출력신호, 입력신호 및 출력층의 가중을 사용해서, 가중의 변경방향으로 해서, 최급강하방향을 구한다.

②식에서 표시된 바와 같이, 오차 E는 가중벡터의 함수이므로, 가변가중승산기 (3), (4), (5), (6), (7) 및 (8)의 가중을 벡터로 표시하는 가중공간에 있어서의 곡면으로서 표시할 수 있다. 이것을 오차곡면이라고 부른다. 제11도에 본 실시예에 있어서의 동작을 설명하는 오차곡면의 등고선의 모식도를 표시한다. 제11도에 있어서, W[i₁, j₁] 및 W[i₂, j₂]는 가변가중승산기(3), (4), (5), (6), (7) 및 8)중 임의의 2개의 가변가중승산기에 의해서 매겨지는 가중

는 난수로 초기화된 가중의 값의 벡터표시,

는 최초 회의 학습에 있어서의 최급강하방향, P₁은 최초 회의 학습에 있어서의 오차최소점,

은 P₁에 있어서의 최급강하방향, P₂는 제2회째의 학습에 있어서의 오차최소점이다.

본 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계의 학습에 있어서는, 최초에 모든 가변가중승산기의 가중을 난수로 초기화하나, 이것은 제11도에 표시된 오차곡면에 있어서의 출발점(

)을 난수로 설정하는 것에 상당한다. 학습이 목적은, 제11도의 출발점에서 부터 시작해서, 오차곡면상에 있어서 오차가 작게되는 방향으로 가중을 변경하므로서, 오차최소점의 탐색을 반복하여, 대국적 오차최소점에 도달하는 일이다. 최초회의 학습에서는 ④식에 의해서 구하게된 최급강하방향

를 가중의 변경방향으로 하고,

의 방향에 있어서 오차가 최소가 되는 점을 구한다. 이것을

방향에 대한 직선탐색이라고 부른다. 학습파라미터초기화부(66)은 직선탐색부에 있어서의 학습파라미터의 초기치로서 적당한 정(正)의 값을 출력한다.

제12도는 본 실시예에 있어서의 동작을 설명하는 오차곡면의 출발점과 r₁과의 사이의 단면도이다. 제12도에 있어서, ε₁은 학습파라미터의 초기치이며,

이며, Ek(k

0)은 학습파라미터 εk에 대한 오차, 즉

이며, εv는 오차곡면을 근사한 포물선의 정점에서의 학습파라미터의 값, Ev는 학습파라미터 εv에 대한 오차이다. 제13도는 본 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계의 직선탐색에 있어서의 동작을 표시한 PID도(Problem Analysis Diagram)이다. 제13도에 표시된 바와같이 직선탐색에 있어서는, 먼저 학습파라미터의 초기치 ε₁에 대한 오차를 구한다. 직선탐색부(67)은 학습파라미터의 초기치 ε₁에 최급강하방향

을 매겨서, 학습파라미터의 초기치 ε₁에 대한 가중의 변경량을 구하고, 가중변경부(65)에 출력한다. 가중변경부(65)에서는, 가산기(73)에 의해서 출력층의 가중변경량과 출력층의 가중과의 합을 구하고, 가산기(74)에 의해서 숨은층의 가중변경량과 숨은층의 가중과의 합을 구하고, 학습파라미터의 초기치 ε₁에 대한 가중을 출력층의 가중의 출력단자(26) 및 숨은층의 가중의 출력단자(27)로부터 출력한다. 이들 가중을 사용해서 숨은층(22) 및 출력층(21)에서 출력신호가 구하게 되고, 오차산출부(14)에서 교사신호와 출력신호를 비교해서 오차를 구한다. 이와같이 해서 학습파라미터의 초기치 ε₁에 대한 오차의 초기치 E₁을 구하게 된다. 제13도의 PAD도에 표시된 바와같이, 직선탐색부(67)은 오차의 초기치 E₁과 오차곡면의 출발점에 있어서의 오차 Eø를 비교하고, E₁이, Eø보다 작게 되었을때에는, 더큰값의 학습파라미터에 대한 오차의 쪽이 작은것을 기대할 수 있으므로, 학습파라미터 ε의 값을 2배로 한다고 하는 동작을 오차의 값이 증가로 전환할때까지 반복한다. 제12도에 표시한 최초회의 학습에서는 E₁〈Eø이므로 학습파라미터 ε의 값을 2배로 해서 오차를 구한다고하는 동작을 반복하면, Eø〉E₁〉E₂〉E₃으로 되기때문에, 직선탐색부(67)은 ε3에 대한 가중변경량까지 구한다.

또한 학습파라미터의 초기치에 대한 오차 E₁이, 오차의 최초의 값 Eø보다 증가하였을때에는, 더욱 작은 값의 학습파라미터에 대한 오차의 쪽이 작은것을 기대할 수 있으므로, 직선탐색부(67)은 학습파라미터의 값을 1/2배 한다고 하는 동작을, 오차가 상기 오차의 최초의 값보다 작아질때까지 반복한다. 다음에 직선탐색부(67)에서는, 포물선근사부(68)에 있어서 오차최소점의 근처를 포물선에 의해서 근사시키기 위하여, 제12도에 있어서 가중공간내에서 가중의 값이 등간격으로 변화하는 점에서의 오차를 구한다. 즉,

에 의해서, ε₂-ε₁=ε_2.5=ε₂=ε₃-ε_2.5로 하고, ε_2.5에 대한 오차

을 구한다. 제12도에 있어서는, E_2.5〈E₂〈E₃〈E₁이므로, 오차최소의 3점에 있어서는 오차 E₂, E_2.5및 E₃과, 그들의 점에 있어서의 학습파라미터 ε₂, ε_2.5및 ε₃이, 포물선근사부(65)의 포물선의 정점의 학습파라미터산출부(72)에 입력된다. 포물선의 정점의 학습파라미터산출부(72)에서는, 오차최소의 3점을 통하는 포물선에 의해서 오차최소점의 근처의 오차곡면을 근사하고, 그 정점에 있어서의 오차를 구한다. 즉, 포물선의 정점의 학습파라미터산출부(72)에서,

에 의해서 오차곡면의 포물선 근사의 정점의 학습파라미터를 구하고, 승산기(70) 및 승산기(71)에 의해서 최급강하방향

와 εv를 매겨서 가중변경량을 구하고, 가중변경부(65)에서 학습파라미터 εv에 대한 가중의 값을 설정하고, 숨은층(22) 및 출력층(21)에 의해서 출력신호를 구하고, 오차산출부(14)에 있어서 오차 Ev를 산출한다. 포물선근사부(68)은, 이상과 같이 해서 구하게 된 오차 Ev, E₂, E_2.5및 E₃을 비교하고, 그들중에서 가장 작은 오차 E_2.5를 부여하는 학습파라미터 ε_2.5에 대한 가중의 변경량 ε_2.5*

을 구하여 출력한다. 가중변경부(65)에 있어서, 가산기(73) 및 (74)에서 상기 가중변경량 ε_2.5*

와 가중기억부(75)에 기억되어있는 가중

와의 합을 구하고, 새로운 가중으로서 가중기억부(75)에 기억된다. 이와같이해서, 가중이

로 변경된다. 이상이 최초회의 학습이다. 제2회째의 학습에서는, 가중공간에 있어서

로 표시되는 점 P₁에 있어서의 최급강하방향

을 최급강하방향산출부(28)에서 구하여, 가중의 변경방향으로 한다. 학습파라미터초기화부(66)은, 학습파라미터의 초기치를, 최초회의 학습에서는 ε₁로 하고, 2회째 이후의 학습에서는 전회의 가중변경에 사용한 학습파라미터의 값 또는 ε₁중 큰쪽의 값으로 결정한다. 즉, 2회째 이후의 학습에서는, 전회의 학습파라미터의 최적치가 ε₁보다도 클때에는 전회의 학습파라미터의 최적치가 학습파라미터의 초기치로 되고, 전회의 학습파라미터의 최적치가 ε₁보다도 작을때에는 ε₁이 학습파라미터의 초기치로 된다. 이에 의해서, 전회의 학습파라미터의 최적치를 금회의 학습에 있어서의 학습파라미터의 초기치로 하여, 금회의 학습에 최적의 학습파라미터의 설정을 효율좋게 행할 수 있는 동시에, 전회의 학습파라미터의 최적치가 작을 경우에, 그것을 금회의 최소점탐색의 학습파라미터의 초기치로서 사용해서, 오차곡면이 국소적 최소점에 빠지고 오차곡면이 대국적 최소점에 도달할 수 없게 되는 것을 방지할 수 있다. 직선탐색부(61)에서는

의 방향에 대해서 학습파라미터를 2배 또는 1/2배해서, 오차가 작게되는 가중변경량을 구하고, 포물선근사부(68)에 있어서 오차곡선을 포물선근사하여,

의 방향에 있어서 오차가 최초로되는 가중을 구하여, 제2형째의 학습에 있어서의 오차최소점 P₂에 도달한다. 이상과같이, 본 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계에서는, 최급강하방향에 대한 직선탐색을 반복해서 학습을 진행시키므로서, 최적의 학습파라미터를 동적으로 설정해소 오차를 작게해 가며, 대국적 오차최소점에 접근해 간다.

본 실시예에 의하면, 직선탐색부(67)을 배설하므로서, 가중변경부(65)에서 가중이 변경될때의 학습파라미터의 값은 가변으로 되고, 가중의 변경방향에 대해서 오차가 최소로 되는 학습파라미터를 동적으로 설정해서 가중을 변경할 수 있어, 학습에 소요되는 시간이 단축된다.

또한 본 실시예에서는, 학습파라미터초기화부(66)은, 학습파라미터의 초기치를, 최초회의 학습에서는 ε₁로 하고, 2회째 이후의 학습에서는 전회의 학습에 있어서의 학습파라미터의 최적치 또는 ε₁중 큰쪽의 값으로 결정하였으나, 학습파라미터의 초기치는 항상 고정의 값 ε₁로 해도 된다. 또, 본 실시예에서는, 숨은층(22)는 입력신호를 처리해서 출력층에 출력하는 다입력-출력회로로 이루어지고, 2개의 입력신호에 대해서 1개의 출력신호를 출력하였으나, 제1도에 도시한 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계의 일반적 구성도와 같이, 숨은층(22)는 계층형상으로 접속된 다입력-출력회로에 의해서 구성해도 되고, 입출력신호의 개수는 몇개라도 된다.

제14도는 본 발명의 제3의 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계의 구성도이다. 제14도에 있어서, (76)은 학습회로로서, 본 실시예에 있어서의 학습회로는, 제9도와 제14도를 비교하면 알수 있는 바와같이, 제2의 실시예와는 최급강하방향산출부(28)이 공역구배방향결정부(15)로 되어있는 점에서 다르게 되어 있다.

본 실시예에있어서는, 오차산출부(14)가 교사신호와 실제의 출력신호와의 차로부터 오차를 산출한다. 공역구배방향결정부(15)는 가중의 변경방향을, 최초회의 학습에서는 ④식으로 표시되는 최급강하방향으로 결정하고, 2회째 이후의 학습에서는 가중의 개수에 동등한 회수에 1회의 학습에서는 최급강하방향으로 결정하고, 2회째 이후의 학습에서는 가중의 개수에 동등한 회수에 1회의 학습에서는 최급강하방향으로 하고 그 이외의 회수의 학습에서는 ⑪식으로 표시되는 공역구배방향으로 결정한다. 학습의 파라미터초기화부(66)은, 학습파라미터의 초기치를, 최초회의 학습에서는 ε₁로 하고, 2회째 이후의 학습에서는 전회의 학습파라미터의 최적치 또는 ε₁중 큰쪽의 값으로 설정한다. 직선탐색부(67)에서는, 학습파라미터의 초기치에 대한 오차가 오차의 최초의 값보다도 작을때에는, 학습파라미터 ε의 값을 2배로 한다고 하는 동작을 오차의 값이 증가로 전환할때까지 반복하거나, 또는 학습파라미터의 초기치에 대한 오차가 오차의 최초의 값보다도 증가하였을때에는, 학습파라미터 ε의 값을 1/2배로 한다고 하는 동작을 오차의 값이 오차의 최초의 값보다 작아질때까지 반복한다.

제15도에 본 발명에 있어서의 동작을 설명하는 오차곡면의 등고선의 모식도를 도시한다. 제15도에 있어서, W[i₁, j₁] 및 W[i₂, j₂]는 가변가중승산기(3), (4), (5), (6), (7) 및 (8)중 임의의 2개의 가변가중승산기의 가중,

는 난수로 초기화된 가중의 값의 벡터표시,

는 최초회의 학습에 있어서의 최급강하방향, P₁은 최초회의 학습에 있어서의 오차최소점,

은 P₁에 있어서의 최급강하방향, β₁은 P₁에 있어서의 공역구배방향을 구할때에 ⑫식에 의해서 구하게 되는 정수 β, d₁은 ⑪식에 의해서 구하게 되는 P₁에 있어서의 공역구배방향, P₂는 제2회째의 학습에 있어서의 오차최소점이다. 제15도는 2회째의 학습에 있어서의 가중의 변경방향을 공역구배방향으로 하는 점에서, 본 발명의 제2의 실시예에 있어서의 동작을 설명하는 오차곡면의 등고선의 모식도인 제11도와 다르게 되어 있다.

본 실시예에 있어서는 최초회의 학습에 있어서의 오차최소점 P₁은 제2의 실시예와 마찬가지로 해서 구한다. 그후, P₁에 있어서의 최급강하방향

과, 최초회의 학습의 가중의 변경방향

(=

에 의해서 ⑪식에 의해서 제2회째의 학습에 있어서의 가중의 변경방향을 공역구배방향

으로 결정한다.

의 방향에 대한 직선탐색에 의해

의 방향에 대한 오차최소점 P₂를 구하게 된다. 제15도에 표시된 바와같이, 본 실시예와 같이 가중의 변경방향을 공역구배방향으로 하면, 반경방향을 최급강하 방향으로 하는 제11도의 경우에 비해서 적은 회수의 학습으로 오차가 최소화된다. 이 이유는, 공역구배법에 의하면 가중공간에 있어서 매회의 가중변경의 방향이 서로 다르게 되도록 가중변경방향을 결정하므로, 최급강하법에 있어서 국소적인 오차곡면의 구배를 근거로 가중을 변경하는 경우에 비교하면, 대국적으로 효율이 좋은 가중변경이 행하여 지는데 연유한다. 이상과 같이 본실시예에 의하면, 공역구배방향 결정부(15)에서 가중의 변경방향을 공역구배방향으로 정하고, 직선탐색부(67)과 포물선근사부(68)에 의해서 상기 변경방향에 있어서 오차가 최소로 되는 학습파라미터의 값을 구하고, 그 학습파라미터의 값을 사용해서 가중변경부(65)에서 가중을 변경하므로서, 학습을 단시간으로 종료할 수 있다.

또한 본실시예에서는, 공역구배방향결정부(15)는 가중의 변경방향을, 최초회의 학습에서는 ④식으로 표시되는 최급강하방향으로 결정하고, 2회째 이후의 학습에서는 가중의 개수에 동등한 회수에 1회의 학습에서는 최급강하방향으로 하고, 그 이외의 회수의 학습에서는 ⑫식으로 표시되는 공역구배방향으로 결정하였으나, 2회째 이후의 학습에서는 가중의 개수의 반분에 동등한 회수에 1회의 학습에서는 최급강하방향으로 하고, 그 이외의 회수의 학습에서는 ⑫식으로 표시되는 공역구배방향으로 결정해도 된다. 또, 공역구배방향으로 직선탐색을 해서, 학습파라미터의 값을 소정의 값 。εmin보다 작게해도, 오차가 오차의 최초의 값보다도 작아지지 않을때에는, 가중의 변경방향을 공역구배방향으로부터 최급강하방향으로 절환해도 된다. 또, 공역구배방향으로 직선 탐색을 해서, 가중의 변경량을 어떤 값보다도 작게해도 오차가 오차의 최소의 값보다도 작아지지 않을때에는, 가중의 변경방향을 공역구배방향으로부터 최급강하방향으로 절환해도 된다. 이와같이 하면, 공역구배방향이 가중의 변경방향으로서 부적할때에는, 변경방향을 최급강하방향으로 절환하므로서, 대국적오차 최소점에 짧은 학습식간으로 도착할 수 있다. 또, 본 실시예에서는, 숨은층(22)는 입력신호를 처리해서 출력층에 출력하는 다입력-출력회로로부터 이루어지고, 2개의 입력신호에 대해서 1개의 출력신호를 출력하였으나, 제1도에 도시한 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계의 일반적 구성도와 같이, 숨은층(22)는 계층형상으로 접속된 다입력-출력회로에 의해서 구성해도 되고, 입출력 신호의 개수는 몇 개라도 된다.

제16도는 본 발명의 제4의 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계의 구성도이다. 제16도에 있어서, (77)은 숨은층 적화기억부, (78)은 직선탐색부, (79)는 학습회로이다.

본 실시예에 있어서는, 오차산출부(14)가 교사신호와 실제의 출력신호와의 차로부터 오차를 산출한다. 공역구배방향결정부(15)는 가중의 변경방향을, 최초회의 학습에서는 ④식으로 표시되는 최급강하방향으로 결정하고, 2회째 이후의 학습에서는 가중 개수의 개수에 동등한 회수에 1회의 학습에서는 최급강하방향으로 하고, 그 이외의 회수의 학습에서는 ⑪식으로 표시되는 공역구배방향으로 결정한다. 학습파라미터초기화부(66)은, 학습파라미터의 초기치를, 최초회의 학습에서는 ε₁로 하고, 2회째 이후의 학습에서는 전회의 학습에 있어서의 학습파라미터의 최적치 또는 ε₁중 큰 쪽의 값으로 설정한다. 본 실시예의 직선탐색부(78)은, 제14도의 직선탐색부(67)과 포물선근사부(68)을 합친 것으로 되어 있다. 즉, 직선탐색부(78)에서는, 학습파라미터의 초기치에 대한 오차가 오차의 최초의 값보다도 작을때에는, 학습파라미터 ε의 값을 2배로 해서 가중변경량을 구한다고 하는 동작을 오차의 값이 증가로 전환할때까지 반복하거나, 또는 학습파라미터의 초기치에 대한 오차가 오차의 최초의 값보다도 클때에는, 학습파라미터 ε의 값을 1/2배로 해서 가중변경량을 구한다고 하는 동작을 오차의 값이 오차의 최초의 값보다 작아질때까지 반복한다. 그후, 직선탐색부(78)은, 오차최소의 3점을 통과하는 포물선에 의해서 오차 최소점의 근처의 오차곡면을 근사하고, 그 정점에서의 가중변경량을 구한다. 이와같이 직선탐색부(78)에서는, 가중의 변경방향을 일정하게 유지한채 학습파라미터를 변화시켜서, 오차가 최소로 되는 가중변경량을 구하나, 본 실시예에서는, 숨은층 적화기억부(77)을 사용해서 숨은층의 출력신호를 구하는 점에서, 제3의 실시예와 다르다.

제17도에 숨은층 적화기억부(77)의 상세 블록도를 표시한다. 제17도에 있어서, (80)은 입력신호의 입력단자, (81)은 변경방향의 입력단자, (82)는 가중의 입력단자, (83)은 학습파라미터의 입력단자, (84)는 숨은층 충력신호의 출력단자, (85), (86) 및 (87)은 승산기, (88)은 입력신호와 변경방향과의 적화기억부, (89)는 입력신호와 가중과의 적화기억부, (90)은 가산기, (91)은 비선형 변환부이다. 입력신호 y_p[i]에 대한 숨은층의 출력신호 y_p[j]는

로 표시된다. 단 W[i, j]는 입력신호 y_p[i]가 숨은층의 제 j번째의 다입력-출력회로에 입력될때 매겨지는 가중, fnc( )는 숨은층의 가산기의 특성관계로서, 포화특성을 가진 비선형함수이다. 공역구배방향결정부(15)에서 구한 가중의 변경방향

의 W[i, j]의 변경량에 대응하는 성분을 d[i, j]로 표시하면, 학습파라미터 ε에 대한 숨은층의 출력신호 y_p[j]는

로 되며, y_p[j]를 구할때마다, 입력신호수의 2배의 회수의 승산을 행할 필요가 있다. 본 실시예에서는,

을, 입력신호와 가중과의 적화기억부(89)에 기억하고,

을 입력신호와 변경방향과의 적화기억부(88)에 기억해주므로서, 학습파라미터 ε에 대한 숨은층의 출력신호를

에 의해서 구한다. 즉, 입력신호와 변경방향과의 적화기억부(88)의 출력 B_p[j]에, 승산기(87)에 있어서 학습파라미터 ε를 매겨서, 가산기(90)에 의해서 입력신호와 가중과의 적화기억부(89)의 출력 A_p[j]와의 합(A_p[j]+ε*B_p[j])를 구한다. 비선형변환부(91)에서는, 가산기(90)의 출력에 숨은층의 가산기의 특성함수 fnc( )에 동등한 비선형변환을 실시하고,

식에 의해서 표시되는 y_p[j]를 구한다.

이에 의해서, 가중의 변경방향

에 대한 직선탐색에 있어서, 학습파라미터의 초기치에 대해서는 제3의 실시예와 동등한 회수의 승산이 필요하게 되나, 기타의 학습파라미터에 대한 숨은층의 출력신호 y_p[j]를 구할때의 승산은 1회만으로 된다. 이에 의해서, 직선탐색에 있어서의 연산회수를 대폭적으로 삭감할 수 있어, 학습시간의 단축을 도모할 수 있다.

또한, 본 실시예에서는 가중의 변경방향은 공역구배방향결정부(15)에서 구하게 된 공역구배방향으로 하였으나, 변경방향은 최급강하방향으로 해도 된다. 또, 본 실시예에서는, 숨은층(22)는 입력신호를 처리해서 출력층에 출력하는 다입력-출력회로로 이루어지고, 2개의 입력신호에 대해서 1개의 출력신호를 출력하였으나, 제1도에 도시한 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계의 일반적 구성도와 같이, 숨은층(22)는 계층형상으로 접속된 다입력-출력회로에 의해서 구성해도 되고, 입출력신호의 개수는 몇개라도 된다.

제18도는, 본 발명의 제5의 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계의 구성도이다. 제18도에 있어서, (92)는 부적학습상태검출부, (93)은 학습회로이다. 본 실시예의 다입력-출력회로를 계층형상으로 접속한 학습기계는, 공역구배방향 결정부(15)에 있어서 결정한 가중방향으로, 직선탐색부(78)에서 복수의 학습파라미터를 설정하여 오차가 최소로되는 가중변경량을 구하고, 가중변경부(65)에서 가중을 변경한다. 부적학습검출부(92)는, 가중변경전의 오차와 가중변경후의 오차를 비교하고, 가중변경방향이 최급강하방향이고, 또한 오차의 감소율이 어떤 값보다도 작은것을 검출하면, 그 이상 학습을 진행시켜도 효율적으로 오차가 감소되지 않는 상태에 학습이 빠진것으로 판단하여, 가중을 난수로 다시 초기화해서 학습을 재개한다. 이상과 같이 본 실시예에 의하면, 부적학습상태검출부(92)에서, 학습이 비효율적인 상태에 빠진 것을 검출하면, 가중을 다시 조정해서 학습을 재개하므로서, 학습이 비효율적 상태에 빠지는 것을 피하고, 학습에 소요되는 시간을 단축한다.

또한, 본 실시예에서는, 부적학습검출부(92)는 가중변경 방향이 최급강하방향이고, 또한 오차의 감소율이 어떤 값보다도 작은 것에 의거해서, 부적학습상태를 검출하였으나, 가중의 절대치가 어떤 값보다도 큰것에 의거해서 검출해도 된다. 또, 본 실시예에서는, 모든 가중을 난수로 초기화하므로서 가중을 조정하였으나, 모든 가중을 일률적으로 압축하므로서 가중을 조정해도 되고, 가중의 절대차가 가장 큰 가중만을 압축해도 된다. 또, 본 실시예에서는, 숨은층(22)는 입력신호를 처리해서 출력층에 출력하는 다입력-출력회로로 이루어지고, 2개의 입력신호에 대해서 1개의 출력신호를 출력하였으나, 제1도에 도시한 종래의 다입력-출력회로를 계층형상으로 접속한 학습기계의 일반적 구성도와 같이, 숨은층(22)는 계층형상으로 접속된 다입력-출력회로에 의해서 구성해도 되고, 입출력신호의 개수는 몇개라도 된다.

Claims

입력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시하여 출력하는 복수의 다입력-출력회로로 이루어진 숨은층과, 상기 숨은층의 출력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시해서 출력하는 다입력-출력회로로 이루어진 출력층과, 상기 출력층의 바람직한 출력신호를 발생하는 교차신호 발생부와, 상기 교사신호 발생부의 출력과 상기 출력층의 출력과의 오차를 최소화 하기 위한 가중변경방향을 복수의 방향으로부터 선택해서 결정하는 가중변경방향결정부와, 상기 가중변경방향결정부에서 구하게된 가중 변경방향을 근거로 가중을 변경하는 가중 변경부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
입력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시하여 출력하는 복수의 다입력-출력회로로 이루어진 숨은층과, 상기 숨은층의 출력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시해서 출력하는 다입력-출력회로로 이루어진 출력층과, 상기 출력층의 바람직한 출력신호를 발생하는 교사신호발생부와, 상기 교사신호 발생부의 출력과 상기 출력층의 출력과의 오차를 최소화하기 위한 가중변경방향을 복수의 방향으로부터 선택해서 결정하는 가중변경방향결정부와, 가중변경방향에 관해서 복수의 학습파라미터에 대한 가중변경량을 출력하는 직선탐색부와, 상기 직선탐색부에서 구하게된 가중변경량으로부터 가중변경량을 선택하는 가중변경부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속하는 학습기계.
입력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시하여 출력하는 복수의 다입력-출력회로로 이루어진 숨은층과, 상기 숨은층은 출력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시해서 출력하는 다입력-출력회로로 이루어진 출력층과 상기 출력층의 바람직한 출력신호를 발생하는 교사신호발생부와, 상기 교사신호발생부의 출력과 상기 출력층의 출력과의 오차를 최소화 하기 위한 가중변경방향을 복수의 방향으로부터 선택해서 결정하는 가중변경방향결정부와, 가중변경방향에 관해서 복수의 학습파라미터에 대한 가중변경량을 출력하는 직선탐색부와, 입력신호와 숨은층의 가중과의 적화 및 입력신호와 숨은층의 가중의 변경방향과의 적화를 기억하는 숨은층적화기억부와, 상기 직선탐색부에서 구하게된 가중변경량으로부터 가중변경량을 선택하는 가중변경부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
입력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시하여 출력하는 복수의 다입력-출력회로로 이루어진 숨은층과, 상기 숨은층의 출력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시해서 출력하는 다입력-출력회로로 이루어진 출력층과, 상기 출력층의 바람직한 출력신호를 발생하는 교사신호발생부와, 상기 교사신호발생부의 출력과 상기 출력층의 출력과의 오차를 최소화 하기 위한 가중변경방향을 복수의 방향으로부터 선택해서 결정하는 가중변경방향결정부와, 가중변경방향에 관해서 복수의 학습파라미터에 대한 가중변경량을 출력하는 직선탐색부와, 상기 직선탐색부에서 구하게된 가중변경량으로부터 가중변경량을 선택하는 가중변경부와, 학습을 그 이상 진행시켜도 오차가 효율적으로 감소하지 않는 부적당한 상태에 빠져있는 것을 검출하는 부적학습상태검출부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
입력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시하여 출력하는 복수의 다입력-출력회로로 이루어진 숨은층과, 상기 숨은층의 출력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시해서 출력하는 다입력-출력회로로 이루어진 출력층과, 상기 출력층의 바람직한 출력신호를 발생하는 교사신호발생부와, 상기 교사신호발생부의 출력과 상기 출력층의 출력과의 오차를 최소화 하기 위한 가중변경방향을복수의 방향으로부터 선택해서 결정하는 가중변경방향결정부와, 가중변경방향에 관해서 복수의 학습파라미터에 대한 가중변경량을 출력하는 직선탐색부와, 상기 직선탐색부에서 구하게된 가중변경량으로부터 가중변경량을 선택하는 가중변경부와, 입력신호와 숨은층의 가중과의 적화 및 입력신호와 숨은층의 가중의 변경방향과의 적화를 기억하는 숨은층 적화기억부와, 학습을 그 이상 진행시켜도 오차가 효율적으로 감소하지 않는 부적당한 상태에 빠져있는 것을 검출하는 부적학습상태 검출부를 구비한 것을 특징으로 하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
제1항에 있어서, 상기 교사신호발생부의 출력과 상기 출력층의 출력과의 오차를 최소화 하기 위한 가중변경방향을 공역구배방향 또는 최급강하방향으로 결정하는 가중변경방향 결정부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
제1항에 있어서, 상기 교사신호발생부의 출력과 상기 출력층의 출력과의 오차를 최소화 하기 위한 가중변경방향을, 최초회의 학습에서는 최급강하방향으로 결정하고, 2회째이후의 학습에서는 가중의 개수에 동등한 회수에 1회의 학습에서는 최급강하방향으로 하고, 그 이외의 회수의 학습에서는 공역구배방향으로 결정하는 가중변경방향결정부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
제1항에 있어서는, 상기 교사신호발생부의 출력과 상기출력층의 출력과의 오차를 최소화 하기 위한 가중변경방향을, 최초회의 학습에서는 최급강하방향으로 결정하고, 2회째이후의 학습에서는 가중의 개수의 반분에 동등한 회수에 1회의 학습에서는 최급강하방향으로 하고, 그 이외의 회수의 학습에서는 공역구배방향으로 결정하는 가중변경방향 결정부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
제2항에 있어서, 상기 교사신호발생부의 출력과 상기출력부와의 오차를 최소화 하기 위한 가중변경방향을, 최초회의 학습에서는 최급강하방향으로 결정하고, 2회째이후의 학습에서는 공역구배방향으로의 직선탐색에 있어서 학습파라미터의 값을 소정의 값보다 작게해도 오차가 오차의 최초의 값보다도 작아지지 않을때에는 최급강하방향으로 결정하고, 그 이외의 회수의 학습에서는 공역구배방향으로 결정하는 가중변경방향 결정부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
제2항에 있어서, 상기 교사신호발생부의 출력과 상기출력부와의 오차를 최소화 하기 위한 가중변경방향을, 최초회의 학습에서는 최급강하방향으로 결정하고, 2회째이후의 학습에서는 공역구배방향으로의 직선탐색에 있어서 가중의 변경량 어떤값보다도 작게해도 오차가 오차의 최초의 값보다도 작아지지 않을때에는 최급강하 방향으로 결정하고, 그 이외의 회수의 학습에서는 공역구배방향으로 결정하는 가중변경방향 결정부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
입력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시하여 출력하는 복수의 다입력-출력회로로 이루어진 숨은층과, 상기 숨은층의 출력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시해서 출력하는 다입력-출력회로로 이루어진 출력층과, 상기 출력층의 바람직한 출력신호를 발생하는 교사신호발생부와, 상기 교사신호발생부의 출력과 상기 출력층의 출력과의 오차를 최소화 하기 위한 가중변경방향을 최급강하방향으로 결정하는 가중변경방향결정부와, 가중변경방향에 관해서 복수의 학습파라미터에 대한 가중변경량을 출력하는 직선탐색부와, 상기 직선탐색부에서 구하게된 가중변경량으로부터 가중변경량을 선택하는 가중변경부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
입력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시하여 출력하는 복수의 다입력-출력회로로 이루어진 숨은층과, 상기 숨은층의 출력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시해서 출력하는 다입력-출력회로로 이루어진 출력층과, 상기 출력층의 바람직한 출력신호를 발생하는 교사신호발생부와, 상기 교사신호발생부의 출력과 상기 출력층의 출력과의 오차를 최소화 하기 위한 가중변경방향을 최급강하방향으로 결정하는 가중변경방향결정부와, 가중변경방향에 관해서 복수의 학습파라미터에 대한 기준변경량을 출력하는 직선탐색부와, 입력신호와 숨은층의 가중과의 적화 및 입력신호와 숨은층의 가중의 변경방향과의 적화를 기억하는 숨은층 적화기억부와, 상기 직선탐색부에서 구하게된 가중변경량으로부터 가중변경량을 선택하는 가중변경부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
입력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시하여 출력하는 복수의 다입력-출력회로로 이루어진 숨은층과, 상기 숨은층의 출력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시해서 출력하는 다입력-출력회로로 이루어진 출력층과, 상기 출력층의 바람직한 출력신호를 발생하는 교사신호발생부와, 상기 교사신호발생부의 출력과 상기 출력층의 출력과의 오차를 최소화 하기 위한 가중변경방향을 최급강하방향으로 결정하는 가중변경방향결정부와, 가중변경방향에 관해서 복수의 학습파라미터에 대한 가중변경량을 출력하는 직선탐색부와, 상기 직선탐색부에서 구하게된 가중변경량으로 부터 가중변경량을 선택하는 가중변경부와, 학습을 그 이상 진행시켜도 오차가 효율적으로 감소하지 않는 부적당한 상태에 빠져있는 것을 검출하는 부적학습상태 검출부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
입력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시하여 출력하는 복수의 다입력-출력회로로 이루어진 숨은층과, 상기 숨은층의 출력신호의 가중합에 포화특성을 가진 특성함수로 비선형처리를 실시해서 출력하는 다입력-출력회로로 이루어진 출력층과, 상기 출력층의 바람직한 출력신호를 발생하는 교사신호발생부와, 상기 교사신호발생부의 출력과 상기 출력층의 출력과의 오차를 최소화 하기 위한 가중변경방향을 최급강하방향으로 결정하는 가중변경방향결정부와, 가중변경방향에 관해서 복수의 학습파라미터에 대한 가중변경량을 출력하는 직선탐색부와, 상기 직선탐색부에서 구하게된 가중변경량으로부터 가중변경량을 선택하는 가중변경부와, 입력신호와 숨은층의 가중과의 적화 및 입력신호와 숨은층의 가중의 변경방향과의 적화를 기억하는 숨은층적화기억부와 학습을 그 이상을 진행시켜도 오차가 효율적으로 감소하지 않는 부적당한 상태에 빠져있는 것을 검출하는 부적학습상태검출부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
제2항 또는 제11하에 있어서, 상기 직선탐색부에서 구하게된 가중변경량중 오차가 최소로되는 가중변경량에 의해서 가중을 변경하는 가중변경부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
제2항 또는 제11항에 있어서, 가중변경방향에 관해서 복수의 학습파라미터에 대한 가중변경량을 출력할때에, 2회째이후의 학습에서 학습파라미터의 초기치를 전회의 학습파라미터의 최적치 및 고정의 값중 큰쪽으로 설정하는 직선탐색부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
제4항 또는 제13항에 있어서, 학습을 그 이상 진행시켜도 오차가 효율적으로 감소하지 않는 부적당한 상태에 빠져있는 것을, 가중변경방향이 최급강하방향이고, 또한 오차의 감소율이 어떤 값보다도 작은것에 의거해서 검출하는 부적학습상태검출부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
제4항 또는 제13항에 있어서, 학습을 그 이상 진행시켜도 오차가 효율적으로 감소하지 않는 부적당한 상태에 빠져있는 것을, 가중변경방향이 최급강하방향이고, 또한 오차의 감소율이 어떤 값보다도 작은것에 의거해서 검출하고, 가중을 난수로 다시 초기화해서 학습을 재개하는 부적학습상태검출부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
제4항 또는 제13항에 있어서, 학습을 그 이상 진행시켜도 오차가 효율적으로 감소하지 않는 부적당한 상태에 빠져있는 것을, 가중변경방향이 최급강하방향이고, 또한 오차의 감소율이 어떤 값보다도 작은것에 의거해서 검출하고, 모든 가중을 일률적으로 압축하므로서 가중을 조정해서 학습을 재개하는 부적학습상태검출부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
제4항 또는 제13항에 있어서, 학습을 그 이상 진행시켜도 오차가 효율적으로 감소하지 않는 부적당한 상태에 빠져있는 것을, 가중의 절대치가 어떤 값보다도 큰것에 의거해서 검출하는 부적학습상태검출부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
제4항 또는 제13항에 있어서, 학습을 그 이상 진행시켜도 오차가 효율적으로 감소하지않는 부적당한 상태에 빠져있는 것을, 가중의 절대치가 어떤 값보다도 큰것에 의거해서 검출하고, 가중을 난수로 다시 초기화해서 학습을 재개하는 부적학습상태검출부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
제4항 또는 제13항에 있어서, 학습을 그 이상 진행시켜도 오차가 효율적으로 감소하지 않는 부적당한 상태에 빠져있는 것을, 가중의 절대치가 어떤 값보다도 큰것에 의거해서 검출하고, 모든 가중의 일률적으로 압축해서 학습을 재개하는 부적학습상태검출부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.
제4항 또는 제13항에 있어서, 학습을 그 이상 진행시켜도 오차가 효율적으로 감소하지 않는 부적당한 상태에 빠져있는 것을, 가중의 절대치가 어떤 값보다도 큰것에 의거해서 검출하고, 가중의 절대치가 가장 큰 가중만을 압축해서 학습을 재개하는 부적학습 상태 검출부를 구비한 것을 특징으로하는 다입력-출력회로를 계층형상으로 접속한 학습기계.