KR20010047163A - 다층퍼셉트론 신경망회로의 학습방법 - Google Patents

다층퍼셉트론 신경망회로의 학습방법 Download PDF

Info

Publication number
KR20010047163A
KR20010047163A KR1019990051256A KR19990051256A KR20010047163A KR 20010047163 A KR20010047163 A KR 20010047163A KR 1019990051256 A KR1019990051256 A KR 1019990051256A KR 19990051256 A KR19990051256 A KR 19990051256A KR 20010047163 A KR20010047163 A KR 20010047163A
Authority
KR
South Korea
Prior art keywords
learning
value
error signal
output layer
layer
Prior art date
Application number
KR1019990051256A
Other languages
English (en)
Inventor
김태경
Original Assignee
박종섭
주식회사 하이닉스반도체
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박종섭, 주식회사 하이닉스반도체 filed Critical 박종섭
Priority to KR1019990051256A priority Critical patent/KR20010047163A/ko
Publication of KR20010047163A publication Critical patent/KR20010047163A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 다층퍼셉트론 신경망회로의 학습방법에 관한 것으로, 특히 초기 가중치들을 큰 값으로 설정하고 학습진행 도중 각 가중치들을 동일한 비율로 감소 변경시켜 학습을 진행하므로써, 보다 빠른 학습속도와 높은 학습 성공률을 얻을 수 있도록한 다층퍼셉트론 신경망회로의 학습방법에 관한 것이다.
이와 같은 목적을 달성하기 위한 본 발명은 초기 가중치를 큰 값으로 설정하는 제1단계와, 학습패턴을 입력하는 제2단계와, 이 제2단계에서 입력된 학습패턴에 따라 다층퍼셉트론의 전방향 계산을 출력층까지 진행하는 제3단계와, 일정 시간이 경과되었는지를 체크하여 경과된 경우라면 모든 가중치의 값을 동일한 비율로 축소/변경하고 다시 제3단계 과정을 반복 수행토록 하는 제4단계와, 이 제4단계에서 일정 시간이 경과하지 않은 경우라면, 출력층의 오차신호를 계산하는 제5단계와, 이 제5단계에서 계산된 출력층의 오차신호에 따라 아래층의 오차신호를 입력층까지 계산하여 역전파하는 제6단계와, 이 제6단계에서 역전파된 오차신호에 따라 각 가중치를 변경하여 학습패턴에 대한 학습을 수행하는 제7단계와, 출력층의 값과 목표값의 오차가 일정 수치 이하로 떨어질 때까지 제2단계부터 제7단계까지의 학습과정을 반복하도록 하는 제8단계로 이루어지며,
이에 따라, 빠른 학습속도와 높은 학습 성공률을 얻을 수 있다.

Description

다층퍼셉트론 신경망회로의 학습방법{Learning method of neural network}
본 발명은 다층퍼셉트론(Multi-Layer Perceptron)구조로 이루어진 신경망회로를 학습시키는 방법에 관한 것으로, 특히 초기 가중치들(Weights)을 큰 값으로 설정하여 학습을 진행시키고 학습진행 도중 각 가중치들을 동일한 비율로 감소 변경시켜 학습을 진행하므로써, 보다 빠른 학습속도와 높은 학습 성공률을 얻을 수 있도록한 다층퍼셉트론 신경망회로의 학습방법에 관한 것이다.
먼저, 후술할 기술내용의 명확한 이해를 위해 다음과 같이 용어를 정의한다.
다층퍼셉트론(Multi-Layer Perceptron)이란 생명체의 정보처리 형태를 모방한 신경망회로의 대표적인 모델로서, 뉴런을 뜻하는 노드와 각 노드를 연결하는 시냅스 가중치들이 계층적으로 구성되어 있다.(도1참조)
다층퍼셉트론의 각 노드는 아래층 노드들의 상태값과 그 연결 가중치들의 가중치 합을 입력받아, 도2에 도시한 바와 같은 시그모이드 함수(SIGMOID FUNCTION)에 의한 변환값을 출력한다.
시그모이드 함수는 기울기가 큰 중앙부의 활성영역(최대 기울기:0.5)과 기울기가 작은 양 측면부의 포화영역으로 구분된다.
학습패턴이란 패턴인식 문제를 학습시키기 위해 수집한 임의의 패턴들이며,
시험패턴이란 패턴인식 문제의 학습정도를 시험하기 위해 수집한 임의의 패턴들이다.
학습패턴 및 시험패턴은 여러 개의 목표집단으로 나누어지며, 상기에서 패턴인식이란 입력된 패턴이 어느 목표집단에 속하는가를 판단하는 것이다.
즉, 다층퍼셉트론의 최종 계층의 노드 상태값은 입력된 패턴이 어느 목표집단에 속하는가에 대한 정보를 나타내게 된다.
역전파(Back-Propagation) 학습이란, 상기 다층퍼셉트론을 학습시키는 방법으로서, 학습패턴을 입력시킨 후 최종 계층 노드로부터 출력된 상태값이 원하는 목표값과 일치하도록 오차신호에 따라 최종 계층 노드와 연결된 가중치들을 변경시키며, 또한, 그 아래층의 노드들의 연결 가중치들은 윗계층에서 역전파된 오차신호에 따라 그 값을 변경시키는 일련의 학습방법이다.
오차함수란 역전파 학습에서 오차신호를 어떻게 발생시킬 것인가를 결정하는 함수이다.
노드의 포화란 노드의 가중치 합 입력값이 시그모이드 함수의 기울기가 작은 영역 즉, 포화영역에 위치한 것을 말한다.
노드가 목표값과 같은 포화영역에 위치하면 적절한 포화라 하고, 반대쪽 포화영역에 위치하면 부적절한 포화라 한다.
이하, 상술한 용어들에 의거하여 종래에 사용되던 일반적인 다층퍼셉트론의 역전파 학습방법을 설명한다.
예를 들어,NO개의 입력신호를 받아NL개의 결과값을 출력하는 L층 퍼셉트론은 다음과 같은 수식을 이용한 계산결과를 토대로 학습과정을 진행한다.
학습패턴 X={X1, X2, ……, XN0}이 입력되면, L층으로 이루어진 다층퍼셉트론은 전방향 계산에 의해 l층의 j번째 노드의 상태값은
(1)
와 같이 결정된다.
여기서,
(2)
이며은과사이의 연결 가중치이고,는의 바이어스(bias)를 나타낸다.
이와 같이이 구해지면, 다층퍼셉트론의 오차함수는 입력패턴에 대한 얻고자하는 목표패턴 t=[t1,t2,…,tNL]와의 관계에 의해
(3)
로 정의되며, 이 오차함수 값을 줄이도록 오차신호가 발생되고 이 오차신호에 따라 각 가중치들이 변경된다.
즉, 출력층의 오차신호는
(4)
로 계산된다.
아래층의 오차신호는 역전파에 의해
(5)
로 계산된다.
그러면, 각 계층의 가중치들은
(6)
에 따라 변경되어 한 학습패턴에 대하여 학습이 이루어진다.
그리고 학습을 반복할 것인가를 판별한다.
이에 따라, 상기에서 전체 학습패턴에 대한 오차는
(7)
으로 정의된다.
여기서, P는 학습패턴의 수를 나타낸다.
상술한 역전파 학습방법에서, 출력층의 오차신호은 목표값과 실제값의 차이에 시그모이드 활성화 함수의 기울기가 곱해진 형태이다.
이 -1 혹은 +1에 가까운 값이면, 기울기는 매우 작은값을 가지므로 따라서,은 아주 작은 값이 된다.
즉, tK=1 이고,인 경우 혹은 그 반대인 경우는 부적절한 포화라 하고 이 때의은 연결된 가중치들을 조정하기에 충분히 큰 오차신호를 발생시키지 못한다.
이와 같은 출력노드의 부적절한 포화가 역전파 학습에서 Em의 최소화를 지연시키게 한다.
또한, 오차신호에서 시그모이드의 기울기에 해당되는 항은 최대치가 0.5이므로 항상 오차신호를 줄이는 역할을 한다.
상술한 식들을 이용한 종래의 다층퍼셉트론 신경망회로의 학습방법을 도3에 도시된 순서도를 참조하여 설명하면 다음과 같다.
먼저, 학습의 조기 포화 현상을 피하기 위한 초기 가중치 설정 단계(ST1)를 거친다.
이 단계(ST1)에서는 다층퍼셉트론의 모든 노드에 연결된 가중치 값을 임의로 설정하게 되며 이 때, 반드시 매우 작은 값(예를 들어 ±0.2 이하 정도)으로 설정한다. 이는 가중치가 크면 조기에 포화 현상이 일어날 수 있으며, 이 때의 포화가 부적절한 포화로 진행되면 가중치 변경에 의한 학습을 더 이상 진행할 수 없기 때문이다.
상기 단계(ST1) 수행 후 학습패턴을 입력한다.(ST2)
입력된 학습패턴을 상기 식(1)에 따라 전방향 계산을 수행한다.(ST3)
상기 단계(ST3)에서 출력층까지의 계산이 이루어지면, 출력값과 목표값의 오차를 줄이도록 식(4)에 따라 오차신호를 계산하여 출력한다.(ST4)
이후, 식(5)에 따라 아래층의 오차신호를 계산하여 역전파한다.(ST5)
식(6)에 따라 각 계층의 가중치들을 변경하므로써 학습패턴에 대한 학습을 진행한다.(ST6)
식(7)에 의해 학습패턴에 대한 오차가 만족할 만한 수치 이하로 떨어질 때까지 학습패턴을 입력받아 상술한 학습과정을 반복한다.(ST7)
이상, 종래에 사용되던 다층퍼셉트론 신경망회로의 학습방법에 대하여 설명하였다.
그러나, 상술한 바와 같은 종래의 학습방법은 조기포화현상을 피하기 위해 가중치의 초기설정을 매우 작은 값으로 취하여 학습의 진행을 천천히 진행시키고있는데 이로 인하여 전체 학습에 소요되는 시간이 길어지는 단점이 있다.
또한, 학습을 빠르게 진행시키기 위하여 초기 가중치를 큰 값으로 설정하면 학습 진행중 조기에 부적절한 포화 현상이 일어날 수 있고, 이렇게 되면 학습을 성공적으로 수행할 수 없게되는 문제점이 있었다.
상술한 종래의 학습방법의 문제점을 다양한 가중치 값에 대한 오차함수(Em)의 분포의 예를 도시한 도4를 참조하여 설명하면 다음과 같다.
오차함수(Em)의 값이 전범위에 걸쳐 최소가 되는 전역적 최소치(Global Minima:GM)를 찾아가는 것이 신경망회로에서의 학습이라 할 수 있다. 즉, 오차함수(Em)가 최소가 되도록 하는 각 노드의 가중치를 찾아 설정하는 일련의 과정이 상술한 다층퍼셉트론 신경망회로의 학습과정이다.
즉, 임의로 초기 가중치를 설정함(ST1)은 도4에 도시된 오차함수(Em) 곡선의 임의의 위치에서 학습을 시작하게 됨을 의미하며,
오차함수의 값을 줄이도록 오차신호를 발생하여(ST3) 가중치를 변경하는 것(ST5)은 오차함수 곡선의 임의의 위치에서 좀더 낮은 위치로 이동시킴을 의미한다.
이와 같이, 좀더 낮은 위치로의 이동을 반복하여 궁극적으로는 전역적 최소치까지 이동시키게된다.
하지만 일반적인 오차함수 곡선에는 LM1 내지 LM4로 도시한 "작은 골"이 다수 나타나게 마련이며 이를 지역적 최소치(Local Minima:LM)라 한다. 이 지역적 최소치로 들어오게 되면 오차함수 값을 좀더 낮은 위치로 이동시키기가 곤란하므로 더 이상의 학습이 진행되지 못하는 학습 정체현상이 일어나게 되는데, 초기 가중치를 작은 값으로 설정하는 종래의 학습방법으로는 이 "작은 골"을 탈출하여 학습을 계속 진행시키기가 곤란한 문제점이 있으며 입력패턴의 데이터 양이 많으면 많을수록 오차함수 곡선상의 "작은 골"들도 많아져 이러한 문제점은 더욱 심화된다.
따라서, 본 발명은 이러한 종래 기술의 문제점을 해결하기 위해 제안된 것으로, 초기 가중치를 매우 큰 값으로 설정하고 오차함수가 작아지는 방향으로 가중치를 변화시킴으로써 학습을 빠른 속도로 진행시키고, 학습진행 중 일정 시간 간격마다 모든 가중치 값을 동일한 비율로 감소시키므로써 Local Minima를 탈출하여 학습을 계속 진행시킬 수 있는 다층퍼셉트론 신경망회로의 학습방법을 제공하는 것을 그 목적으로 한다.
이와 같은 목적을 달성하기 위한 본 발명은 초기 가중치를 큰 값으로 설정하는 제1단계와, 학습패턴을 입력하는 제2단계와, 이 제2단계에서 입력된 학습패턴에 따라 다층퍼셉트론의 전방향 계산을 출력층까지 진행하는 제3단계와, 일정 시간이 경과되었는지를 체크하여 경과되었다면 모든 가중치의 값을 동일한 비율로 축소/변경하고 다시 제3단계 과정을 수행토록 하는 제4단계와, 이 제4단계에서 일정 시간이 경과하지 않은 경우라면, 출력층의 오차신호를 계산하는 제5단계와, 이 제5단계에서 계산된 출력층의 오차신호에 따라 아래층의 오차신호를 입력층까지 계산하여 역전파하는 제6단계와, 이 제6단계에서 역전파된 오차신호에 따라 각 가중치를 변경하여 학습패턴에 대한 학습을 하는 제7단계와, 출력층의 값과 목표값의 오차가 일정 수치 이하로 떨어질 때까지 제2단계부터 제7단계까지의 학습과정을 반복하도록 하는 제8단계로 이루어진다.
도 1 은 다층퍼셉트론 신경망회로의 구조도.
도 2 는 시그모이드 활성화 함수 그래프.
도 3 은 종래 역전파 방식의 다층퍼셉트론 신경망회로의 학습방법을 나타낸 순서도.
도 4 는 가중치에 따른 오차함수(Em)의 분포를 도시한 그래프.
도 5 는 본 발명에 따른 다층퍼셉트론 신경망회로의 학습방법을 나타낸 순서도.
도 6a는 종래 역전파 방식의 학습방법을 3 input XOR problem에 적용한 시뮬레이션 결과를 도시한 그래프.
도 6b는 본 발명에 따른 학습방법을 3 input XOR problem에 적용한 시뮬레이션 결과를 도시한 그래프.
도 7a는 종래 역전파 방식의 학습방법을 4 input XOR problem에 적용한 시뮬레이션 결과를 도시한 그래프.
도 7b는 본 발명에 따른 학습방법을 4 input XOR problem에 적용한 시뮬레이션 결과를 도시한 그래프.
도 8a는 종래 역전파 방식의 학습방법을 5 input XOR problem에 적용한 시뮬레이션 결과를 도시한 그래프.
도 8b는 본 발명에 따른 학습방법을 5 input XOR problem에 적용한 시뮬레이션 결과를 도시한 그래프.
도 9a는 종래 역전파 방식의 학습방법을 6 input XOR problem에 적용한 시뮬레이션 결과를 도시한 그래프.
도 9b는 본 발명에 따른 학습방법을 6 input XOR problem에 적용한 시뮬레이션 결과를 도시한 그래프.
도 10은 본 발명에 따른 학습방법을 7 input XOR problem에 적용한 시뮬레이션 결과를 도시한 그래프.
도 11은 본 발명에 따른 학습방법을 8 input XOR problem에 적용한 시뮬레이션 결과를 도시한 그래프.
도 12는 본 발명에 따른 학습방법을 9 input XOR problem에 적용한 시뮬레이션 결과를 도시한 그래프.
도 13a는 종래 역전파 방식의 학습방법을 필기체 숫자인식에 적용한 시뮬레이션 결과를 도시한 그래프.
도 13b는 본 발명에 따른 학습방법을 필기체 숫자인식에 적용한 시뮬레이션 결과를 도시한 그래프.
이하, 상기 목적을 달성하기 위한 본 발명을 첨부된 도5를 참조하여 상세히 설명하면 다음과 같다.
도5는 본 발명에 따른 다층퍼셉트론 신경망회로의 학습방법을 단계별로 도시한 순서도 이다.
먼저, 학습의 빠른 진행을 위하여 초기 가중치를 큰 값으로 설정하는 제1단계(S1)를 거친다.
이 제1단계(S1)에서는 다층퍼셉트론의 모든 노드에 연결된 가중치 값을 임의로 설정하게 되며 이 때, 반드시 매우 큰 값(예를 들어 ±100 또는 ±200 정도)으로 설정한다. 이는 가중치 값이 작으면 학습 속도가 상대적으로 느려지기 때문이다.
가중치를 큰 값으로 설정하면 학습을 빠른 속도로 진행할 수 있는 장점이 있으며, 이로 인해 발생할 수 있는 조기 부적절한 포화현상은 후술할 제4단계(S4) 과정에 의해 극복할 수 있다.
상기한 제1단계(S1) 수행 후, 학습패턴을 입력하는 제2단계(S2)를 수행한다.
입력된 학습패턴에 따라 다층퍼셉트론의 전방향 계산을 출력층까지 진행하는 제3단계(S3)를 수행한다.
학습 시작이후 일정 시간이 경과되었는지를 체크하여 경과되었다면 모든 가중치의 값을 동일한 비율로 축소 변경하고 다시 제3단계를 수행토록 하는 제4단계(S4)를 수행한다. 이는 단 한번의 동일비율의 가중치 축소/변경을 위한 것이 아니고, 학습진행 도중 매 일정 시간 간격마다 반복하여 가중치를 동일 비율로 축소 변경하기 위한 것이다. 여기서, 일정 시간의 경과 체크는 타이머나 카운터를 이용하거나 또는 소프트웨어적으로 실시할 수 있다.
이와 같은 가중치의 축소/변경은 조기 포화현상 문제를 해결할 수 있을 뿐 아니라, 도3에 도시한 오차함수의 곡선에서 Local Minima에 빠진 경우 다른 임의의 위치로 이동, 즉, "Hopping"하여 Local Minima를 탈출할 수 있게된다.(이하 호핑효과라 칭함)
학습정보는 가중치 값들의 절대적인 크기에 있는 것이 아니라, 가중치 값들의 상대적인 크기 즉, "각 가중치의 비(比)"에 존재하기 때문에 모든 가중치들을 동일한 비율로 줄여도 그 때까지의 학습정보는 그대로 유지되게 된다.
따라서 가중치를 동일 비율로 줄이는 것은 학습정보를 고스란히 유지하며, 오차함수 곡선 상에서 "호핑효과"를 일으켜 Local Minima에서 쉽게 빠져나오게 되므로써 학습 정체현상 문제를 방지할 수 있다.
제4단계(S4)에서 일정 시간이 경과하지 않은 경우라면, 출력층의 오차신호를 계산하여 출력하는 제5단계(S5)를 수행한다.
이하 아래층의 오차신호를 입력층까지 계산하여 역전파하는 제6단계(S6)를 수행한다.
역전파된 오차신호에 따라 가중치를 변경하므로써 학습패턴에 대한 학습을 하는 제7단계(S7)를 수행한다.
출력층의 값과 목표값과의 오차가 일정 수치 이하로 떨어질 때까지 학습패턴을 입력받아 상술한 학습과정을 반복하는 제8단계(S8)를 수행한다.
이상과 같은 본 발명에 따른 다층퍼셉트론 신경망회로의 학습방법은 다음과 같은 또다른 방법으로도 실시할 수 있다.
동일한 비율로 각 가중치의 축소를 실시함에 있어서, 매 일정 시간마다 실시하는 대신 Local Minima에 빠졌을 때만 실시하므로써도 동일한 효과를 얻을 수 있다.
즉, 도5에 도시된 본 발명의 일 실시예에서, 제3단계(S3) 수행 후에 수행되는 제4단계(S4)를 Local Minima에 빠졌는지를 체크하고, Local Minima에 빠진 경우에 각 가중치를 동일 비율로 축소 변경하고 다시 제3단계(S3)를 진행토록 하는 제4b단계로 대체하고, 제5단계(S5)를 제4b단계에서 Local Minima에 빠지지 않은 경우에 출력층의 오차신호를 계산하여 출력하는 제5B단계로 대체하고 나머지 단계들을 동일하게 수행한다.
여기서, Local Minima에 빠졌는지에 대한 체크는 출력층의 오차함수 값을 학습이 반복될 때마다 저장하고, 학습이 일정 횟수 이상 반복되는 동안 저장된 오차함수의 값이 일정 수치 이상 감소되었는지의 여부를 체크하므로써 가능하다.
이와 같은 본 발명에 따른 다층퍼셉트론 신경망회로의 학습방법과 종래의 역전파 방식의 학습방법을 XOR Problem에 적용한 시뮬레이션 결과를 도6a 내지 도12에 그래프로 도시하였다.
이하, 표1에서는 이러한 학습과정을 여러 번 반복한 결과를 정리하여 나타내었다.
여기에서 사용한 상수들은 여러 번 수행 후, 가장 좋은 것을 선택하여 사용하였다.
결과에서 알 수 있듯이, 종래의 역전파 방식의 학습방법으로는 학습 데이터의 수가 증가할수록 학습속도가 현저히 느려지는데 비하여, 본 발명에 따른 방법을 이용하면 학습 데이터가 증가하더라도 비교적 빠른 학습속도와 높은 학습 성공률을 나타내었다.
또, 본 발명에 따른 다층퍼셉트론 신경망회로의 학습방법과 종래의 역전파 방식의 학습방법을 필기체 숫자인식에 적용한 시뮬레이션 결과를 도13a 및 도13b에 그래프로 도시하였다. 여기서 사용되는 원시 데이터는 각 숫자의 패턴을 20×20의 2진 데이터로 구성하였다. 학습에 사용되는 데이터는 각 숫자마다 50개씩, 총 500개의 데이터로 구성되었고, 테스트에 사용되는 데이터도 총 500개로 구성하였다. 그리고 다층퍼셉트론의 구조를 간단하게 하기 위하여 두 가지 압축 코딩(Coding)방법을 사용하여 20×20의 2진 데이터를 22개의 2진 데이터로 구성하였다.
이하, 표2에서는 이러한 학습을 여러 번 반복한 결과를 정리하여 나타내었다. 마찬가지로 여기에서 사용한 상수들도 여러 번 수행 후, 가장 바람직한 것을 선택하여 사용하였다.
이상에서 설명한 바와 같이, 본 발명에 의한 다층퍼셉트론 신경망회로의 학습방법은 초기 가중치를 매우 큰 값으로 설정하고 오차함수가 작아지는 방향으로 가중치를 변화시킴으로써 학습을 보다 빠른 속도로 진행시킬 수 있으며, 학습진행 중 일정 시간 간격마다 모든 가중치 값을 동일한 비율로 감소시키므로써 조기 포화현상 문제를 극복할 수 있으며, 학습정보를 그대로 유지하면서 동시에 Local Minima를 탈출하여 학습을 계속 진행시킬 수 있는 효과가 있다. 또한, 종래의 역전파 방식의 학습방법에 비하여 학습 데이터의 양이 많아질수록 학습속도와 학습성공율이 더욱 현저히 향상되는 효과가 있다.

Claims (3)

  1. 학습의 빠른 진행을 위하여 초기 가중치를 큰 값으로 설정하는 제1단계와;
    상기 제1단계 수행 후, 학습패턴을 입력하는 제2단계와;
    상기 제2단계에서 입력된 학습패턴에 따라 다층퍼셉트론의 전방향 계산을 출력층까지 진행하는 제3단계와;
    일정 시간이 경과되었는지를 체크하여, 경과된 경우라면 모든 가중치의 값을 동일한 비율로 축소/변경하고 다시 상기 제3단계 과정을 반복 수행토록 하는 제4단계와;
    상기 제4단계에서 일정 시간이 경과하지 않은 경우라면, 출력층의 오차신호를 계산하는 제5단계와;
    상기 제5단계에서 계산된 출력층의 오차신호에 따라 아래층의 오차신호를 입력층까지 계산하여 역전파하는 제6단계와;
    상기 제6단계에서 역전파된 오차신호에 따라 각 가중치를 변경하여 학습패턴에 대한 학습을 수행하는 제7단계와;
    출력층의 값과 목표값의 오차가 일정 수치 이하로 떨어질 때까지 상기 제2단계부터 상기 제7단계까지의 학습과정을 반복하도록 하는 제8단계로 이루어진 것이 특징인 다층퍼셉트론 신경망회로의 학습방법.
  2. 청구항 1에 있어서,
    상기 제4단계는 Local Minima에 빠졌는지를 체크하여, Local Minima에 빠진 경우라면 각 가중치를 동일 비율로 축소/변경하고 다시 상기 제3단계를 진행토록 하는 제9단계로 이루어지고,
    상기 제5단계는 상기 제9단계에서 Local Minima에 빠지지 않은 경우라면, 출력층의 오차신호를 계산하는 제10단계로 이루어진 것이 특징인 다층퍼셉트론 신경망회로의 학습방법.
  3. 청구항 2에 있어서,
    상기 제9단계에서 Local Minima에 빠졌는지에 대한 체크는 출력층의 오차함수 값을 학습이 반복될 때마다 저장하고, 학습이 일정 횟수 이상 반복되는 동안 신규로 저장된 오차함수의 값이 기 저장된 오차함수의 값보다 일정 수치 이상 감소되었는지의 여부를 확인하는 방식으로 이루어지는 것이 특징인 다층퍼셉트론 신경망회로의 학습방법.
KR1019990051256A 1999-11-18 1999-11-18 다층퍼셉트론 신경망회로의 학습방법 KR20010047163A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990051256A KR20010047163A (ko) 1999-11-18 1999-11-18 다층퍼셉트론 신경망회로의 학습방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990051256A KR20010047163A (ko) 1999-11-18 1999-11-18 다층퍼셉트론 신경망회로의 학습방법

Publications (1)

Publication Number Publication Date
KR20010047163A true KR20010047163A (ko) 2001-06-15

Family

ID=19620640

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990051256A KR20010047163A (ko) 1999-11-18 1999-11-18 다층퍼셉트론 신경망회로의 학습방법

Country Status (1)

Country Link
KR (1) KR20010047163A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160134019A (ko) * 2015-05-14 2016-11-23 한국과학기술원 인공 신경망의 하향식 선택적 주의집중 트레이닝 방법
KR20190125694A (ko) 2018-04-30 2019-11-07 연세대학교 산학협력단 학습 및 추론 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160134019A (ko) * 2015-05-14 2016-11-23 한국과학기술원 인공 신경망의 하향식 선택적 주의집중 트레이닝 방법
KR20190125694A (ko) 2018-04-30 2019-11-07 연세대학교 산학협력단 학습 및 추론 장치 및 그 방법

Similar Documents

Publication Publication Date Title
Yu et al. A backpropagation algorithm with adaptive learning rate and momentum coefficient
Wang et al. Function approximation using fuzzy neural networks with robust learning algorithm
Kim et al. Forecasting time series with genetic fuzzy predictor ensemble
CN1846218B (zh) 形成人工神经网络的方法
US11308397B2 (en) System and method of training a neural network
Papadrakakis et al. Optimization of large-scale 3-D trusses using evolution strategies and neural networks
Mpitsos et al. Convergence and divergence in neural networks: Processing of chaos and biological analogy
KR0170505B1 (ko) 다층퍼셉트론 신경회로망의 n비트 데이타 표현에 의한 학습방법
Krogh et al. A cost function for internal representations
Jaddi et al. Taguchi-based parameter designing of genetic algorithm for artificial neural network training
KR100850914B1 (ko) 게임 캐릭터 제어방법
KR20010047163A (ko) 다층퍼셉트론 신경망회로의 학습방법
Huang et al. A multi-winners self-organizing neural network
Ballini et al. Learning in recurrent, hybrid neurofuzzy networks
CN114372563A (zh) 基于混合脉冲强化学习网络结构的机器人控制方法及系统
JPH06161978A (ja) 多層パーセプトロン形神経状回路網における学習プロセスを実現するために適用されるバックプロパゲーション・アルゴリズムの収束の加速方法
Meybodi et al. New Class of Learning Automata Based Schemes for Adaptation of Bachpropagation Algorithm Parameters
KR100241359B1 (ko) 학습률 가변 및 오차신호 크기 제한 방법
Zhang et al. Hybrid adaptive learning control of nonlinear system
Motzev Statistical learning networks in simulations for business training and education
Vashist et al. Simulation and modeling of fading channel and improvement of channel estimation using artificial neural network
JPH06231106A (ja) リカレント型ニューラルネットワーク学習方法及び装置
JP2607351B2 (ja) 多層パーセプトロンの神経回路網の効率的な学習のための誤差信号の発生方法
Gunaseeli et al. A constructive approach of modified standard backpropagation algorithm with optimum initialization for feedforward neural networks
Pham et al. A supervised neural network for dynamic systems identification

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination