KR100820723B1 - 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습시스템 및 방법 - Google Patents

은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습시스템 및 방법 Download PDF

Info

Publication number
KR100820723B1
KR100820723B1 KR1020060045193A KR20060045193A KR100820723B1 KR 100820723 B1 KR100820723 B1 KR 100820723B1 KR 1020060045193 A KR1020060045193 A KR 1020060045193A KR 20060045193 A KR20060045193 A KR 20060045193A KR 100820723 B1 KR100820723 B1 KR 100820723B1
Authority
KR
South Korea
Prior art keywords
learning
node
hidden node
hidden
target value
Prior art date
Application number
KR1020060045193A
Other languages
English (en)
Other versions
KR20070111853A (ko
Inventor
이주홍
최범기
박태수
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020060045193A priority Critical patent/KR100820723B1/ko
Priority to US11/457,601 priority patent/US7734555B2/en
Publication of KR20070111853A publication Critical patent/KR20070111853A/ko
Application granted granted Critical
Publication of KR100820723B1 publication Critical patent/KR100820723B1/ko
Priority to US12/722,861 priority patent/US20100169256A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Tourism & Hospitality (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Educational Technology (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 학습데이터를 사용자로부터 입력받으며, 입력노드를 포함하는 입력층; 은닉노드를 포함하는 은닉층; 입력층 및 은닉층을 연결하며, 입력노드와 은닉노드 사이의 제 1 가중치를 변경시킴으로써 학습이 이루어지도록 하는 제 1 연결강도모듈; 학습이 완료된 학습데이터를 출력하며, 출력노드를 포함하는 출력층; 은닉층 및 출력층을 연결하며, 상기 은닉노드와 상기 출력노드 사이에 제 2 가중치를 변경하고, 출력노드의 현재오차로부터 은닉노드의 목표값을 산출함으로써, 학습이 이루어지도록 하는 제 2 연결강도모듈; 및 제 1 연결강도모듈을 고정하고 제 2 연결강도모듈만으로 학습이 진행될 때, 지역 최소점 또는 고원으로 인하여 학습이 느려지거나, 비용함수가 증가하는 경우에 학습을 정지시킨 후, 제 2 연결강도모듈을 고정하고, 제 1 연결강도모듈로 학습 방향을 변동시켜 학습이 입력노드와 은닉노드 사이에서 반복적으로 이루어지게 함으로써, 설정된 은닉노드의 목표값에 수렴할 때까지 반복되어 학습이 이루어지도록 하는 제어부; 를 포함한다.
분리 학습, 은닉노드 목표값, 제 1 연결강도모듈, 제 2 연결강도모듈, 은닉층, 매개변수

Description

은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습 시스템 및 방법 {Separately trained system and method using two-layered neural network with target values of hidden nodes}
도 1a 은 본 발명의 일실시예에 따른 2 개층 신경망을 나타내는 개념도.
도 1b 는 본 발명의 일실시예에 따른 은닉노드 목표값을 가진 2 개층 신경망 학습 시스템을 나타내는 구성도.
도 2 는 본 발명의 일실시예에 따른 은닉노드의 목표값에 대한 기울기를 추정하는 방법을 나타내는 도면.
도 3 은 본 발명의 일실시예에 따른 지역 최소점이나 고원과 같은 장애 요소를 우회하는 방법을 나타내는 도면.
도 4a 는 본 발명의 일실시예에 따른 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습방법을 나타내는 흐름도.
도 4b 는 본 발명의 일실시예에 따른 은닉노드의 목표값을 생성하는 단계를 나타내는 상세 흐름도.
도 5a 내지 도 5c 는 본 발명의 실험예 1 에 따른 은닉노드 수의 증가에 대한 분리학습 및 역전파 학습의 성능 비교를 나타내는 도면.
도 6a 내지 도 6c 는 본 발명의 실험예 1 에 따른 학습율의 증가에 대한 분리학습 및 역전파 학습의 성능 비교를 나타내는 도면.
도 7a 내지 도 7c 는 본 발명의 실험예 1 에 따른 모멘텀 증가에 대한 분리학습 및 역전파 학습의 성능 비교를 나타내는 도면.
도 8a 내지 도 8c 는 본 발명의 실험예 2 에 따른 학습율 증가에 대한 분리학습 및 역전파 학습의 성능 비교를 나타내는 도면.
도 9a 내지 도 9c 는 본 발명의 실험예 2 에 따른 모멘텀 증가에 대한 분리학습 및 역전파 학습의 성능 비교를 나타내는 도면.
도 10a 내지 도 10c 는 본 발명의 실험예 3 에 따른 학습율 증가에 대한 분리학습 및 역전파 학습의 성능 비교를 나타내는 도면.
도 11a 내지 도 11c 는 본 발명의 실험예 3 에 따른 모멘텀 증가에 대한 분리학습 및 역전파 학습의 성능 비교를 나타내는 도면.
*** 도면의 주요 부분에 대한 부호의 설명 ***
110 : 입력층 120 : 제 1 연결강도
120-1 : 제 1 연결강도모듈 121 : 수신모듈
122 : 가중치 변경모듈 123 : 제 1 비교·판별모듈
삭제
130 : 은닉층 140 : 제 2 연결강도
140-1 : 제 2 연결강도모듈 141 : 제 2 비교·판별모듈
142 : 오차산출모듈 143 : 은닉노드 목표값 산출모듈
144 : 전송모듈 145 : 선택모듈
146 : 결정모듈 150 : 출력층
160 : 제어부
삭제
삭제
삭제
본 발명은 은닉노드 목표값을 가진 2개 층 신경망 학습 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 분리 학습 방법에 있어서, 은닉노드의 목표값을 설정함으로써, 네트워크의 구조 및 가중치를 갱신하는 규칙을 변경하지 않고, 계산과정을 상층과 하층으로 분리하여 계산의 양을 감소시킬 수 있도록 한 은닉노드 목표값을 가진 2개 층 신경망 학습 시스템 및 방법에 관한 것이다.
일반적으로, 신경망 시스템은 적용분야 및 응용분야가 다양한 바, 예를 들면 마이닝에서의 고객 관리 및 전자상거래 그리고 네트워크 관리, 언어인식, 금융 서비스 분야 등에 적용되어 사용 가능하다.
더욱 구체적으로, 데이터 마이닝 분야에서 아마존닷컴과 엔코프가 도서구입 고객관리 및 전자상거래 사이트의 제품 검색에 사용되고, 금융서비스 부문에서 차트형태를 분석하고 주가지수 동향을 예측하는데 응용되며, 비자인터내셔널과 미국 멜론은행이 종합 거래위험 탐지 시스템 및 신용 불량자를 가려내는 방법에 이용되고, 모델링 및 과학이론 개발 분야에서 형광등 제조공정에서 최적의 온도, 압력, 화학물질 등의 조건을 결정하는데 이용되고 있으며, MIT 의 제조 및 생산성 연구소 의 시뮬레이션 과정에서 나타나는 역함수를 알아내기 위해서 신경망 시스템이 활용되고 있다.
이때, 신경망(Neural Network)에서의 학습이란, 입력에 따른 결과의 출력노드가 최대값이 나오도록 가중치를 설정하는 과정을 나타내는데, 학습에 사용되는 대표적인 학습방법이 바로 역전파(Back Propagation) 학습방법이다.
즉, 역전파 학습방법은 다층(multilayer)이고, 피드포워드(Feedforward) 신경망에서 사용되는 학습방법으로서, 지도 학습(supervised learning)을 나타내는데, 학습을 하기 위해서는 입력 데이터와 원하는 출력 데이터가 있어야 한다.
하지만, 역전파 알고리즘은 지역 최소점이나 고원 문제와 같은 수렴 문제를 내포하고 있는 바, 고원이 매우 느리게 수렴되는 문제에 대한 원인이 되고, 지역 최소점의 경우에 모든 방향의 기울기가 0 과 같아진다.
따라서 초기 가중치의 임의적인 집합은 네트워크의 훈련에 대한 수렴을 보장하지 못하는 문제점이 있었다. 상술한 문제점을 해결하기 위해서 1) 학습율과 모멘텀(momentum)에 따른 동적 변동 2) 활동에 대해 좀 더 향상된 함수를 선택하거나 새로운 가중치 갱신 규칙으로 오차를 평가하는 방법 등이 있었다.
하지만, QP(Quick-Propagation)와 탄력 있는 전파(RPROP)는 빠른 수렴율을 제공하지만, 전역 최소점으로의 수렴을 보장하지 못하는 문제점이 있었다.
또한, 유전자 알고리즘, 교접된 기울기(conjugate gradient)와 뉴턴(Newton)의 방법과 같은 이차(Second-Order) 방법들은 역전파 학습방법보다 더 많은 저장 공간을 요구함으로써, 매개변수의 넓은 영역에서 학습오류를 피하기 위한 수렴의 안정성과 수렴 속도, 또는 전체적인 성능과 저장 공간 요구 사이의 불균형이 존재하는 문제점이 있었다.
다시 말하면, 역전파 학습방법은 속도가 느리고, 지역 최소점으로 빠져 수렴에 실패하는 문제점에 따른 수렴 속도와 함수에 따른 수렴의 안정성에 대한 불균형을 해소하는 데에만 치중함으로써, 임의의 초기 가중치에 대해 유연하지 못하며, 매개변수의 넓은 범위에 대해서도 수렴을 보장하지 못하고, 지역 최소점과 고원 문제를 극복하지 못하는 문제점이 있었다.
본 발명의 목적은, 전술한 문제점을 해결하기 위한 것으로, 네트워크의 구조 및 가중치를 갱신하는 규칙을 변경시키지 않고 은닉노드의 목표값을 설정하는 분리 학습 방법을 제공함에 있다.
본 발명의 다른 목적은 계산과정을 상층과 하층으로 분리함으로써, 계산량을 줄일 수 있도록 함에도 있다.
본 발명의 또 다른 목적은, 적은 용량의 저장 공간만을 요구하며 수렴이 빠르고 상대적으로 안정성이 보장됨으로써, 수렴문제를 해결할 수 있도록 함에도 있다.
본 발명의 또 다른 목적은 지역 최소점 및 고원을 보다 빠르고 안전하게 벗어날 수 있도록 함에도 있다.
이와 같은 특징적인 기술적 사상을 구현하기 위한 본 발명에 따른 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습 시스템에 있어서, 학습데이터를 사용자로부터 입력받으며, 입력노드를 포함하는 입력층(110); 은닉노드를 포함하는 은닉층(130); 상기 입력층 및 상기 은닉층을 연결하며, 상기 입력노드와 상기 은닉노드 사이의 제 1 가중치를 변경시킴으로써 학습이 이루어지도록 하는 제 1 연결강도모듈(120-1); 학습이 완료된 상기 학습데이터를 출력하며, 출력노드를 포함하는 출력층(150); 상기 은닉층 및 상기 출력층을 연결하며, 상기 은닉노드와 상기 출력노드 사이에 제 2 가중치를 변경하고, 상기 출력노드의 현재오차로부터 상기 은닉노드의 목표값을 산출함으로써, 학습이 이루어지도록 하는 제 2 연결강도모듈(140-1); 및 상기 제 1 연결강도모듈을 고정하고 상기 제 2 연결강도모듈만으로 학습이 진행될 때, 지역 최소점 또는 고원으로 인하여 학습이 느려지거나, 비용함수가 증가하는 경우에 학습을 정지시킨 후, 상기 제 2 연결강도모듈을 고정하고, 상기 제 1 연결강도모듈로 학습 방향을 변동시켜 학습이 상기 입력노드와 상기 은닉노드 사이에서 반복적으로 이루어지게 함으로써, 설정된 상기 은닉노드의 목표값에 수렴할 때까지 반복되어 학습이 이루어지도록 하는 제어부(160); 를 포함한다.
바람직하게 상기 제 1 연결강도모듈(120-1)은, 상기 제 2 연결강도모듈로부터 상기 은닉노드의 목표값 및 상기 은닉노드의 오차값을 수신하는 수신모듈(121); 상기 입력노드와 상기 은닉노드 사이의 상기 제 1 가중치를 변경하는 가중치 변경모듈(122); 및 상기 수신모듈을 통해서 수신한 상기 은닉노드의 목표값과 현재의 은닉노드의 값을 비교함으로써, 학습이 상기 은닉노드의 목표값에 도달하였는지 여부를 판단하는 제 1 비교·판별모듈(123); 을 포함하는 것을 특징으로 한다.
또한 바람직하게 상기 가중치 변경모듈(122)은, 기울기 하강법을 이용하여 상기 입력노드와 상기 은닉노드 사이의 상기 제 1 가중치를 조절하는 것을 특징으로 한다.
또한 바람직하게 상기 제 2 연결강도모듈(140-1)은, 학습시간이 지연되거나 수렴 실패 등의 소통체증이 발생하는지 여부를 판단하여 상기 제 1 연결강도모듈로 학습 방향을 변경함으로써, 설정된 상기 은닉노드의 목표값에 도달할 때까지 학습이 상기 입력노드와 상기 은닉노드 사이에서 이루어지도록 하는 제 2 비교·판별모듈(141); 출력노드에 따른 은닉노드의 오차값을 생성하는 오차생성모듈(142); 상기 은닉노드의 목표값을 산출하는 은닉노드의 목표값 산출모듈(143); 상기 은닉노드의 오차값 및 상기 은닉노드의 목표값을 상기 제 1 연결강도모듈로 전송하는 전송모듈(144); 상기 은닉노드와 가장 큰 오차값을 가지는 상기 출력노드를 선택하는 선택모듈(145); 및 상기 제 1 연결강도모듈에서 학습을 진행하기 위해서 상기 은닉노드의 수를 결정하는 결정모듈(146); 을 포함하는 것을 특징으로 한다.
또한 바람직하게 상기 결정모듈(146)은, 학습이 진행될 때, 상기 은닉노드 한 개를 선택하는 것을 특징으로 한다.
그리고 바람직하게 상기 제어부(160)는, 상기 제 1 연결강도모듈의 학습 방향을 변경하고 설정한 상기 은닉노드의 목표값에 도달할 때까지 상기 학습 방향을 유지한 후, 상기 제 2 연결강도모듈로 되돌아옴으로써, 전역 최소점에 도달할 때까지 계속적으로 반복하는 것을 특징으로 한다.
한편, 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습 방법에 있어서, (a) 학습데이터를 이용하여 제 2 연결강도모듈(140-1)에서 학습을 진행하는 단계; (b) 지역 최소점 및 고원으로 인해서 학습의 속도가 느려지는 경우에 학습이 수렴되는지 여부를 판단한 후, 학습이 수렴되는 경우에는 학습을 종료시키고, 그렇지 않은 경우에는 제 1 연결강도모듈(120-1)로 학습방향을 변경하여, 입력노드와 은닉노드 사이에서 학습이 이루어지도록 하는 단계; (c) 상기 제 1 연결강도모듈에서 설정된 은닉노드의 목표값에 학습이 도달하였는지를 판단하는 단계; (d) 상기 제 (c) 단계의 판단결과, 학습이 상기 은닉노드의 목표값에 도달하지 못한 경우에는 상기 제 2 연결강도모듈로 학습방향을 변경시켜 상기 은닉노드와 출력노드 사이에서 학습을 진행시키는 단계; 및 (e) 상기 제 2 연결강도모듈에서 이루어지는 학습이 전역 최소점에 도달하는 단계; 를 포함한다.
바람직하게 상기 제 (a) 단계 이전에, (a-1) 신경망을 학습시키기 위해서 입력층(110)을 통해서 학습데이터를 입력받는 단계; 를 더 포함하는 것을 특징으로 한다.
그리고 바람직하게 상기 제 (b) 단계는, (b-1) 학습이 수렴되지 않는 경우에, 상기 은닉노드와 가장 큰 오차값을 가지는 상기 출력노드를 선택하는 단계; (b-2) 학습이 전역 최소점에 도달할 수 있도록 은닉노드의 목표값을 산출하는 단계; 및 (b-3) 상기 은닉노드의 오차값 및 상기 은닉노드의 목표값을 상기 제 1 연결강도모듈로 전송하는 단계; 를 포함하는 것을 특징으로 한다.
본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 도면을 참조하여 본 발명의 전반적인 기술적 사상을 살펴보면, 다음과 같다.
본 발명의 일실시예에 따른 은닉노드 목표값을 가진 2 개층 신경망 학습 시스템에 관하여 도 1a 내지 도 3 을 참조하여 설명하면 다음과 같다.
도 1a 는 본 발명의 일실시예에 따른 2 개층 신경망을 나타내는 개념도이고, 도 1b 는 본 발명의 일실시예에 따른 은닉노드 목표값을 가진 2 개층 신경망 학습 시스템을 나타내는 구성도이며, 도 2 는 본 발명의 일실시예에 따른 은닉노드의 목표값에 대한 기울기를 추정하는 방법을 나타내는 도면이고, 도 3 은 본 발명의 일실시예에 따른 지역 최소점이나 고원과 같은 장애 요소를 우회하는 방법을 나타내는 도면이다.
은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습 시스템에 있어서, 학습시스템(100)은 도 1a 에 도시된 바와 같이, 학습데이터를 통하여 가중치를 학습하고, 학습데이터에 대한 특성을 일반화시킴으로써 학습기능을 수행하는 바, 입력층(110), 제 1 연결강도(120), 은닉층(130), 제 2 연결강도(140), 출력층(150) 및 제어부(160)를 포함한다.
먼저, 입력층(110)은 복수개의 학습데이터를 사용자로부터 입력받는 기능을 수행하는 바, 입력노드 X n(x1, x2,...,xn)를 포함하는 기능을 수행한다.
또한, 도 1b 에 도시된 바와 같이, 제 1 연결강도(120)의 제 1 연결강도모듈(120-1)은 입력층(110)과 은닉층(130)을 연결(Input-To-Hidden Connections)하여 입력노드와 은닉층(130)에 포함된 은닉노드 사이의 가중치를 변경시킴으로써 학습이 이루어지도록 하는 기능을 수행하는 바, 수신모듈(121), 가중치 변경모듈(122) 및 제 1 비교·판별모듈(123)을 포함한다.
먼저, 수신모듈(121)은 제 2 연결강도(140)의 제 2 연결강도모듈(140-1)로부터 은닉노드의 목표값 및 은닉노드의 오차값을 수신하는 기능을 수행한다.
또한 가중치 변경모듈(122)은 입력노드와 은닉노드 사이의 가중치를 변경하는 기능을 수행한다.
더욱 구체적으로, 기울기 하강법(Gradient Descent)을 이용하여 가중치를 조절함으로써 학습을 수행할 수 있다. 다시 말하면, 입출력 함수가 선형의 유닛으로부터 이루어진 네트워크에 대하여 모든 입력노드로부터 얻어지는 실제출력과 목표출력과의 오차 제곱의 총합이 최소가 될 수 있도록 제 1 연결강도(120)의 가중치를 조절하는 것으로서, 이에 대한 비용함수는 다음의 수학식 1 과 같이 표현된다.
Figure 112006035105161-pat00001
이때, dj 는 j번째 출력노드에 대한 목표값을 나타내고, S 는 활성화함수(Activation function)를 나타내며, xi는 i번째 입력을 나타내고, wih*는 하위연결 i번째 입력에서 h번째 은닉노드로 가는 가중치를 나타내며, zh는 h번째 은닉노드의 출력 값을 나타내고, w*hj는 h번째 은닉노드에서 j번째 출력노드로 가는 가중치를 나타내며, yj는 j번째 출력노드의 출력값을 나타낸다.
여기서, 비용함수는 은닉노드의 값에 의해서 함수값의 차이가 발생하는데, 비용함수가 증가하는 경우에 은닉노드와 출력노드 사이의 학습이 정지되고, 입력노드와 은닉노드 사이에서 학습이 진행된다.
참고적으로, 은닉층에서 출력층의 연결에 대한 기울기 하강 규칙은 다음의 수학식 2 와 같이 표현된다.
Figure 112006035105161-pat00002
상술한 수학식 2 를 이용하여 입력층에서 은닉층에 해당하는 제 1 연결강도(120)는 wih*에 의해서 편미분되는 바, 다음의 수학식 3 과 같이 표현된다.
Figure 112006035105161-pat00003
그리고 제 1 비교·판별모듈(123)은 수신모듈(121)을 통해서 수신한 은닉노드의 목표값 및 은닉노드의 오차값을 이용하여 은닉노드의 출력값을 비교함으로써, 학습이 은닉노드의 목표값에 도달하였는지 여부를 판단하는 기능을 수행한다.
이때, 학습이 은닉노드의 목표값에 수렴하는 경우에는 학습을 종료시키고, 그렇지 않은 경우에는 제 2 연결강도모듈(140-1)로 학습방향을 변경시켜, 은닉노드와 출력노드 사이에서 학습이 진행되도록 한다.
참고적으로, 본 실시예에서 제 1 연결강도(120)는 wih* 로 표현되며, 은닉층에서 입력층까지의 연결을 나타낸다.
또한, 제 2 연결강도모듈(140-1)은 은닉층(130)과 출력층(150)을 연결(Hidden-To-Output Connections)하며, 각 은닉노드에 의하여 출력노드에서 출력을 처리하고, 출력노드의 현재오차로부터 은닉노드의 목표값을 산출함으로써, 학습이 이루어지도록 하는 기능을 수행하는 바, 제 2 비교·판별모듈(141), 오차산출모듈(142), 은닉노드 목표값 산출모듈(143), 전송모듈(144), 선택모듈(145) 및 결정모듈(146)을 포함한다.
우선, 제 2 비교·판별모듈(141)은 학습 방법에 있어서, 학습시간이 지연되거나 수렴 실패 등의 소통체증이 발생하는지 여부를 판단하여 제 1 연결강도모듈(120-1)로 학습 방향을 변경함으로써, 설정된 은닉노드의 목표값에 도달할 때까지 학습이 입력노드와 은닉노드 사이에서 이루어지도록 하는 기능을 수행한다.
또한 오차생성모듈(142)은 출력노드에 대한 은닉노드의 오차값을 생성하는 기능을 수행한다.
이때, 출력노드 yi에 대한 zi의 오차와 관련된 기대오차는 다음의 수학식 4 와 같이 표현된다.
Figure 112006035105161-pat00004
만약, 출력노드에 대한 은닉노드의 가중치 벡터의 절대값이 상대적으로 크다면, 그렇지 않은 경우에 비해 은닉노드의 오차에 있어서 큰 영향력을 가지게 된다. 따라서 가중치 벡터의 절대값을 곱하여 수학식 4 를 나타내면 다음의 수학식 5 와 같다.
Figure 112006035105161-pat00005
본 실시예에서, 기대오차(
Figure 112006035105161-pat00006
)는 출력노드 yi에 대한 은닉노드 zh의 오차와 관련된 함수
Figure 112006035105161-pat00007
및
Figure 112006035105161-pat00008
와 zh가 이루는 각을
Figure 112006035105161-pat00009
라 하는 경우에,
Figure 112006035105161-pat00010
을 곱한 값이다.
여기서, dj-yj ≥ 0 일 때, sign(dj-yj)=1 을 나타내고, w*j=(w*1j, w*2j, ..., w*nj)을 나타내고, n 은 은닉노드의 수를 나타낸다.
이때, 은닉노드 zh의 오차를 생성하는데 있어서, 출력노드에 대한 모든 은닉노드를 고려하여 은닉노드의 목표값을 추정하는 것으로 설정하였으나, 본 발명이 이에 한정되지 않는다.
또한, 은닉노드 목표값 산출모듈(143)은 학습이 전역 최소점에 도달할 수 있 도록 은닉노드의 목표값을 산출하는 기능을 수행한다.
더욱 구체적으로, 도 2 를 참조하여 살펴보면, 은닉노드 목표값 산출모듈(143)은 출력노드의 현재오차로부터 은닉노드의 목표값(
Figure 112006035105161-pat00011
)을 산출하는 기능을 수행하는 바, 은닉노드의 방향에 따른 기울기와 선택된 출력오차로부터 은닉노드의 오차를 계산하여 은닉노드의 목표값을 산출한다.
이때, 은닉노드의 목표값은 가능한 이상치에 가깝도록 선택된 출력 추정치를 만드는 은닉노드의 값을 의미하며, 이 은닉노드의 목표값에 대한 적절한 근사치를 설정해 준다.
즉, 은닉노드의 목표 값(
Figure 112007046690882-pat00012
)을 상술한 수학식 4 를 통해서 산출된 은닉노드의 목표값으로부터 은닉노드의 비용함수를 다음의 수학식 6 과 같이 나타낼 수 있다.
Figure 112006035105161-pat00013
또한 전송모듈(144)은 은닉노드의 오차값 및 은닉노드의 목표값을 제 1 연결강도모듈(120-1)로 전송하는 기능을 수행한다.
또한 선택모듈(145)은 은닉노드와 가장 큰 오차를 가지는 출력노드를 선택하는 기능을 수행한다.
그리고 결정모듈(146)은 제 1 연결강도모듈(120-1)에서 학습을 수행하기 위해 어느 정도의 은닉노드를 선택해야 하는지를 결정하는 기능을 수행한다.
본 실시예에서, 제 1 연결강도모듈(120-1)에서 학습을 실행하는 매 시간마다 하나의 은닉노드만을 선택하는 것으로 설정하였다.
이는, 학습을 위해서 다수개의 은닉노드 중에서 하나만을 선택함으로써, 수렴속도를 향상시킬 수 있다.
또한, 출력층(150)은 학습이 완료된 학습데이터를 출력하는 기능을 수행하는 바, 출력노드를 포함하는 기능을 수행한다.
그리고, 제어부(160)는 도 3 을 참고하여 살펴보면, 제 1 연결강도모듈(120-1)을 고정하고 제 2 연결강도모듈(140-1)에 의해서 학습이 진행될 때, 지역 최소점 또는 고원으로 인하여 학습이 느려지거나, 비용함수가 증가하는 경우에 학습을 강제적으로 정지시킨 후, 제 2 연결강도모듈(140-1)을 고정하고, 제 1 연결강도모듈(120-1)로 학습 방향을 변동시켜 학습이 입력노드와 은닉노드 사이에서 반복적으로 이루어지게 함으로써, 설정된 은닉노드의 목표값에 수렴할 때까지 반복되어 학습이 이루어진다.
즉, 학습방법은 제 1 연결강도(120)의 방향을 변경하고 설정한 은닉노드의 목표값에 도달할 때까지 그 경로를 유지한 후, 다시 제 2 연결강도(140)로 되돌아옴으로써, 전역 최소점에 도달할 때까지 계속적으로 반복한다.
따라서, 분리 학습 방법은 역전파 학습방법보다 더 긴 거리를 순회하지만, 더욱 빠른 속도로 순회함으로써 수렴속도 또한 빠르다.
이하, 상술한 바와 같은 구성으로 이루어진 응용소프트웨어를 통해 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습방법에 대하여 도 4a 및 도 4b 를 참조하여 살펴보면 다음과 같다.
도 4a 는 본 발명의 일실시예에 따른 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습방법을 나타내는 흐름도이고, 도 4b 는 본 발명의 일실시예에 따른 은닉노드의 목표값을 생성하는 단계를 나타내는 상세 흐름도이다.
우선, 도 4a 에 도시된 바와 같이, 제어부(160)는 신경망을 학습시키기 위해 입력층(110)을 통해서 학습데이터를 입력받는다(S2).
이때, 제어부는 입력층, 은닉층 및 출력층을 초기화함으로써, 은닉노드의 목표값에 의해서 수렴속도가 향상될 수 있도록 한다.
다음으로, 제어부(160)는 수신한 학습데이터를 이용하여 제 2 연결강도모듈(140-1)에서 학습을 진행한다(S4).
이때, 제 1 연결강도모듈은 고정시킨 상태에서 제 2 연결강도모듈만으로 학습을 진행한다.
다음으로, 제어부는 지역 최소점 및 고원으로 인해서 학습의 속도가 느려지는 경우에 학습이 수렴되는지 여부를 판단한다(S6).
제 S6 단계의 판단결과, 학습이 수렴되는 경우에는 학습을 종료시키고, 그렇지 않은 경우에 제어부(160)는 제 1 연결강도모듈(120-1)로 학습방향을 변경하여(S8), 입력노드와 은닉노드 사이에서 학습이 이루어지도록 한다.
이때, 제 2 연결강도모듈을 고정하고, 제 1 연결강도모듈로 학습방향을 변동시켜 학습이 반복적으로 이루어지게 한다.
제 1 연결강도모듈(120-1)에서 학습이 진행될 때, 제어부(160)는 설정된 은닉노드의 목표값에 도달하였는지를 판별한 후(S10), 은닉노드의 목표값에 도달하였다면 학습을 종료시키고, 그렇지 않다면 제 2 연결강도모듈(140-1)로 학습방향을 변경시켜 지속적으로 은닉노드와 출력노드 사이에서 학습을 진행시킨다(S12).
다음으로, 제어부(160)는 제 2 연결강도모듈(140-1)에서 이루어지는 학습이 전역 최소점에 도달하였는지를 판별한 후(S14), 전역 최소점에 도달하였다면 학습을 종료한다.
한편, 제 S14 단계의 판단결과, 학습이 전역 최소점에 도달하지 못하였다면, 제어부(160)는 제 S4 단계로 리턴한다.
또한, 제 S10 단계의 판단결과, 학습이 은닉노드의 목표값에 도달하지 못하였다면, 제어부(160)는 제 S4 단계로 리턴한다.
반면, 제 S6 단계의 판단결과, 학습이 제 2 연결강도모듈(140-1)에서 수렴되지 않는 경우에 제어부(160)는 학습이 수렴할 수 있도록 은닉노드의 목표값을 생성한다(S16).
더욱 구체적으로, 도 4b 를 참고하여 제 S16 단계를 살펴보면, 우선, 제어부(160)는 가장 큰 은닉노드의 오차값을 가지는 출력노드를 선택한다(S16a).
다음으로, 제어부(160)는 학습이 전역 최소점에 도달할 수 있도록 수학식 5 를 이용하여 은닉노드의 목표값을 산출한다(S16b).
마지막으로, 제어부(160)는 생성된 은닉노드의 오차값 및 은닉노드의 목표값을 제 1 연결강도모듈(120-1)로 전송한다(S16c).
이때, 제어부는 제 2 연결강도모듈로부터 수신한 은닉노드의 오차값 및 은닉노드의 목표값을 이용하여 학습이 전역 최소점에 도달할 수 있도록 한다.
[ 실 험 예 ]
본 실험예에서는 본 발명에서 제안한 분리학습 방법의 성능 검증을 위해서 1) 합성데이터, 2) Wisconsin Breast Data, 3) Iris Data 를 포함하는 3가지 종류의 데이터를 이용하여 512MB RAM에서 AMD XP 2600+ 2.0 GB CPU를 가진 단말기에서 실험을 실시하였다.
우선, 각각의 입력벡터에 대해 모든 클래스 중심 벡터들과의 거리(d)를 계산하여 가장 가까운 클래스와 두 번째로 가까운 클래스를 찾은 후, 주어진 확률 값에 의해 소속될 클래스를 결정하고, 각각 은닉노드의 수를 증가시키는 경우와, 학습율과 모멘텀을 0.1에서 0.9로 증가시키는 경우에 대하여 각각 270번의 실험을 실시하였다.
이때, 입력 벡터 X, 입력노드의 수 n, 확률변수 α값을 입력받으며, 각각의 입력 패턴의 값을 -1부터 1사이의 임의의 값으로, 입력패턴의 수를 10 ~ 20개로, 클래스의 수는 3 ~ 10개로 설정하고, 확률변수(α)를 입력노드의 수에 따라 3.0 이상의 값을 할당하여 클래스 간에 겹치는 영역이 비교적 크도록 데이터를 생성하였으며, 성능평가에 대한 척도는 아래의 식을 이용했다.
Figure 112006035105161-pat00014
여기서, Ci 는 가장 가까운 클래스를 나타내고,
Figure 112006035105161-pat00015
는 Ci 의 Center μi의 k번째 차원을 값을 나타내며, Cj 는 두 번째로 가장 가까운 클래스를 나타낸다.
따라서, 실험예는 분리학습 방법과 역전파 학습 방법에 대하여, 은닉노드 수의 증가, 학습율의 증가, 모멘텀의 증가에 대한 수렴율, 학습율, 수행시간 및 최소 평균 오차를 비교·평가하였다.
본 실험예에서 각 실험에 따라 약 50초의 제한시간과 0.01의 수렴 오차 한계를 설정함으로써, 제한시간 내에 한계치보다 적은 오차를 보이는 것만 성공적인 수렴율에 포함시켰으며, 최소 평균 오차란 가장 적은 오차들의 평균값을 나타내는 것으로 설정하였다
[실험예 1- 합성데이터]
실험예 1 은 학습율을 0.3으로 고정시키고, 은닉노드의 수를 3개에서 20개로 증가시켰을 때, 역전파 학습과 분리학습의 성능을 비교한 것이다.
우선, 은닉노드 수의 증가에 따른 역전파 학습과 분리학습의 실험결과를 살 펴보면, 도 5a 내지 도 5c 에 도시된 바와 같이 역전파 학습은 은닉노드의 수가 10개 이상으로 증가하면 전혀 수렴이 되지 않지만, 최소 평균 오차가 0.5밑으로 떨어지지 않았다. 이는, 은닉노드의 증가가 네트워크의 복잡도를 올려 많은 지역 최소점을 생성하기 때문이다.
반면, 합성데이터를 이용한 분리학습은 은닉노드의 증가에 상관없이 높은 수렴율을 보이고 있음으로써, 지역 최소점 등의 문제에 있어 비교적 안전할 수 있고, 수행시간은 역전파 학습의 경우 거의 수렴을 못하기 때문에 수렴 제한시간에 머물러 있으며, 분리학습은 은닉노드의 수에 무관하게 일정하고 적은 수행시간을 보이고 있음을 알 수 있다.
또한, 은닉노드를 임의로 선택하고 학습율을 0.1에서 0.9까지 증가시키는 경우에 대한 역전파 학습과 분리학습의 실험결과를 살펴보면, 도 6a 내지 도 6b 에 도시된 바와 같이, 수렴율과 수행시간에 있어 분리학습이 우월하게 결과가 나온다. 살펴보면, 역전파 학습의 경우에 학습율 0.1을 제외한 모든 학습율에서 수렴에 실패하였으며 최소 평균 오차 또한 10미만으로 떨어지지 않으며, 분리학습도 학습율이 증가할수록 수렴횟수가 감소하는 것을 볼 수 있다.
그리고, 학습율을 0.3으로 고정하고, 은닉노드를 임의로 선택하면서 모멘텀의 값을 0.1에서 0.9까지 증가시켰을 때 역전파 학습과 분리학습의 성능을 비교한 실험결과는 도 7a 내지 도 7c 를 참고하여 살펴보면, 수렴횟수의 경우 전반적으로 분리학습이 더 높으며, 수행시간의 경우 역시 분리학습이 역전파 학습보다 두 배 정도 빠르게 수행되었다.
즉, 모멘텀의 증가가 분리학습, 역전파 학습에 크게 도움이 되지 않는 것으로 보임으로써, 모멘텀은 지역 최소점이나 고원 등의 장애 요소를 해결하는데 별로 도움이 되지 않는 것으로 판단된다.
다시 말하면, 실험예 1 은 1회 반복당(Epoch) 수행시간을 알아보기 위해 각각의 학습방법에 대한 30개의 임의로 선택된 데이터의 모든 반복 횟수를 합하여 총 수행한 시간으로 나누었으며, 분리학습의 경우에 총 반복 횟수가 58641회였고, 총 수행시간이 1476초였으며, 역전파 학습의 경우에 반복 횟수가 18205번, 수행시간이 1510초였다.
따라서 각각의 학습방법에 대한 1회 반복당 수행시간은 분리학습의 경우 0.025초이고, 역전파 학습의 경우 0.083초로 분리학습 방법이 약 3배 정도 빠르다는 것을 알 수 있다.
[실험예 2- Wisconsin Breast Data]
실험예 2 의 Wisconsin Breast Cancer Data는 9개의 변수를 이용하여 유방종양의 상태가 양성인지 악성인지를 파악하는 실험으로써, 데이터의 수가 457개이고, 양성과 악성의 2개의 클래스로 분류되어 있기 때문에 은닉노드의 수를 증가시키는 것은 전체적인 성능의 저하를 초래한다.
즉, 은닉노드의 수를 2개와 3개로 변경하여 실험한 결과 2개로 고정했을 때 더 좋은 성능을 보였기 때문에 은닉노드의 수를 2개로 고정하여 실험하였다.
실험 결과를 살펴보면, 도 8a 내지 도 8c 에 도시된 바와 같이 모멘텀을 0.1 로 고정하고, 학습율을 0.1에서 0.9까지 증가시켰을 때, 수렴율과 수행시간에 있어서 학습율이 낮을 경우 분리학습이 우월하다. 즉, 학습율이 증가할수록 수렴율이 감소하며, 최소 평균 오차의 경우에 분리학습과 역전파 학습은 거의 동등한 결과를 나타내었다.
그리고, 학습율을 0.1으로 고정하고, 모멘텀을 0.1에서 0.9까지 증가시켰을 때 역전파 학습과 분리학습의 성능을 도 9a 내지 도 9c 를 참고하여 살펴보면, 수렴율의 경우에 분리학습과 역전파 학습이 거의 동등한 수렴율을 보이나 분리학습의 경우가 좀 더 우월한 성능을 보였고, 수행시간의 경우에 모멘텀이 작은 값을 가질수록 역전파 학습이 더 빠르지만, 모멘텀이 증가할수록 분리학습이 더욱 빠르게 수행되었다.
[실험예 3- Iris Data]
실험예 3 에 있어서, Iris Data는 꽃받침의 길이(sepal length), 꽃받침의 두께(sepal width), 꽃잎의 길이(petal length), 꽃잎의 두께(petal width)의 4개 변수로 구성된다.
이때, 데이터의 수는 클래스의 수에 따라 50개씩 150개로, 클래스는 붓꽃의 3가지 종류인 Setosa, Versilcolor, Vignica으로 설정하였다.
실험결과, 모멘텀을 0.1로 고정하고, 학습율을 0.1에서 0.9까지 증가시켰을 때 역전파 학습과 분리학습의 성능을 도 10a 내지 도 10c 를 참고하여 살펴보면, 수렴율에 있어서, 역전파 학습에서 수렴하지 않았으나 분리학습은 높은 수렴율을 보였고, 수행시간에 있어 학습율이 낮을 경우 분리학습이 우월하게 결과를 보인다. 또한, 분리학습 및 역전파 학습의 학습율이 증가할수록 수렴횟수가 감소하는 것을 볼 수 있으며, 최소 평균 오차의 경우에 역전파 학습이 분리학습에 비해 더 작은 오차를 나타내었다.
그리고, 학습율을 0.1로 고정하고, 모멘텀을 0.1에서 0.9까지 증가시켰을 때 역전파 학습과 분리학습의 성능을 도 11a 내지 11b 를 참고하여 살펴보면, 수렴율에 있어서 분리학습이 역전파 학습에 비해서 모멘텀의 증가에 상관없이 월등한 성능을 보이고, 수행시간에 있어서도 분리학습이 역전파 학습보다 더 우월한 성능을 보이고 있다. 즉, 역전파 학습의 경우에 모멘텀의 증가에 상관없이 모든 수행에 있어서 제한된 수행시간 내에 수렴하지 못한 것을 알 수 있다.
이처럼, 실험에서 보듯이 제안된 분리학습이 은닉노드의 증가, 학습율, 모멘텀의 증가에 상관없이 수렴율과 수행시간에 대하여 역전파 학습 방법에 비하여 좋은 성능을 보이는 것을 알 수 있다.
이는, 제안방법이 가중치를 갱신하는 규칙과 변하지 않는 네트워크 구조, 목표값과 은닉노드의 오차와 학습과정에 대하여 다른 상태를 줌으로써 수렴문제를 해결할 수 있기 때문이다. 즉, 분리학습의 반복당 계산적인 시간이 역전파 학습방법 보다 적게 걸린다는 사실을 통해서 계산적 이점을 얻을 수 있으며, 다양한 가중치 갱신 규칙이 적용됨으로써, 향상된 성능을 나타낸다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하 여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
상기와 같은 본 발명에 따르면 분리 학습 방법에 있어서, 은닉노드의 목표값을 설정함으로써 네트워크의 구조 및 가중치를 갱신하는 규칙을 변경시키지 않는데 그 효과가 있다.
또한 상층과 하층으로 분리하여 학습을 실행함으로써, 계산량을 줄여 신뢰성을 높일 수 있는 효과도 있다.
또한 적은 용량의 저장 공간만을 요구하며 수렴이 빠르고 상대적으로 안정성이 보장됨으로써, 수렴의 확률을 높일 수 있는 효과도 있다.
그리고 은닉노드의 목표값을 설정함으로써, 지역 최소점 및 고원을 보다 신속하게 벗어날 수 있는데 그 효과가 있다.

Claims (9)

  1. 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습 시스템에 있어서,
    학습데이터를 사용자로부터 입력받으며, 입력노드를 포함하는 입력층(110);
    은닉노드를 포함하는 은닉층(130);
    상기 입력층 및 상기 은닉층을 연결하며, 상기 입력노드와 상기 은닉노드 사이의 제 1 가중치를 변경시킴으로써 학습이 이루어지도록 하는 제 1 연결강도모듈(120-1);
    학습이 완료된 상기 학습데이터를 출력하며, 출력노드를 포함하는 출력층(150);
    상기 은닉층 및 상기 출력층을 연결하며, 상기 은닉노드와 상기 출력노드 사이에 제 2 가중치를 변경하고, 상기 출력노드의 현재오차로부터 상기 은닉노드의 목표값을 산출함으로써, 학습이 이루어지도록 하는 제 2 연결강도모듈(140-1); 및
    상기 제 1 연결강도모듈을 고정하고 상기 제 2 연결강도모듈만으로 학습이 진행될 때, 지역 최소점 또는 고원으로 인하여 학습이 느려지거나, 비용함수가 증가하는 경우에 학습을 정지시킨 후, 상기 제 2 연결강도모듈을 고정하고, 상기 제 1 연결강도모듈로 학습 방향을 변동시켜 학습이 상기 입력노드와 상기 은닉노드 사이에서 반복적으로 이루어지게 함으로써, 설정된 상기 은닉노드의 목표값에 수렴할 때까지 반복되어 학습이 이루어지도록 하는 제어부(160); 를 포함하는 것을 특징으로 하는 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습 시스템.
  2. 제 1 항에 있어서,
    상기 제 1 연결강도모듈(120-1)은,
    상기 제 2 연결강도모듈로부터 상기 은닉노드의 목표값 및 상기 은닉노드의 오차값을 수신하는 수신모듈(121);
    상기 입력노드와 상기 은닉노드 사이의 상기 제 1 가중치를 변경하는 가중치 변경모듈(122); 및
    상기 수신모듈을 통해서 수신한 상기 은닉노드의 목표값과 현재의 은닉노드의 값을 비교함으로써, 학습이 상기 은닉노드의 목표값에 도달하였는지 여부를 판단하는 제 1 비교·판별모듈(123); 을 포함하는 것을 특징으로 하는 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습 시스템.
  3. 제 2 항에 있어서,
    상기 가중치 변경모듈(122)은,
    기울기 하강법을 이용하여 상기 입력노드와 상기 은닉노드 사이의 상기 제 1 가중치를 조절하는 것을 특징으로 하는 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습 시스템.
  4. 제 1 항에 있어서,
    상기 제 2 연결강도모듈(140-1)은,
    학습시간이 지연되거나 수렴 실패 등의 소통체증이 발생하는지 여부를 판단하여 상기 제 1 연결강도모듈로 학습 방향을 변경함으로써, 설정된 상기 은닉노드의 목표값에 도달할 때까지 학습이 상기 입력노드와 상기 은닉노드 사이에서 이루어지도록 하는 제 2 비교·판별모듈(141);
    출력노드에 따른 은닉노드의 오차값을 생성하는 오차생성모듈(142);
    상기 은닉노드의 목표값을 산출하는 은닉노드의 목표값 산출모듈(143);
    상기 은닉노드의 오차값 및 상기 은닉노드의 목표값을 상기 제 1 연결강도모듈로 전송하는 전송모듈(144);
    상기 은닉노드와 가장 큰 오차값을 가지는 상기 출력노드를 선택하는 선택모듈(145); 및
    상기 제 1 연결강도모듈에서 학습을 진행하기 위해서 상기 은닉노드의 수를 결정하는 결정모듈(146); 을 포함하는 것을 특징으로 하는 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습 시스템.
  5. 제 4 항에 있어서,
    상기 결정모듈(146)은,
    학습이 진행될 때, 상기 은닉노드 한 개를 선택하는 것을 특징으로 하는 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습 시스템.
  6. 제 1 항에 있어서,
    상기 제어부(160)는,
    상기 제 1 연결강도모듈의 학습 방향을 변경하고 설정한 상기 은닉노드의 목표값에 도달할 때까지 상기 학습 방향을 유지한 후, 상기 제 2 연결강도모듈로 되돌아옴으로써, 전역 최소점에 도달할 때까지 계속적으로 반복하는 것을 특징으로 하는 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습 시스템.
  7. 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습 방법에 있어서,
    (a) 학습데이터를 이용하여 제 2 연결강도모듈(140-1)에서 학습을 진행하는 단계;
    (b) 지역 최소점 및 고원으로 인해서 학습의 속도가 느려지는 경우에 학습이 수렴되는지 여부를 판단한 후, 학습이 수렴되는 경우에는 학습을 종료시키고, 그렇지 않은 경우에는 제 1 연결강도모듈(120-1)로 학습방향을 변경하여, 입력노드와 은닉노드 사이에서 학습이 이루어지도록 하는 단계;
    (c) 상기 제 1 연결강도모듈에서 설정된 은닉노드의 목표값에 학습이 도달하였는지를 판단하는 단계;
    (d) 상기 제 (c)단계의 판단결과, 학습이 상기 은닉노드의 목표값에 도달하지 못한 경우에는 상기 제 2 연결강도모듈로 학습방향을 변경시켜 상기 은닉노드와 출력노드 사이에서 학습을 진행시키는 단계; 및
    (e) 상기 제 2 연결강도모듈에서 이루어지는 학습이 전역 최소점에 도달하는 단계; 를 포함하는 것을 특징으로 하는 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습 방법.
  8. 제 7 항에 있어서,
    상기 제 (a) 단계 이전에,
    (a-1) 신경망을 학습시키기 위해서 입력층(110)을 통해서 학습데이터를 입력받는 단계; 를 더 포함하는 것을 특징으로 하는 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습 방법.
  9. 제 7 항에 있어서,
    상기 제 (b) 단계는,
    (b-1) 학습이 수렴되지 않는 경우에, 상기 은닉노드와 가장 큰 오차값을 가지는 상기 출력노드를 선택하는 단계;
    (b-2) 학습이 전역 최소점에 도달할 수 있도록 은닉노드의 목표값을 산출하는 단계; 및
    (b-3) 상기 은닉노드의 오차값 및 상기 은닉노드의 목표값을 상기 제 1 연결강도모듈로 전송하는 단계; 를 포함하는 것을 특징으로 하는 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습 방법.
KR1020060045193A 2006-05-19 2006-05-19 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습시스템 및 방법 KR100820723B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020060045193A KR100820723B1 (ko) 2006-05-19 2006-05-19 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습시스템 및 방법
US11/457,601 US7734555B2 (en) 2006-05-19 2006-07-14 Separate learning system and method using two-layered neural network having target values for hidden nodes
US12/722,861 US20100169256A1 (en) 2006-05-19 2010-03-12 Separate Learning System and Method Using Two-Layered Neural Network Having Target Values for Hidden Nodes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060045193A KR100820723B1 (ko) 2006-05-19 2006-05-19 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20070111853A KR20070111853A (ko) 2007-11-22
KR100820723B1 true KR100820723B1 (ko) 2008-04-10

Family

ID=38791536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060045193A KR100820723B1 (ko) 2006-05-19 2006-05-19 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습시스템 및 방법

Country Status (2)

Country Link
US (2) US7734555B2 (ko)
KR (1) KR100820723B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9875737B2 (en) 2016-03-18 2018-01-23 Electronics And Telecommunications Research Institute Pre-training apparatus and method for speech recognition
KR20190051391A (ko) 2017-11-06 2019-05-15 울산대학교 산학협력단 수중 천이 신호 분류 장치 및 방법
KR20200055163A (ko) 2018-11-01 2020-05-21 서강대학교산학협력단 컨볼루션 신경망 기반의 입력 분류 장치 및 방법
US10853723B2 (en) 2014-07-24 2020-12-01 Samsung Electronics Co., Ltd. Neural network training method and apparatus, and data processing apparatus
KR20220094564A (ko) 2020-12-29 2022-07-06 국민대학교산학협력단 딥러닝 모델 서빙 최적화를 위한 모델 자동 경량화 방법 및 장치, 이를 이용한 클라우드 추론 서비스 제공 방법

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100249551A1 (en) * 2009-03-31 2010-09-30 Nelicor Puritan Bennett LLC System And Method For Generating Corrective Actions Correlated To Medical Sensor Errors
US8918352B2 (en) * 2011-05-23 2014-12-23 Microsoft Corporation Learning processes for single hidden layer neural networks with linear output units
US8639680B1 (en) * 2012-05-07 2014-01-28 Google Inc. Hidden text detection for search result scoring
CN103646188A (zh) * 2013-12-27 2014-03-19 长春工业大学 一种基于混合智能算法的冠心病无创性诊断方法
US10552734B2 (en) * 2014-02-21 2020-02-04 Qualcomm Incorporated Dynamic spatial target selection
US20150242742A1 (en) * 2014-02-21 2015-08-27 Qualcomm Incorporated Imbalanced cross-inhibitory mechanism for spatial target selection
AU2016243106B2 (en) * 2015-03-27 2020-10-01 Equifax, Inc. Optimizing neural networks for risk assessment
CN105487009A (zh) * 2015-11-19 2016-04-13 上海电机学院 基于k均值的RBF神经网络算法的电机故障诊断方法
CN106203622B (zh) * 2016-07-14 2018-12-25 杭州华为数字技术有限公司 神经网络运算装置
KR101821494B1 (ko) * 2016-08-10 2018-01-24 중앙대학교 산학협력단 감응식 교통 신호 제어 방법 및 그 장치
CN106326677B (zh) * 2016-09-12 2018-12-25 北京化工大学 一种pta装置醋酸消耗的软测量方法
EP3535697A4 (en) 2016-11-07 2020-07-01 Equifax Inc. OPTIMIZATION OF AUTOMATIC MODELING ALGORITHMS FOR RISK ASSESSMENT AND GENERATION OF EXPLANATORY DATA
CN107563588A (zh) * 2017-07-25 2018-01-09 北京拓明科技有限公司 一种个人信用的获取方法和获取系统
WO2019039758A1 (ko) * 2017-08-25 2019-02-28 주식회사 수아랩 개선된 뉴럴 네트워크를 생성하고 학습시키기 위한 방법
CN108364068B (zh) * 2018-01-05 2021-04-13 华南师范大学 基于有向图的深度学习神经网络构建方法和机器人系统
CN108520155B (zh) * 2018-04-11 2020-04-28 大连理工大学 基于神经网络的车辆行为模拟方法
CN109521270A (zh) * 2018-10-11 2019-03-26 湖南工业大学 基于改进型小波神经网络的谐波检测方法
US11468315B2 (en) 2018-10-24 2022-10-11 Equifax Inc. Machine-learning techniques for monotonic neural networks
CN109934375B (zh) * 2018-11-27 2020-05-01 电子科技大学中山学院 一种电力负荷预测方法
CN109840492B (zh) * 2019-01-25 2022-09-20 厦门商集网络科技有限责任公司 基于深度学习网络的文档识别方法和终端
KR102592585B1 (ko) * 2019-02-01 2023-10-23 한국전자통신연구원 번역 모델 구축 방법 및 장치
CN111210003B (zh) * 2019-12-30 2021-03-19 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
CN114579730A (zh) * 2020-11-30 2022-06-03 伊姆西Ip控股有限责任公司 信息处理方法、电子设备和计算机程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950006629A (ko) * 1993-08-10 1995-03-21 양승택 비선형 함수의 근사를 위한 비선형 추정망의 학습방법
KR950029970A (ko) * 1994-04-13 1995-11-24 양승택 추정망의 온라인 학습방법
KR20040028408A (ko) * 2002-09-30 2004-04-03 주식회사 케이티 신경망을 이용한 변수 중요도 측정방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950006629A (ko) * 1993-08-10 1995-03-21 양승택 비선형 함수의 근사를 위한 비선형 추정망의 학습방법
KR950029970A (ko) * 1994-04-13 1995-11-24 양승택 추정망의 온라인 학습방법
KR20040028408A (ko) * 2002-09-30 2004-04-03 주식회사 케이티 신경망을 이용한 변수 중요도 측정방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"A Distributed Genetic Algorithm for Neural Network Design and Training"(Complex Systems, 1992 )

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853723B2 (en) 2014-07-24 2020-12-01 Samsung Electronics Co., Ltd. Neural network training method and apparatus, and data processing apparatus
US9875737B2 (en) 2016-03-18 2018-01-23 Electronics And Telecommunications Research Institute Pre-training apparatus and method for speech recognition
KR20190051391A (ko) 2017-11-06 2019-05-15 울산대학교 산학협력단 수중 천이 신호 분류 장치 및 방법
KR20200055163A (ko) 2018-11-01 2020-05-21 서강대학교산학협력단 컨볼루션 신경망 기반의 입력 분류 장치 및 방법
KR20220094564A (ko) 2020-12-29 2022-07-06 국민대학교산학협력단 딥러닝 모델 서빙 최적화를 위한 모델 자동 경량화 방법 및 장치, 이를 이용한 클라우드 추론 서비스 제공 방법

Also Published As

Publication number Publication date
US7734555B2 (en) 2010-06-08
KR20070111853A (ko) 2007-11-22
US20070282772A1 (en) 2007-12-06
US20100169256A1 (en) 2010-07-01

Similar Documents

Publication Publication Date Title
KR100820723B1 (ko) 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습시스템 및 방법
Mao et al. A tensor based deep learning technique for intelligent packet routing
Yingwei et al. Identification of time-varying nonlinear systems using minimal radial basis function neural networks
Koohi et al. Optimizing particle swarm optimization algorithm
CN105046045B (zh) 一种基于贝叶斯组合的Web服务QoS预测方法
JPH0738186B2 (ja) 自己拡張形ニユーラル・ネットワーク
Yu et al. Automated nonlinear system modeling with multiple fuzzy neural networks and kernel smoothing
CN110995487A (zh) 多服务质量预测方法、装置、计算机设备及可读存储介质
Zhang et al. A fast UD factorization-based learning algorithm with applications to nonlinear system modeling and identification
Jaddi et al. Taguchi-based parameter designing of genetic algorithm for artificial neural network training
Barreto et al. Growing compact RBF networks using a genetic algorithm
Roy et al. Metamodeling for multimodal selection functions in evolutionary multi-objective optimization
Dang et al. Improved pso algorithm for training of neural network in co-design architecture
Bartlett et al. Comparison of two new approaches to variable ordering for binary decision diagrams
Hanay et al. Virtual network topology control with oja and apex learning
Chan et al. A preliminary study on negative correlation learning via correlation-corrected data (NCCD)
Mashor Performance comparison between HMLP, MLP and RBF networks with application to on-line system identification
Damak et al. Indirect adaptive neural control using a hybrid learning algorithm
Uykan Clustering-based algorithms for single-hidden-layer sigmoid perceptron
Er et al. Parameter tuning of MLP neural network using genetic algorithms
Pratap et al. Optimizing Artificial Neural‐Network Using Genetic Algorithm
Amin et al. Dynamically pruning output weights in an expanding multilayer perceptron neural network
Bueno-Crespo et al. Related tasks selection to multitask learning schemes
KR100241359B1 (ko) 학습률 가변 및 오차신호 크기 제한 방법
de Meneses Carvalho et al. Acceleration of Backpropagation Training with Selective Momentum Term.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140303

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150216

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160401

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee