KR100335712B1 - 전방향신경망을구비한정보처리시스템및신경망학습방법 - Google Patents

Abstract

본 발명에 따른 정보처리 시스템은 기능적으로 다수의 상호 연결된 뉴런으로 이루어진 전방향 신경망을 포함한다. 뉴런들중에서 적어도 하나의 특정 뉴런은 다수의 뉴런 입력 신호들을 수신하고, 이 뉴런 입력 신호에 응답하여, 이 입력 신호들의 함수이면서 또한 상기 뉴런 입력 신호들중 적어도 한 신호의 변화율과 특정 뉴런 출력 신호의 변화율중 적어도 어느 한 변화율의 함수인 뉴런 출력 신호를 발생한다. 본 신경망은 신호 종속 지연, 신호 분산 및 위상 천이로 표현되는 다이나믹 동작을 나타낸다. 본 신경망은 임의의 다이나믹 시스템의 자극 - 응답 특성을 나타내도록 학습되어질 수 있다.

Description

전방향 신경망을 구비한 정보처리 시스템 및 신경망 학습방법

본 발명은 기능적으로 다수의 상호 연결된 뉴런으로 구성된 전방향 신경망을 가진 정보처리 시스템에 관한 것이다. 각각의 뉴런들은 다수의 뉴런 입력 신호를 수신하고 이 신호에 응답하여 뉴런 출력 신호를 발생한다. 본 발명은 또한 다이나믹 시스템의 시뮬레이션을 위해 이와 같은 정보처리 시스템을 이용하는 방법에 관한 것이다.

신경망

신경망은 고속 병렬 및 분산처리 방식으로 정보를 취급한다. 신경망은 기능적으로 뉴런이라고 불리는 다수의 기본처리 장치로 이루어지며, 이들 뉴런들은 시냅스(synapse)라고 하는 가중된 상호 연결부를 통해 상호 연결되어 대구조를 이룬다. 각 시냅스는 소오스로 기능하는 뉴런에 의해 공급된 신호를 증폭하여 이 신호를 목적지로서 기능하는 다른 뉴런에 전달한다. 각 뉴런은 통상 다른 뉴런들로부터 또는 신경망 입력부로부터 시냅스를 통해 다수의 가중된 입력 신호들을 수신한다. 종래의 신경망에서는 각 뉴런은 가중된 입력 신호들을 합산하고 이 합산신호에 비선형 함수를 적용시켜 다른 뉴런들에 전송하기 위한 출력 신호를 발생한다.

신경망은 모델에 상관없이 동작가능하다. 즉 신경망 동작에는 주어진 업무를 처리하기 위해 알고리즘을 미리 정해놓을 필요가 없다. 신경망은 예제(example)를 통해 학습하면서 데이타를 적응성있게 처리한다. 신경망에서의 처리동작은 집합적인(collective) 방식으로 행해진다. 신경망은 각각의 뉴런들이 간단하면서도 동시에 동작하고 또 신호들이 전신경망을 통해 분포되기 때문에 전체적으로 복합한 기능을 수행하게 된다. 이와 같은 조직에 의해서 다수의 뉴런들은 단순한 규칙을 적용하여 각 뉴런의 상태에 집합적이고 동시적으로 영향을 미친다 " 전방향 신경망"이라는 표현은 다수의 연속층내의 뉴런들의 배열을 말하는데, 특정층의 뉴런은 그 출력 신호를 다음층의 뉴런에 공급한다. 이와 같은 신경망은 특정처리 업무를 수행하기 위해 예컨대 에러 백프로퍼게이션(error backpropagation)으로 학습될 수 있다. 학습을 통해 얻어진 처리능력은 각각의 메모리 소자가 아닌 다수의 시냅스내에서 부호화된다. 신경망은 통상적으로 최적화 문제, 패턴인식 및, 분류 업무에 적합하다.

신경망을 이용한 시뮬레이터

유럽 특허출원 EP-A 0 540 168호에서는, 실제 기계와 같은 제어될 어떤 대상을 시뮬레이트하는 신경망 내장 시뮬레이터(simulator)가 기술되어 있다. 기계의 특성들을 나타내는 모델은 공지형태의 시뮬레이터에 대해서 미리 종래 방식대로 준비되어 있다. 모델을 지배하는 설계된 특성들과 실제 측정된 기계의 특성들간의 불일치들을 처리하기 위해서 신경망을 부가시켜 이들 불일치들에 대해서 공개된 시뮬레이터의 결과를 정정한다. 모델의 출력은 기계의 실제 출력과 비교되고, 신경망의 동작변수들은 불일치가 최소화 되게끔 조정된다. 이로 인해 모델의 정확성이 증가한다. 제 1 실시예에서 공지 시뮬레이터의 신경망 앞에 미분 수단이 있는데, 이 수단은 처리될 신호를 계속적으로 미분하여 신호값과 이 신호의 1 차 및 고차시간 미분값을 나란히 신경망에 공급한다. 제 2 실시예에서는 신경망 앞에 지연 라인이 있어 연속적인 순간들과 관련된 신호값들이 신경망에 병렬로 공급된다.

다이나믹 시스템의 적당한 모델을 만드는 고전적인 방식으로는 다이나믹 시스템에 대해 유용한 지식을 수치적으로 잘 동작하는 수작업 모델로 안출해 내는 방법이 있다. 이 방법으로, 예컨대 트랜지스터 디바이스, 경제 시스템, 일기예보에 대해 만족할만한 모델을 독자적 기술로 개발하는데는 몇 사람이 수년간 엄청난 량의 지식과 직관을 쏟아 부어야 할 것이다. 모델이 기초하는 중요 원리들을 답사 및 설명하기 위해 다이나믹 시스템을 모델링하려고 할때 부딪히는 복잡함으로 인해, 종래의 공지된 모델링 기법은 통상적으로 곡선 맞춤법(curve - fitting)에 의존하여 필요한 정확도와 평탄함을 얻을 수 있다. 그러나 이러한 곡선맞춤법에 의하게되면 이산(discretization) 및 보간(interpolation) 효과가 생겨 모델이 다이나믹 시스템으로부터 상당히 벗어나게 된다. 더 중요한 것은, 상술한 방식은 스태틱(static) 또는 준스태틱(quasic - static) 모델링에만 유용하다는 것이다. 어떤 형태의 자극에 대해서도 시종속(time - dependent) 응답을 정확히 예측하는 완전한 다이나믹 모델을 곡선맞춤법과 보간법에 따라 구현하는 것은 실제로는 불가능하다. 이것은 자극신호 내에서 가능한 샘플값들을 만들어내기 위한 기초를 제공하는데도 엄청난 량의 샘플이 필요하기 때문이다.

본 발명은 상기에서 설명된 종류의 종래의 정보처리 시스템은 스태틱 방식으로 입력 데이타를 출력 데이타위에 맵핑(mapping)하는 신경망을 이용한다는 사실을 인식한다. 즉, 입력 데이타 벡터를 출력 데이타 벡터상에 맵핑하는 것은 전적으로 순간 입력 데이타에 의해 결정되며, 기능적으로 전파 지연과 같은 시간효과나 선행 입력 데이타 벡터와는 무관하다. 따라서, 종래의 공지된 신경망은 입력 데이타 아이템들의 전개와 이들 아이템들의 개별 정보내용이 신경망의 응답을 지배하는 진정한 다이나믹 동작을 근본적으로 보여주지 못한다. 또한 상기 설명된 종래 기술에서의 전처리(preprocssing)는 사용된 신경망의 스태틱 특성을 변경시키지 못한다.

따라서, 본 발명의 기본 목적은 신경망 기능을 확장시키는 것이다. 본 발명의 다른 목적은 다이나믹 동작을 나타내는 신경망을 가진 정보처리 시스템을 제공하는 것이다. 본 발명의 또 다른 목적은 진정한 다이나믹 신경망을 내장한 다이나믹 시스템용 시뮬레이터를 제공하는 것이다. 본 발명의 또 다른 목적은 완전한 자동 모델 발생기로서 이용될 수 있는 정보처리 시스템을 제공하는 것이다.

이를 위해, 본 발명은, 상기 언급된 종류의 정보처리 시스템에 있어서, 뉴런들중 특정 뉴런이 특정 뉴런 출력 신호를 발생하고, 상기 특정 뉴런 출력 신호는 상기 특정 뉴런에 입력되는 뉴런 입력 신호들의 함수이면서 또한 상기 뉴런 입력 신호들중 적어도 한 신호 이상의 변화율과 상기 특정 뉴런 출력 신호의 변화율중 적어도 하나의 변화율의 함수인 것을 특징으로 한다.

기본적으로, 본 발명에서 특정 뉴런의 입/출력 동작은 미분 방정식이나 적분 방정식에 의해 지배된다. 이 방정식들은 시구간(time interval)에 대한 시간 미분이나 적분과 같은 하나 이상의 시간 연산자(temporal operators)를 포함한다. 상술한 변화율들은 예컨대 1 차 또는 그 이상의 고차 시간 미분이나 시간 미분이 결합된 것으로 생각할 수 있다. 이와는 대조적으로, 종래의 인공 신경망에서의 뉴런은 특정 순간에서 뉴런 입력 신호값들만의 함수인 특정 순간에서의 값을 갖는 뉴런 출력 신호를 발생하고 변화율이나 시간 적분에 대한 의존성과 같은 어떠한 명백한 시간 효과도 없다. 따라서 본 발명에서의 정보처리 시스템은 진정한 다이나믹 동작, 예컨대 신호 종속 지연효과, 위상변위나 분산, 메모리 효과를 나타낼 수 있다.

전방향 신경망의 출력은 급하게 변화하는 입력 신호를 수신할시에 시간 적분 효과를 이용하여 점차적으로 변화되게 할 수 있다, 이와 달리 신경망의 출력은 천천히 변화하는 입력 신호 수신시에 시간 미분을 이용하여 급하게 변화되게 할 수 있다. 이것은 예컨대 고속 비선형 다이나믹 처리용의 제어기와 같은 신경망의 실제 적용에 잘 맞는다. 어떤 순간에서만 우세한 신호값들의 패턴에 나타나는 정보를 처리하는 종래의 신경망과는 달리. 본 발명의 신경망은 시간에 다른 신호패턴 전개에서 존재하는 정보를 취급할 수 있다. 더 중요한 것은 본 발명의 신경망은 자동 모델링 업무에도 양호하게 이용될 수 있다는 것이다. 이 점에 대해서도 이후에 더 자세히 설명하기로 한다.

바람직하게로는, 함수는 뉴런들중 특정 뉴런에 입력되는 뉴런 입력 신호들의 선형결합에 달려있으면서, 또한 특정 뉴런 출력 신호의 1 차 시간미분 ; 특정 뉴런 출력 신호의 2 차 시간미분 ; 특정 뉴런에 입력되는 뉴런 입력 신호들중 적어도 하나의 신호의 1 차 시간미분중 적어도 하나 이상에 달려있다.

더 구체적인 실시예에서, 특정 뉴런은 특정 뉴런 출력 신호의 선형결합 및 이 특정 뉴런 출력 신호의 1 차 및 2 차 시간미분의 선형결합을 특정 뉴런에 입력되는 뉴런 입력 신호들을 포함하는 제 1 인수의 비선형 함수와 특정 뉴런에 입력되는 뉴런 입력 신호들중 적어도 하나의 입력 신호의 1 차 시간 미분을 포함하는 제 2 인수의 비선형함수와 거의 같게 되도록 작용한다. 이런식으로 특정 뉴런은 대역통과 필더로 기능하도록 만들어진다. 대역 통역 필터는 다양한 다이나믹 시스템의 전형적 동작을 근사화시킨다. 따라서, 이와 같은 뉴런은 이하에서 설명된 시스템 모델링에서 중요한 블럭이다.

정보처리 시스템의 전방향 신경망이 특정업무를 학습하기 위해서 신경망이 적응성 있게된다. 이를 위해서 신경망에는 상기의 특정 뉴런이 하나 이상 구비되며, 함수는 그 값이 변경될 수 있는 하나 이상의 변수를 포함한다. 이렇게 하여 정보처리 시스템은 변수의 값을 조정하는 수단을 포함하게 된다. 이제, 실제 다이나믹 시스템내에 신호 위상천이, 신호 전파지연과 같은 다이나믹 동작 특성들을 수용하기 위하여 신경망위에 진정한 다이나믹 비선형 시스템을 배치할 수 있다. 이러한 것들은 반도체 모델링, 전자회로 시뮬레이션, 기상예보, 프로세서 제어, 경제 시스템, 병참 시스템, 비행 시뮬레이션, 컴퓨터 지원 제조 등과 같은 비선형 고차 현상을 취급하는 분야에 응용될 수 있다.

본 발명에서는 신경망위에 진정한 다이나믹 시스템을 맵핑하게 되면 다이나믹 시스템용 시뮬레이터가 된다. 이것은 다음과 같이 수행된다. 하나 이상의 미리 규정된 자극에 대한 다이나믹 시스템 응답의 시간전개가 모니터된다. 그 다음, 대응하는 미리 규정된 시간 자극을 나타내는 입력이 공급될때 신경망은 상기 모니터된 응답을 나타내는 출력을 발생하도록 학습되어진다.

학습은 다음과 같은 단계로 구성된다. 예컨대, 임의 값들이나 모델링될 다이나믹 시스템에 대해 미리 획득된 지식을 고려한 값들을 동작 변수로 할당함으로써 전방향 신경망이 초기화된다. 그 다음, 자극을 나타내는 입력이 신경망에 공급된다. 신경망으로부터 얻어진 출력은 원하는 출력과 비교된다. 비교결과 소정 기준에 맞지 않으면, 예컨대 기울기를 따라가는 (gradient descent) 알고리즘과 같은 갱신 절차에 따라 변수들의 값들이 갱신되고, 이에따라 다시 신경망에 입력이 공급되고 새로이 얻어진 출력은 원하는 출력과 비교된다. 비교결과, 기준에 맞으면, 학습은 종료되고 최종적으로 얻어진 값이 유효하다. 학습된 신경망은 다이나믹 시스템의 대표로서 사용될 수 있다. 한편, 신경망은 계속적으로 변화하는 환경에 적응할 수 있도록 하기 위해 학습을 반복적으로 수행할 수 있다.

신경망이 스프트웨어로 실시되는 경우에, 학습은 다수의 시간영역튜플(tuple)들로 구성된 학습세트의 도움으로 다음과 같이 시간 표시기와, 모델링될 다이나믹 시스템에 특정 순간에 공급되는 하나 이상의 자극의 하나 이상의 샘플을 나타내는 입력 벡터 및, 상기 특정 순간에서 다이나믹 시스템에 의해 제공된 응답을 나타내는 목표(target) 출력 벡터를 포함한다. 시간 표시기와 대응 입력 벡터들은 신경망에 공급되고, 신경망은 출력 벡터들을 발생한다. 특정쌍의 시간 표시기와 대응 입력벡터는 상기 특정상의 시간 표시기에 대응하는 특정 출력 벡터를 일으킨다. 얻어진 출력 벡터는 동일한 시간 표시기에 대응하는 원하는 목표 출력 벡터와 비교된다. 모든 비교된 목표 출력 벡터와 얻어진 출력 벡터간의 불일치는 코스트(cost) 함수로써 축척된다. 이 코스트 함수의 값은 종래의 신경망을 학습시키기 위한 과정과 유사한 과정에 따라서 신경망 변수를 갱신함으로서 최소화 된다. 학습되고나면 신경망은 모델링 되었던 다이나믹 시스템의 동작과 유사한 다이나믹 동작을 보일 것이다. 더우기, 신경망 본래의 일반화 능력으로 인해 학습된 신경망은 다이나믹 시스템이 새로운 자극하에서 응답하는 방식과 유사하게 새로운 입력에 응답할 것이다.

이렇게 학습된 신경망은 호스트 컴퓨터 시스템에서 소프트웨어 형태로 사용될 수 있다. 또한 신경망 소프트웨어는 전자회로로 구성된 하드웨어상에 맵핑될 수 있다. 또한 예컨대 학습과정에서 그 값들이 정해지는 변수들을 가진 미분 방정식의 세트 형식으로된 신경망 소프트웨어는 더 처리하기 위해 시뮬레이터에 적재될 수 있다.

대안으로서, 또는 시간영역 학습에 더하여, 본 발명의 정보처리 시스템내의신경망은 주파수 영역 튜플의 학습세트의 도움으로 학습될 수 있다.

고정 바이어스부와 바이어스 상태 부근에서 선형화를 이룰 수 있게끔 충분히 미약한 변화부로 이루어진 자극이 공급되는 다이나믹 시스템을 고려한다. 결과적으로, 모델링되는 다이나믹 시스템에 소정 주파수의 고조파적으로(harmonically) 변화하는 응답을 공급한다. 그러면 응답과 자극 사이의 비율은 일반적으로 주파수의 복소 전이 함수(complex transfer function)로 표현된다. 다수의 입력과 다수와 출력을 가진 다이나믹 시스템은 전이 행렬에 의해 특정지워지는데, 이 행렬의 각 성분들은 복소 전이 함수로 되어 있다.

상술한 본 발명의 정보처리 시스템내의 뉴런들은 뉴런 출력 신호들의 1 차 및 2 차 시간 미분과 뉴런 입력 신호들의 1 차 시간 미분들을 포함하는 미분 방정식으로 정해지는 동작을 나타낸다. 미분 방정식들은 바이어스 상태 부근에서 선형화시켜 고조파 분석을 할 수 있다. 이렇게 하여 신경망 동작은 바이어스 상태를 포함하고 주파수에 종속하는 복소 입/출력 특성을 규정하는 전이 행렬로 기술할 수 있다. 신경망의 변수들은 이 전이 함수의 변수로서 발생된다. 이제, 모델링될 다이나믹 시스템에 공급되는 자극을 나타내는 고조파적으로 변화하는 입력들이 신경망에 공급된다면, 신경망은 고조파적으로 변화하는 출력을 공급할 것이다. 그러면 갱신 절차에서 변수들의 적응은 고조파적으로 변화하는 자극하에서 다이나믹 시스템이 공급하는 응답들을 표시하는 출력들을 공급하는 신경망을 학습시킨다.

소프트웨어로 실시되는 신경망은 다수의 주파수 영역 튜플로 구성된 학습세트의 도움으로 학습될 수 있다. 주파수 영역 튜플들중 특정 튜플은 하나 이상의 특정 바이어스 상태를 나타내는 바이어스 표시기와, 특정 주파수에 대한 주파수 표시기 및, 특정 바이어스 상태와 특정 주파수에 대응하여 다이나믹 시스템의 전이 함수를 나타내는 목표 전이 행렬을 포함한다. 특정 바이어스 상태에 있어 얻어진 신경망의 전이 행렬은 관련된 목표 전이 행렬과 비교된다. 모든 비교된 목표 전이 행렬쌍과 얻어진 전이 행렬들간의 불일치는 종래의 신경망 학습과정과 유사한 과정에 따라 코스트 함수로 축척되고, 코스트 함수값은 신경망 변수들을 변경시켜 최소화된다. 일단 학습되고나면, 신경망은 모델링되었던 다이나믹 시스템의 동작과 유사한 다이나믹 동작을 보여줄 것이다. 더우기, 신경망 본래의 일반화 능력으로 인해, 학습된 신경망은 다이나믹 시스템이 새로운 자극하에서 응답하는 것과 유사하게 새로운 입력들에 응답할 것이다.

본 발명은 신호 전개를 고려하여 인용된 종래 기술인 EP-A 0 540 168의 전처리를 이용하지 않는다. 종래의 신경망에 공급되는 입력 벡터의 i 번째 성분은 신경망에 의해 처리될 신호의 i - 1 차 시간 미분을 대표하는 값을 갖는다. 여전히 종래의 신경망은 완전히 스태틱하다. 본 발명에서의 신경망은 뉴런 기능내에 시간 연산자를 도입함으로서 완전히 다이나믹하게 된다.

본 발명의 정보처리 시스템은 자동 모델 발생기로서 유용하게 이용된다. 먼저, 시스템의 신경망의 토폴로지는 층수와 각 층의 뉴런수로 결정된다. 각 뉴런들은 비선형 대역 통과 필터로 기능한다. 이 대역 필터의 출력 동작은 소오스항(source term)을 가진 2 차 미분 방정식으로 표현된다. 이 소오스항은 비선형 함수로서 뉴런의 입력 신호들의 선형 결합과 입력 신호들의 1 차 시간 미분의선형 결합을 포함한다. 방정식에서 변수들의 값은 신경망 학습에 의해 결정된다. 이 방법에 의해 원하는 다이나믹 동작을 나타내도록 신경망은 학습하며, 여기서 변수들의 값은 기울기를 따라가는 에러 백프로퍼게이션과 같은 최적화 과정에 따라 반복하여 변경된다. 변수값들이 학습 단계에서 충분히 정확하게 결정되었을때, 하드웨어로, 즉 학습된 신경망으로, 또는 소프트웨어로, 즉 결합된 미분 방정식 세트로 다이나믹 시스템 모델을 얻게된다.

상기 하드웨어, 즉 학습된 신경망은 예컨대 다수의 신경망으로 구성된 제어기의 구조물 내의 블럭으로 이용될 수 있다. 여기서 각각의 신경망은 하나 이상의 다이나믹 자극 - 응답 특성을 나타내도록 학습되어 있다. 이와 같은 구조물은 적어도 뉴런 레벨에서 상당한 정도의 균등성을 갖고 있다.

상기 소프트웨어, 즉 미분 방정식 세트는 예컨대 μ제어기의 마이크로코드위에 배치되어 제어 특성을 제공한다. 전자회로 시뮬레이션에서 소프트웨어 표현은 소오스, 커패시터, 저항, 인덕턴스와 같은 선형 및 비선형 소자로서 등가 전자회로도상에 배치될 수 있다. 그 후 이 등가 회로도는 SPICE 와 같은 잘 알려진 회로 시뮬레이터에 공급되어 이 회로의 기능이나 다른 회로와의 협력성에 대해 테스트를 받게된다.

이하, 첨부 도면을 참조하여 본 발명을 실시예를 통해 본 발명을 상세히 설명한다.

제 1 도는 전방향 신경망(100)을 포함하는 정보처리 시스템(10)의 예시적인 구성이다. 신경망(100)은 기능적으로 K + 1 개의 층(본 예에서는 K = 2)으로 구성되며, 각 층(k = 0. 1, ..... K)은 N_K개의 뉴런을 갖고 있다. 본 예에서는, 입력 층(k = 0), 은닉층(k = 1), 출력 층(k = 2)이 있다. 점(102, 104)과 같은 각 층내의 점들은 뉴런을 나타낸다. 차순위층의 뉴런들은 소오스 뉴런(102)과 목적 뉴런(104)간의 시냅스(106)와 같은 시냅스들을 통해 선순위층내의 뉴런들의 출력에만 연결된 입력들을 갖고 있다. "K - 1" 층 내의 소오스 뉴런 "j "와 "k" 층 내의 목적 뉴런 "1" 사이의 시냅스는 소오스 뉴런으로부터 목적 뉴런으로 전송된 신호 yj,_(k-1)에 가중치(weight) W_ijk를 발생한다. "k" 층 내의 목적 뉴런 "i' 는 뉴런 출력 신호 y_i,k를 발생한다. 보통, 목적 뉴런은 다수의 소오스 뉴런에 접속되어 다수의 가중된 입력 신호를 수신한다. 종래의 신경망에서는 목적 뉴런에서 공급하는 뉴런 출력 신호의 값은 수신된 뉴런 입력 신호값들의 선형결합의 비선형 함수이었다. 입력 신호와 출력 신호의 순간값들만이 상호 관련되어 있기 때문에 종래의 신경망은 스태틱 맵핑(mapping)을 실행한다.

본 발명에서는 뉴런이 수신된 입력 신호들에 따른 뉴런 출력 신호를 시간 미분 연산자와 같은 시간 연산자를 통해 발생한다는 점에서 뉴런들(102, 104)은 훨씬 강력하다. 수학적으로 뉴런 출력 신호는 뉴런 입력 신호들에 의해 결정된 소오스항을 가진 미분 방정식의 해이다. 따라서 신경망(100)의 출력은 변화하는 입력 신호들을 수신함에 따라 점진적으로 변화될 수 있다. 이것은 예컨대 연상 제어기(associative controller)와 같은 신경망의 실제 적용에 잘 부합된다. 더우기, 예컨대 실제 다이나믹 시스템에서 표시되는 자극 - 응답 특성과 같은 미리 규정된 동작을 모사하도록 신경망(100)을 학습시킴으로써 신경망(100)의 시간 동작을 결정하는 신경망의 동작 변수들을 적응시킬 수 있다.

다이나믹 뉴런 동작 : 시간영역

본 발명에서 뉴런 ㄹ동은 제 2 도 내지 제 11 도를 참조하여 설명한다.

제 2 도는 뉴런 동작을 규정하는 공식이다. 본 실시예에서 "k"층내의 뉴런 "i" 의 뉴런 출력 신호 y_i,k는 2 차 선형 미분 방정식(i)에 따른다. 기호 y_i,o는 신경망(100)의 입력노드 "i"에 있는 입력 신호를 표시하는 것이다. 신호 y_i,k값들과, 그 계수 τ_1,ik가 곱해진 1 차 미분 dy_i,k/dt 및, 계수 τ_2,ik가 곱해진 2 차 미분 d²y_i,k/dt²의 선형 결합은 소오스항 F(s_i,k, δ_i,k) 과 같다. 소오스항 F 는 인수 S_i,k의 비선형 함수이다. S_i,k에 대한 표현은 공식(ii)에 주어진다. S_i,k는 "k"층내의 뉴런 "i"에 기능적으로 연결된 선순위층 "k-1" 내의 뉴런들의 뉴런 출력 신호값들 y_i,(k-1)의 선형을 포함한다. 신호값 y_i,(k-1)의 시냅스 가중치 W_ijk에 의해 가중된다. S_i,k는 또한 "k"층내의 뉴런 "i"에 연결된 "(k-1)"층의 뉴런들과 관련된 1 차 미분 dy_i,(k-1)/dt 값들의 선형결합을 포함한다. 1 차 시간 미분 dy_i,(k-1)/dt 각각에는 계수 V_ijk가 가중된다. W_ijk항과 V_ijk항은 "k-1"층내의 소오스 뉴런 "j"를 "k"층내의 목적 뉴런 "i"에 기능적으로 결합시키는 시냅스의 동작을 규정한다. θ_i,k항은 "k" 층내의 뉴런 "j" 의 임계값을 나타낸다. 소오스항 F 의 첫번째 예가 공식(iii)에 주어져 있다. 소오스항 F의 두번째 예는 공식(iV)에 주어져 있다. 소오스항 F는 통상 S_i,k의 단조증가하는 시그모이드(sigmoid) 함수로서, 전이 변수 δ_i,k는 소오스항 F 의 적당한 변화량을 결정한다.

변수 τ_1,ik와 τ_2,ik가 0 이고, 가중치 V_ijk도 모두 0 이라고 하면, 공식(i)는 비선형 함수를 통해 뉴런 출력 신호상에서만 뉴런 입력 신호들의 선형 결합을 맵핑하는 종래의 뉴런의 스태틱 동작을 묘사한다. 그러나, 본 발명의 뉴런의 출력은 역사를 고려하며, 비소멸(non - vanishing) 변수 τ_1,ik와 τ_2,ik를 가진 항들이 존재한 결과이다.

공식(i)내지 (iV)는 적당한 변수 설정에 대한 비선형 대역 통과 필터를 묘사한다. V_ijk항들의 진폭은 주파수에 따라 비례하며 W_ijk항과 아주 높은 주파수에 대한 임계치를 지배한다. V_ijk항들은 "k"층의 뉴런 "i" 에 입력되는 뉴런 입력 신호들의 급격한 변화들을 검출하는데 이용된다. 그러나 τ_2,ik항이 고주파 진폭을 점차 감소시켜 0 으로 될때까지 τ_1,ik항은 주파수에 따라 증가하여 V_ijk/τ_1,ik정도의 전이 함수 크기에 이르게 된다. 변수 τ_1,ik는 시간 적분 능력이 있으므로 입력 S_i,k를 시간 평균할 수 있다. 이것은 저항 및 커패시터 배열과 병렬로 설치된 전압원을 통해 얻어지는 저역 통과 필터 동작과 같은 것이다.

제 3 도는 "k" 층내의 뉴런 "i" 로 표시된 뉴런(30)을 시각화한 것이다. 뉴런(30)은 선순위 "k-1" 층내의 뉴런들로부터 뉴런 입력 신호 y_1,(k-1),.... y_j,(k-1),.....y_N(k-1),(k-1)들 수신하여 상술한 바와같은 뉴런 출력 신호 y_i,k를 발생한다.

신경망이 예컨대 디지탈 컴퓨터에서 구현되는 경우에는 공식(i) 내지 (iV)는 수치로 취급될 수 있는 포맷으로 변화될 필요가 있다. 수치 적분에 유용한 범용 알고리즘은 많이 있으며, 이 들 알고리즘들은 정확도, 타임 스텝 크기 및, 알고리즘 복잡성간의 트레이드 오프(trade - off)를 제공한다. 예를들어, 후방 오일러 적분법(Backward Euler integration method)은 단순성 및, 수치 안정성과 가변 타임 스텝 크기간을 트레이드 오프한다. 후술될 제 4 도의 공식(V) 내지 (Vii)은 공식(i)과 (ii)의 이산 형태를 나타낸다. 타임 스텝은 문자 "h"로 표기한다. 공식(V) 내지 (Vii)에서 시종속량 y_i,k와 y_i,(k-1)은 시간 "t"에서의 신호들의 값을 표기하고, 액센트를 가진 시종속량 y'_i,k과 y'_i,(k-1)은 시간 "(t - h)"에서의 관련 신호의 값들을 나타낸다.

2 차 미분 방정식(i)은 2 개의 1 차 미분 방정식(V)와 (Vi)로 변환됨에 유의한다. 방정식(V)와 (Vii)를 풀어 y_i,k와 Z_i,k를 구한 결과는 제 4 도의 방정식(Viii)와 (iX)세트이다. 이 방정식들을 (Vii)식에 직접 대입하면 S_i,k가 구해진다. 초기 상태는 정상 상태의 조건하에서 제 5 도의 방정식(X) 내지 (Xii)로 주어진 방정식의 포워드 프로퍼게이션으로부터 구해진다.

과도적 감도(sensitivty)에 대한 표현, 즉 신경망의 동작 변수에 대한 편미분은 먼저 2 차 미분 방정식(i)을 방정식(V)와 (Vi)과 유사한 2 개의 1 차 미분 방정식으로 변환시킨 다음에, 이들 방정식과 방정식(ii)를 문자 "p" 로 표기된 변수에 대하여 미분함으로써 구해진다. 그 결과는 제 5 도의 방정식(Xiii) 내지 (XV)에 주어져 있다. 방정식(Xiii) 내지 (XV)는 이산화된 것으로 후방 오일러 적분법을 적용하기 위해 제 6 도의 방정식(XVi) 내지 (XViii)로 다시 쓰여진다. 편미분에 대한 초기값은 제 7 도의 정상 상태 방정식(XiX) 내지 (XXi)의 포워드 프로퍼게이션으로부터 구해진다.

실제로 실시하기 위한 방정식을 얻기위해서는 변수"p"를 선택해야 한다. 변수 p 가 신경망의 k 층에 관련된 것이라면, 즉, 변수 p 가 y_i,k에 대한 방정식에서 명시적으로 발생된다면, 변수 p 는 변수 δ_i,k, θ_i,k, W_ijk, V_ijk, τ_1,ik또는 τ_2,ik어느 하나가 될 수 있다. 중요한 것은 방정식(XVi) 내지 (XViii)가 시간적으로 이전의 순간들과 관련된 데이타를 포함하는 "타임 - 브랜칭(time - branching)" 관계에 이르게하는 것이다. 역방향으로 신경망을 바라볼때, 이전 순간에서의 미분은 그 자체가 그 순간에서의 데이타뿐만 아니라 훨씬 더 오래된 데이타에도 종속될 수 있다는 의미에서 종속 트리(tree)가 전개된다. 이러한 다수의 순간 취급의 필요성은 다층 신경망을 고차 미분 방정식으로 표현할때 분명해진다. 이 미분 방정식은 직접 1 차 이산화 시킨후에는 n + 1 번 순간들에 있어서의 값들을 포함한다. 여기서 n 은 미분 방정식의 차수이다. 변수 p 가 선순위 층과 관련되어 있다면, 방정식(XVi) 내지 (XViii)는 간단화될 수 있으며, 따라서 변수 "p" 가 존재하는 층에 적합한 편미분이 구해질때까지 제 8 도의 방정식(XXii) 내지 (XXiV)로부터 회귀적으로 편미분들이 구해질 수 있다. 회귀를 피하기 위해서는 피드포워드 방식으로 실제 평가를 내릴 수 있다. 이러한 개요에서 선순위 층들에서의 변수들에 대한 초기 편미분 값들은 제 8 도의 방정식(XXV) 내지 (XXVii)에서 구해진다.

"k" 층내의 하니의 뉴런 "i" 에 대한 모든 변수는 제 9 도의 방정식(XXViii)에서 처럼 뉴런 변수 벡터 p^(i,k)로 표기된다. 모든 층내의 모든 뉴런에 대한 모든 변수 벡터 p^(i,k)를 모은 것이 신경망 변수 벡터 p 이다. 이 벡터 p 는 모든 뉴런 변수 벡터 p^(i,k)들이 서로 함께 묶여진채 연결된 것을 말한다. 변수들, 즉 신경망 변수 벡터 p 의 성분들에 대한 값들은 학습 데이타에 대한 일종의 최적화를 통해 결정되어야 한다. 예컨대, 반도체 디바이스를 모델링하기 위해 신경망을 학습시키는 경우, 이 디바이스에 가해진 직류 전압의 크기는 신경망에 대한 입력 데이타로서 이용되고, 이 디바이스의 대응하는 단자 전류의 측정 크기들은 정상 상태에서의 신경망의 목적하는 출력이 된다. 과도 동작에 대해서는, 전압과 전류를 시간 함수로서 나타낸 완전한 파형들이 입력과 목표 출력을 설명하는데 필요하다. 신경망의 과도 동작은 각 파형의 시간 t = 0 에서 정상상태 분석에 의해 초기화 된다. 신경망의 학습단계는 모든 규정된 정상상태와 과도 동작을 가능한 밀접한 관계를 갖도록 모델링하려는 단계로 이루어진다. 이것은 최적화 문제에 이르게 한다. 정상상태 경우는 특별한 경우, 즉 t = 0 인 경우로 처리될 수 있다.

이제 디바이스에 대한 하나 이상의 서로 다른 입력 신호에 대해서 신경망의완전한 학습 세트 S_tr을 정의한다. 이 학습 세트는 튜플의 집합이다. 각각의 튜플은 시간 영역에 관련한 샘플들의 그룹으로서 순간 표시기 t_s,i, 신경망 입력 벡터 X⁽⁰⁾ _s,i및 목표 출력 벡터 X_s,i로 이루어진다. 여기서 첨자 "s" 와 "i" 는 "i" 번째 순간에서의 "s" 번째 신호값을 말한다. 신경망 입력 벡터 X⁽⁰⁾ _s,i와 목표 출력 벡터 X_s,i는 각각 번째 순간에서 모델링될 실제 다이나믹 시스템에 공급된 자극과 이 다이나믹 시스템에 의해 발생된 응답을 나타낸다.

즉, S_tr= { 신호 s, 샘플 i : (t_s,i, X⁽⁰⁾ _s,i, X_s,i)}

상기에서 도입된 로컬 타임 스텝(local time step) 크기 "h" 는 간단히 차이 t_s,i+1- t_s,i이다. 신호 "s" 당 하나의 타임 샘플만이, 즉 t_s,i=0만이 특정 바이어스 상태, 예컨데 상기 반도체 디바이스의 경우 직류 상태에 대한 정상 상태동작을 규정하는데 이용된다. 목표 출력 X_s,i는 일반적으로 초기에는 순간 t_s,i에서 신경망 입력 X⁽⁰⁾ _s,i로부터 얻는 신경망 출력 X^(K)(t_s,i) 과 다를 것이다.

신경망에 의해 실제로 전달된 출력과 원하는 목표 출력과의 불일치를 나타내는 에러들을 축적한 것을 시간 영역 에러량 E_tr로 정한다. 에러들은 모든 신경망 출력들과, "i" 로 표시된 모든 순간과, "s" 로 표시된 모든 신호들에 대해서 축적된다.

여기서 벡터 인수의 스칼라 함수 ε_tr은 특정 순간에서 신호들중 특정한 신호가 총 에러 E_tr에 주는 기여를 나타낸다. 통상 ε_tr은 계수 1/2 가 곱해진 인수의 내적(inner product)이다.

신경망 변수 벡터 p 의 변수들에 대해서 E_tr을 최소화 시키는데는 여러가지 과정이 이용된다. 일예로서는 학습 가능 신경망 분야에서 에러 백프로퍼게이션으로부터 잘 알려진 최고 급경사를 따라가는 (steepest descent) 또는 기울기를 따라가는 (gradient descent) 방법이 있다. 이 방법은 최고 급경사를 따라가는 방법을 이용하는 백프로퍼게이션이 로컬 규칙만을 포함하기 때문에 가장 유행하는 갱신 방법중의 하나이다. 즉, 각각의 뉴런은 입력 가중치를 통해 전방 경로로 들어오는 바이어스 정보와, 출력을 통해 후방 경로로 들어오는 에러감도 정보만을 필요로한다. 최고 급경사를 따라가는 방법은 성능이 비교적 좋지못하다는, 즉 반복 횟수가 많다는 결점이 있어 최적을 향한 수렴이 보장되지 않는다.

최고 급경사를 따라가는 방법의 토대위에 이 방법을 변경시킨 것들이 많이있다. 예컨대, 부가적인 모멘텀(momentum)항을 고려한 방법이나 탐색을 특정 기울기에만 제한시킨 방법들이 있다. 최적화 기법인 수렴 기법은 그 자체가 학문의 한 분야이며 본 발명은 최고 급경사를 따라가는 방법의 적용에만 한정되지 않음에 유의한다. 관심있는 독자는 최적화 기법에 관한 일반적으로 유용한 많은 문헌을 참조한다.

최고 급경사를 따라가는 방법은 신경망 변수들에 대한 갱신 벡터가 제 9 도에서 공식(XXiX)으로부터 계산됨을 암시한다. 즉, 벡터 p 의 증분 δp 는 p 에 대한 벡터 공간내의 시간 영역 에러량 E_tr의 기울기에 비례한다. 비례계수 η 은 학습률(learning rate)이라 하며 갱신 스텝 크기를 결정한다. 최고 급경사법을 변경한 다른 방법에서는 제 9 도의 공식(XXX)에서 주어진 바와같이, 갱신 벡터 δp 에 대한 방정식에서 부가적인 모멘텀 창을 사용한다. 이 모멘텀 항은 이전에 계산된 갱신 벡터 δP_previous와 비례계수 μ와의 곱에 비례한다.

종래의 시그모이드(Sigmoid) 뉴런 활동함수 F 를 가진 작은 스태틱 백프로퍼게이션 신경망에서 사용된 η 와 μ에 대한 값은 η = 0.5, μ = 0.9 이다. 최고 급경사를 따라가는 방법은 수렴이 느리게 진행된다는 점에서 또는 거친 비수렴 변수 진동이 일어나기 쉽다는 점에서 적당한 η 와 μ의 값에 매우 민감하다.

신경망(100)내의 마지막층 K 내의 뉴런 "i" 의 뉴런 출력 신호 y_i,k는 뉴런 출력 신호를 의미있는 범위내에 두기위해서 척도 변환 및/또는 천이될 수 있다. 또한 신경망의 성능을 최적화하기 위해서는 척도 변환 계수 α_i에 의해 척도 변환된 것과 β_i량단큼 청이될 것에 상술한 벡터 p 에 포함된 신경망의 기타 다른 변수들에 대해 수행했던 것과 같은 적당한 연산을 행해야 한다.

다이나믹 뉴런 동작 : 주파수 영역

본 발명의 시스템에서 뉴런의 다이나믹 동작은 시간 미분을 이용하여 상술하였다. 소신호(small-signal)에 대한 다른 공식화에 있어서는 이 다이나믹 동작을 주파수로서 설명한다. 따라서 본 발명은 주파수 영역 데이타를 취급하는데도 적용가능하게 된다. 이에 대해서 이하에서 설명한다.

방정식(i) 내지 (iV) 각각에 있는 변수 y_i,k와 S_i,kT-h-W는 여기서 시독립부 y^steady _i,k및 S^steady _i,k와, 고조파부 Re(Y_i,kexp(jωt) 및 Re(S_ikexp(jωt)로 구성된다고 생각한다. 이 시독립부와 고조파부들은 복소 진폭 Y_i,k와 S_i,k가 아주 작아서 방정식들은 정상상태 부근으로 선형화시킬 수 있다. 이것은 제 10 도의 방정식(XXXi)와 (XXXii)에 표현되어 있다. 공식(ii)에 (XXXi)와 (XXXii)를 대입하면 방정식 (XXXiii)와 (XXXiV)가 된다. 방정식 (XXXiV)는 방정식 (XXXV)의 단일 뉴런 전이 함수이다.

이제 신경망(100)의 층들 사이의 소신호 관계를 생각한다. k 층에 대해서 (XXXi)와 (XXXii)를 (ii)에 대입하고 소신호항만을 남겨두면 제 11 도의 방정식(XXXVi)가 된다. 신경망(100)의 k = 1 층의 뉴런 m 에 대한 소신호입력은 Re(Y_m,oexp(jωt))로 된다. 신경망(100)의 소신호 출력은 k 층에 의해 공급된다. k = K 출력층에 존재하는 뉴런 i 의 소신호 출력은 Re(Y_i,kexp(j_ωt))로 표기된다. 소정 바이어스 "b"와 소정 주파수 ω에 대한 소신호입력에 따른 신경망의 소신호출력은 일반적인 복소 회로망 전이 행렬 H_b(ω) 에 의해 특징지워진다. 행렬 H_b(ω)은입력 Y_n,o을 방정식 (XXXVii)을 통해 출력 Y_i,k에 관련시킨다. 따라서 행렬 H_b(ω)의 복소 행렬요소 H_im은 Y_i,k/Y_m.o인데, 이 비율은 디바이스에서 m 번째 입력외의 모든 입력을 일정하게하여, 즉 m 번째 입력만이 i 번째 출력에 기여하게 하여 i 번째 출력을 관찰하므로써 얻어진다. 연속한 층인 k - 1 층과 k 층간의 전이 관계는 제 10 도의 (XXXV)를 제 11 도의 (XXXVi)와 결합시킴으로써 구해진다. 이 결합에 의해 이 방정식 (XXXViii)가 구해진다. 이 방정식 (XXXViii)으로부터 전이 행렬 H^(K)가 도출된다. 이 전이 행렬 성분 H^(K) _ij은 Y_i,k/Y_j,k-1로서 이 비율은 뉴런 "i"에서 뉴런 "i" 에 대한, j 번째 입력을 제외한 모든 입력을 일정하게 유지시키면서 그 출력을 관찰하므로써 구해진다. k = 1 층의 다른 모든 뉴런들은 0 입력을 수신하지만 k = 1 층의 뉴런들중 어느 하나의 뉴런에 대해서는 1 이 되는 k = 1 이 대한 입력들의 복소 진폭에 있어서는 회로망 전이 행렬 H_b(ω)의 성분에 대한 방정식을 구하기 위해 방정식 (XXXViii)가 단순히 반복적으로 적용된다.

성분 H_im의 값들은 시간 영역에서 상술한 것과 다소 유사한 학습과정을 거쳐 최적화된다. 이제 신경망에 대한 학습 데이타 S_ac는 튜플의 집합인 하나 이상의 서로 상이한 바이어스 상태에 대한 샘플들을 포함한다. 각각의 바이어스 상태는 각각 주파수와 이 주파수와 바이어스 상태에 대해 관련된 목표 회로망 전이 행렬 H_b,i로 표시될 수 있다. 즉,

S_ac= {바이어스 b, 샘플 i : (ω_b,i, H_b,i)}

여기서 지수 "b" 는 학습동안 고려된 여러가지 바이어스 상태중 특정한 것을 나타내고, 지수 "i" 는 학습동안 고려된 주파수들 특정한 것을 나타낸다.

특정 주파수 ω_b,i와 특정 바이어스 상태 "b" 에 대한 원하는 목표 전이 행렬 H_b,i는 예컨대 모델링될 다이나믹 시스템에서 시행된 측정으로부터 구해진다. 신경망에서 얻어진 전이 행렬은 특정 주파수와 바이어스 상태에 대한 원하는 목표 전이 행렬과 비교된다. 만일 구해진 행렬과 원하는 행렬간의 불일치가 허용될 수 없는 정도라면, 신경망의 동작 변수들은 갱신된다. 갱신 절차에는 상기 원하는 목표 전이 행렬과 대응하는 바이어스 상태 "b" 와 주파수 "i" 에 대해 신경망을 통해 실제로 구한 전이 행렬 H_b(ω₁) 간의 차이로서 총에러를 표시한 다음과 같은 식을 이용한다.

여기서 행렬 인수의 스칼라 함수 ε_ac행렬차들중 특정한 것이 총에러 E_ac에 기여한 것을 나타낸다. 통상적으로, 복소 행렬 A 의 함수 ε_ac다음과 같이 된다.

E_ac를 최소화하는 변수들의 갱신은, 시간 영역에 대해서 상술한 방식과 유사한 방식으로, 변수 p 에 대한 H_b(ω_i) 편미분들을 포함하는 기울기를 따라가는 방법을 이용하여 실행될 수 있다. 유사하게, 척도변환도 상술한 바대로 실행될 수 있다.

시간 영역 학습과 주파수 영역 학습은 E_tr과 E_ac의 선형 결합을 다음과 같이 결합 총에러 E_comb로 정의하여 이 E_comb를 최소화하는 하나의 절차로 결합되어 질 수 있다.

제 1 도는 전방향 신경망(feedforward neural net)의 예시도.

제 2 도 내지 제 11 도는 본 발명의 신경망내에서 뉴런 활동을 규정하는 공식.

* 도면의 주요부분에 대한 부호의 설명 *

10 : 정보처리 시스템 100 : 신경망

30, 102, 104 : 뉴런 106 : 시냅스

Claims (12)

1. 각각의 뉴런이 다수의 뉴런 입력 신호들을 수신하도록 동작하고 이 입력 신호에 응답하여 각각의 뉴런 출력 신호를 발생하는 상호 연결된 다수의 뉴런으로 기능적으로 구성된 전방향 신경망을 구비한 정보처리 시스템에 있어서,

   상기 뉴런들중에서 특정 뉴런이, 실질적으로 상기 뉴런들중 특정의 하나에 대한 뉴런 입력 신호들의 함수이고 상기 뉴런 입력 신호들중 하나 이상의 신호의 변화율과 특정 뉴런 출력 신호의 변화율 중 적어도 하나의 변화율의 함수인 특정 뉴런 출력 신호를 발생하는 것을 특징으로 하는 전방향 신경망을 구비한 정보처리 시스템.
2. 제 1 항에 있어서,

   상기 함수는 상기 뉴런들중 상기 특정의 하나에 대한 뉴런 입력 신호들의 선형 결합에 의존하고, 상기 특정 뉴런 출력 신호의 1 차 시간 미분, 상기 특정 뉴런 출력 신호의 2 차 시간 미분, 상기 특정 뉴런에 대한 상기 뉴런 입력 신호들중 하나 이상의 특정 신호의 1 차 시간 미분중 하나 이상에 의존하는 것을 특징으로 하는 전방향 신경망을 구비한 정보처리 시스템.
3. 제 2 항에 있어서,

   상기 특정 뉴런은 상기 특정 뉴런 출력 신호의 추가의 선형 결합과, 상기 특정 뉴런 출력 신호의 1 차 및 2 차 시간 미분의 선형 결합을 상기 특정 뉴런에 대한 뉴런 입력 신호들을 포함하는 제 1 인수의 비선형 함수와 상기 특정 뉴런에 입력되는 뉴런 입력 신호들중 적어도 하나의 신호의 1 차 시간 미분을 포함하는 제 2 인수의 비선형 함수와 실질적으로 동일하게 되도록 작용하는 것을 특징으로 하는 전방향 신경망을 구비한 정보처리 시스템.
4. 제 1 항에 있어서,

   상기 함수는 적어도 하나의 변수를 포함하고, 상기 시스템은 변수값을 조정하는 수단을 포함하는 것을 특징으로 하는 전방향 신경망을 구비한 정보처리 시스템.
5. 제 1 항에 있어서,

   신경망으로 기능하도록 프로그램된 컴퓨터를 포함하는 전방향 신경망을 구비한 정보처리 시스템.
6. 신경망으로의 미리 규정된 입력에서 생기는 원하는 출력을 발생시키기 위해 신경망을 학습시키는 단계를 포함하는 제 4 항의 시스템을 사용하는 방법에 있어서, 상기 학습 단계는,

   a) 적어도 하나의 변수에 임의의 값을 할당하여 신경망을 초기화하는 단계와;

   b) 상기 미리 규정된 입력을 상기 신경망에 공급하는 단계와;

   c) 상기 미리 규정된 입력의 결과로서 구한 신경망의 얻어진 출력을 원하는 출력과 비교하는 단계와;

   d) 비교 결과가 미리 정해진 기준에 맞지 않으면 갱신 절차에 따라서 변수값을 하고 단계 b)로 되돌아가는 단계와;

   e) 비교 결과가 소정 기준에 맞으면 학습을 종료하고 최종적으로 구해진 값을 유효하게 하는 단계를 포함하는 신경망 학습 방법.
7. 제 6 항에 있어서,

   상기 신경망은 정보처리 시스템에 포함되어 있는 컴퓨터에서 구현되고, 상기 미리 규정된 입력을 공급하는 단계는 다수의 시간 영역 튜플(tuple)을 공급하는 단계를 포함하고, 상기 각각의 튜플은,

   각각의 순간을 표시하는 시간 표시기와;

   상기 각각의 순간에 대응하는 각각의 입력 샘플을 포함하고, 상기 비교 단계는,

   상기 각각의 입력 샘플의 결과로서 신경망에 의해 생성되어 얻어진 각각의 출력 샘플과 각각의 순간에 대응하는 각각의 원하는 출력 샘플간의 불일치를 결정하는 단계를 포함하는 것을 특징으로 하는 신경망 학습 방법.
8. 각각의 원하는 전이 행렬(transfer matrix)을 통해서 상기 각각의 주파수의각각의 고조파 입력이 공급될 때, 각각의 주어진 주파수의 각각의 고조파 출력을 발생시키기 위해 신경망을 학습시키는 단계를 포함하는 제 4 항의 시스템을 사용하는 방법에 있어서,

   2) 적어도 하나의 변수에 임의의 값을 할당하여 신경망을 초기화하는 단계와;

   b) 각각의 주파수에 대해서 각각의 얻어진 전이 행렬을 결정하는 단계와;

   c) 상기 각각의 원하는 전이 행렬과 상기 각각의 원하는 전이 행렬을 비교하는 단계와;

   d) 비교 결과가 소정 기준에 맞지 않으면 갱신 절차에 따라서 변수값을 갱신하고 단계 b)로 되돌아가는 단계와;

   e) 비교 결과가 소정 기준에 맞으면 학습을 종료하고 최종적으로 구해진 값을 유효하게 하는 단계를 포함하는 신경망 학습 방법.
9. 제 8 항에 있어서,

   상기 신경망은 정보치리 시스템에 포함되어 있는 호스트 컴퓨터에서 구현되는 것은 특징으로 하는 신경망 학습 방법.
10. 제 8 항에 있어서,

    각각의 정지 상태를 결정하는 특정 바이어스 상태하에서 각각의 원하는 전이 행렬을 통해 상기 각각의 주파수의 각각의 고조파 입력이 공급될 때 상기 각각의주어진 주파수의 각각의 고조파 출력을 발생시키기 위해 상기 신경망을 학습시키는 단계를 포함하는 신경망 학습 방법.
11. 제 7 항에 있어서,

    각각의 원하는 전이 행렬을 통해 상기 각각의 주파수의 각각의 고조파 입력이 공급될 때 각각의 주어진 소정 주파수의 각각의 고조파 출력을 발생시키기 위해 신경망을 학습시키는 단계를 포함하고, 상기 학습 단계는,

    2) 상기 각각의 주파수에 대해서 각각의 구해진 전이 행렬을 결정하는 단계와;

    b) 상기 각각의 원하는 전이 행렬과 상기 각각의 구해진 전이 행렬을 비교하는 단계와;

    c) 비교결과 소정 기준에 맞지 않으면 갱신 절차에 따라서 변수값을 갱신하고 단계 a)로 되돌아가는 단계와;

    d) 비교 결과가 소정 기준에 맞으면 학습을 종료하는 단계를 포함하는 신경망 학습 방법.
12. 제 7 항 또는 제 9 항에 있어서,

    상기 신경망을 전자 회로나 시뮬레이터 시스템중 적어도 어느 하나상에 맵핑하는 단계를 더 포함하는 신경망 학습 방법.