KR0166970B1

KR0166970B1 - 데이터처리장치 및 그 적정화 방법

Info

Publication number: KR0166970B1
Application number: KR1019900008130A
Authority: KR
Inventors: 스나오 다까도리; 료오헤이 구마다니; 고오지 마쓰모도; 마꼬도 야마모도
Original assignee: 쓰지 하레오; 샤아프가부시기가이샤
Priority date: 1989-06-02
Filing date: 1990-06-01
Publication date: 1999-01-15
Also published as: US5633988A; KR910001575A

Abstract

내용 없음.

Description

데이터 처리장치 및 그 적정화방법

제1도는 적정한 학습이 수행되었을 때의 표준일치도의 변화를 나타내는 그래프.

제2도는 부적정한 학습이 수행되었을 때의 표준일치도의 변화를 나타내는 그래프.

제3도는 학습과정에서 국소적 로컬미니멈으로 될 때에 표준일치도의 변화를 나타내는 그래프.

제4도는 국소적 로컬미니멈으로 되는 뉴우럴 네트워크의 발화상태의 예를 나타내는 개념도.

제5도는 본 발명 방법의 제1실시예에 의한 한계치 변화를 나타내는 그래프.

제6도는 제2실시예에 있어서의 한계치 변화를 나타내는 그래프.

제7도는 제3실시예에 있어서의 한계치 변화를 나타내는 그래프.

제8도는 제4실시예에 있어서의 한계치 변화를 나타내는 그래프.

제9도는 제5실시예에 있어서의 한계치 변화를 나타내는 그래프.

제10도는 제6실시예에 있어서의 한계치 변화를 나타내는 그래프.

제11도는 제7실시예에 있어서의 한계치 변화를 나타내는 그래프.

제12도는 제8실시예에 있어서의 한계치 변화를 나타내는 그래프.

제13도는 제9실시예에 있어서의 한계치 변화를 나타내는 그래프.

제14도는 제10실시예에 있어서의 한계치 변화를 나타내는 그래프.

제15도는 제11실시예에 있어서의 한계치 변화를 나타내는 그래프.

제16도는 제12실시예에 있어서의 한계치 변화를 나타내는 그래프.

제17도는 본 발명 방법의 제13실시예에 있어서의 가중치 변화를 나타내는 그래프.

제18도는 제14실시예에 있어서의 가중치 변화를 나타내는 그래프.

제19도는 제15실시예에 있어서의 가중치 변화를 나타내는 그래프.

제20도는 제16실시예에 있어서의 가중치 변화를 나타내는 그래프.

제21도는 제17실시예에 있어서의 가중치 변화를 나타내는 그래프.

제22도는 제18실시예에 있어서의 가중치 변화를 나타내는 그래프.

제23도는 제19실시예에 있어서의 가중치 변화를 나타내는 그래프.

제24도는 제20실시예에 있어서의 가중치 변화를 나타내는 그래프.

제25도는 제21실시예에 있어서의 가중치 변화를 나타내는 그래프.

제26도는 제22실시예에 있어서의 가중치 변화를 나타내는 그래프.

제27도는 제23실시예에 있어서의 가중치 변화를 나타내는 그래프.

제28도는 제24실시예에 있어서의 가중치 변화를 나타내는 그래프.

제29도는 본 발명에 의한 데이터처리장치의 구조를 나타내는 그래프.

제30도는 제1실시예에 초기한계치 분포를 나타내는 그래프.

제31도는 제2실시예에 초기한계치 분포를 나타내는 그래프.

제32도는 제3실시예에 초기한계치 분포를 나타내는 그래프.

제33도는 제4실시예에 초기한계치 분포를 나타내는 그래프.

제34도는 제5실시예에 초기한계치 분포를 나타내는 그래프.

제35도는 제6실시예에 초기한계치 분포를 나타내는 그래프.

제36도는 제7실시예에 초기한계치 분포를 나타내는 그래프.

제37도는 제8실시예에 초기한계치 분포를 나타내는 그래프.

* 도면의 주요부분에 대한 부호의 설명

I₁-1₅: 입력비트 θ : 한계치

ta : 절대불응기 tr : 상대불응기

본 발명은, 입력된 데이터에 소정의 가중치(weight)를 곱한 곱의 총화(總和)와 한계치와의 비교결과에 따른 데이터를 출력하는 뉴우론(neuron)이 복수개 설치된 데이터 처리장치에 있어서, 전기한 가중치를 적정화하기 위한 방법에 관한 것이다.

이러한 종류의 데이터 처리장치의 학습과정에 있어서, 어느정도 적정한 입출력상관이 발생하여, 그 상관이 강하게 되었을 때, 이후 데이터 처리장치가 그 상태로부터 탈출할 수 없어, 최적화가 불가능하게되는 경우가 있다.

이것은 로컬미니멈(local ninimum)으로 된다 라고 표현되어, 예를들면 볼쯔만머시인(David H. Ackely, Geoffrey E. Hinton, and Terrence J. Sejnowski ; A learing algorithm for Bolzman Machines ; Cognitive Science 9, 1989, 147-169)에서는, 뉴우럴네트워크 에너지식.

에 주목하여, 이 에너지식의 국소적 로컬미니멈으로부터 탈출해서 대극적 로컬미니멈에 도달하기 위하여, 일시적으로 전기한 에너지를 소정의 고레벨로 점프시킨다.

그러나, 입출력의 최적상관과 전기한 에너지의 대국적 로컬미니멈의 상태는 반드시 일치하는 것은 아니다.

또, 일반적으로 국소적 로컬미니멈의 깊이는 미지이므로, 에너지 레벨을 소정치만큼 높였을 때, 확실하게 국소적 로컬미니멈으로부터 탈출할 수 있다라는 보증은 없고, 에너지의 대국적 로컬미니멈에 도달할 수 있다라는 보증조차도 없다.

더욱이, 에너지를 일시적 점프한다 라는 것 자체와 생체계의 기능과의 사이에 정합성(整合性)이 없다.

본 발명은 전기한 종래의 문제점을 해소하기 위하여 창안된 것으로, 학습과정(learning process)에 있어서 국소적 로컬미니멈으로 되는 것을 확실하게 방지할 수 있는 데이터 처리장치 및 그 적정화 방법을 제공하는 것을 목적으로 한다.

본 발명에 관한 데이터 처리장치의 적정화 방법은, 데이터 처리장치에 일정한 입력을 부여하면서, 어느 시점에서 유의(有意)한 출력을 발생한 뉴우론의 한계치를, 일단 최대치까지 높인 후에 전기한 시점에서의 값까지 감소시키도록 강제적으로 변화시키고, 이 한계치의 강제적 변화 기간에 전기한 가중치를 조정하는 것이다.

또, 본 발명에 관한 데이터 처리장치의 적정화 방법은, 초기 상태에서 뉴우론의 한계치 분포에 완만한 구배의 기울기를 부여하고, 그후 데이터 처리장치에 일정한 입력을 부여하면서, 어느 시점에서 유의한 출력을 발생한 뉴우론의 한계치를, 일단 최대치까지 높힌 후에 전기한 시점에서의 값까지 감소시키도록 강제적으로 변화시켜, 이 한계치의 강제적 변화의 기간에 전기한 가중치를 조정하는 것이다.

본 발명에 관한 데이터 처리장치의 적용화 실행 방법은 다음과 같은 구조로 되어 있다.

1) 데이터 처리장치에 일정한 입력을 부여하면서, 어느 시점에서 유의한 출력을 발생한 뉴우론의 가중치를, 일시적으로 최소치까지 감소시킨 후에 전기한 시점의 값까지 감소시킨 후에 전기한 시점의 값까지 증가시킨다.

2) 가중치는 최소치까지 감소시키는 도중에 조정한다.

3) 초기상태에서 뉴우론의 한계치분포에 완만한 구배의 기울기를 부여한다.

4) 그후, 데이터 처리장치에 일정한 입력을 부여하면서, 어느 시점에서 유의한 출력을 발생한 뉴우론의 가중치를, 일시적으로 최소치까지 감소시킨 후에 전기한 시점에서의 값까지 증가시킨다.

5) 이 가중치는 최소치까지 감소시키는 도중에 조정한다.

본 발명에 관한 데이터 처리장치의 적정화 방법에 의하면, 생체계의 기능과의 정합성을 보유하는 메카니즘에 의해 확실하게 국소적 로컬미니멈으로부터 탈출할 수가 있다.

[실시예]

이하, 첨부도면을 참조하여 본 발명의 바람직한 실시예에 대하여 설명한다.

여기에서, 학습효과를 나타내는 지표로서 하기의 표준일치도(standard identification ratio)(TP)를 정의하여 둔다.

단, 여기에서

n : 입력사상(事象)의 수

i , j : 입력사상의 번호

pi, j : i 번째의 입력사상에 의한 뉴우럴네트워크(neural network) 출력과, j 번째의 입력사상에 의한 뉴우럴네트워크 출력과의 일치도(일치 비트수).

상기한 표준일치도(TP)는, 뉴우럴네트워크에 있어서 입력사상의 식별능력의 지수로서 TP가 낮을수록 식별능력이 높은 것을 나타낸다.

그리고, 전혀 학습이 되어 있지 않은 뉴우럴네트워크에서는 일반적으로 TP = 100% 이고, 그후의 학습에 의해 TP는 단조감소하여 간다(제1도).

그러나, 학습과정이 부적절한 경우에는, 학습효과를 역으로 저해하는 것도 있고, 제2도에 표시한 바와 같이, 일단 저하한 TP가 다시 상승하는 것도 있다.

그리고, 전술한 바와같이 국소적 로컬미니멈으로 되는 것이 발생 하였을때에는, 제3도에 표시한 바와 같이 TP가 높은 값으로 포화된다.

이 국소적 로컬미니멈으로 되는 것은, 전기한 에너지식(1)과는 관계가 없어, 예를들어 어느 사상의 특징의 가중치에 치우침이 있고, 특정한 특징이 강조된 결과 복수의 사상의 혼돈을 발생하는 것을 긍정하는 학습이 행하여진 결과라고 생각될 수가 있다.

이것을 모식적으로 표현하면, 제4도에 표시한 바와같이, 어느 입력비트 (I₄)의 영향이 강하기 때문에, 뉴우론의 발화분포가 한쪽으로 치우친 것으로 되고, 이 상태가 계속 강화되어, 다른 뉴우론이 발화하기 어렵게 된다 라고 생각할 수가 있다.

또한 이 도면에 있어서 발화한 뉴우론은 검은 원으로 표시되어 있다.

이 상태를 개선하기 위해서는, 다른 입력비트(I₁)-(I₃),(I₅)에 대한 뉴우론의 관여를 강화할 필요가 있다.

여기서, 발명자등은 생체계의 뉴우럴네트워크에 있어서 절대불응기와 상대불응기에 주목하였다.

이들 불응기는 생체계의 뉴우럴네트워크에 있어서, 흥분파의 전파의 억제, 제어에 기여하고 있다라고 말하여지고 있다 (아마리순이찌 저 : 신경회로망의 수리-뇌의 정보처리 양식- : 산업도시 간행).

이것에 대하여, 발명자등은, 이들 불응기가 입력데이터의 각 특징 영향의 밸런스를 일시적으로 변화시키는 요인으로 생각하여, 어는 입력에 대해 발화한 뉴우론의 한계치에 대하여, 제5도에 표시하는 바와 같은 변화를 부여해서, 절대불응기 및 상대불응기와 동등한 효과를 부여하였다.

즉, 학습과정에 있어서 어느 시점(to)의 연상으로 발화한 뉴우론의 한계치(θ)를 그후 일정기간(ta)동안 최대치(θmax)(예를들어, 무한대)까지 높힌다.

이것은 절대불응기에 대응한다.

이 절대불응기에 있어서도 학습을 속행하여, 뉴우론의 가중치에 변화를 부여한다.

이때, 가중치 변화가 부여되는 뉴우론은, to 이전에는, 그 입력에 대하여 발화하지 않은 뉴우론이다.

기간(ta)의 경과후, 한계치를 to 시점에서의 값(0)까지 점차 감소시킨다.

이 점감기간은 상대불응기에 대응하며, 이 기간을 tr으로 한다.

절대불응기에 있어서는, to 시점에서 발화하지 않은 뉴우론만 가중치가 강화되어, 한쪽으로 치우친 뉴우론 분포에 대해 학습이 행하여지지만, 상대불응기에 있어서는, to 시점에서 발화한 뉴우론도 서서히 발화하도록 되어, 서서히 뉴우럴네트워크 전체에 대하여 밸런스가 취해진 수정학습이 행하여진다.

이결과, 소위 로컬미니멈으로부터의 탈출이 실현되어, 표준일치도를 최적치(대국적 로컬미니멈)로 도달시키는 바와 같은 학습이 행하여진다.

또, 제6도에 표시하는 제2실시예와 같이 전기한 불응기의 사이클을 복수회 부여하는 것에 의해, 국속적 로컬미니멈으로부터의 탈출이 보다 확실하게 된다.

단, 불응기 사이클 회수가 과다했을때에는, 반대로 학습의 수렴이 저해되고, 또, 학습종료기에 있어서 불응기 사이클을 부여한 때에도 학습의 수렴이 저해된다.

즉, 불응기사이클은, 학습의 비교적 초기에 있어서 적정회수 부여할 필요가 있다.

또, 절대불응기의 기간(ta), 상대불응기의 기간(tr) 및 양자의 밸런스에 대해서도 최적화를 고려할 필요가 있다.

제7도는 제3실시예에 있어서의 한계치 변화를 나타낸다.

이 실시예에 있어서, 절대불응기는 준비되어 있지 않고, 상대불응기만 준비되어 있다.

즉, to 에 있어서 한계치(θ)는 최대치(θmax)를 취하고, 그후 즉시 점감하여 기간(ta)동안에 원래의 값(θo)까지 되돌아간다. 이 실시예에 의하면, 발화한 뉴우론 분포에 극단적인 경사가 없는 경우에 있어서, 절대불응기가 없는 정도만큼 빨리 학습을 종료시키는 것이 가능하게 된다.

제8도는 제4실시예에 있어서의 한계치 변화를 나타내며, 이 실시예에서는, 제7도와 같은 상대불응기만의 사이클이 복수회 부여된다.

제9도는 제5실시예에 있어서의 한계치 변화를 나타낸다.

이 실시예에 있어서는, 한계치기 점증하는 상대불응기만 준비되어, 즉 한계치는 to 시점으로부터 기간(ts)동안 점증하여 최대치(θmax)에 도달하고, 즉시 원래의 값(θo)으로 되돌아간다. 이 실시예에 의해서도, 뉴우럴네트워크 전체에 대하여 밸런스가 취해진 수정학습이 기대된다.

제10도는, 제6실시예에 있어서의 한계치 변화를 나타내며, 이 실시예에서는, 제9도에 표시하는 한계치가 점증하는 상대불응기만의 사이클이 복수회 부여된다.

제11도는 제7실시예에 있어서의 한계치 변화를 표시한다.

이 실시예에 있어서는, 한계치가 점증하는 상대불응기와, 한계치가 점감하는 상대불응기가 준비된다.

즉, 한계치는 to 시점으로부터 기간(ts) 동안 점증하여 최대치(θmax)에 도달한 즉시 점감하여 기간(tr)후에 원래의 값(θo)으로 복귀한다.

이 실시예에 의해서도, 전기한 각 실시예와 동일한 효과가 기대된다.

제12도는, 제8실시예에 있어서의 한계치변화를 나타내는 것으로, 이 실시예에서는, 제10도에 표시하는 바와 같은, 한계치가 점증하는 상대불응기와 점감하는 상대불응기가 반복하여 실행된다.

제13도는 제9실시예에 있어서는, 상대불응기는 준비되지 않고, 절대불응기만 준비된다.

즉, 한계치는 to 시점으로부터 기간(ta)동안 최대치(θ max)를 취하고, 그후 원래의 값(θo)으로 되돌아온다. 이 실시예에 의해서도, 단기간 동안에 뉴우럴네트워크 전체에 대한 밸런스를 취한 수정학습이 가능하다.

제14도는, 제10실시예에 있어서의 한계치 변화를 나타내며, 이 실시예에서는, 제13도에 표시한 바와같은, 절대불응기가 반복하여 실행된다.

제15도는 제11실시예에 있어서의 한계치 변화를 나타낸다.

이 실시예에 있어서는, 한계치가 점증하는 상대불응기와, 절대불응기와, 한계치가 점감하는 상대불응기가 준비되어 있다.

즉, 한계치는 to 시점으로부터 기간(ts)동안 점증하여 최대치(θ max)에 도달하여, 기간(to) 동안 최대치(θ max)를 유지하고, 그후 기간(tr) 동안 점감하여 원래의 값(θo)으로 되돌아간다.

이 실시예에 의해서도, 뉴우럴네트워크 전체에 대한 밸런스가 취해진 수정학습이 가능하다.

제16도는, 제12실시예에 있어서의 한계치변화를 나타내며, 이 실시예에서는, 제15도에 표시한 바와같은, 불응기사이클이 반복하여 실행된다.

이상과 같이 본 발명에 관한 데이터처리장치의 적정화 방법은, 어느 시점에서 유의한 출력을 발생한 뉴우론의 한계치를 일단 최대치까지 높힌 후에 전기한 시점의 값까지 감소시키도록 강제적으로 변화시키어 한계치의 강제적 변화의 기간에, 전기한 가중치를 조정하므로, 확실하게 국소적 로컬미니멈을 탈출할 숭 있다라는 우수한 효과를 보유한다.

이상의 실시예에서는 한계치변화에 의해 불응기에 상당하는 효과를 발생시켰지만, 학습과정에 있어서 어는 시점(to)의 연상으로 발화한 뉴우론의 각 가중치(w₁)-(wn)를 그후 일정기간(ta)동안 최소치(wmin), 예를들어 0까지 감소시키는 것에 의해 동일한 효과를 발생시킬 수가 있다.

제17도는 이러한 종류의 제13실시예를 나타낸다.

또, 제18도에 표시하는 제14실시예와 같이, 전기한 가중치변화의 사이클을 복수회 부여하는 것에 의해, 국소적 로컬미니멈으로부터 탈출이 보다 확실하게 된다.

단, 가중치변화 사이클회수가 과다했을때에는, 오히려 학습의 수렴이 저해되고, 또, 학습종료기에 있어서 가중치변화 사이클을 부여한 때에도 학습의 수렴이 저해된다.

즉, 가중치변화 사이클은, 학습의 비교적 초기에 있어서 적정회수 부여할 필요가 있다.

또, 절대불응기의 기간(ta), 상대불응기의 기간(tr), 및 양자의 밸런스에 대해서도 최적화를 고려할 필요가 있다.

제19도는 제15실시예에 있어서의 가중치변화를 나타낸다.

즉, to에 있어서 가중치(wi)는 최소치(wmin)를 취하고, 그후 즉각 점증하여 기간(tr)동안에 원래의 값(wo)까지 복귀한다.

이 실시예에 의하면, 발화한 뉴우론 분포에 극단적인 치우침이 없는 경우에 있어서, 절대불응기가 없는 정도만큼 빨리 학습을 종료시키는 것이 가능하게 된다.

제20도는, 제16실시예에 있어서의 가중치변화를 나타내며, 이 실시예에서는 제19도와 같이 상대불응기만의 사이클이 복수회 부여된다.

제21도는 제17실시예에 있어서의 가중치변화를 나타낸다.

이 실시예에 있어서는, 가중치가 점감하는 상대불응기만이 준비되어, 즉 가중치는 to 시점으로부터 기간(ts)동안 점감하여 최소치(wmin)에 도달하고, 즉시 원래의 값(wo)으로 되돌아간다.

이 실시예에 의해서도, 뉴우럴네트워크 전체에 대하여 밸런스가 취해진 수정학습이 기대된다.

제22도는, 제18실시예에 있어서의 가중치변화를 나타내며, 이 실시예에서는, 제21도에 표시하는 가중치가 점감하는 상대불응기만의 사이클이 복수회 부여된다.

제23도는 제19실시예에 있어서의 가중치변화를 나타낸다.

이 실시예에 있어서는, 가중치가 점감하는 상대불응기와, 가중치가 점증하는 상대불응기가 준비되어 있다.

즉, 가중치는 to 시점으로부터 기간(tr)도안 점감하여 최소치(wmin)에 도달하고, 즉시 점증하여 기간(tr)후에 원래의 값(wo)으로 되돌아간다.

이 실시예에 의해서도 전기한 각 실시예와 동일한 효과가 기대된다.

제24도는, 제20실시예에 있어서의 가중치변화를 나타내며, 이 실시예에서는 제22도에 표시하는 바와같은, 가중치가 점감하는 상대불응기와 점증하는 상대불응기가 반복하여 실행된다.

제25도는 제21실시예에 있어서의 가중치변화를 나타낸다.

이 실시예에 있어서는, 상대불응기는 준비되어 있지 않고, 절대불응기만 준비되어 있다.

즉, 가중치는, to 시점으로부터 기간(ta)동안 최소치(wmin)를 취하고, 그후 원래의 값(wo)으로 되돌아간다.

이 실시예에 의해서도, 단기간 동안에 뉴우럴네트워크 전체에 대해서도 밸런스가 취해진 수정학습이 가능하다.

제26도는 제22실시예에 있어서의 가중치변화를 나타내며, 이 실시예에서는 제13도에 표시하는 바와같은, 절대불응기가 반복하여 실행된다.

제27도는 제23실시예에 있어서의 가중치변화를 나타낸다.

이 실시예에 있어서는, 가중치가 점감하는 상대불응기와, 절대불응기와, 가중치가 점증하는 상대불응기만 준비되어 있다.

즉, 가중치는, to 시점으로부터 기간(ts)동안 최소치(wmin)에 도달하여, 기간(to)동안 최소치(wmin)를 유지하고, 그후 기간(tr)동안 점증하여 원래의 값(wo)으로 되돌아간다.

이 실시예에 의해서도, 뉴우럴네트워크 전체에 대해서도 밸런스가 취해진 수정학습이 가능하다.

제28도는 제23실시예에 있어서의 가중치변화를 나타내며, 이 실시예에 있어서는, 제27도에 표시하는 바와같은, 불응기사이클이 반복하여 실행된다.

전술한 바와같이, 본 발명에 관한 데이터처리장치의 적정화방법은, 어느 시점에서 유의한 출력을 발생한 뉴우론의 가중치를 일단 최소치까지 감소시킨 후에 전기한 시점의 값까지 증가시키고, 전기한 최소치의 기간에, 전기한 가중치를 조정하므로 확실하게 국소적 로컬미니멈을 탈출할 수 있다라는 우수한 효과를 보유한다.

다음에 이상과 같은 적정화방법이 효과적으로 실행되는 데이터처리장치에 대하여 설명한다.

제29도에 있어서, 데이터처리장치는 복수의 뉴우론(N)을 병렬로 설치하여 이루어지는 뉴우럴레이어(neural layer)(NL)을 복수 보유하며, 뉴우럴레이어는 어느 뉴우럴레이어의 출력이 다음 단의 뉴우럴레이어의 입력으로 되도록 구성되어 있다.

이와같은 구성에 있어서는 뉴우럴네트워크의 위상(topology)를 정의할 수 있고, 각 뉴우론에 대하여, 제29도에 표시하는 바와같이 좌표를 특정할 수 있다.

여기에서, 입력축으로부터 출력측을 향하는 방향에 x측을 취하고, 각 뉴우럴레이어의 폭방향으로 Y측을 취한다.

그리고, 데이터처리장치의 초기상태에 있어서 뉴우론의 한계치분포를 제30도와 같이 설정한다.

즉, 동일 뉴우럴레이어의 뉴우론의 한계치(θ)는 동일하게 하고, 후단의 뉴우럴레이어로 될수록 한계치(θ)를 높혀둔다.

이 한계치 증대의 구배는 완만한 것으로 한다.

통상 학습과정에 있어서는, 올바른 입력에 대하여 유의한 시냅스(synapse) 입력이 입력된 시냅스의 가중치를 높이지만, 제30도의 한계치분포에서는 당초는 입력측 부근의 뉴우론만 발화하고, 서서히 후단의 뉴우론으로 발화의 범위가 확대된다.

이 과정에서, 전술한 한계치의 최대치와 프로세스를 도입하면, 각 뉴우럴레이어에서의 일정입력에 대하여 발화뉴우론을 증가시키는 효과가 있으며, 최종단의 뉴우럴레이어가 발화하게된 시점에서는 많은 뉴우론이 데이터치리에 관여하도록 되어, 치우친 발화패턴으로 수렴하는 것은 없다.

따라서, 로컬미니멈으로 되는 것을 방지할 수가 있다.

제31도는 제2실시예를 나타내는 초기한계치 분포로서, 데이터처리장치 중앙의 뉴우론의 한계치를 높이고, 이 중앙의 뉴우론으로부터 멀어질수록 한계치를 저하시키고 있다.

이와같은 데이터처리장치에서는, 학습초기에는 한계치의 기술을 돌아 들어가도록 발화패턴이 발생한다.

그러나, 전술한 한계치의 최대치화를 행하였을 때, 발화패턴에 인접해서 비교적 한계치가 낮은 뉴우론이 존재하기 때문에, 발화뉴우론의 분포는 한계치의 정상으로 향하여 서서히 확대되어 간다.

이것에 의하여 학습종료기에는 많은 뉴우론이 데이터처리에 관여하도록 되어, 치우친 발화패턴으로 수렴하는 것은 없다.

따라서, 로컬미니멈으로 되는 것을 방지할 수가 있다.

제32도는 제3실시예를 나타내는 초기한계치 분포로서, Y 좌표중앙값의 뉴우론의 한계치를 최저로하여, Y좌표의 최대치, 최소치로 향하여 완만한 구배로 한계치를 높이고 있다.

이와같은 데이터처리장치에서는 학습초기에는 Y 좌표 중앙값 부근을 관통하는 발화패턴이 발생한다.

그러나, 전술한 한계치의 최대치화를 행하였을 때, 발화패턴에 인접하여 비교적 한계치가 낮은 뉴우론이 존재하기 때문에, 발화뉴우론의 분포는 Y 좌표의 최대치, 최소치 양방으로 향하여 확대되어 간다.

이것에 의해 학습종료기에는, 많은 뉴우론이 데이터처리에 관여하는 것으로 되어, 치우친 발화패턴으로 수렴하는 것은 없다.

따라서, 로컬미니멈으로 되는 것을 방지할 수 있다.

제33도는 제4실시예를 나타낸다.

이 실시예는 제30도에 표시하는 제1실시예와 달리, 동일 Y 좌표에 있어서는 모든 뉴우럴레이어의 뉴우론의 한계치는 동일하고, 한편 동일 뉴우럴레이어에 있어서는 Y 좌표가 증가할수록 뉴우론의 한계치(θ)는 높게된다.

이 한계치 증대의 구배는 완만한 것으로 한다.

제33도의 한계치 분포에서는 당초는 Y 좌표가 큰 뉴우론만이 발화하여, 서서히 Y 좌표가 작은 뉴우론으로 발화의 범위가 확대된다.

여기에서, 전술한 한계치의 초대치화를 행하면, 발화패턴에 인접해서 비교적 한계치가 낮은 뉴우론이 존재하므로, 발화뉴우론의 분포는 더욱 원활하게 확대된다.

이것에 의해 학습종료기에는, 많은 뉴우론이 데이터처리에 관여하는 것으로 되고, 치우친 발화패턴으로 수렴하는 것이 없게되어, 로컬미니멈으로 되는 것이 방지될 수 있다.

제34도는 제5실시예를 표시하며, 이 실시예에 있어서, 동일한 Y 좌표에 있어서는 모든 뉴우럴레이어의 뉴우론의 한계치는 동일하고, 한편 동일 뉴우럴레이어에 있어서는 특정한 Y 좌표(예를들어, 중앙)(M)에 있어서 한계치(θ)가 최대치를 취하며, Y 좌표가 이것으로부터 멀어질수록 한계치(θ)는 완만하게 감소한다.

제34도의 한계치분포에서는, 당초는 Y 좌표의 최대치 및 최소치측의 뉴우론이 발화하고, 서서히 Y 좌표(M)측의 뉴우론으로 발화의 범위가 확대된다.

여기에서, 전술한 한계치의 최대치화를 행하면, 발화패턴에 인접해서 비교적 한계치가 낮은 뉴우론이 존재하므로, 발화뉴우론의 분포는 더욱 원활하게 확대되어, 로컬미니멈으로 되는 것이 방지된다.

제35도는 제6실시예를 나타낸다.

이 실시예에서, 뉴우론의 한계치(θ)는 X 좌표 및 Y 좌표가 작을수록 작게되고, X 좌표 및 Y 좌표가 크게 될 수록 점진적으로 증가한다. 이 한계치분포에서는, 당초는 X 좌표 및 Y 좌표가 작은 부분의 뉴우론이 발화하고, 서서히 X좌표 및 Y좌표가 큰 쪽의 뉴우론으로 발화의 범위가 확대된다.

여기에서, 전술한 한계치의 최대치화를 행하면, 발화패턴에 인접하여 비교적 한계치가 낮은 뉴우론이 존재하므로, 발화뉴우론의 분포는 더욱 원활하게 확대되어, 로컬미니멈으로 되는 것이 방지된다.

제36도는 제7실시예를 나타내는 초기한계치분포로서, 중앙의 뉴우론의 한계치를 최소치로 하여, 이 중앙뉴우론으로부터 멀어질수록 한계치를 증대시키고 있다.

이 실시예에서는, 학습초기에는 중앙뉴우론으로부터 발화패턴이 발생한다. 여기에서, 전술한 한계치의 최대치화를 행하면, 발화패턴에 인접해서 비교적 한계치가 낮은 뉴우론이 존재하므로, 발화뉴우론의 분포는 주위의 뉴우론으로 향하여 서서히 확대되어 간다.

이것에 의해 학습종료기에는, 많은 뉴우론이 데이터처리에 관여하도록 되어 치우친 발화패턴에 수렴하는 것이 방지되며 로컬미니멈으로 되는 것이 방지된다.

제37도 제8실시예를 나타내는 초기한계치 분포로서, Y 좌표에 관해서는 예를들어 중앙일수록 높은 한계치를 보유하고, X 좌표에 관해서는 예를들어, 중앙일수록 낮은 한계치를 보유한다.

즉, 한계치분포는 안장(saddle)형상을 나타낸다.

이 실시예에 의해서도, 상기한 각 실시예와 동일한 효과가 얻어진다. 또, 본 발명에 관한 데이터처리장치는, 초기한계치 분포에 완만한 구배의 기울기를 부여하므로, 학습과정에 있어서 역으로 이 기울기를 해소하는 것과 같은 발화패턴의 확대를 발생시켜, 결과적으로 치우친 발화패턴으로의 수렴을 방지할 수 있다.

Claims

입력된 데이터에 가중치를 곱한 곱의 총화와 한계치 사이의 비교에 따라서 데이터를 각각 출력하는 복수의 뉴우론으로 구성된 데이터 처리장치의 적정화 방법에 있어서, 어느 시점에서 유의한 출력을 발생한 전기한 뉴우론의 전기한 한계치를 최대까지 강제적으로 증가시키고, 전기한 입력의 일정한 값을 위해 전기한 뉴우론의 가중치를 적응시키고, 전기한 한계치를 전기한 시점에서의 값까지 감소시키는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
입력된 데이터에 가중치를 곱한 곱의 총화와 한계치 사이의 비교에 따라서 데이터를 각각 출력하는 복수의 뉴우론으로 구성된 데이터 처리장치의 적정화 방법에 있어서, 어느 시점에서 유의한 출력을 발생한 전기한 뉴우론의 전기한 가중치를 최소치까지 강제적으로 감소시키고, 전기한 입력의 일정한 값을 위해 뉴우론의 전기한 가중치를 적응시키며, 전기한 가중치를 전기한 시점에서의 값까지 증가시키는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제1항 또는 제2항에 있어서, 전기한 단계는 복수회 반복적으로 수행되는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제1항에 있어서, 전기한 한계치는 절대불응기와 동등한 효과를 얻도록 변화되는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제1항에 있어서, 전기한 한계치는 상대불응기와 동등한 효과를 얻도록 변화되는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제1항에 있어서, 전기한 한계치는 절대불응기 및 상대불응기 양쪽과 동등한 효과를 얻도록 변화되는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제5항 또는 제6항에 있어서, 전기한 상대불응기는 한계치 증가기간과 한계치 감소기간으로 구성되어 있는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제2항에 있어서, 전기한 가중치는 절대불응기와 동등한 효과를 얻도록 변화되는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제2항에 있어서, 전기한 가중치는 상대불응기와 동등한 효과를 얻도록 변화되는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제2항에 있어서, 전기한 가중치는 상대불응기 및 절대불응기 양쪽과 동등한 효과를 얻도록 변화되는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제9항 또는 제10항에 있어서, 전기한 상대불응기는 가중치증가기간과 가중치감소기간으로 구성되어 있는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제1항 또는 제2항에 있어서, 초기상태에서 전기한 한계치분포에 완만한 기울기가 부여되는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제12항에 있어서, 전기한 한계치는 전기한 데이터처리장치의 입력측으로부터 출력측으로 증가하는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제12항에 있어서, 전기한 한계치는 전기한 데이터처리장치의 중심부로부터 주변부로 감소하는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제12항에 있어서, 전기한 한계치는 전기한 데이터처리장치의 중간부로부터 횡방향 양쪽으로 증가하는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제12항에 있어서, 전기한 한계치는 전기한 데이터처리장치의 중심부로부터 주변부로 증가하는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제12항에 있어서, 전기한 한계치는 전기한 데이터처리장치의 한쪽으로부터 다른쪽으로 횡방향으로 증가하는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제12항에 있어서, 전기한 한계치는 전기한 데이터처리장치의 중간부로부터 횡방향 양쪽으로 증가하는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제12항에 있어서, 전기한 한계치는 입력측의 한쪽끝으로부터 출력측의 반대쪽 끝으로 증가하는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.
제12항에 있어서, 전기한 한계치는 중심선이 횡방향을 따라서 전기한 데이터처리장치의 중심부를 관통하는 안장형상의 분포를 보유하는 것을 특징으로 하는 데이터 처리장치의 적정화 방법.