JPH05204885A

JPH05204885A - ニューラルネットワークの学習高速化装置及び方法

Info

Publication number: JPH05204885A
Application number: JP4014998A
Authority: JP
Inventors: Takashi Kubota; 孝久保田; Hiroshi Kamata; 洋鎌田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1992-01-30
Filing date: 1992-01-30
Publication date: 1993-08-13

Abstract

(57)【要約】【目的】多数の信号処理素子が結合され、各信号処理
素子に前段の信号処理素子との間の結合荷重が設定され
たニューラルネットワークを、指示に応じて構成し、ニ
ューラルネットワークに提示パターンを入力し、ニュー
ラルネットワークから出力された出力パターンと教師信
号との誤差を減少させるように結合荷重の変更を行うニ
ューラルネットワークの学習高速化装置及び方法に関
し、全体のバランスを壊すことなく、又、ハードウェア
全体を根本的に改造することなく、簡単な構成及び手順
で、容易、且つ確実に学習の高速化を達成することを目
的とする。【構成】誤差関数の減少速度、当該減少速度を決定す
る数値データ、又は他の因子に基づいて、数値データを
その許容数値範囲のうちの所定範囲内に限定する平滑化
を行う必要性の判定を行い、必要性がある場合に、所定
信号処理素子の追加または削減を行うように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
ク学習高速化装置及び方法に係り、特に、多数の信号処
理素子が結合され、各信号処理素子には前段の信号処理
素子との間の結合効率を表す適応的に変更し得る結合荷
重が設定されたニューラルネットワークの構成の指示が
あると、当該指示に応じてニューラルネットワークを構
成し、ニューラルネットワークに提示パターンを入力
し、ニューラルネットワークから出力された出力パター
ンと到達すべき目標となる教師信号との誤差を減少させ
るように結合荷重の変更を行うニューラルネットワーク
の学習高速化装置及び方法に関する。

【０００２】ニューラルネットワークは、柔軟で高度な
情報処理能力を有するため、パターン認識、音声認識、
ロボットの制御、知識処理等の幅広い分野にわたって応
用されている。また、その並列計算能力及び学習能力の
ため、多方面にわたっての研究開発がさらに盛んに行わ
れている。実システムへの応用が進むにつれて、システ
ムが実行しながら学習すること（オンライン学習）が要
求されている。そのため、ニューラルネットの学習速度
を高速にする必要があり、学習高速化の役割は極めて大
きい。

【０００３】

【従来の技術】従来、図９に示すようなニューラルネッ
トワークの学習高速化装置があった。本例にあっては、
同図に示すように、多数の非線型の信号処理素子である
ニューロンが結合され、各ニューロンには前段のニュー
ロンとの間の結合効率を表す適応的に変更し得る結合荷
重が設定されたニューラルネット部１と、ニューラルネ
ット部１から出力された出力パターンが到達すべき目標
となる教師信号を発生する教師信号発生部３と、前記出
力パターンと教師信号との誤差の検出を行う誤差検出部
４と、検出された誤差に基づいて当該誤差を減少させる
ように前記結合荷重の設定変更を行う学習部５と、提示
パターンの入力を行う提示パターン入力部２と、前記出
力パターンと前記教師信号とに基づいて定まる平均出力
誤差の減少速度を速めるように、当該速度の絶対値が所
定閾値以下であるか否かの判定を行う学習判定部８９
と、当該学習判定部８９の判定結果が閾値以下の場合に
前記ニューラルネット部１の中間層１２にニューロンの
追加の指示を行うユニット追加部６９とを設けたもので
ある。尚、前記ニューラルネット部１は同図に示すよう
に、入力層１１と、中間層１２と、出力層１３とを有す
るものである。

【０００４】従来例に係るニューラルネットワークの学
習高速化装置にあっては、提示パターン入力部２から学
習すべきパターン信号が入力層１１に入力される。さら
に、中間層１２を経て出力層１３に信号伝送が行われ、
各ニューロンの状態変化を順次計算し、出力層１３より
ニューラルネットワークの出力パターンが出力される。
誤差検出部４は、その出力パターンと教師信号発生部３
より発生した教師信号との誤差を検出し、学習部５に誤
差情報を伝達する。学習部５では、誤差が減少するよう
にニューラルネット部１の各ニューロンの結合荷重を更
新する。学習判定部８９は、平均出力誤差を計算し、そ
の減少割合が閾値よりも小さくなった段階で、前記ユニ
ット追加部６９にニューロン追加指令情報を伝達し、ユ
ニット追加部６９は中間層１２にニューロンを１つ追加
する。この一連の手続きは平均出力誤差が十分に“０”
に近づくまで繰り返される。このようにして、従来例に
あっては、階層型ネットワーク部１に対して、小さめの
ネットワーク構造から出発して、中間層１２に対し、前
記ユニット追加部６９により必要なユニットやリンクを
逐次追加して適切な大きさのネットワーク構造を生成す
ることにより学習の高速化処理が行われている。最初の
うち、ネットワークが小さいため、全体としての計算量
が少なくて済むことになる。

【０００５】

【発明が解決しようとする課題】ところで、従来例に係
る中間層にニューロンを追加して学習の高速化を図ろう
とする学習高速化装置にあっては、膨大な学習パターン
を学習する際には巨大なネットワークを構成するまでニ
ューロンの追加を多数回繰り返すため、予め適切な大き
さのネットワークで学習を行う場合と同程度の計算量と
なり、学習の高速化の効果はあまり期待できないという
問題点を有していた。また、ニューロンを中間層に追加
して学習することにより、部分的最適化を繰り返すた
め、全体のバランスの結果、求まるような解が得られな
いことがあるという問題点を有していた。さらに、中間
層のニューロン数の変更を動的に行う場合は学習の収束
の保証が得られないという問題点を有していた。

【０００６】そこで、本発明はニューラルネットワーク
の学習の高速化をハードウェアを変更することなく、既
存のネットワークシステム上で、かつ、全体のバランス
を考慮して、解が存在する場合には解が確実に得られ
て、学習の収束の保証が得られるように、信号処理素子
であるニューロンの追加または削除を行ってニューラル
ネットワークの学習の高速化を図ることを目的とするも
のである。

【０００７】

【課題を解決するための手段】以上の技術的課題を解決
するため、請求項１に記載された第一の発明にあって
は、多数の信号処理素子が結合され、各信号処理素子に
は前段の信号処理素子等との間の結合効率を表す適応的
に変更し得る結合荷重が設定されたニューラルネット部
１０を有し、ニューラルネット部１０から出力された出
力パターンと当該出力パターンが到達すべき目標となる
教師信号との誤差を減少させるように結合荷重の設定変
更がされるニューラルネットワークの学習装置におい
て、出力パターンと教師信号とに基づいて定まる誤差関
数の減少速度、当該減少速度を決定する信号処理素子間
を伝達する信号の表す数値データ、または、当該数値デ
ータを決定する結合荷重等の因子に基づいて、前記数値
データが許容される数値範囲を所定数値範囲に限定する
平滑化の必要性の判定を行う平滑化必要性判定部８０
と、平滑化の必要性があると判定された場合に、所定信
号処理素子の追加または削減の指示を行う所定信号処理
素子変更部６０とを有するものである。

【０００８】一方、第二の発明は図５に示すように、多
数の信号処理素子が結合され、各信号処理素子には前段
の信号処理素子等との間の結合効率を表す適応的に変更
し得る結合荷重が設定されたニューラルネットワークの
構成の指示があると（Ｓ１）、当該指示に応じてニュー
ラルネットワークを構成し、ニューラルネットワークに
提示パターンを入力し、ニューラルネットワークから出
力された出力パターンと到達すべき目標となる教師信号
との誤差を減少させるように結合荷重の変更を行うニュ
ーラルネットワークの学習方法において、出力パターン
と教師信号とに基づいて定まる誤差関数の減少速度、当
該減少速度を決定する信号処理素子間を伝達する信号の
表す数値データ、又は、当該数値データを決定する結合
荷重等の因子に基づいて、前記数値データが許容される
数値範囲を所定数値範囲に限定する平滑化の必要性の判
定を行い（Ｓ２）、平滑化の必要性があると判定された
場合に、所定信号処理素子の追加または削減を行う（Ｓ
３）ものである。

【０００９】

【作用】続いて、本発明の動作について説明する。第一
の発明及び第二の発明にあっては、ステップＳ１で、使
用者により、各学習対象に応じて、ニューラルネットワ
ークの構成の指示がニューラルネット部１０に対しなさ
れる。ここで、ニューラルネットワークの構成とは、そ
の学習対象に関する情報に基づいて、例えば、ニューラ
ルネット部１０を３層に構成し、その各層の信号処理素
子であるニューロンの個数の決定を行うことである。そ
の後、構成指示に応じて、ニューラルネット部１０が構
成される。尚、「前段の信号処理素子等」とは、例え
ば、信号処理素子が入力層にある場合には、前段には信
号処理素子以外のものがくることを考慮したものであ
る。

【００１０】ステップＳ２で、前記平滑化必要性判定部
８０は、その際、例えば、請求項２及び図２に示すよう
に、その構成指示の際で、学習前に、前記ニューラルネ
ット設定部７０により設定された結合荷重の初期値及び
構成指示等の前記因子に基づいて、平滑化の必要性が判
断される。または、請求項３及び図３に記載されている
ように、前記出力パターンと教師信号との誤差関数の減
少速度に基づいて平滑化の必要性が判断される。さらに
は、請求項４及び図４に示すように、提示パターン入力
部２０からの入力データである提示パターン、すなわ
ち、信号処理素子間を伝達する信号の表す数値データの
一種、に基づき、平滑化の必要性の判定がなされること
になる。

【００１１】ステップＳ３で、前記平滑化必要性判定部
６０により平滑化の必要があると判断された場合には、
前記所定信号処理素子変更部６０により所定信号処理素
子の追加または削減が行われることになる。ここで、所
定信号処理素子とは、例えば、請求項２及び図２に記載
したように、ニューラルネット部１０の中間層の全部又
は一部の信号処理素子に設定された結合荷重と同一の絶
対値で逆符号をもつ結合荷重が前段の同一の各信号処理
素子との間に各々設定された双信号処理素子である。ま
たは、請求項３及び図３に示されたように、入力層また
は出力層にある全部又は一部の信号処理素子に、当該各
信号処理素子の状態と補関係にある状態をもつ補信号処
理素子である。ここで、「補関係」とは、後述する例で
示すように、ある信号処理素子の状態を“p ”とした場
合には、“1-p ”の関係にある場合である。さらには、
請求項４及び図４に示されているように、入力層にある
各信号処理素子に対し、前記補関係にある補信号処理素
子である。また、請求項２、３及び４に記載されている
ように、「並列に」追加するとは、追加する信号処理素
子が結合されるべき前段の信号処理素子及び後段の信号
処理素子が、追加される被追加信号処理素子が結合され
ている前段の信号処理素子及び後段の信号処理素子と同
一であるように結合されることをいう。

【００１２】以下、ニューラルネット部１０を階層型ネ
ットを例にとり（他のタイプのネットに対しても同様に
考えられる）、数値データの平滑化が誤差関数の減少速
度の絶対値の増加、即ち、学習の高速化に導き、また、
この平滑化を行うのに、何故、双信号処理素子または、
補信号処理素子を追加させる必要があるかについて説明
する。いま、ニューラルネット部１０のある信号処理素
子ｊは、他の信号処理素子ｉの出力ｙ_i（数値データの
１つ）を入力として受け結合荷重ｗ_ijをかけて加えたも
のを入力の総和ｕ_jとする。ｕ_j＝Σｗ_ij・ｙ_i ………(1) 但し、閾値は結合荷重の１つとして含まれていると考え
る。そして、出力ｙ_jは入力の総和に単調増加関数を施
したもので表される。ｙ_j＝ｆ(u_j) ………(2) ここで、ｆは次に示すロジスティック関数である。ｆ(x) ＝１／（１＋exp(-x) ） ………(3) 出力層ｋの誤差をｅ_k、教師信号をｄ_kとすると、ｅ_k＝ｄ_k−ｙ_k ………(4) この誤差を誤差関数、例えば、Ｅ＝1/2 ・Σ（ｄ_k−ｙ_k）² ………(5) で示した関数（狭義の誤差関数、またはエネルギー関
数）で評価する。ここでは、重み空間上で定義された誤
差関数Ｅを最小にするように重み付けの学習が行われ
る。最急降下法に基づき、次のデルタルールに従う。ｄｗ_ij／ｄｔ＝−ε・∂Ｅ／∂ｗ_ij ………(6) （εは学習係数で、ε＞０とする）これは誤差曲面上を最も急な傾斜方向に進んで行くこと
に相当する。この式を変形すると次のようになる。ｄｗ_ij／ｄｔ＝εδ_k・ｗ_jk・ｆ’(u_j)y_i ………(7) ｄｗ_jk／ｄｔ＝εδ_k・ｙ_j ………(8) δ_k＝（ｄ_k−ｙ_k）ｆ’(u_k) ………(9) さて、ここで、誤差関数を時間に関して微分すると、ｄＥ／ｄｔ＝−Σ_k〔δ_kΣ_j｛（ｄｗ_jk／ｄｔ）ｙ_j ＋ｗ_jk・ｆ’(u_j) Σ_i（ｄｗ_ij／ｄｔ）ｙ_i｝〕………(10) となる。これにデルタルールを適用すると次のようにな
る。ｄＥ／ｄｔ＝−εΣ_kδ_k ²Σ_j｛ｆ(u_j)²＋ｆ’(u_j)²・ｗ_jk ² ・Σ_i ｙ_i ²｝ ……………(11) 誤差関数は、提示するパターンによって変動するので、
学習の収束性はそのパターンに大きく依存する。パター
ンｙ_kに着目すると、ｙ_k ²という形でエネルギーの減
少速度に関係している。入力した提示パターンｙ_iを０
＜ｙ_i＜１として規格化を考えると、ｙ_iの値が０から
１まで変化するとｙ_i ²も０から１まで大きく変化して
しまい、入力されるパターンによってかなりのむらが生
じることになる。これを平滑化するために、ｙ_iと同時
に１−ｙ_iを入力すると、ｙ_i ²＋（１−ｙ_i）²＝2 （ｙ_i−0.5 ）²＋ 0.5 …………(12) の形で誤差関数の減少速度に寄与することになり、ｙ_i
が０から１まで変化しても、その影響は0.5 から1.0 に
なり（これが、前述した所定数値範囲に相当する）、パ
ターンの違いによるエネルギーの減少速度の偏りを是正
することができる。ここでは、信号処理素子ｐに対して
信号処理素子（１−ｐ）が補信号処理素子と呼ばれるも
のである。出力層においても補信号処理素子は学習パタ
ーンの誤差関数に対するむらを平滑化する働きがある。

【００１３】また、ニューラルネットワークの学習速度
は、信号処理素子同士を結び付けている結合荷重（シナ
プス荷重）の初期値に大きく依存する。２つの信号処理
素子をペアとし、一方の結合係数をｗとすると他方の結
合荷重を−ｗとするように決定する。このような絶対値
が等しく逆符号の結合荷重が設定されている信号処理素
子が双信号処理素子とよばれるものである。このように
中間層を双信号処理素子の組合せで構成することによ
り、ニューラルネットワークの結合荷重に対し偏りを無
くすことができる。このように、中間層に双信号処理素
子を付加するか、または、入力層あるいは出力層に補信
号処理素子を付加することにより、誤差関数が収束し易
い形状になり、学習の高速化が可能となる。

【００１４】

【実施例】続いて、本発明に係る実施例について説明す
る。図６に本実施例に係るニューラルネットワークによ
る高速化学習装置のブロック図を示す。同図に示すよう
に、ニューラルネットワークによる高速化学習装置にあ
っては、多数の非線型の信号処理素子であるニューロン
が結合され、各ニューロンには前段のニューロン等との
間の結合効率を表す適応的に変更し得る結合荷重が設定
されたニューラルネット部１と、ニューラルネット部１
から出力された出力パターンが到達すべき目標となる教
師信号を発生する教師信号発生部３と、前記出力パター
ンと教師信号との誤差の検出を行う誤差検出部４と、検
出された誤差に基づいて当該誤差を減少させるように前
記結合荷重の設定変更を行う学習部５と、ニューラルネ
ット部１に提示パターンを入力する提示パターン入力部
２と、学習対象に応じてニューラルネット部１に対する
構成の指示を行うニューラルネット構成部１７と、前記
ニューラルネット部１に対する構成指示に従って結合荷
重の初期値の設定を行うニューラルネット設定部７と、
前記ニューラルネット部１から出力された出力パターン
と前記教師信号発生部３から発生した教師信号とに基づ
いて定められる狭義の誤差関数の値が、ある閾値以下で
あるか否かの判定を行う誤差関数判定部１４とを有する
ものである。

【００１５】さらに、本実施例にあっては、同図に示す
ように、前記ニューラルネット部１は、入力層１１、中
間層１２及び出力層１３からなるように構成されてい
る。また、出力パターンと教師信号とに基づいて定まる
誤差関数の減少速度を速めるように、ニューロン間を伝
達する信号の表す数値データをその許容数値範囲のうち
の所定範囲内に限定する平滑化の必要性の判定を行う各
種の平滑化必要性判定部８５，８６，８７と、平滑化の
必要があると判定された場合に、当該数値データ平滑化
を実現するために所定ニューロンの追加を行う所定ニュ
ーロン追加部６とを有するものである。

【００１６】本実施例にあっては、平滑化必要性判定部
８５は、前記ニューラルネット設定部７により設定され
た結合荷重の初期値及び前記構成指示の内容に基づい
て、平滑化の必要性の判定を行うものである。また、平
滑化必要性判定部であるデータ集中判定部８６は前記提
示パターン入力部２から入力した提示パターンに基づい
て、前記ニューラルネット部１の入力層１１にある各ニ
ューロンに各々入力する入力データの変化率が、所定閾
値以下であって、入力データが所定数値範囲内に集中し
ているか否かに基づいて、平滑化の必要性の判定を行う
ものである。さらに、平滑化必要性判定部である学習判
定部８７は、前記出力パターンと前記教師信号とに基づ
いて定まる誤差関数の減少速度の絶対値が所定閾値以下
であるか否かに基づいて、平滑化の必要性の有無の判定
を行うものである。

【００１７】一方、前記所定ニューロン追加部６は、同
図に示すように、双ニューロン追加部６５と、補ニュー
ロン追加部６６，６７とを有し、双ニューロン追加部６
５は、前記平滑化必要性判定部８５により平滑化の必要
性があると判定された場合に、前記ニューラルネット部
１の中間層１２にある全部又は一部のニューロンに設定
された結合荷重と同一の絶対値で逆符号をもつ結合荷重
が前段の同一の各ニューロンとの間に各々設定された双
ニューロンを中間層１２にある前記ニューロンの各々に
並列に追加する指示を行うものである。補ニューロン追
加部６６は、前記データ集中判定部８６により平滑化の
必要性があると判定された場合には、入力層１１にある
全部又は一部のニューロンと補関係にある補ニューロン
を当該ニューロンに並列に各々追加する指示を行うもの
である。補ニューロン追加部６７は、前記学習判定部８
２により平滑化の必要性があると判定された場合には、
前記ニューラルネット部１の出力層１３にある全部また
は一部のニューロンに、当該各ニューロンの状態と補関
係にある補ニューロンを並列に各々追加する指示を行う
ものである。ここで、所定信号処理素子である補ニュー
ロンとは、あるニューロンの状態をX とした場合に、1-
X をその状態とするものである。

【００１８】図７に、論理素子のExclusive NOR 素子
（排他的論理和素子）を構成するように、ニューラルネ
ット部１で入力層１１、中間層１２、及び出力層１３に
各々２個、３個及び１個のニューロンが配置され、入力
層１１にあるニューロン１ａ，ｃには補ニューロン１１
ｂ，ｄが各々並列に追加され、中間層１２にあるニュー
ロン１２ａ，ｃ，ｄには双ニューロン１２ｂ，ｄ，ｆが
並列に追加され、出力層１３にあるニューロン１３ａに
は、補ニューロン１３ｂが並列に追加されているものを
示す。

【００１９】続いて、本実施例の動作について図８に基
づいて説明する。ステップＳＪ１で、ニューラルネット
ワークの構成の指示を行うために、前記ニューラルネッ
ト構成部１７により前記ニューラルネット部１の入力層
１１、中間層１２及び出力層１３の各層を形成する前記
信号処理素子であるニューロンの個数を決定し、ニュー
ラルネット設定部７及び平滑化必要性判定部８５に送出
する。例えば、図７に示したように、学習対象が排他的
論理和素子の場合には、入力層１１が最初は２個、中間
層１２は最初は３個、出力層１３は最初は１個である。

【００２０】ステップＳＪ２で、前記ニューラルネット
設定部７は、ニューラルネット構成部１７によりニュー
ラルネットの各層の個数が決定されると、各ニューロン
間の結合荷重の初期値の設定を行うことになる。初期値
の設定は、−１から１までの実数をランダムに割り当て
る。ステップＳＪ３で、学習の対象及び目的に合致する
ように前記ニューラルネット構成部１７により指示され
た個数のニューロン及び、当該指示に基づいて設定され
た結合荷重の初期値に基づいて前記平滑化必要性判定部
８５により平滑化の必要性があると判定された場合に
は、当該必要性判定部８５の判定結果に基づいて前記双
ニューロン追加部６１は、前記中間層１２の各ニューロ
ン１２ａ，１２ｃ，１２ｄに対し、各々双ニューロン１
２ｂ，１２ｄ，１２ｆを並列に追加する指示を行うこと
になる。

【００２１】また、ステップＳＪ４では、前記データ集
中判定部８６は前記提示パターン入力部２から入力する
提示パターンに基づいて、前記入力データの変化率が、
所定閾値以下であって、入力データが所定数値範囲内に
集中しているか否かを判定する。当該判定結果が閾値以
下である場合には、前記補ニューロン追加部６６は入力
層１２にある全部また一部のニューロンと補関係にある
補ニューロンを当該ニューロンに並列に各々追加する指
示を行う。ステップＳＪ５で、前記学習判定部８７は、
前記誤差関数判定部１４の判定結果と出力パターン及び
教師信号に基づいて定まる誤差関数の減少速度を速める
ように、当該速度の絶対値が所定閾値以下であるか否か
の判定を行う。閾値以下の場合には、前記補ニューロン
追加部６７は前記ニューラルネット部１の前記出力層１
３にある全部または一部のニューロンに、当該ニューロ
ンの状態と補関係にある補ニューロンを並列に各々追加
する指示を行う。

【００２２】ステップＳＪ６で、ステップＳＪ１からＳ
Ｊ５の指示に従って、ニューラルネット部１の各層のネ
ットワークの構築が行われる。ニューラルネットワーク
の構築後に、ステップＳＪ７で学習が開始されることに
なる。学習は、前記提示パターン入力部２により学習の
対象となる提示パターンが前記提示パターン入力部２に
より前記ニューラルネット部１に入力することにより行
われる。入力した提示パターンである入力信号はニュー
ラルネット部１の入力層１１、中間層１２及び出力層１
３を通過伝達する間に、各ニューロンによりその信号が
変換され、出力パターンとして出力層１３から出力され
る。すると、前記誤差検出部４は、当該出力パターンと
前記教師信号発生部３から発生した教師信号とに基づい
て誤差を検出し、前記学習部５は前記ニューラルネット
設定部７により設定された結合荷重を修正し、その変更
設定を行うことになる。その際、ステップＳＪ８で、前
記誤差関数判定部１４は、誤差関数（エネルギ関数）の
値が、ある閾値以下であるか否かを判定する。エネルギ
関数の値が、ある閾値以下であると判定された場合に
は、ステップＳＪ１０に進み、処理が終了することにな
る。さもなければ、ステップＳＪ９に進み、平滑化の必
要性の判定を行うことになる。ここで平滑化の必要性の
有無は、前記データ集中判定部８６、及び前記学習判定
部８７により判定が行われることになる。即ち、前述し
たように、データ集中判定部８６が入力信号のチェック
を行い、入力データに偏りがあると判定されると、ステ
ップＳＪ４で、補ニューロン追加部６６は入力層１１に
あるニューロンに対し並列に補ニューロンの追加の指示
を行うことになる。また、前記学習判定部５７は、出力
パターンのチェックを行い、学習の進まないニューロン
が出力層にあると判定されると、前記補ニューロン追加
部６７はステップＳＪ５で、補ニューロンの追加の指示
が行われることになる。尚、以上の説明にあっては、所
定ニューロンの追加のみを説明したが、当該場合に限ら
れることなく、例えば、削除して追加することにより、
ニューロンの入替え等を行って平滑化することも可能で
ある。

【００２３】以上説明したように、各実施例にあって
は、ニューラルネットワークの学習の高速化を図るた
め、ニューラルネット部の全部または一部のニューロン
に所定ニューロンとして双ニューロンまたは補ニューロ
ンを追加するようにしている。したがって、全体に悪影
響を与えることなく、確実に高速化を図ることができる
ことになる。

【００２４】

【発明の効果】以上説明したように、本発明にあって
は、ニューラルネットワークの学習の高速化を図るた
め、ニューラルネットワークの学習の高速化をハードウ
ェアを変更することなく、ニューラルネット部の出力パ
ターンと前記教師信号とに基づいて定まる誤差関数の減
少速度を速めるように、信号処理素子間を伝達する信号
の表す数値データをその許容範囲のうちの所定範囲内に
限定する平滑化の必要性の判定を行い、平滑化の必要性
がある場合には、所定信号処理素子の変更を行うように
するものである。即ち、本発明にあっては、既存のネッ
トワークシステム上で、前記所定信号処理素子を追加ま
たは削除して平滑化を行うことにより前記誤差関数の減
少速度を速めるようにしている。したがって、本発明に
あっては、平滑化により高速学習を達成するようにして
いるため、ニューラルネットワーク全体のバランスを壊
すことなく、また、ハードウェア全体を根本的に改造す
ることなく、簡単な構成及び手順で、容易に且つ確実に
学習の高速化を達成することができることになる。

【図面の簡単な説明】

【図１】第一の発明の原理ブロック図

【図２】第一の発明の実施態様(1) を示すブロック図

【図３】第一の発明の実施態様(2) を示すブロック図

【図４】第一の発明の実施態様(3) を示すブロック図

【図５】第二の発明の原理流れ図

【図６】実施例に係るニューラルネットワークによる高
速化学習装置を示すブロック図

【図７】実施例に係るニューラルネット部の例を示す図

【図８】実施例に係る処理流れ図

【図９】従来例に係るブロック図

【符号の説明】

１０，１ニューラルネット部６０（６１，６３，６６，６７）所定信号処理素子変
更部（双信号処理素子追加部、補信号処理素子追加部、
補ニューロン追加部）８０，８１，８５（８６，８２，８７）平滑化必要性
判定部（データ集中判定部、学習判定部）２０，２提示パターン入力部３０，３教師信号発生部４０，４誤差検出部５０，５学習部

Claims

【特許請求の範囲】

【請求項１】多数の信号処理素子が結合され、各信号
処理素子には前段の信号処理素子との間の結合効率を表
す適応的に変更し得る結合荷重が設定されたニューラル
ネット部（１０）を有し、ニューラルネット部（１０）
から出力された出力パターンと当該出力パターンが到達
すべき目標となる教師信号との誤差を減少させるように
結合荷重の設定変更がされるニューラルネットワークの
学習装置において、出力パターンと教師信号とに基づいて定まる誤差関数の
減少速度、当該減少速度を決定する信号処理素子間を伝
達する信号の表す数値データ、または、当該数値データ
を決定する結合荷重の因子に基づいて、数値データが許
容される数値範囲を所定数値範囲に限定する平滑化の必
要性の判定を行う平滑化必要性判定部（８０）と、平滑化の必要性があると判定された場合に、所定信号処
理素子の追加または削減の指示を行う所定信号処理素子
変更部（６０）とを有することを特徴とするニューラル
ネットワークの学習高速化装置。
【請求項２】多数の非線型の信号処理素子が結合さ
れ、各信号処理素子には前段の信号処理素子との間の結
合効率を表す適応的に変更し得る結合荷重が設定された
ニューラルネット部（１０）と、学習対象に応じた構成
指示に基づき学習前に結合荷重の初期値の設定を行うニ
ューラルネット設定部（７０）とを有し、ニューラルネ
ット部（１０）から出力された出力パターンと当該出力
パターンが到達すべき目標となる教師信号との誤差を減
少させるように結合荷重の設定変更がされるニューラル
ネットワークの学習装置において、前記数値データを決定する因子である結合荷重の初期値
及び前記構成指示の内容に基づいて、平滑化の必要性の
判定を行う平滑化必要性判定部（８１）と、平滑化の必要性があると判定された場合に、前記ニュー
ラルネット部（１０）の中間層にある全部又は一部の信
号処理素子に設定された結合荷重と同一の絶対値で逆符
号をもつ結合荷重が前段の同一の各信号処理素子との間
に各々設定された双信号処理素子を中間層にある前記信
号処理素子の各々に並列に追加する指示を行う双信号処
理素子追加部（６１）とを有することを特徴とするニュ
ーラルネットワークの学習高速化装置。
【請求項３】多数の非線型の信号処理素子が結合さ
れ、各信号処理素子には前段の信号処理素子との間の結
合効率を表す適応的に変更し得る結合荷重が設定された
ニューラルネット部（１０）と、ニューラルネット部
（１０）から出力された出力パターンが到達すべき目標
となる教師信号を発生する教師信号発生部（３０）と、
前記出力パターンと教師信号との誤差の検出を行う誤差
検出部（４０）と、検出された誤差に基づいて当該誤差
を減少させるように前記結合荷重の設定変更を行う学習
部（５０）とを有するニューラルネットワークの学習装
置において、誤差関数の減少速度の絶対値が所定閾値以下であるか否
かに基づいて、平滑化の必要性の有無の判定を行う学習
判定部（８２）と、平滑化の必要性があると判定された場合には、前記ニュ
ーラルネット部（１０）の入力層または出力層にある全
部又は一部の信号処理素子に、当該各信号処理素子の状
態と補関係にある補信号処理素子を並列に各々追加する
指示を行う補信号処理素子追加部（６２）とを有するこ
とを特徴とするニューラルネットワークの学習高速化装
置。
【請求項４】多数の非線型の信号処理素子が結合さ
れ、各信号処理素子には前段の信号処理素子との間の結
合効率を表す適応的に変更し得る結合荷重が設定された
ニューラルネット部（１０）と、ニューラルネット部
（１０）に提示パターンを入力する提示パターン入力部
（２０）とを有し、ニューラルネット部（１０）から出
力された出力パターンと当該出力パターンが到達すべき
目標となる教師信号との誤差を減少させるように結合荷
重の設定変更がされるニューラルネットワークの学習装
置において、提示パターン入力部（２０）から入力した提示パターン
に基づいて、前記ニューラルネット部（１０）の入力層
にある各信号処理素子に各々入力する入力データの変化
率が、所定閾値以下であって、入力データが所定数値範
囲内に集中しているか否かに基づいて、平滑化の必要性
の判定を行うデータ集中判定部（８３）と、平滑化の必要性があると判定された場合には、入力層に
ある全部又は一部の信号処理素子と補関係にある補信号
処理素子を当該信号処理素子に並列に各々追加する指示
を行う補信号処理素子追加部（６３）とを有することを
特徴とするニューラルネットワークの学習高速化装置。
【請求項５】多数の信号処理素子が結合され、各信号
処理素子には前段の信号処理素子との間の結合効率を表
す適応的に変更し得る結合荷重が設定されたニューラル
ネットワークの構成の指示があると（Ｓ１）、当該指示
に応じてニューラルネットワークを構成し、ニューラル
ネットワークに提示パターンを入力し、ニューラルネッ
トワークから出力された出力パターンと到達すべき目標
となる教師信号との誤差を減少させるように結合荷重の
変更を行うニューラルネットワークの学習方法におい
て、出力パターンと教師信号とに基づいて定まる誤差関数の
減少速度、当該減少速度を決定する信号処理素子間を伝
達する信号の表す数値データ、又は、当該数値データを
決定する結合荷重の因子に基づいて、前記数値データが
許容される数値範囲を所定数値範囲に限定する平滑化の
必要性の判定を行い（Ｓ２）、平滑化の必要性があると判定された場合に、所定信号処
理素子の追加または削減を行う（Ｓ３）ことを特徴とす
るニューラルネットワーク学習高速化方法。