JPH02306363A - 多層ニューラルネットワーク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 「産業上の利用分野］ 本発明は、多層ニューラルネットワーク、特に識別情報
を取り込んで、後続層に供給する入力層の構造に関する
。

［従来の技術］ 近年、並列分散情報処理の分野においては、生体系情報
処理システムと同様の原理によって動作するニューラル
情報処理システムの理論的研究及び実用化検討が行われ
ている。

例えば、音声等の１次元識別情報の認識、手書き文字な
どの２次元識別情報の認識に係るパターン認識や、ＬＳ
Ｉの設＝１などの組み合わせ最適化問題の処理において
は、ニューラル情報処理システムの並列分散情報処理能
力により、従来のコンピュータ等が不得手とする高速並
列処理を行うことが展望されている。

このニューラル情報処理システムの代表的構成としては
、多層ニューラルネットワークが知られている。この多
層ニューラルネットワークは、２次元画像等の識別情報
等を取り込む入力層、この入力層に接続され、識別情報
の並列情報処理を行う複数の中間層、及び中間層により
情報処理された識別情報を出力する出力層から１ｈ成さ
れる。

このような階層的溝底の多層ニューラルネットワークに
おいては、所定の学習過程により、所望の１左別情報を
所定の出力情報に対応づけ、この識別情報が前記入力層
に入力されたときには、対応づけられた出力情報を出力
することが可能である。

すなわち、所望の識別情報が入力されたときには、にの
識別情報に対応する所望の出力情報を得ることかでき、
例えば識別情報に含まれるパターン情報をｉすることか
可能である。

第２図には、このような多層ニコーラルネットワークの
一システム構成例が示されている。

この図においては、複数の入力シナプス１０により前記
識別情報をＩｂ成する入力層データ１１゜■　　！　　
・・・、ＩＮが入力される単位データ処２゛　　　３゛ 押装置である入力層１２には、複数の層間シナプス１４
を介して複数の中間層１６が順次接続されている。

すなわち、外部から供給される識別情報を構成する要素
データＩＩＩ　　　・・・、ＩＮは、１°　　　２°　
　　３゜ それぞれ入力導線である入力シナプス１０を介して入力
層１２に供給され、入力層１２においてはこれらの要素
データＩＩＩ　　　・−・、■、１’　　　２’　　　
３゜ がシナプス伝達データＸｉ、　Ｘｉ、　Ｘｔ、・・・。

Ｘｌに変換される。次に、このシナプス伝達データＸ１
　Ｘｌ　Ｘｌ　・・・、Ｘ占は、順次中間層１１“　　
　２′　　３′ ６に伝送導線である層間シナプス１４を介して伝達され
、例えばこの中間層１６かに一１個ある場合には、最後
段の中間層１６からは入力層１２及びに−１個の中間層
１６により変換されたシナプス伝達データＸ￥、ｘｊ、
ｘζ、・・・　ｘＷが出力される。

Ｋ−１段［１の中間層１６には、層間シナプス１４を介
して出力層１８が接続され、この出力層１８には更に出
力導線であるＮ個の出力シナプス２０が接続されている
。すなわち、Ｋ−１段■の中間層１６から層間シナプス
１４を介して入力されＫ　　　　Ｋ　　　　Ｋ たシナプス伝達データＸ　ｉ　、Ｘ　２　、Ｘ　３　、
・・・。

ＸＮは、出力層１８において所定の変換を経た後に出力
要素データｏ１．　ｏｌ、　ｏ３．・・・、ＯＮとして
出力される。

このように識別情報は、要素データＩ１１′　　２゛ Ｉ　　・・・、ＩＮとして入力され、出力要素データ３
゜ ｏｌ、　ｏｌ、　ｏ３．・・・、ＯＮから構成される出
力情報として出力される（信号伝送過程）。

この伝送に係る層間シナプス１４のシナプス結合係数等
は、この信号伝送過程に先立って行われる学習過程、例
えば、出力情報の最小自乗制御を行うパックプロパゲー
ション（ｂａｃｋ−ｐｒ。

ｐａｇａｔｉｏｎ）学習過程により初期的に設定される
。

第３図には、第２図に示された従来の多層ニューラルネ
ットワークにおける入力層１２の構成例が示されている
。

この図においては、入力層１２の内部には、それぞれ前
記要素データ　ＩＩＩ　　　・・・。

１’　　　２’　　　３’ ＩＮを前記シナプス伝達データＸ１　ＸＩ　Ｘ１１′　
　　２″　　　３゛ ・・・、Ｘｌに変換して出力する入力層ニューロン２２
が並列に配設されている。例えば、入力される要素デー
タ　ＩＩＩ　　　・・・、ＩＮを緩衝１′　　　２′　
　　３′ 記憶するバッファメモリからなる入力層ニューロン２２
には、入力シナプス１０を介して要素データＩＩＩ　　
　・・・、ＩＮがそれぞれ入力さ１’　　　　２’　　
　　３’ れ、この要素データＩＩＩ　　　・・・、ＩＮｌｏ　　
　２′　　　３′ は、シナプス伝達データＸＩ　ＸＩ　Ｘｌ　・・・。

１′　　　２′　　　３″ ＸＮとして層間シナプス１４を介して後続の中間層１６
に出力される。

なお、一の入力層ニューロン２２に係る相関シナプス１
４は１木とは限らない。図においては、簡ｉ１ｔのため
一の入力層ニコーロン２２について層間シナプス１４を
１木としたが、層間シナプス１４は例えば学習過程にお
ける自己組織により必要な後続層１６との接続がなされ
ていればよく、従って、入力層１２に係る層間シナプス
１４及びシナプス伝達デークＸＮ１の個数Ｍは、入力層
ニューロン２２の個数Ｎとは一致する必要はない。

このような構成を有する従来の多層ニューラルネットワ
ークによれば、初期的に学習過程により得られた識別情
報と出力情報の対応により、所望の識別情報が入力要素
データｌ１１ １゛２′　　３′ ・・・、■、として入力されたときには、これに対応す
る出力要素データＯ，，０，，ｏ３．．、−、ｏＮ力咄
力され、これらの出力要素データ０１．０２゜０３、・
・・−ＯＮから構成される所望の出力情報をｉすること
が可能である。

［発明が解決しようとする課題］ しかしながら、このような構成をＨする従来の多層ニュ
ーラルネットワークにおいては、識別情報を構成する個
々の要素データの間に相関がある場合には、この相関に
かかる相関情報を必ずしも伝送できないという問題点が
あった。すなわち、例えば画像データ等の相互に相関す
る要素データから構成される識別情報を入力してこれに
対応する出力情報を得ようとする場合には、識別情報が
複数の要素データに分割されてそれぞれ別の入力層ニュ
ーロンに入力されるために画像データ等の識別情報が持
つ連続性等の相関を学習しあるいは伝送することができ
ないという問題点があった。

本発明は、このような問題点を解決することを課題とし
てなされたものであり、相互に相関する要素データから
構成される識別情報の学習及び伝送の際に、この相関に
係る相関情報を識別情報と共に伝送し、より正確な識別
情報の伝送を行うことを可能とする多層ニューラルネッ
トワークを提供することを目的とする。

［課題を解決するための手段］ 前記目的を達成するために本発明は、複数の入力層ニュ
ーロン相互間を接続する導線である結合シナプスを含み
、結合シナプスにより接続された複数の入力層ニューロ
ンにそれぞれ入力される要素データ間の相関情報を入力
層ニューロンのそれぞれの出力であるシナプス伝達デー
タに付シｊして後続層に供給することを特徴とする。

また、本発明は、前記入力層ニューロンが、前記要素デ
ータを緩衝記憶する入力バッファと、この入力バッファ
の出力データ及び前記結合シナプスを介して供給される
他の入力層ニューロンの入力に係る他の要素データを加
重加算する加算器とを含み、シナプス伝達データが一の
入力層ニコーロンへの入力に係る要素データ及びこの入
力層ニューロンと結合シナプスにより接続された他の入
力層ニューロンへの入力に係る要素データの線形結合で
あることを特徴とする。

［作用Ｊ 本発明に係る多層ニューラルネットワークにおいては、
識別情報を構成する要素データの入力に係る入力層ニュ
ーロン相互間が結合シナプスにより接続され、一の入力
層ニコーロンに入力される要素データが他の入力層ニコ
ーロンに結合シナプスを介して入力される。そして、一
の入力層ニューロンに入力された複数の要素データは、
相関情報を有するシナプス伝達データとして、後続層に
供給される。

また、前記要素データへの前記を口開情報の付与は、人
カバソファに緩衝記憶された要素データ及び前記結合シ
ナプスを介１．て供給された他の入力層ニューロンへの
入力に係る他の要素データの加重加算により行われ、こ
の相関情報を含む線形結合によるシナプス伝達データが
後続層に供給される。

［実施例］ 以下、本発明の一実施例を図面を用いて説明する。

第１図には、本発明の一実施例に係る多層ニューラルネ
ットワークの（１が成が示されている。この図において
は、第２図に示される従来の多層二。。

−ラルネットワークと同様のシステム（１■成をｆ了す
る多層ニューラルネッ！・ワークに組み込まれた入力層
２４の構成が示されている。

この実施例においては、入力層２４を（Ｒ成するＮ９１
の入力層ニューロン２６は、第３図に示される従来の入
力層ニコーロン２２と同様の構成をＨする入力バッファ
２８と、本発明の特徴に係り他の入力層ニューロン２６
を（１■成する入力バッファ２８の出力に接続されて加
重加算を行う２入力の加算器３０と、同（ｌに本発明の
特徴に係り加算器３０の出力及び入力バッファ２８の出
力とを加重加算する２入力の加算器３２と、を含んで構
成され、それぞれの加算Ｍ３０は、結合導線である結合
シナプス３４により隣接する他の入力層ニコーロン２６
を構成する入力バッファ２８に接続されている。すなわ
ち、１番目の入力バッファ２８に入力される要素データ
１．は、加算器３２に入力されると共に、隣接する他の
入力層ニューロン２６を１１が成する加算’１５３０に
、結合シナプス３４を介して供給される。逆に、隣接す
る他の２個の入力層ニューロン２６から結合シナプス３
４を介して入力された要素データ！、！　　　は、加算
ｉ−ｔ　　　ｉ＋ｉ 器３０により加重加算され、加算器３２に入力される。

そして、加算器３２においては、入力バッファ２８から
出力される要素データ１．と、加算器３０の出力である
隣接する他の入力層ニューロン２６に係る要素データ１
１−１及び■１＋１の加重加算データとが加重加算され
、シナプス伝達データＸ１として出力される。

なお、この実施例においては、１番目及、びＮ番目の入
力層ニューロン２６は、加算器３０が欠如した構成であ
るが、この構成は端部配置により隣接入力層ニューロン
２６が１−個のみであることによる。

このような構成をＨする本実施例に係る多層ニューラル
ネットワークによれば、識別情報をｔ１■成する要素デ
ータＩＩ！　　　・・・、ＩＮの柑１“　　　２゛　　
　３′ 互の相関を加重加所により取り込んでシナプス伝ａデ　
９Ｘ’　　Ｘ’　　Ｘｌ　＝・、Ｘ１１！Ｊ１：（’ｉ
与Ｌ−１１″　　２゛３′ 後続の中間層１６に出力することが可能である。

すなわち、Ｅ番目の入力層ニューロン２６に入力される
要素データＩ　は、本発明の特徴に係る結合シナプス３
４により、同様に本発明の特徴である加算器３０に入力
された隣接する他の入力層ニューロン２６への入力に係
る要素データｌ１−１及びＩＩ＋１と加算器３０及び３
２において加重加算され、相関情報が付ｔｊされたシナ
プス伝達データＸ１とｌ、て次層に出力されるため、相
関情報を含むシナプス伝達データＸＩ　ＸＩ　Ｘｌ　・
・・。

１’　　　２’　　　　３゜ ＸＮにより識別情報の伝達及び学習が可能となる。

また、本実施例に係る多層ニコーラルネットワークによ
れば、要素データＩ　　　Ｉ　　　Ｉ　　　、、、。

１’　　　２’　　　３＝ ＩＮから構成される識別情報の特徴部分を迅速に学習す
ることが可能である。すなわち、例えばパックプロパゲ
ーション学者間等のアルゴリズムにより学習を行う場合
には、前記入力層ニューロン２６に係る層間シナプス１
４のシナプス結合係数が、要素データＩ１ １’２”３、・・・、！、及び γ習に係る教師信号により、自己組織される。この際、
学習に係る識別情報の特徴部分、例えば、音声波１じの
ピーク等が、他の音声波形のピーク等の特徴部分とまぎ
られしい部分の入力に係る他の入力層ニコーロン２６と
近接する入力層ニューロン２６に入力されたときにも、
本発明の特徴に係る結合シナプス３４により、相関情報
を取り入れて効果的な学習を行うことか可能となる。

なお、本実施例においては、入力層ニューロン２６が１
次元配置された構成が示されているが、入力層ニューロ
ン２６が２次元配置された場合にも、同様に参目関情報
のイ・１与が可能である。

［発明の効果］ 従って、本発明に係る多層ニューラルネットワークによ
れば、識別情報を（Ｒ成する要素データのそれぞれの間
に相関がある場合にも、このＦ０関に係る相関情報を結
合シナプスにより取り込んで後続層に供給することが可
能となる。

また、相関情報を加算器において要素データと加重加算
することにより、相関情報がイ；１クーされたシナプス
伝達データを後続層にｌｉ給することが可能となる。

【図面の簡単な説明】

第１図は、本発明の一実施例に係る多層ニューラルネッ
トワークの構成を示す？Ｍ構成図第２図は、従来の多層
ニューラルネットワークの一システム構成例を示すシス
テム構成図、第３図は、従来の多層ニューラルネットワ
ークの−・構成例を示ず（Ｒ成図である。 １０　・・・　入力シナプス １４　・・・　層間シナプス １６　・・・　中間層 １８　・・・　出力層 ２４　・・・　入力層 ２６　・・・　入力層ニューロン ２８　・・・　入力バッファ ３０、３２　　・・・　加算器 ３４　・・・　結合シナプス

Claims (2)

【特許請求の範囲】
1. 　（１）識別情報を構成する要素データを取り込んで、
   この要素データに応じてシナプス伝達データを発生する
   データ処理素子である入力層ニューロン及び前記入力層
   ニューロンに前記要素データを入力する入力導線である
   入力シナプスを、それぞれ前記要素データの個数に応じ
   た個数だけ含み、前記入力層ニューロンから引き出され
   た出力導線である複数の層間シナプスにより複数のシナ
   プス伝達データを出力するデータ処理装置である入力層
   と、前記入力層と前記層間シナプスを介して順次接続さ
   れ、前記入力層と共に階層的結合のデータ処理装置群を
   構成するデータ処理装置である複数の後続層と、を有す
   る多層ニューラルネットワークにおいて、 複数の前記入力層ニューロン相互間を接続する導線であ
   る結合シナプスを含み、 前記結合シナプスにより接続された複数の前記入力層ニ
   ューロンにそれぞれ入力される前記要素データ間の相関
   情報を、前記入力層ニューロンのそれぞれの出力である
   シナプス伝達データに付与して前記後続層に供給するこ
   とを特徴とする多層ニューラルネットワーク。
2. 　（２）請求項（１）の多層ニューラルネットワークに
   おいて、 前記入力層ニューロンは、前記要素データを緩衝記憶す
   る入力バッファと、この入力バッファの出力データ及び
   前記結合シナプスを介して供給される他の入力層ニュー
   ロンの入力に係る他の要素データを加重加算する加算器
   とを含み、 前記シナプス伝達データが一の前記入力層ニューロンへ
   の入力に係る要素データ及びこの入力層ニューロンと前
   記結合シナプスにより接続された他の入力層ニューロン
   への入力に係る要素データの線形結合であることを特徴
   とする多層ニューラルネットワーク。