JPH02161556A - ニューラルネットワークシステム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はニューラルネットワーク（神経回路網）システ
ムに関するものである。

〔従来の技術〕

近年、ニューラルネットワークをシュミレーションモデ
ルで実現する試みが様々になされている。

ここで、ニューラルネットワークを構成するニューロン
のモデルは、第９図に示されるように考えられている。

つまり、他のニューロンからの入力信号Ｘｔを個々のシ
ナプス（他のニューロンからの入力信号を受取るために
他のニューロンと接触されている部分）の性質に相当す
る重み係数ａ１ューロン３００が得る刺激の強さとし、
これを他のニューロンに伝えてゆくものである。従って
、ンヘ伝送される。

従来は、このような性質を持つニューロンを含むニュー
ラルネットワークの離散時間モデルとしては、第１の手
法として行列計算を用いたソフトウェアシュミレーショ
ンで実現されるか、第２の手法として全てのニューロン
間を物理的に接合したシステムを作ることにより行なわ
れていた。

〔発明が解決しようとする課題〕

しかしながら上記従来技術のうち、第１の手法によると
行列計算という順次計算によるため、ニューラルネット
ワークの並列性という特性を実現できないという問題点
を生じる。また、第２の手法によると、Ｎ個のニューロ
ンで構成されたニューラルネットワークの作成にＮ（Ｎ
−１）本の伝送路が必要となり、システムが複雑化する
ためにニューロンの数Ｎを多くしたシステムを実現でき
ないという問題点が生じていた。

そこで本発明は、ニューロンの数が多いニューラルネッ
トワークを簡単な構成で実現でき、しかもニューラルネ
ットワークの並列性という特性を的確に実現できるニュ
ーラルネットワークシステムを提供することを目的とす
る。

〔課題を解決するための手段〕

本発明に係るニューラルネットワークシステムは、環状
に接続された複数段のシフトレジスタと、このシフトレ
ジスタに接続され、ネットワーク外からの入力データを
接続された段へセットする入力手段と、上記のシフトレ
ジスタに接続され、その接続された段からデータを取出
してネットワーク外へ出力する出力手段と、重み係数デ
ータを保持し、上記のシフトレジスタに接続されて、接
続された段からシフト毎にデータを取込み重み係数デー
タのうち対応するものを用いて次々に所定演算を行う一
方、ロード指示を受けて上記の演算結果のデータを接続
された段へセットする演算手段と、シフトレジスタのシ
フト動作及びロード指示に係する制御を行う制御手段と
を備えたことを特徴とする。

〔作用〕

本発明に係るニューラルネットワークシステムは、以上
の通りに構成されるので、ニューロンに対応する入力手
段、出力手段および演算手段はそれぞれが環状のシフト
レジスタにより接続されるだけであり、相互接続を要し
ないため構成を簡素化することができる。また、シフト
が生じる毎に演算手段がシフトレジスタの対応段からデ
ータを取込んでそれぞれで演算を行い得る構成であるか
ら、並列性を確保できる。

また、係数メモリをメモリポインタでアクセスするか、
各段に割当てられたアドレスデータを周回させてアクセ
スするかして、所要の係数データを的確に選択して所定
の演算を行うシステムが実現できる。

〔実施例〕

以下、添付図面の第１図ないし第８図を参照して、本発
明の一実施例を説明する。図面の説明において同一の要
素には同一の符号を付し、その説明を省略する。

第１図は本発明に係るニューラルネットワークシステム
を模型的に示したものである。同図において、シフトレ
ジスタ１は複数段が環状的に接続されている。シフトレ
ジスタ１の各段にはニューロンを構成する入力手段２、
出力手段３および演算手段４のいずれかが接続される。

制御手段ではシフトレジスタ１に各段に保持されたデー
タのシフトタイミングを与えるとともに、入力手段２お
よび演算手段４から、データをシフトレジスタ１のそれ
ぞれ接続されている段へロードするタイミングを与える
。入力手段２はネットワーク外から与えられるデータを
ロード指示により、シフトレジスタ１の接続されている
段へロードする。演算手段４には重み係数保持部４１お
よび積和演算部４２が設けられ、シフトレジスタ１にお
けるシフト毎に、シフトレジスタ１の接続されている段
からデータを取込み、重み係数保持部４１内の対応する
重み係数データを用いて次々に積和演算部４２で演算（
ここでは重み係数データとの積を求めて、次々に和を求
める演算）を行う。そして、制御手段５のロード指示に
より演算結果のデータを、シフトレジスタ１の接続され
ている段へロードする。出力手段３には重み係数保持部
３１および積和演算部３２が設けられ、シフトレジスタ
１におけるシフト毎に、シフトレジスタ１の接続されて
いる段からデータを取込み、重み係数保持部３１内の対
応する係数データを用いて積和演算部３２で次々に演算
を行って出力する。上記の入力手段２は入力ニューロン
、出力手段３は出力ニューロン、そして演算手段４は中
間ニューロンと考えられる。

このような構成のニューラルネットワークシステムでは
、シフトレジスタ１のシフト動作を行う前に、入力手段
２および演算手段４に入力データを、初期データをそれ
ぞれ接続されているシフトレジスタ１の段へセットする
。また、同時に出力手段３および演算手段４の積和演算
部３２．４２が初期化される。次に、制御手段５の制御
によりシフトが行われる。１段のシフトが生じる毎に、
出力手段３および演算手段４では接続されている段のデ
ータを取込み、重み係数保持部３１．４１の対応する重
み係数データとの積をとって逐次加算を積和演算部３２
．４２が行う。シフトがシフトレジスタ１の段数分析わ
れるとデータが一周し、積和演算部３２．４２にはその
ニューロンの出力が得られるように、シフトレジスタ１
の段数及び重み係数保持部３１．４１内の重み係数デー
タの設定が行われている。従って、データが一周したと
き、出力手段３は得た演算結果をネットワーク外へ出力
し、演算手段４は制御手段５によるロード指示で、演算
結果を接続されているシフトレジスタ１の段へロードす
る。

このようなレフトレジスタ１へのデータ設定及びシフト
動作が行われることにより、二ニーロン１段分の計算が
行われる。論理的に複数段のニューロンが縦続接続され
ている場合に対応させるときには、その段数分だけ上記
の動作を繰返すことにより、最終段のニューロンの出力
が得られることがわかる。

第２図は本発明の一実施例によって実現されるパックプ
ロパゲーション型のニューラルネットワークシステムの
モデルを示す。この図において、２１．２２は入力層を
示し、２３．２４は中間層を示し、２５．２６は出力層
を示している。二ニーロン２１からの出力をＸｌとし、
ニューロン２、からニューロン２．への接続の強さを重
み係ｌ　　　　　　　　　　　　　　　　　　　　　Ｊ
数ａｊｔとして表わす。

上記のニューラルネットワークシステムは、第３図に示
すように構成される。図示の通り、環状のシフトレジス
ターの各段１１が６個接続されている。段１１，１１２
にはそれぞれ入力手段■ ２．２　が、段１１，１１４にはそれぞれ演算手段４．
４　が、段１１，１１Ｂにはそれぞれ出力手段３．３□
が接続されている。制御■ 手段５からは信号Ａｌ５１．５２が延びており、信号線
５１を介してシフトクロックがシフトレジスターの各段
１１及び入力手段２、出力手段３、演算手段４に与えら
れ、信号線５２を介してロード信号が入力手段２、出力
手段３、演算手段４に与えられている。信号線５１．５
２以外のラインはデータの流れを示している。制御手段
５から信号線５２を介してロード信号が出力されると、
入力手段２はネットワーク外から到来する入力データを
シフトレジスターの段１１，１１２にロードする。即ち
、第２図においては入力層のニューロン２１．２２がそ
れぞれデータＸ　、Ｘ２を出力したことになる。

第４図には演算手段４の具体的構成が示されている。同
図において、メモリポインタ４０１および係数メモリ４
０２は重み係数保持部４１を構成している。係数メモリ
４０２に格納されている重み係数データａ３□〜ａ３Ｂ
は第２図における中間層のニューロン２３のものを示し
ており、シフトレジスターの段数が６であることに対応
して係数メモリ４０２の容量は６ワードとなっている。

そしテ、中間層のニューロン２３へは入力層のニューロ
ン２１．２２からデータが与えられるだけであるから、
重み係数データａ　　、ａ　　が所定の値とされ諷３３
〜ａ３６はゼロとされる。

制御手段５から信号線５２を介してロード信号が出力さ
れると、メモリポインタ４０１は初期化されて係数メモ
リ４０２の重み係数データａ３３を指示し、以下、信号
線５１を介してシフトクロックが与えられる毎に、重み
係数データａ　　、ａ　　。

ａ３［ｉ’　　３５’　　ａ３４の順で逐次指示を変え
てゆく。

このような指示により、係数メモリ４０１からは乗算器
４０３へ指示に係る重み係数データが出力される。乗算
器４０３の他方の入力端子へはシフトレジスターの段１
１　　（１１４）からデータが到来する。具体的には、
信号線５２を介してロード信号が出力された直後には、
演算手段４が自ら初期ロードしたデータ（第２図のニュ
ーロン２３ではＸ３）が段１１３に保持されているが、
シフトクロックによりデータがシフトレジスターの各段
１１〜１１６をシフトするため、乗算器■ ４０３にはデータｘ　　、ｘ　　、ｘ　　、ｘ　　、ｘ
５゜Ｘ４が逐次与えられる。乗算器４０３は、それぞれ
のデータＸ　について重み係数データａ３１との積ａ　
　Ｘ　　、ａ　　Ｘ　　、ａ　　Ｘ　　、ａ　　Ｘ　　
。

ａ３４ａ４を作り、加算器４０４へ出力する。

加算器４０４の出力アキュームレータ４０５１：与えら
れ、アキュームレータ４０５の出力が加算器４０４へ戻
されることで、Σ　ａ３１ＸＩが得られる。

具体的には、アキュームレータ４０５にロード信号が与
えられると初期化が行われ、その後シフトクロックが信
号５１を介して与えられる毎にアキュームレータ４０５
の記憶内容が出力され、乗算器４０３の出力とアキュー
ムレータ４０５の出力が加算器４０４で加算され、アキ
ュームレータ４０５に記憶される。従って、シフトレジ
スターの各段１１をデータが一周することでアキューム
るが、重み係数データａ３３〜ａ３６がゼロであるから
、実際にはａ　Ｘ　＋ａ３１Ｘｌが記憶される。

この演算結果データａ３２Ｘ２＋ａ３１Ｘ１はロード信
号が出力バッファ４０６に与えられて出力バッファ４０
６の出力が通過するようにされて、段１１３ヘロードさ
れる。

アキュームレータ４０５と出力バッファ４０６との間に
設けた関数回路４０７は、出力時に上記演算結果に所要
の関数演算を施すために設けられているもので、ニュー
ロンの性質によっては設けても設けなくともよい構成で
ある。このように、乗算器４０３、加算器４０４、アキ
ュームレータ４０５は積和演算部４２を構成している。

出力手段３の具体的構成は、第１図かられかるように第
４図とほぼ同じであるが、ロード信号が与えられたとき
第４図の出力バッファ４０６からシフトレジスタ１の段
１１へ演算結果をロードするのではなく、当該演算結果
をネットワーク外へ送出するように構成されている点が
異なる。

次に、上記の構成により実現された第２図のモデルにお
ける演算動作を、第５図を用いて説明する。

（ステップｌ）　まず、最初のロード信号によっテ、入
力層のニューロン２１．２２より人力データＸ　、Ｘ　
がシフトレジスターの段１１１゜１１２ヘロードされる
。次に、シフトクロックが与えられてデータがシフトレ
ジスターの各段１１を一周すると、中間層のニューロン
２３．２４の演算結果がアキュームレータ４０５に記憶
された状態となる。ここまでのデータの流れを実線で示
すと、第５図（ａ）のようになる。

（ステップ２）次に、制御手段５よりロード信号が出力
されると、中間層のニューロン２３゜２４で１４られた
演算結果がシフトレジスターの段１１．１１４ヘロード
される。そして、シフトクロックが与えられてデータが
シフトレジスターの各段１１を一周すると、出力層のニ
ューロン２５．２６にはネットワーク外に出力するデー
タ（演算結果）が求まっており、次のロード信号でこの
データが出力される。このようなデータの流れを示すと
、第５図（ｂ）の実線のようになる。

このとき、並行して中間層のニューロン２３゜２４は次
に人力層のニューロン２１，２２から出力される人力デ
ータについて、第５図（ａ）で示した演算を実行してお
り（第５図（ｂ）の破線で示す。）、ニューラルネット
ワークシステムの持つ並列性が実現される。

（ステップ３）そして、次のロード信号が与えられたと
き、中間層のニューロン２３，２４は上記（ステップ２
）のときに第５図（ｂ）の破線で示すような動作で得た
演算結果を、シフトレジスターの段１１，１１４ヘロー
ドする。そして、シフトクロックが与えられ、シフトレ
ジスターの段１１をデータが一周すると、出力層のニュ
ーロン２５．２６にネットワーク外へ出力するデータ（
第５図（ｂ）の破線で示される流れのデータについて演
算を施したもの）が揃うことになる（第５図（ｃ）の破
線）。このとき、並行して人力層のニューロン２１，２
２、中間層のニューロン２３．２４においては、データ
の流れが第５図（ｃ）の−点鎖線で示すように生じてお
り、第５図（ａ）で説明したのと同様の動作により、新
たな入力データに対し、ニューロン２３．２４に演算結
果が揃う。以下、同様の動作が繰り返されることになる
。

次に、第２図のモデルを他の構成により実現した場合を
第６図に示す。

第４図かられかるように、出力手段３はシフトレジスタ
ーの段１１にデータをロードすることはしない。従って
、出力手段３を独自にシフトレジスターの段１１に接続
せずに、入力手段２か演算手段４かの内部に設けるよう
にする。そこで、具体例としては、第６図に示すように
シフトレジスタ１の段１１．１１　　に入出力手段６．
６を接続して人力手段２．２２と出力手段３□。

３　との機能を発揮させ、シフトレジスター１．。

１１６を取り除く。

上記の入出力手段６の構成を第７図に示す。ここては、
係数メモリ６０１がシフトレジスターの段数４段に対応
して、４ワードの容量を有し、重１５１　　１５２がゼ
ロとされている。

み係数データａ　　　、ａ また、ネットワーク外からの入力データが直接に出力バ
ッファ４０６へ与えられて入力手段２に対応する構成と
なっており、アキュームレータ４０５の出力が（必要で
あれば関数回路４０７を介して）ネットワーク外へ送出
される構成となり、出力手段３が実現され得るようにな
っている。その他の構成は、第４図で説明した演算手段
４のものに等しい。

この実施例では、当初のロード信号により、入出力手段
６からシフトレジスターの段１１、。

１１２に入力データがロードされ、シフトクロックでデ
ータのシフトが行われデータが一周すると、演算手段４
．４□に演算結果が揃う。なお、演算手段４の係数メモ
リ４０２も重み係数データａ３１〜”３４を保持するに
留まる。そこで、次のロード信号により上記演算結果が
シフトレジスターの段１１，１１４にロードされ、シフ
トクロッりによりデータがシフトされて更に一周すると
、入出力手段６のアキュームレータ４０５に出力すべき
演算結果が記憶されており、次のロード信号によりネッ
トワーク外部へこの演算結果が送出される。いずれの場
合にも、メモリポインタ４０１の指示により、係数メモ
リ４０２．６０１からシフトクロックの到来毎に適宜な
重み係数データが出力されるのはいうまでもない。

次に、第８図において、出力手段３の係数保持部３１と
、演算手段４の係数保持部４１との構成を変えた実施例
を示す。

ここでは演算手段４Ａを示すが、出力手段（入出力手段
を含む）も同様に構成される。この実施例では、メモリ
ポインタ４０１を用いずに、ニューロン番号データ（各
段に割当てられたアドレスデータ）を環状のシフトレジ
スタ１に対し二重化して設けたシフトレジスタ７の各段
７１で係数メモリ４０２　（６０１）を制御し、対応の
重み係数データを出力させる。このような動作を行わせ
るための構成が第８図に示すものである。

上流（データが流れている上流）側のシフトレジスタ１
の段からデータが、当該演算手段４Ａが接続されている
シフトレジスタ１の段１１に到来すると、このデータを
ロードしたニューロン番号データが同時にシフトレジス
タ７の段７１へ到来する。また、ロード信号が与えられ
たときに出力バッファ４０６を介してデータが段１１ヘ
ロードされるとともに、あらかじめ設定されているレジ
スタ７２内の自局の二ニーロン番号データが段７１ヘロ
ードされる。従って、ニューロン番号データはデータと
ともにロードされて周回する。係数メモリ４０２　（６
０１）では段７１に保持されたニューロン番号データに
対応する重み係数データを出力する。このような構成の
演算手段４Ａまたは出力手段を用いても、第３図および
第６図に示したニューラルネットワークシステムを構成
できることは明らかである。

本発明は上記の実施例に限定されるものではなく、種々
の変形が可能である。

例えば、演算手段による演算は積和演算以外にニューロ
ンの性質によって適宜な演算を採用してよい。また、出
力手段は演算機能は含まず、単にデータを出力する（ｆ
ｆｉみ係数データを１と考えてもよいが）構成であって
もよい。

さらに、本実施例では演算手段が独立して設けられた中
間層を必ず有する構成を示したが、この中間層は必ずし
も必要はなく、演算手段及び出力手段を有する出力層と
データをニューロンネットワークシステム外から取込む
入力手段とを有していればよい。また、第２図に示した
ニューラルネットワークシステムのモデルは、パックプ
ロパゲーション型としたが、本発明は他の型にも適用可
能である。

〔発明の効果〕

以上、詳細に説明したように本発明によれば、データを
環状のシフトレジスタで各手段へ送出する構成を採るの
で、手段間を相互接続する構成が不要となり、構成を簡
素化し得るものである。また、入力手段、出力手段およ
び演算手段がシフトレジスタの段に接続されて独自にデ
ータを取込み、必要な手段で演算を行い得るから、ニュ
ーラルネットワークの並列性を的確に実現できる効果が
ある。

また、係数メモリをメモリポインタでアクセスするか、
各段に割当てられたアドレスデータを周回させてアクセ
スするかしているため、所要する係数データを的確に選
択して所定の演算を行うシステムが実現され得る。

【図面の簡単な説明】

第１図は、本発明の一実施例に係るニューラルネットワ
ークシステムを模型的に示した構成図、第２図は、ニュ
ーラルネットワークシステムの一つのモデルを示す図、
第３図は、本発明の一実施例に係るニューラルネットワ
ークシステムの構成図、第４図は、第３図に示されたニ
ューラルネットワークシステムの要部の一実施例の構成
図、第５図は、第２図に示したニューラルネットワーク
システムの動作を示す図、第６図は、本発明の他の実施
例に係るニューラルネットワークシステムの構成図、第
７図および第８図は、ニューラルネットワークシステム
の要部の他の実施例の構成図、第９図は、ニューロンモ
デルの説明図である。 １．７・・・シフトレジスタ、２．２．２２・・・入ｌ 力手段、３．３．３゜・・・出力手段、４．４　。 ４．４Ａ・・・演算手段、５・・・制御手段、６，６□
。 ６　・・・入出力手段、１１．１１　〜１１．７１・・
・シフトレジスタの段、２１〜２６・・・ニューロン、
３１．４１・・・係数保持部、３２．４２・・・積和演
算部、７２・・・レジスタ、４０１・・・メモリポイン
タ、４０２．４０１・・・係数メモリ、４０３・・・乗
算器、４０４・・・加算器、４０５・・・アキュームレ
ータ、４０６・・・出力バッファ、４０７・・・関数回
路。 特許出願人　　住友電気工業株式会社 代理人弁理士　　　長谷用　　芳　　樹第 図

Claims (6)

【特許請求の範囲】
1. １．環状に接続された複数段のシフトレジスタと、 このシフトレジスタに接続され、ネットワーク外からの
   入力データを接続された段へセットする入力手段と、 前記シフトレジスタに接続され、その接続された段から
   データを取出してネットワーク外へ出力する出力手段と
   、 重み係数データを保持し、前記シフトレジスタに接続さ
   れて、接続された段からシフト毎にデータを取込み前記
   重み係数データのうち対応するものを用いて次々に所定
   演算を行う一方、ロード指示を受けて前記演算結果のデ
   ータの処理を行う演算手段と、 前記シフトレジスタのシフト動作及び前記ロード指示に
   係る制御を行う制御手段とを備えたことを特徴とするニ
   ューラルネットワークシステム。
2. ２．前記演算手段は、前記出力手段と入力手段とが接続
   される段とは異なる段に接続され、ロード指示を受けて
   演算結果のデータを当該接続された段へセットすること
   を特徴とする請求項１記載のニューラルネットワークシ
   ステム。
3. ３．前記演算手段は、前記出力手段と同じ段に接続され
   当該出力手段が取出したデータについての処理を行うこ
   とを特徴とする請求項１記載のニューラルネットワーク
   システム。
4. ４．前記入力手段と出力手段とが同一の段に接続されて
   いることを特徴とする請求項１乃至３のいずれかの項に
   記載のニューラルネットワークシステム。
5. ５．前記演算手段は係数データが記憶された係数メモリ
   及び当該係数メモリの係数データを指示するメモリポイ
   ンタを有し、シフトレジスタのシフト動作に同期して前
   記メモリポインタを動作させることを特徴とする請求項
   １乃至４のいずれかの項に記載のニューラルネットワー
   クシステム。
6. ６．各段のアドレスデータを周回させる環状のシフトレ
   ジスタを設けると共に、前記演算手段は各段に割当てら
   れたアドレスデータに対応して係数データが記憶された
   係数メモリを有し、前記シフトレジスタを周回する各段
   のアドレスデータに基づき前記係数メモリをアクセスす
   ることを特徴とする請求項１乃至５のいずれかの項に記
   載のニューラルネットワークシステム。