JPH02207369A - ニューラルネットワーク計算機 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はニューラルネットワークを高速にシミュレーシ
ョンできるニューラルネットワーク計算機に関する。

〔従来の技術〕

ニューラルネットワークを実現するハードウェアとして
、差動アンプを相互接続する方法やディジタル回路によ
って実現する方法などが考案されている。

〔発明が解決しようとする課題〕

これら従来技術はいずれも数百程度のニューラルネット
ワークを実現しているに過ぎない。汎用計算機において
プログラムによってシミュレーションする方法もあるが
、大規模なニューラルネットワークにおいては膨大な計
算時間を必要とする。

本発明は、大規模なニューラルネットワークを高速に計
算することができる新規な構成を有するニューラルネッ
トワーク計算機を提供することを目的としてなされたも
のである。

〔課題を解決するための手段〕

本発明のニューラルネットワーク計算機は．ニユーロモ
デルを計算する複数のニューロプロセッサとそれら複数
のニューロプロセッサ間を相互通信可能とする通信手段
を有し、上記複数の各ニューロプロセッサは過去の状態
を保持する手段と他のニューロプロセッサからの出力を
受け取ると上記ニューロモデルを計算する手段と、該計
算結果と上記過去の状態との差分を出力させる手段とを
有してなる構成としたものである。また、上記各ニュー
ロプロセッサを、上記差分がゼロでないときにのみ差分
値を出力するように構成する。

〔作用〕

ニューラルネットワークが安定状態へ移行するとき、各
ニューロンによって安定状態に速く到達するニューロン
と安定状態に遅く到達する二ニーロンがある６本発明に
よれば、速く安定状態に到達したニューロンの計算及び
その通信を省くことにより、計算時間を短縮することが
できる。従って１本発明を用いれば、大規模なニューラ
ルネットワークを高速にシミュレーションすることがで
きる。

〔実施例〕

ニューロモデルの一例を以下に説明する。

ニューロモデルは自分以外のニューロンがらの出力値Ｘ
　Ｏｇ　１１　＠　”’　Ｉ　Ｎ−１を入力し、各ニュ
ーロモデルは、 Ｊ＃ｉ を計算する。ここで、Ｗ　ｔ　ａはニューロモデルｊか
らニューロモデルｉへ接続するときの重み値である。関
数ｆはＳｉｇｍｏｉｄ関数で、 ｆ（Ｓ）＝１／（１＋Ｅｘｐ（（ｓ−８）／Ｔ））・・
・（２） の関数である。Ｓはしきい値、Ｔは定数である。

本発明は、以上に示すようなニューロモデルを相互接続
して構成するニューラルネットワークに関するものであ
る。

第１図は本発明を実現した計算機の一実施例の構成を示
すブロック図である。以下、第１図を用いて本発明を説
明する。

第１図では、ニューロプロセッサｉが出力し。

ニューロプロセッサｊがその出力値を入力する動作を示
している。ニューロプロセッサｉは最後に出力したとき
の（］）式の計算結果ｘ　、　ｔ−１と最新のニューロ
モデルの計算結果Ｘ　１ｔの差分。

Δ　Ｘｉ　　＝　Ｘ＋’−Ｘ＋’　−工　　　　　　　
　　　　　　　　　　　　　・　　（３）を出力する。

このとき、バスコントローラ１１はニューロプロセッサ
主のトライステートバッファ１２を出力状態とし、それ
以外のニューロプロセッサのトライステートバッファ１
２を人力状態として、データバス９及びアドレスバス１
０を介して、データ値（差分値出力）及びデータ発信元
のニューロプロセッサのアドレスｉを他の全ニューロプ
ロセッサに通信する。

その後の各ニューロプロセッサの動作について説明する
６例えば、ニューロプロセッサｊはアドレスバス１０か
ら発信元アドレスｉを人力すると、ニューロプロセッサ
ｊ内に保持している重み値メモリ値８に格納されている
ニューロモデルｉに対する重み値Ｗ　ｉ　ａを読みだす
、また、データバス９からニューロモデルｉの差分値出
力ΔＸｉ　を人力する。そして１乗算器３によって、積
ΔＸ、・Ｗ　Ｉ　Ｊを計算する。その乗算結果ΔＸｉ・
Ｗ　Ｉ　Ｊは累積加算器４に送られ、累積加算される。

累積加算器４は、上記乗算結果が出力されるごとに累積
加算を行う、累積加算結果は、Ｓｉｇｍｏｉｄ変換器２
に送られ、Ｓｉｇｍｏｉｄ変換される。

以下に差分値を出力することで（１）式を計算できるこ
とを示す、ｌ！在の累積加算結果をＳｔ、最後に差分値
を出力したときの累積加算結果を５ｔ−１とする。

ｊ＃ｉ （３）式から ｊ＃ｉ ｊ＃ｉ ｊ＃ｉ となり、各ニューロプロセッサは最後の（１）式の計算
結果ＳＬ”’１を保持し、各ニューロプロセッサから差
分値を入力すれば、最新の（１）式と同じ計算結果を得
ることができる６また。１度計算が実行されると、累積
加算器４は過去の累積結果をリセットせず、累積加算器
４は１乗算器３が出力するたびに。

ｓ”＝ｓ”″１＋Δ　ｘＪ　−Ｗｉ−・・・（６）を実
行するだけでよ＜、（６）式は（５）式を計算している
ことになる。

以下、ニューロプロセッサが出力するときの動作につい
て、ニューロプロセッサｉにおいて説明する。

ニューロプロセッサｉの（４）式の累積加算結果をｘｔ
’とし、ニューロプロセッサｉのラッチ回路７に最後に
出力したときの結果Ｘ−″″ｌを保持している。ニュー
ロプロセッサｉは減算器５によって、（３）式の差分値
を計算する。

データバス９が１本と仮定すると、バスコントローラ１
１は全ニューロプロセッサの内１つのニューロプロセッ
サを選択し、出力許可をする。例えば、ニューロプロセ
ッサｉが出力許可を受けたとき、データバス９にその差
分値出力Δｘｉを出力し、アドレスバス１０にアドレス
ｉを出力する。

また、差分値Δｘ１はＯ検出器６にも送られ、Ｏ検出さ
れる。その結果はバスコントローラ１１に送られ、もし
差分値がＯならば、ニューロプロセッサｉの出力は他の
ニューロプロセッサへ通信されない、ニューロンｉの状
態が変わらないとき、それに関するデータ通信及び計算
をスキップしている。差分値結果が０でない場合はデー
タバス９及びアドレスバス１０を介して、他のニューロ
プロセッサに通信され、ニューロプロセッサｉではラッ
チ回路７にそのときのｘｔ　を新たに保持する。

以上の動作をニューロプロセッサ０〜Ｎ−１を順番に繰
返し行えば、（１）式を計算することができる。全ニュ
ーロプロセッサにおける０検出器６のすべてがＯを検出
すれば、ニューラルネットワークが安定状態となったこ
とになり、計算を終了する。

本発明はニューロプロセッサ１を複数個用意し、並列に
ニューロモデルを計算することで、大規模なニューラル
ネットワークを高速にシミュレーションできる。また、
１個のニューロプロセッサ１で複数のニューロモデルを
計算することもできる。

第２図に本発明の効果を示す１本図は横軸に繰返し回数
を縦軸に、そのときの（１）式を１回計算するための１
サイクルあたりの差分値結果のデータ転送回数を示して
いる。繰返し回数が増えていくと、徐々に差分値がＯと
なる安定状態のニューロンが増加してゆくため、１サイ
クルあたりのデータ転送回数が減少していく、そのため
１本図に示した斜線部の計算を省くことができる。

〔発明の効果〕

本発明によれば、大規模なニューラルネットワークのシ
ミュレーションを高速に実現できる。また、非同期に各
ニューロンを動作させるシミュレーションを行うことも
できる。

【図面の簡単な説明】

第１図は本発明の実施例のニューラルネットワーク計算
機の構成を示すプロ角り図、第２図は本発明の効果を示
すデータ転送回数の繰り返し回数に対する変化率を示す
グラフである。 １・・・ニューロプロセッサ、２・・・Ｓｉｇｍｏｉｄ
変換器、３・・・乗算器、４・・・累積加算器、５・・
・減算器、６・・・０検出器、７・・・ラッチ回路、８
・・・重み値メモリ、９・・・データバス、１０・・・
アドレスバス、１１・・・バスコントローラ、１２・・
・トライステートバッファ、１３・・・アドレス出力回
路。 第１図 繰り返し回数 １．３・−・７トレス山刃１！！ｌ蹟

Claims (2)

【特許請求の範囲】
1. １．ニユーロモデルを計算する複数のニユーロプロセツ
   サを相互通信可能とする通信手段を介して接続されるニ
   ユーラルネツトワーク計算機において、上記ニユーロプ
   ロセツサは過去の状態を保持する手段を有し、他の上記
   ニユーロプロセツサの出力を受け取ると上記ニユーロモ
   デルを計算し、該計算の計算結果と上記過去の状態との
   差分を出力することを特徴とするニユーラルネツトワー
   ク計算機。
2. ２．ニユーロモデルを計算する複数のニユーロプロセツ
   サを相互通信可能とする通信手段を介して接続されるニ
   ユーラルネツトワーク計算機において、上記ニユーロプ
   ロセツサは過去の状態保持する手段を有し、他の上記ニ
   ユーロプロセツサの出力を受け取ると上記ニユーロモデ
   ルを計算し、該計算の計算結果と上記過去の状態との差
   分値を計算し、該差分値が零でない場合に他の上記ニユ
   ーロプロセツサに上記差分値を出力することを特徴とす
   るニユーラルネツトワーク計算機。