JPH0264880A - パイプライン処理を用いたニューラルアーキテクチュア - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔１既　　　　　要〕 ニューラルネットワークの構成要素であるニューロンの
動作をモデル化したアナログニューロンＬＳＩによる情
報処理の高速化のためにパイプライン処理を用いたニュ
ーラルネットワークに関し、ニューロンのモデルとして
のアナログＬＳＩの中に中間結果を格納する２個のバッ
ファを設け、次層への出力を行いながら、同時にパイプ
ライン方式で次の入力パターンに対するアナログ計算を
行うことによりニューラルネットワークの高速化を実現
することを目的とし、 ニューロンをモデル化したアナログＬＳＩをユニットと
して用いた層構造ニューラルネットワークにおいて、前
記アナログＬＳＩが該ＬＳＩへの入力値と該入力に対す
る重みとの積を計算する乗算手段と、前記アナログＬＳ
ｔへの複数の入力について、該乗算手段の出力の総和を
とる加算手段と、該加算手段の出力に対する非線型関数
値を計算する関数値計算手段と、入力側から前段回路を
介して得られる中間値および後段回路を介して伝送する
ための中間値をそれぞれ記憶する第１と第２の記憶手段
とを備え、前記層構造ニューラルネットワークの入力層
以外の複数の層のそれぞれについて、該各層内の複数ユ
ニットへの人カバターンに対する該複数各ユニットの出
力値の計算を並行して行い、該計算結果を次層に出力し
ながら次の入力パターンに対する中間値の計算を行うよ
うに構成する。

〔産業上の利用分野〕

本発明はニューラルネットワークにおける情報処理に係
り、更に詳しくはニューラルネットワークの構成要素で
あるニューロンの動作をモデル化したアナログニューロ
ンＬＳＩによる情報処理の高速化のためにパイプライン
処理を用いたニューラルネットワークに関する。

人間の脳の持つ高度並列分散処理型情報処理方式に学ん
だニューラルネットワークやニューラルコンピュータの
研究が盛んに行われつつあるが、特にニューラルネット
ワークにおける処理の高速化が強く望まれている。

〔従来の技術〕

ニューラルネットワークにはその２つの極として相互結
合ネットワークとＮ構造ネットワークとが存在するが、
本発明では学習する神経回路網のモデルとしてパーセプ
トロン型ネットワークである層構造ネットワークをその
対象とし、その例を第５図に示す。

層構造ニューラルネットワークは、いわゆるグラフの形
式で表現される。その入力部、出力部はそれぞれ入力層
、出力層と呼ばれる。入力層（１層）、出力層（０層）
にはそれぞれ複数の節点（ノード、ユニット）があり、
神経回路網ではそれぞれがニューロン（神経細胞）に対
応する。入力層のｍ個の各ユニットからネッｌ−ワーク
の内部へ技（ブランチ、アーク）がのび、ネットワーク
内部の中間層（Ｈ層）にあるユニットに達する。

同様に中間層のｎ個の各ユニットと出力層の２個の各ユ
ニットとはアークで結ばれている。そして、これらの各
アークには情報や伝播するときの重み付けの定数が与え
られ、情報はこの重みとの積として伝播する。

一般に節点集合■と枝集合Ｅとから成るグラフＧ＝　（
Ｖ、Ｅ）において、点集合■を部分集合Ｖ＋　、Ｖ２　
’（＝Ｖ　　Ｖ＋　）　に分割し、「Ｅに属するどの技
も一方の端点をＶ、の中にもち、他方の端点を■２の中
にもっ」という性質があるとき、Ｇを２部グラフという
。。第５図で入力層と中間層との部分だけを見れば２部
グラフになっており、また中間層と出力層の部分だけを
とっても２部グラフになついる。

第５図において、入力層（１層）の各ユニットには、入
力データパターンに従ってそれぞれ入力データが与えら
れる。これらの入力データに経由するアークの重みが乗
じられて中間層の各ユニットに与えられる。これらの入
力と重みとの積により後述のように中間層の各ユニット
の出力が決定され、そのデータに経由するアークの重み
が乗じられて出力層の各ユニットへ情報が伝播し、出力
層各ユニットの出力値が決定される。

ニューラルネットワークの各ユニット（第５図では中間
層と出力層の各ユニット）の出力値ｙｊ（１）は例えば
次式により与えられる。

（シグモイド関数） ・・・・・（１） ここでｙＩはユニットｊの入力側にアークで結合された
ユニットｉの出力、ＷＪｌはこのアークの重みを、ＸＪ
はユニッｌ−ｊへの入力と重みの積の総和を、またθｊ
はユニットｊのバイアス値（闇値）をあられす。さらに
Ｌはニューラルネットワークの学習の回数、すなわち各
ユニット間アークの重み更新の回数である。

このような出力値の計算方式をモデル的に第６図に示す
。同図において、ニューロンのモデルの入力側にアーク
で結合された複数個の各ユニットの出力ｙｉに各アーク
の重みＷＪｌが乗じられ、それらの総和としてＸＪが求
められる。そしてこのＸＪと閾値θ、との非線型関数、
例えば前述のシグモイド関数としてニューロンの出力ｙ
、が決定される。

〔発明が解決しようとする課題〕

上述のようなニューロンの出力決定処理、すなわちニュ
ーラルネットワークにおける情報処理方式の従来例を第
７図に、またその処理タイムチャートの従来例を第８図
に示す。

第７図は３層構造ニューラルネットワークの中間層内の
ユニットの出力計算処理方式を示す。同図において入力
層のｍ個のユニットからの入力はライトレジスタ１を経
由してメモリ２の入力領域内に格納される。人力層のユ
ニットから中間層の各ユニッ）Ｈ＋〜Ｈｎへのアーク（
入力層ユニットがｍ個あるのでｍＸｎ本）の重みはメモ
リ２内の重み領域に格納されている。

中間層のユニットＨ１の出力の計算時には入力層の各ユ
ニットの出力とそれに対応する重みとがリードレジスタ
３を経由して作業レジスタであるＡレジスタ４とＢレジ
スタ５とにそれぞれ格納され、第８図に示したように各
入力に対する重みとの積、その総和、シグモイド関数の
値がＡＬＵ６により計算され、作業用のＣレジスタ７及
びライトレジスタ１を経由してメモリ２内の出力領域に
格納される。

以上のＨｌに対する計算が第８図のタイムチャートにお
ける破線の前の処理である。すなわち’ｌｒからｙ。ま
での中間層への各入力に対して重みとの積と、その累積
和の計算が行われ、総和に対するシグモイド関数の値が
メモリにストアされる。

破線部は中間層のニューロンＨ２からＨｎ　−１に対す
る計算を示し、最後にＨｌに対する計算が行われて、処
理が終了する。

このように、従来はニューロンをあられすユニットの出
力計算時において、まず入力値をメモリに格納し、その
値と重みとをメモリから順次リードしてＡＬＵによる計
算を行うために、処理に非常に時間がかかるという問題
があった。

本発明は、ニューロンのモデルとしてのアナログＬＳＩ
の中に中間結果を格納する２個のバッファを設け、次層
への出力をｊテいながら、同時にパイプライン方式で次
の入力パターンに対するアナログ計算を行うことにより
ニューラルネットワークの高速化を実現することを目的
とする。

〔課題を解決するための手段〕

本発明におけるニューロンモデルの原理ブロック図を第
１図に示す。同図において乗算手段８はニューロンモデ
ルとしてのアナログＬＳＩの入力側にそれぞれアークで
結合された複数のユニットからの入力について、各入力
値とそれが入力するアークの重みとの積を計算する。こ
こで、アークの重みは例えば図示しないメモリからリー
ドされる。

加算手段９は乗算手段８によって求められたアナログＬ
ＳＩへの個々の入力値とそれが入力するアークの重みと
の積をすべての人力について累積加算する。

関数値計算手段１０は加算手段９の出力と、各ニューロ
ンに対する闇値とを用いて、非線型関数、例えば前述の
シグモイド関数の値を計算する。

第１と第２の記憶手段１１は入力側から前段回路を介し
て得られる中間値及び後段回路を介して伝送するための
中間値をそれぞれ記憶し、ニューロンの出力値として自
ユニットが所属する層の次層を構成する各ユニットに対
して、それを出力する。

また、ニューロンをモデル化したアナログＬＳＩをユニ
ットとして用いた層構造ニューラルネットワークにおい
て、アナログＬＳＩが８亥ＬＳＩへの入力値と該入力に
対する重みとの積を乗算しく８）、アナログＬＳＩへの
複数の入力について、乗算手段８の出力の総和を加算し
く９）、その結果を格納する第１の電圧格納手段と、第
１の電圧格納手段の出力に対する非線型関数の入力また
は出力を格納する第２の電圧格納手段と、前段の入力信
号と外部から与えられる重みデータとの積の和を第１の
電圧格納手段に格納する動作と、第２の電圧格納手段の
結果による出力アナログ信号を後段のユニットに伝送す
る動作を同時に行う制御手段とを有することを特徴とす
る。

〔作　　　用〕

第１図のニューロンモデルは例えば第５図に示したニュ
ーラルネットワークを構成するために用いられる。この
ようなニューラルネットワークでは、前述のように中間
層、出力層内の各ユニットの出力値の計算に弐（１）、
　（２）が用いられる。

ある入力パターンが与えられると、まず乗算手段８と加
算手段９とにより、中間層のニューロンモデルとしての
アナログＬＳＩのそれぞれに対して、入力値と重みとの
積、およびその総和、すなわち（２）弐の計算が行われ
る９次に加算手段９の出力に基づき、関数値計算手段１
０により（１）式を用いて出力値の計算が行われ、その
入出力の結果はそれぞれ第１と第２の記憶手段１１に格
納される。

以上の計算は、本発明においては、第８図の従来例のよ
うに中間層の各ユニットに対してシリアルに行われるの
ではなく、各ユニットに対して並行して同時に行われる
。この計算が終了すると、直ちに次の入力パターンに対
する出力値の計算が各ユニットに対して並行に開始され
る。

前の入力パターンに対する中間層の出力は、出力層への
入力として与えられ、中間層と同様に出力層内各ユニッ
トの出力値の計算に用いられるが、中間層の値は記憶手
段１１に記憶されているので、必要な時点でその出力が
行われる。

以上のように、本発明では、２つの記憶手段にそれぞれ
異なる中間結果を格納することでニューラルネットワー
クの処理にパイプライン方式を適用することができる。

〔実　　施　　例〕

本発明におけるニューラルネットワークの中間層の実施
例のブロック図を第２図に示す。中間層はＨｌからＨｎ
までのｎ個のニューロンモデルとしてのアナログＬＳ１
１２ａ〜１２ｎから構成され、各ＬＳＩは第１図の乗算
手段８に相当する積算器１３ａ〜１３ｎ、加算手段９に
相当する和算器１４ａ−１４ｎ、関数値計算手段１０に
相当するシグモイド計算器１５ａ〜１５ｎ、及び第１と
第２の記憶手段１１に相当するバッファ１６ａ〜１６ｎ
から成る。

さらにニューラルネットワークに対して、ネットワーク
内の２つのユニットを結ぶアークの重みを格納するため
のメモリ領域が用意されている。

第２図には中間層用のみのメモリ領域が示されているが
、出力層に対しても同様のメモリ領域が存在する。

このメモリ領域は中間層のｎ個のユニットＨ＋からＨｎ
に対して、入力層のｍ個の各ユニットからのアークに対
応して、それぞれｍ個、合計量×ｎ個の領域１７ａ〜１
７ｎである。これらの領域には、例えば各ユニット用の
ライトレジスタ１日ａ〜１８ｎを経由して、あらかじめ
重みの値が格納されている。

第２図の中間層の各ユニッｔ−１２ａ〜１２ｎに対する
処理を第３図のタイムチャートを参照しながら説明する
。まず、中間層への第１回の入力パターン、すなわち入
力層の各ユニットからの入力データに対する処理が開始
される。

中間層の各ユニッ）　（Ｈ＋〜Ｈｎ）１２ａ〜１２ｎに
対して、入力層のユニット■１からの入力ｙｌが同時に
与えられ、各ユニットに対する計算が同時に開始される
。ユニッ）Ｉ＋　と中間層の各ユニットとを結ぶアーク
の重みがメモリ領域１７ａ−１７ｎからリードレジスタ
１９ａ〜１９ｎを経由して各ユニット内の積算器１３ａ
−１３ｎに与えられ、入力ｙＩとの積が求めれらる。そ
の積は和算器１４ａ−１４ｎに与えられる０次に入力層
のユニットＩ２からの人力ｙ２に対しても同様な計算が
成され、重みとｙｌとの積が和算器１４３〜１４ｎに与
えられ、累積加算される。

同様にして、入力層の各ユニットからの全入力に対して
計算が成され、最後のユニッｌ−１゜からの人力ｙ、に
対する積和が求められ、その結果が第１のバッファ１６
ａに格納される。その第１のバッファ内容は第２のバッ
ファ１６ａ’に移されれ、その結果をシグモイド関数値
を介して伝送される。このとき、第１のバッファの内容
は使用済みとなるので、中間層の各ユニット（Ｈ１〜Ｈ
，、）１２ａ〜１２ｎに対してはその後直ちに２回目の
人カバターンが与えられ、１回目と同様に処理が行われ
、その結果が第１のバッファ１６ａに格納される。同時
に第１のバッファ１６ａの内容がシグモイド計算器を介
して、あるいは直接的に、中間層により伝送され、出力
層内の各ユニット０＋〜０２に対する処理が開始され、
まず中間層の二二ッ）　（Ｈ＋　）１２ａから出力層内
の各ユニットに対して人力ｙｌが与えられる。ここで、
図示しないメモリ領域に格納されている中間層と出力層
とを結ぶアークの重みとｙｌとの積和が計算される。次
に中間層のユニッ）（Ｈｚ）１２ｂからの入力ｙ２に対
して同様の処理が行われる。入力ｙ２は、この時点で、
ユニッ）Ｈｚ内の第２のバッファ１６ｂ’から与えれら
るので、この時点まで、出力値が保持されることになる
。

同様にして、中間層のユニットＨｎの第２のバッファ１
２ｎ′からの入力に対して積和計算が行われ、出力層の
ユニット内の第１のバッファに移結され、第２のバッフ
ァに移されたのち、その結果に対してシグモイド関数値
が求められると１回目の入力パターンに対する出力層で
の処理が終了し、その後、２回目の人カバターンに対す
る処理が続行される。

第４図はアナログニエーロンＬＳＩを用いたニューラル
ネットワークの実施例の構成図である。

図示しない入力層は１０個のユニットがら成り、４個の
ユニット２０ａ〜２０ｄからなる中間層、２個のユニッ
ト２１ａ、２１ｂから成る出力層とともにニューラルネ
ットワーク７を構成する。同図において、入力データ１
０個は入力層の１０個のニューロンからの入力であり、
中間層及び出力層内の各ニューロンＬＳＩ内のＣＩは第
１のバッファに相当し、各ＬＳＩ内での積和結果を記憶
しておくためのコンデンサ、Ｃ２は第１のバッファの結
果をバッファリングする第２のバッファに相当し、各Ｌ
ＳＩの出力は、第２のコンデンサＣ２をシグモイド関数
を介すか、またはそのままの値となる。

すなわち、コンデンサＣ２はサンプルホールド用のコン
デンサである。

第４図において、中間層の４個のニューロン２０ａ〜２
０ｄが１０個の人力データに対しての積和演算を終了し
、その結果がコンデンサＣ１に端子電圧として記憶され
ているとする。そして、その結果がコンデンサＣ２に移
され、コンデンサＣ１の前段にある回路とコンデンサＣ
２の後段の回路がアナログ的に分離される。コンデンサ
Ｃ２の出力すなわち、その積和結果はシグモイド関数値
に与えられ、伝送されるが、シグモイド関数を介さない
場合もあり、その選択が可能である。この時点から出力
層のＬＳＩ２１ａ、２１ｂでの処理が開始されるが、こ
のとき中間層のＬＳＩ２０ａ〜２０ｄの出力動作は時分
割的にシーケンシャルに行われる。すなわち、まず２０
ａからの出力により出力層のＬＳＩ２１ａ、２１ｂ内で
積和演算が行われ、その後２０ｂ、２０ｃ、２０ｄの順
での出力に対しての積和演算が繰り返し行われ、その積
和の結果が出力層のコンデンサＣ１に格納される。

以上のように、本発明では、中間層のＬＳＩの中間値を
コンデンサＣ２に記憶させておくことにヨリ、各ＬＳＩ
内のコンデンサＣ２は積和演算結果を記憶しておく必要
がなくなり、出力層での処理開始と同時に、次の入力デ
ータに対する中間層での積和演算を開始することが可能
となる。

〔発明の効果〕

以上説明したように本発明によれば、ニューラルネット
ワークの中間層、出力層での処理をアナログ的にパイプ
ライン方式で行うことによりネ・ントワークの高速化を
実現できる。さらに入力値、出力値を外部メモリに格納
する必要がなく、メモリの使用効率が向上する。

【図面の簡単な説明】

第１図は本発明におけるニューロンモデルの原理ブロッ
ク図、 第２図はニューラルネットワークの中間層実施例ブロッ
ク図、 第３図は本発明における処理のタイムチャート、第４図
はアナログニューロンＬＳＩを用いたニューラルネット
ワークの実施例構成図、第５図は層構造ニューラルネッ
トワークの例を示す図、 第６図はニューロンにおける出力の計算モデルを示す図
、 第７図はニューラルネットワークにおけるデータ処理方
式の従来例を示す図、 第８図は従来のデータ処理方式のタイムチャートである
。 １２ａ　〜１２ｎ、２０ａ　〜２０ｄ ・・・中間層のアナログニューロンＬＳＩ、１３ａ〜１
３ｎ・・・積算器、 １４ａ−１４ｎ＝・和算器、 １５ａ〜１５ｎ・・・シグモイド計算器、１６ａ−１６
ｎ・・・第１のバッファ、１６ａ′〜１６ｎ′・・・第
２のバッファ、２１ａ、２１ｂ・・・出力層のアナログ
ニューロンＬＳＩ。 アｊＯグニューＯンＬＳ す叫でｊ箋巳イダリ構ガ５、′ＣＣ１ ０用い氏ニューウルキットヮー７ｆ） ニューロン＋：ｈ゛Ｉ”ｆろ出力／ｌ　＠ｆ＄　Ｅ　７
−”ル第 図 層木犀侶１ニューラルネットワークの４ダリ第 図

Claims (1)

1. 【特許請求の範囲】 １）ニューロンをモデル化したアナログＬＳＩをユニッ
   トとして用いた層構造ニューラルネットワークにおいて
   、 前記アナログＬＳＩが該ＬＳＩへの入力値と該入力に対
   する重みとの積を計算する乗算手段（８）と、 前記アナログＬＳＩへの複数の入力について、該乗算手
   段（８）の出力の総和をとる加算手段（９）と、 該加算手段（９）の出力に対する非線型関数値を計算す
   る関数値計算手段（１０）と、 入力側から前段回路を介して得られる中間値および後段
   回路を介して伝送するための中間値をそれぞれ記憶する
   第１と第２の記憶手段（１１）とを備え、 前記層構造ニューラルネットワークの入力層以外の複数
   の層のそれぞれについて、該各層内の複数ユニットへの
   入力パターンに対する該複数各ユニットの出力値の計算
   を並行して行い、該計算結果を次層に出力しながら次の
   入力パターンに対する中間値の計算を行うことを特徴と
   するアナログパイプライン処理を用いたニューラルアー
   キテクチュア。 ２）ニューロンをモデル化したアナログＬＳＩをユニッ
   トとして用いた層構造ニューラルネットワークにおいて
   、 前記アナログＬＳＩが該ＬＳＩへの入力値と該入力に対
   する重みとの積を乗算し（８）、前記アナログＬＳＩへ
   の複数の入力について、前記乗算（８）の出力の総和を
   加算し（９）、その結果を格納する第１の電圧格納手段
   と、 前記第１の電圧格納手段の出力に対する非線型関数の入
   力を格納する第２の電圧格納手段と、前段の入力信号と
   外部から与えられる重みデータとの積の和を前記第１の
   電圧格納手段に格納する動作と前記第２の電圧格納手段
   の結果による出力アナログ信号を後段のユニットに伝送
   する動作を同時に行う制御手段とを有することを特徴と
   するパイプライン処理を用いたニューラルアーキテクチ
   ュア。 ３）前記第１の電圧格納手段は積分手段のキャパシタで
   あることを特徴とする請求項２記載のパイプライン処理
   を用いたニューラルアーキテクチュア。 ４）前記第２の電圧格納手段は前記積分手段に接続され
   るサンプル／ホールド回路内のキャパシタであることを
   特徴とする請求項２の記載パイプライン処理を用いたニ
   ューラルアーキテクチュア。