JP2679731B2 - パイプライン処理を用いたニューラルアーキテクチュア - Google Patents
パイプライン処理を用いたニューラルアーキテクチュアInfo
- Publication number
- JP2679731B2 JP2679731B2 JP63215105A JP21510588A JP2679731B2 JP 2679731 B2 JP2679731 B2 JP 2679731B2 JP 63215105 A JP63215105 A JP 63215105A JP 21510588 A JP21510588 A JP 21510588A JP 2679731 B2 JP2679731 B2 JP 2679731B2
- Authority
- JP
- Japan
- Prior art keywords
- input
- output
- layer
- lsi
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 〔概要〕 ニューラルネットワークの構成要素であるニューロン
の動作をモデル化したアナログニューロンLSIによる情
報処理の高速化のためにパイプライン処理を用いたニュ
ーラルネットワークに関し、 ニューロンのモデルとしてのアナログLSIの中に中間
結果を格納する２個のバッファを設け、次層への出力を
行いながら、同時にパイプライン方式で次の入力パター
ンに対するアナログ計算を行うことによりニューラルネ
ットワークの高速化を実現することを目的とし、 ニューロンをモデル化したアナログLSIをユニットと
して用いた層構造ニューラルネットワークにおいて、前
記アナログLSIが該LSIへの入力値と該入力に対する重み
との積を計算する乗算手段と、前記アナログLSIへの複
数の入力について、該乗算手段の出力の総和をとる加算
手段と、該加算手段の出力に対する非線型関数値を計算
する関数値計算手段と、入力側から前段回路を介して得
られる中間値および後段回路を介して伝送するための中
間値をそれぞれ記憶する第１と第２の記憶手段とを備
え、前記層構造ニューラルネットワークの入力層以外の
複数の層のそれぞれについて、該各層内の複数ユニット
への入力パターンに対する該複数各ユニットの出力値の
計算を並行して行い、該計算結果を次層に出力しながら
次の入力パターンに対する中間値の計算を行うように構
成する。
の動作をモデル化したアナログニューロンLSIによる情
報処理の高速化のためにパイプライン処理を用いたニュ
ーラルネットワークに関し、 ニューロンのモデルとしてのアナログLSIの中に中間
結果を格納する２個のバッファを設け、次層への出力を
行いながら、同時にパイプライン方式で次の入力パター
ンに対するアナログ計算を行うことによりニューラルネ
ットワークの高速化を実現することを目的とし、 ニューロンをモデル化したアナログLSIをユニットと
して用いた層構造ニューラルネットワークにおいて、前
記アナログLSIが該LSIへの入力値と該入力に対する重み
との積を計算する乗算手段と、前記アナログLSIへの複
数の入力について、該乗算手段の出力の総和をとる加算
手段と、該加算手段の出力に対する非線型関数値を計算
する関数値計算手段と、入力側から前段回路を介して得
られる中間値および後段回路を介して伝送するための中
間値をそれぞれ記憶する第１と第２の記憶手段とを備
え、前記層構造ニューラルネットワークの入力層以外の
複数の層のそれぞれについて、該各層内の複数ユニット
への入力パターンに対する該複数各ユニットの出力値の
計算を並行して行い、該計算結果を次層に出力しながら
次の入力パターンに対する中間値の計算を行うように構
成する。
本発明はニューラルネットワークにおける情報処理に
係り、更に詳しくはニューラルネットワークの構成要素
であるニューロンの動作をモデル化したアナログニュー
ロンLSIによる情報処理の高速化のためにパイプライン
処理を用いたニューラルネットワークに関する。
係り、更に詳しくはニューラルネットワークの構成要素
であるニューロンの動作をモデル化したアナログニュー
ロンLSIによる情報処理の高速化のためにパイプライン
処理を用いたニューラルネットワークに関する。
人間の脳の持つ高度並列分散処理型情報処理方式に学
んだニューラルネットワークやニューラルコンピュータ
の研究が盛んに行われつつあるが、特にニューラルネッ
トワークにおける処理の高速化が強く望まれている。
んだニューラルネットワークやニューラルコンピュータ
の研究が盛んに行われつつあるが、特にニューラルネッ
トワークにおける処理の高速化が強く望まれている。
ニューラルネットワークにはその２つの極として相互
結合ネットワークと層構造ネットワークとが存在する
が、本発明では学習する神経回路網のモデルとしてパー
セプトロン型ネットワークである層構造ネットワークを
その対象とし、その例を第５図に示す。
結合ネットワークと層構造ネットワークとが存在する
が、本発明では学習する神経回路網のモデルとしてパー
セプトロン型ネットワークである層構造ネットワークを
その対象とし、その例を第５図に示す。
層構造ニューラルネットワークは、いわゆるグラフの
形式で表現される。その入力部、出力部はそれぞれ入力
層、出力層と呼ばれる。入力層（Ｉ層）、出力層（Ｏ
層）にはそれぞれ複数の節点（ノード、ユニット）があ
り、神経回路網ではそれぞれがニューロン（神経細胞）
に対応する。入力層のｍ個の各ユニットからネットワー
クの内部へ枝（ブランチ，アーク）がのび、ネットワー
ク内部の中間層（Ｈ層）にあるユニットに達する。同様
に中間層のｎ個の各ユニットと出力層のｐ個の各ユニッ
トとはアークで結ばれている。そして、これらの各アー
クには情報や伝播するときの重み付けの定数が与えら
れ、情報はこの重みとの積として伝播する。
形式で表現される。その入力部、出力部はそれぞれ入力
層、出力層と呼ばれる。入力層（Ｉ層）、出力層（Ｏ
層）にはそれぞれ複数の節点（ノード、ユニット）があ
り、神経回路網ではそれぞれがニューロン（神経細胞）
に対応する。入力層のｍ個の各ユニットからネットワー
クの内部へ枝（ブランチ，アーク）がのび、ネットワー
ク内部の中間層（Ｈ層）にあるユニットに達する。同様
に中間層のｎ個の各ユニットと出力層のｐ個の各ユニッ
トとはアークで結ばれている。そして、これらの各アー
クには情報や伝播するときの重み付けの定数が与えら
れ、情報はこの重みとの積として伝播する。
一般に節点集合Ｖと枝集合Ｅとから成るグラフＧ＝
（V,E）において、点集合Ｖを部分集合V1,V2（＝Ｖ−
V1）に分割し、「Ｅに属するどの枝も一方の端点をV1の
中にもち、他方の端点をV2の中にもつ」という性質があ
るとき、Ｇを２部グラフという。第５図で入力層と中間
層との部分だけを見れば２部グラフになっており、また
中間層と出力層の部分だけをとっても２部グラフになっ
ている。
（V,E）において、点集合Ｖを部分集合V1,V2（＝Ｖ−
V1）に分割し、「Ｅに属するどの枝も一方の端点をV1の
中にもち、他方の端点をV2の中にもつ」という性質があ
るとき、Ｇを２部グラフという。第５図で入力層と中間
層との部分だけを見れば２部グラフになっており、また
中間層と出力層の部分だけをとっても２部グラフになっ
ている。
第５図において、入力層（Ｉ層）の各ユニットには、
入力データパターンに従ってそれぞれ入力データが与え
られる。これらの入力データに経由するアークの重みが
乗じられて中間層の各ユニットに与えられる。これらの
入力と重みとの積により後述のように中間層の各ユニッ
トの出力が決定され、そのデータに経由するアークの重
みが乗じられて出力層の各ユニットへ情報が伝播し、出
力層各ユニットの出力値が決定される。
入力データパターンに従ってそれぞれ入力データが与え
られる。これらの入力データに経由するアークの重みが
乗じられて中間層の各ユニットに与えられる。これらの
入力と重みとの積により後述のように中間層の各ユニッ
トの出力が決定され、そのデータに経由するアークの重
みが乗じられて出力層の各ユニットへ情報が伝播し、出
力層各ユニットの出力値が決定される。
ニューラルネットワークの各ユニット（第５図では中
間層と出力層の各ユニット）の出力値yj（ｔ）は例えば
次式により与えられる。
間層と出力層の各ユニット）の出力値yj（ｔ）は例えば
次式により与えられる。
ただし、 ここでyiはユニットｊの入力側にアークで結合された
ユニットｉの出力、wjiはこのアークの重みを、xjはユ
ニットｊへの入力と重みの積の総和を、またθｊはユニ
ットｊのバイアス値（閾値）をあらわす。さらにｔはニ
ューラルネットワークの学習の回数、すなわち各ユニッ
ト間アークの重み更新の回数である。
ユニットｉの出力、wjiはこのアークの重みを、xjはユ
ニットｊへの入力と重みの積の総和を、またθｊはユニ
ットｊのバイアス値（閾値）をあらわす。さらにｔはニ
ューラルネットワークの学習の回数、すなわち各ユニッ
ト間アークの重み更新の回数である。
このような出力値の計算方式をモデル的に第６図に示
す。同図において、ニューロンのモデルの入力側にアー
クで結合された複数個の各ユニットの出力yiに各アーク
の重みwjiが乗じられ、それらの総和としてxjが求めら
れる。そしてこのxjと閾値θｊとの非線型関数，例えば
前述のシグモイド関数としてニューロンの出力yjが決定
される。
す。同図において、ニューロンのモデルの入力側にアー
クで結合された複数個の各ユニットの出力yiに各アーク
の重みwjiが乗じられ、それらの総和としてxjが求めら
れる。そしてこのxjと閾値θｊとの非線型関数，例えば
前述のシグモイド関数としてニューロンの出力yjが決定
される。
上述のようなニューロンの出力決定処理、すなわちニ
ューラルネットワークにおける情報処理方法の従来例を
第７図に、またその処理タイムチャートの従来例を第８
図に示す。
ューラルネットワークにおける情報処理方法の従来例を
第７図に、またその処理タイムチャートの従来例を第８
図に示す。
第７図は３層構造ニューラルネットワークの中間層内
のユニットの出力計算処理方式を示す。同図において入
力層のｍ個のユニットからの入力はライトレジスタ１を
経由してメモリ２の入力領域内に格納される。入力層の
ユニットから中間層の各ユニットH1〜Hnへのアーク（入
力層ユニットがｍ個あるのでｍ×ｎ本）の重みはメモリ
２内の重み領域に格納されている。
のユニットの出力計算処理方式を示す。同図において入
力層のｍ個のユニットからの入力はライトレジスタ１を
経由してメモリ２の入力領域内に格納される。入力層の
ユニットから中間層の各ユニットH1〜Hnへのアーク（入
力層ユニットがｍ個あるのでｍ×ｎ本）の重みはメモリ
２内の重み領域に格納されている。
中間層のユニットH1の出力の計算時には入力層の各ユ
ニットの出力とそれに対応する重みとがリードレジスタ
３を経由して作業レジスタであるＡレジスタとＢレジス
タ５とにそれぞれ格納され、第８図に示したように各入
力に対する重みとの積、その総和、シグモイド関数の値
がALU6により計算され、作業用のＣレジスタ７及びライ
トレジスタ１を経由してメモリ２内の出力領域に格納さ
れる。
ニットの出力とそれに対応する重みとがリードレジスタ
３を経由して作業レジスタであるＡレジスタとＢレジス
タ５とにそれぞれ格納され、第８図に示したように各入
力に対する重みとの積、その総和、シグモイド関数の値
がALU6により計算され、作業用のＣレジスタ７及びライ
トレジスタ１を経由してメモリ２内の出力領域に格納さ
れる。
以上のH1に対する計算が第８図のタイムチャートにお
ける破線の前の処理である。すなわちy1からymまでの中
間層への各入力に対して重みとの積と、その累積和の計
算が行われ、総和に対するシグモイド関数の値がメモリ
にストアされる。破線部は中間層のニューロンH2からH
n-1に対する計算を示し、最後にHnに対する計算が行わ
れて、処理が終了する。
ける破線の前の処理である。すなわちy1からymまでの中
間層への各入力に対して重みとの積と、その累積和の計
算が行われ、総和に対するシグモイド関数の値がメモリ
にストアされる。破線部は中間層のニューロンH2からH
n-1に対する計算を示し、最後にHnに対する計算が行わ
れて、処理が終了する。
このように、従来はニューロンをあらわすユニットの
出力計算時において、まず入力値をメモリに格納し、そ
の値と重みとをメモリから順次リードしてALUによる計
算を行うために、処理に非常に時間がかかるという問題
があった。
出力計算時において、まず入力値をメモリに格納し、そ
の値と重みとをメモリから順次リードしてALUによる計
算を行うために、処理に非常に時間がかかるという問題
があった。
本発明は、ニューロンのモデルとしてのアナログLSI
の中に中間結果を格納する２個のバッファを設け、次層
への出力を行いながら、同時にパイプライン方式で次の
入力パターンに対するアナログ計算を行うことによりニ
ューラルネットワークの高速化を実現することを目的と
する。
の中に中間結果を格納する２個のバッファを設け、次層
への出力を行いながら、同時にパイプライン方式で次の
入力パターンに対するアナログ計算を行うことによりニ
ューラルネットワークの高速化を実現することを目的と
する。
本発明におけるニューロンモデルの原理ブロック図を
第１図に示す。同図において乗算手段８はニューロンモ
デルとしてのアナログLSIの入力側にそれぞれアークで
結合された複数のユニットからの入力について、各入力
値とそれが入力するアークの重みとの積を計算する。こ
こで、アークの重みは例えば図示しないメモリからリー
ドされる。
第１図に示す。同図において乗算手段８はニューロンモ
デルとしてのアナログLSIの入力側にそれぞれアークで
結合された複数のユニットからの入力について、各入力
値とそれが入力するアークの重みとの積を計算する。こ
こで、アークの重みは例えば図示しないメモリからリー
ドされる。
加算手段９は乗算手段８によって求められたアナログ
LSIへの個々の入力値とそれが入力するアークの重みと
の積をすべての入力について累積加算する。
LSIへの個々の入力値とそれが入力するアークの重みと
の積をすべての入力について累積加算する。
関数値計算手段10は加算手段９の出力と、各ニューロ
ンに対する閾値とを用いて、非線型関数、例えば前述の
シグモイド関数の値を計算する。
ンに対する閾値とを用いて、非線型関数、例えば前述の
シグモイド関数の値を計算する。
第１と第２の記憶手段11は入力側から前段回路を介し
て得られる中間値及び後段回路を介して伝送するための
中間値をそれぞれ記憶し、ニューロンの出力値として自
ユニットが所属する層の次層を構成する各ユニットに対
して、それを出力する。
て得られる中間値及び後段回路を介して伝送するための
中間値をそれぞれ記憶し、ニューロンの出力値として自
ユニットが所属する層の次層を構成する各ユニットに対
して、それを出力する。
また、ニューロンをモデル化したアナログLSIをユニ
ットとして用いた層構造ニューラルネットワークにおい
て、アナログLSIが該LSIへの入力値と該入力に対する重
みとの積を乗算し（８）、アナログLSIへの複数の入力
について、乗算手段（８）の出力の総和を加算し
（９）、その結果を格納する第１の電圧格納手段と、第
１の電圧格納手段の出力に対する非線型関数の入力また
は出力を格納する第２の電圧格納手段と、前段の入力信
号と外部から与えられる重みデータとの積の和を第１の
電圧格納手段に格納する動作と、第２の電圧格納手段の
結果による出力アナログ信号を後段のユニットに伝送す
る動作を同時に行う制御手段とを有することを特徴とす
る。
ットとして用いた層構造ニューラルネットワークにおい
て、アナログLSIが該LSIへの入力値と該入力に対する重
みとの積を乗算し（８）、アナログLSIへの複数の入力
について、乗算手段（８）の出力の総和を加算し
（９）、その結果を格納する第１の電圧格納手段と、第
１の電圧格納手段の出力に対する非線型関数の入力また
は出力を格納する第２の電圧格納手段と、前段の入力信
号と外部から与えられる重みデータとの積の和を第１の
電圧格納手段に格納する動作と、第２の電圧格納手段の
結果による出力アナログ信号を後段のユニットに伝送す
る動作を同時に行う制御手段とを有することを特徴とす
る。
第１図のニューロンモデルは例えば第５図に示したニ
ューラルネットワークを構成するために用いられる。こ
のようなニューラルネットワークでは、前述のように中
間層、出力層内の各ユニットの出力値の計算に式
（１），（２）が用いられる。
ューラルネットワークを構成するために用いられる。こ
のようなニューラルネットワークでは、前述のように中
間層、出力層内の各ユニットの出力値の計算に式
（１），（２）が用いられる。
ある入力パターンが与えられると、まず乗算手段８と
加算手段９とにより、中間層のニューロンモデルとして
のアナログLSIのそれぞれに対して、入力値と重みとの
積、およびその総和、すなわち（２）式の計算が行われ
る。次に加算手段９の出力に基づき、関数値計算手段10
により（１）式を用いて出力値の計算が行われ、その入
出力の結果はそれぞれ第１と第２の記憶手段11に格納さ
れる。
加算手段９とにより、中間層のニューロンモデルとして
のアナログLSIのそれぞれに対して、入力値と重みとの
積、およびその総和、すなわち（２）式の計算が行われ
る。次に加算手段９の出力に基づき、関数値計算手段10
により（１）式を用いて出力値の計算が行われ、その入
出力の結果はそれぞれ第１と第２の記憶手段11に格納さ
れる。
以上の計算は、本発明においては、第８図の従来例の
ように中間層の各ユニットに対してシリアルに行われる
のではなく、各ユニットに対して並行して同時に行われ
る。この計算が終了すると、直ちに次の入力パターンに
対する出力値の計算が各ユニットに対して並行に開始さ
れる。
ように中間層の各ユニットに対してシリアルに行われる
のではなく、各ユニットに対して並行して同時に行われ
る。この計算が終了すると、直ちに次の入力パターンに
対する出力値の計算が各ユニットに対して並行に開始さ
れる。
前の入力パターンに対する中間層の出力は、出力層へ
の入力として与えられ、中間層と同様に出力層内各ユニ
ットの出力値の計算に用いられるが、中間層の値は記憶
手段11に記憶されているので、必要な時点でその出力が
行われる。
の入力として与えられ、中間層と同様に出力層内各ユニ
ットの出力値の計算に用いられるが、中間層の値は記憶
手段11に記憶されているので、必要な時点でその出力が
行われる。
以上のように、本発明では、２つの記憶手段にそれぞ
れ異なる中間結果を格納することでニューラルネットワ
ークの処理にパイプライン方式を適用することができ
る。
れ異なる中間結果を格納することでニューラルネットワ
ークの処理にパイプライン方式を適用することができ
る。
本発明におけるニューラルネットワークの中間層の実
施例のブロック図を第２図に示す。中間層はH1からHnま
でのｎ個のニューロンモデルとしてのアナログLSI12a〜
12nから構成され、各LSIは第１図の乗算手段８に相当す
る積算器13a〜13n、加算手段９に相当する和算器14a〜1
4n、関数値計算手段10に相当するシグモイド計算器15a
〜15n、及び第１と第２の記憶手段11に相当するバッフ
ァ16a〜16nから成る。
施例のブロック図を第２図に示す。中間層はH1からHnま
でのｎ個のニューロンモデルとしてのアナログLSI12a〜
12nから構成され、各LSIは第１図の乗算手段８に相当す
る積算器13a〜13n、加算手段９に相当する和算器14a〜1
4n、関数値計算手段10に相当するシグモイド計算器15a
〜15n、及び第１と第２の記憶手段11に相当するバッフ
ァ16a〜16nから成る。
さらにニューラルネットワークに対して、ネットワー
ク内の２つのユニットを結ぶアークの重みを格納するた
めのメモリ領域が用意されている。第２図には中間層用
のみのメモリ領域が示されているが、出力層に対しても
同様のメモリ領域が存在する。
ク内の２つのユニットを結ぶアークの重みを格納するた
めのメモリ領域が用意されている。第２図には中間層用
のみのメモリ領域が示されているが、出力層に対しても
同様のメモリ領域が存在する。
このメモリ領域は中間層のｎ個のユニットH1からHnに
対して、入力層のｍ個の各ユニットからのアークに対応
して、それぞれｍ個、合計ｍ×ｎ個の領域17a〜17nであ
る。これらの領域には、例えば各ユニット用のライトレ
ジスタ18a〜18nを経由して、あらかじめ重みの値が格納
されている。
対して、入力層のｍ個の各ユニットからのアークに対応
して、それぞれｍ個、合計ｍ×ｎ個の領域17a〜17nであ
る。これらの領域には、例えば各ユニット用のライトレ
ジスタ18a〜18nを経由して、あらかじめ重みの値が格納
されている。
第２図の中間層の各ユニット12a〜12nに対する処理を
第３図のタイムチャートを参照しながら説明する。ま
ず、中間層への第１回の入力パターン、すなわち入力層
の各ユニットからの入力データに対する処理が開始され
る。
第３図のタイムチャートを参照しながら説明する。ま
ず、中間層への第１回の入力パターン、すなわち入力層
の各ユニットからの入力データに対する処理が開始され
る。
中間層の各ユニット（H1〜Hn）12a〜12nに対して、入
力層のユニットI1からの入力y1が同時に与えられ、各ユ
ニットに対する計算が同時に開始される。ユニットI1と
中間層の各ユニットとを結ぶアークの重みがメモリ領域
17a〜17nからリードレジスタ19a〜19nを経由して各ユニ
ット内の積算器13a〜13nに与えられ、入力y1との積が求
めれらる。その積は和算器14a〜14nに与えられる。次に
入力層のユニットI2からの入力y2に対しても同様な計算
が成され、重みとy2との積が和算器14a〜14nに与えら
れ、累積加算される。
力層のユニットI1からの入力y1が同時に与えられ、各ユ
ニットに対する計算が同時に開始される。ユニットI1と
中間層の各ユニットとを結ぶアークの重みがメモリ領域
17a〜17nからリードレジスタ19a〜19nを経由して各ユニ
ット内の積算器13a〜13nに与えられ、入力y1との積が求
めれらる。その積は和算器14a〜14nに与えられる。次に
入力層のユニットI2からの入力y2に対しても同様な計算
が成され、重みとy2との積が和算器14a〜14nに与えら
れ、累積加算される。
同様にして、入力層の各ユニットからの全入力に対し
て計算が成され、最後のユニットImからの入力ymに対す
る積和が求められ、その結果が第１のバッファ16aに格
納される。その第１のバッファ内容は第２のバッファ16
a′に移されれ、その結果をシグモイド関数値を介して
伝送される。このとき、第１のバッファの内容は使用済
みとなるので、中間層の各ユニット（H1〜Hn）12a〜12n
に対してはその後直ちに２回目の入力パターンが与えら
れ、１回目と同様に処理が行われ、その結果が第１のバ
ッファ16aに格納される。同時に第１のバッファ16aの内
容がシグモイド計算器を介して、あるいは直接的に、中
間層により伝送され、出力層内の各ユニット01〜0pに対
する処理が開始され、まず中間層のユニット（H1）12a
から出力層内の各ユニットに対して入力y1が与えられ
る。ここで、図示しないメモリ領域に格納されている中
間層と出力層とを結ぶアークの重みとy1との積和が計算
される。次に中間層のユニット（H2）12bからの入力y2
に対して同様の処理が行われる。入力y2は、この時点
で、ユニットH2内の第２のバッファ16b′から与えれら
るので、この時点まで、出力値が保持されることにな
る。
て計算が成され、最後のユニットImからの入力ymに対す
る積和が求められ、その結果が第１のバッファ16aに格
納される。その第１のバッファ内容は第２のバッファ16
a′に移されれ、その結果をシグモイド関数値を介して
伝送される。このとき、第１のバッファの内容は使用済
みとなるので、中間層の各ユニット（H1〜Hn）12a〜12n
に対してはその後直ちに２回目の入力パターンが与えら
れ、１回目と同様に処理が行われ、その結果が第１のバ
ッファ16aに格納される。同時に第１のバッファ16aの内
容がシグモイド計算器を介して、あるいは直接的に、中
間層により伝送され、出力層内の各ユニット01〜0pに対
する処理が開始され、まず中間層のユニット（H1）12a
から出力層内の各ユニットに対して入力y1が与えられ
る。ここで、図示しないメモリ領域に格納されている中
間層と出力層とを結ぶアークの重みとy1との積和が計算
される。次に中間層のユニット（H2）12bからの入力y2
に対して同様の処理が行われる。入力y2は、この時点
で、ユニットH2内の第２のバッファ16b′から与えれら
るので、この時点まで、出力値が保持されることにな
る。
同様にして、中間層のユニットHnの第２のバッファ12
n′からの入力に対して積和計算が行われ、出力層のユ
ニット内の第１のバッファに移結され、第２のバッファ
に移されたのち、その結果に対してシグモイド関数値が
求められると１回目の入力パターンに対する出力層での
処理が終了し、その後、２回目の入力パターンに対する
処理が続行される。
n′からの入力に対して積和計算が行われ、出力層のユ
ニット内の第１のバッファに移結され、第２のバッファ
に移されたのち、その結果に対してシグモイド関数値が
求められると１回目の入力パターンに対する出力層での
処理が終了し、その後、２回目の入力パターンに対する
処理が続行される。
第４図はアナログニューロンLSIを用いたニューラル
ネットワークの実施例の構成図である。図示しない入力
層は10個のユニットから成り、４個のユニット20a〜20d
からなる中間層、２個のユニット21a,21bから成る出力
層とともにニューラルネットワーク７を構成する。同図
において、入力データ10個は入力層の10個のニューロン
からの入力であり、中間層及び出力層内の各ニューロン
LSI内のC1は第１のバッファに相当し、各LSI内での積和
結果を記憶しておくためのコンデンサ、C2は第１のバッ
ファの結果をバッファリングする第２のバッファに相当
し、各LSIの出力は、第２のコンデンサC2をシグモイド
関数を介すか、またはそのままの値となる。すなわち、
コンデンサC2はサンプルホールド用のコンデンサであ
る。
ネットワークの実施例の構成図である。図示しない入力
層は10個のユニットから成り、４個のユニット20a〜20d
からなる中間層、２個のユニット21a,21bから成る出力
層とともにニューラルネットワーク７を構成する。同図
において、入力データ10個は入力層の10個のニューロン
からの入力であり、中間層及び出力層内の各ニューロン
LSI内のC1は第１のバッファに相当し、各LSI内での積和
結果を記憶しておくためのコンデンサ、C2は第１のバッ
ファの結果をバッファリングする第２のバッファに相当
し、各LSIの出力は、第２のコンデンサC2をシグモイド
関数を介すか、またはそのままの値となる。すなわち、
コンデンサC2はサンプルホールド用のコンデンサであ
る。
第４図において、中間層の４個のニューロン20a〜20d
が10個の入力データに対しての積和演算を終了し、その
結果がコンデンサC1に端子電圧として記憶されていると
する。そして、その結果がコンデンサC2に移され、コン
デンサC1の前段にある回路とコンデンサC2の後段の回路
がアナログ的に分離される。コンデンサC2の出力すなわ
ち、その積和結果はシグモイド関数値に与えられ、伝送
されるが、シグモイド関数を介さない場合もあり、その
選択が可能である。この時点から出力層のLSI21a,21bで
の処理が開始されるが、このとき中間層のLSI20a〜20d
の出力動作は自分割的にシーケンシャルに行われる。す
なわち、まず20aからの出力により出力層のLSI21a,21b
内で積和演算が行われ、その後20b,20c,20dの順での出
力に対しての積和演算が繰り返し行われ、その積和の結
果が出力層のコンデンサC1に格納される。
が10個の入力データに対しての積和演算を終了し、その
結果がコンデンサC1に端子電圧として記憶されていると
する。そして、その結果がコンデンサC2に移され、コン
デンサC1の前段にある回路とコンデンサC2の後段の回路
がアナログ的に分離される。コンデンサC2の出力すなわ
ち、その積和結果はシグモイド関数値に与えられ、伝送
されるが、シグモイド関数を介さない場合もあり、その
選択が可能である。この時点から出力層のLSI21a,21bで
の処理が開始されるが、このとき中間層のLSI20a〜20d
の出力動作は自分割的にシーケンシャルに行われる。す
なわち、まず20aからの出力により出力層のLSI21a,21b
内で積和演算が行われ、その後20b,20c,20dの順での出
力に対しての積和演算が繰り返し行われ、その積和の結
果が出力層のコンデンサC1に格納される。
以上のように、本発明では、中間層のLSIの中間値を
コンデンサC2に記憶させておくことにより、各LSI内の
コンデンサC1は積和演算結果を記憶しておく必要がなく
なり、出力層での処理開始と同時に、次の入力データに
対する中間層での積和演算を開始することが可能とな
る。
コンデンサC2に記憶させておくことにより、各LSI内の
コンデンサC1は積和演算結果を記憶しておく必要がなく
なり、出力層での処理開始と同時に、次の入力データに
対する中間層での積和演算を開始することが可能とな
る。
以上説明したように本発明によれば、ニューラルネッ
トワークの中間層、出力層での処理をアナログ的にパイ
プライン方式で行うことによりネットワークの高速化を
実現できる。さらに入力値、出力値を外部メモリに格納
する必要がなく、メモリの使用効率が向上する。
トワークの中間層、出力層での処理をアナログ的にパイ
プライン方式で行うことによりネットワークの高速化を
実現できる。さらに入力値、出力値を外部メモリに格納
する必要がなく、メモリの使用効率が向上する。
第１図は本発明におけるニューロンモデルの原理ブロッ
ク図、 第２図はニューラルネットワークの中間層実施例ブロッ
ク図、 第３図は本発明における処理のタイムチャート、 第４図はアナログニューロンLSIを用いたニューラルネ
ットワークの実施例構成図、 第５図は層構造ニューラルネットワークの例を示す図、 第６図はニューロンにおける出力の計算モデルを示す
図、 第７図はニューラルネットワークにおけるデータ処理方
式の従来例を示す図、 第８図は従来のデータ処理方式のタイムチャートであ
る。 12a〜12n,20a〜20d……中間層のアナログニューロンLS
I、 13a〜13n……積算器、 14a〜14n……和算器、 15a〜15n……シグモイド計算器、 16a〜16n……第１のバッファ、 16a′〜16n′……第２のバッファ、 21a,21b……出力層のアナログニューロンLSI.
ク図、 第２図はニューラルネットワークの中間層実施例ブロッ
ク図、 第３図は本発明における処理のタイムチャート、 第４図はアナログニューロンLSIを用いたニューラルネ
ットワークの実施例構成図、 第５図は層構造ニューラルネットワークの例を示す図、 第６図はニューロンにおける出力の計算モデルを示す
図、 第７図はニューラルネットワークにおけるデータ処理方
式の従来例を示す図、 第８図は従来のデータ処理方式のタイムチャートであ
る。 12a〜12n,20a〜20d……中間層のアナログニューロンLS
I、 13a〜13n……積算器、 14a〜14n……和算器、 15a〜15n……シグモイド計算器、 16a〜16n……第１のバッファ、 16a′〜16n′……第２のバッファ、 21a,21b……出力層のアナログニューロンLSI.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 俊春 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 浅川 和雄 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 加藤 英樹 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 吉沢 英樹 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 市來 宏基 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 岩本 弘 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 土屋 主税 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 石川 勝哉 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 杉浦 義英 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内
Claims (4)
- 【請求項１】ニューロンをモデル化したアナログLSIの
ユニットとして用いた層構造ニューラルネットワークに
おいて、 前記アナログLSIが該LSIへの入力値と該入力に対する重
みとの積を計算する乗算手段（８）と、 前記アナログLSIへの複数の入力について、該乗算手段
（８）の出力の総和をとる加算手段（９）と、 該加算手段（９）の出力に対する非線型関数値を計算す
る関数値計算手段（10）と、 入力側から前段回路を介して得られる中間値および後段
回路を介して伝送するための中間値をそれぞれ記憶する
第１と第２の記憶手段（11）とを備え、 前記層構造ニューラルネットワークの入力層以外の複数
の層のそれぞれについて、該各層内の複数ユニットへの
入力パターンに対する該複数各ユニットの出力値の計算
を並行して行い、該計算結果を次層に出力しながら次の
入力パターンに対する中間値の計算を行うことを特徴と
するアナログパイプライン処理を用いたニューラルアー
キテクチュア。 - 【請求項２】ニューロンをモデル化したアナログLSIの
ユニットとして用いた層構造ニューラルネットワークに
おいて、 前記アナログLSIが該LSIへの入力値と該入力に対する重
みとの積を乗算し（８）、 前記アナログLSIへの複数の入力について、前記乗算
（８）の出力の総和を加算し（９）、その結果を格納す
る第１の電圧格納手段と、 前記第１の電圧格納手段の出力に対する非線型関数の入
力を格納する第２の電圧格納手段と、 前段の入力信号と外部から与えられる重みデータとの積
の和を前記第１の電圧格納手段に格納する動作と前記第
２の電圧格納手段の結果による出力アナログ信号を後段
のユニットに伝送する動作を同時に行う制御手段とを有
することを特徴とするパイプライン処理を用いたニュー
ラルアーキテクチュア。 - 【請求項３】前記第１の電圧格納手段は積分手段のキャ
パシタであることを特徴とする請求項２記載のパイプラ
イン処理を用いたニューラルアーキテクチュア。 - 【請求項４】前記第２の電圧格納手段は前記積分手段に
接続されるサンプル／ホールド回路内のキャパシタであ
ることを特徴とする請求項２の記載パイプライン処理を
用いたニューラルアーキテクチュア。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63215105A JP2679731B2 (ja) | 1988-08-31 | 1988-08-31 | パイプライン処理を用いたニューラルアーキテクチュア |
| FI894021A FI894021A (fi) | 1988-08-31 | 1989-08-28 | Neuronstruktur. |
| EP89115978A EP0357016B1 (en) | 1988-08-31 | 1989-08-30 | Neuron architecture |
| US07/400,826 US5220559A (en) | 1988-08-31 | 1989-08-30 | Neuron architecture |
| DE68928978T DE68928978T2 (de) | 1988-08-31 | 1989-08-30 | Neuronarchitektur |
| AU40999/89A AU626912B2 (en) | 1988-08-31 | 1989-08-31 | Neuron architecture |
| KR1019890012588A KR930002792B1 (ko) | 1988-08-31 | 1989-08-31 | 뉴우런 아키텍쳐(neuron architecture) |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63215105A JP2679731B2 (ja) | 1988-08-31 | 1988-08-31 | パイプライン処理を用いたニューラルアーキテクチュア |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0264880A JPH0264880A (ja) | 1990-03-05 |
| JP2679731B2 true JP2679731B2 (ja) | 1997-11-19 |
Family
ID=16666836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63215105A Expired - Fee Related JP2679731B2 (ja) | 1988-08-31 | 1988-08-31 | パイプライン処理を用いたニューラルアーキテクチュア |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2679731B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5065339A (en) * | 1990-05-22 | 1991-11-12 | International Business Machines Corporation | Orthogonal row-column neural processor |
| JP2741793B2 (ja) * | 1991-10-17 | 1998-04-22 | 川崎製鉄株式会社 | ニューラルネットワークプロセッサ |
| US10089577B2 (en) * | 2016-08-05 | 2018-10-02 | Xilinx, Inc. | Binary neural networks on progammable integrated circuits |
-
1988
- 1988-08-31 JP JP63215105A patent/JP2679731B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0264880A (ja) | 1990-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108154228B (zh) | 一种人工神经网络计算装置和方法 | |
| JP2662000B2 (ja) | 神経回路網およびその回路網に用いる回路 | |
| Ye et al. | Online sequential extreme learning machine in nonstationary environments | |
| EP0421639B1 (en) | Parallel data processing system | |
| CN103282919A (zh) | 强化学习的电子突触 | |
| JPH04290155A (ja) | 並列データ処理方式 | |
| JP2575565B2 (ja) | Ｓｐｉｎ：順次パイプライン式ニューロコンピュータ | |
| Xu et al. | Global exponential convergence of neutral-type Hopfield neural networks with multi-proportional delays and leakage delays | |
| JPH0258157A (ja) | 人工ニユーロン回路網アーキテクチユア | |
| KR102396447B1 (ko) | 파이프라인 구조를 가지는 인공신경망용 연산 가속 장치 | |
| JPH02193251A (ja) | エラー後方伝ぱん法と神経網システム | |
| JP2679731B2 (ja) | パイプライン処理を用いたニューラルアーキテクチュア | |
| JP2760170B2 (ja) | 学習機械 | |
| JP2002518925A (ja) | 適応状態空間信号の分離、弁別、回復用アーキテクチャ、及び、動的環境における使用へのそれらの適用 | |
| JPH05346914A (ja) | ニューロプロセッサ | |
| JPH076146A (ja) | 並列データ処理システム | |
| JPH07113942B2 (ja) | ニューロチップによる結合器 | |
| JP3508783B2 (ja) | パルス密度型信号処理回路網における結合係数更新方法並びに結合係数更新装置 | |
| CN114692880B (zh) | 一种量子线路中量子态振幅的模拟方法及装置 | |
| Krusienski et al. | Comparative analysis of neural network filters and adaptive Volterra filters | |
| Le et al. | Nonlinear adaptive filter based on pipelined bilinear function link neural networks architecture | |
| JP2679733B2 (ja) | ホップフィールドネット | |
| JP2517662B2 (ja) | 連鎖制御装置 | |
| JP3082530B2 (ja) | ニューラルネットワーク回路 | |
| JP2877413B2 (ja) | 余剰ニューロン決定処理方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |