JPH04316153A - ニューロプロセッサ - Google Patents
ニューロプロセッサInfo
- Publication number
- JPH04316153A JPH04316153A JP3083903A JP8390391A JPH04316153A JP H04316153 A JPH04316153 A JP H04316153A JP 3083903 A JP3083903 A JP 3083903A JP 8390391 A JP8390391 A JP 8390391A JP H04316153 A JPH04316153 A JP H04316153A
- Authority
- JP
- Japan
- Prior art keywords
- weight
- memory
- circuit
- memories
- register
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015654 memory Effects 0.000 claims abstract description 95
- 230000000946 synaptic effect Effects 0.000 claims description 25
- 238000012986 modification Methods 0.000 abstract description 28
- 230000004048 modification Effects 0.000 abstract description 28
- 238000004364 calculation method Methods 0.000 abstract description 24
- 238000013528 artificial neural network Methods 0.000 abstract description 8
- 230000008878 coupling Effects 0.000 abstract 3
- 238000010168 coupling process Methods 0.000 abstract 3
- 238000005859 coupling reaction Methods 0.000 abstract 3
- 210000000225 synapse Anatomy 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Complex Calculations (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【０００１】
【産業上の利用分野】本発明は、ニューラルネットワー
クの学習の計算を高速に行なうためのニューロプロセッ
サに関するものである。
クの学習の計算を高速に行なうためのニューロプロセッ
サに関するものである。
【０００２】
【従来の技術】ニューラルネットワークは、人間の脳の
神経細胞の働きをモデル化して模倣することによって、
従来のいわゆるノイマン形のコンピュータが苦手として
いた認識や、連想，最適化問題，音声合成等を得意とす
る新しいコンピュータを実現しようとするものである。
神経細胞の働きをモデル化して模倣することによって、
従来のいわゆるノイマン形のコンピュータが苦手として
いた認識や、連想，最適化問題，音声合成等を得意とす
る新しいコンピュータを実現しようとするものである。
【０００３】ニューラルネットワークには、ニューロン
が層状に配置された階層構造のものや、すべてのニュー
ロンが相互に結合した相互結合構造のものなど、さまざ
まな構造のものがある。その中で階層構造のネットワー
クは、例えばバックプロパゲーションアルゴリズムと呼
ばれる学習アルゴリズムで簡単に学習させることができ
、制御，文字認識，画像認識，画像処理などに幅広く応
用することができる。
が層状に配置された階層構造のものや、すべてのニュー
ロンが相互に結合した相互結合構造のものなど、さまざ
まな構造のものがある。その中で階層構造のネットワー
クは、例えばバックプロパゲーションアルゴリズムと呼
ばれる学習アルゴリズムで簡単に学習させることができ
、制御，文字認識，画像認識，画像処理などに幅広く応
用することができる。
【０００４】ニューラルネットワークの学習とは、ニュ
ーラルネットワーク内に多数存在するシナプス結合の重
みを修正することによって、ニューラルネットワークの
動作を最適化することである。重みの修正は、次式のよ
うに表される。
ーラルネットワーク内に多数存在するシナプス結合の重
みを修正することによって、ニューラルネットワークの
動作を最適化することである。重みの修正は、次式のよ
うに表される。
【０００５】Ｗｎｅｗ＝Ｗｏｌｄ＋ΔＷＷは、シナプス
結合の重みを表し、添字のｎｅｗ，ｏｌｄは、それぞれ
修正前，修正後を表す。ΔＷは重みの修正量で、例えば
、バックプロパゲーションアルゴリズムによって計算さ
れる。
結合の重みを表し、添字のｎｅｗ，ｏｌｄは、それぞれ
修正前，修正後を表す。ΔＷは重みの修正量で、例えば
、バックプロパゲーションアルゴリズムによって計算さ
れる。
【０００６】従来、ニューロプロセッサとして、乗算器
や加算器を備え、パイプライン処理によって計算を行な
う構成のものが考案されている。そのようなニューロプ
ロセッサで上式で表される重みの修正を行なう回路のブ
ロック図の例が、図６である。
や加算器を備え、パイプライン処理によって計算を行な
う構成のものが考案されている。そのようなニューロプ
ロセッサで上式で表される重みの修正を行なう回路のブ
ロック図の例が、図６である。
【０００７】図６の動作のタイミングを示したのが図７
である。図７において時刻欄以外の各欄の数字は、その
データが何番目の重みに対するものかを表す。また、重
み用メモリの欄のＣＳは重み用メモリを選択する信号、
ＯＥは読み出しを可能な状態にする信号、ＷＥは書き込
みを可能な状態にする信号であり、ＨとＬは、それぞれ
、動作状態，動作しない状態を表す。
である。図７において時刻欄以外の各欄の数字は、その
データが何番目の重みに対するものかを表す。また、重
み用メモリの欄のＣＳは重み用メモリを選択する信号、
ＯＥは読み出しを可能な状態にする信号、ＷＥは書き込
みを可能な状態にする信号であり、ＨとＬは、それぞれ
、動作状態，動作しない状態を表す。
【０００８】以下に、図７にしたがって、図６の回路の
動作を説明する。まず、時刻１で１番目の重みに対する
修正量ΔＷが、ΔＷ計算回路１で計算され、時刻２でΔ
Ｗの計算結果がレジスタ１１にラッチされる。それと並
行して、時刻１でレジスタ１４に、１番目の重みに対す
るアドレスがセットされ、修正前の重みの値Ｗｏｌｄが
、重み用メモリ３より読み出されて、時刻２でレジスタ
１２にラッチされる。そして加算器２でレジスタ１１の
修正量ΔＷの値と、レジスタ１２の修正前の重みの値Ｗ
ｏｌｄとが加算されて、時刻３でその修正結果の重みの
値Ｗｎｅｗがレジスタ１３にラッチされる。それと同時
に、修正結果の重みの値Ｗｎｅｗを書き込むためにレジ
スタ１４に１番目の重みに対するアドレスがセットされ
、重み用メモリ３を書き込みに切り替えることによって
、メモリへの書き込みが行なわれる。
動作を説明する。まず、時刻１で１番目の重みに対する
修正量ΔＷが、ΔＷ計算回路１で計算され、時刻２でΔ
Ｗの計算結果がレジスタ１１にラッチされる。それと並
行して、時刻１でレジスタ１４に、１番目の重みに対す
るアドレスがセットされ、修正前の重みの値Ｗｏｌｄが
、重み用メモリ３より読み出されて、時刻２でレジスタ
１２にラッチされる。そして加算器２でレジスタ１１の
修正量ΔＷの値と、レジスタ１２の修正前の重みの値Ｗ
ｏｌｄとが加算されて、時刻３でその修正結果の重みの
値Ｗｎｅｗがレジスタ１３にラッチされる。それと同時
に、修正結果の重みの値Ｗｎｅｗを書き込むためにレジ
スタ１４に１番目の重みに対するアドレスがセットされ
、重み用メモリ３を書き込みに切り替えることによって
、メモリへの書き込みが行なわれる。
【０００９】２番目の重みの修正は、１番目の重みの修
正より１時刻遅れて、全く同様に実行される。しかし、
その次の３番目の重みの修正は、図７に示したように、
さらに３時刻遅れて実行されなければならない。なぜな
らば、３番目の重みの修正を、２番目の重みの修正より
１時刻だけ遅れて実行すると、１番目の重みの修正後の
データの重み用メモリへの書き込みと、３番目の重みの
修正前のデータの読み出しが時刻３で重なってしまう。 同時刻に同一メモリへの書き込みと読み出しを並列して
行なうのは不可能である。したがって、３番目の重みの
修正は、２番目の重みの修正より３時刻遅れて実行され
ることが必要になる。
正より１時刻遅れて、全く同様に実行される。しかし、
その次の３番目の重みの修正は、図７に示したように、
さらに３時刻遅れて実行されなければならない。なぜな
らば、３番目の重みの修正を、２番目の重みの修正より
１時刻だけ遅れて実行すると、１番目の重みの修正後の
データの重み用メモリへの書き込みと、３番目の重みの
修正前のデータの読み出しが時刻３で重なってしまう。 同時刻に同一メモリへの書き込みと読み出しを並列して
行なうのは不可能である。したがって、３番目の重みの
修正は、２番目の重みの修正より３時刻遅れて実行され
ることが必要になる。
【００１０】なお、同時刻に同一メモリへの書き込みと
読み出しを並列に行なうことを可能にする方法として、
マルチポートのメモリを用いる方法がある。しかし、マ
ルチポートのメモリは回路規模が大きくなるので、その
使用は望ましくない。
読み出しを並列に行なうことを可能にする方法として、
マルチポートのメモリを用いる方法がある。しかし、マ
ルチポートのメモリは回路規模が大きくなるので、その
使用は望ましくない。
【００１１】
【発明が解決しようとする課題】シナプス結合の重みの
修正においては、重み用メモリに対して、読み出しと書
き込みを行なわなければならない。ところが、上記従来
技術で示したように、重み用メモリが１つで読み出しと
書き込みが同時にできない場合、書き込みが終了するの
を待って、読み出しを行なわなければならない。そのた
め、演算器を使用していない空白の時間が存在する。こ
の空白の時間のために、演算器の使用効率が低く、全体
として計算速度が低かった。
修正においては、重み用メモリに対して、読み出しと書
き込みを行なわなければならない。ところが、上記従来
技術で示したように、重み用メモリが１つで読み出しと
書き込みが同時にできない場合、書き込みが終了するの
を待って、読み出しを行なわなければならない。そのた
め、演算器を使用していない空白の時間が存在する。こ
の空白の時間のために、演算器の使用効率が低く、全体
として計算速度が低かった。
【００１２】本発明は、上記問題を解決し、高速に学習
が可能なニューロプロセッサを提供することを目的とし
ている。
が可能なニューロプロセッサを提供することを目的とし
ている。
【００１３】
【課題を解決するための手段】上記の目的を達成するた
めに本発明のニューロプロセッサは、複数個に分割され
たシナプス結合の重み用メモリと、前記重み用メモリの
出力を選択する第一の切り替え回路と、重み修正回路と
、前記重み修正回路の出力を重み用メモリに分配する第
二の切り替え回路から構成されている。
めに本発明のニューロプロセッサは、複数個に分割され
たシナプス結合の重み用メモリと、前記重み用メモリの
出力を選択する第一の切り替え回路と、重み修正回路と
、前記重み修正回路の出力を重み用メモリに分配する第
二の切り替え回路から構成されている。
【００１４】
【作用】上記構成により、シナプス結合の重み用メモリ
を複数個に分割し、第一の切り替え回路に接続された前
記重み用メモリと第二の切り替え回路に接続された前記
重み用メモリとを異ならせることにより、一方のメモリ
からシナプス結合の重みのデータを読み出すのと同時刻
に、他方のメモリに重みのデータを書き込むことができ
る。したがって、データの書き込みが終わるまで、読み
出しを待つ必要がなくなり、その結果、演算器の使用効
率が高くなり、高速な計算を行なうことができる。
を複数個に分割し、第一の切り替え回路に接続された前
記重み用メモリと第二の切り替え回路に接続された前記
重み用メモリとを異ならせることにより、一方のメモリ
からシナプス結合の重みのデータを読み出すのと同時刻
に、他方のメモリに重みのデータを書き込むことができ
る。したがって、データの書き込みが終わるまで、読み
出しを待つ必要がなくなり、その結果、演算器の使用効
率が高くなり、高速な計算を行なうことができる。
【００１５】
【実施例】以下、本発明の実施例を図面により説明する
。
。
【００１６】図１は、本発明の第一の実施例におけるシ
ナプス結合の重みの修正の回路のブロック図である。図
１において１は修正量ΔＷの計算回路、２は加算器であ
る。１１，１２，１３は、データをラッチするレジスタ
である。１４は重み用メモリＡに、１５は重み用メモリ
Ｂにアドレスを与えるレジスタである。３１は、重み用
メモリＡ，Ｂから読み出した重みデータＷｏｌｄを選択
する第一の切り替え回路としてマルチプレクサを用いる
。 ３２は、修正された重み用メモリＷｎｅｗを重み用メモ
リＡ，Ｂのどちらに与えるかを選択する第二の切り替え
回路としてデマルチプレクサを用いる。図１において３
は重み用メモリＡ、４は重み用メモリＢである。これら
の重み用メモリＡとＢは、従来例の図６の重み用メモリ
３を２つに分割したものである。図３に、本実施例のシ
ナプス結合の重み用メモリＡとＢへのアドレスの割り当
てと、その内容を示す。本実施例では、重み用メモリＡ
，Ｂに、重みデータを、連続した２つのアドレスごとに
交互に割り当てる。
ナプス結合の重みの修正の回路のブロック図である。図
１において１は修正量ΔＷの計算回路、２は加算器であ
る。１１，１２，１３は、データをラッチするレジスタ
である。１４は重み用メモリＡに、１５は重み用メモリ
Ｂにアドレスを与えるレジスタである。３１は、重み用
メモリＡ，Ｂから読み出した重みデータＷｏｌｄを選択
する第一の切り替え回路としてマルチプレクサを用いる
。 ３２は、修正された重み用メモリＷｎｅｗを重み用メモ
リＡ，Ｂのどちらに与えるかを選択する第二の切り替え
回路としてデマルチプレクサを用いる。図１において３
は重み用メモリＡ、４は重み用メモリＢである。これら
の重み用メモリＡとＢは、従来例の図６の重み用メモリ
３を２つに分割したものである。図３に、本実施例のシ
ナプス結合の重み用メモリＡとＢへのアドレスの割り当
てと、その内容を示す。本実施例では、重み用メモリＡ
，Ｂに、重みデータを、連続した２つのアドレスごとに
交互に割り当てる。
【００１７】図１の動作のタイミングを示したのが、図
２である。図２において時刻以外の欄の数字は、そのデ
ータが何番目の重みに対するものかを表す。また、マル
チプレクサ３１とデマルチプレクサ３２の欄のＡ，Ｂは
、重み用メモリＡ，Ｂのどちらを選択するかを表す。 重み用メモリＡとＢを選択する信号をＣＳ、読み出し可
能信号をＯＥ、書き込み可能信号をＷＥとし、それぞれ
Ｈで動作状態、Ｌで動作しない状態を表す。
２である。図２において時刻以外の欄の数字は、そのデ
ータが何番目の重みに対するものかを表す。また、マル
チプレクサ３１とデマルチプレクサ３２の欄のＡ，Ｂは
、重み用メモリＡ，Ｂのどちらを選択するかを表す。 重み用メモリＡとＢを選択する信号をＣＳ、読み出し可
能信号をＯＥ、書き込み可能信号をＷＥとし、それぞれ
Ｈで動作状態、Ｌで動作しない状態を表す。
【００１８】以下、図２にしたがって、図１の回路の動
作を説明する。まず、時刻１で１番目の重みに対する修
正量ΔＷが、ΔＷ計算回路１で計算され、時刻２で、修
正量ΔＷの計算結果がレジスタ１１にラッチされる。そ
れと並行して、時刻１でレジスタ１４に、１番目の重み
に対するアドレスがセットされ、修正前の重みの値Ｗｏ
ｌｄが重み用メモリＡより読み出されて、時刻２でレジ
スタ１２にラッチされる。この時、マルチプレクサ３１
は、重み用メモリＡのデータを選択するようになってい
る。そして加算器２で、レジスタ１１の修正量ΔＷの値
と、レジスタ１２の修正前の重みの値Ｗｏｌｄが加算さ
れて、時刻３でその修正結果の重みの値Ｗｎｅｗがレジ
スタ１３にラッチされる。それと同時に、修正結果の重
みの値Ｗｎｅｗをメモリに書き込むために、デマルチプ
レクサ３２は重み用メモリＡを選択し、かつ、レジスタ
１４に１番目の重みに対するアドレスをセットし、重み
用メモリＡを書き込みに切り替えることによって、メモ
リへの書き込みが行なわれる。
作を説明する。まず、時刻１で１番目の重みに対する修
正量ΔＷが、ΔＷ計算回路１で計算され、時刻２で、修
正量ΔＷの計算結果がレジスタ１１にラッチされる。そ
れと並行して、時刻１でレジスタ１４に、１番目の重み
に対するアドレスがセットされ、修正前の重みの値Ｗｏ
ｌｄが重み用メモリＡより読み出されて、時刻２でレジ
スタ１２にラッチされる。この時、マルチプレクサ３１
は、重み用メモリＡのデータを選択するようになってい
る。そして加算器２で、レジスタ１１の修正量ΔＷの値
と、レジスタ１２の修正前の重みの値Ｗｏｌｄが加算さ
れて、時刻３でその修正結果の重みの値Ｗｎｅｗがレジ
スタ１３にラッチされる。それと同時に、修正結果の重
みの値Ｗｎｅｗをメモリに書き込むために、デマルチプ
レクサ３２は重み用メモリＡを選択し、かつ、レジスタ
１４に１番目の重みに対するアドレスをセットし、重み
用メモリＡを書き込みに切り替えることによって、メモ
リへの書き込みが行なわれる。
【００１９】２番目の重みの修正は、１番目の重みの修
正より１時刻遅れて、全く同様に実行される。そして、
３番目の重みの修正は、さらに１時刻遅れて実行される
。すなわち、この実施例によると、図１のような構成に
し、２つのメモリへの重みデータの割当てを図３のよう
にしたので、１番目の重みのデータの書き込みは重み用
メモリＡに対して行ない、３番目の重みのデータの読み
出しは重み用メモリＢに対して行なうようになる。その
結果、３番目の重みのデータのメモリからの読み出しが
、１番目の重みデータのメモリへの書き込みと同時に行
なえるようになるので、図２に示したように、３番目の
重みの修正が、２番目の重みの修正より、１時刻遅らせ
るだけで実行できる。４番目以降の重みの修正も、マル
チプレクサ３１の切り替えと、レジスタ１４と１５のア
ドレスの発生と、それぞれの重み用メモリＡ，Ｂの読み
出し可能信号ＯＥと書き込み可能信号ＷＥのＨ／Ｌの切
り替えを適切に行なってやることによって、重みのデー
タの読み出しが、書き込みと同時に並列して行なえるの
で、１時刻ずつ遅れて実行することが可能である。
正より１時刻遅れて、全く同様に実行される。そして、
３番目の重みの修正は、さらに１時刻遅れて実行される
。すなわち、この実施例によると、図１のような構成に
し、２つのメモリへの重みデータの割当てを図３のよう
にしたので、１番目の重みのデータの書き込みは重み用
メモリＡに対して行ない、３番目の重みのデータの読み
出しは重み用メモリＢに対して行なうようになる。その
結果、３番目の重みのデータのメモリからの読み出しが
、１番目の重みデータのメモリへの書き込みと同時に行
なえるようになるので、図２に示したように、３番目の
重みの修正が、２番目の重みの修正より、１時刻遅らせ
るだけで実行できる。４番目以降の重みの修正も、マル
チプレクサ３１の切り替えと、レジスタ１４と１５のア
ドレスの発生と、それぞれの重み用メモリＡ，Ｂの読み
出し可能信号ＯＥと書き込み可能信号ＷＥのＨ／Ｌの切
り替えを適切に行なってやることによって、重みのデー
タの読み出しが、書き込みと同時に並列して行なえるの
で、１時刻ずつ遅れて実行することが可能である。
【００２０】以上の動作の説明よりわかるように、本発
明のニューロプロセッサでは、シナプス結合の重み用メ
モリを２つに分割することによって、重みのデータを読
み出すと同時に修正された重みのデータを書き込むこと
を可能にする。その結果、従来例では、図７よりわかる
ように、シナプス結合の重みの修正の計算は、（重みの
データ数）×２の時刻がかかっていたのが、上記実施例
では図２よりわかるように、（重みのデータ数）＋２の
時刻で計算は終了することがわかる。したがって、重み
のデータ数が大きい場合、計算にかかる時刻は、従来例
の１／２倍に短縮される。
明のニューロプロセッサでは、シナプス結合の重み用メ
モリを２つに分割することによって、重みのデータを読
み出すと同時に修正された重みのデータを書き込むこと
を可能にする。その結果、従来例では、図７よりわかる
ように、シナプス結合の重みの修正の計算は、（重みの
データ数）×２の時刻がかかっていたのが、上記実施例
では図２よりわかるように、（重みのデータ数）＋２の
時刻で計算は終了することがわかる。したがって、重み
のデータ数が大きい場合、計算にかかる時刻は、従来例
の１／２倍に短縮される。
【００２１】図４は、本発明の第二の実施例におけるシ
ナプス結合の重みの修正の回路のブロック図である。図
４において１は修正量ΔＷの計算回路、２は加算器であ
る。図４において３は重み用メモリＡ、４は重み用メモ
リＢ、５は重み用メモリＣ、６は重み用メモリＤである
。これらの重み用メモリＡ，Ｂ，Ｃ，Ｄは、従来例の図
６の重み用メモリ３を、４つに分割したものである。 １１，１２および１７，１８，１９，２０は、データを
ラッチするレジスタである。１３，１４，１５，１６は
それぞれ重み用メモリＡ，Ｂ，Ｃ，Ｄにアドレスを与え
るレジスタである。３１は、重み用メモリＡ，Ｂ，Ｃ，
Ｄから読み出した重みデータＷｏｌｄを選択する第一の
切り替え回路としてマルチプレクサを用いる。本実施例
では、重み用メモリＡ，Ｂ，Ｃ，Ｄに、順次アドレスを
割り当てる。前記構成を用いれば、それぞれの重み用メ
モリへのデータの書き込みに２時刻かかるような低速な
メモリを用いても、重みの修正の計算を高速に行なうこ
とができる。
ナプス結合の重みの修正の回路のブロック図である。図
４において１は修正量ΔＷの計算回路、２は加算器であ
る。図４において３は重み用メモリＡ、４は重み用メモ
リＢ、５は重み用メモリＣ、６は重み用メモリＤである
。これらの重み用メモリＡ，Ｂ，Ｃ，Ｄは、従来例の図
６の重み用メモリ３を、４つに分割したものである。 １１，１２および１７，１８，１９，２０は、データを
ラッチするレジスタである。１３，１４，１５，１６は
それぞれ重み用メモリＡ，Ｂ，Ｃ，Ｄにアドレスを与え
るレジスタである。３１は、重み用メモリＡ，Ｂ，Ｃ，
Ｄから読み出した重みデータＷｏｌｄを選択する第一の
切り替え回路としてマルチプレクサを用いる。本実施例
では、重み用メモリＡ，Ｂ，Ｃ，Ｄに、順次アドレスを
割り当てる。前記構成を用いれば、それぞれの重み用メ
モリへのデータの書き込みに２時刻かかるような低速な
メモリを用いても、重みの修正の計算を高速に行なうこ
とができる。
【００２２】図４の回路の動作のタイミングを示したの
が、図５である。図５において時刻以外の欄の数字は、
そのデータが何番目の重みに対するものかを表す。また
、マルチプレクサ３１の欄のＡ，Ｂ，Ｃ，Ｄは、重み用
メモリＡ，Ｂ，Ｃ，Ｄのどれを選択するかを表す。重み
用メモリＡ，Ｂ，Ｃ，Ｄを選択する信号をＣＳ、読み出
し可能信号をＯＥ、書き込み可能信号をＷＥとし、それ
ぞれＨで動作状態、Ｌで動作しない状態を表す。
が、図５である。図５において時刻以外の欄の数字は、
そのデータが何番目の重みに対するものかを表す。また
、マルチプレクサ３１の欄のＡ，Ｂ，Ｃ，Ｄは、重み用
メモリＡ，Ｂ，Ｃ，Ｄのどれを選択するかを表す。重み
用メモリＡ，Ｂ，Ｃ，Ｄを選択する信号をＣＳ、読み出
し可能信号をＯＥ、書き込み可能信号をＷＥとし、それ
ぞれＨで動作状態、Ｌで動作しない状態を表す。
【００２３】以下、図５にしたがって、図４の回路の動
作を説明する。まず、時刻１で１番目の重みに対する修
正量ΔＷが、ΔＷ計算回路１で計算され、時刻２で、Δ
Ｗの計算結果がレジスタ１１にラッチされる。それと並
行して、時刻１でレジスタ１３に、１番目の重みに対す
るアドレスがセットされ、修正前の重みＷの値Ｗｏｌｄ
が重み用メモリＡより読み出されて、時刻２でレジスタ
１２にラッチされる。この時、マルチプレクサ３１は重
み用メモリＡのデータを選択するようになっている。そ
して加算器２で、レジスタ１１の修正量ΔＷの値と、レ
ジスタ１２の修正前の重みの値Ｗｏｌｄとが加算されて
、時刻３でその修正結果の重みの値Ｗｎｅｗがレジスタ
１７にラッチされる。レジスタ１７は、時刻３から４時
刻ごとに修正結果の重みの値Ｗｎｅｗのラッチを行なう
。時刻３，４で、修正結果の重みの値Ｗｎｅｗをメモリ
に書き込むために、レジスタ１３に１番目の重みに対す
るアドレスがセットされ、重み用メモリＡを書き込みに
切り替えることによって、メモリへの書き込みが行なわ
れる。
作を説明する。まず、時刻１で１番目の重みに対する修
正量ΔＷが、ΔＷ計算回路１で計算され、時刻２で、Δ
Ｗの計算結果がレジスタ１１にラッチされる。それと並
行して、時刻１でレジスタ１３に、１番目の重みに対す
るアドレスがセットされ、修正前の重みＷの値Ｗｏｌｄ
が重み用メモリＡより読み出されて、時刻２でレジスタ
１２にラッチされる。この時、マルチプレクサ３１は重
み用メモリＡのデータを選択するようになっている。そ
して加算器２で、レジスタ１１の修正量ΔＷの値と、レ
ジスタ１２の修正前の重みの値Ｗｏｌｄとが加算されて
、時刻３でその修正結果の重みの値Ｗｎｅｗがレジスタ
１７にラッチされる。レジスタ１７は、時刻３から４時
刻ごとに修正結果の重みの値Ｗｎｅｗのラッチを行なう
。時刻３，４で、修正結果の重みの値Ｗｎｅｗをメモリ
に書き込むために、レジスタ１３に１番目の重みに対す
るアドレスがセットされ、重み用メモリＡを書き込みに
切り替えることによって、メモリへの書き込みが行なわ
れる。
【００２４】２番目以降の重みの修正は、マルチプレク
サ３１の切り替えと、レジスタ１３，１４，１５，１６
のアドレスの発生と、それぞれの重み用メモリＡ，Ｂ，
Ｃ，Ｄの読み出し可能信号ＯＥと書き込み可能信号ＷＥ
のＨ／Ｌの切り替えを適切に行なってやることによって
、重みのデータの読み出しが、書き込みと同時に並列し
て行なえるので、１時刻ずつ遅れて実行することが可能
である。
サ３１の切り替えと、レジスタ１３，１４，１５，１６
のアドレスの発生と、それぞれの重み用メモリＡ，Ｂ，
Ｃ，Ｄの読み出し可能信号ＯＥと書き込み可能信号ＷＥ
のＨ／Ｌの切り替えを適切に行なってやることによって
、重みのデータの読み出しが、書き込みと同時に並列し
て行なえるので、１時刻ずつ遅れて実行することが可能
である。
【００２５】以上の動作説明よりわかるように、本実施
例のニューロプロセッサでは、シナプス結合の重み用メ
モリを４つに分割することによって、重みのデータを読
み出すと同時に修正された重みのデータを書き込むこと
を可能にする。
例のニューロプロセッサでは、シナプス結合の重み用メ
モリを４つに分割することによって、重みのデータを読
み出すと同時に修正された重みのデータを書き込むこと
を可能にする。
【００２６】前記２つの実施例とも演算器は連続して使
用され、演算器の使用効率が高くなるので、計算が高速
に行なえるようになる。
用され、演算器の使用効率が高くなるので、計算が高速
に行なえるようになる。
【００２７】なお、本実施例では、ΔＷ計算回路の計算
が１時刻で終了するとしているが、ΔＷ計算回路がパイ
プラインの構成になっていて、計算に複数時刻必要な場
合も、効果は同様に得られる。また、修正量ΔＷの計算
アルゴリズムに依存しないので、どのような学習アルゴ
リズムで学習するニューロプロセッサに対しても応用で
きる。
が１時刻で終了するとしているが、ΔＷ計算回路がパイ
プラインの構成になっていて、計算に複数時刻必要な場
合も、効果は同様に得られる。また、修正量ΔＷの計算
アルゴリズムに依存しないので、どのような学習アルゴ
リズムで学習するニューロプロセッサに対しても応用で
きる。
【００２８】
【発明の効果】本発明によれば、シナプス結合の重み用
メモリを複数個に分割し、第一の切り替え回路で接続さ
れる前記重み用メモリと第二の切り替え回路で接続され
る前記重み用メモリとを別々にすることにより、読み出
しと書き込みを同時刻に並列して行なうことが可能とな
る。その結果、演算器の使用効率が高くなる。また、低
速のメモリを用いても、それぞれの重み用メモリにレジ
スタを設けることによって、読み出しと書き込みを同時
刻に並列して行なうことが可能となり、ニューラルネッ
トワークの計算が高速にできるニューロプロセッサを提
供できる。
メモリを複数個に分割し、第一の切り替え回路で接続さ
れる前記重み用メモリと第二の切り替え回路で接続され
る前記重み用メモリとを別々にすることにより、読み出
しと書き込みを同時刻に並列して行なうことが可能とな
る。その結果、演算器の使用効率が高くなる。また、低
速のメモリを用いても、それぞれの重み用メモリにレジ
スタを設けることによって、読み出しと書き込みを同時
刻に並列して行なうことが可能となり、ニューラルネッ
トワークの計算が高速にできるニューロプロセッサを提
供できる。
【図１】第一の実施例のシナプス結合の重みの修正の回
路のブロック図
路のブロック図
【図２】第一の実施例のシナプス結合の重みの修正の動
作のタイミングの図
作のタイミングの図
【図３】第一の実施例のシナプス結合の重み用メモリの
アドレスの割当とその内容の図
アドレスの割当とその内容の図
【図４】第二の実施例のシナプス結合の重みの修正の回
路のブロック図
路のブロック図
【図５】第二の実施例のシナプス結合の重みの修正の動
作のタイミングの図
作のタイミングの図
【図６】従来のシナプス結合の重みの修正の回路のブロ
ック図
ック図
【図７】従来のシナプス結合の重みの修正の動作のタイ
ミングの図
ミングの図
１ ΔＷ計算回路
２ 加算器
３ シナプス結合の重み用メモリ
４ シナプス結合の重み用メモリ
５ シナプス結合の重み用メモリ
６ シナプス結合の重み用メモリ
１１ レジスタ
１２ レジスタ
１３ レジスタ
１４ レジスタ
１５ レジスタ
１６ レジスタ
１７ レジスタ
１８ レジスタ
１９ レジスタ
２０ レジスタ
３１ マルチプレクサ
３２ デマルチプレクサ
Claims (2)
- 【請求項１】複数個に分割されたシナプス結合の重み用
メモリと、前記重み用メモリの出力を選択する第一の切
り替え回路と、重み修正回路と、前記重み修正回路の出
力を前記重み用メモリに分配する第二の切り替え回路と
を備え、前記第一の切り替え回路で接続された前記重み
用メモリと前記第二の切り替え回路で接続された前記重
み用メモリとが異なることを特徴とするニューロプロセ
ッサ。 - 【請求項２】第二の切り替え回路が複数個のレジスタか
ら成り、前記レジスタの入力が重み修正回路の出力に共
通接続され、前記レジスタの出力が重み用メモリのデー
タ線に接続されていることを特徴とする請求項１記載の
ニューロプロセッサ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08390391A JP3177996B2 (ja) | 1991-04-16 | 1991-04-16 | ニューロプロセッサ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08390391A JP3177996B2 (ja) | 1991-04-16 | 1991-04-16 | ニューロプロセッサ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04316153A true JPH04316153A (ja) | 1992-11-06 |
| JP3177996B2 JP3177996B2 (ja) | 2001-06-18 |
Family
ID=13815588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08390391A Expired - Fee Related JP3177996B2 (ja) | 1991-04-16 | 1991-04-16 | ニューロプロセッサ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3177996B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020030620A (ja) * | 2018-08-23 | 2020-02-27 | 株式会社明電舎 | ニューラルネットワークのアーキテクチュア |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6151671B2 (ja) * | 2014-07-29 | 2017-06-21 | 徹 小窪 | ペットボトル注水補助器 |
| US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
| US11544545B2 (en) | 2017-04-04 | 2023-01-03 | Hailo Technologies Ltd. | Structured activation based sparsity in an artificial neural network |
| US11551028B2 (en) | 2017-04-04 | 2023-01-10 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network |
| US10387298B2 (en) | 2017-04-04 | 2019-08-20 | Hailo Technologies Ltd | Artificial neural network incorporating emphasis and focus techniques |
| US11615297B2 (en) | 2017-04-04 | 2023-03-28 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network compiler |
| US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
-
1991
- 1991-04-16 JP JP08390391A patent/JP3177996B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020030620A (ja) * | 2018-08-23 | 2020-02-27 | 株式会社明電舎 | ニューラルネットワークのアーキテクチュア |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3177996B2 (ja) | 2001-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106940815B (zh) | 一种可编程卷积神经网络协处理器ip核 | |
| Imani et al. | Ultra-efficient processing in-memory for data intensive applications | |
| US5506998A (en) | Parallel data processing system using a plurality of processing elements to process data and a plurality of trays connected to some of the processing elements to store and transfer data | |
| US5604840A (en) | Information processing apparatus | |
| US20160196488A1 (en) | Neural network computing device, system and method | |
| JPH05505268A (ja) | デイジーチェーン制御付ニューラルネットワーク | |
| EP0486635A1 (en) | Scalable flow virtual learning neurocomputer | |
| JPH04316153A (ja) | ニューロプロセッサ | |
| CN110377874B (zh) | 卷积运算方法及系统 | |
| EP1314099B1 (en) | Method and apparatus for connecting a massively parallel processor array to a memory array in a bit serial manner | |
| JP2010244096A (ja) | データ処理装置、印刷システムおよびプログラム | |
| US7516059B2 (en) | Logical simulation device | |
| JPH05159087A (ja) | ニューロプロセッサ | |
| JPH04237388A (ja) | ニューロプロセッサ | |
| Ramacher et al. | Fine-grain system architectures for systolic emulation of neural algorithms | |
| JPH05128285A (ja) | ニユーロプロセツサ | |
| JPS58142459A (ja) | 主記憶装置 | |
| CN115033843B (zh) | 基于三角脉动阵列的协方差矩阵计算的电路实现方法 | |
| JP2522406B2 (ja) | 全結合型ネットワ―ク並列処理方法と装置 | |
| JPH05197707A (ja) | 情報処理システム | |
| JPH07101415B2 (ja) | 情報処理装置及びその学習方法 | |
| JPH04233063A (ja) | ニューロプロセッサ | |
| JPH04364525A (ja) | 並列演算装置 | |
| JP3047411B2 (ja) | ネットワーク構成データ処理装置の重み更新量保持方式 | |
| JPH03105452A (ja) | ネットワーク構成データ処理装置の重み保持方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |