JP3344164B2 - ニューラルネットワーク回路 - Google Patents

ニューラルネットワーク回路

Info

Publication number
JP3344164B2
JP3344164B2 JP14598595A JP14598595A JP3344164B2 JP 3344164 B2 JP3344164 B2 JP 3344164B2 JP 14598595 A JP14598595 A JP 14598595A JP 14598595 A JP14598595 A JP 14598595A JP 3344164 B2 JP3344164 B2 JP 3344164B2
Authority
JP
Japan
Prior art keywords
output
memory
value
adder
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP14598595A
Other languages
English (en)
Other versions
JPH08339359A (ja
Inventor
征克 丸山
史朗 崎山
博幸 中平
大 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP14598595A priority Critical patent/JP3344164B2/ja
Publication of JPH08339359A publication Critical patent/JPH08339359A/ja
Application granted granted Critical
Publication of JP3344164B2 publication Critical patent/JP3344164B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Complex Calculations (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、音声認識や画像認識処
理を行うニューラルネットワークの処理をする回路に関
する。
【０００２】
【従来の技術】情報処理のニューラルネットワークの分
野に最近大きな関心が集まってきている。これらのニュ
ーラルネットワークは生物のニューロンの構造を模倣し
て電子回路で実現している。
【０００３】色々なニューラルネットワークがあるが、
図１０に示す層構造のニューラルネットワークは、入力
層、ニューロン１からなる出力層より構成されており、
入力層より画像や音声のデータが入力され、出力層より
認識結果が出力される構成である。また、この層構造の
ニューラルネットワークを階層的にかさねることにより
多層のニューラルネットワークを構成することも行われ
ている。
【０００４】図１０に示したニューラルネットワーク
は、図１１に示すニューロン１より構成されている。図
１１のニューロンは、１つの出力と複数の入力を持って
おり、各々の入力に各々の重み係数を乗じ、加算し、そ
の結果を出力する。
【０００５】図７に示したニューラルネットワークも、
同じく、図１１に示すニューロンより構成されている。
しかし、図７のニューラルネットワークは入力層だけで
なく、近傍のニューロンの出力もニューロンの入力とし
てネットワークが構成されていおり、近傍のニューロン
の出力によって出力が決まることになる。すなわち、近
傍のニューロンから側抑制を受けることになる。
【０００６】これらのニューラルネットワークの処理の
多くは、従来のフォン・ノイマン型計算機で実現されて
いる。また、側抑制の構造の持つニューラルネットワー
クでは出力が安定するまで、より多くの計算時間が必要
となる。
【０００７】
【発明が解決しようとする課題】ハードウェアで構成し
たニューロコンピュータの多くは、フォン・ノイマン型
計算機で逐次直列的に計算を行っており、側抑制の構造
の持つニューラルネットワークの計算を行う場合、より
多くの計算時間が必要となる。
【０００８】本発明は、以上のような問題点を解決する
ために、側抑制の構造の持つニューラルネットワークの
計算を行う場合も、高速に計算可能な回路を提供するこ
とを目的としている。
【０００９】
【課題を解決するための手段】上記目的を達成するため
に本発明のニューラルネットワーク回路は、入力に関す
る計算を行う第１の演算部と、ニューラルネットワーク
の側抑制の部分に関する計算を行う第２の演算部とを備
えたものである。
【００１０】また、本発明のニューラルネットワーク回
路は、ニューラルネットワークの入力に関する計算を行
う第１の演算部と、側抑制の部分に関する計算を行う複
数の第２の演算部と、前記複数の第２の演算部のスター
トを制御するスタート制御部とを備え、前記複数の第２
の演算部を順次に計算することを特徴とするものであ
る。
【００１１】
【作用】本発明は、上記の構成により、側抑制のあるニ
ューラルネットワークにおいて、繰り返し計算を行う第
２の演算部と、フォワードの演算を行う第１の演算部と
で構成する事で、高速なニューラルネットワーク回路を
実現することができる。
【００１２】また本発明は上記構成によれば、側抑制の
あるニューラルネットワークにおいて、入力に関する計
算を行う第１の演算部と、側抑制の部分に関する計算を
行う複数の第２の演算部と、前記複数の第２の演算部の
スタートを制御するスタート制御部で構成するため、側
抑制の部分の演算と入力に関する演算を分けて計算する
ことと、側抑制の部分に関する計算を行う演算を順次に
計算することで高速処理を実現する事ができる。
【００１３】
【実施例】本発明の実施例について図面を参照しながら
説明する。図１に本発明の一実施例におけるニューロン
回路の一例を示す。
【００１４】図１の本発明は、図７に示した側抑制があ
るニューラルネットワークの処理を高速に実現する。図
７のニューラルネットワークは、図１１のニューロンに
よって構成されているが、図１１のニューロンを、図１
２に示す様に、入力層からの信号の計算する入力ニュー
ロン３と、近傍のニューロンの出力からの信号の計算す
る側抑制ニューロン２に分けて構成する。図１２に示す
ニューロンで、図７のニューラルネットワークを構成す
ると、図８に示す様なニューラルネットワークとなる。
ここで、側抑制ニューロン２の入力の数は少なく、入力
ニューロン３の入力数は多い。ニューラルネットワーク
の入力が多くなると入力ニューロン３の入力数も増加す
ることになる。それに対して、側抑制ニューロン２の入
力の数は増加しない。ただし、参照される出力数が増え
たときには増加する。
【００１５】また、計算回数については、入力ニューロ
ン３では入力数に比例するが、側抑制ニューロン２では
出力が安定するまで、繰り返し計算する必要がある。
【００１６】図１の本発明では、図８で示す側抑制のニ
ューロンブロック４と、入力層入力ニューロンブロック
５で分割して処理する。図１の本発明は、側抑制のニュ
ーロンブロック４の計算を担当する側抑制演算器１２０
と、入力層入力ニューロンブロック５の計算を担当する
入力層累積演算器１０１とで構成されている。
【００１７】図２に、入力層累積演算器１０１の構成を
示す。入力層累積演算器１０１は、入力メモリ１０６、
重みメモリ１０７、乗算器１０８、加算器１０９、レジ
スタ１１０と中間結果出力メモリ１１１、制御回路１１
２、選択回路１１３とで構成されている。入力メモリ１
０６は、ニューラルネットワークに与えられる入力デー
タが保持されている。重みメモリ１０７は入力データに
対応した荷重値が保持されている。中間結果出力メモリ
１１１は、図８での入力層入力ニューロンブロック５の
出力を保持する。
【００１８】入力層累積演算器１０１の動作について説
明する。入力層累積演算器１０１は、制御回路１１２へ
スタート信号が与えられる事でクロックに従い、処理が
実行される。制御回路１１２から与えられるアドレスＡ
の入力データが入力メモリ１０６より読み出される。制
御回路１１２からアドレスＢが重みメモリ１０７に与え
られ、重みメモリ１０７からは、それに対応した荷重値
が読み出される。制御回路１１２から与えられるアドレ
スＡとアドレスＢは入力データに対応した荷重値のアド
レスとなっている。
【００１９】乗算器１０８は、入力メモリ１０６よりの
入力データと、重みメモリ１０７から読み出された対応
した荷重値との乗算を行い、加算器１０９に出力する。
【００２０】選択回路１１３は制御回路１１２からの切
替信号によりレジスタ１１０または値０を出力する。切
替信号は、ニューロンの最初の計算の時のみ、制御回路
１１２が値０を出力し、以降、レジスタ１１０の値を出
力する信号である。
【００２１】加算器１０９は、選択回路１１３と乗算器
１０８の出力を加算し、中間結果出力メモリ１１１とレ
ジスタ１１０に出力する。これにより、図８の入力ニュ
ーロンブロック５のそれぞれの入力層入力ニューロン３
について、入力データと、それに対応した荷重値が順次
読み出され、乗算器１０８と加算器１０９で累積加算さ
れ、図８での入力層入力ニューロンブロック５の出力が
中間結果出力メモリ１１１に保持される。
【００２２】図３に、側抑制演算器１２０の構成を示
す。側抑制演算器１２０は、中間入力メモリ１２１、加
算器１２２、１２３、側抑制メモリ１２４、中間データ
メモリＲ１２５、中間データメモリＬ１２６、乗算器１
２７、出力メモリ１２８、レジスタＺ１２９、選択回路
１３０、アドレス発生器１３１、インバータ１３２で構
成されている。
【００２３】
【表１】
【００２４】図９と（表１）を用いて動作を説明する。
（表１）に動作のシーケンスを示す。中間入力メモリ１
２１は、入力層累積演算器１０１の計算結果が保持され
おり、図９ではｙ0〜ｙ3である。中間データメモリＲ１
２５と中間データメモリＬ１２６には、各側抑制入力に
おける最新の計算結果が保持される。図９ではＲ0〜
Ｒ2、Ｌ1〜Ｌ3である。中間データメモリＲ１２５と中
間データメモリＬ１２６は、切替信号に１が入力された
とき書き込みモードになる。出力メモリ１２８には、最
新の出力結果が保持される。側抑制メモリ１２４は、切
替信号が０の時、アドレス入力で指定された側抑制加重
値ＷLの値が、切替信号が１の時、アドレス入力で指定
された側抑制加重値ＷRの値が読み出さる。
【００２５】初期状態では、中間データメモリＲ１２
５、中間データメモリＬ１２６、出力メモリ１２８、レ
ジスタＺ１２９はゼロが設定される。また、予め、演算
回数はアドレス発生器１３１に設定し、スタート信号に
よりスタートし、クロックが演算回数に達したとき計算
が終了する。アドレス発生器１３１は、アドレス出力と
切替信号を出力する。このアドレス出力はアップダウン
カウントされた値であり、切替信号はアップカウントの
時は０、ダウンカウントの時は１となっている信号であ
る。
【００２６】ｔ＝１の時、アドレス出力が０で、中間入
力メモリ１２１はｙ0を出力する。選択回路１３０は中
間データメモリＲ１２５を選択する。ここで、初期状態
では、中間データメモリＲ１２５は全てゼロが設定され
ているので、選択回路１３０の出力はゼロである。加算
器１２２は、中間入力メモリ１２１の出力値のｙ0と選
択回路１３０の出力ゼロを加算する。レジスタＺ１２９
がゼロであるので乗算器１２７の出力がゼロとなる。乗
算器１２７の出力は、中間データメモリＬ１２６のアド
レスの０番地に保持される。そして、加算器１２３の出
力はｙ0の値となる。加算器１２３の出力は、レジスタ
Ｚ１２９と出力メモリ１２８のアドレスの０番地に保持
される。ここで、更新されたレジスタＺ１２９の値をｚ
0（０）とする。カッコの中は書き換えられた順番を表
す数である。
【００２７】ｔ＝２の時、アドレス出力が１で、中間入
力メモリ１２１はｙ1を出力する。選択回路１３０は中
間データメモリＲ１２５を選択する。同じく、初期状態
では、中間データメモリＲ１２５は全てゼロが設定され
ているので、選択回路１３０の出力はゼロである。加算
器１２２は、中間入力メモリ１２１の出力値のｙ1と選
択回路１３０の出力ゼロを加算する。切替信号が０なの
で側抑制メモリ１２４はＷL1の値を読み出す。レジスタ
Ｚ１２９の値がｚ0（０）であるので、乗算器１２７の
出力は、ＷL1×ｚ0（０）となる。乗算器１２７の出力
は、中間データメモリＬ１２６のアドレスの１番地に保
持される。従って、加算器１２３の出力は、ＷL1×ｚ0
（０）＋ｙ１の値となる。加算器１２３の出力は、レジ
スタＺ１２９と出力メモリ１２８のアドレスの１番地に
保持される。ここで、更新されたレジスタＺ１２９の値
をｚ1（０）とする。
【００２８】ｔ＝３の時、アドレス出力が２で、中間入
力メモリ１２１はｙ2を出力する。選択回路１３０は中
間データメモリＲ１２５を選択する。同じく、初期状態
では、中間データメモリＲ１２５は全てゼロが設定され
ているので、選択回路１３０の出力はゼロである。加算
器１２２は、中間入力メモリ１２１の出力値のｙ2と選
択回路１３０の出力ゼロを加算する。切替信号が０なの
で側抑制メモリ１２４はＷL2の値を読み出す。レジスタ
Ｚ１２９の値ががｚ1（０）であるので、乗算器１２７
の出力は、ＷL2×ｚ1（０）となる。乗算器１２７の出
力は、中間データメモリＬ１２６のアドレスの２番地に
保持される。従って、加算器１２３の出力は、ＷL2×ｚ
1（０）＋ｙ2の値となる。加算器１２３の出力は、レジ
スタＺ１２９と出力メモリ１２８のアドレスの２番地に
保持される。ここで、更新されたレジスタＺ１２９の値
をｚ2（０）とする。
【００２９】ｔ＝４の時、アドレス出力が３で、中間入
力メモリ１２１はｙ3を出力する。選択回路１３０は中
間データメモリＲ１２５を選択する。同じく、初期状態
では、中間データメモリＲ１２５は全てゼロが設定され
ているので、選択回路１３０の出力はゼロである。加算
器１２２は、中間入力メモリ１２１の出力値のｙ3と選
択回路１３０の出力ゼロを加算する。切替信号が０なの
で側抑制メモリ１２４はＷL3の値を読み出す。レジスタ
Ｚ１２９の値がｚ2（０）であるので、乗算器１２７の
出力は、ＷL3×ｚ2（０）となる。乗算器１２７の出力
は、中間データメモリＬ１２６のアドレスの３番地に保
持される。従って、加算器１２３の出力は、ＷL3×ｚ2
（０）＋ｙ3の値となる。加算器１２３の出力は、レジ
スタＺ１２９と出力メモリ１２８のアドレスの３番地に
保持される。ここで、更新されたレジスタＺ１２９の値
をｚ3（０）とする。
【００３０】ｔ＝５の時、アドレス出力が２で、中間入
力メモリ１２１はｙ2を出力する。切り替え信号が１と
なり、選択回路１３０は中間データメモリＬ１２６を選
択する。中間データメモリＬ１２６のアドレスの２番地
が呼び出される。このデータはｔ＝３時に書き込まれた
ものであり、これまでの計算結果に反映された値となっ
ている。ここでこの値をＬ２とする。従って、加算器１
２２の出力は、ｙ2＋Ｌ2となる。切替信号が１なので側
抑制メモリ１２４はＷR2の値を読み出す。レジスタＺ１
２９の値ががｚ3（０）であるので、乗算器１２７の出
力は、ＷR2×ｚ3（０）となる。乗算器１２７の出力
は、中間データメモリＲ１２５のアドレスの２番地に保
持される。従って、加算器１２３の出力は、ＷR2×ｚ3
（０）＋ｙ2＋Ｌ2の値となる。加算器１２３の出力は、
レジスタＺ１２９に保持さる。また、出力メモリ１２８
のアドレスの２番地の値を書き換え、最新の出力値とす
る。（表１）に示している様に、更新されたレジスタＺ
１２９の値はｚ2（１）となる。
【００３１】以下、クロック従い、設定された演算回数
だけ計算が実行され、計算終了後、出力メモリ１２８に
は、ニューラルネットワークの出力が保持されている。
【００３２】図４に、本発明における他の側抑制演算器
２２０の構成を示す。側抑制演算器２２０は、中間入力
メモリ１２１、加算器１２２、１２３、１３７、側抑制
メモリ１２４、中間データメモリＲ１２５、中間データ
メモリＬ１２６、乗算器１２７、出力メモリ１３３、レ
ジスタＺ１２９、選択回路１３０、１３６、アドレス発
生器１３４、インバータ１３２、レジスタＤ１３８、レ
ジスタＥ１３９、レジスタＭ１４０、差分絶対値回路１
３５で構成されている。
【００３３】中間入力メモリ１２１は、入力層累積演算
器１０１の計算結果が保持されおり、図９ではｙ0〜ｙ3
である。中間データメモリＲ１２５と中間データメモリ
Ｌ１２６には、各側抑制入力における最新の計算結果が
保持される。図９ではＲ0〜Ｒ2、Ｌ1〜Ｌ3である。中間
データメモリＲ１２５と中間データメモリＬ１２６は、
切替信号に１が入力されたとき書き込みモードになる。
出力メモリ１３３には、最新の出力結果が保持される。
側抑制メモリ１２４は、切替信号が０の時、アドレス入
力で指定されたＷLの値が、切替信号が１の時、アドレ
ス入力で指定されたＷRの値が読み出さる。また、差分
絶対値回路１３５は、２つの入力の差の絶対値を出力す
る。
【００３４】初期状態では、中間データメモリＲ１２
５、中間データメモリＬ１２６、出力メモリ１３３、レ
ジスタＺ１２９、レジスタＭ１４０にはゼロが設定さ
れ、レジスタＤ１３８、レジスタＥ１３９には最も大き
い値が設定されている。
【００３５】また予め、前回の計算との差分値が所定の
値以下であれば、計算を終了する所定値（＝目標値）を
アドレス発生器１３４に設定し、スタート信号によりス
タートし、クロックに従い計算を実行する。そして、レ
ジスタＥ１３９からの値が設定された目標値以下となっ
たとき実行が終了する。
【００３６】アドレス発生器１３４は、アドレス出力と
切替信号を出力する。このアドレス出力はアップダウン
カントされた値であり、切替信号はアップカウントの時
は０、ダウンカウントの時は１となっている信号であ
り、選択信号はアップカウントからダウンカウントに変
わるときもしくは、ダウンカウントからアップカウント
変わって時のみ１となる信号である。
【００３７】
【表２】
【００３８】（表２）に動作のシーケンスを示す。ここ
で、加算器１２３、乗算器１２７の出力は（表１）と同
様であり、略している。（表２）には、差分絶対値回路
１３５の出力、加算器１３７の出力、レジスタＥ１３９
の出力を示す。
【００３９】ｔ＝１の時、アドレス出力が０で、加算器
１２３の出力は、ｚ0（０）であり、差分絶対値回路１
３５の出力は、加算器１２３の出力のｚ0（０）と出力
メモリ１３３との差の絶対値を出力する。初期状態で
は、出力メモリ１３３は全て０であるので差分絶対値回
路１３５の出力は、｜ｚ0（０）−０｜となる。ここ
で、説明のため｜ｚ0（０）−０｜＝Ｍ1とする。
【００４０】また、初期状態ではレジスタＭ１４０はゼ
ロであり、アドレス発生器１３４の選択信号が１で、選
択回路１３６はレジスタＭ１４０を選択しているので、
加算器１３７の値は、０＋Ｍ1となる。ここでも、説明
のため０＋Ｍ1＝Ｄ1とする。
【００４１】ｔ＝２の時、アドレス出力が１で、加算器
１２３の出力は、ｚ1（０）であり、差分絶対値回路１
３５の出力は、加算器１２３の出力のｚ1（０）と出力
メモリ１３３との差の絶対値を出力する。初期状態で
は、出力メモリ１３３は０であるので差分絶対値回路１
３５の出力は、｜ｚ1（０）−０｜となる。ここで、｜
ｚ1（０）−０｜＝Ｍ2とする。
【００４２】アドレス発生器１３４の選択信号が０で、
選択回路１３６はレジスタＤ１３８を選択しているの
で、加算器１３７の値は、Ｄ1＋Ｍ2となる。Ｄ1＋Ｍ2＝
Ｄ2とする。
【００４３】ｔ＝３の時、アドレス出力が２で、加算器
１２３の出力は、ｚ2（０）であり、差分絶対値回路１
３５の出力は、加算器１２３の出力のｚ2（０）と出力
メモリ１３３との差の絶対値を出力する。初期状態で
は、出力メモリ１３３は０であるので差分絶対値回路１
３５の出力は、｜ｚ2（０）−０｜となる。ここで、｜
ｚ2（０）−０｜＝Ｍ3とする。
【００４４】アドレス発生器１３４の選択信号が０で、
選択回路１３６はレジスタＤ１３８を選択しているの
で、加算器１３７の値はＤ2＋Ｍ3となる。Ｄ2＋Ｍ3＝Ｄ
3とする。
【００４５】ｔ＝４の時、アドレス出力が３で、加算器
１２３の出力は、ｚ3（０）であり、差分絶対値回路１
３５の出力は、加算器１２３の出力のｚ3（０）と出力
メモリ１３３との差の絶対値を出力する。初期状態で
は、出力メモリ１３３は０であるので差分絶対値回路１
３５の出力は、｜ｚ3（０）−０｜となる。ここで、｜
ｚ3（０）−０｜＝Ｍ4とする。
【００４６】アドレス発生器１３４の選択信号が０で、
選択回路１３６はレジスタＤ１３８を選択しているの
で、加算器１３７の値はＤ3＋Ｍ4となる。Ｄ3＋Ｍ4＝Ｄ
4とする。
【００４７】ｔ＝５の時、レジスタＥ１３９は、選択信
号により、ｔ＝４での加算器１３７の値Ｄ４が取り込ま
れる。同時に、アドレス出力が２となり、加算器１２３
の出力は、ｚ2（１）であり、差分絶対値回路１２５の
出力は、加算器１２３の出力のｚ2（１）と出力メモリ
１３３との差の絶対値を出力する。出力メモリ１３３
は、アドレスが２番地のデータｚ2（０）が読み出され
る。アドレスが２番地のデータは、ｔ＝３で書き込まれ
た前回のｚ２の値でｚ2（０）である。差分絶対値回路
１２５の出力は、｜ｚ2（１）−ｚ2（０）｜となる。こ
こで、｜ｚ2（１）−ｚ2（０）｜＝Ｍ5とする。
【００４８】アドレス発生器１３４の選択信号が１で、
選択回路１３６はレジスタＭ１４０を選択している。レ
ジスタＭ１４０の値は１クロック前の差分絶対値回路１
３５の出力と同じである値Ｍ4である。加算器１３７の
値はＭ4＋Ｍ5となる。Ｍ4＋Ｍ 5＝Ｄ5とする。
【００４９】ここで、レジスタＥ１３９の値は、初期設
定された出力メモリ１３３と１回目の計算での出力値の
差分の絶対値の和となっている。出力メモリ１３３に前
回の結果が保持されていれば、今回の結果と前回の結果
の差分の絶対値の和がレジスタＥ１３９に保持されてい
ることになる。
【００５０】以下、同様に、順次計算を実行すること
で、レジスタＥ１３９には最新の結果と、その１つ前の
結果の差分の絶対値の和が保持されている。
【００５１】アドレス発生器１３４において、レジスタ
Ｅ１３９からの値が、予め設定された目標値より小さく
なれば計算を終了する。
【００５２】計算終了後、出力メモリ１２８には、ニュ
ーラルネットワークの出力が保持されている。
【００５３】図５に本発明の他の実施例におけるニュー
ロン回路の例を示す。図５の本発明は、同じく、図７に
示した側抑制があるニューラルネットワークの処理を高
速に実現する。図１の第１の実施例と同じく、図８に示
す様なニューラルネットワークの構成で処理を考える。
ここで、側抑制ニューロン２の入力の数は少なく、入力
ニューロン３の入力数は多い。ニューラルネットワーク
の入力が多くなると入力ニューロン３の入力数も増加す
ることになる。それに対して、側抑制ニューロン２の入
力の数は増加しない。ただし、参照される出力数が増え
たときには増加する。
【００５４】また、計算回数については、入力ニューロ
ン３では入力数に比例するが、側抑制ニューロン２では
出力が安定するまで、繰り返し計算する必要がある。
【００５５】図５の本発明では、図８で示す側抑制のニ
ューロンブロック４と、入力層入力ニューロンブロック
５で分割して処理する。図１の本発明は、側抑制のニュ
ーロンブロック４の計算を複数の回路を用いて処理する
側抑制演算器１２０、３２０と、入力層入力ニューロン
ブロック５計算を担当する入力層累積演算器１０１と、
複数の側抑制演算器１２０、３２０と入力層累積演算器
１０１のスタートを制御するスタート制御回路２００で
構成されている。
【００５６】側抑制演算器１２０、３２０および入力層
累積演算器１０１は上記で説明したものと同様のもので
ある。
【００５７】図６の波形図を用いて、図５の発明を説明
する。予め、側抑制演算器１２０、３２０の演算回数は
設定されており、入力層入力累積演算器１０１の処理時
間は、側抑制演算器１２０、３２０の処理時間の半分で
実行されるとしている。
【００５８】スタート信号は、入力層入力累積演算器１
０１とスタート制御回路２００に与えられる。スタート
制御回路２００は１／２分周され、スタートＡ信号とス
タートＢ信号を出力する。スタートＢ信号は、スタート
Ａ信号をスタート信号の１パルス遅らせた信号となって
いる。スタートＡ信号は、側抑制演算器Ａ１２０に、ス
タートＢ信号は、側抑制演算器Ｂ３２０に与えられる。
【００５９】入力層入力累積演算器１０１にはクロック
が与えられており、順次与えられる入力データを、スタ
ート信号により処理が行われ、入力層入力累積演算器１
０１の処理結果が、抑制演算器１２０,３２０に与えら
れる。抑制演算器Ａ１２０はスタートＡ信号が、抑制演
算器Ｂ３２０はスタートＢ信号が与えられている。従っ
て、入力層入力累積演算器１０１の処理結果を交互に処
理が行われる。
【００６０】抑制演算器Ａ１２０は入力データの１、
３、５番目のものが処理され、抑制演算器Ｂ３２０は入
力データの２、４、６番目のものが処理され、結果が出
力されることになる。
【００６１】ここで、側抑制演算器１２０、３２０の演
算回数を大きく設定したとする場合、さらに、側抑制演
算器を付加し、側抑制演算器の個数に合ったスタート回
路２００で制御することで、処理のスループットを維持
することができる。側抑制演算器部分のみの対応で処理
能力を改善でき、回路規模においても有利である。
【００６２】以上の様に、側抑制のあるニューラルネッ
トワークにおいて、繰り返し計算を行う側抑制演算器の
部分と、フォワードの演算を行う入力層入力累積演算器
の部分とで構成する事により、高速なニューラルネット
ワーク回路を実現することができる。以上、入力層と出
力層のニューラルネットワークで、即抑制の接続が２つ
についての場合に説明したがこの限りではない。また、
入力層入力累積演算器が一つの場合について説明した
が、この限りではない。
【００６３】
【発明の効果】本発明によれば、側抑制のあるニューラ
ルネットワークにおいて、繰り返し計算を行う側抑制演
算部と、フォワードの演算を行う入力層入力累積演算部
とで構成する事で、高速なニューラルネットワーク回路
を実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施例におけるニューロンの回路図
【図２】図１の入力層入力累積演算器のブロック図
【図３】図１の側抑制演算器のブロック図
【図４】図１の側抑制演算器のもう一つブロック図
【図５】本発明のもうひとつの一実施例におけるニュー
ロンの回路図
【図６】図６における波形図
【図７】側抑制のあるニューラルネットワークの構成図
【図８】側抑制のあるニューラルネットワークの構成図
【図９】ニューラルネットワークの側抑制部分の説明図
【図１０】ニューラルネットワークの構成図
【図１１】ニューロンの説明図
【図１２】ニューロンの説明図
【符号の説明】
１ ニューロン ２ 側抑制ニューロン ３ 入力層入力ニューロン ４ 側抑制ニューロンブロック ５ 入力層入力ニューロンブロック １０１ 入力層入力累積演算器 １２０、２２０、３２０ 側抑制演算器 ２００ スタート制御回路 １０６ 入力メモリ １０７ 重みメモリ １０８、１２７ 乗算器 １０９、１２２、１２３、１３７ 加算器 １１０、１２９、１４０１３８、１３９ レジスタ １１１ 中間出力メモリ １１２ 制御回路 １１３、１３０、１３６ 選択回路 １２１ 中間入力メモリ １２５、１２６ 中間データメモリ １３２ インバータ １２４ 側抑制メモリ １２８、１３３ 出力メモリ １３１、１３４ アドレス発生器 １３５ 差分絶対値回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 福田 大 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 特開 平２−14389（ＪＰ，Ａ) 特開 平６−12396（ＪＰ，Ａ) 特開 平３−157750（ＪＰ，Ａ) Ｊ．デイホフ・著、桂井浩・訳，「ニ ューラルネットワークアーキテクチャ入 門」，日本，森北出版株式会社・発行, 1992年 ４月10日，初版，ｐｐ．110− 117 (58)調査した分野(Int.Cl.7，ＤＢ名) G06N 1/00 - 7/08 G06G 7/60 ＪＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項１】 与えられた入力データにおいてネットワ
    ークの計算を実行するニューラルネットワーク回路であ
    って、 前記各入力データに重みづけをして加算する第１の演算
    部と、ニューラルネットワーク回路から出力された側抑制とな
    る各データの重み付けした値と第１の演算部の演算結果
    とを加算する 第２の演算部と、 前記第２の演算部の側抑制となる各データの重み付けし
    た値と第１の演算部の演算結果とを加算しニューラルネ
    ットワークの出力とする計算を繰り返し行う回数を設定
    する入力端子とを有し、ニューラルネットワーク回路の出力の中の最も大きな値
    を認識結果と することを特徴とするニューラルネットワ
    ーク回路。
  2. 【請求項２】 与えられた入力データにおいてネットワ
    ークの計算を実行するニューラルネットワーク回路であ
    って、 前記各入力データに重みづけをして加算する第１の演算
    部と、ニューラルネットワーク回路から出力された側抑制とな
    る各データの重み付けした値と第１の演算部の演算結果
    とを加算する 第２の演算部と、 前記第２の演算部の側抑制となる各データの重み付けし
    た値と第１の演算部の演算結果とを加算しニューラルネ
    ットワークの出力とする出力計算における繰り返し計算
    での前回の計算の出力値と今回の計算での出力値との差
    分値をニューラルネットワーク回路の出力値確定の計算
    条件として設定する入力端子とを有し、ニューラルネットワーク回路の出力の中の最も大きな値
    を認識結果と することを特徴とするニューラルネットワ
    ーク回路。
  3. 【請求項３】 前記第１の演算部は、 入力メモリと重みメモリと乗算器１と加算器１と選択回
    路１と中間出力メモリとレジスタ１と制御回路とがあ
    り、 前記入力メモリは与えられた入力データを保持し、前記
    重みメモリはネットワークの荷重値を保持し、 前記乗算器１は、前記制御回路から与えられるアドレス
    の前記入力メモリの値と、前記制御回路から与えられた
    るアドレスの前記重みメモリの値とを乗算して前記加算
    器１に出力し、 前記加算器１は選択回路１の出力と前記乗算器１の出力
    を加算し、前記レジスタ１と前記中間出力メモリに出力
    し、 前記選択回路は、前記レジスタ１とゼロを入力し、前記
    制御回路から与えられる切替信号によって選択され、前
    記加算器１に出力し、 前記中間出力メモリは、前記加算器１に出力を前記制御
    回路から与えられるアドレスに記憶され、 前記第２の演算部は、 中間入力メモリと、加算器２と、加算器３と、レジスタ
    ２と、乗算器２と、中間データメモリ１と、中間データ
    メモリ２と、側抑制メモリと、選択回路２と、出力メモ
    リと、アドレス発生器とがあり、 前記アドレス発生器は、前記第２の演算部でのニューロ
    ンの出力となる計算における繰り返し計算での計算回数
    が設定され、 前記中間入力メモリは前記中間出力メモリの値が保持さ
    れ、前記側抑制メモリはネットワークの側抑制の荷重値
    を保持し、 前記加算器２は、前記アドレス発生器から与えられるア
    ドレスの前記中間値メモリの値と選択回路２の出力とを
    加算し、前記加算器３に出力し、 前記加算器３は、前記乗算器２と前記加算器２の出力を
    加算し、前記出力メモリと前記レジスタ２に出力し、 前記乗算器２は、前記アドレス発生器から与えられるア
    ドレスの前記側抑制メモリの値と前記レジスタ２の出力
    を乗算し、前記中間値メモリ１と前記中間値メモリ２と
    前記加算器３に出力し、 前記中間値メモリ１と前記中間値メモリ２は前記アドレ
    ス発生器から与えられる切替信号とアドレスにより、前
    記乗算器２の出力を記憶し、 前記選択回路２は、前記中間値メモリ１と前記中間値メ
    モリ２が入力され、前記アドレス発生器から与えられる
    切替信号により、選択され、前記加算器２に出力され、 前記出力メモリは、前記加算器３の出力を前記アドレス
    発生器から与えられるアドレスに記憶する構成となって
    いることを特徴とする請求項２記載のニューラルネット
    ワーク回路。
  4. 【請求項４】 前記第１の演算部は、 入力メモリと重みメモリと乗算器１と加算器１と選択回
    路１と中間出力メモリとレジスタ１と制御回路とがあ
    り、 前記入力メモリは与えられた入力データを保持し、前記
    重みメモリはネットワークの荷重値を保持し、 前記乗算器１は、前記制御回路から与えられるアドレス
    の前記入力メモリの値と、前記制御回路から与えられた
    るアドレスの前記重みメモリの値とを乗算して前記加算
    器１に出力し、 前記加算器１は選択回路１の出力と前記乗算器１の出力
    を加算し、前記レジスタ１と前記中間出力メモリに出力
    し、 前記選択回路は、前記レジスタ１とゼロを入力し、前記
    制御回路から与えられる切替信号によって選択され、前
    記加算器１に出力し、 前記中間出力メモリは、前記加算器１に出力を前記制御
    回路から与えられるアドレスに記憶され、各ニューロンの出力の計算を順次に計算する 前記第２の
    演算部は、 中間入力メモリと、加算器２と、加算器３と、加算器４
    と、レジスタ２と、レジスタ３と、レジスタ４と、乗算
    器２と、中間データメモリ１と、中間データメモリ２側
    抑制メモリと、選択回路２と、選択回路３と、出力メモ
    リと、アドレス発生器と、差分絶対値回路があり、 前記アドレス発生器は、前回の計算との差分値が設定さ
    れ、 前記中間入力メモリは前記中間出力メモリの値が保持さ
    れ、前記側抑制メモリはネットワークの側抑制の荷重値
    を保持し、 前記加算器２は、前記アドレス発生器から与えられるア
    ドレスの前記中間値メモリの値と選択回路２の出力とを
    加算し、前記加算器３に出力し、 前記加算器３は、前記乗算器２と前記加算器２の出力を
    加算し、前記出力メモリと前記レジスタ２と前記差分絶
    対値回路に出力し、 前記乗算器２は、前記アドレス発生器から与えられるア
    ドレスの前記側抑制メモリの値と前記レジスタ２の出力
    を乗算し、前記中間値メモリ１と前記中間値メモリ２と
    前記加算器３に出力し、 前記中間値メモリ１と前記中間値メモリ２は前記アドレ
    ス発生器から与えられる切替信号とアドレスにより、前
    記乗算器２の出力を記憶し、 前記選択回路２は、前記中間値メモリ１と前記中間値メ
    モリ２が入力され、前記アドレス発生器から与えられる
    切替信号により、選択され、前記加算器２に出力され、 前記出力メモリは、前記加算器１２３の出力を前記アド
    レス発生器から与えられるアドレスに記憶し、 前記差分絶対値回路は、前記アドレス発生器から与えら
    れるアドレスの前記出力メモリの値と前記加算器３の出
    力との差分の絶対値を前記加算器４と前記レジスタ３に
    出力し、 前記選択回路３は、前記アドレス発生器から与えられる
    選択信号により前記レジスタ３と前記レジスタ４とを選
    択し、前記加算器４に出力し、 前記加算器４は、前記選択回路３の出力と前記差分絶対
    値回路の出力を加算し、前記レジスタ４と前記レジスタ
    ５に出力し、 前記レジスタ５は前記アドレス発生器から与えられる選
    択信号により前記加算器４の出力を取り込み、前記アド
    レス発生器に出力するする構成となっていることを特徴
    とする請求項３記載のニューラルネットワーク回路。
  5. 【請求項５】 与えられた入力データにおいてネットワ
    ークの計算を実行するニューラルネットワーク回路であ
    って、 前記各入力データに重みづけをして加算する第１の演算
    部と、ニューラルネットワーク回路から出力された側抑制とな
    る各データの重み付けされた値と第１の演算部の演算結
    果をして加算する 複数の第２の演算部と、 前記複数の第２の演算部のスタートを制御するスタート
    制御部とを備え、 前記複数の第２の演算部が各ニューロンの出力の計算を
    順次に計算し、ニューラルネットワーク回路の出力の中
    の最も大きな値を認識結果とすることを特徴とするニュ
    ーラルネットワーク回路。
  6. 【請求項６】 前記第１の演算部、および前記第２の演
    算部は請求項２または請求項３記載の構成となっている
    請求項５記載のニューラルネットワーク回路。
JP14598595A 1995-06-13 1995-06-13 ニューラルネットワーク回路 Expired - Fee Related JP3344164B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP14598595A JP3344164B2 (ja) 1995-06-13 1995-06-13 ニューラルネットワーク回路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14598595A JP3344164B2 (ja) 1995-06-13 1995-06-13 ニューラルネットワーク回路

Publications (2)

Publication Number Publication Date
JPH08339359A JPH08339359A (ja) 1996-12-24
JP3344164B2 true JP3344164B2 (ja) 2002-11-11

Family

ID=15397528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14598595A Expired - Fee Related JP3344164B2 (ja) 1995-06-13 1995-06-13 ニューラルネットワーク回路

Country Status (1)

Country Link
JP (1) JP3344164B2 (ja)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ｊ．デイホフ・著、桂井浩・訳，「ニューラルネットワークアーキテクチャ入門」，日本，森北出版株式会社・発行，１９９２年 ４月１０日，初版，ｐｐ．１１０−１１７

Also Published As

Publication number Publication date
JPH08339359A (ja) 1996-12-24

Similar Documents

Publication Publication Date Title
US5179531A (en) Accelerated digital signal processor
US6026489A (en) Signal processor capable of executing microprograms with different step sizes
US6067536A (en) Neural network for voice and pattern recognition
JP2785155B2 (ja) ニューロコンピュータの非同期制御方式
JPH0444970B2 (ja)
JP3172352B2 (ja) ニューラルネットワーク回路
JPH08329261A (ja) パラメータ曲線発生器
JP3344164B2 (ja) ニューラルネットワーク回路
JP3177996B2 (ja) ニューロプロセッサ
JPH10283340A (ja) 演算プロセッサ
JPH0486795A (ja) 楽音発生装置
JPH1055346A (ja) ニューラルネットワーク回路
JP2679731B2 (ja) パイプライン処理を用いたニューラルアーキテクチュア
JP3140853B2 (ja) データ駆動型フィルタ装置
JP2778478B2 (ja) 相関演算プロセッサ
JP2737933B2 (ja) 除算装置
GB2243469A (en) Digital signal processor
JP3371643B2 (ja) 信号処理装置
JP2696903B2 (ja) 数値計算装置
JPS58151644A (ja) デイジタル演算装置
JPH0418681A (ja) 画像縮小・拡大パターン生成回路
JP3313362B2 (ja) 音声処理装置のメモリーアドレス発生器
JP3165687B2 (ja) ディジタル信号処理装置
JP2023030754A (ja) ニューラルネットワーク演算装置、ニューラルネットワーク演算装置の制御方法およびプログラム
JPH03167664A (ja) マトリクス演算回路

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees