JPH09101944A - ニューラルネットワーク回路 - Google Patents

Abstract

(57)【要約】 【課題】 シナプス演算、累積加算及びシナプス係数更
新の演算量を削減し、これに伴ってメモリへのアクセス
回数も削減する。 【解決手段】 比較器９で微分非線形回路６から出力さ
れる学習係数を“０”と比較し、また、比較器１０で学
習誤差演算回路７から出力される学習誤差を“０”と比
較し、学習係数または学習誤差のいずれか一方が“０”
となり、比較器９または１０から信号が出力された場
合、制御回路１１はシナプス係数更新回路８の動作を停
止することにより、無駄なシナプス係数の更新演算を省
略し、その分、演算量を削減するとともに、それに伴っ
てシナプス係数メモリ１へのアクセス回数を削減する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、シナプス演算回
路、累積回路、非線形回路等からなるニューロン回路を
多数接続して構成されるニューラルネットワーク回路に
関するものである。

【０００２】

【従来の技術】ニューラルネットワーク回路は、ニュー
ロン回路を単位として、これを多数接続して構成され
る。１個のニューロン回路は、図１に示すように多入力
（ｘ１，ｘ２，……ｘｎ）１出力（ｙ）の回路である。
複数の入力にはそれぞれ対応するシナプス係数（ｗ１，
ｗ２，……ｗｎ）があり、入力値とシナプス係数との
積、差の絶対値あるいは差の二乗等の演算を行った後に
累積加算が行われ、累積加算の結果の大きさにより出力
値が決定される。

【０００３】出力値を最終的に決定する非線形回路は、
図２に示すような伝達特性を備えている。図２(a) のシ
グモイド関数形が最も汎用性が高いが、演算を簡単化す
るために図２(b) の折れ線形あるいは図２(c) のステッ
プ関数形のように単純化したものや、機能を高めるため
に図２(d) のように非単調形にしたものも使用できる。
なお、図中、Ｔｈ，Ｔｈ１，Ｔｈ２，Ｔｈ３，Ｔｈ４は
それぞれ飽和領域境界値である。このニューロン回路の
接続によりニューラルネットワーク回路の構造が決ま
る。

【０００４】また、ニューラルネットワーク回路は、前
述したフォワード演算とともに「出力値」、「教師信
号」、「累積加算の結果に微分非線形処理を施した学習
係数」、「シナプス係数」からシナプス係数の更新演算
を行い、シナプス係数を書き換える。このことにより学
習機能を実現している。

【０００５】最も一般的に用いられるニューラルネット
ワーク回路は、図３に示すような３層構造の回路であ
る。３層構造の場合には、第２層のニューロン回路の層
を中間層、第３層のニューロン回路の層を出力層と呼ん
でいる。それぞれの入力端子からの信号は全てのニュー
ロン回路に並列に入力され、それぞれのニューロン回路
は並列に入力信号を処理する。入力信号が加えられる
と、特定のニューロン回路が反応して認識等の処理が実
現されるとともに、ニューロン回路の反応と教師信号
（あるべき反応）との差からシナプス係数が更新され学
習が行われる。

【０００６】従来、前述したような機能を有する大規模
なニューラルネットワーク回路を具体化する場合、図４
に示すようにマイクロプロセッサとＲＡＭとを組み合わ
せて構成するのが一般的であった。本構成では、シナプ
ス演算、累積加算、非線形処理、シナプス係数の更新を
マイクロプロセッサで行い、シナプス係数はＲＡＭに格
納する。そして、マイクロプロセッサで演算中にシナプ
ス係数が必要となった時点でＲＡＭにアクセスしていく
という処理を行っていた。

【０００７】

【発明が解決しようとする課題】このような構成におい
ては、ＲＡＭを増設することにより実現可能なニューラ
ルネットワーク回路の規模を拡大でき、プログラムを替
えることにより演算のアルゴリズムを変更することも容
易である。

【０００８】しかしながら、その反面、ＲＡＭへのシナ
プス係数のアクセス速度が動作速度を規定し、さらに、
ニューラルネットワーク回路の規模が大きくなるとシナ
プス演算、累積加算及びシナプス係数更新の演算量が増
加し、高速動作を妨げる要因の１つとなっていた。

【０００９】これは前述した従来の構成では、全てのシ
ナプス結合においてシナプス演算、累積加算、非線形処
理、シナプス係数の更新という全ての演算を省略するこ
となく行っていたため、演算量が膨大となり、また、そ
れに伴うシナプス係数のＲＡＭへのアクセスにも時間を
要するためであった。

【００１０】本発明の目的は、シナプス演算、累積加算
及びシナプス係数更新の演算量を計算精度を劣化させる
ことなく削減でき、これに伴ってメモリへのアクセス回
数も削減でき、大規模でかつ高速動作可能なニューラル
ネットワーク回路を提供することにある。

【００１１】

【課題を解決するための手段】図５は学習機能に拘る部
分を含むニューロン回路の構成を示すもので、通常、ニ
ューラルネットワーク回路において最も一般的に使用さ
れるバックプロパゲーション学習法による、全結合に対
するシナプス係数の更新演算は、出力層の出力値ｙ
_j と、それに対応する教師信号ｄ_j （あるべき出力値）
と、学習係数（微分非線形回路の出力）と、更新しよう
とするシナプスへの入力信号及びシナプス係数とを用い
て、下記式(1) 、(2) 、(3) に基づいて行われる。

【００１２】即ち、出力層における学習誤差δ_j は

【数３】 と表される。ここで、ｄ_j はニューロンｊの教師信号、
ｙ_j はニューロンｊの出力値、ｆ´（ｕ_j ）はニューロ
ンｊのシナプス演算の結果の累積加算値に微分非線形処
理を施した結果である。

【００１３】中間層では教師信号が存在しないため、中
間層における学習誤差δ_i は出力層における学習誤差δ
_j を用いて

【数４】 と表される。

【００１４】また、シナプス係数の更新量ΔＷ_ijは

【数５】 と表される。ここで、ηは学習パラメータである。

【００１５】しかし、ニューラルネットワーク回路にお
ける多数のニューロン回路のうち、学習係数あるいは学
習誤差が“０”となる回路がある。

【００１６】そこで、学習係数（微分非線形回路の出
力）が“０”であるか否かを判定する手段と、学習誤差
が“０”であるか否かを判定する手段とを設けて、学習
係数及び学習誤差が共に“０”でない場合のみシナプス
係数の更新演算を実行すれば、必要のないシナプス係数
の更新演算を省略することができ、その分、演算量を削
減できる。また、メモリから読み出すシナプス係数も更
新を必要とするシナプス係数だけで良く、メモリへのア
クセス回数を大幅に削減できる。

【００１７】さらにまた、学習係数が“０”となるか否
か（即ち、微分非線形処理した結果が“０”であるか否
か）を、全てのシナプス演算及び累積加算を実行するこ
となく判定することにより、演算量及びメモリへのアク
セス回数をさらに削減することができる。

【００１８】具体的には、図６に示すように、微分非線
形回路の伝達特性の「飽和領域では出力が“０”とな
る」という特徴を利用する。シナプス演算の結果を累積
加算する際、図６中の矢印で示すように累積加算値が単
調増加あるいは単調減少となるように演算を実行するこ
とにより、シナプス演算の結果の累積加算の途中で最終
値が伝達特性の飽和領域になるか否かを判定し、飽和領
域になる場合には残りの演算及びシナプス係数の読み出
しを省略することにより、演算量及びメモリへのアクセ
ス回数をさらに削減することができる。

【００１９】

【発明の実施の形態】

（第１の実施の形態）図７は本発明の第１の実施の形態
を示すもので、図中、１はシナプス係数メモリ、２はセ
レクタ、３はシナプス演算回路、４は累積回路、５は非
線形回路、６は微分非線形回路、７は学習誤差演算回
路、８はシナプス係数更新回路、９は第１の比較器、１
０は第２の比較器、１１は制御回路である。

【００２０】シナプス演算回路３の入力にはシナプス係
数メモリ１の出力が接続されるとともにセレクタ２を介
して入力端子が接続されている。シナプス演算回路３の
出力は累積回路４の入力に接続され、累積回路４の出力
は非線形回路５及び微分非線形回路６の入力に接続され
ている。非線形回路５の出力は学習誤差演算回路７の入
力に接続され、微分非線形回路６の出力はシナプス係数
更新回路８及び第１の比較器９に接続されている。

【００２１】学習誤差演算回路７の他の入力にはシナプ
ス係数メモリ１の出力及び教師信号が接続され、その出
力はシナプス係数更新回路８及び第２の比較器１０に接
続されている。シナプス係数更新回路８の他の入力には
シナプス係数メモリ１の出力が接続されるとともにセレ
クタ２を介して入力端子が接続されている。シナプス係
数更新回路８の出力はシナプス係数メモリ１の入力に接
続されている。

【００２２】第１，第２の比較器９，１０の他の入力に
はビット“０”がそれぞれ接続され、それらの出力は制
御回路１１の入力に接続されている。制御回路１１の出
力はシナプス係数メモリ１、セレクタ２及びシナプス係
数更新回路８に接続されている。

【００２３】前記構成において、第１の比較器９は微分
非線形回路６から出力される学習係数とビット“０”と
を比較し、学習係数が“０”であれば、これを表す信号
（例えば、ビット“１”）を制御回路１１に送出する。
また、第２の比較器１０は学習誤差演算回路７から出力
される学習誤差とビット“０”とを比較し、学習誤差が
“０”であれば、これを表す信号を制御回路１１に送出
する。制御回路１１は第１の比較器９または第２の比較
器１０のいずれか一方から信号を受信すると、シナプス
係数更新回路８での演算を停止するように制御する。な
お、その他の動作は従来の場合と同様である。

【００２４】このように本形態では、学習係数または学
習誤差のいずれか一方がビット“０”の場合、シナプス
係数の更新演算を省略することができ、その分、演算量
を削減できるとともに、それに伴ってシナプス係数メモ
リへのアクセス回数を削減できる。

【００２５】（第２の実施の形態）本形態では、学習係
数がビット“０”となるか否かを、全てのシナプス演算
及び累積加算を実行することなく判定することにより、
演算量及びメモリへのアクセス回数をさらに削減する。

【００２６】具体的には、図６に示したように、微分非
線形回路の伝達特性の「飽和領域では出力が“０”とな
る」という特徴を利用する。シナプス演算の結果を累積
加算する際、累積加算値が単調増加あるいは単調減少と
なるように演算を実行することにより、シナプス演算の
結果の累積加算の途中で最終値が伝達特性の飽和領域に
なるか否かを判定し、飽和領域になる場合には残りの演
算及びシナプス係数の読み出しを省略することにより、
演算量及びメモリへのアクセス回数を削減する。

【００２７】累積加算の途中結果から最終値が飽和領域
になるか否かを判定するためには、累積加算値が単調増
加あるいは単調減少となる必要がある。通常の演算方法
では入力値とシナプス係数との演算結果は正負共に取り
得るため、単調増加あるいは単調減少の演算を実現する
ことはできない。

【００２８】本形態ではこれを解決するため、ｉ番目の
入力からｊ番目のニューロンへのシナプス係数ｗ_ijとｉ
番目の入力ｘ_i との係数演算を、ｗ_ijのＭＳＢからｋ番
目のビット値を示すｗ_ij(k) を用いて下記式(4) のよう
に２の補数で表現し、この２の補数表現の負の部分（第
１項）の合計値を累積演算の初期値として設定し、２の
補数表現の正の部分（第２項）を順次加算することによ
り、累積加算を単調増加演算で実行可能とした。なお、
式(4) 中、ｍは（シナプス係数のビット長−１）を表
す。

【００２９】

【数６】 また、累積加算を単調減少で実現させるためには、

【数７】 というように極性を反転させて演算する。

【００３０】図８は前述した演算を可能とする第２の実
施の形態を示すもので、図中、１はシナプス係数メモ
リ、２はセレクタ、３はシナプス演算回路、４は累積回
路、５は非線形回路、６は微分非線形回路、７は学習誤
差演算回路、８はシナプス係数更新回路、９は第１の比
較器、１０は第２の比較器、１２は飽和領域境界値１保
持用レジスタ、１３は飽和領域境界値２保持用レジス
タ、１４は第３の比較器、１５は第４の比較器、１６は
基準出力値１保持用レジスタ、１７は基準出力値２保持
用レジスタ、１８は基準学習係数（“０”）保持用レジ
スタ、１９は第１のスイッチ、２０は第２のスイッチ、
２１は制御回路である。

【００３１】シナプス演算回路３の入力にはシナプス係
数メモリ１の出力が接続されるとともにセレクタ２を介
して入力端子が接続されている。シナプス演算回路３の
出力は累積回路４の入力に接続され、累積回路４の出力
は非線形回路５、微分非線形回路６、第３の比較器１４
及び第４の比較器１５の入力に接続されている。第３の
比較器１４及び第４の比較器１５の他の入力には飽和領
域境界値１保持用レジスタ１２及び飽和領域境界値２保
持用レジスタ１３がそれぞれ接続され、その出力は制御
回路２１に接続されている。

【００３２】非線形回路５の出力は基準出力値１保持用
レジスタ１６及び基準出力値２保持用レジスタ１７の出
力とともに第１のスイッチ１９を介して学習誤差演算回
路７の入力に接続され、微分非線形回路６の出力は基準
学習係数保持用レジスタ１８の出力とともに第２のスイ
ッチ２０を介してシナプス係数更新回路８及び第１の比
較器９に接続されている。

【００３３】学習誤差演算回路７の他の入力にはシナプ
ス係数メモリ１の出力及び教師信号が接続され、その出
力はシナプス係数更新回路８及び第２の比較器１０に接
続されている。シナプス係数更新回路８の他の入力には
シナプス係数メモリ１の出力が接続されるとともにセレ
クタ２を介して入力端子が接続されている。シナプス係
数更新回路８の出力はシナプス係数メモリ１の入力に接
続されている。

【００３４】第１，第２の比較器９，１０の他の入力に
はビット“０”がそれぞれ接続され、それらの出力は制
御回路２１の入力に接続されている。制御回路２１の出
力はシナプス係数メモリ１、セレクタ２、第１のスイッ
チ１９及び第２のスイッチ２０に接続されている。

【００３５】前記構成において、シナプス演算回路３及
び累積回路４は入力値全ビットとシナプス係数１ビット
とのシナプス演算及びその累積加算をシナプス係数のＭ
ＳＢから順番に実行可能な回路とする。この演算法によ
り、入力値全ビットとシナプス係数のＭＳＢとの演算で
式(4) 及び(5) の第１項が計算され、入力値全ビットと
シナプス係数のＭＳＢ以外のビットとの演算で第２項が
計算される。従って、累積回路４の出力である累積加算
値は単調増加あるいは単調減少となる。

【００３６】累積回路４の出力は、非線形回路５並びに
微分非線形回路６の伝達特性における飽和領域及び過渡
領域の境界値との大小関係が、第３の比較器１４及び第
４の比較器１５で比較される。

【００３７】前記比較結果より、制御回路２１は以下の
制御を行う。

【００３８】 (1) 累積回路４の出力＞飽和領域境界値１の時 ・第１のスイッチ１９で基準出力値１保持用レジスタ１
６を選択することにより、基準出力値１を出力とする。 ・第２のスイッチ２０で基準学習係数保持用レジスタ１
８を選択することにより、学習係数を“０”とする。 ・以降の演算を省略する。

【００３９】 (2) 累積回路４の出力＜飽和領域境界値２の時 ・第１のスイッチ１９で基準出力値２保持用レジスタ１
７を選択することにより、基準出力値２を出力とする。 ・第２のスイッチ２０で基準学習係数保持用レジスタ１
８を選択することにより、学習係数を“０”とする。 ・以降の演算を省略する。

【００４０】(3) 飽和領域境界値２＜累積回路４の出力
＜飽和領域境界値１ ・第１のスイッチ１９で非線形回路５を選択する。 ・第２のスイッチ２０で微分非線形回路６を選択する。 ・演算を続行する。

【００４１】このように本形態では、シナプス演算をシ
ナプス係数の上位ビットから実行させ、累積値が飽和領
域であることが判明した時点で学習係数が“０”となる
か否かを判定し、これによって以降の演算を省略するこ
とができ、演算量をさらに削減できるとともに、それに
伴ってシナプス係数メモリへのアクセス回数をさらに削
減できる。

【００４２】

【発明の効果】以上説明したように本発明によれば、学
習係数及び学習誤差が共に“０”でない場合のみシナプ
ス係数の更新演算を実行することにより、必要のないシ
ナプス係数の更新演算を省略することができ、これに伴
ってシナプス係数の読み出しを省略することができ、演
算量を削減できるとともにメモリへのアクセス回数を削
減できる。また、本発明によれば、学習係数が“０”と
なるか否かを、全てのシナプス演算及び累積加算を実行
することなく判定することにより、演算量及びメモリへ
のアクセス回数をさらに削減することもでき、学習演算
の高速化及び演算に要する消費電力の低減が可能とな
り、大規模でかつ高速動作可能なニューラルネットワー
ク回路を実現することが可能となる。

【図面の簡単な説明】

【図１】ニューロン回路の構成図

【図２】非線形回路の伝達特性の説明図

【図３】３層構造のニューラルネットワーク回路の構成
図

【図４】従来のニューラルネットワーク回路の具体的な
構成図

【図５】学習機能に拘る部分を含むニューロン回路の構
成図

【図６】微分非線形回路の伝達特性の説明図

【図７】本発明の第１の実施の形態を示す構成図

【図８】本発明の第２の実施の形態を示す構成図

【符号の説明】

１…シナプス係数メモリ、２…セレクタ、３…シナプス
演算回路、４…累積回路、５…非線形回路、６…微分非
線形回路、７…学習誤差演算回路、８…シナプス係数更
新回路、９，１０，１４，１５…比較器、１１，２１…
制御回路、１２…飽和領域境界値１保持用レジスタ、１
３…飽和領域境界値２保持用レジスタ、１６…基準出力
値１保持用レジスタ、１７…基準出力値２保持用レジス
タ、１８…基準学習係数保持用レジスタ、１９，２０…
スイッチ。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 シナプス係数を格納するシナプス係数メ
   モリと、入力値とシナプス係数とのシナプス演算を行う
   シナプス演算回路と、シナプス演算の結果を累積加算す
   る累積回路と、累積回路の出力に所定の非線形処理を行
   う非線形回路と、累積回路の出力に微分非線形処理を行
   って学習係数を求める微分非線形回路と、非線形回路の
   出力、教師信号及びシナプス係数から学習誤差を求める
   学習誤差演算回路と、入力値、シナプス係数、学習係数
   及び学習誤差からシナプス係数の更新演算を行うシナプ
   ス係数更新回路とを備え、多数の入力値とその入力値に
   対応するシナプス係数とのシナプス演算を行った後、演
   算結果を累積加算し、さらに非線形処理を行ってニュー
   ロン出力を決定するとともに、シナプス係数を更新する
   ことにより学習機能を実現するニューラルネットワーク
   回路において、 学習係数及び学習誤差が“０”か否かを判定する判定手
   段と、 学習係数または学習誤差のいずれか一方が“０”の時は
   シナプス係数更新回路の動作を停止させる制御手段とを
   備えたことを特徴とするニューラルネットワーク回路。
2. 【請求項２】 入力値とその入力値に対応するシナプス
   係数とのシナプス演算を、入力値の全ビットとシナプス
   係数の任意のビットとの間の部分積の計算並びに得られ
   た部分積の加算に分解して行い、かつ該処理を各入力値
   及びシナプス係数毎に行って累積加算する際、該累積加
   算値が単調増加あるいは単調減少となるように演算を実
   行可能なシナプス演算回路及び累積回路と、 任意のシナプス係数の任意のビットをシナプス演算回路
   及び累積回路に供給可能なシナプス係数メモリとを用い
   るとともに、 非線形特性の飽和領域と過渡領域との境界値を保持し、
   この境界値とシナプス演算回路及び累積回路の出力とを
   比較することにより、該出力が飽和領域に到達したか否
   かを判定する判定手段と、 シナプス演算を上位ビットから実行させ、シナプス演算
   回路及び累積回路の出力が飽和領域に到達した時点で演
   算を停止させる制御手段とを備えたことを特徴とする請
   求項１記載のニューラルネットワーク回路。
3. 【請求項３】 入力値とその入力値に対応するシナプス
   係数とのシナプス演算及びその演算結果の累積加算を、
   ｉ番目の入力からｊ番目のニューロンへのシナプス係数
   ｗ_ijとｉ番目の入力ｘ_i との係数演算を、ｗ_ijのＭＳＢ
   からｋ番目のビット値を示すｗ_ij(k) を用いて 【数１】 のように２の補数で表現し（但し、ｍ＝シナプス係数の
   ビット長−１）、この２の補数表現の負の部分（第１
   項）の合計値を累積演算の初期値として設定し、２の補
   数表現の正の部分（第２項）を順次加算することによ
   り、累積加算を単調増加演算で実行可能とすることを特
   徴とする請求項２記載のニューラルネットワーク回路。
4. 【請求項４】 入力値とその入力値に対応するシナプス
   係数とのシナプス演算及びその演算結果の累積加算を、
   ｉ番目の入力からｊ番目のニューロンへのシナプス係数
   ｗ_ijとｉ番目の入力ｘ_i との係数演算を、ｗ_ijのＭＳＢ
   からｋ番目のビット値を示すｗ_ij(k) を用いて 【数２】 のように２の補数で表現し（但し、ｍ＝シナプス係数の
   ビット長−１）、この２の補数表現の正の部分（第１
   項）の合計値を累積演算の初期値として設定し、２の補
   数表現の負の部分（第２項）を順次加算することによ
   り、累積加算を単調減少演算で実行可能とすることを特
   徴とする請求項２記載のニューラルネットワーク回路。