JPH07210533A - ニューラルネットワーク回路及びこれを用いた演算方法 - Google Patents

Abstract

(57)【要約】 【目的】 シナプス演算及び累積加算の演算量を削減で
き、大規模で且つ高速動作可能なニューラルネットワー
ク回路及びこれを用いた演算方法を提供する。 【構成】 シナプス演算回路１−１〜１−ｎにおける多
数の入力値とこれに対応してシナプス係数メモリ回路２
からメモリ読み出し回路３を介して読み出されるシナプ
ス係数値とのシナプス演算を、該入力値及びシナプス係
数値を構成する２進ビット列の上位ビットから行い、累
積回路４で累積加算し、該累積結果を比較器６−１，６
−２で飽和領域境界値１，２とそれぞれ比較し、飽和領
域でなければ入力値及びシナプス係数値をより下位ビッ
トまで拡大してシナプス演算及び累積加算を繰り返し、
飽和領域になれば演算を停止することにより、それ以降
の演算を省略する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、シナプス演算回路、累
積回路及びしきい値回路からなるニューロン回路を多数
接続して構成されるニューラルネットワーク回路及びこ
れを用いた演算方法に関するものである。

【０００２】

【従来の技術】ニューラルネットワーク回路は、ニュー
ロン回路を単位として、これを多数接続して構成されて
いる。１個のニューロン回路は、図２に示すように多入
力（ｘ１，ｘ２，……ｘｎ）１出力（ｙ）の回路であ
る。複数の入力にはそれぞれ対応するシナプス係数（ｗ
１，ｗ２，……ｗｎ）があり、入力値とシナプス係数値
との積、差の絶対値あるいは差の二乗等の演算を行った
後に累積加算が行われ、累積加算の結果の大きさにより
出力値が決定される。

【０００３】出力値を最終的に決定するしきい値回路
は、図３に示すような伝達特性を備えている。図３(a)
のシグモイド関数形が最も汎用性が高いが、演算を簡単
化するために図３(b) の折れ線形あるいは図３(c) のス
テップ関数形のように単純化したものや、機能を高める
ために図３(d) のように非単調形にしたものも使用でき
る。なお、図中、Ｔｈ，Ｔｈ１，Ｔｈ２，Ｔｈ３，Ｔｈ
４はそれぞれ飽和領域境界値である。このニューロン回
路の接続によりニューラルネットワーク回路の構造が決
まる。

【０００４】最も一般的に用いられるのは、図４に示す
ような３層構造のニューラルネットワーク回路である。
３層構造の場合には、第２層のニューロン回路の層を中
間層、第３層のニューロン回路の層を出力層と呼んでい
る。それぞれの入力端子からの信号は全てのニューロン
回路に並列に入力され、それぞれのニューロン回路は並
列に入力信号を処理する。入力信号が加えられると、特
定のニューロン回路が反応して認識等の処理が実現され
る。

【０００５】従来、前述したような機能を有する大規模
なニューラルネットワーク回路を具体化する場合、図５
に示すようにマイクロプロセッサとＲＡＭとを組み合わ
せて構成するのが一般的であった。本構成では、シナプ
ス演算、累積加算、しきい値処理をマイクロプロセッサ
で行い、シナプス係数はＲＡＭに格納する。そして、マ
イクロプロセッサで演算中、シナプス係数が必要となっ
た時点でＲＡＭにアクセスしてシナプス係数を読み出す
という処理を行っていた。

【０００６】

【発明が解決しようとする課題】このような構成におい
ては、ＲＡＭを増設することにより実現可能なニューラ
ルネットワーク回路の規模を拡大でき、プログラムを替
えることにより演算のアルゴリズムを変更することも容
易である。

【０００７】しかしながら、その反面、ＲＡＭへのシナ
プス係数のアクセス速度が動作速度を規定し、さらにニ
ューラルネットワーク回路の規模が大きくなるとシナプ
ス演算及び累積加算の演算量が増加し、高速動作を妨げ
る要因の１つとなっていた。これは前述した従来の構成
では、全てのシナプス結合において入力値の全ビットと
シナプス係数の全ビットとのシナプス演算、並びにシナ
プス演算の結果の累積加算を行っていたため、演算量が
膨大となり、それに伴うシナプス係数のＲＡＭへのアク
セスにも時間を要するためであった。

【０００８】本発明の目的は、シナプス演算及び累積加
算の演算量を削減でき、大規模で且つ高速動作可能なニ
ューラルネットワーク回路及びこれを用いた演算方法を
提供することにある。

【０００９】

【課題を解決するための手段】前記目的を達成するた
め、本発明では、２進ビット列で表される入力値及びシ
ナプス係数値とのシナプス演算を、従来のように全ての
ビット間で行うのではなく、上位ビットから徐々に演算
を進めて概算値から徐々に正確な結果が得られるような
演算過程をとることを特徴とする。また、累積値が演算
の進行に伴って単調増加あるいは単調減少するような演
算手順を用いることにより、累積結果がしきい値関数の
飽和領域内に入り、出力値が一定値に達した時点で演算
を停止することを特徴とする。

【００１０】

【作用】本発明によれば、２進ビット列で表されるシナ
プス係数値をＲＡＭから読み出す場合、従来のように全
てのビットを毎回読み出す必要がなく、上位ビットから
必要なビットを読み出すのみで良く、ＲＡＭへのアクセ
ス時間を大幅に削減できる。また、シナプス演算及び累
積加算についても、従来、行っていた演算を全て実行す
ることなく出力が決定した時点で以降の演算を停止する
ため、演算処理時間を大幅に短縮できる。

【００１１】

【実施例１】図１は本発明の第１の実施例を示すもの
で、図中、１−１，……１−ｉ，……１−ｎはシナプス
演算回路、２はシナプス係数メモリ回路、３はメモリ読
み出し回路、４は累積回路、５はしきい値回路、６−
１，６−２は比較器、７は制御回路、８−１は飽和領域
境界値１用レジスタ、８−２は飽和領域境界値２用レジ
スタである。

【００１２】飽和領域境界値１及び２の値は、図３に示
したしきい値回路の伝達特性において飽和領域と過渡領
域との境界を表しており、小さいほうの値が飽和領域境
界値１、大きいほうが飽和領域境界値２である。しきい
値回路の伝達特性が図３(d)のように過渡領域が複数あ
る場合は、さらに飽和領域境界値３用レジスタ、飽和領
域境界値４用レジスタ及びこれらに対応する比較器が必
要となる。ここでは説明を簡便にするため、しきい値関
数の伝達特性が過渡領域を１つのみ有する場合について
説明する。

【００１３】本実施例においては、ｎ個のシナプス演算
回路１−１〜１−ｎがあり、それぞれのシナプス演算回
路には対応する入力端子及びメモリ読み出し回路３を介
してシナプス係数メモリ回路２が接続されている、ま
た、各シナプス演算回路１−１〜１−ｎの出力は累積回
路４の入力に接続され、累積回路４の出力はしきい値回
路５、比較器６−１，６−２の入力に接続されている。

【００１４】しきい値回路５の出力はニューロン回路の
出力端子に接続されている。比較器６−１の他方の入力
には飽和領域境界値１用レジスタ８−１が、また、比較
器６−２の他方の入力には飽和領域境界値２用レジスタ
８−２がそれぞれ接続されている。比較器６−１，６−
２の出力は制御回路７の入力に接続されている。制御回
路７の出力はメモリ読み出し回路３及び各シナプス演算
回路１−１〜１−ｎに接続されている。

【００１５】シナプス演算を、シナプス係数値及び入力
値を表す２進ビット列の上位ビットから演算を進めて概
算値から徐々に正確な最終結果が得られるような演算を
実現するため、以下に述べる処理が本実施例で行われ
る。

【００１６】(1) 上位ビットからの演算を行うために、
制御回路７の指示に従い入力値及びシナプス係数の必要
なビットが適宜、シナプス演算回路に転送される。

【００１７】(2) 各シナプス演算回路の演算結果は、累
積回路４で累積加算される。

【００１８】(3) 累積結果は飽和領域境界値１及び飽和
領域境界値２と比較され、最終結果が飽和領域であるこ
とが判明するまで(1) 〜(2) の演算を繰り返す。飽和領
域であることが判明した場合には、制御回路７からの信
号により演算を停止させ、以降の演算及びメモリへのア
クセスを省略する。

【００１９】前述したようにシナプス演算及び累積加算
を上位ビットから行い、飽和領域境界値１及び飽和領域
境界値２との大小関係を比較して、最終的な累積値が飽
和領域になることが判明した時点で演算を停止させるた
めには、累積加算値が演算の進行に伴い単調増加あるい
は単調減少することが必要である。

【００２０】しかし、入力値、シナプス係数値とも正負
の値をとり得るため、シナプス演算として入力値とシナ
プス係数との積を実行する場合、従来のシナプス演算及
び累積加算では単調増加あるいは単調減少を実現するこ
とはできない。そこで、以下に示す演算手法を用いる。

【００２１】(1) シナプス演算は入力値、シナプス係数
ともに“符号＋絶対値”の２進数表現で演算を行う。こ
こで、各値の絶対値部分の語調（ビット数）をＬ、絶対
値部分の下位からのビット数をｉとする。

【００２２】(2) 累積加算時の単調増加を実現するた
め、累積加算の初期値を次のように設定する。

【００２３】入力値とシナプス係数の符号ビットより、
シナプス演算の結果の符号を評価し、符号が正となる時
は０に設定する。

【００２４】また、シナプス演算の結果の符号が負とな
る場合には以下のように初期値を求める。

【００２５】(a) 入力値の絶対値部分のｉビット目が
“０”となる時には０に設定する。

【００２６】(b) 入力値の絶対値部分のｉビット目が
“１”となる時は−２^(i+L-1) ＋１に設定する。

【００２７】(c) 各シナプス演算の入力値の絶対値部分
の全ビットに対する設定値を合計し、さらにこの値をニ
ューロンに接続された全てのシナプスについて合計した
値を累積加算の初期値とする。このように、初期値は入
力値のみを使って設定することができる。

【００２８】この累積加算の初期値の求め方を図６を用
いて具体的に説明する。本例は各値の絶対値部分の語長
Ｌが４ビットで、シナプス係数が“１１”、入力値が
“−１３”の時である。この場合にはシナプス係数と入
力値とのシナプス演算結果は負である。各々の値の絶対
値を２進数表現し、積演算する場合の処理を分解する
と、シナプス係数と入力値のｉビット目との積の結果を
シフトさせながら加算していくという処理に分解でき
る。下位ビットで抜けているところには“０”を補い、
各ビット列の桁数に応じて１の補数表現で負の値に変換
する。１の補数表現で表された各桁について、最上位の
負の部分の合計値を累積加算の初期値とする。

【００２９】(3) 入力値とシナプス係数の積演算は、絶
対値部分の上位ビット同士から行い、ビット毎の乗算結
果の大きい順に進めていく。入力値のｉビット目が
“０”の場合はシナプス演算結果は“０”となることが
明らかなので、入力値のｉビット目とシナプス係数値と
の演算は省略する。

【００３０】(4) 累積加算はシナプス演算結果が負の
時、１の補数表現で表された絶対値部分を加算して行う
ので、全て正値の加算で実行できる。

【００３１】この処理により、図７に示すように演算が
進むにつれて、累積加算の初期値から最終値に向かって
徐々に収束していく。この時、加算されるシナプス演算
結果は上位ビットからの演算を行っているため、絶対値
の大きな値から小さな値へと変化していく。つまり、累
積加算値は概算値から徐々に正確な値に近づいていくわ
けである。そして、累積加算値が飽和領域境界値２を越
えたら飽和領域Ａであることが確定するため、以降の演
算を省略できる。

【００３２】しかし、前記方法のみでは図７の飽和領域
Ｂに最終値が入る場合の検出はできない。そこで、前述
した演算について正負を逆にすることにより、図８に示
すように累積加算値が飽和領域Ｂとなる場合にも判定を
行うことが可能となり、演算を省略することができる。

【００３３】

【実施例２】図９は本発明の第２の実施例を示すもの
で、図中、第１の実施例と同一構成部分は同一符号をも
って表す。即ち、１はシナプス演算回路、２はシナプス
係数メモリ回路、３はメモリ読み出し回路、４は累積回
路、５はしきい値回路、６−１，６−２は比較器、７は
制御回路、８−１は飽和領域境界値１用レジスタ、８−
２は飽和領域境界値２用レジスタ、９はセレクタであ
る。

【００３４】本実施例においては、１個のシナプス演算
回路１があり、該シナプス演算回路１にはセレクタ９を
介して入力端子が、また、メモリ読み出し回路３を介し
てシナプス係数メモリ回路２がそれぞれ接続されてい
る。また、シナプス演算回路１の出力は累積回路４の入
力に接続され、累積回路４の出力はしきい値回路５、比
較器６−１，６−２の入力に接続されている。しきい値
回路５の出力はニューロン回路の出力端子に接続されて
いる。比較器６−１の他方の入力には飽和領域境界値１
用レジスタ８−１が、また、比較器６−２の他方の入力
には飽和領域境界値２用レジスタ８−２がそれぞれ接続
されている。比較器６−１，６−２の出力は制御回路７
の入力に接続されている。制御回路７の出力はメモリ読
み出し回路３及びシナプス演算回路１に接続されてい
る。

【００３５】第１の実施例とは、セレクタ９及びメモリ
読み出し回路３により演算に使用するシナプス係数値及
び入力値を選択することによって、１つのシナプス演算
回路を多重化して使用する点が異なる。これにより、回
路規模を小さくできる利点がある。

【００３６】

【実施例３】図１０は本発明の第３の実施例を示すもの
で、図中、第１、第２の実施例と同一構成部分は同一符
号をもって表す。即ち、２はシナプス係数メモリ回路、
３はメモリ読み出し回路、５はしきい値回路、６−１，
６−２は比較器、７は制御回路、８−１は飽和領域境界
値１用レジスタ、８−２は飽和領域境界値２用レジス
タ、９はセレクタ、１０は１ビットシリアルシナプス演
算回路＋累積回路、１１はクロック発生回路である。ま
た、図１１は図１０中の１ビットシリアルシナプス演算
回路＋累積回路１０の詳細を示すものである。

【００３７】本実施例ではシナプス演算回路の加算器部
分と累積回路の加算器部分とを多重化することにより、
回路規模を低減できる利点がある。また、シリアル演算
を行うため、入力値のビット値が“０”の場合はそのシ
ナプス演算を省略することが可能であり、演算量削減の
効果が得られる利点がある。

【００３８】本実施例において、シナプス演算回路の加
算器部分と累積回路の加算器部分とを多重化可能である
理由を以下に説明する。シナプス演算回路で積演算をシ
リアルに行う場合を考えると、図１２に示すように１ビ
ット積演算と、１ビット積演算の結果を順次加算すると
いう２つの演算に分解できる。一方、累積回路では積演
算の結果を累積加算する。従って、シリアル演算を行う
ことによりシナプス演算回路と累積回路との加算演算部
を一体化することができる。これにより回路規模を低減
させることが可能である。

【００３９】図１０において、１ビットシリアルシナプ
ス演算回路＋累積回路１０の入力にはそれぞれメモリ読
み出し回路３を介してシナプス係数メモリ回路２が、ま
た、セレクタ９を介して入力端子が接続されている。１
ビットシリアルシナプス演算回路＋累積回路１０の出力
は、しきい値回路５及び比較器６−１，６−２の一方の
入力に接続されている。比較器６−１の他方の入力には
飽和領域境界値１用レジスタ８−１が、また、比較器６
−２の他方の入力には飽和領域境界値２用レジスタ８−
２がそれぞれ接続されている。しきい値回路５の出力は
ニューロン回路の出力端子に接続されている。比較器６
−１，６−２の出力は制御回路７の入力に接続されてい
る。制御回路７からはデータのアクセス信号がセレクタ
９とメモリ読み出し回路３に出力され、リセット信号が
クロック発生回路１１に出力される。

【００４０】図１１において、２１はシナプス係数レジ
スタ、２２は入力値レジスタ、２３は累積加算値用レジ
スタ、２４，２５，２６，２７はスイッチａ，ｂ，ｃ，
ｄ、２８，２９はＥＸ−ＯＲ回路、３０はＡＮＤ回路、
３１は１ビット全加算器、３２はＤタイプフリップフロ
ップ回路、３３は制御回路である。

【００４１】ＡＮＤ回路３０の入力はスイッチａを介し
てシナプス係数レジスタ２１の出力に、また、スイッチ
ｂを介して入力値レジスタ２２の出力に接続されてい
る。ＡＮＤ回路３０の出力はＥＸ−ＯＲ回路２９の一方
の入力に接続されている。ＥＸ−ＯＲ回路２８の入力は
シナプス係数レジスタ２１の符号ビット及び入力値レジ
スタ２２の符号ビットに接続されており、該ＥＸ−ＯＲ
回路２８の出力はＥＸ−ＯＲ回路２９の他方の入力に接
続されている。ＥＸ−ＯＲ回路２９の出力は１ビット全
加算器３１の入力に接続されている。１ビット全加算器
３１の他方の入力にはスイッチｃの出力が接続され、ス
イッチｃの入力には累積加算値用レジスタ２３の出力が
接続されている。

【００４２】１ビット全加算器３１のＳ出力（加算結
果）はスイッチｄの入力に接続され、Ｃｏ出力（キャリ
ー信号）はＤタイプフリップフロップ回路３２を介して
Ｃｉ入力及び制御回路３３の入力に接続されている。ス
イッチｄの出力は累積加算値用レジスタ２３の入力に接
続されている。スイッチｂの出力は制御回路３３の入力
に接続されている。また、スイッチｂは入力値レジスタ
２２のｊビット目（ｊは下位からのビット数）を選択す
るように制御回路３３で制御される。同様に、各スイッ
チの制御入力であるｉ，ｋの信号も制御回路３３から供
給される。ここで、ｉはシナプス係数レジスタ２１の下
位からのビット数、ｋは累積加算値用レジスタ２３の下
位からのビット数である。

【００４３】本回路の動作を以下に説明する。

【００４４】(1) 累積加算値の初期値を以下のように設
定する。

【００４５】累積加算値の初期値＝第１の実施例の初期
値 (2) 制御回路３３で入力値のｊビット目が“０”である
か否かを判定し、“０”である場合には入力値のｊビッ
ト目を使用するシナプス演算を省略し、その際、使用す
るシナプス係数のシナプス係数メモリへのアクセスも省
略し、次のシナプス演算を行うように制御回路３３は新
しいｉ，ｊ，ｋを出力する。

【００４６】(3) シナプス係数の符号ビットと入力値の
符号ビットをＥＸ−ＯＲ回路２８へ送り、シナプス係数
と入力値との積演算の結果の符号を求める。

【００４７】(4) シナプス係数のｉビット目と入力値の
ｊビット目をＡＮＤ回路３０へ送り、両ビットを用いた
１ビットの積演算を行う。

【００４８】(5) さらに、(3) 及び(4) の演算結果がＥ
Ｘ−ＯＲ回路２９へ送られ、累積加算する値を評価す
る。

【００４９】具体的には、積演算の結果の符号が正で積
演算の結果が“０”の時及び積演算の結果の符号が負で
積演算の結果が“１”の時には加算値を“０”にする。

【００５０】また、積演算の結果の符号が正で積演算の
結果が“１”の時及び積演算の結果の符号が負で積演算
の結果が“０”の時には加算値を“１”にする。

【００５１】(6) １ビット全加算器３１においては、前
記加算値と累積加算値のｋビット目との加算が行われ、
Ｓ信号が累積加算値のｋビット目に格納される。

【００５２】(7) この時、キャリー信号が１の時、つま
り桁上がりが生じた場合には、キャリー信号と累積加算
値の前回より１桁上位のビットとの加算が行われる。

【００５３】この演算が桁上がりが生じなくなるまで繰
り返されて、累積加算値が求められる。

【００５４】

【実施例４】図１３は本発明の第４の実施例を示すもの
で、ここでは図１０に示した第３の実施例における１ビ
ットシリアルシナプス演算回路＋累積回路１０の他の回
路を示すものであり、以下の特徴を有する。

【００５５】第１乃至第３の実施例において、飽和領域
Ａと飽和領域Ｂの両方を判定するためには、シナプス演
算回路及び累積回路を２セット用意し、一方のセットで
累積加算値が単調増加となる演算を行うことにより飽和
領域Ａを判定し（図７の演算に対応）、他方のセットで
累積加算値が単調減少となる演算を行うことにより飽和
領域Ｂを判定する（図８の演算に対応）必要がある。

【００５６】しかし、シナプス係数と入力値との演算を
シリアルに行う場合の特徴的な性質を利用すると、第３
の実施例の１ビットシリアルシナプス演算回路＋累積回
路を図１３に示す回路に置き換えることにより、１セッ
トのシナプス演算回路及び帯累積回路で飽和領域Ａと飽
和領域Ｂの判定を実現することができる。

【００５７】具体的な演算の概要及びシナプス係数と入
力値とのシリアル演算を行う場合の特徴的性質につい
て、図１４、１５、１６及び１７を用いて説明する。第
４の実施例においては図１４及び１５に示すように単調
増加しながら累積加算値の最終値に近づいて行く累積加
算値２と、単調減少しながら累積加算値の最終値に近づ
いて行く累積加算値１の演算を、共通のシナプス演算回
路＋累積回路において同時に行う。

【００５８】累積加算値１及び累積加算値２の初期値は
以下のように設定する。

【００５９】（１）シナプス係数と入力値とのシナプス
演算の結果が正数の時（図１６の時）＜累積加算値１の
初期値＞ (a) 入力値の絶対値部分の下位からｉビット目が“０”
となる時には“０”に設定する。

【００６０】(b) 入力値の絶対値部分の下位からｉビッ
ト目が“１”となる時には「２^{(i+L -1)} −１」に設定す
る。ここで、Ｌは各値の絶対値部分の語長（ビット数）
である。

【００６１】(c) 入力値の絶対値部分の全ビットに対す
る設定値を合計した値を累積加算値１の初期値とする。

【００６２】累積加算値１の初期値の意味は以下の通り
である。図１６に示すように、シナプス係数の絶対値と
入力値の絶対値との積演算を「シナプス係数の絶対値部
分全ビットと入力値の各ビットとの部分積演算＋各部分
積の累積加算」という形に分解して取り扱う。シナプス
係数の絶対値部分全ビットと入力値の各ビットとの部分
積のビット列のうち、入力ビット値が“１”に対応する
ビット列が全て“１”であると仮定した時の各部分積の
ビット列の合計値が累積加算値１の初期値である。

【００６３】＜累積加算値２の初期値＞“０”に設定す
る 累積加算値２の初期値は図１６に示すように、シナプス
係数の絶対値部分全ビットと入力値の各ビットとの部分
積のビット列が全て“０”であると仮定した時の各部分
積のビット列の合計値が累積加算値２の初期値である。

【００６４】（２）シナプス係数と入力値とのシナプス
演算の結果が負数の時（図１７の時） ＜累積加算値１の初期値＞“０”に設定する。

【００６５】ここで、累積加算値１の初期値の意味は以
下の通りである。図１７に示すように、シナプス係数の
絶対値と入力値の絶対値との積演算を「シナプス係数の
絶対値部分全ビットと入力値の各ビットとの部分積演算
＋各部分積の累積加算」という形に分解して取り扱う。
シナプス係数の絶対値部分全ビットと入力値の各ビット
との部分積のビット列を１の補数表現で負の値に変換す
る。１の補数表現に変換した結果のビット列が全て
“１”であると仮定した時の各ビット列の合計値が累積
加算値１の初期値である。

【００６６】＜累積加算値２の初期値＞ (a) 入力値の絶対値部分の下位からｉビット目が“０”
となる時には“０”に設定する。

【００６７】(b) 入力値の絶対値部分の下位からｉビッ
ト目が“１”となる時には「−２^{(i +L-1)} ＋１」に設定
する。

【００６８】(c) 入力の絶対値部分の全ビットに対する
設定値を合計した値を累積加算値２の初期値とする。

【００６９】累積加算値２の初期値の意味は以下の通り
である。図１７に示すように、シナプス係数の絶対値部
分全ビットと入力値の各ビットとの部分積のビット列を
１の補数表現で負の値に変換する。１の補数表現に変換
した結果のビット列のうち、入力ビット値が“１”に対
応するビット列が最上位ビット列以外全て“０”である
と仮定した時の負の値に変換した結果のビット列の合計
値が累積加算値２の初期値である。

【００７０】累積加算は以下のように行う。

【００７１】シナプス係数と入力値との１ビット積演算
を上位ビットから行う。その結果、累積加算値１の初期
値を設定した時に加算されていたビットが“０”である
ことが判明したら、加算されていたビットを累積加算値
１から減算する（図１６中のシリアル演算の順番(3)(4)
(7)(8)(9) 、図１７中のシリアル演算の順番(1)(2)(5)
(6)に対応）。

【００７２】一方、シナプス係数と入力値との１ビット
積演算の結果、累積加算値２の初期値を設定した時に加
算されていないビットが“０”でないことが判明した
ら、１ビット積演算の結果を累積加算値２に加算する
（図１６中のシリアル演算の順番(1)(2)(5)(6)、図１７
中のシリアル演算の番号(3)(4)(7)(8)(9) に対応）。

【００７３】本動作においては、図１６及び１７の演算
の進行過程をみればわかるように、シナプス係数と入力
値との１ビット積演算の後に実行される累積加算値１か
らの減算及び累積加算値２への加算は相補的な関係にな
っており、常にいずれかの演算のみが行われていること
がわかる。

【００７４】従って、単調増加して飽和領域Ａを判定す
る累積加算値２に関する演算と、単調減少して飽和領域
Ｂを判定する累積加算値１に関する演算とを同一の積演
算器及び加算器を用いて、累積加算値１を保持するレジ
スタと累積加算値２を保持するレジスタとを切り換えな
がら演算することにより両方の演算を同時に実行するこ
とができる。

【００７５】図１３において、３１は１ビット全加算
器、３２はＤタイプフリップフロップ回路、３３は制御
回路、３４は積演算器、３５は定数“１”を格納するた
めのレジスタ、３６は累積加算値１用レジスタ、３７は
累積加算値２用レジスタ、３８，３９，４０，４１，４
２，４３はスイッチｃ，ｄ，ｅ，ｆ，ｇ，ｈである。

【００７６】積演算器３４の入力には、制御回路３３に
より指定されたシナプス係数と入力値が入力される。積
演算器３４の出力はスイッチｇ及びｈの制御入力に接続
され、積演算の結果によりスイッチを切り換えている。

【００７７】１ビット全加算器３１の入力には、定数
“１”用レジスタ３５及びスイッチｇの出力が接続さ
れ、Ｓ出力（加算結果）はスイッチｈの入力に接続され
ている。Ｃｏ出力（キャリー信号）はＤタイプフリップ
フロップ回路３２を介してＣｉ入力に接続されている。
Ｃｏ出力は制御回路３３の入力にも接続されている。ス
イッチｈの出力はスイッチｄを介して累積加算値１用レ
ジスタ３６の入力に、また、スイッチｆを介して累積加
算値２用レジスタ３７の入力に接続されている。スイッ
チｇの入力にはスイッチｃを介して累積加算値１用レジ
スタ３６の出力が、また、スイッチｅを介して累積加算
値２用レジスタ３７の出力が接続されている。また、ス
イッチｃ，ｄ，ｅ，ｆの制御入力であるｋの信号は制御
回路３３から供給される。ここで、ｋは累積加算値１用
レジスタ３６及び累積加算値２用レジスタ３７の下位か
らｋビット目をアクセスする信号である。

【００７８】本回路の動作を以下に説明する。

【００７９】(1) 累積加算値１及び累積加算値２の初期
値を前述のように設定する。

【００８０】(2) 積演算器３４においてシナプス係数と
入力値との積演算が行われ、積演算の結果とその符号が
求められる。積演算の結果とその符号が１ビットづつス
イッチｇ及びｈの制御入力に送られ、累積加算値１と累
積加算値２のどちらを用いて累積加算を行うかを以下の
ように切り換える。

【００８１】

【表１】 (3) １ビット全加算器３１においては、“１”と(2) で
選択された累積加算値の下位からｋビット目との加算が
行われ、Ｓ信号が累積加算値の下位からｋビット目に格
納される。

【００８２】(4) この時、キャリー信号が１の時、つま
り桁上がりが生じた場合には、キャリー信号と累積加算
値の前回より１桁上位のビットとの加算が行われる。

【００８３】この演算が桁上がりが生じなくなるまで繰
り返されて、累積加算値が求められる。

【００８４】(5) 累積加算値１用レジスタ３６及び累積
加算値２用レジスタ３７の出力を、比較器において飽和
領域及び過渡領域の境界値と比較することにより、飽和
領域の判定を行う。

【００８５】

【実施例５】第１乃至第４の実施例においては、累積加
算値と飽和領域境界値との大小関係を比較器を用いて評
価することにより、演算を継続するか否かの評価を行っ
ていた。しかし、第５の実施例においては、以下に述べ
るように、累積回路の最上位ビットからのキャリー信号
の検出のみで演算を継続するか否かを判断することが可
能であり、演算停止の判断をより簡単な処理で行うこと
ができるという利点がある。

【００８６】本実施例においては、累積加算値が負数と
なる時は１の補数表現で表す。図１８に示すように累積
加算を行うことにより累積加算値が変化してゆき、飽和
領域境界値に到達した時に“０”となるように累積加算
値の初期値を設定する。このように初期値を設定すれ
ば、飽和領域境界値に到達した時、つまり累積加算値が
“０”になった時、累積加算値の最上位ビットからキャ
リー信号が発生し、飽和領域であることを判定して演算
を停止させることができる。

【００８７】しきい値回路の伝達特性において過渡領域
が１つで加算演算をシリアルに行う場合について説明す
る。

【００８８】前記方法を実現するために以下に示す演算
手法を行う。

【００８９】(1) 累積加算値１及び累積加算値２の初期
値を以下のように設定する。

【００９０】・累積加算値１の初期値＝第３の実施例の
累積加算値１の初期値＋飽和領域境界値１ ・累積加算値２の初期値＝第３の実施例の累積加算値２
の初期値−飽和領域境界値２ (2) 演算は第４の実施例と同様に行う。そして、演算
中、最上位ビットからキャリー信号が発生したら以降の
演算を省略する。

【００９１】図１９は本実施例の構成を示すもので、図
１１または１３中の制御回路３３の一部として実現され
る。図中、５１はシナプス係数の下位からのビット数ｉ
を格納するレジスタ、５２は入力値の下位からのビット
数ｊを格納するレジスタ、５３は変数を格納するレジス
タ、５４は定数“１”を格納するレジスタ、５５は定数
Ｌ（Ｌは各値の絶対値部分の語長）を格納するレジス
タ、５６，５７，５８は加算器、５９は比較器、６０は
ＡＮＤ回路である。

【００９２】加算器５６の入力にはｉ格納用レジスタ５
１及びｊ格納用レジスタ５２が接続され、該加算器５６
の出力は加算器５８の一方の入力に接続されている。加
算器５８の他方の入力は変数格納用レジスタ５３に接続
され、該加算器５８の出力は比較器５９の一方の入力に
接続されている。加算器５７の入力には変数格納用レジ
スタ５３及び定数１格納用レジスタ５４が接続され、出
力は変数格納用レジスタ５３にフィードバックされてい
る。また、比較器５９の他方の入力にはＬ格納用レジス
タ５５が接続され、出力はＡＮＤ回路６０の一方の入力
に接続されている。ＡＮＤ回路６０の他方の入力は累積
回路のキャリー信号であり、該ＡＮＤ回路６０の出力は
演算停止信号の出力端子に接続されている。

【００９３】次に、本回路の動作について説明する。

【００９４】(1) 制御信号ｉとｊの加算を行い、この結
果と変数との加算を行うことにより現在、何桁目の演算
を実行中であるかを示す値ｋを評価する。ここで、変数
の値の初期値は−Ｌ（Ｌは各値の絶対値部分の語長）で
ある。また、変数値は累積回路で桁上げが生じた時は１
ずつ加算されていき、桁上げが生じない時は初期値に戻
る。

【００９５】(2) ｋの値は比較器５９に送られ、定数Ｌ
と比較することにより現在の演算が最上位ビットに関す
るものであるか否かを評価する。

【００９６】(3) 比較器５９の出力と累積回路のキャリ
ー信号とのＡＮＤをとることにより、最上位ビットの演
算で桁上がりが生じたかどうかを判定する。そして、最
上位ビットの演算で桁上がりが生じた場合は演算を終了
させる演算停止信号を出力し、以降の演算を省略する。

【００９７】以上の処理により、累積回路の最上位ビッ
トのキャリー信号の検出のみで演算の停止を実現するこ
とができる。

【００９８】

【実施例６】以上説明した実施例はシナプス演算とし
て、シナプス係数と入力値との積の演算を行う場合につ
いて述べたが、以下に述べる点を変更すれば、シナプス
演算が差の絶対値の時あるいは２乗の時も同様の処理を
行うことができる。

【００９９】＜シナプス係数と入力値との差の絶対値を
とる場合＞ (1) 累積加算の初期値は常に０に設定する。

【０１００】(2) シナプス係数と入力値の減算の結果の
絶対値が常に正となるので、上位ビットからシナプス演
算を行った後、累積加算する。

【０１０１】＜シナプス係数と入力値との差の２乗をと
る場合＞ (1) 累積加算の初期値は常に０に設定する。

【０１０２】(2) シナプス係数と入力値の減算の結果の
２乗が常に正となるので、上位ビットからシナプス演算
を行った後、累積加算する。

【０１０３】例えば、シナプス係数値と入力値が（ａ×
２³ ＋ｂ×２² ＋ｃ×２＋ｄ）の場合を考えると、２乗
した厳密な値は、ａ²×２⁶ ＋２ａｂ×２⁵＋ｂ²×２⁴ ＋２ａｃ×２⁴＋２ｂ
ｃ×２³＋ｃ²×２² ＋２ｂｄ×２²＋２ｃｄ×２＋ｄ² となる。

【０１０４】一方、前述した処理では下線部のみが演算
され、本来の値よりも小さい値となる。しかし、ここで
は累積加算の結果が飽和領域に到達するか否かの判定が
行えれば良いわけであるから、前記処理を行うことによ
りシナプス係数と入力値との差の２乗をとるシナプス演
算の場合にも適用できる。

【０１０５】

【発明の効果】本発明を採用した場合の演算の省略効果
及びシナプス係数メモリ回路へのアクセスの低減効果を
評価した結果を図２０及び２１に示す。

【０１０６】図２０は入力数が１６個、シナプス係数、
入力値とも符号ビット及び絶対値部分を合わせて１６ビ
ットの場合の１ニューロンに対する全シナプス結合の演
算を行った場合について、累積加算の最終値と演算の省
略率との関係を示したものである。この図より、最終値
が飽和領域境界値から離れると演算省略の効果が顕著に
現われることがわかる。また、図２１は同様の演算にお
ける、累積加算の最終値とシナプス係数を何ビットアク
セスしたかの関係を示したものである。この図より、最
終値が飽和領域境界値から離れるとシナプス係数メモリ
回路へのアクセスの低減効果が顕著に現れることがわか
る。

【０１０７】具体的に演算省略の効果を見積ってみる。
入力値ビット列のうち“１”が占める割合を５０％とし
て、入力値のビット列のうち“０”となるビットの演算
を省略することにより、演算を５０％削減できる。累積
結果が飽和領域になる確率を９０％、過渡領域になる確
率を１０％とし、累積結果が飽和領域になる時の平均演
算省略率を図２０に示す評価結果より２０％と仮定すれ
ば、さらに演算量を２８％に省略できる。従って、トー
タルで演算量を約１４％に削減できる。また、同様にメ
モリ回路へのアクセスも、累積結果が飽和領域になる確
率を９０％、過渡領域になる確率を１０％とし、累積結
果が飽和領域になる時の平均メモリアクセス省略率を図
２１に示す評価結果より２０％と仮定すれば、メモリア
クセスを約２８％に省略できる。

【０１０８】以上述べたように本発明によれば、演算量
の削減及びシナプス係数メモリ回路へのアクセス量の削
減が可能となり、シナプス演算の高速化及び演算に要す
る消費電力の低減が可能になる。これにより、大規模で
且つ高速動作可能なデジタルニューラルネットワーク回
路を構成することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す構成図

【図２】ニューロン回路の構成図

【図３】しきい値回路の伝達特性の説明図

【図４】３層構造のニューラルネットワーク回路の構成
図

【図５】従来のニューラルネットワーク回路の具体的な
構成図

【図６】累積加算の初期値の設定法の説明図

【図７】飽和領域の判定動作の説明図

【図８】飽和領域の判定動作の説明図

【図９】本発明の第２の実施例を示す構成図

【図１０】本発明の第３の実施例を示す構成図

【図１１】図１０中の１ビットシリアルシナプス演算回
路＋累積回路１０の詳細を示す構成図

【図１２】積演算をシリアルに行う場合のようすを示す
説明図

【図１３】本発明の第４の実施例を示す構成図

【図１４】飽和領域の判定動作の説明図

【図１５】飽和領域の判定動作の説明図

【図１６】第４の実施例における演算過程の説明図

【図１７】第４の実施例における演算過程の説明図

【図１８】飽和領域判定の原理の説明図

【図１９】本発明の第５の実施例を示す構成図

【図２０】最終的な積和演算結果と演算の省略率との関
係を示すグラフ

【図２１】最終的な積和演算結果とアクセスしたシナプ
ス係数値のビット数との関係を示すグラフ

【符号の説明】

１，１−１〜１−ｎ…シナプス演算回路、２…シナプス
係数メモリ回路、３…メモリ読み出し回路、４…累積回
路、５…しきい値回路、６−１，６−２，５９…比較
器、７，３３…制御回路、８−１…飽和領域境界値１用
レジスタ、８−２…飽和領域境界値２用レジスタ、９…
セレクタ、１０…１ビットシリアルシナプス演算回路＋
累積回路、１１…クロック発生回路、２１…シナプス係
数レジスタ、２２…入力値レジスタ、２３…累積加算値
用レジスタ、２４，２５，２６，２７，３８，３９，４
０，４１，４２，４３…スイッチ、２８，２９…ＥＸ−
ＯＲ回路、３０，６０…ＡＮＤ回路、３１…１ビット全
加算器、３２…Ｄタイプフリップフロップ回路、３４…
積演算器、３５，５４…定数１格納用レジスタ、３６…
累積加算値１用レジスタ、３７…累積加算値２用レジス
タ、５１…ｉ格納用レジスタ、５２…ｊ格納用レジス
タ、５３…変数格納用レジスタ、５５…定数Ｌ格納用レ
ジスタ、５６，５７，５８…加算器。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ２進ビット列で表される多数の入力値と
   シナプス係数値との間でシナプス演算を行った後、累積
   加算し、さらにしきい値処理を行って出力値を決定する
   ニューラルネットワーク回路において、 入力値とシナプス係数値とのシナプス演算を任意のビッ
   ト間で実行するシナプス演算回路と、 シナプス係数値を格納したシナプス係数メモリ回路と、 シナプス係数メモリ回路から任意のシナプス係数値の任
   意のビットをシナプス演算回路に転送するメモリ読み出
   し回路と、 累積値が演算の進行に伴って単調増加あるいは単調減少
   となるように初期値を設定し、シナプス演算の結果を累
   積加算する累積回路と、 累積回路の出力に所定のしきい値処理を実行するしきい
   値回路と、 累積回路の出力としきい値回路の伝達特性における飽和
   領域及び過渡領域の境界値との大小関係を比較する比較
   器と、 シナプス演算を上位ビットから実行させ、累積値が飽和
   領域であることが判明した時点で演算を停止させる制御
   回路とからなることを特徴とするニューラルネットワー
   ク回路。
2. 【請求項２】 シナプス演算回路と累積回路とを、 入力値の任意のビットとシナプス係数の任意のビットと
   の積演算を行う１ビット積演算器と、 累積加算値を格納する累積加算値用レジスタと、 １ビット積演算器の出力と累積加算値用レジスタの任意
   のビットとの加算を行い、これを累積加算値用レジスタ
   の任意のビットに格納する１ビット加算器とによって一
   体化し、 該シナプス演算回路と累積回路とを一体化した回路でシ
   ナプス演算の積演算過程で必要な加算及び累積演算に必
   要な加算を１個の加算器で実行可能とし、 さらに入力ビット値が“０”の場合にはこのビットとシ
   ナプス係数との演算を省略可能としたことを特徴とする
   請求項１記載のニューラルネットワーク回路。
3. 【請求項３】 請求項２記載のニューラルネットワーク
   回路を用いた演算方法において、 累積加算値用レジスタを２個の切り換えスイッチと累積
   加算値を格納する２個のレジスタとから構成し、第１の
   切り換えスイッチの出力を１ビット加算器の一方に入力
   し、累積加算値を格納する２個のレジスタの出力を第１
   の切り換えスイッチに入力し、１ビット加算器の出力を
   第２の切り換えスイッチに入力し、第２の切り換えスイ
   ッチの出力を累積加算値を格納する２個のレジスタに入
   力し、さらに２個の切り換えスイッチを積演算器の出力
   で制御し、 第１の累積加算値用レジスタの初期値を「−（シナプス
   演算結果が負になる値を「負のバイアス＋正の数値」と
   いう形式で表現した場合の「負のバイアス」の合計値＋
   入力値とシナプス係数値の取り得る数値の最大値との積
   の絶対値）」に設定し、 第２の累積加算値用レジスタの初期値を「シナプス演算
   結果が負になる値を「負のバイアス＋正の数値」という
   形式で表現した場合の「負のバイアス」の合計値」に設
   定し、 累積加算を行う際に使用するレジスタを、 シナプス係数と入力値との符号が等しく且つシナプス係
   数と入力値との絶対値の積演算結果が“１”の時及びシ
   ナプス係数と入力値との符号が異なり且つシナプス係数
   と入力値との絶対値の積演算結果が“０”の時には第２
   の累積加算値用レジスタに切り換え、 シナプス係数と入力値との符号が等しく且つシナプス係
   数と入力値との絶対値の積演算結果が“０”の時及びシ
   ナプス係数と入力値との符号が異なり且つシナプス係数
   と入力値との絶対値の積演算結果が“１”の時には第１
   の累積加算値用レジスタに切り換え、 第１及び第２の累積加算値用レジスタの出力を比較器に
   おいて飽和領域及び過渡領域の境界値と比較することに
   より、２つ以上の飽和領域の判定を同時に実行すること
   を特徴とするニューラルネットワーク回路を用いた演算
   方法。
4. 【請求項４】 しきい値回路の伝達特性が２つの飽和領
   域を有する場合、 第１の累積加算値用レジスタの初期値を「（請求項３記
   載の第１の累積加算値用レジスタの初期値）＋（過渡領
   域の下限の値）」に設定し、 第２の累積加算値用レジスタの初期値を「（請求項３記
   載の第２の累積加算値用レジスタの初期値）−（過渡領
   域の上限の値）」に設定することにより、 加算器の最上位ビットからの桁上げ信号が生じた場合に
   飽和領域であると判定して演算を停止させることを特徴
   とする請求項３記載のニューラルネットワーク回路を用
   いた演算方法。