JPH06259585A

JPH06259585A - ニューラルネットワーク装置

Info

Publication number: JPH06259585A
Application number: JP7628193A
Authority: JP
Inventors: Michinori Ando; 道則安藤; Yoshihisa Harada; 義久原田
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 1993-03-10
Filing date: 1993-03-10
Publication date: 1994-09-16

Abstract

(57)【要約】【目的】各ニューロンの回路規模を大幅に縮小したニ
ューラルネットワーク装置を得ること。【構成】入力層、中間層及び出力層を有するニューラ
ルネットワーク装置である。各層を構成するニューロン
は、入力信号をラッチする時分割入力用のレジスタ５２
と、所定の演算に用いる乗算値を、２のべき乗で表され
た乗算値として記憶する乗算値記憶手段５４と、前記レ
ジスタ５２および記憶手段５４を制御し、前記レジスタ
５２を用い前記演算に用いる入力信号を時分割で順次取
り込むとともに、前記記憶手段５４から前記演算に用い
る乗算値を演算タイミングにあわせて逐次出力させる制
御手段５０と、順次取込まれる入力信号と、前記記憶手
段から逐次出力される乗算値とを用い、前記演算を積和
演算として逐次行なう積和演算手段と５６とを含み、各
ニューロン内における演算を、入力信号を時分割で順次
取り込み、積和演算として逐次実行する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力層、中間層及び出
力層を有するニューラルネットワーク装置に関する。

【０００２】

【従来の技術】近年、ニューラルネットの応用や専用ハ
ードウェア化の研究が盛んに行われている。特に、パタ
ーン認識装置及び音声認識装置等に用いられるニューラ
ルネットワークの分野においては、バックプロパゲーシ
ョン（ＢＰ）アルゴリズムに基づいた階層型ネットワー
クが成果を上げている。

【０００３】ニューラルネットワークの認識の精度等を
高めるために、各ニューロンでは、多数の入力に対して
演算処理を施して出力信号を求めている。

【０００４】このため、ニューラルネットワークを、単
純にハードウェア化すると、その回路規模が非常に大き
くなり、しかも高価なものとなってしまうという問題が
ある。

【０００５】図１には、階層型のニューラルネットワー
クの基本構成が示されている。図において、○印がニュ
ーロンを表しており、左から順に、入力層、中間層、出
力層を構成する。

【０００６】ここにおいて、入力層から中間層、中間層
から出力層への各結合係数をＷｉｊ、Ｗｊｋとする。入
力層における第ｉユニットの出力をＯｉ、中間層におけ
る第ｊユニットの入出力をそれぞれＩj 、Ｏj で表す
と、これらは次式で関係付けられる。

【数１】

【数２】

【数３】ここにおいて、ｆ（ｘ）はシグモイド関数と呼ばれる非
線形関数である。ｂjは、中間層の各ユニットのバイア
スを表す。出力層の各ユニットについても同様である。

【０００７】中間層、出力層のニューロンは、各入力と
結合係数との積和を計算した後、シグモイド関数を用い
出力を計算する。

【０００８】従来のニューロンモデルでは、前記積和演
算を行うために、各ニューロンが乗算器と加算器を持つ
必要がある。このため、ニューロンモデルを単純にハー
ドウェア化した場合には、回路規模が増大してしまうと
いう問題があった。

【０００９】特に、ニューラルネットワークのデータビ
ット数は、通常の場合、精度を保持するために、３２も
しくは１６ビットが必要である。このようなビット数の
データを処理するためには、必要とされる乗算器の回路
規模が非常に大きくなってしまい、回路の小型化ができ
なかった。

【００１０】このような問題を解決し、ニューロンを構
成する各素子の回路規模を低減するため、特開平４−５
１３８４号公報にかかる提案が行われている。この提案
では、ニューラルネットワークのニューロンにおける乗
算を、ビットシフトまたはビットシフトされたもの同士
の和に置き換えることにより、回路規模を小さくするこ
とが可能となる。

【００１１】

【発明が解決しようとする課題】しかし、前記従来技術
では、多数の入力に対する演算を並列的に行っている。
このため、各ニューロンへの入力が多数存在する場合に
は、入力信号と結合係数の乗算用に、入力信号の個数分
のシフト演算部が必要となる。しかも各シフト演算部の
出力を順次加算していくため、多数の加算器が必要とな
る。

【００１２】このように、乗算の一部をシフト演算に置
き換えるという従来技術では、各ニューロンにおける乗
算に用いる乗算器の回路規模はある程度低減できるもの
の、回路全体としての規模の縮小化が不十分であるとい
う問題があった。従って、ニューラルネットワークをハ
ードウエアで構成した場合に、集積度を高めることがで
きなかった。

【００１３】本発明は、このような従来の課題に鑑み成
されたものであり、その目的は、各ニューロンにおける
積和演算を簡単な構成の回路を用いて実現でき、ニュー
ラルネットワークをハードウエアで構成した場合の集積
度を高めることが可能なニューラルネットワーク装置を
提供することにある。

【００１４】

【課題を解決するための手段】第１の発明前記目的を達成するため、本発明は、入力層、中間層及
び出力層を有するニューラルネットワーク装置におい
て、各層を構成するニューロンは、入力信号をラッチす
る時分割入力用のレジスタと、所定の演算に用いる乗算
値を、２のべき乗で表された乗算値として記憶する乗算
値記憶手段と、前記レジスタ及び記憶手段を制御し、前
記レジスタを用い前記演算に用いる入力信号を時分割で
順次取り込むとともに、前記記憶手段から前記演算に用
いる乗算値を演算タイミングにあわせて逐次出力させる
逐次演算用の制御手段と、前記レジスタに順次取込まれ
る入力信号と、前記記憶手段から逐次出力される乗算値
とを用い、前記演算を積和演算として逐次行なう積和演
算手段と、を含み、前記積和演算手段は、シフト回路
と、アキュムレータと、加算器とを含み、前記シフト回
路は、順次取り込まれる前記入力信号に対する乗算を２
のべき乗で表された前記乗算値を用いてシフト演算する
よう形成され、前記加算器は、前記シフト回路の出力
と、前記アキュムレータの出力とを加算し前記アキュム
レータに向け出力するよう形成され、前記アキュムレー
タは、前記加算器の出力を順次記憶し、前記演算の結果
を出力するよう形成され、各ニューロン内における演算
を、入力信号を時分割で順次取り込み、積和演算として
逐次実行することを特徴とする。

【００１５】ここにおいて、前記入力信号は、二進数で
表された信号として入力されるよう形成することが好ま
しい。

【００１６】さらに、前記制御手段は、前記演算を積和
演算として逐次実行するよう、前記レジスタ及び記憶手
段を積和演算のタイミングに合わせてシーケンス制御
し、前記レジスタへの前記入力信号の取り込み、及び前
記記憶手段からの乗算値の読出しを行なわせるよう形成
することが好ましい。

【００１７】また、前記ニューロンは、所定のシグモイ
ド関数テーブルが記憶され、前記積和演算手段の出力を
シグモイド関数テーブルに従って変換出力するシグモイ
ド変換手段を含むよう形成することが好ましい。

【００１８】また、前記ニューロンは、演算結果を外部
バスヘ出力する出力バッファを含み、前記制御手段は、
前記演算終了後、前記積和演算手段の出力または前記シ
グモイド変換手段の出力を外部バスへ向け出力するよう
前記出力バッファを制御するよう形成することが好まし
い。

【００１９】また、前記シグモイド変換手段は、複数の
ニューロンと外部バスを介して時分割で接続され、各ニ
ューロンの出力をシグモイド変換して出力するよう形成
することが好ましい。

【００２０】さらに、前記入力層の複数のニューロン、
前記中間層の複数のニューロンまたは前記出力層の複数
のニューロンは、それぞれ対応する共通のニューロンを
時分割で用いることにより構成されるよう形成すること
もできる。

【００２１】

【作用】入力層、中間層及び出力層を有するニューラル
ネットワーク装置において、各ニューロンは、その処理
精度を高めるため、多数の入力信号に対して演算処理を
施している。

【００２２】本発明の装置は、各ニューロン内における
前記演算を、入力信号を時分割で順次取り込み、積和演
算として逐次実行することを特徴とするものである。

【００２３】すなわち、各層を構成するニューロンは、
入力信号をラッチする時分割入力用のレジスタと、所定
演算に用いる乗算値が２のべき乗で表された値として記
憶される乗算値記憶手段とを有する。

【００２４】そして、制御手段は、前記レジスタ及び記
憶手段を、所定の積和演算式に基づく演算タイミングに
合わせて制御する。これにより、レジスタを用い、前記
積和演算に用いられる入力信号が時分割で順次取り込ま
れると共に、前記記憶手段からは、演算に用いる乗算値
が、演算タイミングに合わせて逐次出力される。そし
て、レジスタに取り込まれた入力信号及び記憶手段から
出力される乗算値は、積和演算手段に入力される。

【００２５】積和演算手段は、このようにして順次入力
される入力信号と、乗算値とを用い、積和演算を逐次実
行していく。

【００２６】このように、本発明によれば、複数の入力
信号をレジスタを用いて逐次入力し、その積和演算を、
逐次実行する構成とすることにより、複数の信号を同時
に入力し積和演算を並列処理する従来技術に比べ、ニュ
ーロンの内部の回路構成を極めて簡単なものとすること
ができる。特に、演算に使用する積和演算手段は、演算
を並列処理する構成ではなく、入力を時分割で取り込み
逐次処理により演算を行う構成とするため、その回路構
成は極めて簡単なものとなる。

【００２７】本発明において、前記積和演算手段は、積
和演算を逐次演算して実行するため、シフト回路と、ア
キュムレータと、加算器とを含む。

【００２８】前記シフト回路は、順次入力される入力信
号に対する乗算を、２のべき乗で表された乗算値を用い
てシフト演算する。

【００２９】そして、前記加算器は、前記シフト回路か
ら出力される乗算結果の出力と、前記アキュムレータの
出力とを加算し、前記アキュムレータに向け出力する。
これにより、アキュムレータのデータは、加算器の出力
により順次更新され、所定演算式に基づく演算結果がア
キュムレータから出力されることになる。すなわち、こ
のアキュムレータには、所定の積和演算を逐次実行する
ことにより得られた値が順次記憶されることになり、演
算が終了した段階で、このアキュムレータから演算式に
基づく演算結果が出力されることになる。

【００３０】このように、本発明では、積和演算手段
を、シフト回路と、アキュムレータと、加算器とを組み
合わせた構成としたことにより、積和演算の乗算を１台
のシフト回路を用いて行い、さらに積和演算の加算を１
台の加算器を用いて行うことができるため、その回路構
成は極めて簡単なものとなる。

【００３１】そして積和演算手段から出力される演算結
果は、シグモイド変換手段によりシグモイド関数テーブ
ルに従って変換され、出力されることになる。

【００３２】

【発明の効果】以上説明したように、本発明によれば、
各ニューロン内における演算を入力信号を時分割で順次
取り込み、積和演算として順次実行する構成とすること
により、各ニューロンの回路規模を大幅に縮小し、ニュ
ーラルネットワークをハードウエアで構成した場合に、
集積度の高いニューラルネットワーク装置を得ることが
できるという効果がある。

【００３３】第２の発明また、第２の発明は、前記第１の発明に、さらに次の構
成を付加することを特徴とする。

【００３４】本発明において、前記積和演算手段は、前
記シフト回路の出力をラッチするラッチ回路を含み、前
記シフト回路は、前記制御手段の指示に従い、前記ラッ
チ回路にラッチされたデータと、記憶手段から読み出さ
れた乗算値とをシフト演算して出力するよう形成され、
前記ラッチ回路は、前記制御手段の指示に従い、ラッチ
したデータを前記加算器へ向け出力するよう形成された
ことを特徴とする。

【００３５】以上の構成とすることにより、前記積和演
算手段は、シフト回路とラッチ回路とを用い、シフト回
路から出力されるシフト演算値を、再度繰り返してシフ
ト演算することができる。

【００３６】従って、本発明の装置を用いることによ
り、乗算を複数回繰り返すようなタイプの積和演算を行
うことができる。

【００３７】第３の発明また、第３の発明は、前記時分割入力用のレジスタおよ
び前記積和演算手段のシフト回路を、前記入力信号が上
位ビット又は下位ビットからシリアル入力される共通の
シフトレジスタとして形成し、前記シフトレジスタは、
シリアル入力される前記入力信号に対する乗算を２のべ
き乗で表された前記乗算値を用いてシフト演算するよう
形成されたことを特徴とする。

【００３８】以上の構成とすることにより、回路規模を
より縮小することが可能となる。

【００３９】

【実施例】次に、本発明の好適な実施例を、図面に基づ
き詳細に説明する。

【００４０】第１実施例図２には、図１に示す階層型のニューラルネットワーク
の基本構成が簡略化されて記載されている。このニュー
ラルネットワークは、入力層、中間層、出力層を有す
る。入力層は、複数のニューロン１０−１，１０−２，
…を含んで構成され、中間層は複数のニューロン２０−
１，２０−２，…を含んで構成され、出力層は一または
複数のニューロン３０を含んで構成されている。同図に
おいて、ｉ１，ｉ２はニューロン１０−１，１０−２へ
の入力を表し、Ｏ１〜Ｏ５はニューロンからの出力を表
す。Ｗは各ニューロン間の結合係数を表す。

【００４１】このような構成のニューラルネットワーク
では、各ニューロンの出力Ｏ１〜Ｏ５は次式で表され
る。

【数４】

【数５】

【数６】

【数７】

【数８】このニューラルネットワークでは、ＢＰアルゴリズムに
基づいて、結合係数Ｗの学習を行った後、認識動作を実
行する。

【００４２】この認識動作は、前記数４〜数８に基づい
て、ある入力（ｉ1,ｉ2 ）に対し、出力Ｏ5 を演算する
プロセスとして実行される。この認識動作を行なう場合
に、中間層、出力層の各ニューロンは、入力信号と結合
係数の積和を演算し、シグモイド関数により出力を計算
している。

【００４３】このようなニューラルネットワークでは、
ＢＰアルゴリズムに基づいて結合係数Ｗが適切な値に設
定されることにより、所定の入力に対して最適な出力Ｏ
５を演算し、正確な認識動作を行うことが可能となる。

【００４４】なお、このニューラルネットワークにおい
て前述したＢＰアルゴリズムに基づく学習は、以下に示
す計算式により実行される。

【数９】

【数１０】

【数１１】

【数１２】

【数１３】

【数１４】

【数１５】

【数１６】

【数１７】

【数１８】

【数１９】

【数２０】

【数２１】

【数２２】ここで、前記各式のパラメータは、次の内容を意味す
る。Ｗ３５，Ｗ４５：結合係数ｂ５：バイアスＯ３，Ｏ４，Ｏ５：ニューロン出力ｔ：教師信号ｄ５：出力層ニューロンにおける伝播誤差ｄ３，ｄ４：中間層ニューロンにおける伝播誤差 η：学習効率（一回の学習における修正量を変化させる
パラメータ）ｄＷ３５，ｄＷ４５，ｄｂ５；結合係数，バイアスの修
正量 α：慣性係数ｄＷ３５（ｎ）：ｎ回目の修正における修正量ｄＷ３５（ｎ＋１）：ｎ＋１回目の修正における修正
量。他の修正量についても同様Ｗ３５（ｎ）：ｎ回目の修正後の結合係数Ｗ３５（ｎ＋１）：ｎ＋１回目の修正後の結合係数。他
の修正についても同様ここにおいて、前記数９〜数２２の詳しい説明は省略す
るが、以下にＢＰアルゴリズムに基づく学習の手順を簡
単に説明する。

【００４５】まず、出力層の出力Ｏ5 と教師信号ｔの差
から、数９式のｄ5 を計算し、その値を基に、結合係数
の修正量であるｄｗ３５（数１０）、ｄｗ４５（数１
３）及びバイアスの修正量ｄｂ５（数１６）を計算す
る。ここで用いられるηは学習効率と呼ばれる。

【００４６】修正量を用いて数１７〜数１９により、そ
れぞれの値を修正する。ｄ３（数１２）、ｄ４（数１
５）には、入力および中間層間のパラメータを修正する
ために必要なデータである。

【００４７】数９〜数２２までの計算式は、出力層に関
係したパラメータの修正を行う計算式である。これらの
式により出力層のパラメータを修正した後、中間層のパ
ラメータを修正するが、考え方は同じなので、中間層に
関する計算式は、ここでは省略する。

【００４８】なお、前記数９〜数２２を用いた学習の具
体的なステップは、以下のように行われる。

【００４９】ステップ結合係数Ｗとして、乱数を用
いてその初期値を設定する。

【００５０】ステップ入力（ｉ１，ｉ２）に対し
て、ある学習パターンを与え、出力Ｏ５を計算する。

【００５１】ステップ出力層での誤差を計算し、結
合係数ＷをＢＰアルゴリズムにより修正する。この場合
の誤差は、次式で示すように出力と、教師信号の２乗誤
差となる。

【数２３】ステップ前記ステップ、を全ての学習パターン
について繰り返す。

【００５２】ステップ学習が収束したか否かを、あ
る誤差評価関数式を用いて、全てのパターンについて判
定する。

【００５３】以上〜のステップを一回の学習サイク
ルとする。

【００５４】ステップステップ〜を学習が収束
するまで繰り返す。

【００５５】このようにして、結合係数Ｗを最適値に設
定する。

【００５６】以上説明したように、図２に示すようなニ
ューラルネットワークでは数４〜数８において、ある入
力に対して出力を計算し、所定の認識動作を実行してい
る。

【００５７】さらに、ＢＰアルゴリズムに基づく学習機
能があるシステムでは、前記数９〜数２３に基づく演算
を実行し、最適なパラメータとなるよう、結合係数Ｗの
修正を行っている。

【００５８】なお、第１実施例では、各ニューロン内に
おける前記数４〜数８の演算を、入力信号を時分割で順
次取り込み、積和演算として逐次実行している。

【００５９】また、後述する第４実施例では、前記数４
〜数８の演算に加え、さらに前述したＢＰアルゴリズム
に基づく学習のための演算（数９〜数２３）を、信号を
時分割で順次取り込み、積和演算として逐次実行してい
る。

【００６０】以下、第１実施例に係るネットワークシス
テムを詳細に説明する。

【００６１】ニューラルネットワークの回路図３には、ニューラルネットワークをハードウェアとし
て構成した場合の実施例の回路図が示されている。入力
層を構成する各ニューロン１０と、中間層を構成する各
ニューロン２０はバス４０−１を介して接続され、さら
に中間層２０を構成する各ニューロン２０と、出力層を
構成する各ニューロン３０とは同様にバス４０−２を介
して接続されている。

【００６２】図４には、前記ニューロンの内部構成が示
されている。

【００６３】実施例のニューロンは、シーケンス制御回
路５０と、レジスタ５２と、乗算値メモリ５４と、積和
演算処理部５６と、シグモイド変換回路６４と、出力バ
ッファ６６とを含む。

【００６４】前記レジスタ５２は、外部バス４０から入
力信号をラッチするように形成されている。そして、シ
ーケンス制御回路５０はこのレジスタ５２をシーケンス
制御し、所定の演算に用いる入力信号を時分割でラッチ
させ、前記積和演算処理部５６へ向け出力させる。

【００６５】前記乗算値メモリ５４は、結合係数メモリ
５４ａと、バイアスメモリ５４ｂとを含む。

【００６６】結合係数メモリ５４ａには、積和演算、特
に乗算に必要な乗算値が２のべき乗で表されたデータと
して記憶されている。すなわち、結合係数メモリ５４ａ
内には、前記数６〜数８に示すシグモイド変換前の演
算、具体的には次式に示す演算に用いられる結合係数Ｗ
が、各ニューロンに対応して２のべき乗で表された値と
して記憶されている。

【００６７】前記バイアス値メモリ５４ｂには、対応す
るニューロン特有のバイアスｂが記憶され、シーケンス
制御回路５０の指示により、バイアス値ｂは後述する加
算器６０へ向け出力される。

【数２４】

【数２５】

【数２６】例えば図２に示すニューロン２０−１を例にとると、ニ
ューロン２０−１の結合係数メモリ５４ａ内には、数２
４の積和演算に用いられる結合係数Ｗ１３，Ｗ２３が２
のべき乗の値として記憶されている。さらに前記バイア
ス値メモリ５４ｂには、数２４に示すバイアス値ｂ3 が
記憶されている。

【００６８】前記積和演算処理部５６は、このようにし
て、シーケン制御回路５０の制御によりレジスタ５２，
結合係数メモリ５４ａ，バイアスメモリ５４ｂから出力
される信号に基づき、所定演算式に基づく演算を積和演
算として逐次実行し、その演算結果をシグモイド変換回
路６４へ向け出力する。

【００６９】このような積和演算を実行するため、実施
例の積和演算処理部５６は、シフト回路５８，加算器６
０およびアキュムレータ６２を含む。

【００７０】前記シフト回路５８は、前記レジスタ５２
に逐次取り込まれる入力信号に対する乗算を、結合係数
メモリ５４ａから２のべき乗として出力される結合係数
Ｗを用いてシフト演算し、その演算結果を加算器６０へ
向け出力する。

【００７１】加算器６０は、シフト回路５８の出力と、
アキュムレータ６２の出力とを加算し、アキュムレータ
６２へ向け出力する。さらに、この加算器６０は、バイ
アスメモリ５４ｂからバイアス値ｂが出力されると、そ
のバイアス値とアキュムレータ６２の値とを加算し、ア
キュムレータ６２へ向け出力する。

【００７２】アキュムレータ６２は、このようにして加
算器６０から順次出力される加算値を記憶し、その値を
加算器６０へ向け出力する。

【００７３】以上の構成とすることにより、図２に示す
各ニューロン２０−１．２０−２，３０の積和演算処理
部５６では、前記数２４〜数２６に示す積和演算をそれ
ぞれ実行し、その演算結果をシグモイド変換回路６４へ
向け出力することになる。

【００７４】例えば、ニューロン２０−１内の回路を例
にとる。シーケンス制御回路５０は、レジスタ５２を用
いて、外部バス４０から入力信号Ｏ１，Ｏ２の順で信号
を順次取り込ませる。そして、信号Ｏ１の取り込み時に
は、結合係数メモリ５４ａから結合係数Ｗ１３を出力さ
せ、信号Ｏ２の取り込み時には、結合係数メモリ５４ａ
から結合係数Ｗ２３を出力させる。

【００７５】そして、シフト回路５８は、まず入力信号
Ｏ１に対し結合係数Ｗ１３を用いてシフト演算すること
により、その乗算を実行し、その結果を、加算器６０を
介してアキュムレータ６２内へ蓄積する。

【００７６】次に、入力信号Ｏ２が取り込まれると、こ
の入力信号Ｏ２に対し結合係数Ｗ２３を用いてシフト演
算し、このシフト演算によって得られた乗算値を、加算
器６０へ向け出力する。

【００７７】加算器６０は、この乗算値Ｗ２３×Ｏ２
を、アキュムレータ６２内に蓄えられている値Ｗ１３×
Ｏ１と加算し、その加算結果をアキュムレータ６２へ入
力する。

【００７８】次に、シーケンス制御回路５０はバイアス
メモリ５４ｂに、バイアス値ｂ３の出力を指示する。加
算器６０は、このバイアス値ｂ３とアキュムレータ６２
に蓄積された値とを加算し、その加算結果を再度アキュ
ムレータ６２へ向け出力する。

【００７９】従って、アキュムレータ６２内には、数２
４に示す積和演算を、逐次実行することにより得られた
演算結果が記憶されることになる。

【００８０】このようにして、本実施例によれば、一組
のシフト回路５８，加算器６０，アキュムレータ６２で
構成された積和演算処理部５６により、例えば数２４に
示すような積和演算を実行することができるため、この
ような積和演算を並列処理する従来技術に比べ、その回
路構成を極めて簡略化し、回路規模を縮小することがで
きる。

【００８１】シグモイド変換回路６４は、所定のシグモ
イド関数テーブルが記憶されたメモリを含み、積和演算
処理部５６から出力される演算結果を、このシグモイド
テーブルに従って変換し、出力バッファ６６に入力す
る。

【００８２】出力バッファ６６は、このようにして入力
される値を格納しておき、シーケンス制御回路５０から
の指示に基づき、そのデータを外部バス４０へ向け出力
する。

【００８３】従って、例えば図２に示す各ニューロン２
０−１，２０−２，３０からは、それぞれ数６〜数８に
示す演算結果Ｏ３，Ｏ４，Ｏ５がデータバス４０に出力
されることになる。

【００８４】シフト演算の原理次に、前記シフト回路５８で行われる乗算、すなわちシ
フト演算の原理について説明する。

【００８５】図５には、通常の乗算器で行われる乗算の
プロセスが示されている。入力信号を（ａ３ａ２ａ
１ａ０）とし、この入力信号に乗算する結合係数を
（ｂ３ｂ２ｂ１ｂ０）とすると、その両者を掛け合
わせた結果は、（Ｐ７Ｐ６Ｐ５……Ｐ０）として得ら
れる。

【００８６】図６には、図５に示す乗算を行う従来の乗
算器の構成が示されている。この乗算器は、入力信号お
よび結合係数がそれぞれ二進数として表されている場合
の乗算を行う回路である。

【００８７】図５に示す乗算器では、入力信号および結
合係数の各桁同士を掛け合わせる演算を合計１６回行っ
ているため、１６個のＡＮＤゲートが必要となる。しか
も、掛け合わされた結果を各桁ごとに加算するため、図
６に示すようなフルアダーと呼ばれる加算器を合計１２
個必要とする。このように４桁同士の掛け算を行う場合
に、合計１６個のＡＮＤゲートと、１２個の加算器が必
要とされる。前記ＡＮＤゲートは、１個当たり６個のト
ランジスタを用いて構成され、さらに加算器は、１個当
たり３０個のトランジスタを用いて形成される。

【００８８】従って、従来の乗算器では、４桁同士の掛
け算を行う場合に、（６個のトランジスタ×１６個のＡＮＤゲート＋３０個
のトランジスタ×１２個の加算器）＝４５６個数のトラ
ンジスタが必要とされる。

【００８９】これに対し、本発明のシフト回路５８で
は、結合係数Ｗを２のべき乗で表された乗算として用
い、入力信号と結合係数Ｗとの乗算をシフト演算により
実行している。

【００９０】例えば、図５に示す４桁の結合係数を十進
数に変換すると、図７（Ａ）に示すように表わされる。

【００９１】この結合係数Ｗは、図７（Ｂ）に示すよ
う、２のべき乗で表現される２³より大きく、２⁴より
小さい。２⁴，２³をそれぞれ二進数表示すると、その
値は１００００，１０００となる。従って、前記結合係
数Ｗを２のべき乗（Ｗ＝２ⁿ）に変換する際に、十進数
に用いる四捨五入と同様な方法を用いてその切り上げ，
切り捨てを行うと、図７（Ｃ），（Ｄ）に示すよう、結
合係数ＷはＷ＝２⁴またはＷ＝２³の値となる。このよ
うにして２のべき乗で表された結合係数Ｗを二進数表示
すると、Ｗ＝２⁴の場合には、Ｗ＝１００００となり、
Ｗ＝２³の場合には、Ｗ＝１０００となる。例えば、二
進表現されたＷが１０１０の場合には、これを前述した
ように切り上げまたは切り捨て２のべき乗（２³）で表
示すると、その値の二進表示はＷ＝１０００となる。ま
た二進表示されたＷが１１１１で表される場合には、こ
れを同様にして２のべき乗（２⁴）で表現すると、その
値の二進表示はＷ＝１００００となる。

【００９２】本発明では、このようにして２のべき乗で
表示された結合係数Ｗが、結合係数メモリ５４ａ内に記
憶されている。例えば、二進表示された結合係数の実際
の値がＷ＝１０１０である場合には、この結合係数は四
捨五入によって２のべき乗（２ⁿ）で表示された結合係
数Ｗ＝２³（二進表示ではＷ＝１０００）の値として結
合係数メモリ５４ａ内に記憶される。

【００９３】そして、シフト回路５８において、入力信
号と結合係数Ｗの乗算が、図８に示すようシフト演算に
よって行われる。すなわち、入力信号を２べき乗に変換
された結合係数の指数分だけ、すなわち３桁分だけシフ
トさせる。

【００９４】このように乗算を、シフト演算により実行
する本発明の装置では、図５に示すよう乗算をそのまま
実行する場合に比べ、その演算が極めて簡単なものとな
り、シフト演算を実行する回路構成も極めて簡単なもの
となる。

【００９５】図９には、図８に示すシフト演算原理に基
づき演算を実行するシフト回路５８の具体的な構成が示
されている。このシフト回路５８は、０入力の２本のラ
イン７４，７６と、Ｐ０〜Ｐ６で表される７桁の乗算結
果出力用の複数の信号ライン７８−０，７８−１……７
８−６とを含み、その下４桁の信号ライン７８−０，７
８−１，７８−２，７８−３に、二進数で表示された４
桁の入力信号の各桁の値ａ０，ａ１，ａ２，ａ３がそれ
ぞれ入力されている。なお、残りの信号ライン７８−
４，７８−５，７８−６には、０が入力されている。

【００９６】また、この信号ライン７８−０，７８−
１，……７８−６には、２ビットシフタ７０と、１ビッ
トシフタ７２とが設けられている。

【００９７】前記２ビットシフタ７０は、各信号ライン
７８間を結ぶ複数の２桁シフトアップ用ライン８０を含
み、前記各信号ライン７８−０，７８−１……７８−６
と、各シフトアップライン８０には、桁上げなし時にＯ
Ｎするスイッチ８２と、桁上げ時にＯＮするスイッチ８
４とがそれぞれ設けられている。そして、桁上げを行わ
ない場合には、ライン８６に電圧を印加して各スイッチ
８２をＯＮし、桁上げを行う場合にはライン８８に電圧
を印加して各スイッチ８４をＯＮする。

【００９８】また、前記１ビットシフタ７２は、基本的
には２ビットシフタ７０と同様な構成であるが、シフト
アップライン８０が各信号ライン７８間を１桁シフトア
ップするように接続されている点で、２ビットシフタ７
０と異なる。従って、桁上げを行わない場合には、ライ
ン８６を介してスイッチ８２をＯＮし、桁上げを行う場
合にはライン８８を介してスイッチ８４をＯＮする。

【００９９】従って、入力信号の桁上げを全く行わない
場合には、各シフタ７０，７２のライン８６を介してス
イッチ８２をＯＮすればよい。

【０１００】また、１桁シフトアップを行う場合には、
１ビットシフタ７２のライン８８を介して、そのスイッ
チ８４をＯＮすればよい。

【０１０１】また、２桁シフトアップする場合には、２
ビットシフタ７０のライン８８を介してスイッチ８４を
ＯＮすればよい。

【０１０２】さらに、３ビットを桁上げする場合には、
１ビットシフタ７２および２ビットシフタ７０の各ライ
ン８８を介し、対応するスイッチ８４，８４をそれぞれ
ＯＮしてやればよい。

【０１０３】このように、本実施例によれば、図８に示
す乗算を行う場合には、合計２６個のスイッチを設けれ
ばよく、しかもこれら各スイッチは、単に電圧線をＯＮ
／ＯＦＦさせればよいため、２個のトランジスタで形成
される。従って、図９に示すシフト回路５８は、２６×
２＝５２の、合計５２個のトランジスタで構成すること
ができ、図６に示す従来の乗算器に比べ使用するトラジ
スタの数をほぼ十分の一まで低減することができる。

【０１０４】なお、実施例では、結合係数Ｗを２のべき
乗に変換する際に、十進数で用いられる四捨五入と同様
な方法を用いて、切り捨てまたは切り上げを行ってい
る。従って、結合係数メモリ５４ａ内に記憶される結合
係数Ｗは、２のべき乗に変換する際に、切り上げられる
場合と、切り下げられる場合とがあり、これが誤差とな
って表れる。しかし、この誤差は、正および負のいずれ
の方向にも生ずることになるため、これらの値を用いて
積和演算することにより、積和演算の過程でその誤差が
相殺され、結局誤差の影響を低減することが可能とな
る。

【０１０５】従って、このような２のべき乗表現を導入
し、シフト演算を行っても、乗算器を用いて前記積和演
算を行った場合に比べ誤差が大幅に増大することもな
く、ニューロンの出力の計算が可能となる。

【０１０６】従来技術との比較次に、本実施例のニューラルネットワーク装置が、特開
平４−５１３８４号公報に係る従来のニューラルネット
ワークに比べ、どの程度回路規模を縮小できるかについ
ての検討結果を説明する。

【０１０７】図１０には、前述した従来技術に示された
ニューロンの内部回路の構成が示されている。従来のニ
ューロンでは、複数の入力信号に対する積和演算を並列
処理で実行したため、入力信号の個数ｎに対応したシフ
ト演算部９０−１，９０−２……９０−ｎが必要とな
る。そして、これら各シフト演算部９０内において、入
力信号と結合係数Ｗとの乗算をシフト演算として実行し
ている。

【０１０８】これに加えて、各シフト演算部９０−１，
９０−２……９０−ｎの出力は、それぞれ多段の加算器
９２−１，９２−２……９２−（ｎ−１）で加算され、
最終段の加算器９２−（ｎ−１）から出力される演算結
果がシグモイド変換回路９４で変換され、出力信号とし
て出力される構成となっている。

【０１０９】このように、前記従来技術では、入力信号
の個数ｎに対応した個数のシフト演算部９０が必要とな
り、しかも各シフト演算部の出力を加算するため（ｎ−
１）個の加算器が必要となる。このため、積和演算に必
要とする回路規模は極めて大きなものとなる。

【０１１０】これに加えて、乗算を行うシフト演算部９
０では、乗算を２のべき乗で表されたシフト演算として
実行しているものの、入力信号のビット数に対応した複
数段のビットシフタ９６が必要とされ、しかも各ビット
シフタ９６の出力を順次加算していくため複数段の加算
器９８が必要となる。このため、図９に示す本実施例の
シフト回路５８に比べその回路規模は極めて大きなもの
となることが理解されよう。

【０１１１】これに対し、本実施例では、入力信号を時
分割で逐次入力し、入力信号に対する積和演算を、積和
演算回路５６を用いて逐次実行する構成としている。こ
れに加え、積和演算回路５６は、１個のシフト回路５
８，１個の加算器および１個のアキュムレータ６２です
べての積和演算を実行できる構成としているため、図１
０に示す従来の積和演算回路に比べ、その回路規模を大
幅に低減することが可能となる。

【０１１２】これに加えて、本実施例では、結合係数を
２のべき乗に変換する際に、十進数で用いられる四捨五
入と同様な方法を用いて切り上げ，切り捨てを行い、最
上位桁以外は０で表示された値として結合係数メモリ５
４ａに記憶している。従って、シフト回路５８で実行す
るシフト演算が極めて簡単なものとなり、その回路構成
を、例えば図９に示すように単純化することができ、こ
の面からも回路全体の回路規模を縮小することができ
る。

【０１１３】このように、実施例のニューラルネットワ
ーク装置では、各ニューロン内において、積和演算に用
いる回路を従来技術に比べ縮小することができ、特に各
ニューロンに多数の信号が入力される場合に、前記従来
技術に比べその回路規模を大幅に縮小可能であることが
理解できよう。

【０１１４】第２実施例前記実施例では、中間層，出力層を構成するニューロン
２０，３０をそれぞれ複数個設け、それぞれのニューロ
ンが、各層において並列に演算を行う場合を例にとり説
明した。これに対し、時分割の手法を用いることによ
り、１個の共通のニューロンを設けるのみで、複数のニ
ューロンを設けた場合と同様な構成とすることができ
る。

【０１１５】図１１には、このような観点にたってなさ
れた、本発明の好適な第２実施例が示されている。

【０１１６】本実施例のニューラルネットワークでは、
中間層が１個のニューロン２０を用いて構成されてい
る。このニューロン２０を、時分割の手法を用いること
により、図３に示す複数のニューロン２０の演算を１個
のニューロン２０で逐次処理し、外部バス４０−２へ出
力するように構成されている。

【０１１７】このようにすることにより、ニューラルネ
ットワーク全体の回路規模をさらに縮小することができ
る。

【０１１８】第３実施例図１２には、本発明の好適な第３実施例が示されてい
る。

【０１１９】前記第１実施例では、例えば中間層を構成
する複数のニューロン２０がそれぞれシグモイド変換回
路６４を備える場合を例にとり説明した。

【０１２０】これに対し、本実施例では、中間層を構成
する複数のニューロン２０に共通のシグモイド変換回路
６４を、外部バス４０を介し各ニューロン２０と接続し
ている。そして、各ニューロン２０は時分割の手法を用
いて共通のシグモイド変換回路６４を利用し、出力バッ
ファ６６から出力される積和演算値を、シグモイド変換
して外部バス４０へ向け出力することを特徴とするもの
である。

【０１２１】すなわち、本実施例では、各ニューロン内
において、積和演算回路５６を用いた積和演算までの工
程は、前記第１実施例と同様である。

【０１２２】そして、積和演算が終了した後、そのデー
タは出力バッファ６６に格納される。

【０１２３】次に、図示しないアドレス制御回路でアド
レス指定されたニューロン２０から、出力バッファ６６
のデータが外部バス４０を介し、シグモイド変換回路６
４に入力され、ここでその値はシグモイド変換される。
シグモイド変換されたデータは、各ニューロンに転送さ
れることになる。

【０１２４】このように、本実施例のニューラルネット
ワークでは、複数のニューロン２０のシグモイド変換回
路６４を１つにすることができるため、シグモイド変換
回路６４の個数を減らし、回路全体の規模をより小さく
することができる。

【０１２５】第４実施例次に、ＢＰアルゴリズムに基づく学習機能のための回路
を追加したニューラルネットワークの好適な実施例を説
明する。

【０１２６】図１３には、ＢＰアルゴリズムに基づいて
結合係数の学習を行うよう構成されたニューラルネット
ワークが示されている。このニューラルネットワーク
は、ある入力パターンに対して順方向の計算を行う際に
用いられるデータバス４０−１，４０−２，４０−３
と、学習のための逆方向の計算に用いられるデータバス
４２−１，４２−２とを含む。さらに、学習のための計
算用に、学習シーケンス制御回路４４と、アドレス発生
回路４６と、教師信号メモリ４８とが設けられている。

【０１２７】図１４には、中間層および出力層の各ニュ
ーロンの回路構成が示されている。

【０１２８】実施例の各ニューロンは、乗算値メモリ５
４として、結合係数メモリ５４ａ，バイアスメモリ５４
ｂ，結合係数修正量メモリ５４ｃ，パラメータメモリ５
４ｄを含む。

【０１２９】また、実施例の積和演算回路５６は、シフ
ト回路５８と加算器６０との間にラッチ回路６８が設け
られている。そして、シフト回路５８の出力をラッチ回
路６８で一旦ラッチし、その値を再度シフト回路５６へ
入力するよう構成されている。これにより、シフト回路
５８から出力されるシフト演算値に、再度繰り返してシ
フト演算を行なうことができる。

【０１３０】なお、本実施例においては、ある入力パタ
ーンに対して順方向の演算を行う場合は、前記第１実施
例と同様であるので、ここでは学習のための逆方向の演
算を行う場合について詳細に説明する。

【０１３１】ＢＰアルゴリズムに基づく学習を行う際に
用いる演算式は、前記数９〜数２３で示されることは前
述した。これらの式からわかるように、ＢＰアルゴリズ
ムによる学習を実行するためには、かなりの乗算が必要
となる。学習機能を含んだハードウエアを構成するため
には、ＢＰアルゴリズムによる学習時の乗算を簡略化す
る必要がある。

【０１３２】そこで、まずシグモイド変換回路６４は、
シグモイド関数ｆ（ｘ）の出力値を、最も近い２のべき
乗に置き換えた場合のシグモイド変換テーブルをもつよ
うに形成する。さらに、１からシグモイド関数の出力値
を減算した値｛１−ｆ（ｘ）｝を、最も近い２のべき乗
に置き換えて表現したデータテーブルをもつように形成
する。

【０１３３】さらに、学習時のパラメータの表現とし
て、ＢＰアルゴリズムにおいて用いるニューロン出力関
数の１次微分項（ｄｆ／ｄｘ）を、２のべき乗で表現す
る。さらにＢＰアルゴリズムにおいて用いる学習効率η
を、２のべき乗で表現する。これに加えて、ＢＰアルゴ
リズムにおいて用いる慣性係数（α）を２のべき乗で表
現する。このようにして２のべき乗で表現されたパラメ
ータを、パラメータメモリ５４ｄにあらかじめ記憶して
おく。

【０１３４】実施例の回路では、例えば後述するパラメ
ータｄ₅（２のべき乗表現）を、シグモイド変換回路６
４に記憶しておく構成を考えている。このため、パラメ
ータｄ₅を、パラメータメモリ５４ｄから読み出すため
に、パラメータｄ₅（２のべき乗表現）を予めパラメー
タメモリ５４ｄに書き込んでおく必要がある。このた
め、ニューロンで積和演算をした後、シグモイド変換す
ると同時に、シグモイド変換回路６４は、２のべき乗表
現のパラメータｄ₅を、パラメータメモリ５４ｄへ書き
込む構成となっている。

【０１３５】以上の構成とすることにより、数９〜数２
３に示す計算式の乗算をシフト演算に置き換え、その積
和演算を実行することができる。

【０１３６】例えば、前記数９は、（ｄｆ／ｄｘ）が２
のべき乗であるから、乗算がシフト演算に置き換わる。

【０１３７】次に、数１０は、η，ｄ５が２のべき乗で
あれば、Ｏ３のデータ形式に関係なく乗算をシフト演算
に置き換えることができる。ここで、ηはパラメータで
あるから、初期値として、２のべき乗に設定すればよ
い。

【０１３８】また、ｄ５の値を２のべき乗にするために
は、前記数９のｄ５の計算において、（ｔ−Ｏ５）の計
算は、教師信号ｔを０または１と仮定すれば、（０−Ｏ
５）または（１−Ｏ５）の２通りである。従って、シグ
モイド関数のテーブルとして、２のべき乗データ形式が
あれば、（０−Ｏ５）の計算は符号を反転するのみでよ
い。また、１からシグモイド関数値を減算した値を、２
のべき乗に置き換えた値を同時にテーブルとして用意を
しておくことにより、（１−Ｏ５）の計算結果を２のべ
き乗として表現することができる。この方法により、ｄ
５の値を２のべき乗で得ることができ、結果として前記
数１０の計算をシフト演算に置き換えることができる。

【０１３９】以下同様に、各式の計算をシフト演算に置
き換えることができる。つまり、オンチップ学習のため
の計算において、乗算を実行することが必要なくなる。
従って、学習時間を大幅に短縮することが可能である。

【０１４０】また、本実施例ニューロンでは、図１４に
示すようシフト回路５８と加算器６０との間にラッチ６
８を設けている。従って、前記数１０に示すよう、乗算
を繰り返して行う場合には、シフト回路５６において、
レジスタ５２から入力される入力信号Ｏ３と、パラメー
タメモリ５４ｄから読み出されるパラメータｄ５の乗算
をシフト演算により実行し、その値をラッチ回路６８に
ラッチする。

【０１４１】そして、ラッチ回路６８にラッチされた値
を、さらにシフト回路５６に入力し、このラッチされた
値と、パラメータメモリ５４ｄから次に読み出されるパ
ラメータηとの乗算をシフト演算により実行し、ラッチ
回路６８を介して加算器６０へ向け出力する。

【０１４２】以上の構成とすることより、乗算を２回以
上にわたって繰り返し行う場合でも、その乗算をシフト
演算として良好に行うことが可能となる。

【０１４３】次に、ＢＰアルゴリズムに基づく学習を行
う場合の動作を説明する。

【０１４４】まず、図１３に示すニューラルネットワー
クにおいて、出力層の各ニューロン３０へ向け、教師信
号メモリ４８から教師信号ｔ_kがデータバス４２−１を
介して出力される。ここにおいて、教師信号ｔ_kが転送
されるニューロン３０は、アドレス発生回路４６により
順次指定される。このようにして、出力層の各ニューロ
ン３０に、教師信号ｔ_kが設定されることになる。

【０１４５】次に、このニューラルネットワークは、あ
る入力パターンに対して順方向の計算を行い、出力層の
各ニューロン３０からの出力Ｏ５_kを求める。この場
合、各層間のデータ転送は、４０−１，４０−２，４０
−３を用いて行われる。

【０１４６】次に、出力層のニューロン３０において、
前記数９に対応する演算、すなわちｄ５（ｋ）＝（ｔ_k
−Ｏ５_k）×（ｄｆ／ｄｘ）の演算を行う。

【０１４７】次に、出力層の各ニューロン３０におい
て、前記数１１に対応する演算、すなわち、ｄ５（ｋ）
×Ｗjkの演算を行い、その演算結果を中間層のｊニュー
ロン２０へ転送する。データ転送は、バス４２−２を用
いて行われる。

【０１４８】次に、各出力層のニューロン３０におい
て、ｄ５（ｋ）より、結合係数Ｗ_jkの修正量を演算し、
この値を結合係数修正量メモリ５４ｃに入力するととも
に、結合係数メモリ５４ａ内の結合係数Ｗ_jkを修正す
る。

【０１４９】次に、中間層のｊニューロン２０におい
て、前記数１４に対応する次式の演算を実行する。

【数２７】次に、中間層の全ニューロン２０において、前記数２７
の演算を実行する。

【０１５０】次に、中間層の各ニューロン２０におい
て、数２７の演算により求めた値より、結合係数Ｗ_ijの
修正量を計算し、この値を結合係数修正量メモリ５４ｃ
に書き込むとともに、結合係数メモリ５４ａ内に記憶さ
れた結合係数Ｗ_jkを修正する。

【０１５１】次に、再度ある入力パターンに対して順方
向の計算を行い、出力層の各ニューロン３０からの出力
Ｏ５_kを計算する。そして、前記学習を繰り返して行
う。

【０１５２】このような一連の学習動作を、学習が収束
するまで繰り返して行う。

【０１５３】これにより、結合係数メモリ５４ａ内に
は、最適な結合係数が設定されることになる。

【０１５４】第５実施例図１５、図１６には、本発明の好適な第５実施例が示さ
れている。

【０１５５】前記第１実施例では、レジスタ５２とシフ
ト回路５８とがそれぞれ別の回路として形成される場合
を例にとり説明した。

【０１５６】これに対し、本実施例では、第１実施例の
レジスタ５２およびシフト回路５８が、共通のシフトレ
ジスタ５３として形成され、より簡単な回路構成を実現
している。

【０１５７】前記シフトレジスタ５３は、各ニューロン
からの入力信号がシリアル入力されるように形成されて
いる。実施例では、入力信号は下位ビットからシリアル
入力されるようになっている。

【０１５８】そして、シフトレジスタ５３は、順次シリ
アル入力される入力信号に対する乗算を、前記第１実施
例と同様にして実行するように形成されている。

【０１５９】図１６には、前記シフトレジスタ５３を用
いて行なう演算の一例が示されている。ここでは、シフ
トレジスタ５３のビット数は、８ビットとする。

【０１６０】まず、図１６（Ａ）に示すよう、入力信号
として１．０１１（４ビット入力データ）がその下位ビ
ットから入力される場合を想定する。この場合には、同
図（Ｂ）に示すよう、入力信号がシフトレジスタ５３内
に取り込まれることになる。

【０１６１】次に、取り込まれた入力信号を、所定ビッ
ト数だけシフト演算する場合（ここでは２ビット分だけ
右にシフト演算する場合）を想定する。この場合には、
信号が下位ビットから６＝（４＋２）ビットまでシフト
レジスタに入力された時点で、信号入力を停止する。こ
れにより、図１６（Ｃ）に示すよう、シフト演算された
結果がレジスタ５３に保持されることになる。

【０１６２】このようにして、入力信号のシフト演算が
完了した後、シフトレジスタ５３に保持されたデータ
は、加算器６０へ向け転送される。なお、これ以後の演
算は、前記第１実施例と同様であるので、ここではその
説明は省略する。

【０１６３】以上説明したように、本実施例では、レジ
スタ５２とシフト回路５８とを兼用した共通のシフトレ
ジスタ５３を用いている。しかも、このシフトレジスタ
５３への入力をシリアル入力とし、入力信号をシフト制
御可能な構成としている。これにより、前記第１実施例
で説明した、パラレル入力型のシフト回路５８と比較し
て、回路の配線規模を削減できる。また、データを保持
する入力用レジスタと乗算用のシフト回路とを同時に実
現でき、より回路規模を低減することが可能となる。

【０１６４】なお、本実施例では、シフトレジスタ５３
への信号入力を下位ビットからシリアル入力する構成と
したが、上位ビットからシリアル入力する構成としても
よい。

【図面の簡単な説明】

【図１】ニューラルネットワークの基本構成の概略説明
図である。

【図２】図１に示すニューラルネットワークの構成を単
純なモデルに置き換えて表現した場合の説明図である。

【図３】実施例のニューラルネットワークをハードウエ
アで構成した場合の回路図である。

【図４】図３に示すニューラルネットワークに用いられ
るニューロンの回路構成の概略説明図である。

【図５】各ニューロン内において、入力信号に対し結合
係数を乗算する場合の演算原理の説明図である。

【図６】図５に示す演算原理に基づいて構成された従来
の乗算器の概略説明図である。

【図７】結合係数を２のべき乗に変換する際に、四捨五
入と同様な手法を用い、切り上げおよび切り下げして表
現する場合の手順を示す説明図である。

【図８】入力信号と、結合係数との乗算をシフト演算に
より実行する本発明のシフト演算原理の説明図である。

【図９】図８に示すシフト演算原理に基づいて構成され
たシフト回路の説明図である。

【図１０】従来のニューロンの回路構成の説明図であ
る。

【図１１】本発明のニューラルネットワークの好適な第
２実施例の説明図である。

【図１２】本発明のニューラルネットワークの好適な第
３実施例の説明図である。

【図１３】本発明のニューラルネットワークの好適な第
４実施例の概略説明図である。

【図１４】図１３に示すニューラルネットワークに用い
られるニューロンの回路構成を示す説明図である。

【図１５】本発明のニューラルネットワークの好適な第
５実施例の概略説明図である。

【図１６】図１５に示すニューロン内において、入力信
号に対し結合係数を乗算する場合の演算原理の説明図で
ある。

【符号の説明】

１０ニューロン２０ニューロン３０ニューロン４０外部バス５０シーケンス制御回路５２レジスタ５４乗算値メモリ５６積和演算回路５８シフト回路６０加算器６２アキュムレータ６４シグモイド変換回路

Claims

【特許請求の範囲】

【請求項１】入力層、中間層及び出力層を有するニュ
ーラルネットワーク装置において、各層を構成するニューロンは、入力信号をラッチする時分割入力用のレジスタと、所定の演算に用いる乗算値を、２のべき乗で表された乗
算値として記憶する乗算値記憶手段と、前記レジスタ及び記憶手段を制御し、前記レジスタを用
い前記演算に用いる入力信号を時分割で順次取り込むと
ともに、前記記憶手段から前記演算に用いる乗算値を演
算タイミングにあわせて逐次出力させる逐次演算用の制
御手段と、前記レジスタに順次取込まれる入力信号と、前記記憶手
段から逐次出力される乗算値とを用い、前記演算を積和
演算として逐次行なう積和演算手段と、を含み、前記積和演算手段は、シフト回路と、アキュムレータ
と、加算器とを含み、前記シフト回路は、順次取り込まれる前記入力信号に対
する乗算を２のべき乗で表された前記乗算値を用いてシ
フト演算するよう形成され、前記加算器は、前記シフト回路の出力と、前記アキュム
レータの出力とを加算し前記アキュムレータに向け出力
するよう形成され、前記アキュムレータは、前記加算器の出力を順次記憶
し、前記演算の結果を出力するよう形成され、各ニューロン内における演算を、入力信号を時分割で順
次取り込み、積和演算として逐次実行することを特徴と
するニューラルネットワーク装置。
【請求項２】請求項１において、前記積和演算手段は、前記シフト回路の出力をラッチするラッチ回路を含み、前記シフト回路は、前記制御手段の指示に従い、前記ラッチ回路にラッチさ
れたデータと、記憶手段から読み出された乗算値とをシ
フト演算して出力するよう形成され、前記ラッチ回路は、前記制御手段の指示に従い、ラッチしたデータを前記加
算器へ向け出力するよう形成されたことを特徴とするニ
ューラルネットワーク装置。
【請求項３】請求項１，２のいずれかにおいて、前記時分割入力用のレジスタおよび前記積和演算手段の
シフト回路は、前記入力信号が上位ビット又は下位ビッ
トからシリアル入力される共通のシフトレジスタとして
形成され、前記シフトレジスタは、シリアル入力される前記入力信号に対する乗算を２のべ
き乗で表された前記乗算値を用いてシフト演算するよう
形成されたことを特徴とするニューラルネットワーク装
置。