JPH0547870B2

JPH0547870B2 -

Info

Publication number: JPH0547870B2
Application number: JP63215103A
Authority: JP
Inventors: Hiroyuki Tsuzuki; Shuichi Endo; Takashi Kawasaki; Toshiharu Matsuda; Kazuo Asakawa; Hideki Kato; Hideki Yoshizawa; Hiromoto Ichiki; Hiroshi Iwamoto; Chikara Tsucha; Katsuya Ishikawa; Yoshihide Sugiura
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1988-08-31
Filing date: 1988-08-31
Publication date: 1993-07-19
Also published as: JPH0264788A

Description

【発明の詳細な説明】〔概要〕ニユーロン間の重みが可変でき、時分割アナロ
グ入出力処理を可能とするアナログニユーロチツ
プアーキテクチヤの構成に関し、オフセツトキヤンセル機能を有するアナログニ
ユーロン回路上で時分割アナログ入出力処理を行
うことにより、ユニツト間の相互配線数を減少さ
せ、さらに可変の重みを設定できるアナログニユ
ーロンチツプアーキテクチヤを提供することを目
的とし、複数のニユーロンモデルを相互に接続すること
により形成されるニユーラルネツトの各ニユーロ
ンモデルにおいて、前段の複数のニユーロンモデ
ルから時分割多重化されて出力されるアナログ電
圧を入力する入力手段と、前記時分割多重化アナ
ログ入力信号を外部より入力されるデジタル重み
データの符号ビツトを用いて正負の切り換えを実
行し、さらに前記時分割多重化アナログ信号の各
電圧値から変換された重み付きの電流の経路を前
記デジタル重みデータの数値ビツトで選択するこ
とにより、前記時分割多重化アナログ信号の各電
圧と可変の前記デジタル重みデータとの積を生成
する掛算手段と、前記時分割多重化アナログ信号
の各電圧と前記デジタル重みデータとの各積を時
分割的にコンデンサを介して加えることにより積
分動作を実行する加算手段と、前記加算手段の出
力をサンプル／ホールドするサンプル／ホールド
手段と、区分線形近似により構成される非線形出
力関数を形成する非線形関数生成手段と、後段の
ニユーロンモデルに出力するアナログ出力電圧を
時分割的に出力する制御回路を有する出力手段
と、入力信号を零にした時に各前記手段上に生じ
る回路のオフセツト電圧を検出し、前記オフセツ
ト電圧の入力換算値をフイードバツクすることに
より、演算時に、時分割多重化アナログ入力電圧
に作用して回路上の前記オフセツト電圧をキヤン
セルするオフセツトキヤンセル手段とを有するよ
うに構成する。

〔産業上の利用分野〕

本発明はアレイ状に相互配線されたニユーロン
で構成されるニユーラルネツトのハードウエア化
に係り、更に詳しくはニユーロン間の重みが可変
でき、時分割アナログ入出力処理を可能とするニ
ユーロンアーキテクチヤに関する。ニユーラルネ
ツトで構成されるニユーロンコンピユータはパタ
ーン認識知識処理、機械制御、信号処理などに利
用され得ると考えられている。

例えば、パターン認識では、文字、画像、音声
などの認識、機械制御では、ロボツトなどの制
御、知識処理では、エキスパートシステムへの適
用、信号処理では、画像の圧縮、復元などへニユ
ーラルネツトが適用できる。このようにニユーラ
ルネツトはニユーロンをネツトワーク上に接続す
ることにより、超並列処理を行い、学習機能をも
つた高度な情報処理を高速に行うことができ、広
範囲な分野での利用が期待されている。そしてニ
ユーラルネツトの性能を引き出すために必要とさ
れるニユーロンのハードウエア化の実現が待たれ
ている。

〔従来の技術〕

現在ニユーラルネツトの実行には、パソコン等
を用いてソフトウエアのシミユレーシヨンで実現
している。

〔発明が解決しようとする課題〕

このようなニユーラルネツトを集積回路として
実現する場合、ニユーロンの各ユニツト間の接続
（リンク）の方法、ユニツト内の各処理部の構成、
重みの設定方法、大規模化、高精度化、高速処理
化が重要となる。ニユーラルネツトではユニツト
間の接続が完全グラフ、すなわち、１つのユニツ
トは他のユニツトにすべて接続された枝で接続さ
れ、その接続点における重みの値を変えることに
よつて等価的に接続の有無を決めることが考えら
れる。そのために、大量のユニツト配置と膨大な
ユニツト間接続を必要とする大規模なニユーラル
ネツトを構成することが難しいという問題点が生
じていた。

また、ユニツト内の各処理部の構成においても
ニユーロンモデルを基本的なアナログ演算である
オペアンプを使用して構成した場合、そのオペア
ンプのオフセツト電圧すなわち、入力電圧が０で
ある場合でも出力電圧がわずかな値Δvだけ出る
という現象があり、そのために、大規模でしかも
高精度なニユーラルネツトが構成できないという
問題点がある。さらに、ニユーラルネツトにおけ
る学習処理ではシナプス結合の重みを可変にする
必要があるが、このために電圧制御型の抵抗器を
用いていると高精度なニユーラルネツトを構成で
きないという問題点が生じていた。このような背
景から、ニユーラルネツトにおける学習及び問題
解決に対しては、従来は逐次計算機によるシミレ
ユーシヨンで実行していたため、ハードウエア化
された大きなニユーラルネツトは実用化されてい
ないという問題点が生じていた。

本発明はオフセツトキヤンセル機能を有するア
ナログニユーロン回路上で時分割アナログ入出力
処理を行うことにより、ユニツト間の相互配線数
を減少させ、さらに可変の重みを設定できること
を目的とする。

〔課題を解決するための手段〕

第１図は、本発明のブロツク図であり、複数の
ニユーロンモデルを相互に接続することにより形
成されるニユーラルネツトの各ニユーロンモデル
の構成を示す。入力手段２は、前段の複数のニユ
ーロンモデルから時分割多重化されて出力される
アナログ電圧を入力する。掛算手段３は、前記時
分割多重化アナログ入力信号を外部より入力され
るデジタル重みデータの符号ビツトを用いて正負
の切り換えを実行し、さらに前記時分割多重化ア
ナログ信号の各電圧値から変換された重み付きの
電流の経路を前記デジタル重みデータの数値ビツ
トで選択することにより、前記時分割多重化アナ
ログ信号の各電圧と可変の前記デジタル重みデー
タとの積を生成する。加算手段４は、前記時分割
多重化アナログ信号の各電圧と前記デジタル重み
データとの各積を時分割的にコンデンサを介して
加えることにより積分動作を実行する。サンプ
ル／ホールド手段５は、前記加算手段４の出力を
サンプル／ホールドする。非線形関数生成手段６
は、区分線形近似により構成される非線形出力関
数を形成する。出力手段７は、後段のニユーロン
モデルに出力するアナログ出力電圧を時分割的に
適当な時間に出力するものである。オフセツトキ
ヤンセル手段８は、入力信号を零にした時に各前
記手段上に生じる回路のオフセツト電圧を検出
し、前記オフセツト電圧の入力換算値をフイード
バツクすることにより演算時に、時分割多重化ア
ナログ入力電圧に作用して回路上の前記オフセツ
ト電圧をキヤンセルする。

〔作用〕

本発明のニユーラルネツトでは、前段のニユー
ロンからの出力を時分割多重化することにより、
ユニツト間のリンクの空間的な広がりを時間軸で
のパルス数に写像し、さらにアナログ信号とデジ
タル重みデータとの積をＤ／Ａ変換器を用いて構
成し、しかも、オフセツトキヤンセル回路を付加
することにより重みの設定化、大規模化、高精度
化を実現している。

〔実施例〕

次に本発明の実施例を図面を参照して説明す
る。

第２図は、本発明に用いられるニユーロンモデ
ルのブロツク図である。ニユーロンモデルはニユ
ーラルネツトの各ノードにあたる処理要素であ
り、ユニツトと呼ばれている。神経回路網、すな
わちニユーラルネツトの場合には、ユニツトと伝
達線とを合わせてニユーロン、すなわちユニツト
と呼び、伝達線とユニツトとの結合点をシナプス
結合と呼ぶこともある。それぞれの結合には重み
と呼ばれる量が付加されている。この重みはユニ
ツト間の相互作用の強さを表すパラメータであつ
て通常W_ihでユニツトｈからユニツトｉへの結合
とその結合の重みの両方をさす。ネツトワークの
学習は通常この重みを変化させることで実現され
る。ニユーラルネツトの全ユニツトの内部状態を
ネツトワークの状態というが、各ユニツトではx_i
が内部活性化レベルと呼ばれる内部状態になつて
いる。

各ユニツトｉは前段のユニツトからの重み付入
力を受けて、その総和を計算し、その値に適当な
非線形関数ｆをほどこしたものを出力とする。す
なわち、ニユーロンモデルは第２図に示すように
他のニユーロンモデル、すなわち他のユニツトか
らの出力y_hに対して x_i 〓^h y_h・W_ih＋θ ……(1) y_i＝ｆ（x_i） ……(2) の処理を行つて出力するものである。

ここで、y_hはユニツトｈの出力、y_iはユニツト
ｉの出力、W_ihはｉユニツトとｈユニツト間のリ
ンクの重み、ｆは非線形関数、θは閾値である。

ニユーラルネツトは、このようなユニツトをネ
ツトワーク上に接続したものである。

各ユニツトが入力の総和から次の新しい状態、
すなわち出力を決める場合、シグモイド関数に従
うようにしている。このシグモイド関数は、入力
の総和x_iが求まると y_i＝１／１＋exp（−x_i） ……(3) として出力y_iを求めるものである。このシグモイ
ド関数は第１４図に示すように一般に入力が大き
いほど状態が１近づき、しかもこのグラフの形は
θによつて変化する。

ニユーラルネツトにおける学習の方式は種々あ
り、例えば誤り訂正型の方法が使われる。この方
式は、ネツトワークにある結合の重みのパターン
をその時点で与え、もし、そのパターンが間違つ
ていた場合にはその結合の重みを修正するという
繰り返しによつて最終的に正しいパターンを求め
るというものである。

すなわち、時刻Ｔにおけるパターンが入力され
た場合に、それに対する最終の出力層にあるユニ
ツトの解が、もし望むべき解でなければ、その誤
差を小さくするように重みW_ihを変えるようにし
て学習処理が行われる。このような、学習処理に
おいてはネツトワークが正解と同じ結果を出力し
た場合には、結合は変化させないが、正解が例え
ば１であるのにネツトワークの出力が０を出した
場合には、ユニツトの結合を例えば１だけ増加さ
せ、ネツトワークの出力が１になるような方向へ
修正していくことになる。従つて、学習処理にお
いては、重みW_ihが任意に可変にできることが極
めて重要になる。ネツトワークを動作させ、得ら
れた出力と正解とを比較し、その誤差が小さくな
るように結合の重みを修正していくことになる
が、集積回路上のユニツト間の結合に対して各ユ
ニツトが他のユニツトにすべて結合されたハード
的に完全グラフのニユーラルネツトでは、ユニツ
ト間の接続は大量のユニツトと膨大なユニツト間
接続を必要とするため、大規模なニユーラルネツ
トを構成することが非常に難しくなる。

そのため、ユニツト間の接続を減少させ、配線
上では１本の配線でユニツト間を接続し、前段の
ユニツトから後段のユニツトへは電圧値の異なる
パルスを時分割で伝送し、その電圧の振幅値を重
みに対応して伝送するようにすれ完全グラフでは
ない構造で集積回路が構成でき、大量のユニツト
を等価的に接続することが可能となる。本発明は
このようにユニツト間の伝送においてアナログ電
圧に対する時分割処理を行うものである。

この時分割処理を図面を参照して説明する。

第３図は完全グラフによるニユーラルネツトの
概念図である。同図においてＵ１，Ｕ２，Ｕ３は
前段のユニツト、Ｕ４，Ｕ５は後段のユニツト
で、y₁〜y₅は各ユニツトの出力信号である。前段
の各ユニツトＵ１，Ｕ２，Ｕ３はそれぞれ後段の
ユニツトＵ４，Ｕ５に共に接続され、例えばＵ１
はＵ４，Ｕ５に出力線y₁によつて接続されてい
る。すなわち、前段の各ユニツトは後段のユニツ
トにすべて接続されている。学習時には例えばy₁
〜y₃の結合における重みとして適当なパターンを
与え、ネツトワークから出力された出力値が目的
の解でなければ、この重みパターンをその差が小
さくなるように変えていく。このような場合、前
段から後段へのパルスの伝送を同時に行うことが
できるが、集積回路上では配線が非常に複雑にな
る。

第４図は本発明のニユーラルネツトの構成の概
念図である。同図においてＵ１，Ｕ２，Ｕ３は前
段のユニツトであり、Ｕ４，Ｕ５は後段のユニツ
トである。前段の各ユニツトから出力される出力
信号は同じバスＡに接続され、そのバスＡに後段
のＵ４，Ｕ５が接続されている。同様に後段のＵ
４，Ｕ５からの出力もバスＢに共通に接続されて
いる。従つて前段のユニツトから後段のユニツト
への接続はバスＡのみによつて接続されるため、
配線上極めて小さくなり、集積回路としての実現
性は極めて高くなる。前段のユニツトから後段の
ユニツトへの伝送時においては、重みに対応する
振幅を有するアナログパルス電圧が時分割で伝送
される。

第５図は本発明のニユーラルネツトにおける伝
送波形の概念図である。同図において、上は第４
図のニユーラルネツトにおけるバスＡ上の信号を
示し、下の図は後段の出力線であるバスＢ上での
電圧波形である。前段のユニツトＵ１から出力さ
れる電圧は正で値が大きい場合のパルスでΔt間
に振幅y₁の電圧値となつている。Ｕ２からは負の
電圧が出力され、その振幅値y₂は負になつてい
る。y₃はＵ３からでる出力電圧で、正の値を有す
るパルスとなつている。このように、正、負が存
在するのはニユーラルネツトにおける各ニユーロ
ンが興奮性であるか、抑制性のものであるかによ
つて異なる為である。興奮性の場合に、正、抑制
性の場合に負の値のパルスが出るようにしてい
る。これらの時分割のアナログ信号が後段のユニ
ツトＵ４に与えられるとユニツトＵ４の出力は興
奮性のパルスとして、高さがy₄の正の電圧をΔt
間にバスＢに出力する。そして、少し遅れて次ぎ
のタイミングで後段のＵ５は抑制性の振幅値y₅の
パルスをバスＢに出力する。このように、本発明
では各ニユーロン間での伝送は時分割多重化アナ
ログ信号によるものとなる。

第６図は本発明の入力部のブロツク図である。
入力信号は前段の複数のユニツトから出力された
時分割アナログ入力である。この入力パルス電圧
は、入力インピーダンスが無限大で、出力インピ
ーダンスが０である１倍のアンプすなわち、バツ
フア９で整形され、出力されるが、本発明では、
この入力部にオフセツトキヤンセル機能がある。
オフセツトキヤンセル制御部１０からオフセツト
コントロール信号が与えられると、オフセツトキ
ヤンセル部１１を介してバツフア９に強制的に０
電圧が入力され、次段に接続される各部のオペア
ンプの出力にオフセツト電圧を発生させ、後述す
る機能によりオフセツトをキヤンセルするように
している。

第７図は本発明の掛算部のブロツク図である。
ここでは、第６図の入力部から出力された時分割
アナログ信号の各アナログ信号パルス電圧を正負
切換回路１２に入力し、デジタル重みデータの符
号ビツト（SIGN）に従つて興奮性の正電圧また
は抑制性の負電圧に切換え、Ｄ／Ａコンバータ１
３に入力する。Ｄ／Ａコンバータ３にはデジタル
重みデータの数値ビツトのMSBからLSBまで入
力され、正負切換回路１２から出力された電圧を
Ｄ／Ａコンバータ１３の内部にあるＲ−2R方式
の抵抗回路に与える。このことにより、数値ビツ
トに対応した重み電流がＲ−2R方式の抵抗回路
に流れ、結果として、Ｄ／Ａコンバータ１３の出
力には、アナログ信号とデジタル重みデータとの
積が生成され、バツフア１４から出力される。こ
の掛算部の機能により本発明ではニユーロン間の
重みが可変にでき、ニユーラルネツトの特性を動
的に変化させることができ、外部制御によりネツ
トワークの学習が可能となる。

第８図は本発明の加算部のブロツク図である。
第７図の掛算部の結果、すなわち時分割多重化ア
ナログ信号とデジタル重みデータとの積の結果の
電圧は積分器１６に入力されるが、本発明では入
力される信号は振幅値の異なるパルス電圧であ
り、これが時分割で入力されるので、時分割加算
制御部１５の制御に従つて次段の積分器１６の内
部にあるコンデンサにそのアナログ信号とデジタ
ル重みデータとの積の和が貯えられる。さらにオ
フセツトキヤンセル制御部１７の制御に従つて入
力電圧を強制的に０にした時のコンデンサの電圧
をスイツチによつて反転させ、実際の入力が加算
された結果からこのオフセツト電圧を引くことに
よりオフセツト電圧をキヤンセルしている。この
回路によつて精度が低下することを防いでいる。

第９図は本発明のサンプル／ホールド部のブロ
ツク図である。第８図の積分器の出力が第９図の
サンプル／ホールド部に入力され、コンデンサに
その値がホールドされるが、ここでも、オフセツ
トキヤンセル機能を持たせている。すなわちオフ
セツトキヤンセル制御部２０からの制御に従つて
次段の回路に発生するオペアンプのオフセツト電
圧をオフセツトキヤンセル部１９にフイードバツ
クし、そのオフセツト電圧をキヤンセルするよう
にしている。

第１０図は本発明のシグモイド関数発生回路の
ブロツク図である。第９図のサンプル／ホールド
部においてサンプル／ホールドされたアナログ信
号とデジタル重みデータとの積の和がシグモイド
関数回路２１に入力される。本発明ではこのシグ
モイド関数をアナログ回路による区分線形近似に
より、正確に構成し、しかも非線形回路選択制御
部２２の制御に従つてシグモイド関数を通すかど
うかの有無を決定している。本発明ではアナログ
回路の区分線形近似により非常にシグモイド関数
に近い量子化器が高精度、高性能な回路として実
現されている。

第１１図は本発明の出力部のブロツク図であ
る。本発明ではニユーラルネツトのユニツト間は
必ず時分割のアナログ電圧で伝送するため、出力
制御部２３に入力される出力制御入力信号の制御
により、第１０図のシグモイド関数によつて生成
された出力電圧は時分割アナログ出力部２４によ
つて適当な時間に出力される。また、ユニツト間
の相互の時間間隔を制御するために出力制御信号
が外部に伝送される。ユニツト間の伝送には時分
割多重化アナログ信号の伝送を行つているため、
ニユーラルネツトは完全グラフにする必要はな
く、従つて、極めて構造が簡単になり、実現性が
高いことになる。

第１２図は、本発明のニユーラルネツトのユニ
ツトの詳細図である。本発明のユニツトでは入力
部２、掛算部３、加算部４、サンプル／ホールド
部５、非線形関数部６、及び出力部７から構成さ
れている。

入力部２はオフセツトキヤンセル部１１と、１
倍のバツフア９から構成されている。１倍のバツ
フア９はオペアンプの出力を−端子にフイードバ
ツクし、＋端子に入力電圧を入力することによつ
て構成される。データ入力はアナログの時分割さ
れたパルス信号である。OCはオフセツトコント
ロール信号であり、これが１のときアナログスイ
ツチ２６がオンし、１倍のバツフア９には、０電
圧が強制的に設定される。一方、オフセツトコン
トロール信号OCが、０のときアナログスイツチ
２６はオフされ、アナログスイツチの他方２５が
オンし、データ入力が１倍のバツフア９に入力さ
れる。すなわち、オフセツトコントロール信号
OCが１である場合には、ニユーロンモデルのユ
ニツトには０ボルトが強制的に入力されて次段の
回路のオペアンプの出力に生じるオフセツト電圧
に対するオフセツトのキヤンセルの動作を行うよ
うにしている。

正負切換回路１２は２つの倍数器をカスケード
結合して構成されている。倍数器では入力抵抗
（10KΩ）とフイードバツク抵抗（10KΩ）によ
つて10/10、すなわち１倍の電圧の反転したもの
が形成され、それを１段だけを通すか、２段を通
すかによつてアナログ電圧の符号を決定してい
る。その制御電圧はデジタル重みデータの符号ビ
ツト（SIGN）であり、このSIGNビツトはMOS
スイツチ３０のゲートに接続されている。符号ビ
ツトが１である場合に入力部からの入力電圧は第
１段目の倍数器で反転され、さらにスイツチ２７
もオンしているので後段の倍数器も通り、結果と
して正相となる。また符号ビツトが０である場合
には、反転回路２８を介して、スイツチ２９がオ
ンとなる。この時スイツチ２７と３０はオフして
いるため、入力部からの入力電圧はスイツチ２９
を介して後段のオペアンプ３１の−端子に入力さ
れる。従つて、前段の抵抗３２と後段のオペアン
プのフイードバツクの抵抗３３とによつて倍数器
が形成され、１倍された形で反転される。すなわ
ち、符号ビツトの正負によつて入力部の入力が、
正または負の電圧として形成され、これが、興奮
性と抑制性のシナツプス結合に従つた電圧とな
る。正負切換回路１２からの出力は掛算部３の中
にあるＤ／Ａコンバータ１３のＲ−2R抵抗回路
網の３４の点に入力される。

Ｒ−2R方式のＤ／Ａコンバータをまず説明す
る。MSBからLSBまでのデジタル重みによつて
内部のスイツチはオンまたはオフをとる。デジタ
ル値が１である場合に、電流は右側のスイツチ３
５を通つて、オペアンプ３６の仮想接地点３７′
に流れ込む。オペアンプ３６の仮想接地点３７′
は＋端子と同じ電圧になるように制御され、これ
がグランドであるから仮想的な０ボルトである。
スイツチの状態に関わらず、2Rの抵抗には電流
が流れ、デジタル値の値に従つてその2Rに流れ
る重み電流が仮想接地点３７′の方に流れるかど
うかが決定される。１番右の2Rに流れる電流を
ｉとする。右から２番目すなわちLSBに対応す
る2Rは１番右の2Rに係る電圧を2Rで割つた値で
あるから2R×ｉ÷2Rでｉとなる。従つて１番右
の横方向のＲには電流ｉが流れる。右から３番目
の2Rには2R×ｉ＋Ｒ×2iの電圧がかかり、これ
を2Rで割るから2iの電流が流れる。以下同様で
左に行くに従つて4i，8iとなつて２のべき乗で増
える電流になる。この２のべき乗になつた重み電
流をオペアンプの方に流すか流さないかを決めて
いるのがMSBからLSBである。従つて、デジタ
ル重みに対応する電流が２のべき乗の形で仮想接
地に入りこみ、オペアンプの入力インピーダンス
は無限大であるから、この電流がオペアンプ３６
の帰還抵抗３７に流れる。従つて、出力電圧V_put
は入力電圧をＥとすれば、 V_put＝−Ｅ／2ⁿ×（D₀＋２×D₁＋2²×D₂ ＋……＋2^n-1×D_o-1）となる。ここで、D₀はLSBで、D_o-1がMSBであ
るとする。すなわち、掛算部３′の出力は入力電
圧に重みを掛けた値になつている。その重み係数
はMSBからLSBに入力されるデジタル値で制御
されることになる。

次に加算部４を説明する。加算部４はR_T３８
と帰還キヤパシタC_Tによる積分器である。加算
部４の入力部には時分割加算制御部１５があり、
サンプル／ホールド信号Ｓ／Ｈ信号が１のとき掛
算部３の出力電圧がオペアンプの仮想接地点３９
に入力され、Ｓ／Ｈ信号が０のとき反転回路４０
によりスイツチ４１がオンとなつて掛算部の出力
がR_Tを介してグランドに接続されるので加算部
４の帰還キヤパシタC_Tには加算されないことに
なる。今、Ｓ／Ｈ信号が１のとき、掛算部３の出
力電圧R_Tを介してオペアンプ３９の−端子に入
力し、入力電圧をR_Tで割つた電流が仮想接地を
介して帰還キヤパシタC_Tの方に入力される。キ
ヤパシタC_Tを含む積分回路の帰還回路４２には
４つのスイツチを用いてオフセツトキヤンセル機
能が付加されている。今オフセツトコントロール
信号OCが１になつたとすると、スイツチ４３と
４４がオンで、４５と４６がオフとなる。オフセ
ツトコントロールOCは入力部２にも入力され、
これが１である場合にはデータ入力は強制的には
０にされる。この場合、正負切換回路１２及び掛
算部のＤ／Ａコンバータ１３を介してもオフセツ
トがなければ、Ｄ／Ａコンバータの出力は０ボル
トとなる。しかし、オペアンプがあるためにオフ
セツト電圧が生じ、そのオフセツト電圧が加算部
のC_Tに蓄えられる。オフセツトコントロール信
号OCが０のときには、データインプツトに入力
電圧が与えられ、それに対応する掛算部の出力が
Rtを介してC_Tに入力される。この場合、前のオ
フセツトコントロール信号が１である場合と違つ
てC_Tの＋−の極性は逆である。そのため、入力
信号が入力された時に生じるオフセツト電圧は
OCを１にすることにより、C_Tの極性が変わり、
結果として、オフセツトがキヤンセルされること
になる。本発明では、このように、キヤパシタ
C_Tの極性の反転を用いて等価的にオフセツトキ
ヤンセル機能を有するように構成されている。な
お、スイツチ４７はリセツト信号によつて制御さ
れ、リセツト信号が与えられた場合に、加算部の
出力を強制的に０にリセツトするものである。

加算部４の出力はサンプル／ホールド回路５の
入力となる。サンプル／ホールド部５では、サン
プル／ホールド制御信号Ｓ／H_OUTが１である場
合に、スイツチ４８を介して加算部４の出力がコ
ンデンサC_hに蓄えられる。Ｓ／H_OUT信号が１で
ある場合には、反転回路５４′によつてスイツチ
５０の制御信号は０となり、コンデンサC_hの一
方の端子はグランドに接地されず、スイツチ５１
がオンになることによりユニツトの最終出力デー
タの信号がそのスイツチ５１を介して入力され
る。すなわち、その時の最終出力信号がフイード
バツクされてコンデンサC_hの下側に与えられる。
従つて、C_hのコンデンサには、加算器の出力か
ら最終出力データの値を引いた電圧が保持され
る。一方Ｓ／H_OUT制御信号が０のときには、ス
イツチ４９と５０がオンし、コンデンサC_hの下
側はグランドとなり、結果としてC_hに蓄えられ
た電圧、すなわち加算部の出力から最終出力値を
引いた電圧値がスイツチ４９を介して１倍のオペ
アンプの＋側に入力される。そしてバツフア５３
を介してシグモイド関数の入力となる。また、
Ｓ／Ｈ制御信号が１のときスイツチ４８がオン
し、C_hには加算器の出力値と最終出力値との差
の電圧が蓄えられているときには、スイツチ５２
がオンしている。そのためバツフア５３には０ボ
ルトが強制的に入力される。この時にシグモイド
関数及びオペアンプを介してデータアウトにはオ
フセツト電圧が生成される。これがスイツチ５１
を介してC_hの下側に入力される。従つてＳ／
H_OUT制御信号が０の時点、すなわちスイツチ４
９がオンでスイツチ５２がオフである場合には、
C_hに蓄えられた電圧、すなわち（加算部の出力
−オフセツト電圧）がバツフア５３とシグモイド
関数を介して最終出力になるが、オフセツトコン
トロール信号OCが１になると、この時に生成さ
れるオフセツト電圧もΔvであるから結果として
オフセツト電圧がキヤンセルされることになる。

シグモイド関数を生成する非線形関数部は非線
形回路選択制御部２２があり、SelSing信号を１
にするとスイツチ５５がオンし、シグモイド関数
がオペアンプ５６に入力される。しかし、
SelSing信号が０の時には反転回路５７を介して
スイツチ５８の制御信号が１となつてそれがオン
し、シグモイド関数の出力はカツトされる。すな
わちSelSing信号が０の時には、サンプル／ホー
ルドの出力電圧がシグモイド関数を介さずに直接
オペアンプ５６に入力される。オペアンプ５６は
本質的には出力を−端子に直接帰還する１倍のオ
ペアンプでバツフアの働きをする。すなわち出力
インピーダンスを０にするバツフアとなる。

出力部７には時分割アナログ出力部２４と出力
制御部２３が接続されている。CS_ioが１のときに
はスイツチ５９がオンで、スイツチ６１もオンで
あるため、最終出力値が−端子にフイードバツク
されて、１倍のオペアンプとして働く。それと同
時に最終出力値がサンプル／ホールド部５にフイ
ードバツクされる。一方、CS_ioが０のときスイツ
チ６０がオンになり、スイツチ６１がオフにな
る。すなわちバツフア５６の出力はデータアウト
線には出力されないことになる。。しかし、スイ
ツチ６０がオンすることによつて１倍のバツフア
を形成するようにしているため問題なく実行され
る。出力制御部２３はCS_ioによつて出力パルス電
圧を伝達するかどうかを決める回路である。この
CS_ioをデイレイ回路を介してCS_putにし、他のニ
ユーロンに対する出力アナログ信号の時間タイミ
ングを決定することになる。すなわち、本発明で
は出力部７からのアナログ信号は時分割で伝送さ
れるため、他のニユーロンからのアナログ信号と
競合しない。

第１３図は本発明の非線形関数部の等価回路で
ある。この回路の左の部分は低電圧源で直流電源
６２によつて決まるベース電圧をベースエミツタ
間だけ落とし、その電圧をエミフオロトランジス
タ６３によつて一定電圧を出力し、これをユニツ
ト１から６までの定電流源トランジスタ６４のベ
ースに入力している。各定電流トランジスタ６４
のエミツタに抵抗R12が接続されているため、ベ
ース電圧からベースエミツタ間電圧だけ落とした
電圧をＲ１２で割つた定電流が流れる。一方、ト
ランジスタ６５と６６はR11を介して共通にエミ
ツタが接続され、この接続点に定電流源が接続さ
れている。すなわちこの回路は電流切換型の回路
であつて、そのコレクタ電圧が出力される。これ
をトランジスタ６７のベース電圧とし、各ユニツ
トのコレクタ点を接続することによつてV_putとし
ている。また、トランジスタ６８と６９はカレン
トミラー回路であり、左側のトランジスタのベー
スコレクタ間を接続し、トランジスタのベースを
共通に接続することにより、トランジスタ６８に
流れる電流と６９に流れる電流を同じにしてい
る。すなわち、温度によつて極めて安定な回路に
なつている。トランジスタ６９のコレクタ端子を
共通して接続することにより、この回路で第１４
図のシグモイド関数に従う正確な出力が得られ
る。

次に本発明のタイミング図を説明する。

第１５図は本発明のユニツトにおけるタイミン
グ図である。Ｄ−SYNCとＤ−CLKは同期信号
である。Ｗ−CLKはＤ／Ａコンバータに入力さ
れるデジタル信号を与えるタイミングで、重みデ
ータの各ビツトはＷ−CLKに同期している。例
えば、第１５図において、−127に対応するオール
１のパターンが与えられ、その後100に対応する
01100100のパルスが与えられている。Ｓ／Ｈ信号
は加算部の入力にある時分割加算制御部に与えら
れる信号である。Ｓ／Ｈ信号が１のとき掛算部の
出力が積分器の帰還キヤパシタC_Tに入力される。
最初のＳ／Ｈ信号の立ち上がりでデータインプツ
トが入力されたときの掛算部の出力、すなわち入
力されたパルス電圧の総和が加算器のC_Tキヤパ
シタに入力される。このときＤ／Ａコンバータに
与えられるデジタル量は−127であり、この−127
に対応するデータが波形７０に示すように正の電
圧として与えられている。これがキヤパシタC_T
に蓄えられる。そして、オフセツトコントロール
信号OCが７１において与えられると、この時
Ｓ／Ｈ信号も正であるので、入力部のオフセツト
キヤンセル部の制御により、入力は０ボルトとな
り、この０ボルトに対応するオフセツト電圧が加
算部のC_Tキヤパシタに与えられる。このときC_tは
極性を反転するため、その前のＳ／Ｈ信号の立ち
上がりによつてセツトされていた電圧からオフセ
ツト分をキヤンセルすることになる。このように
蓄えられた電圧がC_Tに保持され、次にＷ−CLK
の各タイミングで異なるニユーロンからの入力が
重み100に掛けられて加算部に入力される。正負
切換回路からの出力は正相で、Ｄ／Ａコンバータ
では圧の重みが与えられるので、反転され、図に
示すようにマイナス方向に電圧が生じる。この負
の出力電圧C_Tに蓄えられるが、これが前のC_Tに
蓄えられた電圧と加算される。このように本発明
では時分割的に入力と重みとの積の和がC_Tに蓄
えられる。そしてCS_ioが入力された時点で、C_Tに
貯えられた電圧がシグモイド関数を介して出力さ
れる。また、CS_putはCS_ioのパルスが終わつてか
らデイレイ時間だけたつて出力され、他のユニツ
トに伝送される。

第１６図は本発明のブロツク図の実施例図であ
る。このブロツク図は、第１２図をまとめたもの
で、この図に示すように、デジタル重みデータは
シリアル入力として入力され、チツプはBi−
CMOS回路によつて構成される。そのため本発
明では、低消費電力にでき、また、高速、高帯域
アンプにより高速、高精度の処理が可能となる。

〔発明の効果〕

以上説明したように本発明によれば、ユニツト
間の接続の重みが可変にでき、ユニツト間の接続
が完全グラフではない形であるため、複雑となら
ず、大規模なニユーラルネツトの実現が可能であ
り、さらにオフセツトキヤンセル機能により高精
度が実現でき、各ユニツトの同時処理により高速
実行ができるため、きわめて実現性のあるニユー
ラルネツトが構築できるという効果がある。

【図面の簡単な説明】

第１図は本発明のブロツク図、第２図は本発明
に用いられているニユーロンモデルのブロツク
図、第３図は安全グラフによるニユーラルネツト
の概念図、第４図は本発明のニユーラルネツトの
構成の概念図、第５図は本発明のニユーラルネツ
トにおける伝送波形の概念図、第６図は本発明の
入力部のブロツク図、第７図は本発明の掛算部の
ブロツク図、第８図は本発明の加算部のブロツク
図、第９図は本発明のサンプル／ホールド部のブ
ロツク図、第１０図は本発明のシグモイド関数発
生回路のブロツク図、第１１図は本発明の出力部
のブロツク図、第１２図は本発明のニユーラルネ
ツトのユニツトの詳細図、第１３図は本発明の非
線形関数部の等価回路、第１４図は本発明のシグ
モイド関数、第１５図は本発明のユニツトにおけ
るタイミング図、第１６図は本発明のブロツク図
の実施例図である。２……入力部、３……掛算部、４……加算部、
５，１８……サンプル／ホールド部、６……非線
形関数生成部、７……出力部、８，１１，１９…
…オフセツトキヤンセル部、１０，１７，２０…
…オフセツトキヤンセル制御部、１２……正負切
換回路、１３……Ｄ／Ａコンバータ、１５……時
分割加算制御部、１６……積分器、２１……シグ
モイド関数回路、２２……非線形回路選択制御
部、２３……出力制御部、２４……時分割アナロ
グ出力部。

Claims

【特許請求の範囲】１それぞれの出力信号を順次時分割的に発生す
る複数の第１のニユーロンモデルと、該複数の第１のニユーロンモデルに接続され前
記複数の第１のニユーロンモデルの出力を順次時
分割に転送する共通バスと、前記共通バスに接続され前記複数の第１のニユ
ーロンモデルの出力信号を時分割的に入力する第
２のニユーロンモデルとからなることを特徴とす
るニユーロンアーキテクチヤ。２複数のニユーロンモデルから送られてくるア
ナログ信号を時分割的に入力する各アナログ入力
信号に、対応する重みデータを掛けて得られた各
信号の和を時分割的に出力することを特徴とする
ニユーロンモデル。３請求項２記載の前記ニユーロンモデルを複数
個接続することにより構成したことを特徴とする
アナログ並列計算機。４前記アナログ入力信号はこれらが送出された
各ニユーロンモデルに対応する振幅値を有すると
ともに次段のニユーロンモデルを興奮させるか抑
制させる制御を行うために正負の値を有すること
を特徴とする請求項２記載のニユーロンアーキテ
クチヤ。５複数のニユーロンモデルを相互に接続するこ
とにより形成されるニユーラルネツトの各ニユー
ロンモデルにおいて、前段の複数のニユーロンモデルから時分割多重
化されて出力されるアナログ電圧を入力する入力
手段２と、前記時分割多重化アナログ入力信号を外部より
入力されるデジタル重みデータの符号ビツトを用
いて正負の切り換えを実行し、さらに前記時分割
多重化アナログ信号の各電圧値から変換された重
み付きの電流の経路を前記デジタル重みデータの
数値ビツトで選択することにより、前記時分割多
重化アナログ信号の各電圧と可変の前記デジタル
重みデータとの積を生成する掛算手段３とを有す
ることを特徴とするニユーロンアーキテクチヤ。６複数のニユーロンモデルを相互に接続するこ
とにより形成されるニユーラルネツトの各ニユー
ロンモデルにおいて、前段の複数のニユーロンモデルから時分割多重
化されて出力されるアナログ電圧を入力する入力
手段２と、前記時分割多重化アナログ信号の各電圧と前記
デジタル重みデータとの各積を時分割的にキヤパ
シタを介して加えることにより積分動作を実行す
る加算手段４とを有することを特徴とするニユー
ロンアーキテクチヤ。７複数のニユーロンモデルを相互に接続するこ
とにより形成されるニユーラルネツトの各ニユー
ロンモデルにおいて、前段の複数のニユーロンモデルから時分割多重
化されて出力されるアナログ電圧を入力する入力
手段２と、前記アナログ入力信号に積和処理を施したあと
非線形関数手段を通すか否かの制御を行う手段と
を有することを特徴とするニユーロンアーキテク
チヤ。８前記非線形関数手段は複数の増幅手段がカス
ケードに接続されてなり、該増幅手段のうち所定
数のものを選定することにより所望の非線形関数
を得ることを特徴とする請求項７記載のニユーロ
ンアーキテクチヤ。９複数のニユーロンモデルを相互に接続するこ
とにより形成されるニユーラルネツトの各ニユー
ロンモデルにおいて、前段の複数のニユーロンモデルから時分割多重
化されて出力されるアナログ電圧を入力する入力
手段２と、前記時分割多重化アナログ入力信号を外部より
入力されるデジタル重みデータの符号ビツトを用
いて正負の切り換えを実行し、さらに前記時分割
多重化アナログ信号の各電圧値から変換された重
み付きの電流の経路を前記デジタル重みデータの
数値ビツトで選択することにより、前記時分割多
重化アナログ信号の各電圧と可変の前記デジタル
重みデータとの積を生成する掛算手段３と、前記時分割多重化アナログ信号の各電圧と前記
デジタル重みデータとの各積を時分割的にコンデ
ンサを介して加えることにより積分動作を実行す
る加算手段４と、前記加算手段４の出力をサンプル／ホールドす
るサンプル／ホールド手段５と、区分線形近似により構成される非線形出力関数
を形成する非線形関数生成手段６と、後段のニユーロンモデルに出力するアナログ出
力電圧を時分割的に出力する出力手段７と、入力信号を零にした時に各回路上に生じる回路
のオフセツト電圧を検出し、前記オフセツト電圧
の入力換算値をフイードバツクすることにより、
演算時に、時分割多重化アナログ入力電圧に作用
して回路上の前記オフセツト電圧をキヤンセルす
るオフセツトキヤンセル手段８とを有することを
特徴とするニユーロンアーキテクチヤ。１０前記入力手段２は、オフセツトコントロー
ル信号が与えられると、オフセツトキヤンセル部
を介してバツフアに強制的に０電圧が入力され、
次段に接続される各部のオペアンプの出力にオフ
セツト電圧を発生させる手段を有することを特徴
とする請求項９記載のニユーロンアーキテクチ
ヤ。１１前記掛算手段３は、前記入力手段２から出
力された時分割を多重化アナログ信号の各アナロ
グ信号パルス電圧をデジタル重みデータの符号ビ
ツトに従つて興奮性の正電圧または抑制性の負電
圧に切り換える正負切換手段と、前記正負切換手
段から出力された電圧をＲ−2R方式のＤ−Ａコ
ンバータの内部にあるＲ−2R方式の抵抗回路網
のて各2R抵抗に重み電流を流し、前記デジタル
重みデータの数値の数値ビツトに対応した重み電
流を選択することにより、前記時分割多重化アナ
ログ信号と前記デジタル重みデータの積を生成す
ることを特徴とする請求項９記載のニユーロンア
ーキテクチヤ。１２前記加算手段４は、アナログ積分器を基本
とし、第１のサンプルホールド信号が入力された
ときのみ帰還キヤパシタにおいて前記掛算手段３
からのアナログ信号を加算し、前記オフセツトコ
ントロール信号が入力されたとき、入力信号電圧
の零に対する前記各手段に生じたオフセツト電圧
を前記帰還キヤパシタの極性を反転することによ
り、キヤンセルすることを特徴とする請求項９記
載のニユーロンアーキテクチヤ。１３前記サンプルホールド手段５は、第２のサ
ンプルホールド信号が入力されたとき、前記加算
手段４からの出力電圧からバツフアの入力電圧を
零にしたときに最終出力点に生成されたオフセツ
ト電圧を減じた電圧をホールドし、前記サンプル
ホールド信号の反転により前記電圧を前記バツフ
アに入力することにより、等価的に、前記オフセ
ツト電圧をキヤンセルすることを特徴とする請求
項９記載のニユーロンアーキテクチヤ。１４前記非線形関数生成手段６は、複数の電流
切換型回路の出力点を共通に接続することにより
生成されるシグモイド関数であつて、この関数を
通過させるかどうかを選択することを特徴とする
請求項９記載のニユーロンアーキテクチヤ。１５前記出力手段７は、出力制御入力信号が入
力されとき、バツフアの出力を外部に伝達し、前
記出力制御入力信号の論理にかわらず、前記バツ
フア動作が実行でき、しかも前記バツフアのオフ
セツト最終出力電圧が前記サンプル／ホールド手
段５に帰還され、さらに、出力制御出力信号は前
記出力制御入力信号を一定時間だけ遅延して生成
されることを特徴とする請求項９記載のニユーロ
ンアーキテクチヤ。