JPH0264788A - ニューロンアーキテクチャ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　　　要〕 ニューロン間の重みが可変でき、時分割アナログ入出力
処理を可能とするアナログニューロチ・ノブアーキテク
チャの構成に関し、 オフセットキャンセル機能を有するアナログニューロン
回路上で時分割アナログ入出力処理を行うことにより、
ユニット間の相互配線数を減少させ、さらに可変の重み
を設定できるアナログニューロチップアーキテクチャを
提供することを目的とし、 複数のニューロンモデルを相互に接続することにより形
成されるニューラルネットの各ニューロンモデルにおい
て、前段の複数のニューロンモデルから時分割多重化さ
れて出力されるアナログ電圧を入力する入力手段と、前
記時分割多重化アナログ入力信号を外部より入力される
デジタル重みデータの符号ビットを用いて正負の切り換
えを実行し、さらに前記時分割多重化アナログ信号の各
電圧値から変換された重み付きの電流の経路を前記デジ
タル重みデータの数値ビットで選択することにより、前
記時分割多重化アナログ信号の各電圧と可変の前記デジ
タル重みデータとの積を生成する掛算手段と、前記時分
割多重化アナログ信号の各電圧と前記デジタル重みデー
タとの各部を時分割的にコンデンサを介して加えること
により積分動作を実行する加算手段と、前記加算手段の
出力をサンプル／ホールドするサンプル／ホールド手段
と、区分線形近似により構成される非線形出力関数を形
成する非線形関数生成手段と、後段のニューロンモデル
に出力するアナログ出力電圧を時分割的に出力する制御
回路を有する出力手段と、入力信号を零にした時に各前
記手段上に生じる回路のオフセット電圧を検出し、前記
オフセット電圧の入力換算値をフィードバックすること
により、演算時に、時分割多重化アナログ入力電圧に作
用して回路上の前記オフセット電圧をキャンセルするオ
フセットキャンセル手段とを有するように構成する。

〔産業上の利用分野〕

本発明はアレイ状に相互配線されたニューロンで構成さ
れるニューラルネットのハードウェア化に係り、更に詳
しくはニューロン間の重みが可変でき、時分割アナログ
入出力処理を可能とするニューロンアーキテクチャに関
する。

ニューラルネットで構成されるニューロコンピュータは
パターン認識知識処理、機械制御、信号処理などに利用
され得ると考えられている。

例えば、パターン認識では、文字、画像、音声などの認
識、機械制御では、ロボットなどの制御、知識処理では
、エキスパートシステムへの適用、信号処理では、画像
の圧縮、復元などヘニューラルネットが適用できる。こ
のようにニューラルネットはニューロンをネットワーク
上に接続することにより、超並列処理を行い、学習機能
をもった高度な情報処理を高速に行うことができ、広範
囲な分野での利用が期待されている。そしてニューラル
ネットの性能を引き出すために必要とされるニューロン
のハードウェア化の実現が待たれている。

〔従来の技術〕

現在ニューラルネットの実行には、パソコン等を用いて
ソフトウェアのシミュレーションで実現している。

〔発明が解決しようとする課題〕

このようなニューラルネットを集積回路として実現する
場合、ニューロンの各ユニット間の接続（リンク）の方
法、ユニット内の各処理部の構成、重みの設定方法、大
規模化、高精度化、高速処理化が重要となる。ニューラ
ルネットではユニット間の接続が完全グラフ、すなわち
、１つのユニットは他のユニットにすべて接続された枝
で接続され、その接続点における重みの値を変えること
によって等価的に接続の有無を決めることが考えられる
。そのために、大量のユニット配置と膨大なユニット間
接続を必要とする大規模なニューラルネットを構成する
ことが難しいという問題点が生じていた。

また、ユニット内の各処理部の構成においてもニューロ
ンモデルを基本的なアナログ演算であるオペアンプを使
用して構成した場合、そのオペアンプのオフセット電圧
すなわち、入力電圧がＯである場合でも出力電圧がわず
かな値ΔＶだけ出るという現象があり、そのために、大
規模でしかも高積度なニューラルネットが構成できない
という問題点がある。さらに、ニューラルネットにおけ
る学習処理ではシナプス結合の重みを可変にする必要が
あるが、このために電圧制御型の抵抗器を用いていると
高精度なニューラルネットを構成できないという問題点
が生じていた。このような背景から、ニューラルネット
における学習及び問題解決に対しては、従来は逐次計算
機によるシミュレーションで実行していたため、ハード
ウェア化された大きなニューラルネットは実用化されて
いないという問題点が生じていた。

本発明はオフセットキャンセル機能を有するアナログニ
ューロン回路上で時分割アナログ人出力処理を行うこと
により、ユニット間の相互配線数を減少させ、さらに可
変の重みを設定できることを目的とする。

〔課題を解決するための手段〕

第１図は、本発明のブロック図であり、複数のニューロ
ンモデルを相互に接続することにより形成されるニュー
ラルネットの各ニューロンモデルの構成を示す。入力手
段２は、前段の複数のニューロンモデルから時分割多重
化されて出力されるアナログ電圧を入力する。掛算手段
３は、前記時分割多重化アナログ入力信号を外部より入
力されるデジタル重みデータの符号ビットを用いて正負
の切り換えを実行し、さらに前記時分割多重化アナログ
信号の各電圧値から変換された重み付きの電流の経路を
前記デジタル重みデータの数値ビットで選択することに
より、前記時分割多重化アナログ信号の各電圧と可変の
前記デジタル重みデータとの積を生成する。加算手段４
は、前記時分割多重化アナログ信号の各電圧と前記デジ
タル重みデータとの各部を時分割的にコンデンサを介し
て加えることにより積分動作を実行する。サンプル／ホ
ールド手段５は、前記加算手段４の出力をサンプル／ホ
ールドする。非線形関数生成手段６は、区分線形近似に
より構成される非線形出力関数を形成する。出力手段７
は、後段のニューロンモデルに出力するアナログ出力電
圧を時分割的に適当な時間に出力するものてある。オフ
セットキャンセル手段８は、入力信号を零にした時に各
前記手段上に生じる回路のオフセット電圧を検出し、前
記オフセット電圧の入力換算値をフィードバックするこ
とにより演算時に、時分割多重化アナログ入力電圧に作
用して回路上の前記オフセット電圧をキャンセルする。

〔作　　　用〕

本発明のニューラルネットでは、前段のニューロンから
の出力を時分割多重化することにより、ユニット間のリ
ンクの空間的な広がりを時間軸でのパルス数に写像し、
さらにアナログ信号とデジタル重みデータとの積をＤ／
Ａ変換器を用いて構成し、しかも、オフセットキャンセ
ル回路を付加することにより重みの設定化、大規模化、
高精度化を実現している。

〔実　　施　　例〕

次に本発明の実施例を図面を参照して説明する。

第２図は、本発明に用いられるニューロンモデルのブロ
ック図である。ニューロンモデルはニューラルネットの
各ノードにあたる処理要素であり、ユニットと呼ばれて
いる。神経回路網、すなわちニューラルネットの場合に
は、ユニットと伝達線とを合わせてニューロン、すなわ
ちユニットと呼び、伝達線とユニットとの結合点をシナ
プス結合と呼ぶこともある。それぞれの結合には重みと
呼ばれる量が付加されている。この重みはユニット間の
相互作用の強さを表すパラメータであって通常Ｗｉｈで
ユニットｈからユニットｉへの結合とその結合の重みの
両方をさす。ネットワークの学習は通常この重みを変化
させることで実現される。

ニューラルネットの全ユニットの内部状態をネットワー
クの状態というが、各ユニットではＸｉが内部活性化レ
ベルと呼ばれる内部状態になっている。

各ユニットｉは前段のユニットからの重み付入力を受け
て、その総和を計算し、その値に適当な非線形関数ｆを
ほどこしたものを出力とする。すなわち、ニューロンモ
デルは第２図に示すように他のニューロンモデル、すな
わち他のユニットからの出力ｙ１に対して Ｘｉ　＝Σ）’ｈ　　・Ｗｉｈ＋θ　・・・・・（１）
Ｖ　ｉ　　＝　ｆ　　（ＸＬ　　）　　　　　　　　　
・　・　・　・　・（２）の処理を行って出力するもの
てある。

ここで、ｙ６はユニットｈの出力、ｙｌはユニットｉの
出力、Ｗｉはｉユニットとｈユニット間のリンクの重み
、ｒは非線形関数、θは闇値である。

ニューラルネットは、このようなユニットをネットワー
ク上に接続したものてある。

各ユニットが入力の総和から次の新しい状態、すなわち
出力を決める場合、シグモイド関数に従うようにしてい
る。このシグモイド関数は、入力の総和Ｘｉが求まると として出力ｙｔを求めるものてある。このシグモイド関
数は第１４図に示すように一般に入力が大きいほど状態
が１近づき、しかもこのグラフの形はθによって変化す
る。

ニューラルネットにおける学習の方式は種々あり、例え
ば誤り訂正型の方法が使われる。この方式は、ネットワ
ークにある結合の重みのパターンをその時点で与え、も
し、そのパターンが間違っていた場合にはその結合の重
みを修正するという繰り返しによって最終的に正しいパ
ターンを求めるというものてある。

すなわち、時刻Ｔにおけるパターンが入力された場合に
、それに対する最終の出力層にあるユニットの解が、も
し望むべき解でなければ、その誤差を小さくするように
重みＷｉｈを変えるようにして学習処理が行われる。こ
のような、学習処理においてはネットワークが正解と同
じ結果を出力した場合には、結合は変化させないが、正
解が例えば１であるのにネットワークの出力がＯを出し
た場合には、ユニットの結合を例えば１だけ増加させ、
ネットワークの出力が１になるような方向へ修正してい
（ことになる。従って、学習処理においては、重みＷｉ
ｈが任意に可変にできることが極めて重要になる。ネッ
トワークを動作させ、得られた出力と正解とを比較し、
その誤差が小さくなるように結合の重みを修正していく
ことになるが、集積回路上のユニット間の結合に対して
各ユニ・７トが他のユニットにすべて結合されたハード
的に完全グラフのニューラルネットでは、ユニット間の
接続は大量のユニットと膨大なユニット間接続を必要と
するため、大規模なニューラルネットを構成することが
非常に難しくなる。

そのため、ユニット間の接続を減少させ、配線上では１
本の配線でユニット間を接続し、前段のユニットから後
段のユニットへは電圧値の異なるパルスを時分割で伝送
し、その電圧の振幅値を重みに対応して伝送するように
すれば完全グラフではない構造で集積回路が構成でき、
大量のユニットを等価的に接続することが可能となる。

本発明はこのようにユニット間の伝送においてアナログ
電圧に対する時分割処理を行うものてある。

この時分割処理を図面を参照して説明する。

第３図は完全グラフによるニューラルネットの概念図で
ある。同図においてＵｌ、Ｕ２．Ｕ３は前段のユニット
、Ｕ４．Ｕ５は後段のユニットで、ｙ＋”）’ｓは各ユ
ニットの出力信号である。前段の各ユニッ）Ｕｌ、Ｕ２
．Ｕ３はそれぞれ後段のユニットＵ４．ｕｓに共に接続
され、例えばＵｌはＵ４．Ｕ５に出力線ｙ１によって接
続されている。すなわち、前段の各ユニットは後段のユ
ニットにすべて接続されている。学習時には例えばｙ。

〜ｙ３の結合における重みとして適当なパターンを与え
、ネットワークから出力された出力値が目的の解でなけ
れば、この重みパターンをその差が小さくなるように変
えていく。このような場合、前段から後段へのパルスの
伝送を同時に行うことができるが、集積回路上では配線
が非常に複雑になる。

第４図は本発明のニューラルネットの構成の概念図であ
る。同図においてＵｌ、Ｕ２．Ｕ３は前段のユニットで
あり、Ｕ４．Ｕ５は後段のユニットである。前段の各ユ
ニットから出力される出力信号は同じバスＡに接続され
、そのバスＡに後段のＵ４．Ｕ５が接続されている。同
様に後段のＵ４、Ｕ５からの出力もバスＢに共通に接続
されている。従って前段のユニットから後段のユニット
への接続はバスＡのみによって接続されるため、配線上
極めて小さくなり、集積回路としての実現性は極めて高
くなる。前段のユニットから後段のユニットへの伝送時
においては、重みに対応する振幅を有するアナログパル
ス電圧が時分割で伝送される。

第５図は本発明のニューラルネットにおける伝送波形の
概念図である。同図において、上は第４図のニューラル
ネットにおけるバスＡ上の信号を示し、下の図は後段の
出力線であるバスＢ上での電圧波形である。前段のユニ
ッ）Ｕｌから出力される電圧は正で値が大きい場合のパ
ルスでΔを間に振幅ｙ、の電圧値となっている。Ｕ２か
らは負の電圧が出力され、その振幅値ｙ２は負になって
いる。ｙ３はＵ３からでる出力電圧で、正の値を存する
パルスとなっている。このように、正、負が存在するの
はニューラルネットにおける各ニューロンが興奮性であ
るか、抑制性のものてあるかによって異なる為である。

興奮性の場合に、正、抑制性の場合に負の値のパルスが
出るようにしている。これらの時分割のアナログ信号が
後段のユニットＵ４に与えられるとユニットＵ４の出力
は興奮性のパルスとして、高さがｙ４の正の電圧をΔを
間にバスＢに出力する。そして、少し遅れて次ぎのタイ
ミングで後段のＵ５は抑制性の振幅値ｙ５のパルスをバ
スＢに出力する。このように、本発明では各ニューロン
間での伝送は時分割多重化アナログ信号によるものとな
る。

第６図は本発明の入力部のブロック図である。

入力信号は前段の複数のユニットから出力された時分割
アナログ入力である。この入力パルス電圧は、入力イン
ピーダンスが無限大で、出力インピーダンスが０である
１倍のアンプすなわち、バッファ９で整形され、出力さ
れるが、本発明では、この入力部にオフセットキャンセ
ル機能がある。

オフセットキャンセル制御部１０からオフセットコント
ロール信号が与えられると、オフセットキャンセル部１
１を介してバッファ９に強制的にＯ電圧が入力され、次
段に接続される各部のオペアンプの出力にオフセット電
圧を発生させ、後述する機能によりオフセットをキャン
セルするようにしている。

第７図は本発明の掛算部のブロック図である。

ここでは、第６図の入力部から出力された時分割アナロ
グ信号の各アナログ信号パルス電圧を正負切換回路１２
に入力し、デジタル重みデータの符号、ピッ）（ＳＩＧ
Ｎ）に従って興奮性の正電圧または抑制性の負電圧に切
り換え、Ｄ／Ａコンバータ１３に入力する。Ｄ／Ａコン
バータ１３にはデジタル重みデータの数値ビットのＭＳ
ＢからＬＳＢまで入力され、正負切換回路１２から出力
された電圧をＤ／Ａコンバータ１３の内部にあるＲ−２
Ｒ方式の抵抗回路に与える。このことにより、数値ビッ
トに対応した重み電流がＲ−２Ｒ方式の抵抗回路に流れ
、結果として、Ｄ／Ａコンバータ１３の出力には、アナ
ログ信号とデジタル重みデータとの積が生成され、バッ
ファ１４から出力される。

この掛算部の機能により本発明ではニューロン間の重み
が可変にでき、ニューラルネットの特性を動的に変化さ
せることができ、外部制御によりネットワークの学習が
可能となる。

第８図は本発明の加算部のブロック図である。

第７図の掛算部の結果、すなわち時分割多重化アナログ
信号とデジタル重みデータとの積の結果の電圧は積分器
１６に入力されるが、本発明では入力される信号は振幅
値の異なるパルス電圧であり、これが時分割で入力され
るのて、時分割加算制御部１５の制御に従って次段の積
分器１６の内部にあるコンデンサにそのアナログ信号と
デジタル重みデータとの積の和が貯えられる。さらにオ
フセットキャンセル制御部１７の制御に従って入力電圧
を強制的にＯにした時のコンデンサの電圧をスイッチに
よって反転させ、実際の入力が加算された結果からこの
オフセット電圧を引くことによりオフセット電圧をキャ
ンセルしている。この回路によって精度が低下すること
を防いでいる。

第９図は本発明のサンプル／ホールド部のブロック図で
ある。第８図の積分器の出力が第９図のサンプル／ホー
ルド部に入力され、コンデンサにその値がホールドされ
るが、ここでも、オフセットキャンセル機能を持たせて
いる。すなわちオフセットキャンセル制御部２０からの
制御に従って次段の回路に発生するオペアンプのオフセ
ット電圧をオフセットキャンセル部１９にフィードパン
クし、そのオフセット電圧をキャンセルするようにして
いる。

第１０図は本発明のシグモイド関数発生回路のブロック
図である。第９図のサンプル／ホールド部においてサン
プル／ホールドされたアナログ信号とデジタル重みデー
タとの積の和がシグモイド関数回路２１に入力される。

本発明ではこのシグモイド関数をアナログ回路による区
分線形近似により、正確に構成し、しかも非線形回路選
択制御部２２の制御に従ってシグモイド関数を通すかど
うかの有無を決定している。本発明ではアナログ回路の
区分線形近似により非常にシグモイド関数に近い量子化
器が高精度、高性能な回路として実現されている。

第１１図は本発明の出力部のブロック図である。

本発明ではニューラルネットのユニット間は必ず時分割
のアナログ電圧で伝送するため、出力制御部２３に入力
される出力制御入力信号の制御により、第１０図のシグ
モイド関数によって生成された出力電圧は時分割アナロ
グ出力部２４によって適当な時間に出力される。また、
ユニット間の相互の時間間隔を制御するために出力制御
信号が外部に伝送される。ユニット間の伝送には時分割
多重化アナログ信号の伝送を行っているため、ニューラ
ルネットは完全グラフにする必要はなく、従って、極め
て構造が簡単になり、実現性が高いことになる。

第１２図は、本発明のニューラルネットのユニットの詳
細図である。本発明のユニットでは入力部２、掛算部３
、加算部４、サンプル／ホールド部５、非線形関数部６
、及び出力部７から構成されている。

入力部２はオフセットキャンセル部１１と、１倍のバッ
ファ９から構成されている。１倍のバッファ９はオペア
ンプの出力を一端子にフィードバックし、十端子に入力
電圧を入力することによって構成される。データ入力は
アナログの時分割されたパルス信号である。ＯＣはオフ
セットコントロール信号であり、これが１のときアナロ
グスイッチ２６がオンし、１倍のバッファ９には、Ｏ電
圧が強制的に設定される。一方、オフセットコントロー
ル信号ＯＣが、０のときアナログスイッチ２６はオフさ
れ、アナログスイッチの他方２５がオンし、データ入力
が１倍のバッファ９に入力される。すなわち、オフセッ
トコントロール信号ＯＣが１である場合には、ニューロ
ンモデルのユニットには０ボルトが強制的に入力されて
次段の回路のオペアンプの出力に生じるオフセット電圧
に対するオフセットのキャンセルの動作を行うようにし
ている。

正負切換回路１２は２つの倍数器をカスケード結合して
構成されている。倍数器では入力抵抗（１０にΩ）とフ
ィードバック抵抗（ＩＯＫΩ）によって１０／１０、す
なわち１倍の電圧の反転したものが形成され、それを１
段だけを通すか、２段を通すかによってアナログ電圧の
符号を決定している。

その制御電圧はデジタル重みデータの符号ビット（Ｓ　
Ｉ　ＯＮ）であり、この５ＩＧＮビツトはＭＯＳスイッ
チ３０のゲートに接続されている。符号ビットが１であ
る場合に入力部からの入力電圧は第１段目の倍数器で反
転され、さらにスイッチ２７もオンしているのて後段の
倍数器も通り、結果として正相となる。また符号ビット
がＯである場合には、反転回路２８を介して、スイッチ
２９がオンとなる。この時スイッチ２７と３０はオフし
ているため、入力部からの入力電圧はスイッチ２９を介
して後段のオペアンプ３１の一端子に入力される。従っ
て、前段の抵抗３２と後段のオペアンプのフィードバッ
クの抵抗３３とによって倍数器が形成され、１倍された
形で反転される。すなわち、符号ビットの正負によって
入力部の入力が、正または負の電圧として形成され、こ
れが、興奮性と抑制性のシナラプス結合に従った電圧と
なる。

正負切換回路１２からの出力は掛算部３の中にあるＤ／
Ａコンバータ１３のＲ−２Ｒ低抵抗路網の３４の点に入
力される。

Ｒ−２Ｒ方式のＤ／Ａコンバータをまず説明する。

ＭＳＢからＬＳＢまでのデジタル重みによって内部のス
イッチはオンまたはオフをとる。デジタル値が１である
場合に、電流は右側のスイッチ３５を通って、オペアン
プ３６の仮想接地点３７′に流れ込む。オペアンプ３６
の仮想接地点３７′は＋端子と同じ電圧になるように制
御され、これがグランドであるから仮想的な０ボルトで
ある。スイッチの状態に関わらず、２Ｒの抵抗には電流
が流れ、デジタル値の値に従ってその２Ｒに流れる重み
電流が仮想接地点３７′の方に流れるかどうかが決定さ
れる。１香石の２Ｒに流れる電流をｉとする。右から２
番目すなわちＬＳＢに対応する２Ｒは１香石の２Ｒに係
る電圧を２Ｒで割った値であるから２Ｒｘｉ÷２Ｒでｉ
となる。従って１香石の横方向のＲには電流ｉが流れる
。右から３番目の２Ｒには２Ｒｘｉ＋Ｒｘ２ｉの電圧が
かかり、これを２Ｒで割るから２１の電流が流れる。

以下同様で左に行くに従って４ｉ、８ｉとなって２のべ
き乗で増える電流になる。この２のべき乗になった重み
電流をオペアンプの方に流すか流さないかを決めている
のがＭＳＢからＬＳＢである。

従って、デジタル重みに対応する電流が２のべき乗の形
で仮想接地に入りこみ、オペアンプの入力インピーダン
スは無限大であるから、この電流がオペアンプ３６の帰
還抵抗３７に流れる。従って、出力電圧ｖ０□は入力電
圧をＥとすれば、＋・　・　・　＋２１１−Ｉ　ｘＤ７
−１　）となる。ここで、ＤｏはＬＳＢで、Ｉ）ｎ−＋
がＭＳＢであるとする。すなわち、掛算部３′の出力は
入力電圧に重みを掛けた値になっている。その重み係数
はＭＳＢからＬＳＢに入力されるデジタル値で制御され
ることになる。

次に加算部４を説明する。加算部４はＲア３８と帰還キ
ャパシタＣ７による積分器である。加算部４の入力部に
は時分割加算制御部１５があり、サンプル／ホールド信
号Ｓ／Ｈ信号が１のとき掛算部３の出力電圧がオペアン
プの仮想接地点３９に入力され、Ｓ／Ｈ信号がＯのとき
反転回路４０によりスイッチ４１がオンとなって掛算部
の出力がＲＴを介してグランドに接続されるのて加算部
４の帰還キャパシタＣｔには加算されないことになる。

今、Ｓ／Ｈ信号が１のとき、掛算部３の出力電圧はＲ７
を介してオペアンプ３９の一端子に入力し、入力電圧を
ＲＴで割った電流が仮想接地を介して帰還キャパシタＣ
Ｔの方に入力される。

キャパシタＣ７を含む積分回路の帰還回路４２には４つ
のスイッチを用いてオフセットキャンセル機能が付加さ
れている。今オフセットコントロール信号ＯＣが１にな
ったとすると、スイッチ４３と４４がオンで、４５と４
６がオフとなる。オフセットコントロールＯＣは入力部
２にも入力され、これが１である場合にはデータ入力は
強制的には０にされる。この場合、正負切換回路１２及
び掛算部のＤ／Ａコンバータ１３を介してもしオフセッ
トがなければ、Ｄ／Ａコンバータの出力はＯボルトとな
る。しかし、オペアンプがあるためにオフセット電圧が
生じ、そのオフセット電圧が加算部のＣ１に蓄えられる
。オフセットコントロール信号ＯＣがＯのときには、デ
ータインプットに入力電圧が与えられ、それに対応する
掛算部の出力がＲｔを介してＣ７に入力される。この場
合、前のオフセットコントロール信号が１である場合と
違ってＣアの＋−の極性は逆である。そのため、入力信
号が入力された時に生じるオフセット電圧はＯＣを１に
することにより、ＣＴの極性が変わり、結果として、オ
フセットがキャンセルされることになる。本発明では、
このように、キャパシタＣｔの極性の反転を用いて等価
的にオフセットキャンセル機能を有するように構成され
ている。

なお、スイッチ４７はリセット信号によって制御され、
リセット信号が与えられた場合に、加算部の出力を強制
的に０にリセットするものてある。

加算部４の出力はサンプル／ホールド回路５の入力とな
る。サンプル／ホールド部５では、サンプル／ホールド
制御信号Ｓ　／　ＨＯＵＴが１である場合に、スイッチ
４８を介して加算部４の出力がコンデンサＣ６に蓄えら
れる。Ｓ／Ｈｏｕｒ信号が１である場合には、反転回路
５４′によってスイッチ５０の制御信号はＯとなり、コ
ンデンサＣｈの一方の端子はグランドに接地されず、ス
イッチ５１がオンになることによりユニットの最終出力
データの信号がそのスイッチ５１を介して入力される。

すなわち、その時の最終出力信号がフィードバックされ
てコンデンサＣ５の下側に与えられる。

従って、Ｃ１のコンデンサには、加算器の出力から最終
出力データの値を引いた電圧が保持される。

一方Ｓ／Ｈｏｏｔ制御信号がＯのときには、スイッチ４
９と５０がオンし、コンデンサＣ５の下側はグランドと
なり、結果としてＣｈに蓄えられた電圧、すなわち加算
部の出力から最終出力値を引いた電圧値がスイッチ４９
を介して１倍のオペアンプの＋側に入力される。そして
バッファ５３を介してシグモイド関数の入力となる。ま
た、Ｓ／Ｈ制御信号が１のときスイッチ４８がオンし、
Ｃｈには加算器の出力値と最終出力値との差の電圧が蓄
えられているときには、スイッチ５２がオンしている。

そのためバッファ５３にはＯポルトが強制的に入力され
る。この時にシグモイド関数及びオペアンプを介してデ
ータアウトにはオフセット電圧が生成される。これがス
イッチ５１を介してＣｈの下側に入力される。従ってＳ
／Ｈｏｏｔ制御信号がＯの時点、すなわちスイッチ４９
がオンでスイッチ５２がオフである場合には、Ｃｈに蓄
えられた電圧、すなわち（加算部の出力−オフセット電
圧）がバッファ５３とシグモイド関数を介して最終出力
になるが、オフセットコントロール信号ＯＣが１になる
と、この時に生成されるオフセット電圧もΔＶであるか
ら結果としてオフセット電圧がキャンセルされることに
なる。

シグモイド関数を生成する非線形関数部は非線形回路選
択制御部２２があり、Ｓｅ１５１ｇ信号を１にするとス
イッチ５５がオンし、シグモイド関数がオペアンプ５６
に入力される。しかし、Ｓｅ１５１ｇ信号が０の時には
反転回路５７を介してスイッチ５８の制御信号が１とな
ってそれがオンし、シグモイド関数の出力はカントされ
る。すなわちＳｅ１５１ｇ信号が０の時には、サンプル
／ホールドの出力電圧がシグモイド関数を介さずに直接
オペアンプ５６に入力される。オペアンプ５６は本質的
には出力を一端子に直接帰還する１倍のオペアンプでバ
ッファの働きをする。すなわち出力インピーダンスをＯ
にするバッファとなる。

出力部７には時分割アナログ出力部２４と出力制御部２
３が接続されている。ＣＳ、ｆｉが１のときにはスイッ
チ５９がオンで、スイッチ６１もオンであるため、最終
出力値が一端子にフィードバックされて、１倍のオペア
ンプとして働く。それと同時に最終出力値がサンプル／
ホールド部５にフィードバックされる。一方、Ｃ８，、
、がＯのときスイッチ６０がオンになり、スイッチ６１
がオフになる。すなわちバッファ５６の出力はデータア
ウト線には出力されないことになる。しかし、スイッチ
６０がオンすることによって１倍のバッファを形成する
ようにしているため問題なく実行される。出力制御部２
３はＣＳ、、によって出力パルス電圧を伝達するかどう
かを決める回路である。このＣ８，、ｌをデイレイ回路
を介してＣ８６ｕＬにし、他のニューロンに対する出力
アナログ信号の時間タイミングを決定することになる。

すなわち、本発明では出力部７からのアナログ信号は時
分割で伝送されるため、他のニューロンからのアナログ
信号と競合しない。

第１３図は本発明の非線形関数部の等価回路である。こ
の回路の左の部分は低電圧源で直流電源６２によって決
まるベース電圧をベースエミッタ間だけ落とし、その電
圧をエミフオロトランジスタ６３によって一定電圧を出
力し、これをユニット１から６までの定電流源トランジ
スタ６４のベースに入力している。各定電流トランジス
タ６４のエミッタに抵抗Ｒ１２が接続されているため、
ベース電圧からペースエミッタ間電圧だけ落とした電圧
をＲ１２で割った定電流が流れる。一方、トランジスタ
６５と６６はＲ１１を介して共通にエミッタが接続され
、この接続点に定電流源が接続されている。すなわちこ
の回路は電流切換型の回路であって、そのコレクタ電圧
が出力される。

これをトランジスタ６７のベース電圧とし、各ユニット
のコレクタ点を接続することによってＶ。ｕＬとしてい
る。また、トランジスタ６８と６９はカレントミラー回
路であり、左側のトランジスタのベースコレクタ間を接
続し、トランジスタのベースを共通に接続することによ
り、トランジスタ６８に流れる電流と６９に流れる電流
を同じにしている。すなわち、温度によって掻めて安定
な回路になっている。トランジスタ６９のコレクタ端子
を共通して接続することにより、この回路で第１４図の
シグモイド関数に従う正確な出力が得られる。

次に本発明のタイミング図を説明する。

第１５図は本発明のユニットにおけるタイミング図であ
る。Ｄ−８ＹＮＣとＤ−ＣＬＫは同期信号である。Ｗ−
ＣＬＫはＤ／Ａコンバータに入力されるデジタル信号を
与えるタイミングで、重みデータの各ビットはＷ−ＣＬ
Ｋに同期している。

例えば、第１５図において、−１２７に対応するオール
１のパターンが与えられ、その後１００に対応する０１
１００１００のパルスが与えられている。Ｓ／Ｈ信号は
加算部の入力にある時分割加算制御部に与えられる信号
である。Ｓ／Ｈ信号が１のとき掛算部の出力が積分器の
帰還キャパシタＣ１に入力される。最初のＳ／Ｈ信号の
立ち上がりでデータインプットが入力されたときの掛算
部の出力、すなわち入力されたパルス電圧の総和が加算
器のＣ。

キャパシタに入力される。このときＤ／Ａコンバークに
与えられるデジタル量は−１２７であり、この−１２７
に対応するデータが波形７０に示すように正の電圧とし
て与えられている。これがキャパシタＣＴに蓄えられる
。そして、オフセットコントロール信号ＯＣが７１にお
いて与えられると、この時Ｓ／Ｈ信号も正であるのて、
入力部のオフセットキャンセル部の制御により、入力は
Ｏボルトとなり、この０ボルトに対応するオフセット電
圧が加算部の０７キヤパシタに与えられる。このときＣ
ｔは極性を反転するため、その前のＳ／Ｈ信号の立ち上
がりによってセットされていた電圧からオフセット分を
キャンセルすることになる。

このように蓄えられた電圧がＣＴに保持され、次にＷ−
ＣＬＫの各タイミングで異なるニューロンからの入力が
重み１００に掛けられて加算部に入力される。正負切換
回路からの出力は正相で、Ｄ／Ａコンバータでは圧の重
みが与えられるのて、反転され、図に示すようにマイナ
ス方向に電圧が生じる。この負の出力電圧はＣ１に蓄え
られるが、これが前のＣＴに蓄えられた電圧と加算され
る。

このように本発明では時分割的に入力と重みとの積の和
がＣＴに蓄えられる。そしてＣ８ｉが入力された時点で
、Ｃ７に貯えられた電圧がシグモイド関数を介して出力
される。また、Ｃ３ｏｕＬはＣ８ｉ、ｌのパルスが終わ
ってからデイレイ時間だけたって出力され、他のユニッ
トに伝送される。

第１６図は本発明のブロック図の実施例図である。この
ブロック図は、第１２図をまとめたちのて、この図に示
すように、デジタル重みデータはシリアル入力として入
力され、チップはＢｉ−ＣＭＯ３回路によって構成され
る。そのため本発明では、低消費電力にでき、また、高
速、高帯域アンプにより高速、高精度の処理が可能とな
る。

〔発明の効果〕

以上説明したように本発明によれば、ユニット間の接続
の重みが可変にでき、ユニット間の接続が完全グラフで
はない形であるため、複雑とならず、大規模なニューラ
ルネットの実現が可能であり、さらにオフセットキャン
セル機能により高精度が実現でき、各ユニットの同時処
理により高速実行ができるため、きわめて実現性のある
ニューラルネットが構築できるという効果がある。

【図面の簡単な説明】

第１図は本発明のブロック図、 第２図は本発明に用いられているニューロンモデルのブ
ロック図、 第３図は安全グラフによるニューラルネットの概念図、 第４図は本発明のニューラルネットの構成の概念図、 第５図は本発明のニューラルネットにおける伝送波形の
概念図、 第６図は本発明の入力部のブロック図、第７図は本発明
の掛算部のブロック図、第８図は本発明の加算部のブロ
ック図、第９図は本発明のサンプル／ホールド部のブロ
ック図、 第１０図は本発明のシグモイド関数発生回路のブロック
図、 第１１図は本発明の出力部のブロック部、第１２図は本
発明のニューラルネットのユニットの詳細図、 第１３図は本発明の非線形関数部の等価回路、第１４図
は本発明のシグモイド関数、 第１５図は本発明のユニットにおけるタイミング図、 第１６図は本発明のブロック図の実施例図である。 入力部 掛算部 加算部 サンプル／ホールド部 非線形関数生成部 出力部 オフセットキャンセル部 オフセットキャンセル制御部 正負切換回路 Ｄ／Ａコンバータ 時分割加算制御部 積分器 シグモイド関数回路 非線形回路選択制御部 出力制御部 時分割アナログ出力部

Claims (1)

1. 【特許請求の範囲】 １）それぞれの出力信号を順次時分割的に発生する複数
   の第１のニューロンモデルと、 該複数の第１のニューロンモデルに接続され前記複数の
   第１のニューロンモデルの出力を順次時分割に転送する
   共通バスと、 前記共通バスに接続され前記複数の第１のニューロンモ
   デルの出力信号を時分割的に入力する第２のニューロン
   モデルとからなることを特徴とするニューロンアーキテ
   クチャ。 ２）複数のニューロンモデルから送られてくるアナログ
   信号を時分割的に入力する各アナログ入力信号に、対応
   する重みデータを掛けて得られた各信号の和を時分割的
   に出力することを特徴とするニューロンモデル。 ３）請求項２記載の前記ニューロンモデルを複数個接続
   することにより構成したことを特徴とするアナログ並列
   計算機。 ４）前記アナログ入力信号はこれらが送出された各ニュ
   ーロンモデルに対応する振幅値を有するとともに次段の
   ニューロンモデルを興奮させるか抑制させる制御を行う
   ために正負の値を有することを特徴とする請求項２記載
   のニューロンアーキテクチャ。 ５）複数のニューロンモデルを相互に接続することによ
   り形成されるニューラルネットの各ニューロンモデルに
   おいて、 入力手段（２）は、オフセットコントロール信号が与え
   られると、オフセットキャンセル部を介してバッファに
   強制的に０電圧が入力され、次段に接続される各部のオ
   ペアンプの出力にオフセット電圧を発生させる手段を有
   することを特徴とするニューロンアーキテクチャ。 ６）複数のニューロンモデルを相互に接続することによ
   り形成されるニューラルネットの各ニューロンモデルに
   おいて、 入力信号を零にした時に各回路上に生じる回路のオフセ
   ット電圧を検出し、前記オフセット電圧の入力換算値を
   フィードバックすることにより、演算時に、時分割多重
   化アナログ入力電圧に作用して回路上の前記オフセット
   電圧をキャンセルするオフセットキャンセル手段（８）
   を有することを特徴とするニューロンアーキテクチャ。 ７）複数のニューロンモデルを相互に接続することによ
   り形成されるニューラルネットの各ニューロンモデルに
   おいて、 前段の複数のニューロンモデルから時分割多重化されて
   出力されるアナログ電圧を入力する入力手段（２）と、 前記時分割多重化アナログ入力信号を外部より入力され
   るデジタル重みデータの符号ビットを用いて正負の切り
   換えを実行し、さらに前記時分割多重化アナログ信号の
   各電圧値から変換された重み付きの電流の経路を前記デ
   ジタル重みデータの数値ビットで選択することにより、
   前記時分割多重化アナログ信号の各電圧と可変の前記デ
   ジタル重みデータとの積を生成する掛算手段（３）とを
   有することを特徴とするニューロンアーキテクチャ。 ８）複数のニューロンモデルを相互に接続することによ
   り形成されるニューラルネットの各ニューロンモデルに
   おいて、 前段の複数のニューロンモデルから時分割多重化されて
   出力されるアナログ電圧を入力する入力手段（２）と、 前記時分割多重化アナログ信号の各電圧と前記デジタル
   重みデータとの各積を時分割的にキャパシタを介して加
   えることにより積分動作を実行する加算手段（４）とを
   有することを特徴とするニューロンアーキテクチャ。 ９）複数のニューロンモデルを相互に接続することによ
   り形成されるニューラルネットの各ニューロンモデルに
   おいて、 前段の複数のニューロンモデルから時分割多重化されて
   出力されるアナログ電圧を入力する入力手段（２）と、 前記アナログ入力信号に積和処理を施したあと非線形関
   数手段を通すか否かの制御を行う手段とを有することを
   特徴とするニューロンアーキテクチャ。 １０）前記非線形関数手段は複数の増幅手段がカスケー
   ドに接続されてなり、該増幅手段のうち所定数のものを
   選定することにより所望の非線形関数を得ることを特徴
   とする請求項９記載のニューロンアーキテクチャ。 １１）複数のニューロンモデルを相互に接続することに
   より形成されるニューラルネットの各ニューロンモデル
   において、 前段の複数のニューロンモデルから時分割多重化されて
   出力されるアナログ電圧を入力する入力手段（２）と、 前記時分割多重化アナログ入力信号を外部より入力され
   るデジタル重みデータの符号ビットを用いて正負の切り
   換えを実行し、さらに前記時分割多重化アナログ信号の
   各電圧値から変換された重み付きの電流の経路を前記デ
   ジタル重みデータの数値ビットで選択することにより、
   前記時分割多重化アナログ信号の各電圧と可変の前記デ
   ジタル重みデータとの積を生成する掛算手段（３）と、
   前記時分割多重化アナログ信号の各電圧と前記デジタル
   重みデータとの各積を時分割的にコンデンサを介して加
   えることにより積分動作を実行する加算手段（４）と、 前記加算手段（４）の出力をサンプル／ホールドするサ
   ンプル／ホールド手段（５）と、区分線形近似により構
   成される非線形出力関数を形成する非線形関数生成手段
   （６）と、後段のニューロンモデルに出力するアナログ
   出力電圧を時分割的に出力する出力手段（７）と、入力
   信号を零にした時に各回路上に生じる回路のオフセット
   電圧を検出し、前記オフセット電圧の入力換算値をフィ
   ードバックすることにより、演算時に、時分割多重化ア
   ナログ入力電圧に作用して回路上の前記オフセット電圧
   をキャンセルするオフセットキャンセル手段（８）とを
   有することを特徴とするニューロンアーキテクチャ。 １２）前記入力手段（２）は、オフセットコントロール
   信号が与えられると、オフセットキャンセル部を介して
   バッファに強制的に０電圧が入力され、次段に接続され
   る各部のオペアンプの出力にオフセット電圧を発生させ
   る手段を有することを特徴とする請求項１１記載のニュ
   ーロンアーキテクチャ。 １３）前記掛算手段（３）は、前記入力手段（２）から
   出力された時分割を多重化アナログ信号の各アナログ信
   号パルス電圧をデジタル重みデータの符号ビットに従っ
   て興奮性の正電圧または抑制性の負電圧に切り換える正
   負切換手段と、前記正負切換手段から出力された電圧を
   Ｒ−２Ｒ方式のＤ−Ａコンバータの内部にあるＲ−２Ｒ
   方式の抵抗回路網のて各２Ｒ抵抗に重み電流を流し、前
   記デジタル重みデータの数値ビットに対応した重み電流
   を選択することにより、前記時分割多重化アナログ信号
   と前記デジタル重みデータの積を生成することを特徴と
   する請求項１１記載のニューロンアーキテクチャ。 １４）前記加算手段（４）は、アナログ積分器を基本と
   し、第１のサンプルホールド信号が入力されたときのみ
   帰還キャパシタにおいて前記掛算手段（３）からのアナ
   ログ信号を加算し、前記オフセットコントロール信号が
   入力されたとき、入力信号電圧の零に対する前記各手段
   に生じたオフセット電圧を前記帰還キャパシタの極性を
   反転することにより、キャンセルすることを特徴とする
   請求項１１記載のニューロンアーキテクチャ。 １５）前記サンプルホールド手段（５）は、第２のサン
   プルホールド信号が入力されたとき、前記加算手段（４
   ）からの出力電圧からバッファの入力電圧を零にしたと
   きに最終出力点に生成されたオフセット電圧を減じた電
   圧をホールドし、前記サンプルホールド信号の反転によ
   り前記電圧を前記バッファに入力することにより、等価
   的に、前記オフセット電圧をキャンセルすることを特徴
   とする請求項１１記載のニューロンアーキテクチャ。 １６）前記非線形関数生成手段（６）は、複数の電流切
   換型回路の出力点を共通に接続することにより生成され
   るシグモイド関数であって、この関数を通過させるかど
   うかを選択することを特徴とするニューロンアーキテク
   チャ。 １７）前記出力手段（７）は、出力制御入力信号が入力
   されたとき、バッファの出力を外部に伝達し、前記出力
   制御入力信号の論理にかかわらず、前記バッファ動作が
   実行でき、しかも前記バッファのオフセット最終出力電
   圧が前記サンプル／ホールド手段（５）に帰還され、さ
   らに、出力制御出力信号は前記出力制御入力信号を一定
   時間だけ遅延して生成されることを特徴とする請求項１
   １記載のニューロンアーキテクチャ。