JPH0264787A - 階層構造ニューラルネット - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （概　　　要〕 単層のハードウェアを時分割多重化使用して多層化する
ことを可能とする階層構造ニューラルネットのアーキテ
クチャに関し、。

単層のハードウェアを時分割多重化使用して等価的に多
層化することを可能とすることを目的とし、 複数のニューロンモデルを相互に接続することにより形
成されるニューラルネットにおいて、時分割多重化アナ
ログ信号を外部からのデジタル重みデータとの積を生成
し、かつその積を時分割的にコンデンサを介して加える
ことにより積分し、非線形出力関数を通した電圧を時分
割的に出力することを可能とするニューロンモデルのユ
ニットを複数設置して単層のユニット集合を形成する単
層ユニット集合手段と、前記単層ユニット集合手段の出
力を同じ単層ユニット集合の入力部に帰還する帰還手段
と、前記単層ユニット集合手段から出力される各ユニッ
トからのアナログ信号を時分割多重化し、さらに前記帰
還手段を介して前記単層ユニット集合手段を時分割多重
使用するための制御を実行する制御手段とを有し、単層
構造のユニット集合手段を時分割多重使用することによ
り等価的に階層構造のニューラルネットを形成するよう
に構成する。

〔産業上の利用分野〕

本発明はアレイ状に相互配線されたニューロンで構成さ
れる階層構造のニューラルネットのハードウェア化に係
り、更に詳しくは単層のハードウェアを時分割多重化使
用して多層化することを可能とする階層構造ニューラル
ネットのアーキテクチャに関する。

数々のパターン認識問題が積分器と量子化器からなるア
ナログニューロンを相互に結合したニューラルネットに
よって解析できることがわかってきた。そして複数のニ
ューロンで構成されるニューラルネットは演算の並列性
が極めて高いという特徴がある。さらにこのようにニュ
ーラルネットで構成されるニューロコンピュータはパタ
ーン認識や知識処理、機械制御、信号処理などに利用さ
れ得ると考えられている。

例えば音声認識の分野においては入力音声情報列を音声
情報の標準パターンと対応づけることにより、入力音声
が何であるかを認識することができる。このようにニュ
ーラルネットはニューロンをネットワーク上に接続する
ことにより、超並列処理を行い、高度な情報処理を高速
に行うことができ、広範囲な分野での利用が期待されて
いる。

そしてニューラルネットの性能を引き出すために必要と
されるニューロンのハードウェア化の実現が待たれてい
る。

第９図はニューロンモデルのブロック図である。

ニューロンモデルはニューラルネットの各ノードにあた
る処理要素であり、ユニ・ノドと呼ばれている。神経回
路網、すなわちニューラルネ・ノドの場合には、ユニッ
トと伝達線とを合わせてニューロン、すなわちユニット
と呼び、伝達線とユニ・ノドとの結合点をシナプス結合
と呼ぶこともある。それぞれの結合には重みと呼ばれる
量が付加されている。この重みはユニット間の相互作用
の強さを表すパラメータであって通常Ｗ、ｈでユニ・ノ
ドｈからユニットｉへの結合とその結合の重みの両方を
さす。ネットワークの学習は通常この重みを変化させる
ことで実現される。ニューラルネ・ノドの全ユニットの
内部状態をネットワークの状態というが、各ユニットで
はＸ、が内部活性化レベルと呼ばれる内部状態になって
いる。

各ユニットｉは前段のユニットからの重み付入力を受け
て、その総和を計算し、その値に適当な非線形関数ｆを
ほどこしたものを出力とする。すなわち、ニューロンモ
デルは第９図に示すように他のニューロンモデル、すな
わち他のユニットからの出力ｙ６に対して ｘ！　＝Σ　）Ｉｈ’Ｗ、ｈ＋θ　　・　・　・　・　
・＋１））’ｔ　　＝　ｆ（Ｘｔ　　）　　　　　　　
　・　・　・　・　・（２）の処理を行って出力するも
のである。

ここで、ｙ、はユニットｈの出力、Ｙｉ　はユニットｉ
の出力、Ｗｉｈはｉユニットとｈユニット間のリンクの
重み、ｆは非線形関数、θは闇値である。

ニューラルネットは、このようなユニットをネットワー
ク上に接続したものである。

ニューラルネットにおける学習の方式は種々あり、例え
ば誤り訂正型の方法が使われる。この方式は、ネットワ
ークにある結合の重みのパターンをその時点で与え、も
し、そのパターンが間道っていた場合にはその結合の重
みを修正するという　　を与え、ネットワークから出力
された出力値が目繰り返しによって最終的に正しいパタ
ーンを求め　　的の解でなければ、この重みパターンを
その誤差るというものである。　　　　　　　　　　　
　　　　が小さくなるように変えていくことになる。

〔従来の技術〕

第１０図は従来の階層構造ニューラルネットの概念図で
ある。同図において、■はニューロンモデルのユニット
、■はシナプス結合のアークで、■１〜Ｉ５は入力層の
ユニット、Ｈ１〜ＨＩＯは隠れ層のユニット、０１〜０
４は出力層のユニットである。入力層の各ユニット１１
〜！５はそれぞれ後段のユニッ）Ｈ１〜ＨＩＯに共に接
続され、例えば１１はＨ１〜ＨＩＯにすべて接続された
完全グラフになっている。このように、ニューラルネッ
トを階層化することにより、例えば、出力層における出
力信号と帰還信号との２乗誤差を最小にするように、出
力層から逆向きに入力層に向かって、結合の重みを修正
していくという誤り逆伝搬学習の法則が利用できる。す
なわち、学習時には例えば結合における重みとして適当
なパターン〔発明が解決しようとする課題〕 従来の階層構造のニューラルネットは各層をそれぞれ別
にハードウェアで実現していたため、多量のユニット配
置と膨大なユニット間接続を必要とし、従って、多くの
ハード量と非常に複雑な回路とを必要とする、という問
題点が生じていた。

本発明は、単層のハードウェアを時分割多重化使用して
等価的に多層化することを可能とすることを目的とする
。

〔課題を解決するための手段〕

第１図は本発明の構成図である。複数のニューロンモデ
ルを相互に接続することにより形成されるニューラルネ
ットにおいて、時分割多重化アナログ信号３を外部から
のデジタル重みデータ４との積を生成し、かつその積を
時分割的にコンデンサを介して加えることにより積分し
、単層ユニット集合手段６は非線形出力関数を通した電
圧を時分割的に出力することを可能とするニューロンモ
デルのユニット５を複数設置して単層のユニット集合を
形成し、帰還手段７は前記単層ユニット集合手段６の出
力を同じ単層ユニット集合の入力部に帰還し、制御手段
８は前記単層ユニット集合手段６から出力される各ユニ
ット５からのアナログ信号を時分割多重化し、さらに前
記帰還手段７を介して前記単層ユニット集合手段６を時
分割多重使用するための制御を実行し、単層構造のユニ
ット集合手段６を時分割多重使用することにより等価的
に階層構造のニューラルネットを形成することを特徴と
する。

〔作　　　用〕

本発明のニューラルネットでは、単層のユニット集合の
ハードウェアを時分割多重使用することにより、等価的
に階層構造ニューラルネットを形成している。さらに、
ニューラルネットにおいて、ユニット間の結合重みを可
変にできる。

〔実　　施　　例〕

次に本発明の実施例を図面を参照して説明する。

第２図は、本発明の階層構造ニューラルネ７）の構成の
概念図である。同図において、Ｕｌ、Ｕ２、Ｕ３は単層
のニューロンすなわちユニット集合である。各ユニット
から出力される出力信号は同じバスに接続された帰還手
段７によって帰還され同じユニット集合の入力になる構
造で、本発明では単層のユニッ）Ｕｌ〜Ｕ３を時分割多
重化使用して等価的に階層構造ニューラルネットを構成
するものである。

第３図は、本発明のユニ・ノドの入出力電圧の波形を示
すタイミング図である。

本発明のユニットでは、積和に対応する振幅を有するパ
ルス電圧（Ｄ＋、Ｄｚ、Ｄｉ）と重みデータ（Ｗｔ、Ｗ
ｔ、Ｗ３）を時分割で入力し、内部Ｔ：　Ｗ　ＩＤ　＋
＋Ｗ、Ｄ２＋Ｗ、Ｄ３の積和を求め、さらにその結果を
非線形関数演算し、ＣＳ、、がハイレベルのとき、その
結果り。Ｕアを出力する。そして、Ｃ３ｏｕｔの出力制
御信号を出す。本発明では、この動作を単層のユニット
集合のみを何度も使用し、等価的に多層化するものであ
る。

第４図は第２図の本発明のニューラルネットで実現され
る等価的な階層構造ニューラルネットの概念図である。

また第５図は第２図の本発明の時分割多重化使用ニュー
ラルネットの伝送波形の詳細なタイミングチャートであ
る。

第２図におい、て、Ｗデータ１、Ｗデータ２、Ｗデータ
３はユニットＵ１、Ｕ２、Ｕ３にそれぞれ入力する可変
の重みデータである。まず第５図のタイムチャートに示
されるように、データ入力線データからユニットＵ１、
Ｕ２、Ｕ３にそれぞれＹＤｌ、ＹＤ２、ＹＤ３が与えら
れ、それとともにユニッ）Ｕｌ、Ｕ２、Ｕ３にそれぞれ
重みデータＷデータ１、Ｗデータ２、Ｗデータ３が時分
割的に与えられる。すなわち、ＹＤＩと同時にＷデータ
１がユニット１１に時刻Ｉ０与えられ、次の時刻Ｔ、に
おいてＹＤ２とＷデータ２がユニットＩ２に与えられ、
次の時刻Ｔ２にＹＤ３とＷデータ３とがユニットＩ３に
与えられ、それぞれ積が計算されさらにシグモイド関数
を通る。この場合、本発明を第４図の層構造ニューラル
ネットに写像すると、ユニットの入力層１１、Ｉ２、Ｉ
３がそれぞれ本発明のＵｌ、Ｕ２、Ｕ３に対応し、入力
電圧と重み電圧との積がそれぞれのユニット１１、Ｉ２
、Ｉ３で実行されることを意味する。第４図のＩｆユニ
ットで、ＹＤＩとＷデータ１との積が計算され、さらに
シグモイド関数を通った出力値としてＹｌｌが出力され
る。これは、隠れ層のＨｌ、Ｕ２に同時に与えられるが
、第２図の本発明では隠れ層に相当するユニットも同じ
ユニットのＵｌ、Ｕ２を用いて行われるため、Ｉ１に対
応するＵｌから出力されたＹｌｌはフィードバック線か
らなる帰還手段７を介して再び帰還され、Ｈｌ、Ｕ２に
対応するＵｌ、Ｕ２に時刻Ｔ、で与えられる。このとき
の重みデータはそれぞれＷデータ１、Ｗデータ２で、同
様にＹｌｌとともにＨｌ、Ｕ２に対応するＵＩ　Ｕ２に
与えられる。同様に、第４図では、ＹＤ２とＷデータ２
との積はＩ２で計算され、その中にあるシグモイド関数
を介してＩ２からＹＩ２が出力され、それがＨｌ、Ｕ２
に与えられる。これを第２図で説明すれば、Ｉ２の処理
はＵ２で行われるため、Ｕ２から出力されるＹ■２はフ
ィードバック線を介して再び帰還され、Ｈｌ、Ｕ２に相
当するＵｌ、Ｕ２にそれぞれ同時に時刻Ｔ、で与えられ
る。同様に、Ｉ３において実行されたＹＤ３とＷデータ
との積のシグモイド関数出力値はＹＩ３で、これも第４
図では、Ｈｌ、Ｕ２ともに与えられるため、第２図の本
発明ではＨｌ、Ｕ２に対応するＵｌ、Ｕ２に同時に時刻
Ｔ５において与えられる。

第４図において、Ｈｌ、Ｕ２に人力されるＹｌｌ、ＹＩ
２、ＹＩ３の各々にＷデータ１、Ｗデータ２、Ｗデータ
３をそれぞれ掛ける掛算動作が実行される。本発明では
、第５図に示されるように、この掛算動作は異なる時刻
Ｔ３、Ｉ４、Ｔ、で実行され、その総和に対するシグモ
イド関数を通した出力値がＹＨＩである。同様にユニッ
）Ｕ２においてもＹｌｌ、ＹＩ２、ＹＩ３の各々に重み
データＷデータ１、Ｗデータ２、Ｗデータ３が掛けられ
、その総和がＵ２で実行されシグモイド関数の値がＹＨ
２となる。この動作は時分割で行われる。

すなわち、後者の場合、ＹｌｌとＷデータ１、ＹＩ２と
Ｗデー夕２、ＹＩ３とＷデータ３はそれぞれ異なる時刻
Ｔ３、Ｔ　４　、Ｔ　ｓでＵ２に対応するＵ２に入力さ
れ、それらの総和のシグモイド関数が出力され、その結
果のＹＨ２が出力されるタイミングはＹＨＩと異なり、
時刻Ｔ、である。

本発明ではこのように、Ｈｌ、Ｕ２に対しても同じＵｌ
、Ｕ２を用いて時分割処理が実行される。

また、出力層０１．０２．０３も同様に本発明ではＵｌ
、Ｕ２、Ｕ３を用いて実行される。すなわち、第５図に
示されるように、Ｈｌに対応するＵｌから出力されるア
ナログ電圧ＹＨＩは０１．０２．０３に対応するＵｌ、
Ｕ２、Ｕ３に時刻Ｔ。

において入力され、Ｕ２に対応するＵ２からの出力ＹＨ
２は０１．０，２．０３に時刻Ｔマにおいて与えられる
。すなわち、本発明ではＨｌと０１は同じユニットＵ１
であり、Ｈ２と０２は同じユニットＵ２であり、０３は
Ｕ３に対応するため、ＹＨｌと重みとの積は０１．０２
．０３に対応するＵｌ、Ｕ２、Ｕ３において同時に行わ
れる。ＹＨ２と重みデータとの積は異なる時刻Ｔ、にお
いて０１．０２．０３に対応するＵｌ、Ｕ２、Ｕ３で同
時に行われる。そして０１．０２．０３に対応するＵｌ
、Ｕ２、Ｕ３の各ユニットにおいて、積和がＴｂとＴ、
で計算されシグモイド関数を通した出力値としてＹＯＩ
、ＹＯ２、ＹＯ３が時刻Ｔｌｌ、Ｔ９、ＴＩＯにおいて
出力される。なお、第５図に示される制御信号Ｃ３Ｉ、
Ｃ３２、Ｃ３３、ＣＳ４は入力信号と重みデータとの積
をとりシグモイド関数を出すまでの計算の実行を可能と
する制御信号であり、例えば、Ｃ３ＩはＵｌが実行状態
となるときに１となるパルスである。そのためＹｌｌ、
ＹＨＩ、ＹＯＩがそれぞれ、時刻Ｔ３、ＴいＴ８で入力
され、それに対応する重みデータが入力されているとき
に１となっているパルス）言号である。同様にＣ３２は
ＹＩ２、ＹＨ２、ＹＯ２がＵ２に入力されているときに
１となるパルス信号で、Ｃ３３はＹＩ３、ＹＨ３、ＹＯ
３がＵ８に入力されているときに１となるパルス信号で
ある。

また、制御信号Ｃ３４はユニットＵ３から出力されるも
ので、Ｕ３の演算実行後に出されるパルスとなる。

このように本発明では、単層のユニット集合を時分割多
重使用して等価的に階層構造のニューラルネットを構成
するものである。

第６図は本発明のユニットのブロック図である。

（１）部は入力部である。入力信号は前時刻の複数のユ
ニットから出力された時分割アナログ入力である。この
入力パルス電圧は、入力インピーダンスが無限大で、出
力インピーダンスが０である１倍のアンプすなわち、バ
ッファで整形され、出力されるが、この入力部にオフセ
ットキャンセル機能がある。オフセントキャンセル制御
部からオフセットコントロール信号が与えられると、オ
フセットキャンセル部を介してそのバッファに強制的に
Ｏ電圧が入力され、次段に接続される各部のオペアンプ
の出力にオフセント電圧を発生させ、後述する機能によ
りオフセントをキャンセルするようにしている。

（ｎ）部は掛算部である。入力部から出力された時分割
アナログ信号の各アナログ信号パルス電圧を正負切換回
路に入力し、デジタル重みデータの符号ピッ）（ＳＩＧ
Ｎ）に従って興奮性の正電圧または抑制性の負電圧に切
り換え、Ｄ／Ａコンバータに人力する。Ｄ／Ａコンバー
タにはデジタル重みデータの数値ビットのＭＳＢからＬ
ＳＢまで入力され、正負切換回路から出力された電圧を
Ｄ／Ａコンバータの内部にあるＲ−２Ｒ方式の抵抗回路
に与える。このことにより、数値ビットに対応した重み
電流がＲ−２Ｒ方式の抵抗回路に流れ、結果として、Ｄ
／Ａコンバータの出力には、アナログ信号とデジタル重
みデータとの積が生成され、バッファから出力される。

この掛算部（ｎ）の機能によりニューロン間の重みが可
変にでき、ニューラルネットの特性を動的に変化させる
ことができ、外部制御によりネットワークの学習が可能
となる。

（ＩＩＩ）の部分は加算部である。ここでは、掛算部の
結果、すなわち時分割多重化アナログ信号とデジタル重
みデータとの積の結果の電圧は積分器に入力されるが、
入力される信号は振幅値の異なるパルス電圧であり、こ
れが時分割で入力されるので、時分割加算制御部の制御
に従って次段の積分器の内部にあるコンデンサにそのア
ナログ信号とデジタル重みデータとの積の和が貯えられ
る。

さらにオフセントキャンセル制御部の制御に従って入力
電圧を強制的に０にした時のコンデンナの電圧をスイッ
チによって反転させ、実際の入力が加算された結果から
このオフセント電圧を引くことによりオフセット電圧を
キャンセルしている。

この回路によって精度が低下することを防いでいる。

（ＴＶ）の部分はサンプル／ホールド部である。

積分器の出力が（ＩＶ）部のサンプル／ホールド部に入
力され、コンデンサにその値がホールドされるが、ここ
でも、オフセットキャンセル機能を持たせている。すな
わちオフセントキャンセル制御部からの制御に従って次
段の回路に発生するオペアンプのオフセット電圧をオフ
セットキャンセル部にフィードバックし、そのオフセッ
ト電圧をキャンセルするようにしている。

（Ｖ）の部分はシグモイド関数発生回路で、サンプル／
ホールド部においてサンプル／ホールドされたアナログ
信号とデジタル重みデータとの積の和がシグモイド関数
回路に入力される。

（Ｖｌ）の部分はの出力部である。本発明ではユニット
から次の時刻へのユニット（ただし、同一の層にある）
へは必ず時分割のアナログ電圧で伝送するため、出力制
御部に入力される出力制御入力信号の制御により、シグ
モイド関数によって生成された出力電圧は時分割アナロ
グ出力部によって適当な時間に出力される。また、ユニ
ット間の相互の時間間隔を制御するために出力制御出力
信号が外部に伝送される。

第７図は、本発明のニューラルネットのユニットの詳細
図である。本発明のユニットでは入力部（Ｉ）、掛算部
（■）、加算部（■）、サンプル／ホールド部（■）、
非線形関数部（■）、及び出力部（Ｖｌ）から構成され
ている。

入力部（１）はオフセットキャンセル部１１と、１倍の
バッファ９から構成されている。１倍のバッファ９はオ
ペアンプの出力を一端子にフィードバックし、十端子に
入力電圧を人力することによって構成される。データ入
力はアナログの時分割されたパルス信号である。ＯＣは
オフセットコントロール信号であり、これが１のときア
ナログスイッチ２６がオンし、１倍のバッファ９には、
０電圧が強制的に設定される。一方、オフセットコント
ロール信号ｏＣが、０のときアナログスイッチ２６はオ
フされ、アナログスイッチの他方２５がオンし、データ
入力が１倍のバッファ９に入力される。すなわち、オフ
セットコントロール信号ＯＣが１である場合には、ニュ
ーロンモデルのユニットにはＯボルトが強制的に入力さ
れて次段の回路のオペアンプの出力に生じるオフセット
電圧に対するオフセットのキャンセルの動作を行うよう
にしている。

正負切換回路１２は２つの倍数器をカスケード結合して
構成されている。倍数器では入力抵抗（１０にΩ）とフ
ィードバック抵抗（ＩＯＫΩ）によって１０／１０、す
なわち１倍の電圧の反転したものが形成され、それを１
段だけを通すか、２段を通すかによってアナログ電圧の
符号を決定している。

その制御電圧はデジタル重みデータの符号ビット（ＳＩ
ＧＮ）であり、この５ＩＧＮビツトはＭＯＳスイッチ３
０のゲートに接続されている。符号ビットが１である場
合に入力部からの入力電圧は第１段目の倍数器で反転さ
れ、さらにスイッチ２７もオンしているので後段の倍数
器も通り、結果として正相となる。また符号ビットがＯ
である場合には、反転回路２８を介して、スイッチ２９
がオンとなる。この時スイッチ２７と３０はオフしてい
るため、入力部からの入力電圧はスイッチ２９を介して
後段のオペアンプ３１の一端子に入力される。従って、
前段の抵抗３２と後段のオペアンプのフィードバックの
抵抗３３とによって倍数器が形成され、１倍された形で
反転される。すなわち、符号ビットの正負によって入力
部の入力が正または負の電圧として形成され、これが、
興奮性と抑制性のシナラプス結合に従った電圧となる正
負切換回路１２からの出力は掛算部の中にあるＤ／Ａコ
ンバータ１３のＲ−２Ｒ低抵抗路網の３４の点に入力さ
れる。

Ｒ−２Ｒ方式のＤ／Ａコンバータをまず説明する。

ＭＳＢからＬＳＢまでのデジタル重みによって内部のス
イッチはオンまたはオフをとる。デジタル値が１である
場合に、電流は右側のスイッチ３５を通って、オペアン
プ３６の仮想接地点３７′に流れ込む。オペアンプ３６
の仮想接地点３７′は＋端子と同じ電圧になるように制
御され、これがグランドであるから仮想的な０ボルトで
ある。スイッチの状態に関わらず、２Ｒの抵抗には電流
が流れ、デジタル値の値に従ってその２Ｒに流れる重み
電流が仮想接地点３７′の方に流れるかどうかが決定さ
れる。１香石の２Ｒに流れる電流をｉとする。右から２
番目すなわちＬＳＢに対応する２Ｒは１番台の２Ｒに係
る電圧を２Ｒで割った値であるから２Ｒｘｊ÷２Ｒでｉ
となる。従って１番台の横方向のＲには電流１７１１（
流れる。右から３番目の２Ｒには２Ｒｘｉ＋Ｒｘ２１の
電圧がかかり、これを２Ｒで割るから２１の電流が流れ
る。

以下同様で左に行くに従って４ｉ、８ｉとなって２のべ
き乗で増える電流になる。この２のべき乗になった重み
電流をオペアンプの方に流すか流さないかを決めている
のがＭＳＢからＬＳＢである。

従って、デジタル重みに対応する電流か２のべき乗の形
で仮想接地に入りこみ、オペアンプの入力インピーダン
スは無限大であるから、この電流がオペアンプ３６の帰
還抵抗３７に流れる。従って、出力電圧■。。、は入力
電圧をＥとすれば、＋　・　・　・　＋２”−’　　Ｘ
ＤＩＩ−１）となる。ここで、ＤｏはＬＳＢで、Ｄ□１
がＭＳＢであるとする。すなわち、掛算部の出力は入力
電圧に重みを掛けた値になっている。その重み係数はＭ
ＳＢからＬＳＢに入力されるデジタル値で制御されるこ
とになる。

次に加算部（ＩＩＩ）を説明する。加算部（ＩＩＩ）は
３８のＲ７と帰還キャパシタＣ７による積分器である。

加算部の入力部には時分割加算制御部１５があり、サン
プル／ホールド信号Ｓ／Ｈ信号が１のとき掛算部の出力
電圧がオペアンプの仮想接地点３９に人力され、Ｓ／Ｈ
信号が０のとき反転回路４０によりスイッチ４１がオン
となって掛算部の出力がＲ１を介してグランドに接続さ
れるので加算部の帰還キャパシタＣＴには加算されない
ことになる。今、Ｓ／Ｈ信号が１のとき、掛算部の出力
電圧はＲ７を介してオペアンプ３９の一端子に入力し、
入力電圧をＲ７で割った電流が仮想接地を介して帰還キ
ャパシタＣＴの方に入力される。

キャパシタＣ１を含む積分回路の帰還回路４２には４つ
のスイッチを用いてオフセットキャンセル機能が付加さ
れている。今オフセットコントロール信号ＯＣが１にな
ったとすると、スイッチ４３と４４がオンで、４５と４
６がオフとなる。オフセットコントロールＯＣは入力部
２にも入力され、これが１である場合にはデータ入力は
強制的には０にされる。この場合、正負切換回路及び掛
算部のＤ／Ａコンバータを介してもしオフセットがなけ
れば、Ｄ／Ａコンバータの出力は０ボルトとなる。しか
し、オペアンプがあるためにオフセット電圧が生じ、そ
のオフセット電圧が加算部のＣ？に蓄えられる。オフセ
ントコントロール信号ＯＣが０のときには、データイン
プットに入力電圧が与えられ、それに対応する掛算部の
出力がＲｔを介してＣＴに入力される。この場合、前の
オフセットコントロール信号が１である場合と違ってＣ
７の十−の極性は逆である。そのため、入力信号が入力
されたときに生じるオフセント電圧はＯＣを１にするこ
とにより、ＣＴの極性が変わり、結果として、オフセッ
トがキャンセルされることになる。なお、スイッチ４７
はリセット信号によって制御され、リセット信号が与え
られた場合に、加算部の出力を強制的にＯにリセットす
るものである。

加算部（ＩＩＩ）の出力はサンプル／ホールド回路５の
入力となる。サンプル／ホールド部５では、サンプル／
ホールド制御信号Ｓ／ＨＯＩＪＴが１である場合に、ス
イッチ４８を介して加算部４の出力がコンデンサＣｈに
蓄えられる。Ｓ／ＨｏｕＴ信号が１である場合には、反
転回路５４′によってスイッチ５０の制御信号はＯとな
り、コンデンサＣｈの一方の端子はグランドに接地され
ず、スイ・７チ５１がオンになることによりユニットの
最終出力データの信号がそのスイ・ノチ５１を介・して
入力される。すなわち、その時の最終出力信号がフィー
ドバックされてコンデンサＣ６の下側に与えられる。従
って、Ｃｈのコンデンサには、加算器の出力から最終出
力データの値を引いた電圧が保持される。一方Ｓ／Ｈｏ
ｕｒ制御信号が００ときには、スイッチ４９と５０がオ
ンし、コンデンサＣｈの下側はグランドとなり、結果と
してＣｈに蓄えられた電圧、すなわち加算部の出力から
最終出力値を引いた電圧値がスイッチ４９を介して１倍
のオペアンプの＋側に人力される。そしてバッファ５３
を介してシグモイド関数の入力となる。また、Ｓ／Ｈｏ
ｕＴ制御信号が１のときスイッチ４８がオンし、Ｃｈに
は加算器の出力値と最終出力値との差の電圧が蓄えられ
ているときには、スイッチ５２がオンしている。そのた
めバッファ５３には０ボルトが強制的に入力される。こ
の時にシグモイド関数及びオペアンプを介してデータア
ウトにはオフセット電圧が生成される。これがスイッチ
５１を介してＣｈの下側に入力される。従ってＳ／）（
ｏｕ↑制御信号がＯの時点、すなわちスイッチ４９がオ
ンでスイッチ５２がオフである場合には、Ｃ１に蓄えら
れた電圧、すなわち（加算部の出力−オフセット電圧）
がバッファ５３とシグモイド関数を介して最終出力にな
るが、オフセットコントロール信号ＯＣが１になると、
この時に生成されるオフセット電圧もΔＶであるから結
果としてオフセット電圧がキャンセルされることになる
。

シグモイド関数を生成する非線形関数部（Ｖ）は非線形
回路選択制御部２２があり、Ｓｅ１５１ｇ信号を１にす
るとスイッチ５５がオンし、シグモイド関数がオペアン
プ５６に入力される。しかし、Ｓｅ１５１ｇ信号がＯの
時には反転回路５７を介してスイッチ５８の制御信号が
１となってそれがオンし、シグモイド関数の出力はカッ
トされる。すなわちＳｅ１５１ｇ信号がＯの時には、サ
ンプル／ホールドの出力電圧がシグモイド関数を介さず
に直接オペアンプ５６に入力される。オペアンプ５６は
本質的には出力を一端子に直接帰還する１倍のオペアン
プでバッファの働きをする。

すなわち出力インピーダンスをＯにするバッファとなる
。

出力部（Ｖｌ）には時分割アナログ出力部２４と出力制
御部２３が接続されている。Ｃ３ｌＮが１のときにはス
イッチ５９がオンで、スイッチ６１もオンであるため、
最終出力値が一端子にフィードバックされて、１倍のオ
ペアンプとして働く。それと同時に最終出力値がサンプ
ル／ホールド部５にフィードバックされる。一方、Ｃ３
ｌＮが０のときスイッチ６０がオンになり、スイッチ６
１がオフになる。すなわちバッファ５６の出力はデータ
アウト線には出力されないことになる。しかし、スイッ
チ６０がオンすることによって１倍のバッファを形成す
るようにしているため問題なく実行される。出力制御部
２３はＣ３ｌＮによって出力パルス電圧を伝達するかど
うかを決める回路である。

このＣ３ｌＮをデイレイ回路を介してＣ３ｏｕｔにし、
他のユニット（ただし、同じ層にある）に対する出力ア
ナログ信号の時間タイミングを決定することになる。す
なわち、本発明では出力部からのアナログ信号は時分割
で伝送されるため、他のユニットからのアナログ信号と
競合しない。

第８図は本発明のニューロボードのブロック図である。

同図において、６２はバスインターフェース部で、ニュ
ーロボードとシステムとのインターフェースを行うもの
、６３は入出力制御部でネットワーク部へのデータの入
出力を制御するもの、６４はネットワーク部で単層のユ
ニット集合で時分割多重使用により等価的に階層構造の
ニューラルネットが形成されているもの、６５はメモリ
でニューラルネットのデジタル重みデータを格納するも
の、６６はネットワーク制御部でネットワークの単層構
造を時分割多重使用により多層化するための同期制御信
号を出力する制御部である。

本発明のニューロボードでは、ネットワーク制御部６６
でユニット総数よりネットワーク構造を決定し、かつユ
ニットの重みはメモリ６５より出力され、学習時に刻々
と変わる重みデータもこのメモリに入力される。またネ
ットワーク６４へのデータ入出力は入出力制御部６３よ
り行われ、結果として層構造ニューラルネットの学習及
び実行処理がニューロボードレベルで行われる。

〔発明の効果〕

本発明によれば、単層のユニット集合のみのハードウェ
ア構成で、等価的に階層構造のニューラルネットを実現
することができ、従って大量のユニット配置とユニニッ
ト間接続を必要とせず、極めて実用的なニューラルネッ
トを構成することができる。

【図面の簡単な説明】

第１図は本発明の構成図、 第２図は本発明の階層構造のニューラルネットの概念図
、 第３図は本発明のユニットの入出力電圧の波形を示すタ
イミング図、 第４図は第２図の本発明のニューラルネットで実現され
る等価的な階層構造ニューラルネットの概念図、 第５図は第２図の本発明の時分割多重化使用ニューラル
ネットの伝送波形のタイミングチャート、第６図は本発
明のユニットのブロック図、第７図は本発明のニューラ
ルネットのユニットの詳細図、 第８図は本発明のニューロボードのブロック図、第９図
はニューロンモデルのブロック図、第１０図は従来の階
層構造ニューラルネットの概念図である。 ３　・・・　時分割多重化使用アナログ信号４　・・・
　デジタル重みデータ ５　　・　・　・ ６　　・　・　・ ７　　・　・　・ ８　　・　・　・ ■　１〜■５ １−ＨＩＯ ０１〜０４ ・・・　出力層のユニット 入力層のユニット ユニット 単層ユニット集合部 帰還部 制御部 隠れ層のユニット

Claims (1)

1. 【特許請求の範囲】 １）複数のニューロンモデルを相互に接続することによ
   り形成されるニューラルネットにおいて、時分割多重化
   アナログ信号（３）を外部からのデジタル重みデータ（
   ４）との積を生成し、かつその積を時分割的にコンデン
   サを介して加えることにより積分し、非線形出力関数を
   通した電圧を時分割的に出力することを可能とするニュ
   ーロンモデルのユニット（５）を複数設置して単層のユ
   ニット集合を形成する単層ユニット集合手段（６）と、 前記単層ユニット集合手段（６）の出力を同じ単層ユニ
   ット集合の入力部に帰還する帰還手段（７）と、 前記単層ユニット集合手段（６）から出力される各ユニ
   ット（５）からのアナログ信号を時分割多重化し、さら
   に前記帰還手段（７）を介して前記単層ユニット集合手
   段（６）を時分割多重使用するための制御を実行する制
   御手段（８）とを有し、 単層構造のユニット集合手段（６）を時分割多重使用す
   ることにより等価的に階層構造のニューラルネットを形
   成することを特徴とする階層構造ニューラルネット。 ２）請求項１記載のニューラルネットにおいて、ユニッ
   ト間の結合重みを可変にできることを特徴とする階層構
   造ニューラルネット。