JPH02292689A - 学習型神経回路 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） 本発明は、人間の神経細胞における信号処理をモデル化
し、電気的に実現する゛学習型神経回路に関する。

（従来の技術） 人間の神経細胞における信号処理をモデル化したものと
して、従来からニューロンモデルおよびニューラルネッ
トが知られているが、人間の神経系の構造および機能を
簡単にまとめると、以下のようになる。

（ｉ）神経は神経細胞（ニューロン）、神経細胞から延
びる軸索、およびこの軸索と他の神経細胞を結ぶシナブ
ス結合からなる。

（１１）神経相互間の結合関係には強め合う興奮性のも
のとの弱め合う抑制性のものとがあり、その度合はシナ
ブスによって制御される。

（ｉｉｉ）神経細胞は他の神経細胞からの出力を興奮性
および抑制性のシナプスを介して集め、更にその入力の
総和を非線形変換し、軸索に出力する。

（ｉ▼）実際に神経系で伝達される情報はインパルス密
度によって表現される非負のアナログ量でる。

以上記載したような神経の構造と動作を電気的に実現し
たり、または計算機上で論理的に実現したものがニュー
ロンモデルである。

第６図は現在最もよく使用されているニューロンモデル
の一例を示す図であり、上述した（ｉ）〜（ｔｉＢで示
した特徴をモデル化したものである。すなわち、第６図
に示すニューロンモデルは、神経細胞にあたるユニット
ｊと、軸索にあたるコネクションと、シナブス荷重を表
す重みＷＩ１〜ＷＮ．とからなり、以下のように他のユ
ニットからの入力と重みとの積和をとり、非線形変換す
るものである。

出　　力　　ＯＨ　　−ｆ　　（ｎｅｔ１）ｆ　　（Ｘ
）　　−　１／　　（１＋ｅ−”）ここで、ｘ＋（１〜
Ｎ）は他のユニットｉからの人力、Ｗ．は他のユニット
ｉから現在対象とじているユニットｊへのコネクション
上に定義される重み、ｆはＳ　ｉ　ｇｍｏ　ｉ　ｄ関数
と呼ばれる非線形変換の関数の例である。

以上説明したような人工的なニューロン（ニューロンモ
デル）を多数集めて相互に接続して構成したネットワー
クがニューラルモデルであり、ニューラルモデルが人間
の学習と同様に自己組織的な学習機能を実現できること
で最近注目を集めている。ここで学習機能とはある入出
力関係を満足するように各コネクションの重みを調整し
てゆくことである。

上述したようなニューロンモデルを電気的に実現する神
経回路としては、従来からアナログ回路によるものと、
ディジタル回路によるものとの２つの方法が考えられて
いる。アナログ回路によるものは、他のユニットからの
入力をアナログ電圧値で表現し、重みに対応する抵抗を
介してコンデンサで積分し、オペアンプから出力電圧を
得るというものである。

（発明が解決しようとする課題） 上述したようにアナログ回路によって二二一ロンモデル
を電気的に実現する神経回路は、重みを可変抵抗で実現
するために正負にわたる重みの調整を人手なしに自動的
かつ電気的に実現することが困難であり、ＬＳＩ化にも
不向きであるという問題がある。

また、ディジタル回路によるものは、神経細胞の前述し
た特徴（ｉｙ）に着目して、入出力の大きさをパルス密
度で表現し、レート・マルチ・ブライヤーで重みに応じ
てパルス密度を変換し、アップ／ダウンカウンタで積分
値を計算（２、更に積分値をレート・マルチ・ブライヤ
ーでパルス密度へ変換しているが、この方式では各入力
からのパルス列をアップ／ダウンカウンタで数えること
により積分値を算出しているので、複数のユニットから
の入力パルス列の干渉を防止するために時分割多重化を
必要とし、神経回路の特長である並列処理性を損なうと
ともに、多入力の神経回路を実現するには回路．規模を
増大化したり、入力数またはコネクション数の増減に対
して柔軟に対応できなかったり、多重化のために高速動
作となり、消費電力が大となる等の問題がある。

本発明は、上記に鑑みてなされたもので、その目的とす
るところは、アナログ回路とディジタル回路の特長を生
かして並列処理性を損なうことなく、入力数／コネクシ
ョン数の増減に対して柔軟に対応でき、ＬＳＩ化にも適
する学習型神経回路を提供することにある。

〔発明の構成〕

（課題を解決するための手段） 上記目的を達成するため、本発明の学習型神経回路は、
パルス密度で表される複数の入力信号および該複数の入
力信号にそれぞれ対応し、パルス幅で表される複数の重
み信号のうち、互いに対応する入力信号と重み信号とを
それぞれ積算する複数の積算手段と、該複数の積算手段
の各出力を対応する重み信号の正負制御信号に応じて選
択し、それぞれ正負の出力ラインに出力する複数の選択
手段と、該複数の選択手段の正負の出力ラインをそれぞ
れワイヤードオアで接続し、複数の入力信号と複数の重
み信号との各積算出力を加算する加算手段と、該加算手
段の加算出力信号を非線形変換し、規定のパルス列に変
換する非線形パルス変換手段とを有することを要旨とす
る。

（作用） 本発明の学習型神経回路では、パルス密度で表される入
力信号とパルス幅で表される重み信号とを積算し、積算
出力を重み信号の正負制御信号に応じてそれぞれ正負の
出力ラインに出力し、各出力信号を正負別々にワイヤー
ドオアで接続したものを加算し、この加算出力を非線形
変換し、規定のパルス列に変換して出力している。

（実施例） 以下、図面を用いて本発明の実施例を説明する。

第１図は本発明の一実施例に係わる学習型神経回路の全
体構成を示すブロック図である。同図に示す学習型神経
回路は、パルス密度で表現された入力信号Ｘ，〜ＸＮお
よびパルス幅で表現される重み信号Ｗ，，−Ｗ，，をそ
れぞれ入力する複数の積算手段１ａ〜１ｎを有し、各積
算手段１ａ〜１ｎからの各積算出力はそれぞれセレクタ
手段３８〜３ｎに供給されている。各セレクタ手段３ａ
〜３ｎには重み信号Ｗ１，〜ＷＮｌの正および負の制御
信号が供給され、この正および負の制御信号に応じて積
算手段１ａ〜１ｎからの各積算出力信号が正の出力ライ
ン４ｐおよび負の出力ライン４ｎに出力されるとともに
、これらの正の出力ライン４ｐおよび負の出力ライン４
ｎはそれぞれ互いに接続され、これにより正の出力ライ
ン４ｐおよび負の出力ライン４ｎに出力された各積算信
号のワイヤードオアを取るようになっている。

正の出力ライン４ｐおよび負の出力ライン４日でワイヤ
ードオアを取られた各セレクタ手段３ａ〜３ｎからの積
算出力信号は加算手段５で加算される。加算手段５から
の加算出力信号は非線形・パルス変換手段７に供給され
て、非線形変換され、規定のパルス列に変換される。

前記積算手段１ａ〜１ｎは、それぞれ第２図に示すよう
に、入力信号Ｘがデータ人力Ｄに供給され、シフト人力
ＳＩに供給されているクロック信号ＣＬＫによって入力
信号Ｘがシフト入力され、該シフト入力された信号がシ
フト出力ＳＯに供給される信号により出力Ｑからシフト
アウトするファースト拳イン●ファースト・アウト型レ
ジスタ（以下、ＦＩＦＯと略称する）１１と、該ＦＩＦ
０１１の出力Ｑに一方の入力が接続され、他方の入力に
クロック信号ＣＬＫが供給されているアンド回路１３と
、該アンド回路１３の出力信号がクロック人力Ｃに供給
され、データ人力Ｄが＋Ｖの高レベルにつられているＤ
型フリップフロップ１５と、該Ｄ型フリップフロップ１
５の出力信号Ｘ゛が一方の入力に供給され、他方の入力
に重み信号Ｗが供給され、重み信号Ｗと入力信号Ｘとの
積算出力信号ＷＸ”を出力するアンド回路１７とから構
成されている。

また、前記セレクタ手段３ａ〜３ｎは、それぞれ第３図
に示すように、各積算手段１ａ〜１ｎの出力をダイオー
ド３１を介してトランスファゲート３３および３５に接
続し、一方のトランスファゲート３３を重み信号の正の
制御信号で選択的にゲートするとともに、他方のトラン
スファゲー１・３５をインバータ３７で反転された重み
信号の負の制御信号で選択的にゲートし、これにより重
み信号の正の制御信号でゲートされた積算出力信号を前
記正の出力ライン４ｐに出力し、重み信号の負の制御信
号でゲートされた積算出力信号を前記負の出力ライン４
ｎに出力している。なお、セレクタ手段３ａ〜３ｎにお
いて、一方のトランスファゲートがゲートされている時
、他方の選択されないトランスファゲートの出力は高イ
ンピーダンスに維持されている。また、選択されたトラ
ンスファゲートは双方向性を有するので、入力側に前記
ダイオードを挿入し、正の出力ライン４ｐおよび負の出
力ライン４ｎから積算手段１ａ〜１ｎへの逆流を防止し
ている。

各セレクタ手段３ａ〜３ｎから正の出力ライン４ｐおよ
び負の出力ライン４ｎに出力された積算出力信号は、そ
れぞれワイヤードオアを取られて、加算手段５に供給さ
れるが、この加算手段５は、第３図に詳細に示すように
、正の出力ライン４ｐ上のワイヤードオアを取られた正
の重みに関する積算出力信号および負の出力ライン４ｎ
上のワイヤードオアを取られた負の重みに関する積算出
力信号をそれぞれコンデンサ５３．５７に供給され、入
力のすべての積算出力信号が正および負毎に電荷量とし
て蓄積されるようになっている。そして、各コンデンサ
５３．５７に蓄積された正および負の電荷量をオペアン
プ５１で加算し、これにより入力信号Ｘ，〜ＸＮと正負
を考慮した重み信号Ｗ，〜ＷＮ．の最終的な積和演算を
行っている。なお、前記コンデンサ５３．５７にはそれ
ぞれ抵抗５５，５９が並列に接続されている。

次に、上述した学習型神経回路の作用を第４図のタイミ
ングチャートを参照して説明する。この学習型神経回路
の動作の基本は、一定区間に何個のパルスが入力される
かによって０〜１のアナログ量を表現する入力信号Ｘ，
〜ＸＮとパルスの高レベルの長さ、すなわちパルス幅で
表現される重み信号の絶対値Ｗ，，−ＷＮ，とを用いて
、重みのバルス幅の電荷を人力のパルス数分、電荷量と
して重みの正および負毎に積分し、更に両者を加算する
ことによって入力信号Ｘｌ−ＸＮと重み信号Ｗ１，〜Ｗ
Ｎ，との積和を計算し、この結果を非線形変換し、更に
入力信号と同様なパルス密度の出力を発生するものであ
る。

まず、各積算手段１ａ〜１ｎに入力された入力信号Ｘ１
〜ＸＮのパルス列は、第２図および第４図（Ａ）の（ａ
），（ｂ）．（ｄ）に示すように、クロック信号ＣＬＫ
の立ち上がりでＦＩＦＯＩＩにシフトインされる。そし
て、入力信号Ｘ１〜Ｘ、にパルスがある場合に、すなわ
ち入力信号Ｘ，〜ＸＮが高レベルの場合には、高レベル
の信号がＰＩＦＯＩＩに保持され、ＦＩＦＯＩＩの出力
Ｑからの信号Ｓａとクロック信号ＣＬＫとのアンドがア
ンド回路１３を介して信号ｓｂとしてＤ型フリップフロ
ップ１５のクロツク人力Ｃに供給され、Ｄ型フリップフ
ロツブ１５から出力信号Ｘ゛が高レベル信号として出力
される。この出力信号Ｘ゜は該信号Ｘ゜に立ち上がりが
同期する重み信号Ｗとのアンドがアンド回路１７で取ら
れ、ｗｘ’　の積算が行われる。この積算信号ＷＸ゜は
重み信号Ｗのパルス幅分、高レベル信号を保持し、低レ
ベルになる時点でＤ型フリップフロップ１５をリセット
するとともに、ＰＩＦＯＩＩのシフトアウトを行う。

第４図（Ｂ）および（Ｃ）はそれぞれ重み信号Ｗが１未
満の場合および１以上の場合における前記各信号Ｓ　ａ
，Ｓｂ，Ｘ’　Ｗ，ＷＸ’をそれぞれ示すタイミングチ
ャートである。一般に、重みの大きさとしては、１以上
となる場合があるので、積算手段１ａ〜１ｎとして第２
図に示すようにＦＩＦＯＩＩを使用することによってＩ
ＷＩ≧１の場合でも入力信号Ｘのパルス幅を保持するこ
とができる。

積算手段１ａ〜１ｎからの各積算出力は、それぞれセレ
クタ手段３８〜３ｎに倶給され、重みの正および負の制
御信号に応じて前述したように正の出力ライン４ｐおよ
び負の出力ライン４ｎに出力され、各積算信号のワイヤ
ードオアが取られる。

そして、正の出力ライン４ｐおよび負の出力ライン４口
上で重みの正および負の制御信号毎にワイヤードオアを
取られた積算出力信号は、加算手段５のコンデンサ５３
．５７においてそれぞれ正および負毎に電荷量として蓄
積され、オペアンプ５１によって加算され、入力信号Ｘ
，〜ＸＮと正負を考慮した重み信号Ｗ，，−ＷＮ，の最
終的な積和演算が行われる。

加算手段５で加算された積和出力信号は、電圧値である
が、非線形・パルス変換手段７に供給され、ある所定の
レベル以上は１に変換され、ある所定のレベル以下は０
に変換されるというように中間レベルを線形に変換され
、更に入力信号Ｘと同様なパルス密度列に変換される。

例えば、非線形・パルス変換手段７は、中間レベルの線
形変換に電圧制御発振器（Ｖ　Ｃ　Ｏ）を使用し、規定
のパルス列に整形し、飽和時には１に相当する規定のパ
ルス列を出力するようになっている。

第５図は第１図に示した学習型神経回路を動作させるた
めの周辺構成も含めたＬＳＩの構成例を示すブロック図
である。第１図に示すものと同じ学習型神経回路は、符
号７１として示すように、６４人力１出力を有するもの
が、６４個並べて設けられ、バッファ７３を介して６４
人力が供給され、バッファ７５を介して６４出力を発生
する６４人力６４出力の学習型神経回路を構成している
。

同図では、重み信号としてパルス幅の異なる１０２４種
類を重み信号生成回路７９に用意し、６４個の各神経回
路の各々の６４個の重みに対して４ＭｂｉｔのＤＲＡＭ
とスイッチ７７を介して１０２４種類のうちの１つの重
みを選択分散できるようにしている。また、重みの正負
の情報も４　Ｋ　ＤＲＡＭ８１に保持され、内臓のスイ
ッチを介してオン／オフの制御信号が６４ｘ６４のセレ
クタ手段に供給される。また、重みの選択情報および正
負の情報はデータパス、アドレスバスを介して各ＤＲＡ
Ｍに書き込まれるようになっている。

〔発明の効果〕

以上説明したように、本発明によれば、パルス密度で表
される入力信号とパルス幅で表される重み信号とを積算
し、禎算出力を重み信号の正負制御信号に応じてそれぞ
れ正負の出力ラインに出力し、各出力信号を正負別々に
ワイヤードオアで接続したものを加算し、この加算出力
を非線形変換し、規定のパルス列に変換して出力してい
るので、並列処理性を損なうことなく、高速な処理が実
現できるとともに、入力数の増減に対しても柔軟に対応
できる。更に、入力および重みをパルス表現することに
より正および負の制御を含めたダイナミックレンジが広
く、制御が容易な重みを実現できる。また、積算手段を
ディジタル回路で構成し、加算手段および非線形変換手
段をアナログ回路で構成することにより同一特性を実現
できる全ディジタル型の神経回路に比較して大幅に回路
規模を削減することができる。

【図面の簡単な説明】

第１図は本発明の一実施例に係わる学習型神経回路の全
体構成を示すブロック図、第２図は第１図の学習型神経
回路に使用されている積算手段の詳細な回路構成を示す
ブロック図、第３図は第］図の学習型神経回路に使用さ
れているセレクタ手段および加算手段の詳細な回路構成
を示す図、第４図は第２図に示す積算手段の動作を示す
タイミングチャート、第５図は第１図の学習型神経回路
を使用したＬＳＩの構成を示すブロック図、第６図は一
般的なニューロンモデルを示す図である。 １ａ〜１ｎ・・・積算手段、 ３ａ〜３ｎ・　・セレクタ手段、 ４ｐ・　・正の出力ライン、 ４ｎ・　・負の出力ライン、 ５・　・加算手段、 ７・　・非線形・パルス変換手段。 代理人　　弁理士　　三　好　　秀　和入力 重み ユニットｊ

Claims (1)

【特許請求の範囲】
1. パルス密度で表される複数の入力信号および該複数の入
   力信号にそれぞれ対応し、パルス幅で表される複数の重
   み信号のうち、互いに対応する入力信号と重み信号とを
   それぞれ積算する複数の積算手段と、該複数の積算手段
   の各出力を対応する重み信号の正負制御信号に応じて選
   択し、それぞれ正負の出力ラインに出力する複数の選択
   手段と、該複数の選択手段の正負の出力ラインをそれぞ
   れワイヤードオアで接続し、複数の入力信号と複数の重
   み信号との各積算出力を加算する加算手段と、該加算手
   段の加算出力信号を非線形変換し、規定のパルス列に変
   換する非線形パルス変換手段とを有することを特徴とす
   る学習型神経回路。