JPH04264666A - 人工ニューラル・ネットワークにおけるデジタル処理エレメント - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、一般的には、ニューラ
ル・ネットワークに関し、かつ、より特定的には、相互
通信のために接続されたフィードフォワードおよびフィ
ードバック処理エレメントを有するデジタル人工ニュー
ラル・ネットワークに関する。

【０００２】この出願は、１９９０年１０月２２日に、
ロバート・エム・ガードナーおよび少なくとも一人の共
同発明者によって出願されかつ本件出願と同じ譲受人、
すなわちモトローラ・インコーポレイテッドに譲渡され
た、「人工ニューラル・ネットワークのためのデジタル
・アーキテクチャ」と題する、同時係属の米国特許出願
第０７／６０１，０８５号、代理人整理番号ＣＲ０６９
９１に関連する。この出願はさらに、１９９０年１０月
２２日に、ロバート・エム・ガードナーと少なくとも一
人の共同発明者によって出願されかつ本件出願と同じ譲
受人、モトローラ・インコーポレイテッドに譲渡された
、「デジタル・ニューラル・ネットワークの計算リング
」と題する、同時係属の米国特許出願第０７／６００，
８９２号、代理人整理番号ＣＲ０６９９２に関連してい
る。

【０００３】

【従来の技術】生物学的なニューロンは、シナプスとし
て知られている重み付けがされた入力を通して刺激に反
応する１つの処理エレメントとして形成することができ
る。重み付けがされた刺激は典型的には加算されかつニ
ューロンに関連するシグモイド関数のような特定の非線
形性を通して処理される。すなわち、ニューロンの出力
信号は入力信号ベクトルと前記シグモイド関数によって
処理されるシナプスの重みとの積の合計として表わすこ
とができる。ニューロンの出力は典型的にはニューラル
・ネットワークとして知られる相互接続を形成する他の
ニューロンのシナプスに結合され、前記ニューラル・ネ
ットワークは並列様式で情報パターンを学習しかつ認識
する能力を含む多くの望ましい特性を有する。ニューラ
ル・ネットワークは特定のパターンを教えられ、かつ後
に同じパターンの歪みを受けた複写から該パターンを認
識するために求めることができる。

【０００４】技術者は長い間生物学的ニューロンの有利
な性質をその行為を電子的にエミュレートする試みにお
いて学習してきた。多くのニューラルネットワークはア
ナログ回路により実施され、そこでは複数のアナログ入
力信号が同時に各々のニューロンに印加されかつ同じ数
のシナプスの重み（ｓｙｎａｐｔｉｃ　　ｗｅｉｇｈｔ
ｓ）によって乗算され、その結果が加算されて非線形関
数により処理される。従って、各シナプスに対しアナロ
グ入力信号を受けるように結合された対応する入力端子
および該アナログ入力信号およびシナプスの積を与える
ための物理的な乗算器が存在する。該乗算器は従って物
理的に同じ数のシナプスに割り当てられ、後者はＭＯＳ
トランジスタのフローティングゲートのようなアナログ
メモリ・ロケーションによって与えることができる。例
えば、アナログニューラル・ネットワークの６４ニュー
ロンの構成においては、従来技術は６４×８０アレイの
釣合ったシナプスおよび乗算器を使用する。乗算器およ
びシナプスは典型的には大きな領域を必要とするから、
ニューロン・ネットワークの物理的なサイズは、非常に
大規模な集積設計技術をもってしても、ニューロンの数
が増加するに応じて急速に増大する。２５６程度のニュ
ーロンにより単一集積回路パッケージの使用が不可能に
なるが、それはシナプスおよび乗算器によって要求され
る過剰な領域のためである。実際のニューラル・ネット
ワークはしばしば単一の有用な機能を達成するために何
千ものニューロンを使用しかつより複雑な活動のために
膨大な数のニューロンを使用する。従って、伝統的なニ
ューラル・ネットワークのためのアナログ構造はこの技
術の将来の成長に対し望ましくない実際上の制限を課す
かもしれない。アナログ構成では普通の物理的なマッピ
ングの冗長な性質によって妨害を受けないより効率的な
ニューラル・アーキテクチャが必要である。

【０００５】さらに、アナログ入力信号を並列に処理す
るニューラル・ネットワークのために必要な多くの外部
ピン数を考慮する必要がある。６４ニューロンの集積回
路パッケージの前の例は電源およびいろいろな制御信号
のための端子を考慮した場合、２００またはそれ以上の
ピンを使用するかもしれない。多数のピンは主として各
々のシナプスのための乗算器の物理的マッピングにより
駆動され、各々のシナプスに対し専用の入力端子および
それらの間に結合された導体を必要とする。技術が進歩
しかつ集積回路あたりのニューロンの数が増大するに応
じて、外部ピン数はそれに応じて十中八九増大するであ
ろう。ニューロンの数が例えば２５６に増大すると、集
積回路パッケージのピン数は３００ピンを超えるように
なり、これは、すべてではないにしても、大部分の伝統
的な集積回路パッケージ技術において受け入れ難いもの
である。アナログ入力信号を時間多重する試みは実際上
非常に困難であることがわかっている。従って、ニュー
ラルネットワークのアナログバージョンは一般に有用な
ニューラル・ネットワークにおいて並列アナログ入力信
号の有り得る巨大なアレイをサポートするために必要な
集積回路の物理的領域および外部ピン数に関する制約に
よりその中に含まれるニューロンの数に対して課せられ
る制限を被る。

【０００６】しばしば、新しい問題を解決しかつそれに
より資源のより効率のよい使用を行なうためにシナプス
の重みおよび人工ニューラル・ネットワークのニューラ
ル相互接続の再プログラミングを行なうことが望ましい
。不幸にして、上に述べたアナログニューラル・ネット
ワークはまた、ＭＯＳトランジスタのフローティングゲ
ートに電荷として蓄積された重み付け値が変化するのに
数ミリセカンドを必要とする点で、シナプスの重みおよ
びニューラル構造の相互接続を動的に再規定することに
関しいくらか柔軟性を欠く傾向にある。ＭＯＳトランジ
スタのフローティングゲートは各々のシナプスに対し整
合されたものでありかつ典型的には直列にプログラムさ
れ、従ってニューラル・ネットワーク内のすべての重み
を調整するためには数秒を必要とするかもしれない。 電子的な条件では、数秒は極めて長い時間であり、多く
の音声およびパターン認識の用途において使用するため
にはあまりにも長すぎる。その上、アナログニューラル
・ネットワークの物理的なマッピングおよびハードワイ
ヤーの相互接続はしばしば予め規定されておりかつ柔軟
性を欠き、学習および行動的な変更を困難にする。さら
に、アナログ要素は一般に温度に依存し易くそのような
装置をシナプスの重みおよび乗算操作に対する高い分解
能で設計することを困難にする。アナログニューラル・
ネッツトワークは典型的には非常に高速であるが、その
ようなアーキテクチャは大きさ、柔軟性および精度にお
いて制約され、それにより技術上、デジタル手法のよう
な、他のアーキテクチャを探求する必要性を与える。

【０００７】

【発明が解決しようとする課題】従って、ニューロンあ
たりのシナプスの数にかかわりなく所定の数のデータ入
力端子を有するデジタルアーキテクチャを使用する改良
されたニューラル・ネットワークに対する必要性が存在
し、該デジタルアーキテクチャはシナプスの重みおよび
ニューラル相互接続を他の問題を解決するために動的に
再割当てできるようにしながら単位領域あたりにより多
くのニューロンを提供するためにニューロンごとの乗算
器の数を低減しそれにより利用可能な資源のより効率的
な使用を提供する。

【０００８】従って、本発明の目的は改良されたニュー
ラル・ネットワークを提供することにある。

【０００９】本発明の他の目的は、デジタル・アーキテ
クチャを使用する改良されたニューラル・ネットワーク
を提供することにある。

【００１０】本発明のさらに他の目的は、構築可能なフ
ィードフォワード・プロセッサを有する改良されたニュ
ーラル・ネットワークであってシナプスの重みおよび実
効ニューラル相互接続が資源の効率的な使用を提供する
ために動的に再割当てできるものを提供することにある
。

【００１１】本発明のさらに他の目的は、複雑なニュー
ラル・フィードバック構成を処理するためにデジタル計
算リングまたデータバスと相互接続されたフィードバッ
ク・プロセッサを有する改良されたニューラル・ネット
ワークを提供することにある。

【００１２】本発明のさらに他の目的は、ニューロンあ
たりのシナプスの数にかかわりなく所定の数のデータ入
力端子を有する改良されたニューラル・ネットワークを
提供することにある。

【００１３】本発明のさらに他の目的は、複数のシナプ
スが共通の乗算器を共用しかつそれによりニューラル・
ネットワークの物理的領域を低減する改良されたニュー
ラル・ネットワークを提供することにある。

【００１４】

【課題を解決するための手段および作用】上記および他
の目的によれば、複数のデジタル重み要素を記憶し該複
数のデジタル重み要素の１つをデジタルアドレス信号に
従って出力ポートにロードするための第１の回路を具備
するデジタル処理エレメントを有する人工ニューラル・
ネットワークが提供される。第２の回路は第１のデジタ
ル入力信号および複数のデジタル重み要素の１つを受け
入れかつ前記第１のデジタル入力信号と前記複数のデジ
タル重み要素の内の１つとの積として出力信号を提供す
るように結合され、一方第３の回路が前記第２の回路の
出力信号を受けかつその値を累積するよう結合されてい
る。第４の回路が複数のデジタル重み要素および第２お
よび第３のデジタル入力信号に応答して前記第１の回路
に記憶された複数のデジタル重み要素の値を変更する。

【００１５】他の観点においては、本発明は複数のデジ
タル処理エレメントを具備し、該複数のデジタル処理エ
レメントの内の１つは複数のデジタル重み要素を記憶し
かつ該複数のデジタル重み要素の内の１つをデジタルア
ドレス信号に従って出力ポートにロードするための第１
の回路を含む。第２の回路が第１のデジタル入力信号お
よび前記複数のデジタル重み要素の内の１つを受取り該
第１のデジタル入力信号と前記複数のデジタル重み要素
の内の１つとの積として出力信号を提供するよう結合さ
れ、一方第３の回路が前記第２の回路の出力を受けかつ
その値を累積するよう結合されている。第４の回路は前
記第３の回路の出力信号および前記複数のデジタル処理
エレメントの内のあるものの出力信号に応答してそれら
の値を累積しかつ前記複数の処理エレメントの内の１つ
の出力信号を提供する。

【００１６】

【実施例】図１を参照すると、伝統的な集積回路ＣＭＯ
Ｓプロセスを用いて集積回路形式で製造にするのに適し
た人工ニューラル・ネッワーク１０が示されている。８
ビットのデジタル入力信号が入力バス１２に印加されか
つニューロン・スライス１４，１６，１８，２０，２２
および２４の第１のデータ入力に導かれる。さらに、３
ビットのアドレスワードがアドレスバス２６を介してニ
ューロンスライス１４−２４のアドレス入力に印加され
、一方８ビットのデジタル・スケールファクタ（ｓｃａ
ｌｅ　　ｆａｃｔｏｒ）が入力バス２８に印加され各ニ
ューロンスライスの第２のデータ入力に導かれる。ニュ
ーロンスライス１４−２４は図示の如く端子３２から、
ニューロンスライス１４，１６および１８を通りかつル
ープを回ってニューロンスライス２０，２２および２４
を通り８ビットの計算リング（ｃｏｍｐｕｔａｔｉｏｎ
　　ｒｉｎｇ）３０により相互接続されている。計算リ
ング３０の端子３４は端子３２に結合してループを完成
することができる。１つの実施例においては、計算リン
グ３０は複数の電気的に分離されたセクションを具備し
、各セクションは隣接する対のニューロンスライス１４
−２４を結合する８個の導体を有する。例えば、計算リ
ング３０の第１のセクションはニューロンスライス２４
および１４の間に結合され、かつ第２のセクションはニ
ューロンスライス２２および２４の間に結合され、かつ
同様にしてニューロンスライス１６および１４の間を結
合する第６のセクションに至る。従って、計算リング３
０の各セクションは独自のデータを含むことができかつ
典型的には独自のデータを含む。あるいは、ニューロン
スライス１４−２４の相互接続は後に示されるようにそ
れぞれのバスインタフェース回路を介してそこに結合さ
れる隣接データバスを具備することができる。

【００１７】ニューラル・ネットワーク１０のアーキテ
クチャは端子３２および３４の間に直列に結合されるニ
ューロンスライスの数が特定のアプリケーションのため
に容易に増加されることを許容する。各々の付加される
ニューロンスライスはニューロンスライス１４−２４と
同様に計算リング３０に直列に結合されかつさらに、そ
れぞれ、入力バス１２および２８から第１のデータ入力
信号およびデジタル・スケールファクタを、そしてアド
レスバス２６を介してアドレスワードを受けるよう結合
される。単一のデータバスの場合、追加されるニューロ
ンはそこにバスインタフェース回路を介して接続される
であろう。さらに、ニューラル・ネットワーク１０はモ
ノリシック集積回路チップとして製造できるから、端子
３４は第２のデジタルニューラル・ネットワーク集積回
路の３２のような端子に結合でき、そして該第２のデジ
タルニューラル・ネットワーク集積回路の３４のような
端子はニューラル・ネットワーク１０の端子３２に結合
し戻され、それによりニューロンスライスの数および２
つの集積回路を含むために計算リング３０の長さを拡張
する。まさに、あるフィードバック構成は全体のスルー
プットをスローダウンさせるかもしれないが実際に任意
の数のニューロンスライスを計算リング３０に結合する
ことができ、この特徴に関するさらなる説明を後に行な
う。従って、計算リング３０の長さおよび１４−２４の
ようなニューロンスライスの数は特定のアプリケーショ
ンに対し増大することができかつここに述べるデジタル
・アーキテクチャによって一般には制限を受けない。実
際に、ニューラル・ネットワーク１０は、場合によって
は他の同様のデジタル・ニューラル・ネットワーク集積
回路と組合わせて、有用な計算を行なうためにモノリシ
ック集積回路上に配置された非常に多くのニューロンス
ライスを含むことができる。

【００１８】図２にニューロンスライス１４をさらに詳
細に示し、同図のニューロンスライス１４はアドレスバ
ス２６に印加された３ビットのアドレスワードＡｉを受
けかつ該アドレスワードＡｉに応じて２の補数、４象限
型（ｆｏｕｒ　　ｑｕａｄｒａｎｔ−ｔｙｐｅ）乗算器
４４の第１の入力に８ビットのデジタル重み値Ｗｉを提
供するように結合された重みメモリ４２を含むフィード
フォワード・プロセッサ４０を備え、この場合ｉは１か
ら８の範囲に及ぶ。重みメモリ４２は所定の数の８ビッ
トのメモリロケーション、Ｗ１−Ｗ８を含み、かつＲＡ
Ｍ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたは任意の他
の適切なデジタルメモリ装置として実施できる。重みＷ
ｉは入力バス４６を介して伝統的な方法で重みメモリ４
２に書込まれる。乗算器４４の第２の入力は入力バス１
２に印加される第１のデジタル入力信号Ｉｉを受けるよ
う結合され、それによりデジタル入力信号Ｉｉおよび重
みメモリ４２の１つのロケーションからのデジタル重み
Ｗｉの積が累算器４８の入力に与えられかつその前の内
容と加算される。乗算器４４および累算器４８の幅は典
型的には各々１６ビットとされ後者がオーバーフローな
しにいくつかの値を累算できるようにする。いったんＩ
ｉ×Ｗｉの８つの積が累積されると、累算器４８の出力
信号はその出力レジスタの最上位８ビットとしてとられ
かつフィードバック・プロセッサ５２のマルチプレクサ
５０の第１の入力に印加される。重みメモリ４２はいく
つかの論理領域に分割でき複数組の重みＷｉが同時に記
憶されかつ必要に応じて異なる入力信号シリーズＩｉに
よってアクセスできるようにすることが知られている。 これは物理的ニューロン（重みメモリ４２を除く）が時
間多重様式でいくつかの多分区別可能なニューラル・ア
プリケーションに対して働きかけることを許容しそれに
より重みＷｉの組の過剰なスワッピングを避けることに
よりニューラル・ネットワーク１０の動作速度を増大す
る。これは特に魅力的であるが、その理由は典型的な構
成において純粋のメモリは非常に低速であるからである
。

【００１９】マルチプレクサ５０の出力信号は乗算器５
６の第１の入力および加算器５８の第１の入力に対する
印加のためレジスタ５４に記憶される。乗算器５６の第
２の入力は入力バス６０によってデジタル・ゲインファ
クタを受けるよう結合されている。乗算器５６の出力信
号はルックアップテーブル６２のアドレス入力に印加さ
れ、該ルックアップテーブル６２は所定の数の８ビット
のメモリロケーション、Ｌ１−Ｌ２５６を具備し、かつ
またＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭあるい
は任意の他の適切なデジタルメモリ装置として実施でき
る。値Ｌｉ入力バス６３を介して伝統的な方法でルック
アップテーブル６２に書込まれる。ルックアップテーブ
ル６２からのアドレスされた値はマルチプレクサ６４の
第１の入力に印加され、一方マルチプレクサ６４の出力
は計算リング３０の第６の電気的に分離されたセクショ
ンを介しニューロンスライス１６に結合される。上述の
各エレメントは実質的にニューロンスライス１４の完全
なフィードフォワード経路を記述する。

【００２０】フィードバック動作に対しては、ニューロ
ンスライス２４は計算リング３０の第１のセクションを
介してシフトレジスタ６８の入力に結合され、かつシフ
トレジスタ６８の出力は乗算器７０の第１の入力に結合
され、一方該乗算器の第２の入力は入力バス２８からデ
ジタル・スケーリングファクタを受けるように結合され
ている。該スケーリングファクタＳ１−Ｓ６はニューロ
ン１４から離れてメモリ７２に集中的に記憶され、該メ
モリ７２はそのアドレス入力に結合されたカウンタ７４
の制御のもとに動作し、カウンタ７４が所定の範囲の値
を反復的に循環する時メモリ７２の内容が入力バス２８
にシステマティックに印加されるようにする。さらに、
カウンタ７４はその値の各々の変化時にシフトレジスタ
６８のためのクロック信号を提供し、メモリ７２からの
所定のデジタル・スケーリングファクタが乗算器７０の
第１および第２の入力に所望のオペランドを提供するた
めにシフトレジスタ６８の動作と同期するようになる。 乗算器７０の出力信号は加算器５８の第２の入力に印加
され、該加算器５８の出力はマルチプレクサ５０の第２
の入力に結合されている。乗算器５６および７０は、そ
れぞれ入力バス２８および６０から２の整数乗として制
御信号を受け取るマルチプレクサとして実施できること
が理解される。マルチプレクサ５０は制御バス６６に印
加される第１の制御信号に応答して前記第１の制御信号
の第１の状態の発生時に累算器４８から読取りかつ前記
第１の制御信号の第２の状態の発生に応じて加算器５８
の出力から読取るためにその入力を切替え、一方マルチ
プレクサ６４は制御バス６６からの第２の制御信号に応
答し前記第２の制御信号の第１の状態の発生時にルック
アップテーブル６２の出力から読取りかつ該第２の制御
信号の第２の状態の発生時にシフトレジスタ６８の出力
から読取るようにその入力を切替える。ニューロンスラ
イス１６−２４はニューロンスライス１４について説明
したのと同様に構成され、すなわち、各ニューロンスラ
イスは重みメモリ４２、乗算器４４、累算器４８、マル
チプレクサ５０、ルックアップテーブル６２、マルチプ
レクサ６４、シフトレジスタ６８、その他のような上に
述べたのと同じエレメントを具備する。

【００２１】ニューロンスライス１４−２４の特徴はい
くつかの有用なニューラル・ネットワーク動作のための
簡易な構成を許容する。１つのそのような動作はフィー
ドバックなしの厳格なフィードフォワード型ニューラル
計算であり、この場合入力バス１２からのデジタル入力
信号Ｉｉが計算に介在する。厳格なフィードフォワード
処理のためには、フィードバックプロセッサ５２は部分
的にディスエーブルされ、その部分は乗算器７０および
加算器５８を含むフィードバック計算エレメントである
。他のより複雑なフィードバック構成は後に説明するが
、しかしながら最初に多分外部ニューラル・ネットワー
ク計算シミュレーションから計算される所望の重みによ
って重みメモリ４２が入力バス４６を介してプレロード
される例につき考察する。この例に対しては、所望のニ
ューラル計算はデジタル入力信号シリーズＩ１−Ｉ８と
重みＷ１−Ｗ８のドット積の組合わせであり累算器４８
に１６ビットの値Ｖ４８を次のようにして生み出す。 　　Ｖ４８＝Ｉ１×Ｗ１＋Ｉ２×Ｗ２＋Ｉ３×Ｗ３＋Ｉ
４×Ｗ４＋Ｉ５×Ｗ５　　　　　　　　　　＋Ｉ６×Ｗ
６＋Ｉ７×Ｗ７＋Ｉ８×Ｗ８　　　　　　　　　　　　
　　　　　　（１）式（１）による１つの計算シリーズ
に対しては、累算器４８はゼロにされその後第１の８ビ
ットのデジタル入力信号、Ｉ１、が入力バス１２を介し
て乗算器４４の第２の入力に印加され、一方アドレスワ
ード、Ａ１、がアドレスバス２６により重みメモリ４２
のアドレス入力に印加される。アドレスワードＡ１の値
は重みメモリ４２から８ビットの重みＷ１を取出しかつ
それを乗算器４４の第１の入力に印加する。デジタル入
力信号Ｉ１および重みＷ１の積が累算器４８に置かれる
。次に、第２のアドレスワード、Ａ２、が重みＷ２を取
出しかつその８ビットの値を乗算器４４の第１の入力に
印加した時、第２のデジタル入力信号、Ｉ２、が乗算器
４４の第２の入力に印加される。デジタル入力信号Ｉ２
および重みＷ２の第２の乗算の結果は累算器４８の前の
内容（Ｉ１×Ｗ１）に加算される。このプロセスが第３
、第４、第５、第６、第７および第８のデジタル入力信
号Ｉ３−Ｉ８および重みＷ３−Ｗ８の組合わせに対し式
（１）に従って続けられ累算器４８に１６ビットの値Ｖ
４８を残す。

【００２２】累算器４８の幅は典型的には大きく、例え
ば１６ビット、とされ、式（１）の計算シリーズの予期
される長さに対しオーバフローなしに累算が継続できる
ようにする。しかしながら、累算器４８の内容がロール
オーバなしに単に飽和した場合には、オーバフロー状態
はいくらかのデータは失われるかもしれないが一般に問
題ではなく、それは大部分のシグモイド形関数は上限ま
たは下限に収束する傾向を有するからである。方程式（
１）に従って第１の計算シリーズの完了によって得られ
る累算器４８の出力信号は全体で１６ビットの累算の内
の８つの最上位ビットである。第１の制御信号が第１の
状態にセットされ、それにより累算器４８の出力信号が
マルチプレクサ５０を介してレジスタ５４に導かれかつ
記憶される。

【００２３】厳格なフィードフォワードの例によって説
明を続けると、レジスタ５４に格納された累算器４８の
上位８ビットはルックアップテーブル６２のためのアド
レスワードを発生するために乗算器５６によって尺度変
更される（ｓｃａｌｅｄ）。乗算器５６は任意選択的な
ものでありかつレジスタ５４の出力信号のために入力バ
ス６０に印加されるデジタル信号からゲインファクタを
提供する。技術上オペランドの値を増大または減少させ
るためにどのようにしてデジタル信号を使用するかはよ
く理解されている。もしルックアップテーブル６２の内
容が例えば非線形シグモイド関数を与えておれば、乗算
器５６によって提供されるゲインファクタはシグモイド
関数のスロープを変えるであろう。乗算器５６の出力信
号値は従ってそれに関連する非線形関数に従って出力値
を提供するためのルックアップテーブル６２へのスケー
ラブル・アドレスである。ルックアップテーブル６２の
ための関数の他の例はステップ応答、ランプ（ｒａｍｐ
）およびピースワイズなリニアモデルである。第２のデ
ジタル制御信号はその第１の状態にセットされ、それに
よりマルチプレクサ６４の第１の入力に印加されたルッ
クアップテーブル６２のアドレスされたロケーションの
内容はニューロンスライス１６のシフトレジスタ６８の
入力における計算リング３０の第６のセクションにおい
て得られる８ビットデジタル信号（フィードフォワード
出力）となる。

【００２４】ニューロンスライス１４が先に述べた計算
を行なっている間に、ニューロンスライス１６−２４は
同時に式（１）のような計算を、たとえ４２のような重
みメモリの予め記憶された値に従って異なる重みを用い
るとしても、同じデジタル入力信号シーケンスＩ１−Ｉ
８に対して行なっている。各々の計算シリーズの結果は
ニューロンスライス１４−２４の６４のような各マルチ
プレクサを介して導かれ、従って６８のようなシフトレ
ジスタに計算リング３０の周りに格納されかつその第１
〜第６のセクションにおいて得られる６個の独自の８ビ
ットのデジタル信号（フィードフォワード出力Ｆ１−Ｆ
６）がある。参照のため、フィードフォワード出力Ｆ１
はニューロンスライス２４のマルチプレクサ６４を通り
かつニューロンスライス１４のシフトレジスタ６８の入
力における計算リング３０の第１のセクションにおいて
得ることができるようになり、同様にニューロンスライ
ス２２，２０，１８，１６および１４の６４のようなマ
ルチプレクサは、それぞれ、フィードフォワード出力Ｆ
２、Ｆ３、Ｆ４、Ｆ５およびＦ６を計算リング３０の第
２、第３、第４、第５および第６のセクションに転送す
る。８ビットのフィードフォワード出力Ｆ１は、マイク
ロプロセッサ（図示せず）のような外部コントローラに
よってさらに処理するために、所定のタップ点、例えば
端子３４、において計算リング３０から読取ることがで
きる。外部マイクロプロセッサからの要求に応じて、カ
ウンタ７４が増分され、それによりニューロンスライス
１４−２４の各シフトレジスタ６８にクロックを供給し
かつ各ニューロンスライスの８ビットのフィードフォワ
ード出力を次のニューロンスライスのシフトレジスタ６
８へ計算リング３０に沿って１ポジションシフトする。 例えば、ニューロンスライス１４のフィードフォワード
出力Ｆ６はニューロンスライス１６のシフトレジスタ６
８に転送され、一方ニューロンスライス１６のフィード
フォワード出力Ｆ５はニューロンスライス１８のシフト
レジスタ６８に回転し、以下同様にループの周りを回転
する。ニューロンスライス２２から発生したフィードフ
ォワード出力Ｆ２は前記第１のシフトに続きニューロン
スライス２４のマルチプレクサ６４の出力において端子
３４から読むことができる。ニューロンスライス１４−
２４のマルチプレクサ６４はいまやルックアップテーブ
ル６２の代りにシフトレジスタ６８の出力から読むため
に制御バス６６に印加された第２の制御信号によって切
替えられる。カウンタ７４による計算リング３０の周り
の第２のシフトはフィードフォワード出力Ｆ３−Ｆ６を
それぞれニューロンスライス２４，２２，２０および１
８のシフトレジスタ６８に移動させ、フィードフォワー
ド出力Ｆ３が端子３４から読まれるようにする。計算リ
ング３０の周りの回転はカウンタ７４からのクロックに
よってフィードフォワード出力Ｆ４、Ｆ５およびＦ６が
端子３４から読まれるまで続く。これはフィードフォワ
ード・プロセッサ４０によりデジタル入力信号Ｉ１−Ｉ
８および重みＷ１−Ｗ８のドット積の組合わせを用いて
１つの厳格なフィードフォワード計算シリーズを完了す
る。

【００２５】資源の効率的な使用のため、フィードバッ
ク・プロセッサ５２が計算リング３０の周りに前の計算
シリーズをシフトしかつ端子３４を介して出力している
間に、それによってフィードフォワード・プロセッサ４
０がデジタル入力信号Ｉ１−Ｉ８および重みＷ１−Ｗ８
の１つの計算シリーズのドット積の組合わせに対し働き
かけることができる異なるクロック源によるものの、計
算リング３０を含むフィードフォワード・プロセッサ４
０およびフィードバック・プロセッサ５２は同時に動作
することができる。従って、フィードバック・プロセッ
サ５２はフィードフォワード・プロセッサ４０の後に少
なくとも１つのシリーズのデジタル入力信号Ｉ１−Ｉ８
で動作し続けそれにより各々による等しい計算遅延を仮
定すると全体のスループットを少なくとも倍にする。

【００２６】以上より、重みメモリ４２、乗算器４４お
よび累算器４８の相互作用は非線形シグモイドより少な
い複数のシナプスを有する人工ニューロンとして振舞う
ことを理解すべきである。重みメモリ４２のメモリロケ
ーションの数およびデジタル入力信号シリーズＩｉの長
さは任意であるから、フィードフォワード・プロセッサ
４０は実際に任意の数のシナプスを有するニューロンの
機能を提供することができる。さらに、各ニューロンス
ライスは共通の入力バス１２に結合されていることに注
意を要する。従って、ニューラル・ネットワーク１０の
デジタル・アーキテクチャは、ニューロンのシナプスの
数またはネットワークにおけるニューロンの数にかかわ
りなく、所定の数のデータ入力端子、例えば入力バス１
２に対し８個の導体、を含む。これは実質的に集積回路
構成において外部ピン数を低減する。さらに、フィード
フォワード・プロセッサ４０は重みメモリ４２における
格納ロケーションの数にかかわりなく、デジタル入力信
号Ｉｉおよび重みＷｉを結合するために単一の乗算器４
４のみを利用する。この特徴は１つのニューロンの物理
的サイズを低減し集積回路あたりにつきより多くのニュ
ーロンおよびより有用な計算を許容する。本発明のデジ
タル構成は完全に並列のアナログ・アーキテクチャより
低速で動作するかもしれないが、それでもそれはニュー
ラル・ネットワークのアプリケーションに対しては適切
である。

【００２７】次に、より複雑なニューラル・ネットワー
ク構成を考察し、該ニューラル・ネットワーク構成では
最終的な出力が現在の計算シリーズのフィードフォワー
ド出力Ｆ１−Ｆ６および所定のスケーリング・ファクタ
Ｓ１−Ｓ６によって修正された前の計算シリーズのフィ
ードフォワード出力の双方に依存するものとする。その
ようなニューロン・ネットワークの一例はよく知られた
コホーネン（Ｋｏｈｏｎｅｎ）の特徴マップ（ｆｅａｔ
ｕｒｅ　　ｍａｐ）であり、そこでは各ニューロンの出
力信号がそのおよび２次元特徴マップの他のニューロン
の１つまたはそれ以上のシナプスへの入力信号としてフ
ィードバックされる。このプロセスが何度か繰り返され
た後、活動のバブルがニューロン（単数または複数）の
周りに形成し入力信号ベクトルの競争に勝つ、すなわち
そこに印加された重みおよび入力信号が与えられれば最
も高い出力信号レベルを提供する。例えば、基準ニュー
ロンを、例えば特徴マップの中心に取り、かつその出力
信号を受けるように結合された計算リング３０上の他の
ニューロンスライスのシナプスの重み分布を考える。近
隣のニューロンのフィードバック・シナプスは一般に基
準ニューロンからより離れたニューロンのシナプスより
重く重み付けされる。これは与えられた入力信号ベクト
ルの最も強い反応を経験しているニューロン（単数また
は複数）の周りのバブルと称される。基準ニューロンか
らの距離に対する１つのそのような重みの分布は一般に
図３に示されるように、その形状の性質により「メキシ
カンハット」分布と文献に記載されており、それは近隣
のニューロンに対するシナプスはメキシカンハットの中
心における基準ニューロンと同じ入力信号ベクトルを支
持する（ｆａｖｏｒ）ために強く重み付けされる。フィ
ードバック・シナプスは基準ニューロンからの各方向に
おける距離の増加に伴ない減少しかつその結果負になり
それにより入力信号を好まなくなる（ｄｉｓｆａｖｏｒ
ｉｎｇ）。特徴マップの外側エッジのニューロンに対す
るシナプスは典型的には「メキシカンハットのつば」に
対応するゼロの重みに収束しかつ基準ニューロンからフ
ィードバックされる出力信号に対しニューラル反応を提
供する。これは「メキシカンハット」機能を備えたニュ
ーロン活動のコンボリューションと等価であり該ニュー
ロンの元の活動の「コントラスト増強」としての結果を
与えることが知られている。重み分布はまた他のタイプ
のＹ−軸対称関数に従うことができる。

【００２８】フィードバックプロセッサ５２は図３に示
されるようなフィードフォワード出力の重み分布を達成
するよう構成されかつ動作することができる。第１の計
算シリーズはフィードフォワード・プロセッサ４０を介
して処理されかつ厳格なフィードフォワードの例の説明
と同様にニューロンスライス１４のレジスタ５４に置か
れる。レジスタ５４の出力信号はゲイン乗算器５６によ
って処理されシグモイド関数におけるデータポイントを
識別するためのルックアップテーブル６２へのアドレス
を形成する。ニューロンスライス１４のルックアップテ
ーブル６２のアドレスされた内容（フィードフォワード
出力Ｆ６）はニューロンスライス１４のマルチプレクサ
６４の出力において計算リング３０の第６のセクション
に置かれる。同様に、ドット積計算シリーズからのフィ
ードフォワード出力Ｆ１−Ｆ５はそれぞれニューロンス
ライス２４，２２，２０，１８および１６のマルチプレ
クサ６４の出力において得ることができる。カウンタ７
４がメモリ７２のスケールファクタＳ１のアドレスロケ
ーションにセットされかつさらに各シフトレジスタ６８
に対し同時にクロック信号を提供し、それによりフィー
ドフォワード出力Ｆ１−Ｆ６がいまやそれぞれニューロ
ンスライス１４，２４，２２，２０，１８および１６の
６８のようなシフトレジスタにあるように計算リング３
０を１ポジション回転させる。ニューロンスライス１４
−２４の６４のようなマルチプレクサはルックアップテ
ーブル６２の代りにシフトレジスタ６８の出力から読む
ために制御バス６６に印加される第２の制御信号によっ
て切替えられる。ニューロンスライス１６および２４は
図１に示されるようにニューロンスライス１４の近傍に
あるものと考えられ、従って比較的大きなスケールファ
クタＳ１（Ｓ２およびＳ３と比較して）がメモリ７２か
ら入力バス２８に印加される。ニューロンスライス１４
のシフトレジスタ６８におけるフィードフォワード出力
Ｆ１が乗算器７０の第１の入力に印加されかつそこで入
力バス２８からのデジタル・スケールファクタＳ１によ
って重み付けされる。乗算器７０の出力信号が加算器５
８によりレジスタ５４の内容と加算されかつマルチプレ
クサ５０を介してレジスタ５４に戻って格納され前の内
容をオーバライトする。

【００２９】同時に、ニューロン・スライス１６は計算
リング３０の第１のシフトの時にそのシフトレジスタ６
８に置かれたフィードフォワード出力Ｆ６に対してのみ
同様の計算を行なっている。ニューロンスライス１４お
よび１８はニューロンスライス１６に対し近傍にあり、
従って入力バス２８に印加される同じ大きなスケールフ
ァクタが依然として適切である。デジタル・スケールフ
ァクタ倍のニューロンスライス１６のシフトレジスタ６
８からのフィードフォワード出力Ｆ６の積がそのレジス
タ５４の内容に加算されかつロードし戻される。同様に
、ニューロンスライス２４，２２，２０および１８はそ
れぞれフィードフォワード出力Ｆ２−Ｆ５をスケーリン
グすることによりフィードバック計算を行なっており、
かつ結果を５４のようなレジスタの内容に加算している
。従って、ニューロンスライス１４−２４は５２のよう
なフィードバック・プロセッサにより（１の距離だけ離
れた）近傍のフィードフォワード出力を処理している。

【００３０】カウンタ７４はメモリ７２におけるスケー
ルファクタＳ２のアドレスロケーションに増分され、そ
れにより６８のようなシフトレジスタに対し他のクロッ
ク信号を発生しかつフィードフォワード出力Ｆ１−Ｆ６
がそれぞれニューロンスライス１６，１４，２４，２２
，２０および１８のシフトレジスタ６８に移動するよう
に計算リング３０をもう１つのポジションだけ回転させ
る。この第２のシフトに対し、各フィードバック・プロ
セッサ５２は距離２だけ離れたかつ従って真近でないニ
ューロンスライスから発生するフィードフォワード出力
に対し働きかけている。従って、入力バス２８に印加さ
れるデジタル・スケールファクタＳ２はスケールファク
タＳ１よりずっと小さく、フィードバック信号を受けて
いるニューロンが基準ニューロンの近傍から離れるにつ
れて前に述べた「メキシカンハット」分布が降下するに
応じて小さくなる。より小さなスケールファクタＳ２に
より、ニューロンスライス１４のシフトレジスタ６８に
おけるフィードフォワード出力Ｆ２は結果は依然として
そこに記憶し戻されるが加算器５８を介してレジスタ５
４の内容に少ししか貢献しない。

【００３１】ニューロンスライス１６は計算リング３０
の第２のシフトにおいてそのシフトレジスタ６８に置か
れたフィードフォワード出力Ｆ１に対し同様の計算を行
なっている。フィードフォワード出力Ｆ１の発信者であ
るニューロンスライス２４はニューロンスライス１６の
直近にはなく、入力バス２８に印加される低減されたス
ケールファクタが使用される。デジタル・スケールファ
クタとニューロンスライス１６のシフトレジスタ６８か
らのフィードフォワード出力Ｆ１との積はレジスタ５４
の内容に加えられかつマルチプレクサ５０を介してレジ
スタ５４にロードし戻される。同様に、ニューロンスラ
イス２４，２２，２０および１８は、それぞれ、フィー
ドフォワード出力Ｆ３−Ｆ５をスケーリングすることに
よりフィードバック計算を行なっており、かつその結果
を５４のようなレジスタの内容に加算する。従って、ニ
ューロンスライス１４−２４の５２のようなフィードバ
ック・プロセッサは距離２だけ離れたニューロンスライ
スから発生するフィードフォワード出力を処理している
。

【００３２】プロセスはカウンタ７４がスケールファク
タＳ３−Ｓ６をアドレスしかつフィードフォワード出力
Ｆ１−Ｆ６が完全に計算リング３０の周りをシフトし各
々が処理ニューロンのフィードフォワード出力の発生の
近傍と釣り合ったレジスタ５４の内容に対しその部分を
提供するまで続けられる。これは計算リング３０の１回
転を完了しその後ニューロンスライス１４−２４のレジ
スタ５４の内容が各々再びルックアップテーブル６２を
アドレスしかつそのアドレスされた値をマルチプレクサ
６４を介して転送し、もし必要であれば、スケールファ
クタＳ１で始まる他の回転のためのステージを設定する
。計算リング３０の回転を例えば５回繰返しニューロン
スライス１４−２４のマルチプレクサ５０の内容が最終
値に落着くようにすることも普通に行なわれる。ニュー
ロンスライス１４−２４のレジスタ５４の内容はルック
アップテーブル６２をもう一度アドレスしかつそのアド
レスされた値をマルチプレクサ６４を介して前に述べた
ようにして計算リング３０から除去するために転送する
。全回転数は余分の処理がニューラル・ネットワーク１
０のスループットを低くするから最少に保たれるべきで
ある。

【００３３】もしニューロンがＮ×Ｍのトーラスに配列
されかつ物理的ニューロンによって正しく識別されれば
「近接性（ｃｌｏｓｅｎｅｓｓ）」の正しい関係もまた
計算リング３０にわたり維持できる。これはコホーネン
の出版物に述べられたような２次元の特徴マップを構成
するために重要である。

【００３４】次の表はニューロンスライス１４−２４に
対し離れた距離に対するニューロンスライス１４に関し
スケールファクタＳ１−Ｓ６の例を与えるものであり、
図３を参照されたい。例えば、ニューロンスライス１６
および２４はニューロンスライス１４から距離１だけ離
れており、一方ニューロンスライス１８および２２は距
離２だけ離れておりかつニューロンスライス２０はニュ
ーロンスライス１４から距離３だけ離れている。スケー
リングファクタＳ１−Ｓ６に対する値は適切な収束特性
が維持されるようにデジタル・フィルタ係数と同様にし
て選択されている。以下の値はスケールファクタＳ１−
Ｓ６に対する２の補数表現を表わす。 スケールファクタ　　　　　　　　　　　　　　　　値
　　　　　　　　　　　　　　　　距離間隔　　　　　
　Ｓ１　　　　　　　　　　　　　　“０１０１１１１
１”　　　　　　　　１　　　　　　Ｓ２　　　　　　
　　　　　　　　“００１１００００”　　　　　　　
　２　　　　　　Ｓ３　　　　　　　　　　　　　　“
１００１１１１１”　　　　　　　　３　　　　　　Ｓ
４　　　　　　　　　　　　　　“００１１００００”
　　　　　　　　２　　　　　　Ｓ５　　　　　　　　
　　　　　　“０１０１１１１１”　　　　　　　　１
　　　　　　Ｓ６　　　　　　　　　　　　　　“００
００００００”　　　　　　　　０表１　　距離に対す
るスケールファクタの重み分布

【００３５】あるいは、
ニューロンスライス１４の計算リング３０とのフィード
フォワード・プロセッサ４０およびフィードバック・プ
ロセッサ５２の組合わせはフィードフォワード計算によ
って始まる以下の方程式によって定量的に見ることがで
きる。 この場合、Ｒｋ（０）は最初の（０）ドット積の組合わ
せの後のレジスタ６４の内容であり、ｋはニューロンス
ライス基準（すなわち、ニューロンスライス１４に対し
てはｋ＝１、ニューロンスライス１６に対してはｋ＝２
、その他）であり、ｐはフィードフォワード・プロセッ
サ４０に対するドット積シリーズにおけるエレメントの
数であり、 Ｉｊは入力バス１２からのデジタル入力信号であり、Ｗ
ｊは重みメモリ４２のアドレス可能な重みである。

【００３６】 入力信号Ｉ１−Ｉ８および重みＷ１−Ｗ８のドット積の
組合わせ（ｄｏｔ　　ｐｒｏｄｕｃｔ　　ｃｏｍｂｉｎ
ａｔｉｏｎ）を行なうフィードフォワード・プロセッサ
４０によって提供される。最初のドット積の組合わせの
後、レジスタ５４の内容はルックアップテーブル６２に
よって変換され、計算リング３０上に置かれかつその周
りを１ポジションシフトされる。シフトレジスタ６８の
出力信号はスケールファクタＳｍによって乗算されかつ
レジスタ５４の前の内容と次のように加算される。 この場合、Ｒｋ（１）は一回転（６回のシフト）の後の
レジスタ５４の内容であり、 σ（）はシグモイド関数であり、 ｑはニューロンスライスの数であり、 ｎはモジュロｑのｍ＋ｋであり、 Ｓｍは表１に従う各々の各フィードフォワード出力に対
するスケールファクタである。

【００３７】より一般的には、“ｉ＋１”の回転の後の
レジスタ５４の内容は、 となり、かつ５回の回転の後のマルチプレクサ６４の最
終出力信号は次のように要約される。

【００３８】フィードフォワードおよびフィードバック
計算の先の説明は実例により与えられていることが理解
される。本発明は伝統的な２層フィードフォワード・ネ
ットワークおよび種々の特徴マップのような多くの他の
構成を提供するのに十分柔軟性がある。さらに、ニュー
ロンスライス１４−２４の重みメモリ４２にロードされ
た重みＷｉは外部マイクロプロセッサからの入力バス４
６を介して迅速に変更できかつデジタル入力信号Ｉｉお
よび重みＷｉの処理順序は制御でき、それによりニュー
ラル相互接続および計算が資源の効率的な使用を提供す
るために動的に再割り当てできる。

【００３９】フィードバック・プロセッサ５２の他の実
施例が図４に示されている。フィードフォワード・プロ
セッサ４０は図２に関連してテキストで説明されたと同
様にして動作する。マルチプレクサ５０の出力信号はレ
ジスタ５４に格納されかつ加算器５８の第１の入力に印
加され、該加算器５８の出力はマルチプレクサ５０の第
２の入力および乗算器５６の第１の入力に結合されてお
り、一方乗算器５６の出力信号はルックアップテーブル
６２のアドレス入力に印加される。マルチプレクサ５０
は制御バス６６に印加される第１の制御信号に応答して
該第１の制御信号の第１の状態の発生時に累算器４８か
ら読みかつ該第１の制御信号の第２の状態の発生時に加
算器５８の出力から読むためにその入力を切替える。乗
算器５６の第２の入力は入力バス６０によりデジタル・
ゲインファクタを受けるように結合されている。ルック
アップテーブル６２からのアドレス値はトライステート
・バスインタフェース７６を介してデータバス７８に印
加される。トライステート・バスインタフェース７６は
また乗算器７０の第１の入力に印加するためにデータバ
ス７８からデータを取り除き、一方該乗算器７０の出力
は加算器５８の第２の入力に結合されている。乗算器７
０の第２の入力はマイクロプロセッサからのアドレス入
力７９に印加されるデジタルアドレス信号に応じてメモ
リ７２からの値を受けるように結合されている。図４の
実施例は図２に対し各々のニューロンスライス１４−２
４に対する７２のような別個のメモリに対処するもので
あり、この場合共通メモリ７２は計算リング３０のシフ
トと同期してデジタル入力バス２８により同時的にデジ
タル・スケーリングファクタＳ１−Ｓ６を送信する。メ
モリ７２をローカルに配置することにより、スケールフ
ァクタＳ１−Ｓ６は各ニューロンスライスに対して異な
ってもよく柔軟性あるフィードバック計算が可能になる
。加算器５８および乗算器５６および７０の構成そして
計算リング３０またはデータバス７８と共にメモリ７２
を使用することは各々マイクロプロセッサからの適切な
制御シーケンス論理によって図２および図４の実施例の
間で相互に交換可能であることが理解される。同じ機能
を有する残りの構成要素は図２に使用されているのと同
じ参照番号が付されており、かつニューロンスライス１
６−２４はニューロンスライス１４について説明したの
と同様の構成に従う。

【００４０】フィードフォワード動作に対しては、デジ
タル信号“００００００００”がメモリ７２から読取ら
れかつ乗算器７０の第２の入力に印加されてシフトレジ
スタ６８の出力信号と組合わせ加算器５８の第２の入力
にゼロのデジタル信号を発生し、それによりレジスタ５
４の出力信号には何も加えられない。従って、累算器４
８の最上位８ビットがマルチプレクサ５０を介してレジ
スタ５４にロードされ、加算器５８からのゼロと加算さ
れかつ乗算器５６によって尺度変更されルックアップテ
ーブル６２のためのアドレスワードを発生する。ルック
アップテーブル６２のアドレスされたロケーションの内
容がトライステート・バスインタフェース７６を介して
データバス７８に印加されかつ８ビットのデジタル・フ
ォワード出力Ｆ６となる。

【００４１】図２に示されるような計算リング３０を介
するフィードフォワード出力Ｆ１−Ｆ６の同期した回転
に対し、図４のフィードバック・プロセッサ５２の動作
は１度に１つのフィードフォワード出力、例えば最初に
Ｆ６、をデータバス７８に与え、そこでニューロンスラ
イス１４−２４はトライステート・バスインタフェース
７６を介してその値を読取りかつ乗算器７０のためにロ
ーカルメモリ７２から適切なスケールファクタＳｉをア
ドレスする。ニューロンスライス１４は残りのニューロ
ンスライスから同じ距離にないから、アドレスバス７９
に印加されるアドレス信号は適切なスケールファクタを
抽出するために７２のような各メモリに対し制御されな
ければならない。例えば、ニューロンスライス１６およ
び２４は、それぞれ、スケールファクタＳ１およびＳ５
をアドレスすべきであり、かつニューロンスライス１８
および２２はスケールルファクタＳ２およびＳ４をアド
レスすべきであり、一方ニューロンスライス２０および
１４はスケールファクタＳ３およびＳ６をアドレスする
。あるいは、共通のアドレス信号がアドレスバス７９を
介してニューロンスライス１４−２４に送られ一方スケ
ールルファクタＳ１−Ｓ６は前に述べた組合わせを達成
するために各メモリ７２に配置されている。ニューロン
スライス１４，１６，１８，２０，２２および２４は各
々乗算器７０内で、それぞれ、デジタル・スケールファ
クタＳ６，Ｓ１，Ｓ２，Ｓ３，Ｓ４およびＳ５によって
フィードフォワード出力Ｆ６を乗算する。乗算器７０の
出力信号は加算器５８を介してレジスタ５４の内容と加
算されかつマルチプレクサ５０によってレジスタ５４に
格納し戻され前の内容にオーバライトする。次のフィー
ドフォワード出力、例えばＦ５、がデータバス７８に置
かれニューロンスライス１４−２４がそれを７６のよう
なトライステート・バスインタフェースを介して読取り
かつローカルメモリ７２からの適切なスケールファクタ
Ｓｉをアドレスできるようにする。いまや、ニューロン
スライス１４および１８はそれぞれスケールファクタＳ
１およびＳ５をアドレスすべきであり、かつニューロン
スライス２０および２４はスケールファクタＳ２および
Ｓ４をアドレスすべきであり、一方ニューロンスライス
２２および１６はスケールファクタＳ３およびＳ６をア
ドレスする。ニューロンスライス１４はスケールファク
タＳ１をフィードフォワード出力Ｆ５によって乗算し、
一方ニューロンスライス１６はスケールファクタＳ６を
Ｆ５によって乗算し、かつニューロンスライス１８はス
ケールファクタＳ５をＦ６と組合わせ、以下同様である
。再び、乗算器７０の出力信号が加算器５８によってレ
ジスタ５４の内容と加算されかつレジスタ５４に格納し
戻される。このプロセスはフィードフォワード出力Ｆ４
−Ｆ１に対し同様にして続けられる。一般に、メモリ７
２におけるデジタル・スケールファクタＳ１−Ｓ５のロ
ーカルな格納は、各ニューロンスライスがスケールファ
クタＳｉに関し他のものと独立に動作できるから柔軟性
あるフィードバック・アーキテクチャが実現できるよう
になる。

【００４２】フィードフォワード・プロセッサ４０の他
の特徴が図５に学習回路８０として示されており、該学
習回路８０は第１の入力が重みメモリ４２の出力に与え
られる重みＷｉを受けるよう結合されかつ第２の出力が
入力バス８４からのデジタル信号を受けるよう結合され
ている減算回路８２を含む。減算回路８２の出力信号は
乗算器８６の第１の入力に印加され、一方乗算器８６の
第２の入力は入力バス８８を介してデジタル信号を受け
るよう結合されている。乗算器８６の出力は加算器９０
の第１の入力に結合されかつ加算器９０の第２の入力は
重みメモリ４２からの重みＷｉを受けるよう結合されて
いる。加算器９０の出力は入力バス４６における重みメ
モリ４２のデータ入力ポートに結合されそれによりその
内容が学習回路８０の計算から更新できるようになって
いる。同じ機能を有する回路エレメントには図２で使用
されたものと同じ参照番号が割り当てられている。

【００４３】ニューラル・ネットワーク１０の重要な特
徴は外部環境の変化に応じてその行ないを変更するため
にシナプスの重みを調整する能力である。学習回路８０
は次のような所定の学習規則に従って動作する。 　　ＮＷｉ＝ＯＷｉ＋（ＰＩｉ−ＯＷｉ）ＰＡ　　　　
　　　　　　　　　　　　　　　　　　　　（６）この
場合、ＮＷｉは重みメモリ４２に格納されるべき新しい
重みであり、ＰＡは可塑性−活動（ｐｌａｓｔｉｃｉｔ
ｙ−ａｃｔｉｖｉｔｙ）ファクタであり、ＯＷｉは重み
メモリ４２に現在格納されている古い重みであり、ＰＩ
ｉは前のデジタル入力信号Ｉｉである。

【００４４】重みＷｉが乗算器４４を介して現在のデジ
タル入力信号Ｉ１−Ｉ８との組合わせのためにアドレス
バス２６に印加されたアドレスワードＡｉを介してアド
レスされた時、各々はまた減算回路８２の第１の入力お
よび加算器９０の第２の入力にも印加される。デジタル
入力信号Ｉ１−Ｉ８はフィードフォワード・プロセッサ
４０およびフィードバック・プロセッサ５２を介し処理
されかつ一時的にューラル・ネットワーク１０の外部に
記憶され式（３）によって減算回路８２の第２の入力に
入力バス８４を介して順次再印加される前のデジタル入
力信号ＰＩ１−ＰＩ８となる。古い重みＯＷｉおよび前
のデジタル入力信号ＰＩｉは順次減算され、例えば、古
い重みＯＷ１が前のデジタル入力信号ＰＩ１から減算さ
れかつ古い重みＯＷ２が前のデジタル入力信号ＰＩ２か
ら減算される。ＯＷｉおよびＰＩｉの間の差は可塑性−
活動ファクタＰＡによって乗算されかつその結果は重み
メモリ４２からの古い重みＯＷｉに加算され同じロケー
ションに格納し戻される。

【００４５】可塑性−活動ファクタＰＡはニューロンス
ライス１４−２４の可塑性および現在の活動性または可
動度の関数でありかつ外部マイクロプロセッサにより計
算リング３０から抽出された出力信号から計算される。 典型的には、学習はいくつかのシリーズのデジタル入力
信号Ｉｉに対しゆっくり行なわれる。従って、可塑性−
活動ファクタＰＡは小さくされそれにより前記差が新し
い重みＮＷｉに不当に影響を与えないようにする。実際
に、学習回路８０はデジタルゼロを入力バス８８に印加
することにより完全にディスエーブルできる。例えば、
もし前のシリーズ計算の結果が低い活動性（ニューロン
スライス１４−２４のマルチプレクサ６４からの最終的
なフィードフォワード出力に対し低い値）を示せば、そ
れがシナプスの知識ベース（重み）と整合しないから入
力データは学習の価値がないであろう。従って、低い活
動性によって、可塑性−活動ファクタＰＡはデジタルゼ
ロにセットされるであろう。減算回路８２の出力信号は
従って乗算器８６によりゼロによって乗算されかつ古い
重みには何も加えられない。逆に、もし前のシリーズ計
算の結果が高い活動性を示しておれば、学習は典型的に
は１／４，１／８，１／１６その他のデジタル等価物の
ような可塑性−活動ファクタによって決定されるレート
で進行する。デジタル回路は制御信号をマルチプレクサ
回路にセットすることにより４，８および１６によって
除算できることが理解される。古い重みＯＷｉおよび可
塑性−活動ファクタＰＡによって乗算された前のシリー
ズのデジタル入力信号ＰＩｉの差は古い重みＯＷｉと加
算されかつ重みメモリ４２のアドレスされたロケーショ
ンに格納し戻される。とりわけ、学習はフィードフォワ
ード処理４０と同じ速度で連続的に動作できるから、外
部環境の変化に応じて重みメモリ４２のリアルタイムの
更新を提供する。付加的な利益として、もし重みメモリ
４２がＤＲＡＭによって実施されれば、学習回路８０は
またＤＲＡＭをリフレッシュできるが、それは各メモリ
エレメントはサイクリックにアクセスされるからである
。

【００４６】

【発明の効果】従って、上に述べたものは複雑なニュー
ラル・フィードバック構成を処理するためのフィードフ
ォワードおよびフィードバック・プロセッサを有しかつ
デジタル計算リングまたはデータバスを含むデジタル・
アーキテクチャを用いた新規な人工ニューラル・ネット
ワークである。フィードフォワードおよびフィードバッ
ク・プロセッサは多くの異なるニューラル計算を行なう
よう構成でき、一方学習回路がリアルタイム様式で環境
における変化を反映するためにフィードフォワード・プ
ロセッサの重みを更新するために提供される。

【図面の簡単な説明】

【図１】本発明の好ましい実施例として動作する複数の
ニューロンスライスを含むデジタル・アーキテクチャを
示すブロック図である。

【図２】フィードフォワードおよびフィードバック・プ
ロセッサを備えたニューロンスライスの好ましい実施例
を示す単純化したブロック図である。

【図３】前記フィードバック・プロセッサのためのスケ
ールファクタ分布のグラフである。

【図４】フィードフォワードおよびフィードバック・プ
ロセッサを備えたニューロンスライスの別の実施例を示
す単純化したブロック図である。

【図５】図２のフィードフォワード・プロセッサのため
の学習回路を示すブロック図である。

【符号の説明】

１０　　人工ニューラル・ネットワーク１２　　入力バ
ス １４，１６，１８，２０，２２，２４　　ニューロンス
ライス ２６　　アドレスバス ２８　　入力バス ３０　　計算リング ３２，３４　　端子 ４０　　フィードフォワード・プロセッサ４２　　重み
メモリ ４４，５６，７０　　乗算器 ４８　　累算器 ５０，６４　　マルチプレクサ ５２　　フィードバック・プロセッサ ５４　　レジスタ ５８　　加算器 ６２　　ルックアップテーブル ６８　　シフトレジスタ ７２　　メモリ ７４　　カウンタ ７６　　トライステート・バスインタフェース８０　　
学習回路

Claims (5)

【特許請求の範囲】
1. 【請求項１】　　ニューラル・ネットワークにおけるデ
   ジタル処理エレメントであって、第１のデジタル入力信
   号を受けるように結合された第１のデジタル入力バス（
   １２）、デジタルアドレス信号を受けるように結合され
   たデジタルアドレスバス（２６）、複数のデジタル重み
   要素を記憶するための第１の手段（４２）であって、該
   第１の手段は前記デジタルアドレスバスに結合され前記
   デジタルアドレス信号に従って前記複数のデジタル重み
   要素の１つをアドレスしかつ前記複数のデジタル重み要
   素の内の前記１つを出力ポートにロードするもの、前記
   第１のデジタル入力信号および前記複数のデジタル重み
   要素の内の前記１つを受けるように結合され前記第１の
   デジタル入力信号と前記複数のデジタル重み要素の内の
   前記１つとの積としての出力信号を提供するための第２
   の手段（４４）、そして前記第２の手段の前記出力信号
   を受けかつその値を累積するように結合された第３の手
   段（４８）、を具備することを特徴とするニューラル・
   ネットワークにおけるデジタル処理エレメント。
2. 【請求項２】　　人工ニューラル・ネットワークのため
   のデジタル計算方法であって、第１のデジタル入力バス
   において第１のデジタル入力信号を受ける段階、デジタ
   ルアドレスバスにおいてデジタルアドレスを受ける段階
   、前記第１のデジタルアドレス信号に従って複数のデジ
   タル重み要素の内の１つをアドレスする段階、前記複数
   のデジタル重み要素の内の前記１つを前記第１のデジタ
   ル入力信号によって乗算する段階、そして前記第１のデ
   ジタル入力信号および前記複数のデジタル重み要素の内
   の前記１つの積を累積する段階、を具備することを特徴
   とする人工ニューラル・ネットワークのためのデジタル
   計算方法。
3. 【請求項３】　　ニューラル・ネットワークにおける複
   数のデジタル処理エレメント（１４−２４）であって、
   該複数のデジタル処理エレメントの各々は第１のデジタ
   ル入力信号を受けるために第１のデジタル入力バス（１
   ２）におよびデジタルアドレス信号を受けるためにデジ
   タルアドレスバス（２６）に結合されかつ出力に出力信
   号を提供し、前記複数のデジタル処理エレメントの内の
   １つは、複数のデジタル重み要素を記憶するための第１
   の手段（４２）であって、該第１の手段はデジタルアド
   レスバスに結合され前記デジタルアドレス信号に従って
   前記複数のデジタル重み要素の内の１つをアドレスしか
   つ該複数のデジタル重み要素の内の前記１つを出力ポー
   トにロードするもの、前記第１のデジタル入力信号およ
   び前記複数のデジタル重み要素の内の前記１つを受取り
   前記第１のデジタル入力信号と前記複数のデジタル重み
   要素の内の前記１つとの積としての出力信号を提供する
   ように結合された第２の手段（４４）、前記第２の手段
   の前記出力信号を受取りかつその累積としての出力信号
   を出力に提供するように結合された第３の手段（４８）
   、そして前記第３の手段の出力信号および前記複数のデ
   ジタル処理エレメントの内のあるものの出力信号に応答
   してその値を累積しかつ前記複数の処理エレメントの内
   の前記１つの前記出力信号を提供するための第４の手段
   （５２）、を具備することを特徴とするニューラル・ネ
   ットワークにおける複数のデジタル処理エレメント（１
   ４−２４）。
4. 【請求項４】　　前記第４の手段は、第１の制御信号の
   第１および第２の状態に応じて、出力信号を提供するた
   めに、それぞれ第１の入力に印加される前記第３の手段
   の前記出力信号と第２の入力に印加されるデジタル信号
   との間で選択を行なうための第１のマルチプレクサ回路
   （５０）、前記第１のマルチプレクサ回路の前記出力信
   号を受けるように結合された入力を有しかつ出力を有す
   るレジスタ回路（５４）、第１および第２の入力および
   出力を有する第１の乗算器回路（７０）であって、前記
   第１の入力は第２のデジタル入力信号を受けるように結
   合され、前記第２の入力は前記複数のデジタル処理エレ
   メントの出力信号の内の１つを受けるように結合され、
   前記出力はそれらの積として出力信号を提供するもの、
   そして第１および第２の入力および出力を有する加算器
   回路（５８）であって、該第１の入力は前記レジスタ回
   路の前記出力に結合され、前記第２の入力は前記第１の
   乗算器回路の前記出力信号を受けるよう結合され、前記
   出力は前記第１のマルチプレクサ回路の前記第２の入力
   に印加される前記デジタル信号をそれらの和として提供
   するもの、を含むことを特徴とする請求項３に記載のニ
   ューラル・ネットワーク。
5. 【請求項５】　　前記第４の手段はさらに、第１および
   第２の入力および出力を有する第２の乗算器回路（５６
   ）であって、前記第１の入力は前記レジスタ回路の前記
   出力に結合され、前記第２の入力は第３のデジタル入力
   信号を受けるように結合され、前記出力は出力信号をそ
   れらの積として提供するもの、そして前記第２の乗算器
   回路の前記出力信号を所定の関数に従って出力信号に変
   換するためのルックアップテーブル（６２）であって、
   前記出力信号は前記複数のデジタル処理エレメントの出
   力信号の内の１つを提供するもの、を含むことを特徴と
   する請求項４に記載のデジタル・ニューラル・ネットワ
   ーク。