JPH06505352A - 電子神経回路網用ハードウエア - Google Patents
電子神経回路網用ハードウエアInfo
- Publication number
- JPH06505352A JPH06505352A JP4505734A JP50573492A JPH06505352A JP H06505352 A JPH06505352 A JP H06505352A JP 4505734 A JP4505734 A JP 4505734A JP 50573492 A JP50573492 A JP 50573492A JP H06505352 A JPH06505352 A JP H06505352A
- Authority
- JP
- Japan
- Prior art keywords
- module
- access surface
- electronic device
- leads
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。
Description
【発明の詳細な説明】
電子神経回路網用ハードウェア
背景技術
この出願は、電子的な神経回路網(neural network)の実現に使
用するハードウェア装置に関する。
コンピュータに対する新たな研究として、最近再び神経回路網に興味が向けられ
ている。”神経回路網の群作用は、共同するメモリ機能、故障許容パターン認識
、および組合せ最適化問題の解明のための証明された有効な計算特性を有する。
”上記の文は、アプライド・オフティクス発行の、カリフォルニア・インスティ
テユート・オフ・テクノロジーの、”エレクl−ロニック・ハードウェア・イン
プレメンテーションズ・オフ・ニューラル・ネットワークス″ 1987年12
月1日、21巻5085頁から複写した。
引用論文は、また、°゛力学研究、学習メカニズム、および神経回路網の計算特
性は、コンピュータ・ソフトウェアのシュミレーションに大きく依存している°
゛と公表している。引き続き、引用論文は、”神経回路網ハードウェアの有用性
は、神経回路網の研究の現在の努力を大きく高めるであろう”、”さらに、ハー
ドウェアは、神経回路網構想の開発および評価を援助する研究器具として作用す
るだけでなく、現実の問題に接近する神経回路網を実現するだめの応用指向構成
を開発するため基礎を提供する”と神経回路網用ハードウェアを論じている。
この出願は、電子的神経回路網のハードウェアの実現に関する多くの問題を解決
する新規な試みを記載する。
上記の引用論文は、電子的神経回路網ハードウェアの開発に向けたいくつかの研
究プログラムを確認している(5087〜5088頁)。神経回路網ハードウェ
アの必要条件は、極端な相互結合性、すなわち、多くの並列的信号のそれぞれが
個々に荷重すなわち重み(weightlを付けられた帰還回路網を通して全て
の他の信号に対してアクセスをしなければならないことを含む。また、意志決定
のために応答可能の処理ノード(nodelは、無数の入力信号に対して双方向
性選択的アクセスを有さなければならない。
本出願人は、イメージ・センサ・システムのための3次元読み出しアレイの開発
におけるリーダである。神経回路網は、イメージ・センサ・システムの性能にお
ける大きな飛躍のための可能性を提供する。重要な神経回路網実現ファクタは、
全ての検出器出力間の重み付けされた相互結合、各検出器出力の並列的直線的処
理、検出器出力当りの多数(4桁の数)の処理ノードへの論理出力、および検出
器集積時間内における処理ノードの接続と相互結合の重み付けとを独立して変更
する能力である。128X128ビクセルの検出器アレイのために必要な相互結
合の数は、オフ焦点面ディジタル処理器で達成されたほぼ10’に比べ、毎秒1
0′8程度に高くなる。この出願は、3次元焦点面読み出しモジュールを相互結
合し、それらの要素集積回路を重ね合わせて、神経回路網に必要な非常に高い相
互結合比を実現する新たな手法を記載する。
及咀Ω皿示
本発明は、3次元モジュールにおける並列入力信号と関係のない面であってその
入力信号に容易にアクセスすることができる面に配置された抵抗帰還回路網を提
供する。
本発明は、また、並列信号入力部を含むモジュールと異なる処理ノード用モジュ
ールを提供する。モジュール間の相互作用は、システムの個々の電子的要素と他
の多(のまたはすべての個々の電子的要素との間に所望レベルの2方向性アクセ
スを与える、スイッチング(または他の相互接続)用オプションを含むことがで
きる。
多くの並列チャンネルを含む複数の積層集積回路チップは、所望数の並列チャン
ネル信号の搬送に使用される。積層チップは、6つの側部にアクセスすることが
できる平行6面体(一般には、正6面体)のモジュールを含む。1つのアクセス
部は、入力信号を受ける。他のアクセス部は抵抗帰還回路網を含む面と相互作用
し、各並列信号は抵抗回路網により他の並列信号に結合される。
同様に構成された第2のモジュールは、処理ノードをもたらす積層集積回路チッ
プを含み、また第1のモジュールを、第1のモジュールのチップの面に対して直
角の第2のモジュールのチップの面に係合させる。2つのモジュールの相互係合
アクセス面に隣接する切り換え回路網と組み合わされた装置は、第2のモジュー
ルによりもたらされる任意な1つのノードを第1のモジュールによりもたらされ
る任意な1つの並列信号に結合させる。
中央処理ユニットは、処理ノードと異なる面に配置されるが、処理ノードに容易
にアクセスすることができる。また、中央処理ユニットは、第2のモジュールの
1つの平坦面と相互作用させてもよい。
電子的神経回路網用ハードウェアにおける3次元モジュールの使用は、利用可能
のアクセス面が多いことから、多くの(たぶん、決定的な)有利性を提供する。
本発明は、相互結合の重みを可変可能に独立的に行なうことができる手法におい
て、多数の層の処理ノードにより全ての検出器(または、他の人力信号)アレイ
出力に同時にアクセスすることを提供する点で、目/脳の構造と類似する。
区1Ω皿単l返■
第1図は、神経回路網システムを示すブロック図である。
第2図は、神経回路網システムの多くの機能を提供するハードウェアを示す図で
ある。
第3図は、それぞれが抵抗要素を介していくつかの隣接するノードに接続された
ノード回路網を示す図である。
第4図は、第3図の個々のノードと第2図の第1の積層チップ・モジュールのチ
ップの個々のチャンネルとの間の回路の一実施例を示す図である。
第5図は、第3図の隣接する一対のノード間の可変抵抗回路の一実施例を示す図
である。
第6図Aおよび第6図Bは、第2のモジュールへの伝達のために第2図の第1の
モジュール内の所与のチップのいくつかのチャンネルから信号を選択するように
設計された切り換え回路網を示す図である。
第7図は、第6図Bにおける2つのライン間の切り換え回路網を示す図である。
第8図は、神経回路網システムを示す図である。
第9図は第2のモジュールの人力切り換え回路網を示す図である。
第10図は、第9図に含まれるタイプの具体的な回路例を示す図である。
の の詳 なゴロ
第1図は、神経回路網システムの構成要素を示す図である。入力信号は、適宜な
情報源から受ける。検出器を符号20で示す。入力手段は、光学的または電子的
情報を受けて電子的信号を出力する、ホトセルまたは各種の入力用レシーバであ
る。複数のレシーバすなわち検出器20のそれぞれは、1つの並列信号処理チャ
ンネルに信号を出力する。各検出器20の出力は、加算接続部22と、側部抵抗
層24との両者に送出される。側部抵抗層24からの信号は、加算接続部22に
送出される。加算接続部22で修正された信号は、フィルタ26を含むチャンネ
ルを通る。各チャンネルは、一般に、増幅器および他の処理要素を含む。各チャ
ンネル内の信号は、所与のときにその信号を出力するチャンネルを決定するスイ
ッチング要素または類似の要素を含む出力レジスタすなわち出力チャンネル選択
器28に達する。アナログ・ディジタル変換器30をチャンネル内に配置しても
よい。
システムは、信号入力部として作用する。その出力は、多数の入力チャンネルか
らの結合信号を意志の決定に使用する処理システムに供給される。そのような決
定は、神経回路網に対して外部の部署に信号を提供し、また神経回路網の内部機
能のための信号を提供する。
出力チャンネル選択器28からの選択された信号は、神経回路網の意志決定部と
共同する出力レジスタすなわち入力チャンネル選択器34にライン32を介して
供給される。意志決定部は、多数の並列チャンネルと多数の内部処理ノード36
とを含む。内部処理ノード36は、意志決定のために、選択器34からの並列的
な入力信号38を比較する。内部処理ノード36からの信号は、加算接続部40
に供給される。加算接続部40の出力信号は決定閾値回路42に達腰決定閾値回
路42の出力信号は中央処理ユニット44に入る。
中央処理ユニット44は、また、出力チャンネル選択器28からの信号46を受
ける。中央処理ユニット44は、最高級の神経回路網において、制御信号をライ
ン48に沿って側部抵抗層24とフィルタ26とに出力する。これらの制御信号
の機能を以下に記載する。
第2図は、神経回路網の基本的なハードウェア・ユニットの一実施例を示す。ハ
ードウェア・ユニットは、それぞれがZ−テクノロジー・モジュールを提供する
ように、多数の集積回路チップを積層することにより形成された2つのモジュー
ル50.52を含む。このようなZ−テクノロジー・モジュールは、米国特許4
,525゜921号、4,551,629号、4,646,128号、4,67
2.737号を含む本出願人の各種の特許明細書に記載されている。
Z−テクノロジー・モジュールの目的は、電子的要素を入力信号に近い極端に高
密度にすることを許すことにある。モジュールの各チップは多数の並列信号チャ
ンネルを有しており、その結果所与のモジュールは信号搬送用リードの非常に密
集した2次元的アレイを有する信号受信(または送信)アクセス面を提供する。
例えば、それぞれが128の並列チャンネルを有する128チツプのスタックは
、16,384の並列チャンネルを提供する。各チャンネルを分離したホト検出
器または他の人力レシーバに接続することにより、強力な情報処理構造が得られ
る。
第2図において、モジュール50は信号人力モジュールであり、モジュール52
は神経回路網の意志決定プロセスに用いる内部処理ノードを提供する。入力信号
アレイ54は、ホトセル・アレイであってもよく、またモジュール50の1つの
アクセス面によりもたらされる。第2図に示すように、モジュール50の積層さ
れたチップ56は垂直面にあり、それらのチップが90度の角度で伸びるように
モジュール52の積層チップ58は水平面にある。明らかなように、2つのZタ
イプのモジュールを結合することは、1つのモジュールの各チャンネルを他のモ
ジュールの各チャンネルと自由に選択的に相互結合することを可能にする。換言
すれば、出力および入力チャンネル選択器28および34は、モジュール50の
4桁のチャンネルの1つをモジュール52の4桁の処理ノードの1つに接続する
ことを所与の時間で選択する能力を有する。
神経回路網実現のための積層チップモジュールの特徴は、その殆どをアクセス面
として参照する多数の平坦面にある。各モジュールは、合計6つの平坦面を有す
る。6つのうちの4つは、極端に多い電子的リードにより達成されるアクセス面
である。上記のように、モジュール50は、4つのアクセス面のそれぞれに16
,384のリードを有する。モジュール50の左部または前部アクセス面60は
、入力信号アレイ54を導くように、配置されている。モジュール50の上部ア
クセス面62は、以下に説明する理由で、平面層64の下側と相互作用(i n
terfacelをするように、配置されている。モジュール50の右部または
後部アクセス面(図示しない)は、モジュール52との相互作用に使用される。
また、モジュール50の第4のアクセス面(図示せず)は、平面層66と相互作
用する。相互作用の配列数は、神経回路網の希望する複雑さに依存する。
モジュール52の左部または前部アクセス面68は、モジュール50との相互作
用に使用される。モジュール52の後部アクセス面(図示せず)は、平面層70
と相互作用する。モジュール52の2つの付加的なアクセス面はその側方にあり
、その1つ72は観察者に向く面である。図示の実施例において、複数の垂直バ
ス74は、各チップ58のリード76を中央処理ユニッ+−(cpu)として使
用する平面層78に電気的に接続する。
」−記4つのアクセス面に加えて、各モジュールは、その端部のチップにより提
供される2つの平坦なモジュール面を有する。CPU層すなわち平面層78は、
モジュール52の頂部チップと係合するように示されている。これらチップ並列
モジュール面は、付加的な処理回路のために有用な部位であるが、各モジュール
の4つのチップ直角アクセス面の細密度を提供しない。
第2図において被われない面にあるデツプ56aは、モジュール50に含まれた
多数(例えば、128)のチップのそれぞれを表す。チップ56aは、その回路
内に複数(例えば、128)の並列チャンネル80を有する。各チャンネル80
は、アレイ54に含まれた1つの感知器(または、レシーバ)82からの人力ア
ナログ信号を受ける。全ての並列チャンネル80は、モジュール50の後部アク
セス面に達する引き出しり−ド86の1つに接続するために1つのチャンネルを
選択することができる切り換え回路網すなわちチャンネル選択器84に終わる。
各チップの各チャンネルは、各入力信号の増幅および浦波をする非常に多い電子
的構成要素を含む。
必要ならば、各チャンネルにA/D変換器を設けてもよい。
各チップの各チャンネル80は、分離した側部リード88により、神経回路網の
重要な構成要素である抵抗回路網のノードに電気的に接続されている。第2図に
おいて、抵抗回路網は、モジュール50のアクセス面62と係合する平面層64
の下面に配置されている。
第3図および第3図Aは、抵抗回路網を示す。この回路網は、それぞれが第2図
の各チャンネル80/88に対応された第3図Aの多数のノード90を有する。
それぞれが128の並列チャンネルを有する128のチップのアレイにおいて、
抵抗回路網は】−6゜384のノード90を必要とする。各ノード90は、第4
図に示す回路を通してチャンネル80/88の1つに電気的に接続されており、
また第3図Aにおいてドツト92により示されている。また、各ノード90は、
第3図および第3図Aに示すように、隣接する複数のノードに電気的に接続され
ている。各内部ノード90は、6つの隣接するノードに接続されている。ノード
間の各接続部には、ノード間における所定レベルの電圧伝達をする抵抗器回路(
第3図Aにブロック94で示す)が配置されている。第5図は、各ブロック94
により示される可変的な側部抵抗器回路を示す。チャンネル・ノード間の回路9
4はそれぞれICチップに配置されており、ノード間の回路94は層64により
提供される側部平面に配置されている。
第3図へのドツト92の1つを第4図に示すように、第2図のチャンネル80へ
の各入力は、ライン96に入る。これは、第2図の層すなわちアレイ54に含ま
れたそれぞれの感知器(または他の入力信号)からのアナログ電圧を表す。それ
は、前置増幅され、濾波される。ライン96は、ライン98.tooに分岐され
る。ライン98はバッファ102への入力であり、バッファ102の出力はライ
ン104により対応するノード90に接続されている。
ライン100は、作動増幅器106の1つの入力に接続されている。作動増幅器
106の他の人力は、ライン108によりノード90の電圧を受ける。このため
、増幅器106のアナログ出力は、チャンネルへの入力電圧とノード90の電圧
との差に対応し、第3図の抵抗回路網に接続された他の6つのノードの電圧によ
り影響される。ライン108の出力は、第2図のチャンネル選択器84に達する
チャンネル電圧である。
第5図は、2つの隣接ノード間の可変的な抵抗接続を示す。その抵抗接続は、第
3図Aにブロック94により示される。2つの隣接したおよび相互結合されたノ
ードは、ノードAおよびノードBとして示す。ノードAは、ライン110により
ライン112に接続されている。ライン112の一端はP型金属酸化半導体製電
解効果型トランジスタ114 (PMO3−FET)に伸びており、他端はN型
金属酸化半導体製電解効果型トランジスタ1t6 (NMO3・FET)に伸び
ている。ノードBは、ライン118によりライン120に接続されている。ライ
ン120の端部は、PMO3・FET114とNMO3−FET116とに伸び
ている。電圧レベル・シフト・ロジック122は、ライン124によりFET1
14のゲートに接続されており、またライン126によりFET116のゲート
に接続されている。
ノード間の抵抗回路は、外部信号、例えば第2図の層78内のCPU44 (第
1図)からの信号による制御の基に、各ノード間接続の荷重すなわち重み(抵抗
値)が変動することを許す。第3図において、CPUからの制御ラインXおよび
Yは、ロジック回路130および132を介して、XアドレスおよびYアドレス
を与えることにより、所与のノードを選択することに使用される。第5図におい
て、XおよびYの人力ラインは、ロジック122の左側に入るように示す。
隣接ノードの電圧を比較する効果は、隣接チャンネルの電圧を減じることにより
、高入力電圧を有するチャンネル信号の相対的輝度を高めることである。このた
め、この回路は、複数のポイントおよびエツジの可視性(光検出器の実施例の場
合)を高める。これは、大の目の作用を擬態する。この概念は、本発明の開示の
助力ではない。
神経回路網の変化する”重み”として説明したそれぞれのノット間の抵抗の変化
性は、像識別に関する決定に達することに大切である0重みの変化性は、重要な
像特性の強調を高め、他の像特性の強調を低下させる。換言すれば、重みの変化
性は、神経回路網におけるパターン認識の決定に最も有用である人力情報の集中
に最も効果的である。
第6図A、第6図Bおよび第7図は、1つを第2図に示すチャンネル選択器84
に関する。各チャンネル選択器84は、モジュール50の各チップ56にある。
各チャンネル選択器84は、128の並列的な入力ライン80と、モジュール5
2の各チップ58に達する複数の出力ライン86とを有する。モジュール52の
頂部チップ58aを第2図に示す。頂部チップ58aは切り換え回路網136を
有しており、この切り換え回路網136から複数のリード138がモジュール5
2のアクセス面68に向けて伸びる。リード138の数は、各リード138がチ
ップ56に1つづつ接続されるから、モジュール52のチップの数と同じである
ことが好ましい。頂部のリード86がモジュール52の頂部チップ58aに接続
され、次のリード86が次のチップ58に接続されるように、リード86とチッ
プ58とが接続されるから、リード86の数はモジュール52のチップ数と同じ
である。
第6図Aは、モジュール50の各チップの切り換え回路網84の8つのライン部
を示す。左方に8つの入力ライン80a〜8ohを示し、右方に8つの出力ライ
ン86a〜86hを示す。各円形のシンボル140は、第6図Bに示すような2
方向性のスイッチング・デバイスすなわち切り換え要素である。第6図Bにおい
ては、2つのライン142,144を示す。第6図Aのように、それぞれが4つ
の切り換え要素140を備えた3つの切り換え要素カラムを使用すると、入力ラ
イン80a〜80hの1つを出力ライン86a〜86hの1つに接続することが
できる。入力ライン8oおよび出力ライン86がそれぞれ128であると、それ
ぞれが64の切り換え要素140を有する7つの切り換え要素カラムが必要にな
る。各切り換え要素カラムは接続可能数を倍にし、128・128の切り換え回
路網は27の任意選択を必要とする。
モジュール52のチップ数はモジュール50のチップ数と異なってもよいが、そ
のようなチップ数はモジュール50の各チップのチャンネル数と等しいことが好
ましい。明瞭かつ簡単にするために、モジュール50.52は同数のチップを有
するものとする。
第7図は、2つのライン、すなわち第6図Bのライン142゜144の間のFE
T切り換え回路網の簡単な図である。図示された4つ(7)FET146,14
8,150.1.52は、ロジック回路154による制御の基にある。励起され
たFETが存在しないと、通過する信号はない。FET146が励起されると、
入力ライン142と出力ライン142とが接続される。FET148が励起され
ると、入力ライン144と出力ライン142とが接続される。FET150が励
起されると、入力ライン142と出力ライン144とが接続される。FET15
2が励起されると、入力ライン144と出力ライン144とが接続される。
モジュール52は、神経回路網システムにおける処理ノードの主たる位置にある
。これらのノードは、モジュール50からの入力信号を使用して、入力情報の有
意に関する結論を引き出すことができる意志決定回路網に使用される。パターン
識別は、観測された対象に識別を提供する。結論は、第1図に示されるように、
決定がCPUで行なわれるまで、可能性の数を漸次減少させることにより、達成
される。
具体的な神経回路網の構造は、本出願の範囲を超える。各チップ58の利用可能
領域162に配置する回路の例として、インテル社のElectrically
Trainable Alog Neural Netwok″(ETANN
Iがあり、それは8017ONWとして識別されており、またインテル社のカタ
ログに記載されている。
第8図は、神経回路網システムの他の例を示し、ニューラル・フィルタの出力に
疑似焦点面を作り出すステップを示す。第8図に象徴化したステップは、図の頂
部で開始する一連の層として実施される。頂部の層166には、焦点面アレイが
示されている。検分場所からの光子は、検出器168のアレイにより処理され1
M170で、さらに、上記した回路(モジュール50)により処理される。
神経回路網において、頂部のアレイ172は、複数の神経回路網ノードを含む。
層174は、フィードフォワードの重み付は相互結合を意味する。層176は、
神経回路網隠れノードを意味する。用語”隠れ”は、入力チャンネルおよび出力
チャンネルのいずれにもない内部回路の部位にあることを意味する。換言すれば
、隠れノードは、外部回路には接続されないが、神経回路網の一部としてデマン
ドの機能に対して利用することができる。
第8図の層178は、層174に匹敵する第2の相互結合を意味する。層180
は、神経回路網出力ノードを含む。相互結合層の数と隠れノード層の数とは、も
ちろん、神経回路網のアルゴリズムを満足させるように選択される。
神経回路網出力層180は、事実上、疑似焦点面を作り出す。空輸システムにお
いては、アレイ182からの情報をバス184によりフライトコンピュータに伝
達してもよい。
好ましい神経回路網は、訓練可能であり、自動学習手順を組み込んでいる。(1
)コホーネン(Kohonenlの自己編成マツプまたはネオコグニトロン・バ
リアント(Neocgnitron variantlを備える競合学習と、(
2)誤差逆伝播を備える多層知覚のような最急降下学習との、少なくとも2つの
電位学習手順がある。競合回路網は、自己編成であって管理されず、また継続時
空間パターンの学習をする。
実符号データの継続時空間性は、ノードと対象的に、検出器からの強度パターン
の重要な部分を補強し認定することに使用される。一方、最急降下学習は、管理
されて重みを変化させる学習を使用する。所望の出力は、検出器信号と対にされ
て、神経回路網を訓練することに使用される。これらの神経モジュールは、本質
的に、校正されて適応可能にM値化された強度信号を含む第2の焦点面プレイ(
FPA)を生じさせる。この”疑似焦点面”は、特定の検出器に対応するジョブ
(jobl を割り当てられた人工ニューロンアレイのアナログまたはディジタ
ル出力部である。焦点面をオフにするデータのランダムアクセスのための現在の
技術は、神経回路網出力アレイに適用される。
第9図および第10図は、モジュール52のチップの入力切り換久および神軽回
路網切り換えを示す。図9は、各チップの分類り−ド選択器136の8つの入力
リードを示す。各円形記号188は、第6図Aの要素140に対応しかつ第6図
Bに詳細に示されている切り換え要素である。
ブロック190,192は、隠れノードのグループを示し、その要素の次のカラ
ムの要素188に直接作用するラインにより迂回されている。先端に矢印を付し
たラインにより示すように、フィードフォワードおよびフィードバックワード信
号は、制御ブロック194により示すソフトウェアロジック制御の基に、切り換
え要素188と隠れノードとの間に運ばれる。ブロック194の外部制御は、ラ
イン196により記号化されている。
1つの切り換え層(カラム)の出力は、処理(重み付け、加算または閾値化)を
され、得られた結果は先行/後続・切り換え(帰還)の制御に使用される。
第10図は、第2図の符号138で示すラインに対応する2つの入力ライン19
8,200を示す。4つのFETスイッチ146a、148a、150a、15
2aは、第7図のFETスイッチと同じ機能を実行する。ロジック制御をブロッ
ク202で示し、帰還信号制御を符号204で示す。図の右方のFETバンク2
06.208は、論理回路出力網を表す。この論理回路出力網により、ライン2
10,212の各信号をモジュール52の神経回路網の12の処理ノードに同時
に伝送することができる。
上記の説明から、この出願に記載された装置は、明細書の前置きの部分に要約し
た重要な機能的利点を提供することが明らかであろう。
以下の請求の範囲は、説明した特定の実施例を含むだけではなく、大きな広がり
と、従来技術から許される広がりとを有する61v
第3図A
第4図
第7図
弱ま弱這余盈2弱
国際調査報告 ロ・r−r・=−、、r−%、 に了/U司l@増
Claims (19)
- 1.それぞれが複数の電気的リードの2次元的アレイを提供する多数のアクセス 面を有する集積回路チップ積層のモジュールと、 信号受信器のアレイに個々に接続されたそのリードを有する前記モジュールの入 力アクセス面と、 前記信号受信器のための集積回路チップに並列信号処理チャンネルを提供する前 記モジュールの回路と、神経回路網処理システムのノードアレイに個々に接続さ れたそのリードを有する前記モジュールの少なくとも1つの出力アクセス面とを 含む、 神経回路網信号処理システムに使用する電子装置。
- 2.前記出力アクセス面は前記入力アクセス面と平行である、請求の範囲1に記 載の電子装置。
- 3.前記出力アクセス面は前記入力アクセス面と直角である、請求の範囲1に記 載の電子装置。
- 4.さらに、前記出力アクセス面と相互作用をする層であって各ノードが隣接す る複数のノードに接続されたノード抵抗回路網アレイと、前記ノード抵抗回路網 アレイの各ノード同士接続部の抵抗回路とを含む、請求の範囲1に記載の電子装 置。
- 5.さらに、前記ノード抵抗回路網アレイの各ノード同士接続部の抵抗を個々に 変化させる手段を含む、請求の範囲4に記載の電子装置。
- 6.前記ノード抵抗回路網アレイの各ノードは前記出力アクセス面の分離したリ ードに接続されており、前記出力アクセス面の各リードは前記入力アクセス面の 分離したリードに回路を介して接続されている、請求の範囲4に記載の電子装置 。
- 7.さらに、前記ノード抵抗回路網アレイの分離したノードの信号変化に応答す るチャンネルの信号を変化させる各並列信号処理チャンネルと共同する手段を含 む、請求の範囲6に記載の電子装置。
- 8.前記出力アクセス面は前記入力アクセス面と平行である、請求の範囲4に記 載の電子装置。
- 9.さらに、複数の電気的リードの2次元的アレイを提供する少なくとも1つの アクセス面を有する複数の集積回路チップ積層の第2のモジュールと、前記第2 のモジュールのアクセス面のリードを前記第1のモジュールの出力アクセス面の リードに相互接続させる手段とを含む、請求の範囲1に記載の電子装置。
- 10.前記第2のモジュールのアクセス面は、前記第1のモジュールの出力アク セス面と相互作用をする、請求の範囲9に記載の電子装置。
- 11.前記第2のモジュールの集積回路チップは、前記第1のモジュールの集積 回路チップの面と直角な面にある、請求の範囲10に記載の電子装置。
- 12.前記第1のモジュールの出力アクセス面に導く前記第1のモジュールの所 与のチップの各リードは、前記第2のモジュールの異なる集積回路チップに接続 されている、請求の範囲11に記載の電子装置。
- 13.さらに、前記第1のモジュールの出力アクセス面のリードを前記第2のモ ジュールのアクセス面のリードに選択的に相互接続させる切り換え回路網を含む 、請求の範囲12に記載の電子装置。
- 14.前記第2のモジュールのアクセス面は、前記第1のモジュールの入力アク セス面と平行である、請求の範囲10に記載の電子装置。
- 15.さらに、複数の電気的リードの2次元アレイを備える少なくとも1つのア クセス面を有する複数の集積回路チップ積層の第2のモジェールと、前記第2の モジュールの前記アクセス面のリードを前記した第1のモジュールの前記出力ア クセス面のリードに相互接続させる手段とを含む、請求の範囲8に記載の電子装 置。
- 16.前記第2のモジュールのアクセス面は、前記第1のモジュールの出力アク セス面と相互作用する、請求の範囲15に記載の電子装置。
- 17.前記第2のモジュールの集積回路チップは、前記第1のモジュールの集積 回路チップの面と直角な面にある、請求の範囲16に記載の電子装置。
- 18.さらに、前記第2のモジュールに埋め込まれた神経回路網を含む、請求の 範囲10に記載の電子装置。
- 19.前記神経回路網は、それそれが複数の入力信号を受けかっ他の処理ノード または意思決定回路に出力する多数の処理ノードを備える、請求の範囲18に記 載の電子装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US651,477 | 1991-02-06 | ||
US07/651,477 US5235672A (en) | 1991-02-06 | 1991-02-06 | Hardware for electronic neural network |
PCT/US1992/000780 WO1992015062A1 (en) | 1991-02-06 | 1992-01-29 | Hardware for electronic neural network |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH06505352A true JPH06505352A (ja) | 1994-06-16 |
Family
ID=24612992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4505734A Pending JPH06505352A (ja) | 1991-02-06 | 1992-01-29 | 電子神経回路網用ハードウエア |
Country Status (5)
Country | Link |
---|---|
US (1) | US5235672A (ja) |
EP (1) | EP0570479B1 (ja) |
JP (1) | JPH06505352A (ja) |
DE (1) | DE69232116T2 (ja) |
WO (1) | WO1992015062A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6990264B2 (en) | 2000-09-19 | 2006-01-24 | Telkamp Arthur R | 1×N or N×1 optical switch having a plurality of movable light guiding microstructures |
US5644161A (en) * | 1993-03-29 | 1997-07-01 | Staktek Corporation | Ultra-high density warp-resistant memory module |
KR0185754B1 (ko) * | 1994-02-02 | 1999-05-15 | 정호선 | 맵핑회로와 이를 이용한 혼돈 신경망 |
US5680518A (en) * | 1994-08-26 | 1997-10-21 | Hangartner; Ricky D. | Probabilistic computing methods and apparatus |
US5696030A (en) * | 1994-09-30 | 1997-12-09 | International Business Machines Corporation | Integrated circuit contacts having improved electromigration characteristics and fabrication methods therefor |
FR2745973B1 (fr) * | 1996-03-08 | 1998-04-03 | Thomson Csf | Memoire de masse et procede de fabrication de memoire de masse |
US6242545B1 (en) * | 1997-12-08 | 2001-06-05 | Univation Technologies | Polymerization catalyst systems comprising substituted hafinocenes |
US6389404B1 (en) * | 1998-12-30 | 2002-05-14 | Irvine Sensors Corporation | Neural processing module with input architectures that make maximal use of a weighted synapse array |
US6647170B2 (en) | 2000-09-19 | 2003-11-11 | Newport Opticom, Inc. | Optical switching system that uses movable microstructures to switch optical signals in three dimensions |
US6807331B2 (en) * | 2000-09-19 | 2004-10-19 | Newport Opticom, Inc. | Structures that correct for thermal distortion in an optical device formed of thermally dissimilar materials |
US6690847B2 (en) * | 2000-09-19 | 2004-02-10 | Newport Opticom, Inc. | Optical switching element having movable optically transmissive microstructure |
US6647168B2 (en) | 2000-09-19 | 2003-11-11 | Newport Opticom, Inc. | Low loss optical switching system |
US6694071B2 (en) | 2000-09-19 | 2004-02-17 | Newport Opticom, Inc. | Method and apparatus for switching optical signals using rotatable optically transmissive microstructure |
US6954579B2 (en) * | 2000-09-19 | 2005-10-11 | Ying Wen Hsu | Method and apparatus for changing the optical intensity of an optical signal using a movable light transmissive structure |
US7003188B2 (en) | 2001-04-17 | 2006-02-21 | Ying Wen Hsu | Low loss optical switching system |
US7293002B2 (en) * | 2001-06-19 | 2007-11-06 | Ohio University | Self-organizing data driven learning hardware with local interconnections |
US6433413B1 (en) | 2001-08-17 | 2002-08-13 | Micron Technology, Inc. | Three-dimensional multichip module |
US6747347B2 (en) * | 2001-08-30 | 2004-06-08 | Micron Technology, Inc. | Multi-chip electronic package and cooling system |
DE10213045B4 (de) * | 2002-03-22 | 2004-05-06 | Melexis Gmbh | Integrierter optischer Faser-Empfänger |
US7062130B2 (en) | 2003-05-01 | 2006-06-13 | Arthur Telkamp | Low-loss optical waveguide crossovers using an out-of-plane waveguide |
TWI266428B (en) * | 2005-08-30 | 2006-11-11 | Quarton Inc | Semiconductor chip package and application device thereof |
US7865694B2 (en) * | 2006-05-12 | 2011-01-04 | International Business Machines Corporation | Three-dimensional networking structure |
US8019970B2 (en) * | 2007-11-28 | 2011-09-13 | International Business Machines Corporation | Three-dimensional networking design structure |
TWI502522B (zh) * | 2008-03-25 | 2015-10-01 | Nantero Inc | 以碳奈米管為基礎的類神經網路及其製造及使用方法 |
KR101013562B1 (ko) * | 2009-01-23 | 2011-02-14 | 주식회사 하이닉스반도체 | 큐브 반도체 패키지 |
US8933715B2 (en) | 2012-04-08 | 2015-01-13 | Elm Technology Corporation | Configurable vertical integration |
US9336774B1 (en) | 2012-04-20 | 2016-05-10 | Google Inc. | Pattern recognizing engine |
US9928461B2 (en) * | 2015-03-09 | 2018-03-27 | Irvine Sensors Corporation | Hyper aware logic to create an agent of consciousness and intent for devices and machines |
US10325007B2 (en) | 2017-04-05 | 2019-06-18 | International Business Machines Corporation | Noise and bound management for RPU array |
US11514300B2 (en) | 2019-06-14 | 2022-11-29 | Macronix International Co., Ltd. | Resistor circuit, artificial intelligence chip and method for manufacturing the same |
TWI698977B (zh) * | 2019-06-14 | 2020-07-11 | 旺宏電子股份有限公司 | 電阻電路及人工智慧晶片 |
US11233049B2 (en) | 2019-06-14 | 2022-01-25 | Macronix International Co., Ltd. | Neuromorphic computing device |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4354107A (en) * | 1977-11-28 | 1982-10-12 | Irvine Sensors Corporation | Detector array module-structure and fabrication |
US4646128A (en) * | 1980-09-16 | 1987-02-24 | Irvine Sensors Corporation | High-density electronic processing package--structure and fabrication |
US4551629A (en) * | 1980-09-16 | 1985-11-05 | Irvine Sensors Corporation | Detector array module-structure and fabrication |
US4525921A (en) * | 1981-07-13 | 1985-07-02 | Irvine Sensors Corporation | High-density electronic processing package-structure and fabrication |
US4672737A (en) * | 1984-01-23 | 1987-06-16 | Irvine Sensors Corporation | Detector array module fabrication process |
US4659931A (en) * | 1985-05-08 | 1987-04-21 | Grumman Aerospace Corporation | High density multi-layered integrated circuit package |
US4779005A (en) * | 1987-05-11 | 1988-10-18 | Irvine Sensors Corporation | Multiple detector viewing of pixels using parallel time delay and integration circuitry |
US4983533A (en) * | 1987-10-28 | 1991-01-08 | Irvine Sensors Corporation | High-density electronic modules - process and product |
US4912647A (en) * | 1988-12-14 | 1990-03-27 | Gte Laboratories Incorporated | Neural network training tool |
US4974169A (en) * | 1989-01-18 | 1990-11-27 | Grumman Aerospace Corporation | Neural network with memory cycling |
US5045685A (en) * | 1989-03-27 | 1991-09-03 | Irvine Sensors Corporation | Analog to digital conversion on multiple channel IC chips |
US4988891A (en) * | 1989-05-09 | 1991-01-29 | Mitsubishi Denki Kabushiki Kaisha | Semiconductor neural network including photosensitive coupling elements |
US5078952A (en) * | 1989-06-16 | 1992-01-07 | Science Applications International Corporation | Multi-sensor explosive detection system |
JP2568710B2 (ja) * | 1989-12-29 | 1997-01-08 | 松下電器産業株式会社 | 描画制御方法 |
-
1991
- 1991-02-06 US US07/651,477 patent/US5235672A/en not_active Expired - Lifetime
-
1992
- 1992-01-29 JP JP4505734A patent/JPH06505352A/ja active Pending
- 1992-01-29 EP EP92905662A patent/EP0570479B1/en not_active Expired - Lifetime
- 1992-01-29 WO PCT/US1992/000780 patent/WO1992015062A1/en active IP Right Grant
- 1992-01-29 DE DE69232116T patent/DE69232116T2/de not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
WO1992015062A1 (en) | 1992-09-03 |
DE69232116T2 (de) | 2002-03-14 |
EP0570479A1 (en) | 1993-11-24 |
EP0570479B1 (en) | 2001-10-10 |
DE69232116D1 (de) | 2001-11-15 |
EP0570479A4 (en) | 1994-07-20 |
US5235672A (en) | 1993-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH06505352A (ja) | 電子神経回路網用ハードウエア | |
CN110390388B (zh) | 具有3d堆叠结构的神经形态电路和包括其的半导体装置 | |
US20190138894A1 (en) | Analog neuromorphic circuits for dot-product operation implementing resistive memories | |
US3701095A (en) | Visual feature extraction system for characters and patterns | |
US9342780B2 (en) | Systems and methods for modeling binary synapses | |
US20170017875A1 (en) | Synaptic, dendritic, somatic, and axonal plasticity in a network of neural cores using a plastic multi-stage crossbar switching | |
CN107851215A (zh) | 神经突触芯片的三维整合 | |
Fouda et al. | Mask technique for fast and efficient training of binary resistive crossbar arrays | |
Farhat | Optoelectronic neural networks and learning machines | |
Verleysen et al. | An analog VLSI implementation of Hopfield's neural network | |
Higgins et al. | A modular multi-chip neuromorphic architecture for real-time visual motion processing | |
KR20210126335A (ko) | 뉴로모픽 장치 및 그 동작방법 | |
CN109086870B (zh) | 一种基于忆阻器的三维卷积神经网络实现方法 | |
Spirkovska et al. | Connectivity strategies for higher-order neural networks applied to pattern recognition | |
Krasilenko et al. | Using a multi-port architecture of neural-net associative memory based on the equivalency paradigm for parallel cluster image analysis and self-learning | |
Morris et al. | Object-based selection within an analog VLSI visual attention system | |
KR102514931B1 (ko) | 확장 가능한 뉴로모픽 회로 | |
JPH04250584A (ja) | 逆方向に流れるニューロン | |
Werblin et al. | Implementing a retinal visual language in CNN: a neuromorphic study | |
Millner et al. | Towards biologically realistic multi-compartment neuron model emulation in analog VLSI. | |
Ntinas et al. | Neuromorphic circuits on segmented crossbar architectures with enhanced properties | |
US5530953A (en) | Apparatus for relocating spatial information for use in data exchange in a parallel processing environment | |
JP4750313B2 (ja) | 信号処理回路 | |
Indiveri | Neuromorphic selective attention systems | |
Van der Spiegel et al. | Large scale analog neural computer with programmable architecture and programmable time constants for temporal pattern analysis |