JPH0512758B2 - - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明はデータ処理技術、特に並列情報アーキ
テクチヤーを含むデータ処理技術に関する。

［従来技術の説明］ 最近、情報処理に適合するデバイスのニユーラ
ルネツトワーク設計が報告されている。（この設
計の一般的な記述については、1982年のアメリカ
プロシーデイング・オブ・ナシヨンナル・アカデ
ミ・オブ・サイエンス（Proceedings of the
National Academy of Science）第79巻第2554
頁のジエー・ジエ・ホツプフイールド（J.J.
Hopfield）の文献および1984年のアメリカプロ
シーデイング・オブ・ナシヨンナル・アカデミ・
オブ・サイエンス第81巻第3088頁のジエー・ジ
エ・ホツプフイールドの文献を参照。）基本的に
は、このようなネツトワークは(1)相互接続素子
（例えば、零から無限大の間のインピーダンスを
有する抵抗）を有するマトリツクス、および(2)マ
トリツクスと相互作用する能動素子（例えば、１
以上の利得を有する増幅デバイス）を含み、マト
リツクスの各交差部分では(a)相互接続素子は、相
互接続されている行と列の間に転送される信号に
特有な方法で影響する。また(b)少なくとも１つの
相互接続素子は各能動列で少なくとも１×10^-12
アンペア（amp）の通過を許可し、少なくとも１
つの素子は各能動行でこのような電流の通過を許
容する。このネツトワークは、所定の処理機能を
行なうように各マトリツクス交差部分でのインピ
ーダンス値を適合に選択することによつて調整さ
れる。

処理されるべきデータは入力端に入力される。
並列処理と言う名の通り、データの全部あるいは
大部分は処理が始まる前に入力される。処理をす
る前に情報を入力するこのプロセスは初期化と呼
ばれる。エラーを避けるために、システムは実質
に同時にこのすべての、データと相互作用し始め
る必要がある。（本明細書においては、同時相互
作用とは、入力されたデータのすべてが能動素子
の整定時間内に存在することを意味する。この整
定時間は(1)能動素子の出力インピーダンスとの出
力導線の静電容量との積、および(2)能動素子への
入力変化とこの変化に対応する出力の90％到達と
の間の遅延、のどちらか大きい方である。） 初期化の方法はかなり限られている。一般にア
ナログあるいはデジタル信号の形のデータは入力
端に入力される電圧（入力ベクトルの１つの成分
を表わす電圧）で入力に与えられることが提案さ
れている。すべてのデータが入力される前に始ま
つてしまう処理を防ぐには、大きい入力信号パワ
ーレベル、例えば、(1)増幅器の最大出力電流の２
乗と(2)マトリツクスの節点に接続されている実効
抵抗との積以上のレベル、を用いることである。
この高パワーは増幅器を飽和させ、処理のオンセ
ツトを防げる。処理を始めるには、すべての入力
信号とほぼ同時に終端される。

しかし、この飽和法には大きな欠点が存在す
る。飽和を起こすのに必要な大きなパワーはシス
テムで大きな熱応力を発生させる。熱除去は一般
には効率の悪い過程であるため、入力点の数、従
つて処理できるデータ量は相応じて制限される。

すべての相互接続を切断することによる処理化
が報告されている（1986年ジエー・エス・デンカ
ー（J.S.Denker）編集のプロシーデイング・オ
ブ・コンフアレンス・オブ・ニユーラルネツトワ
ーク・フオー・コンピユーテイング
（Proceeding of the Conference of Neural
Networkd for Computing）、スノーバード
（Snow−bird Utah）第408413頁のエム・エー・
シビロツチ（M.A.Sivilotti）の文献を参照のこ
と）。この方法は非常にに多く（N²個）のスイツ
チを必要とし、従つて大きな回路には適用できな
い。

（発明の概要） データ入力を制限しない初期化は、データの適
当な入力点と接続するスイツチ列を用いることに
よつて完成できる。特にスイツチはマトリツクス
の各列に配置される。（マトリツクスの様々な部
分の列と行という用語の使用、例えば列は入力、
行は出力に接続される、は単に２セツトの電極を
区別するのに用いられるもので、このような名称
は可逆である。）データはスイツチと増幅器の入
力端との間の点で処理ラインに入力される。この
基準は、例えばスイツチを列又は行ラインに置
き、増幅器の入力端に最も近いスイツチに入力を
与えることによつて満足される。つまり第１図に
示されるように、スイツチ２０は各行に置かれ、
その列へのデータはスイツチ２６を通じて点２４
で与えられる。処理を始めるには、データは各ラ
インに与えられ、コンデンサ２８を充電する。ス
イツチ２６は開かれ、またスイツチ２０は同時
に、例えば最も速い増幅器の整定時間内で閉じら
れる。

多数の行と列接続が存在しない、つまり無限の
抵抗値で存在するネツトワーク配置は可能であ
る。同じ基準がこれらの配置に適用できる。この
ような場合、いくつかの応用では確実な結果を得
るために、能動素子の全てが初期化されるのでは
ないことも可能である。それでもかなりの能動素
子の初期化がやはり必要である。

２つの典型的な実施例が第２図と第３図に示さ
れている。第２図に示されているように、スイツ
チ３０は各行あるいは各列に存在し、情報は増幅
器の出力端に接続されていないスイツチ側に入力
される。別の実施例の第３図では、スイツチは各
列に存在し、情報はスイツチと能動素子の入力端
との間に入力される。

（実施例の説明） ニユーラルネツトワーク回路の設計と製造はい
くつかの出版物の中で述べられている。例えば、
適当な設計と製造技術は1985年にアジソンベスリ
出版（Addison Wesley Publishing Company
）のベステ（Weste）とエシユラヒアン
（Eshrahian）の“CMOSVLSI設計の原理、シス
テム展望”および1983年にマグロヒツル出版のエ
ス・エム・ズイ（S.M.Sze）の編集の“VLSI技
術”に記述されている（また1986年１月３日に出
願されたアメリカ特許出願第796085号を参照、こ
こではこれも参考文献とする。）これらの製造工
程を用いるものの中では、スイツチは従来の技術
によつてマトリツクスの各列（あるいは行）に挿
入されている。例えば、スイツチはデスクリート
CMOSアナログスイツチあるいは集積トランジ
スタを用いて製造されている。この目的のための
スイツチは、切断されることによつて、ノードで
の有意電流を防ぐ回路素子である。有意電流と
は、ノードに接続されるすべてのスイツチが切断
されたときの回路に与える影響が、１つのスイツ
チが閉じたときのものより小さい電流である。し
かし、閉じたスイツチのインピーダンスは十分小
さい必要があり、その結果ネツトワークの応答時
間が必要以上に影響されない。もしこれらの基準
を満たされたら、スイツチの製造手段およびスイ
ツチの配置は決定的ではなくなる。この適切なス
イツチの典型例はCMOS・Ｔ・ゲートスイツチ
である。このようなスイツチの製造は上記ベステ
とエシユラヒアンの文献に示されている。

適当な場所でマトリツクスの各列にデータを入
力する手段も提供される必要がある。各列への入
力信号は対応するスイツチと増幅器の入力端との
間に入力される。２個の実施例はそれぞれ第２図
と第３図に示されている。第３図では、スイツチ
２０と２６は増幅器３２の前に配置されている。
前述したように、スイツチ２６は閉じられ、信号
電圧は増幅器３２の入力端と蓄電コンデンサ３１
に与える。

スイツチ２６が切断されると、コンデンサ３１
に蓄積される電荷のため、増幅器３２の電圧は実
質上一定のままである。この現象は能動素子の入
力インピーダンスとコンデンサ３１との積が少な
くとも整定時間の２倍であるために起こる。
MOS回路では適当なコンデンサの存在は一般に
は、能動素子の固有容量によつて満たされる。し
かし、もしこの基準が満たされなければ、能動素
子の固有容量に頼るよりも容量を増加した方が有
利である。この初期化が完了した後、スイツチ２
６は切断され、ネツトワークはスイツチ２０を閉
じることによつて開始される。（１つの実施例で
は、コンデンサ３１は増幅器３２の入力容量とそ
れに付属する寄生容量とからなる。） 第２図に示される別の実施例では、スイツチ３
０は各列の点３４に挿入されている。従つて、入
力はライン４２に沿つて入力される必要がある。
この入力に可能な場所は33で示されている。また
コンデンサ３７はラインに挿入され、その結果、
スイツチ５０が切断され、スイツチ３０が閉じら
れる前には、ラインが初期化される電圧は基本的
には一定に保たれる。明らかにスイツチと入力場
所の別な組合せは可能である。しかし、これらの
配置は、入力位置はスイツチと任意の接続される
能動素子の入力端との間にある、という条件を満
足する必要がある。第２図の回路の動作では、ス
イツチ５０は閉じられ、初期化が完了される間に
スイツチ３０は切断され、次にスイツチ５０が切
断され、同時にスイツチ３０は閉じられる。

入力ラインの製造は、上記ズイの文献で記述さ
れている標準のCMOS製造技術のような公知の
技術によつて行なわれる。同様に入力データライ
ンに配置され、システムが初期化された後に切断
されるスイツチは、一般にはCMOS・Ｔ・ゲー
トである（上記ベステとエシユラヒアンの文献参
照のこと。）ワイヤのような構造はコンデンサと
して適当で、典型的には余分なコンデンサの付加
は必要としない。

次に本発明の実施例を示す。

［実施例 １］ 第３図に示され、および１点鎖線の四角型で囲
まれたマトリツクスは、1987年１月20日に出願さ
れたアメリカ特許出願書第004595号の実施例に記
述された工程によつて製造される。（４つの入力
しか示されていないが、実際には24個の入力が存
在する。）しかし、この工程で用いられた誘電体
層はスピンコーテイングによつて生成されたポリ
イミド層であつた。このポリイミド層の中の相互
接続抵抗のための通過ホールは、酸素プラズマ中
での反応性イオンエツチングによつて生成され
る。このエツチングは、上述の明細書の実施例で
述べられた６フツ化イオウの中でタングステンを
エツチングするのに用いられる工程によつて行な
われる。ただし、酸素は６フツ化イオウエツチン
グ液によつて置き換えられ、100ミリトール
（millitorr）ガス圧を有する300ボルトプラズマバ
イアスが用いられる。上層電極はタングステン
で、パターン化され、下層と同じように生成され
る。上のアルフアスシリコンは水素添加されな
い。シリコンの推積の前に、通過ホールによつて
露出されたタングステンが汚ていないことを確認
するために、アルゴンイオンビームは用いられ
る。上のアルフアスシリコンとタングステン層は
通過ホールを通じてポリイミド上に推積され、次
に、パターン化される。タングステン層は0.2ミ
クロンの厚さで、２ミクロンラインアンドスペー
ス設計規準でパターン化される。この製造工程で
できた抵抗は、通過ホールが生成されていないと
ころでは300000オームあるいは無限大である。通
過ホールのパターンは、1986年のフイジカ
（Physica）第20D巻第216頁のジエー・エス・デ
ンカーの文献に記述された技術を用いて選択され
る。

第３図の一点鎖線四角型で示されたチツプは標
準の44ピンキヤリアに固着されるワイヤで、回路
ボード上にマウントされ、第３図に示された残り
の部分と相互接続される。この残りの部分は、
1986年アメリカ物理学会出版（American
Institute of Physics，New York）のジヨン・
デンカー（John Denker）編集のAIPコンフアレ
ンス・プロシーデイング（AIP Conference
Proceedings，Snowbird Utah）“ニユーラルネ
ツトワーク・フオー・コンピユーテイング”
（Neural Networks for Computing）第227頁に
記述されたように構成される。増幅器に用いられ
るチツプはCD4069（国家規格）と呼ばれる普通の
チツプで、スイツチに用いられるチツプは
CD4066（国家規格）と呼ばれる標準のチツプであ
る。多重化、計算器インタフエース、データ入力
およびデータ出力に用いられるチツプはPDP11
コンピユータ用の標準インタフエースである。
（このインタフエースはPDP11コンピユータの製
造元、デジタル装置株式会社（Digital
Equipment Corporation，Maynard，
Massachusetts）から市販される仕様品から改造
された。） 第３図のスイツチ２０が切断されている間に、
増幅器３２の入力容量を表わすコンデンサ３１
は、第３図で閉じているスイツチ２６に対応する
アナログスイツチ（部品ナンバーCD4066（国家規
格））を通じて充電される。各コンデンサ３１の
充電レベルに対応する入力データは、ネツトワー
クの動作をテストするのに用いられるランダムパ
ターンを有するコンピユータによつて選択され
る。このコンデンサの充電は一度にすべてのコン
デンサに対して行なわれるのではなく、14個と16
個の間のコンデンサに対してのみ同時に行なわれ
る。各ブロツクが充電された後、スイツチ２０と
２６は切断され、すべてのスイツチが切断される
まで続く。コンピユータは、２０と示されるすべ
てのスイツチをほぼ同時に閉じさせるような信号
を与えるようにプログラムされる。次にネツトワ
ークは確立し、数学的に予測される結果に対応す
る出力が得られる。

［実施例 ２］ 能動素子および接続素子の両方を含む単一チツ
プが作られる。このチツプは２〜1/2ミクロン設
計規準を有する従来のCMOS技術を用いて製作
される。能動素子の入力に接続する素子は珪化物
レベルで形成され、能動素子の出力に接続する行
はアルミニウム金属（metallization）レベルを
用いて形成される。能動素子は普通のインバータ
を含むCMOS増幅器である。能動素子は直列に
接続される２つのインバータを含む。その内の１
つのインバータ素子は前記ベステの文献に記述さ
れた簡単な２つのトランジスタインバータで、２
つ目のインバータはやはりベステの文献第55頁に
記述されたクロツクインバータである。これらの
２つの素子は直列に接続される。相互接続素子
は、1987年M.I.T.出版（M.I.T.Press）ピー・ロ
スレベン（P.Losleben）編集のプロシーデイン
グ・オブ・スタンフオード・コンフアレンス・オ
ン・アドバンスト・リサーチ・オン・VLSI（The
Proceedings of the Stanford Conference on
Advanced Research on VLSI）第351頁のエ
チ・ピー・グラフ（H.P.Graf，）らの文献“ニユ
ーラルネツトワークモデルのCMOS完成（Ａ
CMOS Imolementation of ａ Neural
Network Model）”に記述されており、さらに
この文献の第５図に示されている。相互接続素子
のパターンおよび相互接続素子の特性は上記グラ
フらの文献、および1987年１月20日に出願された
アメリカ特許出願第004595号に記述されている。

初期化のためのスイツチは第２図に示されるよ
うに配置され、増幅器４８は前記能動素子に対応
し、抵抗５９は相互接続素子に対応する。動作中
では、スイツチ３０は切断され、入力スイツチ５
０（第２図）のV_ioと示される）は閉じられる。
（各入力V_ioはチツプの一部である専用バツフアメ
モリセル７１と接続される。）このようにデータ
はセルにロードでき、あるいはセルから読み取る
ことができる。これらのセルは多重化により初期
データでロードされる。データはライン７６から
スイツチ８４を通じるバツフアメモリセル７１に
ロードされる。（回路が答えを決定した後、デー
タは、スイツチ８２を閉じ、結果をライン７３に
ロードすることによつてバツフアメモリセル７１
から読み出される。）スイツチ５０は閉じられ、
３０は切断され、コンデンサ３７は充電される。
（実際には、コンデンサ３７はライン３３と３２
に付属するコンデンサである。）次にスイツチ５
０は切断され、スイツチ８０は閉じられる。シス
テムは数学的に予測される安定状態に決定され
る。この決定は、バツフアメモリセルを通じてス
イツチ５０を閉じることでデータを読取ることに
よつて行なわれる。

【図面の簡単な説明】

第１〜３図は本発明の実施例を示す図である。 ２０，２６，３０，５０，８２，８４……スイ
ツチ、２４……点、２８，３１，３７……コンデ
ンサ、３２，４８……増幅器、３２，３３，４
２，７３，７６……ライン、５９……抵抗、７１
……専用バツフアメモリセル。

Claims (1)

1. 【特許請求の範囲】 １ (a) 相互接続素子によつて接続される行と列
   を有するマリツクスの複数の入力および (b) このマトリツクスと相互作用する能動素子か
   らなるニユーラルネツトワークを用い、 (1) 前記複数の入力に信号を与えるステツプ、
   ここでマトリツクスにあるスイツチは、それ
   ぞれの入力がマトリツクスのスイツチと能動
   素子の入力との間に得られるように配置さ
   れ、および (2) スイツチを閉じるステツプからなることを
   特徴とするニユーラルネツトワークの初期化
   プロセス。 ２ 相互接続素子は抵抗からなることを特徴とす
   る請求項１に記載のプロセス。 ３ 能動素子は増幅器からなることを特徴とする
   請求項２に記載のプロセス。 ４ 能動素子は増幅器からなることを特徴とする
   請求項１に記載のプロセス。 ５ (1) 相互接続素子によつて接続される行と列
   を有するマトリツクスの複数の入力および (2) このマトリツクスと相互作用する能動素子か
   らなり、マトリツクスにあるスイツチは、それ
   ぞれの入力がマトリツクスのスイツチと能動素
   子の入力との間に得られるように配置されるこ
   とを特徴とするニユーラルネツトワーク。 ６ 相互接続素子は抵抗であることを特徴とする
   請求項５に記載のニユーラルネツトワーク。 ７ 能動素子は増幅器からなることを特徴とする
   請求項６に記載のニユーラルネツトワーク。 ８ 抵抗の一部は無限大の抵抗値を有することを
   特徴とする請求項６に記載のニユーラルネツトワ
   ーク。 ９ 能動素子は増幅器からなることを特徴とする
   請求項５に記載のニユーラルネツトワーク。