JPH02236659A

JPH02236659A - 半導体情報処理装置

Info

Publication number: JPH02236659A
Application number: JP5749489A
Authority: JP
Inventors: Junji Ogawa; 淳二小川
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1989-03-09
Filing date: 1989-03-09
Publication date: 1990-09-19

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（発明の概要〕チップ上にニューラルネットワークを形成した半導体情
報処理装置に関し、ニューロンモデルを節素化し、相互結線問題の解決を図
って、極めて多数のニューロンをチップ上に搭載可能な
、多層化も容易な、ニューロチップを提供することを目
的とし、半導体チップ上に、！Ｘｎ個のセルアレイｍ個を持つデ
ュアルポートＲＡＭと、共通の積和演算及び閾値処理回
路を設け、該セルアレイに、ニューラルネットワークの
１層の各ニューロンの積和演算用の全重みを格納し、ま
た各ニューロンの人２出力は＋１，　−１，　　Ｏの３
値を表わす２ビットとし、前記回路は、入力の２ビット
を３値に変換するデコーダと、前記ＲＡＭ部の各セルア
レイに対して設けられたシフトレジスタおよび該レジス
タのシフト出力を受けるｍビットラッチを通して送られ
る重みと該デコーダの３値出力を乗算する乗算器と、乗
算結果の加算器と、１ニューロン分の加算結果を閾値で
３値に変換する比較器とを備える構成とする。

〔産業上の利用分野〕

本発明は、チップ上にニューラルネットワークを形成し
た半導体情報処理装置に関する。

ニューラルネットワークを実現方式で分類すると■ソフ
トウエアシミュレータ・エミュレータ、■アナログ回路
、■デジタル回路（プロセッサ利用専用ハードウエア、
■のアナログの一部をデジタル化したもの）、■光素子
・光電変換利用のもの、等とすることができる。

またニューラルネットワークを処理のタイプで分類する
と■ホップフィールド（Ｈｏｐｆｔｅｌｄ）型ネットワ
ーク、■拡張パーセプトロン型ネットワーク（パックブ
ロパゲーション型）、■その他の連想メモリ型、■構造
化ネットワーク型（コグニトロン・ネオコグニトロン等
、多くの場合■〜■の大規模化、多層化）、などとする
ことができる．本発明は上記■■のタイプのニューロチ
ップに適するものである。

〔従来の技術〕

ニューラノレネットワークは当初ソフトウェアで実現さ
れ、その後ハードウエア化が図られているが、多数のニ
ューロンモデルを持つ大規模回路化はされていないのが
現状である．上記各タイプの特徴を次に列挙する。

アナログ型二　ホップフィールドネットワークを実現す
るべく、バイボーラ，ＭＯＳ，Ｓｏｌ等の種々の技術で
、重みを抵抗で、ニューロンをオペアンプで実現するよ
うなものが多い。空間的並列性と時間的並列性をともに
備えるが、デバイス化に対しては、ニューロン数のドラ
スティックな増加が現状技術ではうまくゆかない。重み
の可変性にも困難がある。

デジタル型：　汎用プロセッサや並列プロセッサ、もし
《はそれらと高速の積和演算能力を有するＤＳＰ　（デ
ジタルシグナルプロセッサ》等の組みあわせにより、デ
ジタルニエーラルネットを構成する。拡張バーセプトロ
ン・バックブロバゲーション型により、多くの場合、時
間的並列性は犠牲にしてデジタル計算のメリットと重み
値行列の大規模性・可変性を生かす．しかし積和演算の
完璧さを期するあまり、ニューロン数に対するハードウ
エアの規模・複雑さは依然大きい（最大のものは２５６
ｋノードがある）。アナログ型とデジタル型の混在のも
のが登場しているが、現段階ではアナログ型の一部をデ
ジタル化したものが大半である．これらは基本的にホッ
プフィールドネットワークを実現しようとしている。特
に、重み可変にＲＡＭを使う事や、実際の神経素子のパ
ルス入力に対する時間的加重性を持つ事などの展開があ
るがニューロン数の規模に関してはアナログ型などの域
を出ない．光技術型：　大規模な空間並列性をもつ光演算を利用し
ようとするものである。しかしながら、重みの可変性や
システムの規模がいまだ実用的な段階にない。

ホップフィールド型：　これは特徴としてはフィードバ
ックルーブをネットワークとして自己完結的に含み、重
み係数に対称性（Ｗｉｊ＝Ｗｊｌ）を有するものと言え
る。時間要素があり、その平衡後の安定状態がある種の
“制限付き最小値問題”の解になることから注目されて
いる。全てのニューロンの出力が全てのニエーロンの入
力にフィードバックされて、自己連想メモリ的な動作で
平衡に達するため、ハードウエアの実型に際しては、ア
ナログ型が最適である（即ち重みＷ　ｉ　ｊをなんらか
の抵抗素子で実現し、ニューロン１個をオペアンプで実
現する等）．応用面としてパターン認識や組合せ問題も
あるが、ハード上は従来のノイマン型コンピュータとの
整合性にも難点があり、大規模なものは実現されていな
い。

拡張パーセブトロン型：　隠れ層と呼ばれるニューロン
層を中間層とする、３層もしくはそれ以上の層数のネッ
トワークである。第１４図にその概要を示す．（ａ）図
のＯ印はニューロンモデルで、その概要を（ｂ）図に示
す。各層内でのニエーロン相互のフィードバックは全く
ないか、もしくは、全体でごく一部という制限されたフ
ィードバックしかもたない。これによりネットワークと
−しては時間要素がなく、即ち時間的加重性・時間的並
列性という特徴は持たない。この回路は学習型ネットワ
ークとも呼ばれ、ネットワーク内の重みＷｌｊを学習に
より最適化し、分散記憶型の認識処理応用を目ざす。特
にパターン認識・文字認識・音声認識で、すでに多くの
応用成果を有する．ただし、学習方法とその学習に費さ
れる時間に難があり、また、適要すべき応用の個々に対
するネットワークの選定方法（層数、各層のニューロン
数、抑制信号の導入、フィードバック）に理論がないた
め、まだ一般に広範に普及したシステムはない．か一る
問題点の解決のみならず応用を広げるためにも、このネ
ットワークをソフトウェアシュミレートするだけでなく
、専用ＬＳＩ化することが望まれている。特に層数、ニ
ューロン数が増加すると、学習時間は爆発的に増加する
ため、種々の（重み値Ｗｉｊに対する）学習決定アルゴ
リズムが考察されているが、“バックプロパゲーション
”はそのひとつである。

構造化ネットヮ・−ク型；　これは一言で言えば大規模
ニューラルネットワークである。種々のアプローチがあ
り、階層化・構造化が提案されている。特に文字認識に
適したコグニトロン・ネオコグニトロンというモデルが
シミュレートされている．これは簡単に言えば拡張パー
セブトロンの階層化・構造化の型をしているが、“教師
なし学習”をめざすために、“最大検出型仮説”を利用
した大規模ネットワークである。

次に公知文献を列挙すると、デジタルニューロンＬＳＩ
化については信学技報ＩＣ０８８−１２４　（１９８８
）　ｐ４３−５０．同ＩＣ０８Ｂ−１３０（１９８Ｂ）
　ｐ８９−９６．日経マイクロデバイス１９８８　７月
号ｐ７２−７８があり、パックプロバゲーション法につ
いては日経エレクトロニクス１９８７．８月１０日号（
階４２７）ｐｌｌ５−１２４，　　同１９８８．９月５
日号（隘４５５）　ｐｌ５３−　１６０．信学技報ＩＣ
０８Ｂ−１２６（１９８６）ｐ５７−６４がある．またデジタル方式アーキテクチャとしては情報処理学会
誌Ｖｏ１．２９Ｎａ９（１９８８）ｐ９７４−９８３　
、同計算機アーキテクチャ研究会報告７１−１０（１９
８８）ｐ６９−７６、信学技報ＩＣ０８８−１２９（１
９８Ｂ）があり、コグ二トロン・ネオコグニトロンにつ
いては信学技報ＩＣ０８８−１２８（１９８Ｂ）　、信
学会誌Ｖｏ１、６９　ｋｌｌ（１９８６）などがある。

〔発明が解決しようとする課題〕

近年、神経回路網を模したニューロチップとして上述の
ように種々のアプローチがとられている．これらは複数
のニューロンに対し、相互結線の重みＷｔｊ付けをアナ
ログ的に行なっているものが多い。しかしアナログ回路
方式では精度向上が望めない．また大規模しにく＼、多
層構造に対する柔軟性がない．ニューラルネットワークに高度な情報解析を行なわせる
にはニューロン（ノードともいう）数を大にする必要が
あり、ニューロン数が大であると入力層、中間層、・・
・・・・各層間の結線数が膨大になる。ニューロンそれ
自体は禎和回路と閾値処理回路という比較的単純なもの
であるが、それでも個数が数１０００以上になるとｌ゜
チップ上に搭載するのは容易でな《、実現されているの
はせいぜい数１０である．本発明は、ニューロンモデルを簡素化し、相互結線問題
の解決を図って、極めて多数のニューロンをチップ上に
搭載可能な、多層化も容易な、ニューロチップを提供す
ることを目的とするものである。

（課題を解決するための手段〕第１図に示すように本発明では、半導体チップ上にデュ
アルボートＲＡＭＩＯと積和演算及び閾値処理回路２０
を形成し、該ＲＡＭのメモリセルに、ニューラルネット
ワークの１層の各ニューロンの積和演算用の全重みＷｉ
ｊを格納する．入力層、中間層、・・・・・・のうちの
ある層（こ一では中間層とする）のニューロン数をｎ、
その前層（本例では入力層）のニューロン数を！とする
と、重みＷｉｊはｌＸｎ個あり、その各重みをｍビット
？表わすと、所要ビット数はｊ２ＸｎＸｍである。

これを２×ｎのセルアレイｍ個のＲＡＭＩＯに収容する
。

デエアルボートＲＡＭであるからこれらのセルアレイＣ
ＡＹの他に、１ワード線のメモリセル数に等しいビット
数のシフトレジスタＳＲを、各セルアレイに対して持つ
．これらのシフトレジスタに対して、ｍビットラッチ１
２を設ける。ＲＤはワード線ＷＬを選択するローデコー
ダ、ＣＤはビットｖＡＢＬを選択するコラムデコーダ、
ＡＭＰはアンプ、ＤＢはデータバッファである。

演算・処理回路２０は乗算回路２２、加算器２４、閾値
処理回路２６を備える。このニューロチップの出力従っ
て入力（各層の入／出力）は±１とＯの３値とし、これ
を２ビットＳ０。．Ｓ０１とＳ■。

とＳ口で表わす．従って乗算器２２は、セルアレイから
読出した重みＷｉｊを入力Ｓｔ。＋ＳＬ＋の＋１．−１
または０に従ってそのま＼または反転して通し、または
０にするゲート回路である．また閾値処理回路２６は、
加算器２４の出力を、２つの閾値でチェックして大、中
間、小に応じて＋１，０，−１にする比較器である。

〔作用〕

このニューロチップは次のように動作する。説明上この
チップは中間層を構成し、入力層のニューロン数はｌ１
中間層のニューロン数はｎとし、重みＷｉｊはｍビット
とする。デュアルボート囲＾Ｈでは１ワード線を選択す
るとそのワード線に属する全メモリセルの記憶データが
読出され、トランスファゲー｝ＴＧを開くと、それらが
ｍ個のシフトレジスタへ同時に（並列に）ロードされる
。従って本例では１つの中間層のニューロンの重みＷｉ
ｊが全部ｍ個のシフトレジスタＳＲヘロードされること
になる。

ｍビットラッチ１２はｍ個のシフトレジスタＳＲのシフ
トアウト出力を受け、従って重みＷｉｊを１つずつ逐次
取込むことになる。入力層の各ニューロンの出力Ｓ五。

＋Ｓｉｌは中間層へシリアル転送され、これらは逐次ラ
ッチ３１．３２に取込まれ、デコーダ３３で＋１，−１
．０のいずれかにデコードされ、乗算器２２でＷｉｊと
乗算される．この乗算はＷｉＪを、Ｗ　ｉ　ｊ　，　−
　Ｗ　ｉ　ｊ　，または０にする処理であり、高速に行
なえる。ＬＳＩ化された乗算回路は規模が大きくなり、
チップの一部を借りて搭載することは容易でない。

加算器２４は乗算結果を逐次足し込んで行く．ラッチ３
４はこのためのもので、前の加算結果を保持し、加算器
２４はこれと今回の乗算器２２の出力とを加算し、結果
をラッチ３４に蓄える。加算結果はｍより大きいＭビッ
トで表わす。

シフトレジスタＳＲに取込んだ、中間層の１ニューロン
の全重みＷ　ｉ　ｊについての積和演算が終わると、比
較器２６でその加算結果に対するラッチ３５からの比較
レベルＢ．Ｂｚによる＋１，−１．０判定処理が行なわ
れる．結果は、各ｎビット、２個、のシフトレジスタ３
６にシフトインする．次は、セルアレイで次のワード線
が選択され、中間層の次のニューロンに対する積和演算
、閾値処理が行なわれ、結果（これは当該ニューロンの
出力）がシフトレジスタ３６にシフトインされる．以下
同様であり、こうして中間層の各二エーロンの出力がシ
フトレジスタ３６に格納され、これらが次層への出力Ｓ
０。，Ｓ０，になる。

このニューロチップは、例えばｆＸｎ＝５　１　２×５
１２とすると各層５１２個のニューロンのニエーラルネ
ットワークを構成でき、ニエーロン数の飛躍的な向上が
望める。シリアル処理するので、この多数のニューロン
に対する積和、閾値処理回路は１つで、しかも出力を±
１，　　Ｏにしたので乗算回路が簡単になり、１チップ
化が容易である．重みＷｉｊを格納するメモリはデュア
ルポートＲＡＭであるから、並列高速読出しが可能で、
また重みＷｔｊの変更（学習）はＲＡＭ側（Ｄ　Ｂ　＠
）からランダムに１つずつ行なうことができる。

〔実施例〕

第２図に本発明のニューロチップＮＣの概要を示す．Ｓ
ＩＮは前層のニエーロン出力を受ける入力輸子、ｓｏｕ
ｒは後層へのニエーロン出力端子である。これらは前述
のようにＳ！。とＳ！ｌ＋　　ｓＯ。とＳｏｌの各２ビ
ットである。ＳＣＬＫはシフトレジスタ等のシフトクロ
ック、ＴＲはトランスファゲートを開閉する転送信号、
■は演算イネーブル信号の各人力端子である。Ａ　Ｏ　
−Ａ　８はデュアルボートＲＡＭのアドレス信号、ＤＯ
〜Ｄ８は同入出力データ、ＲＡＳはローアドレスストロ
ーブ、ＣＡＳはコラムアドレスストローブ、ＷＥはライ
トイネーブル、ＯＥは出力イネーブル、ＢＳＥＴはラッ
チへの比較レベルＢ，，Ｂ．のセット信号である．本例
ではデュアルボートＲＡＭのセルアレイは５１２×５　
１　２Ｘ４としており、従ってロー、コラムともアドレ
スは９ビットである。

第３図に、このニューロチップ３個を用いて３層構造の
バックプロパゲーション型ニューラルネットワークを構
成した例を示す．ニューロチップＮ　Ｃ　＋が入力層、
同Ｎｅｔが中間層、同Ｎ　Ｃ　ｓが出力層になる。この
種のネットワークは図形認識などに適しており、本例で
もこれを行なう．即ち４１は画像スキャナで、画像を１
ライン５１２ピクセルのアナログ信号群とし、Ａ／Ｄ変
換器４２はこれをデジタルに変換し、前処理回路４３は
これを１ピクセル２ビットにする（３値化する）。

４４はシフトと転送を行なうコントローラで、シフトク
ロックＳＣＬκ、転送信号ＴＲ，および演算イネーブル
信号ＥＮを出力する。４５は汎用プロセッサとアクセス
コントローラで、アドレスバスＡＢ１システムバスＳＢ
及び制御線ＣＬ，を介してニューロチップＮＣ．−ＮＣ
．と接続する。Ｃ　Ｌ　２は第２の制御線で、ゲートＧ
を開いてニューロチップの出力をプロセッサに取込み、
状態のチェックなどを行なう。重みＷｉｊの変更はこの
プロセッサ４５が、アドレスバスＡＢ，システムバスＳ
Ｂを用いて行なう。

第４図にニューロチップの内部構成の具体例を示す。企
図を通してそうであるが、他の図と同じ部分には同じ符
号が付してある．セルアレイＣＡＹは本例では５　１　
２Ｘ５　１　２構成で、４個ある。

従って４ＭのデュアルボートＲＡＭである。アドレスは
ロー、コラムとも９ビットで、ＡＯ〜Ａ８がそれである
。ＲＡＬＢはローアドレスラッチ＆バッファ、ＣＡＬＢ
はコラムアドレスラッチ＆バッファで、外部から時分割
で送られる９ビットアドレスＡＯ〜Ａ８を取込み、ロー
デコーダＲＤ，コラムデコーダＣＤへ送る．１４は転送
制御回路、ｌ６はＩ／Ｏラッチ＆バッファ、ｌ８はメモ
リ部全体の制御回路である。

演算処理回路２０のＧ．．Ｇ．はシフトク口ックＳＣＬ
Ｋのゲート回路である。アンドゲートＧ＋　は演算イネ
ーブル信号ＥＮがＬ（口−）になると開いてＳＣＬκを
通し、これはクロックＳＨＡになってシフトレジスタＳ
Ｒ等へ入力する。ゲー｝Ｇｚはこの逆である。このゲー
トＧ２の出力クロックＳＨ，及び上記ＳＨＡなとのタイ
ムチャートを第５図に示す。

転送制御回路ｌ４は転送信号ＴＲと演算イネーブル信号
ＥＮがＨ（ハイ）のときトランスファゲートＴＧを開く
制御を行ない、その後ＴＲがＨになるとＳＨＡが発生し
て禎和演算が開始する．ＴＲはＨ，Ｌを繰り返し、こう
して最後の（５１２回目の）積和演算まで行なわれる。

各回の積和演算毎に順序回路３７から信号ＳＨ，が発生
し、比較器２６で閾値処理が行なわれ、この結果がレジ
スタ３６に、遅延回路Ｄによる遅延後に発生する信号Ｓ
Ｈ．により取込まれる。

レジスタ３６のデータ読出しは、信号ＥＮがＨになって
発生するクロックＳＨ．により行なわれる．この５１２
ビットのシフトレジスタ３６は循環型になっており、出
力不要のときは単に巡回している．第３図のニューラルネットワークでは演算イネーブル信
号は各チップ別に与える。第６図にそのタイムチャート
を示す，ＥＮ，〜ＥＮ．がニューロチップＮＣ，−ＮＣ
．へ供給する演算イネーブル信号であり、図示のように
Ｈ，Ｌ期間がずれている。ＴＲ，ＳＣＬＫは各チップ共
通である。最終結果は制御線ＣＬ．の信号ＴＡがＨにな
るときシステムバスＳＢへ取出される。なお加算器２４
では１５ビット目のキャリーは切捨てとする。

デコーダ３３と乗算器２２で行なわれる処理を次表に示
す。Ｓ．ＳＩはデコーダ入力、Ｍ０〜ＭＩ３は乗算器出
力である．表　　１表２ ※ｌ：上位ｌＯビットはＯにする ※２：上位１０ビットはｌにする４ビット入力２進数の１４ビット２の補数を次表に示す
．２の補数をとるのは、減算を加算にするためである．第
７図にか一る処理をするデコーダと乗算器の回路を示す
，デコーダ３３は図示の如く排他オアゲートとアンドゲ
ートからなり、２ビット人力Ｓ。Ｓｌが異なるときＦＡ
＝Ｓ．　、ＰＢ−Ｓ，であるＰＡ，ＰＢを出力し、同じ
ときゼロＺを出力して１４個のアンドゲート群２４ｃを
閉じ、その出力（積の出力）を０にする．乗算器２４は
０〜ｌ３で示す１４個のデータセレクタ２４ａと、１４
ビット加算器２４ｂと、１４個のアンドゲートの群２４
ｃからなる。

データセレクタは第７図（ト））に示すように２個のア
ンドゲート、１個のオアゲートとインバータを備え、Ｐ
Ｂ＝ｌ，ＰＡ＝０なら入力ＩＮをそのま＼、ＰＢ＝Ｏ，
ＰＡ＝１なら人力ＩＮの反転を出力する。またデータセ
レクタの４〜１３つまり上位ＩＯピットの入力は０であ
り、０〜３つまり下位４ビットが重みＷｉｊ（こ＼では
Ｗ０〜Ｗ，で表わす）である。加算器２４ｂの一方の入
力はＯＯ・・・・・・０１つまり１である（これは、表
２から明らかなように２の補数が反転＋１であり、これ
に対処するもの）。これらにより表１．２の処理が行な
われ、積の演算がなされる．この積演算では繰り返し加
算などはなく、高速処理できる．第８図に閾値処理回路
２６の具体例を示す．本発明では積和結果が閾値Ｂ＋，
Ｂｚと比べて大，中，小で＋ｉ，ｏ，−ｉとするが、コ
ンバレータ２６ａはＢ，以上かをチェックし、コンバレ
ータ２６ｂは８８以下かをチェックする．前者で出力０
，，０８は１，０、後者でＯ，ｌであり、いずれでもな
いときは（中間のとき）０．０である。コンバレータ２
６ａの出力端Ａ＜Ｂｌ　、コンバレータ２６ｂの出力端
Ａ≧８２は不使用である。

１４ビットマグニチュードコンバレータ２６ａ．２６ｂ
の具体例を第９図に示す。本例では４ビットマグニチュ
ードコンバレー夕を５個、２６Ａ〜２６Ｅを使用して１
４ビットマグニチュードコンパレータとする．２６Ａで
Ａ１４とＢ１４（ＭＳＢ）、２６ＢでＡ９〜Ａ１３とＢ
９〜Ｂ１３、２６ＣでＡ４〜Ａ８とＢ４〜Ｂ８、２６Ｄ
でＡＯ〜Ａ３とＢＯ〜Ｂ３を比較し、これらの結果を２
６Ｅで比較して、Ａ＜Ｂ出力とＡ≧Ｂ出力を生じる．閾
値処理は第１４図の従来例ではシグモイド関数で行なう
が、本発明では段階関数で行なう。第１０図にこの様子
を示す。入力ｘｊがＢ＋以上なら出力ｙｊは＋１、入力
ｘｊが８２以下なら出力ｙｊは−１、これらの間なら０
である。十αは入力の上限で、本例では１１・・・・・
・１　＝８１９２である．Ｂ，は０１１・・・・・・１
　＝　＋２０４８、Ｂｚ　＝　１　０・・・・・・０１
・・・・・・１＝−２５６などとする。勿論Ｂ＋，Ｂｚ
は任意に変更できる。この閾値関数（階段関数）をｆあ
る。

通常のニューロンモデルに対して本発明のニューロンモ
デルは次の特徴がある．■ニューロンの状態（出力）は
±１，φの３値をとる。実際には２ビットで表現する．
■重みＷｌｊは１５〜Ｏの正整数値とする。実際には２
進数４ビットで表現する．■閾値関数としては、第１０
図のような階段関数を用い、そのために２個の閾値パラ
メータＢ１，　Ｂ２　（ともに２進１４ビット表現）を
与える（−８１９２≦８２＜Ｂｌ≦＋８１９２）。以上
の事から、積和演算装置の簡易化（規模小）、高速化が
図られる。このメリットを生かして、積和演算の手続き
を各ニューロンに対し完全並列にせずデュアルボートメ
モリからのシリアル読出しサイクルに直列に処理を行な
うこと（直列化）で、積和演算装置を一元化する。この
一元化でもなおスピードがそこなわれない（８＋ｍｓ，
／１層）．シかも、重み行列メモリと積和演算装置が同
一デバイスに一体化されたことで外部から装置に対する
制御は第５図、第６図のごとく簡単になる。

第１２図に他の実施例を示す．第４図と比べて入力ラッ
チ３１．３２が１ビットでなく、５１２ビットのシフト
レジスタ３１Ａ，３２Ａである点及びメモリ部のシフト
レジスタＳＲが各々外部入力端子ＲＩＭ●〜ＲＩＮ３と
そのラッチ１９を持っている点が異なる。このようにす
ると、■２値化の前処理（第３図の４３）を入力層チッ
プＮＣ．で行なわせる。■前処理しないデータをＲＡＭ
セルに並列転送して記憶する。このことにより、予め外
部から取り込んだ４ビット／ピクセルの画像データ等を
いつまでも入力層データとして再利用できる（プロセッ
サの他のメモリ空間を消費しない）■このとき乗算器は
全てスルーであるようにＳｉゆ，Ｓｉｔを与える（従っ
て出力ｓ０。，ｓ０１は３値化出力）。■また、上記手
法時に、入力層のある部分にマスキングを施す時にマス
キングデータをＳ１。，Ｓｉｔに与える。■あるいは、
第３図のシステム構成におけるＳＣＬκ，ＴＲという共
通信号を各層ごとに（チップＮＣ１，ＮＣｚ，・・・・
・・ごとに）分離して供給するようなシステム構成をと
ったときに、ある選択した層のみの解析をする場合、シ
フトレジスタ３１Ａ，３１Ｂがあれば、注目層のデバイ
スのみ動作させればよい。（所要入力データはシフトレ
ジスタ３１Ａ，３１Ｂに確保されている）．そのため、
多層構成時の、デバイス動作によるパワーの低減等がは
かれる、などいくつかの利点やシステム構成に対する柔
軟性がある。

第１１図に順序回路３７の具体例を示す。この回路３７
は第４図、第５図に示すように、各回のニューロン計算
サイクルが終ったとき一定幅のバルスＳＨｃを出力する
．この一定幅は第１１図ではモノマルチバイブレータ（
ＭＭＢ）３７ａ，３７ｂで作る。ＥＮがＨになったとき
ＭＭＢ３７ｂはトリガされて１個のＳＨｃを生じる（た
だし、５１２番目のＳＲ．に相当する）。これはラッチ
３８ｆをトリガして出力をＬにし、アンドゲート３７ｄ
を閉じる．次にＥＮはし、ＴＲもＬになると、アンドゲ
ート３７ｃの出力はＨになるが、一発目のＴＲ＝Ｌは３
８ｇの作用で除去される。ＥＮ＝Ｌ以降の２発目のＴＲ
＝Ｌがラッチ３８ｆをトリガして出力をＨにし、アンド
ゲー｝３７ｄを開いてＭＭＢ３７ａをトリガし、パルス
Ｓ　Ｈ　ｃを生じさせる（これが一番目のＳＨ．に相当
する）。この経路のＳＨｃは以降ＴＲがＨ，　　Ｌを繰
り返す毎に発生する．ＭＭＢ３７ａ，３７ｂの時定数（出力パルス幅）は異な
っても、同じでもよい。これらは共通化することも可能
である。

本発明では１層の各ニューロンの積和演算に必要な全重
みＷｉｊをデュアルボートＲＡＭに持ち、積和演算及び
閾値処理回路は各ニューロンに共通に１つだけ同じチッ
プに設け、シリアル処理するという方法をとっている。

このため５１２個という多数のニューロンを１層におく
ことができ、しかも結線は第４図などから明らかなよう
に極めて簡潔である。

同じシリアル処理でも、各ニューロンに積和回路等を設
けると第１３図の如くなり、回路規模は大型化してしま
う。演算、処理回路の共用化の効果は大きい。

本発明は次の考察をベースにしている。ニューロネット
ワークは、簡単な計算をするユニット（ニューロン）を
多数もち、個々が重み（Ｗｉｊ）付きの方向性リンクで
結合され、情報処理を行うものである．ネットワークを
特徴づけるのは、■結合形態、■重み、■ユニットの出
力関数、である。ハードウエア化するための必要機能と
して、■重み値（Ｗｉｊ）の記憶、■リンクの接続情報
の記憶、■出力状態値（関数）の生成・記憶、■積和演
算機能、がある。このうち、いくつかに機能上、固定か
可変かの選択がある。

本発明では、まず、拡張パーセブトロン型のある一層を
デバイスにＬＳＩ化するという前提で、■重み値（Ｗｉ
ｊ→Ｋビット）をデジタルにＲＡＭに記憶し、可変とす
る。層内のニューロン数Ｎに対しｆｆｉＸｎＸｍビット
のＲＡＭを持つことで、１層の各ニューロンに対する重
みが全て記憶される。

■リンクの接続情報としては、全て重み値に反映させ、
かつ層内のフィードバック結合は何らデバイス中で有し
ない．■出力状態値（関数）の生成：積和演算後の２進
ビットの集合に対し、比較処理をデジタルに行い、２ビ
ット３値の出力を得る。それをｎ個分デジタルに記憶す
る。■積和演算機能；上記２ビットのニューロン出力状
態にｍビットの重みを乗算し、それをｎ個分加算する。

特にハードウェア規模を抑えるために、ｍは小さい値と
する．入出力が３値±１，０であれば乗算は簡単で、乗
算器の規模速度ともにＬＳＩ化のボトルネックにはなら
ない。■さらに上記の基本的？件に対し、重み行列（Ｗ
ｉｊ）の記憶とその呼び出しに対して従来からあるビデ
オ用デュアルポートＲＡＭのシフトレジスタ出力機構を
利用する．それに伴い、前層のニューロンの出力情報の
受け、ならびに当該層のニューロンの出力情報の送り出
しに、各々またはいずれか一方にｎＸ２ビットのシフト
レジスタを利用し、デバイス化されたある一層と、他の
デバイス（前後層）との間の通信手段とする。

次に処理速度の考察を行なう。層数がし、各層のニュー
ロン９５（Ｎ，ビデオＲＡＭの転送サイクルをＴｏ　（
ｎＳ）、’１９小シフトレジスタサイクルをＴｓ（ｎｓ
）、加算器の加算時間は最悪でＴＡＤＤ（ｎＳ）とする
と、乗算時間Ｔ　ｓ　ｕ　ｔについては、乗算を±１．
０に限ればほぼＴ■，≦ＴＡＤＤである。もしＴＡＤゎ
≦Ｔｓ　（ｎＳ）に回路を構成できれば、一層の積和演
算はＮ（Ｔｏ＋Ｎ−Ｔｓ）であり、ニューロネット全体
ではα＝ＬＮ（Ｔｏ＋Ｎ−Ｔｓ）となる。Ｌ＝５、Ｎ＝
５　１　２、Ｔｏ＝２００ｎＳ，Ｔｓ＝３０ｎＳならα
＝５Ｘ５１２（２００＋５　１　２Ｘ３０）＃４０ｍＳ
である．即ち、Ｔｓ＝３０ｎＳとして．も、５１２−１
−ユーロン×５層の大規模ネットワークがデバイス５個
で実現でき、処理速度も高々４０ｍＳで出力が出る。

〔発明の効果〕

以上説明したように本発明によれば、大規模ニューラル
ネットワークを容易に構成でき、画像処理などに有効で
ある。このニューロチップは各層間のニューロンの相互
結線に悩まされることがななく、ニューロン数の増加、
多層化が容易である。

大規模ＬＳＩは４Ｍから１６Ｍ、６４Ｍと益々増大する
傾向があり、このようなＬＳＩを用いると１層のニュー
ロン数を数千などに拡大できる。

【図面の簡単な説明】

第１図は本発明の原理図、第２図は本発明のニューロチップの入出力信号の説明図
、第３図は本発明のニューロチップでニューラルネットワ
ークを構成した例を示すブロック図、第４図は本発明の
実施例を示すブロック図、第５図は第４図の動作説明用
タイムチャート、第６図は第３図の動作説明用タイムチ
ャート、第７図デコーダと乗算器の具体例を示すブロッ
ク図、第８図は比較器の具体例を示すブロック図、第９図は第
８図の一部の詳細を示すブロック図、第１０図は閾値の
説明図、第１１図は順序回路の説明図、第１２図は本発明の他の実施例を示すブロック図、第１３図は個々に積和回路を設けた場合の説明図、第１４図はニューラルネットワークの説明図である。第１図で１０はデュアルポートＲＡＭ，２０は積和演算
及び閾値処理回路、２２は乗算器、２４は加算器、２６
は比較器、３３はデコーダである。本発明の二為−ロチップの大一力信号の朕明スュ，−ラ
ルネ，トワークを構成した例を示すプロクク図第３図第８図〇一部の詳細を示すブロック図ｙ３　や闘値の説明図第１０因頑序回路の説明図第１１図個々に積和回路ｋ設け念場合のしＢＥＩ図（ａ）人力層中間層出力層偽）二翼一ク／モデル二島−テルネットワークの説明図第１４図

Claims

【特許請求の範囲】１、半導体チップ上に、ｌ×ｎ個のセルアレイｍ個を持
つデュアルポートＲＡＭ（１０）と、共通の積和演算及
び閾値処理回路（２０）を設け、該セルアレイに、ニュ
ーラルネットワークの１層の各ニューロンの積和演算用
の全重み（Ｗｉｊ）を格納し、また各ニューロンの入、
出力は＋１、−１、０の３値を表わす２ビットとし、前記回路（２０）は、入力の２ビット（Ｓ＿ｉ＿０、Ｓ
＿ｉ＿１）を３値に変換するデコーダ（３３）と、前記
ＲＡＭ（１０）部の各セルアレイに対して設けられたシ
フトレジスタ（ＳＲ）および該レジスタのシフト出力を
受けるｍビットラッチ（１２）を通して送られる重み（
Ｗｉｊ）と該デコーダの３値出力を乗算する乗算器（２
２）と、乗算結果の加算器（２４）と、１ニューロン分
の加算結果を閾値（Ｂ＿１、Ｂ＿２）で３値に変換する
比較器（２６）とを備えることを特徴とする半導体情報
処理装置。