JPH05242065A - 情報処理装置及びシステム - Google Patents

情報処理装置及びシステム

Info

Publication number
JPH05242065A
JPH05242065A JP4042830A JP4283092A JPH05242065A JP H05242065 A JPH05242065 A JP H05242065A JP 4042830 A JP4042830 A JP 4042830A JP 4283092 A JP4283092 A JP 4283092A JP H05242065 A JPH05242065 A JP H05242065A
Authority
JP
Japan
Prior art keywords
information processing
functional blocks
integrated circuit
circuit board
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4042830A
Other languages
English (en)
Inventor
Mitsuo Asai
光男 浅井
Katsunari Shibata
克成 柴田
Yuji Sato
裕二 佐藤
Minoru Yamada
稔 山田
Takahiro Sakaguchi
隆宏 坂口
Masa Hashimoto
雅 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP4042830A priority Critical patent/JPH05242065A/ja
Priority to KR1019930002562A priority patent/KR930018384A/ko
Priority to EP93102966A priority patent/EP0557997A2/en
Publication of JPH05242065A publication Critical patent/JPH05242065A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Neurology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Multi Processors (AREA)
  • Microcomputers (AREA)

Abstract

(57)【要約】 【構成】演算を行う機能ブロック(内積演算を高速に行
えるもの）とこれを制御する制御部を１つのモジュ−ル
（１〜１２８モジュール）とする。モジュ−ル内ではＳ
ＩＭＤ方式により動作を行う。さらに複数個のモジュ−
ルを接続し通信を可能とする。複数個のモジュ−ルは、
異なる命令セットであるＭＩＭＤ方式により動作を行
う。また、１つのモジュール内では、ニュ−ロンプロセ
ッサ及びメモリなどの欠陥に対して強い部分は集積回路
基板上に集積し、欠陥に対して弱い制御部は、例えばシ
リコン・オン・シリコン技術により、その集積回路基板
上に制御部の集積回路基板を搭載する。 【効果】ニュ−ラルネットの学習及び動作を高速に行う
ことができる。更にモジュ−ルごとに異なる命令セット
により動作させることが可能である。また大規模の超並
列計算を行う情報処理システムを非常にコンパクトに提
供できる。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、情報処理装置及びシス
テムに係り、ニュ−ロコンピュ−タを始め、並列計算
機、物理シミュレ−ションシステム、ワ−クステ−ショ
ン、ロボットの制御システム等、非常に幅広く利用する
ことができるものである。
【０００２】
【従来の技術】従来の並列計算機の実現方法で粒度の小
さい方法の代表として、コネクションマシ−ンがある。
コネクションマシ−ンでは、一つのプロセッサ要素は１
ビットの演算器と４Ｋビットメモリから構成されてお
り、最も粒度を細かくしている。システム全体は単一命
令で制御される単一命令複数デ−タ流方式（ＳＩＭＤ
（シングルインストラクション・マルチデ−タストリ−
ム）方式）で行っている。１チップ（集積回路）に１６
個のプロセッサ要素を集積し、各チップは２進１２−キ
ュ−ブ網で相互結合されている。全てのプロセッサ要素
数は６５５３６（２16）個である。コネクションマシ−
ンは人工知能用または画像処理用計算機として、非常に
高性能なものとなっている。また、コネクションマシ−
ン上でニュ−ラルネットワ−クをシミュレ−ションする
報告がある。しかしながら、一般のニュ−ラルモデルは
複数ビットのデ−タ同士の乗算と加算の計算を繰り返す
ものが多く、１ビット演算器まで粒度を細かくしてお
り、複数ビットの演算のためのオ−バ−ヘッドがあり、
これらの問題に対して、それほどの高速演算性能を期待
できない。
【０００３】また、ニュ−ラルネットを高速に演算及び
学習させる方法として、本願発明者らによる”高速学習
型ニュ−ロＷＳＩのシステム設計”、1990年10月25日電
子情報通信学会、CPSY90-71,ICD90-127、及び特開平３
−２０６５４９号公報等がある。これらは、複数のニュ
−ロンプロセッサをバスにより相互接続し、順次ニュ−
ロンプロセッサがそのニュ−ロンの出力をバスにより、
ブロ−ドキャストすることにより、通信を行う。一般の
ニュ−ラルモデルはニュ−ロン間の結合が非常に多いの
で、このような単純な結合方法でも高速演算が可能であ
る。通信のためのハ−ドウェア量が少なく、時間的なオ
−バ−ヘッドが少ないため、非常にコンパクトにするこ
とができる。また、ニュ−ラルネットの欠陥に対する強
さを利用して、複数の大面積集積回路のウェハスケ−ル
集積回路（ＷＳＩ）により構成し、さらにコンパクトに
している。しかし、欠陥に弱い制御回路については大面
積集積回路上に搭載していない。
【０００４】また、ニュ−ロン間の結合が疎な場合に効
率よく、ブロ−ドキャスト通信を行う方法として、USP
4,796,199が提案されている。ニュ−ロンプロセッサ
を、ファミリ−、グル−プ、コネクションといった階層
的なまとまりに分け、各階層ごとにブロ−ドキャスト通
信を行うものである。ニュ−ラルネットをモジュ−ル化
し、モジュ−ルごとに効率的に学習させる場合モジュ−
ル間はモジュ−ル内に比べ、通信量が少ないはずなの
で、そのような場合に高速に演算及び学習を行うことが
できる。しかし、その制御方法に関しては提案されてい
ない。
【０００５】一方、複数命令複数デ−タ流方式（ＭＩＭ
Ｄ（マルチインストラクション・マルチデ−タストリ−
ム）方式）として、Ｎキュ−ブ２がある。Ｎキュ−ブ２
では、各プロセッサエレメントは独自に稼働し、各エレ
メント間はハイパ−キュ−ブトポロジ−で結合されてい
る。最大構成で８１９２（２13）個を設置面積４ｍ2に
実現している。
【０００６】
【発明が解決しようとする課題】ＳＩＭＤマシ−ンで
は、条件付き命令で若干の異なる動作を行うことができ
る。しかし、条件付き命令を複雑に分岐させれば、より
複雑な動作が可能となるが、その場合、各プロセッサの
命令デコ−ダが複雑化していく。その最終的な形がＭＩ
ＭＤマシ−ンと考えることもできる。
【０００７】ＳＩＭＤマシ−ン上で、モジュ−ル化され
たニュ−ラルネットをシミュレ−ションする場合、各モ
ジュ−ルごとに大幅に異なるモデルを並列に実行するこ
とはできない。またＭＩＭＤマシ−ンを利用する場合、
同一のモジュ−ル内のニュ−ロンモデルを計算するにも
かかわらず、それらのプロセッサエレメントは同一の命
令セットが保持され、それらの制御回路は同一命令をデ
コ−ドすることになり、外部から見た場合、非常に冗長
な動作となる。また、１プロセッサエレメントのハ−ド
ウェア量もＳＩＭＤマシ−ンのものに比べ大きいため、
一定面積あたりのプロセッサ数は少なくなってしまう。
【０００８】また、ニュ−ラルネットの欠陥に対する強
さを利用して、ニュ−ロンモデルを計算する複数のニュ
−ロンプロセッサを１つの大面積集積回路上に搭載でき
るが、その制御回路は欠陥に弱いため、同一の大面積集
積回路に搭載すると、歩留りが低下してしまうという問
題があった。そのため、演算部と制御部は別の集積回路
にする必要があった。
【０００９】本発明の目的は、演算を行う機能ブロック
を多数備えて、並列演算を行う情報処理装置をコンパク
トに提供することにある。
【００１０】本発明に他の目的は、演算を行う機能ブロ
ックを多数備えて、並列演算を行う情報処理装置を更に
複数個設け、超並列演算を行う情報処理システムを構築
するにあたり、分散処理と論理演算を有効に行うことに
ある。
【００１１】本発明の他の目的は、特に、ニューラルモ
デルの計算を高速に行うのに適した情報処理装置及びシ
ステムを提供するにある。
【００１２】
【課題を解決するための手段】本発明では、演算を行う
機能ブロック(内積演算を高速に行えるものであって、
例えば１０4個程度）とこれを制御する制御系を１つの
モジュ−ルとする。モジュ−ル内ではＳＩＭＤ方式によ
り動作を行う。さらに複数個のモジュ−ル（例えば１０
０個程度）を接続し通信を可能とする。複数個のモジュ
−ルは、異なる命令セットであるＭＩＭＤ方式により動
作を行う。
【００１３】また、ニュ−ロンプロセッサ及びメモリな
どの欠陥に対して強い部分は大面積集積回路上に集積
し、欠陥に対して弱い制御部は、例えばシリコン・オン
・シリコン（Ｓｉ ｏｎ Ｓｉ）技術により、大面積集
積回路上に制御部の集積回路を接続する。
【００１４】
【作用】本発明によれば、モジュ−ル化されたニュ−ラ
ルネットの学習及び動作を高速に行うことができる。各
モジュ−ルごと並列に学習が可能なため、高速な学習及
び動作が可能である。プロセッサ数も、ＳＩＭＤ方式と
同程度の実装密度とすることができ、モジュ−ルごとに
異なる命令セットにより動作させることが可能である。
【００１５】また、本発明によれば、大規模の情報処理
システムを非常にコンパクトに作ることができる。
【００１６】
【実施例】実施例を用いて、具体的な構成について説明
する。まず、その構成の概略について以下に説明する。
【００１７】１０4個の機能ブロックである演算ブロッ
ク（内積演算を高速に行えるもの）を、例えば１０cm角
のウェハスケ−ル集積回路（ＷＳＩ）に集積し、かつ、
スカラ−プロセッサ及びＡ／Ｄコンバ−タをシリコン・
オン・シリコン技術で搭載し、１つのモジュ−ルとす
る。アナログディジタル（Ａ／Ｄ）コンバ−タにより、
センサなどからのアナログ信号を入力することができ
る。このモジュ−ル上には、スカラ−プロセッサのワ−
キングメモリも設け、これに１０4個の演算ブロックへ
の命令セットを記憶させておく。スカラ−プロセッサは
ワ−キングメモリ及び各演算ブロックの出力、各演算ブ
ロック内のロ−カルメモリをランダムにアクセスでき
る。また、各演算ブロックへの命令発行の管理も行う。
各演算ブロックはモジュ−ル内部のデ−タバスにより接
続され、ブロ−ドキャストを相互に高速に行える。１０
０個のモジュ−ル間は１００ワ−ドのモジュ−ル間バス
により接続する。各モジュ−ルには１００個の１０4ワ
−ドの通信用バッファを持ち、モジュ−ル間バスの各チ
ャネルと一つづつ接続する。各モジュ−ル内の内部デ−
タバスに出力された演算ブロックの出力は順次モジュ−
ル間バスを通し、全てのモジュ−ル通信用バッファに書
き込む。各モジュ−ルでは、通信用バッファを読みだす
ことにより、外部モジュ−ル上の演算ブロックの出力を
知ることができる。書き込みタイミングはデ−タの転送
側が発生することにより、モジュ−ル間通信は非同期で
行うことができる。
【００１８】また、全モジュ−ル内のワ−キングメモ
リ、ロ−カルメモリをメモリ空間上に見ることができる
スカラ−プロセッサを設ける。
【００１９】以上の本発明の構成を図１〜８を用いて以
下に説明する。まず、図面を説明する。その後、図面を
用いて動作について説明する。
【００２０】図１に全体の構成図を示す。ここで、１〜
１２８はモジュ−ル、１３０はモジュ−ル間バス、１４
０はモジュ−ル入力バス、１５０はモジュ−ル出力バ
ス、１４１はグロ−バルプロセッサ、１４２はグロ−バ
ルメモリを示す。グロ−バルメモリ１４２はグロ−バル
プロセッサ１４１と接続し、グロ−バルプロセッサ１４
１及びモジュ−ル１〜１２８は、モジュ−ル入力バス１
４０及びモジュ−ル出力バス１５０を介して、モジュ−
ル間バス１３０により、相互に接続する。
【００２１】図２はモジュ−ル１〜１２８のモジュ−ル
の構成を示す図である。２００はモジュ−ルでモジュ−
ル１〜１２８と同じものである。２０１はロ−カルプロ
セッサ、２０２はワ−キングメモリ２０３はアナログ−
ディジタル（Ａ／Ｄ）変換器、２０４はニュ−ロンプロ
セッサ、２０９はモジュ−ル入力バッファを示す。２１
０〜３２８はモジュ−ル入力バスで、それぞれグロ−バ
ルプロセッサ１４１、モジュ−ル１〜１２８の信号を入
力する。３２９はモジュ−ル出力バスで、３３０は通信
ユニットでモジュ−ル入力バス２１１〜３２８のそれぞ
れと接続する。４００はモジュ−ル内部バスを示す。ロ
−カルプロセッサ２０１及びＡ／Ｄ変換器２０３は、シ
リコン（Ｓｉ）基板上にシリコン基板をハンダバンプ等
により直接接続する従来技術のシリコン・オン・シリコ
ン技術により、モジュ−ル２００上に接続することがで
きる。ワ−キングメモリ２０２とモジュ−ル内部バス４
００はロ−カルプロセッサ２０１と接続する。モジュ−
ル２００内のニュ−ロンプロセッサ２０４及びＡ／Ｄ変
換器２０３、通信ユニット３３０、モジュ−ル入力バッ
ファ２０９はモジュ−ル内部バス４００により相互接続
する。モジュ−ル入力バッファ２０９はモジュ−ル入力
バス２１０よりグロ−バルプロセッサ１４１からの信号
を取り込み、モジュ−ル内部バス４００へ出力すること
ができる。ニュ−ロンプロセッサ２０４間は相互にモジ
ュ−ル内部バス４００を使ってブロ−ドキャストを行な
うことにより通信することができる。２１１〜３２８は
モジュ−ル入力バスでそれぞれモジュ−ル１〜１２８の
出力信号を入力し、１２８個の通信ユニット３３０にそ
れぞれ取り込む。通信ユニット３３０に取り込まれた値
は、ニュ−ロンプロセッサ２０４と同様に、モジュ−ル
内部バス４００を利用して、ブロ−ドキャスト通信を行
うことができる。モジュ−ル内部バス４００にブロ−ド
キャストされる値はモジュ−ル出力バス３２９を介し
て、モジュ−ル間バス１３０へ出力できる。
【００２２】本発明をよりコンパクトにするために、ニ
ュ−ロンプロセッサ２０４及びワ−キングメモリ２０２
等の欠陥に対して強いブロックは１つの大面積集積回路
６０１上に搭載する。そして、欠陥に対して弱い制御
部、本図ではロ−カルプロセッサ２０１、Ａ／Ｄ変換器
２０３はシリコンオンシリコン技術で大面積集積回路６
０１と接続する。
【００２３】図３はニュ−ロンプロセッサ２０４の構成
を示す図である。また、ニュ−ロンプロセッサ２０４の
動作を制御する命令であるニュ−ロン命令４６０も示
す。ここで、４０１はモジュ−ル内部入力バス、４０２
はモジュ−ル内部出力バスで、４７０は命令バスで、図
２のモジュ−ル内部バス４００に対応する。４０３はＡ
バス、４０４はＢバス、４０５はＣバス、４１１〜４１
３はフリップフロップ（ＦＦ）、４２１はワ−キングレ
ジスタ、４２２は乗算器、４２３はＡＬＵ、４２４はシ
フタ、４２５〜４２６はレジスタファイル、４２７は重
み値メモリ、４２８はトライステ−トバッファ、４５１
〜４５５は２−１または３−１のセレクタである。Ａバ
ス４０３及びＢバス４０４は乗算器４２２の入力信号で
ある。ＡＬＵ４２３はセレクタ４５１とセレクタ４５２
を入力し、セレクタ４５１はＦＦ４１１またはＡバス４
０３を選択し、ＡＬＵ４２３の一方の入力とする。セレ
クタ４５２はＢバス４０４または乗算器４２２を選択
し、ＡＬＵ４２３のもう一方の入力とする。セレクタ４
５３はＡＬＵ４２３または乗算器４２２を選択し、Ｃバ
ス４０５に出力する。ＦＦ４１１はＣバス４０５の値を
取り込むことができる。また、ＦＦ４１１はニュ−ロン
命令４６０によって、リセットすることができる。ワ−
キングレジスタ４２１及びレジスタファイル４２５〜４
２６、重み値メモリ４２７はＣバス４０５の値を取り込
むことができる。セレクタ４５５はＣバス４０５及びレ
ジスタファイル４２５〜４２６を選択し、トライステ−
トバッファ４２８へ出力する。トライステ−トバッファ
４２８の出力端子は、モジュ−ル内部出力バス４０２へ
接続し、その制御はニュ−ロン命令４６０のニュ−ロン
プロセッサセレクト信号により行なう。これらの制御
は、すべて命令バス４７０より送られるニュ−ロン命令
４６０により行う。
【００２４】図４は図２の通信ユニット３３０の実施例
の詳細を示す図である。ここで、５０１はバッファアレ
イ、５０２はバッファアレイ５０１の書き込みアドレス
ポインタ、５０３は１インクリメンタで、アドレスポイ
ンタ５０２の値を１づつ進める。５０４は読みだし用の
セレクタで読みだしアドレス５０５により選択されたバ
ッファアレイ５０１の値をモジュ−ル内部出力バス４０
２へ出力する。読みだしアドレス５０５は命令バス４７
０より入力する。
【００２５】図５は図２のロ−カルプロセッサ２０１か
ら見たメモリ空間を示す図で、５５２はそのメモリ空間
である。ここで、５５０はアドレス変換回路で、ロ−カ
ルプロセッサ２０１からのアクセス要求に対し、物理的
なアドレスに変換する。また、モジュ−ル上のメモリの
欠陥をさけ、リニア空間に見えるようにする。ロ−カル
プロセッサ２０１からは、モジュ−ル２００上のワ−キ
ングメモリ２０２、レジスタファイル４２５〜４２６、
重み値メモリ４２７は同一メモリ空間上のデ−タとして
見ることができる。また、ワ−キングメモリ２０２上に
は、ニュ−ロン命令４６０のセットを保持しておき、ロ
−カルプロセッサ２０４はニュ−ロン命令４６０を順次
読みだし、ニュ−ロンプロセッサ２０４へ送り、その動
作を制御する。
【００２６】図６は、モジュ−ル２００内において複数
のニュ−ロンプロセッサ２０４を並列演算させる場合を
示す図である。本図に示すように、モジュ−ル内部バス
４００はモジュ−ル内部入力バス４０１とモジュ−ル内
部出力バス４０２と命令バス４７０で構成する。各ニュ
−ロンプロセッサ２０４は命令バス４７０により、ロ−
カルプロセッサ２０１から送られるニュ−ロン命令４６
０を入力する。各ニュ−ロンプロセッサ２０４はモジュ
−ル内部入力バス４０１とモジュ−ル内部出力バス４０
２と接続する。ニュ−ロン命令４６０により、指定され
たニュ−ロンプロセッサ２０４はモジュ−ル内部出力バ
ス４０２にその出力を出力し、モジュ−ル内部入力バス
４０１を通して、各ニュ−ロンプロセッサ２０４へ送
る。各ニュ−ロンプロセッサ２０４はニュ−ロン命令４
６０に従い、受け取ったデ−タを使って演算することが
できる。
【００２７】図７は図１のグロ−バルプロセッサ１４１
から見たメモリ空間を示す図で、６０２はそのメモリ空
間である。グロ−バルプロセッサ１４１からは、さらに
図５のロ−カルプロセッサ２０１から見たメモリ空間５
５２の各々が連続したメモリ空間に見ることができる。
図５及び図６の構成とすることにより、ロ−カルプロセ
ッサ２０１及びグロ−バルプロセッサ１４１は非常に大
きなメモリ空間を持つスカラ−プロセッサとして動作す
ることが可能であり、かつ、内積演算などのニュ−ロン
的な動作も、そのメモリ空間上で行うことができる。
【００２８】これまでは、このような並列計算機はホス
トコンピュ−タと接続され、ホストコンピュ−タ上でデ
−タを加工したり、作成したりした後、並列計算機側へ
デ−タ及びプログラムをロ−ドして、行わなければなら
なかった。本発明では、全く同一メモリ空間上でスカラ
−処理及び並列処理を行うことができる。
【００２９】図８はモジュ−ル１〜１２８間の通信方法
を示す図である。
【００３０】まず、各モジュ−ル２００でニュ−ラルモ
デルを演算させる場合について、説明する。
【００３１】図９は相互結合型ニュ−ラルネットワ−ク
を１枚のモジュ−ル２００上で実現する場合を示した図
で、以下にそのふるまい及び一般的なモデル式を説明す
る。
【００３２】ニュ−ロンｉの出力をｘi、内部エネルギ
−をｕi、ニュ−ロンｊに対する重み値をｗijとする
と、各ニュ−ロンは状態方程式、 τｄｕi／ｄｔ＝−ｕi＋Σｗijｘj＋Ｉi （１） ｘi＝ｆ（ｕi） （２） で表せる。ここで、Ｉはいわゆる定電流源であるが、一
般には、常に、その最大値を出力するニュ−ロンを設
け、それに対して重み付けしてシナプス結合すること
で、省くことができる。また、２式のｆは非線形関数が
用いられ、一般には、シグモイド関数、 ｆ（ｕi）＝１／（１−ｅｘｐ（−ｕi／Ｔ）） （３） などの、飽和関数が用いられる。
【００３３】１〜３式をディジタル表現で計算する場
合、１式を時間刻み幅Δｔで差分化する。すべてのニュ
−ロンの内部エネルギ−及び出力をそれぞれベクトル
ｕ、ｘで、また、すべての重み値を行列Ｗで表し、時刻
ｔでのベクトルをｕt、ｘt、時刻ｔ＋１でのベクトルを
ｕt+1、ｘt+1とすると、 ｕt+1＝ｕt−Δｔ／τ（Ｗｘt−ｕt） （４） ｘt+1＝ｆ（ｕt+1） （５） の計算を各時間ごとに行なえばよい。４〜５式をモジュ
−ル２００上で行なう方法を以下に示す。
【００３４】図１０は４式のＷｘtを行なう場合のニュ
−ロンプロセッサ２０４の各演算回路及びメモリ、ＦＦ
の接続方法を示した図である。これらの接続はニュ−ロ
ン命令４６０により設定することができる。各ニュ−ロ
ンプロセッサ２０４を各ニュ−ロンに対応させる。各ニ
ュ−ロンプロセッサ２０４では、乗算器４２２はモジュ
−ル内部入力バス４０１と重み値メモリ４２７を入力す
る。ＡＬＵ４２２は乗算器４２２とＦＦ４１１を入力
し、その加算結果をＦＦ４１１に書き込む。ロ−カルプ
ロセッサ２０１は順次、ニュ−ロンプロセッサ２０４を
選択し、選択されたニュ−ロンプロセッサ２０４はその
出力ｘtをモジュ−ル内部出力バス４０２に出力する。
予め、ニュ−ロンプロセッサ２０４は固有のアドレスを
割りふっておき、ロ−カルプロセッサはそのアドレスを
発生し、アドレスをデコ−ドすることにより、上記の制
御を行なうことができる。図２に示すように、各ニュ−
ロンプロセッサ２０４はｘtをレジスタファイル４２５
に保持し、セレクタ４５５、トライステ−トバッファ４
２８を通して、出力することができる。また、４式にお
けるΔｔ及びτ、ｕtをワ−キングレジスタ４２１また
はレジスタファイル４２５、重み値メモリ４２７に保持
しておき、ＡＬＵ４２３、乗算器４２２、シフタ４２
４、ワ−キングレジスタ４２１を仕様して、４式を計算
することができる。５式の非線形変換は、例えば、チェ
ビシェフ近似、 ｘt+1＝α0＋α1ｕt+1＋α3ｕt+1 3＋α5ｕt+1 5＋α7ｕt+1 7＋・・・ （６） ここでα0〜α7は関数ｆによってきめる定数、などによ
って計算することができる。この計算も複数のニュ−ロ
ン命令４６０を行なうことにより可能である。
【００３５】以上に示したように、ニュ−ロンプロセッ
サ２０４の動作は、ニュ−ロン命令４６０により、自由
に決めることができるため、任意のモデルを計算するこ
とができる。
【００３６】図１１、１２は２つのモジュ−ル上で相互
結合型ニュ−ラルネットワ−クを実現する場合を示した
図である。例えば、ニュ−ロン１１、１２をモジュ−ル
１のニュ−ロンプロセッサ２０４に割りふり、ニュ−ロ
ン２１、２２をモジュ−ル２に割りふる。
【００３７】各モジュ−ルは個別に、順次ニュ−ロンプ
ロセッサ２０４がモジュ−ル内部バス４００を用いて、
ブロ−ドキャストする。それと同時に、モジュ−ル１の
モジュ−ル内部バス４００に出力された値は、モジュ−
ル出力バス３２９を通して、モジュ−ル間バス１３０に
出力し、各モジュ−ル２００の通信ユニット３３０へ送
られる。各モジュ−ル２００では、自分以外の各モジュ
−ル２００に対応する通信ユニット３３０を持ってお
り、それに対応するモジュ−ル間バス１３０に接続す
る。各通信ユニット３３０への書き込みは送り手側のタ
イミングで行う。図１２では、モジュ−ル１では通信ユ
ニット３３０を読みだせば、モジュ−ル２上のニュ−ロ
ン２１、２２の出力を読むことができる。同様に、モジ
ュ−ル１上では、モジュ−ル２上のニュ−ロン１１、１
２の出力を通信ユニット３３０を通して、読むことがで
きる。図４に示すように、通信ユニット３３０は、順次
モジュ−ル入力バス１４０により送られる値を書き込み
アドレスポインタ５０２の差すバッファに取り込む。書
き込むと同時にアドレスポインタ５０２を１インクリメ
ンタ５０３により１つ進める。また、バッファアレイ５
０１の各出力はセレクタ５０４を通して、読みだしアド
レス５０５により指定してモジュ−ル内部入力バスへ読
みだすことができる。バッファアレイ５０１への書き込
むタイミングはモジュ−ル入力バス１４０によって、デ
−タと同時に送る。また、図１、図８に示すように、す
べてのモジュ−ル２００とモジュ−ル間バス１３０を同
様に接続することで、全てのニュ−ロンプロセッサ２０
４間の通信を行うことができる。また、各通信ユニット
３３０への書き込みは、送り手側のタイミングで行うの
で、各モジュ−ルは独自のタインミングと独自の命令セ
ットに従い、動作することができる。
【００３８】また、モジュ−ル間バス１３０は配線長が
長く、高負荷となる可能性がある。その場合、モジュ−
ル２００の内部は高速に動作するにも係らず、モジュ−
ル間バス１３０はそのスピ−ドに追従できない可能性が
ある。しかし、その場合でも、本発明はモジュ−ル間の
通信は非同期で行うことができるので、例えば、モジュ
−ル２００の内部は１００ＭＨｚで動作し、モジュ−ル
間バス１３０は５０ＭＨｚで動作するということも可能
である。そのときのニュ−ロン間の通信は、時間方向に
間引いて通信すればよい。
【００３９】同様に複数のモジュ−ル間の通信も可能で
あり、通信ユニット３３０のバッファアレイ５０１を各
モジュ−ルのニュ−ロンプロセッサ２０４の個数だけ用
意すれば、全ニュ−ロンの完全結合が可能である。ま
た、通常は、モジュ−ル間はモジュ−ル内に比べ、結合
が少ないので、それよりは少ないバッファ数を用意して
おいてもよい。
【００４０】図１３に本発明の利用例を示すが、本図に
示すように、各モジュ−ル１〜１２８を個別のアルゴリ
ズム及び個別のデ−タにより、学習及び自己組織化が可
能であり、また、それらは、並列に動作させることが可
能である。また、図１１、１２に示したように、複数の
モジュ−ル２００を用いて、同一のモデルを動作させる
ことも可能である。図１３では、モジュ−ル１〜２及び
１２７〜１２８をバックプロパゲ−ション(Back Propag
ation)により学習を行い、モジュ−ル３を学習ベクトル
量子化（Learning Vector Quantization）により学習を
行い、モジュ−ル４を競合学習により学習を行い、モジ
ュ−ル１２５〜１２６はホップフィ−ルド型ネットワ−
クとして使用する場合を示している。例えば、ホップフ
ィ−ルド型ネットワ−クにより、ノイズ除去及びエッジ
検出などの初期視覚を行い、その結果をバックプロパゲ
−ションにより学習を行う階層型ネットワ−クに入力
し、パタ−ン認識を行うことが可能である。また、ベク
トル量子化モデルにより、入力した文字画像の文字認識
を行い、その結果を階層型ネットワ−クにより音韻デ−
タを出力し、さらに、別のネットワ−クにより音声を合
成することが可能である。また、本図に示していないモ
ジュ−ルにおいても、同様に、利用することができる。
【００４１】図１４の本発明の利用例には、機能的な表
現で動作を表わしている。ロボットの頭脳として、利用
する場合を示している。１０6程度のプロセッサ数で
は、到底ロボットの頭脳をすべて作ることはできない
が、その一部の動作を行うことができる。例えば、モジ
ュ−ル１により、入力した画像の特徴検出等を行い、モ
ジュ−ル３の画像の記憶と比較する。また、入力した音
声信号をモジュ−ル２、４により認識する。画像認識結
果、音声認識結果または両結果の総合した結果に対し
て、モジュ−ル１２７が動作パタ−ンを発生する。モジ
ュ−ル１２５には動作パタ−ンを記憶させておく。モジ
ュ−ル１２８を使って、動作パタ−ンから実際のロボッ
トの関節を動かす信号へ変換する。また、ロボットが行
動した結果をモジュ−ル１２６により評価し、よりスム
−ズな動作パタ−ンを学習して行くことができる。
【００４２】また、本発明によれば、１０6以上のプロ
セッサ数からなるシステムも同様に可能である。図２に
示すように、各モジュ−ルには、ロ−カルプロセッサ２
０１を搭載するので、これにより、従来のＡＩ（人工知
能）技術にある記号処理や定性推論を行うことも可能で
ある。また、ニュ−ロンプロセッサを利用して、ファジ
−理論のメンバ−シップ関数を決定し、ロ−カルプロセ
ッサ２０１またはグロ−バルプロセッサ１４１により、
ファジ−理論による判断決定を行うこともできる。ある
モジュ−ルでは、ニュ−ロンモデルによる情報処理を行
い、別のモジュ−ルでは、ファジ−理論による情報処理
を並列に行うことも可能である。
【００４３】次に本発明の実装方法、組立て方法及び冷
却方法について、図１５〜１８を用いて説明する。
【００４４】図１５はモジュ−ル２００のシリコン・オ
ン・シリコンを説明する図である。６０１は大面積集積
回路、６０２は集積回路を示す。６０３は大面積集積回
路６０１と集積回路６０２を接続するハンダのバンプで
ある。６０５はバンプ６０３を接続するパッドである。
本図に示すように、集積回路６０２と大面積集積回路６
０１の接続する信号線及び電源給電のパッドを向い合わ
せバンプを介して、固定及び信号線の接続を行うことが
できる。
【００４５】図１６はボ−ドと図１５の大面積集積回路
６０１の接続方法を説明する図である。６０５はパッ
ド、６０６はコネクタで別のボ−ドと接続するためにあ
る。６１０は接続用ピンで別のボ−ド６０６と接続し、
スタックすることができる。図１５で示したシリコンと
シリコンの接続方法と同様に、ボ−ド上のパッド６０５
と大面積集積回路６０１上のパッド６０５を向い合わ
せ、バンプ６０３により接続することができる。
【００４６】図１７はボ−ド間の接続方法及び組立て方
法を示す図である。本図で、８００は接続ボ−ドで、８
０１はボ−ドを示す。８０５、８２０はコネクタを示
す。ボ−ド８０１上には、グロ−バルプロセッサ１４１
とグロ−バルメモリ１４２を載せる。本図では、４枚の
ボ−ド６０６をスタック状に接続したものを示した図で
あるが、さらに、多くのボ−ドも同様に接続することが
できる。ボ−ド６０６は接続用ピン６１０で接続し、さ
らに、４辺に接続ボ−ド８００を接続する。ボ−ド６０
６のコネクタ６０７と接続ボ−ド８００のコネクタ８０
５をそれぞれ対応させて接続する。さらに、接続ボ−ド
８００のコネクタ８２０とボ−ド８０１のコネクタ８０
５をそれぞれ対応させて接続する。
【００４７】次に各集積回路の冷却方法について説明す
る。図１７の構成では、各ボ−ド間の信号線を４辺を使
ってボ−ド間接続を行うので、非常に多くのボ−ド間接
続を行うことができる。しかし、図１７からわかるよう
に、内部が密閉されるため、動作中高温となる可能性が
ある。その場合は、図１８に示す方法により、集積回路
を冷却することができる。本図で、９０１は冷却水、９
１０は冷却板を示す。ボ−ド６０６間を接続する接続用
ピン６１０を冷却水９０１の通路とする。各ボ−ド６０
６では、接続用ピン６１０から冷却水９０１を大面積回
路６０１に接続する冷却板９１０に引き込む。使用され
た冷却水９０１は反対側の接続用ピン６１０に戻す。こ
のようにして、密閉された内部の集積回路を冷却させる
ことができる。
【００４８】次に図１９を用いて、大面積集積回路を高
速に動作させるために、必要なクロックのスキュ−を低
減するための、クロック給電方法を説明する。図２に示
すような大面積の集積回路で同期した動作を行うには、
信号遅延のため大きなクロックスキュ−が生じ、高速動
作させるのは難しい。そのような場合、図１９に示すよ
うに、外部から入力したクロック信号をまず、大面積集
積回路中央へ引き込む、さらに、中心から端辺までの半
分の位置、さらに半分の位置とクロック信号線引き回
し、大面積集積回路内のどの位置でも、等長に近く配線
することができる。そのため、大面積集積回路内のクロ
ックスキュ−を低減することができる。
【００４９】以上の接続方法、組立て方法及び冷却方法
により、図１の構成を実現することができる。
【００５０】以上は本発明上でニュ−ラルネットモデル
を高速に演算させる場合について説明した。次に、他の
情報処理を行う場合の実施例を示す。
【００５１】一般的に、物理現象は、微分方程式により
表わされ、それを解くことにより、計算機上でシミュレ
−ションを行っている場合が多い。これらの方程式は、
積分公式や差分方程式化により、各時間ステップごとの
非線形方程式に表わし、さらに、ニュ−トン・ラプソン
法等により非線形方程式の解を求め、各時間ごとの状態
を決定する。また、ニュ−トンン・ラプソン法の各反復
ステップでは、線形化された連立方程式、 Ａｘ＝ｂ （６） を解くことになる。ここで、Ａはｎ×ｎの行列、ｂはｎ
次ベクトル、ｘは求めるべき未知数であるｎ次ベクトル
である。ｎは求める系の次元である。６式の方程式の解
法として、いくつかの方法があるが、ここでは、線形緩
和法による場合について説明する。線形緩和法の一つと
して、ヤコビ法がある。ヤコビ法では、行列Ａを下三角
成分Ｌと対角成分Ｄと上三角成分Ｕに分ける。
【００５２】 Ａ＝Ｌ＋Ｄ＋Ｕ （７） ある初期値ｘ0により以下の反復式、 ｘk+1＝１／Ｄ（ｂ−（Ｌ＋Ｕ）ｘk） （８） を反復して収束すれば、その値が解となる。８式を本発
明に解く場合、各ニュ−ロンプロセッサ２０４にベクト
ルｘの各要素を計算させる。各ニュ−ロンプロセッサ２
０４の重み値メモリ４２７には、行列Ａの各行要素を格
納する。対角要素だけは，予め逆数を求めておき、ワ−
キングレジスタ４２１に格納しておいてもよい。また、
ベクトルｂの要素もワ−キングレジスタ４２１または重
み値メモリ４２７のいずれかに格納しておけばよい。前
回の反復結果ｘkはレジスタファイル４２５に格納して
おく。ロ−カルプロセッサ２０１は順次、各ニュ−ロン
プロセッサ２０４を指定し、前回の反復結果ｘkをモジ
ュ−ル内部バス４００にブロ−ドキャストしていく、各
ニュ−ロンプロセッサ２０４では、８式の（Ｌ＋Ｕ）ｘ
kに対応する行列Ａの要素を重み値メモリ４２７から読
みだし、乗算器４２２により乗算を行い、ＡＬＵ４２３
とＦＦ４１１を使用して、順次累積加算することにより
計算することができる。一通りブロ−ドキャストが終了
すれば、８式の（Ｌ＋Ｕ）ｘkの計算結果がわかり、さ
らに、８式の他の計算を行い、最後に対角成分の逆数を
掛けることにより、この回の反復結果ｘk+1を決めるこ
とができる。その結果は、レジスタファイル４２５に書
き込み、次の反復に進む。ある程度反復回数が進んだと
ころで、収束判定を行い、収束していれば、６式が解け
たことになる。また、複数のモジュ−ル２００を用い
て、大規模な方程式に対しても、ニュ−ラルネットモデ
ル同様に、計算することができる。
【００５３】また、ニュ−ラルネットモデル１〜３式
は、まさに連立非線形微分方程式であり、前述の計算方
法は前進オイラ−法により積分しているものである。こ
のように、本発明は、ニュ−ラルネットモデルを高速に
計算するだけでなく、一般の数値シミュレ−ション等に
も広く適応できるものである。その他、画像処理等に
も、適応することができる。例えば、動画像を入力し、
各フレ−ムを各モジュ−ルに順次ロ−ドする。各モジュ
−ルでは、各フレ−ムのノイズリダクション及びエッジ
検出等を行う。さらに、過去のフレ−ムの情報を通信ユ
ニット３３０により読むことができるので、オプティカ
ルフロ−など、動画像の情報処理に必要な情報を計算す
ることができる。
【００５４】次に、本発明をワ−クステ−ションに利用
した例を図２０に示す。本図で、１１００はリスクプロ
セッサ、１１０１はＩ／Ｏプロセッサ、１１０２はディ
スクコントロ−ラ、１１０３はグラフィックコントロ−
ラを示す。大面積集積回路６０１上にリスクプロセッサ
１１００及びＩ／Ｏプロセッサ１１０１等を図１５に示
したシリコンオンシリコンで接着する。リスクプロセッ
サ１１００は大面積集積回路６０１のワ−キングメモリ
２０２にオペレ−ティングシステム等のプログラムを保
持し、その命令に従い、動作する。また、ニュ−ロンプ
ロセッサ２０４の出力及びロ−カルメモリもワ−キング
メモリ２０２と同様のメモリ空間として見ることができ
る。このような構成としたワ−クステ−ションでは、上
記のニュ−ラルネットの計算はもとより、物理シミュレ
−ション等の数値演算などニュ−ロンプロセッサ２０４
の演算器を使って、高速に行うことができる。
【００５５】
【発明の効果】本発明によれば、非常に多くのニュ−ロ
ンから構成されるニュ−ロコンピュ−タを実現できる。
また、アプリケ−ションの開発もモジュ−ル化して、シ
ステムを構築して行くことができるので、非常に効率よ
く行うことができる。また、ニュ−ロコンピュ−タのみ
ならず、物理シミュレ−ションも高速に計算することが
できる。ワ−クステ−ションのエンジンに利用すれば、
ワ−クステ−ションのアプリケ−ションを広げることが
できる。
【図面の簡単な説明】
【図１】本発明の全体構成を示す図。
【図２】本発明の１モジュ−ルをウェハスケ−ル集積回
路で実現した例を示す図。
【図３】ニュ−ロンプロセッサの構成例を示した図。
【図４】モジュ−ル間通信を行うための通信ユニットを
示した図。
【図５】ロ−カルプロセッサのメモリ空間を説明する
図。
【図６】ブロ−ドキャストア−キテクチャを説明する
図。
【図７】グロ−バルプロセッサのメモリ空間を説明する
図。
【図８】モジュ−ル間の通信方法を示す図。
【図９】相互結合型ニュ−ラルネットワ−クを示した
図。
【図１０】相互結合型ニュ−ラルネットワ−クのブロ−
ドキャストア−キテクチャ上での演算方法を示す図。
【図１１】２つのモジュ−ル上で相互結合型ニュ−ラル
ネットワ−クを演算される例を示した図。
【図１２】２つのモジュ−ル上で相互結合型ニュ−ラル
ネットワ−クを演算される例を示した図。
【図１３】本発明の利用例を示す図。
【図１４】本発明をロボットの頭脳の一部に利用した例
を示す図。
【図１５】シリコン・オン・シリコン技術を説明する
図。
【図１６】シリコン・オン・ボ−ド技術を説明する図。
【図１７】ボ−ド間接続を説明する図。
【図１８】冷却方法を説明する図。
【図１９】クロック等長配線を説明する図。
【図２０】本発明をワ−クステ−ションに利用した例を
示す図。
【符号の説明】
１〜１２８・・・モジュ−ル、１３０・・・モジュ−ル
間バス、１４０・・・モジュ−ル入力バス、１４１・・
・グロ−バルプロセッサ、１４２・・・グロ−バルメモ
リ、１５０・・・モジュ−ル出力バス、２００・・・モ
ジュ−ル、２０１・・・ロ−カルプロセッサ、２０２・
・・ワ−キングメモリ、２０３・・・Ａ／Ｄ（アナログ
デジタル）変換器、２０４・・・ニュ−ロンプロセッ
サ、２０９・・・モジュ−ル入力バッファ、２１０〜３
２８・・・モジュ−ル入力バス、３２９・・・モジュ−
ル出力バス、３３０・・・通信ユニット、４００・・・
モジュ−ル内部バス、６０１・・・大面積集積回路。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 山田 稔 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 坂口 隆宏 東京都小平市上水本町５丁目20番１号 日 立超エル・エス・アイ・エンジニアリング 株式会社内 (72)発明者 橋本 雅 東京都小平市上水本町５丁目20番１号 日 立超エル・エス・アイ・エンジニアリング 株式会社内

Claims (30)

    【特許請求の範囲】
  1. 【請求項１】内積演算を行なう複数のニューロンプロセ
    ッサを第１の集積回路基板上に集積し、 上記複数のニューロンプロセッサを制御する制御プロセ
    ッサを第２の集積回路基板上に集積し、 上記第１の集積回路基板上に上記第２の集積回路基板を
    搭載して単一のモジュール構成としたことを特徴とする
    情報処理装置。
  2. 【請求項２】請求項１の情報処理装置において、上記第
    １及び第２の集積回路基板をシリコンで構成し、シリコ
    ン・オン・シリコンにより上記第２の集積回路基板を搭
    載したことを特徴とする情報処理装置。
  3. 【請求項３】請求項１の情報処理装置において、上記複
    数のニューロンプロセッサは、夫々演算器と重み値を保
    持するメモリを備え、上記複数のニューロンプロセッサ
    を相互に接続するデータバスを備えたことを特徴とする
    情報処理装置。
  4. 【請求項４】請求項１の情報処理装置において、上記複
    数のニューロンプロセッサに対する動作命令を格納する
    エリアを有するワーキングメモリを上記第１の集積回路
    基板上に集積したことを特徴とする情報処理装置。
  5. 【請求項５】請求項１の情報処理装置において、アナロ
    グ信号を入力しディジタル信号に変換するＡ／Ｄ変換器
    を第３の集積回路基板上に集積し、上記第１の集積回路
    基板上に上記第３の集積回路基板を搭載して単一のモジ
    ュール構成としたことを特徴とする情報処理装置。
  6. 【請求項６】重み値を保持するメモリ、その重み値を用
    いて内積演算を行う演算器、及びその内積演算の結果を
    保持する手段を備えた複数のニューロンプロセッサと、 上記複数のニューロンプロセッサを相互に接続するデー
    タバスと、 少なくとも上記複数のニューロンプロセッサに対する動
    作命令を格納するワーキングメモリと、 上記動作命令を上記複数のニューロンプロセッサに出力
    するための命令バスとを少なくとも第１の集積回路基板
    上に集積し、 上記複数のニューロンプロセッサを制御する制御プロセ
    ッサを第２の集積回路基板上に集積し、 上記第１の集積回路基板上に上記第２の集積回路基板を
    搭載して単一のモジュール構成としたことを特徴とする
    情報処理装置。
  7. 【請求項７】請求項６の情報処理装置において、上記制
    御プロセッサは、上記ワーキングメモリと、上記複数の
    ニューロンプロセッサの内積演算の結果を保持する手段
    のメモリとを同一のメモリ空間としてアクセスすること
    を特徴とする情報処理装置。
  8. 【請求項８】演算器と情報を保持するメモリを備えた複
    数の機能ブロックと、上記複数の機能ブロックを相互に
    接続し、データを通信する手段を第１の集積回路基板上
    に集積し、 上記複数の機能ブロックに対する動作命令の発生を制御
    し、上記複数の機能ブロックとメモリ空間を共有するス
    カラープロセッサを第２の集積回路基板上に集積し、 上記第１の集積回路基板上に上記第２の集積回路基板を
    搭載して単一のモジュール構成としたことを特徴とする
    情報処理装置。
  9. 【請求項９】相互に接続された複数の第１の機能ブロッ
    クと、上記複数の第１の機能ブロックに対して同一の動
    作命令を発生する第２の機能ブロックとを備えた情報処
    理装置を、複数個相互に接続したことを特徴とする情報
    処理システム。
  10. 【請求項１０】請求項９の情報処理システムにおいて、
    上記情報処理装置は、演算器と情報を保持するメモリを
    夫々備えた上記複数の第１の機能ブロックと、上記複数
    の第１の機能ブロックを相互に接続するデータバスと、
    少なくとも上記複数の第１の機能ブロックに対する動作
    命令セットを格納し、上記複数の第１の機能ブロックを
    制御する上記第２の機能ブロックと、上記動作命令セッ
    トを上記複数の第１の機能ブロックに出力するための命
    令バスとを備え、上記複数の第１の機能ブロックは、上
    記動作命令セットに従って動作することを特徴とする情
    報処理システム。
  11. 【請求項１１】請求項９の情報処理システムにおいて、
    上記情報処理装置の上記複数の第１の機能ブロックを単
    一の集積回路基板上に集積したことを特徴とする情報処
    理システム。
  12. 【請求項１２】請求項９の情報処理システムにおいて、
    各々の上記情報処理装置は、同一または異なるニュ−ラ
    ルネットモデルの計算を行うことを特徴とする情報処理
    システム。
  13. 【請求項１３】請求項１２の情報処理システムにおい
    て、上記ニューラルネットモデルとして、相互結合型ニ
    ューラルネットワークを用いることを特徴とする情報処
    理システム。
  14. 【請求項１４】データの演算を行う複数の機能ブロック
    を備え、上記複数の機能ブロックは単一の命令セットに
    従って単一命令複数デ−タ流方式（ＳＩＭＤ）で動作す
    る情報処理装置を複数個設け、 上記複数個の情報処理装置間を非同期に通信し、複数命
    令複数デ−タ流方式（ＭＩＭＤ）で動作させることを特
    徴とする情報処理システム。
  15. 【請求項１５】請求項１４の情報処理システムにおい
    て、各々の上記情報処理装置は、当該情報処理装置以外
    の他の情報処理装置より順次入力される信号を順次記憶
    する記憶手段と、上記複数の機能ブロックと上記順次記
    憶する記憶手段とを相互に接続するデータバスと、上記
    データバス上に出力された所定の機能ブロックの出力を
    他の情報処理装置へ順次出力する手段とを備え、上記情
    報処理装置間は非同期に相互通信することを特徴とする
    情報処理システム。
  16. 【請求項１６】請求項１５の情報処理システムにおい
    て、各々の上記情報処理装置は、単一命令複数デ−タ流
    方式（ＳＩＭＤ）で動作する上記複数の機能ブロックに
    対し、上記単一命令セットの発生を制御するスカラ−プ
    ロセッサを備えたことを特徴とする情報処理システム。
  17. 【請求項１７】請求項１４の情報処理システムにおい
    て、上記情報処理装置の上記複数の機能ブロックを単一
    の集積回路基板上に集積したことを特徴とする情報処理
    システム。
  18. 【請求項１８】内積演算を行う複数のニューロンプロセ
    ッサを備え、上記複数のニューロンプロセッサは単一の
    命令セットに従って単一命令複数デ−タ流方式（ＳＩＭ
    Ｄ）で動作する情報処理装置を複数個設け、 上記複数個の情報処理装置間を非同期に通信し、複数命
    令複数デ−タ流方式（ＭＩＭＤ）で動作させることを特
    徴とする情報処理システム。
  19. 【請求項１９】請求項１８の情報処理システムにおい
    て、上記複数個の上記情報処理装置のうち少なくとも２
    個の情報処理装置は、同一のニューラルネットモデルを
    計算を行うことを特徴とする情報処理システム。
  20. 【請求項２０】請求項１９の情報処理システムにおい
    て、上記ニューラルネットモデルとして、相互結合型ニ
    ューラルネットワークを用いることを特徴とする情報処
    理システム。
  21. 【請求項２１】内積演算を行う複数のニューロンプロセ
    ッサと、上記複数のニューロンプロセッサに対する単一
    の命令セットの発生を制御するスカラ−プロセッサとを
    備え、上記スカラープロセッサは上記複数のニューロン
    プロセッサのメモリ空間を含んでアクセスし、単一命令
    複数デ−タ流方式（ＳＩＭＤ）で動作する情報処理装置
    を複数個設け、 上記複数個の情報処理装置間を非同期に通信し、複数命
    令複数デ−タ流方式（ＭＩＭＤ）で動作させることを特
    徴とする情報処理システム。
  22. 【請求項２２】内積演算を行う複数のニューロンプロセ
    ッサと、上記複数のニューロンプロセッサに対する単一
    の命令セットの発生を制御する第１のスカラ−プロセッ
    サとを備え、単一命令複数デ−タ流方式（ＳＩＭＤ）で
    動作する情報処理装置を複数個設け、 上記複数個の情報処理装置に対する複数の命令セットの
    発生を制御する第２のスカラープロセッサを備え、 上記複数個の情報処理装置間を非同期に通信し、複数命
    令複数デ−タ流方式（ＭＩＭＤ）で動作させ、 上記第２のスカラープロセッサは、上記第１のスカラー
    プロセッサ、及び上記複数のニューロンプロセッサのメ
    モリ空間を含んでアクセスすることを特徴とする情報処
    理システム。
  23. 【請求項２３】情報を保持するメモリ、その情報を用い
    て演算を行う演算器、及びその演算の結果を保持する手
    段を備えた複数の機能ブロックと、上記複数の機能ブロ
    ックに対する単一の命令セットの発生を制御する第１の
    スカラ−プロセッサと、上記単一の命令セットを格納す
    るエリアを有し、上記第１のスカラ−プロセッサのワー
    キング用のメモリとを備え、単一命令複数デ−タ流方式
    （ＳＩＭＤ）で動作する情報処理装置を複数個設け、 上記複数個の情報処理装置に対する複数の命令セットの
    発生を制御する第２のスカラープロセッサと、上記複数
    の命令セットを格納するエリアを有し、上記第２のスカ
    ラープロセッサのワーキング用のメモリとを備え、 上記複数個の情報処理装置間を非同期に通信し、複数命
    令複数デ−タ流方式（ＭＩＭＤ）で動作させ、 上記第２のスカラープロセッサは、上記第２のスカラー
    プロセッサのワーキング用のメモリと、上記複数の機能
    ブロックの演算の結果を保持する手段のメモリと、上記
    第１のスカラ−プロセッサのワーキング用のメモリを同
    一のメモリ空間としてアクセスすることを特徴とする情
    報処理システム。
  24. 【請求項２４】請求項２３の情報処理システムにおい
    て、上記情報処理装置の上記複数の機能ブロックを、単
    一の集積回路基板上に集積したことを特徴とする情報処
    理システム。
  25. 【請求項２５】請求項２４の情報処理システムにおい
    て、各々の上記情報処理装置は、同一または異なるニュ
    −ラルネットモデルの計算を行うことを特徴とする情報
    処理システム。
  26. 【請求項２６】請求項２５の情報処理システムにおい
    て、上記ニューラルネットモデルとして、相互結合型ニ
    ューラルネットワークを用いることを特徴とする情報処
    理システム。
  27. 【請求項２７】演算器と情報を保持するメモリを備えた
    複数の機能ブロックと、 上記複数の機能ブロックを相互に接続するデータバス
    と、 少なくとも上記複数の機能ブロックに対する動作命令を
    格納するワーキングメモリと、 上記動作命令を上記複数の機能ブロックに出力するため
    の命令バスとを少なくとも第１の集積回路基板上に集積
    し、 上記複数の機能ブロックに対する動作命令の発生を制御
    するスカラープロセッサを第２の集積回路基板上に集積
    し、 外部のＩ／Ｏ装置とのインタフェースを行うＩ／Ｏプロ
    セッサを第３の集積回路基板上に集積し、 上記第１の集積回路基板上に上記第２及び第３の集積回
    路基板を搭載して単一のモジュール構成としたことを特
    徴とするワークステーション。
  28. 【請求項２８】請求項２７のワークステーションにおい
    て、上記スカラープロセッサは、上記ワーキングメモリ
    と、上記複数の機能ブロックの情報を保持するメモリと
    を同一のメモリ空間としてアクセスすることを特徴とす
    るワークステーション。
  29. 【請求項２９】視覚情報を処理する複数の機能ブロック
    を備え、上記複数の機能ブロックは単一の命令セットに
    従って単一命令複数デ−タ流方式（ＳＩＭＤ）で動作す
    る情報処理装置と、 聴覚情報を処理する複数の機能ブロックを備え、上記複
    数の機能ブロックは単一の命令セットに従って単一命令
    複数デ−タ流方式（ＳＩＭＤ）で動作する情報処理装置
    とを設け、 上記情報処理装置間を非同期に通信し、複数命令複数デ
    −タ流方式（ＭＩＭＤ）で動作させることを特徴とする
    ロボット制御システム。
  30. 【請求項３０】動画像の１フレームの画像情報を処理す
    る複数の機能ブロックを備え、上記複数の機能ブロック
    は単一の命令セットに従って単一命令複数デ−タ流方式
    （ＳＩＭＤ）で動作する情報処理装置を複数個設け、 上記複数個の情報処理装置間を非同期に通信し、複数命
    令複数デ−タ流方式（ＭＩＭＤ）で動作させ、複数フレ
    ーム間の動画像処理を行うことを特徴とする動画像処理
    システム。
JP4042830A 1992-02-28 1992-02-28 情報処理装置及びシステム Pending JPH05242065A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP4042830A JPH05242065A (ja) 1992-02-28 1992-02-28 情報処理装置及びシステム
KR1019930002562A KR930018384A (ko) 1992-02-28 1993-02-24 정보처리장치 및 정보처리시스템
EP93102966A EP0557997A2 (en) 1992-02-28 1993-02-25 Information processing apparatus and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4042830A JPH05242065A (ja) 1992-02-28 1992-02-28 情報処理装置及びシステム

Publications (1)

Publication Number Publication Date
JPH05242065A true JPH05242065A (ja) 1993-09-21

Family

ID=12646886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4042830A Pending JPH05242065A (ja) 1992-02-28 1992-02-28 情報処理装置及びシステム

Country Status (3)

Country Link
EP (1) EP0557997A2 (ja)
JP (1) JPH05242065A (ja)
KR (1) KR930018384A (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07219919A (ja) * 1994-01-28 1995-08-18 Mitsubishi Electric Corp 数値演算処理装置
JPH09212477A (ja) * 1995-11-27 1997-08-15 Canon Inc デジタル画像処理プロセッサ
JP2009176110A (ja) * 2008-01-25 2009-08-06 Seiko Epson Corp 並列演算装置および並列演算方法
KR100966932B1 (ko) * 2001-08-31 2010-06-30 인튜션 인텔리전스, 인크. 직관적 학습 능력을 가진 처리 장치
KR101300431B1 (ko) * 2006-09-20 2013-08-27 인텔 코오퍼레이션 내적 연산을 수행하기 위한 명령 및 논리
JP2016051351A (ja) * 2014-08-29 2016-04-11 株式会社日立製作所 半導体装置
JP2017151604A (ja) * 2016-02-23 2017-08-31 株式会社デンソー 演算処理装置
JP2018518753A (ja) * 2015-05-21 2018-07-12 ゴールドマン サックス アンド カンパニー エルエルシー 多目的の並列処理アーキテクチャ
CN110720095A (zh) * 2017-04-06 2020-01-21 高盛有限责任公司 通用并行计算架构
JP2020135175A (ja) * 2019-02-15 2020-08-31 三菱電機株式会社 ニューラルネットワーク回路
JP2021500648A (ja) * 2017-10-20 2021-01-07 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ メッセージ・パッシング計算システムのためのメモリ・マップド・インターフェースのシステム、方法及びコンピュータ・プログラム
WO2021111573A1 (ja) * 2019-12-05 2021-06-10 Tdk株式会社 リザーバ計算データフロープロセッサ
JP2021522565A (ja) * 2018-04-30 2021-08-30 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 並列分散テンソル計算用のニューラル・ハードウェア・アクセラレータ
US11449452B2 (en) 2015-05-21 2022-09-20 Goldman Sachs & Co. LLC General-purpose parallel computing architecture

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2719400B1 (fr) * 1994-05-02 1996-05-24 Commissariat Energie Atomique Procédé et dispositif d'extraction d'un plus grand sous-ensemble d'objets, utilisant un réseau de neurones.
WO1996035997A1 (fr) * 1996-05-22 1996-11-14 Yalestown Corporation N.V. Processeur parallele
NZ336184A (en) * 1996-11-20 2000-10-27 Robert J Jannarone Multi-kernel neural network concurrent learning, monitoring, and forecasting system
US6216119B1 (en) 1997-11-19 2001-04-10 Netuitive, Inc. Multi-kernel neural network concurrent learning, monitoring, and forecasting system
GB9902115D0 (en) * 1999-02-01 1999-03-24 Axeon Limited Neural networks
FR3011659B1 (fr) * 2013-10-04 2015-10-16 Commissariat Energie Atomique Circuit electronique, notamment apte a l'implementation d'un reseau de neurones, et systeme neuronal

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0378115B1 (en) * 1989-01-06 1998-09-30 Hitachi, Ltd. Neural computer

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07219919A (ja) * 1994-01-28 1995-08-18 Mitsubishi Electric Corp 数値演算処理装置
JPH09212477A (ja) * 1995-11-27 1997-08-15 Canon Inc デジタル画像処理プロセッサ
KR100966932B1 (ko) * 2001-08-31 2010-06-30 인튜션 인텔리전스, 인크. 직관적 학습 능력을 가진 처리 장치
KR101300431B1 (ko) * 2006-09-20 2013-08-27 인텔 코오퍼레이션 내적 연산을 수행하기 위한 명령 및 논리
JP2009176110A (ja) * 2008-01-25 2009-08-06 Seiko Epson Corp 並列演算装置および並列演算方法
US10037391B2 (en) 2014-08-29 2018-07-31 Hitachi, Ltd. Semiconductor device
JP2016051351A (ja) * 2014-08-29 2016-04-11 株式会社日立製作所 半導体装置
US11449452B2 (en) 2015-05-21 2022-09-20 Goldman Sachs & Co. LLC General-purpose parallel computing architecture
JP2018518753A (ja) * 2015-05-21 2018-07-12 ゴールドマン サックス アンド カンパニー エルエルシー 多目的の並列処理アーキテクチャ
JP2021057076A (ja) * 2015-05-21 2021-04-08 ゴールドマン サックス アンド カンパニー エルエルシー 多目的の並列処理アーキテクチャ
JP2022046557A (ja) * 2015-05-21 2022-03-23 ゴールドマン サックス アンド カンパニー エルエルシー 多目的の並列処理アーキテクチャ
US10810156B2 (en) 2015-05-21 2020-10-20 Goldman Sachs & Co. LLC General-purpose parallel computing architecture
JP2017151604A (ja) * 2016-02-23 2017-08-31 株式会社デンソー 演算処理装置
JP2020517000A (ja) * 2017-04-06 2020-06-11 ゴールドマン サックス アンド カンパニー エルエルシー 汎用並列コンピューティングアーキテクチャ
CN110720095A (zh) * 2017-04-06 2020-01-21 高盛有限责任公司 通用并行计算架构
JP2023015205A (ja) * 2017-04-06 2023-01-31 ゴールドマン サックス アンド カンパニー エルエルシー 汎用並列コンピューティングアーキテクチャ
JP2021500648A (ja) * 2017-10-20 2021-01-07 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ メッセージ・パッシング計算システムのためのメモリ・マップド・インターフェースのシステム、方法及びコンピュータ・プログラム
JP2021522565A (ja) * 2018-04-30 2021-08-30 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 並列分散テンソル計算用のニューラル・ハードウェア・アクセラレータ
JP2020135175A (ja) * 2019-02-15 2020-08-31 三菱電機株式会社 ニューラルネットワーク回路
WO2021111573A1 (ja) * 2019-12-05 2021-06-10 Tdk株式会社 リザーバ計算データフロープロセッサ

Also Published As

Publication number Publication date
EP0557997A2 (en) 1993-09-01
KR930018384A (ko) 1993-09-21
EP0557997A3 (ja) 1995-05-24

Similar Documents

Publication Publication Date Title
JPH05242065A (ja) 情報処理装置及びシステム
Ramacher SYNAPSE—A neurocomputer that synthesizes neural algorithms on a parallel systolic engine
Uhr Parallel computer vision
Akopyan et al. Truenorth: Design and tool flow of a 65 mw 1 million neuron programmable neurosynaptic chip
US5138695A (en) Systolic array image processing system
CA2215598C (en) Fpga-based processor
Reeves Parallel computer architectures for image processing
US11836629B2 (en) Computationally efficient softmax loss gradient backpropagation
US5604840A (en) Information processing apparatus
JPH0425586B2 (ja)
JPH05505268A (ja) デイジーチェーン制御付ニューラルネットワーク
Ramacher et al. Multiprocessor and memory architecture of the neurocomputer SYNAPSE-1
Yasunaga et al. A self-learning digital neural network using wafer-scale LSI
Ikenaga et al. A fully parallel 1-Mb CAM LSI for real-time pixel-parallel image processing
JPH05282272A (ja) ニューラルネットワーク並列分散処理装置
Campbell et al. 3D wafer stack neurocomputing
Ryan et al. An isma lee router accelerator
JPH076146A (ja) 並列データ処理システム
Bai et al. An OpenCL-based FPGA accelerator with the Winograd’s minimal filtering algorithm for convolution neuron networks
Ramacher et al. Fine-grain system architectures for systolic emulation of neural algorithms
Morgan et al. RAP: A ring array processor for multilayer perceptron applications
Chen et al. SiBrain: A Sparse Spatio-Temporal Parallel Neuromorphic Architecture for Accelerating Spiking Convolution Neural Networks With Low Latency
Ayoubi et al. Efficient mapping algorithm of multilayer neural network on torus architecture
Fang et al. A hardware supported system for a special online application of self-organizing map
JPH05197707A (ja) 情報処理システム