JPH06195322A

JPH06195322A - 汎用型ニューロコンピュータとして用いられる情報処理装置

Info

Publication number: JPH06195322A
Application number: JP4319741A
Authority: JP
Inventors: Yuji Sato; 裕二佐藤; Katsunari Shibata; 克成柴田; Takahiro Sakaguchi; 隆宏坂口; Mitsuo Asai; 光男浅井; Masa Hashimoto; 雅橋本; 博 ▲高▼柳; Hiroshi Takayanagi; Takuo Okabashi; 卓夫岡橋; Keiji Mogi; 啓次茂木; Yoshihiro Kuwabara; 良博桑原; Tatsuo Ochiai; 辰男落合
Original assignee: Hitachi Microcomputer System Ltd; Hitachi Ltd
Current assignee: Hitachi Microcomputer System Ltd; Hitachi Ltd
Priority date: 1992-10-29
Filing date: 1992-11-30
Publication date: 1994-07-15
Also published as: US5524175A

Abstract

(57)【要約】【目的】本発明の目的は、複数の学習アルゴリズムへ
の対応を実現した上で、ハードワイアド方式と同等の命
令実行速度であり、かつ、マイクロプログラムを書き換
えるための時間が実用上無視できる汎用型ニューロコン
ピュータを提供することである。【構成】ニューロコンピュータ５０１は、複数のニュ
ーロン３３１０から構成されるニューロンアレイ３３０
０、制御記憶装置５２４ー１、パラメータレジスタ５２
４ー２、制御論理５２１およびグローバルメモリ５２５
を含む構成となっている。ホスト５０２は、ユーザイン
タフェース部であり、学習アルゴリズム、ニューラルネ
ットワーク構造、学習回数、入力パターン数、入力信
号、教師信号等ニューロコンピュータの学習および実行
に必要な情報をシステム内に入力する部分である。ホス
ト５０２から入力されたこれらの情報はＳＣＳＩインタ
フェース５５１〜５０３を介してニューロコンピュータ
５０１に転送される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、一般的には複数のプロ
セッサ（ニューロン）から構成されるニューロコンピュ
ータに関するものである。より詳細には、ニューロコン
ピュータの汎用化方式および高速化方式に関するもので
ある。本発明は、例えば、認識、予測、検査分析、制御
などの知識処理の分野を対象としたニューロコンピュー
タに利用可能である。

【０００２】

【従来の技術】従来のニューロコンピュータの例とし
て、電子情報通信学会技術研究報告（信学技法）、集積
回路研究会（ＩＣＤ８９−１５１、１９８９年１１
月）、ページ５５−６０に記載されている完全ディジタ
ルニューロコンピュータを構成するニューロンの一例を
図８に示す。図８において、乗算器３８１０がシナプス
に相当し、他のニューロンから送られてくるデータ入力
信号とメモリ３８４０に記憶されたシナプス荷重を掛け
算する。メモリ３８４０内のシナプス荷重のアドレス
は、アドレス信号で与える。乗算結果はセレクタ３８５
０を介して加減算器３８２０とラッチ３８６０が構成す
るループ回路に加えられ、ステップ信号が入力されるご
とに累積加算される。桁落ちなどが生じる場合など、必
要に応じてシフタ３８３０を用いる。また、アドレス信
号によって指定されるアドレスが一巡するとサイクル信
号によって累積加算の結果であるラッチ３８６０の内容
をラッチ３８７０に転送し、次のサイクルにおけるこの
ニューロンの出力とする。アドレス信号がこのニューロ
ンを指定したときにはデコーダ３８９０によってドライ
バ３８８０をイネイブル状態とし、データ出力信号を出
す。シグモイド変換器等は共通化して他のチップ（制御
回路チップ）に設けたため、図８には示していない。

【０００３】従来システムでは、図１０に示すように、
図８に示した複数のニューロン回路（例えば３００、３
０１、３０２）と制御系３１０から構成される。複数の
ニューロン回路および制御系３１０の間は、入力データ
バス３１１、アドレスバス３１２、制御信号バス３１３
および出力データバス３１４により接続されている。制
御系３１０で生成された入力データ、アドレス、制御信
号はそれぞれ入力データバス３１１、アドレスバス３１
２、制御信号バス３１３によって全ニューロンに転送さ
れ、ニューロン回路３００、３０１、３０２等で必要な
処理を行なった後、トライステートバッファ３１５等に
よって、指定されたニューロン回路が内部状態値や伝播
誤差等の値を出力バス３１４へ出力し、制御系３１０に
入る。制御系３１０は、ホストコンピュータから送られ
てくるマイクロプログラムを保持する制御記憶装置、入
力パターンおよび教師信号を保持しておくそれぞれ入力
層メモリと教師信号メモリ、出力層のニューロンの値を
全パターンに関して保持しておく出力層メモリを含む。

【０００４】図８および図１０に示すニューロコンピュ
ータの特徴は、学習アルゴリズムをハードウエア的に固
定な論理回路（ハードワイアド方式）で実現している点
にある。ハードワイアド方式により学習アルゴリズムを
実現した場合、学習を高速に実行可能である。

【０００５】

【発明が解決しようとする課題】上記従来技術では、学
習アルゴリズムをハードワイアド方式により実現してい
る。従って、学習アルゴリズムを高速に実行可能である
反面、他の（ハードウエア化していない）学習アルゴリ
ズムに対応できない問題がある。すなわち、応用分野に
よって最適な学習アルゴリズムが異なることを考慮する
と、適用できる応用分野が限定される（幅広い応用分野
に適用できない）という問題がある。

【０００６】あるいは、幅広い応用分野に適用するため
には、学習アルゴリズムごとにハードウエア（ニューロ
コンピュータ）を作り替える必要があり、莫大なコスト
が必要となるという問題がある。

【０００７】上記ハードワイアド方式の問題を解決する
ためにはマイクロプログラム方式の適用が考えられる。
すなわち、学習アルゴリズムをマイクロプログラム化
し、マイクロプログラムを書き換えることにより（ハー
ドウエアの追加／修正を行うことなく）複数の学習アル
ゴリズムに対応する方式が考えられる。

【０００８】しかし、マイクロプログラム方式を適用し
た場合、マイクロ命令のデコード（解読）に時間が必要とな
り、ハードワイアド方式と比べて命令実行速度が著しく
遅くなる。

【０００９】マイクロプログラムを書き換えるために
は、ホストからニューロコンピュータへのデータ（マイ
クロプログラム）転送が必要である。従って、マイクロ
プログラムの書き換えが頻繁に生じた場合、ホストから
ニューロコンピュータへのデータ（マイクロプログラ
ム）転送時間が無視できなくなり、トータルの実
行時間（＝データ転送時間＋命令実行時間）が長くな
る。という問題がある。

【００１０】本発明の目的は、複数の学習アルゴリズム
への対応を実現した上で、ハードワイアド方式と比べて
同等の命令実行速度であり、かつ、マイクロプログラム
を書き換えるための時間が実用上無視できる汎用型ニュ
ーロコンピュータを提供することである。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に、上記幾つかの問題点に対応してそれぞれ以下に示す
解決手段を考える。

【００１２】まず複数の学習アルゴリズムへの対応を実
現するために、マイクロプログラム方式を適用する。

【００１３】次に、ハードワイアド方式と比べて同等の
命令実行速度を実現するために、マイクロ命令は（完
全）水平型とする。また、（完全）水平型にした場合の
マイクロ命令のビット数（幅）削減（すなわち、メモリ
容量削減）のため、同時実行性の極めて低い命令を分け
る（別命令とする）。

【００１４】最後に、マイクロプログラムを書き換える
ための時間が実用上無視できるようにするために、学習
回数、パターン数等の修正頻度の高い変数情報を、マイ
クロプログラムを格納するための制御記憶装置とは物理
的に異なる記憶装置、例えばパラメータレジスタ、に格
納する。

【００１５】

【作用】本発明では、 (1)マイクロプログラム方式を適用する。すなわち、演
算器群（乗算器、ＡＬＵ、シフタ、レジスタ等）の制御
およびニューロン間のデータ転送制御をマイクロ命令に
より行う。従って、学習アルゴリズムに対応してマイク
ロプログラム（マイクロ命令で構成）を書き換えること
により、ハードウエアの追加／修正を行うことなく、複
数の学習アルゴリズムに対応可能である。

【００１６】(2)マイクロ命令は（完全）水平型とす
る。従って、マイクロ命令のデコード（解読）に必要な
時間は極わずか（完全水平型であれば０）である。すな
わち、高速に命令を実行可能である。

【００１７】また、マイクロ命令を（完全）水平型とし
た場合の問題点である、１クロックで制御記憶装置から
読みだすマイクロ命令のビット数（幅）増大の問題点
（ビット数（幅）増大に伴い、消費電力増大、同時切り
替えノイズ発生確率増大となる）に対処するために、同
時実行性の極めて低い命令を分ける（別命令とする）。
例えば、マイクロ命令をニューロ演算制御用の命令と制
御記憶装置の次アドレス制御用の命令に分ける。これに
より、１クロックで制御記憶装置から読みだすマイクロ
命令のビット数（幅）を削減可能となる。

【００１８】(3)学習回数、パターン数等の変数情報
を、マイクロプログラムを格納するための制御記憶装置
とは物理的に異なる記憶装置、例えばパラメータレジス
タ、に格納する。従って、制御記憶装置の内容を書き換
える必要が生じる（すなわち、ホストからニューロコン
ピュータへのデータ（マイクロプログラム）転送が必要
となる）のは、学習アルゴリズムの変更あるいはニュー
ロン間のネットワーク構造の変更が必要となった場合の
みである。すなわち、極まれなケースである。通常の使
用で変更を必要とする学習回数、パターン数等の変数情
報は、パラメータレジスタの書き換えのみで対応可能で
ある。すなわち、ホストからニューロコンピュータへの
データ転送量は極わずかであり、実用上無視できる時間
である。

【００１９】

【実施例】図１にニューロコンピュータのシステム構成
図の一例を示す。図１において、５０１はニューロコン
ピュータ、５０２はニューロコンピュータを制御するホ
ストコンピュータである。ニューロコンピュータ５０１
は、複数のニューロン３３１０から構成されるニューロ
ンアレイ３３００、制御記憶装置５２４−１、パラメー
タレジスタ５２４−２、制御論理５２１およびグローバ
ルメモリ５２５を含む構成となっている。５２２および
５５１はニューロコンピュータ５０１とホストコンピュ
ータ５０２の間で通信を行うためのＳＣＳＩインタフェ
ースである。

【００２０】ホスト５０２はユーザインタフェース部で
あり、学習アルゴリズム、ニューラルネットワーク構
造、学習回数、入力パターン数、入力信号、教師信号
（期待値）等ニューロコンピュータの学習および実行に
必要な情報をシステム内に入力する部分である。ホスト
５０２から入力されたこれらの情報はＳＣＳＩインタフ
ェース５５１〜５２２を介してニューロコンピュータ５
０１に転送される。ＳＣＳＩを仮定した場合、転送速度
は１〜４ＭＢ／秒程度と考えられる。

【００２１】ニューロコンピュータ５０１に転送された
これらの情報の内、学習アルゴリズムおよびニューラル
ネットワーク構造等修正頻度の低い情報はマイクロプロ
グラムとして制御記憶装置５２４−１に格納される。学
習回数および入力パターン数等の修正頻度の高いパラメ
ータ情報はパラメータレジスタ５２４−２に格納され
る。入力信号、教師信号（期待値）および出力信号等ニ
ューラルネットワークの入／出力データはグローバルメ
モリ５２５に格納される。

【００２２】図２は、マイクロプログラム方式を説明す
るための図である。図２において３３１０、５２４−
１、５２１はそれぞれ図１に示したニューロン、制御記
憶装置、制御論理である。ニューロン３３１０は、演算
器群３３２０、入力バッファ３３３０および出力バッフ
ァ３３４０から構成される。マイクロプログラム方式で
は、演算器群３３２０を構成する各演算器をどのように
使用するかをマイクロプログラムで記述して制御記憶装
置５２４−１に格納する。他のニューロンからのデータ
入力および他のニューロンへのデータ出力の制御もマイ
クロプログラムで記述する。制御論理５２１は、制御記
憶装置５２４−１に格納したマイクロプログラムのデコ
ーダ論理であり、演算器群３３２０を構成する各演算器
を制御する制御信号を生成する。従って、Back Propaga
tion、Hopfield、LVQ等の各種学習アルゴリズムごとに
対応するマイクロプログラムを準備すれば、ハードウエ
アの作り替えなしに、複数の学習アルゴリズムに対応可
能である。複数の学習アルゴリズムは、予め全て制御記
憶装置５２４−１内に格納し、選択実行する仕様とする
こともできる。メモリ容量を削減するために、制御記憶
装置５２４−１をＲＡＭ、ＥＰＲＯＭ等の書き換え可能
なメモリで構成し、必要に応じて学習アルゴリズム（マ
イクロプログラム）を書き換える仕様とすることもでき
る。

【００２３】図３に演算器群３３２０のブロック構成図
を示す。図３において、３３３０は各ニューロン３３１
０の入力バッファ、３３４０は出力バッファであり、そ
れぞれ他の要素プロセッサから入力したデータ３３１
１、他の要素プロセッサへ出力するデータ３３１２を一
時的に格納する機能を有する。３３２１はシフタ機能付
き算術論理演算ユニット（ＡＬＵ）である。シフタとＡ
ＬＵは分離して持つことも可能である。３３２２は乗算
器、３３２３は汎用レジスタ、３３２４はフラグレジス
タ、３３２５と３３２６は重み値修正用レジスタであ
る。また、３３２７はプロセッサ間の結合強度を示す重
み値情報を格納するための書き換え可能なメモリであ
る。３３２５、３３２６および３３２７は汎用レジスタ
の一部に割当てることも可能である。３３１７〜３３１
９は内部バスである。

【００２４】ＡＬＵ３３２１の演算機能の一例を表１に
示す。

【００２５】

【表１】

【００２６】図４にニモニックレベルのマイクロ命令の
フォーマット例を示す。制御記憶装置５２４−１には、
ニモニックレベルで記述されたマイクロ命令が２進数に
展開されて格納される。図４では、マイクロ命令のビッ
ト数（幅）削減（すなわち、メモリ容量削減）のため、
同実行性の極めて低い命令、すなわち演算制御用の命令
と次アドレス制御用の命令に分けている。以下、記述ル
ールを簡単に説明する。

【００２７】(1) 一般ルール・各フィールド間には、１個以上のスペースを挿入す
る。

【００２８】・ラベルを省略する場合、行の先頭はスペ
ースとする。

【００２９】・１語（ワード）の終了はセミコロ
ン（；）で表す。１語を数行に分けて記述してもよい。

【００３０】(2) 各フィールドの記述ルールラベル指定フィールド１１：ＬＢＬ・行の先頭から記述する。

【００３１】・省略可。ただし、省略する場合は行の先
頭はスペースとする。

【００３２】マイクロ制御指定フィールド１２：ＳＣ・ニューロン１３１０の制御を行う演算制御命令か、制
御記憶装置５２４−１の次アドレス制御を行う次アドレ
ス制御命令かの指定を行う。

【００３３】ＳＣ(０）：演算制御命令を表す。

【００３４】ＳＣ(１）：次アドレス制御命令を表す。

【００３５】ニューロン演算制御フィールド１３：ＩＮＳＴ・ニューロン３１０の演算機能（例えば、乗算、加
算）、演算に必要なメモリの読み／書き、内部バスの入
出力等の指定を行う。

【００３６】ブロードキャスト指定フィールド１４：ＢＣＳＴ・ブロードキャストに関する制御を行う。

【００３７】＃１＝△ ：ブロードキャストは行わない。

【００３８】IN ：入力信号をブロードキャストする。

【００３９】TEA ：教師信号をブロードキャストする。

【００４０】 NEU ：ニューロンの値をブロードキャストする。

【００４１】CNT ：定数をブロードキャストする。

【００４２】ジャンプ命令指定フィールド１５：ＪＵＭＰ・制御記憶装置５２４−１の次アドレスに関する制御を
行う。

【００４３】＃２＝GO[μJAA] ：μJAAで指定されたア
ドレスに無条件ジャンプする。 SUB[μJA
A]：μJAAで指定されたアドレスにサブルーチンジャン
プする。

【００４４】 SUBRTN ：サブルーチンリターンを示す。

【００４５】LOOP[LCA] ：LCAで指定された回数だけ、L
OOPRTNまでを繰り返す。 LOOPRTN ：ル
ープエンドを示す。

【００４６】テスト機能指定フィールド１６：ＴＥＳＴ・次アドレス制御命令実行時に行う、オンラインテスト
用の命令を指定する。例えば、テスト対象として、各ニ
ューロンの内部の演算機能、内部バスおよび記憶装置
（レジスタ、メモリ）の出力線の縮退故障を考える。

【００４７】図５は、図４に示した次アドレス制御命令
内のテスト機能指定フィールドの一例である。以下、各
フィールドの記述ルールを簡単に説明する。

【００４８】テスト命令フィールド２１：ＴＩＮＳＴ・テスト用の命令（例えば、ＡＬＵのＡＤＤ命令）を指
定する。

【００４９】乗算器入出力指定フィールド２２：ＭＵＬ＃３＝乗算器の右入力指定＃４＝乗算器の左入力指定ＡＬＵ入出力指定フィールド２３：ＡＬＵ＃５＝ＡＬＵの右入力指定＃６＝ＡＬＵの左入力指定 (a)シフタ入出力指定フィールド２４：ＳＦＴ＃７＝シフタの右入力指定＃８＝シフタの左入力指定 (b)出力先指定フィールド２５：ＯＵＴ＃９＝テスト結果の出力先（例えば、レジスタ、出力バ
ッファ）を指定する。

【００５０】上記のように同実行性の極めて低い命令、
すなわち演算制御用の命令と次アドレス制御用の命令、
を２つに分ければ、マイクロ命令のビット数（幅）削減
（すなわち、メモリ容量削減）に有効である。また、次
アドレス制御用の命令実行時（本来ニューロンはＮＯＰ
(No OPeration)状態）に各ニューロンの演算器群のオン
ラインテストが可能である。さらに、ニモニックレベル
で記述されたマイクロ命令を２進数に展開する際、（完
全）水平型とすれば制御論理５２１はほとんど不要とな
り高速に命令を実行可能である。

【００５１】次に、ＢＰ(Back Propagation)の学習アル
ゴリズムを例にとり、学習実行に必要な情報とその格納
先の関係を示す。

【００５２】図６にＢＰの実行に必要な情報を示す。図
６では、学習アルゴリズムおよびニューロン３３１０間
の接続関係（ネットワーク構造）を固定し、学習回数
ｌ、入力パターン３６１０および入力パターン数ｐを変
化させて繰返し学習を実行する場合を想定している。入
力パターン３６１０の変化に伴い、出力パターン３６２
０および教師信号（出力期待値）３６３０も当然変化す
る。出力パターン３６２０と教師信号３６３０との比較
結果は、ニューロン１３１０間の重み値更新に反映され
る。

【００５３】図７は、図６に示したＢＰの実行に必要な
情報の格納先を示している。図６に示した情報の内、学
習アルゴリズム（ＢＰ）本体およびニューラルネットワ
ークの構造（入力層ｉ、中間層ｈ、出力層ｏの接続関
係）等固定的に使用する（すなわち、修正頻度の低い）
情報は、制御記憶装置５２４−１内に格納する。学習回
数ｌおよび入力パターン数ｐ等ニューラルネットワーク
の構造に無関係な変数情報は、パラメータレジスタ５２
４−２に格納する。入力パターン３６１０、出力パター
ン３６２０および教師信号３６３０等ニューラルネット
ワークの入出力データは、グローバルメモリ５２５に格
納する。従って、例えば学習回数ｌおよび入力パターン
数ｐ等ニューラルネットワークの構造に無関係な変数情
報を変化させて繰返し学習を実行する通常の運用を想定
する場合、（図１において）ホストコンピュータ５０２
からニューロコンピュータ５０１に学習回数ｌまたは入
力パターン数ｐを転送し、パラメータレジスタ５２４−
２を書き換えるために必要な時間は極わずかであり運用
上特に問題とはならない。

【００５４】以上、図１〜図８により、本発明の基本的
な考え方を示した。以下、図９〜図３６を用いて、より
具体的な実施例を示す。

【００５５】（図３に示した第１のニュ−ロン例とは異
なる）本発明における第２のニューロン回路の基本構成
図を図９に示す。ニューロン回路100は、外部から入力
データ101、外部制御信号119、ニューロンセレクト信号
120を入力し、出力データ118を出力する。ニューロン回
路100内にはレジスタファイル102、書替え可能なメモリ
103を有する。このレジスタファイル102及び書替え可能
なメモリ103のポインタは制御回路121から発生される。
特に、レジスタファイル102に関しては、ポインタを２
個設け、それぞれのポインタが指している２つの値を出
力値として同時に出力することができる。そして、信号
選択手段104において、上記レジスタファイル102の２つ
の出力、書替え可能なメモリ103の出力及びニューロン
回路100外からの入力データ101、第１の演算結果選択手
段113の出力から、制御回路121からの内部制御信号122
に基づいて２つの信号を選択する。ここで、書替え可能
なメモリ103からのデータについては、例えば重み値ｗ
を１６ビット、重み値の変化量Δｗを８ビットで保持し
たり、重み値を８ビットで保持したりといった融通を利
かせる構成にするのが望ましい。そこで、１６ビット単
位でも８ビット単位でも使えるようにするために、信号
選択手段104では、データを１６ビットで受け取り、上
位８ビット、下位８ビットまたは１６ビットそのままの
どれかを内部制御信号122によって選択できるようにす
る。信号選択手段104の出力２つを、内部制御信号122に
基づいて２つの選択信号保持手段105、106において保持
することによってニューロン回路100内のパイプライン
を構成する。ここでの保持手段及び以下に出てくる保持
手段は、エッジトリガフリップフロップによって実現可
能である。また、保持された２つの信号は、乗算器107
によって乗算され、内部制御信号122に基づいて乗算結
果保持手段108にてその値を保持する。ディジタルの乗
算器は演算時間が大きく掛かるため、前記のように、乗
算器の前後にフリップフロップ等の保持手段を入れる。
これによって、パイプラインのピッチからメモリのアク
セス時間や信号の選択に要する時間を除くことができる
ため、パイプラインピッチを小さくすることが可能とな
る。そして、上記の乗算結果保持手段108と２つの選択
信号保持手段105、106さらに、演算結果保持手段115の
中からＡＬＵ入力選択手段109によって内部制御信号122
に基づいて２つの信号を選択し、ＡＬＵ111へ入力す
る。シフタ入力選択手段110においては、別の内部制御
信号122に基づいてやはり１つの信号を選択し、シフタ1
12へ入力する。そして、ＡＬＵ111では、内部制御信号1
22に基づいて加算、論理演算等から１つの演算を選択し
て実行し、シフタ112では、内部制御信号122に基づいて
シフト量、及び算術シフトか論理シフトかを選んで実行
する。そして、ＡＬＵ111の出力とシフタ112の出力をや
はり内部制御信号122に基づいて２つの演算結果選択手
段113、114にて選択する。ただし、ここでは、２つの演
算結果選択手段113と114は同じ制御信号を用いることに
よって、第１の演算結果選択手段113がＡＬＵ111の出力
を選択している時は第二の演算結果選択手段114でシフ
タ112の出力を選択し、第一の演算結果選択手段113がシ
フタ112の出力を選択しているときは第二の演算結果選
択手段114がＡＬＵ111の出力を選択するようにし、ＡＬ
Ｕ111とシフタ112の並列演算を可能にしたまま制御信号
の数を減少させることができる。第２の演算結果選択手
段114の出力は内部制御信号122に基づいて演算結果保持
手段115に保持される。また、第１の演算結果選択手段1
13で選択されたデータは、信号選択手段104に入力され
る他、メモリ書き込み値保持手段116、レジスタファイ
ル102及び出力選択手段117に入力される。メモリ書き込
み値保持手段116では、メモリ103の書き込みのための内
部制御信号122とは別の内部制御信号122によって書き込
みの制御を行ない、書替え可能なメモリ103から値を読
み出すのと重ならないタイミングまで保持しておいた
後、メモリ103に書き込む。レジスタファイル102への書
き込みも、内部制御信号122に基づいて書き込む。この
時のポインタは、読み出し用のポインタを用いる。出力
選択手段117では、第１の演算結果選択手段の出力の
他、書替え可能なメモリ103の出力、レジスタファイル1
02の出力及びその他の保持手段からの出力から内部制御
信号122に基づいて外部へ出力されるデータを選択す
る。出力選択手段117では、出力選択手段117へ入力され
る信号が外部への出力信号118よりもビット数が大きい
場合は、元の信号のビットを分割し、どこのビットを出
力するかの選択も内部制御信号122に基づいて行なう。
以上のようなニューロン回路100の内部の制御に使われ
る内部制御信号122は、制御回路121において、外部から
の外部制御信号119、ニューロンセレクト信号120及びＡ
ＬＵ111から発生する。インストラクションは水平型を
基本とし、内部制御信号122のほとんどは外部制御信号1
19をそのまま用いる。

【００５６】図９に示すニューロン回路を、前述の図１
０に示す時分割のバスによって結合することで、配線領
域を小さくしている。しかし、全ニューロンを一筆書き
でつなぐのは、例えば配線が複雑になる等、非常に効率
が悪い。従って、実際は、図１１のように階層的に接続
を行なう。ここでは、一つのニューロンチップ420の中
に複数のニューロン回路450を有し、一つのニューロン
ボード401の中には複数のニューロンチップ420が搭載さ
れている。さらに、一つのシステムの中には複数のニュ
ーロンボード401と制御ボード411及びそれらをつなぐバ
ックボード412からなる。そして、アドレスバス414、入
力データバス415、制御信号バス416は制御ボード411か
ら出力され、各ニューロボード401に分岐される。各ニ
ューロボード401内では、デコーダ440によって、アドレ
ス信号で指定されるニューロンが自分のボードの中にい
るかどうか、また、自分のボード内のどのチップなのか
を検出し、チップセレクト信号を発生する。そして、そ
のチップセレクト信号を各ニューロンチップ420に送る
と共に、バックボード412から受け取ったアドレスバス4
14の一部と入力データバス415、制御信号バス416はニュ
ーロボード401内で各ニューロチップ420に分配させる。
さらに、各ニューロチップ内では、ニューロボード内で
の処理と同様に、デコーダ470によってアドレス信号の
うちチップ内アドレスを示す部分をデコードし、ニュー
ロンセレクト信号を発生する。また、ニューロボード40
1から受け取った入力データバス及び制御信号バスはニ
ューロチップ420内で各ニューロン回路450に分配され
る。一方、出力データに関しては、まずニューロンチッ
プ420内で、デコーダ470によって発生されるニューロン
セレクト信号を用いてトライステートバッファ460のオ
ンオフを制御し、ニューロンチップ420からある一つの
ニューロン回路を選択して、その出力値を外部に出力す
るようにする。そして、ニューロボード401では、各ニ
ューロチップ420から出てきたデータを、デコーダ440か
ら得られるチップセレクト信号によりトライステートバ
ッファ430を制御し、一個のチップの出力を選択する。
さらに、ニューロボード401では、デコーダ440がアドレ
ス信号を用いて、指定されたニューロンがボード内のニ
ューロンかどうかをデコードし、ニューロボード401と
バックボード412の間のトライステートバッファを制御
する。これによって、バックボード412では、アドレス
信号で指定されたニューロンの出力値が出力データバス
413に出力されることとなる。出力データバス413の値
は、制御ボード411に取り込まれて、マイクロプログラ
ムに従って制御ボード411内のメモリに書き込まれたり
入力データバス415に出力されたりする。

【００５７】図１２にシステムの構成例を示す。図１２
は、図１に示したシステム構成を、より詳細に示した図
である。システムは大きくホストコンピュータ502とシ
ステム本体501に分けられ、システム本体501は図１１に
示したように、制御ボード511とニューロボード512、51
3とバックボード514からなる。ユーザはホストコンピュ
ータ502を通してマイクロプログラムや学習データを用
意し、アセンブラなどの必要な処理を行なった後、SCSI
インターフェイス551からSCSI503を介してシステム本体
501のSCSIインターフェイス522に転送する。また、学習
した結果などは逆にシステム本体501からホストコンピ
ュータ502にSCSI503を介して読み出すことができる。SC
SIは複数のマシンを直列に接続できるため、この場合
は、１つのホストコンピュータ502で複数のシステム本
体501を並列に学習させたり、逆に、複数のホストコン
ピュータ502を用いて１つのシステム本体501を時分割で
使うことも可能である。また、ホストコンピュータ501
がイーサネットインターフェイスを持っていれば、イー
サネットとホストコンピュータ502を経由することによ
って他のコンピュータからもアクセスすることができ
る。こうして、送られてきたマイクロプログラムやデー
タは、制御ボード511内のＣＰＵ523の制御の下で制御チ
ップ521を介してマイクロプログラムは制御記憶524にデ
ータはグローバルメモリ525に値を書き込んだり、また
逆に読み出したりすることができる。そして、ホストコ
ンピュータ502からスタートの命令が送られて来ると制
御記憶524内にロードされたマイクロプログラムに従っ
てニューロコンピュータの動作が開始される。

【００５８】制御論理５２１は、外部バス４０５３経由
で送られてきたスタート命令を受け、制御記憶５２４か
らマイクロプログラムを読み出す。読み出されたマイク
ロプログラム中のマイクロ命令がニューロンに対する命
令であれば、ニューロン制御手段４０１１を介してその
まま制御信号バス５５１に出力され、ニューロンで実行
される。また、読み出されたマイクロプログラム中のマ
イクロ命令が制御論理５２１に対する命令であれば、デ
コードを行ない実行する。この命令実行の過程で、グロ
ーバルメモリ５２５のアクセス、ニューロンアドレスの
発生とニューロンアドレスバス５５２への出力、出力バ
ス５５３を介してニューロンからの出力値の取り込み、
制御記憶５２４のアドレスの更新を行なう。

【００５９】以下、図２８の概略動作フローを参照し、
図１２のシステム構成例中のニューロコンピュータ５０
１の詳細動作を説明する。まず、ホストコンピュータ５
０２上で、ニューラルネットワーク動作プログラムと、
ニューロンの初期値と、入力パターンと、教師信号が必
要であれば教師信号と、学習のパラメータとを作成する
（フロー４０４１）。次に、ホストコンピュータ５０２
側のＳＣＳＩインターフェース５５１、ＳＣＳＩ５０
３、ニューロコンピュータ５０１側のＳＣＳＩインター
フェース５２２、外部バス４０３５経由で、ニューロン
の初期値を各ニューロチップ５４１、５４２に、ニュー
ラルネットワーク動作プログラムを制御記憶５２４に、
入力パターンと必要であれば教師信号、学習のパラメー
タをグローバルメモリ５２５に書き込む（フロー４０４
２）。そして、ホストコンピュータ５０２からのニュー
ラルネットワーク動作開始信号を受け、制御論理５２１
の制御記憶５２４が発生した制御記憶のアドレスが指す
プログラム上の命令を読み出し（フロー４０４３）、ニ
ューロンに対する命令であれば、制御信号バス５５１上
に命令を出力する（フロー４０４４）。各ニューロン
は、制御信号バス５５１上の命令を受け取り、デコード
し、実行する（フロー４０４６）。この時、グローバル
メモリ制御手段４０１３に対する命令があれば、グロー
バルメモリ制御手段４０１３はグローバルメモリ５２５
から入力バス２７上にデータを出力したり、出力バス５
５４上のデータをグローバルメモリ５２５に取り込む。
また、制御論理５２１に対する命令であれば、デコード
する（フロー４０４５）。デコードされた制御命令が動
作終了命令でなければ、制御動作を実行する（フロー４
０４７）。以下、デコードされた制御命令が動作終了命
令となるまで、フロー４０４３、４０４４、４０４５、
４０４６、４０４７を繰り返す。デコードされた制御命
令が動作終了命令であれば、ホストコンピュータ５０２
へ動作終了を通知し、必要であればホストコンピュータ
５０２からニューラルネットワーク動作結果を読み出す
（フロー４０４８）。

【００６０】次に、図１２で示した制御論理５２１の制
御記憶制御手段４０１２の詳細ブロック図を図２９に示
す。制御記憶制御手段４０１２は、制御記憶のアドレス
を発生するアドレス発生回路４０５１と、制御記憶のリ
ード／ライト信号を発生する制御信号発生回路４０５２
と、制御記憶の入力信号を発生する入力信号発生回路４
０３５とで構成されている。これらの回路は、ニューロ
ン制御手段４０１１で発生される制御命令を受けて動作
する。また、外部バスインターフェース手段４０１４よ
り、直接動作させることができる。

【００６１】次に、図１２で示した制御論理５２１のグ
ローバルメモリ制御手段４０１３の詳細ブロック図を図
３０に示す。グローバルメモリ制御手段４０１３は、グ
ローバルメモリのアドレスを発生するグローバルメモリ
アドレス発生回路４０６１と、グローバルメモリのリー
ド／ライト信号を発生するグローバルメモリ制御信号発
生回路４０６２とグローバルメモリの入力信号を発生す
るグローバルメモリ入力信号発生回路４０６３で構成さ
れている。これらの回路は、ニューロン制御手段４０１
１で発生されるニューロン命令と制御命令を受けて動作
する。また、外部バスインターフェース手段４０１４よ
り、直接動作させることができる。

【００６２】次に、図１２で示した制御論理５２１の外
部インターフェース手段４０１４の詳細ブロック図を図
３１に示す。外部インターフェース手段４０１４はステ
イタス管理回路４０７１とバスインターフェース回路４
０７２とで構成されている。バスインターフェース回路
４０７２はネットワーク動作前に、外部バス４０３５上
のネットワーク動作プログラムを制御記憶に、ネットワ
ーク動作に必要なデータをグローバルメモリ５２５に書
き込む。そして、バスインターフェース回路４０７２
は、ネットワーク動作終了後、データを外部バス４０３
５に出力する。次に、ステイタス管理回路４０７１は、
ネットワーク動作中、ニューロン制御手段４０１１で発
生される制御命令に従い、ニューロンからのリクエスト
信号やエラー信号を受け、制御記憶制御手段４０１２に
割込み要求信号を送り、バスインターフェース回路４０
７２に割込み発生信号を送る。また逆に、制御記憶制御
手段４０１２からの割込み発生信号を外部バス４０３５
に伝える。さらに、ステイタス管理回路４０７１はバス
インターフェース回路４０７２からの割込み要求信号を
受け、制御記憶制御手段４０１２に割込み要求信号を送
る。

【００６３】次に、図１２で示した制御論理５２１のニ
ューロン制御手段４０１１の詳細ブロック図を図３２に
示す。ニューロン制御手段４０１１には、ニューロン命
令発生回路４０８１と、ニューロンアドレス発生回路４
０８２と、最大最小検出回路４０８３と、ニューロン入
力信号発生回路４０８４とで構成されている。ニューロ
ン命令発生回路４０８１は制御記憶５２４から読み出さ
れた命令を、ニューロンに対する命令であれば制御信号
バス５５１に出力し、制御論理５２１に対する命令であ
ればデコードし、実行する。ニューロンアドレス発生回
路４０８２は、ニューロン命令発生回路４０８１より送
られてきた論理アドレスを実アドレスに変換し、アドレ
スバス５５２へアドレスを送る。最大最小検出回路４０
８３は、制御命令によって、任意のグループに属するニ
ューロンの出力値の中から最大値を持つニューロンのア
ドレスと、最小値を持つニューロンのアドレスとを検出
する。ニューロン入力信号発生回路４０８４は、グロー
バルメモリ制御手段４０１３より送られてきたデータと
最大最小検出回路４０８３を経由して送られてきたニュ
ーロンの出力とを、切り替える。これらの回路は、ニュ
ーロン命令発生回路４０８１で発生される制御命令を受
けて動作する。また、外部バスインターフェース手段４
０１４より、直接動作させることができる。

【００６４】次に、図３３を用いて最大最小検出回路４
０８３の構成とその動作を詳細に説明する。出力バス５
５４に接続されている出力信号線４０９１より、ブロー
ドキャストされたニューロン出力値Ｘｊが入力され、ア
ドレスバス５５２に接続されているアドレス信号線４０
９２より、現在ブロードキャストさているニューロンの
アドレスが入力される。最大最小検出回路４０８３は最
大値検出部４０９３と最小値検出部４０９７とで構成さ
れている。最大値検出部４０９３では、最大値レジスタ
４０９４に格納されているこれまでの最大値とブロード
キャストされた値Ｘｊを比較器４０９５で比較し、現在
の値が、これまでの最大値よりも大きい場合、最大値レ
ジスタ４０９４と最大値アドレスレジスタ４０９６を更
新する。最小値検出部４０９７では、最小値レジスタ４
０９８に格納されているこれまでの最小値とブロードキ
ャストされた値Ｘｊを比較器４０９９で比較し、現在の
値が、これまでの最小値よりも小さい場合、最小値レジ
スタ４０９８と最小値アドレスレジスタ４０９ａを更新
する。検出したいグループのニューロンが全て出力値を
ブロードキャストすると、最大最小検出動作が終了す
る。この時、最大値アドレスレジスタ４０９６には、最
大のニューロン出力値を持つニューロンのアドレスが、
最小値アドレスレジスタ４０９ａには、最小のニューロ
ン出力値を持つニューロンのアドレスが格納されてい
る。

【００６５】次に、図３５の概略動作フローに基づいて
図３４のブロック図における最大値最小値検出動作を含
めたニューラルネットワーク動作を説明する。図３４の
ブロック図は、入力バス５５３、アドレスバス５５２、
制御信号バス５５１、出力バス５５４に接続された複数
のニューロン回路から成るニューラルネットワーク４０
３１と、図３３で説明した最大最小検出回路４０８３を
含むニューロン制御手段４０１１とで構成されている。
まず最初に、最大最小検出回路４０８３をリセットする
（フロー４１１１）。このリセット動作は、最大値と最
小値を検出する前に、図３３中の最大値レジスタ４０９
４にニューロン回路出力値の理論的に取りうる最小値
を、最少値レジスタ４０９８にニューロン回路出力値の
理論的に取りうる最大値をセットする動作と、最大値ア
ドレスレジスタ４０９６、最小値アドレスレジスタ４０
９ａをクリアする動作である。次に、ニューロンアドレ
ス発生回路４０８２によってニューロン回路の出力値を
ブロードキャストすべきニューロン回路の実アドレスが
生成され、アドレスバス５５２に出力され、ニューロン
回路と最大最小検出回路４０８３に入力される。そし
て、実アドレスによって選択されたニューロン回路のみ
が出力値を出力バス５５４にブロードキャストする（フ
ロー４１１２）。ブロードキャストされた出力値は、最
大最小検出回路４０８３、ニューロン入力信号発生回路
４０８４を経由し、入力バス５５３に出力され、他のニ
ューロン回路の入力信号となる。この時、最大最小検出
回路４０８３で最大値と最小値の検出動作を行う。そし
て同時に、ニューロン回路に入力された入力信号は、重
み値で重み付けされ累積加算される（フロー４１１
３）。条件が満足されるまで、必要な回数フロー４１１
２とフロー４１１３を繰返す（フロー４１１４）。条件
が満足されれば、非線形変換を行い（フロー４１１
５）、ニューラルネットワーク動作が完了する。この
時、最大最小検出回路４０８３には、任意のグループの
ニューロン回路の中での最大値と最小値と、最大値を持
つニューロンの論理アドレス、最小値を持つニューロン
の論理アドレスが格納されている。必要であれば、最大
値を持つニューロンの論理アドレスや最小値を持つニュ
ーロンの論理アドレスをニューロンアドレス発生回路４
０８２に取り込み、活用できる。上述の最大最小検出回
路４０８３は出力バス５５４とニューロン入力信号発生
回路４０８４との途中に入れるだけで自動的に検出動作
を行い、特別なプログラムは必要ない。また、各ニュー
ロン回路のブロードキャストと並行して検出動作を行う
ため、検出時間は不要である。

【００６６】次に、ニューロンアドレス発生回路４０８
２の詳細回路図を図３６に示す。ニューロンアドレス発
生回路４０８２は、論理ニューロンアドレスを格納する
ためのレジスタ４１２０と、論理ニューロンアドレスを
１増加させたり現在の論理ニューロンアドレスに一定値
を加算させたりする論理回路４１２１と、論理アドレス
を実アドレスに変換するアドレス変換メモリ４１２２
と、セレクタ４１２３と、セレクタ４１２４とで構成さ
れている。以下に、ニューロンアドレス発生回路４０８
２の動作を説明する。まず、アドレス変換メモリ４１２
２にニューロンをアクセスする順番に実アドレスを書き
込む。この時、不良ニューロンがあれば実アドレスを書
き込まないことで排除し、また、チップ内やボード上の
ノイズが発生しにくい順に実アドレスを書き込むことも
可能である。次に、レジスタ４１２０に任意の論理アド
レス初期値を書き込み、セレクタ４１２３をレジスタ４
１２０側に切り替え、アドレス変換メモリ４１２２を通
す。そして、セレクタ４１２４をアドレス変換メモリ４
１２２側に切り替え、アドレスバス５５２に実ニューロ
ンアドレスを出力する。実ニューロンアドレスを進める
場合は、論理回路４１２１を用いて、レジスタ４１２０
値をインクリメントする。ニューロンをアクセスする順
番に実アドレスがアドレス変換メモリに書き込んである
ために、インクリメントするだけで、任意の順番にニュ
ーロンをアクセスできる。また、プログラム中で指定し
た論理ニューロンアドレスの一定値を、論理回路４１２
１を用いて、レジスタ４１２０値に加えることも可能で
ある。さらに、セレクタ４１２３を、最大最小検出回路
４０８３で検出した最大値を持つニューロンの論理アド
レスや最小値を持つニューロンの論理アドレスに切り替
え、ニューラルネットワーク動作に利用することもでき
る。そして、セレクタ４１２４を用いて、アドレス変換
メモリ４１２２を通さずに、論理ニューロンアドレスを
直接アドレスバス５５２に出力することもできる。

【００６７】図１３にシステムの外観イメージ例を示
す。図１３（ａ）はホストコンピュータであるワークス
テーション１台のスタンドアロンで用いる場合、図１３
(ｂ)は、ホストコンピュータをサーバワークステーショ
ンとしてさらにイーサネットに接続することによって、
他のワークステーションからも使えるようにしたもので
ある。この場合は、サーバワークステーションにニュー
ロアダプタでのジョブを管理するソフトウエアが必要と
なる。

【００６８】図１４に本システムを高速に演算させるた
めのシステム内のパイプラインの例を示す。パイプライ
ンの実現には、エッジトリガタイプのフリップフロップ
を用いる場合と２相のクロックを用いる場合がある。こ
こでは、エッジトリガタイプのフリップフロップを用い
る場合を例として示す。制御ボード702内には、図１２
でも示したように、主に制御チップ703、制御記憶704と
グローバルメモリ705からなる。制御記憶704はSRAMのメ
モリチップによって実現する。このメモリのアクセスに
は、現状においては少なくとも15nsec位の時間が掛かる
ため、マイクロポインタ708の値を、制御チップ703内の
フリップフロップ720および制御記憶704周辺に置かれた
フリップフロップ721を介して制御記憶704のSRAMのアド
レス信号として用い、出力データを制御チップ703内の
フリップフロップ722にて取り込む。これによってパイ
プラインのピッチからメモリのアクセス時間以外のもの
をできるだけ取り除くようにする。次に、セレクタ712
において、上述のようにしてマイクロインストラクショ
ンが取り込まれているフリップフロップ722の値とNOP発
生器709によって発生されるNOPのインストラクションを
選択する。この選択に関しては、後ほど詳細を述べる。
そして、セレクタ712から出力されるインストラクショ
ンに従ってマイクロポインタ708が制御される。また、
同じくセレクタ712からの出力に基づいて、ニューロポ
インタ、ウェイトメモリポインタ711を更新する。そし
て、この２つの値は、一つ前の他の制御信号と一緒にな
る。そして、制御チップ内のフリップフロップ723、制
御ボード702出口付近のフリップフロップ724、ニューロ
ンボード701入り口付近のフリップフロップ725さらには
ニューロチップ706内のフリップフロップ726を通して、
ニューロン707に渡される。アドレス信号に関しては、
前述のようにニューロン707に到着する前にデコードす
るが、デコードした結果に従って出力データの制御を行
なう場合は制御信号がニューロン707に到着してニュー
ロン707からその制御信号に対応したデータが出力され
るまでFIFOにて保持した後、制御信号として利用する。
ニューロン707はフリップフロップ726からインストラク
ションを受け取り、出力値を出力し、次のクロックでニ
ューロチップ706内のフリップフロップ727に取り込まれ
る。また、複数のニューロチップからの出力に対してタ
イミングをとらなければならないため、出力データに関
しては、ニューロボード701上に、ニューロチップ706の
近辺とニューロボード701からバックボード713への出口
の近くに２個のフリップフロップ728、729を配置し、こ
れを通して制御ボード702のフリップフロップ730に入力
される。さらに、制御チップ703内のフリップフロップ7
31に取り込まれ、セレクタ713にて取り込まれた値とグ
ローバルメモリ705から出て来る値からどちらかを選択
する。選択されたデータは、インストラクションと同様
に制御チップ703内のフリップフロップ741、制御ボード
702上のフリップフロップ742からニューロボード701上
のフリップフロップ743、ニューロチップ706上のフリッ
プフロップ744を通してニューロン707まで伝達される。
一方、グローバルメモリ705は、制御記憶704と同様にSR
AMで構成する。そして、セレクタ712によってセレクト
されたインストラクション内のグローバルメモリのライ
ト信号をフリップフロップ750と751を通して入力する。
また、インストラクション中のグローバルメモリポイン
タ710の制御命令に従ってグローバルメモリポインタ710
を制御し、グローバルメモリライト信号から１クロック
遅れてフリップフロップ752、753を通してグローバルメ
モリ705のアドレス端子に入力する。また、ニューロン
からの出力データであるフリップフロップ731に保持さ
れたデータをフリップフロップ732、733を通してデータ
として入力し、インストラクションに従って書き込みを
行なう。また、読み出しの際は、グローバルメモリ705
の出力をフリップフロップ734、735を通して制御チップ
703内に取り込む。そして、ニューロンに出力を出すと
いうインストラクションが出てからニューロンの出力値
がセレクタ713に到達するのとグローバルメモリ705に出
力を出すというインストラクションが出てからグローバ
ルメモリ705の出力値がセレクタ713に到達するのが同じ
タイミングになるようにフリップフロップ736から740の
５個のフリップフロップを挿入する。これによって、ニ
ューロン707またはグローバルメモリ705の値を入力バス
に出すという命令がマイクロプログラム中に存在したと
すると、その命令が制御チップ703内のインストラクシ
ョン用フリップフロップ723から出力されてから９クロ
ック後に該当するデータが制御チップ703内の入力デー
タ用フリップフロップ741から出力されることになる。
従って、マイクロプログラムを書く際には、値をニュー
ロン707またはグローバルメモリ705から値を出力すると
いうインストラクション(broadcast命令とする)の後９
ステップ後にニューロン707内でそのデータを使う命令
を書くことになる。同様に、ニューロン707からの出力
値をグローバルメモリ705に書き込む場合も、フリップ
フロップ750にインストラクションが到着するのとその
インストラクションによってデータがフリップフロップ
732に到着するのが同じく９クロック後になるようにな
っている。従って、マイクロプログラム内ではニューロ
ン707のブロードキャスト命令から９ステップ後にグロ
ーバルメモリ705に値を書き込むという命令を書くこと
になる。

【００６９】図１５に制御チップ内で、ニューロンから
来るデータの最大または最小値及びそれを保持するニュ
ーロンのアドレスを検出する機能を実現するために必要
なパイプラインの構成例を示す。インストラクション80
1はニューロンポインタ802に入力され、その値を更新す
る。そして、フリップフロップ803から811までのFIFOに
よってインストラクションとデータのずれの９クロック
分保持される。また、最大値、最小値を取り込むかどう
かの信号820も同様にしてフリップフロップ821から829
のFIFOによって保持する。一方、ニューロンからの出力
データ830は比較器831によってフリップフロップ834の
値と比較し、最大値検出の場合は出力データ830がフリ
ップフロップ834の値より大きければ出力値に１、そう
でなければ０を出力する。そして、ANDゲート832を通し
た信号によってフリップフロップ812と834に値を取り込
む。これによって、入って来るニューロンの出力データ
が既に保持されている値より大きく、かつ最大値を取り
込むという信号が来た時にフリップフロップ812ではそ
の値を出したニューロンのアドレスの値を、フリップフ
ロップ834ではその値自体を保持することになる。ま
た、最大値を検出するか最小値を検出するかは比較器83
1がデータ830が値834より大きい時に１を出すか小さい
時に１を出すかを変えるだけで実現できる。また、最大
最小の両方を検出したい場合は、点線の部分をもう１セ
ット用意し、２つの比較器がそれぞれ上記のような違い
を有しているようにすればよい。

【００７０】図１６にデータ選択用及びデータ退避用の
パイプラインの構成例を示す。図１４にも示したが、入
力データはグローバルメモリ705からのデータとニュー
ロン707からのデータをセレクタ713によって選択する。
この選択信号は、インストラクションの一部の信号900
として渡される。そして、フリップフロップ901から909
のFIFOによって９クロック分遅らせ、対応するデータが
来た時にセレクタ713を制御するようにする。一方、ホ
ストコンピュータやマイクロプログラム等によってシス
テムの動作を途中でブレイクする場合には、パイプライ
ンの中に入っているデータを保持しておく必要がある。
このような場合、大きなビット数を必要とするインスト
ラクションをそのまま保持しておくことは効率的でない
上、１箇所にまとめて保持しておくことができない。従
って、ブレイクが掛かった場合は、その前に発生された
インストラクションは全てニューロン及びグローバルメ
モリ705に送り、その結果出て来たデータを制御チップ
で一括して保持するようにした。そのためのフリップフ
ロップが910から918及び920から928である。最初の910
から918までのフリップフロップは入力データ用のもの
であり、セレクタ713でセレクトされた後のデータを保
持しておく。また、後半の920から928はニューロンの出
力データをそのまま保持しておくものであり、グローバ
ルメモリ705に書き込むためのデータを保持しておくと
ころである。セレクタ919及び929は通常はフリップフロ
ップのない方を選択し、ブレイクの後に再開される時に
退避したフリップフロップのデータを出力するように選
択し、フリップフロップ732及び741にデータを送る。

【００７１】図１７にデータ退避用パイプラインの制御
回路例を示す。1000が制御回路部分になる。フリップフ
ロップ1006の値はシステムが動作中かどうかを表すもの
ある。この値は、ブレイクを指示する信号1001を反転し
たものとフリップフロップ1006の値をANDゲートで演算
し、スタートをしなさいという信号である1003とORゲー
ト1020の出力の反転したものと1004のANDゲートで演算
したものとORゲート1005にてORをとることによって構成
される。従って、一旦ブレイク信号1001が入ってbusyで
なくなる(フリップフロップ1006が0になる)とスタート
信号1003が入るまでスタートしない。また、スタート信
号1003も制御回路部分1000の中のORゲート1020の出力が
０になるまで出力できないということになる。busyかど
うかを示す信号1006は制御回路1000に入力され、フリッ
プフロップ1007から1009に保持され、さらに、ANDゲー
ト1010の出力をフリップフロップ1011から1019に保持す
る。つまり、ブレイクされる時は、1007と同時に1011も
０になり、スタートする時には、1007から1009までが１
になった後に1011が１になり、フリップフロップ1011か
ら1019の値の変化のタイミングはスタートの時の方が３
クロック分早い。ORゲート1020では、フリップフロップ
1011から1018までの出力のORをとり、ブレイクが掛かっ
た時にデータの退避が完了したかどうかを判定する。こ
れによって、ANDゲート1004でスタート信号1003をマス
クすることにより、データ退避中にはスタートが掛から
ないようになる。データ1050はブレイクが掛かると1051
から1059に保持される。そして、セレクタ1060で通常の
データを出力するか退避したデータを出力するかを選択
する。この制御信号は、ANDゲート1010とフリップフロ
ップ1019の反転したものをANDゲート1021でANDをとった
ものを使う。これによって、ブレイクから再開されてフ
リップフロップ1009が１になってから退避されたデータ
の数の分だけＡＮＤゲート1021に出力は１となって、退
避したデータが出力され、それ以外はデータ1050が出力
される。また、退避データ出力数カウンタ1022は、イン
クリメンタ1023で１インクリメントし、オーバーフロー
処理回路1024でとした結果が１０以上の場合に９にした
値と、元々のカウンタ1022の値を、ANDゲート1010の出
力が１の時はオーバーフロー処理回路1024の出力、０の
時にはカウンタ1022の出力をセレクタ1025で選択し、さ
らにその出力と値０とを、ORゲート1020が１の時にセレ
クタ1025の出力を、０の時に０をセレクタ1026で選択し
退避データ出力数カウンタ1022に書き込む。これによっ
て、ブレイクが掛かって退避が終了するとカウンタ1022
は０にリセットされ、スタートが掛かって３クロックま
での間はその値は保持され、その後の動作時には９にな
るまで１インクリメントしていく。そして、セレクタ10
27では、動作時には９をブレイクが掛かってからスター
トが掛かって３クロックまでの間はカウンタ1022の値を
出力する。そして、デコーダ1028によって、表２のよう
な信号を生成し、フリップフロップ1051から1059まで書
き込み信号とする。

【００７２】

【表２】

【００７３】これによって、動作開始時には全てのフリ
ップフロップがパイプラインとして働いて退避データを
出力し、全ての退避データが出力されるまでデータバス
にその値が出力される。その後、セレクタ1060が切り替
わり、1050を選択して通常動作に入る。また、ブレイク
が掛かると、９つのフリップフロップの内退避データが
残っているものを除いた分のフリップフロップのみ書き
込み信号を退避が完了するまで発生し、退避データを完
成させる。そして、退避が完了したら書き込み信号を全
て０に落す。こうして、任意の時にブレイクが掛かって
も再びスタートを掛けて続けることができる。ただし、
ブレイクが掛かってすぐにスタートが掛かると、退避デ
ータが間にあわないので、前述のようにORゲート1020の
出力を用いてスタート信号1003にマスクを掛ける。

【００７４】次に、インストラクションや外部からの命
令でブランチやブレイクが掛かった時のマイクロポイン
タやインストラクション-NOPの選択回路の制御回路例を
図１８に示す。図１４でも触れたように、マイクロポイ
ンタ708はフリップフロップ720、721を通して制御記憶7
04に値を渡し、インストラクションをフリップフロップ
722を介して制御チップが受け取る。そして、セレクタ7
12でフリップフロップ722の値とNOP発生器709から出力
されるNOPのインストラクションと選択を行なう。ま
ず、セレクタ712で発生されるインストラクションで、
マイクロポインタがジャンプするかどうかを示す信号11
10とブレイクが掛かったかまたはブレイクがか買って動
作が中断していることを示す信号1109(図１７のORゲー
ト1005の出力)のORをとる。ブレイクが掛かった時は、
出てくるインストラクションは実行されない。また、マ
イクロポインタ708は通常の動作時には１インクリメン
トをされる。従って、マイクロポインタがジャンプする
ということは、次に来る３つのインストラクションはマ
イクロポインタがジャンプする前のものであるため、意
味がない情報が入って来るということになる。そこで、
フリップフロップ1112から1114のFIFOによってその情報
を保持し、該フリップフロップの出力をORゲート1115で
ORすることによって、次に来るインストラクションが意
味のあるものかどうかを判定し、意味のないものの場合
は、セレクタ712によってNOP発生器709からくるNOP信号
をセレクトすることで制御記憶704から出力されるイン
ストラクションをマスクする。一方、マイクロポインタ
708については、通常はインクリメンタ1100でインクリ
メントされた値を次のクロックで書き込むが、一旦ブレ
イクが掛かってスタートした場合は、最後に実行したイ
ンストラクションの次のインストラクションから実行さ
れなければならない。従って、アドレスｘのインストラ
クションを実行している時にはマイクロポインタの値は
既にｘ＋３となっており、ここで、ブレイクが掛かった
時にはマイクロポインタの値をｘ＋１まで戻さなければ
ならない。そこで、フリップフロップ1101から1103を設
け、マイクロポインタの前の値を保持する。ただし、マ
イクロポインタがジャンプした時やブレイクが掛かった
場合は前のマイクロポインタの値は無効なものとなるた
め、ブレイクまたはジャンプが掛かった時のみセレクタ
1104、1105によって、インクリメンタ1100の出力をフリ
ップフロップ1101から1103に取り込む。そのために、AN
Dゲート1117でORゲート1111の出力とフリップフロップ1
112の出力値を反転したもののANDをとり、セレクタ110
4、1105の制御信号とする。また、ブレイクが掛かった
時には、保持しておいたマイクロポインタの値をセット
し直さなければならないため、ブレイクが掛かったとい
う信号1109によってセレクタ1106の制御を行なう。また
セレクタ1107では、インストラクションに従って、セレ
クタ1106の出力、セレクタ1116から出力されたインスト
ラクション中のジャンプ先アドレス、及びマイクロスタ
ック1108に保持されているマイクロポインタの値から選
択する。そして、マイクロポインタ708に値を書き込
む。ただし、ブレイクが掛かって動作が止まっている時
には、マイクロポインタの値は更新しない。

【００７５】図１９にニューロン回路内のＣＣＲ(Contr
ol Code Register)の周辺回路を示す。ＡＬＵ1200は２
個の入力1201、1202から制御信号1204に従って機能を選
択して演算を行ない出力1203を生成する。そして、この
時のＡＬＵ1200への入力と出力及びその時の制御信号12
04からフラグ生成回路1205で、(1)出力が０であるかど
うか、(2)出力の符号が正であるか負であるか、(3)オー
バーフローしているかどうか、(4)キャリィがあるかど
うかの４個のフラグを生成し、ＣＣＲの書き込み信号12
07が１の時にフラグ生成回路1205で計算された４個のフ
ラグをＣＣＲ1206に取り込む。そして、選択信号1209に
従ってセレクタ1208でＣＣＲ1206に保持されている４個
の値から１つを選択し、されにインバータ1210で反転さ
せたものと選択信号1212に従ってセレクタ1211で選択し
てＣin信号1213としてＡＬＵ１２００に入力することが
できる。ただし、このＣｉｎ信号1213を使うか使わない
かは制御信号1204によって決めれれる。また、ここで出
て来る制御信号1204、ＣＣＲの書き込み信号1207、選択
信号1209、1212は制御チップからニューロンに送られて
来るインストラクションによって決定される。

【００７６】図２０にＣＣＲを用いた書き込み制御回路
とＮＲＱ(Neuron ReQuest)信号発生回路例を示す。ここ
では、図１９のようにＣＣＲ1206から、セレクタ1208、
1211で選択した信号を、ＮＲＱ1307のレジスタの出力と
ORゲート1306でORをとり、制御信号1308がセットの命令
の時にその値を取り込む。また、制御信号1308がリセッ
トを示している時には、ＮＲＱ1307の値を０にリセット
する。このＮＲＱ信号は、条件の累積をとるもので、図
２１のように全ニューロンからの信号を1401、1402のOR
ゲートによってORをとり、その信号の値を制御チップ内
の累積NRQ信号保持部1403に保持し、制御記憶524からの
インストラクションに従って割込み信号を発生する。従
って、ニューラルネットの学習演算の際、各パターン毎
に誤差が、一定値より小さいかどうかを累積し、全パタ
ーン全ニューロンの誤差が一定値になったら割込みを掛
け、マイクロプログラムをジャンプさせて、ジャンプ先
でブレイクを掛けて学習を中断させることができる。一
方、図２０に戻って、セレクタ1211の出力は、制御信号
1310に従ってグループレジスタ1309にその値をセットし
て、ニューロン内記憶部分の書き込み制御に利用する。
また、ＣＣＲ1206は1209とは別の選択信号1302でセレク
タ1301において１個選択され、さらにインバータ1303と
セレクタ1304で選択信号1305を使って正負の選択をし、
書き込みの制御に利用する。この２つは、グループレジ
スタ1309は長期間の条件付けに利用し、セレクタ1304の
出力値は、短期間の条件付けに利用するといった使い分
けをし、前者をグループ、後者をサブグループと呼ぶ。
また、複数の条件付けを組み合わせたい時は、グループ
とサブグループの両者の条件付けで実現することができ
る。また、個別書き込みを行なうかどうかは制御信号13
15によって行なう。個別書き込みの場合は、インバータ
1317によって制御信号1315を反転させ、このニューロン
がセレクトされているどうかを表す信号1316をORゲート
1318を通してANDゲート1319に送る。そして、ORゲート1
311では制御信号1315によってグループレジスタ1309の
値をORゲート1311でマスクする。一方、個別書き込みで
ない場合は逆に、グループレジスタ1309の値をORゲート
1311を通してANDゲート1319に送り、ニューロンセレク
ト信号1316はORゲート1318でマスクされる。つまり、個
別書き込みモードの時は、セレクトされているニューロ
ンだけが書き込み可能とし、そうでない時は、常にグル
ープレジスタ1309によって書き込みが制御される。ま
た、サブグループを有効にするかどうかを決める制御信
号1312はインバータ1313で反転され、サブグループを有
効にする場合にはセレクタ1304の値をANDゲート1319に
渡し、そうでない時はサブグループの信号をORゲート13
14によってマスクする。こうして、これらの信号をAND
ゲート1319でANDをとって、ニューロン内の一部の記憶
部分の書き込みの制御に用いる。ここでは、図９のレジ
スタファイル102、書替え可能なメモリ103、演算結果保
持手段115、および本図内のＮＲＱ1307の書き込みを制
御する。

【００７７】次に、下位ビット切捨て時の負の数のrun_
to_0機能の実現回路例を図２２に示す。負の数で下位ビ
ットを通常通り切り捨てる(右シフト演算も含む)と、例
えば16ビットで1111111111111111という数は、いくら右
にシフト(何回2で割算)しても決して0になることはな
く、また例えば右に8ビットシフトした後に再び左に8ビ
ットシフトすると1111111100000000という数になる。つ
まり、負の数を切り捨てると、0から離れる方へ値が変
化していくことになる。一方、正の数の場合は、逆に0
に近づくように変化する。従って、負の数の場合は、例
えば学習による重み値の更新で慣性項を使う場合に、実
際の演算では前の慣性項の値に1より小さい数を掛けて
使うため、誤差がなくなると徐々に0に近づいていくと
ころが、0にならないため、誤差がなくても重み値の値
がどんどんと変化していってしまうことになる。こうい
った問題点を解決するために、負の数でも切捨てによっ
て0に近付けていくことが望ましい。そこで、ここで
は、切り捨てる部分の下位のビットの値をORゲート1501
でORをとり、符号ビットとANDゲート1502でANDをとるこ
とで、負の数の切捨て部分に1があるかないかを判定す
る。そして、1があった場合にはインクリメンタ1503でC
in入力としてANDゲート1502の出力を入力してインクリ
メントする。これによって、切捨てによって0に値が近
づいていくようになる。本システムを動作させる時の
ホストコンピュータにおけるソフトウエアの構成例を図
２４に示す。まず一つは、ユーザがネットワークの構成
や学習則の選択をユーザインターフェイス1601で行な
い、その情報を基にマイクロジェネレータ1602によっ
て、指定された学習演算を行なうためのマイクロプログ
ラムを自動生成させる。一方、新しいアルゴリズムなど
を開発する場合には、ユーザがエディタ1603を使って直
接マイクロプログラムを書く。そして、このマイクロプ
ログラム1604をマイクロアセンブラ1605を通してバイナ
リファイル1606を生成する。そして、データ転送決定手
段1610では、ユーザインターフェイス1601からの情報に
基づいて、バイナリファイル1606、ニューロンの状態を
読んだりする基本機能実現のためのライブラリ1608の値
または学習に用いる入出力パターン1609を選択してSCSI
インターフェイス1611に送って、ニューロコンピュータ
1620の所定の場所に書き込む。その後、実行のための信
号を送り、ニューロコンピュータ1620を動作させる。そ
して、その結果をSCSIインターフェイス1611を通してユ
ーザインターフェイス1601に表示またはファイルに落と
す。

【００７８】図２４にニューラルネットの構成例とグル
ープ分けの例を示す。入力層が３個、中間層が２個、出
力層が１個で、入力層の２のニューロンはバイアス用の
ニューロンであり、常に１を出力する。それ以外のニュ
ーロンは層間全結合を行なう。この場合、中間層、出力
層のニューロンにはそれぞれ物理ニューロンを割当て、
中間層と出力層でグループ分けを行なうことによって、
中間層と出力層の演算を区別して行なわせることができ
る。。

【００７９】図２５にこのニューラルネットワークを学
習させるときのグローバルメモリのデータの配置例を示
す。０番地からｆ番地までにパターン０の教師信号、入
力値、パターン１の教師信号入力値の順に配置してい
く。また、２０番地から２１番地にニューロンのグルー
プ分けを行なう際の基になるデータも保持して置く。そ
して、３０番地から３６番地までには、非線形変換の近
似計算を行なうための係数と、学習のためのパラメータ
を入れ、必要に応じてブロードキャストされる。さら
に、５０番地から５３番地にはニューロンが実際に出し
た出力層ニューロンの出力値を各パターンごとに学習中
にマイクロプログラムによって取り込み、学習終了時に
全パターン分の出力値をホストコンピュータからアクセ
スできる。そして、グローバルメモリのアドレスを指す
グローバルメモリポインタを複数用意し、それぞれ、入
出力パターン用、グループ分け用、定数アクセス用、グ
ローバルメモリ書き込み用を設けて、マイクロプログラ
ムで選択して用いることによって、高速にアクセスする
ことができる。

【００８０】また、図２６に中間層２個、出力層１個の
計３個のニューロンの書替え可能なメモリの重み値配置
例を示す。バックプロパゲーションのアルゴリズムで
は、通常とは逆方向のデータの伝播があるが、この計算
をバス型のニューロン間結合方式の中で高速に行なわせ
るためには、結合先、つまり、下の層のニューロンが重
み値を持つ方法がある。従って、ある結合の上の層のニ
ューロンと下の層のニューロンの両方で同じ重み値を保
持しなければならない。また、さらに重みメモリのポイ
ンタは、制御チップで持つと、全ニューロンが同じメモ
リアドレスを指すことになる。従って、結合元が同じも
のはできるだけアドレスに保持しておくのが望ましい。
ここでは、ニューロン０にフォワード側の重み値を３
個、バックワード側の重み値１個を順番に持つ。そし
て、ニューロン１ではニューロン０と同じ結合元のもの
に関しては同じ所に来るようにしている。またニューロ
ン２に関しては、ニューロン０や１と同じ結合元である
Ｗ₅₂に関しては同じアドレスの所に、他のものに関して
は違う結合元であるが重複したアドレスに配置する。学
習の際に重み値を更新する時は、全てのニューロンが同
じアドレスを示しているが、グループ制御することによ
って必要な箇所のみ書替えることができ、さらにスペー
スを節約することができる。また、重み値メモリは１６
ビットで構成しているが、慣性項用のΔｗに関しては、
重み値ｗよりビット数が少なくて良いため、１６ビット
を８ビットずつに区切って、１つのアドレスの中身を２
つに分けて用いる。

【００８１】図２７に、１個のニューロン回路で複数の
ニューロンのシミュレーションを行なう仮想ニューロン
の動作方法を示す。通常、レジスタファイルにはニュー
ロンの内部状態、メモリには結合の重み値を保持してい
るが、これをシミュレーションを行なう各ニューロンご
とに仕切り、最初のニューロンをシミュレートする場合
は、レジスタファイルのポインタ及びメモリのポインタ
が左の図の斜線の部分指すようにし、２番目のニューロ
ンをシミュレートする場合は真中の図の斜線の部分、ｍ
番目のニューロンをシミュレートする場合は右の図の斜
線の部分の部分を示すようなポインタをマイクロプログ
ラムを用いて発生させれば、演算器などは共同で用いる
ことができる。

【００８２】上記本発明による汎用型ニューロコンピュ
ータの主な機能を表３に示す。

【００８３】

【表３】

【００８４】以下、各機能の実現方式に関して簡単に示
す。

【００８５】（１）プログラマブル学習アルゴリズム学習アルゴリズムごとにニューロチップ内の演算器群の
使い方をマイクロプログラム化する。図２に示すよう
に、必要に応じて、制御記憶内部のマイクロプログラム
を書き換えることにより複数の学習アルゴリズムに対応
可能となる。

【００８６】（２）仮想化１物理ニューロンを複数（ｎ個）の論理ニューロンに対
応させ、時分割的に使用することにより、仮想化（見か
け上、ニューロン数ｎ倍）を実現する。

【００８７】具体的には、図２７に示したように、重み
値、内部状態など各論理ニューロン固有のデータはｎニ
ューロン分格納し、演算器群（乗算器、加算器）はｎ個
の論理ニューロンで共有する構成とする。１物理ニュー
ロンが最大いくつの論理ニューロンに対応できるかは、
物理ニューロン内部の記憶装置（重み値、内部状態など
を格納）の容量で制限される。

【００８８】（３）スパース結合結合不要なニューロン間は、例えば図３において、ニュ
ーロン間の結合強度を示す重み値の値（すなわち、ＣＷ
Ｍ３３２７に格納する値）を”０”に設定することによ
り、論理的に結合を切断する。

【００８９】（４）グループ化グループ指定レジスタを各ニューロンごとに設ける。例
えば、図３において、ＲＥＧ３３２３の一部をグループ
指定レジスタとして活用する。グループ指定レジスタの
内容から、各ニューロンが属するグループを判断する。

【００９０】（５）非線形変換チェビシェフ近似等の近似関数をマイクロプログラム化
し、非線形変換を行う。近似精度に関しては、予めチェ
ックが必要である。

【００９１】あるいは、非線形変換関数テーブルを制御
チップ５２１内部に設け、ブロードキャスト時に非線形
変換関数テーブルを介して変換を行う。

【００９２】（６）最大値検出全ニューロンが順次ブロードキャストを行い、各ニュー
ロンがブロードキャストした値を制御チップ内で比較す
ることにより最大値（最小値）および最大値（最小値）
を持つニューロンを検出する。

【００９３】最大値（最小値）のみ必要な場合は、全ニ
ューロンが順次ブロードキャストを行い、各ニューロン
ではブロードキャストされた値と自分自身の持つ値を比
較した結果をフラグにセットすることにより最大値（最
小値）を検出することも可能。

【００９４】詳細は、図３２から図３６の説明を参照の
こと。

【００９５】（７）倍精度（付録５．４参照）単精度の演算では、被乗数および乗数に各１ワードずつ
のメモリエリアを割当て、１回の乗算(16bit×10bit)で
積を算出するのに対して、倍精度では、各２ワード
ずつのメモリエリアを割当て、４回の乗算(32bit×16bi
t)で積を算出する。加減算においても、単精度１ワ
ードに対して、倍精度では２ワードで処理を行う。
また、倍精度では乗算の度ごとに桁合わせ処理を行う。
演算（乗算および加減算）には、例えば図３におい
て、ＡＬＵ３３２１またはＭＵＬ３３２２を用いる。

【００９６】（８）学習収束判定各ニューロンごとに、学習収束判定値を持ち、収束判定
結果を収束判定フラグレジスタに設定する。収束判定フ
ラグレジスタ内の値を、チップ内ニューロン、ボード内
チップと、階層的にＡＮＤを取り最終的な学習収束判定
フラグとして制御チップに入力する。

【００９７】（９）重み値ダンプ学習終了後、各ニューロン内重み値メモリ（例えば、図
３のＣＷＭ３３２７）の内容をグローバルメモリ５２５
に出力。必要に応じて、ユーザ指示により、グローバル
メモリ５２５内重み値メモリの内容をダンプ。

【００９８】重み値変化の来歴作成などを目的として、
学習中に重み値を出力する必要がある場合はソフトウエ
ア（マイクロプログラムによる指示）で対応する。

【００９９】（１０）初期値設定以下に示す２方式をサポートする。

【０１００】（ｉ）方式１（制御記憶からの指定により
書き込む方式）予め初期値をグローバルメモリ５２５内に格納し、制御
記憶からの指定により、グローバルメモリ５２５から各
ニューロンに初期値を転送する。グローバルメモリ５２
５内への初期値設定は、ＳＣＳＩ／ＣＰＵワークＲＡＭ
からグローバルメモリ内に（例えば、ＶＭＥバスを介し
て）予め転送する。

【０１０１】（ii）方式２（ホストからの指定により書き込む方式）ＳＣＳＩ／ＣＰＵワークＲＡＭから、例えばＶＭＥバス
（外部バス）を介して、直接各ニューロンに初期値を転
送する。制御はホストコンピュータ５０２からの指定に
より行う。

【０１０２】（１１）割込み制御チップ５２１内に割込みレジスタとステータスレジ
スタを設ける。割込みレジスタには、割込みの有無およ
び割込みの種類に対応したマイクロプログラムのブラン
チ先（割込み処理プログラム格納）情報を格納。割込み
レジスタのセットは、マイクロプログラム、ＣＰＵ５２
３およびパリティエラー検出回路から行う。割込みレジ
スタの内容のチェックはマイクロプログラム内で指定。

【０１０３】ステータスレジスタには、割込みの種類を
格納。ＣＰＵ５２３はステータスレジスタの内容から正
常終了、異常終了および割込みを判定。

【０１０４】割込みのレベルとしては、例えば、Pose
(マイクロポインタの値保持、パイプ情報退避、継続実
行可能）および Abort(パイプ情報退避、強制終了)の２
種類を考える。

【０１０５】（１２）オンラインテストオンライン（稼働）時のテストとして、パリティチェッ
クを考える。テスト対象は、入力データバス３１１、出
力データバス３１４、制御信号３１３、アドレス信
号バス３１２(ＣＰＵ５２３、制御記憶装置５２４、グ
ローバルメモリ５２５）である。

【０１０６】あるいは、図４および図５で示した、テス
ト用のマイクロ命令を用いる。

【０１０７】

【発明の効果】以上のように、本発明によれば、複数の
学習アルゴリズムへの対応を実現した上で、ハードワイ
アド方式と比べて同等の命令実行速度であり、かつ、マ
イクロプログラムを書き替えるための時間が実用上無視
できる汎用型ニューロコンピュータを提供することが可
能である。また、内部の演算の状態によってそのニュー
ロン内やシステム全体の制御ができるので、条件つき演
算や複雑なグループ分けを必要とするアルゴリズムにも
対応可能となる。

【図面の簡単な説明】

【図１】ニューロコンピュータシステム構成図（概略）
である。

【図２】マイクロプログラム方式説明図である。

【図３】演算器群のブロック図例である。

【図４】マイクロ命令フォーマット例である。

【図５】テスト用マイクロ命令例である。

【図６】学習実行に必要な情報の例である。

【図７】学習実行に必要な情報と格納先の対応例であ
る。

【図８】従来例（ハードワイアド方式の学習アルゴリズ
ム例）である。

【図９】ニューロンの基本回路構成図である。

【図１０】複数のニューロン間の（バス）結合である。

【図１１】ニューロンの階層的結合である。

【図１２】ニューロコンピュータシステム構成図（詳
細）である。

【図１３】使用形態図（スタンドアロン型、およびサー
バ型）である。

【図１４】システム内パイプラインの例である。

【図１５】最大値、最小値検出用パイプラインの例であ
る。

【図１６】データ選択用およびデータ退避用パイプライ
ンの例である。

【図１７】データ退避制御回路である。

【図１８】マイクロポインタ制御回路である。

【図１９】ＣＣＲ回路である。

【図２０】書き込み制御回路とＮＲＱ（ニューロンリク
エスト）生成回路である。

【図２１】ニューロンリクエスト信号結線図である。

【図２２】下位ビット切捨て時の負の数のｒｕｎ＿ｔｏ
＿０の機能用回路である。

【図２３】ソフトウエア体系図である。

【図２４】ニューラルネットの構成例である。

【図２５】グローバルメモリのデータ配置例である。

【図２６】ニューロン内メモリの重み値データ配置例で
ある。

【図２７】仮想ニューロン実現例である。

【図２８】ニューロコンピュータの概略動作フロー図で
ある。

【図２９】制御記憶装置制御手段の詳細ブロック図であ
る。

【図３０】グローバルメモリ制御手段の詳細ブロック図
である。

【図３１】外部バスインタフェース手段の詳細ブロック
図である。

【図３２】ニューロン制御手段の詳細ブロック図であ
る。

【図３３】最大値、最小値検出用回路の詳細ブロック図
である。

【図３４】最大値、最小値検出動作を説明する図であ
る。

【図３５】最大値、最小値検出動作の概略フロー図であ
る。

【図３６】ニューロン入力信号発生回路の概略ブロック
図である。

【符号の説明】

５０１ーニューロコンピュータ、５０２ーホストコンピ
ュータ、３３００ーニューロンアレイ、３３１０ーニュ
ーロン、５２４ー１ー制御記憶装置、５２４ー２ーパラ
メータレジスタ、５２１ー制御論理、５２５ーグローバ
ルメモリ、１００ーニューロン詳細回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者坂口隆宏東京都小平市上水本町５丁目20番１号日立超エル・エス・アイ・エンジニアリング株式会社内 (72)発明者浅井光男東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者橋本雅東京都小平市上水本町５丁目20番１号日立超エル・エス・アイ・エンジニアリング株式会社内 (72)発明者 ▲高▼柳博東京都小平市上水本町５丁目22番１号株式会社日立マイコンシステム内 (72)発明者岡橋卓夫東京都小平市上水本町５丁目22番１号株式会社日立マイコンシステム内 (72)発明者茂木啓次東京都小平市上水本町５丁目22番１号株式会社日立マイコンシステム内 (72)発明者桑原良博東京都小平市上水本町５丁目22番１号株式会社日立マイコンシステム内 (72)発明者落合辰男東京都小平市上水本町５丁目22番１号株式会社日立マイコンシステム内

Claims

【特許請求の範囲】

【請求項１】少なくとも１つのプロセッサから構成され
るプロセッサアレイ、および当該プロセッサアレイを制
御するためのマイクロプログラム命令を格納する制御記
憶装置、および当該プロセッサアレイにおいて情報処理
を行うために必要なデ−タを格納する記憶装置を有し、
少なくとも１種類のニューラルネットワークによる情報
処理を実行可能とする情報処理装置において、前記情報
処理装置の起動・終了等の制御を行い、かつ、学習アル
ゴリズム、ニューラルネットワーク構造、学習回数、入
力パターン数、入力信号、教師信号（期待値）等ニュー
ロコンピュータの学習および実行に必要な情報を前記情
報処理装置のシステム内に入力するユーザインタフェー
ス部となるホストコンピュータを備え、前記情報処理装
置とは、ＳＣＳＩ接続で接続することを特徴とする情報
処理装置。
【請求項２】前記ニューロコンピュータの学習および実
行に必要な情報の内、学習回数、パターン数等の修正頻
度の高い変数情報を、マイクロプログラム本体を格納す
るための制御記憶装置とは物理的に異なる記憶装置に格
納することを特徴とする請求項１記載の情報処理装置。
【請求項３】前記マイクロプログラムを格納するための
制御記憶装置は、ＲＡＭ、ＥＰＲＯＭ等の書き換え可能
なメモリで実現することを特徴とする請求項１または２
記載の情報処理装置。
【請求項４】前記少なくとも１種類のニューラルネット
ワークによる情報処理を実行可能とする手段は、前記制
御記憶装置内には１種類の学習アルゴリズムに対応した
マイクロプログラムのみを格納し、必要に応じて制御記
憶装置内のマイクロプログラムを書き換えることにより
実現することを特徴とする請求項３記載の情報処理装
置。
【請求項５】前記少なくとも１種類のニューラルネット
ワークによる情報処理を実行可能とする手段は、前記制
御記憶装置内には予め複数の異なる学習アルゴリズムに
対応したマイクロプログラムを格納しておき、必要に応
じて異なる学習アルゴリズムを選択的に記憶装置から読
み出すことにより実現することを特徴とする請求項３記
載の情報処理装置。
【請求項６】前記制御記憶装置内に格納するマイクロプ
ログラムは水平型とし、かつ、水平型にした場合のマイ
クロ命令のビット数（幅）削減のため、同時実行性の極
めて低い命令を別命令とすることを特徴とする請求項１
または２記載の情報処理装置。
【請求項７】前記同時実行性の極めて低い命令とは、プ
ロセッサの演算制御用の命令と制御記憶装置の次アドレ
ス制御用の命令であることを特徴とする請求項６記載の
情報処理装置。
【請求項８】前記次アドレス制御用の命令実行時、テス
ト用の命令を合わせて実行可能なことを特徴とする請求
項７記載の情報処理装置。
【請求項９】前記テスト用の命令のテスト対象として、
各ニューロンの内部の演算機能、内部バスおよび記憶装
置の出力線の縮退故障であることを特徴とする請求項８
記載の情報処理装置。
【請求項１０】前記プロセッサを構成する要素として、
少なくとも乗算器、算術論理演算ユニット（ＡＬＵ）お
よび書き換え可能な記憶装置を有することを特徴とする
請求項１または２記載の情報処理装置。
【請求項１１】前記プロセッサアレイを構成する複数の
プロセッサ間の結合は、バス結合であることを特徴とす
る請求項１記載の情報処理装置。
【請求項１２】ニューラルネットワーク動作が記述され
たプログラムを格納する前記制御記憶装置を制御する手
段と、ニューラルネットワーク動作に必要なデータを格
納する前記記憶装置であるグローバルメモリを制御する
手段と、前記制御記憶装置内の命令によって前記プロセ
ッサアレイを制御する手段と、外部バスとの間でデータ
のやり取りのできる外部バスインターフェース手段とを
有するニューラルネットワーク制御装置を有することを
特徴とする請求項１１記載の情報処理装置。
【請求項１３】前記ニューラルネットワーク制御装置に
おいて、前記プロセッサアレイを制御する手段が、プロ
セッサ（ニューロン）のアドレスを発生する回路と、プ
ロセッサ（ニューロン）の命令を発生する回路と、プロ
セッサ（ニューロン）の入力信号を発生する回路と、プ
ロセッサ（ニューロン）の出力信号を処理する回路とを
有することを特徴とする請求項１２記載の情報処理装
置。
【請求項１４】前記ニューラルネットワーク制御装置に
おいて、前記ニューラルネットワーク動作を制御するた
めのプログラムを格納する制御記憶装置を制御する手段
が、制御記憶装置のアドレスを発生する回路と、制御記
憶装置のリード／ライト信号を発生する回路と、制御記
憶装置の入力信号を発生する回路とを有することを特徴
とする請求項１２記載の情報処理装置。
【請求項１５】前記ニューラルネットワーク制御装置に
おいて、前記ニューラルネットワーク動作に必要なデー
タを格納する記憶装置であるグローバルメモリを制御す
る手段が、グローバルメモリのアドレスを発生する回路
と、グローバルメモリのリード／ライト信号を発生する
回路と、グローバルメモリの入力信号を発生する回路と
を有することを特徴とする請求項１２記載の情報処理装
置。
【請求項１６】前記ニューラルネットワーク制御装置に
おいて、前記外部バスインターフェース手段が、プロセ
ッサ（ニューロン）群と制御記憶装置制御手段からの割
込み信号の処理を行う回路と、外部バスからの割込み信
号の処理を行う回路と、外部バスからプロセッサ（ニュ
ーロン）とニューラルネットワーク制御装置内のレジス
タやメモリに直接リード／ライトできる回路とを有する
ことを特徴とする請求項１２記載の情報処理装置。
【請求項１７】前記プロセッサ（ニューロン）のアドレ
スを発生する回路が、アドレス変換テーブルを有するこ
とを特徴とする請求項１３記載の情報処理装置。
【請求項１８】前記プロセッサ（ニューロン）の出力信
号を処理する回路が、プロセッサ（ニューロン）出力信
号の最大値と最小値を検出する回路と、最大値と最小値
及び最大値と最小値を持つそれぞれのプロセッサ（ニュ
ーロン）のアドレスとを記憶する回路とを有することを
特徴とする請求項１３記載の情報処理装置。
【請求項１９】前記プロセッサ（ニュ−ロン）を構成す
る要素として、書替え可能なメモリ及びレジスタファイルと、該書替え可能なメモリに書き込むデータを保持するメモ
リ書き込み値保持手段と、シフタ及びＡＬＵと、該書替え可能なメモリ、該レジスタ、外部からの入力、
該ＡＬＵまたは該シフタの出力のうちの全部または一部
の信号の中から、外部からの制御信号に従って２つの値
を選択する信号選択手段と、選択された２つの信号を保持する選択信号保持手段と、該選択信号保持手段に保持された値を入力として乗算を
行う乗算器と、該乗算結果を保持する乗算結果保持手段と、ＡＬＵまたはシフタの出力を保持する演算結果保持手段
と、該演算結果保持手段と選択信号保持手段と該乗算結果保
持手段の出力の中からシフタへの入力及びＡＬＵへの入
力を選択するシフタ入力選択手段とＡＬＵ入力選択手段
と、該シフタ及びＡＬＵからの出力を選択し、演算結果保持
手段への入力を決定する第１の演算結果選択手段と、該シフタ及びＡＬＵからの出力を選択し、該メモリ書き
込み値保持手段、該レジスタファイル、外部への出力の
選択手段、該２つの信号選択手段への入力を決定する第
２の演算結果選択手段と、上記の演算器及び記憶装置の出力の中から外部への出力
を選択する出力選択手段と、を有することを特徴とする
請求項１または２記載の情報処理装置。
【請求項２０】前記ニューラルネットワーク制御装置内
のプロセッサ（ニューロン）の命令を発生する回路から
の同一の制御信号によって、前記複数のプロセッサ（ニ
ューロン）が制御されることを特徴とする請求項１３記
載の情報処理装置。
【請求項２１】前記第１の演算結果選択手段を制御する
前記ニューラルネットワーク制御装置からの制御信号に
よって前記第２の演算結果選択手段も制御し、かつ両演
算結果選択手段において、それぞれ違う演算器からの出
力を選択することを特徴とする請求項１９記載の情報処
理装置。
【請求項２２】前記ニューラルネットワーク制御装置か
らの制御信号によって読み出しや書き込みを行なう書替
え可能なメモリを有するプロセッサ（ニューロン）にお
いて、該書替え可能なメモリへ書き込む前のデータ、ま
たは、読み出したデータを保持しておくフリップフロッ
プを有し、該フリップフロップへのデータの書き込み
を、該制御系からの制御信号の内、メモリの読み出しや
書き込みとは別の制御信号によって独立に制御すること
を特徴とする請求項２０記載の情報処理装置。
【請求項２３】複数のニューロン回路内の演算器が演算
の状態を出力し、その値を前記ニューラルネットワーク
制御装置からの制御信号によって書替えたり保持したり
するコンディションコードレジスタを有し、該ニューラ
ルネットワーク制御装置からの別の制御信号によって、
該コンディションコードレジスタから選択された値に従
って、該ニューロン回路内にあるメモリやレジスタ等の
書き込みを制御することを特徴とする情報処理装置また
はこのような特徴を有する請求項２０記載の情報処理装
置。
【請求項２４】前記プロセッサ（ニューロン）内のコン
ディションコードレジスタとして、前記ニューラルネッ
トワーク制御装置からの制御信号に従って、ＡＬＵの演
算結果の（１）符号を表すビット、（２）演算結果が０かどうかを表すビット、（３）キャリィアウトを表すビット、（４）オーバーフローを表すビット、を保持することを特徴とする請求項２３記載の情報処理
装置。
【請求項２５】内部に持つ演算器の状態を制御信号に従
って保持するコンディションコードレジスタを有する複
数のプロセッサ（ニューロン）において、前記ニューラ
ルネットワーク制御装置からの制御信号に従って、該コ
ンディションコードレジスタの値またはそれを反転させ
た信号を書き込むグループレジスタを有し、該グループ
レジスタに保持されている値に従って、プロセッサ（ニ
ューロン）内に有する書替え可能なメモリ、レジスタフ
ァイル、演算結果保持手段などの記憶部分の書き込みを
制御することを特徴とする請求項２４記載の情報処理装
置。
【請求項２６】前記プロセッサ（ニューロン）内の（１）前記グループレジスタ（２）前記ニューラルネットワーク制御装置からの制御
信号によって、前記コンディションコードレジスタから
選択された値、のＡＮＤをとった値によって前記書替え可能なメモリ、
前記レジスタファイル、前記演算結果保持手段の書き込
みを制御することを特徴とする請求項２５記載の情報処
理装置。
【請求項２７】内部に持つ演算器の状態を制御信号に従
って保持するコンディションコードレジスタを有する複
数のプロセッサ（ニューロン）において、前記ニューラ
ルネットワーク制御装置からの制御信号に従って、コン
ディションコードレジスタの値またはそれを反転させた
信号と、既に書き込まれた値とのＡＮＤまたはＯＲをと
った値を書き込んだり、０または１にセットしたりする
ことの可能なニューロンリクエストレジスタを有し、複
数のプロセッサ（ニューロン）から出力される該ニュー
ロンリクエストレジスタの値のＡＮＤまたはＯＲをとっ
た信号を前記ニューラルネットワーク制御装置に転送
し、制御信号に基づいてシステム全体の制御に利用する
ことを特徴とする情報処理装置。
【請求項２８】ニューロンからの信号を基にシステム全
体の動作を中断させる仕組みを持つことを特徴とする情
報処理装置。
【請求項２９】ディジタル２進演算型ニューロン機能を
有する複数のプロセッサから構成される情報処理装置に
おいて、該プロセッサ内に、外部からの制御信号によっ
て、複数の信号から１つの信号を選択する信号選択手段
を有し、該信号選択手段の前後で信号のビット数が減少
する場合、その信号選択手段が乗算器または乗算器の出
力またはそれを保持している乗算結果保持手段と、加算
器またはＡＬＵの間にある時には、伝達される信号を符
号ビットを除いて下づめにし、その他の場合を全て上づ
めとすることを特徴とする情報処理装置。
【請求項３０】ディジタル２進演算型ニューロン機能を
有する複数のプロセッサから構成される情報処理装置に
おいて、該プロセッサ内の信号の下位ビット切捨て手段
または信号の右シフト手段を有し、かつ該下位ビット切
捨て手段または右シフト手段において、負の数の切捨て
部分のビットに１がある時に切り捨てられずに残った数
に１を足すことを特徴とする情報処理装置。
【請求項３１】システム内の制御命令やデータがパイプ
ラインによって転送される情報処理装置において、制御
命令が発行されて、システム内のメモリからニューロン
にデータが渡されるまでと、制御命令が発行されてニュ
ーロンからニューロンに値が渡されるまでの間にあるパ
イプラインの数を一致させることを特徴とする情報処理
装置。
【請求項３２】制御を司るチップの中で前記パイプライ
ンの数を一致させるためのフリップフロップを設けるこ
とを特徴とする請求項３１記載の情報処理装置。
【請求項３３】システム内の制御命令やデータがパイプ
ラインによって転送される情報処理装置において、外部
からまたは内部の演算状態によってニューラルネットワ
ークの動作を中断させる際に、中断の指示がでた時のパ
イプラインの中に残っているデータを退避させた後に実
際の動作を中断させ、かつ次回のスタート時に該退避さ
せたデータを順番に出力することを特徴とする情報処理
装置。
【請求項３４】前記中断時のパイプラインのデータの
内、プロセッサ（ニューロン）に渡されていないデータ
に関しては、渡されていないデータ及び制御信号をプロ
セッサ（ニューロン）に渡して出力してきたデータを退
避させることを特徴とする請求項３３記載の情報処理装
置。
【請求項３５】スタートが掛かって退避データを全て出
力させる前に再び中断の指示が出された場合に、出力さ
せた退避データに対応するパイプライン内データのみを
退避させることを特徴とする請求項３３または３４記載
の情報処理装置。
【請求項３６】前記情報処理装置は、ニューラルネット
ワークによる情報処理専用の、ニューロコンピュータで
あることを特徴とする請求項１から３５いずれか記載の
情報処理装置。