JPH05314089A - ニューロチップ - Google Patents

Abstract

(57)【要約】 【目的】本発明は、ニューロン演算を行なう上でのメモ
リ使用量を節約し、データ読み書きの誤りや遅れを軽減
して信頼性および高速性を向上できることを最大の目的
としている。 【構成】本発明は、計算によりポインタおよびデータの
アドレスを発生して、メモリ上の対応するアドレス位置
のデータを読み書きするアドレス発生手段と、アドレス
発生手段により読み込まれたデータを、次回データのポ
インタとして蓄える蓄積手段と、蓄積手段に蓄えられた
ポインタとカウントアップを繰り返すポインタカウンタ
の値とを比較して、その一致または不一致を判別する比
較判別手段と、比較判別手段による判別の結果、両者が
不一致の場合は固定値データを読み込み、また一致の場
合は次回データをメモリから読み込むデータ選択手段と
を備えて、メモリインターフェース回路を構成したこと
を特徴としている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューロン演算を行な
うニューロチップに係り、特にニューロン演算を行なう
上でのメモリ使用量を節約し、データ読み書きの誤りや
遅れを軽減して信頼性および高速性を向上させ得るよう
にしたニューロチップに関するものである。

【０００２】

【従来の技術】ニューロン（神経細胞）と、それらが結
合したニューラルネットワーク（神経回路網）の構造を
模して、脳の情報処理能力を人工的に実現しようとする
ニューラルコンピュータにおいて、ニューロンは、多入
力−１出力の非線形素子に例えられ、各入力はニューロ
ン間のシナプス結合によって与えられ、シナプス結合は
それぞれに結合重み（以下、ウエイトと称する）があ
り、別々に可変しなければならない。

【０００３】この場合、ウエイトは、アナログ回路では
抵抗値で決定するが、プログラマブルな抵抗は容易に実
現できない。また、デジタル回路では、メモリに格納し
たデータを用い、変更は容易である。しかし、ニューロ
ンの個数が多くなるとデータの量も多くなり、メモリを
多く使用することになる。

【０００４】ところで、大容量のニューラルネットワー
クでは、必ずしも全ての入力を必要としない、疎なニュ
ーラルネットワークがある。しかし、ニューラルネット
ワークの形が変化する度に回路構成を変更することは容
易でない。

【０００５】そこで、全ニューロンに対してシナプス結
合しておき、疎な部分についてはウエイト０にする方法
が提案されている。しかしながら、ウエイト０のために
多くのメモリを使用することは、大量のメモリが必要に
なって不経済であるのはもちろんのこと、データ読み書
きの誤りを増長して、演算上支障をきたすばかりでな
く、データ読み書きの遅れによって、演算の高速化を阻
害することになる。

【０００６】

【発明が解決しようとする課題】以上のように、従来で
は、ニューロン演算を行なう上でのメモリ使用量が大き
く、データ読み書きの誤りや遅れが生じるという問題が
あった。

【０００７】本発明の目的は、ニューロン演算を行なう
上でのメモリ使用量を節約し、データ読み書きの誤りや
遅れを軽減して信頼性および高速性を向上させることが
可能な極めて信頼性の高いニューロチップを提供するこ
とにある。

【０００８】

【課題を解決するための手段】上記の目的を達成するた
めに本発明では、他の複数のニューロチップとシナプス
結合してニューラルネットワークを構成するニューロチ
ップにおいて、他の複数のニューロチップの結合重み
を、あらかじめ各ニューロチップ毎に設定されたポイン
タと共に、当該ポインタの次回のデータとして組合わ
せ、かつ結合重み０のニューロチップについては、これ
らニューロチップの先頭に位置するポインタのみをデー
タとし、これら各データをポインタ順に格納したメモリ
と、メモリの、ポインタおよび結合重みデータに対応す
るアドレスを発生するアドレスジェネレータと、発生ア
ドレスによりメモリから読み出されたポインタを格納す
るレジスタと、発生アドレスによりメモリから読み出さ
れた結合重みデータを出力すると共に、当該結合重みデ
ータが読み出されない場合は固定値０データを出力する
データインターフェースと、ポインタに対応する値を順
次カウントアップするポインタカウンタと、ポインタカ
ウンタの値とレジスタの値との一致／不一致を判別する
手段と、一致判別によりアドレスジェネレータに次回デ
ータのアドレスを発生させ、不一致により次回データを
発生させないように制御する制御回路を備えて構成して
いる。

【０００９】

【作用】従って、本発明のニューロチップにおいては、
他の複数のニューロチップの結合重みが、各ニューロチ
ップ毎に設定されたポインタと共に、当該ポインタの次
回のデータとして組合わせ、かつ結合重み０のニューロ
チップについては、これらニューロチップの先頭に位置
するポインタのみをデータとし、これら各データがポイ
ンタ順にあらかじめメモリに格納されている。そして、
アドレスジェネレータから、ポインタおよび結合重みデ
ータに対応するアドレスを発生すると、その発生アドレ
スによりメモリから読み出されたポインタがレジスタに
格納される。また、上記発生アドレスによりメモリから
読み出された結合重みデータが出力されると共に、その
結合重みデータが読み出されない場合には、固定値０デ
ータがデータインターフェースにより出力される。

【００１０】一方、ポインタに対応する値が、ポインタ
カウンタによって順次カウントアップされ、そのポイン
タカウンタの値とレジスタの値との一致／不一致が判別
される。その結果、両者が一致している場合には、アド
レスジェネレータに次回データのアドレスが発生され、
また両者が不一致の場合には、次回データは発生されな
い。

【００１１】これにより、ポインタと結合重みデータと
を対にしてメモリに格納することにより、メモリ使用量
を節約することができ、データ読み書きの誤りや遅れを
軽減して、信頼性および高速性を向上させることができ
る。

【００１２】

【実施例】以下、本発明の一実施例について図面を参照
して詳細に説明する。

【００１３】図１は、本発明によるニューロチップの構
成例を示すブロック図である。すなわち、本実施例のニ
ューロチップは、図１に示すように、ニューロン演算回
路１と、メモリインターフェース回路２と、外部インタ
ーフェース回路３と、制御回路４とから構成している。
なお、本ニューロチップ内の各回路は、内部バス１１に
より互いに結合している。ここで、ニューロン演算回路
１は、加減乗除演算や各種データ処理を行なうものであ
る。

【００１４】また、ニューロチップは、図３に示すよう
に個別にメモリＭを有するが、メモリインターフェース
回路２は、本ニューロチップと対応するメモリとのデー
タ受け渡しを、アドレスバス５とデータバス６を介して
行なうものである。

【００１５】さらに、外部インターフェース回路３は、
複数のニューロチップを接続して使用する時に、他のニ
ューロチップとのデータ受け渡しを、ブロードキャスト
バス７やリングバス８を介して行なうと共に、本ニュー
ロチップとマスタノードとのデータ受け渡しを、ブロー
ドキャストバス７を介して行なうものである。

【００１６】さらにまた、制御回路４は、ステータス信
号９により回路の状態を監視しながら、コントロール信
号１０により本ニューロチップ全体の制御を行なうもの
である。図２は、上記メモリインターフェース回路２の
詳細な構成例を示すブロック図である。

【００１７】図２において、メモリインターフェース回
路２は、アドレス発生手段であるアドレスジェネレータ
１２と、蓄積手段であるレジスタ１３と、ポインタカウ
ンタ１４と、比較判別手段であるコンペア１５および論
理回路１６と、データ選択手段であるデータインターフ
ェース１７と、メモリ１８とから成っている。

【００１８】メモリ１８には、ニューロチップの番号を
ポインタとし、このニューロチップのウエイトを、上記
ポインタと対にして順次記憶させている。例えば、図７
（ａ）に示すように、１２個のニューロチップ（仮にニ
ューロンの番号でＮ１〜Ｎ１２とする）のうち、番号Ｎ
２，Ｎ３，Ｎ４，Ｎ８，Ｎ１０，Ｎ１１のニューロチッ
プがウエイト０であり、他のニューロチップはそれぞれ
ウエイトが付いているものとする。

【００１９】この場合、メモリ１８は、図７（ｂ）に示
すように構成する。すなわち、ウエイトの付いているニ
ューロチップについては、そのニューロチップの番号を
ポインタとし、このニューロチップのウエイトが次回読
み出されるように、それぞれ対にして書き込む。一方、
ウエイト０のニューロチップについては、その番号のみ
をポインタとして書き込み、ウエイトは書き込まない。
さらに、ウエイト０のニューロチップが連続する場合
（図の例では、Ｎ２，Ｎ３，Ｎ４またはＮ１０，Ｎ１
１）は、先頭となるニューロチップの番号（図の例で
は、Ｎ２またはＮ１０）のみをポインタとして書き込
み、これに続く番号は書き込まない。そして、これらは
ポインタ順に格納する。

【００２０】ニューロン演算を行なう場合、図１で示し
たニューロン演算回路１は、メモリインターフェース回
路２を介して、上述のように構成したメモリ１８から各
ニューロン毎のウエイトを読み出して演算を行なう。そ
のために、アドレスジェネレータ１２は、計算によりポ
インタおよびデータ（ウエイト）のアドレスを発生し
て、メモリ１８上の対応するアドレス位置のポインタや
ウエイトデータを読み出す。

【００２１】レジスタ１３は、アドレスジェネレータ１
２により指定されたアドレスから読み出されたデータ
（ニューロチップ番号）を、次回データ、すなわちメモ
リ１８上の次の位置に格納されている対応するデータ
で、ポインタまたはウエイトとして蓄える。ポインタカ
ウンタ１４は、ウエイト値を順次読み出すべく、ポイン
タをカウントアップ（＋１）する。コンペア１５は、レ
ジスタ１３に蓄えられたポインタとポインタカウンタ１
４の値とを比較し、比較信号１９を出力する。

【００２２】論理回路１６は、コンペア１５からの比較
信号１９により、両者の一致または不一致を判別してス
テータス信号９（例えば、一致のとき“０”、不一致の
とき“１”）を、図１の制御回路４に出力する。

【００２３】データインターフェース１７は、論理回路
１６による判別結果に基づく制御回路４からのコントロ
ール信号１０により、両者が不一致の場合は固定値デー
タ２０を読み込み、また一致の場合は次回データ、すな
わちポインタに対応したウエイトをメモリ１８から読み
込む。

【００２４】論理回路１６からのステータス信号９は制
御回路４へ与えられ、それに基づく制御回路４からのコ
ントロール信号１０により、アドレスジェネレータ１２
の計算、レジスタ１３のロード、ポインタカウンタ１４
の更新、データインターフェース１８のデータ選択をそ
れぞれ制御するようになっている。

【００２５】ここで、アドレスジェネレータ１２は、制
御回路４からのコントロール信号１０によりアドレスを
発生するが、その動作は次の通りである。まず、ポイン
タのアドレスを発生し、メモリ１８からポインタを読み
出させる。このポインタが、コンペア１５の比較によっ
てポインタカウンタ１４の値と一致すれば、次回データ
のアドレス（今回データが図７（ｂ）のポインタＮ１で
あれば対応するウエイト１．０のアドレス、また今回デ
ータがポインタＮ２であれば次のポインタＮ５のアドレ
ス）を発生する。また、不一致の場合は、次回のアドレ
スは発生せず、今回のアドレスを維持する。

【００２６】図３は、複数のニューロチップを接続した
ニューラルネットワークシステムの構成例を示す図であ
る。図３において、ニューラルネットワークシステム
は、ニューロン演算を制御するマスタノード２１と、演
算を並列処理するスレーブノード２２のニューロチップ
と、マスタノード２１スレーブノード２２間とスレーブ
ノード２２相互間の両方でデータ転送を能率的に行なう
ブロードキャストバス７とリングバス８の２つのデータ
バスを有する。ブロードキャストバス７は、マスタノー
ド２１からスレーブノード２２へ一斉にデータを与えた
り、スレーブノード２２のデータを集計したりするのに
使用する。また、リングバス８は、スレーブノード２２
相互間のデータ転送に用い、特にニューラルネットワー
クの学習で他のノードのデータを必要とする時に使用す
る。なお、図３中、Ｎはニューロン、Ｍはメモリ、ＰＭ
はプログラムメモリである。次に、以上のように構成し
た本実施例のニューロチップの作用について、図４を用
いて説明する。

【００２７】図４は、一般的なニューロンのモデルの例
を示す図である。図４に示すように、ニューロンは、入
力Ｉ₀ からＩ_n までがシナプス結合しており、それぞれ
ウエイトＷ₀ からＷ_n を有している。この時、ニューロ
ンの内部状態ｕは、

【００２８】

【数１】

【００２９】で表わし、出力Ｏは、シグモイド関数ｆに
より、 Ｏ＝ｆ（ｕ） となる。この時、ｎ＋１はシナプス結合する数である。

【００３０】これを、本ニューロチップに当てはめる
と、ブロードキャストバス７にはＩ_iが入力され、外部
インターフェース回路３から内部バス１１を経て、ニュ
ーロン演算回路１に渡される。また、メモリ１８には、
ウエイトＷ_i が格納されており、入力と同時かもしくは
それ以前に、メモリインターフェース回路２から内部バ
ス１１を経て、ニューロン演算回路１に渡される。

【００３１】次に、ニューロン演算回路１では、シナプ
ス結合の数ｎ＋１回分Ｉ_i とＷ_i の乗算を行ない、その
結果を加算して内部状態ｕを導き出し、出力段でシグモ
イド関数ｆの計算を行なう。そして、このニューロン演
算回路１での演算結果は、内部バス１１を経て、メモリ
インターフェース回路２または外部インターフェース回
路３へ渡される。

【００３２】これにより、メモリインターフェース回路
２では、演算結果を新たなウエイトとしてメモリ１８に
格納する。すなわち、メモリインターフェース回路２に
おいて、アドレスジェネレータ１２では、計算により様
々なアドレスを発生する。また、レジスタ１３では、ア
ドレスジェネレータ１２がポインタのアドレスを発生し
たときに読み出されるデータ（ニューロチップ番号）を
格納する。さらに、ポインタカウンタ１４は、ウエイト
を順次読み出すべくポインタをカウントアップ（＋１）
する。

【００３３】コンペア１５では、レジスタ１３とポイン
タカウンタ１４の値を比較して比較信号１９を発生す
る。この比較信号１９は、論理回路１６に入力されて両
者の一致または不一致が判別され、その判別信号がステ
ータス信号９として制御回路４に与えられる。そして、
このステータス信号９に基づく制御回路４からのコント
ロール信号１０により、アドレスジェネレータ１２の計
算、レジスタ１３のロード、ポインタカウンタ１４の更
新、データインターフェース１８のデータ選択がそれぞ
れ制御される。

【００３４】すなわち、判別の結果、両者が不一致の時
は、アドレスジェネレータ１２は今回のポインタのアド
レスを発生（維持）し、レジスタ１３へのデータ読み込
みは行なわない。また、データインターフェース１７は
固定値データ２０を読み込む。一方、両者が一致の時
は、アドレスジェネレータ１２は次回データのアドレス
を発生してメモリ１８の読み出しを行ない、読み出した
データがウエイトであればデータインターフェース１７
を経て内部バス１１へ取り込まれる。上記の作用につい
て、図７（ｂ）に示すメモリ構成と対応させて具体的に
説明する。

【００３５】まず、アドレスジェネレータ１２がポイン
タＮ１のアドレスを発生し、メモリ１８からポインタＮ
１を読み出してレジスタ１３に格納させる。ポインタカ
ウンタ１４の値がＮ１になると、コンペア１５は一致を
検出し、論理回路１６からステータス信号９を“０”と
して出力する。

【００３６】制御回路４はこのステータス信号９を受
け、コントロール信号１０によりアドレスジェネレータ
１２に対して、次回のデータ（この場合、対応するウエ
イト１．０）のアドレスを発生させる。データインター
フェース１１は、このアドレスにより読み出されたデー
タ（ウエイト１．０）を内部バス１１に出力する。

【００３７】次に、アドレスジェネレータ１２には次の
ポインタＮ２のアドレスを発生し、ポインタＮ２をレジ
スタ１３に格納させる。この時、ポインタカウンタ１４
は＋１カウントアップされてＮ２となっているので、コ
ンペア１５は一致を検出し、論理回路１６からステータ
ス信号９を“０”として出力する。このため、アドレス
ジェネレータ１２には、次回のデータ（この場合、次の
ポインタＮ５）のアドレスを発生する。このアドレスに
よりメモリ１８から読み出されたデータがポインタＮ５
であるため、このデータはレジスタ１３に格納され、デ
ータインターフェース１１は、固定値０を内部バス１１
に出力する。

【００３８】この後、ポインタカウンタ１４は＋１カウ
ントアップしてＮ３となるが、レジスタ１３の値Ｎ５と
は一致しないので、コンペア１５は不一致を検出し、論
理回路１６からステータス信号９を“１”として出力す
る。このため、アドレスジェネレータ１２には次回のデ
ータを発生せず、ポインタＮ５のアドレスを維持し、レ
ジスタ１３の値もポインタＮ５のままである。データイ
ンターフェース１１は、ウエイト値が出力されないの
で、固定値０を内部バス１１に出力し続ける。

【００３９】上記状態は、ポインタカウンタ１４の値が
ポインタＮ５にカウントアップされるまで維持する。ポ
インタカウンタ１４がポインタＮ５にカウントアップさ
れると、コンペア１５は一致を検出し、論理回路１６か
らステータス信号９を“０”として出力するので、前述
したようにアドレスジェネレータ１２は、次回データ
（対応するウエイト−０．５）のアドレスを発生する。
このため、データインターフェース１１は、上記アドレ
スにより読み出されたウエイト−０．５を内部バス１１
に出力する。

【００４０】この結果、メモリ１８には、ウエイト０の
値をニューロチップ毎に格納する必要はなく、ウエイト
０のニューロチップが続く場合は、その先頭のニューロ
チップ番号のみをポインタとして格納しておけばよく、
メモリ１８の容量を少なくできる。

【００４１】一方、外部インターフェース回路３では、
ニューラルネットワークとしての動作に従って、演算結
果をブロードキャストバス７もしくはリングバス８に出
力する。ここで、ニューロンによるニューラルネットワ
ークの特性について述べる。

【００４２】図５は、一般的なニューラルネットワーク
のモデルの例を示す図である。図５に示すように、各ニ
ューロンは層を形成し、層毎にニューロン同士がシナプ
ス結合している。また、層は入力層と中間層と出力層に
分類でき、中間層はさらに幾層にもなる場合がある。図
５において、ニューロンの数を多くした場合、シナプス
結合の数が膨大になる。シナプス結合の数は、図４にお
けるｎ＋１の数に相当し、シナプス結合の入力Ｉ_i とウ
エイトＷ_i の数に関係する。ウエイトＷ_i の数が増える
と、それだけ多くのメモリを使用することになる。

【００４３】図６は、疎なニューラルネットワークのモ
デルの例を示す図である。大容量のニューラルネットワ
ークは、各層のニューロンが全てシナプス結合せず、図
６に示すような形となる。また、図６以外にも、各層の
ニューロンの数やシナプス結合の割合を変更することに
より、様々なニューラルネットワークを実現することが
できるが、ハードウェアで変更しようとすると、配線や
配置の変更に多大な時間と費用がかかるため現実的でな
い。

【００４４】このため、基本的に図５に示すような構成
のニューラルネットワークを作り、ソウトウェアでプロ
グラマブルに変更する方が容易である。この場合、ニュ
ーロンの数の変更は、ニューロチップを停止状態にする
ことで実現でき、シナプス結合の割合の変更は、ウエイ
トを０にすることで実現できる。ウエイトは、ニューラ
ルネットワークに与えるデータによっても０となる場合
があるが、いずれにしても、メモリにウエイトとして０
を書き込む方法では、メモリの使用量はニューラルネッ
トワークの規模に比例して増大する。

【００４５】そこで、図２に示すようなメモリインター
フェース回路を採用すると、ポインタの示すデータのみ
を必要なウエイトとして扱い、他は固定値データ２０を
読み込むことにより、ウエイトが０の時はメモリを使用
することがなくなる。

【００４６】通常、ニューラルネットワークでは、演算
が収束していく過程において、ニューロン数は大幅に少
なくなる。すなわち、ウエイト０のニューロチップが大
幅に増えることを意味しており、図５に示すように構成
した場合、全ニューロチップの半数以上がウエイト０に
なるので、これらに対するメモリを省略できることは、
メモリ使用量の大幅な図れることを意味する。

【００４７】

【発明の効果】以上説明したように本発明によれば、ニ
ューロン演算を行なう上でのメモリ使用量を節約し、デ
ータ読み書きの誤りや遅れを軽減して信頼性および高速
性を向上させることが可能な極めて信頼性の高いニュー
ロチップが提供できる。

【図面の簡単な説明】

【図１】本発明によるニューロチップの一実施例を示す
ブロック図。

【図２】同実施例におけるメモリインターフェース回路
の詳細な構成例を示すブロック図。

【図３】ニューラルネットワークシステムの構成例を示
す概要図。

【図４】一般的なニューロンのモデルの例を示す図。

【図５】一般的なニューラルネットワークのモデルの例
を示す図。

【図６】疎なニューラルネットワークのモデルの例を示
す図。

【図７】同実施例におけるメモリ使用方法の一例を示す
図。

【符号の説明】

１…ニューロン演算回路、２…メモリインターフェース
回路、３…外部インターフェース回路、４…制御回路、
５…アドレスバス、６…データバス、７…ブロードキャ
ストバス、８…リングバス、９…ステータス信号、１０
…コントロール信号、１１…内部バス、１２…アドレス
ジェネレータ、１３…レジスタ、１４…ポインタカウン
タ、１５…コンペア、１６…論理回路、１７…データイ
ンターフェース、１８…メモリ、１９…比較信号、２０
…固定値データ、２１…マスタノード、２２…スレーブ
ノード。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 他の複数のニューロチップとシナプス結
   合してニューラルネットワークを構成するニューロチッ
   プにおいて、 前記他の複数のニューロチップの結合重みを、あらかじ
   め各ニューロチップ毎に設定されたポインタと共に、当
   該ポインタの次回のデータとして組合わせ、かつ結合重
   み０のニューロチップについては、これらニューロチッ
   プの先頭に位置するポインタのみをデータとし、これら
   各データをポインタ順に格納したメモリと、 前記メモリの、前記ポインタおよび結合重みデータに対
   応するアドレスを発生するアドレスジェネレータと、 前記発生アドレスにより前記メモリから読み出されたポ
   インタを格納するレジスタと、 前記発生アドレスにより前記メモリから読み出された結
   合重みデータを出力すると共に、当該結合重みデータが
   読み出されない場合は固定値０データを出力するデータ
   インターフェースと、 前記ポインタに対応する値を順次カウントアップするポ
   インタカウンタと、 前記ポインタカウンタの値と前記レジスタの値との一致
   ／不一致を判別する手段と、 前記一致判別により前記アドレスジェネレータに次回デ
   ータのアドレスを発生させ、不一致により前記次回デー
   タを発生させないように制御する制御回路と、 を備えて成ることを特徴とするニューロチップ。