JP3246764B2 - ニューロチップ - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューロン演算を行な
うニューロチップに係り、特にニューロン演算を行なう
上でのメモリ使用量を節約し、データ読み書きの誤りや
遅れを軽減して信頼性および高速性を向上させ得るよう
にしたニューロチップに関するものである。

【０００２】

【従来の技術】ニューロン（神経細胞）と、それらが結
合したニューラルネットワーク（神経回路網）の構造を
模して、脳の情報処理能力を人工的に実現しようとする
ニューラルコンピュータにおいて、ニューロンは、多入
力−１出力の非線形素子に例えられ、各入力はニューロ
ン間のシナプス結合によって与えられ、シナプス結合は
それぞれに結合重み（以下、ウエイトと称する）があ
り、別々に可変しなければならない。

【０００３】この場合、ウエイトは、アナログ回路では
抵抗値で決定するが、プログラマブルな抵抗は容易に実
現できない。また、デジタル回路では、メモリに格納し
たデータを用い、変更は容易である。しかし、ニューロ
ンの個数が多くなるとデータの量も多くなり、メモリを
多く使用することになる。

【０００４】ところで、大容量のニューラルネットワー
クでは、必ずしも全ての入力を必要としない、疎なニュ
ーラルネットワークがある。しかし、ニューラルネット
ワークの形が変化する度に回路構成を変更することは容
易でない。

【０００５】そこで、全ニューロンに対してシナプス結
合しておき、疎な部分についてはウエイト０にする方法
が提案されている。しかしながら、ウエイト０のために
多くのメモリを使用することは、大量のメモリが必要に
なって不経済であるのはもちろんのこと、データ読み書
きの誤りを増長して、演算上支障をきたすばかりでな
く、データ読み書きの遅れによって、演算の高速化を阻
害することになる。

【０００６】

【発明が解決しようとする課題】以上のように、従来で
は、ニューロン演算を行なう上でのメモリ使用量が大き
く、データ読み書きの誤りや遅れが生じるという問題が
あった。

【０００７】本発明の目的は、ニューロン演算を行なう
上でのメモリ使用量を節約し、データ読み書きの誤りや
遅れを軽減して信頼性および高速性を向上させることが
可能な極めて信頼性の高いニューロチップを提供するこ
とにある。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に本発明では、複数のニューロチップがシナプス結合し
てニューラルネットワークを構成するニューロチップに
おいて、予めニューロチップ毎にポインタが設定され、
前記ポインタと前記シナプス結合の結合重みを組み合わ
せ、前記結合重みが０（零）以外である場合には、前記
ポインタと前記結合重みをメモリに格納し、且つ、前記
結合重みが０（零）である場合には、前記ポインタのみ
を前記メモリに格納し、更に連続してカウントアップす
る前記ポインタの前記結合重みが０（零）である場合に
は、前記メモリへの格納を行わないこととし、前記メモ
リに格納されている前記ポインタ及び前記結合重みの各
々にアドレスを付与するアドレスジェネレータと、前記
アドレスジェネレータによって付与されたアドレスに基
づいて前記メモリから読み出されたポインタを格納する
レジスタと、前記アドレスジェネレータによって付与さ
れたアドレスに基づいて前記メモリから読み出された結
合重みを出力すると共に、この結合重みが読み出されな
い場合には固定値０（零）を出力するデータインタフェ
ースと、前記ポインタに対応する値を順次カウントアッ
プするポインタカウンタと、前記ポインタカウンタによ
ってカウントアップされた値と前記レジスタに格納され
たポインタの値との一致／不一致を判別する判別手段
と、前記判別手段によって一致判別された場合には、前
記アドレスジェネレータに次のポインタ及び結合重みの
アドレスを付与させ、不一致判別された場合には、前記
次のポインタ及び結合重みのアドレスを付与させないよ
うに制御する制御回路とを備えて構成している。

【０００９】

【作用】従って、本発明のニューロチップにおいては、
予めニューロチップ毎にポインタが設定され、前記ポイ
ンタと前記シナプス結合の結合重みを組み合わせ、前記
結合重みが０（零）以外である場合には、前記ポインタ
と前記結合重みをメモリに格納し、且つ、前記結合重み
が０（零）である場合には、前記ポインタのみを前記メ
モリに格納し、更に連続してカウントアップする前記ポ
インタの前記結合重みが０（零）である場合には、前記
メモリへの格納を行わないこととし、そして、アドレス
ジェネレータから、ポインタおよび結合重みに対応する
アドレスを発生すると、その発生アドレスによりメモリ
から読み出されたポインタがレジスタに格納される。ま
た、上記発生アドレスによりメモリから読み出された結
合重みが出力されると共に、その結合重みが読み出され
ない場合には、固定値０がデータインタフェースにより
出力される。

【００１０】一方、ポインタに対応する値が、ポインタ
カウンタによって順次カウントアップされ、そのポイン
タカウンタによってカウントアップされた値とレジスタ
に格納されたポインタの値との一致／不一致が判別され
る。その結果、両者が一致している場合には、アドレス
ジェネレータに次回のポインタ及び結合重みのアドレス
を発生させ、また両者が不一致の場合には、次回のポイ
ンタ及び結合重みのアドレスを発生しない。

【００１１】これにより、ポインタと結合重みとを対に
してメモリに格納することにより、メモリ使用量を節約
することができ、データ読み書きの誤りや遅れを軽減し
て、信頼性および高速性を向上させることができる。

【００１２】

【実施例】以下、本発明の一実施例について図面を参照
して詳細に説明する。

【００１３】図１は、本発明によるニューロチップの構
成例を示すブロック図である。すなわち、本実施例のニ
ューロチップは、図１に示すように、ニューロン演算回
路１と、メモリインターフェース回路２と、外部インタ
ーフェース回路３と、制御回路４とから構成している。
なお、本ニューロチップ内の各回路は、内部バス１１に
より互いに結合している。ここで、ニューロン演算回路
１は、加減乗除演算や各種データ処理を行なうものであ
る。

【００１４】また、ニューロチップは、図３に示すよう
に個別にメモリＭを有するが、メモリインターフェース
回路２は、本ニューロチップと対応するメモリとのデー
タ受け渡しを、アドレスバス５とデータバス６を介して
行なうものである。

【００１５】さらに、外部インターフェース回路３は、
複数のニューロチップを接続して使用する時に、他のニ
ューロチップとのデータ受け渡しを、ブロードキャスト
バス７やリングバス８を介して行なうと共に、本ニュー
ロチップとマスタノードとのデータ受け渡しを、ブロー
ドキャストバス７を介して行なうものである。

【００１６】さらにまた、制御回路４は、ステータス信
号９により回路の状態を監視しながら、コントロール信
号１０により本ニューロチップ全体の制御を行なうもの
である。図２は、上記メモリインターフェース回路２の
詳細な構成例を示すブロック図である。

【００１７】図２において、メモリインターフェース回
路２は、アドレス発生手段であるアドレスジェネレータ
１２と、蓄積手段であるレジスタ１３と、ポインタカウ
ンタ１４と、比較判別手段であるコンペア１５および論
理回路１６と、データ選択手段であるデータインターフ
ェース１７と、メモリ１８とから成っている。

【００１８】メモリ１８には、ニューロチップの番号を
ポインタとし、このニューロチップの結合重みであるウ
エイトを、上記ポインタと対にして順次記憶させてい
る。例えば、図７（ａ）に示すように、１２個のニュー
ロチップ（仮にニューロンの番号でＮ１〜Ｎ１２とす
る）のうち、番号Ｎ２，Ｎ３，Ｎ４，Ｎ８，Ｎ１０，Ｎ
１１のニューロチップがウエイト０であり、他のニュー
ロチップはそれぞれウエイトが付いているものとする。

【００１９】この場合、メモリ１８は、図７（ｂ）に示
すように構成する。すなわち、ウエイトの付いているニ
ューロチップについては、そのニューロチップの番号を
ポインタとし、このニューロチップのウエイトが次回読
み出されるように、それぞれ対にして書き込む。一方、
ウエイト０のニューロチップについては、その番号のみ
をポインタとして書き込み、ウエイトは書き込まない。
さらに、ウエイト０のニューロチップが連続する場合
（図の例では、Ｎ２，Ｎ３，Ｎ４またはＮ１０，Ｎ１
１）は、先頭となるニューロチップの番号（図の例で
は、Ｎ２またはＮ１０）のみをポインタとして書き込
み、これに続く番号は書き込まない。そして、これらは
ポインタ順に格納する。

【００２０】ニューロン演算を行なう場合、図１で示し
たニューロン演算回路１は、メモリインターフェース回
路２を介して、上述のように構成したメモリ１８から各
ニューロン毎のウエイトを読み出して演算を行なう。そ
のために、アドレスジェネレータ１２は、計算によりポ
インタおよびウエイトのアドレスを発生して、メモリ１
８上の対応するアドレス位置のポインタやウエイトを読
み出す。

【００２１】レジスタ１３は、アドレスジェネレータ１
２により指定されたアドレスから読み出されたデータ
（ポインタの値）を、次回データ、すなわちメモリ１８
上の次の位置に格納されている対応するデータにおい
て、ポインタとして蓄える。ポインタカウンタ１４は、
ウエイト値を順次読み出すべく、ポインタの値をカウン
トアップ（＋１）する。コンペア１５は、レジスタ１３
に蓄えられたポインタの値とポインタカウンタ１４によ
ってカウントアップされた値とを比較し、比較信号１９
を出力する。

【００２２】論理回路１６は、コンペア１５からの比較
信号１９により、両者の一致または不一致を判別してス
テータス信号９（例えば、一致のとき“０”、不一致の
とき“１”）を、図１の制御回路４に出力する。

【００２３】データインタフェース１７は、論理回路１
６による判別結果に基づく制御回路４からのコントロー
ル信号１０により、両者が不一致の場合は固定値データ
２０を読み込み、また一致の場合は次回データ、すなわ
ちポインタに対応したウエイトをメモリ１８から読み込
む。

【００２４】論理回路１６からのステータス信号９は制
御回路４へ与えられ、それに基づく制御回路４からのコ
ントロール信号１０により、アドレスジェネレータ１２
の計算、レジスタ１３のロード、ポインタカウンタ１４
の更新、データインターフェース１８のデータ選択をそ
れぞれ制御するようになっている。

【００２５】ここで、アドレスジェネレータ１２は、制
御回路４からのコントロール信号１０によりアドレスを
発生するが、その動作は次の通りである。まず、ポイン
タのアドレスを発生し、メモリ１８からポインタを読み
出させる。このポインタの値が、コンペア１５の比較に
よってポインタカウンタ１４によってカウントされた値
と一致すれば、次回データのアドレス（今回データが図
７（ｂ）のポインタＮ１であれば対応するウエイト１．
０のアドレス、また今回データがポインタＮ２であれば
次のポインタＮ５のアドレス）を発生する。また、不一
致の場合は、次回のアドレスは発生せず、今回のアドレ
スを維持する。

【００２６】図３は、複数のニューロチップを接続した
ニューラルネットワークシステムの構成例を示す図であ
る。図３において、ニューラルネットワークシステム
は、ニューロン演算を制御するマスタノード２１と、演
算を並列処理するスレーブノード２２のニューロチップ
と、マスタノード２１スレーブノード２２間とスレーブ
ノード２２相互間の両方でデータ転送を能率的に行なう
ブロードキャストバス７とリングバス８の２つのデータ
バスを有する。ブロードキャストバス７は、マスタノー
ド２１からスレーブノード２２へ一斉にデータを与えた
り、スレーブノード２２のデータを集計したりするのに
使用する。また、リングバス８は、スレーブノード２２
相互間のデータ転送に用い、特にニューラルネットワー
クの学習で他のノードのデータを必要とする時に使用す
る。なお、図３中、Ｎはニューロン、Ｍはメモリ、ＰＭ
はプログラムメモリである。次に、以上のように構成し
た本実施例のニューロチップの作用について、図４を用
いて説明する。

【００２７】図４は、一般的なニューロンのモデルの例
を示す図である。図４に示すように、ニューロンは、入
力Ｉ₀ からＩ_n までがシナプス結合しており、それぞれ
ウエイトＷ₀ からＷ_n を有している。この時、ニューロ
ンの内部状態ｕは、

【００２８】

【数１】

【００２９】で表わし、出力Ｏは、シグモイド関数ｆに
より、 Ｏ＝ｆ（ｕ） となる。この時、ｎ＋１はシナプス結合する数である。

【００３０】これを、本ニューロチップに当てはめる
と、ブロードキャストバス７にはＩ_iが入力され、外部
インターフェース回路３から内部バス１１を経て、ニュ
ーロン演算回路１に渡される。また、メモリ１８には、
ウエイトＷ_i が格納されており、入力と同時かもしくは
それ以前に、メモリインターフェース回路２から内部バ
ス１１を経て、ニューロン演算回路１に渡される。

【００３１】次に、ニューロン演算回路１では、シナプ
ス結合の数ｎ＋１回分Ｉ_i とＷ_i の乗算を行ない、その
結果を加算して内部状態ｕを導き出し、出力段でシグモ
イド関数ｆの計算を行なう。そして、このニューロン演
算回路１での演算結果は、内部バス１１を経て、メモリ
インターフェース回路２または外部インターフェース回
路３へ渡される。

【００３２】これにより、メモリインターフェース回路
２では、演算結果を新たなウエイトとしてメモリ１８に
格納する。すなわち、メモリインターフェース回路２に
おいて、アドレスジェネレータ１２では、計算により様
々なアドレスを発生する。また、レジスタ１３では、ア
ドレスジェネレータ１２がポインタのアドレスを発生し
たときに読み出されるデータ（ニューロチップ番号）を
格納する。さらに、ポインタカウンタ１４は、ウエイト
を順次読み出すべくポインタの値をカウントアップ（＋
１）する。

【００３３】コンペア１５では、レジスタ１３に蓄えら
れたポインタの値とポインタカウンタ１４によってカウ
ントアップされた値とを比較して比較信号１９を発生す
る。この比較信号１９は、論理回路１６に入力されて両
者の一致または不一致が判別され、その判別信号がステ
ータス信号９として制御回路４に与えられる。そして、
このステータス信号９に基づく制御回路４からのコント
ロール信号１０により、アドレスジェネレータ１２の計
算、レジスタ１３のロード、ポインタカウンタ１４の更
新、データインタフェース１８のデータ選択がそれぞれ
制御される。

【００３４】すなわち、判別の結果、両者が不一致の時
は、アドレスジェネレータ１２は今回のポインタのアド
レスを発生（維持）し、レジスタ１３へのデータ読み込
みは行なわない。また、データインタフェース１７は固
定値データ２０を読み込む。一方、両者が一致の時は、
アドレスジェネレータ１２は次回データのアドレスを発
生してメモリ１８の読み出しを行ない、読み出したデー
タがウエイトであればデータインタフェース１７を経て
内部バス１１へ取り込まれる。上記の作用について、図
７（ｂ）に示すメモリ構成と対応させて具体的に説明す
る。

【００３５】まず、アドレスジェネレータ１２がポイン
タＮ１のアドレスを発生し、メモリ１８からポインタＮ
１を読み出してレジスタ１３に格納させる。ポインタカ
ウンタ１４の値がＮ１になると、コンペア１５は一致を
検出し、論理回路１６からステータス信号９を“０”と
して出力する。

【００３６】制御回路４はこのステータス信号９を受
け、コントロール信号１０によりアドレスジェネレータ
１２に対して、次回のデータ（この場合、対応するウエ
イト１．０）のアドレスを発生させる。データインタフ
ェース１１は、このアドレスにより読み出されたデータ
（ウエイト１．０）を内部バス１１に出力する。

【００３７】次に、アドレスジェネレータ１２には次の
ポインタＮ２のアドレスを発生し、ポインタＮ２をレジ
スタ１３に格納させる。この時、ポインタカウンタ１４
は＋１カウントアップされてＮ２となっているので、コ
ンペア１５は一致を検出し、論理回路１６からステータ
ス信号９を"０"として出力する。このため、アドレスジ
ェネレータ１２には、次回のデータ（この場合、次のポ
インタＮ５）のアドレスを発生する。このアドレスによ
りメモリ１８から読み出されたデータがポインタＮ５で
あるため、このデータはレジスタ１３に格納され、デー
タインタフェース１１は、固定値０を内部バス１１に出
力する。

【００３８】この後、ポインタカウンタ１４は＋１カウ
ントアップしてＮ３となるが、レジスタ１３の値Ｎ５と
は一致しないので、コンペア１５は不一致を検出し、論
理回路１６からステータス信号９を"１"として出力す
る。このため、アドレスジェネレータ１２には次回のデ
ータを発生せず、ポインタＮ５のアドレスを維持し、レ
ジスタ１３の値もポインタＮ５のままである。データイ
ンタフェース１１は、ウエイト値が出力されないので、
固定値０を内部バス１１に出力し続ける。

【００３９】上記状態は、ポインタカウンタ１４の値が
ポインタＮ５にカウントアップされるまで維持する。ポ
インタカウンタ１４がポインタＮ５にカウントアップさ
れると、コンペア１５は一致を検出し、論理回路１６か
らステータス信号９を“０”として出力するので、前述
したようにアドレスジェネレータ１２は、次回データ
（対応するウエイト−０．５）のアドレスを発生する。
このため、データインターフェース１１は、上記アドレ
スにより読み出されたウエイト−０．５を内部バス１１
に出力する。

【００４０】この結果、メモリ１８には、ウエイト０の
値をニューロチップ毎に格納する必要はなく、ウエイト
０のニューロチップが続く場合は、その先頭のニューロ
チップ番号のみをポインタとして格納しておけばよく、
メモリ１８の容量を少なくできる。

【００４１】一方、外部インターフェース回路３では、
ニューラルネットワークとしての動作に従って、演算結
果をブロードキャストバス７もしくはリングバス８に出
力する。ここで、ニューロンによるニューラルネットワ
ークの特性について述べる。

【００４２】図５は、一般的なニューラルネットワーク
のモデルの例を示す図である。図５に示すように、各ニ
ューロンは層を形成し、層毎にニューロン同士がシナプ
ス結合している。また、層は入力層と中間層と出力層に
分類でき、中間層はさらに幾層にもなる場合がある。図
５において、ニューロンの数を多くした場合、シナプス
結合の数が膨大になる。シナプス結合の数は、図４にお
けるｎ＋１の数に相当し、シナプス結合の入力Ｉ_i とウ
エイトＷ_i の数に関係する。ウエイトＷ_i の数が増える
と、それだけ多くのメモリを使用することになる。

【００４３】図６は、疎なニューラルネットワークのモ
デルの例を示す図である。大容量のニューラルネットワ
ークは、各層のニューロンが全てシナプス結合せず、図
６に示すような形となる。また、図６以外にも、各層の
ニューロンの数やシナプス結合の割合を変更することに
より、様々なニューラルネットワークを実現することが
できるが、ハードウェアで変更しようとすると、配線や
配置の変更に多大な時間と費用がかかるため現実的でな
い。

【００４４】このため、基本的に図５に示すような構成
のニューラルネットワークを作り、ソウトウェアでプロ
グラマブルに変更する方が容易である。この場合、ニュ
ーロンの数の変更は、ニューロチップを停止状態にする
ことで実現でき、シナプス結合の割合の変更は、ウエイ
トを０にすることで実現できる。ウエイトは、ニューラ
ルネットワークに与えるデータによっても０となる場合
があるが、いずれにしても、メモリにウエイトとして０
を書き込む方法では、メモリの使用量はニューラルネッ
トワークの規模に比例して増大する。

【００４５】そこで、図２に示すようなメモリインター
フェース回路を採用すると、ポインタの示すデータのみ
を必要なウエイトとして扱い、他は固定値データ２０を
読み込むことにより、ウエイトが０の時はメモリを使用
することがなくなる。

【００４６】通常、ニューラルネットワークでは、演算
が収束していく過程において、ニューロン数は大幅に少
なくなる。すなわち、ウエイト０のニューロチップが大
幅に増えることを意味しており、図５に示すように構成
した場合、全ニューロチップの半数以上がウエイト０に
なるので、これらに対するメモリを省略できることは、
メモリ使用量の大幅な図れることを意味する。

【００４７】

【発明の効果】以上説明したように本発明によれば、ニ
ューロン演算を行なう上でのメモリ使用量を節約し、デ
ータ読み書きの誤りや遅れを軽減して信頼性および高速
性を向上させることが可能な極めて信頼性の高いニュー
ロチップが提供できる。

【図面の簡単な説明】

【図１】本発明によるニューロチップの一実施例を示す
ブロック図。

【図２】同実施例におけるメモリインターフェース回路
の詳細な構成例を示すブロック図。

【図３】ニューラルネットワークシステムの構成例を示
す概要図。

【図４】一般的なニューロンのモデルの例を示す図。

【図５】一般的なニューラルネットワークのモデルの例
を示す図。

【図６】疎なニューラルネットワークのモデルの例を示
す図。

【図７】同実施例におけるメモリ使用方法の一例を示す
図。

【符号の説明】

１…ニューロン演算回路、２…メモリインターフェース
回路、３…外部インターフェース回路、４…制御回路、
５…アドレスバス、６…データバス、７…ブロードキャ
ストバス、８…リングバス、９…ステータス信号、１０
…コントロール信号、１１…内部バス、１２…アドレス
ジェネレータ、１３…レジスタ、１４…ポインタカウン
タ、１５…コンペア、１６…論理回路、１７…データイ
ンターフェース、１８…メモリ、１９…比較信号、２０
…固定値データ、２１…マスタノード、２２…スレーブ
ノード。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平３−251947（ＪＰ，Ａ) 特開 昭51−65844（ＪＰ，Ａ) 特開 平２−273867（ＪＰ，Ａ) 特開 昭62−93738（ＪＰ，Ａ) 特公 平３−6548（ＪＰ，Ｂ２) 下川勝千、他２名，”デジタルニュー ロコンピュータ ＭＵＬＴＩ ＮＥＵＲ Ｏ”，東芝レビュー，株式会社東芝, 1991年12月，ＶＯＬ．46，ＮＯ．12, Ｐ．931−934 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/08 G06F 17/16 G06F 12/04

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 複数のニューロチップがシナプス結合し
   てニューラルネットワークを構成するニューロチップに
   おいて、予めニューロチップ毎にポインタが設定され、前記ポイ
   ンタと前記シナプス結合の結合重みを組み合わせ、前記
   結合重みが０（零）以外である場合には、前記ポインタ
   と前記結合重みをメモリに格納し、且つ、前記結合重み
   が０（零）である場合には、前記ポインタのみを前記メ
   モリに格納し、更に連続してカウントアップする前記ポ
   インタの前記結合重みが０（零）である場合には、前記
   メモリへの格納を行わないこととし、 前記メモリに格納されている前記ポインタ及び前記結合
   重みの各々にアドレスを付与するアドレスジェネレータ
   と、 前記アドレスジェネレータによって付与されたアドレス
   に基づいて前記メモリから読み出されたポインタを格納
   するレジスタと、 前記アドレスジェネレータによって付与されたアドレス
   に基づいて前記メモリから読み出された結合重みを出力
   すると共に、この結合重みが読み出されない場合には固
   定値０（零）を出力するデータインタフェースと、 前記ポインタに対応する値を順次カウントアップするポ
   インタカウンタと、 前記ポインタカウンタによってカウントアップされた値
   と前記レジスタに格納されたポインタの値との一致／不
   一致を判別する判別手段と、 前記判別手段によって一致判別された場合には、前記ア
   ドレスジェネレータに次のポインタ及び結合重みのアド
   レスを付与させ、不一致判別された場合には、前記次の
   ポインタ及び結合重みのアドレスを付与させないように
   制御する制御回路とを備えてなることを特徴とするニュ
   ーロチップ。