JPH05233586A - デジタル神経回路およびその駆動方法 - Google Patents

デジタル神経回路およびその駆動方法

Info

Publication number
JPH05233586A
JPH05233586A JP4037860A JP3786092A JPH05233586A JP H05233586 A JPH05233586 A JP H05233586A JP 4037860 A JP4037860 A JP 4037860A JP 3786092 A JP3786092 A JP 3786092A JP H05233586 A JPH05233586 A JP H05233586A
Authority
JP
Japan
Prior art keywords
neuron
data
circuit
output
neurons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP4037860A
Other languages
English (en)
Inventor
Hiroyuki Kawai
浩行 河合
Yoshitsugu Inoue
喜嗣 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP4037860A priority Critical patent/JPH05233586A/ja
Publication of JPH05233586A publication Critical patent/JPH05233586A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

(57)【要約】 【目的】 複数のニューロン機能を1演算ユニットで実
現することのできるデジタル神経回路を提供することを
目的とする。 【構成】 デジタル神経回路は複数の重み係数保持手段
600a,600bを備える。この重み係数保持手段6
00は、接続されるニューロンを特定するタグデータと
このタグデータに対応する重み係数データとを格納す
る。デジタル神経回路はさらに入力データに含まれるタ
グデータ200と保持タグデータ601との一致を検出
する一致検出回路300a,300bと、この一致検出
回路300a,300bの一致判別結果に従って重み係
数保持手段に保持された重み係数を選択的に演算部10
0,101へ伝達する接続制御部400を備える。演算
部では、この接続制御部400から伝達された重み係数
と入力データに含まれるニューロンデータの積和演算を
実行する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は生体神経細胞を電子的
に表現する神経回路に関し、特に、デジタル回路により
ヒトの脳神経細胞を表現するデジタル神経回路の構成に
関する。
【0002】
【従来の技術】生体神経細胞(ニューロン)をモデルと
する計算処理手法が従来から種々提案されている。ニュ
ーロンをモデルとして構築されるデータ処理手法におい
ては、複数のニューロンからなるニューラルネットが用
いられる。或る入力データが与えられたときニューラル
ネットは、そのニューラルネット系全体のエネルギーが
極小値をとるような出力データを生成する。このニュー
ラルネットを用いるデータ処理手法では、入力データが
与えられたとき各ニューロン間で非同期的かつ並列にデ
ータ処理が実行される。このため、このニューラルネッ
トを用いる計算処理手法は、問題解決にアルゴリズムを
必要とせず、パターン認識および連想記憶などの非アル
ゴリズミックな問題の解決を得意とする。
【0003】このため、このニューロンをモデルとする
計算処理手法は、パターン認識分野、ロボット制御およ
び株価予測などの様々な分野で盛んに応用が行なわれて
おり、その効果を十分に発揮している。このようなニュ
ーラルネットは、ソフトウェアにより実現されるかまた
はハードウェアにより実現される。ハードウェアで実現
する場合には、アナログ回路を用いて実現されるか、ま
たはデジタル回路を用いて実現されるか、またはアナロ
グ回路とデジタル回路とを混在させて実現される。
【0004】図9は、一般的なニューロンのモデルを示
す図である。図9においては、ニューロンユニットiが
3つのニューロンユニットk,jおよびmと結合される
場合が示される。図9において、ニューロンユニットi
は、ニューロンユニットk,jおよびmの出力信号S
k、SjおよびSmを受ける入力部Aと、入力部Aから
の信号を予め定められた規則に従って変換する変換部B
と、変換部Bからの信号を出力する出力部Cとを含む。
【0005】入力部Aは、ニューロンユニットk,jお
よびmに対して所定の重み(シナプス荷重)を有する。
すなわち、入力部Aは、ニューロンユニットk,jおよ
びmからの出力信号Sk、SjおよびSmに対しそれぞ
れ重み係数Wik、WijおよびWimを重み付けし、
この重み付けした信号を変換部Bへ伝達する。たとえ
ば、ニューロンユニットkからの出力信号Skは、Sk
・Wikに変換された後変換部Bへ伝達される。
【0006】変換部Bは、入力部Aから与えられた信号
の総和が或る条件を満足すると発火して出力部Cへ信号
を伝達する。このニューロンユニットのモデルを生体脳
細胞に対応させると、入力部Aは樹状突起に対応し、変
換部Bは神経細胞体本体に対応し、かつ出力部Cは軸索
に対応する。
【0007】この図9に示すニューロンモデルにおい
て、簡単な電子モデルにおいては一般に、各ニューロン
ユニットは2つの状態、すなわち発火状態(Si=1)
および非発火状態(Si=0)をとると仮定される。各
ニューロンユニットは、その入力に従って自身の状態
(出力信号の値)を更新する。ニューロンユニットiの
総入力Uiは、 Ui=ΣWij・Sij+Wii で定義される。ただし総和Σはjに関して行なわれる。
Sijは、ニューロンユニットjからニューロンユニッ
トiヘ与えられる信号である。また、−Wiiはニュー
ロンユニットiのしきい値に対応しており、通常この値
は0に設定される。
【0008】ニューロンユニットiの出力Siは、 Si=f(Ui) で与えられる。この変換関数f( )には通常シグモイ
ド関数またはステップ関数などの単調増加関数が用いら
れる。ニューロンは一般には単独で用いられることは少
なく、ニューラルネット(神経回路網)は2個以上のニ
ューロンユニットを相互に結合させるかまたは階層的に
結合させることにより実現される。
【0009】図10に、このニューラルネットの一例と
してフィードフォワード接続を備える階層型ネットワー
クの構成を示す。図10に示す階層型ニューラルネット
は、入力層IN、中間層(隠れ層)HIおよび出力層O
Tの3層構造を備える。入力層INはニューロンユニッ
ト(以下、単にニューロンと称す)1a、1bおよび1
cを含む。中間層HIは、ニューロン2a、2bおよび
2cを含む。出力層OTはニューロン3a、3bおよび
3cを含む。入力層INの各ニューロン1a、1bおよ
び1cに対し、外部から入力データ10a、10bおよ
び10cがそれぞれ与えられる。出力層OTの各ニュー
ロン3a、3bおよび3cから外部出力データ13a、
13bおよび13cが出力される。入力層INのニュー
ロン1a、1bおよび1cの出力はそれぞれ所定の重み
係数を付されて中間層HIのニューロン2a、2bおよ
び2cへそれぞれ伝達される。
【0010】図10において、ニューロン1aは重み係
数W11、W12およびW13の結合強度をもって中間
層HIのニューロン2a、2bおよび2cへそれぞれ接
続される。ニューロン1bは重み係数W21の結合強度
でニューロン2aへ接続される。ニューロン1cは重み
係数W32およびW33をもってニューロン2bおよび
2cへそれぞれ接続される。
【0011】中間層HIのニューロン2a、2bおよび
2cはそれぞれ固有の重み係数をもって出力層OTのニ
ューロン3a、3bおよび3cへ接続される。すなわ
ち、ニューロン2aは信号線12aおよび12bを介し
てニューロン3aおよび3bへそれぞれ接続される。ニ
ューロン2bは信号線12c、12dおよび12eを介
してニューロン3a、3bおよび3cへ接続される。ニ
ューロン2cはニューロン3aへ接続される。各ニュー
ロン1aないし3cの動作は図9を参照して説明したニ
ューロンユニットの動作と同じであり、同じ機能を備え
る。単に重み係数が異なっているだけである。まず中間
層HIのニューロンの動作について以下に説明する。以
下に説明するニューロンの動作はネットワークの構成に
よらない一般性を有する。ニューロンはiは、上述のご
とく、与えられた入力に対して次式(1)および(2)
に従う演算を実行する。
【0012】Ui=ΣWij・Sij ……(1) Si=f(Ui) ……(2) ここでSijはニューロンiへニューロンjから伝達さ
れる入力データである。たとえばニューロン2aについ
て計算すると、次式(3)が得られる。
【0013】 U2a=W11・S(11a)+W12・S(11b)…(3) ここで、S(11a)およびS(11b)は信号線11
aおよび11b上のニューロン1aおよび1bから出力
される出力データを示す。重み係数W11およびW12
は各ニューロン間において固有である。図10に示すニ
ューラルネットにおいて、まず、信号線10a、10b
および10c上に与えられた入力データに従って入力層
INの各ニューロンの出力信号状態が決定され、応じて
中間層HIおよび出力層OTの各ニューロンの出力状態
が決定される。これにより、各ニューロン間の結合関係
および重み係数に従って、入力データに対応する出力デ
ータが信号線13a、13bおよび13c上に出力され
る。
【0014】式(1)および式(3)から、ニューロン
をデジタル回路を用いて構成するデジタルニューロン回
路に必要な構成要素は乗算器と累算器(基本的には加算
器)であることがわかる。一般に変換関数f( )はす
べてのニューロンに共通であり、回路規模の低減などの
観点から個々のニューロンに設けるよりも複数のニュー
ロンに対して1つ式(2)に示す変換機能を実現する回
路(参照テーブル等)が配置される。以後の説明におい
てニューロン回路(または神経回路)と称する場合に
は、この式(2)に相当する変換機能は含まれないもの
とする。
【0015】図11は従来のデジタル神経回路の構成を
示すブロック図である。このデジタル神経回路は1以上
のニューロンを表現することができ、たとえばこの図1
1に示すデジタル神経回路は図10に示す9個のニュー
ロンすべてを表現することができる。このデジタル神経
回路が幾つのニューロンを表現するかは図示しない周辺
回路の構成およびこのデジタル神経回路が用いられる神
経回路網の構成により決定される。図11にはデジタル
神経回路の基本的構成のみを示す。
【0016】図11において、デジタル神経回路は、関
連のニューロンに対する重み係数を格納する重み係数メ
モリ30と、関連のニューロンからのデータ20と重み
係数メモリ30からの重み係数との積演算を行なう乗算
器100と、乗算器100の出力を累算する累算器10
1とを含む。累算器101は、乗算器100の出力をそ
の一方入力に受ける加算器701と、加算器701の出
力を格納するラッチ(またはレジスタ)102とを含
む。ラッチ102の出力は加算器701の他方入力へ与
えられる。このラッチ回路102がラッチするデータ
は、デジタル神経回路が表現するニューロンの状態を表
わす。実際の回路構成においては、この累算器101の
出力が変換関数f( )を実現する回路へ与えられ、そ
の変換後の出力がニューロンの出力データとして利用さ
れる。乗算器100へ与えられるニューロンデータ20
はこの変換後のデータである。
【0017】まず、このデジタル神経回路が1ニューロ
ン(ニューロンiとする)の機能を実現している場合の
動作について説明する。乗算器100は2入力の乗算器
であり、一度に1つのニューロンからのデータを演算処
理することができるだけである。式(3)に示すように
複数のニューロンの出力データの演算処理を行なうため
には、時分割して1ニューロンずつニューロン出力デー
タをこのニューロンiへ与える必要がある。この時分割
構成はデジタル回路の場合避けることはできない。
【0018】乗算器100の他方入力へは重み係数メモ
リ30から重み係数Wijが与えられる。重み係数Wi
jは相手側(接続先)ニューロンjに対して一意的に定
められている。与えられたニューロンデータ20に対し
対応の重み係数Wijを重み係数メモリ30から読出す
ためには、どのニューロンからニューロンデータ20が
与えられたかを知る必要がある。このため、予め固定的
に定められた順番に従ってすべてのニューロンからデー
タが出力される。ニューロンのデータ出力順序はわかっ
ているため、ニューロンiにおいてはニューロンデータ
20がどのニューロンから与えられたかを知ることがで
き、それに対応する重み係数Wijを重み係数メモリ3
0から読出して準備することができる。
【0019】このニューロンのデータ出力順序はアドレ
ス25により特定される。重み係数メモリ30にはすべ
てのニューロンに対する重み係数が格納される。接続さ
れていないニューロンに対しては重み係数“0”が格納
される。
【0020】乗算器100の出力Wij・Sijは加算
器701に与えられる。加算器701はラッチ回路10
2のラッチデータと乗算器100の出力を加算する。加
算器701の出力はラッチ回路102へ与えられ、そこ
でラッチされる。したがって、加算器701およびラッ
チ回路102からなる累算器101は式(1)または式
(3)で示されるΣWij・Sijの演算を実行する。
この累算器101からのニューロン出力データ21は図
示しない変換回路により変換関数f(ΣWij・Si
j)で変換された後出力される。
【0021】
【発明が解決しようとする課題】上述のように1つのデ
ジタル神経回路(図11に示す構成)で1ニューロンの
機能を実現する場合、以下の問題が生じる。実用レベル
の大規模ニューラルネットを構築する場合、各ニューロ
ンに対応して図11に示すデジタル神経回路を設ける必
要があり、ハードウェア量が増大し、それに伴って実装
面積および消費電力が増大する。
【0022】一般にニューラルネットは、数多くのニュ
ーロンの相互結合で構成される。この場合、図10に示
すうようなフィードフォワード構成だけでなく、すべて
のニューロンが相互接続されるフルコネクショニスト構
成の場合、またフィードバック接続が行なわれることも
ある。したがって、図11に示すデジタル神経回路を各
ニューロンに対して設けてニューラルネットを構成した
場合、各デジタル神経回路へのアドレス印加およびデー
タ出力タイミングの制御を行なうための制御回路が数多
く必要となり、制御のためのハードウェア量が増大す
る。またこの図11に示すデジタル神経回路を用いて大
規模ニューラルネットを構成した場合、1つのデジタル
神経回路へは時分割的に複数のニューロンの出力データ
を与える必要があり、このため同時に2個以上のニュー
ロンからニューロンデータを出力させることが非常に困
難となり、この結果、演算効率が悪化するという問題が
生じる。
【0023】図11に示すデジタル神経回路により複数
のニューロンを表現させる構成とすることも可能であ
る。この場合、図11に示す累算器101に含まれるラ
ッチ回路102を各ニューロンに対応して設ける必要が
ある。この場合、累算器101の構成が大きくなるもの
の、デジタル神経回路の数が低減される。しかし、依然
以下のような問題が生じる。
【0024】ニューロン間結合強度を示す重み係数は各
ニューロン間で異なる。たとえば、図10において、ニ
ューロン2aとニューロン1aとの間の重み係数はW1
1であり、ニューロン2bとニューロン1aとの間の重
み係数はW12である。したがって、ニューロンデータ
20として同じニューロン(たとえばニューロン1a)
の出力データが与えられていても、重み係数メモリ30
からは異なる重み係数(たとえば重み係数W11または
W12)を読出す必要がある。この重み係数の区別を行
なうためには、アドレス25は、どのニューロンからの
出力データをどのニューロンが処理しているかを示す情
報を含む必要がある。このため、アドレス25の構成が
1ニューロン/1デジタル神経回路の構成に比べて複雑
となり、アドレスを発生するための制御回路の構成およ
び動作が複雑となる。この結果、大規模ニューラルネッ
トを構築するにあたってニューロン数が増大するにつれ
て飛躍的にこのニューロン間接続を制御するための構成
が複雑となる。また、ニューラルネットの規模が増大す
るにつれてアドレス信号線の数も増大し、配線面積が増
大する。また、1ニューロンずつデータ出力および演算
処理が行なわれるため、データ処理速度がさらに低下す
る。
【0025】それゆえ、この発明の目的は、上述の従来
のデジタル神経回路の有する問題点を除去し、少ハード
ウェア量、小面積かつ低消費電力の大規模ニューラルネ
ットを構築することのできるデジタル神経回路およびそ
の駆動方法を提供することである。
【0026】この発明の他の目的は、大規模ニューラル
ネットにおいてもニューロン間接続を容易に制御するこ
とのできるデジタル神経回路およびその駆動方法を提供
することである。
【0027】
【課題を解決するための手段】請求項1に係るデジタル
神経回路の駆動方法は、ニューロンを表現する回路の出
力データと該ニューロンを特定するタグデータとを組と
するデータをデジタル神経回路の入出力データとして伝
達するようにしたものである。このデジタル神経回路は
1以上のニューロンをデジタル的に(デジタル構成によ
り)表現する。
【0028】請求項2記載のデジタル神経回路は、関連
のニューロンとの結合の度合いを示す重み係数と各関連
のニューロンを特定するタグデータとを保持する重み係
数保持手段と、入力データに含まれるタグデータと重み
係数保持手段に保持されたタグデータとの一致を検出す
る一致検出手段と、この一致検出手段の出力に応答し
て、重み係数保持手段の対応の重み係数を選択して伝達
する係数伝達手段と、この係数伝達手段から伝達された
重み係数と入力データに含まれる演算データとに対し所
定の演算を行なって出力データを生成する演算手段とを
備える。
【0029】請求項3記載のデジタル神経回路は、この
請求項2記載のデジタル神経回路において係数伝達手段
が、一致検出手段からの不一致検出信号に応答して重み
係数“0”を示すデータを重み係数として演算手段へ伝
達する手段を含む。
【0030】請求項4記載のデジタル神経回路は、請求
項2記載のデジタル神経回路において、さらに演算手段
の出力データとこの出力データを生成したニューロンを
特定するタグデータとを組としてニューロン回路の出力
データを生成する出力データ生成手段を含む。
【0031】
【作用】請求項1記載の駆動方法においては、ニューロ
ン入出力データは、ニューロン機能を表現するニューロ
ン回路を特定するタグデータと、このニューロン回路の
出力演算データとを含む。このため、ニューロン間の信
号授受に必要な情報をすべて入(出)力データとして接
続先ニューロン回路へ伝達することができ、入力ニュー
ロンデータと対応の重み係数とを1つのデジタル神経回
路において対応づける制御が容易となり、ニューラルネ
ットの規模が増大しても容易にニューロンデータと重み
係数とを対応づけることができる。
【0032】請求項2記載のデジタル神経回路では、入
力データに含まれるタグデータと重み係数保持手段内の
タグデータとの一致により対応の重み係数が読出され、
演算手段へ伝達される。このため、重み係数選択時にア
ドレスを制御回路を介して係数メモリへ与える必要がな
く、1つのデジタル神経回路は1以上の任意の数のニュ
ーロンの機能を表現することができ、多数ニューロンを
有するニューラルネットを少ないハードウェア量で構築
することができる。
【0033】請求項3のデジタル神経回路においては、
一致検出手段が不一致を検出したときに重み係数“0”
を演算手段へ伝達するので、重み係数を重み係数保持手
段から演算手段へ伝達する際の、入力ニューロンデータ
と重み係数とを対応づけるための接続制御が容易とな
る。
【0034】請求項4記載のデジタル神経回路において
は、演算結果データにニューロン特定情報をリンクして
出力データを構成しているので、1以上のニューロンの
機能を1つのデジタル神経回路で表現する場合どのニュ
ーロンを担当するかをこのタグデータを設定することに
より決定することができ、ニューラルネット構築時にお
けるニューロン間の接続を容易に変更することができ、
フレキシブルなニューラルネットを容易に構築すること
ができる。また出力データにニューロン特定情報を含ん
でいるため容易に1つのデジタル神経回路が複数のニュ
ーロンの機能を担うことができる。
【0035】
【実施例】図1はこの発明に従うデジタル神経回路へ入
出力されるデータの形式を示す図である。図1におい
て、入出力データ201は、ニューロンデータ20と、
このニューロンデータ20を出力したニューロンを特定
するタグデータ(ニューロン番号)200とを含む。ニ
ューロンデータ20は、ニューロン機能を表現するデジ
タル回路(ニューロン回路と、式(2)に示す変換機能
とを含む回路)から出力される演算結果データである。
【0036】デジタル神経回路は、図1に示す形式のデ
ータ201を受けると、タグデータ200によりどのニ
ューロンからのデータであるかを判断し、このタグデー
タ200に対応する重み係数を演算部へ出力する。演算
部では、この与えられた重み係数とニューロンデータ2
0との積演算(積和演算)を行なう。
【0037】データ出力時において、デジタル神経回路
はこの演算結果と、この演算結果を生成したニューロン
を特定するタグデータとをリンクして出力する。このよ
うに、図1に示すデータ201には、デジタル神経回路
の演算に必要な情報がすべて含まれており、容易に入力
ニューロンデータ20と重み係数とを対応づけて演算を
実行することができる。このため、必要な重み係数を読
出すための制御が簡略化され、この制御機構に必要とさ
れるハードウェア量を大幅に削減することができる。
【0038】この図1に示すデータの形式においては、
タグデータ200の後にニューロンデータが配置されて
いるが、ニューロンデータ20の後にタグデータ200
が配置される構成が用いられてもよい。
【0039】図2はこの発明の一実施例であるデジタル
神経回路の構成を示す図である。図2に示すデジタル神
経回路は2つのニューロンの機能を担うことができる。
図2において、デジタル神経回路は、第1のニューロン
のための重み係数を保持する重み係数保持部600a
と、第2のニューロンのための重み係数を保持する重み
係数保持部600bとを含む。
【0040】重み係数保持部600aは、第1のニュー
ロンに接続されるニューロンを特定するタグデータ(以
下、ニューロン番号と称す)を格納するニューロン番号
格納部601aと、各ニューロン番号で特定されるニュ
ーロンに対する重み係数を格納する重み係数格納部60
2aを含む。
【0041】重み係数保持部600bは、第2のニュー
ロンに接続されるニューロンを特定するニューロン番号
を格納するニューロン番号格納部601bと、各ニュー
ロン番号により特定されるニューロンに対する重み係数
を格納する重み係数格納部602bを含む。
【0042】デジタル神経回路はさらに、入力データに
含まれるニューロン番号200と重み係数保持部600
a(ニューロン番号格納部601a)に格納されたニュ
ーロン番号との一致を検出する一致検出回路300a
と、入力ニューロン番号200と重み係数保持部600
b(ニューロン番号格納部601b)に格納されたニュ
ーロン番号との一致を検出する一致検出回路300b
と、重み係数保持部600aのデータ読出位置を示すポ
インタを発生するポインタ回路610aと、重み係数保
持部600bのデータ読出位置を示すポインタを発生す
るポインタ回路610bを含む。ポインタ回路610a
および610bはそれぞれ一致検出回路300aおよび
300bからの一致検出信号301aおよび301bに
応答してそのポインタ値をインクリメントまたはデクレ
メントする。このポインタ回路610aおよび610b
はまた重み係数保持部600aおよび600bのデータ
を読出す機能を併せて備えていてもよい。
【0043】デジタル神経回路はさらに、一致検出回路
300aおよび300bからの一致検出信号301aお
よび301bに応答して、重み係数保持部600aおよ
び600bからの重み係数を演算部へ伝達するための接
続制御部400と、接続制御部400からの重み係数と
入力ニューロンデータ20との積演算を行なう乗算器1
00と、乗算器100の出力を第1および第2のニュー
ロンごとに累算する累算器101を含む。累算器101
の構成については後に詳細に説明する。
【0044】接続制御部400は、一致検出回路300
aからの一致検出信号301aに応答して重み係数保持
部600a(重み係数格納部602a)からの重み係数
を通過させるスイッチ回路401aと、一致検出回路3
00bからの一致検出信号301bに応答して重み係数
保持部600b(重み係数格納部602b)からの重み
係数を通過させるスイッチ回路401bを含む。スイッ
チ回路401aおよび401bの出力が同時に乗算器1
00へ与えられることは禁止される。したがって接続制
御回路400は、この一致検出信号301aおよび30
1bに従ってスイッチ回路401aおよび401bの開
閉またはその出力伝達を制御する回路部分を含む。しか
し図においては図面の煩雑化を避けるためにその制御回
路部分は示していない。
【0045】図2に示すデジタル神経回路へは、図1に
示す形式を有するデータが与えられる。次に動作につい
て説明する。
【0046】他のニューロンまたは外部から与えられる
入力データはこのデジタル神経回路へ到達するとニュー
ロン番号200とニューロンデータ20とに分離され
る。ニューロン番号200は一致検出回路300aおよ
び300bへ与えられる。重み係数保持部600aおよ
び600bは入力データの到達に応答してポインタ回路
610aおよび610bからのポインタが示す位置のニ
ューロン番号を一致検出回路300aおよび300bへ
それぞれ与える。
【0047】一致検出回路300aは、この重み係数保
持部600aから与えられたニューロン番号と入力デー
タに含まれるニューロン番号200とが一致した場合、
一致検出信号301aを発生する。一致検出回路300
bも同様の判別動作を行ない、その判別結果に従って信
号301bを発生する。一致検出回路300aおよび3
00bからの一致検出信号301aおよび301bは接
続制御部400へ与えられるとともにポインタ回路61
0aおよび610bへそれぞれ与えられる。
【0048】ポインタ回路610aは与えられた一致検
出信号301aが活性状態にあり一致を示している場合
にはそのポインタの値を1インクリメントまたはデクリ
メントする。一方、与えられた一致検出信号301aが
不活性状態にあり不一致を示している場合には、ポイン
タ回路610aはそのポインタ値を更新せずにそのとき
の値を保持する。ポインタ回路610bも同様に一致検
出信号301bの一致/不一致指示状態に応じてそのポ
インタ値の変更を行なう。これは、デジタル神経回路へ
は、ニューロンの出力は時分割的に順次与えられるため
であり、不一致が見出されたニューロン番号に対応する
ニューロンからの出力データはこの計算サイクルにおい
ては与えられないからである。
【0049】接続制御部400は一致検出回路300a
および300bからの一致検出信号301aおよび30
1bに従って重み係数保持部600aおよび600bか
ら読出された重み係数を選択的に通過させる。ここで、
重み係数保持部600aおよび600bにおいては、ニ
ューロン番号とその対応の重み係数とがリンクして格納
されており、ポインタ回路610(610aまたは61
0b)からのポインタ値に従って対応の重み係数がまた
同時に読出されている。
【0050】接続制御部400においては以下の動作が
実行される。スイッチ回路401aは一致検出信号30
1aが活性状態にあり一致を示している場合には、この
与えられた重み係数を乗算器100へ伝達する。スイッ
チ回路401bはこの一致検出信号301bが一致を示
しているとき重み係数保持部600bからの重み係数を
乗算器100へ与える。乗算器100へは1つのニュー
ロンに対する重み係数のみが伝達される。したがってこ
の一致検出信号301aおよび301bが共に活性状態
にあり一致を示している場合には、スイッチ回路401
aおよび401bは時分割的に導通状態とされる。この
時分割動作は接続制御部400における図示しない制御
部により一致検出信号301aおよび301bの状態を
見ることにより実行される。
【0051】乗算器100はこの与えられた重み係数と
ニューロンデータ20との乗算を行ない累算器101へ
伝達する。累算器101においては、このデジタル神経
回路が表現する各ニューロンに対応してラッチ回路が設
けられており、各ニューロンごとに累算結果が保持され
る。
【0052】一致検出信号が不一致を示している場合、
その不一致を示したニューロン番号のニューロンに対す
る演算は実行されない。この演算の実行の有無は、一致
検出信号301aおよび301bの状態を見て、累算器
101の出力(ラッチ回路のラッチデータ)の読出を制
御することにより容易に実行することができる。一致検
出信号301aおよび301bが共に不一致を示してい
る場合にはこのニューロンデータ20に対する演算は実
行されない。
【0053】上述の動作がこのデジタル神経回路に接続
されるニューロンすべてに対して実行された後、累算器
101からデータが出力される。この累算器101から
出力されるデータは、図1に示すデータ形式を備えてお
り、第1のニューロンを特定するニューロン番号と第1
のニューロンが与える演算処理結果からなるデータおよ
び第2のニューロンを特定するニューロン番号とこの第
2のニューロンからの演算処理結果からなるデータが時
分割的に出力される。
【0054】この図2に示す構成の場合、重み係数保持
部は、最大でもこのデジタル神経回路が担当するニュー
ロンの数だけ要求されるだけである。たとえば、この重
み係数保持部600(600aまたは600b)をバン
ク構成とし第1および第2のニューロンをそれぞれのバ
ンクに対応させれば重み係数保持部は1個しか必要とさ
れない。一方、演算部は、その大部分の構成がこのデジ
タル神経回路が担うニューロンで共用することができ
る。一般に、メモリ素子は微細化されており、この重み
係数保持部600aおよび600bにメモリを用いた場
合、重み係数保持部の占有面積は小さなものであり、こ
のデジタル神経回路を用いて大規模ニューラルネットを
構成しても、この重み係数保持部の占有面積は小面積化
に対するネックとはならない。大規模ニューラルネット
構成時において占有面積の上で問題となるのは演算部で
あり、特に演算精度を上げると乗算器に必要とされる加
算器等の数が増加し、大規模ニューラルネット構成時に
おける大きなネックとなる。したがって、この図2に示
すように演算部を共用する構成とすることにより大規模
ニューラルネット構成時における面積増加を大幅に低減
することができる。
【0055】またデジタル神経回路の利点は、アナログ
神経回路に比べて演算精度を高くすることができ、消費
電力が少なくかつネットワークの構成の変更を容易に行
なうことができる点である。アナログ神経回路の場合ニ
ューロンとニューロンとの間の接続は一意的に決定され
ており、その接続を変更するために配線接続を変更する
必要がある。一方、デジタル神経回路においてはこのニ
ューロン間の接続の変更は重み係数保持部におけるニュ
ーロン番号と重み係数を変更することにより容易に実現
することができる。
【0056】図2においては明確に示していないが重み
係数保持部600aおよび600bにおけるその記憶内
容を外部からプログラム可能でありかつデータが読出を
行なうことのできるPROM(プログラマブル読出専用
メモリ)またはRAM(ランダム・アクセス・メモリ)
を用いて構成すれば、このニューロン番号および重み係
数の変更は容易に実行することができ、ニューラルネッ
トの構成の変更が容易に行なえる。このときまた、重み
係数保持部としてはその内容が書換可能な複数のデータ
レジスタからなるレジスタファイルが用いられてもよ
い。
【0057】したがって、このようにデジタル神経回路
において演算部を複数のニューロンに対して共用する構
成とすることにより、演算精度を高くしてもハードウェ
ア量はそれほど増大せずに少ハードウェア量、小占有面
積および低消費電力の所望の接続構成を有する大規模ニ
ューラルネットを容易に構築することができる。
【0058】図3は図2に示すデジタル神経回路の変更
例を示す図である。図3に示すデジタル神経回路は、接
続制御部400が、不一致検出信号(不活性状態の一致
検出信号)を与えられたとき接地電位GNDを出力する
構成が図2に示すデジタル神経回路と異なっている。他
の構成はこの図2に示すデジタル神経回路と同様であ
る。すなわち、この接続制御部400に含まれるスイッ
チ回路402aは、重み係数保持部600aからの重み
係数データを受ける入力端子404aと、接地電位に接
続される端子403aを含む。一致検出信号301aが
活性状態にあり一致を示している場合、スイッチ回路4
02aはこの入力端子404aへ与えられた重み係数デ
ータを通過させる。一致検出信号301aが不一致を示
している場合、スイッチ回路402aは端子403aへ
与えられている接地電位GNDを出力する。接地電位は
データ“0”に対応し、したがってスイッチ回路402
aが端子403aに与えられた接地電位を出力すること
は、重み係数“0”を出力することと等価である。
【0059】この接続制御部400に含まれる他方のス
イッチ回路402bも同様、重み係数保持部600bか
らの重み係数データを受ける入力端子404bと、接地
電位に接続される端子403bを含む。このスイッチ回
路402bも、一致検出信号301bが一致を示してい
る場合には与えられた重み係数データを伝達し、不一致
を示している場合には接地電位を出力する。
【0060】図3に示すデジタル神経回路の構成におい
ては、一致検出信号301aおよび301bの一致/不
一致指示にかかわらずスイッチ回路402aおよび40
2bの出力がシーケンシャルに乗算器100へ与えられ
る。たとえば、一致検出信号301aが不一致を示して
いる場合、スイッチ回路402aは端子403aへ与え
られた接地電位を出力する。この場合、スイッチ回路4
02aからは重み係数“0”が出力されることと等価で
ある。乗算器100は、このスイッチ回路402aから
の重み係数“0”とニューロンデータ20との積を行な
い累算器101へ格納する。このとき、乗算器100の
出力は“0”であり累算器101には“0”が累算され
る。この動作は実質的には演算を実行しなかったことと
等価である。
【0061】したがって、この図3に示す構成の場合、
接続制御部400におけるスイッチ回路402aおよび
402bの出力の選択制御および演算部(乗算器100
および累算器101)における各ニューロンごとの演算
を実行するための動作制御をすべてニューロンデータ2
0の到達に従って所定の順序でシーケンシャルに行なう
だけでよく、このための動作制御を大幅に簡略化するこ
とができる。
【0062】図3に示すこのデジタル神経回路の重み係
数保持部600aおよび600bの構成および一致検出
回路300aおよび300bの構成および動作とポイン
タ回路610aおよび610bの構成および動作は図2
に示すものと同様である。
【0063】なお図1および図2に示すデジタル神経回
路の構成において、ポインタ回路610(610a、6
10b)、重み係数保持部600(600a、600
b)および一致検出回路300(300a、300b)
はニューロン番号200を検索データとして入力する連
想メモリを用いて構成されてもよい。この連想メモリを
用いる構成の場合、一致が見出されたニューロン番号に
対応する重み係数データが出力されるとともにその一致
を示す一致信号が出力される。
【0064】図4はこの発明によるデジタル神経回路の
累算器および出力データ生成部の構成を示す図である。
図4に示すデジタル神経回路は、4つのニューロンの機
能を実現する。図4において、累算器101は各ニュー
ロンごとに累算データを保持する累算データ保持回路7
05と、乗算器100からの積結果データ700と累算
データ保持回路705からの累算データとを加算する加
算器701と、累算データ保持回路705のデータの読
出および書込位置を指定するポインタを生成するポイン
タ生成回路800aを含む。
【0065】出力データ生成部は、出力データ保持部7
04と、この出力データ保持部704のデータの読出お
よび書込位置を指定するポインタを生成するポインタ生
成回路800bを含む。出力データ保持部704は、こ
のデジタル神経回路が担うニューロンを特定するニュー
ロン番号702と、このニューロン番号に対応する累算
結果データ703とを対応づけて格納する。次に動作に
ついて説明する。
【0066】今このデジタル神経回路が担当するニュー
ロンの番号を♯1ないし♯4とする。ニューロン番号♯
1のニューロンの乗算結果700が加算器701に到達
したとする。このとき、累算データ保持回路705から
このニューロン番号♯1の累算中間結果がポインタ生成
回路800aからのポインタにより読出され、加算器7
01へ与えられる。加算器701はこの累算データ保持
回路705からの中間結果データを積結果700と加算
して出力する。この加算器701の加算結果はポインタ
生成回路800aのポインタにより再び累算データ保持
回路705へ格納されるとともに、ポインタ生成回路8
00bからのポインタにより、ニューロン番号♯1に対
応する位置にこの累算中間結果が格納される。以後、♯
2、♯3および♯4のニューロン番号のニューロンにつ
いて同様の動作が繰返される。
【0067】このデジタル神経回路が担当するニューロ
ンすべてについて必要な演算が終了すると、外部からの
指示に従って、ポインタ生成回路800bのポインタに
従って累算データ保持回路704に格納されたニューロ
ン番号702と対応のデータ703とが順次ニューロン
番号に従って出力される。この後、図示しない参照テー
ブルなどによりデータ703が変換される。このときニ
ューロン番号702をも併せて出力するのはニューロン
ごとにこの変換関数の形式が異なる場合にも対処するた
めである。
【0068】この累算データ保持回路704に格納され
るニューロン番号702は外部からプログラム可能であ
り、ニューラルネット構築時にこのデジタル神経回路が
担当するニューロンを特定するニューロン番号がプログ
ラムされる。
【0069】この累算データ保持回路705および70
4はFIFOのようなメモリであってもよく、またデー
タレジスタのようなものであってもよく、その格納デー
タが書込および読出が可能な機能を備えていればよい。
このデジタル神経回路の構成において、デジタル神経回
路が担当するニューロンの数は任意であり、構築される
ニューラルネットの構成に従って所望の数に設定され
る。
【0070】図5は図4に示す構成の変更例を示す図で
ある。この図5に示す構成は、図4に示す累算中間結果
格納用データ保持部と出力データ格納用データ保持部と
を兼用する構成を備える。動作は図4に示す構成と同様
であり、ポインタ生成回路800からのポインタにより
データ保持部704から対応の累算データ703が読出
され加算器701へ与えられ、加算器701からの加算
結果が再びポインタ生成回路800の示すポインタ位置
へ格納される。この場合、データ保持部704からはニ
ューロン番号702も同時に読出される。しかしなが
ら、この場合最終の累算結果を出力する部分に制御信号
に応答して活性化されるバッファ回路を設けておけば、
このデジタル神経回路の出力が誤って外部に送出されて
誤った演算が行なわれることはない。この場合、制御信
号により動作制御されるバッファに代えてスイッチ回路
が用いられてもよい。図5に示す構成の場合、累算中間
結果格納用データ保持部と出力データ格納用データ保持
部とは兼用されるため、デジタル神経回路の占有面積お
よびハードウェア量を削減することができる。
【0071】図6は、デジタル神経回路の累算器部およ
び出力データ生成部のさらに他の構成を示す図である。
図6に示すデジタル神経回路は、加算器701の出力を
各ニューロンごとに格納する累算データ保持部900
と、クロック信号に応答して、この累算データ保持部9
00のデータの書込および読出位置を示すポインタを発
生するポインタ生成回路800と、この累算データ保持
部900のデータの書込および読出位置を示すポインタ
をクロック信号に応答して生成するポインタ生成回路8
00と、クロック信号に応答してこの累算データ保持回
路900に保持されたデータとリンクされるべきニュー
ロン番号を生成するカウンタ回路801を含む。ポイン
タ生成回路800は、クロック信号に応答して、この乗
算器700から積結果が与えられるのに応答してこの累
算データ保持部900から対応のデータを読出すように
ポインタを発生する。カウンタ回路801は、このデジ
タル神経回路からデータを出力するときにクロック信号
をカウントし、累算データ保持部900から読出された
データに対応するニューロン番号を生成する。このと
き、このデジタル神経回路からの出力データは参照テー
ブルへ与えられて最終的なニューロンデータに変換され
る。したがってカウンタ回路801の出力するカウント
値が実際のニューロン番号と一致しなくてもよい。すな
わち、参照テーブルで変換された後このカウンタ回路8
01のカウント値が最終的なニューロン番号に変換され
てもよいためである。
【0072】また、このカウンタ回路801が初期カウ
ント値がプログラム可能なカウンタ回路であれば、デジ
タル神経回路ごとにカウンタ回路801の初期カウント
値をプログラムすることによりカウンタ回路801の出
力をそのままニューロン番号として用いることができ
る。この場合、カウンタ回路801は、このデジタル神
経回路が担うニューロンのデータをすべて出力した場合
初期値へリセットされる。
【0073】この図6に示す構成の場合、特にニューロ
ン番号を格納するためのニューロン番号保持回路を設け
る必要がなく、さらにハードウェア量が低減される。
【0074】図7はこの発明のデジタル神経回路の累算
器および出力データ生成部のさらに他の変更例を示す図
である。図7において、累算器は加算器701と、この
デジタル神経回路が担当するニューロンごとに格納する
累算データ保持部900と、この累算データ保持部90
0のデータの書込および読出位置を示すポインタ生成回
路802とを含む。このポインタ生成回路802が生成
するポインタがニューロン番号として出力される。この
図7に示す構成は図6に示す構成においてカウンタ回路
801を取除き、ポインタ生成回路802の発生するポ
インタをニューロン番号として用いるものである。
【0075】この場合、累算動作は先に図4ないし7を
参照して示したものと同様にして実行される。この構成
の場合、ニューロン番号は予め外部から設定されるので
はなくポインタ生成回路802により生成される。出力
データはポインタ生成回路802からのポインタとデー
タ保持部900からの累算結果データとを含む。この図
7に示す構成の場合、累算器をそのまま出力データ生成
部として利用することができ、さらにハードウェア量が
低減される。
【0076】図8はデジタル神経回路の累算器および出
力データ生成部のさらに他の構成を示す図である。図8
に示すデジタル神経回路は、各ニューロンごとに加算器
701の出力を格納する累算データ保持部900と、こ
の累算データ保持部900のデータの書込および読出位
置を示すポインタを生成するポインタ生成回路802
と、外部から与えられる外部設定値とポインタ生成回路
802からのポインタとを選択的に通過させるセレクタ
回路810と、セレクタ回路810の出力を格納するニ
ューロン番号保持回路820を含む。セレクタ回路81
0は外部設定値をこのニューロン番号保持回路820の
上位ビット位置にセットし、一方ポインタ生成回路80
2からのポインタをこのニューロン番号保持回路820
の下位ビット側にセットする。データの累算動作は上で
図4ないし図7を参照して説明した場合と同様である。
すなわちポインタ生成回路802からのポインタに従っ
て累算データ保持部900からデータが読出され、加算
器701の出力がこのポインタが示す位置に格納され
る。
【0077】ニューロン番号保持回路820は、オフセ
ット値を格納するための格納回路820aとポインタを
格納するためのポインタ格納回路820bを含む。
【0078】セレクタ回路810は外部設定値をオフセ
ット値としてこのニューロン番号保持回路の格納部82
0aへ設定する。デジタル神経回路から出力データが出
力される場合にはセレクタ回路810はこのポインタ生
成回路802からのポインタを選択してニューロン番号
保持回路820のポインタ保持部820bへ設定する。
このニューロン番号保持回路820に格納されたオフセ
ット値およびポインタ値がニューロン番号情報として累
算データ保持部900から読出されたデータと共に出力
データとして出力される。
【0079】デジタル神経回路が担当するニューロンに
付すべきニューロン番号がポインタ生成回路802から
のポインタにより指定される範囲外の場合が生じる。こ
の場合、各ニューロンを特定するために、ポインタ生成
回路802からのポインタに対しオフセット値を加える
必要が生じる。このオフセット値を加えるためにセレク
タ回路810を用いて外部からこのオフセット量を外部
設定値としてニューロン番号保持回路820をオフセッ
ト値格納部820aへ設定する。これにより多数のニュ
ーロンからなるニューラルネットを構築する場合におい
ても簡易な回路構成で確実にニューロンを特定するニュ
ーロン番号を生成することができる。
【0080】この外部設定値はラッチ回路を設けてお
き、デジタル神経回路の動作に先立って予めこのラッチ
回路に設定される構成が用いられてもよい。
【0081】またセレクタ回路810およびニューロン
番号保持回路820の代わりに加算回路を用いることも
できる。この場合、外部設定値をラッチ回路などのよう
なラッチ機能を備える記憶回路に設定しておき、この加
算回路が外部設定値とポインタ生成回路802からのポ
インタとを加算してニューロン番号を生成するように構
成される。このような構成により、大規模ニューラルネ
ットにおいても確実にニューロンを特定するニューロン
番号を生成することができる。
【0082】
【発明の効果】請求項1記載の発明に従えば、ニューロ
ンを特定するタグデータ(ニューロン番号)とこのニュ
ーロンの演算結果データとを組としてデジタル神経回路
の入出力データとして用いるように構成したため、ニュ
ーロン間の信号授受に必要な情報をすべてこのデータに
含めてニューロン間で受け渡すことができ、ニューラル
ネット構成時においてデジタル神経回路における演算処
理に必要とされる制御をたとえニューラルネット規模が
増大しても容易に実行することができ、この制御に要す
るハードウェア量を低減することができるとともに大規
模ニューラルネットを容易に構築することができる。
【0083】さらに、この請求項1記載の発明に従え
ば、一般的にニューロン特定情報がデータとして伝達さ
れるため、データ伝達線の本数が増大するものの、複数
のニューロンから一度にデータを出力させることのでき
るネットワークの構築を比較的容易に実現することがで
きる。
【0084】請求項2記載の発明に従えば、入力データ
に含まれるタグデータ(ニューロン番号)と重み係数保
持手段に保持されたタグデータとの一致/不一致を判別
し、この判別結果に従って重み係数保持手段から対応の
重み係数を演算部へ手渡して所望の演算処理を実行する
ように構成しているため、1つの回路ユニットで1以上
のニューロン機能を担うことができ、多数ニューロンを
要求するニューラルネットを少ないハードウェア量、小
占有面積および低消費電力で構築することができるとと
もに、入力ニューロンデータとニューロンとの対応付け
を行なうための制御を容易に実行することができる。
【0085】請求項3記載の発明に従えば、一致検出手
段からの不一致検出信号に応答して重み係数“0”を示
すデータを重み係数として演算部へ伝達しているため、
演算部へはこのデジタル神経回路が担うニューロンを予
め定められた順序に従って順次重み係数を伝達しかつ演
算部における対応のニューロンの選択をシーケンシャル
に実行することができ、この重み係数と入力ニューロン
データとの対応付けおよび累算データの生成を簡潔な制
御構成で容易に実行することができる。
【0086】請求項4記載の発明に従えば、演算部の出
力データとこの出力データを生成したニューロンを特定
するタグデータとを組としてニューロン回路の出力デー
タを生成するように構成したため、1以上のニューロン
機能を1つの回路ユニットで実現する場合、どのニュー
ロンの出力データであるかを容易に特定することがで
き、ニューラルネットの接続構成を柔軟に設定すること
ができるとともに、このニューラルネットを小占有面
積、かつ少ないハードウェア量で実現することができ
る。
【図面の簡単な説明】
【図1】この発明に従うデジタル神経回路の駆動方法に
おいて用いられるニューロン入出力データの形式を示す
図である。
【図2】この発明の一実施例であるデジタル神経回路の
構成を示す図である。
【図3】図2に示すデジタル神経回路の変更例を示す図
である。
【図4】この発明に従うデジタル神経回路の累算部およ
び出力データ生成部の構成を示す図である。
【図5】図4に示す構成の変更例を示す図である。
【図6】図4に示す構成の他の変更例を示す図である。
【図7】図4に示す構成のさらに他の変更例を示す図で
ある。
【図8】図4に示す構成のさらに他の変更例を示す図で
ある。
【図9】ニューロンを電子的に表現する際に用いられる
一般的なニューロンモデルを示す図である。
【図10】ニューラルネットの構成の一例を示す図であ
る。
【図11】従来のデジタル神経回路の構成を示す図であ
る。
【符号の説明】
20 ニューロンデータ 100 乗算器 101 累算器 200 タグデータ(ニューロン番号) 201 ニューロン入出力データ 300a 一致検出回路 300b 一致検出回路 400 接続制御部 402a スイッチ回路 402b スイッチ回路 401a スイッチ回路 401b スイッチ回路 600a 重み係数保持部 600b 重み係数保持部 601a ニューロン番号格納部 601b ニューロン番号格納部 602a 重み係数格納部 602b 重み係数格納部 610a ポインタ回路 610b ポインタ回路 704 出力データ保持部 705 累算データ保持回路 702 ニューロン番号 703 累算結果データ 900 累算データ保持部 810 セレクタ回路 820 ニューロン番号保持回路
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成4年12月15日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正内容】
【0007】この図9に示すニューロンモデルにおい
て、簡単な電子モデルにおいては一般に、各ニューロン
ユニットは2つの状態、すなわち発火状態(Si=1)
および非発火状態(Si=0)をとると仮定される。各
ニューロンユニットは、その入力に従って自身の状態
(出力信号の値)を更新する。ニューロンユニットiの
総入力Uiは、 Ui=ΣWij・Sij+Wii で定義される。ただし総和Σはjに関して行なわれる。
Sijは、ニューロンユニットjからニューロンユニッ
トjへ与えられる信号である。また、Wiiはニューロ
ンユニットiのしきい値に対応しており、通常この値は
0に設定される。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0011
【補正方法】変更
【補正内容】
【0011】中間層HIのニューロン2a、2bおよび
2cはそれぞれ固有の重み係数を持って出力層OTのニ
ューロン3a、3bおよび3cへ接続される。すなわ
ち、ニューロン2aは信号線12aおよび12bを介し
てニューロン3aおよび3bへそれぞれ接続される。ニ
ューロン2bは信号線12c、12dおよび12eを介
してニューロン3a、3bおよび3cへ接続される。ニ
ューロン2cはニューロン3aへ接続される。各ニュー
ロン1aないし3cの動作は図9を参照して説明したニ
ューロンユニットの動作と同じであり、同じ機能を備え
る。単に重み係数が異なっているだけである。まず、中
間層HIのニューロンの動作について以下に説明する。
以下に説明するニューロンの動作はネットワークの構成
によらない一般性を有する。ニューロンiは、上述のご
とく、与えられた入力に対して次式(1)および(2)
に従う演算を実行する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0033
【補正方法】変更
【補正内容】
【0033】請求項3のデジタル神経回路においては、
一致検出手段が不一致を検出したときに重み係数“0”
を演算手段へ伝達するので、重み係数保持手段のハード
ウェア量を低減することができ、また重み係数を重み係
数保持手段から演算手段へ伝達する際の、入力ニューロ
ンデータと重み係数とを対応づけるための接続制御が容
易となる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0040
【補正方法】変更
【補正内容】
【0040】重み係数保持部600aは、第1のニュー
ロンに接続されるニューロンを特定するタグデータ(以
下、ニューロン番号と称す)を格納するニューロン番号
格納部601aと、各ニューロン番号で特定されるニュ
ーロンに対する重み係数を格納する重み係数格納部60
2aを含む。重み係数保持部600aに格納されるデー
タは、ニューロン番号の値に従ってソーティングされて
いると仮定する。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0041
【補正方法】変更
【補正内容】
【0041】重み係数保持部600bは、第2のニュー
ロンに接続されるニューロンを特定するニューロン番号
を格納するニューロン番号格納部601bと、各ニュー
ロン番号により特定されるニューロンに対する重み係数
を格納する重み係数格納部602bを含む。重み係数保
持部600bに格納されるデータは、ニューロン番号の
値に従ってソーティングされているものとする。

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 1以上のニューロンをデジタル的に表現
    するデジタル神経回路の駆動方法であって、 ニューロンを表現する回路の出力データと該ニューロン
    を特定するタグデータとを組とするデータをデジタル神
    経回路の入出力データとして伝達することを特徴とす
    る、デジタル神経回路の駆動方法。
  2. 【請求項2】 1以上のニューロンをデジタル回路によ
    り表現するデジタル神経回路であって、 関連のニューロンとの結合の度合いを示す重み係数と各
    関連のニューロンを特定するタグデータとを保持する重
    み係数保持手段、 入力データに含まれるタグデータと前記重み係数保持手
    段に保持されたタグデータとの一致を検出する一致検出
    手段、前記入力データはさらにニューロンの出力を示す
    演算データを含み、 前記一致検出手段の出力に応答して、前記重み係数保持
    手段の対応の重み係数を選択して伝達する係数伝達手
    段、および前記係数伝達手段からの重み係数と前記入力
    データに含まれる演算データとに対し所定の演算を行な
    って出力データを生成する演算手段とを備える、デジタ
    ル神経回路。
  3. 【請求項3】 前記係数伝達手段は前記一致検出手段か
    らの不一致検出信号に応答して重み係数「0」を示すデ
    ータを重み係数として前記演算手段へ伝達する手段を含
    む、請求項2記載のデジタル神経回路。
  4. 【請求項4】 前記演算手段の出力データと該出力デー
    タを生成したニューロンを特定するタグデータとを組と
    して該神経回路の出力データを生成する出力データ生成
    手段をさらに含む、請求項2記載のデジタル神経回路。
JP4037860A 1992-02-25 1992-02-25 デジタル神経回路およびその駆動方法 Withdrawn JPH05233586A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4037860A JPH05233586A (ja) 1992-02-25 1992-02-25 デジタル神経回路およびその駆動方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4037860A JPH05233586A (ja) 1992-02-25 1992-02-25 デジタル神経回路およびその駆動方法

Publications (1)

Publication Number Publication Date
JPH05233586A true JPH05233586A (ja) 1993-09-10

Family

ID=12509305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4037860A Withdrawn JPH05233586A (ja) 1992-02-25 1992-02-25 デジタル神経回路およびその駆動方法

Country Status (1)

Country Link
JP (1) JPH05233586A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418333B2 (en) 2013-06-10 2016-08-16 Samsung Electronics Co., Ltd. Synapse array, pulse shaper circuit and neuromorphic system
JP2018514872A (ja) * 2015-04-27 2018-06-07 ユニヴァーシテト チューリッヒ スケーラブルなイベント駆動型計算システムのための異種メモリ構造をもつネットワークおよび階層型ルーティングファブリック
WO2018135002A1 (ja) * 2017-01-23 2018-07-26 株式会社カヤック 人工ニューラルネットワークシステム、人工ニューラルネットワークの制御方法および人工ニューラルネットワークのためのデータ構造
JP2019109680A (ja) * 2017-12-18 2019-07-04 大日本印刷株式会社 デバイス、セキュアエレメント、プログラム、情報処理方法及び情報処理システム
CN110462642A (zh) * 2017-04-04 2019-11-15 海露科技有限公司 包括计算元件和本地存储器元件的神经网络处理元件
JP2020194442A (ja) * 2019-05-29 2020-12-03 富士通株式会社 最適化装置及び最適化方法
US11615297B2 (en) 2017-04-04 2023-03-28 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network compiler
US11811421B2 (en) 2020-09-29 2023-11-07 Hailo Technologies Ltd. Weights safety mechanism in an artificial neural network processor
US11874900B2 (en) 2020-09-29 2024-01-16 Hailo Technologies Ltd. Cluster interlayer safety mechanism in an artificial neural network processor

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418333B2 (en) 2013-06-10 2016-08-16 Samsung Electronics Co., Ltd. Synapse array, pulse shaper circuit and neuromorphic system
US11240177B2 (en) 2015-04-27 2022-02-01 Universitat Zurich Networks and hierarchical routing fabrics with heterogeneous memory structures for scalable event-driven computing systems
JP2018514872A (ja) * 2015-04-27 2018-06-07 ユニヴァーシテト チューリッヒ スケーラブルなイベント駆動型計算システムのための異種メモリ構造をもつネットワークおよび階層型ルーティングファブリック
WO2018135002A1 (ja) * 2017-01-23 2018-07-26 株式会社カヤック 人工ニューラルネットワークシステム、人工ニューラルネットワークの制御方法および人工ニューラルネットワークのためのデータ構造
JPWO2018135002A1 (ja) * 2017-01-23 2019-11-14 株式会社カヤック 人工ニューラルネットワークシステム、人工ニューラルネットワークの制御方法および人工ニューラルネットワークのためのデータ構造
US11615297B2 (en) 2017-04-04 2023-03-28 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network compiler
JP2020515989A (ja) * 2017-04-04 2020-05-28 ハイロ テクノロジーズ リミテッド 計算およびローカルメモリ要素を組み込むニューラルネットワーク処理要素
CN110462642A (zh) * 2017-04-04 2019-11-15 海露科技有限公司 包括计算元件和本地存储器元件的神经网络处理元件
US11675693B2 (en) 2017-04-04 2023-06-13 Hailo Technologies Ltd. Neural network processor incorporating inter-device connectivity
JP2019109680A (ja) * 2017-12-18 2019-07-04 大日本印刷株式会社 デバイス、セキュアエレメント、プログラム、情報処理方法及び情報処理システム
JP2020194442A (ja) * 2019-05-29 2020-12-03 富士通株式会社 最適化装置及び最適化方法
US11811421B2 (en) 2020-09-29 2023-11-07 Hailo Technologies Ltd. Weights safety mechanism in an artificial neural network processor
US11874900B2 (en) 2020-09-29 2024-01-16 Hailo Technologies Ltd. Cluster interlayer safety mechanism in an artificial neural network processor

Similar Documents

Publication Publication Date Title
US5483620A (en) Learning machine synapse processor system apparatus
EP0694855B1 (en) Search/sort circuit for neural networks
US5613044A (en) Learning machine synapse processor system apparatus
JP5249155B2 (ja) 前の及び次の連合を表現する重みとカウントのべき級数を含む人工ニューロン
US5131072A (en) Neurocomputer with analog signal bus
EP0504932A2 (en) A parallel data processing system
US5283855A (en) Neural network and method for training the neural network
US5333239A (en) Learning process system for use with a neural network structure data processing apparatus
WO1991018350A1 (en) A learning machine synapse processor system apparatus
Clarkson et al. The pRAM: An adaptive VLSI chip
US5799134A (en) One dimensional systolic array architecture for neural network
US11593002B2 (en) Artificial neural networks in memory
JPH05233586A (ja) デジタル神経回路およびその駆動方法
WO2001007991A1 (en) Cortronic neural networks with distributed processing
EP0384709A2 (en) Learning Machine
Ramacher Hamiltonian dynamics of neural networks
JPH01114899A (ja) ダイナミックなニューラルネットワーク
US5426721A (en) Neural networks and methods for training neural networks
JPH01116869A (ja) ダイナミックプログラミング機能を有するニューラルネットワーク
Cosnard et al. Implementations of multilayer neural networks on parallel architectures
Jutten et al. Simulation machine and integrated implementation of neural networks: A review of methods, problems and realizations
EP0388474B1 (en) Learning processing system of network structure data processing unit
Nikravesh et al. Process control of nonlinear time variant processes via artificial neural network
JPH03105584A (ja) 並列データ処理方式
Sayeh et al. Generating good design from bad design: dynamical network approach

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 19990518