JPH0520294A - ニユーラルネツトワーク型情報処理装置 - Google Patents
ニユーラルネツトワーク型情報処理装置Info
- Publication number
- JPH0520294A JPH0520294A JP3176726A JP17672691A JPH0520294A JP H0520294 A JPH0520294 A JP H0520294A JP 3176726 A JP3176726 A JP 3176726A JP 17672691 A JP17672691 A JP 17672691A JP H0520294 A JPH0520294 A JP H0520294A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- bias unit
- neural network
- bias
- neuron
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【目的】 本発明は、ニューラルネットワーク型情報処
理装置に関し、ニューロンユニットに必要とされる閾値
重みを得ることができるニューラルネットワーク型情報
処理装置を提供することを目的とする。 【構成】 入力（Ｘ0 〜Ｘn ）及び閾値（θ）に基づい
て、出力（ｙ）を出力するニューロンユニット（Ｎ）
と、少なくとも１つのバイアスユニット（Ｂ）を有し、
該バイアスユニット（Ｂ）からの閾値重み（Ｗ）に基づ
いて、前記ニューロンユニット（Ｎ）に閾値（θ）を出
力するバイアスユニット部（５０）と、該バイアスユニ
ット部（５０）を制御するバイアスユニット制御部（８
８、９８）と、を含み、前記バイアスユニット制御部
（８８、９８）は、１つのバイアスユニット（Ｂ）の制
限（Ｌ）を越える閾値重み（Ｗ）をバイアスユニット部
（５０）から出力させることが可能であるように構成す
る。
理装置に関し、ニューロンユニットに必要とされる閾値
重みを得ることができるニューラルネットワーク型情報
処理装置を提供することを目的とする。 【構成】 入力（Ｘ0 〜Ｘn ）及び閾値（θ）に基づい
て、出力（ｙ）を出力するニューロンユニット（Ｎ）
と、少なくとも１つのバイアスユニット（Ｂ）を有し、
該バイアスユニット（Ｂ）からの閾値重み（Ｗ）に基づ
いて、前記ニューロンユニット（Ｎ）に閾値（θ）を出
力するバイアスユニット部（５０）と、該バイアスユニ
ット部（５０）を制御するバイアスユニット制御部（８
８、９８）と、を含み、前記バイアスユニット制御部
（８８、９８）は、１つのバイアスユニット（Ｂ）の制
限（Ｌ）を越える閾値重み（Ｗ）をバイアスユニット部
（５０）から出力させることが可能であるように構成す
る。
Description
【０００１】
【産業上の利用分野】本発明は、ニューラルネットワー
ク型情報処理装置に関する。ニューロコンピュータは、
従来のノイマン型コンピュータが不得手とするアルゴリ
ズムが規定できないようなあいまいな情報処理（例え
ば、パターン認識、滑らかな機械制御、知識情報処理）
に適している。
ク型情報処理装置に関する。ニューロコンピュータは、
従来のノイマン型コンピュータが不得手とするアルゴリ
ズムが規定できないようなあいまいな情報処理（例え
ば、パターン認識、滑らかな機械制御、知識情報処理）
に適している。
【０００２】上記ニューロコンピュータは、生物の脳の
機能を模倣したものであり、一番の特徴は、「学習」に
よって上記のような複雑、あいまいな問題を解決できる
ことである。ここで、ニューロコンピュータは、生体の
神経細胞（ニューロン）をモデル化（マッカロ・ピッツ
モデルが有名）した基本ユニットを複数個結合して構成
されている。この基本ユニットを複数個結合したニュー
ラルネットワークモデルとしては、階層型モデル、ホッ
プフィールドモデル、ボルツマンマシンモデルが代表的
なものである。前記階層型のネットワークモデルとして
は、パーセプトロンモデルを一般化したＰＤＰ（Parall
el Distributed Processing ）モデルが有名である。
機能を模倣したものであり、一番の特徴は、「学習」に
よって上記のような複雑、あいまいな問題を解決できる
ことである。ここで、ニューロコンピュータは、生体の
神経細胞（ニューロン）をモデル化（マッカロ・ピッツ
モデルが有名）した基本ユニットを複数個結合して構成
されている。この基本ユニットを複数個結合したニュー
ラルネットワークモデルとしては、階層型モデル、ホッ
プフィールドモデル、ボルツマンマシンモデルが代表的
なものである。前記階層型のネットワークモデルとして
は、パーセプトロンモデルを一般化したＰＤＰ（Parall
el Distributed Processing ）モデルが有名である。
【０００３】ニューラルネットワークは、学習によって
ネットワーク構造を変化させて環境に柔軟に適用できる
柔軟性を特徴としている。ニューラルネットワークモデ
ルの学習法として、ＰＤＰモデルでは「教師あり学習
法」が用いられ、ホップフィールドモデル、ボルツマン
マシンモデルでは「教師なし学習法」が用いられる。前
記ＰＤＰモデルのニューロコンピュータでは、教師デー
タを入力すると、「学習アルゴリズム」に基づき自律的
にニューラルネットワークを作成し、所望のニューロコ
ンピュータの機能を実現することができる。なお、ＰＤ
Ｐモデルの「教師あり学習法」の例としてバックプロパ
ゲーション法があり、該バックプロパゲーション法にお
いては、実際の出力値と教師データ（正解値）との誤差
が小さくなるように、各ユニット間の結合の重みを修正
していき、学習を収束させている。
ネットワーク構造を変化させて環境に柔軟に適用できる
柔軟性を特徴としている。ニューラルネットワークモデ
ルの学習法として、ＰＤＰモデルでは「教師あり学習
法」が用いられ、ホップフィールドモデル、ボルツマン
マシンモデルでは「教師なし学習法」が用いられる。前
記ＰＤＰモデルのニューロコンピュータでは、教師デー
タを入力すると、「学習アルゴリズム」に基づき自律的
にニューラルネットワークを作成し、所望のニューロコ
ンピュータの機能を実現することができる。なお、ＰＤ
Ｐモデルの「教師あり学習法」の例としてバックプロパ
ゲーション法があり、該バックプロパゲーション法にお
いては、実際の出力値と教師データ（正解値）との誤差
が小さくなるように、各ユニット間の結合の重みを修正
していき、学習を収束させている。
【０００４】このような「学習」といった新しいアルゴ
リズムを用いることにより、ニューロコンピュータは、
従来困難であった新しい産業分野への適用が可能であ
り、パターン認識の分野では、あいまいな文字、画像、
音声等の認識、機械制御分野ではロボット等の滑らかな
運動制御、知識処理分野ではより高度なエキスパートシ
ステムの実現、信号処理分野では画像圧縮及び復元等、
多岐にわたる用途が期待されている。
リズムを用いることにより、ニューロコンピュータは、
従来困難であった新しい産業分野への適用が可能であ
り、パターン認識の分野では、あいまいな文字、画像、
音声等の認識、機械制御分野ではロボット等の滑らかな
運動制御、知識処理分野ではより高度なエキスパートシ
ステムの実現、信号処理分野では画像圧縮及び復元等、
多岐にわたる用途が期待されている。
【０００５】上記ニューラルネットワークにおいて、ニ
ューロンユニットは、入力及び閾値に基づいて出力を行
っており、前記閾値は、バイアスユニットからの出力値
と閾値重みとに基づいて設定される。ところが、機器構
成上の制約から、閾値重みが、一定値以下の値しかとる
ことができないときには、これは、ニューラルネットワ
ークの円滑な動作を妨げる。本発明は、このようなバイ
アスユニットの閾値重みの問題を解決するものである。
なお、ニューラルネットワークを工学的に実現したモデ
ルとしては、前述したように、ＰＤＰモデル、ホップフ
ィールドモデル、ボルツマンマシンモデル等があるが、
本発明は、このようなモデルに限定されることがなく、
各種のモデルにおいて、ニューロンの閾値処理を改善す
るものである。
ューロンユニットは、入力及び閾値に基づいて出力を行
っており、前記閾値は、バイアスユニットからの出力値
と閾値重みとに基づいて設定される。ところが、機器構
成上の制約から、閾値重みが、一定値以下の値しかとる
ことができないときには、これは、ニューラルネットワ
ークの円滑な動作を妨げる。本発明は、このようなバイ
アスユニットの閾値重みの問題を解決するものである。
なお、ニューラルネットワークを工学的に実現したモデ
ルとしては、前述したように、ＰＤＰモデル、ホップフ
ィールドモデル、ボルツマンマシンモデル等があるが、
本発明は、このようなモデルに限定されることがなく、
各種のモデルにおいて、ニューロンの閾値処理を改善す
るものである。
【０００６】
【従来の技術】神経細胞（ニューロン）の動作を工学的
に表現したニューロンユニットとしては、マッカロ・ピ
ッツモデルが有名であり、図７には、マッカロ・ピッツ
のニューロンモデルが示されている。
に表現したニューロンユニットとしては、マッカロ・ピ
ッツモデルが有名であり、図７には、マッカロ・ピッツ
のニューロンモデルが示されている。
【０００７】図７において、ニューロンユニットＮi に
ついて考えると、該ニューロンユニットＮi には、他の
ニューロンユニットの出力ｙ0 、ｙ1 、ｙ2 、ｙ3 、
…、ｙ n が供給され、該出力ｙ0 、ｙ1 、ｙ2 、ｙ3 、
…、ｙn とユニット間の重み（ユニット間のシナプス結
合強度）Ｗ0 、Ｗ1 、Ｗ2 、Ｗ3 、…、Ｗn との積の総
和ｘi が求められる。すなわち、総和ｘi は、
ついて考えると、該ニューロンユニットＮi には、他の
ニューロンユニットの出力ｙ0 、ｙ1 、ｙ2 、ｙ3 、
…、ｙ n が供給され、該出力ｙ0 、ｙ1 、ｙ2 、ｙ3 、
…、ｙn とユニット間の重み（ユニット間のシナプス結
合強度）Ｗ0 、Ｗ1 、Ｗ2 、Ｗ3 、…、Ｗn との積の総
和ｘi が求められる。すなわち、総和ｘi は、
【０００８】
【数１】
である。一方、ニューロンユニットＮi に対応してバイ
アスユニットＢi が設けられており、該バイアスユニッ
トＢi は、閾値重みＷi 及び定数ｋ（例えば１ボルト）
に基づいて、閾値θi （＝Ｗi ｋ）を求め、該閾値θi
は、ニューロンユニットＮi に供給される。
アスユニットＢi が設けられており、該バイアスユニッ
トＢi は、閾値重みＷi 及び定数ｋ（例えば１ボルト）
に基づいて、閾値θi （＝Ｗi ｋ）を求め、該閾値θi
は、ニューロンユニットＮi に供給される。
【０００９】ニューロンユニットＮi は、上記入力（総
和）ｘi及び閾値θi に基づいて、出力ｙi を他のニュ
ーロンユニットに供給する。すなわち、出力ｙi は、ｙ
i ＝ｆ（ｘi 、θi ）である。そして、ニューロンユニ
ットの出力ｙi ＝ｆ（ｘi 、θi ）のグラフ図が図８
（Ａ）、（Ｂ）に示されている。
和）ｘi及び閾値θi に基づいて、出力ｙi を他のニュ
ーロンユニットに供給する。すなわち、出力ｙi は、ｙ
i ＝ｆ（ｘi 、θi ）である。そして、ニューロンユニ
ットの出力ｙi ＝ｆ（ｘi 、θi ）のグラフ図が図８
（Ａ）、（Ｂ）に示されている。
【００１０】図８（Ａ）において、ニューロンユニット
の出力ｙi は、ステップ関数で示されており、すなわ
ち、 ｘi ＞θi のとき、ｙi ＝１ ｘi ≦θi のとき、ｙi ＝０ である。
の出力ｙi は、ステップ関数で示されており、すなわ
ち、 ｘi ＞θi のとき、ｙi ＝１ ｘi ≦θi のとき、ｙi ＝０ である。
【００１１】また、図８（Ｂ）において、ニューロンユ
ニットの出力ｙi は、シグモイド関数で示されており、
すなわち、 ｙi ＝ＳＩＧ（ｘi 、θi ） ＝１／｛１＋ｅｘｐ（−ｘi ＋θi ）｝ である。
ニットの出力ｙi は、シグモイド関数で示されており、
すなわち、 ｙi ＝ＳＩＧ（ｘi 、θi ） ＝１／｛１＋ｅｘｐ（−ｘi ＋θi ）｝ である。
【００１２】ニューラルネットワークにおいて、各ニュ
ーロンユニットＮiごとに閾値θi は閾値重み（Ｗ）を
用いて学習によって決定される。この閾値重み（Ｗ）は
バイアスユニット（Ｂ）によって与えられるが、ニュー
ラルネットワーク構成をできるだけ少なくするためバイ
アスユニットは共通に使用される。そこで、例えば、Ｐ
ＤＰモデルの場合には、各層について１つのバイアスユ
ニットを設け、１つの層の各ユニットでは、該１つのバ
イアスユニットの閾値を共通に使用している。そして、
図９には、各層に１つのバイアスユニットを設けた３層
構造のニューラルネットワークが示されている。
ーロンユニットＮiごとに閾値θi は閾値重み（Ｗ）を
用いて学習によって決定される。この閾値重み（Ｗ）は
バイアスユニット（Ｂ）によって与えられるが、ニュー
ラルネットワーク構成をできるだけ少なくするためバイ
アスユニットは共通に使用される。そこで、例えば、Ｐ
ＤＰモデルの場合には、各層について１つのバイアスユ
ニットを設け、１つの層の各ユニットでは、該１つのバ
イアスユニットの閾値を共通に使用している。そして、
図９には、各層に１つのバイアスユニットを設けた３層
構造のニューラルネットワークが示されている。
【００１３】図９において、ニューラルネットワーク
は、入力層１０、中間層１２、及び、出力層１４を含
み、入力層１０のユニット１０ａ〜１０ｅには、入力信
号ＩＮが入力される。入力層１０のユニット１０ａ〜１
０ｅは、中間層１２のニューロンユニット１２ａ〜１２
ｄに結合され、該中間層１２のニューロンユニット１２
ａ〜１２ｄは、出力層のニューロンユニット１４ａ、１
４ｂに結合され、該出力層のニューロンユニット１４
ａ、１４ｂからは、出力信号ＯＵＴが出力される。
は、入力層１０、中間層１２、及び、出力層１４を含
み、入力層１０のユニット１０ａ〜１０ｅには、入力信
号ＩＮが入力される。入力層１０のユニット１０ａ〜１
０ｅは、中間層１２のニューロンユニット１２ａ〜１２
ｄに結合され、該中間層１２のニューロンユニット１２
ａ〜１２ｄは、出力層のニューロンユニット１４ａ、１
４ｂに結合され、該出力層のニューロンユニット１４
ａ、１４ｂからは、出力信号ＯＵＴが出力される。
【００１４】前記中間層１２に対応して、中間層用のバ
イアスユニット１６が設けられ、該バイアスユニット１
６は、中間層１２の各ニューロンユニット１２ａ〜１２
ｄに共通に使用される。同様にして、出力層１４に対応
して、出力層用のバイアスユニット１８が設けられ、該
バイアスユニット１８は、出力層１４の各ニューロンユ
ニット１４ａ、１４ｂに共通に使用される。
イアスユニット１６が設けられ、該バイアスユニット１
６は、中間層１２の各ニューロンユニット１２ａ〜１２
ｄに共通に使用される。同様にして、出力層１４に対応
して、出力層用のバイアスユニット１８が設けられ、該
バイアスユニット１８は、出力層１４の各ニューロンユ
ニット１４ａ、１４ｂに共通に使用される。
【００１５】以上のように、図９の３層構造のニューラ
ルネットワークでは、バイアスユニット１６は、中間層
ニューロンユニット１２ａ〜１２ｄに共通に使用され、
バイアスユニット１８は、出力層ニューロンユニット１
４ａ、１４ｂに共通に使用され、学習により、中間層ニ
ューロンユニット１２ａ〜１２ｄ、および出力層ニュー
ロンユニット１４ａ、１４ｂの閾値が決定される。
ルネットワークでは、バイアスユニット１６は、中間層
ニューロンユニット１２ａ〜１２ｄに共通に使用され、
バイアスユニット１８は、出力層ニューロンユニット１
４ａ、１４ｂに共通に使用され、学習により、中間層ニ
ューロンユニット１２ａ〜１２ｄ、および出力層ニュー
ロンユニット１４ａ、１４ｂの閾値が決定される。
【００１６】
【発明が解決しようとする課題】ニューロンユニットを
複数個結合してニューラルネットワークを構成する場
合、例えばＰＤＰモデルにおいては、前述したように、
各ニューロンユニットの閾値を決定するバイアスユニッ
トを各層ごとに１個設けている。
複数個結合してニューラルネットワークを構成する場
合、例えばＰＤＰモデルにおいては、前述したように、
各ニューロンユニットの閾値を決定するバイアスユニッ
トを各層ごとに１個設けている。
【００１７】しかしながら、工学的に実現したニューロ
チップ、例えば、富士通株式会社製のアナログニューロ
プロセッサ（ＭＢ４４４２）によってニューラルネット
ワークを実現する場合には、バイアスユニットの閾値重
みがある有限の値しかとることができず（すなわち、一
定値以下の値しかとることができず）、ニューロンユニ
ットに必要とされる閾値を得ることができない場合があ
る。そして、このような閾値重みの制約のため、ニュー
ラルネットワークが円滑に構築できないという問題があ
った。
チップ、例えば、富士通株式会社製のアナログニューロ
プロセッサ（ＭＢ４４４２）によってニューラルネット
ワークを実現する場合には、バイアスユニットの閾値重
みがある有限の値しかとることができず（すなわち、一
定値以下の値しかとることができず）、ニューロンユニ
ットに必要とされる閾値を得ることができない場合があ
る。そして、このような閾値重みの制約のため、ニュー
ラルネットワークが円滑に構築できないという問題があ
った。
【００１８】詳述すると、ＭＢ４４４２の場合、バイア
スユニットの閾値重みＷは、１６ビット長（符号１ビッ
ト＋データ１５ビット）で表現されるので、閾値重みＷ
は、｜Ｗ｜≦１−２-15 （＝１）の範囲に制限される。
このようにバイアスユニットの閾値重み｜Ｗ｜≦１であ
るので、バイアスユニットで設定できる閾値θには制限
があり、これが原因で、ニューラルネットワークの学習
が円滑に行われないという問題があった。
スユニットの閾値重みＷは、１６ビット長（符号１ビッ
ト＋データ１５ビット）で表現されるので、閾値重みＷ
は、｜Ｗ｜≦１−２-15 （＝１）の範囲に制限される。
このようにバイアスユニットの閾値重み｜Ｗ｜≦１であ
るので、バイアスユニットで設定できる閾値θには制限
があり、これが原因で、ニューラルネットワークの学習
が円滑に行われないという問題があった。
【００１９】なお、上記の問題は、例えば、相互結合型
ニューラルネットワークモデル（ホップフィールドモデ
ル、ボルツマンマシンモデル）の場合にも生じる。そこ
で、本発明の目的は、ニューロンユニットに必要とされ
る閾値重みを得ることができるニューラルネットワーク
型情報処理装置を提供することにある。
ニューラルネットワークモデル（ホップフィールドモデ
ル、ボルツマンマシンモデル）の場合にも生じる。そこ
で、本発明の目的は、ニューロンユニットに必要とされ
る閾値重みを得ることができるニューラルネットワーク
型情報処理装置を提供することにある。
【００２０】
【課題を解決するための手段】本発明は、入力（ｘ0 〜
ｘn ）及び閾値（θ）に基づいて、出力（ｙ）を出力す
るニューロンユニット（Ｎ）と、少なくとも１つのバイ
アスユニット（Ｂ）を有し、該バイアスユニット（Ｂ）
からの閾値重み（Ｗ）に基づいて、前記ニューロンユニ
ット（Ｎ）に閾値（θ）を出力するバイアスユニット部
（５０）と、該バイアスユニット部（５０）を制御する
バイアスユニット制御部（８８、９８）と、を含み、前
記バイアスユニット制御部（８８、９８）は、１つのバ
イアスユニット（Ｂ）の制限（Ｌ）を越える閾値重み
（Ｗ）をバイアスユニット部（５０）から出力させるこ
とが可能であることを特徴とする。
ｘn ）及び閾値（θ）に基づいて、出力（ｙ）を出力す
るニューロンユニット（Ｎ）と、少なくとも１つのバイ
アスユニット（Ｂ）を有し、該バイアスユニット（Ｂ）
からの閾値重み（Ｗ）に基づいて、前記ニューロンユニ
ット（Ｎ）に閾値（θ）を出力するバイアスユニット部
（５０）と、該バイアスユニット部（５０）を制御する
バイアスユニット制御部（８８、９８）と、を含み、前
記バイアスユニット制御部（８８、９８）は、１つのバ
イアスユニット（Ｂ）の制限（Ｌ）を越える閾値重み
（Ｗ）をバイアスユニット部（５０）から出力させるこ
とが可能であることを特徴とする。
【００２１】
【作用】本発明において、バイアスユニット制御部（８
８、９８）は、教師パターン等の外部環境条件あるいは
ニューラルネットワークの構成に応じて、１つのバイア
スユニット（Ｂ）の制限値（Ｌ）を越えた閾値重み
（Ｗ）をバイアスユニット部（５０）から出力させるこ
とが可能である。それゆえ、ニューロンユニット（Ｎ）
に必要とされる閾値重み（Ｗ）が１つのバイアスユニッ
ト（Ｂ）の制限値（Ｌ）を越えた場合であっても、バイ
アスユニット部（５０）は、ニューロンユニット（Ｎ）
に必要な閾値重み（Ｗ）を出力することができ、ニュー
ラルネットワークの学習を維持させることが可能であ
る。
８、９８）は、教師パターン等の外部環境条件あるいは
ニューラルネットワークの構成に応じて、１つのバイア
スユニット（Ｂ）の制限値（Ｌ）を越えた閾値重み
（Ｗ）をバイアスユニット部（５０）から出力させるこ
とが可能である。それゆえ、ニューロンユニット（Ｎ）
に必要とされる閾値重み（Ｗ）が１つのバイアスユニッ
ト（Ｂ）の制限値（Ｌ）を越えた場合であっても、バイ
アスユニット部（５０）は、ニューロンユニット（Ｎ）
に必要な閾値重み（Ｗ）を出力することができ、ニュー
ラルネットワークの学習を維持させることが可能であ
る。
【００２２】なお、１つのバイアスユニット（Ｂ）の制
限値（Ｌ）を越えた閾値重み（Ｗ）をバイアスユニット
部（５０）から出力するためには１つのバイアスユニッ
トの閾値重みを制限値（Ｌ）以内にして、且つ構成とし
ては、バイアスユニット部（５０）内のバイアスユニッ
ト（Ｂ）の個数を変更したり、あるいは、バイアスユニ
ット部（５０）からの出力値（例えば電圧値）を変更し
たり、あるいは、バイアスユニット部（５０）内のバイ
アスユニット（Ｂ）の個数を変更し且つバイアスユニッ
ト部（５０）からの出力値（例えば電圧値）を変更する
ことである。
限値（Ｌ）を越えた閾値重み（Ｗ）をバイアスユニット
部（５０）から出力するためには１つのバイアスユニッ
トの閾値重みを制限値（Ｌ）以内にして、且つ構成とし
ては、バイアスユニット部（５０）内のバイアスユニッ
ト（Ｂ）の個数を変更したり、あるいは、バイアスユニ
ット部（５０）からの出力値（例えば電圧値）を変更し
たり、あるいは、バイアスユニット部（５０）内のバイ
アスユニット（Ｂ）の個数を変更し且つバイアスユニッ
ト部（５０）からの出力値（例えば電圧値）を変更する
ことである。
【００２３】以上のように、本発明においては、１つの
バイアスユニット（Ｂ）の閾値重みの制約のためにニュ
ーラルネットワークの学習が継続できない場合（ニュー
ロンユニット（Ｎ）に必要とされる閾値重み（Ｗ）が１
つのバイアスユニット（Ｂ）の制限値（Ｌ）を越える場
合）であっても、バイアスユニット部（５０）がニュー
ロンユニット（Ｎ）に必要な閾値重み（Ｗ）を出力する
ことにより（例えばバイアスユニット部（５０）内のバ
イアスユニット（Ｂ）の個数を増加させる）、ニューラ
ルネットワークの学習の継続が可能である。
バイアスユニット（Ｂ）の閾値重みの制約のためにニュ
ーラルネットワークの学習が継続できない場合（ニュー
ロンユニット（Ｎ）に必要とされる閾値重み（Ｗ）が１
つのバイアスユニット（Ｂ）の制限値（Ｌ）を越える場
合）であっても、バイアスユニット部（５０）がニュー
ロンユニット（Ｎ）に必要な閾値重み（Ｗ）を出力する
ことにより（例えばバイアスユニット部（５０）内のバ
イアスユニット（Ｂ）の個数を増加させる）、ニューラ
ルネットワークの学習の継続が可能である。
【００２４】従って、本発明によれば、外部環境（教師
パターン等）に応じて例えばバイアスユニット（Ｂ）の
個数を増加させることにより、バイアスユニット部（５
０）は、ニューロンユニット（Ｎ）に必要な閾値重み
（Ｗ）を出力することができ、ニューラルネットワーク
の学習を可能にしている。すなわち、工学的に実現した
ニューロチップの閾値重みの制限のために従来不可能で
あったニューラルネットワークの学習が可能になる。そ
れゆえ、本発明によれば、ニューロチップを用いたニュ
ーラルネットワーク型情報処理装置の実用化がより推進
される。
パターン等）に応じて例えばバイアスユニット（Ｂ）の
個数を増加させることにより、バイアスユニット部（５
０）は、ニューロンユニット（Ｎ）に必要な閾値重み
（Ｗ）を出力することができ、ニューラルネットワーク
の学習を可能にしている。すなわち、工学的に実現した
ニューロチップの閾値重みの制限のために従来不可能で
あったニューラルネットワークの学習が可能になる。そ
れゆえ、本発明によれば、ニューロチップを用いたニュ
ーラルネットワーク型情報処理装置の実用化がより推進
される。
【００２５】次に、本発明の原理を図１、図２、図３に
基づいて説明する。図１には、本発明の原理によるニュ
ーラルネットワーク型情報処理装置が示されている。
基づいて説明する。図１には、本発明の原理によるニュ
ーラルネットワーク型情報処理装置が示されている。
【００２６】図１において、ニューロンユニットＮに
は、他のニューロンユニットの出力ｘ 0 、ｘ1 、ｘ2 、
ｘ3 が入力として供給されており、該入力ｘ0 、ｘ1 、
ｘ2 、ｘ3 とユニット間の重みＷ0 、Ｗ1、Ｗ2 、Ｗ3
との積の総和ｘが求められる。すなわち、総和ｘは、
は、他のニューロンユニットの出力ｘ 0 、ｘ1 、ｘ2 、
ｘ3 が入力として供給されており、該入力ｘ0 、ｘ1 、
ｘ2 、ｘ3 とユニット間の重みＷ0 、Ｗ1、Ｗ2 、Ｗ3
との積の総和ｘが求められる。すなわち、総和ｘは、
【００２７】
【数２】
である。またニューロンユニットＮに対応してバイアス
ユニット部５０が設けられており、該バイアスユニット
部５０は、最初、１つのバイアスユニットＢを有し、こ
のバイアスユニットＢは、閾値重みＷを出力する。そし
て、バイアスユニットＢから出力される閾値重みＷ及び
定数ｋ（定数の電圧値例えば１ボルト）に基づいて、閾
値θが求められ、該閾値θは、ニューロンユニットＮに
供給される。
ユニット部５０が設けられており、該バイアスユニット
部５０は、最初、１つのバイアスユニットＢを有し、こ
のバイアスユニットＢは、閾値重みＷを出力する。そし
て、バイアスユニットＢから出力される閾値重みＷ及び
定数ｋ（定数の電圧値例えば１ボルト）に基づいて、閾
値θが求められ、該閾値θは、ニューロンユニットＮに
供給される。
【００２８】ニューロンユニットＮは、前記総和ｘ及び
前記閾値θに基づいて、出力ｙを他のニューロンユニッ
トに供給する。ここで、出力ｙは、ｙ＝ｆ（ｘ、θ）で
示され、例えば、前述したステップ関数（図８
（Ａ））、シグモイド関数（図８（Ｂ））である。
前記閾値θに基づいて、出力ｙを他のニューロンユニッ
トに供給する。ここで、出力ｙは、ｙ＝ｆ（ｘ、θ）で
示され、例えば、前述したステップ関数（図８
（Ａ））、シグモイド関数（図８（Ｂ））である。
【００２９】前記バイアスユニットＢの閾値重みＷは、
制限値Ｌ以下の値しかとることができず（｜Ｗ｜≦
Ｌ）、従って、ニューロンユニットに必要とされる閾値
重みＷが制限値Ｌを越えている場合には、バイアスユニ
ット部５０から出力される閾値重みＷが１つのバイアス
ユニットの制限値Ｌを越えて設定され得るようにする。
例えば、バイアスユニット部５０内に、２つのバイアス
ユニットＢ、Ｂを設けて、バイアスユニット部５０から
出力される１つのバイアスユニットの閾値重みＷの最大
値をＬに設定し、これにより、ニューロンユニットＮに
必要とされる閾値重みＷが得られるようにする。なお、
バイアスユニット部５０内に設けられるバイアスユニッ
トＢの個数ｎは、ｎ＝＜Ｗ／Ｌ＞で示される。ここで、
ＷはニューロンユニットＮに必要とされる閾値重み、Ｌ
は１つのバイアスユニットＢの制限値であり、記号＜ｘ
＞は、ｘを下回らない最小の整数値を示す。例えば、＜
２．４＞＝３、＜２＞＝２である。
制限値Ｌ以下の値しかとることができず（｜Ｗ｜≦
Ｌ）、従って、ニューロンユニットに必要とされる閾値
重みＷが制限値Ｌを越えている場合には、バイアスユニ
ット部５０から出力される閾値重みＷが１つのバイアス
ユニットの制限値Ｌを越えて設定され得るようにする。
例えば、バイアスユニット部５０内に、２つのバイアス
ユニットＢ、Ｂを設けて、バイアスユニット部５０から
出力される１つのバイアスユニットの閾値重みＷの最大
値をＬに設定し、これにより、ニューロンユニットＮに
必要とされる閾値重みＷが得られるようにする。なお、
バイアスユニット部５０内に設けられるバイアスユニッ
トＢの個数ｎは、ｎ＝＜Ｗ／Ｌ＞で示される。ここで、
ＷはニューロンユニットＮに必要とされる閾値重み、Ｌ
は１つのバイアスユニットＢの制限値であり、記号＜ｘ
＞は、ｘを下回らない最小の整数値を示す。例えば、＜
２．４＞＝３、＜２＞＝２である。
【００３０】なお、バイアスユニット部５０からの閾値
重みＷが制限値Ｌを越えて設定されるためには、上記の
ようにバイアスユニットＢの個数を増加する方法の他
に、バイアスユニット部５０からの出力値（電圧値）を
増加する方法がある。
重みＷが制限値Ｌを越えて設定されるためには、上記の
ようにバイアスユニットＢの個数を増加する方法の他
に、バイアスユニット部５０からの出力値（電圧値）を
増加する方法がある。
【００３１】次に、図２には、本発明の原理によるニュ
ーラルネットーク型情報処理装置の構成が示されてい
る。図２において、ニューラルネットワーク５２は、入
力層５４、中間層５６、及び、出力層５８を有する３層
構造のＰＤＰモデルであり、中間層５６は、中間層用バ
イアスユニット部６０に接続され、出力層５８は、出力
層用バイアスユニット部６２に接続されている。そし
て、バイアスユニット部６０、６２は、バイアスユニッ
トＢ、Ｂを有する。
ーラルネットーク型情報処理装置の構成が示されてい
る。図２において、ニューラルネットワーク５２は、入
力層５４、中間層５６、及び、出力層５８を有する３層
構造のＰＤＰモデルであり、中間層５６は、中間層用バ
イアスユニット部６０に接続され、出力層５８は、出力
層用バイアスユニット部６２に接続されている。そし
て、バイアスユニット部６０、６２は、バイアスユニッ
トＢ、Ｂを有する。
【００３２】前記バイアスユニット部６０、６２を制御
するために、バイアスユニット制御部６４が設けられて
いる。また、学習演算部６６は、ニューラルネットワー
ク５２からの出力に基づいて、閾値重みＷを設定し、該
閾値重みＷをバイアスユニット制御部６４に供給する。
そして、バイアスユニット制御部６４は、必要な閾値重
みＷが得られるように、前記バイアスユニット部６０、
６２を制御し、例えば、バイアスユニット部６０、６２
内のバイアスユニットＢ、Ｂの個数を増加させたり、あ
るいは、バイアスユニット部６０、６２からの出力値を
増加させる。
するために、バイアスユニット制御部６４が設けられて
いる。また、学習演算部６６は、ニューラルネットワー
ク５２からの出力に基づいて、閾値重みＷを設定し、該
閾値重みＷをバイアスユニット制御部６４に供給する。
そして、バイアスユニット制御部６４は、必要な閾値重
みＷが得られるように、前記バイアスユニット部６０、
６２を制御し、例えば、バイアスユニット部６０、６２
内のバイアスユニットＢ、Ｂの個数を増加させたり、あ
るいは、バイアスユニット部６０、６２からの出力値を
増加させる。
【００３３】なお、図２において、ニューラルネットワ
ーク５２は、３層構造のＰＤＰモデルであるが、本発明
は、ＰＤＰモデルに限られず、他のモデルにも適用可能
である。例えば、本発明は、図３に示されるような相互
結合型モデル（ホップフィールドモデル、ボルツマンマ
シンモデル等）にも適用可能であり、図３において、符
号６８、６８、６８、６８はニューロンユニットを示
し、符号７０は、バイアスユニット部を示す。
ーク５２は、３層構造のＰＤＰモデルであるが、本発明
は、ＰＤＰモデルに限られず、他のモデルにも適用可能
である。例えば、本発明は、図３に示されるような相互
結合型モデル（ホップフィールドモデル、ボルツマンマ
シンモデル等）にも適用可能であり、図３において、符
号６８、６８、６８、６８はニューロンユニットを示
し、符号７０は、バイアスユニット部を示す。
【００３４】次に、図４には、本発明の原理によるニュ
ーラルネットワーク型情報処理装置のフローチャートが
示されている。図４において、ステップ７２で開始し、
ステップ７４で学習を行い、すなわち、閾値重みＷの更
新を行い、ステップ７６に進む。ステップ７６では、閾
値重みＷがバイアスユニット部の制限値Ｌと比較され、
ステップ７６において｜Ｗ｜＞Ｌの場合には、ステップ
７８に進み、１つのバイアスユニットの閾値重みをＷ／
＜Ｗ／Ｌ＞にして、バイアスユニット部内のバイアスユ
ニットの数を＜Ｗ／Ｌ＞にしたり、あるいは、バイアス
ユニット部の出力値を＜Ｗ／Ｌ＞倍する。なお、前述し
たように、記号＜ｘ＞は、ｘを下回らない最小の整数値
を示す。
ーラルネットワーク型情報処理装置のフローチャートが
示されている。図４において、ステップ７２で開始し、
ステップ７４で学習を行い、すなわち、閾値重みＷの更
新を行い、ステップ７６に進む。ステップ７６では、閾
値重みＷがバイアスユニット部の制限値Ｌと比較され、
ステップ７６において｜Ｗ｜＞Ｌの場合には、ステップ
７８に進み、１つのバイアスユニットの閾値重みをＷ／
＜Ｗ／Ｌ＞にして、バイアスユニット部内のバイアスユ
ニットの数を＜Ｗ／Ｌ＞にしたり、あるいは、バイアス
ユニット部の出力値を＜Ｗ／Ｌ＞倍する。なお、前述し
たように、記号＜ｘ＞は、ｘを下回らない最小の整数値
を示す。
【００３５】ステップ７８の処理が完了すると、ステッ
プ８０に進む。また、前記ステップ７６で｜Ｗ｜≦Ｌの
場合には、ステップ７６から直接にステップ８０に進
む。ステップ８０で学習が完了していない場合には、ス
テップ７４に戻り、一方、ステップ８０で学習が完了し
た場合には、ステップ８２に進み、動作を終了する。
プ８０に進む。また、前記ステップ７６で｜Ｗ｜≦Ｌの
場合には、ステップ７６から直接にステップ８０に進
む。ステップ８０で学習が完了していない場合には、ス
テップ７４に戻り、一方、ステップ８０で学習が完了し
た場合には、ステップ８２に進み、動作を終了する。
【００３６】
【実施例】以下、図面に基づいて本発明の好適な実施例
を説明する。本発明の実施形態としては、（１）ソフト
ウエア、（２）ハードウエアの２つが考えられる。ま
た、本発明は、ニューロンユニットの閾値をある有限値
に設定するものであり、本発明の適用は、特定のニュー
ラルネットワークモデル、例えば、階層型モデルやホッ
プフィールドモデルに限定されるものではない。
を説明する。本発明の実施形態としては、（１）ソフト
ウエア、（２）ハードウエアの２つが考えられる。ま
た、本発明は、ニューロンユニットの閾値をある有限値
に設定するものであり、本発明の適用は、特定のニュー
ラルネットワークモデル、例えば、階層型モデルやホッ
プフィールドモデルに限定されるものではない。
【００３７】以下、富士通株式会社製のアナログニュー
ロチップ（ＭＢ４４４２）を例にとって説明する。この
ＭＢ４４４２は、実行専用チップであり、学習は、ソフ
トウエアシミュレータで行う。また、ニューラルネット
ワークは、階層型モデルである。そして、ＭＢ４４４２
の閾値重みＷは、１６ビットの固定小数点表示（符号１
ビット＋データ１５ビット）であり、重みＷは、 ｜Ｗ｜≦１−２-15 ＝１ に制限される。
ロチップ（ＭＢ４４４２）を例にとって説明する。この
ＭＢ４４４２は、実行専用チップであり、学習は、ソフ
トウエアシミュレータで行う。また、ニューラルネット
ワークは、階層型モデルである。そして、ＭＢ４４４２
の閾値重みＷは、１６ビットの固定小数点表示（符号１
ビット＋データ１５ビット）であり、重みＷは、 ｜Ｗ｜≦１−２-15 ＝１ に制限される。
【００３８】まず、図５には、本発明の第１実施例によ
るニューラルネットワーク型情報処理装置が示されてい
る。なお、図５の装置は、ソフトウエアで学習を行い、
専用ハードウエアで実行するものである。
るニューラルネットワーク型情報処理装置が示されてい
る。なお、図５の装置は、ソフトウエアで学習を行い、
専用ハードウエアで実行するものである。
【００３９】図５（Ａ）において、ソフトウエアシミュ
レータ８４は、前記図４のフローチャートに基づいて学
習を行い、閾値重みＷ及びしきい値（バイアスユニット
数）を求める。この閾値重みＷ及びしきい値は、例えば
ＲＯＭライタ８６でＲＯＭ８８に転送される。
レータ８４は、前記図４のフローチャートに基づいて学
習を行い、閾値重みＷ及びしきい値（バイアスユニット
数）を求める。この閾値重みＷ及びしきい値は、例えば
ＲＯＭライタ８６でＲＯＭ８８に転送される。
【００４０】一方、図５（Ｂ）において、符号９０は、
ＭＢ４４４２によるニューラルネット構成部９０ａを有
するユニット部を示し、該ユニット部９０は、入力信号
処理部９２及び出力信号処理部９４に接続されている。
なお、入力信号処理部９２には、入力信号ＩＮが供給さ
れ、出力信号処理部９４は、出力信号ＯＵＴを出力す
る。また、ユニット部９０、入力信号処理部９２、及
び、出力信号処理部９４は、信号制御部９６により制御
される。そして、ユニット部９０は、前記ＲＯＭ８８を
含み、該ＲＯＭ８８は、前述したように、しきい値及び
閾値重みＷを有しており、これにより、ＲＯＭ８８は、
バイアスユニット数に基づいて、ニューラルネット構成
部９０ａのバイアスユニット部を制御する。例えば、ニ
ューラルネット構成部９０ａのバイアスユニット部は、
ＲＯＭ８８に基づきデータを複数回読み出すと、バイア
スユニット部は、読出し回数に対応して複数のバイアス
ユニットを有することとなる（前記図１参照）。このよ
うに、ＲＯＭ８８は、バイアスユニット部を制御するよ
うに機能する。
ＭＢ４４４２によるニューラルネット構成部９０ａを有
するユニット部を示し、該ユニット部９０は、入力信号
処理部９２及び出力信号処理部９４に接続されている。
なお、入力信号処理部９２には、入力信号ＩＮが供給さ
れ、出力信号処理部９４は、出力信号ＯＵＴを出力す
る。また、ユニット部９０、入力信号処理部９２、及
び、出力信号処理部９４は、信号制御部９６により制御
される。そして、ユニット部９０は、前記ＲＯＭ８８を
含み、該ＲＯＭ８８は、前述したように、しきい値及び
閾値重みＷを有しており、これにより、ＲＯＭ８８は、
バイアスユニット数に基づいて、ニューラルネット構成
部９０ａのバイアスユニット部を制御する。例えば、ニ
ューラルネット構成部９０ａのバイアスユニット部は、
ＲＯＭ８８に基づきデータを複数回読み出すと、バイア
スユニット部は、読出し回数に対応して複数のバイアス
ユニットを有することとなる（前記図１参照）。このよ
うに、ＲＯＭ８８は、バイアスユニット部を制御するよ
うに機能する。
【００４１】次に、図６には、本発明の第２実施例によ
るニューラルネットワーク型情報処理装置が示されてい
る。なお、図６の装置は、専用ハードウエアで学習及び
実行するものである。
るニューラルネットワーク型情報処理装置が示されてい
る。なお、図６の装置は、専用ハードウエアで学習及び
実行するものである。
【００４２】前記図５の装置では、学習及びバイアスユ
ニット数の決定をソフトウエアで行ったが、図６の装置
では、学習機能付のチップが使用されている。すなわ
ち、図６では、前記図４のフローチャートをＲＯＭ化し
たバイアスユニット制御部９８が設けられており、該バ
イアスユニット制御部９８は、学習を行い、ニューラル
ネット構成部９０ｂのバイアスユニット部を制御し、す
なわち、バイアスユニット部内のバイアスユニットの個
数を制御する。
ニット数の決定をソフトウエアで行ったが、図６の装置
では、学習機能付のチップが使用されている。すなわ
ち、図６では、前記図４のフローチャートをＲＯＭ化し
たバイアスユニット制御部９８が設けられており、該バ
イアスユニット制御部９８は、学習を行い、ニューラル
ネット構成部９０ｂのバイアスユニット部を制御し、す
なわち、バイアスユニット部内のバイアスユニットの個
数を制御する。
【００４３】
【発明の効果】以上説明したように、本発明によれば、
バイアスユニット制御部は、１つのバイアスユニットの
制限値を越えた閾値重みをバイアスユニット部から出力
させることができるので、ニューロンユニットに必要と
される閾値重みを得ることができ、従って、ニューラル
ネットワークの学習を継続させることが可能である。
バイアスユニット制御部は、１つのバイアスユニットの
制限値を越えた閾値重みをバイアスユニット部から出力
させることができるので、ニューロンユニットに必要と
される閾値重みを得ることができ、従って、ニューラル
ネットワークの学習を継続させることが可能である。
【００４４】なお、本発明においては、ニューラルネッ
トワーク型情報処理装置をニューロチップ等のニューロ
専用のハードウエアで実現する際に、重みデータ特にし
きい値データをある有限値の範囲に設定するときに効果
がある。
トワーク型情報処理装置をニューロチップ等のニューロ
専用のハードウエアで実現する際に、重みデータ特にし
きい値データをある有限値の範囲に設定するときに効果
がある。
【００４５】また、本発明は、専用ハードウエアによる
ニューラルネットワーク型情報処理装置の実現に効果が
あり、すなわち、ニューロ技術の実用化推進に効果が期
待される。なお、専用のハードウエアによるニューラル
ネットワーク型情報処理装置は、学習時間等の処理時間
の短縮、及び、機器の小型化を特徴としている。
ニューラルネットワーク型情報処理装置の実現に効果が
あり、すなわち、ニューロ技術の実用化推進に効果が期
待される。なお、専用のハードウエアによるニューラル
ネットワーク型情報処理装置は、学習時間等の処理時間
の短縮、及び、機器の小型化を特徴としている。
【図１】本発明の原理によるニューラルネットワーク型
情報処理装置の説明図である。
情報処理装置の説明図である。
【図２】本発明の原理によるニューラルネットワーク型
情報処理装置の構成説明図である。
情報処理装置の構成説明図である。
【図３】相互結合型モデルの説明図である。
【図４】本発明の原理によるニューラルネットワーク型
情報処理装置のフローチャート図である。
情報処理装置のフローチャート図である。
【図５】本発明の第１実施例によるニューラルネットワ
ーク型情報処理装置の説明図である。
ーク型情報処理装置の説明図である。
【図６】本発明の第２実施例によるニューラルネットワ
ーク型情報処理装置の説明図である。
ーク型情報処理装置の説明図である。
【図７】ニューロンモデルの説明図である。
【図８】ニューロンユニットの出力ｙ1 ＝ｆ（ｘ1 、θ
i ）のグラフ図である。
i ）のグラフ図である。
【図９】３層構造のニューラルネットワークの説明図で
ある。
ある。
５０…バイアスユニット部
Ｂ…バイアスユニット
Ｎ…ニューロンユニット
Claims (4)
- 【請求項１】 入力（ｘ0 〜ｘn ）及び閾値（θ）に基
づいて、出力（ｙ）を出力するニューロンユニット
（Ｎ）と、 少なくとも１つのバイアスユニット（Ｂ）を有し、該バ
イアスユニット（Ｂ）からの出力値（Ｖ）と閾値重み
（Ｗ）とに基づいて、前記ニューロンユニット（Ｎ）に
閾値（θ）を出力するバイアスユニット部（５０）と、 該バイアスユニット部（５０）を制御するバイアスユニ
ット制御部（８８、９８）と、を含み、 前記バイアスユニット制御部（８８、９８）は、１つの
バイアスユニット（Ｂ）の制限（Ｌ）を越える閾値重み
（Ｗ）をバイアスユニット部（５０）から出力させるこ
とが可能であることを特徴とするニューラルネットワー
ク型情報処理装置。 - 【請求項２】 前記請求項１記載のニューラルネットワ
ーク型情報処理装置において、 前記バイアスユニット制御部（８８、９８）は、バイア
スユニット部（５０）内のバイアスユニット（Ｂ）の個
数を変更可能であることを特徴とするニューラルネット
ワーク型情報処理装置。 - 【請求項３】 前記請求項１記載のニューラルネットワ
ーク型情報処理装置において、 前記バイアスユニット制御部（８８、９８）は、バイア
スユニット部（５０）からの出力値を変更可能であるこ
とを特徴とするニューラルネットワーク型情報処理装
置。 - 【請求項４】 前記請求項１記載のニューラルネットワ
ーク型情報処理装置において、 前記バイアスユニット制御部（８８、９８）は、バイア
スユニット部（５０）内のバイアスユニット（Ｂ）の個
数を変更可能であり、且つ、バイアスユニット部（５
０）からの出力値を変更可能であることを特徴とするニ
ューラルネットワーク型情報処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3176726A JPH0520294A (ja) | 1991-07-17 | 1991-07-17 | ニユーラルネツトワーク型情報処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3176726A JPH0520294A (ja) | 1991-07-17 | 1991-07-17 | ニユーラルネツトワーク型情報処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0520294A true JPH0520294A (ja) | 1993-01-29 |
Family
ID=16018710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3176726A Withdrawn JPH0520294A (ja) | 1991-07-17 | 1991-07-17 | ニユーラルネツトワーク型情報処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0520294A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7511422B2 (en) | 2003-10-02 | 2009-03-31 | Kabushiki Kaisha Toyota Jidoshokki | Organic electroluminescent element with specific structure connecting luminescent regions and organic electroluminescent device including the same |
| US7855506B2 (en) | 2003-10-02 | 2010-12-21 | Kabushiki Kaisha Toyota Jidoshokki | Electric field light emitting element |
| WO2019131147A1 (ja) * | 2017-12-28 | 2019-07-04 | Tdk株式会社 | 積和演算器、ニューロモーフィックデバイスおよび積和演算器の使用方法 |
| US11216717B2 (en) | 2017-04-04 | 2022-01-04 | Hailo Technologies Ltd. | Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
| US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
| US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
| US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
| US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
-
1991
- 1991-07-17 JP JP3176726A patent/JPH0520294A/ja not_active Withdrawn
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7511422B2 (en) | 2003-10-02 | 2009-03-31 | Kabushiki Kaisha Toyota Jidoshokki | Organic electroluminescent element with specific structure connecting luminescent regions and organic electroluminescent device including the same |
| US7855506B2 (en) | 2003-10-02 | 2010-12-21 | Kabushiki Kaisha Toyota Jidoshokki | Electric field light emitting element |
| US11216717B2 (en) | 2017-04-04 | 2022-01-04 | Hailo Technologies Ltd. | Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements |
| US11461614B2 (en) | 2017-04-04 | 2022-10-04 | Hailo Technologies Ltd. | Data driven quantization optimization of weights and input data in an artificial neural network |
| WO2019131147A1 (ja) * | 2017-12-28 | 2019-07-04 | Tdk株式会社 | 積和演算器、ニューロモーフィックデバイスおよび積和演算器の使用方法 |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
| US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
| US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
| US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
| US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7904398B1 (en) | Artificial synapse component using multiple distinct learning means with distinct predetermined learning acquisition times | |
| Villmann et al. | Magnification control in self-organizing maps and neural gas | |
| KR102449837B1 (ko) | 신경망 학습 방법 및 장치, 및 인식 방법 및 장치 | |
| Guyon | Applications of neural networks to character recognition | |
| Warner et al. | Understanding neural networks as statistical tools | |
| US9367798B2 (en) | Spiking neuron network adaptive control apparatus and methods | |
| Jiang et al. | Stock price forecast based on LSTM neural network | |
| Rajchakit et al. | Stability analysis of neural networks | |
| Kumaraswamy | Neural networks for data classification | |
| Godjevac et al. | Neuro-fuzzy control of a mobile robot | |
| Swiniarski | Introduction to neural networks | |
| JPH0520294A (ja) | ニユーラルネツトワーク型情報処理装置 | |
| JP2760145B2 (ja) | 知識情報処理装置 | |
| KR950012359B1 (ko) | 신경회로망 구조와 학습방법 | |
| Grossberg | Birth of a learning law | |
| Widrow et al. | Artificial neural networks of the perceptron, madaline, and backpropagation family | |
| JP5458791B2 (ja) | 連想記憶装置、連想記憶方法、及びプログラム | |
| Pao | Neural net computing for pattern recognition | |
| Kasabov et al. | Spatial-temporal adaptation in evolving fuzzy neural networks for on-line adaptive phoneme recognition | |
| Chandra | A Survey on deep learning its architecture and various applications | |
| PANDYA et al. | A stochastic parallel algorithm for supervised learning in neural networks | |
| Paine et al. | Adaptive motor primitive and sequence formation in a hierarchical recurrent neural network | |
| Nurmamatovich | UNRAVELING NEURAL NETWORKS: UNDERSTANDING THEIR MAIN FUNCTION AND THE ROLE OF PERCEPTRONS | |
| Bishesh | Neural Networks for Big Data Analytics | |
| Castillo et al. | Introduction to Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19981008 |