JPH05274455A - ニューラルネットワーク装置 - Google Patents
ニューラルネットワーク装置Info
- Publication number
- JPH05274455A JPH05274455A JP4071584A JP7158492A JPH05274455A JP H05274455 A JPH05274455 A JP H05274455A JP 4071584 A JP4071584 A JP 4071584A JP 7158492 A JP7158492 A JP 7158492A JP H05274455 A JPH05274455 A JP H05274455A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- neural network
- intermediate layer
- network device
- synapse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【目的】 改良されたニューラルネットワーク装置を提
供すること。 【構成】 入力層２と、少なくとも１層の中間層３と、
出力層４とを有する多層構造型ニューラルネットワーク
において、隣接する前記層間を相互に接続し、入力信号
に対して望ましい出力信号を出すように最適もしくはそ
れに近い状態まで学習済みの結合強度を有するシナプス
結合５と、前記シナプス結合の任意の前記層間の結合強
度のみを学習により書き換える学習制御手段７と、を具
備する。
供すること。 【構成】 入力層２と、少なくとも１層の中間層３と、
出力層４とを有する多層構造型ニューラルネットワーク
において、隣接する前記層間を相互に接続し、入力信号
に対して望ましい出力信号を出すように最適もしくはそ
れに近い状態まで学習済みの結合強度を有するシナプス
結合５と、前記シナプス結合の任意の前記層間の結合強
度のみを学習により書き換える学習制御手段７と、を具
備する。
Description
【０００１】
【産業上の利用分野】本発明は、改良されたニューラル
ネットワーク装置に関する。
ネットワーク装置に関する。
【０００２】
【従来の技術】ニューラルネットワークによる情報処理
は文字や音声等の認識の分野、ロボット、プラント、及
び、家電品等の制御の分野に有効であり、その導入が活
発に進められている。ニューラルネットワークは入出力
応答の定式化の困難な問題に対しても、その学習という
機能によって容易に適応できるという特徴を有する。通
常これらの認識・制御等の分野には、多層構造型のニュ
ーラルネットワークが用いられ、学習はバックプロパゲ
ーション法（D. L. Rumelhart, J. L. McCllandand the
PDP Research Group: Parallel Distributed Processi
ng Vol. 1 The MIT Press (1987) ）で行われる。
は文字や音声等の認識の分野、ロボット、プラント、及
び、家電品等の制御の分野に有効であり、その導入が活
発に進められている。ニューラルネットワークは入出力
応答の定式化の困難な問題に対しても、その学習という
機能によって容易に適応できるという特徴を有する。通
常これらの認識・制御等の分野には、多層構造型のニュ
ーラルネットワークが用いられ、学習はバックプロパゲ
ーション法（D. L. Rumelhart, J. L. McCllandand the
PDP Research Group: Parallel Distributed Processi
ng Vol. 1 The MIT Press (1987) ）で行われる。
【０００３】ところが、実際には、学習に非常に時間が
掛かるので、ニューラルネットワーク装置の利用者自身
がその要求・利用環境に合わせて学習させようとした場
合には問題点がある。更に、最適なシナプス結合値に収
束せずに、不十分な入力関係を持ったままで学習が収束
してしまう、いわゆるローカルミニマムの問題も避けら
れない。このような問題は、ニューラルネットワーク装
置の供給者が予め予想される複数の入出力データを用い
た学習済みのシナプス結合を持ったニューラルネットワ
ーク装置を用意することにより回避できる。しかし、学
習済みのシナプス結合を持ったニューラルネットワーク
にその学習過程に使われていなかった未学習データを学
習させようとした時には、かえってニューラルネットワ
ークの性能を劣化させてしまうといういわゆる追加学習
の問題が起こってくる。
掛かるので、ニューラルネットワーク装置の利用者自身
がその要求・利用環境に合わせて学習させようとした場
合には問題点がある。更に、最適なシナプス結合値に収
束せずに、不十分な入力関係を持ったままで学習が収束
してしまう、いわゆるローカルミニマムの問題も避けら
れない。このような問題は、ニューラルネットワーク装
置の供給者が予め予想される複数の入出力データを用い
た学習済みのシナプス結合を持ったニューラルネットワ
ーク装置を用意することにより回避できる。しかし、学
習済みのシナプス結合を持ったニューラルネットワーク
にその学習過程に使われていなかった未学習データを学
習させようとした時には、かえってニューラルネットワ
ークの性能を劣化させてしまうといういわゆる追加学習
の問題が起こってくる。
【０００４】上記のような問題について様々な手法が研
究・報告されており、例えば、追加学習に関しては、香
田他：「量子化ニューロンを用いた機能別階層ネットワ
ークの追加学習」１９９１年電子情報通信学会春季全国
大会講演論文集・Ｄ−６５、教師信号の与え方に関して
は、片山他：「隠れ層に教師信号を設定する低ビット学
習方法」１９９１年電子情報通信学会秋季大会講演論文
集・Ｄ−１１が報告されているが、、要求及び利用環境
に適応できるというニューラルネットワークの持つ本来
の特徴からはずれてくる。そこで、充分に学習済みの固
定値のシナプス結合を持ったニューラルネットワーク装
置によりこの追加学習の問題を回避している。ところ
が、シナプス結合の値が固定されている場合には、利用
者のもとで学習ができないために環境適応性及び汎化性
がない。ここで、汎化性とは、入力値と出力値との関係
を学習した後、学習に用いた入力値近傍の未学習入力値
に対して、それに対応する出力を行うための補間能力、
類推能力のことを意味する。上記のような問題が充分な
性能を持ったニューラルネットワーク装置の普及の障害
となっていた。
究・報告されており、例えば、追加学習に関しては、香
田他：「量子化ニューロンを用いた機能別階層ネットワ
ークの追加学習」１９９１年電子情報通信学会春季全国
大会講演論文集・Ｄ−６５、教師信号の与え方に関して
は、片山他：「隠れ層に教師信号を設定する低ビット学
習方法」１９９１年電子情報通信学会秋季大会講演論文
集・Ｄ−１１が報告されているが、、要求及び利用環境
に適応できるというニューラルネットワークの持つ本来
の特徴からはずれてくる。そこで、充分に学習済みの固
定値のシナプス結合を持ったニューラルネットワーク装
置によりこの追加学習の問題を回避している。ところ
が、シナプス結合の値が固定されている場合には、利用
者のもとで学習ができないために環境適応性及び汎化性
がない。ここで、汎化性とは、入力値と出力値との関係
を学習した後、学習に用いた入力値近傍の未学習入力値
に対して、それに対応する出力を行うための補間能力、
類推能力のことを意味する。上記のような問題が充分な
性能を持ったニューラルネットワーク装置の普及の障害
となっていた。
【０００５】
【発明が解決しようとする課題】上記のように、従来の
ニューラルネットワーク装置では、その利用者のもとで
学習ができない、学習に時間が掛かる、更に、学習によ
りかえって性能が劣化する等の問題があった。
ニューラルネットワーク装置では、その利用者のもとで
学習ができない、学習に時間が掛かる、更に、学習によ
りかえって性能が劣化する等の問題があった。
【０００６】本発明は、上記の事情に基づいてなされた
もので、利用者のもとで高速に学習ができ、かつ、学習
により性能が向上するニューラルネットワーク装置を提
供することを目的とする。
もので、利用者のもとで高速に学習ができ、かつ、学習
により性能が向上するニューラルネットワーク装置を提
供することを目的とする。
【０００７】
【課題を解決するための手段】上記目的を達成するため
に、本発明の第１のニューラルネットワーク装置は、入
力層と、少なくとも１層の中間層と、出力層とを有する
多層構造型ニューラルネットワークに適用され、隣接す
る前記層間を相互に接続し、入力信号に対して望ましい
出力信号を出すように最適もしくはそれに近い状態まで
学習済みの結合強度を有するシナプス結合と、前記シナ
プス結合の任意の前記層間の結合強度のみを学習により
書き換える学習制御手段と、を具備することを特徴とし
ている。
に、本発明の第１のニューラルネットワーク装置は、入
力層と、少なくとも１層の中間層と、出力層とを有する
多層構造型ニューラルネットワークに適用され、隣接す
る前記層間を相互に接続し、入力信号に対して望ましい
出力信号を出すように最適もしくはそれに近い状態まで
学習済みの結合強度を有するシナプス結合と、前記シナ
プス結合の任意の前記層間の結合強度のみを学習により
書き換える学習制御手段と、を具備することを特徴とし
ている。
【０００８】また、本発明の第２のニューラルネットワ
ーク装置は、第１のニューラルネットワーク装置に加
え、学習終了時点で入力データ又は教師データに対する
中間層の出力値を記憶し、追加学習時に、前回の学習時
点における中間層の出力値を対応するニューロンに教師
信号として提示する手段を更に具備することを特徴とし
ている。
ーク装置は、第１のニューラルネットワーク装置に加
え、学習終了時点で入力データ又は教師データに対する
中間層の出力値を記憶し、追加学習時に、前回の学習時
点における中間層の出力値を対応するニューロンに教師
信号として提示する手段を更に具備することを特徴とし
ている。
【０００９】
【作用】上記手段を講じた結果、次のような作用が生じ
る。
る。
【００１０】本発明の第１のニューラルネットワーク装
置は、既に学習済みのシナプス結合を持ち、利用者が任
意の層間のシナプス結合を更に学習により書き換えられ
る機能を備えているので、高速に学習ができる。更に、
追加学習により性能が劣化することを避けられるため
に、環境適応性、汎化性を持つニューラルネットワーク
装置が実現できる。
置は、既に学習済みのシナプス結合を持ち、利用者が任
意の層間のシナプス結合を更に学習により書き換えられ
る機能を備えているので、高速に学習ができる。更に、
追加学習により性能が劣化することを避けられるため
に、環境適応性、汎化性を持つニューラルネットワーク
装置が実現できる。
【００１１】本発明の第２のニューラルネットワーク装
置は、既に学習済みのシナプス結合を持ち、任意の層間
のシナプス結合の追加学習用の教師信号を中間層ニュー
ロンに提示させる機能を備えているので、高速に学習で
き、かつ、追加学習により性能が向上でき、環境適応
性、汎化性を持つニューラルネットワーク装置が実現で
きる。
置は、既に学習済みのシナプス結合を持ち、任意の層間
のシナプス結合の追加学習用の教師信号を中間層ニュー
ロンに提示させる機能を備えているので、高速に学習で
き、かつ、追加学習により性能が向上でき、環境適応
性、汎化性を持つニューラルネットワーク装置が実現で
きる。
【００１２】
【実施例】以下、図面を参照しながら実施例を説明す
る。
る。
【００１３】図１は本発明のニューラルネットワーク装
置の第１実施例に係る基本構成を示す図である。このニ
ューラルネットワーク装置１は、それぞれ複数のニュー
ロン８を含む入力層ニューロン部２、中間層ニューロン
部３及び出力層ニューロン部４と、前記各層のニューロ
ン部間を相互接続するシナプス結合部５と、前記シナプ
ス結合５に対応して設けられ、前記シナプス結合部５の
各シナプス９の結合強度をそれぞれ記憶する結合強度記
憶部６と、各シナプス結合部５について学習を行うか否
かを制御する学習制御部７とにより構成される。
置の第１実施例に係る基本構成を示す図である。このニ
ューラルネットワーク装置１は、それぞれ複数のニュー
ロン８を含む入力層ニューロン部２、中間層ニューロン
部３及び出力層ニューロン部４と、前記各層のニューロ
ン部間を相互接続するシナプス結合部５と、前記シナプ
ス結合５に対応して設けられ、前記シナプス結合部５の
各シナプス９の結合強度をそれぞれ記憶する結合強度記
憶部６と、各シナプス結合部５について学習を行うか否
かを制御する学習制御部７とにより構成される。
【００１４】上記の構成において、その動作を説明す
る。ニューラルネットワーク装置１の中間層ニューロン
部３を複数層として構成することもできるが、本実施例
では、中間層ニューロン部３を３層として説明する。
る。ニューラルネットワーク装置１の中間層ニューロン
部３を複数層として構成することもできるが、本実施例
では、中間層ニューロン部３を３層として説明する。
【００１５】ある学習パターンが入力層ニューロン部２
に入力されると、入力層ニューロン部２と中間層ニュー
ロン部３との間のシナプス結合部５Ａを介して中間層ニ
ューロン部３に入力する。次に、中間層ニューロン部３
の出力は中間層ニューロン部３と出力層ニューロン部４
との間のシナプス結合部５Ｂを介して出力層ニューロン
部４から出力される。
に入力されると、入力層ニューロン部２と中間層ニュー
ロン部３との間のシナプス結合部５Ａを介して中間層ニ
ューロン部３に入力する。次に、中間層ニューロン部３
の出力は中間層ニューロン部３と出力層ニューロン部４
との間のシナプス結合部５Ｂを介して出力層ニューロン
部４から出力される。
【００１６】出力層ニューロン部４には、入力層ニュー
ロン部２に入力された入力に対応する教師信号が提示さ
れ、出力信号との誤差信号が求められる。この誤差信号
を出力を得る場合と逆方向に伝搬して、バックプロパゲ
ーション法により学習が行われる。
ロン部２に入力された入力に対応する教師信号が提示さ
れ、出力信号との誤差信号が求められる。この誤差信号
を出力を得る場合と逆方向に伝搬して、バックプロパゲ
ーション法により学習が行われる。
【００１７】本実施例装置の学習制御部７は、上記のバ
ックプロパゲーション法による学習の際に各層のニュー
ロン部及びシナプス結合部が学習を行うか否かを選択す
る機能を有している。この学習制御部７の動作を詳細に
説明する。
ックプロパゲーション法による学習の際に各層のニュー
ロン部及びシナプス結合部が学習を行うか否かを選択す
る機能を有している。この学習制御部７の動作を詳細に
説明する。
【００１８】学習制御部７は、入力層ニューロン部２、
中間層ニューロン部３、出力層ニューロン部４及び各層
間のシナプス結合部５の結合強度を記憶する結合強度記
憶部６に接続されていて、学習モード・非学習モードの
切り替えを各層のニューロン部及びシナプス結合部毎に
選択できるようになっている。本発明は、学習済みのニ
ューラルネットワーク装置の追加学習を対象としている
ことから、まず、本実施例装置の初期学習について説明
する。
中間層ニューロン部３、出力層ニューロン部４及び各層
間のシナプス結合部５の結合強度を記憶する結合強度記
憶部６に接続されていて、学習モード・非学習モードの
切り替えを各層のニューロン部及びシナプス結合部毎に
選択できるようになっている。本発明は、学習済みのニ
ューラルネットワーク装置の追加学習を対象としている
ことから、まず、本実施例装置の初期学習について説明
する。
【００１９】複数の入出力パターンを入力層ニューロン
部２に提示し、出力層ニューロン部４の出力と教師信号
との誤差信号に基づいてバックプロパゲーション法によ
り学習を繰り返して行う。この場合、学習制御部７はす
べてのシナプス結合５について学習モードになってい
る。この繰り返し学習の結果、望ましい出力を得られる
ようになったら、最終的に、そのシナプス結合強度を結
合強度記憶部６に書き込む。本手続きにより初期学習が
終了する。上記のようにして初期学習が終了したニュー
ラルネットワーク装置１を利用して追加学習が行われ
る。
部２に提示し、出力層ニューロン部４の出力と教師信号
との誤差信号に基づいてバックプロパゲーション法によ
り学習を繰り返して行う。この場合、学習制御部７はす
べてのシナプス結合５について学習モードになってい
る。この繰り返し学習の結果、望ましい出力を得られる
ようになったら、最終的に、そのシナプス結合強度を結
合強度記憶部６に書き込む。本手続きにより初期学習が
終了する。上記のようにして初期学習が終了したニュー
ラルネットワーク装置１を利用して追加学習が行われ
る。
【００２０】例えば、文字認識等について、同じ用途で
ニューラルネットワーク装置１を利用する場合は初期学
習で得られたシナプス結合の強度をそのまま複製して使
用することが可能である。初期学習が済んだニューラル
ネットワーク装置１は利用者のもとで追加学習を行うこ
とになるが、追加学習は、ニューラルネットワーク装置
１を制御に使う場合は利用環境に合わせて、認識に使う
場合は未学習パターンについて行われる。
ニューラルネットワーク装置１を利用する場合は初期学
習で得られたシナプス結合の強度をそのまま複製して使
用することが可能である。初期学習が済んだニューラル
ネットワーク装置１は利用者のもとで追加学習を行うこ
とになるが、追加学習は、ニューラルネットワーク装置
１を制御に使う場合は利用環境に合わせて、認識に使う
場合は未学習パターンについて行われる。
【００２１】この追加学習の時、出力層側のシナプス結
合値は書き換えずに入力層側のシナプス結合のみ学習モ
ードに設定しておく。充分学習されたニューラルネット
ワークでは中間層で特徴抽出が行われ、その中間層の出
力をもとに出力層から出力信号が得られるからである。
中間層ニューロン部３が複数の場合は、少なくとも出力
層ニューロン部４に接続されたシナプス結合部５のみ非
学習モードとしておけば良い。
合値は書き換えずに入力層側のシナプス結合のみ学習モ
ードに設定しておく。充分学習されたニューラルネット
ワークでは中間層で特徴抽出が行われ、その中間層の出
力をもとに出力層から出力信号が得られるからである。
中間層ニューロン部３が複数の場合は、少なくとも出力
層ニューロン部４に接続されたシナプス結合部５のみ非
学習モードとしておけば良い。
【００２２】上記のように入力層側のシナプス結合のみ
について学習に適応させることは、環境の変化や未学習
パターンの提示といった入力信号の小さな変化に対する
適応の要求に対して、次の点で有利である。 （１） すべてのシナプス結合を学習させた場合に比べ
少ない計算量で済む。 （２） 突発的に既学習パターンからかけ離れた入力が
入った場合にも、既学習パターンに対する応答を劣化さ
せずに済む。
について学習に適応させることは、環境の変化や未学習
パターンの提示といった入力信号の小さな変化に対する
適応の要求に対して、次の点で有利である。 （１） すべてのシナプス結合を学習させた場合に比べ
少ない計算量で済む。 （２） 突発的に既学習パターンからかけ離れた入力が
入った場合にも、既学習パターンに対する応答を劣化さ
せずに済む。
【００２３】従って、本発明のニューラルネットワーク
装置は、既に学習済みのシナプス結合を持ち、利用者が
任意の層間、特に、入力層側、のシナプス結合を更に学
習により書き換えられる機能を備えているので、高速に
学習することができる。更に、追加学習により性能が劣
化することを避けられるために、環境適応性、汎化性を
持つニューラルネットワーク装置が実現できる。
装置は、既に学習済みのシナプス結合を持ち、利用者が
任意の層間、特に、入力層側、のシナプス結合を更に学
習により書き換えられる機能を備えているので、高速に
学習することができる。更に、追加学習により性能が劣
化することを避けられるために、環境適応性、汎化性を
持つニューラルネットワーク装置が実現できる。
【００２４】図２に本発明の第１実施例のニューラルネ
ットワーク装置１の第１変形例を示す。図１と同じ部分
には同じ符号を用い、説明は省略する。本変形例のニュ
ーラルネットワーク装置は、図１の入力層側のシナプス
結合の結合強度記憶部６を書き込み可能な記憶手段１０
で、出力層側のシナプス結合の結合強度記憶部６を読み
出し専用の記憶手段１１で構成されている。中間層ニュ
ーロン部３が複数の場合は、出力層ニューロン部４に接
続された記憶手段のみ読みだし専用の記憶手段１０とす
ることができる。本変形例においても、第１実施例で説
明したように入力側のシナプス結合のみで第１実施例と
同様の効果が得られる。
ットワーク装置１の第１変形例を示す。図１と同じ部分
には同じ符号を用い、説明は省略する。本変形例のニュ
ーラルネットワーク装置は、図１の入力層側のシナプス
結合の結合強度記憶部６を書き込み可能な記憶手段１０
で、出力層側のシナプス結合の結合強度記憶部６を読み
出し専用の記憶手段１１で構成されている。中間層ニュ
ーロン部３が複数の場合は、出力層ニューロン部４に接
続された記憶手段のみ読みだし専用の記憶手段１０とす
ることができる。本変形例においても、第１実施例で説
明したように入力側のシナプス結合のみで第１実施例と
同様の効果が得られる。
【００２５】更に、図１の入力層側のシナプス結合の結
合記憶強度部６に対応する記憶素子１０を書き込み可能
な不揮発記憶素子で実現すれば、ニューラルネットワー
ク装置１の電源を落としても学習したシナプス結合値は
失われない。従って、初期学習で学習した内容に加えて
追加学習に対応した内容も記憶されることから、更に、
汎化性があるニューラルネットワーク装置が得られる。
合記憶強度部６に対応する記憶素子１０を書き込み可能
な不揮発記憶素子で実現すれば、ニューラルネットワー
ク装置１の電源を落としても学習したシナプス結合値は
失われない。従って、初期学習で学習した内容に加えて
追加学習に対応した内容も記憶されることから、更に、
汎化性があるニューラルネットワーク装置が得られる。
【００２６】図３に、本発明の第１実施例のニューラル
ネットワーク装置１の第２変形例を示す。図１と同じ部
分には同じ符号を用い、説明は省略する。図３は、シナ
プス結合部５、結合強度記憶部６、学習制御部７とを同
一集積回路（シナプスチップ１２）上に搭載した例を示
す。これらを集積回路上に構成することにより、第１実
施例と同様の効果が得られ、加えて、小型で高速な処理
速度・高速学習が可能なニューラルネットワーク装置が
安価に実現できる。また、本変形例は、第１変形例と併
せて用いることもできる。
ネットワーク装置１の第２変形例を示す。図１と同じ部
分には同じ符号を用い、説明は省略する。図３は、シナ
プス結合部５、結合強度記憶部６、学習制御部７とを同
一集積回路（シナプスチップ１２）上に搭載した例を示
す。これらを集積回路上に構成することにより、第１実
施例と同様の効果が得られ、加えて、小型で高速な処理
速度・高速学習が可能なニューラルネットワーク装置が
安価に実現できる。また、本変形例は、第１変形例と併
せて用いることもできる。
【００２７】図４に、本発明の第１実施例のニューラル
ネットワーク装置１の第３変形例を示す。図１と同じ部
分には同じ符号を用い、説明は省略する。図４は、シナ
プス結合部５、結合強度記憶部６、学習制御部７と各々
の層のニューロン部とを同一の集積回路（ニューラルネ
ットワークチップ１３）上に搭載した例を示す。これら
を集積回路上に構成することにより、第３変形例よりも
更に小型で高速な処理速度・高速学習が可能なニューラ
ルネットワーク装置が実現できる。
ネットワーク装置１の第３変形例を示す。図１と同じ部
分には同じ符号を用い、説明は省略する。図４は、シナ
プス結合部５、結合強度記憶部６、学習制御部７と各々
の層のニューロン部とを同一の集積回路（ニューラルネ
ットワークチップ１３）上に搭載した例を示す。これら
を集積回路上に構成することにより、第３変形例よりも
更に小型で高速な処理速度・高速学習が可能なニューラ
ルネットワーク装置が実現できる。
【００２８】図５は、本発明の第２実施例に係るニュー
ラルネットワーク装置の基本構成を示す図である。本実
施例に係るニューラルネットワーク装置１は、第１実施
例のニューラルネットワーク装置に加えて、中間層ニュ
ーロン部３に対応する配置された少なくとも１つの中間
層出力記憶部１４を具備している。図１と同じ部分には
同じ符号を用い、説明は省略する。
ラルネットワーク装置の基本構成を示す図である。本実
施例に係るニューラルネットワーク装置１は、第１実施
例のニューラルネットワーク装置に加えて、中間層ニュ
ーロン部３に対応する配置された少なくとも１つの中間
層出力記憶部１４を具備している。図１と同じ部分には
同じ符号を用い、説明は省略する。
【００２９】本実施例が第１実施例と異なる点は、中間
層出力記憶部１４が初期学習終了時の中間層ニューロン
部３のパターンを記憶し、そのパターンの値を教師信号
として中間層ニューロン部３に与える機能を有する点で
ある。
層出力記憶部１４が初期学習終了時の中間層ニューロン
部３のパターンを記憶し、そのパターンの値を教師信号
として中間層ニューロン部３に与える機能を有する点で
ある。
【００３０】本実施例装置についても第１実施例と同様
の方法により初期学習が行われ、追加学習についても第
１実施例と同様に利用者のもとで行われる。本実施例に
ついても、第１実施例と同様に制御に使う場合は利用環
境に合わせて、認識に使う場合は未学習パターンについ
て学習を行う。初期学習が終了した時点で中間層ニュー
ロン部３の各ニューロンが出力していた値を中間層出力
記憶部１４がそれぞれ記憶する。追加学習を行う場合に
は、中間層出力記憶部１４に記憶された値を中間層ニュ
ーロン部３へ教師信号として与える。
の方法により初期学習が行われ、追加学習についても第
１実施例と同様に利用者のもとで行われる。本実施例に
ついても、第１実施例と同様に制御に使う場合は利用環
境に合わせて、認識に使う場合は未学習パターンについ
て学習を行う。初期学習が終了した時点で中間層ニュー
ロン部３の各ニューロンが出力していた値を中間層出力
記憶部１４がそれぞれ記憶する。追加学習を行う場合に
は、中間層出力記憶部１４に記憶された値を中間層ニュ
ーロン部３へ教師信号として与える。
【００３１】従って、本実施例に係るニューラルネット
ワーク装置は、既に学習済みのシナプス結合を持ち、任
意の層間のシナプス結合の追加学習用の教師信号を中間
層ニューロンに提示させる機能を備えているので、高速
に学習でき、かつ、追加学習により性能を向上でき、環
境適応性、汎化性を持つニューラルネットワーク装置が
実現できる。
ワーク装置は、既に学習済みのシナプス結合を持ち、任
意の層間のシナプス結合の追加学習用の教師信号を中間
層ニューロンに提示させる機能を備えているので、高速
に学習でき、かつ、追加学習により性能を向上でき、環
境適応性、汎化性を持つニューラルネットワーク装置が
実現できる。
【００３２】図６に本発明の第２実施例のニューラルネ
ットワーク装置１の第１変形例を示す。本変形例のニュ
ーラルネットワーク装置は、図５の入力層側のシナプス
結合の結合強度記憶部６を書き込み可能な記憶素子１０
で、出力層側のシナプス結合の結合強度記憶部６を読み
出し専用の記憶素子１１で構成されている。本変形例に
おいても、第２実施例で説明したように入力側のシナプ
ス結合のみで第２実施例と同様の効果が得られる。
ットワーク装置１の第１変形例を示す。本変形例のニュ
ーラルネットワーク装置は、図５の入力層側のシナプス
結合の結合強度記憶部６を書き込み可能な記憶素子１０
で、出力層側のシナプス結合の結合強度記憶部６を読み
出し専用の記憶素子１１で構成されている。本変形例に
おいても、第２実施例で説明したように入力側のシナプ
ス結合のみで第２実施例と同様の効果が得られる。
【００３３】更に、図２の入力層側のシナプス結合の結
合記憶強度部６に対応する記憶素子１０を書き込み可能
な不揮発記憶素子で実現すれば、ニューラルネットワー
ク装置１の電源を落としても学習したシナプス結合値は
失われない。従って、初期学習で学習した内容に加えて
追加学習に対応した内容も記憶されることから、更に、
汎化性があるニューラルネットワーク装置が得られる。
合記憶強度部６に対応する記憶素子１０を書き込み可能
な不揮発記憶素子で実現すれば、ニューラルネットワー
ク装置１の電源を落としても学習したシナプス結合値は
失われない。従って、初期学習で学習した内容に加えて
追加学習に対応した内容も記憶されることから、更に、
汎化性があるニューラルネットワーク装置が得られる。
【００３４】図７に、本発明の第２実施例のニューラル
ネットワーク装置１の第２変形例を示す。図７は、シナ
プス結合部５、結合強度記憶部６、学習制御部７とを同
一集積回路（シナプスチップ１２）上に搭載した例を示
す。これらを集積回路上に構成することにより、第２実
施例と同様の効果が得られ、加えて、小型で高速な処理
速度・高速学習が可能なニューラルネットワーク装置が
安価に実現できる。また、本変形例は、第１変形例と併
せて用いることもできる。
ネットワーク装置１の第２変形例を示す。図７は、シナ
プス結合部５、結合強度記憶部６、学習制御部７とを同
一集積回路（シナプスチップ１２）上に搭載した例を示
す。これらを集積回路上に構成することにより、第２実
施例と同様の効果が得られ、加えて、小型で高速な処理
速度・高速学習が可能なニューラルネットワーク装置が
安価に実現できる。また、本変形例は、第１変形例と併
せて用いることもできる。
【００３５】図８に、本発明の第２実施例のニューラル
ネットワーク装置１の第３変形例を示す。図８は、シナ
プス結合部５、結合強度記憶部６、学習制御部７と各々
の層のニューロン部とを同一の集積回路（ニューラルネ
ットワークチップ１３）上に搭載した例を示す。これら
を集積回路上に構成することにより、第３変形例よりも
更に小型で高速な処理速度・高速学習が可能なニューラ
ルネットワーク装置が実現できる。
ネットワーク装置１の第３変形例を示す。図８は、シナ
プス結合部５、結合強度記憶部６、学習制御部７と各々
の層のニューロン部とを同一の集積回路（ニューラルネ
ットワークチップ１３）上に搭載した例を示す。これら
を集積回路上に構成することにより、第３変形例よりも
更に小型で高速な処理速度・高速学習が可能なニューラ
ルネットワーク装置が実現できる。
【００３６】
【発明の効果】以上説明したように本発明のニューラル
ネットワーク装置は、利用者のもとで高速に学習がで
き、かつ、学習により性能が向上するので、環境適応
性、汎化性を持つニューラルネットワーク装置が実現で
きる。
ネットワーク装置は、利用者のもとで高速に学習がで
き、かつ、学習により性能が向上するので、環境適応
性、汎化性を持つニューラルネットワーク装置が実現で
きる。
【図１】本発明のニューラルネットワーク装置の第１実
施例に係る基本構成を示す図。
施例に係る基本構成を示す図。
【図２】第１実施例装置の第１変形例を示す図。
【図３】第１実施例装置の第２変形例を示す図。
【図４】第１実施例装置の第３変形例を示す図。
【図５】本発明のニューラルネットワーク装置の第２実
施例に係る基本構成を示す図。
施例に係る基本構成を示す図。
【図６】第２実施例装置の第１変形例を示す図。
【図７】第２実施例装置の第２変形例を示す図。
【図８】第２実施例装置の第３変形例を示す図。
１…ニューラルネットワーク装置、２…入力層ニューロ
ン部、３…中間層ニューロン部、４…出力層ニューロン
部、５…シナプス結合部、６…結合強度記憶部、７…学
習制御部、８…ニューロン、９…シナプス、１０…書き
込み可能な記憶手段、１１…読み出し専用の記憶手段、
１２…シナプスチップ、１３…ニューラルネットワーク
チップ、１４…中間層出力記憶部。
ン部、３…中間層ニューロン部、４…出力層ニューロン
部、５…シナプス結合部、６…結合強度記憶部、７…学
習制御部、８…ニューロン、９…シナプス、１０…書き
込み可能な記憶手段、１１…読み出し専用の記憶手段、
１２…シナプスチップ、１３…ニューラルネットワーク
チップ、１４…中間層出力記憶部。
Claims (3)
- 【請求項１】入力層ニューロン部と、少なくとも１層の
中間層ニューロン部と、出力層ニューロン部とを有する
多層構造型ニューラルネットワークにおいて、 隣接する前記層間を相互に接続し、入力信号に対して望
ましい出力信号を出すように最適もしくはそれに近い状
態まで学習済みの結合強度を有するシナプス結合と、 任意の前記層間の前記シナプス結合の結合強度のみを学
習により書き換える制御を行う学習制御手段と、 を具備することを特徴とするニューラルネットワーク装
置。 - 【請求項２】学習終了時点で入力データ又は教師データ
に対する中間層の出力値を記憶し、追加学習時に、前回
の学習時点における中間層の出力値を対応するニューロ
ンに教師信号として提示する手段を更に具備することを
特徴とする請求項１記載のニューラルネットワーク装
置。 - 【請求項３】前記シナプス結合のうち入力層と中間層と
の間のシナプス結合又は入力層と中間層、中間層と中間
層との間のシナプス結合は書き込み可能な記憶手段に、
前記シナプス結合以外のシナプス結合は読み出し専用の
記憶手段に記憶させることを特徴とする請求項１又は２
記載のニューラルネットワーク装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4071584A JPH05274455A (ja) | 1992-03-27 | 1992-03-27 | ニューラルネットワーク装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4071584A JPH05274455A (ja) | 1992-03-27 | 1992-03-27 | ニューラルネットワーク装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05274455A true JPH05274455A (ja) | 1993-10-22 |
Family
ID=13464888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4071584A Pending JPH05274455A (ja) | 1992-03-27 | 1992-03-27 | ニューラルネットワーク装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05274455A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005215988A (ja) * | 2004-01-29 | 2005-08-11 | Canon Inc | パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 |
| JP2009501965A (ja) * | 2005-06-23 | 2009-01-22 | マイクロソフト コーポレーション | ニューラル・ネットワークを用いた手書き認識 |
| US7676441B2 (en) | 2004-06-11 | 2010-03-09 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, pattern recognition apparatus, and pattern recognition method |
| WO2018029777A1 (ja) * | 2016-08-09 | 2018-02-15 | 三菱電機株式会社 | 話者適応化装置、音声認識装置および音声認識方法 |
| WO2020044407A1 (ja) * | 2018-08-27 | 2020-03-05 | 日本電気株式会社 | 学習装置、学習方法および学習プログラム |
| JP2021526277A (ja) * | 2018-10-18 | 2021-09-30 | シャンハイ カンブリコン インフォメーション テクノロジー カンパニー リミテッドＳｈａｎｇｈａｉ Ｃａｍｂｒｉｃｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． | ネットワークオンチップによるデータ処理方法及び装置 |
-
1992
- 1992-03-27 JP JP4071584A patent/JPH05274455A/ja active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005215988A (ja) * | 2004-01-29 | 2005-08-11 | Canon Inc | パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 |
| JP4532915B2 (ja) * | 2004-01-29 | 2010-08-25 | キヤノン株式会社 | パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 |
| US7676441B2 (en) | 2004-06-11 | 2010-03-09 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, pattern recognition apparatus, and pattern recognition method |
| JP2009501965A (ja) * | 2005-06-23 | 2009-01-22 | マイクロソフト コーポレーション | ニューラル・ネットワークを用いた手書き認識 |
| WO2018029777A1 (ja) * | 2016-08-09 | 2018-02-15 | 三菱電機株式会社 | 話者適応化装置、音声認識装置および音声認識方法 |
| JP6324647B1 (ja) * | 2016-08-09 | 2018-05-16 | 三菱電機株式会社 | 話者適応化装置、音声認識装置および音声認識方法 |
| WO2020044407A1 (ja) * | 2018-08-27 | 2020-03-05 | 日本電気株式会社 | 学習装置、学習方法および学習プログラム |
| JP2021166032A (ja) * | 2018-10-18 | 2021-10-14 | シャンハイ カンブリコン インフォメーション テクノロジー カンパニー リミテッドShanghai Cambricon Information Technology Co., Ltd. | ネットワークオンチップによるデータ処理方法及び装置 |
| JP2021526277A (ja) * | 2018-10-18 | 2021-09-30 | シャンハイ カンブリコン インフォメーション テクノロジー カンパニー リミテッドＳｈａｎｇｈａｉ Ｃａｍｂｒｉｃｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． | ネットワークオンチップによるデータ処理方法及び装置 |
| US11797467B2 (en) | 2018-10-18 | 2023-10-24 | Shanghai Cambricon Information Technology Co., Ltd. | Data processing device with transmission circuit |
| US11809360B2 (en) | 2018-10-18 | 2023-11-07 | Shanghai Cambricon Information Technology Co., Ltd. | Network-on-chip data processing method and device |
| US11841816B2 (en) | 2018-10-18 | 2023-12-12 | Shanghai Cambricon Information Technology Co., Ltd. | Network-on-chip data processing method and device |
| US11880328B2 (en) | 2018-10-18 | 2024-01-23 | Shanghai Cambricon Information Technology Co., Ltd. | Network-on-chip data processing method and device |
| US11880329B2 (en) | 2018-10-18 | 2024-01-23 | Shanghai Cambricon Information Technology Co., Ltd. | Arbitration based machine learning data processor |
| US11960431B2 (en) | 2018-10-18 | 2024-04-16 | Guangzhou University | Network-on-chip data processing method and device |
| US11971836B2 (en) | 2018-10-18 | 2024-04-30 | Shanghai Cambricon Information Technology Co., Ltd. | Network-on-chip data processing method and device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11361216B2 (en) | Neural network circuits having non-volatile synapse arrays | |
| US4951239A (en) | Artificial neural network implementation | |
| Hopfield | Artificial neural networks | |
| US8204927B1 (en) | System and method for cognitive processing for data fusion | |
| CN111640459A (zh) | 数据保持电路、数据处理系统和写入充电状态的方法 | |
| WO2012089360A1 (en) | Electronic synapses for reinforcement learning | |
| CN111581141A (zh) | 存储器装置及其操作方法 | |
| EP3743857A2 (en) | Neural network circuits having non-volatile synapse arrays | |
| KR20180090560A (ko) | 다수 개의 시냅스 셀들을 가진 시냅스를 포함하는 뉴로모픽 소자 | |
| US20180336470A1 (en) | Deep learning in bipartite memristive networks | |
| JPH05274455A (ja) | ニューラルネットワーク装置 | |
| US5493632A (en) | Neural network employing a location addressable memory and method for operating the same | |
| KR960013367B1 (ko) | 프로그램이 가능한 다층 신경회로망 | |
| Nehmzow et al. | Really Useful Robots. | |
| WO2021048542A1 (en) | Physical implementation of artificial neural networks | |
| JPH04118741A (ja) | ニューラルネットワーク装置 | |
| JPH01173202A (ja) | ロボット制御方式 | |
| Omori et al. | Incremental knowledge acquisition architecture that is driven by the emergence of inquiry conversation | |
| Wang et al. | Hybrid location-content addressable memory | |
| Lee | Identification and control of nonlinear dynamic systems using higher order neural networks | |
| Tang et al. | A model of neurons with unidirectional linear response | |
| Haikonen | An artificial mind via cognitive modular neural architecture | |
| JP3142287B2 (ja) | ニューラルネットワーク | |
| Bairaktaris et al. | Using old memories to store new ones | |
| JPH0415773A (ja) | 神経回路網装置 |