JP2796100B2 - アナログニューロチップの学習・再学習方法 - Google Patents
アナログニューロチップの学習・再学習方法Info
- Publication number
- JP2796100B2 JP2796100B2 JP63251176A JP25117688A JP2796100B2 JP 2796100 B2 JP2796100 B2 JP 2796100B2 JP 63251176 A JP63251176 A JP 63251176A JP 25117688 A JP25117688 A JP 25117688A JP 2796100 B2 JP2796100 B2 JP 2796100B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- neural network
- neurochip
- analog
- learning data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Semiconductor Memories (AREA)
- Character Discrimination (AREA)
Description
【発明の詳細な説明】 産業上の利用分野 本発明は、神経回路網（ニューラルネットワーク）を
用いたニューロチップの学習・再学習方法に関するもの
である。
用いたニューロチップの学習・再学習方法に関するもの
である。
従来の技術 近年、人間の脳の動作を模倣し、並列処理に向くニュ
ーロコンピュータがニューロチップを用いて各研究機関
で作られている。以下ニューロチップについて説明す
る。第２図は、神経細胞の構成概略図である。神経細胞
の中身を情報処理をする部品としてみると、１個の細胞
体１と軸索2,複数の樹状突起３とシナプス４に分かれ
る。一つの神経細胞は電子回路にたとえると、NAND回路
やNOR回路などの基本回路に当たる。しかし、機能は全
く異なる。シナプス４は入出力インターフェース，樹状
突起３が入力線，軸索２は出力線，細胞体１は信号処理
部に相当する。シナプス４から入った信号は、樹状突起
３を伝わり細胞体１に達する。細胞体１では、たくさん
の樹状突起３から入った信号を集め、軸索２を通して次
の細胞へ信号を出力する。シナプス４は単に信号をその
まま伝えるわけではなく、どの神経細胞から来たかによ
って信号の強さを変えている。また、信号（刺激）が来
る頻度が大きいほど、シナプス４はより大きな信号を細
胞体１に伝える。これを刺激（学習）により、シナプス
結合が増大したと言う。このような神経細胞の集合体で
ある脳は、学習により多数のシナプス結合の強度を変化
させていく。即ち、学習によりシナプス結合の強度とし
て記憶が形成されるわけである。
ーロコンピュータがニューロチップを用いて各研究機関
で作られている。以下ニューロチップについて説明す
る。第２図は、神経細胞の構成概略図である。神経細胞
の中身を情報処理をする部品としてみると、１個の細胞
体１と軸索2,複数の樹状突起３とシナプス４に分かれ
る。一つの神経細胞は電子回路にたとえると、NAND回路
やNOR回路などの基本回路に当たる。しかし、機能は全
く異なる。シナプス４は入出力インターフェース，樹状
突起３が入力線，軸索２は出力線，細胞体１は信号処理
部に相当する。シナプス４から入った信号は、樹状突起
３を伝わり細胞体１に達する。細胞体１では、たくさん
の樹状突起３から入った信号を集め、軸索２を通して次
の細胞へ信号を出力する。シナプス４は単に信号をその
まま伝えるわけではなく、どの神経細胞から来たかによ
って信号の強さを変えている。また、信号（刺激）が来
る頻度が大きいほど、シナプス４はより大きな信号を細
胞体１に伝える。これを刺激（学習）により、シナプス
結合が増大したと言う。このような神経細胞の集合体で
ある脳は、学習により多数のシナプス結合の強度を変化
させていく。即ち、学習によりシナプス結合の強度とし
て記憶が形成されるわけである。
ニューロチップ及びニューラルネットワーク装置は、
これらの機能を電子回路で表現し、複数の神経細胞を集
積したものである。シナプス結合を記憶するものとし
て、コンデンサの容量，抵抗体,SRAMのメモリセル等が
使われている。
これらの機能を電子回路で表現し、複数の神経細胞を集
積したものである。シナプス結合を記憶するものとし
て、コンデンサの容量，抵抗体,SRAMのメモリセル等が
使われている。
第３図は、従来のニューロコンピュータの構成概略図
である。５はワークステーション等のコンピュータ,6は
端末装置,7はニューロコンピュータの本体部であるニュ
ーラルネットワーク装置,8は外部記憶装置である。この
従来例の動作について説明する。まず、外部記憶装置８
からニューラルネットワーク装置７のコントロールプロ
グラム及びコンピュータ５のコントロールプログラムが
コンピュータ５にロードされる。このプログラムによっ
て、端末装置６を介して人間がニューラルネットワーク
装置７を教育する。教育されたニューラルネットワーク
装置７を『学習済ニューラルネットワーク』と呼ぶ。こ
の『学習済ニューラルネットワーク』に種々の問題を与
えそれを解かせるわけである。
である。５はワークステーション等のコンピュータ,6は
端末装置,7はニューロコンピュータの本体部であるニュ
ーラルネットワーク装置,8は外部記憶装置である。この
従来例の動作について説明する。まず、外部記憶装置８
からニューラルネットワーク装置７のコントロールプロ
グラム及びコンピュータ５のコントロールプログラムが
コンピュータ５にロードされる。このプログラムによっ
て、端末装置６を介して人間がニューラルネットワーク
装置７を教育する。教育されたニューラルネットワーク
装置７を『学習済ニューラルネットワーク』と呼ぶ。こ
の『学習済ニューラルネットワーク』に種々の問題を与
えそれを解かせるわけである。
発明が解決しようとする課題 しかし、かかる構成によれば、『学習済ニューラルネ
ットワーク』を大量生産しようとした場合、大量生産し
ようとするニューラルネットワーク装置７ごとに教育を
行わなければならず極めて生産性が低い。このように従
来の技術では大量生産において大きな課題があった。ま
たアナログ型ニューラルネットワークにおいては、「忘
却」という重大な課題があった。
ットワーク』を大量生産しようとした場合、大量生産し
ようとするニューラルネットワーク装置７ごとに教育を
行わなければならず極めて生産性が低い。このように従
来の技術では大量生産において大きな課題があった。ま
たアナログ型ニューラルネットワークにおいては、「忘
却」という重大な課題があった。
本発明は、上述の問題点に鑑みて成されたもので、
『学習済ニューラルネットワーク』を大量生産でき、
「忘却」を防止したアナログニューロチップの学習・再
学習方法を提供することを目的とする。
『学習済ニューラルネットワーク』を大量生産でき、
「忘却」を防止したアナログニューロチップの学習・再
学習方法を提供することを目的とする。
課題を解決するための手段 本発明は上述の問題点を解決するため、学習用データ
を書き込んだ記憶素子を搭載し、電源投入後一定時間以
内に前記学習用データを書き込んだ記憶素子から学習用
データを読み込み学習し、ニューラルネットワーク非使
用時に学習用データの少なくとも一部を読み込み再学習
することを特徴とするアナログニューロチップの学習・
再学習方法である。また上記再学習を参照回数の少ない
学習用データから順次読み込み再学習することが望まし
い。
を書き込んだ記憶素子を搭載し、電源投入後一定時間以
内に前記学習用データを書き込んだ記憶素子から学習用
データを読み込み学習し、ニューラルネットワーク非使
用時に学習用データの少なくとも一部を読み込み再学習
することを特徴とするアナログニューロチップの学習・
再学習方法である。また上記再学習を参照回数の少ない
学習用データから順次読み込み再学習することが望まし
い。
作用 本発明は上述の構成によって、学習用データを書き込
んだ記憶素子は、半導体製造技術を用いると大量生産が
容易にでき、電源投入時に前記学習用データによりニュ
ーラルネットワークをある一定時間内に学習させること
ができる。そのため『学習済ニューラルネットワーク』
を有するニューロチップおよびニューロチップを用いた
ニューロコンピュータの大量生産を容易にできる。ま
た、再学習させることによりアナログ型ニューラルネッ
トワークにおける「忘却」を防止している。また参照回
数の少ないデータほど「忘却」の頻度が高くなるので、
参照回数の少ない学習用データから順次読み込み再学習
させることにより、より適切に再学習を可能とする。
んだ記憶素子は、半導体製造技術を用いると大量生産が
容易にでき、電源投入時に前記学習用データによりニュ
ーラルネットワークをある一定時間内に学習させること
ができる。そのため『学習済ニューラルネットワーク』
を有するニューロチップおよびニューロチップを用いた
ニューロコンピュータの大量生産を容易にできる。ま
た、再学習させることによりアナログ型ニューラルネッ
トワークにおける「忘却」を防止している。また参照回
数の少ないデータほど「忘却」の頻度が高くなるので、
参照回数の少ない学習用データから順次読み込み再学習
させることにより、より適切に再学習を可能とする。
実 施 例 第１図に本発明の一実施例によるニューロチップを用
いたニューロコンピュータの構成概略図を示す。10はニ
ューロチップ,11はニューロチップ10の心臓部であるニ
ューラルネットワーク回路,12は学習用データを収めたR
OM回路,13は追加学習用データを収めたRAM回路,14はニ
ューロチップ10内の各ブロックを制御する制御回路,15
はホストコンピュータを示す。
いたニューロコンピュータの構成概略図を示す。10はニ
ューロチップ,11はニューロチップ10の心臓部であるニ
ューラルネットワーク回路,12は学習用データを収めたR
OM回路,13は追加学習用データを収めたRAM回路,14はニ
ューロチップ10内の各ブロックを制御する制御回路,15
はホストコンピュータを示す。
まず、電源が投入されたことを制御回路14が検出し、
ROM12に内蔵された学習用データをニューラルネットワ
ーク回路11に転送し、ニューラルネットワーク回路11
に、学習される。これにより、ニューラルネットワーク
回路11中のシナプス結合強度として、情報が蓄えられる
ことになる。次に、ホストコンピュータ15を介して人間
が、種々の問いかけをニューロチップ10に行うことにな
る。例えば、パターン認識のためにニューロチップ10を
利用した場合を考える。
ROM12に内蔵された学習用データをニューラルネットワ
ーク回路11に転送し、ニューラルネットワーク回路11
に、学習される。これにより、ニューラルネットワーク
回路11中のシナプス結合強度として、情報が蓄えられる
ことになる。次に、ホストコンピュータ15を介して人間
が、種々の問いかけをニューロチップ10に行うことにな
る。例えば、パターン認識のためにニューロチップ10を
利用した場合を考える。
「Ａ」という文字情報16がニューラルネットワーク回
路11に蓄えられているとする。この時崩れた字体で書か
れた「Ａ」17を入力し、これがＡかどうかをニューラル
ネットワーク回路11を有するニューロチップ10に判断さ
せることになる。この人間との対話の中で、新たに学習
すべき情報があらわれた場合、ニューラルネットワーク
回路11に学習させるとともに学習すべきデータを内蔵RA
M13に記憶させる。ニューラルネットワーク回路11中の
シナプス結合強度を記憶する物理量として、本実施例で
は、アナログ型ニューロであり、その一例としてコンデ
ンサに蓄えられた電荷量をこのシナプス結合強度に対応
させている。このため、リーク電流等によりこの電荷が
減少すると、シナプス結合強度が変わってしまい正しい
判断が出来なくなってしまう。即ちニューロチップ10が
「物忘れ」や「勘違い」を起すことになる。それを防ぐ
ため本実施例では、再学習という処理を行っている。こ
れは、外部からニューラルネットワーク回路11もしく
は、ニューロチップ10全体に問い合わせがない時、学習
用ROM12のデータの全てもしくは一部をニューラルネッ
トワーク回路11に転送し、再学習させている。これによ
り、「物忘れ」や「勘違い」を起す頻度を著しく減少さ
せることができる。また、本実施例ではニューラルネッ
トワークの特性上、参照回数の少いデータほど「忘却」
の頻度が高くなるので、参照回数の少い学習用データか
ら順次読み込み再学習させることによりこれを防いでい
る。
路11に蓄えられているとする。この時崩れた字体で書か
れた「Ａ」17を入力し、これがＡかどうかをニューラル
ネットワーク回路11を有するニューロチップ10に判断さ
せることになる。この人間との対話の中で、新たに学習
すべき情報があらわれた場合、ニューラルネットワーク
回路11に学習させるとともに学習すべきデータを内蔵RA
M13に記憶させる。ニューラルネットワーク回路11中の
シナプス結合強度を記憶する物理量として、本実施例で
は、アナログ型ニューロであり、その一例としてコンデ
ンサに蓄えられた電荷量をこのシナプス結合強度に対応
させている。このため、リーク電流等によりこの電荷が
減少すると、シナプス結合強度が変わってしまい正しい
判断が出来なくなってしまう。即ちニューロチップ10が
「物忘れ」や「勘違い」を起すことになる。それを防ぐ
ため本実施例では、再学習という処理を行っている。こ
れは、外部からニューラルネットワーク回路11もしく
は、ニューロチップ10全体に問い合わせがない時、学習
用ROM12のデータの全てもしくは一部をニューラルネッ
トワーク回路11に転送し、再学習させている。これによ
り、「物忘れ」や「勘違い」を起す頻度を著しく減少さ
せることができる。また、本実施例ではニューラルネッ
トワークの特性上、参照回数の少いデータほど「忘却」
の頻度が高くなるので、参照回数の少い学習用データか
ら順次読み込み再学習させることによりこれを防いでい
る。
以上本実施例では、ニューラルネットワーク回路11中
のシナプス結合情報を大量複製するのではなく、学習用
ROM12中にマスクパターンを大量複製することにより知
識を有するニューロチップ10の大量複製、即ち、大量生
産を可能にしている。即ち、本実施例では学習結果（シ
ナプス結合情報）を大量生産するのではなく学習するの
に必要なデータを大量生産することにより、ニューロチ
ップ10の大量生産を可能にしているわけである。
のシナプス結合情報を大量複製するのではなく、学習用
ROM12中にマスクパターンを大量複製することにより知
識を有するニューロチップ10の大量複製、即ち、大量生
産を可能にしている。即ち、本実施例では学習結果（シ
ナプス結合情報）を大量生産するのではなく学習するの
に必要なデータを大量生産することにより、ニューロチ
ップ10の大量生産を可能にしているわけである。
発明の効果 以上の説明から明らかなように、学習用データを書き
込んだ記憶素子は、半導体製造技術を用いると大量生産
が容易にでき、電源投入時に前記学習用データにより大
量生産が容易にでき、電源投入時に前記学習用データに
よりニューラルネットワークをある一定時間内に学習さ
せることができる。そのため『学習済ニューラルネット
ワーク』を有するニューロチップおよびニューロチップ
を用いたニューロコンピュータの大量生産を容易にでき
る。さらに学習用データはプログラムでなく、知識の集
合でよいため、メンテナンス性に優れるという効果があ
る。また、再学習させることによりアナログ型ニューラ
ルネットワークにおける「忘却」を防止している。また
参照回数の少ないデータほど「忘却」の頻度が高くなる
ので、参照回数の少ない学習用データから順次読み込み
再学習させることにより、より適切に再学習を可能とす
る。
込んだ記憶素子は、半導体製造技術を用いると大量生産
が容易にでき、電源投入時に前記学習用データにより大
量生産が容易にでき、電源投入時に前記学習用データに
よりニューラルネットワークをある一定時間内に学習さ
せることができる。そのため『学習済ニューラルネット
ワーク』を有するニューロチップおよびニューロチップ
を用いたニューロコンピュータの大量生産を容易にでき
る。さらに学習用データはプログラムでなく、知識の集
合でよいため、メンテナンス性に優れるという効果があ
る。また、再学習させることによりアナログ型ニューラ
ルネットワークにおける「忘却」を防止している。また
参照回数の少ないデータほど「忘却」の頻度が高くなる
ので、参照回数の少ない学習用データから順次読み込み
再学習させることにより、より適切に再学習を可能とす
る。
第１図は、本発明の一実施例におけるニューロチップを
用いたニューロコンピュータの構成概略図、第２図は神
経細胞の構成概略図、第３図は従来のニューロコンピュ
ータの構成概略図である。 11……ニューラルネットワーク回路、12……ROM、13…
…RAM、14……制御回路、15……ホストコンピュータ、1
6……「Ａ」という文字、17……崩れた字体で書かれた
「Ａ」。
用いたニューロコンピュータの構成概略図、第２図は神
経細胞の構成概略図、第３図は従来のニューロコンピュ
ータの構成概略図である。 11……ニューラルネットワーク回路、12……ROM、13…
…RAM、14……制御回路、15……ホストコンピュータ、1
6……「Ａ」という文字、17……崩れた字体で書かれた
「Ａ」。
フロントページの続き (56)参考文献 特開 昭63−206852（ＪＰ，Ａ) ＩＥＥＥ Ｊ．Ｓｏｌｉｄ−Ｓｔａｔ ｅ Ｃｉｒｃｕｉｔｓ，ｖｏｌ．23，ｎ ｏ．３，ｐｐ688−697 1988 Ａ．Ｆ. Ｍｕｒｒａｙ ａｎｄ Ａ．Ｖ．Ｗ．Ｓ ｍｉｔｈ，”Ａｓｙｎｃｈｒｏｎｏｕｓ ＶＬＳＩ ｎｅｕｒａｌ ｎｅｔｗｏ ｒｋｓ ｕｓｉｎｇ ｐｕｌｓｅ ｓｔ ｒｅａｍ ａｒｉｔｈｍｅｔｉｃ，"
Claims (2)
- 【請求項１】製造時に学習用データが書き込まれた記憶
素子を搭載したアナログニューロチップの学習・再学習
方法であって、電源投入後一定時間以内に前記学習用デ
ータを前記記憶素子から読み込み学習し、ニューラルネ
ットワーク非使用時に学習用データの少なくとも一部を
読み込み再学習することを特徴とするアナログニューロ
チップの学習・再学習方法。 - 【請求項２】参照回数の少ない学習用データから順次読
み込み再学習することを特徴とする特許請求の範囲第１
項記載のアナログニューロチップの学習・再学習方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63251176A JP2796100B2 (ja) | 1988-10-05 | 1988-10-05 | アナログニューロチップの学習・再学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63251176A JP2796100B2 (ja) | 1988-10-05 | 1988-10-05 | アナログニューロチップの学習・再学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0298771A JPH0298771A (ja) | 1990-04-11 |
| JP2796100B2 true JP2796100B2 (ja) | 1998-09-10 |
Family
ID=17218816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63251176A Expired - Fee Related JP2796100B2 (ja) | 1988-10-05 | 1988-10-05 | アナログニューロチップの学習・再学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2796100B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7396117B2 (ja) * | 2020-02-27 | 2023-12-12 | オムロン株式会社 | モデル更新装置、方法、及びプログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63206852A (ja) * | 1987-02-24 | 1988-08-26 | Hitachi Maxell Ltd | シングルチツプｌｓｉ |
-
1988
- 1988-10-05 JP JP63251176A patent/JP2796100B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| ＩＥＥＥ Ｊ．Ｓｏｌｉｄ−Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ，ｖｏｌ．２３，ｎｏ．３，ｐｐ６８８−６９７ １９８８ Ａ．Ｆ．Ｍｕｒｒａｙ ａｎｄ Ａ．Ｖ．Ｗ．Ｓｍｉｔｈ，"Ａｓｙｎｃｈｒｏｎｏｕｓ ＶＬＳＩ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｕｓｉｎｇ ｐｕｌｓｅ ｓｔｒｅａｍ ａｒｉｔｈｍｅｔｉｃ，" |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0298771A (ja) | 1990-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Moody et al. | Learning with localized receptive fields | |
| Willshaw et al. | An assessment of Marr’s theory of the hippocampus as a temporary memory store | |
| US5087826A (en) | Multi-layer neural network employing multiplexed output neurons | |
| US5394511A (en) | Coupling element for semiconductor neural network device | |
| US4943931A (en) | Digital artificial neural processor | |
| Zhao et al. | Synchronization of coupled memristive competitive BAM neural networks with different time scales | |
| Arima et al. | A self-learning neural network chip with 125 neurons and 10 K self-organization synapses | |
| US20180336470A1 (en) | Deep learning in bipartite memristive networks | |
| Khashman | Blood cell identification using emotional neural networks. | |
| Miller | Neural networks: implementing associative memory models in neurocomputers | |
| Hebb | 44. MULTILEVEL ASSEMBLY NEURAL ARCHITECTURE AND PROCESSING OF SEQUENCES | |
| JP2796100B2 (ja) | アナログニューロチップの学習・再学習方法 | |
| Weng et al. | Emergent Turing machines and operating systems for brain-like auto-programming for general purposes | |
| Quinlan | Theoretical notes on “Parallel models of associative memory” | |
| Matheus et al. | Learning in artificial neural systems | |
| Fasel | An introduction to bio-inspired artificial neural network architectures | |
| Ozawa et al. | An artificial modular neural network and its basic dynamical characteristics | |
| Nicole et al. | A network model with auto-oscillating output and dynamic connections | |
| Akingbehin et al. | A hybrid architecture for programmable computing and evolutionary learning | |
| JP3618007B2 (ja) | ニューラルネットワークの学習装置及び学習方法 | |
| Verleysen et al. | A new CMOS architecture for neural networks | |
| Goetz et al. | A neuronal basis for the fan effect | |
| Decker | Some proposed applications of artificial neural systems to spacecraft power subsystems | |
| CN118278478A (zh) | 一种基于忆阻器的变遗忘速率电路 | |
| JP3130913B2 (ja) | 信号処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |