JPH0612397A - ディジタル ニューロン、ディジタル ニューロン・ネットワーク並びにディジタル ニューロン・ネットワークの学習方法 - Google Patents
ディジタル ニューロン、ディジタル ニューロン・ネットワーク並びにディジタル ニューロン・ネットワークの学習方法Info
- Publication number
- JPH0612397A JPH0612397A JP5054305A JP5430593A JPH0612397A JP H0612397 A JPH0612397 A JP H0612397A JP 5054305 A JP5054305 A JP 5054305A JP 5430593 A JP5430593 A JP 5430593A JP H0612397 A JPH0612397 A JP H0612397A
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- neurons
- network
- input
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【目的】 ディジタル ニューロンの相互接続を大幅に
簡易化し、学習アルゴリズムも簡易化させること。 【構成】 ディジタル ニューロンに相関、または相互
接続の機能を与え、入力層及び中間層の各ニューロンの
出力は、次の層の対応のニューロンの入力回路、または
真上または真下のニューロンの入力回路のみに接続す
る。これによって相互接続数を減ずる。各ニューロンの
動作はルック アップ テーブルによりプログラムされ
る。
簡易化し、学習アルゴリズムも簡易化させること。 【構成】 ディジタル ニューロンに相関、または相互
接続の機能を与え、入力層及び中間層の各ニューロンの
出力は、次の層の対応のニューロンの入力回路、または
真上または真下のニューロンの入力回路のみに接続す
る。これによって相互接続数を減ずる。各ニューロンの
動作はルック アップ テーブルによりプログラムされ
る。
Description
【０００１】本発明はいわゆる合成ニューラル・ネット
ワークに関するものであり、とくに新規なディジタル
ニューロン、並びに簡素化したニューラル・ネットワー
ク構造及び強化したニューラル・ネットワーク学習アル
ゴリズムに関する。
ワークに関するものであり、とくに新規なディジタル
ニューロン、並びに簡素化したニューラル・ネットワー
ク構造及び強化したニューラル・ネットワーク学習アル
ゴリズムに関する。
【０００２】合成ニューラル・ネットワークは人間の脳
のニューロン（神経）の作用と同じように動作する。人
間のニューロンは３つの主要部より成り、これらは、ソ
ーマ（soma--- 躯幹）、アクソン（axon--- 神経繊維）
及びそのボウトン（シナプスbouton）並びにデンドライ
ト（dendrite--- 樹状突起）である。デンドライトは他
のニューロンよりの入力信号パルスを受信し、これらの
入力信号パルスをソーマに転送する。ソーマは各デンド
ライトより受信したすべての信号を“評価”する。これ
ら信号のあるものは正信号であり、これらはソーマを刺
激し、他の信号は負であって、ソーマの刺激を禁止する
作用を行う。ソーマは所定のスレショールド以上に刺激
されると、それ自身の電気信号パルスを生じ、これらの
パルスをアクソンを通じボウトンに送り、ボウトンはそ
のデンドライトに連結しているか、あるいは他のニュー
ロンのソーマ（複数）に接続されている。
のニューロン（神経）の作用と同じように動作する。人
間のニューロンは３つの主要部より成り、これらは、ソ
ーマ（soma--- 躯幹）、アクソン（axon--- 神経繊維）
及びそのボウトン（シナプスbouton）並びにデンドライ
ト（dendrite--- 樹状突起）である。デンドライトは他
のニューロンよりの入力信号パルスを受信し、これらの
入力信号パルスをソーマに転送する。ソーマは各デンド
ライトより受信したすべての信号を“評価”する。これ
ら信号のあるものは正信号であり、これらはソーマを刺
激し、他の信号は負であって、ソーマの刺激を禁止する
作用を行う。ソーマは所定のスレショールド以上に刺激
されると、それ自身の電気信号パルスを生じ、これらの
パルスをアクソンを通じボウトンに送り、ボウトンはそ
のデンドライトに連結しているか、あるいは他のニュー
ロンのソーマ（複数）に接続されている。
【０００３】既存のニューラル・ネットワークに用いら
れている合成ニューロンは人間のニューロンの特性を模
倣するように構成されている。各合成ニューロンは人間
のニューロンに見られる機能に似た機能を有する。この
プロセスは入力値によって開始される。入力は外部ソー
ス（源）、例えばキイ・ボード入力より到来することも
あり、他のニューロンより到来することもある。各入力
はニューロンのデンドライトを移行するとき、重み（ウ
エイト）によって乗算され、例えば＋１００％、＋８０
％あるいは−９０％を演算される。このようないわゆる
“シナプス・ウエイト”は、人間のニューラル・パルス
がソーマに対する刺激において正又は負貢献のラフ
（粗）な数学的等価値である。すべての入力がソーマに
到達した後、そのウエイト（重み）によって加算され、
結果のネット値が得られる。この値はソーマにより１つ
以上の加算工程による変形を必要とする。次でこの調整
された値がアクソンを経て他のニューロンに送られる。
れている合成ニューロンは人間のニューロンの特性を模
倣するように構成されている。各合成ニューロンは人間
のニューロンに見られる機能に似た機能を有する。この
プロセスは入力値によって開始される。入力は外部ソー
ス（源）、例えばキイ・ボード入力より到来することも
あり、他のニューロンより到来することもある。各入力
はニューロンのデンドライトを移行するとき、重み（ウ
エイト）によって乗算され、例えば＋１００％、＋８０
％あるいは−９０％を演算される。このようないわゆる
“シナプス・ウエイト”は、人間のニューラル・パルス
がソーマに対する刺激において正又は負貢献のラフ
（粗）な数学的等価値である。すべての入力がソーマに
到達した後、そのウエイト（重み）によって加算され、
結果のネット値が得られる。この値はソーマにより１つ
以上の加算工程による変形を必要とする。次でこの調整
された値がアクソンを経て他のニューロンに送られる。
【０００４】ニューラル・ネットワークは典型的には合
成ニューロンの３つの層を有する。これらは、入力層、
中間層（あるいは隠蔽層（ハイドン層））と、出力層と
である。入力ニューロンの数は、入力データの数及び特
性によって定められる。出力ニューロンの数も同様にし
て定められる。例えば、３つのｙｅｓ／ｎｏ（イエス／
ノー）の質問があり、これへの答は、３つのうちの１つ
である場合には、３つの入力ニューロン（各質問に対し
１つつづ）と、３つの出力ニューロン（可能な結果それ
ぞれに１つ）が存する。
成ニューロンの３つの層を有する。これらは、入力層、
中間層（あるいは隠蔽層（ハイドン層））と、出力層と
である。入力ニューロンの数は、入力データの数及び特
性によって定められる。出力ニューロンの数も同様にし
て定められる。例えば、３つのｙｅｓ／ｎｏ（イエス／
ノー）の質問があり、これへの答は、３つのうちの１つ
である場合には、３つの入力ニューロン（各質問に対し
１つつづ）と、３つの出力ニューロン（可能な結果それ
ぞれに１つ）が存する。
【０００５】ウエイト（重み）は、ニューラル・ネット
ワークの入力値に対し正しい出力を生ずる手段である。
従来のニューラル・ネットワークでは、システム自体が
学習アルゴリズムを用いて、入出力間に正しい相関を得
るためのウエイトの割当てかつ調整を行っている。
ワークの入力値に対し正しい出力を生ずる手段である。
従来のニューラル・ネットワークでは、システム自体が
学習アルゴリズムを用いて、入出力間に正しい相関を得
るためのウエイトの割当てかつ調整を行っている。
【０００６】学習の開始前には、入力層より中間層への
ウエイト、並びに中間層より出力層へのウエイトは任意
にセットされる。経験によると、これらのウエイトが初
期的にランダムかつ非ゼロに定められた時の方がネット
ワークの学習の習熟が良いことを示している。学習中、
出力の判明している一連の入力をネットワークの入力に
供給する。システムが所期の出力を生じないときは、シ
ステムを通じてエラー修正が逆伝送され、すべての入力
／中間及び中間／出力 ウエイトが所定の式によって調
節される。
ウエイト、並びに中間層より出力層へのウエイトは任意
にセットされる。経験によると、これらのウエイトが初
期的にランダムかつ非ゼロに定められた時の方がネット
ワークの学習の習熟が良いことを示している。学習中、
出力の判明している一連の入力をネットワークの入力に
供給する。システムが所期の出力を生じないときは、シ
ステムを通じてエラー修正が逆伝送され、すべての入力
／中間及び中間／出力 ウエイトが所定の式によって調
節される。
【０００７】実際上、学習プロセスでは、出力の評価前
に訓練又は学習パターンの全セットを入力し、エラーの
修正に逆伝送を行うことはない。この場合、ある事項１
つが入力に供給され、各事態の出力が検査される。正し
くない出力が得られた場合、ウエイトを調整する。
に訓練又は学習パターンの全セットを入力し、エラーの
修正に逆伝送を行うことはない。この場合、ある事項１
つが入力に供給され、各事態の出力が検査される。正し
くない出力が得られた場合、ウエイトを調整する。
【０００８】ニューラル・ネットワークの訓練・学習に
は数百、数千の事項（ファクト）が必要となる。システ
ム設計が悪いか、学習事項が不正確であると、ネットワ
ークが学習しない機会がかなり生じうる。従って入力及
び出力ニューロンの数及び型式を正しく選択するプログ
ラマーの能力、並びに入力事項とネットワークを訓練す
る事項を正しく選択するトレイナーの伎倆がシステム動
作を成功させるために極めて重要な要素となる。
は数百、数千の事項（ファクト）が必要となる。システ
ム設計が悪いか、学習事項が不正確であると、ネットワ
ークが学習しない機会がかなり生じうる。従って入力及
び出力ニューロンの数及び型式を正しく選択するプログ
ラマーの能力、並びに入力事項とネットワークを訓練す
る事項を正しく選択するトレイナーの伎倆がシステム動
作を成功させるために極めて重要な要素となる。
【０００９】ウエイトにアルゴリズムを反復して供給す
ると、ネットワークの学習中、人間にとっては、ウエイ
トの相関作用を説明するのが難かしくなる。従ってニュ
ーラル・ネットワークは、そのニューラル・ネットワー
クのみが翻訳しうるターム（言語）によって情報を表示
することを学ぶ。このネットワークの設計者は、その構
造及びルールを構成するのに知的創造性を用い、これに
よって学習が行われ、学習すべき事項を造り出す。しか
しこの場合、動作の特定の細部に関する見通しは本質的
に失われ、単なるオブザーバになり易い。ニューラル・
ネットワークの学習訓練を行わせる伎倆は、データのレ
プレゼンテーション（すなわち、入力・中間及び出力ニ
ューロンの数及び型式）の選択並びに学習事項の選択に
より定まる。
ると、ネットワークの学習中、人間にとっては、ウエイ
トの相関作用を説明するのが難かしくなる。従ってニュ
ーラル・ネットワークは、そのニューラル・ネットワー
クのみが翻訳しうるターム（言語）によって情報を表示
することを学ぶ。このネットワークの設計者は、その構
造及びルールを構成するのに知的創造性を用い、これに
よって学習が行われ、学習すべき事項を造り出す。しか
しこの場合、動作の特定の細部に関する見通しは本質的
に失われ、単なるオブザーバになり易い。ニューラル・
ネットワークの学習訓練を行わせる伎倆は、データのレ
プレゼンテーション（すなわち、入力・中間及び出力ニ
ューロンの数及び型式）の選択並びに学習事項の選択に
より定まる。
【００１０】
【発明の目的】本発明の目的は、集積回路技術を用い、
ニューロン・ネットワーク用のビルディング ブロック
を形成するためのディジタル ニューロンを得るにあ
る。
ニューロン・ネットワーク用のビルディング ブロック
を形成するためのディジタル ニューロンを得るにあ
る。
【００１１】本発明の他の目的は、複数個のディジタル
ニューロンを集積化して、ニューラル・ネットワーク
チップを形成し、これを他のニューラル・ネットワー
クチップと相互接続可能として遙に大形のニューロン
ネットワークを創設するにある。
ニューロンを集積化して、ニューラル・ネットワーク
チップを形成し、これを他のニューラル・ネットワー
クチップと相互接続可能として遙に大形のニューロン
ネットワークを創設するにある。
【００１２】本発明の目的は、ニューロン群にパターン
のマップを作り、これにより入力パターンのかなりの部
分がネットワーク入力に代表されたとき出力ニューロン
がファイヤ（点火）を行う如くして、従来の如く各ネッ
トワーク毎に反復して学習を行うことなしに学習パター
ンを従来に比し減少しうるニューラル・ネットワーク学
習アルゴリズムを提供するにある。
のマップを作り、これにより入力パターンのかなりの部
分がネットワーク入力に代表されたとき出力ニューロン
がファイヤ（点火）を行う如くして、従来の如く各ネッ
トワーク毎に反復して学習を行うことなしに学習パター
ンを従来に比し減少しうるニューラル・ネットワーク学
習アルゴリズムを提供するにある。
【００１３】
【発明の概要】本発明では、ニューラル・ネットワーク
にｎ個の入力回路ディジタル ニューロンを設け、ｎ個
の入力符号パターンそれぞれ１つにつき１つづつの２n
のメモリ位置を有するランダム アクセス メモリを有
し、前記入力符号パターンについて、ニューラル・ネッ
トワーク学習アルゴリズムによって、ニューラル・ネッ
トワーク内の当該ニューロンに割当てられたシナプス
ウエイトに対応する該ニューロンの点火状態（オンまた
はオフ）により各位置がプログラムされており、該ニュ
ーロンは、前記ｎビット ディジタル入力符号パターン
によってアドレスされたランダム アクセス メモリ位
置より、ニューロン入力通路に供給されたｎビット デ
ィジタル符号パターンのおのおのに対してニューロンの
点火状態を導出するルック アップ テーブルとしてニ
ューロンが動作することを特徴とする。
にｎ個の入力回路ディジタル ニューロンを設け、ｎ個
の入力符号パターンそれぞれ１つにつき１つづつの２n
のメモリ位置を有するランダム アクセス メモリを有
し、前記入力符号パターンについて、ニューラル・ネッ
トワーク学習アルゴリズムによって、ニューラル・ネッ
トワーク内の当該ニューロンに割当てられたシナプス
ウエイトに対応する該ニューロンの点火状態（オンまた
はオフ）により各位置がプログラムされており、該ニュ
ーロンは、前記ｎビット ディジタル入力符号パターン
によってアドレスされたランダム アクセス メモリ位
置より、ニューロン入力通路に供給されたｎビット デ
ィジタル符号パターンのおのおのに対してニューロンの
点火状態を導出するルック アップ テーブルとしてニ
ューロンが動作することを特徴とする。
【００１４】本発明は、訓練されるネットワークのシナ
プスのウエイトがニューラル・ネットワーク自体内に保
持されるのではなく、ニューロン ウエイト メモリ
マップとして、学習アルゴリズムの遂行に用いられる装
置内に保持されるという安全上の利点を有する。
プスのウエイトがニューラル・ネットワーク自体内に保
持されるのではなく、ニューロン ウエイト メモリ
マップとして、学習アルゴリズムの遂行に用いられる装
置内に保持されるという安全上の利点を有する。
【００１５】本発明によるディジタル ニューロンは、
加えられたシナプス ウエイトに応じてその入力の任意
の機能を表わすことができる。とくに特定の入力符号組
合せに対するニューロンをプログラムすることが可能
で、学習アルゴリズムによって、連結機能（interconne
ct function ）または相関機能を設けることが可能とな
る。
加えられたシナプス ウエイトに応じてその入力の任意
の機能を表わすことができる。とくに特定の入力符号組
合せに対するニューロンをプログラムすることが可能
で、学習アルゴリズムによって、連結機能（interconne
ct function ）または相関機能を設けることが可能とな
る。
【００１６】本発明によるニューロンは、このようにし
て生物学的ニューロンを表わす機能並びに、一群の付加
的機能を表わすことができる。
て生物学的ニューロンを表わす機能並びに、一群の付加
的機能を表わすことができる。
【００１７】メモリ ウエイト マップをウエイト ペ
ージに分割し、あるニューロンに対するウエイト ペー
ジの長さ及び位置をニューラル・ネットワーク学習アル
ゴリズムによって定めることにより多重アイデンティテ
ィが達成される。
ージに分割し、あるニューロンに対するウエイト ペー
ジの長さ及び位置をニューラル・ネットワーク学習アル
ゴリズムによって定めることにより多重アイデンティテ
ィが達成される。
【００１８】本発明によるニューロンは、従来の高度に
相互接続（インターコネクト）されたニューラル・ネッ
トワークに比し、大幅に相互接続を減少させた相互接続
アーキテクチュア（構造）を確立しうることである。従
来のニューラル・ネットワークの場合の相互接続の要求
は、接続の数を前記の層のニューロン数の自乗に比例さ
せるというものであった。これは、前位の層に完全に接
続されていないニューロンは、ネットワーク内の他のニ
ューロンと組合せても所望の機能を代表し得ない為であ
る。
相互接続（インターコネクト）されたニューラル・ネッ
トワークに比し、大幅に相互接続を減少させた相互接続
アーキテクチュア（構造）を確立しうることである。従
来のニューラル・ネットワークの場合の相互接続の要求
は、接続の数を前記の層のニューロン数の自乗に比例さ
せるというものであった。これは、前位の層に完全に接
続されていないニューロンは、ネットワーク内の他のニ
ューロンと組合せても所望の機能を代表し得ない為であ
る。
【００１９】本発明の多層ディジタル ニューラル・ネ
ットワークでは、ネットワーク内の各ニューロンをし
て、その入力のすべての機能を表わしうるようにプログ
ラム可能とし、各ニューロンは、次位の後続層内の近接
個所に位置している制限された数のニューロンの入力回
路に接続する。典型的には、各ニューロンは後続層の対
応のニューロンの入力回路に接続し、またこの接続層内
の対応のニューロンに真上及び真下のニューロンがある
場合には、これらの真上及び真下のニューロンの入力回
路にも接続する。ネットワークへの各入力回路も、同様
にして入力層の対応のニューロンの入力回路に接続し、
この層内に前記の対応のニューロンより見て真上及び真
下のニューロンがある場合は、これらのニューロンの入
力回路にも接続する。
ットワークでは、ネットワーク内の各ニューロンをし
て、その入力のすべての機能を表わしうるようにプログ
ラム可能とし、各ニューロンは、次位の後続層内の近接
個所に位置している制限された数のニューロンの入力回
路に接続する。典型的には、各ニューロンは後続層の対
応のニューロンの入力回路に接続し、またこの接続層内
の対応のニューロンに真上及び真下のニューロンがある
場合には、これらの真上及び真下のニューロンの入力回
路にも接続する。ネットワークへの各入力回路も、同様
にして入力層の対応のニューロンの入力回路に接続し、
この層内に前記の対応のニューロンより見て真上及び真
下のニューロンがある場合は、これらのニューロンの入
力回路にも接続する。
【００２０】相互接続はオーバーラップ配置を含み、一
部のニューロンはその入力接続の一部を、同じ層の他の
ニューロンと分けあって分担する。
部のニューロンはその入力接続の一部を、同じ層の他の
ニューロンと分けあって分担する。
【００２１】ニューロン間の限定相互接続は、各ニュー
ロンをプログラムしてその入力の任意の機能を代表しう
るようにする可能性を有する。本質的にいって、小群の
ニューロンはその入力パターン内の特徴を認識し、さら
にネットワーク内では、ニューロン群が第１群の出力に
接続され、中間ニューロンを所要レベルに導くための経
路を増加させるために使用する。
ロンをプログラムしてその入力の任意の機能を代表しう
るようにする可能性を有する。本質的にいって、小群の
ニューロンはその入力パターン内の特徴を認識し、さら
にネットワーク内では、ニューロン群が第１群の出力に
接続され、中間ニューロンを所要レベルに導くための経
路を増加させるために使用する。
【００２２】本発明によるニューラル・ネットワーク
は、理想的には各軸を同寸法とした三次元方形アレイの
モジュールで構成する。各ニューロンは例えば９個の入
力通路を有し、これらニューロンを互に接続し、各ニュ
ーロンが前位の層の３個のニューロン、すなわち対応の
ニューロン、上側のニューロン、下側のニューロンの出
力に接続されるようにする。
は、理想的には各軸を同寸法とした三次元方形アレイの
モジュールで構成する。各ニューロンは例えば９個の入
力通路を有し、これらニューロンを互に接続し、各ニュ
ーロンが前位の層の３個のニューロン、すなわち対応の
ニューロン、上側のニューロン、下側のニューロンの出
力に接続されるようにする。
【００２３】選択した配置を学習アルゴリズムが知って
いる限り、さらに変形した限定相互接続配置を用いるこ
とができる。
いる限り、さらに変形した限定相互接続配置を用いるこ
とができる。
【００２４】学習アルゴリズムは、ネットワーク内のニ
ューロンをプログラムし、各ネットワークの入力パター
ンを単一のパス（pass）でニューロンを点火状態とす
る。この状態はシナプス ウエイト相関で計算するか、
または各パターンをマップとし、パターンに対する相互
接続より計算して相関または相互接続として、正入力と
ネットワークのこの入力パターンに対応する出力の間の
通路上のニューロンをプログラムする。学習アルゴリズ
ムは学習パターンの各正ネットワーク通路を個別に処理
する如く形成し、ネットワーク入力と指定されたネット
ワーク出力通路間の通路に位置するニューロンを識別す
る。次でネットワークの入力通路を１つづつのニューロ
ン毎に接続し、すべてのターゲット出力に至る迄これを
続ける。各ステージにおいて、可能な扇状部（ファン）
より点への組の内の１つのニューロンに質問し、このニ
ューロンが所要の機能をすでに学習しているか否かを確
め、何れのニューロンも点火されないときは、隣接のニ
ューロンに質問を行い、各ニューロンのスペアの能力を
発揮させる如くし、もっとも多くスペアの能力（容量）
を有しているニューロンに所要の機能を行わしめるよう
にプログラムする。
ューロンをプログラムし、各ネットワークの入力パター
ンを単一のパス（pass）でニューロンを点火状態とす
る。この状態はシナプス ウエイト相関で計算するか、
または各パターンをマップとし、パターンに対する相互
接続より計算して相関または相互接続として、正入力と
ネットワークのこの入力パターンに対応する出力の間の
通路上のニューロンをプログラムする。学習アルゴリズ
ムは学習パターンの各正ネットワーク通路を個別に処理
する如く形成し、ネットワーク入力と指定されたネット
ワーク出力通路間の通路に位置するニューロンを識別す
る。次でネットワークの入力通路を１つづつのニューロ
ン毎に接続し、すべてのターゲット出力に至る迄これを
続ける。各ステージにおいて、可能な扇状部（ファン）
より点への組の内の１つのニューロンに質問し、このニ
ューロンが所要の機能をすでに学習しているか否かを確
め、何れのニューロンも点火されないときは、隣接のニ
ューロンに質問を行い、各ニューロンのスペアの能力を
発揮させる如くし、もっとも多くスペアの能力（容量）
を有しているニューロンに所要の機能を行わしめるよう
にプログラムする。
【００２５】ニューロンのプログラムは、既存のウエイ
ト マップを新規に形成したウエイト マップへの合体
を含みうる。
ト マップを新規に形成したウエイト マップへの合体
を含みうる。
【００２６】学習アルゴリズムのリファインメイト（最
終仕上げ）において、シナプス ウエイトの計算は、各
入力よりニューロンへと続いてゆき出力ニューロンへ至
る迄の重要性（significance）の積重ねと伝達に基礎を
置いており、各ニューロン入力の重要性を用いてシナプ
ス ウエイトを定め、当該ニューロンにこのウエイトの
マップを導入して新規のウエイト ページを作ることに
より、ニューロンのマップ（マッピング）によって新規
の機能が形成される。
終仕上げ）において、シナプス ウエイトの計算は、各
入力よりニューロンへと続いてゆき出力ニューロンへ至
る迄の重要性（significance）の積重ねと伝達に基礎を
置いており、各ニューロン入力の重要性を用いてシナプ
ス ウエイトを定め、当該ニューロンにこのウエイトの
マップを導入して新規のウエイト ページを作ることに
より、ニューロンのマップ（マッピング）によって新規
の機能が形成される。
【００２７】学習中、このリファインメント工程は、出
力ニューロンに至る通路上である層のニューロンが何れ
も点火しないときは、もっとも少く（最後に）使用され
たニューロン ウエイト マップ内に新規のウエイト
ページを導入し、このウエイト ページの長さを所定の
ニューロンに至る入力の複雑性（complexity）によって
定める。
力ニューロンに至る通路上である層のニューロンが何れ
も点火しないときは、もっとも少く（最後に）使用され
たニューロン ウエイト マップ内に新規のウエイト
ページを導入し、このウエイト ページの長さを所定の
ニューロンに至る入力の複雑性（complexity）によって
定める。
【００２８】
【実施例】以下図面により本発明を説明する。本発明の
実施例によるニューロンはニューロン入力導線のディジ
タル的組合せの各々に対して１つの記憶位置を有するス
タティック形ランダム アクセス メモリよりなる。
実施例によるニューロンはニューロン入力導線のディジ
タル的組合せの各々に対して１つの記憶位置を有するス
タティック形ランダム アクセス メモリよりなる。
【００２９】各メモリ セルMC1 〜MC512 は９つのニュ
ーロン入力NI0 ないしNI8 およびセンス回路SAを介して
の１つのデータ出力ND0 を有する。図１はアドレス デ
コーダADに供給されるようにした多重アドレス入力NI0
ないしNI8 よりなるメモリセルを示す。アドレス デコ
ーダはニューロンとして作動する際はニューロン入力に
より付勢され、訓練アドレス制御信号PCS が活性となる
ときはリード線A0ないしA8上の訓練（学習）アルゴリズ
ム制御TAC により付勢され、かくしてメモリ内に保持さ
れるディジタル データは学習期間中ニューロン点火状
態制御導線（neuron fire state control lead）NFSTの
制御のもと所要の機能を実現するよう修正される。各メ
モリ セルは９つの入力の任意の機能を実現しうる９つ
の入力ニューロンとして機能し、ニューロンの点火状態
（ファイヤリング状態）は適当な復号ワード ライン出
力DW01-512を選択するニューロンの入力導線NI0 ないし
NI8 を介してアドレス デコーダADから抽出されたアド
レスにより識別される記憶位置において１（ファイヤ）
または０（ノーファイヤ）として保持される。ファイヤ
(1) またはノーファイヤ(0) 状態は訓練アルゴリズムの
実行中におけるウエイト ページ（weight page ）の生
成による訓練アルゴリズムの結果としてプレチャージ回
路PCを介してニューロン内にプログラムされる。ニュー
ロンはニューロン出力ND0 をネットワークの次の層のニ
ューロンのニューロン入力（NI0 ないしNI8 ）の１つに
接続することにより正規アレイ内において相互に接続す
る。また、ニューロン出力はセンス増幅器SAを介してス
タティック形ランダム アクセス メモリ状態から抽出
されるようにする。出力層ニューロンはニューラルネッ
ト ワークからの出力を導出する。１つの標準的配置の
場合は図2Aに示すように、すべての入力は前の層内のニ
ューロン出力に接続し、３つを上のニューロンに３つを
下のニューロンに、また３つを前のニューロンに接続す
るようにする。
ーロン入力NI0 ないしNI8 およびセンス回路SAを介して
の１つのデータ出力ND0 を有する。図１はアドレス デ
コーダADに供給されるようにした多重アドレス入力NI0
ないしNI8 よりなるメモリセルを示す。アドレス デコ
ーダはニューロンとして作動する際はニューロン入力に
より付勢され、訓練アドレス制御信号PCS が活性となる
ときはリード線A0ないしA8上の訓練（学習）アルゴリズ
ム制御TAC により付勢され、かくしてメモリ内に保持さ
れるディジタル データは学習期間中ニューロン点火状
態制御導線（neuron fire state control lead）NFSTの
制御のもと所要の機能を実現するよう修正される。各メ
モリ セルは９つの入力の任意の機能を実現しうる９つ
の入力ニューロンとして機能し、ニューロンの点火状態
（ファイヤリング状態）は適当な復号ワード ライン出
力DW01-512を選択するニューロンの入力導線NI0 ないし
NI8 を介してアドレス デコーダADから抽出されたアド
レスにより識別される記憶位置において１（ファイヤ）
または０（ノーファイヤ）として保持される。ファイヤ
(1) またはノーファイヤ(0) 状態は訓練アルゴリズムの
実行中におけるウエイト ページ（weight page ）の生
成による訓練アルゴリズムの結果としてプレチャージ回
路PCを介してニューロン内にプログラムされる。ニュー
ロンはニューロン出力ND0 をネットワークの次の層のニ
ューロンのニューロン入力（NI0 ないしNI8 ）の１つに
接続することにより正規アレイ内において相互に接続す
る。また、ニューロン出力はセンス増幅器SAを介してス
タティック形ランダム アクセス メモリ状態から抽出
されるようにする。出力層ニューロンはニューラルネッ
ト ワークからの出力を導出する。１つの標準的配置の
場合は図2Aに示すように、すべての入力は前の層内のニ
ューロン出力に接続し、３つを上のニューロンに３つを
下のニューロンに、また３つを前のニューロンに接続す
るようにする。
【００３０】図２および図３は本発明の一実施例による
３次元ニューラル ネット ワークの接続を示すもの
で、各軸はキューブを形成するよう等しいサイズを有す
る。キューブの深さはすべての入力が任意の出力ノード
に到達して、フアン アウト（fan-out ）できるように
するため、同じ高さおよび幅を有するものでなければな
らない。標準的にネットワークは、NXのような各ニュー
ロンが上側層NUA, NUB,NUC 、隣接層NAA, NAB, NAC お
よび下側層NLA, NLB, NLC 内の対応するニューロンの出
力通路に接続されるようこれを接続する。図2Bはパター
ンをスリップさせたニューロンNX1, NX2, NX3 およびNX
4 に対する４つの異なる低減接続配置を示す。使用され
る相互接続配置は、それが検知されるべき入力パターン
の認識のための必要なマッピングを収納する限りにおい
て選択可能である。どのような相互接続パターンを選択
しようとも訓練アルゴリズムは実際の回路で使用される
相互接続パターンをシミュレート（simulate）する必要
がある。図３は出力層を形成する出力ニューロンLXを有
する層L1, L2およびLNを示す標準的な多層配置を示すも
のである。
３次元ニューラル ネット ワークの接続を示すもの
で、各軸はキューブを形成するよう等しいサイズを有す
る。キューブの深さはすべての入力が任意の出力ノード
に到達して、フアン アウト（fan-out ）できるように
するため、同じ高さおよび幅を有するものでなければな
らない。標準的にネットワークは、NXのような各ニュー
ロンが上側層NUA, NUB,NUC 、隣接層NAA, NAB, NAC お
よび下側層NLA, NLB, NLC 内の対応するニューロンの出
力通路に接続されるようこれを接続する。図2Bはパター
ンをスリップさせたニューロンNX1, NX2, NX3 およびNX
4 に対する４つの異なる低減接続配置を示す。使用され
る相互接続配置は、それが検知されるべき入力パターン
の認識のための必要なマッピングを収納する限りにおい
て選択可能である。どのような相互接続パターンを選択
しようとも訓練アルゴリズムは実際の回路で使用される
相互接続パターンをシミュレート（simulate）する必要
がある。図３は出力層を形成する出力ニューロンLXを有
する層L1, L2およびLNを示す標準的な多層配置を示すも
のである。
【００３１】図４は機能ニューロン（functional neuro
n ）FNA, FNBおよび出力ニューロンONX まで論理入力
（fan-in）を延長させるための相互接続（インターコネ
クト）として機能するニューロンINA ないしING を示
す。相互接続として機能するニューロンは変化する条件
のもとでニューロンを種々の異なるニューロンに接続す
ることを可能とするような複雑な相互接続機能を実現す
ることができるものとする。相互接続機能の重要性につ
いてはネットワークの機能に関する以下の記述により明
らかにするがネットワークにより実行される機能の理解
を容易にするため、ここでは例として簡単なバージョン
を使用することにする。
n ）FNA, FNBおよび出力ニューロンONX まで論理入力
（fan-in）を延長させるための相互接続（インターコネ
クト）として機能するニューロンINA ないしING を示
す。相互接続として機能するニューロンは変化する条件
のもとでニューロンを種々の異なるニューロンに接続す
ることを可能とするような複雑な相互接続機能を実現す
ることができるものとする。相互接続機能の重要性につ
いてはネットワークの機能に関する以下の記述により明
らかにするがネットワークにより実行される機能の理解
を容易にするため、ここでは例として簡単なバージョン
を使用することにする。
【００３２】機能マッピング（FUNCTIONAL MAPPING） ネットワークが最初に訓練パターンのセットを示す場合
は、そのニューロンは全体的に配列されておらず、各入
力はシナプティック ウエイト（synaptic weight ）の
セットとして記憶されていなければならない。ネットワ
ークが数回にわたって訓練された場合は、いくつかのニ
ューロンは新しい入力パターンの特徴を認識し始め、そ
の結果としてシナプティック ウエイトの修正（modifi
cation）の必要性が少なくなる。図５ないし図８は各入
力パターンまたは入力パターンセットに対する訓練プロ
セス中における９ニューロンの３層２次元ネットワーク
を示す。訓練プロセスは入力層および中間層（hidden l
ayer）の出力における1Aおよび3Aから図５の左側に示す
表のナンバー1A, 2Aおよび3Aにより表示したシーケンス
内の正の入力を処理し、パターンＡにより表わす入力パ
ターンに従って特定の出力ニューロンを識別する。これ
らの図５ないし図８に示す表は、（ｉ）中間層の１つ内
の相互接続機能ICWPおよび（ii）入力パターンの出力層
セル認識機能NXWPを示す。これらの図において、ドット
ラインは非活性ニューロン接続を示し、ニューロン間
の実線は活性ニューロン接続を示す。また、例示目的の
みのため、ネットワークに供給される入力パターンの各
々の検出には，それぞれNXA,NXB, NXC およびNXD とし
て示した同一出力ニューロンを使用している。
は、そのニューロンは全体的に配列されておらず、各入
力はシナプティック ウエイト（synaptic weight ）の
セットとして記憶されていなければならない。ネットワ
ークが数回にわたって訓練された場合は、いくつかのニ
ューロンは新しい入力パターンの特徴を認識し始め、そ
の結果としてシナプティック ウエイトの修正（modifi
cation）の必要性が少なくなる。図５ないし図８は各入
力パターンまたは入力パターンセットに対する訓練プロ
セス中における９ニューロンの３層２次元ネットワーク
を示す。訓練プロセスは入力層および中間層（hidden l
ayer）の出力における1Aおよび3Aから図５の左側に示す
表のナンバー1A, 2Aおよび3Aにより表示したシーケンス
内の正の入力を処理し、パターンＡにより表わす入力パ
ターンに従って特定の出力ニューロンを識別する。これ
らの図５ないし図８に示す表は、（ｉ）中間層の１つ内
の相互接続機能ICWPおよび（ii）入力パターンの出力層
セル認識機能NXWPを示す。これらの図において、ドット
ラインは非活性ニューロン接続を示し、ニューロン間
の実線は活性ニューロン接続を示す。また、例示目的の
みのため、ネットワークに供給される入力パターンの各
々の検出には，それぞれNXA,NXB, NXC およびNXD とし
て示した同一出力ニューロンを使用している。
【００３３】４つの訓練セットまたは入力パターンＡな
いしＤは図５においては回路パターンＡに与えるように
し、図６においては回路パターンＢに、図７においては
回路パターンＣに、また、図８においては回路パターン
Ｄに与えるようにしている。訓練アルゴリズムは各パタ
ーンを（機能または相互接続として）正入力と回路出力
間の通路上にあるニューロンにマップ（map ）する。こ
の簡単な実施例の場合、ニューロンの多くは異なるパタ
ーンに対して同一マッピングを使用している。ネットワ
ークがより多くのパターンを学習するにしたがって、再
配置を必要とするニューロンの数は少なくなり、究極的
にネットワークは飽和し、古いパターンをリコールして
ネットワークの能力に影響を与えることなしには他のパ
ターンの学習を行うことができなくなる。
いしＤは図５においては回路パターンＡに与えるように
し、図６においては回路パターンＢに、図７においては
回路パターンＣに、また、図８においては回路パターン
Ｄに与えるようにしている。訓練アルゴリズムは各パタ
ーンを（機能または相互接続として）正入力と回路出力
間の通路上にあるニューロンにマップ（map ）する。こ
の簡単な実施例の場合、ニューロンの多くは異なるパタ
ーンに対して同一マッピングを使用している。ネットワ
ークがより多くのパターンを学習するにしたがって、再
配置を必要とするニューロンの数は少なくなり、究極的
にネットワークは飽和し、古いパターンをリコールして
ネットワークの能力に影響を与えることなしには他のパ
ターンの学習を行うことができなくなる。
【００３４】まず始めに図５においては、パターン1001
100 がニューロンNI1, NI3およびNI4 を点火（fire）さ
せる。第１中間層内のニューロンN1H1は相互接続（イン
ターコネクト）として機能し、ニューロンN1H4は部分パ
ターン認識機能---11-- に応答する。第２中間層におい
ては、ニューロンN2H1およびN2H3は出力ニューロンNXA
が入力パターンを認識することを許容する相互接続とし
て機能する。入力パターンは、正の入力(1) が順次処理
され、活性ニューロン接続上に示されるナンバーがニュ
ーロンNI5 への“１”状態の正入力とともにスタートす
るパターンＡの処理の順序に対応するよう処理される。
テーブルICWPは第１中間層ニューロンのみの相互接続機
能を示す。出力層はニューロンNXA のプログラミングに
より入力パターンＡを認識し、それぞれ１０２のX1, X2
およびX3上の入力ウエイトで点火（ファイヤ）する。
100 がニューロンNI1, NI3およびNI4 を点火（fire）さ
せる。第１中間層内のニューロンN1H1は相互接続（イン
ターコネクト）として機能し、ニューロンN1H4は部分パ
ターン認識機能---11-- に応答する。第２中間層におい
ては、ニューロンN2H1およびN2H3は出力ニューロンNXA
が入力パターンを認識することを許容する相互接続とし
て機能する。入力パターンは、正の入力(1) が順次処理
され、活性ニューロン接続上に示されるナンバーがニュ
ーロンNI5 への“１”状態の正入力とともにスタートす
るパターンＡの処理の順序に対応するよう処理される。
テーブルICWPは第１中間層ニューロンのみの相互接続機
能を示す。出力層はニューロンNXA のプログラミングに
より入力パターンＡを認識し、それぞれ１０２のX1, X2
およびX3上の入力ウエイトで点火（ファイヤ）する。
【００３５】図６において、出力ニューロンNXB はX1,
X2およびX3上のその入力ウエイトがそれぞれ２０２でパ
ターンＡの認識における３つのセットのスレショールド
値を越えているため、再訓練に対する必要性なしに入力
パターンを認識する。図７および図８においては、入力
パターンＣおよびＤは出力ニューロンをして、パターン
Ｃに対しては１，１，１、パターンＤに対しては５，
０，１の入力ウエイトX1, X2, X3条件を認識させる。図
６ないし図８において、識別されたニューロンは相互接
続（インターコネクト）として機能する。
X2およびX3上のその入力ウエイトがそれぞれ２０２でパ
ターンＡの認識における３つのセットのスレショールド
値を越えているため、再訓練に対する必要性なしに入力
パターンを認識する。図７および図８においては、入力
パターンＣおよびＤは出力ニューロンをして、パターン
Ｃに対しては１，１，１、パターンＤに対しては５，
０，１の入力ウエイトX1, X2, X3条件を認識させる。図
６ないし図８において、識別されたニューロンは相互接
続（インターコネクト）として機能する。
【００３６】マルチプル アイデンティティ ニューロ
ン（MULTIPLE IDENTITY NEURON） テーブル（表）１は５入力シングル アイデンティティ
ニューロンのメモリ内容を示すもので本明細書の終り
に掲げた表１の上部には、それより上の値ではニューロ
ンが点火するスレショールド値とともに各入力に割当て
らさるウエイト（重み）を示してある。各ウエイトは正
または負の任意の値を取ることができる。このようなウ
エイト テーブルは訓練プロセス期間中に生成される
が、適当なニューロン ファイヤリング（点火）状態の
みがニューロンのランダム アクセス メモリの記憶位
置にプログラムされる。
ン（MULTIPLE IDENTITY NEURON） テーブル（表）１は５入力シングル アイデンティティ
ニューロンのメモリ内容を示すもので本明細書の終り
に掲げた表１の上部には、それより上の値ではニューロ
ンが点火するスレショールド値とともに各入力に割当て
らさるウエイト（重み）を示してある。各ウエイトは正
または負の任意の値を取ることができる。このようなウ
エイト テーブルは訓練プロセス期間中に生成される
が、適当なニューロン ファイヤリング（点火）状態の
みがニューロンのランダム アクセス メモリの記憶位
置にプログラムされる。
【００３７】ネットワーク内の各ニューロンは、その入
力パターンの機能（ファンクション）として、あるいは
相互接続（インターコネクト）として作動する能力を介
して入力パターンの認識に寄与するよう配置する。表１
はすべてのニューロン入力通路条件の組合せに対するす
べてのファイヤリング状態の描写を与えているが、ファ
イヤまたはノーファイヤ デシジョンに対するそれらの
寄与の相対的重要度（シナプティック ウエイト）に従
属して限定数の組合せを使用することもできる。この事
実は、各ニューロンが複数の異なる入力重要度（input
significance）を認識しうるような配置において利便を
与える。
力パターンの機能（ファンクション）として、あるいは
相互接続（インターコネクト）として作動する能力を介
して入力パターンの認識に寄与するよう配置する。表１
はすべてのニューロン入力通路条件の組合せに対するす
べてのファイヤリング状態の描写を与えているが、ファ
イヤまたはノーファイヤ デシジョンに対するそれらの
寄与の相対的重要度（シナプティック ウエイト）に従
属して限定数の組合せを使用することもできる。この事
実は、各ニューロンが複数の異なる入力重要度（input
significance）を認識しうるような配置において利便を
与える。
【００３８】テーブル２はマルチプル アイデンティテ
ィ５入力ニューロンを示す。メモリマップはこれをいく
つかのセクションに分割し、各セクションが新しいシナ
プティック ウエイト（synaptic weight ）のセットを
実現しうるよう形成する。このようにするときは、各ニ
ューロンはその一般のアナログ カウンタパート（anal
og counterpart）より多くの機能を表示することができ
る。メモリ マップ内の各ウエイト ページの長さおよ
び位置は訓練アルゴリズムにより決められる。
ィ５入力ニューロンを示す。メモリマップはこれをいく
つかのセクションに分割し、各セクションが新しいシナ
プティック ウエイト（synaptic weight ）のセットを
実現しうるよう形成する。このようにするときは、各ニ
ューロンはその一般のアナログ カウンタパート（anal
og counterpart）より多くの機能を表示することができ
る。メモリ マップ内の各ウエイト ページの長さおよ
び位置は訓練アルゴリズムにより決められる。
【００３９】図９は３層18ニューロン ネットワークを
示すもので、ネットワークの左側には入力訓練パターン
“101101”を示してある。この図の場合も、点線は不活
性接続を示し、実線は活性接続を示すものとする。正の
値を有する各入力は選定された出力ニューロンにマップ
スルー（map through ）される。各ニューロンにおい
て、入力数および各入力の重要度（significance）は適
当な入力ウエイトを計算するため使用される。また、各
入力の重要度は、それが出力ニューロンに向かって波及
（ripple through）する際、各ニューロンに累積され、
この特徴は後述する訓練アルゴリズムにおいて使用され
る。
示すもので、ネットワークの左側には入力訓練パターン
“101101”を示してある。この図の場合も、点線は不活
性接続を示し、実線は活性接続を示すものとする。正の
値を有する各入力は選定された出力ニューロンにマップ
スルー（map through ）される。各ニューロンにおい
て、入力数および各入力の重要度（significance）は適
当な入力ウエイトを計算するため使用される。また、各
入力の重要度は、それが出力ニューロンに向かって波及
（ripple through）する際、各ニューロンに累積され、
この特徴は後述する訓練アルゴリズムにおいて使用され
る。
【００４０】ニューロン（NEURON） ニューロン アーキテクチュア（ニューロン構造）は任
意の所望のネットワークを基本的マルチ ニューロン
チップから実現しうるようスケール可能な設計とする
（図10参照）。チップは入力／出力パッドおよびドライ
バＩ／ＯPaD 、制御レジスタCC、プログラミング レジ
スタPR、プログラム可能インターフェースPI、ルーチン
チャネルRCにより相互に接続した２層のニューロンNC
L およびNCＲ を具える。各チップは13×13×13ネット
ワーク2,070 ニューロンに集積させる。図11はどのよう
にチップを構成するかを示す。図示のように２層のニュ
ーロンはルーチン チャネルにより分離し、各バンクの
1,035 ニューロンは512 ビット スタティック ランダ
ム アクセス セルの23×45ブロックとして構成され
る。
意の所望のネットワークを基本的マルチ ニューロン
チップから実現しうるようスケール可能な設計とする
（図10参照）。チップは入力／出力パッドおよびドライ
バＩ／ＯPaD 、制御レジスタCC、プログラミング レジ
スタPR、プログラム可能インターフェースPI、ルーチン
チャネルRCにより相互に接続した２層のニューロンNC
L およびNCＲ を具える。各チップは13×13×13ネット
ワーク2,070 ニューロンに集積させる。図11はどのよう
にチップを構成するかを示す。図示のように２層のニュ
ーロンはルーチン チャネルにより分離し、各バンクの
1,035 ニューロンは512 ビット スタティック ランダ
ム アクセス セルの23×45ブロックとして構成され
る。
【００４１】各ニューロンはアドレス デコーダ、セン
ス増幅器および出力バッファを含む512 ×１ビットSRAM
により形成する。図12は２つのアドレス デコーダ、４
−16および５−32により包囲されたランダム アクセス
メモリのコアを示す。各SRAMセルの寸法は12×８ミク
ロンであり、デコーダ センス アンプおよびバッファ
を含む個々のニューロンの寸法は296 ×232 ミクロンで
あり、またルーチンを含む全体のチップの寸法は13.3×
11.6mmである。
ス増幅器および出力バッファを含む512 ×１ビットSRAM
により形成する。図12は２つのアドレス デコーダ、４
−16および５−32により包囲されたランダム アクセス
メモリのコアを示す。各SRAMセルの寸法は12×８ミク
ロンであり、デコーダ センス アンプおよびバッファ
を含む個々のニューロンの寸法は296 ×232 ミクロンで
あり、またルーチンを含む全体のチップの寸法は13.3×
11.6mmである。
【００４２】マルチ・ニューロン チップはテーブル３
に示すように、５つの作動モードを有する。モード１お
よびモード２はシングル チップ ネットワーク用を意
図するもので、モード２は64ビットの３入力データ ワ
ード（３×25ナノ秒（ns））を読取り、ネットワーク
ファンクションを行い、64ビットの３ワードを出力す
る。データ通路利用においてはネットワークは75ナノ秒
ごとに新しい入力（169ビット）を処理することができ
る。モード１は入力データの直列ローディングを容易に
し、スピーチ処理のようなタイム シフト入力が各入力
パターンを左にシフトし、一番左のコラムを新しいデー
タで満たすような利用を助ける働きをする。このモード
においては、ネットワークは３倍速く作動する。
に示すように、５つの作動モードを有する。モード１お
よびモード２はシングル チップ ネットワーク用を意
図するもので、モード２は64ビットの３入力データ ワ
ード（３×25ナノ秒（ns））を読取り、ネットワーク
ファンクションを行い、64ビットの３ワードを出力す
る。データ通路利用においてはネットワークは75ナノ秒
ごとに新しい入力（169ビット）を処理することができ
る。モード１は入力データの直列ローディングを容易に
し、スピーチ処理のようなタイム シフト入力が各入力
パターンを左にシフトし、一番左のコラムを新しいデー
タで満たすような利用を助ける働きをする。このモード
においては、ネットワークは３倍速く作動する。
【００４３】モード３およびモード４はマルチ・チップ
ネットワーク用として使用する。両モードにおいて
は、入力および出力レジスタ ワード長は64ビットから
22ビットに低減され、新しい85ビット インターチップ
レジスタはネットワークの縁部の接続を隣接チップに
伝達（communicate ）する。モード４は22ビットの８入
力データ ワード（８×25ナノ秒）を読取り、64ビット
の８入力データ ワードを周辺チップに伝達し、ネット
ワーク ファンクションを実行し、22ビットの８データ
ワードを出力する。データ通路利用に対しては、全ネ
ットワークは２００ナノ秒ごとに新しい入力パターン
（ビット）を処理する。
ネットワーク用として使用する。両モードにおいて
は、入力および出力レジスタ ワード長は64ビットから
22ビットに低減され、新しい85ビット インターチップ
レジスタはネットワークの縁部の接続を隣接チップに
伝達（communicate ）する。モード４は22ビットの８入
力データ ワード（８×25ナノ秒）を読取り、64ビット
の８入力データ ワードを周辺チップに伝達し、ネット
ワーク ファンクションを実行し、22ビットの８データ
ワードを出力する。データ通路利用に対しては、全ネ
ットワークは２００ナノ秒ごとに新しい入力パターン
（ビット）を処理する。
【００４４】ネットワークの訓練にはモード５を使用
し、訓練期間中には、ニューロン ファイヤリング状態
は32ビット レジスタを介して更新される。全体のネッ
トワークを訓練するには、各チップに対して32ビットの
35152 書込み操作を必要とする。
し、訓練期間中には、ニューロン ファイヤリング状態
は32ビット レジスタを介して更新される。全体のネッ
トワークを訓練するには、各チップに対して32ビットの
35152 書込み操作を必要とする。
【００４５】ニューロン キューブ（NEURON CUBE ） 図13は相互に接続した９つのマルチ・ニューロン チッ
プを示す。各チップの縁部からの出力は高速インターチ
ップ バッファを介して伝達され、完全な22ビットＩ／
０ポート169 ビット データ ワードDSの転送には200
ナノ秒を要するのみである。また、任意のサイズのネッ
トワークにより同じデータ通路パフォーマンス200 ナノ
秒／入力ワードが達成される。図14は59319 ニューロン
として構成された27のマルチ・ニューロン チップ キ
ューブを示す。
プを示す。各チップの縁部からの出力は高速インターチ
ップ バッファを介して伝達され、完全な22ビットＩ／
０ポート169 ビット データ ワードDSの転送には200
ナノ秒を要するのみである。また、任意のサイズのネッ
トワークにより同じデータ通路パフォーマンス200 ナノ
秒／入力ワードが達成される。図14は59319 ニューロン
として構成された27のマルチ・ニューロン チップ キ
ューブを示す。
【００４６】本発明ニューラル ネットワークは特にデ
ィジタル アクセス メモリ回路内における実現のため
設計された多層、２進のフィードフォワード ネットワ
ークである。システムは以下のような３つのユニークな
特徴を有する。 （ｉ）限定された相互接続要求、これはハードウエアの
複雑さおよび処理時間の指数関数的増大を伴わないでネ
ットワーク サイズの増加を可能にする。 （ii）シングル パス監視学習アルゴリズム、これは訓
練データの多元的提供を必要とせず、また学習における
反復が含まれない。 （iii ）分類のためにネットワーク ウエイトを必要と
しないリコール モード、‘０’＝unrecognised（認識
されない）か‘１’＝recognised（認識される）かを報
告する活性ニューロン アドレス記憶場所、これは高速
処理を容易にする。
ィジタル アクセス メモリ回路内における実現のため
設計された多層、２進のフィードフォワード ネットワ
ークである。システムは以下のような３つのユニークな
特徴を有する。 （ｉ）限定された相互接続要求、これはハードウエアの
複雑さおよび処理時間の指数関数的増大を伴わないでネ
ットワーク サイズの増加を可能にする。 （ii）シングル パス監視学習アルゴリズム、これは訓
練データの多元的提供を必要とせず、また学習における
反復が含まれない。 （iii ）分類のためにネットワーク ウエイトを必要と
しないリコール モード、‘０’＝unrecognised（認識
されない）か‘１’＝recognised（認識される）かを報
告する活性ニューロン アドレス記憶場所、これは高速
処理を容易にする。
【００４７】各ニューロン チップは13×13×13、３次
元アーキテクチュア（層あたり13×13ニューロン チッ
プあたり13層）内に2,070 のニューロンを含むものとす
る。各ニューロンはチップあたり18630 のシナプス（sy
napse ）を生成する９つのＩ／Ｏ接続を有し、チップを
連続的に接続することにより任意のサイズのネットワー
クを構成することができる。この場合は、169 （13×1
3）のインターチップＩ／Ｏ接続を要するのみであるの
で、各チップは200 ナノ秒ごとに新しい入力を処理する
ことができる。また、チップ サイズは13.3×11.6mmで
あり、512 のマルチ ニューロン チップ キューブ
（キューブ形状に接続した512 のチップ）により秒あた
り＞５×1013シナプスを有する＞106 ニューロンを処理
することができる。これは、平均的にチップあたり1000
シナプス、32ニューロンとなる現存のニューロン ネッ
トワーク チップと比較してきわめて有利である。
元アーキテクチュア（層あたり13×13ニューロン チッ
プあたり13層）内に2,070 のニューロンを含むものとす
る。各ニューロンはチップあたり18630 のシナプス（sy
napse ）を生成する９つのＩ／Ｏ接続を有し、チップを
連続的に接続することにより任意のサイズのネットワー
クを構成することができる。この場合は、169 （13×1
3）のインターチップＩ／Ｏ接続を要するのみであるの
で、各チップは200 ナノ秒ごとに新しい入力を処理する
ことができる。また、チップ サイズは13.3×11.6mmで
あり、512 のマルチ ニューロン チップ キューブ
（キューブ形状に接続した512 のチップ）により秒あた
り＞５×1013シナプスを有する＞106 ニューロンを処理
することができる。これは、平均的にチップあたり1000
シナプス、32ニューロンとなる現存のニューロン ネッ
トワーク チップと比較してきわめて有利である。
【００４８】各ニューロンは512 ×１ビット スタティ
ック ランダム アクセス メモリである。各ニューロ
ンへの９つの接続はメモリに512 （２9 ）のアドレスを
与える。これら512 の記憶場所はニューロンに種々のサ
ブパターンを学習することを許容する。
ック ランダム アクセス メモリである。各ニューロ
ンへの９つの接続はメモリに512 （２9 ）のアドレスを
与える。これら512 の記憶場所はニューロンに種々のサ
ブパターンを学習することを許容する。
【００４９】使用者は層１において入力パターンを特定
し、層ｎ＝13において出力ニューロンを特定する。接続
は訓練アルゴリズムにより、限定されるマッピングにし
たがって種々のウエイトを受信する。また“機能（Func
tional）”ニューロンは特定のサブパターンを学習し、
“相互接続（Interconnect）”ニューロンはターゲット
出力ニューロンに対しアクティビティ（activity）をガ
イドする。各ニューロンは‘１’＝recognised（認識さ
れる）および‘０’＝not recognised（認識されない）
の記憶のためのメモリ アドレスを与えるため、使用者
によりセットされたレベルにスレショールドされたＰ個
のページのウエイト（Ｐは使用者が限定）を記憶するこ
とができる。前記スレショールド レベルの調整はネッ
ト(net）の汎用特性の変更をもたらす。
し、層ｎ＝13において出力ニューロンを特定する。接続
は訓練アルゴリズムにより、限定されるマッピングにし
たがって種々のウエイトを受信する。また“機能（Func
tional）”ニューロンは特定のサブパターンを学習し、
“相互接続（Interconnect）”ニューロンはターゲット
出力ニューロンに対しアクティビティ（activity）をガ
イドする。各ニューロンは‘１’＝recognised（認識さ
れる）および‘０’＝not recognised（認識されない）
の記憶のためのメモリ アドレスを与えるため、使用者
によりセットされたレベルにスレショールドされたＰ個
のページのウエイト（Ｐは使用者が限定）を記憶するこ
とができる。前記スレショールド レベルの調整はネッ
ト(net）の汎用特性の変更をもたらす。
【００５０】訓練アルゴリズム（THE TRAINNING ALGORI
THM ） 訓練プロセス中各訓練パターン セットはそれに関連す
る出力ニューロンを有する。訓練アルゴリズムは、入力
パターンの大部分がネットワーク入力に提供された際出
力が点火（fire）するよう模擬ネットワークのニューロ
ン グループ内にパターンをマップする。訓練アルゴリ
ズムは最初のパスにおいて正しいシナプティック ウエ
イトを計算し、訓練パターンは模擬ネットワークに対し
て一度示されるだけであるため反復は必要としない。
THM ） 訓練プロセス中各訓練パターン セットはそれに関連す
る出力ニューロンを有する。訓練アルゴリズムは、入力
パターンの大部分がネットワーク入力に提供された際出
力が点火（fire）するよう模擬ネットワークのニューロ
ン グループ内にパターンをマップする。訓練アルゴリ
ズムは最初のパスにおいて正しいシナプティック ウエ
イトを計算し、訓練パターンは模擬ネットワークに対し
て一度示されるだけであるため反復は必要としない。
【００５１】訓練期間中は正の値を有する入力のみが処
理される。正入力の各々は識別され個々に処理され、プ
ロパゲーション アルゴリズムは指定出力への通路上に
あるニューロンを識別する。
理される。正入力の各々は識別され個々に処理され、プ
ロパゲーション アルゴリズムは指定出力への通路上に
あるニューロンを識別する。
【００５２】次に、入力は、ネットワークのシミュレー
ションにおいて、それがターゲット出力のすべてに到達
するまで、ニューロンからニューロンに接続され、各段
において、可能なファン・ツウ ポイント（fan-to poi
nt）セットからの各ニューロンはそれが既に所要のファ
ンクションの学習を終わったかどうかのチェックのため
インテロゲート（質問）される。ここで、所要の機能に
応答できるニューロンがない場合は、各ニューロンのス
ペア容量を設定するため（９つまでの）隣接するニュー
ロンがインテロゲートされ、最も多くの容量を有するニ
ューロンが新しい機能を実現するよう修正される。
ションにおいて、それがターゲット出力のすべてに到達
するまで、ニューロンからニューロンに接続され、各段
において、可能なファン・ツウ ポイント（fan-to poi
nt）セットからの各ニューロンはそれが既に所要のファ
ンクションの学習を終わったかどうかのチェックのため
インテロゲート（質問）される。ここで、所要の機能に
応答できるニューロンがない場合は、各ニューロンのス
ペア容量を設定するため（９つまでの）隣接するニュー
ロンがインテロゲートされ、最も多くの容量を有するニ
ューロンが新しい機能を実現するよう修正される。
【００５３】各ニューロンの重要度（significance）は
シナプティック ウエイトの決定を支援するため使用す
る。新しい機能（function）内にマップしようとするニ
ューロンが所要のウエイトをもたない場合は、新しいウ
エイトのページを導入するようにする。
シナプティック ウエイトの決定を支援するため使用す
る。新しい機能（function）内にマップしようとするニ
ューロンが所要のウエイトをもたない場合は、新しいウ
エイトのページを導入するようにする。
【００５４】各ニューロンはシナプティック ウエイト
に等価な複数のファイヤリング状態のページを含み、こ
れは各ニューロンによりその入力の任意の機能を表わす
ことを可能にする。訓練期間中は、出力ニューロンへの
通路上に点火ニューロンがない場合、新しいウエイトの
ページが導入され、使用されている最小数のニューロン
に新しいウエイトが割当てられるようにする。標準的ウ
エイト ページWPを表４に示す。
に等価な複数のファイヤリング状態のページを含み、こ
れは各ニューロンによりその入力の任意の機能を表わす
ことを可能にする。訓練期間中は、出力ニューロンへの
通路上に点火ニューロンがない場合、新しいウエイトの
ページが導入され、使用されている最小数のニューロン
に新しいウエイトが割当てられるようにする。標準的ウ
エイト ページWPを表４に示す。
【００５５】与えられた層への入力の各々は次の層への
入力を形成するよう完全に処理される。
入力を形成するよう完全に処理される。
【００５６】訓練パターンが学習される場合は、訓練ア
ルゴリズムは所望の機能の表現内に含まれるニューロン
の各々の依存性を減少させる。これはネットワークを不
完全または一部劣化した入力に応答させる。
ルゴリズムは所望の機能の表現内に含まれるニューロン
の各々の依存性を減少させる。これはネットワークを不
完全または一部劣化した入力に応答させる。
【００５７】信頼しうる結果を確保するには、ネットワ
ークをセット内の各パターンにより一度訓練する必要が
あるだけで、それ以上の訓練は結果を改善することには
ならない。また、古いメモリはネットワークが飽和する
まで付加的パターンを学習することにより劣化すること
はない。
ークをセット内の各パターンにより一度訓練する必要が
あるだけで、それ以上の訓練は結果を改善することには
ならない。また、古いメモリはネットワークが飽和する
まで付加的パターンを学習することにより劣化すること
はない。
【００５８】ネットワークへの入力は任意のソースから
可能であり、ネットワークの訓練のために使用されるア
ルゴリズムは任意の機能を学習するのに適用することが
できる。ここには常に保証された訓練時間が存在し、ネ
ットワークはフィードバックがない場合、常に安定であ
る。
可能であり、ネットワークの訓練のために使用されるア
ルゴリズムは任意の機能を学習するのに適用することが
できる。ここには常に保証された訓練時間が存在し、ネ
ットワークはフィードバックがない場合、常に安定であ
る。
【００５９】アルゴリズムは接続がネットワーク内で以
下のように行われることを強制する。ニューロンは相互
接続ニューロンか機能ニューロンのいずれかで、双方で
はない。可能な場合、接続は出力ターゲット ニューロ
ンの方向において行われなければならない。ニューロン
は次の層に対して１つの活性出力接続（Active OutputC
onnection）のみを有することができる。入力接続およ
びウエイトは活性接続ニューロン、Active Connected N
euron （正のウエイト；positive weight ）、活性非接
続ニューロン；Active Unconnected Neuron （非活性ウ
エイト；inactiveweight ）および非活性ニューロン；I
nactive Neuron （負のウエイト；negative weight ）
として規定される。相関値は既に学習されたサブパター
ンが現行のパターン内に存在するかをチェックするのに
使用される。相関が充分高い場合は、サブパターンは現
行のセットに付加され、相関値が充分高いものでない場
合はサブパターンはネットワークに対して新しいものと
して学習される。
下のように行われることを強制する。ニューロンは相互
接続ニューロンか機能ニューロンのいずれかで、双方で
はない。可能な場合、接続は出力ターゲット ニューロ
ンの方向において行われなければならない。ニューロン
は次の層に対して１つの活性出力接続（Active OutputC
onnection）のみを有することができる。入力接続およ
びウエイトは活性接続ニューロン、Active Connected N
euron （正のウエイト；positive weight ）、活性非接
続ニューロン；Active Unconnected Neuron （非活性ウ
エイト；inactiveweight ）および非活性ニューロン；I
nactive Neuron （負のウエイト；negative weight ）
として規定される。相関値は既に学習されたサブパター
ンが現行のパターン内に存在するかをチェックするのに
使用される。相関が充分高い場合は、サブパターンは現
行のセットに付加され、相関値が充分高いものでない場
合はサブパターンはネットワークに対して新しいものと
して学習される。
【００６０】アルゴリズムは、接続がターゲット出力ニ
ューロンへの最良ルートを与えているかどうかを各活性
ニューロンに対して決定しなければならない。ｎ番目の
層ニューロンの各々は層ｎ−１からの９つの可能な入力
を有するので、ｎ−１番目の層ニューロンの各々はそれ
が接続可能な次の層内の９つの可能なロケーションを有
する。アルゴリズムは始めに現在の層内に特性を形成す
るためにマップできる充分なニューロンがあるかどうか
を決定する。マッピング機能は次の層ニューロンがター
ゲット出力ニューロンへの最良のルートを与えるかどう
かを決定しなければならず、特性がマップできない場合
は相互接続（interconnect）としての個々のニューロン
アクティビティのルーチンにより次の層においてニュ
ーロンがパターンのそのクラスに対してユニークな特性
を形成することを保証させる必要がある。
ューロンへの最良ルートを与えているかどうかを各活性
ニューロンに対して決定しなければならない。ｎ番目の
層ニューロンの各々は層ｎ−１からの９つの可能な入力
を有するので、ｎ−１番目の層ニューロンの各々はそれ
が接続可能な次の層内の９つの可能なロケーションを有
する。アルゴリズムは始めに現在の層内に特性を形成す
るためにマップできる充分なニューロンがあるかどうか
を決定する。マッピング機能は次の層ニューロンがター
ゲット出力ニューロンへの最良のルートを与えるかどう
かを決定しなければならず、特性がマップできない場合
は相互接続（interconnect）としての個々のニューロン
アクティビティのルーチンにより次の層においてニュ
ーロンがパターンのそのクラスに対してユニークな特性
を形成することを保証させる必要がある。
【００６１】マッピングは出力ターゲット ニューロン
をアドレスするため後尾から２番目の層（penultimate
layer ）内に約６個の活性ニューロンが存在することを
要するという点で拘束される。これは、早過ぎる時期に
層内に生ずるパターン収斂を防止し、かくしてデータ圧
縮を減少させる。さらに、各ニューロンはそれを流れる
情報のレベルを限定する重要度（significance value）
を有する。高い有意性を有するニューロンは早い段階に
おいてマップされることを妨げられ、所定の層における
ニューロン間で比較的平等な情報のシエアを保持する。
同様に、特に低い有意性を有するニューロンは他のニュ
ーロンにマップするよう強制される。高い重要度および
低い重要度の定義はネットワークの深さとともに増加
し、入力層内のアクティビティのレベルによりスケール
される。
をアドレスするため後尾から２番目の層（penultimate
layer ）内に約６個の活性ニューロンが存在することを
要するという点で拘束される。これは、早過ぎる時期に
層内に生ずるパターン収斂を防止し、かくしてデータ圧
縮を減少させる。さらに、各ニューロンはそれを流れる
情報のレベルを限定する重要度（significance value）
を有する。高い有意性を有するニューロンは早い段階に
おいてマップされることを妨げられ、所定の層における
ニューロン間で比較的平等な情報のシエアを保持する。
同様に、特に低い有意性を有するニューロンは他のニュ
ーロンにマップするよう強制される。高い重要度および
低い重要度の定義はネットワークの深さとともに増加
し、入力層内のアクティビティのレベルによりスケール
される。
【００６２】相関値はウエイトの更新を決定するのに使
用される。現行のパターンが特定のニューロンにより既
に学習されたものとマッチしない場合は、新しいウエイ
トのページが生成される。また、相関値がマッチ スレ
ショールド（matchthreshold ）とノーマッチ スレシ
ョールド（no match threshold）の間にある場合は、新
しいウエイトのページは現行の最良ウエイト ページと
組合わされる。これに対して、相関値がマッチ スレシ
ョールドを越える場合は、ウエイトの更新は必要とせ
ず、次の層ニューロンが付勢される。
用される。現行のパターンが特定のニューロンにより既
に学習されたものとマッチしない場合は、新しいウエイ
トのページが生成される。また、相関値がマッチ スレ
ショールド（matchthreshold ）とノーマッチ スレシ
ョールド（no match threshold）の間にある場合は、新
しいウエイトのページは現行の最良ウエイト ページと
組合わされる。これに対して、相関値がマッチ スレシ
ョールドを越える場合は、ウエイトの更新は必要とせ
ず、次の層ニューロンが付勢される。
【００６３】ネットワーク アルゴリズムは本質的にル
ーチン アルゴリズムである。ウエイトは相関を計算す
るのに使用され、したがってまた、現存のルートが使用
できるかあるいは新しいルートを創設すべきかを決定す
るのに使用される。リコール期間中は入力パターンはフ
リーであり、活性ネットワークを通る任意の接続通路に
従う。下側層（lower layer ）においては、これは通常
複数の誤った活性化（Activation）の存在を生じさせる
が、そこには連続的プロパゲーションに対する不充分な
アクティビティがあるため、これらは出力層に向かって
急速に消滅する。
ーチン アルゴリズムである。ウエイトは相関を計算す
るのに使用され、したがってまた、現存のルートが使用
できるかあるいは新しいルートを創設すべきかを決定す
るのに使用される。リコール期間中は入力パターンはフ
リーであり、活性ネットワークを通る任意の接続通路に
従う。下側層（lower layer ）においては、これは通常
複数の誤った活性化（Activation）の存在を生じさせる
が、そこには連続的プロパゲーションに対する不充分な
アクティビティがあるため、これらは出力層に向かって
急速に消滅する。
【００６４】訓練アルゴリズム オーバービュー（TRAI
NING ALGOLITHM OVERVIEW ）；全層訓練手順（THE TRAI
N ALL LAYERS PROCEDURE） 実際上、アルゴリズムは２つのモード、すなわち学習モ
ード（Learn mode）またはリコール モード（Recall m
ode ）で作動する。学習モードは訓練システムの本質で
ある。第１の制御レベル、すなわち全層訓練（TAL ）手
順を図15に示す。
NING ALGOLITHM OVERVIEW ）；全層訓練手順（THE TRAI
N ALL LAYERS PROCEDURE） 実際上、アルゴリズムは２つのモード、すなわち学習モ
ード（Learn mode）またはリコール モード（Recall m
ode ）で作動する。学習モードは訓練システムの本質で
ある。第１の制御レベル、すなわち全層訓練（TAL ）手
順を図15に示す。
【００６５】ステップTAL1において、ビルド テーブル
ファンクション（Build TableFunction）は学習すべ
き特定パターンに対する接続用として利用可能なニュー
ロンを識別する。利用可能性はターゲット出力ニューロ
ンに依存する。各ニューロンはその９つの近い隣接ニュ
ーロンに接続できるので、利用可能なニューロンはネッ
トワーク接続アーキテクチャを考慮してターゲットから
入力に戻って計算される。
ファンクション（Build TableFunction）は学習すべ
き特定パターンに対する接続用として利用可能なニュー
ロンを識別する。利用可能性はターゲット出力ニューロ
ンに依存する。各ニューロンはその９つの近い隣接ニュ
ーロンに接続できるので、利用可能なニューロンはネッ
トワーク接続アーキテクチャを考慮してターゲットから
入力に戻って計算される。
【００６６】制御されないニューロンはできるだけ早期
にマップし易く、１つまたは２つの接続通路をターゲッ
ト出力ニューロンに導く可能性がある。これは通路のロ
スがパターン分類の可能性を取り除くという点で望まし
くない。相互接続通路は、ターゲット出力ニューロンへ
の最適数の接続が存在するよう配置する。この最適性は
使用者により“訓練アルゴリズム ターゲット パラメ
ータ”を介して限定することができる。さらに、ターゲ
ット パラメータ接続通路はほぼ同じ重要度で与えられ
る。アルゴリズムは、高い重要度のニューロンはこれら
をともにマップさせず、低い重要度のニューロンはマッ
プさせてそれらがターゲット出力に伝播（プロパゲー
ト）することを防止するよう形成する。
にマップし易く、１つまたは２つの接続通路をターゲッ
ト出力ニューロンに導く可能性がある。これは通路のロ
スがパターン分類の可能性を取り除くという点で望まし
くない。相互接続通路は、ターゲット出力ニューロンへ
の最適数の接続が存在するよう配置する。この最適性は
使用者により“訓練アルゴリズム ターゲット パラメ
ータ”を介して限定することができる。さらに、ターゲ
ット パラメータ接続通路はほぼ同じ重要度で与えられ
る。アルゴリズムは、高い重要度のニューロンはこれら
をともにマップさせず、低い重要度のニューロンはマッ
プさせてそれらがターゲット出力に伝播（プロパゲー
ト）することを防止するよう形成する。
【００６７】さらに、訓練アルゴリズム マッピングは
次のような条件で制約される。 （ｉ）マップ機能に対して必要な入力ニューロンの最小
数は入力における３から出力における最適数（ターゲッ
ト パラメータ）までのスライディング スケールによ
る。 （ii）ニューロンは機能ニューロンおよび相互接続ニュ
ーロンの双方としては作動しない。 （iii ）現存の機能ニューロンは、それが既に学習され
たサブパターンに充分近い場合には新しいサブパターン
を学習できるだけであり、これは同じニューロンがすべ
ての入力クラスに対するサブパターンを学習することを
防止する。
次のような条件で制約される。 （ｉ）マップ機能に対して必要な入力ニューロンの最小
数は入力における３から出力における最適数（ターゲッ
ト パラメータ）までのスライディング スケールによ
る。 （ii）ニューロンは機能ニューロンおよび相互接続ニュ
ーロンの双方としては作動しない。 （iii ）現存の機能ニューロンは、それが既に学習され
たサブパターンに充分近い場合には新しいサブパターン
を学習できるだけであり、これは同じニューロンがすべ
ての入力クラスに対するサブパターンを学習することを
防止する。
【００６８】“高い重要度（high significance ）”お
よび“低い重要度（low significance）”の定義はスラ
イディング スケール（sliding scale ）とともにマッ
ピング機能への入力数に対して使用される。所定パター
ンに対して、ターゲット出力における最大シグニフイカ
ンスは入力層における活性ニューロンの数に入力層のシ
グニフイカンス（Sval min）を乗じたものである。高い
シグニフイカンス値（Max Sigval）はターゲット出力に
おける最大シグニフイカンスをターゲット出力への最適
接続数（ターゲット パラメータにより限定される）で
除したものとして定義される。また、各層におけるマッ
ピング機能に対し必要なニューロンの数（num により定
義される）は３ ツウ ザ ターゲット パラメータ
（3-to-thetarget parameter ）のスライディング ス
ケール上にある。
よび“低い重要度（low significance）”の定義はスラ
イディング スケール（sliding scale ）とともにマッ
ピング機能への入力数に対して使用される。所定パター
ンに対して、ターゲット出力における最大シグニフイカ
ンスは入力層における活性ニューロンの数に入力層のシ
グニフイカンス（Sval min）を乗じたものである。高い
シグニフイカンス値（Max Sigval）はターゲット出力に
おける最大シグニフイカンスをターゲット出力への最適
接続数（ターゲット パラメータにより限定される）で
除したものとして定義される。また、各層におけるマッ
ピング機能に対し必要なニューロンの数（num により定
義される）は３ ツウ ザ ターゲット パラメータ
（3-to-thetarget parameter ）のスライディング ス
ケール上にある。
【００６９】各層はステップTAL3において選択され、ス
テップTAL4ないしTAL9を用いて訓練される。ステップTA
L4およびTAL5における訓練手順は層ｎとｎ＋１間でなさ
れる最良の接続形式を識別する。層間のすべての接続が
いったん識別された場合は、ニューロン記憶位置の内容
はステップTAL6において記憶割当（MEMORYALLOCATION）
手順により計算される。次にステップTAL7においてリコ
ール（RECALL）手順が実行され、ステップTAL14 におい
て前に生成された記憶割当（MEMORYALLOCATION）手順に
よりニューロン記憶位置に記憶された値にしたがって、
ｎ＋１番目の層ニューロンのファイヤリング状態を特定
する。
テップTAL4ないしTAL9を用いて訓練される。ステップTA
L4およびTAL5における訓練手順は層ｎとｎ＋１間でなさ
れる最良の接続形式を識別する。層間のすべての接続が
いったん識別された場合は、ニューロン記憶位置の内容
はステップTAL6において記憶割当（MEMORYALLOCATION）
手順により計算される。次にステップTAL7においてリコ
ール（RECALL）手順が実行され、ステップTAL14 におい
て前に生成された記憶割当（MEMORYALLOCATION）手順に
よりニューロン記憶位置に記憶された値にしたがって、
ｎ＋１番目の層ニューロンのファイヤリング状態を特定
する。
【００７０】ｎ＋１番目の層内のニューロンはｎ番目の
層において学習されたパターンに応じて点火（ファイ
ヤ）され、これらｎ＋１番目の層のファイヤリング ニ
ューロンは層ｎ＋２への入力として機能する。このプロ
セスは、ペナルティメート層（penultimate layer ；後
尾から２番目の層）へのステップTAL3 - TAL9 のループ
のまわりで反復される。前記ペナルティメート層内のす
べてのファイヤリングニューロンはターゲット出力ニュ
ーロンに接続しなければならないので、接続通路を計算
するを要しない。ステップTAL10 におけるリコール（Re
call）手順はペナルティメート層を認識したかどうかを
調べるためターゲットに問合わせを行う。また、ステッ
プTAL11 においては、ネットワークによるパターン認識
の程度を表示するための相関値（corr Val）を得るよう
にし、ステップTAL12 においては、そのファイヤリング
状態および相関値にしたがって、ターゲット出力ニュー
ロンを更新する。次に、ステップTAL13 において入力ノ
ードのシグニフイカンスがターゲット出力に供給され、
ウエイトの更新により前にノーファイヤ状態のターゲッ
ト出力が点火（ファイヤ）されるので、再びリコールが
行われる（ステップTAL15 ）。最後にターゲット出力ニ
ューロンに直接接続された（すなわち、ターゲットにお
けるそれを別として任意の他のマッピング機能を受ける
ことのない）ネットワーク内の任意の点におけるそれら
のニューロンがチェック接続（CheckConnection）機能
により識別される（ステップTAL16 ）。
層において学習されたパターンに応じて点火（ファイ
ヤ）され、これらｎ＋１番目の層のファイヤリング ニ
ューロンは層ｎ＋２への入力として機能する。このプロ
セスは、ペナルティメート層（penultimate layer ；後
尾から２番目の層）へのステップTAL3 - TAL9 のループ
のまわりで反復される。前記ペナルティメート層内のす
べてのファイヤリングニューロンはターゲット出力ニュ
ーロンに接続しなければならないので、接続通路を計算
するを要しない。ステップTAL10 におけるリコール（Re
call）手順はペナルティメート層を認識したかどうかを
調べるためターゲットに問合わせを行う。また、ステッ
プTAL11 においては、ネットワークによるパターン認識
の程度を表示するための相関値（corr Val）を得るよう
にし、ステップTAL12 においては、そのファイヤリング
状態および相関値にしたがって、ターゲット出力ニュー
ロンを更新する。次に、ステップTAL13 において入力ノ
ードのシグニフイカンスがターゲット出力に供給され、
ウエイトの更新により前にノーファイヤ状態のターゲッ
ト出力が点火（ファイヤ）されるので、再びリコールが
行われる（ステップTAL15 ）。最後にターゲット出力ニ
ューロンに直接接続された（すなわち、ターゲットにお
けるそれを別として任意の他のマッピング機能を受ける
ことのない）ネットワーク内の任意の点におけるそれら
のニューロンがチェック接続（CheckConnection）機能
により識別される（ステップTAL16 ）。
【００７１】以下、各手順のフローチャートを参照し
て、図15の訓練アルゴリズムの種々のステップにおいて
使用される手順により実行される機能につき説明するこ
とにする。
て、図15の訓練アルゴリズムの種々のステップにおいて
使用される手順により実行される機能につき説明するこ
とにする。
【００７２】１．層訓練手順（THE TRAIN LAYER PROCED
URE ）（TAL5） 図17および図18は層訓練（TL）手順を示す。まず、ステ
ップTL1 において任意のニューロンが既にファイヤさ
れ、それらがサブパターンを認識したことを示している
かを調べるため、リコール手順（図37および後述のセク
ション21参照）を用いて層n1をリコールする。次に、ス
テージTL2 において、層ｎ内のニューロンから層ｎ＋１
内のニューロンへの可能な入力の数が計算される。この
場合、手順は２つのステージにおいて実行される。
URE ）（TAL5） 図17および図18は層訓練（TL）手順を示す。まず、ステ
ップTL1 において任意のニューロンが既にファイヤさ
れ、それらがサブパターンを認識したことを示している
かを調べるため、リコール手順（図37および後述のセク
ション21参照）を用いて層n1をリコールする。次に、ス
テージTL2 において、層ｎ内のニューロンから層ｎ＋１
内のニューロンへの可能な入力の数が計算される。この
場合、手順は２つのステージにおいて実行される。
【００７３】図17に示す第１のステージ（TLS1）はネッ
トワークが特定のニューロンに対して既に学習した接続
を有しているかどうかを決定する。ｎ番目の各層のファ
イヤリング ニューロンに対して、それは、 （１） ステップTL3 およびTL4 を用いて、すべての次
の層のファイヤリングニューロンに機能ニューロンまた
は相互接続ニューロンとして標識（tag ）をつける。 （２） ステップTL4 およびTL5 を用いて標識をつけた
“機能”ニューロンを取得し、現行のｎ番目の層のニュ
ーロンと標識をつけた機能ニューロン間に接続が存在す
るかどうかをチェックする。かくして、接続が存在し、
ステップTL6 で決められるように相関値が弱いファイヤ
値（使用者により決められる）より大きい場合には、マ
ップ手順（図20および後述のセクション３参照）がコー
ルされる（ステップTL7 ）。このマップ手順は、それが
上首尾（successful）の場合は現行のｎ番目の層のニュ
ーロンをマップされたとしてマークし、ステップTL8 、
TL9およびTL10のループを通してステップTL3 に再び戻
る。 （３） ステップTL8 で検知されるように、現行のｎ番
目の層のニューロンがうまくマップされなかった場合に
は、ステップTL11、TL12およびTL13において標識をつけ
た相互接続ニューロンがチェックされ、それと現行のｎ
番目の層のニューロン間に接続が存在するかどうかが調
べられる。ここで、接続が存在し、ステップTL14で検知
されるように、相関値が“weak fire val ”より大きい
場合は、相互接続（INTEPCONNECT）手順ステップTL15
（図19および後述のセクション２参照）がコールされ
る。この手順は、それが上首尾（successful）の場合は
現行のｎ番目の層のニューロンをマップされたとしてマ
ークし、ステップTL9 を介してステップTL3 に再び戻
る。 （４） 現行のｎ番目の層のニューロンに接続された標
識をつけないｎ＋１番目の機能層または相互接続層のニ
ューロンが存在しないか相関値が充分高い場合には、ス
テップTL13およびTL14とともにステップTL16, TL17を用
いてユニークさ（uniqueness）についてｎ番目の層のニ
ューロンをチェックする。かくして、ステップTL18によ
り検知されるように、学習されているパターンが新しい
パターンでない場合には、前に学習された機能は現行の
ニューロンに対する１つの接続を識別したに過ぎない
が、もしそうである場合には、ユニーク マップ（UNIQ
UE MAP）手順ステップTL19（図22および後述のセクショ
ン５参照）はユニークな接続を識別する。
トワークが特定のニューロンに対して既に学習した接続
を有しているかどうかを決定する。ｎ番目の各層のファ
イヤリング ニューロンに対して、それは、 （１） ステップTL3 およびTL4 を用いて、すべての次
の層のファイヤリングニューロンに機能ニューロンまた
は相互接続ニューロンとして標識（tag ）をつける。 （２） ステップTL4 およびTL5 を用いて標識をつけた
“機能”ニューロンを取得し、現行のｎ番目の層のニュ
ーロンと標識をつけた機能ニューロン間に接続が存在す
るかどうかをチェックする。かくして、接続が存在し、
ステップTL6 で決められるように相関値が弱いファイヤ
値（使用者により決められる）より大きい場合には、マ
ップ手順（図20および後述のセクション３参照）がコー
ルされる（ステップTL7 ）。このマップ手順は、それが
上首尾（successful）の場合は現行のｎ番目の層のニュ
ーロンをマップされたとしてマークし、ステップTL8 、
TL9およびTL10のループを通してステップTL3 に再び戻
る。 （３） ステップTL8 で検知されるように、現行のｎ番
目の層のニューロンがうまくマップされなかった場合に
は、ステップTL11、TL12およびTL13において標識をつけ
た相互接続ニューロンがチェックされ、それと現行のｎ
番目の層のニューロン間に接続が存在するかどうかが調
べられる。ここで、接続が存在し、ステップTL14で検知
されるように、相関値が“weak fire val ”より大きい
場合は、相互接続（INTEPCONNECT）手順ステップTL15
（図19および後述のセクション２参照）がコールされ
る。この手順は、それが上首尾（successful）の場合は
現行のｎ番目の層のニューロンをマップされたとしてマ
ークし、ステップTL9 を介してステップTL3 に再び戻
る。 （４） 現行のｎ番目の層のニューロンに接続された標
識をつけないｎ＋１番目の機能層または相互接続層のニ
ューロンが存在しないか相関値が充分高い場合には、ス
テップTL13およびTL14とともにステップTL16, TL17を用
いてユニークさ（uniqueness）についてｎ番目の層のニ
ューロンをチェックする。かくして、ステップTL18によ
り検知されるように、学習されているパターンが新しい
パターンでない場合には、前に学習された機能は現行の
ニューロンに対する１つの接続を識別したに過ぎない
が、もしそうである場合には、ユニーク マップ（UNIQ
UE MAP）手順ステップTL19（図22および後述のセクショ
ン５参照）はユニークな接続を識別する。
【００７４】“層訓練（train layer ）”手順ステージ
１は最後のステージのニューロンが処理され、ステップ
TL20においてステージ２がステップTL21に向かうまで、
ステップTL9, TL10, TL3を用いてリサイクルされる。
１は最後のステージのニューロンが処理され、ステップ
TL20においてステージ２がステップTL21に向かうまで、
ステップTL9, TL10, TL3を用いてリサイクルされる。
【００７５】図18は“層訓練”手順の第２ステージ（TL
S2）を示す。第２ステージTLS2は第１ステージによりマ
ップしたとしてマークされなかったｎ番目の層内のニュ
ーロンを再評価する。ステップTL22により検知されるよ
うに、パターンが新しいクラスに属さない場合は、それ
は、まず雑音（ノイズ）に対しチェックされ、次にユニ
ーク性（uniqueness）に対してチェックされる。 ノイズ マップされないｎ番目の層のニューロンの
シグニフイカンスがMaxNoise （使用者が決定）より小
で、ステップTL23により検知されるように、次に層のニ
ューロンがファイヤリング状態の場合は現行のｎ番目の
層のニューロンはステップTL24においてノイズとして無
視される。 ユニーク性 マップされないｎ番目の層のニューロンが
ノイズとして無視できない場合は、ステップTL26および
TL27でこのニューロンに対してユニークな接続が存在す
るかを調べるためステップTL25においてチェックする。
S2）を示す。第２ステージTLS2は第１ステージによりマ
ップしたとしてマークされなかったｎ番目の層内のニュ
ーロンを再評価する。ステップTL22により検知されるよ
うに、パターンが新しいクラスに属さない場合は、それ
は、まず雑音（ノイズ）に対しチェックされ、次にユニ
ーク性（uniqueness）に対してチェックされる。 ノイズ マップされないｎ番目の層のニューロンの
シグニフイカンスがMaxNoise （使用者が決定）より小
で、ステップTL23により検知されるように、次に層のニ
ューロンがファイヤリング状態の場合は現行のｎ番目の
層のニューロンはステップTL24においてノイズとして無
視される。 ユニーク性 マップされないｎ番目の層のニューロンが
ノイズとして無視できない場合は、ステップTL26および
TL27でこのニューロンに対してユニークな接続が存在す
るかを調べるためステップTL25においてチェックする。
【００７６】上記の２つのチェックの不首尾または新し
いパターンに対して、ステップTL28は新しい接続通路を
決定するため作動する。すなわち、ステップTL28におい
て検知されるように、現行のｎ番目の層のニューロンの
シグニフイカンスが“MaxSig Val ”より大きい場合は
相互接続（INTERCONNECT）手順ステップTL29（図19およ
び後述のセクション２参照）がコールされる。また、ス
テップTL30により決められるように、シグニフイカンス
が“Sig val ”より小さい場合はステップTL31において
ルック アラウンド（LOOK AROUND ）手順（図22および
後述のセクション５参照）がコールされ使用可能な少な
くとも２つの入力を有するｎ＋１番目の層のニューロン
への接続が発見される。また、シグニフイカンスが“Si
g val”以内で“Max Sig Val ”が限定されている（ス
テップTL30からの出力がない）場合には現行のｎ番目の
層のニューロンをそれに利用可能な少なくとも“in nu
m”入力を有するｎ＋１番の層ニューロンに接続する要
求によりステップTL32においてルック アラウンド（LO
OK AROUND ）手順がコールされる。（ルック アウラン
ド手順により実行されるステップに関しては図22に示さ
れており、また後掲のセクション５に記載されてい
る）。上述の手順はｎ番目の層内のマークされないニュ
ーロンの各々に対して実行され、ステップTL33およびTL
34を介して循環し、再びTL22に至る。
いパターンに対して、ステップTL28は新しい接続通路を
決定するため作動する。すなわち、ステップTL28におい
て検知されるように、現行のｎ番目の層のニューロンの
シグニフイカンスが“MaxSig Val ”より大きい場合は
相互接続（INTERCONNECT）手順ステップTL29（図19およ
び後述のセクション２参照）がコールされる。また、ス
テップTL30により決められるように、シグニフイカンス
が“Sig val ”より小さい場合はステップTL31において
ルック アラウンド（LOOK AROUND ）手順（図22および
後述のセクション５参照）がコールされ使用可能な少な
くとも２つの入力を有するｎ＋１番目の層のニューロン
への接続が発見される。また、シグニフイカンスが“Si
g val”以内で“Max Sig Val ”が限定されている（ス
テップTL30からの出力がない）場合には現行のｎ番目の
層のニューロンをそれに利用可能な少なくとも“in nu
m”入力を有するｎ＋１番の層ニューロンに接続する要
求によりステップTL32においてルック アラウンド（LO
OK AROUND ）手順がコールされる。（ルック アウラン
ド手順により実行されるステップに関しては図22に示さ
れており、また後掲のセクション５に記載されてい
る）。上述の手順はｎ番目の層内のマークされないニュ
ーロンの各々に対して実行され、ステップTL33およびTL
34を介して循環し、再びTL22に至る。
【００７７】層訓練手順ステージ２により行われる最終
プロセスは、ｎ＋１番目の層のニューロンのシグニフイ
カンスを計算することで、これはステップTL35における
リップル シグニフイカンス（RIPPLE SIGNIFICANCE ）
手順（図36および後述のセクション20参照）へのコール
により達成される。
プロセスは、ｎ＋１番目の層のニューロンのシグニフイ
カンスを計算することで、これはステップTL35における
リップル シグニフイカンス（RIPPLE SIGNIFICANCE ）
手順（図36および後述のセクション20参照）へのコール
により達成される。
【００７８】以下の記述は“全層訓練（train all laye
rs）”アルゴリズムおよび“層訓練（train a layer
）”手順において識別された手順の各々により行われ
る機能の概要をそれらの手順によりコールされる種々の
手順とともに与えるものである。
rs）”アルゴリズムおよび“層訓練（train a layer
）”手順において識別された手順の各々により行われ
る機能の概要をそれらの手順によりコールされる種々の
手順とともに与えるものである。
【００７９】２．相互接続手順（THE INTERCONNECT PRO
CEDURE） IP 図19 最初にガイド（GUIDE ）手順ステップIP1 （図29および
後述のセクション12参照）が接続すべき最良の次の層を
決定するためコールされる。次に、ステップIP2 におい
て接続ポイントが発見された場合、その接続により影響
されるすべてのアレイ パラメータはステップIP3 で更
新され、ステップIP4 においてコルナム（CORRNUM ）手
順（図31およびセクション14参照）を介して相関値が決
定され、ついで、ウエイト更新（weight UPDATE ）手順
ステップIP5 （セクション11参照）が実行される。ステ
ップIP2 において接続ポイントが発見されない場合は、
ステップIP6 においてフェイルド ツウ マップ（Fail
ed to map ）エラーが報告される。いずれにしても、ニ
ューロンはステップIP7 によりマップしたとしてマーク
される。ここで、ニューロンがマップに失敗した場合
は、それは接続ポイントなしにマップしたものとして有
効に記憶される。これは接続通路が存在しない場合のニ
ューロンの連続的評価を防止する。
CEDURE） IP 図19 最初にガイド（GUIDE ）手順ステップIP1 （図29および
後述のセクション12参照）が接続すべき最良の次の層を
決定するためコールされる。次に、ステップIP2 におい
て接続ポイントが発見された場合、その接続により影響
されるすべてのアレイ パラメータはステップIP3 で更
新され、ステップIP4 においてコルナム（CORRNUM ）手
順（図31およびセクション14参照）を介して相関値が決
定され、ついで、ウエイト更新（weight UPDATE ）手順
ステップIP5 （セクション11参照）が実行される。ステ
ップIP2 において接続ポイントが発見されない場合は、
ステップIP6 においてフェイルド ツウ マップ（Fail
ed to map ）エラーが報告される。いずれにしても、ニ
ューロンはステップIP7 によりマップしたとしてマーク
される。ここで、ニューロンがマップに失敗した場合
は、それは接続ポイントなしにマップしたものとして有
効に記憶される。これは接続通路が存在しない場合のニ
ューロンの連続的評価を防止する。
【００８０】３．マップ手順（THE MAP PROCEDURE ）MP 図20に示すマップ（MAP ）手順は“層訓練（train a la
yer ）”手順のステージ１において可能な次の層の機能
ニューロンが識別された場合のみコールされる。この場
合、現行のｎ番目の層のニューロンは他のｎ番目の層ニ
ューロンも接続されている場合に、ステップMP1 におい
て次の層ニューロンに接続されるのみであり、したがっ
て、他のｎ番目のニューロン層がチェックされ、マッピ
ングが可能であることが確認される。これは、ステップ
MP2 において記録接続（RECORDCONNECTION）手順（図25
およびセクション８参照）により行われる。この場合、
マッピングのためには、例えば３つのニューロンが利用
可能（かつ必要）であるが、このようなマッピングの実
現は次の層の機能ニューロンのシグニフイカンスを“Ma
x Sig Val ”の許容される最大値に置くことになる。し
たがって‘ノー（no）’ルートを介してステップMP3 か
ら出力されることによりマッピング機能が許容されるこ
とはない。
yer ）”手順のステージ１において可能な次の層の機能
ニューロンが識別された場合のみコールされる。この場
合、現行のｎ番目の層のニューロンは他のｎ番目の層ニ
ューロンも接続されている場合に、ステップMP1 におい
て次の層ニューロンに接続されるのみであり、したがっ
て、他のｎ番目のニューロン層がチェックされ、マッピ
ングが可能であることが確認される。これは、ステップ
MP2 において記録接続（RECORDCONNECTION）手順（図25
およびセクション８参照）により行われる。この場合、
マッピングのためには、例えば３つのニューロンが利用
可能（かつ必要）であるが、このようなマッピングの実
現は次の層の機能ニューロンのシグニフイカンスを“Ma
x Sig Val ”の許容される最大値に置くことになる。し
たがって‘ノー（no）’ルートを介してステップMP3 か
ら出力されることによりマッピング機能が許容されるこ
とはない。
【００８１】マッピングが成功した場合は、その接続に
より影響されるすべてのアレイ パラメータはステップ
MP4 およびMP5 において更新され、コルナム（CORRNUM
）手順（図31およびセクション14参照）を介して相関
値が決定される。次に、ウエイト更新（weight UPDATE
）手順（図28およびセクション11参照）のステップMP6
が実行され、マッピング機能に含まれるすべてのｎ番目
の層ニューロンがマップしたとしてマークされる。ま
た、所要数のｎ番目の層のニューロンがｎ＋１番目の層
ニューロンにマップできない場合（ステップMP3 のノー
（no）ルート）には、ステップMP7 において、マッピン
グ機能は終了し、記録接続（RECORD CONNECTION ）手順
（セクション８参照）により限定される接続は抹消され
る。次に、ルック アラウンド（LOOK AROUND ）手順ス
テップMP8 （図22およびセクション５参照）からマップ
（MAP ）手順がコールされた場合は、相互接続（INTERC
ONNECT）手順ステップMP9 がコールされる。
より影響されるすべてのアレイ パラメータはステップ
MP4 およびMP5 において更新され、コルナム（CORRNUM
）手順（図31およびセクション14参照）を介して相関
値が決定される。次に、ウエイト更新（weight UPDATE
）手順（図28およびセクション11参照）のステップMP6
が実行され、マッピング機能に含まれるすべてのｎ番目
の層ニューロンがマップしたとしてマークされる。ま
た、所要数のｎ番目の層のニューロンがｎ＋１番目の層
ニューロンにマップできない場合（ステップMP3 のノー
（no）ルート）には、ステップMP7 において、マッピン
グ機能は終了し、記録接続（RECORD CONNECTION ）手順
（セクション８参照）により限定される接続は抹消され
る。次に、ルック アラウンド（LOOK AROUND ）手順ス
テップMP8 （図22およびセクション５参照）からマップ
（MAP ）手順がコールされた場合は、相互接続（INTERC
ONNECT）手順ステップMP9 がコールされる。
【００８２】４．ユニーク マップ手順（THE UNIQUE M
AP PROCEDURE）UMP 図21はこの手順を示すものである。始めに、解析中の現
行のｎ番目の層ニューロンに対してステップUMP1および
UMP2が実行され、それに対して既に学習された機能の数
および相互接続の数が計算される。ステップUMP3におい
て検知されたユニークな機能接続はマップ（MAP ）手順
UMP4（図20およびセクション３参照）をコールし、ステ
ップUMP5において検知されたユニークな相互接続は、ス
テップUMP6において相互接続（INTERCONNECT）手順（図
19およびセクション２参照）をコールする。この場合、
１つのニューロンがユニーク機能およびユニーク相互接
続の双方を有することは決して起こらない（もしそうで
あればユニークでなくなるからである）。
AP PROCEDURE）UMP 図21はこの手順を示すものである。始めに、解析中の現
行のｎ番目の層ニューロンに対してステップUMP1および
UMP2が実行され、それに対して既に学習された機能の数
および相互接続の数が計算される。ステップUMP3におい
て検知されたユニークな機能接続はマップ（MAP ）手順
UMP4（図20およびセクション３参照）をコールし、ステ
ップUMP5において検知されたユニークな相互接続は、ス
テップUMP6において相互接続（INTERCONNECT）手順（図
19およびセクション２参照）をコールする。この場合、
１つのニューロンがユニーク機能およびユニーク相互接
続の双方を有することは決して起こらない（もしそうで
あればユニークでなくなるからである）。
【００８３】５．ルック アラウンド手順（THE LOOK A
ROUND PROCEDURE ）LAP 図22に示すルック アラウンド（look around ）手順
は、１つの接続が特定のｎ番目の層ニューロンを探索す
るときコールされる。それは可能であればマップ機能を
実現することが望ましい。ｎ番目の層ニューロンのシグ
ニフイカンスが“Sig Val ”より小さい場合には少なく
とも２つのニューロンがともにマップすることを要し、
そうでない場合には、マッピングのために必要な最小数
のニューロンは“in num”により特定される。ステップ
LAP1において識別されるようなマッピングのため所要数
のニューロンが使用でき、かつ機能ニューロン ステッ
プLAP2‘イエス（yes ）’として機能させるため１つ以
上の次の層ニューロンが使用できる場合には、相関（CO
RRELATE ）手順ステップLAP3（図30およびセクション1
3）がコールされる。この手順は予期される次の層ニュ
ーロンの各々に対して、そのニューロンに対するマッピ
ングが行われた場合に生成されるであろう相関値を計算
する。相関（CORRELATE ）に最高の相関値を有する次の
層ニューロンの“Corr Val”あるいはステップLAP4にお
いてテストされた失敗の表示に戻る。成功（successfu
l）ステップLAP4‘イエス（yes ）’の場合には、次の
層のターゲット機能ニューロンがステップLAP5における
マップ（MAP ）手順（図20およびセクション３参照）に
対し識別される。ここで留意すべきことは、マップ手順
の場合と同様に、相関手順は相関値を計算する前にマッ
ピングを可能にしうるということである。これは、所要
の入力数を満足する最良の機能ニューロンが存在すると
きだけマップ（MAP ）がコールされることを意味する。
ROUND PROCEDURE ）LAP 図22に示すルック アラウンド（look around ）手順
は、１つの接続が特定のｎ番目の層ニューロンを探索す
るときコールされる。それは可能であればマップ機能を
実現することが望ましい。ｎ番目の層ニューロンのシグ
ニフイカンスが“Sig Val ”より小さい場合には少なく
とも２つのニューロンがともにマップすることを要し、
そうでない場合には、マッピングのために必要な最小数
のニューロンは“in num”により特定される。ステップ
LAP1において識別されるようなマッピングのため所要数
のニューロンが使用でき、かつ機能ニューロン ステッ
プLAP2‘イエス（yes ）’として機能させるため１つ以
上の次の層ニューロンが使用できる場合には、相関（CO
RRELATE ）手順ステップLAP3（図30およびセクション1
3）がコールされる。この手順は予期される次の層ニュ
ーロンの各々に対して、そのニューロンに対するマッピ
ングが行われた場合に生成されるであろう相関値を計算
する。相関（CORRELATE ）に最高の相関値を有する次の
層ニューロンの“Corr Val”あるいはステップLAP4にお
いてテストされた失敗の表示に戻る。成功（successfu
l）ステップLAP4‘イエス（yes ）’の場合には、次の
層のターゲット機能ニューロンがステップLAP5における
マップ（MAP ）手順（図20およびセクション３参照）に
対し識別される。ここで留意すべきことは、マップ手順
の場合と同様に、相関手順は相関値を計算する前にマッ
ピングを可能にしうるということである。これは、所要
の入力数を満足する最良の機能ニューロンが存在すると
きだけマップ（MAP ）がコールされることを意味する。
【００８４】マップ機能を実行することができず、ステ
ップLAP4からの出力がノー（no）’あるいはステップLA
P2からの出力が‘ノー（no）’の場合は、現行のニュー
ロンはステップLAP6で検知されるようなin num＝２とし
てマップすることを強いられるか相互接続（インターコ
ネクト）される。また、現行のｎ番目の層ニューロンの
シグニフイカンスが“Sig Val ”より小さい場合、それ
は強制マップ（FORCEＭＡＰ ）手順ステップLAP7（図2
3およびセクション６参照）により強制され、そうでな
い場合は相互接続（INTER-CONNECT ）手順ステップLAP8
（図19参照）がコールされる。
ップLAP4からの出力がノー（no）’あるいはステップLA
P2からの出力が‘ノー（no）’の場合は、現行のニュー
ロンはステップLAP6で検知されるようなin num＝２とし
てマップすることを強いられるか相互接続（インターコ
ネクト）される。また、現行のｎ番目の層ニューロンの
シグニフイカンスが“Sig Val ”より小さい場合、それ
は強制マップ（FORCEＭＡＰ ）手順ステップLAP7（図2
3およびセクション６参照）により強制され、そうでな
い場合は相互接続（INTER-CONNECT ）手順ステップLAP8
（図19参照）がコールされる。
【００８５】６．強制マップ手順（THE FORCE MAP PROC
EDURE ）FMP 図23に示すこの手順はｎ番目の層ニューロンのシグニフ
イカンスが次の層にそれを相互接続させるには低過ぎる
場合にコールされる。最初に望まれることは、それがこ
の層内の他のニューロンとともにマッピング機能を実行
することである。
EDURE ）FMP 図23に示すこの手順はｎ番目の層ニューロンのシグニフ
イカンスが次の層にそれを相互接続させるには低過ぎる
場合にコールされる。最初に望まれることは、それがこ
の層内の他のニューロンとともにマッピング機能を実行
することである。
【００８６】始めに、現行の層内のすべての隣接ニュー
ロンがステップFMP1ないしFMP3においてチェックされ、
非ゼロ（non-zero）シグニフイカンスを有する任意のニ
ューロンが存在する場合は、ステップFMP4において最も
低いノンゼロ シグニフイカンスを有するニューロンが
選定される。次に、ステップFMP5において２つのニュー
ロンが次の層機能ニューロンの使用可能性についてチェ
ックされ、双方に共通なそれらがステップFMP6において
使用可能であるものとして標識（tag ）がつけられる。
次に、ステップFMP7において相関（CORRELATE ）手順
（図30およびセクション13参照）がコールされて最良の
次の層の機能ニューロンが決定され、CORRELATE 成功FM
P8＝イエス（yes ）の場合は図23の強制マップ（Forced
Map）手順を実行するため、マップ（MAP ）がコールさ
れる。
ロンがステップFMP1ないしFMP3においてチェックされ、
非ゼロ（non-zero）シグニフイカンスを有する任意のニ
ューロンが存在する場合は、ステップFMP4において最も
低いノンゼロ シグニフイカンスを有するニューロンが
選定される。次に、ステップFMP5において２つのニュー
ロンが次の層機能ニューロンの使用可能性についてチェ
ックされ、双方に共通なそれらがステップFMP6において
使用可能であるものとして標識（tag ）がつけられる。
次に、ステップFMP7において相関（CORRELATE ）手順
（図30およびセクション13参照）がコールされて最良の
次の層の機能ニューロンが決定され、CORRELATE 成功FM
P8＝イエス（yes ）の場合は図23の強制マップ（Forced
Map）手順を実行するため、マップ（MAP ）がコールさ
れる。
【００８７】現行の層内に隣接ニューロンが存在せずス
テップFMP3が‘ノー（no）’であり、または相関（CORR
ELATE ）ステップFMP8がノー（no）であり、もしくはマ
ップ（MAP ）手順が不首尾（unsuccessful）でステップ
FMP10 がノー（no）の場合は、現行のニューロンはステ
ップFMP11 において丁度現行の層に対する機能または相
互接続の学習を行った次の層ニューロン内に無理に入れ
られなければならない。次に、ステップFMP12 におい
て、次の層の使用可能なニューロンのシグニフイカンス
が計算され、ステップFMP13 において、そのニューロン
は始めにゼロでない最低のシグニフイカンスのオーダ
（order of lowest non-zero significancefirst）に分
類される。次にステップFMP14 において、マップ イン
フォースニューロン（MAP IN FORCE NEURON ）手順
（図24およびセクション７参照）がコールされる。
テップFMP3が‘ノー（no）’であり、または相関（CORR
ELATE ）ステップFMP8がノー（no）であり、もしくはマ
ップ（MAP ）手順が不首尾（unsuccessful）でステップ
FMP10 がノー（no）の場合は、現行のニューロンはステ
ップFMP11 において丁度現行の層に対する機能または相
互接続の学習を行った次の層ニューロン内に無理に入れ
られなければならない。次に、ステップFMP12 におい
て、次の層の使用可能なニューロンのシグニフイカンス
が計算され、ステップFMP13 において、そのニューロン
は始めにゼロでない最低のシグニフイカンスのオーダ
（order of lowest non-zero significancefirst）に分
類される。次にステップFMP14 において、マップ イン
フォースニューロン（MAP IN FORCE NEURON ）手順
（図24およびセクション７参照）がコールされる。
【００８８】７．マップ イン フォースド ニューロ
ン手順（THE MAP IN FORCED NEURON PROCEDURE ）MIFNP.
図24 ステップMIFNP1において検知されるように使用可能な次
の層のノンセロ シグニフイカンス ニューロンが存在
し、ステップMIFNP2において検知されるように、マッピ
ング機能が“Max Sig Val ”パラメータを妨害（violat
e ）しない場合には、ステップMIFNP3においてマッピン
グが限定される。次に、ステップMIFNP4において、接続
により影響されたすべてのアレイ パラメータが更新さ
れ、コルナム（CORRNUM ）手順（図31およびセクション
14参照）を介して相関値が決められる。次に、ステップ
MIFNP5においてウエイト更新（weight UPDATE ）手順
（図28およびセクション11参照）が実行される。この時
点においては、このニューロンがそのなかに無理に入れ
られている次の層ニューロンにより学習された前の機能
または相互接続はいまや旧式のものとなっていることに
留意しなければならず、その結果ｎ＋１番目の層のニュ
ーロンのために生成された最後のウエイトは書き直され
る。
ン手順（THE MAP IN FORCED NEURON PROCEDURE ）MIFNP.
図24 ステップMIFNP1において検知されるように使用可能な次
の層のノンセロ シグニフイカンス ニューロンが存在
し、ステップMIFNP2において検知されるように、マッピ
ング機能が“Max Sig Val ”パラメータを妨害（violat
e ）しない場合には、ステップMIFNP3においてマッピン
グが限定される。次に、ステップMIFNP4において、接続
により影響されたすべてのアレイ パラメータが更新さ
れ、コルナム（CORRNUM ）手順（図31およびセクション
14参照）を介して相関値が決められる。次に、ステップ
MIFNP5においてウエイト更新（weight UPDATE ）手順
（図28およびセクション11参照）が実行される。この時
点においては、このニューロンがそのなかに無理に入れ
られている次の層ニューロンにより学習された前の機能
または相互接続はいまや旧式のものとなっていることに
留意しなければならず、その結果ｎ＋１番目の層のニュ
ーロンのために生成された最後のウエイトは書き直され
る。
【００８９】８．記録接続手順（THE RECORD CONNECTIO
NS PROCEDURE）RCP.図25 この手順の目的は“Max Sig Val ”パラメータを妨害す
ることなしに現行の層のニューロンを次の層の機能ニュ
ーロンに接続することである。次の層のニューロンは既
に識別されているので、ステップRCP1において、現行の
層から識別された９つの可能な入力ニューロンはステッ
プRCP2において、始めにゼロでない最低のシグニフイカ
ンスのオーダ（order of lowest non-zero significanc
e first）に分類される。次に、ニューロンはそれ以上
使用できないか、シグニフイカンスの限度に到達するま
で、ステップRCP3におけるマップ イン オーダ（MAP
INORDER）手順（図26およびセクション９参照）により
規則正しくマップされる。ここで、マップ コール（ca
lling MAP ）手順は、識別された機能ニューロンに既に
接続された際、全プロセスを開始している現行のｎ番目
の層のニューロンを既に限定している。次に、ステップ
RCP4において、接続記録（RECORDCONNECTION）手順は元
に戻り、旨く接続されたニューロンの数をマップする。
NS PROCEDURE）RCP.図25 この手順の目的は“Max Sig Val ”パラメータを妨害す
ることなしに現行の層のニューロンを次の層の機能ニュ
ーロンに接続することである。次の層のニューロンは既
に識別されているので、ステップRCP1において、現行の
層から識別された９つの可能な入力ニューロンはステッ
プRCP2において、始めにゼロでない最低のシグニフイカ
ンスのオーダ（order of lowest non-zero significanc
e first）に分類される。次に、ニューロンはそれ以上
使用できないか、シグニフイカンスの限度に到達するま
で、ステップRCP3におけるマップ イン オーダ（MAP
INORDER）手順（図26およびセクション９参照）により
規則正しくマップされる。ここで、マップ コール（ca
lling MAP ）手順は、識別された機能ニューロンに既に
接続された際、全プロセスを開始している現行のｎ番目
の層のニューロンを既に限定している。次に、ステップ
RCP4において、接続記録（RECORDCONNECTION）手順は元
に戻り、旨く接続されたニューロンの数をマップする。
【００９０】９．マップ イン オーダ手順（THE MAP
IN ORDER PROCEDURE）MIOP. 図26 相互接続のため使用可能な現行の層ニューロンは、ステ
ップMIOP1 において、始めにゼロでない最低のシグニフ
イカンスのオーダで選択される。次に、ステップMIOP2
においてマップ接続（MAP CONNECTION）手順（図27およ
びセクション10参照）がコールされ、ステップMIOP3 に
おいて旨く成功したことが検知された場合は‘１’に戻
る。次に、成功した接続の数（ナンバー）はステップMI
OP4, MIOP5およびMIOP6 において増分（increment ）さ
れ、接続記録(RECORDCONNECTION)手順（図25およびセク
ション８参照）に戻る。
IN ORDER PROCEDURE）MIOP. 図26 相互接続のため使用可能な現行の層ニューロンは、ステ
ップMIOP1 において、始めにゼロでない最低のシグニフ
イカンスのオーダで選択される。次に、ステップMIOP2
においてマップ接続（MAP CONNECTION）手順（図27およ
びセクション10参照）がコールされ、ステップMIOP3 に
おいて旨く成功したことが検知された場合は‘１’に戻
る。次に、成功した接続の数（ナンバー）はステップMI
OP4, MIOP5およびMIOP6 において増分（increment ）さ
れ、接続記録(RECORDCONNECTION)手順（図25およびセク
ション８参照）に戻る。
【００９１】１０．マップ接続手順（THE MAP CONNECTI
ON PROCEDURE） MCP. 図27 マップ接続は、マップ手順（図20およびセクション３参
照）に対するコールの間にステップMCP1, MCP2およびMC
P3において、ある接続が既に学習されていたか、もしく
は新しい接続が妥当であるかを決めようとしていること
を区別する。
ON PROCEDURE） MCP. 図27 マップ接続は、マップ手順（図20およびセクション３参
照）に対するコールの間にステップMCP1, MCP2およびMC
P3において、ある接続が既に学習されていたか、もしく
は新しい接続が妥当であるかを決めようとしていること
を区別する。
【００９２】始めに、ステップMCP1において次の層の機
能ニューロンがチェックされ、それがファイヤリングさ
れており、相関値が“fire val”より大きい場合には、
“層訓練（train a layer ）”ステージ１からマップ
（MAP ）手順がコールされ、ステップMCP2において検知
されるように、既に接続が存在しない場合は、旨く行か
なかったことがコーリング手順に報告されなければなら
ない。
能ニューロンがチェックされ、それがファイヤリングさ
れており、相関値が“fire val”より大きい場合には、
“層訓練（train a layer ）”ステージ１からマップ
（MAP ）手順がコールされ、ステップMCP2において検知
されるように、既に接続が存在しない場合は、旨く行か
なかったことがコーリング手順に報告されなければなら
ない。
【００９３】現存する接続が識別され、ステップMCP2が
‘イエス（yes ）’であるか、新しい接続が学習される
べきでステップMCP1が‘ノー（no）’である場合には、
ステップMCP3において、シグニフイカンスが妥当性に対
してチェックされ、また、ステップMCP4において、マッ
ピングがマップ手順により限定されていないこともチェ
ックされる。次に、現行の層のニューロンは、ステップ
MCP5およびMCP6において更新されるパラメータに関連す
る次の層のニューロンに接続されたとして限定される。
‘イエス（yes ）’であるか、新しい接続が学習される
べきでステップMCP1が‘ノー（no）’である場合には、
ステップMCP3において、シグニフイカンスが妥当性に対
してチェックされ、また、ステップMCP4において、マッ
ピングがマップ手順により限定されていないこともチェ
ックされる。次に、現行の層のニューロンは、ステップ
MCP5およびMCP6において更新されるパラメータに関連す
る次の層のニューロンに接続されたとして限定される。
【００９４】１１．更新手順（THE UPDATE PROCEDUR
E）．UP 図28に示す更新手順はウエイト修正が必要かどうかを決
定する。充分高い相関値でパターンが認識された場合は
ウエイトの更新を要せず、ステップUP1 からのルートは
‘イエス（yes ）’となる。これに対して、相関値が
‘fire val’より小（ステップUP1 からの‘no’ルー
ト）であるが“weak fire val ”より大きい（ステップ
UP2 からの‘yes ’ルート）場合には、ステップUP3 に
おいて現行のサブパターンに対してウエイトが生成され
るが、重み組合せ（MERGE WEIGHT）手順（図35およびセ
クション18参照）により次の現存するウエイト ページ
と組合される。相関値が充分高くなくステップUP2 から
の出力が‘ノー（no）’の場合は、ステップUP4 におい
て新しいウエイト ページ生成（GET NEW WEIGHT PAG
E）手順（図32およびセクション15参照）を介して新し
いウエイトのページが生成される。ステップUP5 を介し
ての２つの更新機能のオプションは重要である。すなわ
ち、バック プロパゲーションのように１つの組合せウ
エイト ファシリティーのみが存在する場合は、誤りの
ある雑なデータがウエイト分布に大幅に影響を与え、シ
ステムの性能を低下させるが、新しいウエイト ページ
のみが生成された場合は、多くのウエイト ページは全
く同じパターンを表し、システムは急速にメモリからラ
ンアウトする。使用者はパラメータ“fire val”および
“weakfire val ”を限定するので、分類限界は随意に
設定でき、２つの更新オプションの場合には大幅な融通
性が与えられる。
E）．UP 図28に示す更新手順はウエイト修正が必要かどうかを決
定する。充分高い相関値でパターンが認識された場合は
ウエイトの更新を要せず、ステップUP1 からのルートは
‘イエス（yes ）’となる。これに対して、相関値が
‘fire val’より小（ステップUP1 からの‘no’ルー
ト）であるが“weak fire val ”より大きい（ステップ
UP2 からの‘yes ’ルート）場合には、ステップUP3 に
おいて現行のサブパターンに対してウエイトが生成され
るが、重み組合せ（MERGE WEIGHT）手順（図35およびセ
クション18参照）により次の現存するウエイト ページ
と組合される。相関値が充分高くなくステップUP2 から
の出力が‘ノー（no）’の場合は、ステップUP4 におい
て新しいウエイト ページ生成（GET NEW WEIGHT PAG
E）手順（図32およびセクション15参照）を介して新し
いウエイトのページが生成される。ステップUP5 を介し
ての２つの更新機能のオプションは重要である。すなわ
ち、バック プロパゲーションのように１つの組合せウ
エイト ファシリティーのみが存在する場合は、誤りの
ある雑なデータがウエイト分布に大幅に影響を与え、シ
ステムの性能を低下させるが、新しいウエイト ページ
のみが生成された場合は、多くのウエイト ページは全
く同じパターンを表し、システムは急速にメモリからラ
ンアウトする。使用者はパラメータ“fire val”および
“weakfire val ”を限定するので、分類限界は随意に
設定でき、２つの更新オプションの場合には大幅な融通
性が与えられる。
【００９５】１２．ガイド手順（THE GUIDE PROCEDURE
）GP. 図29に示すガイド手順は最良の接続ポイントが探索され
たとき、特定の現行の層ニューロンに対してコールされ
る。最初に、ステップGP2 において、接続のために使用
可能な次の層のノードが決定される（これらはステップ
TAL1におけるテーブル組立（Build Table ）機能により
最初に限定されたものである）。最良ノード取得（Get
Best Node ）機能ステップGP2 はターゲット出力ノード
（最後の層の出力）に関して使用可能なノードを分析
し、次の層ノードのどれが最良の接続通路を与えるかを
選択の順序で決定する。いったん識別された後は、ノー
ドは次の順序で評価される。 （１） 最良ノード（Best Node ）が既に機能ニューロ
ンまたは相互接続ニューロンとして使用されていない場
合、すなわちステップGP3 からのルートが‘ノー（n
o）’の場合、それは現在すぐ使用できる。 （２） 現行のパターンが新しいパターン クラスでな
い場合（ステップGP4 のルートが‘ノー（no）’の場
合）、または現行のニューロンが相互接続最良ノード
（INTERCONNECT Best Node）への相互接続をこころみ、
ステップGP5 が‘イエス（yes ）’の場合（すなわち、
相互接続（INTERNONNECT）および最良ノード（Best Nod
e ）からコールされるガイド（GUIDE ）は既に相互接続
ニューロンとして限定されている、または現行のニュー
ロンが機能最良ノードにマップされようとしている（ス
テップGP6 の）場合、（すなわち、相関（CORRELATE ）
および最良ノード（Best Node ）からコールされるガイ
ド（GUIDE ）は機能ノード（Function Node ）として既
に限定されている）には、（ａ） 最良ノードが現行の
ニューロンに既に接続されているかがチェックされ（ス
テップGP7 ）、もしそうであればそれは現在すぐ使用で
きる。（ｂ） 最良ノードが既にターゲット出力ノード
（学習手順への前のコール時にチェック接続により決め
られている）に直接接続されており、シグニフイカンス
が“Max Sig Val ”より小であり、最良ノードがファイ
ヤリング状態でなく、マップされていない場合には、そ
れはステップGP8 およびGP9 を用いて使用することがで
きる。 （３） 使用可能なすべてのニューロンに対して（ステ
ップGP11）上記の各々が意に反し、ステップGP9 のルー
トが‘ノー（no）’の場合には、この層により前に学習
されたマップ機能または相互接続機能がアクセスできる
かどうかがチェックされる（ステップGP13）、これは強
制マップ（FORCE MAP ）手順（セクション６参照）に類
似しているが、この場合には、シグニフイカンス ルー
ルが妨害される可能性がある（すなわち、シグニフイカ
ンスが“Max Sig Val ”より大となり得る）。 （４） 上記のいずれもが生じない場合には、接続ポイ
ントは‘Failed to MAPerror ’を報告する（ステップG
PF ）。ガイド（Guide ）はそのコール手順（サクセス
の表示、GPS ）に戻り上首尾の場合は接続のための次の
層ノードを識別する。
）GP. 図29に示すガイド手順は最良の接続ポイントが探索され
たとき、特定の現行の層ニューロンに対してコールされ
る。最初に、ステップGP2 において、接続のために使用
可能な次の層のノードが決定される（これらはステップ
TAL1におけるテーブル組立（Build Table ）機能により
最初に限定されたものである）。最良ノード取得（Get
Best Node ）機能ステップGP2 はターゲット出力ノード
（最後の層の出力）に関して使用可能なノードを分析
し、次の層ノードのどれが最良の接続通路を与えるかを
選択の順序で決定する。いったん識別された後は、ノー
ドは次の順序で評価される。 （１） 最良ノード（Best Node ）が既に機能ニューロ
ンまたは相互接続ニューロンとして使用されていない場
合、すなわちステップGP3 からのルートが‘ノー（n
o）’の場合、それは現在すぐ使用できる。 （２） 現行のパターンが新しいパターン クラスでな
い場合（ステップGP4 のルートが‘ノー（no）’の場
合）、または現行のニューロンが相互接続最良ノード
（INTERCONNECT Best Node）への相互接続をこころみ、
ステップGP5 が‘イエス（yes ）’の場合（すなわち、
相互接続（INTERNONNECT）および最良ノード（Best Nod
e ）からコールされるガイド（GUIDE ）は既に相互接続
ニューロンとして限定されている、または現行のニュー
ロンが機能最良ノードにマップされようとしている（ス
テップGP6 の）場合、（すなわち、相関（CORRELATE ）
および最良ノード（Best Node ）からコールされるガイ
ド（GUIDE ）は機能ノード（Function Node ）として既
に限定されている）には、（ａ） 最良ノードが現行の
ニューロンに既に接続されているかがチェックされ（ス
テップGP7 ）、もしそうであればそれは現在すぐ使用で
きる。（ｂ） 最良ノードが既にターゲット出力ノード
（学習手順への前のコール時にチェック接続により決め
られている）に直接接続されており、シグニフイカンス
が“Max Sig Val ”より小であり、最良ノードがファイ
ヤリング状態でなく、マップされていない場合には、そ
れはステップGP8 およびGP9 を用いて使用することがで
きる。 （３） 使用可能なすべてのニューロンに対して（ステ
ップGP11）上記の各々が意に反し、ステップGP9 のルー
トが‘ノー（no）’の場合には、この層により前に学習
されたマップ機能または相互接続機能がアクセスできる
かどうかがチェックされる（ステップGP13）、これは強
制マップ（FORCE MAP ）手順（セクション６参照）に類
似しているが、この場合には、シグニフイカンス ルー
ルが妨害される可能性がある（すなわち、シグニフイカ
ンスが“Max Sig Val ”より大となり得る）。 （４） 上記のいずれもが生じない場合には、接続ポイ
ントは‘Failed to MAPerror ’を報告する（ステップG
PF ）。ガイド（Guide ）はそのコール手順（サクセス
の表示、GPS ）に戻り上首尾の場合は接続のための次の
層ノードを識別する。
【００９６】１３．相関手順（THE CORRELATE PROCEDUR
E ）CP. 図30 まず、ステップCP1, CP2, CP3 およびCP4 ならびにCP5
からCP6 を経てCP2 に戻るループを用いてｎ番目の層ニ
ューロンに対する接続ポイントを与える目的で、その使
用可能性および重要度（シグニフイカンス）に関し、９
つの次の層の隣接するニューロンの各々がチェックさ
れ、使用可能なニューロンが発見されない場合（ステッ
プGP7 ）にはフェイリュアRFに戻る
E ）CP. 図30 まず、ステップCP1, CP2, CP3 およびCP4 ならびにCP5
からCP6 を経てCP2 に戻るループを用いてｎ番目の層ニ
ューロンに対する接続ポイントを与える目的で、その使
用可能性および重要度（シグニフイカンス）に関し、９
つの次の層の隣接するニューロンの各々がチェックさ
れ、使用可能なニューロンが発見されない場合（ステッ
プGP7 ）にはフェイリュアRFに戻る
【００９７】使用可能なニューロンは最良の相関値を発
見するためステップCP8 において評価される。次に、ス
テップCP9 ないしCP12により限定されるように同等性
（equality）が得られた場合（２つまたはそれ以上のニ
ューロンが同じ最良相関値を有する場合）には、ステッ
プCP13においてガイド（GUIDE ）がコールされて最良の
ニューロンおよび‘ガイドされた’ニューロンの相関値
を決定し、ステップRCV（Return Corr Val ）に至る。
見するためステップCP8 において評価される。次に、ス
テップCP9 ないしCP12により限定されるように同等性
（equality）が得られた場合（２つまたはそれ以上のニ
ューロンが同じ最良相関値を有する場合）には、ステッ
プCP13においてガイド（GUIDE ）がコールされて最良の
ニューロンおよび‘ガイドされた’ニューロンの相関値
を決定し、ステップRCV（Return Corr Val ）に至る。
【００９８】最良の相関値RCV が発見された場合はステ
ップCP10において、それが確実に最小相関値“Min Cor
r”（使用者の決定による）以上であることがチェック
される。これは、例えば、あるニューロンが３つのニュ
ーロンのサブ パターンを学習した場合で、それら３つ
のニューロンの１つが活性であり、他の２つがオフ
（‘０’）である場合は、小さい相関値が生成されると
いうことで重要である。この低い相関値を有するニュー
ロンを使用することは、それが実際上、現存のサブパタ
ーンの新しい表示の学習を強いられるので好ましいこと
ではない。また、新しいサブパターンは恐らく現存のサ
ブパターンに無関係であるので、この影響はシステムに
対して有害なものとなる。
ップCP10において、それが確実に最小相関値“Min Cor
r”（使用者の決定による）以上であることがチェック
される。これは、例えば、あるニューロンが３つのニュ
ーロンのサブ パターンを学習した場合で、それら３つ
のニューロンの１つが活性であり、他の２つがオフ
（‘０’）である場合は、小さい相関値が生成されると
いうことで重要である。この低い相関値を有するニュー
ロンを使用することは、それが実際上、現存のサブパタ
ーンの新しい表示の学習を強いられるので好ましいこと
ではない。また、新しいサブパターンは恐らく現存のサ
ブパターンに無関係であるので、この影響はシステムに
対して有害なものとなる。
【００９９】最良の相関値が“Min Corr”値より大でな
く、ステップCP10が‘ノー（no）’の場合には、CP11に
より限定されるように、ゼロ相関を与えるそれらのニュ
ーロンのみを考慮すればよい。もし、同等性が得られ
（１つ以上のニューロンがゼロ相関を有する）、ステッ
プCP12が‘イエス（yes ）’ルートの場合には、ステッ
プCP13において次のニューロンを決定するため、ガイド
（GUIDE ）がコールされる。かくして、相関（CORRELAT
E ）は予期される最良の機能ニューロンを識別し、ステ
ップRCV においてその相関値“Corr Val”にリターンさ
れる。
く、ステップCP10が‘ノー（no）’の場合には、CP11に
より限定されるように、ゼロ相関を与えるそれらのニュ
ーロンのみを考慮すればよい。もし、同等性が得られ
（１つ以上のニューロンがゼロ相関を有する）、ステッ
プCP12が‘イエス（yes ）’ルートの場合には、ステッ
プCP13において次のニューロンを決定するため、ガイド
（GUIDE ）がコールされる。かくして、相関（CORRELAT
E ）は予期される最良の機能ニューロンを識別し、ステ
ップRCV においてその相関値“Corr Val”にリターンさ
れる。
【０１００】図31に示すコルナム（Corrnum ）手順はス
テップCMP1ないしCMP13 を用いてニューロンにより記憶
された各ウエイト ページに対して相関値を計算する。
次に最良の相関値はステップCMP14 における決定の後、
リターンされる。ステップCMP13 により更新されたウエ
イトのページの各々に対して、ステップCMP2ないしCMP9
‘イエス（yes ）’、ステップCMP12 ‘ノー（no）’が
実行され、ステップCMP10 において、活性層の現行のシ
グニフイカンス値と記憶されたウエイトを乗ずることに
より相関値が決定される。このプロセスは異なるシグニ
フイカンスを有する同じビット パターンの間で区別さ
れる。
テップCMP1ないしCMP13 を用いてニューロンにより記憶
された各ウエイト ページに対して相関値を計算する。
次に最良の相関値はステップCMP14 における決定の後、
リターンされる。ステップCMP13 により更新されたウエ
イトのページの各々に対して、ステップCMP2ないしCMP9
‘イエス（yes ）’、ステップCMP12 ‘ノー（no）’が
実行され、ステップCMP10 において、活性層の現行のシ
グニフイカンス値と記憶されたウエイトを乗ずることに
より相関値が決定される。このプロセスは異なるシグニ
フイカンスを有する同じビット パターンの間で区別さ
れる。
【０１０１】１５．新しいウエイト ページ生成手順
（THE GEN NEW WEIGHT PAGE PROCEDURE） GNWP 図32に示す新しいウエイト ページ生成手順は所定のタ
ーゲット ニューロン（層ｎ内のファン・イン ニュー
ロンからのマッピングを学習している層ｎ＋１内のニュ
ーロン）に対するウエイトのページを生成する。ウエイ
トはステップGNWP1 においてウエイト生成（GENERATE W
EIGHTS）手順（図33およびセクション16参照）により生
成される。次に、ステップGNWP2 において、（ｉ）新し
いウエイト ページが実際上必要であるか、また（ii）
スペアのウエイト ページが存在し、ステップGNWP3 か
らのルートが‘イエス（yes ）’であるかのチェックが
なされる。ステップGNWP2の‘再作用（re-use）’チェ
ックは層訓練（TRAIN LAYER ）手順の実行中はニューロ
ンが再使用されていないことを保証する。再使用は強制
マッピングが行われているとき起こる可能性がある。現
行の層ニューロンが、この現行の層の訓練期間中、既に
マッピングを学習した後続層のニューロン中にフォース
（force ）される場合は、現存のウエイト ページが再
使用されなければならない。ステップGNWP4 およびGNWP
5 を含む使用アレイ（USE array ）は各ニューロンごと
に、割当てられたウエイト ページ数を記憶する（“us
eptr”は常に次の空（empty ）のウエイト ページを示
す。再使用の場合には、最後のウエイト ページが再評
価されなければならない。許容されるウエイト ページ
の総数（使用者がきめる）には限度であるため、ステッ
プGNWP3 において、それらのすべてが使用されなかった
ことを確認するためのチェックがされなければならな
い。空のウエイトページが存在する場合は、“useptr”
および“useptr dated”から現行のページナンバー“la
st num”がセットされ、次にステップGNWP7 においてウ
エイト割当（WEIGHT ALLOCATION ）が行われる。これに
対し、空のウエイト ページが存在しない場合は、ステ
ップGNWP8 において使用者に報知される。
（THE GEN NEW WEIGHT PAGE PROCEDURE） GNWP 図32に示す新しいウエイト ページ生成手順は所定のタ
ーゲット ニューロン（層ｎ内のファン・イン ニュー
ロンからのマッピングを学習している層ｎ＋１内のニュ
ーロン）に対するウエイトのページを生成する。ウエイ
トはステップGNWP1 においてウエイト生成（GENERATE W
EIGHTS）手順（図33およびセクション16参照）により生
成される。次に、ステップGNWP2 において、（ｉ）新し
いウエイト ページが実際上必要であるか、また（ii）
スペアのウエイト ページが存在し、ステップGNWP3 か
らのルートが‘イエス（yes ）’であるかのチェックが
なされる。ステップGNWP2の‘再作用（re-use）’チェ
ックは層訓練（TRAIN LAYER ）手順の実行中はニューロ
ンが再使用されていないことを保証する。再使用は強制
マッピングが行われているとき起こる可能性がある。現
行の層ニューロンが、この現行の層の訓練期間中、既に
マッピングを学習した後続層のニューロン中にフォース
（force ）される場合は、現存のウエイト ページが再
使用されなければならない。ステップGNWP4 およびGNWP
5 を含む使用アレイ（USE array ）は各ニューロンごと
に、割当てられたウエイト ページ数を記憶する（“us
eptr”は常に次の空（empty ）のウエイト ページを示
す。再使用の場合には、最後のウエイト ページが再評
価されなければならない。許容されるウエイト ページ
の総数（使用者がきめる）には限度であるため、ステッ
プGNWP3 において、それらのすべてが使用されなかった
ことを確認するためのチェックがされなければならな
い。空のウエイトページが存在する場合は、“useptr”
および“useptr dated”から現行のページナンバー“la
st num”がセットされ、次にステップGNWP7 においてウ
エイト割当（WEIGHT ALLOCATION ）が行われる。これに
対し、空のウエイト ページが存在しない場合は、ステ
ップGNWP8 において使用者に報知される。
【０１０２】１６．ウエイト生成手順（THE GENERATE W
EIGHT PROCEDURE ）GWP. 図33 一般に、ステップGWP1に示すように入力層は任意の他の
層よりはるかに少数の不活性（‘０’）ニューロンを有
するので、それはステップGWP2にセットするようなそれ
自体の抑止パラメータ（inhibitory parameter）、“in
hib zreo”を有し、他のすべての層はステップGWP3にセ
ットするような抑止パラメータ“inhibvest”上で作動
する。それに対してウエイトが生成されているステップ
GWP4で選定されたニューロン（ターゲット ニューロ
ン）は９つの可能なファン・イン（gan - in；論理入
力）ポイントおよび９つのウエイトを有する。まず始め
に、ステップGWP5において９つのファン・ツウ（fan-t
o）ニューロンに関し、それらがマップされ、ターゲッ
ト ニューロンに接続されたかどうかが確かめられ、そ
うであれば、ステップGWP6が実行され、正のウエイトが
生成される。ステップGWP5, GWP7およびGWP8のループに
おいて、正の接続に関し、すべてのファン・ツウニュー
ロンがひとたびチェックされた後、それらはステップGW
P10, GWP12およびGWP13 のループにおいて負の接続に対
して再質問される。また、任意のファン・ツウ ニュー
ロンがマップされず、点火されない場合（ステップGWP1
0 よりの出力が‘イエス（yes ）’の場合）には、ステ
ップGWP11 において負のウエイトが生成される。最後
に、ステップGWP15, GWP17およびGWP18 のループにおい
て、不活性接続に関しファン・ツウ ニューロンのチェ
ックが行われ、マップされているが接続されていない
か、マップされていないが点火（ファイヤ）されている
任意のニューロンにはステップGWP16 において、不活性
ウエイトが割当てられる。次に、ステップGWP19 ないし
GWP29 を用いて、負および不活性のウエイト値が計算さ
れる。いったん、すべての接続が識別された場合（ステ
ップGWP28 よりの出力が‘イエス（yes ）’の場合）は
図34に示すような正規化（NORMALISE ）機能を用いて、
ステップGWP30 においてウエイトが正規化され、最後に
ステップGWP31 において、スレショールド値が計算され
る。この場合、すべてのウエイト値は使用者の決めるパ
ラメータに従属する。
EIGHT PROCEDURE ）GWP. 図33 一般に、ステップGWP1に示すように入力層は任意の他の
層よりはるかに少数の不活性（‘０’）ニューロンを有
するので、それはステップGWP2にセットするようなそれ
自体の抑止パラメータ（inhibitory parameter）、“in
hib zreo”を有し、他のすべての層はステップGWP3にセ
ットするような抑止パラメータ“inhibvest”上で作動
する。それに対してウエイトが生成されているステップ
GWP4で選定されたニューロン（ターゲット ニューロ
ン）は９つの可能なファン・イン（gan - in；論理入
力）ポイントおよび９つのウエイトを有する。まず始め
に、ステップGWP5において９つのファン・ツウ（fan-t
o）ニューロンに関し、それらがマップされ、ターゲッ
ト ニューロンに接続されたかどうかが確かめられ、そ
うであれば、ステップGWP6が実行され、正のウエイトが
生成される。ステップGWP5, GWP7およびGWP8のループに
おいて、正の接続に関し、すべてのファン・ツウニュー
ロンがひとたびチェックされた後、それらはステップGW
P10, GWP12およびGWP13 のループにおいて負の接続に対
して再質問される。また、任意のファン・ツウ ニュー
ロンがマップされず、点火されない場合（ステップGWP1
0 よりの出力が‘イエス（yes ）’の場合）には、ステ
ップGWP11 において負のウエイトが生成される。最後
に、ステップGWP15, GWP17およびGWP18 のループにおい
て、不活性接続に関しファン・ツウ ニューロンのチェ
ックが行われ、マップされているが接続されていない
か、マップされていないが点火（ファイヤ）されている
任意のニューロンにはステップGWP16 において、不活性
ウエイトが割当てられる。次に、ステップGWP19 ないし
GWP29 を用いて、負および不活性のウエイト値が計算さ
れる。いったん、すべての接続が識別された場合（ステ
ップGWP28 よりの出力が‘イエス（yes ）’の場合）は
図34に示すような正規化（NORMALISE ）機能を用いて、
ステップGWP30 においてウエイトが正規化され、最後に
ステップGWP31 において、スレショールド値が計算され
る。この場合、すべてのウエイト値は使用者の決めるパ
ラメータに従属する。
【０１０３】１７．ウエイト割当手段（THE WEIGHT ALL
OCATION PROCEDURE ）WAP. ウエイト割当手段は“wgtpter ”により示すグローバル
なウエイト アレイ内にウエイト生成（GENERATE WEIGH
TS）手順（図33およびセクション16参照）またはウエイ
ト組合せ（MERGE WEIGHTS ）手順（図35およびセクショ
ン18参照）により生成されたウエイト値を簡単に記憶さ
せる。各ニューロンは複数のウエイトページを有し、各
ウエイト ページはコール手順により生成されたスレシ
ョールド値および９つのファン・イン ウエイト値を記
憶する。
OCATION PROCEDURE ）WAP. ウエイト割当手段は“wgtpter ”により示すグローバル
なウエイト アレイ内にウエイト生成（GENERATE WEIGH
TS）手順（図33およびセクション16参照）またはウエイ
ト組合せ（MERGE WEIGHTS ）手順（図35およびセクショ
ン18参照）により生成されたウエイト値を簡単に記憶さ
せる。各ニューロンは複数のウエイトページを有し、各
ウエイト ページはコール手順により生成されたスレシ
ョールド値および９つのファン・イン ウエイト値を記
憶する。
【０１０４】１８．ウエイト組合せ手順（THE MERGE WE
IGHTS PROCEDURE ）MWP. 図35に示すウエイト組合せ手順は現存のウエイト ペー
ジを新しいウエイトページと組み合わせることを許容す
る。これは学習中の現行のマッピングが既に学習したも
のと同じときに必要となる。この場合、同等性の程度は
相関値により限定され、相関値が“fire val”（良好な
相関）より小さいが、"weak fire val”（不充分な相
関）より大きい場合に組合せが生ずる。
IGHTS PROCEDURE ）MWP. 図35に示すウエイト組合せ手順は現存のウエイト ペー
ジを新しいウエイトページと組み合わせることを許容す
る。これは学習中の現行のマッピングが既に学習したも
のと同じときに必要となる。この場合、同等性の程度は
相関値により限定され、相関値が“fire val”（良好な
相関）より小さいが、"weak fire val”（不充分な相
関）より大きい場合に組合せが生ずる。
【０１０５】始めに、ステップMWP1においてウエイト生
成（GENERATE WEIGHTS）手順（図33およびセクション16
参照）がコールされ、ターゲット ニューロンにより学
習されるべき現行のマッピングに対して新しいウエイト
セットが生成される。次に、ターゲット ニューロン
により記憶されるステップMWP2において選択された最良
のウエイト ページ（Best Weight 〔neuron〕）（すな
わち、このマッピングのための最良の相関値を与えるウ
エイトのページ）がステップMWP5ないしMWP13を用いて
新しく生成されたウエイト（weights 〔neuron〕）によ
り修正（modify）された後、ステップMWP14 においてウ
エイト割当（WEIGHT ALLOCATION ）手順（図34およびセ
クション17参照）が実行され、新しい値が記憶される。
このように、ウエイトが修正されるので、ネット アレ
イ（Net Array ）も修正されなければならない。これを
達成する最も容易な方法は、ステップMWP15 において現
行のターゲット ニューロンに対してネット アレイ
（Net Array ）をクリアし、ステップMWP16 において最
初のウエイト ページを選定し、ステップMWP18 および
MWP19 を用いてターゲット ニューロンにより記憶され
るウエイト ページの各々に対して記憶割当（MEMORY A
LLOCATION ）手順、ステップMWP17 （セクション19参
照）をコールすることである。
成（GENERATE WEIGHTS）手順（図33およびセクション16
参照）がコールされ、ターゲット ニューロンにより学
習されるべき現行のマッピングに対して新しいウエイト
セットが生成される。次に、ターゲット ニューロン
により記憶されるステップMWP2において選択された最良
のウエイト ページ（Best Weight 〔neuron〕）（すな
わち、このマッピングのための最良の相関値を与えるウ
エイトのページ）がステップMWP5ないしMWP13を用いて
新しく生成されたウエイト（weights 〔neuron〕）によ
り修正（modify）された後、ステップMWP14 においてウ
エイト割当（WEIGHT ALLOCATION ）手順（図34およびセ
クション17参照）が実行され、新しい値が記憶される。
このように、ウエイトが修正されるので、ネット アレ
イ（Net Array ）も修正されなければならない。これを
達成する最も容易な方法は、ステップMWP15 において現
行のターゲット ニューロンに対してネット アレイ
（Net Array ）をクリアし、ステップMWP16 において最
初のウエイト ページを選定し、ステップMWP18 および
MWP19 を用いてターゲット ニューロンにより記憶され
るウエイト ページの各々に対して記憶割当（MEMORY A
LLOCATION ）手順、ステップMWP17 （セクション19参
照）をコールすることである。
【０１０６】１９．記憶割当手順（THE MEMORY ALLOCAT
ION PROCEDURE ）MAP 図36に示す記憶割当（Memory Allocation ）手順はファ
ン・イン（fan - in）パターンが良好な相関（正の値）
であるか不充分な相関（負の値）であるかを表示するた
め、ネット（NET ）アレイ（“netptr”により示す）に
正または負の値を割当てる。正および負の値自体は評価
目的のため使用され、２進SRAMとしてニューロンの実現
に制限を与えるものではない。ネット（NWT ）アレイは
任意のネットワーク訓練に先立って、始めゼロにセット
されるので、ゼロ値は単純に情報が未知であることを示
す。実際上、これは負の値と同じである。したがって、
正の値＝‘１’＝recognised（認識され）、ゼロの値＝
‘０’＝unrecognised（認識されない）。
ION PROCEDURE ）MAP 図36に示す記憶割当（Memory Allocation ）手順はファ
ン・イン（fan - in）パターンが良好な相関（正の値）
であるか不充分な相関（負の値）であるかを表示するた
め、ネット（NET ）アレイ（“netptr”により示す）に
正または負の値を割当てる。正および負の値自体は評価
目的のため使用され、２進SRAMとしてニューロンの実現
に制限を与えるものではない。ネット（NWT ）アレイは
任意のネットワーク訓練に先立って、始めゼロにセット
されるので、ゼロ値は単純に情報が未知であることを示
す。実際上、これは負の値と同じである。したがって、
正の値＝‘１’＝recognised（認識され）、ゼロの値＝
‘０’＝unrecognised（認識されない）。
【０１０７】現行のウエイト ページ内の９つのファン
・イン ニューロンの各々のウエイト（USE アレイによ
り与えられる）は、ステップMAP1において対応のスレシ
ョールド値とともにメモリから検索される。９つのファ
ン・イン ニューロンは記憶のための２9 ＝512 のアド
レス位置を有し、ステップMAP3, MAP4, MAP5, MAP6およ
びMAP7のループにおいて、各アドレス０ないし511 に対
して活性レベル（activation level）が計算される。特
定のアドレスに対してニューロンの活性（‘１’）位置
に対応するウエイトは合計（加算）される。例えば、ア
ドレス468 ＝１１１０１０１００であり、したがって、
このアドレスに対する活性レベルは次のようになる。 アクティベージョン＝ウエイト
・イン ニューロンの各々のウエイト（USE アレイによ
り与えられる）は、ステップMAP1において対応のスレシ
ョールド値とともにメモリから検索される。９つのファ
ン・イン ニューロンは記憶のための２9 ＝512 のアド
レス位置を有し、ステップMAP3, MAP4, MAP5, MAP6およ
びMAP7のループにおいて、各アドレス０ないし511 に対
して活性レベル（activation level）が計算される。特
定のアドレスに対してニューロンの活性（‘１’）位置
に対応するウエイトは合計（加算）される。例えば、ア
ドレス468 ＝１１１０１０１００であり、したがって、
このアドレスに対する活性レベルは次のようになる。 アクティベージョン＝ウエイト
〔９〕＋ウエイト〔８〕
＋ウエイト〔７〕＋ウエイト〔５〕＋ウエイト〔３〕
＋ウエイト〔７〕＋ウエイト〔５〕＋ウエイト〔３〕
【０１０８】ステップMAP8で検知されるように、活性レ
ベルがスレショールド レベルより大きい場合は、ター
ゲット ニューロンがそのアドレスを与えるマッピング
を認識することが明らかとなり、ステップMAP9において
ネット（NET ）アレイに正の値が記憶される。記憶され
た値はウエイト ページに関係するので、評価中セッテ
ィングを特定の学習プロセスにさかのぼらせることがで
きる。ステップMAP10において検知されるように、ネッ
ト（NET ）アレイが既に空であり、ページ パラメータ
（使用者が限定）により修正された活性レベルがスレシ
ョールド値より大きい場合は、ステップMAP11 において
相関のないことを示す負の値が記憶される。ここで、そ
の逆は真であるが負の値が正の値を書き直すことは絶対
起こり得ず、これはいったん学習されるとパターンは
‘忘れられる’ことがないことを意味する。ウエイト組
合せ機能は原パターンが特にノイジイ（noisy ）の場合
修正を可能にする。上記のプロセスはステップMAP12 お
よびMAP13 により構成されるループにおいて各マッピン
グに対して実行される。
ベルがスレショールド レベルより大きい場合は、ター
ゲット ニューロンがそのアドレスを与えるマッピング
を認識することが明らかとなり、ステップMAP9において
ネット（NET ）アレイに正の値が記憶される。記憶され
た値はウエイト ページに関係するので、評価中セッテ
ィングを特定の学習プロセスにさかのぼらせることがで
きる。ステップMAP10において検知されるように、ネッ
ト（NET ）アレイが既に空であり、ページ パラメータ
（使用者が限定）により修正された活性レベルがスレシ
ョールド値より大きい場合は、ステップMAP11 において
相関のないことを示す負の値が記憶される。ここで、そ
の逆は真であるが負の値が正の値を書き直すことは絶対
起こり得ず、これはいったん学習されるとパターンは
‘忘れられる’ことがないことを意味する。ウエイト組
合せ機能は原パターンが特にノイジイ（noisy ）の場合
修正を可能にする。上記のプロセスはステップMAP12 お
よびMAP13 により構成されるループにおいて各マッピン
グに対して実行される。
【０１０９】２０．リップル シグニフイカンス手順
（THE RIPPLE SIGNIFICANCE PROCEDURE）RSP. 例えば、ステップTAL13 およびステップTL35において使
用されるリップル シグニフイカンス（Ripple Signifi
cance ）手順は、特定の後続層のターゲットニューロン
に対するファン・イン（fan-in）ニューロンのシグニフ
イカンスを単純に合計（加算）する。実際に、ターゲッ
トに接続されたそれらのファン・インニューロンのみ
が、加算（add in）されたそれらのシグニフイカンスを
有する。したがって、ターゲットのシグニフイカンスは
入力シグニフイカンスの合計であり、これは‘failed t
o map （マップの不成功）’エラーが報告されない限
り、出力ターゲット ニューロン（最後の層のニューロ
ン）のシグニフイカンスは入力層ファイヤリング ニュ
ーロンのシグニフイカンスの合計（和）であることを意
味する。
（THE RIPPLE SIGNIFICANCE PROCEDURE）RSP. 例えば、ステップTAL13 およびステップTL35において使
用されるリップル シグニフイカンス（Ripple Signifi
cance ）手順は、特定の後続層のターゲットニューロン
に対するファン・イン（fan-in）ニューロンのシグニフ
イカンスを単純に合計（加算）する。実際に、ターゲッ
トに接続されたそれらのファン・インニューロンのみ
が、加算（add in）されたそれらのシグニフイカンスを
有する。したがって、ターゲットのシグニフイカンスは
入力シグニフイカンスの合計であり、これは‘failed t
o map （マップの不成功）’エラーが報告されない限
り、出力ターゲット ニューロン（最後の層のニューロ
ン）のシグニフイカンスは入力層ファイヤリング ニュ
ーロンのシグニフイカンスの合計（和）であることを意
味する。
【０１１０】２１．層リコール手順（THE RECALL LAYER
PROCEDURE）RLP.図37 ステップRLP10 により順次的に選択される層内の各ニュ
ーロンはこの手順の開始ごとにネット（NET ）アレイへ
のアドレスを生成するよう分析された入力マッピングを
有する。点火中の９つのファン・イン ニューロンの任
意のニューロン（接続または非接続の）は対応するビッ
トにおけるアドレス内に‘１’を与える。次に、ネット
（NET ）アレイは、ステップRLP4において点火中を限定
された場合ターゲットに対し特定されるアドレスにおい
て質問される。ネット（NET ）アレイ内にゼロまたは負
の値が記憶された場合はターゲット ニューロンはオフ
状態となる（ステップRLP8）。
PROCEDURE）RLP.図37 ステップRLP10 により順次的に選択される層内の各ニュ
ーロンはこの手順の開始ごとにネット（NET ）アレイへ
のアドレスを生成するよう分析された入力マッピングを
有する。点火中の９つのファン・イン ニューロンの任
意のニューロン（接続または非接続の）は対応するビッ
トにおけるアドレス内に‘１’を与える。次に、ネット
（NET ）アレイは、ステップRLP4において点火中を限定
された場合ターゲットに対し特定されるアドレスにおい
て質問される。ネット（NET ）アレイ内にゼロまたは負
の値が記憶された場合はターゲット ニューロンはオフ
状態となる（ステップRLP8）。
【０１１１】訓練アルゴリズムの要約 上述したところから分かるように、本発明によるニュー
ラル ネットワークは、まず始めにターゲット入力を識
別し、したがって許容可能な相互接続通路を識別するこ
とにより訓練される。‘１’状態にある各入力ニューロ
ンは任意に10にセットされたシグニフイカンス値を有す
るものと定義され、他のすべてのニューロンはゼロ シ
グニフイカンスを有するものと定義される。接続には、
３つの接続形式、すなわち（ｉ）正接続（ii）負接続
（iii ）不活性接続が存在する。
ラル ネットワークは、まず始めにターゲット入力を識
別し、したがって許容可能な相互接続通路を識別するこ
とにより訓練される。‘１’状態にある各入力ニューロ
ンは任意に10にセットされたシグニフイカンス値を有す
るものと定義され、他のすべてのニューロンはゼロ シ
グニフイカンスを有するものと定義される。接続には、
３つの接続形式、すなわち（ｉ）正接続（ii）負接続
（iii ）不活性接続が存在する。
【０１１２】正接続は‘１’状態のｎ番目の層のニュー
ロンからｎ＋１番目の層のニューロンに対してなされ
る。同様に、負接続は‘０’状態のｎ番目のニューロン
からｎ＋１番目の層のニューロンに対してなされる。不
活性接続は、ｎ番目の層のニューロンが活性（論理値
‘１’）であるが、学習中のパターン用の相互接続通路
の一部でないとき生ずる。
ロンからｎ＋１番目の層のニューロンに対してなされ
る。同様に、負接続は‘０’状態のｎ番目のニューロン
からｎ＋１番目の層のニューロンに対してなされる。不
活性接続は、ｎ番目の層のニューロンが活性（論理値
‘１’）であるが、学習中のパターン用の相互接続通路
の一部でないとき生ずる。
【０１１３】正のウエイトは接続中の‘１’ニューロン
のシグニフイカンスに正のウエイティング パラメータ
を乗ずることにより、正の接続に割当てられる。また、
負のウエイトはニューロンへのすべての正の接続からの
正のウエイトを合計（加算）し、負のウエイティング
パラメータで乗算することにより決定される。これはニ
ューロンへの負の入力の数により正規化される。同様
に、不活性ウエイトは正のウエイトを合計（加算）し、
不活性ウエイティング パラメータで乗算し、かつニュ
ーロンへの不活性入力の数によって正規化することによ
り決定される。すべてのウエイト パラメータは使用者
の限定によるものとし、ニューロン ウエイトはウエイ
ト ページに記憶するものとする。ここで、留意すべき
は、訓練アルゴリズムにより層ｎ内のニューロンそれ自
体を層ｎ＋１内の使用可能な任意のニューロンに接続で
きるということである。
のシグニフイカンスに正のウエイティング パラメータ
を乗ずることにより、正の接続に割当てられる。また、
負のウエイトはニューロンへのすべての正の接続からの
正のウエイトを合計（加算）し、負のウエイティング
パラメータで乗算することにより決定される。これはニ
ューロンへの負の入力の数により正規化される。同様
に、不活性ウエイトは正のウエイトを合計（加算）し、
不活性ウエイティング パラメータで乗算し、かつニュ
ーロンへの不活性入力の数によって正規化することによ
り決定される。すべてのウエイト パラメータは使用者
の限定によるものとし、ニューロン ウエイトはウエイ
ト ページに記憶するものとする。ここで、留意すべき
は、訓練アルゴリズムにより層ｎ内のニューロンそれ自
体を層ｎ＋１内の使用可能な任意のニューロンに接続で
きるということである。
【０１１４】いったん接続が行われた場合、ｎ＋１番目
の層のニューロンのシグニフイカンスはそれに接続され
たｎ番目の層のニューロンのシグニフイカンスの和に等
しい。
の層のニューロンのシグニフイカンスはそれに接続され
たｎ番目の層のニューロンのシグニフイカンスの和に等
しい。
【０１１５】また、ひとたびｎ番目の層のニューロンの
すべてが接続されると、ｎ＋１番目の層のニューロンの
ファイヤリング値（点火値）が計算される。これはリコ
ール（recall）と呼ばれ、ネットワークの性能テストの
際使用されるプロセスと同じものである。ｎ番目の層の
ニューロンはｎ＋１番目の層のニューロンにアドレスを
与え、これらのアドレス位置が質問される。ファイヤリ
ング値は次のように設定される。 記憶値＞０の場合、点火値（Fire Value）＝−１ 記憶値＝０の場合、点火値（Fire Value）＝ ０ 記憶値＞１の場合、点火値（Fire Value）＝ １ 記憶値＞10の場合、点火値（Fire Value）＝ ２
すべてが接続されると、ｎ＋１番目の層のニューロンの
ファイヤリング値（点火値）が計算される。これはリコ
ール（recall）と呼ばれ、ネットワークの性能テストの
際使用されるプロセスと同じものである。ｎ番目の層の
ニューロンはｎ＋１番目の層のニューロンにアドレスを
与え、これらのアドレス位置が質問される。ファイヤリ
ング値は次のように設定される。 記憶値＞０の場合、点火値（Fire Value）＝−１ 記憶値＝０の場合、点火値（Fire Value）＝ ０ 記憶値＞１の場合、点火値（Fire Value）＝ １ 記憶値＞10の場合、点火値（Fire Value）＝ ２
【０１１６】値０および−１は不活性（inactive）
‘０’ニューロン状態を表し、‘１’および‘２’の双
方は活性（active）‘１’ニューロンを表わす。２つの
活性ファイヤリング値はウエイト ページの作動を決定
するのに使用される。
‘０’ニューロン状態を表し、‘１’および‘２’の双
方は活性（active）‘１’ニューロンを表わす。２つの
活性ファイヤリング値はウエイト ページの作動を決定
するのに使用される。
【０１１７】各ニューロンに関連するウエイトはウエイ
ト ページ内に記憶される。ネットワークにより新しい
パターンの学習が行われる場合、それは最初に、新しい
パターンが既に学習されたものと同じかどうかをチェッ
クする。これはネットワークをリコール モードでラン
させることにより達成される。入力パターンは、そのポ
イントでターゲットが点火し、もしくは点火しない出力
層にそれが到達するまで、後続層ニューロンを活性化さ
せながらホットワーク内を流動し、ついで、訓練アルゴ
リズムが入力層をスタートしてネットワーク内を進行す
る。後続層のニューロンがファイヤリング状態でない場
合（点火値が０または−１の場合）には相互接続が学習
されなければならず、新しいウエイトのページが記憶さ
れなければならない。これに対し、後続層のニューロン
がファイヤリング状態（点火値が１）の場合には、それ
は弱い点火状態（firing weakly ）として定義される。
これはノイジィ（noisy ）と認識され、もしくは不充分
であるが弱いと認識された入力パターンを示す。ネット
ワークはウエイトの組合せ（Merging Weights ）によ
り、換言すれば、ノイジィ パターンを収容するよう現
行のウエイト ページを更新し、したがってニューロン
メモリ アドレスに記憶された値を更新することによ
り反応（respond ）する。また、後続層のニューロンが
ファイヤリング状態（点火値が２）の場合には、それは
強い点火状態（firing strongly ）として定義される。
入力パターンは既に認識されており、ウエイトまたはニ
ューロンメモリは更新を要しない。
ト ページ内に記憶される。ネットワークにより新しい
パターンの学習が行われる場合、それは最初に、新しい
パターンが既に学習されたものと同じかどうかをチェッ
クする。これはネットワークをリコール モードでラン
させることにより達成される。入力パターンは、そのポ
イントでターゲットが点火し、もしくは点火しない出力
層にそれが到達するまで、後続層ニューロンを活性化さ
せながらホットワーク内を流動し、ついで、訓練アルゴ
リズムが入力層をスタートしてネットワーク内を進行す
る。後続層のニューロンがファイヤリング状態でない場
合（点火値が０または−１の場合）には相互接続が学習
されなければならず、新しいウエイトのページが記憶さ
れなければならない。これに対し、後続層のニューロン
がファイヤリング状態（点火値が１）の場合には、それ
は弱い点火状態（firing weakly ）として定義される。
これはノイジィ（noisy ）と認識され、もしくは不充分
であるが弱いと認識された入力パターンを示す。ネット
ワークはウエイトの組合せ（Merging Weights ）によ
り、換言すれば、ノイジィ パターンを収容するよう現
行のウエイト ページを更新し、したがってニューロン
メモリ アドレスに記憶された値を更新することによ
り反応（respond ）する。また、後続層のニューロンが
ファイヤリング状態（点火値が２）の場合には、それは
強い点火状態（firing strongly ）として定義される。
入力パターンは既に認識されており、ウエイトまたはニ
ューロンメモリは更新を要しない。
【０１１８】ネットワークが所要のパターンを学習した
場合、それはリコール モードでテストすることができ
る。入力層は識別しようとするパターンにセットされ、
活性ニューロンは後続層をアドレスする。また、入力層
のニューロンにより特定されたアドレスは質問され、次
の層のニューロンの点火値はメモリ内に記憶された値に
セットされる。このプロセスは出力層に到達するまで各
層に対して繰返される。かくして、どの出力層ニューロ
ンも点火されない場合、パターンは認識されず、単一の
出力ニューロンが点火される場合、入力はその出力に関
連するパターンのクラスに属する。また、２つまたはそ
れ以上の出力ニューロンが点火される場合は、入力は１
つ以上のクラスに属するものとして分類される。これ
は、セットおよびサブセットをニューラル ネットワー
クにより検知することを可能にするので、それ自体有用
な機能であり得る。
場合、それはリコール モードでテストすることができ
る。入力層は識別しようとするパターンにセットされ、
活性ニューロンは後続層をアドレスする。また、入力層
のニューロンにより特定されたアドレスは質問され、次
の層のニューロンの点火値はメモリ内に記憶された値に
セットされる。このプロセスは出力層に到達するまで各
層に対して繰返される。かくして、どの出力層ニューロ
ンも点火されない場合、パターンは認識されず、単一の
出力ニューロンが点火される場合、入力はその出力に関
連するパターンのクラスに属する。また、２つまたはそ
れ以上の出力ニューロンが点火される場合は、入力は１
つ以上のクラスに属するものとして分類される。これ
は、セットおよびサブセットをニューラル ネットワー
クにより検知することを可能にするので、それ自体有用
な機能であり得る。
【０１１９】
【表１】
【０１２０】
【表２】
【０１２１】
【表３】
【０１２２】
【表４】
【図１】本発明に係るニューロンを示す図、
【図２】Ａは９つの入力ニューロン用の標準的論理入力
（ファン イン）を示す図、またＢは複数の選択的層間
相互接続配置を示す図、
（ファン イン）を示す図、またＢは複数の選択的層間
相互接続配置を示す図、
【図３】本発明による標準的ニューロン回路用の多層相
互接続配置を示す図、
互接続配置を示す図、
【図４】本発明によるニューロンを使用したニューロン
回路の機能マッピングの一例を示す図、
回路の機能マッピングの一例を示す図、
【図５】本発明によるニューロンへの入力コードＡ−Ｄ
のマッピングを示す図、
のマッピングを示す図、
【図６】本発明によるニューロンへの入力コードＡ−Ｄ
のマッピングを示す図、
のマッピングを示す図、
【図７】本発明によるニューロンへの入力コードＡ−Ｄ
のマッピングを示す図、
のマッピングを示す図、
【図８】本発明によるニューロンへの入力コードＡ−Ｄ
のマッピングを示す図、
のマッピングを示す図、
【図９】本発明によるニューロンを使用した標準的ニュ
ーロン回路上の特定入力パターンに対する累加的リップ
ル シーケンスを示す図、
ーロン回路上の特定入力パターンに対する累加的リップ
ル シーケンスを示す図、
【図１０】ニューロン チップのレイアウトを示す図、
【図１１】マルチ ニューロン セルのレイアウトを示
す図、
す図、
【図１２】本発明によるニューロンを示す図、
【図１３】マルチ ニューロン セル間のインターチッ
プ コミュニケーション配置を示す図、
プ コミュニケーション配置を示す図、
【図１４】マルチ チップ マルチ ニューロン キュ
ーブを示す図、
ーブを示す図、
【図１５】訓練アルゴリズムの“全層訓練（train all
layers）”手順のフローチャートを示す図、
layers）”手順のフローチャートを示す図、
【図１６】ニューロン ファイヤリング機能用のキーを
示す図、
示す図、
【図１７】“層訓練（train a layer ）”プロセスのフ
ローチャートを示す図、
ローチャートを示す図、
【図１８】“層訓練（tarain a layer）”プロセスのフ
ローチャートを示す図、
ローチャートを示す図、
【図１９】相互接続手順のフローチャートを示す図、
【図２０】マップ手順のフローチャートを示す図、
【図２１】独特なマップ手順のフローチャートを示す
図、
図、
【図２２】ルック アラウンド 手順のフローチャート
を示す図、
を示す図、
【図２３】強制マップ（force map ）手順のフローチャ
ートを示す図、
ートを示す図、
【図２４】マップ インフォースド ニューロン手順の
フローチャートを示す図、
フローチャートを示す図、
【図２５】記録接続手順のフローチャートを示す図、
【図２６】マップ イン オーダ手順のフローチャート
を示す図、
を示す図、
【図２７】マップ接続手順のフローチャートを示す図、
【図２８】更新手順のフローチャートを示す図、
【図２９】ガイド手順のフローチャートを示す図、
【図３０】相関手順のフローチャートを示す図、
【図３１】コルナム（corrnum ）手順のフローチャート
を示す図、
を示す図、
【図３２】新しいウエイト ページ生成（generate new
weight page）手順のフローチャートを示す図、
weight page）手順のフローチャートを示す図、
【図３３】ウエイト生成（generate weights）手順のフ
ローチャートを示す図、
ローチャートを示す図、
【図３４】正規化機能（normalise function）のフロー
チャートを示す図、
チャートを示す図、
【図３５】ウエイト組合せ（merge weights ）手順のフ
ローチャートを示す図、
ローチャートを示す図、
【図３６】記憶割当て手順のフローチャートを示す図、
【図３７】層リコール（recall layer）手順のフローチ
ャートを示す図である。
ャートを示す図である。
MC1 〜 MC512 メモリ セル MI0 〜 MI8 ニューロン入力 MDO データ出力 SA センス増幅器 AD アドレス デコーダ TAC 訓練アルゴリズム制御入力 A0〜A8 リード線 PCS 訓練アドレス制御信号 NFSI ニューロン点火状態制御導線 DWO1〜DWO512 復号ワード ライン出力 PC プレチャージ回路 NX, NX1 〜NX4, NI1〜NI7, NIH1 〜NIH5, N2H1〜N2H3,
NCL, NCRニューロン NUA, NUB, NUC 上側層 NAA, NAB, NAC 隣接層 NLA, NLB, NLC 下側層 L1, L2, LN 層 LX, ONX, NXA〜NXD 出力ニューロン FNA, FNB 機能ニューロン INA 〜ING 相互接続ニューロン ICWP 相互接続機能 NXWP 出力層セル認識機能 I/O P & D I/O パッドおよびドライバ CC 制御レジスタ PR プログラミング レジスタ PI プログラム可能インターフェース RC ルーチン チャネル SRAM スタティック形ランダム アクセス
メモリ DC 22ビットI/O ポート169 ビット デー
タ ワード
NCL, NCRニューロン NUA, NUB, NUC 上側層 NAA, NAB, NAC 隣接層 NLA, NLB, NLC 下側層 L1, L2, LN 層 LX, ONX, NXA〜NXD 出力ニューロン FNA, FNB 機能ニューロン INA 〜ING 相互接続ニューロン ICWP 相互接続機能 NXWP 出力層セル認識機能 I/O P & D I/O パッドおよびドライバ CC 制御レジスタ PR プログラミング レジスタ PI プログラム可能インターフェース RC ルーチン チャネル SRAM スタティック形ランダム アクセス
メモリ DC 22ビットI/O ポート169 ビット デー
タ ワード
Claims (25)
- 【請求項１】ニューラル・ネットワークに使用するディ
ジタル ニューロンにおいて、 ｎ個の入力符号パターンそれぞれ１つにつき１つづつの
２n のメモリ位置を有するランダム アクセス メモリ
を有し、前記入力符号パターンについて、ニューラル・
ネットワーク学習アルゴリズムによって、ニューラル・
ネットワーク内の当該ニューロンに割当てられたシナプ
ス ウエイトに対応する該ニューロンの点火状態（オン
またはオフ）により各位置がプログラムされており、該
ニューロンは、前記ｎビット ディジタル入力符号パタ
ーンによってアドレスされたランダム アクセス メモ
リ位置より、ニューロン入力通路に供給されたｎビット
ディジタル符号パターンのおのおのに対してニューロン
の点火状態を導出するルック アップ テーブルとして
ニューロンが動作することを特徴とするディジタル ニ
ューロン。 - 【請求項２】学習アルゴリズムは、ニューロン点火状態
とは別個にニューロン メモリ ウエイト マップを記
憶し、これをニューロン ランダム アクセス メモリ
中へプログラムする請求項１記載のディジタル ニュー
ロン。 - 【請求項３】ディジタル・ニューロンが、おのおの特定
の入力符号組合せのそれぞれに対し相関機能、または相
互接続機能の何れかを遂行するようにプログラムされて
いる請求項１または２に記載のディジタル ニューロ
ン。 - 【請求項４】学習アルゴリズムは、メモリ ウエイト
マップをウエイト ページに分割し、また各ニューロン
ランダム アクセス メモリも対応の点火状態ウエイ
トページと同様にプログラムされており、これによって
ニューロンは、当該ニューロンにメモリ アドレスとし
て供給される入力符号組合せに応じて、相関装置または
相互接続装置の何れかとして動作しうる如くした請求項
３記載のディジタルニューロン。 - 【請求項５】入力接続状態の可能なディジタル組合せの
各１つに対し１つの、２n の位置を有するランダム ア
クセス メモリを有し、ｎ個の入力接続を具えてなるデ
ィジタル ニューラル・ネットワークにおいて、入力接
続状態に対し割当てられたシナプス ウエイトに対応す
るニューロンの点火状態を蓄積し、かつニューラル・ネ
ットワークは多層構造であり、ネットワーク内の各ニュ
ーロンの出力を、そのネットワークの次の層内の限定数
の隣接ニューロンの入力回路に接続したディジタル ニ
ューラル・ネットワーク。 - 【請求項６】請求項５に記載のディジタル ニューラル
・ネットワークにおいて、各ニューロンの出力を次の層
内の対応のニューロンの入力回路に接続し、かつ次の層
に上記対応のニューロンに真上及び真下のニューロンが
ある場合にはこれらニューロンの入力回路に接続し、ネ
ットワークの各入力回路も同様にして入力層内の対応の
ニューロンの入力回路、並びにこの対応ニューロンに真
上及び真下に位置するニューロンが存するときはこれら
ニューロンの入力回路に接続するディジタルニューラル
・ネットワーク。 - 【請求項７】請求項６記載のディジタル ニューロン・
ネットワークにおいて、一部のニューロンは、その入力
接続の一部を同じ層の他のニューロンと分け合うことを
特徴とするディジタル ニューロン・ネットワーク。 - 【請求項８】請求項５、６または７記載のディジタル
ニューロン・ネットワークにおいて、各軸が等寸法のモ
ジュールとした三次元正六方形キュービック アレイを
用いてニューロン・ネットワークを構成し、各ディジタ
ル ニューロンは９個の入力回路を有し、複数のディジ
タル ニューロンを互に接続し、各ニューロンは、前位
の層の対応位置のニューロン、上側及び下側のニューロ
ンの３つのニューロンの出力に接続される如くしたディ
ジタル ニューロン・ネットワーク。 - 【請求項９】請求項８記載のディジタル ニューロン・
ネットワークにおいて、複数個のモジュールを互に接続
することを可能としてより大きなネットワークを構成し
うるようにしたディジタル ニューロン・ネットワー
ク。 - 【請求項１０】請求項９記載のディジタル ニューロン
・ネットワークにおいて、各ニューロン及び各キュービ
ック アレイを集積回路技術で製造したディジタル ニ
ューロン・ネットワーク。 - 【請求項１１】多層構造の通常パターン内で相互接続さ
れた複数個のニューロンを有し、その入力層をネットワ
ークのディジタル入力回路に接続してなるディジタル
ニューロン・ネットワークの学習方法において、ネット
ワークによって認識されるべきパターンを、反復工程な
しに単一パスとして供給することを特徴とするディジタ
ル ニューロン・ネットワークの学習方法。 - 【請求項１２】各シナプス ウエイトに流入する情報の
重要性によって、シナプス ウエイトをほぼ定める請求
項１１記載の方法。 - 【請求項１３】入力パターンをネットワークの相互接続
構造のシミュレーションに供給し、正（１）の値を有す
る入力のみを処理して、所定の出力への通路（パス）上
のニューロンを識別する請求項１２記載の方法。 - 【請求項１４】学習アルゴリズムによって、ネットワー
クの各入力回路を、シミュレーションされたネットワー
クを通じ、これら全部がターゲット出力に到達するまで
ニューロン毎に接続し、各段（ステージ）において、フ
ァン状よりポイント（ファン・ツウ・ポイント）より１
つのニューロンに質問し、このニューロンが所望の機能
を既に学習しているか否かを確認し、既に所望の機能を
学習しているニューロンが存しない場合には、隣接ニュ
ーロンに質問を行い、各ニューロンのスペア容量を確認
し、最もスペア容量の大きなニューロンをプログラムし
て所望機能を確立する請求項１３記載の方法。 - 【請求項１５】請求項１４記載の方法において、シミュ
レーションを行ったネットワーク内の各ニューロンは、
学習アルゴリズムで規定された特定の入力パターンに対
し遂行すべき相関関数に対するシナプス ウエイトによ
ってプログラムされ、ニューロンを新規な機能にマップ
するときは、学習アルゴリズムによってウエイトの新規
なページを形成する如くした方法。 - 【請求項１６】請求項１５記載の方法において、各ニュ
ーロンはその入力のすべての機能を代表しうるように点
火状態の複数ページを有しており、学習中にウエイトの
新しいページを計算し、出力ニューロンに至る通路で、
何れのニューロンも点火しないときは新規な点火状態ペ
ージを導入し、利用の一番少いニューロンに新しいウエ
イトを割当て、ウエイト ページの長さを、指定された
ニューロンへの入力の複雑さによって決定する方法。 - 【請求項１７】請求項１６記載の方法において、学習ア
ルゴリズムは、ネットワーク内の接続を束縛し、これに
よって、（ｉ） ニューロンは、相互接続ニューロン又
は、機能（ファンクショナル）ニューロンの何れかであ
り、決して両者とはならない、（ii） 接続は出力ター
ゲット ニューロンへ向う方向に行われる、（iii ）ニ
ューロンは次の層への１つのみのアクティブ（有効）出
力接続を有し、入力接続及びウエイトは（正のウエイ
ト）アクティブ接続ニューロン、アクティブに接続され
ないニューロン（インアクティブ ウエイト）及び（負
のウエイトの）インアクティブ ニューロンとして定義
されること、（iv） カレント パターン内に既に学習
済のサブ パターンが存するかをチェックする為相関値
を使用し、相関値が充分に大であれば現在のセットにこ
のサブパターンを加え、相関値が充分に大でないとき
は、このサブ パターンをネットワークにとって新しい
ものとして学習する如くすることを特徴とする方法。 - 【請求項１８】請求項１７記載の方法において、学習ア
ルゴリズムは各アクティブ ニューロンに対し、何れの
接続がターゲット出力ニューロンに至る最良のルートを
提供するかを決定すること、すなわちアルゴリズムは第
１に当該層内に所要の機能を行うため互にマップさせう
るだけの充分な数のニューロンがあるか否かを決定す
る、なおこのマッピング機能は次の層の何れのニューロ
ンがターゲット出力ニューロンに至る最良のルートを与
えるかを決定する、ここで特性がマップできないとき
は、相互接続された個別のニューロンの性能のルートが
これを確保し、次の層では、ニューロンは学習したパタ
ーンの類別（クラス）に関する独特の特徴を形成する如
くしたことを特徴とする方法。 - 【請求項１９】請求項１８記載の方法において、最終層
より１つ前の層内に存するアクティブニューロンが、出
力ターゲット ニューロンをアドレスするに足る数であ
るという要求によってマッピングを束縛し、これによっ
て各層内でパターンの収斂が過早に生じてデータ圧縮を
減ずることを防止し、各ニューロンに対し、当該ニュー
ロンを流れる情報のレベルを定める有意義値を割当て、
高度の有意義性を有するニューロンは早期の段階でマッ
ピングに組込むことを防止し、所定層内の各ニューロン
に比較的に均一に情報を分配する如くし、特に有意義性
の低いニューロンは強制的に他のニューロンと共にマッ
プに組込む如くした方法。 - 【請求項２０】請求項１９記載の方法において、有意義
性の大・小（高低）の定義は、ネットワークの深度に応
じて増加し、かつ入力層の活性度のレベルによりスケー
ル付けされる方法。 - 【請求項２１】請求項２０記載の方法において、ウエイ
ト ページのアップデートに相関値を使用し、そのとき
のパターンが特定のニューロンによって既に学習されて
いるパターンとマッチしないときは、新規なウエイトの
ページを創設し、相関値がマッチと、非マッチのスレシ
ョールドの中間値である場合は、ウエイトの新ページを
既存の最良のものと合体させ、相関値が、マッチ スレ
ショールドより上である場合は、ウエイトのアップデー
トを必要とせず、次の層のニューロンを活性化させるこ
とを特徴とする方法。 - 【請求項２２】請求項５ないし１０記載のディジタル
ニューラル・ネットワークにおいて、請求項１１ないし
１９の学習アルゴリズムを用いてプログラムされたディ
ジタルニューラル・ネットワーク。 - 【請求項２３】添附図面に示し、かつ本文に述べた如く
のディジタル ニューロン。 - 【請求項２４】添附図面に示し、かつ本文に述べた如く
のディジタル ニューロン・ネットワーク。 - 【請求項２５】図面に示しかつ本文に記載の如くのディ
ジタル ニューロン・ネットワークの学習方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9205587:0 | 1992-03-13 | ||
| GB929205587A GB9205587D0 (en) | 1992-03-13 | 1992-03-13 | Improved artificial digital neuron,neuron network and network algorithm |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0612397A true JPH0612397A (ja) | 1994-01-21 |
Family
ID=10712129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5054305A Pending JPH0612397A (ja) | 1992-03-13 | 1993-03-15 | ディジタル ニューロン、ディジタル ニューロン・ネットワーク並びにディジタル ニューロン・ネットワークの学習方法 |
Country Status (8)
| Country | Link |
|---|---|
| EP (1) | EP0560595A3 (ja) |
| JP (1) | JPH0612397A (ja) |
| KR (1) | KR930020288A (ja) |
| CN (1) | CN1076536A (ja) |
| AU (1) | AU663564B2 (ja) |
| CA (1) | CA2092688A1 (ja) |
| GB (2) | GB9205587D0 (ja) |
| TW (2) | TW300304B (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6708159B2 (en) | 2001-05-01 | 2004-03-16 | Rachid M. Kadri | Finite-state automaton modeling biologic neuron |
| FR2845503A1 (fr) * | 2002-10-07 | 2004-04-09 | Rachid M Kadri | Automate d'etats finis modelisant un neurone biologique |
| US9104973B2 (en) * | 2011-09-21 | 2015-08-11 | Qualcomm Technologies Inc. | Elementary network description for neuromorphic systems with plurality of doublets wherein doublet events rules are executed in parallel |
| CN102306301B (zh) * | 2011-08-26 | 2013-07-17 | 中南民族大学 | 模拟初级视皮层脉冲神经元的动作识别系统 |
| US10210452B2 (en) | 2011-09-21 | 2019-02-19 | Qualcomm Incorporated | High level neuromorphic network description apparatus and methods |
| US9053429B2 (en) | 2012-12-21 | 2015-06-09 | International Business Machines Corporation | Mapping neural dynamics of a neural model on to a coarsely grained look-up table |
| US9087301B2 (en) | 2012-12-21 | 2015-07-21 | International Business Machines Corporation | Hardware architecture for simulating a neural network of neurons |
| CN103761568A (zh) * | 2014-01-23 | 2014-04-30 | 国家电网公司 | 基于som神经网络聚类算法的日负荷特征曲线提取方法 |
| CN105095966B (zh) * | 2015-07-16 | 2018-08-21 | 北京灵汐科技有限公司 | 人工神经网络和脉冲神经网络的混合计算系统 |
| CN111353589B (zh) * | 2016-01-20 | 2024-03-01 | 中科寒武纪科技股份有限公司 | 用于执行人工神经网络正向运算的装置和方法 |
| CN106529609B (zh) * | 2016-12-08 | 2019-11-01 | 郑州云海信息技术有限公司 | 一种基于神经网络结构的图像识别方法及装置 |
| KR102153791B1 (ko) * | 2017-12-20 | 2020-09-08 | 연세대학교 산학협력단 | 인공 신경망을 위한 디지털 뉴런, 인공 뉴런 및 이를 포함하는 추론 엔진 |
| CA3030878A1 (en) | 2018-01-22 | 2019-07-22 | Kliq.Ca Inc. | Systems and methods for decision modelling of a temporal path |
| CN108984426B (zh) * | 2018-08-03 | 2021-01-26 | 北京字节跳动网络技术有限公司 | 用于处理数据的方法和装置 |
| CN110458284A (zh) * | 2019-08-13 | 2019-11-15 | 深圳小墨智能科技有限公司 | 一种模拟神经网芯片的设计方法及模拟神经网芯片 |
| CN112926023B (zh) * | 2021-01-26 | 2022-06-28 | 西华大学 | 一种基于考虑气象因素p系统的输电网故障诊断方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8619452D0 (en) * | 1986-08-08 | 1986-12-17 | Dobson V G | Signal generating & processing |
| JPH0478978A (ja) * | 1990-07-20 | 1992-03-12 | Sanyo Electric Co Ltd | ニューラルネットワーク |
-
1992
- 1992-03-13 GB GB929205587A patent/GB9205587D0/en active Pending
-
1993
- 1993-03-02 AU AU33941/93A patent/AU663564B2/en not_active Ceased
- 1993-03-10 EP EP19930301830 patent/EP0560595A3/en not_active Withdrawn
- 1993-03-10 GB GB9304937A patent/GB2265043B/en not_active Expired - Fee Related
- 1993-03-12 TW TW084106786A patent/TW300304B/zh active
- 1993-03-12 CA CA002092688A patent/CA2092688A1/en not_active Abandoned
- 1993-03-12 TW TW082101856A patent/TW301728B/zh active
- 1993-03-12 KR KR1019930003777A patent/KR930020288A/ko not_active Application Discontinuation
- 1993-03-13 CN CN93102861A patent/CN1076536A/zh active Pending
- 1993-03-15 JP JP5054305A patent/JPH0612397A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| TW301728B (ja) | 1997-04-01 |
| EP0560595A3 (en) | 1994-11-17 |
| GB2265043B (en) | 1995-09-06 |
| EP0560595A2 (en) | 1993-09-15 |
| CA2092688A1 (en) | 1993-09-14 |
| AU3394193A (en) | 1993-09-16 |
| GB9205587D0 (en) | 1992-04-29 |
| GB2265043A (en) | 1993-09-15 |
| CN1076536A (zh) | 1993-09-22 |
| KR930020288A (ko) | 1993-10-19 |
| GB9304937D0 (en) | 1993-05-19 |
| AU663564B2 (en) | 1995-10-12 |
| TW300304B (ja) | 1997-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0612397A (ja) | ディジタル ニューロン、ディジタル ニューロン・ネットワーク並びにディジタル ニューロン・ネットワークの学習方法 | |
| US5621863A (en) | Neuron circuit | |
| US5717832A (en) | Neural semiconductor chip and neural networks incorporated therein | |
| US5740326A (en) | Circuit for searching/sorting data in neural networks | |
| US5710869A (en) | Daisy chain circuit for serial connection of neuron circuits | |
| US5701397A (en) | Circuit for pre-charging a free neuron circuit | |
| EP0327817B1 (en) | Associative pattern conversion system and adaptation method thereof | |
| KR101815438B1 (ko) | 비감독 신경 리플레이, 학습 리파인먼트, 연관 및 기억 전달: 신경 연관 학습, 패턴 완성, 분리, 일반화 및 계층적 리플레이를 위한 방법들 및 장치 | |
| US5704016A (en) | Temporal learning neural network | |
| JP2004005645A (ja) | 確率に基づく推諭システム | |
| EP1295252B1 (en) | Apparatus for generating sequences of elements | |
| Tang et al. | A columnar competitive model for solving combinatorial optimization problems | |
| Anderson et al. | Reinforcement learning with modular neural networks for control | |
| US6502083B1 (en) | Neuron architecture having a dual structure and neural networks incorporating the same | |
| CN113837350A (zh) | 神经形态设备和训练用于图像识别的神经网络的方法 | |
| Sathasivam | Acceleration technique for neuro symbolic integration | |
| CN110533158A (zh) | 模型建构方法、系统及非易失性电脑可读取记录介质 | |
| Kraipeerapun et al. | Uncertainty assessment using neural networks and interval neutrosophic sets for multiclass classification problems | |
| JP2002251601A (ja) | ニューラルネットワーク処理装置 | |
| KR102451231B1 (ko) | 뉴로모픽 칩에서 운영되는 rbf 뉴럴 네트워크 학습을 위한 시뮬레이터 | |
| US5355510A (en) | Information process system | |
| US20220164637A1 (en) | Neural Processing Units (NPUs) and Computational Systems Employing the Same | |
| CN110163352B (zh) | 电路规划结果产生方法与系统 | |
| Pooranam et al. | A Study on Optimization Algorithm (OA) in Machine Learning and Hierarchical Information | |
| Hurson et al. | Neural network-based decision making for large incomplete databases |