JPH04503270A - 人工神経ネットワーク構造 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 人工　ネットワーク　゛ 燻玉分！ 本発明はパターン認識の分野に関する。特に、本発明はスーパーバイズ（ｓｕｐ ｒｖｉｓｅｌされるあるいはされない学習が可能な適応パターンα型装置に関す る。

！！燻癒 パラレルな分散された（ｄｉｓｔｒｉｂｕｔｅｄ　）プロセッシイングを有する 人工神経ネットワーク（アーティフィシャル・ニューラル・ネットワーク）は広 く提案されており、シリアルあるいは部分的にパラレルなデジタルシステムによ ってシュミレートされている。完全にパラレルで分散されたプロセッシイングに は、極めて速い全体的処理が比較的遅い要素で可能となる、効果的な機能・作用 が欠陥のある若しくは伴動不能な要素を伴っても可能になる、プログラミング（ すること）なしにプロトタイプから学習することによってパターンを認識できる 、ノイズを含む入力によってもほとんど機能・作用が低下しないといった利点が あることが古くから知られている。

幾つかの良く知られた神経ネットワークモデルを１本発明の構造のために背景技 術として以下に説明する。典型的仁は、神経ネットワークは多層構造（ｌａｙｅ ｒｅｄ　ａｒｃｈｉｔｅｃｔｕｒｅ）で成形される。第１のグループの神経にュ ーロン）若しくは神経ユニットにューラルユニット）は入力層として作用し、信 号を中間層の他のグループへ伝搬する。そして、中間層からの信号は１つ又２つ 以上のそれにつづく層に影響を及ぼす。

最終的には、信号は出力層により与えられる。出力層は第２あるいは一般的には 第３の層である０通常の場合、一つの層からの各信号は次の層の入力あるいはシ ナプス（５ｙｎａｐｓｅ＋へ接続される。そして、「学習」は各シナプスにおい てそこに到達した信号に与えられた「重み（ウェイト）」を変えることによって 行われると考えられる。各シナプスは励起（ｅＸｃｉｔａｔｏｒｙｌあるいは制 止＜　１ｎｈｉｂｉｔｏｒｙｌ効果を育することもある。神経のシナプスにより 受取られた重みが付けられた（与えられた）信号の全てがその動作又は出力信号 強度をある（いくつかの）関数に従って決定する。ここで関数とは、典型的には 、シグモイド（ｓｉｇ■ｏｉｄｌ即ちＳ字型をしていると考えられ、低い方の励 起閾値（これ未満では励起入力が減少しても重要な、目立った動作は何も起こら ない）と、高い方の励起閾値（これより上では励起入力が増加しても動作には何 ら重要な・目立った増加が見られない）とを有する。

上述のようなネッ１−ワークは数学的には、層に相当・対応する添字により識別 される接続された層の神経及び信号によって決められることは明らかである。ま た、各層は長方形配列（直交する配列）として現わされることもある。この場合 、各シナプスは、神経の特定のシナプスと神経を特定するデカルト座標（（ａｒ ｔｅｓｉａｎ　ｃｏｏｒｄｉｎａｔｅｓｌによって識別される。この方法を用い て、神経ｊの活性化・動作（アクティベイジョン）　（ａｃｔｉｖａｔ４ｏｎｌ が実数Ｏ４によってあられされる。神経ｊから神経ｉへのシナブチイックコネク ション（ｓｙｎａｐｔｉｃ　ｃｏｎｎｅｃｔｉｏｎｌの重みあるいは有効性（ｅ ｆｆｅｃｔｉｖｅｎｅｓｓｌもまた実数Ｗ１．によりあられされる。これはネッ トワークが「教えられる」あるいは「学習する」ことにより変化し得る。神経。

への入力（■、）はしたがってＷＩＪＯＪとなる。神経の出力（０＋）はその入 力の関数であり次式で表わされる。

０１−Ｆ　（Ｉ　＋　＞　＝Ｆ　（ＷＩＪＯＪ　）ここで、Ｆは上記Ｓ字型関数 である。

所定の入力信号が与えられた（を有する）神経ネットワークは、「教えられる」 と、各重みを（に）アドレッシングすると共にこれを適量Ｗ、Ｊだけ変化させる ことにより、それに相当・対応する所望の出力信号を出すことが良く知られてい る。

また、もし各シナプスのＷＩＪが、シナプスへの入力Ｏ４と、対応する神経の出 力Ｏ１若しくは「エラー」信号　＋（０＋が伝搬される層から反対に伝搬してく るエラー信号（逆伝搬エラー信号））とによって適切に決定されるならば、神経 ネットワークはそれ自身で「学習」することも知られている。

したがって、〔ヘビアン（Ｈｅｂｂｉａｎ）　Ｊ学習において、もしｏＪと０１ とが共にアクティブならばＷＩＪは増加される。数学的にはこの状態は次式であ られされる。

ＷＩＪ＝ＧＯＩＯＪ ここで、Ｇは学習の速度を制御するのに用いられる利得項（ゲインターム）＋ｇ ａｉｎ　ｔｌｌｒｌ＞である。

しかしながら、「デルタルール（ｄｅｌｔａ　ｒｕｌｅ）　Ｊ学習においては各 シナプスの重さくウェイト）は次のように修正される。

ＷＩＪ−Ｇ　ｌ　ｏ。

ここでＧは上述した通りのもので１．はシナ１スを伴う１番目のレベルの神経へ の逆伝搬エラー信号（ｂａｃｋ　ｐｒｏｐａｇａｔｅｄ　ｅｒｒｏｒ　ｓｉｇｎ ａｌ）　、そしてｏＪはそれへの１番目のレベルの出力である。エラー信号は再 帰的に（ｒｅｃｕｒｓｉｖｅｌｙｌ逆伝搬し次式で示される。

、±Ｆ′（［Ｊ　）ＷＩＪ　ｌ ここで１．はＯＪを提供する神経へのエラー信号、Ｆ’（Ｉ、）はそれへの重み 付き人力の和（合計）へ適用された１番目の神経の上記関数Ｆの導関数（微分関 数）、そして、ＷＪＩは、１番目の層が伝搬する層からそこへ伝搬される対応エ ラー信号に適用される各ｉ番目のシナプスの重みの和である。各神経（こおいて 、順伝搬のＦと逆エラー伝搬のＦ′の独立変数は同じである。

圧型０匣丞 本発明は、個々に変化し得るファクタによりネットワークの各神経ユニットへ入 力を同時に加えるためのアナログ要素による人工神経ネットワーク構造に偏る。

特に、本発明はフローティングゲート金属酸化物電界効果トランジスタにより上 記ファクタの維持及び変化をすることに関する。より一般的には、本発明は、ネ ットワークの外からそれらをアドレシングする際の上記ファクタの変化に適応す る、あるいはヘビアン若しくはデルタルール学習用のネットワーク自身による上 記ファクタの変化に適応する神経ユニット回路に関する。

本発明の一つの目的は１人工神経ネットワークにより完全にパラレルで分散され た情報処理を行うアナログ装置を提供することである。

本発明の他の目的は、種々の体系・組織・構成（ｓｃｈｅｍｅｓ　）によりネッ トワークにおいて教えることや学ぶことを実行するための上述のような装置を提 供することである。

本発明の他の目的は、集積回路として高歩止まり構造に特に適した上述のタイプ の装置を提供することである。

本発明の他の目的は、高速で、故障（誤り〉許容度が高く、ノイズに鈍感なパタ ーン認識を行う上述のタイプの装置を提供することである。

圓駆ΔＩ喰１里 本発明のその他の目的、利点及び新規な特徴は添付図面と共に考慮される以下の 詳細な説明から明らかにされる。添付図面において、図１は本発明の神経ユニッ ト回路のブロック図であり、外部アドレッシング（ｅｘｔｅｒｎａｌ　ａｄｄｒ ｅｓｓｉｎｇｌにより回路内に保存された重みを変化できるように構成されたも の示す。

区２は図４の回路と同様の回路の図であるが、ヘビアン字習用に構成されている 。

図３は同様な回路の図であるが、デルタルール学習用の要素を更に備えている。

図４Ａ及び図４Ｂは、人工神経ネットワーク内に接続された多数の図３の回路の 図である。

図５はマルチチャンネルのフローティングゲート金属酸化物電界効果トランジス タの等角図であり、これは図１から図４の回路において有利であり図式的に示さ れた付随要素と共に描かれている。

るため最良の　、 図１に示されているのは２つの神経ユニットあるいは神経１０と１１であり、そ れぞれ本発明の原理・思想を具現化するものである。また、それぞれのユニット の代表が請求のｌ！囲において「第２神経ユニツト」と称されるユニットを表わ してる。ユニット１０と１１は、該ユニットの代表が人工神経ネットワークの１ つの層に接続されるように設けられており、この人工神経ネットワーク内ではユ ニットの４つの実質上同一なシナプス回路１２，１３．１４．１５に保存される シグナルウェイト（信号重み）がネットワークの外に設けられたウェイトシグナ ル（重み信号）とセレクトシグナルとを用いてネットワークをトレーニングする ために修正・変更（モディファイ）可能とされている。ユニット１０は回路１２ と１３と加算回路１６とを備え、ユニット１１は回路１４と１５と加算回路１７ とを備える。ユニット１０と１１はそれぞれユニットセレクト人力１８と１９と を有し、これら入力から対応する導線２０と２１（各導線は請求の範囲において 時には「第１共通導線」と称される）が付随ユニットを通って延びている。各ユ ニットは正の重み（ウェイト）がかけられた信号導線２３と負の重みがかけられ た信号導線２４とを有し、これら導線はユニットを通って各加算ユニット１６又 は１７に接続されている。

層はゲインターミナル３０を有し、このターミナルは共通利得（ゲイン）導線３ １により各回路１２〜１５に接続されている９回Ｎ１２と１４は入力セレクト導 線３２と信号入力導線３３とを備え、回路１３と１５は対応する導線３４と３５ とを備えている。各導線３２、特許請求の範囲において時には「第２共遣導繰」 と称されるものに相当する。

画像その他の実用的な認識のための人工神経層は、勿論、上記ユニット１０と１ １のような神経ユニットを２個よりはるかに多く備えることもあり、また各ユニ ットは上記回路１２〜１５のようなシナプス回路を備えることもある。しかしな がら、ここで説明される構成において、同じような層や回路の数はユニ・ｙトと 回路との間の実際の機能的接続の説明のために最小に抑えられている。導線の破 断く遮断）ｇ３８より明らかなように、これら導線はユニット１０のように各ユ ニットにおいて回路１２〜１５のように２つより多くのシナプス回路をつなぐこ ともできる。また、上記２つの神経ユニットより多くのものが一つの神経ネット ワーク層内でつながれることも導線３２〜３５の破断部３９から明らかである。

シナプス回路１２〜１５は個別のほぼ同一のファクタリング回路（ｆａｃｔｏｒ ｉｎｇｃｉｒｃｕｉｔ）を備えている。各回路４０は（回路１４の方に示されて いるが）、信号入力４１と、バイアス抵抗４３により入力４１に直接接続された バイアス若しくは負信号出力４２と、マルチチャンネルフローティングゲート及 び金ｘａＩ化物電界効果トランジスタ（ＨＱＳＦＥＴＩ　４５を介して入力４１ に接続された重み付き信号出力４４とを有している。各回路４０はまた乗算器４ ６と重みセツティング回路４７とを有している。

トランジスタ４５は（回路１４の方に示されているが）、入力４１に接続された ソースを有すると共に出力４４に接続されたドレーンを有する信号チャンネル５ ０と、ウェイト付加チャネル５１と、入力４１から出力４４への電流を制御すべ く回路４６によってチャンネル５１に供給される適切な電圧により適当な形で増 加・減少される電荷に応対するフローティングゲート５２とを備える０乗算器回 路４６は乗算器回路の第１人力５５、第２人力５６及び第３人力５７に個々に供 給される３つの信号の符合付きの積を表現する適当な信号をセツティング回路４ ７に出力する。各回路４０にあっては、乗算器人力５５は利得入力（ゲインイン プット）３０に接続され、乗算器入力５６は対応する導線２０又は２１に接続さ れ、乗算器人力５７は対応する導１ｍ３３又は３５に接線される。

図２は人工神経システムの層で用いられる上記ユニットの代表かヘビアン字習を 行うように構成された場合の本発明の神経ユニット１１０を示している。ｒｆ！ Ｉ２において、図１の要素に対応する要素は図１の要素の符合〈番号）に１００ を加えた符合で示されている。ユニット１１０は、シナプス回路１１２と１１３ と、正重み付き和信号導線１２３及び負重み付き和信号導線１２４に接続された 加算回路１１６と、ゲインターミナル１３０と、利得導線１３１とを有している 。ユニット＋１０は、また、別の同様なシナプス回路と神経ユニット（それぞれ 破断部１３８と１３９とで示されている）と共に用いられる。各回路１１２と１ １３はファクタリング回路１４Ｇを有している。このファクタリング回路＋４０ は実質的には回Ｎ４０と同一であり、回路１１２に示されているように、信号人 力１４１と、バイアス信号出力１４２と、重み付き信号出力１４４と、ターミナ ル１３Ｇに接続された第１乗算器人力１５５と、第２乗算器入力１５６と、３乗 算器人力１５７とを有している。ユニット１１０をユニット１０と比較すると、 ユニット＋１０が回路１１２と１１３に専用であると共に、同じ層の他の神経ユ ニットの同じような回路の対応する１つに専用の一対の信号入力導線１６０を有 するという点で区別できる。各回路１１２又は１１３において、対応する導＄１ １６０は信号入力１４１と第２乗算器入力１５６の両方に接続されている。ユニ ・ット１１０は導線１６１を有し、この導１１１６１はシナプス回Ｎ１１２と１ １３とを通って延びそれぞれの乗算器入力１５６の両方に接続されている。ユニ ット＋１０は回路１０と比較すると特に次の点で区別できる。加算回路１１６の 出力はアクテイベイシ目ンファンクションジェネレータ（活性化関数ジエレータ ）　（ａｃｔｉｖａｔｉｏｎ　ｆｕｎｃｔｌ。

ｎ　ｇｅｎｅｒａｔｏｒ１１６２につながれ、このジェネレータ１６２の出力は 加算回路１１６の出力との関係においてＳ字状（ｓｉｎｏｉｄａｌｌである。ジ ェネレータ１６２の出力は導線１６１に接続されると共にユニット１１０の信号 出力１６３にも接続されている。

図３は人工神経ネットワークの一つの層で用いられるユニットの代表がデルタル ール学習を行うよう構成された場合の本発明の神経ユニット２１０を示している 。

５１１１又は図２の要素に対応する図３の要素は、図４の要素に２００を５図２ の要素に１００を加えた符合で示されている。ユニット２１Ｇはシナプス回路２ １２と２１３と、正重み付き出力導線２２３及び負重み付き出力導線２２４に接 続された出力加算回路２１６と、利得ターミナル２３０と、利得導８１２３１と を有している。ユニット２１０は、また、破断部２３Ｂと２３９とでそれぞれ示 されたその他のシナプス回路や神経ユニットと共に用いられることもある６回路 ２１２と２１３はそれぞれファクタリング回路（ｆａｃｔｏｒｉｎｇ　ｃｉｒｃ ｕｉｔ１２４０を有し、この回路２４０は情報信号人力２４１と、情報バイアス 信号出力２４２と、バイアス抵抗２４３と、重み付加情報信号出力２４４と、マ ルチチャンネルフローティングゲートＭＯ３ＦＥＴ　２４５と、乗１器２４６と 、セツティング回路２４１とを有している０回路２１２に示されているように、 １４０ｓＦＥｒ　２４５は情報チャンネル２５０と、セツティングチャンネル２ ５１と、フローティンゲート２５２とを有している２乗算器２４６はそれぞれ符 合２５５．２５６．２５７で示される第１．第２゜第３人力を有している０乗算 器２４６、回路２４７、チャンネル２５１はユニット１０のそれぞれに対応する 要素と同様の作用をし、入力２４１への信号に重みを付ける。

ユニｙ　）２１０は一対の情報信号入力２６０を有する。これら入力２６０は回 ＃Ｉ２１２と２１３に対し独立であり、それぞれの入力２４１と２５１とに接続 されている。ユニット２１０はまた導線２６１を有し、この導４１２６１は両回 路２１２と２１３の入力２５６に接続されている。ユニット２１０はアクティベ イシ５ンファンクションジェネレータ２６２を有している。このジェネレータ２ ６２は、回路２１６の出力を受け、この出力に応じてＳ字型関数（ｓｉｇｇ＋ｏ ｉｄａｌ　ｆｕｎｃｔｉｏｎ）を実行し、ユニットの情報信号出力２６３へ出力 を出す。

ユニット２１０は次の点でユニット１０と１１０と区別される。即ち、ユニット ２１Ｇは、第１の若しくは入力エラー信号に対する入力２６５と、微分関数ジェ ネレータ（ｄｅｒｉｖａｔｉｖｅ　ｆｕｎｃｔｉｏｎ　ｇｅｎｅｒａｔｏｒ１２ ６６と、エラー乗算器２６７とを有する点でユニット１０と１１０とは興なる。

ｌ！分関数ジェネレータ２６６は、アクティベイジョンジェネレータ２６２と共 に、加算回ｉ％２１６の出力を受け、さらに、アクティベイシテンファンクショ ンジェネレータ２６２により生成されるＳ字型関数の微分に対応・相当する微分 信号を出力する。入力２６５からのエラー信号とこの微分信号は、導線２６１に エラー覆信号を出力する乗算器２６γに供給される。

ユニット２１０はまたユニット１９と１１９とからも以下の点で区別できる。！ ＩＩち、ユニ１ト１２１０は一対の正重み付きエラー信号導線２７０と、一対の 負重み付きエラー信号導線２１１と含有している点でユニット１９と１１９とは 興なる。１本の導線２７０と１本の導線２７１が各シナプス回路２１２と２１３ を通り且つその他の神経ユニット（図３には示されていない）の各シナプス回路 を通り延びている。該その他の神経ユニットを通うて延びるのは、回路２１２又 は２１３を通って延びる導線２６０の１つと同一のものである。

ユニット２１０はさらに回路１０と１１０と比較して次の点で区別できる。即ち 、各ファクタリング回路２４０は、回＠２１２内に示されているように、エラー 積信号入力２８０と、エラーバイアス抵抗２８２によりこれに接続されたエラー バイアス信号出力２８１と、重み付きエラー信号出力２８３とを宥している。入 力２８０は導線２６１に接続され、出力２８１と２８３はそれぞれ導線２７１と ２７０に接続されている。

Ｎ０５ＦＥＴ２４５はエラーチャンネル２８５を有している。このエラーチャン ネル２８５のソースは入力２８０に接続されており、同チャンネル２８５のドレ ーンは出力２８３に接続されている。チャンネル２８５はフローティングゲート ２５２により制復される（この７０−ティングゲート２５２はチャンネル２５０ をもｍｓする〉ので。

これに対する同一の相対重み及び変化が入力２８０に達する信号に対し与えられ る（入力２４１に達する信号へ与えられるように）、各回路２１２又は２１３は エラー加算回路２８７を育し、エラー加算回路２８１はその入力として対応導線 ２７Ｇと２１１を有し、これらへの信号の合計を第２若しくはエラー出力信号と してユニット２１０の一対のエラー出力へ出力する。

図４Ａと図４Ｂは、図３の要素と実質上同一な要素（同一の符合で示されている ）を備えたデルタルール学習用に構成された人工神経ネットワークを示している ０図４Ａと図４Ｂのネットワークは、入力層３００と、中央層若しくは陰暦（ｈ ｉｄｄｅｎ　Ｉａｙｅｒ１３０１と、出力層３０２とを有している。これら層の 境界は破線３０３で示されている。各層は概念的には３つの神経ユニットを有す る１層３００のユニットはネットワーク用の３つの情報信号入力３０５のみから 構成される一方、層３０１と３０２は３つのアクティブ神経ユニット３０Ｇから 構成される。各アクティブ神経ユニットはユニット２１Ｇに対応する。各ユニッ ト３０Ｂは３つのシナプス回路３０７を有している。

各回路３０１は回路２１２または２１３の１つとほぼ同一であり、したがってマ ルチチャンネルフローティングゲートＩＩ）ＳＦＥＴ　２４５を１つ有するファ クタリング回路２４０を１つを備えている。　ＮＯ３ＦＥＴは図４重９図４Ｂに おいては簡略化のために省略されている。

よって、層３０１と３０２はそれぞれ３×３のマトリックスのシナプス回路３０ ７となる（マトリックスの各コラム（列）はユニット３０６に対応し、各ロー（ 行）は１本の導線２６０が通過する３つのシナプス回路に対応する）０本発明の 人工神経ネットワークにおいて可能なフレキシビリティを示すために、層３０１ の右側に示されたユニット３０６は用いられず、よって、ネットワークは、実際 上、３つの神経ユニットの入力層と、２つの神経ユニットの中央層と、３つの神 経ユニットの出力層とから構成される。

層３０２では、ネ・ｙトワークは、その層の３つのユニット３０６の出力２６３ に個々に接続された３つの情報信号出力３０８を有すると共に、これら３つのユ ニットのエラー人力２６５に個々に接続された３つの対応エラー信号入力３０９ を有す、ネットワークは、第１層入力３０５を層３（Ｈの導１１２６Ｇに個々に 接続する３本の導線３１Ｇを有す、入力３０５は、したがって、層の各ユニット ３０６のシナプス回路３０７の入力２４１に個々に接続される。Ｉｉ４様に層３ ０２の２つの関数ユニットの出力２６３は２つの導線３１１により層３１２の下 側の２つの導１１２６０へ個々に接続されることになり、故に出力２６３はその 層の各神経ユニット３０６の下側の２つのシナプス回路３０７の入力２４１に個 々に接続されることになる。ネットワークは２本の導線３１３を育する。これら 導線３１３は層３０２の神経ユニットの上記２つの下側のシナプス回路のエラー 信号出力２８８を、導［３１１が接続される同じ２つの層３０６の神経ユニット のエラー人力２６５．２６３に個々に接続されている。デルタルール学習によれ ば２層３０２シナプス回路行からのエラー信号は層３０１シナプス回路列へ伝搬 され、これにより、この行に対し情報信号を供給することになる。ネットワーク は導１１Ｌ３１６によって各層のゲイン導線２３１へ接続される外部利得ターミ ナル３１５を有する。したがって、図３．１ｌＩ４Ａ、図４８かられかるように 、ターミナル３１５はネットワークの各乗算器２４６の第１人力２５５に接続さ れることになる。

図５は乗算器２４６と、Ｗ：ＪＳｒＥＴ　２４５及びセツティング回路２４７の 詳細とを示している。　１４０３ＦＥｒ　２４５は、上述の情報信号チャンネル ２５０とエラー信号チャンネル２８５に加えて、正セツティングチャンネル４０ Ｇと、負セツティングチャンネル４０１と、電荷計測チャンネル４０３とを有す 、チャンネル４００と４０１は信号セフティングチャンネル２５１と均等（同一 ）である、チャンネル２５０．２８５．４００．４０１，４０３は半導性を有し 、基板（図示せず）内に設けられている。また、これらチャンネルは酸化層によ り絶縁されている（これもまた図５には措かれていない）、チャンネルは同じ幅 と厚さを有して措かれているが、これら寸法は、興なる機能を有する興なるチャ ンネルについては変化し得る。ｌ［１ｓＦＥＴ　２４５の材料と構造は、電子的 に消去可能なＭＯ５ＦＥＴ装置に関してよく知られた材料と構造と同様のもので ある。

しかし本願出原人が知る限りでは、従来のそのような装置は、１つのチャンネル しか具備しておらず１重み付加信号がチャンネルのドレーン４０６に供給される 場合には、チャンネル２５Ｇ又は２５８等のチャンネルのソース４０５に接続さ れる信号用のファクタや重みを変えるべくゲート２５２の零臂を変えるようには 構成されていない。

セツティング回路２５１にあっては、乗算器２４６からの符合沖積はその接続部 ４１０に供給され、また好ましくは、積信号を受けるゲート接続部４１３を有す るエンハンスメント形相補型金属酸化展（ｅｎｈａｎｃｅｓ＋ｅｎｔ　０４０Ｓ ＋デバイス４１２と共に用いられる積符合に対応・相当する極性を有する。この デバイス４１２は符合４１４で示される逆極ソースに接続されているので、積の 符合に対応する極性のソースが接続部４１６の一対のうちの１つによりデバイス 装ｆ４１２から適切なチャンネル４０Ｇ又は４０１に供給される。この場合、積 の値に対応・相対する電圧は積の符合により決定された方向にゲート２５２上の 電荷を変化させる。セツティング回路２５１のこの構造は、したがって、ヘビア ン字習及びデルタルール学習において次の場合有効・効果的である。即ち、情報 チャンネル２５Ｇとエラー信号チャンネル２８５の信号に与えられる重みの変化 は乗算器２４６からの積信号によって決まる場合には有効・効果的である。

セツティング回路２５１は、典型的には、ゲート２５２の電荷により決定される そのコンダクタンス（電導率）を計測すべく接続部４２１によりチャンネル４０ ３に接続されたコンパレータ装置４２０を備える。上記装置４２Ｇは乗算器２４ ６から積信号を受ける。また、上記装置４２０は、チャンネル２５２のコンダク タンスにおける変化（したがって、チャンネル２５０と２８５により与えられた 重みが、ｊｌＯ８ＦＥ７２４５等のＨＯ３ＦＥＴｌｆ４志間の構造的変化・違い に拘らず、乗算器２４６からの積信号により決定される変化にほぼ従うように、 デバイス４１２を制御できる適切な構造を有している。

ヱ企上：≦−りと 本発明の上述の実施例の動作・作用（オペレーション）は明確であると思われる が１図３及び図４を参照しながら、この点について簡単に説明する。図３及び図 ４には層３０１の多数の神経ユニット３０６がこれらユニットに個別的な出力２ ６３から多数の第１の出力信号を供給する場合が示されており、これら信号は層 ３０２の各神経ユニットの各シナプス回路３０７に個別に供給される。これらシ ナプス回路の各々においては、それらの入力２４１に個別に対応するファクタが 対応ゲート２５１によって保存される。この結果、各層３０２シナプス回路の入 力２４１への層３Ｇ＋の出力からの信号は対応ファクタにより同時に重み付けさ れ、これら入力に個々に対応すると共に出力２４４に供給される多数の重み付き 信号を発生（生成）する０層３０２の各神経ユニット３０６においては、これら 重み付き信号は、その後、導！１２２３と２２４と回路２１６とにより加算され 加算合計信号を生成する。この加算合計信号からアクティベイシ３ンファンクシ ョンジェネレータ２６２は第２出力信号を層３０２神経ユニットの出力２６３へ 供給する。

上のバラグラフでふれたファクタは層３０１又は３０２のある要素のオペレーシ ョン（すぐ後に説明する）により個々に変化可能である。これらファクタは多数 のＨＯ３ＦＥ丁３４５の１つのフローティングゲート２５２の電荷により個々に 保存される。

この場合、各ファクタは、入力２４１を伴うゲートに保存される。この人力２４ １は、ゲートの電荷が対応チャンネル２５２を制御できるようにファクタが供給 される信号を受ける。したがって、このチャンネルが重み付は要素であり、層３ ０１の出力２６３からこれに接続される出力信号を受けると共にチャンネルを有 すＨＯ８ＦＥ丁２４５のゲート２５２から対応ファクタを受ける６乗算器２４６ は１４０ｓＦＥＴ　２４５に個々に接続されると共にそれに対する入力２４１へ も個々に接続される。したがって、セツティング回ｊ１２４７は対応ゲート２５ ２に保存されたファクタへ各乗算器から符合性の積を代数的に加える作用をする 。各ファクタは、故に、ＨＯ６ＦＥＴ２４５に接続された乗算器２４６の入力２ ５５〜２５７に供給された適当な信号により個々に変えられる。

この場合、　ＨＯ５ＦＥＴ２４５のゲート２５２にはファクタに対応する電荷が 存在する。

上記ファクタのこの個々の変化はＩＩＷＩに明確に示されている９図１において 、セレクト信号レベル〈これが乗算器入力５５〜５７の１つの大きな値を代表す る）をユニットセレクト導１１２０又は２１の一方だけに供給し、且つセレクト 信号レベルを入力セレクト導１１３２又は３４の一方だけ樟供給すると、どちら の導線にも＊＊されていない全乗算器４６からの積出力は実質ゼロとなる。この 場合、上記両導線には、大きな信号値が供給されている。結果として、これら乗 算器に対応するゲート５２の電荷は変化しないが、両導線に接続された乗算器は 「セレクト（選択）され」、利得ターミナル３０に供給される信号の値に対応・ 相当する積信号を出力する。よって、図１のように構成された層を有する人工神 経ネットワークは、利得ターミナルに供給される可変信号により且つ上記セレク ト導線に供給されるセレクタ信号によりトレーニングされうる。

５！ｉ２の回路１４０に保存されたファクタかヘビアン字習の場合にどのように 傾々に変化されるかを次に説明する。上記学習を用いる人工神経ネットワークの 一つの層の各導＠１６０はネットワークの他の層から第１出力信号を受け、この 出力信号は導線１６０により各回路１４Ｇの信号人力１４１と第３乗算器入力１ ５６とに供給される（導線はＩ回路４０を通って延びている）、ヘビアン字習ユ ニット１１０の各導線１６１はユニットの第２乗算器人力１５７にユニット自身 の出力１６３からの第２出力信号を供給する。回路１４Ｇに保存された各ファク タは個々の積に従って変化される。この積とは、上記第１及び第２出力信号の及 びユニット１１０がヘビアン字習用に機能するようにターミナル１３０に供給さ れる利得信号の積である。

デルタルール学習の場合、図３及び図４の回路２４０に保存されたファクタは、 ヘビアン字習の上述のファクタの場合と同様に個々に変化される。つまり、この 場合、利得信号がターミナル３１５から各第１乗算器入力２５５へ供給され、層 ３０Ｇ又は３０１からの出力信号がターミナルから各第１乗算器人力２５５（第 ２乗算器２５６）へ併給され、層３００又３０１からの出力信号は複数の導線２ ６０の一つにより層３０１又は３０２の各第３乗算器入力２５１に供給される。

しかしながら、デルタルール学習の場合には、導ｌ１２６１はエラー積信号を各 第２乗算器入力２５６へ供給するので、各乗算器２４６からの出力信号は上記利 得信号と出力信号とエラー信号の積となる。

各ユニット３０６の各シナプス回路３０７においては１作動中（ｉｎ　ｅｒｆｅ ｃｔｌのエラーチャンネル２８５は対応ゲート２５２から回路の入力２４１に対 応するファクタを受けると共にその導線２６１からユニットに対応するエラー積 信号を受け、回路の出力２８７においてエラーチャンネルからのエラー信号に対 し重み付き信号を発生する０層３０２にあっては、各エラー加算回路２８１と付 随導線２７０と２７１は、層３０１から出力信号を供給する導線２６０に個々に 対応する０回路２８７と導線２１０と２１１は、したがって、その人力２４１に おいて各導１１２６０に接続されているシナプス回ｊ３３０７からの重み付きエ ラー信号を合計するように機能すると共に、重み付きエラー信号の和を層３０２ のエラー出力２８８から層３０１へ伝搬するように機能する。

この結果、図４のネットワークは、適当な利得信号がターミナル３１５に供給さ れ適当なエラー信号がターミナル３０９に供給されると、デルタルール学習用に 作用し、対応ターミナル３０８の実際の出力と所望の出力との間の差をあられす 。

星座上りゴ■五態葺 本発明の人工神経ネットワークは、今日のデジタルコンピュータが用いられると ころには全て適用できる。しかしながら、上記ネットワークはロボット及びパタ ーン認識の分野で特に有効である。ロボットの分野では、一旦人工神経ネットワ ークがその義務・責務を教えられれれば、ロボット装置の寿命・損耗やワークに ついての小さな変化に拘らずその責務を正確に実行し続ける。パターン認識につ いては、ボトル内の液体の正しいレベル（高さ）を決定できるし、バフケージ内 の物体の数や型式を決定することもできる。さらに、住宅担保付き融資（ｈｏｓ ｅｓｏｒｔａｇｅ　１ｏａｎｌのような複雑に嘗かれたものを見て、使用者が、 神経ネットワークに教えられた基準に合うかどうか決定することさえできる。

本発明の多くの修正・改良・変更等が上述の教示をもとに可能であることは明ら かである。したがって、本発明は、上述の具体的な記述よりも以下の請求の範囲 の範囲内で実施できるものであると解されるべきである。

ＦＩＧ、　／。

ＦＩＧ、　２゜ ＦＩＧ、　３゜ ＦＩＧ、４（Ａ） ＦＩＧ、４（Ｂ）。

ＦＩＧ、　５゜ 平成３年４月２６日

Claims (8)

【特許請求の範囲】
1. １．人工神経ネットワークにおいて、 上記ネットワークが複数の第１神経ユニットを有する第１の層を有し、上記複数 の第１神経ユニットが複数の第１出力信号を有し、これら第１出力信号が上記神 経ユニットに個別的に設けらてれおり、上記ネットワークが第２の層を有し、 上記第２の層が複数の第２神経ユニットを有し、各第２神経ユニットが、 上記複数の第１出力信号を個々に受ける複数の入力と、上記入力に個々に対応す る複数のファクタを保存する手段と、上記対応ファクタにより、上記入力が受け た上記出力信号の各々にほぼ同時に重みを付けて上記入力に個々に対応する複数 の重み付き信号を生成するための手段と、 上記重み付き信号を加算して上記第２神経ユニットの和信号とする手段と、 上記和信号から、上記和信号に与えられた所定のアクティベイション関数にした がって第２出力信号を生成するための手段とを有し、上記第２の層が上記ファク タを個々に変化させるための手段を有することを特徴とする人工神経ネットワー ク。
2. ２．上記第２の神経ユニットの各々が、複数の金属酸化物電界効果トランジスタ を有し、これらトランジスタが上記入力に個別的に設けられている請求項１のネ ットワーク。
3. ３．上記保存手段が複数のフローティングゲートを有し、これらフローティング ゲートが上記トランジスタに個別的に設けらてれており、上記ゲートの各々が対 応する入力に対し上記ファクタの一つを保存する請求項２のネットワーク。
4. ４．上記重み付け手段が複数のチャンネルを有し、これらチャンネルが上記トラ ンジスタに個別的に設けられており、上記チャンネルの名々が対応するトランジ スタのゲートにより制御されて、対応する入力が受けた上記出力信号の１つに重 みを付ける請求項３のネットワーク。
5. ５．上記第２神経ユニットの各々において、上記保存手段が複数のメモリ要素を 有し、これらメモリ要素が上記複数の入力に個別的に設けられており、それに対 応する上記ファクタを保存するように構成されており、 上記重み付け手段が複数の重み付け手段を有し、これら重み付け手段が上記複数 の入力に個別的に設けらてれおり、各重み付け手段が対応する第１出力信号を受 けると共に、それに対応する上記メモリ要素の１つから上記ファクタの対応する １つを受けるように構成されており、上記ファクタ変化手段が複数の乗算手段を 有し、これら乗算手段が上記複数の入力に個別的であり、各乗算手段が第１入力 接続部と第２入力接続部と第３入力接続部と積接続部とを有し、各乗算手段がこ れら接続部において、上記乗算手段の上記入力接続部が受けた信号の符合付積に 対応する信号を発生し、 上記ファクタ変化手段が複数の代数的加算手段を有し、これら加算手段が上記乗 算手段に個別的であると共に上記メモリ手段にも個別的であり、上記加算手段の 各々が対応する積信号を変けると共に対応するメモリ要素に接続されて、上記符 合付き信号をそこに保存されているファクタに加え、上記第２の層が上記乗算手 段の各第１入力接続部に接続された利得導線を有し、 各第２神経ユニットが上記神経ユニットの上記乗算手段の各第２入力接続部に接 続された第１共通導線を有し、 上記第２の層が複数の第２共通導線を有し、各第２共通導線が上記層の各神経ユ ニットの上記乗算手段の１つの上記第３入力接続部に接続されている請求項１の ネットワーク。
6. ６．上記利得導線、上記第１共通導線、上記第２共通導線が上記第２の層の外に ある個別ターミナルを有し、 したがって、各乗算手段が、上記乗算手段に接続された上記第２共通導線と上記 第１共通導線とに供給された所定のセレクト信号により選択的にアドレス可能で あり、 且つ．上記利得導線に供給された可変信号がアドレスされた乗算手段の積信号を 決定して、付応ずる加算手段による対応するファクタヘの加算が行われて、上記 セレクト信号と上記可変信号とにより上記ネットワークをトレーニングする 請求項５のネットワーク。
7. ７．上記利得導線が第２の層の外のターミナルを有し、各第２神経ユニットの上 記第１共通導線がその上記第２出力信号を受け、各第２共通導線が上記第２神経 ユニットの入力が受けた上記複数の第１出力信号の１つを受け、上記第２神経ユ ニットが上記第２共通導線にそれらの上記第３接続部で接続された上記乗算手段 に対応し、したがって、上記第２の層が上記利得導線ターミナルに供給された利 得信号によりヘビアン学習用に作用する 請求項５のネットワーク。
8. ８．上記利行導線が上記第２の層の外にターミナルを有し、各第２共通導線が上 部第２神経ユニットの入力が受けた上記複数の第１出力信号の１つを受け、上記 第２神経ユニットが上記第２導線にその上記第３接続部において接続された上記 乗算手段に対応し、各第２神経ユニットが個別的に第１エラー信号を受け、各第 ２神経ユニットが、そこに与えられた所定の微分関数であって上記アクテイベイ ション関数の微分関数である微分関数にしたがって、対応和信号から微分信号（ ｄｅｒｉｖａｔｌｖｅ　ｓｉｇｎａｌ）を生成する手段を有し、各第２神経ユニ ットが、上記微分信号と上記第１エラー信号の積に対応するエラー積信号を生成 する手段を有し、各第２神経ユニットが、上記積信号が上記乗算手段の各々の上 記第２入力接続部に到達するようにすべく且つ、対応するファクタに加えられた 積が上記エラー積信号と上記第１出力信号の上記１つと上記利得ターミナルに供 給された利得信号の積に比例するようにすべく、上記エラー積信号を上記神経ユ ニットの上記第１共通導線に供給するための手段を有し、各第２神経ユニットが 、複数のエラー重み付け手段を有し、上記エラー重み付け手段が上記第２神経ユ ニットの上記複数の入力に個別的に設けられ、上記エラー重み付け手段が対応す る上記入力の１つに対応する上記ファクタの１つを受け、上記エラー重み付け手 段が上記第２共通導線に対する上記エラー積信号を受け、上記エラー積信号に上 記１つのファクタによって重みを付けて上記エラー重み付け手段の名々から重み 付きエラー信号を生成し、 上記第２の層が複数のエラー加算手段を有し、これらエラー加算手段が上記第１ 出力信号の各々に個別的であり、これらエラー加算手段が同一の第１出力信号を 受ける上記第２神経ユニット入力に対応する上記エラー重み付け手段によって供 給される重み付きエラー信号を受けて、上記加算手段の複数のエラー信号に個別 的な複数の第２エラー信号として上記重み付き出力信号を加算すると共に、上記 第１の層へ伝搬し、したがって、上記第２の層が各第２神経ユニットに供給され た第１エラー信号と上記利得導線ターミナルに供給された利得信号とにデルタル ール学習用に作用する 請求項５のネットワーク。