JPH0581227A

JPH0581227A - 神経系回路網信号処理装置及び信号処理方法

Info

Publication number: JPH0581227A
Application number: JP80000490A
Authority: JP
Inventors: Patrick F Castelaz; パトリツク・エフ・キヤステラズ; E Mills Dwight; ドウワイト・イー・ミルズ
Original assignee: Hughes Aircraft Co
Current assignee: Raytheon Co
Priority date: 1990-03-16
Filing date: 1990-03-16
Publication date: 1993-04-02

Abstract

(57)【要約】電子出願以前の出願であるので要約・選択図及び出願人の識別番号は存在しない。

Description

【発明の詳細な説明】（産業上の利用分野）本発明は特徴抽出及びパターン認識装置に関し、特に、入力センサー信号から直接的に特徴の確認のために必要なアルゴリズムを内部的に明らかにする、すなわち“学習”出来る神経系回路網（ニューラル・ネットワーク）の信号処理装置に関する。

（従来の技術）パターンを認識する能力は、現在生物学的組織のみが遂行できる知覚的タスクを遂行することが出来る人工的システムの開発に向かう重大な弟一段階である。音声パターン認識と視覚パターン認識は、通常のコンピュータで実行することが非常に困難な二つの分野である。これら及びその他のタスクを遂行できる人工システムを開発する努力においては、信号から特徴を抽出するために多くの信号処理技術が開発されてきた。これらの技術は、一般に広範囲に亘る前処理を必然的に伴う。

この様な前処理は、例えば、パルス幅、パルス振幅、パルス立ち上がり及び立ち下がり時間、パルス周波数等々を計測することを必要とする。これらの特徴が一度び抽出されると、それらはその信号の類別と識別のため蓄積されたパターンとの整合がとられる。これらの段階を遂行するのに必要なソフトウエアーは、しばしば複雑で且つ開発するのに長時間を要する。その上、通常のデジタル信号処理装置は視覚パターンの位置付けにおける変化、又は音声認識の場合には、話者の相違のような入力信号のある変動を許容することが出来ない。最近では、逐次的に作動する通常のフォン・ニューマン型コンピュータは、脳のような生物学的組織で起こる並列処理に殆ど類時点を持たないということが十分理解されてきた。それ故、通常の信号処理技術が当然人間の知覚に関連したタスクを適切に遂行することは出来ないことは驚くに当たらない。従って、脳の神経系モデルに基づいた新しい方法が、知覚的なタスクを遂行するため開発されつつある。これらのシステムは、神経系回路網、神経形態を持つシステム、学習マシン、並列分散型処理装置、自主的組織結成型システム又は適応性論理システムとして、種々知られている。その名称が何であれ、これらのモデルは並列に作動する多くの非線形演算要素を利用し、これらは生物学的な神経系ネットワークに類似するパターンに配列されている。各演算要素すなわち “ニューロン”は、一般に動作を改善するため調整中に適応させられるウエイトすなわち“シナプス”を経由して接続されている。従って、これらのシステムは、その正しい出力が特別な入力に応答して達成されるまで、それ等のシナプス上のウエイトを変更することにより、自己学習機能を示す。一度び調整されると、神経系回路網は目標を認識して、その入力が不十分であったり又は背景雑音に隠されている場合であって、望ましい出力を生ずることが出来る。又、神経系回路網には各々が主として局部的な接続を持つより処理能力のある多数のノードがあるため、フォン・ニューマン型直列型コンピュータよりも、神経系回路網はより大きな堅牢性又は故障への耐性を示す。少数のノード又はリンクへの損傷は、全体に亘る特性を著しく損なうことはない。

各種のトポロジー、ニューロンの特性及び調整や学習規則を用いる広範囲の各種の神経系回路網モデルがある。学習規則はウエイトの内部集合を規定して、特性を改善するために、使用中又は調整中にウエイトが如何に適用されるべきかをを示す。図解による説明のために、これら神経系回路網モデルのあるものは、F.Rosenblattに交付された米国特許第3,287,649号に記述されたパーセプトロン(Perceptoron)；J.Hopfieldに交付された米国特許第4,660,166及び4,719,591号に記述されたホップフィールド網(Hopfield Net);R.Li ppmanの“神経系回路網を用いる演算への手引き” ，IEEE ASSP Magazine,April 1987,P.4-22)に記述されている、ハミング網(Hamming Net)及びコホーネン(Kohohonen)自主的組織マップ；及びRu melhart,Hinton,& Williamsの“エラー伝搬による学習の内部表現”(D.E.Rumelhart& J.L.McCle lland(Eds.)の並列分散型処理；認識力に関するマイクロ構造での探求，Vol.1:基礎．MIT Press( 1986)に記述された多重層構造型パーセプトロンに対する一般化されたデルタ規則(Delta Rule)を含む。

これらモデルの各々が、それが最も良く適している特別の知覚的なタスクで異なった成功の程度を達成しているが、これらシステムに要求された並列入力は実時間のハードウエア実現のため、特種目的の前処理装置を必要とすると考えられている。（R.Lippmannによる上述の論文を参照のこと）。例えば、Rosenblattのパーセプトロン（米国特許第3,287,649号）では、各入力は別個の周波数帯のアナログ音声信号を受信する。音声認識に対する極く最近の生理学に基づいた前処理装置のアルゴリズムは聴覚神経で有用なものと同じ様な情報を提供しようと試みている。従って、神経系回路網は自己学習及びソフトウエアの除去という明確な利点を提供しているが、ある量の前処理が依然として神経系回路網の前段に要求されていた。従来の神経系回路網はデジタル処理装置よりも、より少ない前処理で済むかもしれないが、それらは依然としてこの欠点すなわち前処理を必要とする欠点を通常のデジタル信号処理装置と分担している。それ故、必要とされた前処理装置を除去又は相当減少する実時間信号処理が可能な神経系回路網を提供することが望まれるだろう。

（発明の要約）本発明によれば、神経系回路網の信号処理装置（NSP)は、前処理装置を必要としないが、その代わり、生のセンサー信号データを受信して分析することが出来る様に構成されている。このデータは一次元又は多次元の光学、音響又はその他の種類のデータから構成さている。このNSPは、特徴抽出及び入力として生のセンサー信号を受信でき、事前に実例により学習したアルゴリズムの特徴を使用することにより目標の特徴波形を識別できるパターン確認装置である。

本発明によれば、このNSPは、一層の入力処理装置、すなわち同じ様なニューロンのその他の層に接続された“ニューロン”から成る。ニューロンは、採用された特殊な神経系回路網のモデルに従って、重み付けられた接続子すなわち“シナプス”を通して相互に接続される。入力層のニューロンは、分析されるべき信号を受信するセンサー又はその他の信号生成手段に接続される。この信号は確認されるべき目標信号を含み、又はそれは、例えば、無関係の信号、不完全な目標信号、又はその目標信号の変化によりその生の信号に覆い隠されていた目標信号を含む。

この神経系回路網を“認識する”ために“調整する”ため、すなわち目標入力に応答して正しい出力と対応するため、目標又は調整用入力が繰り返しNSPに送られ、その回路網が望ましい方法で応答するまで、回路網はそのニューロン間の相互接続を適合させる。特別な調整アルゴリズムは採用された特殊な神経系回路網のモデルに特有のものとなるだろう。例えば、望ましい出力は、或る出力ニューロンが目標信号が現れた時に応答し、又その信号が無い時は応答しないと言う様な二進型の応答出力であろう。NSPは一つ以上の目標信号に応答するよう調整され得るということは当然注目されるべきである。このNSPにおける“知識” はその接続にあるので、与えられた調整期間中に十分な相互接続があるなら、その回路網は多くの異なった目標の類別で調整されだろう。一度調整されると、この回路網はその目標を包含している入力信号がその回路網に供給されると、入力が雑音を含んでいるか又は不明瞭であっても、正しい出力を出力するだろう。

本発明によれば、調整中及び未知の信号の確認中に、入力信号がこのNSPの入力ニューロンに直接供給される。段階的なやり方で、入力ニューロンを横切って入力信号を移動供給することによって、これは遂行される。サンプリング・ホールド回路の様な蓄積手段を採用している回路が、各々の独立した段階に対し信号を“停止”するのに使用される。単一又は静的な一組の入力が単一の出力を生ずるよう調整する場合に使用される調整策を採用しないで、本発明では、回路網は入力波形の連続している部分から成る変化入力に応答して、単一の出力状態を生ずるように調整される。

従って、入力の変化状態が回路網に単一の出力応答を生ずるように教えるので、一種の動的な学習が採用される。

好適な実施例では、この調整手順は次のようである。最初に、システムは休止しておりニューロン間のそのウエイトは種々の小さなランダム値にセットされる。次ぎに、入力信号の最初の部分が最初のニューロンに供給される。入力ニューロンはその入力信号の或る関数である応答を生ずる。

この応答は重み付けられた接続子を通して連続層にニューロンに伝えられる。この信号は出力が出力層のニューロンにより発生されるまで、NSPを通して伝達される。“代表的な”神経系回路網のモデルでは、学習アルゴリズムは、ニューロン間のシナプス的ウエイトの変更に影響を与えることにより、実際の出力と望ましい出力間の相違を最小化しようとする。

次に、入力信号は、最初の出力ニューロンが入力信号の第二の部分を受信するように、サンプリング回路を通して一段階進められる。その信号は回路網を通って再び伝達される。新しい出力が作り出されてウエイトが実際の出力と正しい出力間の相違を減少する様に再び調整される。この方法では、入力信号の各段階が入力ニューロンを横切った後、ウエイトが調整される。

最初の入力ニューロンが入ってきた後のある時点で、入力信号は第二のそれに続く入力ニューロンに進行する。従って、数段階の後に、入力信号の最初の部分が第二の入力ニューロンに供給されて、残りの部分が最初の入力ニューロンに供給される。この段階では、最初及び第二の入力ニューロンに導入された信号は、ただちに回路網を通して処理される。入力信号の長さ及び入力層の入力ニューロンの数の如何により、後の段階で、入力信号の異なった連続的な部分が同時に入力ニューロンの各々に供給されるかもしれない。その結果、信号の各部分は同時に回路網を通して処理されるであろう。一度び、完全な信号が各入力ニューロンを通して段階的な方法で移動すると、最初の調整サイクルが完了する。通常、NSPが適切に正しい応答を生ずるように調整される前に、多くの調整サイクルが要求されると言うことを注目すべきである。そして、付加的な調整サイクルが、 NSPにより類別されされるのが望ましい他の目標信号に対して採用さても良い。この様に、NSPは各々の異なった目標信号に対し異なった応答を生ずるよう調整される。要求された調整サイクルのサイクル数は、神経系回路網のモデルの種類、ニューロンの数、目標信号の複雑さ、等々を含む多くの要因に左右されるだろう。

全ての調整が完了すると、ある長さの未知信号がNSPに供給される。入力機構は調整中に採用されたものと同等である。すなわち、全部の入力信号が各入力ニューロンを通過するまで、信号は一連の異なった段階の入力層の各ニューロンを通過する。しかし、ウエイトは通常、調整サイクル中でのみ変えられる。調整中に使用された各々の段階を省略して、その代わりに未知の信号を連続的に供給することも可能である。

未知の信号が或る形式の目標信号のを含む場合、回路網はその目標に対応して調整中に出力した所定の出力を出力するだろう。例え雑音が存在しても又は純粋な目標信号から変更されていても、神経系回路網は応答するだろう。従って、NSPはどんな信号処理アルゴリズムにも無関係である構造を採用している。それは何等の前処理も、何等のソフトウエアも必要とせず、本質的に故障に耐えることができ、その標準構造は高速動作が可能であり構造が簡単で、比較的低価格となる。

（実施例）第１図には、通常の信号処理装置10のブロツク図が示されている。生のアナログ信号12はセンサー又はその他の信号発生装置の出力からなり、信号処理装置10に供給される。次いで、特徴抽出段階14の信号12から特徴を抽出するため、多くの動作が遂行される。これらの段階はパルス幅、パルス振幅、パルス立ち上がり及び立ち下がり時間、パルス周波数、等々の計測を必然的に伴う。特徴抽出処理の結果が、パターン認識段16で分析されて、蓄積記憶された特徴が抽出された特徴と比較される。そして信号処理装置10が整合のためサーチを実行する。整合が見出されると、この処理装置10は正確な類別を実行する。

この様な通常の信号処理装置は多くの欠点を持つ。これらは、その問題が十分に理解されること及び明白且つ複雑なアルゴリズムが明らかにされねばならないという要求条件を含んでいる。また、通常の信号処理を遂行するのに必要なハードウエアは、特に実時間処理に対しては高価且複雑である。本発明は、アルゴリズムが調整を通してその処理装置自身により作り出されるため、何等のソフトウエアも必要としない神経系回路網信号処理装置(NSP)を提供する。第２図には、NSPの実施例のブロツク図20が示されている。NSP20は個々の処理装置の複雑の行すなわち多層パーセプトロン(Perceptron)として知られた一般的な集合の構成で配列された“ニューロン”から成っている。多層パーセプトロンでは、ニューロンは三層又はそれ以上の層に配列されている。各ニューロンはその入力の予め決められた或る関数である出力を生ずる。最初のすなわち入力層はその入力ニューロン22と呼ばれているニューロンからなり、最終層のニューロンは、出力ニューロン24と呼ばれている。これらのニューロン22,24は各種の通常のデジタル又はアナログ装置から構成される。

例えば、オペ・アンプをニューロン22,24に使用しても良い。一つ又はそれ以上の内部層は隠されたニューロン26と呼ばれているニューロンから成っている。第２図には僅か三個のニューロンだけが各層に示されているにすぎないが、任意の数のニューロンが解決されるべき問題に従ってて採用され得ると言うことが理解されるだろう。各層の各ニューロンは、隣接の層の各ニューロンに接続される。すなわち、各々の入力ニューロン22は隣接の内部層の隠された各ニューロン26に接続される。同様に、内部の各ニューロン26は次段の隣接層の各ニューロンに接続される。この次段層は付加的な内部ニューロン26を構成する場合もあり、又は、第２図に示された様に、次段の層は出力ニューロン24を構成する場合もある。パーセプトロンでは、ニューロンは同じ層内の他のニューロンには接続されないと言うことに注意しなけらばならない。

ニューロン間の接続27の各々はウエイトすなわち“シナプス”28を含む。（混乱を避けるため第２図においては、接続27とシナプス28の或るもののみ番号を付している。しかし、数字27と28は示された全ての接続27とシナプス28を含むことを意味している。）これらシナプス28は可変抵抗、可変利得を持つ増幅器、又はキャパシターを利用するFET接続制御装置と共に実装される。シナプス28はニューロン間の接続の強さを減少又は増大するために用いられる。接続27は一本の線で示されているが、調整手順中に要求されるならば、二本の個々の線がそれぞれ二つの方向に信号を伝送するように用いても良い事が理解されるだろう。各シナプス28 の接続強度の値は或る予め決められた最大値から零まで変更される。そのウエイトが零である時は、結果的に二つのニューロン間には何の接続も無い。

NSP20をある信号を認識するように調整する手順は、望ましい出力がそのある入力に応答して発生されるまで、反復的なやり方で各シナプス28 の接続強度を調整することを伴う。なお特に、調整中、既知の波形を含んでいる生の信号、又は調整用目標信号30が、その入力層のニューロン22に供給される。本発明による特殊な入力機構が以下により詳細に説明されるだろう。この目標信号30 は入力層の各ニューロン22に供給されて、各ニューロンによる処理及び各シナプスの重み付け値の関数である出力が発生される。出力ニューロン24 からのこの出力が所望の出力と比較されて、実際の出力と所望の出力との間の相違が計算される。

この相違に基づいて、出力エラーの値を減少するように、各シナプス28のウエイトを調整するのに用いられるエラー信号が発生される。

上述の調整手順はそのエラー信号が受入れ可能なレベルに減少されるまで繰り返され、そして NSP20がその目標入力信号30に応答して所望の出力を生ずる。一度び調整されると、識別又は類別されるべき生の信号32が、調整用の目標信号30が導入された方法と同じ方法で入力ニューロン22に供給される。識別されるべき信号32は目標信号30 を含んでいるかも知れないし含んでいないかも知れない。又はそれはその目標信号30の退化したすなわち雑音を含んだ信号を含むかもしれない。その目標が或る様式有するなら、NSP20は調整中に目標信号30に対応した出力に対応する出力を発生するだろう。目標信号が存在しないなら、異なった応答又は何等の応答も発生されないだろう。

NSP20は二以上の目標信号30を認識するように調整されても良い。NSP20が認識できる目標の数は、ニューロンの数、層の数及びその目標信号の複雑さの様な各種の要素に依存するだろう。

NSP20が連続的な目標で調整されている時、そのニューロンを通る各目標の有効な“経路”はそのニューロンを接続している異なったウエイトにより異なるから、NSP20は多重目標を認識できる。

しかし、より多くの目標が導入されるにつれ、その後の調整手順は初期の目標を認識するためのNS P20の能力を部分的に消去又は機能低下させるよう、以前の調整からウエイトを変えるから、目標の数には限界がある。

第４図を参照して、、本発明によるNSP20の動作をより詳細に検討しよう。入力ニューロン22，隠されたニューロン26，及び出力ニューロン24の各々は一つ又はそれ以上の入力を持ち且つ単一の出力信号を生ずる同じ様な処理ユニットから成る。

好適な実施例においては、Rumelhartによる上述の論文の記述された後方伝達調整アルゴリズムの修正された改訂版が採用されている。このアルゴリズムは、各ニューロンがその入力の連続微分可能な非線型又は半線型関数である出力を生ずる。

この関数は活性化関数と呼ばれ、次の一般型のＳ字状記号(Signoid）論理的非線型関数であることが望まれる。

ここに、ｙ_（ｉｊ）は層ｉのニューロンｊの出力で、Σｗ_ｊｉｙ_（ｉｊ）はその前の層からのニューロンｊへの入力の合計であり、ｙ_（ｉｊ）はその前の層の各ニューロンの出力であり、ｗ_ｉｊはその前の層のニューロンをニューロンｊに接続している各シナプスに関連したウエイトであり、 θ_ｊはスレッショルドに関数的に類似のバイアスである。このＳ字状関数ｙ_（ｉｊ）の一般形状は第３図に示されている。

net_ij＝Σｗ_ｉｊｙ_（ｉｊ）＋θｊに関するこの関数ｙ_（ｉｊ）の微分関数は、次式で与えられる。

従って、この活性化関数が微分可能であると言う要求条件が満たされる。

調整中、この活性化関数ｙ_（ｉｊ）は各ニューロンに対し同じであるが、各シナプス28のウエイトは修正される。従って、接続パターンは経験の関数として修正される。各シナプス28のウエイトは次式に従って修正される。

(3) Δｗ_ｉｊ＝ηδ_（ｉｋ）ｙ_（ｉｊ）ここに、δ_（ｉｋ）はそのラインに沿った入力を受信しているニューロンに得られるエラー信号であり、ｙ_（ｉｊ）はそのラインに沿う活性化関数を送るユニットの出力であり、またηは比例常数であり学習率と呼ばれる。

このエラー信号の決定はその出力ユニットで始まる反復処理によって行われる。先ず、目標信号30が入力ニューロン22に送信される。これは出力信号が発生されるまでNSP20を通して信号を伝達する。この出力はそれから所望の出力と比較される。例えば、二進出力は、ある目標信号30に応答して、出力ニューロン24の或る一つが“オン” でその他が“オフ”であってもよい。活性化関数ｙ_（ｉｊ）は無限大のウエイト無しに１か０の極限値に達することは出来ないと言うことは当然であり、それ故、所望の出力が０又は１であることとして、0.1及び0.9の値が目標値として使用され得る。各出力ニューロン24により生じた実際の出力は所望の出力と比較されて、そのエラー信号はこの相違から計算される。出力ユニットに対しては、 (4) δ_ｉｊ＝（ｔ_ｉｊ−ｙ_ｉｊ）ｘ（ｄｙ_ｉｊ）／（ｄnet_ｉｊ）従って、式(2)から (5) δ_ij＝（ｔ_ij＝ｙij）（ｙ_ij)(1-y_(ij)) 隠されたニューロン26に何等の規定された目標は無い、よって、エラー信号はそれが直接に接続されているニューロン及びこれらに接続のウエイト・エラー信号の項に対しては、反復的に決められる。従って、無出力のニューロンに対しては、 (6) δ_ij＝ｙ(ij)(1-yij)Σ_ｋδ_ikｗ_(jk) 式(3)から、学習率ηは、そのエラー信号δ が伝達されるごとに幾つかのウエイトの変更を遂行すると言うことが分かる。学習率ηが大きくなればなるほど、ウエイトの変化が大きくなり、その学習率は早くなる。しかし、学習率が余りにも大きくされると、システムは発振してしまう。運動量常数αを用いる事により大きな学習率であっても発振は避けられる。

(7) Δｗ_(i,j,k)＝ηδｙ_(ij) ＋αΔｗ_(i,j,k) ウエイト空間の高い周波数の変化を効果的に濾過するウエイト空間の一種の運動量を提供して、常数αはウエイト空間の現在の移動の方向に過去のウエイト変化の結果を決める。

後方伝達調整アルゴリズムの概略が第５図に示されている。まず最初に、ウエイトｗとニューロン・オフセットが小さなランダム値に設定される（段階34）。次ぎに目標入力信号30の一部分が入力ニューロンに供給されその所望の出力が確定される（段階36）。入力信号30がニューロンの各層を通して伝達された後、出力値が式(1)に示されたＳ字状活性化関数ｙ_（ｉｊ）に基づいて各出力ニューロン24に対し計算される。次ぎに、実際の出力が生成供給されて（段階38）各出力ニューロン24に対する望ましい出力と比較され、式(5) のエラー信号δが計算される（段階40）。このエラー信号はそれから予め決められた許容値と比較される（段階42）。エラー信号が許容値よりも大きいなら、エラー信号は回路網を通して後方へ通過され、各ウエイトは式(7)で定義されたように量Δｗだけ変更させられる（段階44）。目標信号 30が再び供給されてエラーが受入れ可能なレベルまで減少されるまで、ウエイトは再び段階36-44 を繰り返して調整される。このエラー信号が予め決められた許容値よりも小さい時は（段階42）、目標信号30に対するその調整手順は完了する（段階46）。次いで、NSP20は新しい目標信号で再調整される。目標信号の全てに対し一度調整が完了すると、未知の信号32が入力ニューロン22に供給される（段階48）。その信号がネットワークを通して伝搬されると、出力ニューロンは出力信号を生ずる。もし目標信号が入力に供給されるなら、 NSP20はその目標信号を正しく認識するよう望ましい応答を生ずるだろう（段階50）。

本発明に従って、入力ニューロン22への入力信号の特別な入力機構を説明する。第４図を参照すると、目標入力30又は類別されるべき未知の信号32を構成する入力信号が入力ライン51に導かれる。この入力信号は各種の発生源から生ずるアナログ信号である。例えば、入力信号は、赤外線、レーダ、ソナー、及び音声センサーのような種々の信号発生センサーの一つから発生された一次元の情報を含む。又は、その信号は目標検出及び捜索、偵察の確認、等々の様な問題解決のための二次元のデータを含む。

ある場合には、入力信号はセンサーから直接発生される生の信号を含む事があり、その他の場合には、それはセンサーから引きだされたドップラー・データの利用の様に或る種の処理を遂行するのが望ましい。

どんな場合においても、入力データ信号は一連のサンプリング回路52,54,56，の第一段に送られる。サンプル・ホールド回路の様な各種のサンプリング回路が所望の機能を遂行する様に構築される事が望まれる。これらのサンプリング回路の目的は、入力ニューロン22にある多くのサンプルを含むサンプルされた信号データの窓口と共に、入力ニューロン22を提供することである。最初に、入力信号の前縁のサンプルが最初のサンプリング回路52に入れられる。この入力信号は出力が出力ニューロン24により発生されるまで、NSP20を通して伝搬させられる。次の段階で、その入力信号の次の部分が最初のサンプリング回路52によりサンプルされて、前段階のサンプリング回路52により受信された部分が次の段のサンプリング回路54 に送られる。従って、両サンプリング回路52,54 から生じている二つの信号は同時にNSP20を通して伝搬される。これらのサンプリング回路はクロック回路58からのパスルにより同期させられる。

その後、入力ニューロン22の全てが同時に入力信号の異なった部分を受信し、NSP20が各段階ごとに単一出力状態となる。最終的に、全入力信号が第４図のNSP20を通して右から左に段階的に伝搬する。調整モードでは、ある所望の状態が出力に現れるまで、その調整アルゴリズムが各段階の後、ウエイトを調整する。調整モードにない時は、NS P20はウエイトを調整しなが、入力信号32に対応する出力状態を生ずる。未知の信号32を分析するためにウエイトに何等の調整も必要ではないので、より小さな段階を用いて、又はサンプリング回路 52,54,及び56による連続的な方法で信号は交互に入力される。

信号の幅及び振幅、サンプルされた段階での幅、及び入力ニューロン22、隠されたニューロン 26及び出力ニューロン24の数、の様な種々の変数は分析されるべき信号の種類と共に変わる。NSP2 0のソフトウエア・シミュレーションの結果が三層のネットワーク信号処理装置20により二つの目標パターンの識別を実証している第６図にグラフ的に図解されている。

上述したように一乃至二次元の問題を解決するだけでなく、NSP20は予め検出されたデータの融合、自然言語処理、実時間の総合的エキスパート（専門家を必要としない）システム、多次元最適化類別の諸問題、及びその他の古典的パターン認識問題のような多次元の諸問題に適用可能である。NSP20の基本的構成要素は通常のアナログ又はデジタル電気回路で構成され、またアナログVL SI（超大規模集積）回路でも実現される。光学的デバイスも又NSP20の機能の或もの又は全てに使用できる。光学的な実用例はホログラフ蓄積、位相複合型光学、及びウエーブフロント変調やミキシングの様な分野の最近の進展により実現可能である。更に、NSP20が一度びある波形を認識するように調整されると、調整されたNSP20と同じであるが固定したシナプスのウエイト値を持つ調整されたNSP20の正確なコピーを作ることにより、 NSPは無制限に再提供される。この方法においては、NSP20の量産が調整手順を繰り返すこと無く可能である。

前述の説明から、本発明は自己学習が出来、複雑でなく低価格の構成要素で実現されしかもソフトウエアー無しで実現され得る高速度神経系回路網の信号処理装置20を提供する。それは通常の信号処理装置の様に破損を受け易いこと無く且つ堅実な方法で目標の識別を遂行できる。一度調整されても、NSP20は全ての新しい種類の目標に対しその後も再調整可能である。この技術に熟練した当業者にとって、その他の利点がこの発明の使用から得られると言うこと、又明細書、図面及び請求書の記載を参照すれば、本発明の技術的思想から離脱すること無く変更修正が行われ得ると言う事は明らかである。

【図面の簡単な説明】

第１図は汎用のデジタル信号処理装置のブロツク図；第２図は本発明による神経系回路網信号処理装置のブロツク図；第３図は本発明に関連する代表的なＳ字状活性化関数のグラフ；第４図は一層当たり三つのニューロンをもつ三層の本発明による神経系回路網のブロツク図；第５図は本発明による調整のための後方エラー伝達手段の段階を示すフロー・チャート；第６図は二つの目標信号の確認を示す神経系回路網の信号処理装置のコンピュータ・シミュレーション結果を示す模式図である。

Claims

【特許請求の範囲】

【請求項１】信号を受信して出力を生ずる複数のニュ
ーロン、及び前記ニューロン間にウエイト付け（重み付け）された結合を提供する複数の接続シナプスを有する神経系回路網であって、前記ウエイトの値を変化することにより入力に応答して所望の出力を生ずる様にそれ自身を適応調整させることの出来る神経系回路網において：外部入力信号を受信するの複数の入力ニューロン；前記入力信号の順次的に選択された部分を前記入力ニューロンに伝えるための手段；始めから終わりまで全入力信号が前記入力ニューロンの各々に伝えられように前記入力信号を進行するための手段；及び調整手順中に、調整入力の一部分が前記入力ニューロンに供えられる度ごとに、前記所望の出力を生ずる様に前記ウエイトを変更するための手段を含み、それにより、前記複数の調整手順の後、前記神経系回路網が前記調整入力の或る様式を含む入力信号に応答して前記所望の出力を出力することを特徴とする神経系回路網。
【請求項２】前記複数の入力ニューロンが前記入力信
号の異なった部分を同時に受信する事を特徴とする請求項１記載の神経系回路網。
【請求項３】伝えるための前記手段は複数のサンプリ
ング回路を含み、該サンプリング回路の各々は、前記入力信号に一部分を前記入力ニューロンに伝えるように一つの入力ニューロンに接続されている事を特徴とする請求項１記載の神経系回路網。
【請求項４】入力信号を進行するための前記手段は、各サンプリング回路の出力信号を次ぎに連なるサンプリング回路の入力に伝達するための手段；及び各サンプリング回路からの出力信号の伝達の同期をとるためのタイミング手段を含む事を特徴とする請求項１記載の神経系回路網。
【請求項５】前記ウエイトを変更するための手段は、前記所望の出力と調整中の実際の出力との間の相違を計算するための手段；及び前記所望の出力と実際の出力との間の相違を最小化するための手段を含む事を特徴とする請求項１記載の神経系回路網。
【請求項６】前記入力信号がセンサーから生ずるアナ
ログ波形から成る事を特徴とする請求項１記載の神経系回路網。
【請求項７】前記所望の出力が前記複数のニューロン
により生じた二進信号である事を特徴とする請求項１記載の神経系回路網。
【請求項８】前記ニューロンが更に：一層から成る入
力ニューロン層；少なくとも一層から成る内部ニューロン層；及び一層から成る出力ニューロンの層から成り、前記シナプスが各ニューロンと各隣接層の各ニューロンとの間に重み付けられた結合を提供する事を特徴とする請求項１記載の神経系回路網。
【請求項９】前記ニューロンは、なお：ｙ_(ij)は前段の層の各ニューロンの出力、ｗ_(ji)は前段の層のニューロンをニューロンｊに接続している各シナプスに関連したウエイト、 θ_ｊは固定されたバイアスをとる活性化関数に従う出力を生ずる事を特徴とする請求項１記載の神経系回路網。
【請求項１０】前記所望の出力と実際の出力との間の
相違を計算するための前記手段は各ニューロンに伝搬されるエラー信号δ_ijを生じ、前記エラー信号は δ_ij＝（ｔ_ij−ｙ_ij）ｙ_(ij)（１−ｙ_ic）で表され、前記所望の出力と実際の出力との間の相違を最小化するための前記手段は、 Δｗ＝ηδ_(ij)＋αΔｗ_(ijk) に従って計算されるΔｗにより、ウエイトを調整する事を特徴とする請求項５記載の神経系回路網。
【請求項１１】ある入力信号に応答して所望の出力を
生ずるための神経系回路網において：信号を受信して出力を生ずる複数のニューロン；前記ニューロン間に重み付けられた結合を生ずる複数の接続シナプス；前記神経系回路網は、前記重み付けられた接続の強度を変えることにより調整入力に応答して所望の出力を生ずるよう調整手順中それ自身を適用調整させることができ；前記ニューロンの選定された一つであって、外部入力信号を受信する入力ニューロン；前記入力信号の順次的に選定された部分を直接前記入力ニューロンに伝えるための手段；始めから終りまで全入力信号が前記入力ニューロンの各々に伝えられるように、前記入力信号を進行するための手段；及び調整入力が前記入力ニューロンを通して進行している間、調整手順中に前記所望の出力を生ずるよう前記ウエイトを変更するための手段を含み、それにより前記調整手順後、前記神経系回路網は前記調整入力の或る形を含む入力信号に応答して所望の出力を生ずる事を特徴とする神経系回路網。
【請求項１２】前記複数の入力ニューロンが前記入力
信号の異なった部分を同時に受信する請求項11記載の神経系回路網。
【請求項１３】伝えるための前記手段は、複数のサン
プリング回路を含み、該サンプリング回路の各々は前記入力信号の一部分を前記入力ニューロンに伝えるように一つの入力ニューロンに接続され手いる事を特徴とする請求項11記載の神経系回路網。
【請求項１４】前記入力信号を進行するための前記手
段が更に；各サンプリング回路の出力信号を次段サンプリング回路の入力に伝達するための手段；及び各サンプリング回路からの出力信号の伝達の同期をとるためのタイミング手段から成る事を特徴とする請求項11記載の神経系回路網。
【請求項１５】前記ウエイトを変更するための前記手
段が更に：前記所望の出力と調整中の実際の出力との間の相違を計算するための手段；及び前記所望の出力と実際の出力との間の相違を最小化するための手段を含む事を特徴とする請求項11記載の神経系回路網。
【請求項１６】前記入力信号がセンサーから生ずるア
ナログ波形から成る事を特徴とする請求項11記載の神経系回路網。
【請求項１７】前記所望の出力が前記複数のニューロ
ンにより生じた二進信号である事を特徴とする請求項 11記載の神経系回路網。
【請求項１８】前記ニューロンが更に；一層から成る
入力ニューロン層；少なくとも一層から成る内部ニューロン層；及び一層から成る出力ニューロンの層を含み、前記シナプスが各ニューロンと各隣接層の各ニューロンとの間に重み付けられた結合を提供する事を特徴とする請求項11記載の神経系回路網。
【請求項１９】前記ニューロンがなお：ｙ_(ij)は前段の層の各ニューロンの出力ｗ_(ji)は前段の層のニューロンをニューロンｊに接続している各シナプスに関連したウエイト、 θ_ｊは固定されたバイアスをとる活性化関数に従う出力を生ずる請求項11記載の神経系回路網。
【請求項２０】前記所望の出力と実際の出力との間の
相違を計算するための前記手段は各ニューロンに伝搬されるエラー信号δ_ijを生じ、前記エラー信号は δ_ij＝（ｔ_ij−ｙ_ij）ｙ_(ij)（１−ｙ_ic）で表され、前記所望の出力と実際の出力との間の相違を最小化するための前記手段は、 Δｗ＝ηδ_(ij)＋αΔｗ_(ijk) に従って計算されるΔｗにより、ウエイトを調整する事を特徴とする請求項15記載の神経系回路網。
【請求項２１】入力波形を類別するための多層型パー
セプトロンにおいて、前記入力波形を受信し前記入力波形のＳ字型関数である出力を生ずる複数の入力ニューロン；前記入力ニューロンから前記入力信号を受信し前記受信した信号のＳ字型関数である出力信号を生ずる複数の内部ニューロン；前記受信した信号のＳ字型関数である前記内部ニューロンからの前記出力信号を受信する複数の出力ニューロン；前記入力波形の順次的に選定された部分を前記入力ニューロンに伝えるため、それぞれ一つの入力ニューロンに接続された複数のサンプリング回路；始めから終りまでの全入力波形がそれぞれの段階で前記入力ニューロンの各々に伝えられる様に、各サンプリング回路の出力を次段サンプリング回路の入力に伝達するための手段；各サンプリング回路からの出力信号の伝達の同期をとるためのタイミングの手段；前記所望の出力と調整中のその実際の出力との間の相違を計算するための手段及び前記所望の出力と実際の出力との間の相違を最小化するための手段を含み、調整入力の一部分が前記入力ニューロンに伝えられる度ごとに所望の出力を生ずるよう前記パーセプトロンを調整するための手段から成り、それにより複数の前記調整手順の後、前記パーセプトロンは前記調整入力の或る形を含む入力波形に応答して前記所望の出力生じることを特徴とする多層型パーセプトロン。
【請求項２２】ある特性波形を持つ入力信号を類別す
るための方法において：処理ユニットのネットワークにより前記入力信号を受信し；前記入力信号の複数の順次部分を同時にサンプリングし；前記処理ユニットの複数に前記入力信号の前記サンプルされた部分を伝え；前記入力信号のサンプルされた部分を全体の入力信号がサンプルされるまで前記処理ユニットの従続している処理ユニットを通して進行し；前記入力信号の前記サンプルされた部分の関数であって関連した重み付け関数である複数の中間信号を前記処理ユニットにより生じ；少なくとも前記中間信号の一つに依存する出力応答を生じ；既知の入力信号に応答して生じた前記出力を所望の出力と比較し且つ生じた出力と前記所の出力との間の相違を減少するよう前記重み付け関数を修正する事により前記ネットワークを調整し、未知の入力に応答して生じた出力と前記所望の出力とを比較して、生じた出力が前記所望の出力と整合する時、前記未知の信号が類別される段階から成ることを特徴とする方法。
【請求項２３】前記入力を進行する前記段階が個々の
段階で完遂され、前記重み付け関数が調整段階中に各個々の段階の後修正される事を特徴とする請求項 22記載の方法。
【請求項２４】複数の中間信号を生ずる段階及び出力
応答を生ずる段階の両段階は更に活性化関数に従う信号を生ずる段階を含む事を特徴とする請求項22記載の方法。
【請求項２５】前記重み付け関数を修正する前記段階
が Δｗ＝ηδ(ik)＋αΔｗ_(ijk)ただし、 δ_(ij)＝(tij-yij)ｙ_(ij)(1-yic) によりその重み付け関数を変更することを特徴とする請求項22記載の方法。
【請求項２６】処理ユニットのネットワークにより入
力信号を受信し；前記入力信号の複数の順次部分を同時にサンプリングし；前期入力信号の前記サンプルされた部分を複数の前
記処理ユニットに伝え；入力信号のサンプルされた部分を全体の入力信号がサンプルされるまで、従続している前記処理ユニットを通し進行させ；入力信号の前記サンプルされた部分の関数であって関連した重み付け関数である複数の中間信号を前記処理ユニットにより発生し；少なくとも前記中間的信号の一つに依存している出力応答を生じ；既知の入力信号に応答して生じた前記出力を所望の出力と比較し且つ生じた出力と前記所望の出力との間の相違を減少するよう前記重み付け関数を修正することによって前記ネットワークを調整し；未知の入力に応答して生じた出力と前記所望の出力とを比較して、生じた前記出力が前記望ましい出力と整合する時前記未知の信号が類別されることができるように構成される方法に従って入力信号を類別するめの情報処理装置。
【請求項２７】入力信号を類別するための情報処理方
法において処理ユニットのネットワークにより前記入力信号を受信し；前記入力信号の複数の順次部分を同時にサンプリングし；前記処理ユニットの複数に前記入力信号の前記サンプルされた部分を伝え；前記入力信号のサンプルされた部分をその全体の入力信号がサンプルされるまで従続している前記処理ユニットを通して進行させ；前記入力信号の前記サンプルされた部分の関数であって関連した重み付け関数である複数の中間信号を前記処理ユニットにより発生し；少なくとも前記中間信号の一つに依存している出力応答を生じ；既知の入力信号に応答して生じた前記出力を所望の出力と比較し且つ生じた出力と前記所望の出力との間の相違を減少するよう前記重み付け関数を修正することによって前記ネットワークを調整し；未知の入力に応答して生じた出力と前記所望の出力とを比較して、前記生じた出力が前記所望の出力と整合する時前記未知の信号が類別されるようにし；調整されたネットワークにおけるウエイトと同一となる様に第二のネットワークのウエイトを設定し、それにより、単一の調整されたネットワークから任意の数の調整されたネットワークを形成する各段階からなる信号処理方法。