JPH07168798A - 情報処理システム - Google Patents

情報処理システム

Info

Publication number
JPH07168798A
JPH07168798A JP6237514A JP23751494A JPH07168798A JP H07168798 A JPH07168798 A JP H07168798A JP 6237514 A JP6237514 A JP 6237514A JP 23751494 A JP23751494 A JP 23751494A JP H07168798 A JPH07168798 A JP H07168798A
Authority
JP
Japan
Prior art keywords
neuron
information processing
processing system
neural net
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6237514A
Other languages
English (en)
Inventor
Peter B L Meijer
バルタス レオナルド マイヤー ピエテル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JPH07168798A publication Critical patent/JPH07168798A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

(57)【要約】 【目的】 ニューラルネットの特性を本質的に拡張し、
ダイナミック特性を呈するニューラルネットを有し、真
のダイナミックニューラルネットを含むダイナミックシ
ステム用のシミュレータ有するとともに、完全に自動的
なモデル発生器として用いることができる情報処理シス
テムを提供せんとするものである。 【構成】 情報処理システムは機能的に複数の相互接続
ニューロンより成るフィードフォワードニューラルネッ
トを具える。ニューロンの少なくとも特定のニューロン
は複数の各ニューロン入力信号を受け、これに応答して
入力信号の関数であり、次の量、即ち、少なくとも１つ
のニューロン入力信号の変化割合および特定のニューロ
ン出力信号の変化割合の少なくとも１つであるニューロ
ン出力信号を発生する。ニューラルネットは信号依存遅
延、信号分散および移送推移で表わされるダイナミック
特性を呈する。このニューラルネットを学習してほぼ任
意のダイナミックシステムの刺激応答特性を表示し得る
ようにする。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は機能的に複数の相互接続
ニューロンより成るフィードフォワードニューラルネッ
トを有する情報処理システムに関するものである。各別
のニューロンは複数の各ニューロン入力信号を受け、こ
れに応答して各ニューロン出力信号を発生する。また、
本発明はダイナミックシステムのシミュレーションに対
しかかる情報処理システムを用いる方法に関するもので
ある。
【０００２】
【従来の技術】ニューラルネット ニューラルネットは高度な並列且つ分布態様で情報を処
理する。このニューラルネットはニューロンと称される
複数の基本処理ユニットにより機能的に構成され、この
ニューロンはシナプスと称される重み付き相互接続部を
介して相互連結され、従ってマス的に相互接続されたア
ーキテクチュアを形成する。各シナプスはソースとして
作用するニューロンにより供給される信号を評価測定し
て評価または重み付きされた信号を宛先として作用する
他のニューロンに伝達する。各ニューロンは代表的には
他のニューロンからシナプスを経てまたはニューラルネ
ット入力から複数の重み付き入力信号を受ける。慣例の
ニューラルネットでは、各ニューロンによって重み付き
入力信号を加算するとともにこの和に非直線性関数を適
用して他のニューロンへの伝送用出力信号を発生させる
ようにする。
【０００３】ニューラルネットの作動はモデルフリーで
ある。即ち、ニューラルネットの作動は所定のタスクを
遂行する予め特定されたアルゴリズムを必要としない。
その代わりに、ニューラルネットは例から学習しながら
データを適応的に処理する。ニューラルネットの処理は
捕集的に達成する。個別のニューロンの簡単な瞬時作動
およびニューラルネットを経る信号の分配によって全体
としてニューラルを複雑に機能させるようになる。この
種の組織によって複数のニューロンにより簡単なルール
の適用に従って個別のニューロンの状態に捕集的且つ瞬
時に影響を与えるようになる。ここに云う“フィードフ
ォワードニューラルネット”とは特定の層のニューロン
によってその出力信号を次の層の他のニューロンに供給
する複数の順次の層におけるニューロンの配列を意味す
るものとする。かかるニューラルネットは例えば誤差逆
伝搬によって学習して特定の処理タスクを実行すること
ができる。学習により得た処理容量は個別のメモリ素子
におけるよりも複数のシナプスで符号化する。ニューラ
ルネットは代表的には最適化問題を処理し、パターン認
識を実行し、分類タスクを遂行するのが好適である。
【０００４】ニューラルネットを用いるシミュレータ ヨーロッパ特許出願ＥＰ−Ａ０５４０１６６８明細書に
は実際のマシンのような制御すべき物体をシミュレート
するように作用するとともにニューラルネットを含むシ
ミュレータが記載されている。マシンの特性を表わすモ
デルは既知の型のシミュレータに対し予め慣例的に用意
される。モデルを管理する設計された特性およびマシン
の測定された実際の特性間の不一致を処理するために、
ニューラルネットワークを追加してこれら不一致に対す
る既知のシミュレータの結果を補正する。モデルの出力
をマシンの実際の出力と比較するとともにニューラルネ
ットの作動パラメータを調整して前記不一致が最小とな
るようにする。これによりモデルの精度を向上させる。
第１例では既知のシミュレータのニューラルネットを微
分手段によって優先させて処理すべき信号を微分すると
ともに信号値並びに１次および高次の時間導関数の値を
ニューラルネットに並列に供給する。第２の例ではニュ
ーラルネットを遅延ラインに優先させて順次の時間瞬時
に関連する信号値をニューラルネットに並列に供給す
る。
【０００５】
【発明が解決しようとする課題】ダイナミックシステム
の好適なコンパクトモデルを形成する正当なアプローチ
はダイナミックシステムに関する有用な知識を数値的に
良好な特性のハンドクラフトモデルに造りかえることで
ある。例えばトランジスタ装置、経済システム、天気予
報、それ自体の技術へのターンニングモデル化に対する
満足なモデルを開発するためには数人で数年、且つ多大
な知識および洞察力を必要とする。モデルを基とする基
本原理の開発および説明のためにダイナミックシステム
をモデル化しようとする際に満足する複雑さのため、既
知のモデル化技術は必要な精度および円滑さを得るため
に代表的には曲線当てはめに頼るようになる。しかし、
この場合にはディスクレチゼイションおよび補間効果を
導入し、これにより表示されているダイナミックシステ
ムから著しく変位するモデル特性に導かれるようにな
る。さらに重要なことは、かかるアプローチが静的また
は準静的モデル化にのみ用いられるようになることであ
る。完全にダイナミックなモデル、即ち、任意の型の刺
激に対する時間依存応答を信頼性良く予測することは刺
激信号で可能な任意の組のサンプル値を生ずる基礎を提
供するに必要な膨大な量のサンプルのため、曲線当ては
め及び補間技術のみに基づき構成することは実際場不可
能である。
【０００６】本発明は、上述した従来の情報処理システ
ムによって入力データを静的に出力データにマップする
ニューラルネットを用いると云う事実を認識して成した
ものである。即ち、入力データベクトルを出力データベ
クトルにニューラルネットマッピングすることは瞬時入
力データによって専ら決めるとともに例えば伝搬遅延の
ような一時的な影響および前の入力データベクトルとは
機能的に無関係とする。従って既知のニューラルネット
は、入力データアイテムの展開およびその個別の情報内
容によってニューラルネットの応答を管理する真のダイ
ナミック特性を本質的に呈し得ない。上述した従来例に
おけるように予備処理を行っても使用するニューラルネ
ットの静的特性を変更しない。
【０００７】本発明の目的はニューラルネットの特性を
本質的に拡張せんとするものである。本発明の他の目的
はダイナミック特性を呈するニューラルネットを有する
情報処理システムを提供せんとするにある。本発明の更
に他の目的は真のダイナミックニューラルネットを含む
ダイナミックシステム用のシミュレータを提供せんとす
るにある。本発明の更に他の目的は完全に自動的なモデ
ル発生器として用いることができる情報処理システムを
提供せんとするにある。
【０００８】
【課題を解決するための手段】本発明は機能的に複数の
相互接続ニューロンより成るフィードフォワードニュー
ラルネットを有し、各別のニューロンは複数の各ニュー
ロン入力信号を受け、これに応答して各ニューロン出力
信号を発生するように作動する情報処理システムにおい
て、特定のニューロンが、これに対するニューロン入力
信号および次の量、即ち、少なくとも１つのニューロン
入力信号の変化割合および特定のニューロン出力信号の
変化割合の少なくとも１つのほぼ関数である特定のニュ
ーロン出力信号を発生するように作動するようにしたこ
とを特徴とする。
【０００９】
【作用】基本的には本発明の特定のニューロンの入出力
特性は時間導関数またはある時間に亘る積分のような１
つ以上の一時的なオペレータを含む微分方程式または積
分方程式によって管理する。上述した変化割合は例えば
１次または高次の時間導関数あるいは時間導関数の任意
の組合せを含むものとする。これに対し従来の人工ニュ
ーラルネットのニューロンは、変化割合または時間積分
の明快な依存性のような任意の明らかに一時的な影響の
ない同一瞬時におけるニューロン入力信号の値のみの関
数である特定瞬時の値を有するニューロン出力信号を発
生する。従って本発明情報処理システムは真のダイナミ
ック特性、例えば信号応動遅延効果、位相推移または分
散およびメモリ効果を示すことができる。
【００１０】フィードフォワードニューラルネットの出
力は時間積分効果を導入することによって急激に変化す
る入力信号を受信する場合でも徐々に変化させることが
できる。或は又、ニューラルネットの出力は時間微分を
導入することによって徐々に変化する入力信号を受信す
る場合できる急激に変化させることができる。これは、
例えば著しく非直線性のダイナミック処理に対する共働
コントローラとしてニューラルネットの実際的な適用と
一致する。本発明のニューラルネットは各瞬時にのみ優
勢となる信号値のパターンに存在する情報を処理する従
来のニューラルネットと対比し、信号パターンの展開に
ある情報を処理するために用いることができる。特に、
本発明のニューラルネットは以下に説明するように自動
モデルタスクに有利に使用することができる。
【００１１】好適には、前記関数は特定のニューロンに
対するニューロン入力信号の直線性組合せに依存すると
ともに次の量、即ち、特定のニューロン出力信号の１次
時間導関数、特定のニューロン出力信号の２次時間導関
数、および特定のニューロンに対する少なくとも特定の
ニューロン入力信号の１次時間導関数の少なくとも１つ
に依存する。特定の例では、特定のニューロンによっ
て、特定のニューロン出力信号と、特定のニューロンに
対するニューロン入力信号を含む第１アーギュメントお
よび特定のニューロンに対する少なくとも１つのニュー
ロン入力信号の１次時間導関数を含む第２アーギュメン
トの非直線性関数にほぼ等しい特定のニューロン出力信
号の１次および２次時間導関数とをさらに直線性に組合
せるようにする。斯様にして、特定のニューロンを帯域
通過フィルタとして作用させる。帯域通過フィルタは多
様なダイナミックシステムの代表的な特性に近似する。
従って、かかるニューロンは以下に説明するようにモデ
ル化するシステムにおける重要な構成ブロックである。
【００１２】情報処理システムのフィードフォワードニ
ューラルネットが特定のタスクを学習し得るようにする
ためには、ニューラルネットを適応性とする。この目的
のために、ニューラルネットには、上述したように、関
数がその値を変更し得る少なくとも１つのパラメータを
含む上述した１つ以上の特定のニューロンを設ける。従
って、情報処理システムはパラメータの値を調整する手
段を具える。これがため真にダイナミックな非直線性シ
ステムをニューラルネットにマップして例えば信号位相
推移、信号伝搬遅延その他実際のダイナミックシステム
のダイナミック特性の他の特性を含めるようにすること
ができる。従って半導体のモデル化、電子回路のシミュ
レーション、天気予報、プロセス制御、経済システム、
論理システム、飛行シミュレーション、コンピュータ支
援製作等のような非直線性高次現象を処理する分野に適
用が考えられる。
【００１３】本発明のニューラルネットに真にダイナミ
ックなシステムをマッピングすることによってダイナミ
ックシステムのシミュレータを提供することができる。
これは次のようにして達成する。１つ以上の予め特定さ
れた刺激に対するダイナミックシステムの応答の時間的
な発展をモニタする。この際ニューラルネットは対応す
る予め特定された一時的な刺激を順次表わす入力を供給
する際モニタされた応答を表わす出力を発生するように
学習され始める。
【００１４】学習は次のステップを具える。フィードフ
ォワードニューラルネットはその値、例えばランダム値
またはモデル化すべきダイナミックシステムに関し予め
得られたある知識を考慮する値をその作動パラメータに
割当てることにより初期化する。次いで、刺激を表わす
入力をニューラルネットに供給する。ニューラルネット
から得た出力を所望の出力と比較する。比較の結果が所
定の規準に従って受け入れられない場合にはパラメータ
の値を更新手順例えば勾配下降アルゴリズムに従って更
新し、これにより入力を再びニューラルネットに供給す
るとともに新たに得られた出力を所望の出力と比較す
る。比較の結果が所定の規準に従って受け入れられる場
合には学習を終了し、最後に得た値を有効とする。この
学習されたニューラルネットはダイナミックシステムを
表わすものとして用いることができる。他方、ニューラ
ルネットを連続的に変化する環境に適応せしめるように
するために、学習を繰返し実行することができる。
【００１５】ニューラルネットをソフトウエアで実現す
る場合には例えば複数の時間ドメイン組を具える学習組
により次のように学習を実行することができる。時間ド
メイン組の各特定の組は特定瞬時の時間インジケータ
と、モデル化すべきダイナミックシステムに特定の時間
瞬時に供給された１つ以上の刺激の１つ以上のサンプル
を表わす入力ベクトルと、上述した特定の時間瞬時にダ
イナミックシステムによって供給される（すべき）もの
として応答を表わすターゲット出力ベクトルとを含む。
時間インジケータおよび対応する入力ベクトルはニュー
ラルネットに供給し、これにより出力ベクトルを発生す
る。時間インジケータの各特定の対および対応する入力
ベクトルによってこの対の時間インジケータに対応する
ものと考えられる特定の出力ベクトルを発生する。かく
して得られた出力ベクトルを同一の時間インジケータに
対応する所望のターゲット出力ベクトルと比較する。全
ての比較されたターゲット出力ベクトルと得られた出力
ベクトルとの間の不一致をコスト関数に蓄積して、コス
ト関数の値を慣例のニューラルネットを学習する手順と
同様の手順を用いるニューラルネットのパラメータを更
新することによって最小とする必要がある。ニューラル
ネットは一旦学習されるとモデル化されたダイナミック
システムのダイナミック特性と同様のダイナミック特性
を呈する。さらに、ニューラルネットに固有の汎用化が
可能であるため、学習されたニューラルネットはダイナ
ミックシステムが新たな刺激のもとで実行される場合と
同様に新たな入力に応答するようになる。
【００１６】かくして学習されたニューラルネットはホ
ストコンピュータシステムにソフトウエアの形態で用い
ることができる。また、ニューラルネットソフトウエア
はハードウエア、例えば電子回路にマップすることがで
きる。さらに、例えばその値が学習手順中特定されたパ
ラメータを有する一組の微分方程式の形態のニューラル
ネットソフトウエアを他の処理のためにシミュレータに
ロードすることができる。
【００１７】或は又、あるいは時間ドメイン学習に加え
て、本発明の情報処理システムのニューラルネットは周
波数ドメイン組の学習組によって学習することができ
る。
【００１８】今、ダイナミックシステムには、一定のバ
イアス部分およびバイアス状態で直線化するには著しく
弱い変化部分より成る刺激を供給するものとする。従っ
て、モデル化すべきダイナミックシステムに所定周波数
の高調波的に変化する刺激を供給する場合には、ダイナ
ミックシステムによって同一の所定周波数の高調波的に
変化する応答を得ることができる。従って応答および刺
激間の比をこの周波数の一般的な複素伝達関数によって
表わす。多重入力および多重出力を有するダイナミック
システムは関数素子が各複素伝達関数により形成される
転送マトリックスによって特徴つけられる。
【００１９】上述したように本発明情報処理システムの
ニューロンはニューロン出力信号の１次および２次時間
導関数並びにニューロン入力信号の１次時間導関数を含
む微分方程式によって代表的には特定される特性を呈す
る。微分方程式は、高調波解析を適法に適用するため
に、バイアス状態により直線化することができる。次
に、ニューラルネットの特性は、バイアス状態を含むと
ともに周波数に依存する複素入出力特性を特定化する転
送マトリックスによって説明する。ニューラルネットの
パラメータはこの伝達関数のパラメータとして生ずる。
今、モデル化すべきダイナミックシステムに供給される
刺激を表わす高調波的に変化する入力がニューラルネッ
トに供給される場合にはこのニューラルネットは高調波
的に変化する出力を発生する。従って、更新手順にパラ
メータを適応することによってニューラルネットを学習
して高調波的に変化する刺激のもとでダイナミックシス
テムにより提供される応答を表わす出力を供給する。
【００２０】ソフトウエアで実現されるニューラルネッ
トは複数の周波数ドメイン組を具える学習組によって学
習することができる。周波数ドメイン組の各特定のドメ
イン組は１つ以上の特定のバイアス状態を示すバイアス
インジケータ、特定の周波数に対する周波数インジケー
タ並びに特定のバイアス状態および特定の周波数に対応
しダイナミックシステムの伝達関数を示すターゲット転
送マトリックスを含む。この特定のバイアス状態に対し
ニューラルネットの得られた転送マトリックスを関連す
るターゲット転送マトリックスと比較する。ターゲット
転送マトリックスの全ての比較された対と得られた転送
マトリックスとの間の不一致をコスト関数に蓄積して、
コスト関数の値を慣例のニューラルネットを学習する手
順と同様の手順を用いるニューラルネットのパラメータ
を更新することによって最小とする必要がある。ニュー
ラルネットは一旦学習されるとモデル化されたダイナミ
ックシステムのダイナミック特性と同様のダイナミック
特性を呈する。さらに、ニューラルネットに固有の汎用
化が可能であるため、学習されたニューラルネットはダ
イナミックシステムが新たな刺激のもとで実行される場
合と同様に新たな入力に応答するようになる。
【００２１】本発明は信号展開を考慮した前記ヨーロッ
パ特許出願ＥＰ−Ａ０５４０１６８号の予備処理を用い
ない。既知のニューラルネットに供給される入力ベクト
ルのｉ番目の成分はニューラルネットによって処理すべ
きある信号の（ｉ−１）次時間導関数を示す値を有す
る。しかし、いまだ従来のニューラルネットは完全に静
的である。本発明では、一時的オペレータをニューロン
内に機能的に導入することによりニューラルネットを完
全にダイナミックにする。
【００２２】本発明の情報処理システムは自動モデル発
生器として用いるのが有利である。先ず最初、システム
のニューラルネットのトポロジーを層の数および層の各
々に対するニューロンの数によって選択する。各ニュー
ロンは非直線性帯域通過フィルタとして作用し、その出
力特性はニューロン入力信号の直線性組合せを含むとと
もに入力信号の１次時間導関数の直線性組合せを含む非
直線性関数であるソース項を有する２次微分方程式によ
って記述する。これら方程式のパラメータの値はニュー
ラルネットを学習することによって求める必要がある。
ニューラルネットはパラメータの値が傾斜降下による誤
差逆伝搬のようなある最適化手順に従って繰返し修正す
る上記方法によって所望のダイナミック特性を表示する
ことをおそわる。パラメータの値が学習状態で充分正確
に求められた場合には、ダイナミックシステムのモデル
を、ハードウエア、即ち、学習されたニューラルネット
において、または、ソフトウエア、即ち、１組みの結合
された微分方程式において得ることができる。
【００２３】ハードウエアによる解決においては、学習
されたニューラルネットをアーキテクチュア内にビルデ
ィングブロックとして用いることができ、例えばこれを
コントローラ、即ち、複数のかかるニューラルネットで
構成し、各ニューラルネットを学習して１つ以上の専用
ダイナミック刺激応答特性を呈するようにする。かかる
アーキテクチュアは少なくともニューロンレベルで充分
に均一性を有する。
【００２４】ソフトウエアによる解決においては、微分
方程式の組を例えばマイクロコントローラのマイクロコ
ードにマップして専用制御特性を提供する。電子回路の
刺激内では、ソフトウエアの表示をソース、コンデン
サ、抵抗およびインダクタンスのような直線性または非
直線性素子によって等価電気回路の記述にマップするこ
とができる。これによる等価回路の記述をその関数性に
関し、または他の回路との共働によりたのテストに対す
るＳＰＩＣＥのような既知の回路シミュレータに供給す
る。
【００２５】
【実施例】図面につき本発明の実施例を説明する。ネット構造 図１はフィードフォワードニューラルネット１００を具
える情報処理システム１０の１例の構成を示す。このニ
ューラルネット１００は機能的にはＫ＋１層（本例では
Ｋ＝２）より成り、各層ｋ＝０, １, ・・・, ＫはＮk
個のニューロンを有する。本例では入力層をｋ＝０，１
つの隠れ層をｋ＝１および出力層をｋ＝２とする。各層
のドット例えばドット１０２，１０４は個別のニューロ
ンを表わす。次の層のニューロンはその入力端子をソー
スニューロン１０２および宛先ニューロン１０４間のシ
ナプス１０６のようなシナプスを経て前の層のニューロ
ンの出力端子にのみ接続する。層“ｋ−１”のソースニ
ューロン“ｊ”および層“ｋ”の宛先ニューロン“ｉ”
間のシナプスによってソースニューロンから宛先ニュー
ロンに伝送される信号ｙj,(k-1) に重みｗijk を割当て
る。層“ｋ”の宛先ニューロン“ｉ”によってニューロ
ン出力信号ｙi,k を発生する。代表的には宛先ニューロ
ンはこれを複数のソースニューロンに接続するとともに
複数の重み付き入力信号を受ける。従来のニューラルネ
ットでは宛先ニューロンによってニューロン出力信号を
発生し、その値を受信したニューロン入力信号の値の直
線性組合せの非線形関数とする。入力信号および出力信
号瞬時値のみが相互関連する際従来のニューラルネット
は静的マッピングを行うようになる。
【００２６】本発明では、個別のニューロン１０２およ
び１０４を充分に強力にしてニューロンによって時差分
演算子のような時相演算子を経て受信したニューロン入
力信号に依存するニューロン出力信号を発生し得るよう
にする。従って、数学的にはニューロン出力信号はニュ
ーロン入力信号により求められたソース項を有する微分
方程式の解である。従ってニューラルネット１００の出
力は変化する入力信号を受信する際徐々に変化し得るよ
うになる。これにより例えば結合コントローラのような
ニューラルネットの実際的な適用を充分に達成する。さ
らに、ニューラルネットの時相特性を求めるニューラル
ネット１００の演算パラメータは予め指定された特性、
例えば実際のダイナミックシステムニヨ表示されるよう
な刺激応答特性を模倣するようにニューラルネット１０
０を学習することによって適応することができる。
【００２７】ダイナミックニューロン特性；時間ドメイ
ン 本発明におけるニューロンの活動を図２乃至図１１につ
き説明する。図２はニューロンの作動を特定する式を示
す。本例では、層“ｋ”のニューロン“ｉ”のニューロ
ン出力信号ｙi,k は２次線形微分方程式（ｉ）に従う。
ここに標記ｙi,O はニューラルネット１００の入力ノー
ド“ｉ”に対する入力信号を示す。信号ｙi,k の値、即
ち、それぞれ係数τ1,ikおよびτ2,ikで位取りされたそ
の１次導関数ｄｙi,k ／ｄｔおよび２次導関数ｄ2 ｙ
i,k ／ｄｔ2 の線形組合せはソース項Ｆ（ｓi,k ，δ
i,k ）を等しくする。ソース項Ｆは変数ｓi,k の非線形
関数である。量ｓi,k の表示は式（ii）により与える。
この量ｓi,k は層“ｋ”のニューロン“ｉ”に関数的に
接続された前の層“ｋ−１”のソースニューロンのニュ
ーロン出力信号値ｙi,(k-1) の線形組合せを含む。信号
値ｙi,(k-1)はシナプスの重みｗijk によって重み付け
を行う。また量ｓi,k は層“ｋ”のニューロン“ｉ”に
接続された層“ｋ−１”のニューロンに関連する１次時
間導関数ｄｙi,(k-1) ／ｄｔの値の線形組合せである。
各１次時間導関数ｄｙi,(k-1)／ｄｔは各係数ｖijk に
よって重み付けを行う。ｗijk 項およびｖijk 項によっ
て層“ｋ−１”のソースニューロン“ｊ”を層“ｋ”の
宛先ニューロン“ｉ”に結合する。項θi,k は層“ｋ”
のニューロン“ｉ”の個別のしきい値を示す。ソース項
Ｆの第１例は式（iii ）で特定する。ソース項Ｆの第２
例は式（iv）に与える。代表的にはソース項Ｆは推移パ
ラメータδi,k がソース項Ｆの変化の適宜のスケールを
決める量ｓi,k の単調に増大するエス字状関数である。
【００２８】パラメータτ1,ikおよびτ2,ikに対し双方
が零に等しく、重みｖijk の全部が零に等しいものとす
ると、式（ｉ）は非線形関数を経てニューロン出力信号
にのみニューロン入力信号の線形組合せをマップする慣
例のニューロンの静的特性を記述する。しかし、本発明
のニューロンの出力はヒストリーを考慮し、これは消去
されないパラメータτ1,ikおよびτ2,ikを有する項の存
在する結果である。
【００２９】式（ｉ）−（iv）は適宜のパラメータを設
定するための非線形帯域通過フィルタを示す。ｖijk 項
の振幅は周波数とともに成長し、且つｗijk 項および充
分な高周波数に対するしきい値を支配する。ｖijk 項は
層“ｋ”のニューロン“ｉ”に対するニューロン入力信
号の急速な変化を検出する手助けを行う。しかし、τ
1,ik項も、τ2,ik項が高周波数振幅を零に徐々に減少す
るまで、伝達関数の振幅に導かれる周波数をｖijk ／τ
1,ikの割合で増大しながら成長する。パラメータτ1,ik
によって時間積分を可能にし、これにより入力ｓi,k を
も時間平均化する。これは抵抗およびコンデンサの直列
配置に並列に配列された電圧ソースを経て達成される同
一種類の低域通過フィルタである。
【００３０】図３は層“ｋ”のニューロン“ｉ”として
表わされる単一ニューロン３０を示す。このニューロン
３０は上述したように前の層“ｋ−１”のニューロンか
らニューロン入力信号ｙ1,(k-1) ,・・・, ｙj,(k-1) ,・・
・, ｙN(k-1), (k-1) を受けてニューロン出力信号ｙ
i,k を発生する。
【００３１】ニューラルネットを例えばデジタルコンピ
ュータで実現する必要がある場合には、式（ｉ）−（i
v）は数値的に処理し得るフォーマットに計算する必要
がある。多くの汎用アルゴリズムは数値的積分を行って
正確な時間ステップサイズとアルゴリズム的な複雑さと
の間の交換を行うようにする。例えば後進オイラー積分
法によって可変時間ステップサイズに対し簡潔性および
数値安定性を提供する。次に説明する図４の式（ｖ）−
（vii ）は式（ｉ）−（ii）の打切り形状を示す。時間
ステップは“ｈ”で示す。式（ｖ）−（vii ）の時間依
存量ｙ1,k およびｙ1,(k-1) は時間“ｔ”における信号
の値を示し、時間依存量ｙ′1,k およびｙ′1,(k-1) は
時間“（ｔ−ｈ）”における関連する信号の値を示す。
【００３２】２次微分方程式（ｉ）を２つの１次微分方
程式（ｖ）−（vii ）に変換するものとする。式（ｖ）
−（vii ）は量ｙ1,k およびｚ1,k で明快に解くことが
できる。この結果」は量ｓ1,k が式（vii ）の直接代入
によって得られる図４の式（viii）および（ix）の組で
ある。初期状態は図５の式（ｘ）−（xii ）により与え
られるように、一定の定常状態に対する条件下で明白な
式の順方向伝搬から直接追従する。
【００３３】過渡感度の式、即ち、ニューラルネットの
演算パラメータに対する偏導関数は先ず最初式（ｖ）お
よび（vi）と同様に２次微分方程式（ｉ）を２つの１次
微分方程式に変換し、次いでこれら方程式および以下
“ｐ”で示される任意のパラメータに対する式（ii）を
微分することによって得られる。この結果は図５の方程
式（xiii）−（xv）で与えられる。方程式（xiii）−
（xv）は後進オイラー積分法を用いて打切り且つ書換え
て図６の式（xvi ）−（xviii ）を与える。偏導関数に
対する初期値は図７の定常状態方程式（xix ）−（xxi
）の順方向伝搬に追従する。
【００３４】パラメータ“ｐ”に対する特定の選択によ
って実際の実現式をうる必要がある。パラメータｐがニ
ューラルネットの層ｋに関連する場合には、即ち、パラ
メータｐが量ｙk,k に対する式に明白に現われる場合に
は、このパラメータｐをパラメータδi,k ，θi,k ，ｗ
ijk ，ｖijk ，τ1,ikまたはτ2,ikの１つトスることが
できる。式（xvi ）−（xviii ）は前の時間瞬時に関連
するデータを含む“時間−分岐”関係に導かれるように
するのが重要である。前の時間瞬時の導関数がそれ自体
この瞬時のデータだけでなく古いデータにも依存する状
態で、回路網に帰還する場合には依存性のツリーが導出
されるようになる。この多重時間瞬時処理の必要性は高
次の微分方程式を表わす多重層回路網を考慮する場合に
明らかとなり、この高次の微分方程式は、直接１次打切
り後、ｎ＋１時間瞬時に対する値を含み、ｎは微分方程
式の次数とする。パラメータｐが前の層に関連する場合
には式（xvi ）−（xviii ）を簡潔にすることができ、
従って偏導関数はパラメータｐが存在する層に的中する
まで図８の式（xxii）−（xxiv）から巡回的に見いだす
ことができる。実際の計算は巡回を防止するために柔軟
に行うことができる。前の層のパラメータに対するこの
処理の初期偏微分係数値は図８の式（xxv ）−（xxvii
）に追従する。
【００３５】“ｋ”番目の層の単一ニューロン“ｉ”に
対する全てのパラメータは共に図９の式（xxviii）にお
けるようにニューロンパラメータベクトルｐ(ik)として
示す。全ての層の全てのニューロンに対する全てのパラ
メータベクトルｐ(ik)の集合は正味のパラメータベクト
ルｐであり、これは共に連結された全てのニューロンパ
ラメータベクトルｐ(ik)の連鎖と称される。パラメータ
の値、即ち、正味のパラメータベクトルｐの成分の値は
データを学習する際のある種の最適化によって求めるこ
とができる。例えば、ニューラルネットを半導体装置を
モデル化するために学習する必要がある場合には半導体
装置に印加するある大きさの直流電圧をニューラルネッ
トに対する入力データとして用いるとともに半導体装置
の対応する端子電圧の測定された量を一定の定常状態に
対するニューラルネットの所望の、またはターゲット出
力として採るようにする。過渡特性に対しては電圧およ
び電流を時間の関数として含む完全な波形は入力および
ターゲット出力を記述するために必要である。回路網の
過渡特性は各波形の時間ｔ＝０における定常状態の解析
により初期化する。回路網の学習状態は特定の定常状態
および過渡特性の全てをできるだけ密にモデル化する試
みにある。これは最適化の問題を導く。一定の定常状態
の場合は特定の場合として、即ち、ｔ＝０のみに対して
学習することができる。
【００３６】回路網に対する完全な学習組Ｓtrは半導体
装置への１つ以上の異なる入力信号に対して規定し、学
習組を組の集合とする。各組は時間ドメインに関連する
１群のサンプルであり、時間瞬時インディケータ
ｔs,i 、回路網入力ベクトルｘ(0) s,i およびターゲッ
ト出力ベクトルｘ s,i を具える。添字“ｓ”および
“ｉ”は“ｉ”番目の時間瞬時における“ｓ”番目の信
号の値に関するものである。回路網入力ベクトルｘ(0)
s,i およびターゲット出力ベクトルｘ s,i はモデル化す
べき実際のダイナミックシステムに供給される刺激およ
びｉ番目の時間瞬時の全てにおいて実際のダイナミック
システムにより生ずる応答をそれぞれ示す。要約すれ
ば、完全な学習組Ｓtrは次のように表わすことができ
る。
【００３７】
【数１】 上述したように導入した局部時間ステップのサイズ
“ｈ”は簡単ｎｉ差ｔs,i+1−ｔs,i となる。信号
“ｓ”当たり１時間サンプル、即ち、ｔs,i=0 のみを用
いて特定のバイアス状態、例えば上述した半導体装置の
場合には直流状態に対し一定の定常状態を規定すること
ができる。一般に、ターゲット出力ｘ s,i は瞬時ｔ s,i
における回路網入力ｘ(0) s,i から得た回路網出力ｘ
(k) （ｔs,i ）とは初期的に相違する。
【００３８】時間ドメイン誤り測定Ｅtrは回路網により
実際に導出した出力および所望のターゲット出力間の不
一致を表わす誤りを累積するように規定する。これら誤
りは全ての回路網出力、“ｉ”が添字された全ての時間
瞬時および“ｓ”概数添字された全ての信号に対し累積
され、次式で表わすことができる。
【００３９】
【数２】 ここにベクトル変数のスカラー関数∈trは総合誤りＥtr
に対する特定の瞬時の特定の信号の個別の寄与を示す。
代表的には∈trは１／２でスケールした変数自体の内積
となるように選定する。
【００４０】手順の多様性は正味のパラメータベクトル
ｐのパラメータに対し誤りＥtrを最小にするようにして
得る。一例は学習可能なニューラルネットの分野におい
て誤り後進伝搬から既知の傾斜下降とも称される最も急
峻な下降の例である。これは最も一般的な更新計画の１
つである。その理由は最も急峻な下降を用いる誤り後進
伝搬が局部解式のみを含むからである。即ち、各ニュー
ロンはその入力重みにより順方向経路にエンターするバ
イアス情報およびその出力を経て逆方向経路にエンター
する誤り感度情報を必要とするのみである。最も急峻な
下降の欠点は性能が比較的低く、即ち、多数の反復を必
要とし、最適化への収束が保証され得ないことである。
最も急峻な下降自体のテーマ例えば追加の運動量を考慮
するか、または特定の傾斜に探索を制限する手順に多く
の変更が存在することは既知である。最適化および収束
技術が学科自体であり、本発明が最も急峻な下降法の適
用に制限されないことは明らかである。興味のあること
は最適化技術に関する広範囲な文献を得ることができる
ことである。
【００４１】最も急峻な下降は回路網パラメータの更新
ベクトルを図９の式（xxix）から計算することを示す。
即ち、ベクトルｐのインクレメントδｐはベクトルｐに
対するベクトルスペースの時間ドメイン誤り測定Ｅtrの
傾度に比例する。この比例係数ηは“学習速度”と称さ
れ、更新ステップの大きさを決める。最も急峻な下降法
の変動は図９の式（xxx ）により与えられるように更新
ベクトルδｐの式に追加の運動量項を用いる。この運動
量項は比例係数μにより以前に計算された更新ベクトル
δｐpreviousに比例する。慣例のｓ字状ニューロン活動
関数Ｆを有する小さな静的後進伝搬回路網に用いられる
これら比例係数ηおよびμの値はη＝０. ５およびμ＝
０. ９である。最も急峻な下降は収束が徐々に行われる
点または収束しないパラメータの発振が生じ得るように
なる点で、比例係数ηおよびμの適宜の値の選択に充分
感知するようになる。
【００４２】ニューラルネット１００の最後の層Ｋのニ
ューロン“ｉ”のニューロン出力信号ｙi,k は有意範囲
内でニューロン出力信号を保持するためにスケールしお
よび／または推移することができる。倍率αi によるス
ケーリングおよび量βi の推移はニューラルネットの性
能または特性を最適化するために上述したベクトルｐに
含まれるニューラルネットの他のパラメータで実施され
るような適応作動を受けることもできる。
【００４３】ダイナミックニューロン特性；周波数ドメ
イン 本発明情報処理システムのニューロンのダイナミック特
性を時間導関数によって上述したように説明した。小信
号に対する変更式では、ダイナミック特性は周波数によ
っても説明できる。従って本発明により以下に説明する
ように周波数ドメインデータを処理し得るようにする。
【００４４】本例では、式（ｉ）−（iv）の変数ｙi,k
およびｓi,k の各々は、時間独立部分ｙsteady i,k およ
びｓsteady i,k と、定常状態で式の線形化を正当化する
に充分小さい複素振幅Ｙi,k およびＳi,k を有する高調
波部分Ｒｅ（Ｙi,k ｅｘｐ（ｊωｔ））およびＲｅ（Ｓ
i,k ｅｘｐ（ｊωｔ））で構成されるものとする。これ
を図１０に式（xxxi）−（xxxii ）で示す。式（xxxi）
−（xxxii ）の式（ii）への代入によって式（xxxiii）
および（xxxiv ）を得、式（xxxii ）によって式（xxx
v）の単一ニューロン伝達関数を与える。
【００４５】ニューラルネット１００の層間の小信号関
係を以下に考察する。層ｋに対しては式（xxxi）−（xx
xii ）の式（ii）への代入および小信号項のみの保持に
よって図１１の式（xxxv）を得る。ニューラルネット１
００の層ｋ＝１のニューロンｍへの小信号入力はＲｅ
（Ｙm,O ｅｘｐ（ｊωｔ））とする。ニューラルネット
１００の小信号出力は層Ｋにより供給する。出力層ｋ＝
Ｋにあるニューロンｉの小信号出力はＲｅ（Ｙi,k ｅｘ
ｐ（ｊωｔ））により示す。所定のバイアス“ｂ”およ
び所定の周波数ωに対する小信号入力から得たニューラ
ルネットの小信号出力は一般に複素回路網伝達マトリッ
クスＨb （ω）によって特徴つける。マトリックスＨb
（ω）は入力Ｙm,o を式（xxxvii）を経て出力Ｙi,k に
関連させる。従ってマトリックスＨb （ω）の複素マト
リックス素子Ｈimは、ｍ番目の入力を除く全部を一定に
保持しながら、即ち、ｉ番目の出力に寄与するｍ番目の
入力のみを有しながらｉ番目の出力を観察することによ
り装置から得られるように、Ｙi,k ／Ｙm,o の比とな
る。順次の層ｋ−１およびｋ間の伝達関係は図１０の式
（xxxv）と図１１の式（xxxvi ）を組合せることにより
得ることができる。この組合せによって式（xxxviii ）
を得る。この式（xxxviii ）から伝達マトリックスＨ
(k) と取出し、その成分Ｈ(k) ijを、ニューロン“ｉ”
に対するｊ番目の入力以外の全部を一定に保持しながら
その出力を観察することによってニューロン“ｉ”から
得られるようにＹi,k ／Ｙj,k-1 の比とする。層ｋ＝１
のニューロンの１つに対し１に等しい層ｋ＝１への入力
の複素振幅に対し、層ｋ＝１の他のニューロンの全てが
零入力を受けながら式（xxxviii ）を簡単に繰返し適用
して回路網伝達マトリックスＨb （ω）の成分に対する
式を得るようにする。
【００４６】マトリックス成分Ｈimの値は時間ドメイン
に対し上述した手順とほぼ同様の学習手順により最適化
する必要がある。回路網の学習データＳacは組の集合と
して１つ以上の異なるバイアス状態に対するサンプルを
具え、各組は各周波数およびこれら周波数並びにバイア
ス状態に対する関連するターゲット回路網伝達マトリッ
クスＨbmを示す。要約すると、学習データＳacは次式で
表わすことができる。
【００４７】
【数３】 ここに添字“ｂ”は学習中考察されるバイアス状態の変
化の特定のものを示し、添字“ｉ”は学習中考察される
周波数の特定のものを示す。
【００４８】特定の周波数ωb,i に対する所望ターゲッ
トできるマトリックスＨb,i 特定のバイアス状態“ｂ”
は例えばモデル化すべきダイナミックシステムで導出さ
れる測定値から取出す。ニューラルネットから得られた
伝達マトリックスはこの特定の周波数およびバイアス状
態に対し所望のターゲット伝達マトリックスと比較す
る。得られたマトリックスおよび所望のマトリックス間
の不一致が受け入れられない場合にはニューラルネット
の演算パラメータを更新する。この手順には，上述した
所望のターゲット伝達マトリックスと次式に従って関連
するバイアス状態“ｂ”および周波数“ｉ”に対するニ
ューラルネットにより実際に得られた伝達マトリックス
Ｈb （ωi ）との間の相違により集合誤りを示す式を用
いる。
【００４９】
【数４】 ここにマトリックス変数のスカラー関数∈acは総合誤り
Ｅacに対するマトリックス差分の特定のものの個別の寄
与を示す。代表的には複素マトリックスＡの関数∈acは
次式で示すように選択する。
【００５０】
【数５】 パラメータを更新して誤りＥacを最小にするには、時間
ドメイン似つき上述したようにパラメータｐに対し伝達
マトリックスＨb （ωi ）の偏導関数を含む傾斜下降法
を用いる。同様にスケーリングを上述したように含める
ことができる。
【００５１】時間ドメイン学習および周波数ドメイン学
習は次式に示すように上述したＥtrおよびＥacのある線
形組合せのように組合せ総合誤りＥcombを規定し、且つ
Ｅco mbを最小化することにより簡単な手順で組合せるこ
とができる。
【００５２】
【数６】
【図面の簡単な説明】
【図１】フィードフォワードニューラルネットの１例を
示す説明図である。
【図２】本発明ニューラルネットのニューロンの活動を
特定化する式を示す説明図である。
【図３】単一ニューロンの構成を示す説明図である。
【図４】本発明ニューラルネットのニューロンの活動を
特定化する式を示す説明図である。
【図５】本発明ニューラルネットのニューロンの活動を
特定化する式を示す説明図である。
【図６】本発明ニューラルネットのニューロンの活動を
特定化する式を示す説明図である。
【図７】本発明ニューラルネットのニューロンの活動を
特定化する式を示す説明図である。
【図８】本発明ニューラルネットのニューロンの活動を
特定化する式を示す説明図である。
【図９】本発明ニューラルネットのニューロンの活動を
特定化する式を示す説明図である。
【図１０】本発明ニューラルネットのニューロンの活動
を特定化する式を示す説明図である。
【図１１】本発明ニューラルネットのニューロンの活動
を特定化する式を示す説明図である。
【符号の説明】
１０ 情報処理システム １００ ニューラルネット １０２ ソースニューロン １０４ 宛先ニューロン １０６ シナプス

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】 機能的に複数の相互接続ニューロンより
    成るフィードフォワードニューラルネットを有し、各別
    のニューロンは複数の各ニューロン入力信号を受け、こ
    れに応答して各ニューロン出力信号を発生するように作
    動する情報処理システムにおいて、特定のニューロン
    が、これに対するニューロン入力信号および次の量、即
    ち、少なくとも１つのニューロン入力信号の変化割合お
    よび特定のニューロン出力信号の変化割合の少なくとも
    １つのほぼ関数である特定のニューロン出力信号を発生
    するように作動するようにしたことを特徴とする情報処
    理システム。
  2. 【請求項２】 前記関数は特定のニューロンに対するニ
    ューロン入力信号の直線性組合せに依存するとともに次
    の量、即ち、特定のニューロン出力信号の１次時間導関
    数、特定のニューロン出力信号の２次時間導関数、およ
    び特定のニューロンに対する少なくとも特定のニューロ
    ン入力信号の１次時間導関数の少なくとも１つに依存す
    ることを特徴とする請求項１に記載の情報処理システ
    ム。
  3. 【請求項３】 特定のニューロンによって、特定のニュ
    ーロン出力信号と、特定のニューロンに対するニューロ
    ン入力信号を含む第１アーギュメントおよび特定のニュ
    ーロンに対する少なくとも１つのニューロン入力信号の
    １次時間導関数を含む第２アーギュメントの非直線性関
    数にほぼ等しい特定のニューロン出力信号の１次および
    ２次時間導関数とをさらに直線性に組合せるようにした
    ことを特徴とする請求項２に記載の情報処理システム。
  4. 【請求項４】 前記関数は少なくとも１つのパラメータ
    を含み、且つ情報処理システムがこのパラメータの値を
    調整する手段を具えるようにしたことを特徴とする請求
    項１に記載の情報処理システム。
  5. 【請求項５】 ニューラルネットとして機能するように
    プログラムされたコンピュータを具えることを特徴とす
    る請求項１に記載の情報処理システム。
  6. 【請求項６】 ニューラルネットに対し予め特定した入
    力から得た所望の出力を発生するようにニューラルネッ
    ト学習するようにした請求項４に記載の情報処理システ
    ムを用いる方法において、前記学習は次のステップ： （ａ）少なくとも１つのパラメータにある値を割当てる
    ことによりニューラルネットを初期化し； （ｂ）前記ニューラルネットに前記予め特定した入力を
    供給し； （ｃ）前記予め特定した入力の結果得られた出力を所望
    の出力と比較し； （ｄ）この比較の結果が所定の規準に従って受け入れら
    れない場合には更新手順に従って前記パラメータの値を
    更新してステップ（ｂ）に戻し； （ｅ）対応つけの結果が所定の規準に従って受け入れら
    れる場合には最後に得られた値の学習および有効化を終
    了するステップを具えることを特徴とする情報処理シス
    テム利用方法。
  7. 【請求項７】 前記ニューラルネットは情報処理システ
    ムに含まれるコンピュータで実現し、前記予め特定した
    入力の供給は複数の時間ドメイン組を供給し、その各組
    は各時間モーメントを示す時間インジケータと；各時間
    モーメントに対応する各入力サンプルとを具え；前記比
    較ステップは各入力サンプルの結果として前記ニューラ
    ルネットにより発生した各出力サンプルと各時間モーメ
    ントに対応する各所望の出力サンプルとの不一致を求め
    るステップを具えることを特徴とする請求項６に記載の
    情報処理システム利用方法。
  8. 【請求項８】 各周波数の各高調波入力を各所望の転送
    マトリックスを経て供給する際ニューラルネットを学習
    して各所定の周波数の各高調波出力を発生するステップ
    を含み、この学習ステップは： （ａ）少なくとも１つのパラメータにある値を割当てる
    ことによりニューラルネットを初期化し； （ｂ）各周波数に対し各得られた転送マトリックスを求
    め； （ｃ）各得られた転送マトリックスと各所望の転送マト
    リックスとを比較し； （ｄ）この比較の結果が所定の規準に従って受け入れら
    れない場合には更新手順に従って前記パラメータの値を
    更新してステップ（ｂ）に戻し； （ｅ）対応つけの結果が所定の規準に従って受け入れら
    れる場合には最後に得られた値の学習および有効化を終
    了するステップを具えることを特徴とする請求項４に記
    載の情報処理システムを利用する方法。
  9. 【請求項９】 前記ニューラルネットは情報処理システ
    ムに含まれるホストコンピュータで実現するようにした
    ことを特徴とする請求項８に記載の情報処理システム利
    用方法。
  10. 【請求項１０】 各周波数の各高調波出力を各所望の転
    送を経て各バイアス状態のもとで供給する際、各所定の
    周波数の各高調波出力を発生するニューラルネットを学
    習するステップを具え、各バイアス状態によって各零入
    力状態を求めるようにしたことを特徴とする請求項８に
    記載の情報処理システム利用方法。
  11. 【請求項１１】 各周波数の各高調波出力を各所望の転
    送マトリックスを経て供給する際、各所定の周波数の各
    高調波出力を発生するニューラルネットを学習するステ
    ップを具え、前記学習ステップは、 （ａ）各周波数に対し各得られた転送マトリックスを求
    め； （ｂ）各得られた転送マトリックスと各所望の転送マト
    リックスとを比較し； （ｃ）この比較の結果が所定の規準に従って受け入れら
    れない場合には更新手順に従って前記パラメータの値を
    更新してステップ（ａ）に戻し； （ｄ）対応つけの結果が所定の規準に従って受け入れら
    れる場合には前記学習を終了するステップを具えること
    を特徴とする請求項７に記載の情報処理システム利用方
    法。
  12. 【請求項１２】 次の電子回路；シミュレータシステム
    の少なくとも１つにニューラルネットをマッピングする
    ステップをさらに具えることを特徴とする請求項７また
    は９に記載の情報処理システム利用方法。
JP6237514A 1993-09-30 1994-09-30 情報処理システム Pending JPH07168798A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
NL93202792:3 1993-09-30
EP93202792 1993-09-30

Publications (1)

Publication Number Publication Date
JPH07168798A true JPH07168798A (ja) 1995-07-04

Family

ID=8214122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6237514A Pending JPH07168798A (ja) 1993-09-30 1994-09-30 情報処理システム

Country Status (4)

Country Link
US (1) US5553195A (ja)
JP (1) JPH07168798A (ja)
KR (1) KR100335712B1 (ja)
DE (1) DE69425100T2 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5946482A (en) * 1997-05-16 1999-08-31 Hewlett-Packard Company Method and apparatus for using parameters to simulate an electronic circuit
HUP0003927A2 (hu) * 1997-06-11 2001-02-28 University Of Southern California Dinamikus szinapszis neuronhálózatokban történő jelfeldolgozáshoz
JP3682174B2 (ja) * 1998-11-04 2005-08-10 株式会社東芝 半導体装置の耐圧波形自動分類システム及び半導体装置の耐圧波形自動分類方法
US7069101B1 (en) 1999-07-29 2006-06-27 Applied Materials, Inc. Computer integrated manufacturing techniques
US6640151B1 (en) 1999-12-22 2003-10-28 Applied Materials, Inc. Multi-tool control system, method and medium
US6708074B1 (en) 2000-08-11 2004-03-16 Applied Materials, Inc. Generic interface builder
US7188142B2 (en) 2000-11-30 2007-03-06 Applied Materials, Inc. Dynamic subject information generation in message services of distributed object systems in a semiconductor assembly line facility
KR100877457B1 (ko) * 2001-02-21 2009-01-07 소니 가부시끼 가이샤 신호 처리 장치 및 방법과 신호 처리 프로그램을 기록한 기록매체
US7047099B2 (en) 2001-06-19 2006-05-16 Applied Materials Inc. Integrating tool, module, and fab level control
US6910947B2 (en) 2001-06-19 2005-06-28 Applied Materials, Inc. Control of chemical mechanical polishing pad conditioner directional velocity to improve pad life
US6913938B2 (en) 2001-06-19 2005-07-05 Applied Materials, Inc. Feedback control of plasma-enhanced chemical vapor deposition processes
US7201936B2 (en) 2001-06-19 2007-04-10 Applied Materials, Inc. Method of feedback control of sub-atmospheric chemical vapor deposition processes
US7160739B2 (en) 2001-06-19 2007-01-09 Applied Materials, Inc. Feedback control of a chemical mechanical polishing device providing manipulation of removal rate profiles
US7698012B2 (en) 2001-06-19 2010-04-13 Applied Materials, Inc. Dynamic metrology schemes and sampling schemes for advanced process control in semiconductor processing
US7101799B2 (en) 2001-06-19 2006-09-05 Applied Materials, Inc. Feedforward and feedback control for conditioning of chemical mechanical polishing pad
US7337019B2 (en) 2001-07-16 2008-02-26 Applied Materials, Inc. Integration of fault detection with run-to-run control
US6984198B2 (en) 2001-08-14 2006-01-10 Applied Materials, Inc. Experiment management system, method and medium
US7225047B2 (en) 2002-03-19 2007-05-29 Applied Materials, Inc. Method, system and medium for controlling semiconductor wafer processes using critical dimension measurements
US20030199112A1 (en) 2002-03-22 2003-10-23 Applied Materials, Inc. Copper wiring module control
US6672716B2 (en) * 2002-04-29 2004-01-06 Xerox Corporation Multiple portion solid ink stick
AU2003302422A1 (en) * 2002-05-03 2004-06-18 University Of Southern California Artificial neural systems with dynamic synapses
CN100351725C (zh) 2002-08-01 2007-11-28 应用材料有限公司 用于在先进工艺控制系统中处理歪曲的度量数据的方法、系统和介质
AU2003290932A1 (en) 2002-11-15 2004-06-15 Applied Materials, Inc. Method, system and medium for controlling manufacture process having multivariate input parameters
US7333871B2 (en) 2003-01-21 2008-02-19 Applied Materials, Inc. Automated design and execution of experiments with integrated model creation for semiconductor manufacturing tools
US7205228B2 (en) 2003-06-03 2007-04-17 Applied Materials, Inc. Selective metal encapsulation schemes
US7354332B2 (en) 2003-08-04 2008-04-08 Applied Materials, Inc. Technique for process-qualifying a semiconductor manufacturing tool using metrology data
US7356377B2 (en) 2004-01-29 2008-04-08 Applied Materials, Inc. System, method, and medium for monitoring performance of an advanced process control system
US6961626B1 (en) 2004-05-28 2005-11-01 Applied Materials, Inc Dynamic offset and feedback threshold
US7096085B2 (en) 2004-05-28 2006-08-22 Applied Materials Process control by distinguishing a white noise component of a process variance
US8068644B2 (en) * 2006-03-07 2011-11-29 Peter Thomas Tkacik System for seeing using auditory feedback
US7672918B2 (en) * 2007-02-05 2010-03-02 Steve Adkins Artificial neuron
US10410117B2 (en) 2008-09-21 2019-09-10 Brainchip, Inc. Method and a system for creating dynamic neural function libraries
US11238337B2 (en) * 2016-08-22 2022-02-01 Applied Brain Research Inc. Methods and systems for implementing dynamic neural networks
US11080359B2 (en) 2017-12-21 2021-08-03 International Business Machines Corporation Stable data-driven discovery of a symbolic expression
CN111695230B (zh) * 2019-12-31 2023-05-02 天津工业大学 一种用于微波无源器件的神经网络空间映射多物理建模方法
CN113572190B (zh) * 2021-07-28 2023-05-26 广东电网有限责任公司 一种直流输电系统的离散特征值分析方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5285522A (en) * 1987-12-03 1994-02-08 The Trustees Of The University Of Pennsylvania Neural networks for acoustical pattern recognition
US4974169A (en) * 1989-01-18 1990-11-27 Grumman Aerospace Corporation Neural network with memory cycling
JP2764832B2 (ja) * 1989-11-15 1998-06-11 本田技研工業株式会社 車両制御方法
US5170071A (en) * 1991-06-17 1992-12-08 Trw Inc. Stochastic artifical neuron with multilayer training capability
EP0528399A3 (en) * 1991-08-19 1994-12-21 Toyoda Machine Works Ltd Method and apparatus for learning of neural network
JPH05127706A (ja) * 1991-10-31 1993-05-25 Toshiba Corp ニユーラルネツト型シミユレータ

Also Published As

Publication number Publication date
KR950009484A (ko) 1995-04-24
KR100335712B1 (ko) 2002-09-04
US5553195A (en) 1996-09-03
DE69425100D1 (de) 2000-08-10
DE69425100T2 (de) 2001-03-15

Similar Documents

Publication Publication Date Title
JPH07168798A (ja) 情報処理システム
Xia An inverse model of MR damper using optimal neural network and system identification
Daponte et al. Artificial neural networks in measurements
Trenz et al. Agricultural data prediction by means of neural network
Ramamurti et al. Structurally adaptive modular networks for nonstationary environments
US6000833A (en) Efficient synthesis of complex, driven systems
Cauwenberghs Analog VLSI stochastic perturbative learning architectures
Mueller et al. GMDH algorithms for complex systems modelling
Giri et al. Neural network-based prediction of productivity parameters
Ismeal et al. DC motor identification based on Recurrent Neural Networks
Bingi et al. Reconstruction of chaotic attractor for fractional-order tamaševičius system using recurrent neural networks
EP0646880B1 (en) Dynamic neural net
Hoo et al. Improvements in the predictive capability of neural networks
Caamaño et al. Introducing synaptic delays in the NEAT algorithm to improve modelling in cognitive robotics
Brüderle et al. A software framework for tuning the dynamics of neuromorphic silicon towards biology
Ljung Perspectives on the process of identification
Müller Modeling and verification for a scalable neuromorphic substrate
Spaanenburg et al. Over multiple rule-blocks to modular nets
Hernández et al. Simple recurrent neural network: A neural network structure for control systems
Buhry et al. Automated tuning of analog neuromimetic integrated circuits
Valpola et al. An ensemble learning approach to nonlinear dynamic blind source separation using state-space models
McAnany Practical applications of artificial neural networks in chemical process development
Atencia et al. A formal model for definition and simulation of generic neural networks
Stadlbauer et al. Analytic model based design of experiments for nonlinear dynamic systems with constraints
Karam et al. System identification using a Fourier/Hopfield neural network

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040907

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050215