JPH10504667A

JPH10504667A - 人工的ニューラルネットワークのための有効領域を決定する方法

Info

Publication number: JPH10504667A
Application number: JP8507696A
Authority: JP
Inventors: ヘーフェルトマルクス
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1994-08-24
Filing date: 1995-08-17
Publication date: 1998-05-06
Also published as: EP0777881B1; DE59502359D1; EP0777881A1; WO1996006400A1

Abstract

(57)【要約】例えば工業プロセスでの多数の非線形関係は、不充分にしか解析的に表現できない。しかしニューラルネットワークを用い測定データに基づく経験的モデリングは経済的に適切である。この場合、学習データの分布は重要な問題である、何故ならば技術的プロセスを完全に測定することはしばしば不可能であるからである。その結果、ニューラルネットワークによる経験的モデリングは、部分領域に対してしか有効でないプロセスモデルしか提供しない。このモデルの有効領域は、データの有効領域への所属を示す連続的な関数を用いて表現される。

Description

【発明の詳細な説明】人工的ニューラルネットワークのための有効領域を決定する方法例えば工業プロセス等での多数の非線形関係は解析的に、すなわち数学的に閉じた形では不充分にしか表わせない。詳細なプロセスモデルの開発のためのコストは大きすぎ、多くの場合、小さい製造バッチとプロセスドリフトとに起因して適切に実施できない。しかし測定データに基づく経験的モデリングは経済的に実現可能である。このために、モデリングするシステムは測定により把握される。次いで測定値に基づいて経験的方法でモデルを形成できる。これを実現するためには、例えば多次元非線形関係を良好に近似できるニューラルネットワークが適切である。従って経験的モデリングは、プログラミング又は規則及び式を立てることによってではなく、測定データに基づく自動的学習アルゴリズムによって行われる。工業的適用の領域内では学習データの分布は重要な問題である、何故ならば工業プロセスを完全に測定することは不可能であるからである、何故ならば例えば、 − 装置への適用可能性が保証されなければならない、すなわち連続作動からの測定データのみが使用可能であり、 − プロセスが非常に大きい時定数（数時間）を有し、学習データを生成するためにある特定のテスト時間しか使用可能でない、又は − プロセスを作動してはならない禁止領域が存在するからである。その結果、経験的モデリング又はシステム識別のためには、可能な作動状態の部分空間からの部分的データしか使用できない、従って（例えばニューラルネットワークによる）経験的モデリングは、この部分領域に対してのみ有効なプロセスモデルを提供する。しかし作動時には場合によっては、学習データの中に記録されていないプロセス状態が発生する。安全性の理由から、このような入力組合せを認識して、適切な変更されたストラテジによりプロセスを引き続き確実に管理することが必要である。技術的問題として第一に（例えばイエス／ノー決定の形の）有効領域の検出が発生し、第二に、有効領域を離れる際の”ソフト”な重なりストラテジの開発が発生する。ネットワーク設計及び訓練の際の付加的措置無しに、測定データ外でのネットワーク特性はわからない。経験的モデリングの多数の適用（及び非常に一般的にニューラルネットワークの適用）の基礎となる前提は、学習データは、後でモデルの使用の際に生ずるデータと正確に同一に分布されていることにある。この前提の下では、データ空間全体のある特定の部分空間に制限されている学習データも問題が無い、何故ならば作動中にはこのようなデータしか生じないからである。部分的（又はより良好には：部分的表現可能な）データの問題の１つの解決法は、１つの式に基づく付加的な訓練データの生成である［ＲＨ９２］。この方法は主に３つの欠点を有する、第一にモデルの複雑性が増加する。第二に学習データの領域内で経験的データと解折的データとの間の平均化が発生する。第三に安全性要求のために、経験的に把握されたプロセス状態の到達範囲内に位置するのか位置しないのかを表わす出力が使用可能でない。前述の問題は、プロセス制御外の技術のその他の工業分野でも発生する。本発明の課題は前述の問題を除去する、人工的ニューラルネットワークのための有効領域を決定する方法を提供することにある。上記課題は本発明により請求項１の特徴部分に記載の特徴を有する人工的ニューラルネットワークのための有効領域を決定する方法により解決される。これを実現するために、ネットワークパラメータを求めるために使用される訓練データの密度は、適切に選択された数のガウス関数の線形重なりを用いて近似される。この場合、平均値ベクトル及び共分散行列は訓練データセットが、それぞれ１つの平均値ベクトルが割当てられている部分データセットに分割されるように求められる。その際、それぞれの部分データセットの訓練データは、その他の平均値ベクトルのうちのいずれよりも、この部分データセットに割当られている平均値ベクトルの近く位置している。次いで共分散はガウス関数の線形重なりが、訓練データの適切に選択された大きさに対して所定値に到達するようにスケール化される。最後に、訓練データ空間の１つの点が、この点のためのガウス関数の線形重なりが所定値に到達すると、人工的ニューラルネットワークの有効領域に所属するものと見なされる。ニューラルネットワークの有効領域の知識は、この有効領域を離れると適用に依存して異なる方法で処理するために使用される。これらの異なる方法の１つの共通点は、例えば置換式（代替式）の形の置換関数（デフォルト関数）が、人工的ニューラルネットワークをその有効領域外で置換するために必要とされることにある。このような置換式は例えば、最適ではないがそれでも使用可能な結果をもたらす、所望のシステム特性の粗予測又は近似であることもある。その他の場合、置換式は所望のシステム特性のための近似ではなく、使用のためには生産的ではないがその代わりに、置換式を使用することにより危険状態を効果的に確実に回避するその他のシステム特性であることもある。具体的であり個々の場合の適用に依存して異なるストラテジのいずれかが有利である。第一に、置換関数を用いて付加的な訓練データを生成し、ネットワークをこれらの訓練データにより訓練することが可能である。経験的モデルと置換関数との間の平均化を回避するために、これらの付加的な訓練データを有効領域の外部でのみ生成すると有利である。第二の方法は、置換関数とニューラルネットワークとの間を補間することにある。この場合、置換関数及びニューラルネットワークの、それぞれの点におけるネットワークの有効度により与えられる係数により重み付けされた平均が使用される。この場合、置換関数は有効領域内では有利には零により重み付けされる。第三の方法はネットワークに、測定データと置換関数の値との間の差を学習させることにある。この場合、測定データの外部ではネットワークは値零を出力する。ネットワークを使用する場合、置換関数の値にネットワークの出力値が加算される。第二の方法におけると同様にこの場合にも、測定データ領域の外部で零特性を保証する付加データが使用される。この方法は、有効領域の外部の遠くの位置では零を出力する経験的モデル例えばラディアル基底関数ネットワークにとりわけ適する。すなわちこの場合、置換関数をモデリングするために、第二の方法と異なり付加的なリソースは不要である。図１は本発明の方法を説明するのに用いられる非常に簡単化された１つの例の略線図、図２は入力空間全体の中に１０個の隠れニューロンと付加的なデフォルト特性を有する多層パーセプトロンによる近似を示す略線図である。次に本発明を実施の形態に基づき図を用いて詳細に説明する。工業のプロセスでの多くの非線形関係は、解析的な形、すなわち数学的に閉じた形では不充分にしか説明できない。精細なプロセスモデルの開発のためのコストは余りにも大きく、その開発努力は多くの場合、小さい製造バッチとプロセスドリフトとに起因して報われない。しかし経済的に適切と思われるものに、測定データに基づく経験的なモデリングがある。この場合、ニューラルネットワークの使用が提案され、多次元で非線形の関係を近似するニューラルネットワークの能力は多数の研究で証明されている。モデリングはニューラルネットワークではプログラミング又は規則及び式の設定によって行われるのではなく、測定データに基づく自動的な学習アルゴリズムにより行われる。しかし工業プロセスへの適用では、測定データの収集及び安全性要求の観点からの学習データの品質の問題が生ずる。通常は測定データはニューラルネットワークの入力空間の部分領域の中にのみ存在する。従ってニューラルネットワークによる経験的モデリングは、この部分領域に対してのみ有効なプロセスモデルを提供する。ネットワーク設計及び訓練の際の付加措置無しには測定データ外でのネットワーク特性はわからない。しかし動作中に場合によっては、学習データの中に収集されていないプロセス状態が発生する。従って安全性の理由から、このような入力組合せを認識すること及び／又はネットワークが測定データ外でも所定の使用可能である応答をすることを保証する必要がある。この特許出願では、部分的に表現可能な訓練データにより訓練されるニューラルネットワークの有効領域を求める方法が開示される。この有効領域に関する知識は、学習データが不完全にもかかわらず入力領域全体にわたりネットワークから所定の出力を得るために利用できる。本発明の方法は工業のプロセス技術の範囲外でも利用可能であるにもかかわらず、本発明の方法を、次のように特徴づけることができるプロセス技術に適用して詳しく説明する。 − 安全の理由から、規定された使用可能なネットワーク特性が、測定データが存在しない入力領域内においても保証されなければならない。 − 使用可能な計算機能力と、自動化システムの制限されているメモリ場所とが、小さいネットワークの中でのコンパクトな表現を要求する。 − 制御技術的用途が、できるだけ少数の変曲点を有する”滑らかな”近似を要求する。 − 効率的な学習方法は有利であり、たとえ品質のためにコストをかけても有利である。測定データ外で規定された特性を強制するために補外の要求は明らかに事前知識として訓練フェーズ及び／又は適用フェーズ（リコールフェーズ）に導入されなければならない。この事前知識が存在する形態に依存して、部分的な学習データセットの問題のための種々の解決法が提案される。入力と出力との間の機能的関係の構造がグローバルに（すなわち測定データ外でも）僅かなパラメータを除いては既知である場合、グローバルに正しい特性が、特別なネットワーク構造により達成できる。粗な近似が入力空間全体にわたり例えば式又は規則セットとして存在する場合、測定データに、付加的であり式から生成されたデータを混合できる。これにより、測定データ外でネットワークは式データのみを学習し、従って式を補外に利用し、これに対してネットワークは測定データの領域内では式の事前知識とデータとの間の平均を学習する。とりわけ、本発明のこの説明は、ある特定のデフォルト特性が、表現されていない入力空間の中で保証され、これに対して測定データ領域内では測定データに基づいてのみ近似される場合を考慮している。従って測定データの有効領域内での平均化は、明らかに望ましくない。この場合、まず初めに入力空間が、クラスタ法により、訓練データを有する領域と訓練データ無しの領域とに分割されなければならない。次いでクラスタ情報を用いて測定データのためのメンバーシップ関数が設定できる。これにより、ネットワーク応答及び所望のデフォルト特性を、メンバーシップ関数を考慮して種々の方法で組合せることができる。一方では、メンバーシップ関数とモデル関数との分離によりより正確な近似が得られるが、しかし他方、組合せられた方法により、許容可能な結果も、低減された計算コストで可能である。本発明の方法を説明するために、課題と上述のネットワークタイプとを更に具体化し、必要な限りにおいて、本発明の方法を説明するのに必要な表記法を導入する。この出願の範囲内で本発明の説明を簡単化するために、一般性を制限せずにすべての入力及び出力を領域［−１．．．１］と平均値０とにスケール化し、これは場合に応じて、前もって測定データ誤差及び外れ値を除去した後に行われる。更に本発明の方法は、分かり易いように対角共分散行列の場合について説明される。しかし当業者は、本発明を、この説明に基づいて非対角共分散行列に一般化できることを知っている。従って部分的学習の問題は次のように定義できる。入力ｘ∈Ｄ⊆［−１，１］ⁿ及び出力ｙ∈［−１，１］^mを有する測定データセットが与えられていると仮定する。測定データの中で表現されている入力領域Ｄは明示的に既知ではないが、しかし暗黙的にこれらの測定データにより定められている。更に、置換関数の形の所望のデフォルト特性（デフォルト関数）がｆ：［−１，１］ⁿ→［−１，１］^mにより与えられていると仮定する。部分的学習の目標は、測定データ領域内でデータを表し測定データ領域外でデフォルト特性（すなわちデフォルト関数の特性）を示す近似関数ＮＮを見つけることにある。既に課題の定義から、部分的学習の重要な課題は、入力領域Ｄの適切な表現を見つけることにあることが明かである。このための基礎として、重み付けされたユークリッド距離の距離尺度として次式が使用される。メンバーシップ関数として、中心μ及び重みｓ＝σ^-1を有するｋガウス分布（ガウス関数）が次式により重畳される。中心の近傍のデータ点は大きいグレード値を有する。中心と中心との間の距離が増加するにつれてグレードは指数関数的に０に近づく。その際、個々のガウス分布は軸に平行な楕円を定める。このメンバーシップ関数は連続的に微分可能であり、付加的な正規化により密度関数として解釈できる。スケール化係数ｅｘｐ（０．５）により、少なくとも１つの中心に対する重み付け距離が１より小さいデータ点、すなわち次式が成立つデータ点がグレードＤ（ｘ）≧１を有することが達成される。少なくとも１つのｉに対して、この正規化は次の説明を簡単化する。メンバーシップ関数に基づいて３つの定義関数_χDを、Ｄ（ｘ）≧１のデータ点ｘが測定領域に所属しＤ（ｘ）≦εのデータ点ｘが明確に外部に位置する特性を有するＤに対して次式により定めることができる。メンバーシップ関数Ｄ（ｘ）はニューラルネットワークに関連して使用される。これを実現するために特に３つのネットワークタイプにおいてとりわけ適する、すなわち多層パーセプトロン（ＭＬＰ）、ラディアル基底関数ネットワーク（ＲＢＦ）、正規化ラディアル基底関数ネットワーク（ＲＢＦＩ）である。ネットワークは次式により定められ、ただし簡単化のために一般性を制限することなしにただ１つの出力が存在すると仮定されている。従ってメンバーシップ関数Ｄ（ｘ）は直接的にＲＢＦタイプのニューラルネットワークを用いて計算でき、これにより、本発明の方法を実施するために必要なソフトウェアを低減できる。本発明の方法は、非常に簡単な２次元の例によりとりわけ良く説明でき、この例ではデータは主対角線にかつ第１象限の中に位置する（図１ｃ参照）。データは式ｙ₁＝ｘ₁ ²＋ｘ₂ ²−１により表わされ、置換関数すなわちデフォルト特性として式ｙ₂＝｜ｘ₁｜＋｜ｘ₂｜−１が前もって与えられている（図１ａ，ｂ参照）。データと置換関数との間のこの偏差は典型的に現われる、何故ならば双方が一致する場合にはニューラルネットワークによる近似は全く不要であるからである。図１ｄは次式を用いての近似のグラフィック表示であり、この場合、訓練データにより訓練されたネットワークと置換関数との出力は、メンバーシップ関数に従って重み付けされて平均化される。明らかにこの式は対角線においてかつ第１象限の中で関数ｙ₁を再現し、第２象限及び第４象限の中で関数ｙ₂の中で再現する。一般的に、ある特定の応用ではネットワーク構造（置換関数）が、事前知識に基づいて、部分入力空間の中で訓練されたネットワークが構造に起因して自動的に正しく入力空間全体へ補外するように、制限的に選択されることが有効である。例えば、パラメータが入力空間の中の任意の個所で学習できる線形の式である。既知の化学式の中で僅かなパラメータしか識別されない場合も、このカテゴリの中にはいる。自由パラメータは通常のように、下降勾配による（二乗）誤差偏差の最小化により求められる。ある特定の問題において、とりわけ適する式関数が既知である場合、この式関数は、構造化されていないネットワーク式より優先すべきである、何故ならばこの式関数により入力空間全体の中でより良好な一般化がなされ、この式関数はしばしばより簡単に最適化できるからである。しかしニューラルネットワークの適用は、より具体的なモデルの式により満足な結果が得られないか又は不可能である場合にこそ常に有益である。いくつかの重要な適用において、関数ｆにより表されるデフォルト特性は既に、測定データにより定められている関数のある程度信頼のある近似を表し、しかも入力空間全体の中でこのような近似を表す。これは典型的には、存在する近似式をニューラル適応技術により微調整する場合に当てはまる。測定データの領域Ｄの中でニューラルネットワークは近似を改善し、これに対して測定データ外では既知の式のみが依然として有効である（補外）。簡単かつ効果的な方法として、ネットワークを、生成された式データと測定データとの混合により訓練することが提案される［ＲＨ９２］。これを実現するために式に基づいて入力空間全体の中で付加的に人工的データを、関数ｆにより与えられている式に基づいて生成する。このようにして式データは測定データと混合され、ネットワークは、拡張されたデータセットにより訓練される。混合比により、ネットワークは測定データ領域内でデータと式との間の平均化を混合比に従って学習し、これに対して測定データ外では式知識のみが学習される。数学的にこの方法は次のように表現される。ネットワーク訓練において誤差関数は、ペナルティ項式（９）だけ拡張され、組合せられた誤差関数式（１０）は最小化される。第１の項は通常のようにネットワーク出力と測定値との間の偏差にペナルティを課するのに対して、ペナルティ項はネットワークと式との間の偏差をペナルティを課する。積分をモンテカルロ積分を用いて計算する、すなわちランダム数を使用して計算すると、積分計算は、ランダムに選択された入力点における式データの生成に丁度相当する。この式は、異なる最適化段階において異なる式データを使用できることを示す［ＴＨＡ９３］。図２はグラフィック的に、１０個の隠れニューロンを有する多層パーセプトロンを有する近似結果を示し、訓練データに、同一の数であり同一に分布されている式データが入力領域全体の中で添付される。測定データ外ではデフォルト特性が学習されるのに対して、元の訓練データの領域内では、デフォルト特性と測定データとの間の予測された平均となる。この方法の利点は、任意のトポロジーとネットワークタイプとの使用が可能であることにある。式も任意の形で、例えばプログラムの形でよい。この式はリコールフェーズにおいて効率的である、何故ならばネットワークのみしか計算せずにすみ、しかもこの計算はいかなる付加的コストをかけずに可能であるからである。部分的に表現可能なデータの問題は完全に訓練フェーズに移行される。この利点に対して欠点は、付加的な式の知識がネットワークの大きさとひいては訓練のコストとに反映されることにある。測定データ外において式で表わすために付加的なニューロンが必要であり、より多くの学習データが使用される。これにより訓練が緩慢かつ複雑になる。しかし、１つの式をデータと組合せるためのその他の方法に対してデータ混合は、滑らかな近似を可能にする。しばしばネットワークは、式が測定データの滑らかな補外を定める場合にはそれほど大きくはならない。特別の適用例においてネットワークは初期には、式が正確に再現されるように構造化されることも可能である。このように良好に初期化されたネットワークは大幅に迅速に学習する。しかし訓練は依然として式データと測定データとの混合により行われ、これにより、初期化された式特性からのネットワークのドリフトを阻止する。これに関連して最も重要な場合としてＴｒｅｓｐ［ＴＨＡ９３］によるファジイ・ニューロアプローチがある。この場合、適切な規則が一義的にＲＢＦＩネットワークの中に翻訳される。ネットワークは訓練により精密化（微調整）され、訓練の後、変更された規則を再び抽出できる。従ってこの場合、部分的な訓練データの問題は、入力領域全体の中で、有効なエキスパート規則がデフォルト関数として使用されることにより解決される。ネットワーク初期化のためにエキスパート規則を使用することの別の１つの利点は、役立つ初期化により、オンライン適応を有する適用も可能となることにある（自転車運転者）。残念ながらネットワークタイプとしてＲＢＦ１ネットワークのみしか使用可能でない。既に説明したデータ混合により測定データの領域内でデフォルト値と測定値との間の平均化が行われる。しばしばこれは望ましくない、例えば、既存の不正確な式が非常に信頼性の高いデータにより精密化される場合、又は、デフォルト処理が例外処理のためのみにしか可能でない場合には望ましくない。双方の場合、測定データへの信頼の方が、デフォルト関数への信頼より高い。部分学習のこの課題のために、以下に説明する２段階の方法がとりわけ適する。 − まず初めに、クラスタ法により、任意のデータ点に対して測定データ領域に対するグレードを示すメンバーシップ関数Ｄ（ｘ）が形成される。 − 次いで、メンバーシップ関数と、場合によっては部分的に有効な近似関数とに基づいて、測定データ領域とデフォルト領域との間の滑らかな移行を形成するグローバルなモデル関数が形成される。次にまず初めにクラスタ法を説明する。当業者には、例として説明されるＫミーンクラスタリング（Ｋ−Ｍｅａｎｓｃｌｕｓｔｅｒｉｎｇ）とも称されるこの方法の代りに別のクラスタリング法を使用できることは自明である。この方法の課題はすべての場合に、式（１）に記載の測定データ領域のためのメンバーシップ関数を定義するクラスタ中心の数ｋと分散とを求めることにある。Ｋミーンクラスタリング［ＬＢＧ８０］は、それぞれのデータ点のそれぞれ次ぎに位置する中心への距離の和が最小化されるようにｋクラスタ中心を定める、すなわち次式の誤差関数のための最小値が求められる。Ｋミーンクラスタリングは反復アルゴリズムである。基本思想は、それぞれの反復ステップでそれぞれのデータ点を、次ぎに位置する中心に割当て、次いでそれぞれの中心μ_iを、所属のデータ集合Ｃ_iの重心にスライドすることにある。アルゴリズムは、中心の変化がもはや発生しないと終了する、すなわち、すべての中心が、クラスタに所属のデータ点の重心に位置すると終了する。このクラスタリングアルゴリズムを初期化するために中心は、ランダムに選択されたデータ点に置かれる。Ｋミーンクラスタリング法は、線形ベクトル量子化とも称され、多くの用途においてデータに使用され、このデータリダクションは、高次元ベクトルが近似的に、最も近くに位置する中心により表されることにより行われる。アルゴリズムは勾配法に比して非常に急速に収れんする。中心を求めた後、それぞれのクラスタに対して分散が次式により近似される。完全のために、任意の新しいデータ点が第１クラスタの中に所属する事前確率は、次式により近似されることを述べておく。式（１）に記載のメンバーシップ関数はｓ＝σ^-1により得られる。このために事前確率は不要である、すなわちすべてのクラスタは同一に重要である。従ってＫミーンクラスタリングにおいてはまず初めに中心が求められ、後に初めて個々のクラスタの幅が求められる。Ｋミーンクラスタリングアルゴリズムに対する代替アルゴリズムは、パラメータ化された分布密度を予測するＥＭアルゴリズム又はいわゆる”ソフト”Ｋミーンクラスタアルゴリズムであり、”ソフト”Ｋミーンクラスタアルゴリズムではデータの複数の隣接する中心に対する距離が最小化される。この出願の中に説明されている又は当業者に公知のその他のクラスタリング法により、データ領域Ｄを表す方法が得られる。クラスタリングアルゴリズムの値により定められるメンバーシップ関数Ｄ（ｘ）は連続的であり、正の値のみをとり、データ内で最大となり、データの外部で消失する。しかし、統計学的分散による幅を求めることは、定義関数としての用途のためには次の欠点を有する。 − 第一に、分散と、データが分散帯の数倍の中に位置する確率との間の関連は把握できない。１次元の場合、データの６３％が分散帯の中に位置し、９６％が分散帯の２倍の中に位置することが成立つのに対して、この関係は、より高い次元の中では非常に複雑になる。 − 更に、この関係は数学的に、データがそれぞれのクラスタの中で正常分布している場合にのみ当てはまる。これは勿論、実際の上でしばしばそうでない。従って、統計的考慮に基づいてメンバーシップの閾値を、測定データのある特定のパーセントが所属するとして分類されるように、定めることは有益でないと思われる。しかしこのような設計パラメータは実際の用途にとっては非常に重要である。これにより、データ領域の表現が保守的すなわち狭くするかしないかを定める。これは、データにより多くの信頼を置くか、置換関数により多くの信頼を置くかの質問に相当する。第１の場合、メンバーシップ関数を寛大に予測し、その際、データが非常に良好であり、従って端縁領域においてネットワーク補外が信頼できるとの思想から導かれる。第２の場合、データが測定領域の端縁において多分不正確であり、本当に多数のデータが存在する個所だけデータを置換関数より信頼できるとの思想に基づいて小さなメンバーシップ関数を生成する。従って実際的解決法として、個々のクラスタの幅を分散のみにより定めるのではなく、データの所定のパーセントに対してメンバーシップ関数が所定閾値を越えるようにスカラ化することが提案される。一般性を制限することなしにこの閾値は簡単化のために値１と定めることができる。パーセントは、０．９５のプリセット値を有する設計パラメータである。従って、多くの次元と多くのクラスタに一般化する場合重み付けは、次式のメンバーシップ基準が訓練データの９５％に対して当てはまるようにスカラ化される。前置係数ｅｘｐ（１／２）の選択によりこれは個々の単一のガウス関数に対して、データの９５％が変曲点の中に位置するとの条件に相当する。このスケール化は高次元におけるガウス分布の積分の際の解析的問題を迂回し、ひいては、ガウス分布されている訓練データとの暗黙の仮定を回避する。適切なスケール化係数は、２進サーチにより求められる。その際、スケール化はそれぞれのクラスタに対してまず初めに個々に行われ、次いで、重なり関数Ｄ（ｘ）に対して行われる。有利には、クラスタの中に維持される比を有する統計的分散から出発する。データを有する領域とデータ無しの領域との間の明瞭な境界は、通常は形成困難である。従って、次式の領域を移行領域として定めると好適である。（２３）１＞Ｄ（ｘ）＞ε この領域内のデータは、確実に所属するとも、確実に所属しないとも分類されない。それらのデータの処理は、具体的に存在する用途に依存して異なって、前後関係を考慮して行われる。εのためのプリセット値として０.５が使用される。正規分布の正規化係数及び事前確率による重み付け無しのガウス関数の和は、密度の使用に比して次のようないくつかの利点を有する。 − 我々の適用関係においては、いかなる確率でデータがある特定の個所に存在するかは一次的に重要ではなく、データが存在するかしないかが一時的に重要である。ガウス分布の正規化係数と事前確率とはこれにより不要となる。 − 和は原理的にソフトな最大値形成のみを保証し、更に、複数のクラスタの間の領域が端縁データに比してより大きく重み付けされることを保証する。クラスタがあまり重ならない場合、重み付け無しの和が、最も近くに位置する中心への距離を［０．．．１］の中の値を提供する。重なりの際に個々の成分が加算される。 − Ｄ（ｘ）は領域［０．．．１］の領域内に位置し、これに対して密度関数に対してこのようなことは言えない。当業者は、使用できる専門知識に基づいて、いわゆるＫミーンクラスタリングの代りの代替的方法、例えばいわゆるＥＭアルゴリズムによる密度予測等を使用できることを指摘しておく。これの代替として当業者は、いわゆるソフトＫミーンクラスタリングを使用でき、この場合、複数の隣接する中心へのデータの距離が最小化される。その他の変形は当業者にとって専門書に基づいて容易に実施できる。本発明の方法を用いて求められたメンバーシップ関数を使用する際に使用者は種々のオプションに使用できる。第一のオプションではネットワークの出力データが置換関数のデータによりデータ分布に従って平均化される。この場合、２つの異なる近似モデルが存在する、すなわちネットワークと置換関数とが存在することが前提となっている。しかし双方のモデルは、種々の部分的には重なる有効領域を有する。データの領域内では、学習されたモデルを信頼し、これに対して測定データ外では、置換関数により与えられているモデルが優先される。一般的に、異なる有効領域を有する異なるモデルｆ１とｆ２との組合せは次の一般式により行われる。ここで、ｂ_i（ｘ）≧０は、データ点ｘにおけるモデルｉへのそれぞれの信頼を表す。我々の場合、双方のモデルにニューラル近似モデルＮＮと置換関数ｆとが相応する。ネットワークへの信頼のために直接的に式（１）のメンバーシップ関数Ｄ（ｘ）を使用できる。相補的領域を表すために次式を定義する。は、測定データ０の内部にあり、外方へ向かって指数関数的に１に向かって増加する。近似式として、次式の重み付けされている平均が得られる。モデル組合せの前述の方法は、とりわけＭＬＰネットワークに適する、すなわち、データ領域内のこのネットワークの滑らかな近似特性を利用するのに適する。しかしこの方法は原理的にすべてのネットワークタイプに適用可能である。この場合、ネットワークは、置換関数を表現のためのリソースを必要としない。別の１つの方法は、付加的に生成された置換データ（デフォルトデータ）の思想を使用する。この場合、置換関数の特性を測定領域の外部のみで形成し、内部では測定データに基づいて近似するだけである。これは、メンバーシップ関数を求めた後に付加的なデフォルトデータが測定領域の外部でのみ生成されることにより達成される。付加的な置換データ（デフォルトデータ）を生成するためにまず初めに定義関数_χDを前述のように求める。新しい付加的なデフォルトデータ（ｘ，ｆ（ｘ））が、測定領域と被覆されていない領域との比で生成される。これを実現するためにランダム入力が、（正規化されている）定義領域［−１，１］ⁿの中で生成される。このようなデータ点が測定データ領域の中にはいらない場合（_χD＝０）、このデータ点は訓練集合の中に付加され、このデータ点が内部に位置する場合（_χD≠０）、その代わりに測定値が付加される。不確実領域の中ではデータは生成されない。すべての測定データが取出された場合、生成は停止される。このようにして測定領域外のデータ密度は、測定領域内の平均密度に相応する。しかし高い次元の中では測定データは非常に希薄に存在するので、存在する測定データの最大で２倍のデフォルトが生成される。この方法も任意のネットワークタイプに適用可能である。形成される近似は移行領域内でも非常に滑らかである。全空間にわたる近似のために付加的なニューロンを必要とする。この方法における学習コストは、大きなネットワークと、訓練データの数の増加とにより増加する。まず初めに説明したモデル組合せに対する重要な利点は、部分的学習が完全に学習フェーズの中に移行されていることにある。適用（リコール）の際、メンバーシップ関数を評価する必要はない。ネットワークはデフォルト特性（置換関数）の積分のために我々の例ではメンバーシップ関数自身に比してより少数のニューロンしか必要としないので、適用（リコール）の実行はより迅速である。しかしより重要な点は、双方の方法のパーフォマンスが、クラスタ数を増加することにより向上できるメンバーシップ関数の品質に大幅に依存することにある。これは、所要計算時間を増加させる。しかしデータ混合の場合、この計算時間の増加は、データ生成の間にのみ発生する。従って計算時間の面からは、クラスタリング（データリダクション）を放棄し、その代わりに直接的にデータ点をクラスタ中心として使用することができる。第３の可能な方法は、ラディアル基底関数ネットワークが中心から遠く離れて自動的に出力０を発生する事実を利用する。従って、所望のデフォルト特性がｆ ≡０により与えられる場合、ＲＢＦネットワークは、デフォルト特性を表わすために付加的なニューロンを必要としないか又は比較的僅かしか必要としない。所望のデフォルト特性ｆ≡０は、設定問題の簡単な変換により達成できる。測定データ（ｘ，ｙ）及びデフォルトデータ（ｘ′，ｆ（ｘ′））により訓練する代わりに、ＲＢＦネットワークを訓練データ（ｘ，ｙ−ｆ（ｘ））及び（ｘ′，０）により訓練する。従ってネットワークはデータ領域内でデータとデフォルト（置換関数）との間の差を学習し、データ領域の外部では０を学習する。従って適用（リコール）の場合、ネットワーク出力はデフォルト関数に、次式にしたがって加算されなければならない。近似の際にクラスタが測定データ領域から離れドリフトすることを阻止するために、ペナルティー項を加算して、中心と分散とを初期値の近傍に保持することも可能である。これを行うと学習は大多数の場合に局所的最小値で終了する。従って、ネットワークを訓練するために２つの可能な方法が提案される、すなわち第一に、再びデータ生成法を使用できる。相違点は、ＲＢＦネットワークを使用することと、すべてのデフォルトデータが出力０を発生しなければならないこととにある。その際、ＲＢＦネットワークをメンバーシップ関数により初期化して、中心のための好適な初期分布を達成できるが、しかし最適化の後にこのネットワークをメンバーシップ関数として使用できない、何故ならば中心及び分散が変化するからであることに注意すべきである。第２の方法は、メンバーシップ関数の基底関数を直接的に使用することにある。出力重みのみが、近似のために新たに求められる。主コストは、基底関数の計算の際のネットワーク計算にあるので、このアプローチをメンバーシップ関数と一緒に使用することにより近似を効率的に計算できる。最適化において中心及び分散のための値が固定保持される。重みを定めることは、最小自乗回帰計算（最小自乗法）により効率的に行われる。メンバーシップ関数が次式により与えられていれば、次式の方程式群を近似的に解かなければならない。これにより得られるネットワークは次の特性を有する。 − 出力重みｅｘｐ（１／２）によりこのネットワークは定義関数として用いられる。 − 回帰の出力重みＷによりネットワークは測定データ又は測定データと置換関数との差を近似する。後で解決すべき近似問題を既にメンバーシップ関数において解決するために、クラスタリングは入力データと出力データとの積空間の中で行われる。入力次元のための中心のみが後でメンバーシップ関数のために使用される。この特許出願において次の文献を引用した。［ＬＢＧ８０］Y．Linde，A．buzo and R.M．Gray，An Algorithm for Vector Q uantizer Design，IEEE Transactions on Communications，Vol．COM-28，No.1 ，1980；［ＲＨ９２］M．Roescheisen，H．Hoffmann and V．Tresp,Neural control for rolling mills: incorporating domain theories to overcome data deficiency．In J．Moody et al．(Eds.)，NIPS 4，Morgan K aufmann，1992；［ＴＨＡ９３］V．Tresp，J．Hollatz and S．Ahmed，Network structuring and training using rule-based knowledge．In S.J．Hanson et al．(Eds)，NIPS V，Morgan Kaufmann，1993；

【手続補正書】特許法第１８４条の８第１項【提出日】１９９６年７月２日【補正内容】前述の問題は、プロセス制御外の技術のその他の工業分野でも発生する。ＰＣＴのＷＯ９４／１２９４８号公報からニューラルネットワークの有効領域を決定するシステムが公知である。システムは、ニューラルネットワークの初期値を使用すべきか、変更すべきか又は置換すべきかを確認する。システムは、それぞれクラスタのための訓練データセットのためのクラスタリング法を実行した後に、ガウス関数を有する局所的メンバーシップ関数を与える方法に従って動作する。しかしこの局所的メンバーシップ関数においてはそれぞれのクラスタの訓練データの統計的分散のみが考慮される。更にこの方法では、統計的分散に依存して、局所的メンバーシップ関数のための、固定の急変した閾値が決定される。この方法は多数の欠点を有する。第一にこの方法では暗黙に、クラスタの中のすべての訓練データがすべて正常に分散されていることが前提にされている。しかしこの前提は通常は現実的でない。更にこの方法は多次元ガウス関数においては実行するのに非常なコストがかかる。本発明の課題は前述の問題を除去する、人工的ニューラルネットワークのための有効領域を決定する方法を提供することにある。上記課題は本発明により請求項１の特徴部分に記載の特徴を有する人工的ニューラルネットワークのための有効領域を決定する方法により解決される。これを実現するために、ネットワークパラメータを求めるために使用される訓練データの密度は、適切に選択された数のガウス関数の線形重なりを用いて近似される。この場合、平均値ベクトル及び共分散行列は訓練データセットが、それぞれ１つの平均値ベクトルが割当てられている部分データセットに分割されるように求められる。その際、それぞれの部分データセットの訓練データは、その他の平均値ベクトルのうちのいずれよりも、この部分データセットに割当られている平均値ベクトルの近く位置している。次いで共分散はガウス関数の線形重なりが、訓練データの適切に選択された大きさに対して所定値に到達するようにスケール化される。最後に、訓練データ空間の１つの点が、この点のためのガウス関数の線形重なりが所定値に到達すると、人工的ニューラルネットワークの有効領域に所属するものと見なされる。請求の範囲１．ネットワークパラメータを、ネットワークがｄ次元訓練データ空間の中の訓練データの１つのセットを表すように設定している、人工的ニューラルネットワークのための有効領域を決定する方法において、ａ）クラスタリング法を実行し、適切に選択した数Ｋの平均値ベクトルと適切に選択した数Ｋの共分散行列とを、前記訓練データセットが、それぞれ１つの平均値ベクトルが割当てられるＫ個の部分データセットに分割されるように求め、ｂ）訓練データの密度Ｄを、適切に選択した数Ｋのｄ次元ガウス関数の線形重なりを用いて近似し、ｃ）次いで前記共分散行列を、訓練データの適切に選択した部分に対してメンバシップ関数Ｄ（ｘ）が所定値に到達するようにスケール化し、前記メンバーシップ関数Ｄ（ｘ）は平均値ベクトルに対する点ｘのグレードを示し、ｄ）訓練データ空間の点ｘを、前記メンバーシップ関数Ｄ（ｘ）が前記所定値に到達する場合、前記人工的ニューラルネットワークの有効領域に所属するとみなすことを特徴とする人工的ニューラルネットワークのための有効領域を決定する方法。２．置換関数を用いて付加的な訓練データを、有効領域の外部で生成し、ニューラルネットワークの訓練のために使用することを特徴とする人工的ニューラルネットワークのための請求項１に記載の方法により決定した有効領域の適用方法。３．１つの置換関数の、それぞれの点におけるメンバーシップ関数Ｄ（ｘ）により与えられている係数を有する値と、ニューラルネットワークの、それぞれの点におけるメンバーシップ関数Ｄ（ｘ）により与えられている係数を有する値との重み付けされた平均値を求めることを特徴とする人工的ニューラルネットワークのための請求項１に記載の方法により決定した有効領域の適用方法。４．ネットワークが測定データと１つの置換関数の値との差を学習し、ネットワークが有効領域の外部で値０を出力することを特徴とする人工的ニューラルネットワークのための請求項１に記載の方法により決定した有効領域の適用方法。

Claims

【特許請求の範囲】１．ネットワークパラメータを、ネットワークがｄ次元訓練データ空間の中の訓練データの１つのセットを表すように設定している、人工的ニューラルネットワークのための有効領域を決定する方法において、ａ）訓練データの密度Ｄを、適切に選択した数Ｋのｄ次元ガウス関数の線形重なりを用いて近似し、ｂ）Ｋの平均値ベクトルとＫの共分散行列とを、前記訓練データセットが、それぞれ１つの平均値ベクトルが割当てられるＫ個の部分データセットに分割されるように求め、それぞれの部分データセットの訓練データは、その他の平均値ベクトルのうちのいずれよりも、この部分データセットに割当られている平均値ベクトルの近く位置しており、ｃ）次いで前記共分散を、訓練データの適切に選択した部分に対してＤが所定値に到達するようにスケール化し、ｄ）訓練データ空間の点ｘを、Ｄ（ｘ）が前記所定値に到達する場合、前記人工的ニューラルネットワークの有効領域に所属するとみなすことを特徴とする人工的ニューラルネットワークのための有効領域を決定する方法。２．置換関数を用いて付加的な訓練データを、有効領域の外部で生成し、ニューラルネットワークの訓練のために使用することを特徴とする人工的ニューラルネットワークのための請求項１に記載の方法により決定した有効領域の適用方法。３．１つの置換関数の、それぞれの点におけるネットワークの有効度により与えられている係数を有する値と、ニューラルネットワークの、それぞれの点におけるネットワークの有効度により与えられている係数を有する値との重み付けされた平均値を求めることを特徴とする人工的ニューラルネットワークのための請求項１に記載の方法により決定した有効領域の適用方法。４．ネットワークが測定データと１つの置換関数の値との差を学習し、ネットワークが有効領域の外部で値０を出力することを特徴とする人工的ニューラルネットワークのための請求項１に記載の方法により決定した有効領域の適用方法。