JPH11500843A - ニューラルネットワーク - Google Patents

Abstract

(57)【要約】 少なくとも１つの入力層と出力層を有し、この出力層は、各々が異なるクラスのパターンを識別するように学習される複数の主ノードと、主ノードによって識別されるすべてのクラスのパターンを識別するように学習されるが、主ノードの対応するしきい値レベルより大きいレベルに設定されたしきい値を有する少なくとも１つのファジーノードとを有するパターン認識ニューラルネットワークが示される。

Description

【発明の詳細な説明】 ニューラルネットワーク 本発明は、特にパターン認識に関するニューラルネットワークに関する。 多層の人工ニューラルネットワークは、通常、入力パターンをユーザの限定さ れたクラスに入れる必要がある監督下に置かれた学習に使用される。このような ネットワークは、２つまたはそれ以上の層に配置されるニューロンまたはノード として知られる処理エレメントの組から成る。１つの層は、その出力が、提示さ れた入力パターンによって定義されるニューロンを有する入力層であり、他の層 は常に出力層である。通常、入力層と出力層に挟まれた少なくとも１つの“隠れ た”ニューロンの層がある。このネットワークは、情報が一方向にのみ流れる「 フィード・フォワードネットワーク」である。通常、各層におけるニューロンへ の入力は、前の層におけるニューロンの出力からもっぱら始まる。ネットワーク における所定のニューロンの出力は、そのニューロンへの入力の関数である。さ らに詳細には、ニューロンは、通常は１．０に等しいバイアスと称される１つの 想定入力と共に０乃至（ｎ−１）のｎ個の入力を有する。ニューロンは、入力に 乗ずる（ｎ＋１）の重みと、ニューロンの出力をつくるためにその重み付けされ た入力の合計に適用される作動関数により特徴付けられる。バイアスを含む重み 付けされた入力の合計は、正味の入力として知られ、一組の入力（Ｘｉ（ｉ＝０ ，．．．，ｎ−１）からのニューロンの出力０は、式（１）から誘導できる。 ここでｎｅｔとはネット入力のことであり、ｆ（ｎｅｔ）は作動関数であり、 Ｗｎは、バイアス重みである。 ニューロンの演算上の特徴は主に重みによって制御される。作動関数は代表的 には非線形関数であり、しばしばニューロンのネット入力に適用されると、ニュ ーロンの出力を決定するある種のしきい値関数である。シグモイド(Sigmoid)関 数がしばしば使用される。 典型的には、与えられた出力ニューロンの数は微分すべき入力パターンのクラ スの数に等しい。通常、「監督下に置かれた」モードにおける学習中に、各クラ スの一組の定義された入力学習パターンがニューラルネットの入力層に与えられ 、出力パターンは、そのクラスについて「ＯＮ」にセットされ、他の出力は強制 的に「ＯＦＦ」とされる。ネットワークの最初の重みはランダムに設定され、入 力データの１つの提示に対する二乗平均エラーが、各ニューロンに対する達成さ れた活動と目標の活動との差を二乗し、すべてのニューロンにわたって平均化す ることによって得られる。各反復または時代に関して、エラーは、その時代の学 習プレゼンテーションのエラーを平均化することによって計算される。出力の活 動における二乗平均エラーが計算され、ネットワークに戻され、この結果、ネッ トワークの各ニューロン毎に重み乗算器を反復して調整することによって二乗 ーを最小限にするために重みが移動しなければならない方向を決定することは比 較的簡単なエクササイズである。このような手順はエラーバック伝ぱんとして知 られている。監督下に置かれない学習ニューラルネットワークに使用される微分 ・競合学習・アルゴリズムは、（１９９０）４４ニューラルネットのＩＥＥＥト ランザクションのＢＫｏｓｋｏの「ノイズの非監督学習」に説明されている。 入力パターンをユーザ定義のクラスに配置する性能は、しばしば、ニューラル ネットワークの開発された特質である。１つの特定の用途は、化学製品に対する 異なるクラスの幅広い重複した感度を示すガスセンサの多素子の配列からの信号 を処理し、異なるクラスのにおいを区別する手段としてのセンサ素子（この場合 は入力パターン）間の相対的な応答を使用することにある。ガスセンシングに用 いるための適したニューラルネットワーク構造の開発において、多数の問題が生 じた。１つの問題は、においを大域的なクラス、例えば、花、魚、果物、じゃこ う等にクラス分けし、次に、これらの大域的なクラスの各々を局所的なクラス、 例えば、花の大域的クラスの局所的クラスとしてのジャスミン、ばら等に下位分 けする必要があることである。もう１つの問題は、これらのクラスにクラス分け する精度に関する。ネットワークが一旦学習されると、システムは、入って来る パターンを認識し、入って来るパターンがネットワークが学習されたパターンに どの程度似ているかに依存して異なる出力を切り替えることができる。しかしな がら、もし入って来るパターンが、システムが認識するように学習されたパター ンクラスに精々少しだけ似ていることが示される場合には、システムの応答に関 して疑問が生じる。一般に、システムは、最もよく合致する出力ノードまたはニ ューロンを発火するが、このような応答は最適なものではない。ある場合には、 システムが未知のパターンクラスがネットワークに提示されたことを登録するこ とがさらによいかもしれない。 本発明は、一般にパターン認識に適用され、においのクラス分けそれ自体に適 用されるものではないことに留意すべきで前述した問題を解決するものである。 本発明によれば、少なくとも１つの入力層及び出力層を有し、この出力層は、 各々が異なるクラスのパターンを識別するように学習される複数の主ノードと、 この主ノードによって識別されるすべてのクラスのパターンを識別するように学 習されるが、主ノードの対応するしきい値レベルより大きいレベルで設定された しきい値を有する少なくとも１つのファジーノードとを有するパターン認識ニュ ーラルネットワークが提供される。 このニューラルネットワークは、少なくとも１つのノードの隠れ層を有しても よく、フィードフォワード・アーキテクチャを使用してもよい。隠れ層のノード の数は、入力層のノード数にバイアスノードのノードの数を加えた数に等しい。 パルツエンネットワークやラジアルベース関数ネットワークのような他のアーキ テクチャを使用することもできる。 ネットワークを学習させるためにエラーバック伝ぱんアルゴリズムが使用され る。 ニューラルネットワークは、ファジーパターン分類システムを使用し、このシ ステムは、（ファジーノードからの出力が出力層における最大のノード出力であ るが、予め定義された値によって少なくとも１つの主ノードの出力を越えない場 合には）、パターンの最もありそうなクラスを表すものとして選択されたファジ ーノードの出力に最も近い出力を有する主ノードを含んでもよい。さらに、ある 入力パターンが主ノードの各々によって表されるパターンのクラスのいずれかに 入りそうな可能性を表すプロバビリティ分布が計算される。 出力層は２つのスラブを有し、各スラブは、複数の主ノードと、少なくとも１ つのファジーノードとを有し、１つのスラブの主ノードは、大域的クラスのパタ ーンを認識するように学習され、第２のスラブの主ノードは、各大域的クラス内 のパターンのサブクラスを認識するように学習される。 ネットワークの入力層に入力される入力パターンは、複数のガスセンサまたは それに関する量の出力から成ってもよい。出力層が２つのスラブを有するとき、 第２のスラブの主ノードは少なくとも１つのガスまたは揮発性種の異なる濃度を 表すパターンを認識するように学習される。このように、ニューラルネットワー クは、その同一性に加えて種の濃度を出力する。 温度センサの出力が、入力層に入力されることもある。 湿度センサの出力が、入力層に入力されることもある。 このように、ガスセンサの出力の温度及び湿度に対する感度の変化によって生 じるパターンの変化が認識され、ニューラルネットワークによって解明される。 入力パターンは、線形または非線形マッピング技術によって縮小され、その結 果は、非縮小パターンと共に入力層に入力される。このマッピング技術は主な成 分分析である。 ネットへの入力パターンは、パターン認識の前に予め処理される。 前処理としては最終的な識別には実質的に寄与しない入力パターンのエレメン トの除去がある。 別の案として、前処理には入力データベースの間引き（decimation）もある。 本発明によるニューラルネットワークの実施例を添付図面を参照して説明する 。 第１図は、ニューラルネットワークの概略図である。 第２図は、サブクラスのパターンを識別することができるニューラルネットワ ークの概略図である。 第１図は、本発明のパターン認識ニューラルネットワーク１０のアーキテクチ ャを示しており、このアーキテクチャ１０は、少なくとも１つの入力層１２と、 出力層１４と、各々が異なるクラスのパターンを認識するために学習された複数 の主ノード１６を有する出力層と、主ノードによって認識されたすべてのクラス のパターンを認識するために学習された少なくとも１つのファジーノード１８と を有し、ファジーノード１８は、主ノードによって認識されたすべてのクラスの パターンを認識するように学習されているが、主ノード１６の対応するしきい値 レベルより高いレベルに設定された作動しきい値を有する。このようなネットワ ークは、入力２０が、バターンの公知のクラスに属するかどうか、または未知の クラスとしてクラス分けする方がさらに適当な割り当てであるかどうかを決定す ることができる。典型的には少なくとも１つのノード隠れ層２２と、必ずしも必 要ではないが、隠れ層２２のノードの数が入力層のノードプラスバイアスノード ２４の数に等しいフィードフォワードが使用される。パルツェンネットワークま たはラジアルバイアス機能ネットワークのような他のアーキテクチャをこの位置 で使用することができる。 出力層１４の主ノード１６は、「シャープ」なノードと見なすことができる。 なぜならば、非常に大きいが注意深く調整されたカットオフしきい値を使用する これらのノードの監督下に置かれた学習は、入力パターンがそのノードに特定さ れたパターンのクラスであるとき、主ノードの発火を生じる。入力パターンを「 未知」として識別する問題は、（未知のカテゴリを表す）ファジーノード１８を 設け、出力層１４のしきい値を調整しそのファジー化によって解決される。さら に詳細には、ファジーノード１８は、主ノード１６を学習する際に使用されるす べての学習パターンに応答するように学習されるが、対応する「シャープ」な主 ノードにおけるよりも１０％乃至２０％大きく設定されたしきい値を備えている 。よって、ファジーノードは、任意の「シャープ」なノードによって確信をもっ てクラス分けすることができないすべての入力パターンに応答するある種のダス トビン（ｄｕｓｔｂｉｎ）になるように学習される。 さらに詳細に説明すると、フィードフォワードニューラルネットワークにおい て、公知のエラーバック伝ぱんアルゴリズムまたはその使用は上述した監督下に 置かれた学習位相での使用に適している。この場合、層及びノードの数または 使用される作動関数には制限がない。これは、基本アルゴリズムの内部容量の開 発、特に良好な内部容量の開発及びこのようなアルゴリズムによって表示された 良好な内部特徴の抽出及び選択が可能になる。しかしながら、他の学習方法も本 発明の範囲内である。「シャープ」な主ノードは、一連の標本パターンが測定さ れ、認識すべき各クラスのパターン毎にデータベースファイルがつくられる従来 のエラーバック伝ぱんアルゴリズムを使用して学習される。これらのパターンは 、ネットワークの出力エラーを最小限にするために繰り返される入力層１２及び システムに送られる。主ノード１６の出力は、主ノードが、認識するために学習 された特定の出力クラスに入力パターンのメンバーシップの等級を表すように翻 訳される。このようなメンバーシップの等級は、（０，１）レンジの出力を有す るファジーメンバーシップ等級関数等級に似ている。 このような各ファジーノードは、使用される各学習パターンにおいて比較的高 いレベルに設定されるメンバーシップ等級を有する。所定の学習パターンにおい て、等級は、学習パターンに応答するノードを有するように設定されたメンバシ ップ等級より１０乃至１５％小さい。従って、ファジーまたは各ノードは、対応 する主ノードよりわずかに弱いすべての入力学習パターンに対応する。しかしな がら、任意の学習カテゴリには属さない新しい入力パターンは、通常ファジーノ ードに最も強く応答させるようにする。 異なるクラスのパターンを表す一連の出力ノードにわたる所定の入力パターン に対する出力層からの回答を配分することが正規のファジー数の方法によって可 能でふさわしい。従って、例えば、出力層：０（１）＝０．１，０（２）＝０． ５，０（３）＝０．２５，０（４）＝０．１５の４つの主ノード０（ｉ）を備え たネットワークから次の応答をつくることが可能である。再びファジー数の方法 で行なう場合、プロバビリティ理論に完全に一致（ｉｅΣ０（ｉ）は、等しい単 一性をもたない）する必要はないが、このような一致は、ネットワークの出力を 公式化し理解する際の洞察力を与えることになる。 異なるクラス分けの際の不確実性を解決するために、出力層の「シャープ」な 主及びファジーノードの発火強度の評価に基づいた近似測定が導入される。ファ ジーな未知のノードが最も強く応答するときに含まれる近似値は、認識処理にさ らに柔軟性を与える。このような応答の場合、どのシャープなクラスが入力パタ ーンに最も近いかを知ることが望ましい。この最も適当な学習カテゴリーの選択 は、未知のファジーノード出力に対応する主ノードの応答の比較に基づいている 。ファジーノードの応答と少なくとも１つの主ノードの応答との差が、所定のユ ーザの選択可能な近似範囲を越えないと仮定すれば、システムは、近似範囲にあ るすべてのノード出力を探し出す。この結果は、「シャープニング」の前に上述 したファジーなクラス応答に似ており、ファジーノードの出力に対する最も近い 応答を有するノードは、最も近い「シャープ」なカテゴリーを表すものとして解 釈される。この近似測定は、２つの出力ノード及び未知のファジーノードが一緒 に応答しているとき、特に有効である。 さらに、ある入力パターンが主ノードによって表されるいずれかのパターンク ラスに入る可能性を表す可能性の分布が計算される。このような分布は、出来事 のあいまいさ、すなわち、出来事が生じる程度を説明すると言われる。第２図は 、入力パターンを「未知」のものとして分類する能力を有することに加えて、大 域的なクラス及びそのサブクラスに関して入力パターンを分類することができる ニューラルネットワークを示す。ネットワーク２６は、入力パターン２０を受け る入力層１２と、バイアスノード２４と共に入力層のノードの数に等しい多数の ノードを有する隠れ層２２とを有する。フィードフォワードアーキテクチャが使 用されるが、他のアーキテクチャも使用できる。ネットワークがパターンを大域 的クラス及びサブクラスに分類することができるのは、ネットワーク２６を２つ のスラブ２８、３０に分割したことにある。１つのスラブ２８は大域的クラスに コード化され、第２のスラブ３０は局所的なサブクラスに分類される。双方の場 合、ファジーノード（図示せず）と共に識別されるべきパターンのすべてのクラ スに関する１つの出力ノードがある。学習は、１つのサブクラスのカテゴリーの みを表す学習パターンによって上述したように実行され、すなわち、異なるクラ スは学習パターン内で混り合わない。 バターン認識のニューラルネットワーク２６に入力される入力パターン２０は 、一連の入力変数から成る。特に重要な１つの用途はにおいの検出であり、この 場合、入力変数は複数のガスセンサの出力またはそれに関する量であり、これ らの出力によって表されるパターンは、検出されたにおいの特徴的な「シグナチ ャー(Signature)」として認識することができる。 特に出願人にとって関心の対象となるガスセンサのクラスは、半導体有機ポリ マーに基づいたガスセンサである。この場合、ニューラルネットワークに入力さ れるパターンは、ガスセンサの全体配列にわたって部分抵抗の変化の合計に関し て正規化されたガスサンプルにセンサを露出して測定されたガスセンサ抵抗のわ ずかな変化である。換言すれば、ｎ個の配列のガスセンサに対応する正規化され た入力は、式（２）によって与えられる。 ここでＲｉはガスセンサのベース抵抗であり、ΔＲｉはそのセンサの抵抗の変 化分である。 このタイプのセンサ列からのパターンは、大気の温度及び湿度の変化によって 不安定になり易い。本発明のニューラルネットワークを使用して温度及び湿度の 影響を補正する１つの方法は、１つの入力ノードをサンプルの湿度を測定する湿 度センサに１つの入力ノードを接続すること、及びサンプルの温度を測定する温 度センサに他の入力ノードを接続することである。このネットワークの学習は、 異なる温度及び湿度に対応する学習パターンの使用を含む。 パターン認識は、ニューラルネットワークを使用する前にパターン認識のいく つかの他の形態を実施し、オリジナルのパターンと共にニューラルネットワーク に前記他の形態のパターンの分類の結果を入力することによって改良される。例 えば、半導体有機ポリマー列によって、複数次元のパターンデータを二次元また は三次元の寸法にマップするか、縮小することが望ましい。公知の主成分分析（ ＰＣＡ）技術は、この観点において非常に有効であることが証明された。ＰＣＡ 技術は、二次元または三次元空間のデータ座標が相関関係がなく、オリジナルデ ータからの最大限の変化量が少数の座標によって保護されるように複数次元の入 力空間から二次元または三次元の入力空間への線形直角変換である。ニューラル ネットワークに特別の２つまたは３つの入力ノードを提供し、これらの特別のノ ードに二次元または三次元の寸法に投影されたパターンの座標を入力することに よって、特に未知のクラスの評価が関連する場合に、ほぼ縮小された学習時間を 達成し、さらに改良されたネットワークをつくることができる。他の線形または 非線形の変換をも適用することができ、この方法は、単にガスセンサ列から得ら れるパターンに対するよりもさらに広い用途を有する。 ガスまたはにおい検出の分野の重要な変数は、検出されるガスまたは揮発性成 分の濃度である。事実、上述した２つの出力スラブネットワーク構成は、１つの 化学種に関する濃度の予測についての用途を有する。この目的のために、学習デ ータセットは、揮発性成分の異なる濃度を表すパターンから成る。１つのスラブ の出力は、濃度を等級づけるようにマップするように設定される。第２のスラブ の出力は、揮発性成分の識別をマップするように設定される。 ネットワーク２６に対する入力パターン２０は、パターン認識の前に前処理さ れる。この特徴的な抽出方法は、２つの方法で実行される。 １．最終的な識別には実質的には寄与しない入力変数、すなわち前述した用途 におけるガスセンサの出力を除去する。学習パターンの数は変化しないが、その 大きさは縮小される。 ２．個々の入力データベクトルの寸法を縮小することなく、入力データベース を間引く。学習パターンの数は少なくなるが、その寸法は一定のままになる。 第１の前処理方法は確かな方法であるが、ガスセンサデータを前処理する有利 な方法を提供する第２の方法が見つかった。入力データベクトルの間引きは次の 一連のステップで達成される。 （ａ）入力データベースファイル（学習パターン）が個々に処理され、最初に（ 随意に正規化される）ベクトルに変換される。 （ｂ）ベクトルを５つの等距離帯域に分離することを含むユーザが宣言した方法 によって各ベクトル毎にプロバビリティ密度関数が計算される。 （ｃ）各帯域に対して、処理された入力ベクトルから無差別に４つの例が選択さ れる。 （ｄ）アルゴリズムが、ユーザが定義した最大限の数までパターンを選択するよ うに試みる。好ましい実施例においては、アルゴリズムがパターンの最大限の数 は２０である。プロバビリティ分布関数の各帯域について４つの例を選択するよ うに試みる。これは可能性がないかもしれないが、この場合、選択されたパター ンは２０より小さい。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，Ｕ Ｇ)，ＵＡ(ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＢ，ＢＧ ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ， ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＳ，ＪＰ，Ｋ Ｅ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ，ＬＳ，ＬＴ ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ， ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，Ｓ Ｇ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ ，ＵＳ，ＵＺ，ＶＮ

Claims (1)

1. 【特許請求の範囲】 １．少なくとも１つの入力層及び出力層を有し、該出力層は、各々が異なるク ラスのパターンを識別するために学習される複数の主ノードと、該主ノードによ って識別されるすべてのクラスのパターンを識別するように学習されるが、前記 主ノードの対応するしきい値より大きなレベルで設定されたしきい値を有する少 なくとも１つのファジーノードとを有するパターン認識ニューラルネット。 ２．少なくとも１つの隠れ層のノードを有する請求項１に記載のニューラルネ ットワーク。 ３．フィードフォワード・アーキテクチャを使用する請求項２に記載のニュー ラルネットワーク。 ４．各隠れ層のノードの数は、入力層のノード数プラスバイアスノードのノー ドの数に等しい請求項３に記載のニューラルネットワーク。 ５．ネットワークを学習させるためにエラーバック伝ぱんアルゴリズムを使用 する請求項３または４に記載のニューラルネットワーク。 ６．ファジーパターン分類システムを使用する請求項１乃至５のいずれか１項 に記載のニューラルネットワーク。 ７．ファジーノードからの出力が後の出力において最も大きなノード出力であ り、予め定義された値によって少なくとも１つの主ノードの出力を越えないと仮 定すれば、ファジーノードの出力に接近する出力を有する主ノードが、パターン の最も類似したクラスを表すものとして選択される請求項６に記載のニューラル ネットワーク。 ８．入力パターンが前記主ノードの各々によって表されるパターンのクラスの いずれかに入る可能性を表すプロバビリティ分布が計算される請求項７に記載の ニューラルネット。 ９．出力層が２つのクラスから成り、各スラブが複数の主ノードとファジーノ ードから成り、１つのスラブの主ノードはパターンの大域的クラスを識別するよ うに学習され、他のスラブの主ノードはパターンのサブクラスを識別するように 学習される請求項１乃至８に記載のニューラルネットワーク。 １０．前記入力層に入力されるパターンが、ガスセンサまたはそれに関する複 数の出力を有する請求項１乃至９のいずれか１項に記載のニューラルネットワー ク。 １１．第２のスラブの主ノードが少なくとも１つのガスまたは揮発性種の異な る濃度を表すパターンを識別するように学習される請求項９及び１０に記載のニ ューラルネットワーク。 １２．温度センサの出力が入力層に入力される請求項１０または１１に記載の ニューラルネットワーク。 １３．湿度センサの出力が入力層に入力される請求項１０乃至１２に記載のニ ューラルネットワーク。 １４．前記入力パターンが線形または非線形マッピング技術によって縮小され 、その結果が非縮小パターンと共に入力層に入力される請求項１乃至１３のいず れか１項に記載のニュラルネットワーク。 １５．前記マッピング技術が主成分分析である請求項１４に記載のニューラル ネットワーク。 １６．前記入力パターンがパターン認識の前に前処理される請求項１乃至１５ のいずれか１項に記載のニューラルネットワーク。 １７．前記前処理が、最終的な識別には寄与しない入力パターンのエレメント を除去する段階を有する請求項１６に記載のニューラルネットワーク。 １８．前記前処理は入力データベースの間引きを含む請求項１６に記載のニュ ーラルネットワーク。