JP4142098B2

JP4142098B2 - 適応フィルタ型ニューラルネットワーク分類器

Info

Publication number: JP4142098B2
Application number: JP53254196A
Authority: JP
Inventors: ジェイエンゲル，ステファン; バックランド，デニス
Original assignee: ノースロップグラマンコーポレーション
Priority date: 1995-04-27
Filing date: 1996-04-08
Publication date: 2008-08-27
Anticipated expiration: 2016-04-08
Also published as: US5761383A; WO1996034344A1; JPH11504449A; EP0823090B1; DE69634247D1; EP0823090A4; DE69634247T2; EP0823090A1

Description

本発明は、概して、周期的な信号を検出し、分析する装置に関する。さらには、本発明は、適応フィルタ型ニューラルネットワーク分類器（以下、ＡＦＮＮＣ）であり、その正確な周波数とその周波数における電力が事前にわからない時に、その周波数特性に基づいて信号を検出し分類することを目指している。
科学的あるいは試験の試みにおいて、周期的な信号の検出と分析を含むある種の信号認識を行う必要がある。例として、ソナー信号認識やアコースティックエミッション処理やヘリコプター、自動車、工作機械、鉄道その他の回転する機械の振動解析は全て周期的な信号の検出や分類を含む信号認識を必要とする。概ね、そのような信号は、明確な特徴を時間領域か周波数領域かにおいて持っており、時間表示か周波数表示かの選択は応用例によって決まる。中でも周期的なイベントをパワースペクトラムか帯域フィルタによる表現を用いて観察する方が易しい事が多い。例えば、ホイールベアリングの欠陥の多くはホイールの運動部分が発する振動スペクトルやアコースティック信号の変化によって検出可能である。ボールベアリングにひびが入っていると圧縮波を発し、その基本周波数はベアリングの回転周波数と関連性がある。もしあるホイールの回転速度におけるこれらの周波数が既知であれば、臨界周波数の中心に置かれた狭い帯域フィルタ欠陥の信号を背景雑音から分離するのに使うことができる。フィルタの出力値は欠陥の程度に関連がある。
多くの応用例において知ろうとしている臨界的な周波数とそれらの周波数における許容電力はあいにく事前に既知のものではない。しかし、ニューラルネットワークやファジィ回路や遺伝アルゴリズムあるいは他の様々な適応技術を使って、この周波数や電力を知る事は可能である。
現在知られている装置やシステムやプロセスはニューラルネットワークによって周期的な信号のパターン認識に取りかかる。この方法では、通常、時間領域信号から周波数領域信号への変換を必要とする。最も普遍的な周期的な信号の表し方は、アナログ波形から、時間的に一様に置かれた波形上に個々に採られた位置に対応する一連のデジタル値への変換を必要とする高速フーリエ変換（ＦＦＴ）のような個々のフーリエ変換技術から引き出されたパワースペクトラムである。時間的間隔は、アナログ波形の周波数の内容によって決定される。高い周波数の要素（高速移動遷移）を持つ波形は理論的に、波形中の最速のサイン成分の要素の期間の半分より大きくないサンプリング時間を必要とする。変換の精度を上げるために、サンプリングは通常少なくとも理論上の最小の要求値より１０倍速い速度で行われる。結果として、この技術は多く非常に高価なＡ／Ｄ変換器と大容量のメモリとリアルタイムで動作する複雑なシグナルプロセッサとを必要とする。
さらに、多くの場合、周波数領域にある信号を認識するのに必要な臨界的な情報は、離れた周波数のところに存在し、スペクトラムの大半は関係の無いものである。アナログフィルタは選択された周波数に関する情報のみを通すのに使われ、このようにして高価な信号処理の必要を排する。しかし、該当する周波数があらかじめ分かっているだけで、これは実現可能である。
これらにより、信号の検出と認識を高めるためのニューラルネットワーク（ＮＮ）訓練手法により制御されるパラメータを持つ一つあるいはそれ以上のプログラム可能な適応フィルタ型ニューラルネットワーク分類器が簡単に得られる。
さらに、上記のごとくに適切な周波数を決定しこれらの周波数における情報を隔離するためにプログラム可能なアナログフィルタを用いるような適応フィルタ型ニューラルネットワーク分類器が簡単に得られる。
加えて、上記のごとくに認識処理を行い自身の性能を上げるために自己とプログラム可能なフィルタとに変更を加えるような適応フィルタ型ニューラルネットワーク分類器が簡単に得られる。
またさらに、上記のごとくにプログラム可能なフィルタとニューラルネットワークが対話型であり、それゆえフィルタの各種パラメータはそれらがニューラルネットワークの要素であるかのように合わせることができる適応フィルタ型ニューラルネットワーク分類器が簡単に得られる。
本発明の適応フィルタ型ニューラルネットワーク分類器は、いかに信号認識を行うかを学習し、周期的な信号パターンと背景雑音を変えるのに最も費用効果の高い方法で自己を調整することができる。
さらに、上述したごとくに以下のようなことを行う、適応フィルタ型ニューラルネットワーク分類器が簡単に得られる：周期的な信号のパターン認識（検出と分類）、潜水艦の検出と分類、ヘリコプターの移動の監視と診断、鉄道、自動車、ホイールベアリングの監視、レーダー波の認識、自動化工場の品質管理、そして、発電プラントや組立工場や健全性を測定し整備の必要性を予測するための回転機械の監視などの適時の整備。
本発明を用いて入力信号を分類するさらに特化した適応フィルタ型ニューラルネットワーク分類器が得られ、該分類器は適応フィルタ型ニューラルネットワークを含み、該分類器は分類すべきアナログ信号を受信し上記分類器に対してフィルタ出力信号を生成するような一つあるいはそれ以上の適応フィルタ手段を備え、上記の各適応フィルタ手段はあらかじめ定められた数の動作パラメータを持つべく特徴付けられており、上記各フィルタ出力信号を上記の一つあるいはそれ以上の適応フィルタ手段からディジタル信号へと変換するＡ／Ｄ変換器手段を備え、各ディジタル信号を受信し、各信号を処理してそれから上記ネットワークの予め決められた処理構造に従い複数の重み付けされた出力信号を生成し、その重み付けされた出力信号のあるものは上記入力信号に関する分類を表し、上記ニューラルネットワーク手段はさらに上記の重み付けされた出力信号と予め決定されている望ましい出力との間の差異を表す誤差信号を生成し、上記誤差信号に応えて上記各適応フィルタ手段に対してその上記誤差信号を最小にするように動作応答を変えさせるべくさらなる組の動作フィルタ用のパラメータを生成する制御手段を備える。
本発明は、またさらに詳細には、入力信号を分類する適応フィルタ型ニューラルネットワーク分類器にも向けられている。この分類器は適応フィルタ型ニューラルネットワークを含み、上記分類器は分類すべきアナログ信号を受信し上記分類器にフィルタ出力信号を生成する一つあるいはそれ以上の適応フィルタ手段を備え、上記各適応フィルタ手段は予め決められた数の動作パラメータを持つべく特徴付けられており、ニューラルネットワーク手段は各フィルタ出力信号を受信し、各信号を処理してそこから複数の重み付けされた出力信号を上記ネットワークの予め決められた処理構造に従って生成し、その内、上記重み付けのされた出力信号は上記入力信号の属するクラスを表し、上記ニューラルネットワーク手段はさらに上記重み付けされた出力信号と予め望ましい出力との間の差異を表す誤差信号を生成し、制御手段は上記誤差信号に応えて各上記適応フィルタ手段に上記誤差信号を最小にするような動作応答を変えさせるべくさらなる組の動作フィルタパラメータを生成する。
上記と関連して、本発明はニューラルネットワークを用いた適応フィルタリング方法にも向けられており、上記方法は前記ニューラルネットワークへの入力のためのフィルタ出力信号を生成する、一つあるいはそれ以上の適応フィルタ手段に、分類すべきアナログ信号を入力するステップを含み、上記各適応フィルタ手段は予め定められた数の動作パラメータを持つように特徴付けられており、また、上記ネットワークの内部処理構造に従って複数の重み付けされた出力信号をそこから生成するために、上記ニューラルネットワーク内の各フィルタ出力信号を処理し、さらに上記重み付けされた出力信号と予め定められた望ましい出力との間の差異を表す誤差信号を生成するステップを含み、上記重み付けされた出力信号の一つは入力アナログ信号の属するクラスを表し、また上記誤差信号を制御手段に入力し、各上記の適応フィルタ手段への入力が上記誤差信号を最小にするようにそこでの動作応答を変更するためにさらなる組の動作フィルタ用のパラメータを生成するステップを含む。
適応フィルタ型ニューラルネットワーク分類器に関する本発明は、以下に示すそのいくつかの好ましい実施形態の詳細な記述に書かれたものに関する技術の当業者にとってはより容易に理解され得るものであり、それらの実施形態は付随する図面に関連して取られており、そこでは要素はいくつかの図を通じて同一の参照用数字で表され。ここで、
図１は、単一のニューロンのニューラルネットワークモデルの計算用要素の概略図である。
図２は、従来からのニューラルネットワーク分類器の一般的な概略図である。
図３は、本発明による適応フィルタ型ニューラルネットワーク分類器の詳細な概略図である。
図４は、本発明による適応フィルタ型ニューラルネットワーク分類器の動作原理のブロック図である。
図５は、本発明による適応フィルタ型ニューラルネットワーク分類器の訓練の原理のブロック図である。
画像や音声や他の信号認識にニューラルネットワークモデル（”ニューラルネット”）を用いると大きな可能性があると決められてきた。これは、ニューラルネットは、可変の重み付けによりリンクで結ばれたたくさんの計算要素からなる大規模な並列ネットを用いて多数の競合する前提を同時に処理することが可能であるからである。広く知られる様に、ニューラルネットモデルで使われる計算要素やノードは非直線性があり、通常アナログである。図１と式１（ａ）、１（ｂ）に示されているように、単層のパーセプトロンのニューラルネットワークモデルは以下で規定される出力を持つ：

図１および式１（ｂ）とに示されているように、一つのパーセプトロン２は、入力が二つのクラス（ＡとＢで表される）の内の一つに属するかどうかを決定する。ここで、式１（ａ）に従って、一つのノードは重み付けされたＮ個の入力ｗ₀ｘ₀，．．．
ｗ_n-1ｘ_n-1，の重み付けされた総計を計算し、閾値あるいはオフセット値を減じ、図１に要素３として示された非直線性に結果を通過させ、出力ｙは＋１か−１のいずれかである。非直線性の種類には、ハードリミッタと閾値論理要素とＳ字型の非直線性が含まれるのは良く知られている。その決定のやり方は、もし出力が＋１ならばクラスＡであり、もし出力が−１ならばクラスＢである。単層のパーセプトロン２は、連続値と２進入力値の二つと共に用いることができるという点は知られている。さらに複雑なノードには、時間の積分あるいは他の種類の時間への依存性そして加算よりも複雑な数学的処理が含まれ得る。他の種類のニューラルネットである多層パーセプトロンは、入力と出力のノード間の一つあるいはそれ以上の層から成るフィードフォワードのノードである。これらのパーセプトロンは単層のパーセプトロンの多くの限界を効果的な訓練アルゴリズムによって乗り越える。
図１に示される単層のパーセプトロン２のようなニューラルネットモデルは、ネットのトポロジーとノード特性そして訓練もしくは学習の規則によって表される。これらの規則は、重み付け値の初期セットを明示し、重み付け値ｗ₀，．．．ｗ_n-1がいかに性能向上のための使用時に適用されるべきかを示す。
Ｍ個のクラスの中のどれがＮ個の入力要素を含む未知の静的入力パターンを最もよく表しているかを決定する、従来からの適応ニューラルネット分類器４の一般的なブロック図が図２に示されている。ある画像分類器において、入力は一つの画像に属する各画素のグレイスケールのレベルであり、クラスは異なる対象を表すことができる。ここで、入力値はＮ個の入力接続点を介して最初のステージ５に並列に供給される。各接続点をアナログ値が通るが、それは２進入力に対し二つのレベルを取るか、連続的な入力値に対し広い範囲に変化することができる。最初のステージ５は、一致する点数を計算し、これらの点数をＭ個のアナログ出力ライン上を次のステージ７に並列に出力する。このステージ７で、これらの値の最大値は、選択され拡大される。２番目のステージには、Ｍ個のクラスの各々に対して一つずつの出力がある。分類が終了した後に、最もそれらしいクラスに対応した出力のみが強くなるか”ハイ”となり、他の出力は”ロー”となる。この設計では、各クラスに出力は存在し、この多様な出力はクラスが別個だと判断される限りにおいてこれ以降の処理ステージに持ち越される。簡単な試験的な分類システムでは、これらの出力ラインはクラスの識別子（たとえばＬＥＤ表示やラベル）を明示する手段へと直接進むことができる。さらに複雑な場合は、この出力ラインは、他の形態や時間依存性からの入力が考慮されるような以降の処理ステージへと進むことができる。
図２に示されるように、もし正しいクラスが与えられれば、この情報と分類器の出力ｙ₀，．．．，ｙ_N-1は、訓練アルゴリズムを用いて重み付け値を適合させるべく分類器の最初のステージ５へとフィードバックさせることができる。適合によって、現在のパターンに類似した、後に続く入力パターンに対してさらに好ましい応答がなされる。学習の手順とアルゴリズムには、一組の入力と出力パターンとが提示される。最初に、ニューラルネットシステムは入力ベクトルを使って自身の出力ベクトルを作り出しそれを所望の出力あるいは目標となるベクトルと比較する。もし、違いがなければ、学習は行われない。そうでない場合、この違いを少なくするために下り勾配法のような学習アルゴリズムに従って重み付けの値は変更される。
適応フィルタ型ニューラルネットワーク分類器の動作
本発明の適応フィルタ型ニューラルネットワーク分類器１０（”ＡＦＮＮＣ”）を描いたブロック図は図３に示されている。動作において、分類されるべき情報を含んだアナログ信号１１は、装置への入力であり、要素１５ａ，ｂ，ｃ，．．，ｎとして示されているいくつかのプログラム可能なフィルタによってフィルタをかけられる。以下に記されるところのあらかじめ導入されている訓練手順によって、各適応フィルタは、ニューラルネット分類器への入力である信号２０ａ，ｂ，ｃ，．．，ｎとして示されているところの各出力を生成するようにプログラムされている。各適応フィルタのプログラムされている応答特性として、出力信号２０ａ，ｂ，ｃ，．．，ｎにはニューラルネットワーク分類器に必要な臨界的な情報のみが含まれている。そうでない場合、例えばＦＦＴアルゴリズムなどの信号処理技術の実行を含んだ外部のサンプリング回路は、ネットワークに入力される前に臨界情報を識別するのに必要とされるであろう。
プログラム可能なフィルタ：
信号処理の分野において、特定の周波数の信号を邪魔な雑音から取り出すことが通常、必要となる。これには帯域通過フィルタが必要とされ、これはｆ₀の周波数を持つ信号にそれ以降の処理を行わせ、フィルタの質的因子Ｑにより決まる急峻さを備えたｆ₀以上あるいは以下の他の周波数の信号を排除する。適応フィルタは、ｆ₀やＱを劇的に変更して最適のフィルタ効果を与えるものである。市場で入手できるマイクロプロセッサでプログラム可能な汎用スイッチキャパシタによる能動フィルタであるＭＡＸＩＭ（商品名）２６０，２６１，２６２などのデバイスやその等価品は、マイクロプロセッサでプログラム可能な２次動的フィルタであり、この発明を実施するのに使用することができる。そのようなフィルタは、６ビットのデジタル語をそのデバイスの中にダウンロードすることにより、６４ステップの２：１の範囲に渡ってほぼ直線的にｆ₀を変更することができる。これはスイッチキャパシタによるフィルタであるから、ｆ₀は、また７５０，０００：１と同様の範囲に渡って入力クロックに比例する。それゆえに、通常の応用例においては、ｆ₀はそのクロックの６４倍の解像度で０．０１Ｈｚから７５００Ｈｚまで変化され得る。そのようなデバイスは、また７ビットのデジタル語をそのデバイスの中にダウンロードすることにより、１２８ステップ中０．５から６４ステップで双曲線的にＱを変化させることができる。これらのフィルタを縦続接続することにより、Ｑは以下のように増加させることができる：

フィルタの次数を増加させることに加えて、これらのフィルタを縦続接続することにより、さらにバターワース型やチェビシェフ型やベッセル型のような別のフィルタ構成を実行することも可能である。
図３に示されるように、各アナログフィルタの出力信号２０ａ，ｂ，ｃ，．．．，ｎはそれぞれの独立したサンプルホールドのモジュール２５ａ，ｂ，ｃ，．．．，ｎによって同時にサンプルされるが、このモジュールはアナログデジタル（Ａ／Ｄ）変換器３０によりアナログ信号からデジタル出力へ一度に一つずつ変換されるところの各出力２７ａ，ｂ，ｃ，．．．，ｎを持っている。マルチプレックスあるいはスイッチングの回路３７は、サンプルホールド出力信号をＡ／Ｄ変換器３０へ順次入力することができる。Ａ／Ｄ変換器３０のデジタル信号出力はフィルタの出力値を表しており、その各々は順次、並列Ｉ／Ｏシフトレジスタ４０へとロードされ変換された後に一度に一つずつフィルタ値を出力するか、あるいはベクトル形式で一緒に出力することができる。フィルタ値は、時間的なシフトあるいは信号の”時間経過”を説明するように求められている時、たとえばレーダーのドップラー効果などを考慮する時は、ベクトル形式で出力することができる。シフトＩ／Ｏレジスタ４０は、また古い値を、レジスタにおける位置をずらすことにより新しい値を有効にするように入れ換えることができる。そしてニューラルネットワークモジュール５０は、管理されたあるいは管理されない技術によってデジタル信号の検出あるいは分類を行うが、これは以下においてより詳細に記述される通りである。
もう一つの実施形態において、適応フィルタ出力信号２０ａ，．．．，２０ｎは直接ニューラルネットワーク検出分類器５０に、図３の破線８０に示されるマルチプレクサ３７とＡ／Ｄ変換器３０と並列Ｉ／Ｏシフトレジスタ４０の回路を通さずに入力することができる。そのような構成では、ニューラルネットワーク分類器５０は、アナログデバイスであり、アナログ適応フィルタの出力信号のみを処理する。
図３に示すように、ニューラルネットワーク処理の結果として二つの信号が作られる：ネットワーク自身とフィルタの有効性を示す誤差信号５１および入力信号が属するクラスを表す出力信号５３である。好ましい実施形態において、誤差信号５１は、臨界的な情報のみにネットワークを素通りさせることによりニューラルネットワークの集束時間を最大にするように入力フィルタ１５ａ，．．，１５ｎに関する適応フィルタのパラメータを調整するアルゴリズムを実行するマイクロプロセッサあるいはマイクロコントローラ（μＰ／μＣ）６０を備えたフィルタパラメータ制御器６５へ入力される。
フィルタパラメータ制御器
図３に示すように、フィルタパラメータ制御器６５は、適応フィルタ１５ａ，．．，１５ｎの各々に対しｆ₀とＱを確立する。また、適応フィルタの各々に対しクロック信号６２ａ，．．，６２ｎを生成する。制御器６５は、適応フィルタ１５ａ，１５ｂ，．．，１５ｎに対し７０ａ，，７０ｂ，．．，７０ｎで示される各データラインに乗せてｆ_clk／ｆ₀比をダウンロードし、また、Ｑデータをデータライン７５ａ，７５ｂ，．．，７５ｎに乗せて適応フィルタにダウンロードし、ねらっている信号に対しより効果的に目標を定めることができる。好ましい実施形態において、フィルタパラメータ制御器６５が備えるのは、簡単な８ビットのマイクロプロセッサあるいはマイクロコントローラ（μＰ／μＣ）６０であり、これは上述したような市場で入手できる動的フィルタにとって必要なクロック信号６２ａ，．．，６２ｎを供給するためのプログラム可能な周波数分割器（ＰＦＤ’ｓ）６７ａ，．．，６７ｎとともに動作する。その実施形態において、一つのプログラム可能な周波数分割器が、各独立している適応フィルタに対しｆ₀の粗く選択したものを供給するために備えられる。周波数の正確さと範囲に対するシステムの要求に応じて、プログラム可能な各周波数分割器６７ａ，．．，６７ｎは、選択可能な計数分割器列と同等に簡単であり得るが、この分割器列は幾何学的な分解能を持つか、あるいは３２ビットの数値制御発振器と同等に高性能なものである。μＰ／μＣ６０は、システムの要求に関する一般的な知識に基づいて各適応フィルタのｆ₀とＱの初期値をプログラムすることができる。それから、μＰ／μＣ６０は、適応フィルタの各々に最適なクロック周波数を定め、対応するプログラム可能な周波数分割器６７ａ，．．，６７ｎの各々に適切なデジタル語をダウンロードする。μＰ／μＣ６０は、また各適応フィルタに対するｆ_clk／ｆ₀比とＱの最良の初期値を決定し、それらに適切なアドレスとデータ語とをダウンロードする。
統合的な適応フィルタ型ニューラルネットワーク分類器の動作ステップ１００を図示した図４のブロック図において、ステップ１０５において適応フィルタパラメータの初期化が指示され、ステップ１１５において分類すべきアナログ信号が入力される。図４のステップ１２０において、Ａ／Ｄ変換ステップが示されており、その変換されたデジタル信号はステップ１２５における処理のためにニューラルネットワーク分類器へ入力される。図４のステップ１３０に示すように、誤差信号が予め定めた値より小さいかどうかが決定される。もし誤差信号５１が、誤りの最小値よりも小さければ、ネットワークは収束し、信号が属するクラスを明らかにする出力信号を表示することができるが、これはステップ１４０に示される。もし誤差信号５１が、誤りの最小値よりも大きければ、ネットワークは収束せず、適応フィルタの応答パラメータあるいはニューラルネットワークの重み付け値がこの誤りを少なくするために変更され得る。このために、ＡＦＮＮＣ１０は、”微調整”のため、そして適応フィルタパラメータおよび／またはニューラルネットワークの重み付け値を調整するために、図５のステップ２２５に示すように訓練モードに入るがさらに詳細な説明は後述する。
この訓練モードの間、ＡＦＮＮＣ１０アナログ入力は、期待される結果とともにシステムに対して与えられる。上述したように、期待出力値とシステムの応答値との違いを表す誤差信号５１は、応答適応フィルタ１５ａ，．．，１５ｎの各々に対しこの誤りを最小にするためにｆ₀とＱの新しい値を決定するフィルタパラメータ制御器μＰ／μＣ６０へ入力される。それからμＰ／μＣ６０は、前と同様にこの新しい情報を各適応フィルタにダウンロードし、他のアナログ信号がシステムに入力される。これは、訓練誤差が予め定められた最小値に達するまで続けられる。それからＡＦＮＮＣ１０は、訓練されたものに対して処理／分類を行うために最適に構成され、また、必要が発生するにつれ新しい条件に対して再学習することができる。
ニューラルネットワーク検出器／分類器の訓練
様々な既知の管理されたあるいは管理されないニューラルネットワーク学習技術は、下降検索や遺伝アルゴリズムや協調的競争学習や放射基準機能ネットワーク等々を含み、これにより適応フィルタ入力の最適なパラメータを決定することができる。これらの技術は、適応フィルタの出力を、学習および後続の処理のためにニューラルネットワークの入力に使用する。帯域通過中央周波数ｆ₀と質的因子Ｑのような適応フィルタパラメータは、訓練中にニューラルネットワーク出力誤差を最小にするように重み付け値を調節する処理と同じ処理によって調節される。
適応フィルタ型ニューラルネットワーク分類器１０の訓練と集積とを説明した方法２００は図５のブロック図に示されている。一般的に、応用範囲に特化した適応フィルタ型ニューラルネットワーク分類器すなわち認識するように望まれている信号を分類するようにプログラムされているものが求められる。一例として、ある機械的なベアリングの欠陥によって特別な機械的な装置の動作速度近辺で周期的な信号が生成されることはよく知られている。これらの信号を応用例に特化した適応フィルタ型ニューラルネットワーク分類器に入力することにより、ベアリングの欠陥の種類とひどさとに関する決定をすることができる。もっと重要なこととして、この学習手順により前もって知られていない信号の認識をするのに適応フィルタ型ニューラルネットワーク分類器を訓練する。
図５に示すように，分類器の訓練と適応フィルタの最適化が行われる最初のステップは、装置の入力部において全ての適応フィルタ１５ａ，．．，１５ｎを初期化する。このステップは図５においてステップ２０５として示され、予め決められた既知の周波数範囲における信号が当の特化された応用例のニューラルネットワークへの入力となるような各適応フィルタの構成を含むことができる。代わりに、当の信号が前もって分かっていない場合に広い周波数帯域にまたがる拡大型帯域通過フィルタを必然的に伴う。適応フィルタを初期化した後、ステップ２１５として示された次のステップは、特化された応用例に対する臨界的情報を含んだアナログ信号を入力することである。上述した様に、これらの信号とその周波数識別特性は前もって知られるかも知られていてもいなくてもよい。
次のステップ２２５は、適応フィルタ１５ａ，．．，１５ｎが最適に構成されたかどうか、すなわち、当の求められる周波数のみをニューラルネットワークに入力するように調整されているかを判定する。もし、適応フィルタ１５ａ，．．，１５ｎが最適に調整されていなければ、図５のステップ２３５に示すようにフィルタ構成はさらに最適化される。もし、適応フィルタが最適に構成されていれば、ニューラルネットワークの重み付け値は、ニューラルネットワーク訓練手法に従って微調整され得る。
図５に示すように、ステップ２３５には、適応フィルタ出力と期待される出力ベクトルとを、ニューラルネットワークモデルの一つとして構成される、例えばニューラルネットワーク、たとえば後方伝搬（”ＢＰ”）や放射基準機能（”ＲＢＦ”）や多重パーセプトロンなどに入力する処理を含み、結果として重量配分を得る。特に、当の既知の信号を管理されたニューラルネットワークモデルに入力した後に、あるいは、当の未知の信号をネットワークに入力した後に、結果としてのニューラルネットワークの重量配分は、図３の説明で上述したように、適応フィルタへダウンロードするたとえばｆ₀とＱのような最適なフィルタパラメータへと、フィルタパラメータ制御器６５により分析され置き換えられる。
一例として、ＲＢＦニューラルネットワークである、出力ノードμが隠れた層のノードによって計算される基本（あるいは核）の直線的結合を作るような２層のネットワークが使用され得る。隠れた層の基本機能は入力刺激への限局された応答を生み出すが、これはすなわち入力空間の限局された小さな領域において入力が落ちた時にのみ重要な非零の応答を生み出す。基本機能の最も普通のものは次の式のガウス核機能である：

ここでμ_ijは第１層のｊ番目のノードの出力であり、ｘは入力パターンであり、ｗ_ijは第１層のｊ番目のノードに対する重み付けベクトルである、すなわち、ノードｊに対するガウスの中心であり、σ_j ²はｊ番目のノードに対する正規化パラメータであり、Ｎ₁は第１層のノードの数である。ＲＢＦネットワークにおいて、入力がガウスの中心に近ければ、それだけノードの応答は大きくなるように、ノードの出力は０から１に分布する。これは、ガウス核は放射状に対称である、すなわち、各ノードは核の中心から放射状に一定の距離にある入力から同一の出力を作り出す。
ＲＢＦ手法を用いた適応フィルタの調整が以下のように行われる：通常は、前もって知られているあるいは知られていない信号に対して、全ての適応フィルタは当の疑わしい帯域に渡って等しく分配される中心周波数ｆ₀を持つように構成される。それから、各ｆ₀はＫ手段アルゴリズムのような管理されないクラスタ手法を用いて移動させられる。固定した後、各適応フィルタＱは、訓練パターンとｆ₀との間の平均距離に比例するように調整され得る。注意すべきことは、もし入力適応フィルタの構成が低域および／もしくは高域通過型として構成されていれば、代わりにロールオフの程度が重み付け値の大きさに比例する後方伝搬技術を修正した技術を用いて調整することができる。上述のＲＢＦ訓練技術に代わり、フィルタパラメータは、ＤＦＴ（ＦＦＴ）信号処理アルゴリズムを用いて、加工前のアナログ入力信号１１を最初にスペクトルパワー表現に変換される方法によって直接決定され得る。周波数係数のベクトルとして表されるパワースペクトルは、特定のニューラルネットワークへの入力として使用される。管理される訓練の間、いくつかのニューラルネットワークパラダイムの内の一つが、求めるニューラルネットワーク出力を改善するようなやり方、すなわち高速な収束で誤りを最小にする方法で入力ベクトルをネットワークに接続する重み付け値を調整するべく実行される。ネットワークを訓練した後に、入力の重み付け値はどのスペクトル係数が有用な情報を含んでいるかを決めるべく分析され得る。良い結果を生み出せる入力は通常不適切だったり正反対の情報を持ったものよりも大きな重み付け値を持っている。新しいフィルタパラメータを与えられると、ニューラルネットワークは、ニューラルネットワーク入力としてのＤＦＴスペクトル係数よりもむしろ適応フィルタ出力を用いるように作られる。
図５のステップ２４５として示される次のステップは、全ての適応フィルタパラメータを調整し、すなわち各フィルタの中心周波数と質的因子を構成し、入力の重み付け値分布を反映し、有用でない周波数を圧縮している間に臨界情報を蓄積することを行う。これは、特定の応用例にとって、臨界周波数情報がまばらである時に少数の適応フィルタが必要とされるがゆえに、非常に費用を節約できる技術である。
適応フィルタ１５ａ，．．，１５ｎが一度調整されると、使用しようとしているニューラルネットワーク分類器の重み付け値をさらに訓練する必要があるだろう。このようにして、上述の方法で入力信号は調整済みの適応フィルタへと入力される（図５のステップ２１５において）。そこから出力は、図３について上述した方法でニューラルネット分類器へと入力される。ステップ２２５において示したように、適応フィルタ１５ａ，．．，１５ｎが最適に構成されているかいなかの決定が再びなされる。この再度の決定のために、入力適応フィルタは上述しように既に調整されているが、これはニューラルネットワーク訓練アルゴリズムが図５のステップ２５０で示されるように今度は実行され得るように、当の欲しい周波数のみをニューラルネットワークに入力するためである。
実施形態において、最小２乗平均法や後方伝搬のような管理された訓練アルゴリズム実行され、ニューラルネットワークを訓練し分類器で用いられるネットワークに対する最適のノード（重み付け）配分を得る。ステップ２３５で実行される訓練手法とは異なるニューラルネットワーク訓練手法が、ステップ２５０のニューラルネットワークを訓練するために用いられるであろう。
一例として、図５に示したようにステップ２５０において後方伝搬手法が実行されるであろうが、これはネットの出力の求める値と実際の値との２乗平均の差に等しい費用関数を最小にする勾配検索手法が用いられる。全てのノードの求められている出力は、現在の入力が来るところのクラスにノードが対応しない場合は、通常”ロー”（０あるいは＜０．１）であり、そうでない場合は”ハイ”（１．０あるいは＞０．９）である。ネットは、最初は小さなランダムな重み付け値と内部の閾値が選択され、次に全ての訓練データが繰り返し与えられることにより訓練される。重み付け値は、重み付け値が収束し費用関数が許容できる値まで減少するまで、正しいクラスを記述した側方情報を用いた試しの終わる度に調整される。アルゴリズムに必須の要素は、繰り返し勾配法であり、これは多層フィードフォワードのパーセプトロンの実際の出力と求められる出力との間の２乗平均誤りを最小にするために、出力層内のノードから戻った重み付け値をより下層のノードに適合させるのに必要な誤差項を伝搬する。そのためには、連続的な微分可能な非直線性である。下記に記すように、各ノードは、次の式に従った関数ｆ（α）を持つＳ字型論理計算の非直線性を備える。

最初に、全ての重み付け値とノードのオフセット値は小さくランダムな値に初期化される。それから、連続的な値の付いた入力ベクトルｘ₀，ｘ₁，．．．ｘ_N-1が与えられ、求められる出力が明示される。ネットが分類器として使われる時、求められる全ての出力は通常、入力が１に設定されるクラスに対応する出力以外は零に設定される。求められる出力は１である。入力は各試行時に新しくても良いし、訓練用の組からのサンプルは重み付け値が安定するまで循環的に与えられる。
次のステップは上式のＳ字型非直線性を用いて実際の出力ｙ₀，ｙ₁，．．．，ｙ_M-1を計算するものである。出力ノードに始まり最初の隠れた層に戻る反復的アルゴリズムを用いると、重み付け値は以下で調整される。
ｗ_ij（ｔ＋１）＝ｗ_ij（ｔ）＋ηδ_jｘ_i；
この式において、ｗ_ij（ｔ）は隠れたノードｉからのあるいは時刻ｔでのノードｊへの入力からの重み付け値であり；ｘ_iはノードｉの出力か入力であり、ηは利得項であり、δ_jはノードｊに誤差項である。もしノードｊが出力ノードであれば、
δ_j＝ｙ_j（１−ｙ_j）（ｄ_j−ｙ_j）
ここで、ｄ_jはノードｊの求められる出力であり、ｙ_jは実際の出力である。もしノードｊが内部の隠れたノードであれば、

となり、ここでｋはノードｊの上の層にある全てのノードに渡ってある。内部のノードの閾値は、それらが予備の固定値を持った入力からのリンク上の接続重み付け値であると仮定することにより同類の方法で適合される。運動項が加えられ、重み付け値が以下の式によりなめらかにされれば収束は時に速まる：
ｗ_ij（ｔ＋１）＝ｗ_ij（ｔ）＋ηδ_jｘ_j＋α（ｗ_ij（ｔ）−ｗ_ij（ｔ−１））
ここで０＜α＜１である。訓練する入力が無くなるまで、連続的な値を持つ入力ベクトルｘ₀，ｘ₁，．．．ｘ_N-1の入力（と求められる出力）の処理を自ら繰り返す。
最後に、図５に示すステップ２５５において適応ニューラルネットワーク分類器が組み上げられる。ここで、適応フィルタパラメータとニューラルネットワーク重み付け値とは特定の応用例に対し最適に構成される。
上述の管理されたニューラルネットワーク訓練手法の代替案として、管理されない訓練手法が、図３を使って説明される適応フィルタニューラルネットワーク分類器として実現され得る。このようにして例えば一連の入力信号１１を適応フィルタ１５ａ，．．１５ｎに入力することができるがここでは出力クラスあるいは期待される出力信号５３は未だ分からず、さらに新しいクラスを表すかも知れない。管理されない訓練手法の中には、応答の類似性を探すためにこれらの入力信号を互いに比較することも含まれる。類似性のある全ての入力信号は、クラスを表すために”クラスター”されるが、これには意味は無く（例えば良きにつけ悪しきにつけ）、また入力信号の特定の組に対するクラス数が予め明記されるであろう。これらのクラスの重要性は、他の手法を用いてさらに経験を重ねることにより次第に分かってくるであろう。
一旦、入力信号１１が、管理されないニューラルネットワーク訓練手法を用いて作られると、応答パターンやこれらのクラスのために造られたテンプレートが上述の管理される訓練手法に対する入力として使用され、さらなる入力信号がこれらの手法に従って分類される。
最も実際的かつ最適の実施形態において示され記されたと思われるが、記され示された特定の方法と設計から始めることにより、当業者に提案をし本発明の精神と範囲から離れずに行うことができるのは明白である。そこで、記し図示した特定の構造に限定したいとは望まないが、付属する請求項の範囲内に入る全ての変更を利用したいと願っている。

Claims

入力アナログ信号を分類する適応ニューラルネットワーク分類器であって、
分類しようとする前記入力アナログ信号を受信し、フィルタ出力信号を生成し、各々が予め定められた数の動作パラメータを持つように特徴付けられている一つあるいはそれ以上のプログラム可能なフィルタ手段と；
上記一つあるいはそれ以上のプログラム可能なフィルタ手段からの上記フィルタ出力信号の各々をデジタル信号へと変換するアナログ・デジタル変換器手段と；
適応ニューラルネットワーク手段の予め定められた処理構造に従って、重み付けされその内の一つが上記入力アナログ信号のクラスを表す複数の出力信号をそこから生成するために、上記各デジタル信号を受信し処理し、さらに、上記重み付けされた出力信号の上記一つと予め定められた所望のクラスとの間の差を表す誤差信号を生成する、適応ニューラルネットワーク手段と；そして
上記誤差信号に応答して、上記誤差信号と関連したプログラム可能なフィルタ手段のための動作フィルタパラメータの組を再セットする再セット機能を提供し、上記誤差信号を最小にするようその動作応答を変更する上記各プログラム可能なフィルタ手段に再セットされた動作フィルタパラメータを入力するための制御手段であって、再セット機能は、上記入力信号のためのクラスを表す上記重み付けされた出力信号の１つの収束動作を示す値に誤差信号が収束するまで反復される上記制御手段と
を備えることを特徴とする適応ニューラルネットワーク分類器。
上記の適応フィルタは中心周波数ｆ０と品質因子Ｑとを含む動作パラメータを備えた帯域通過フィルタとして構成され、上記の動作パラメータは分類すべき上記入力信号に基づいて最初から予め定められていることを特徴とする請求項１記載の入力アナログ信号を分類する適応ニューラルネットワーク分類器。
上記動作パラメータは、上記ニューラルネットワーク分類器上で実行される訓練手法に従って予め定められることを特徴とする請求項１記載の、入力アナログ信号を分類する適応ニューラルネットワーク分類器。
上記訓練手法には予め既知の入力信号と求められる出力信号とを上記ニューラルネットワーク分類器に入力し、重み付けされた複数の出力信号を生成することを含むことを特徴とする請求項３記載の、入力アナログ信号を分類する適応ニューラルネットワーク分類器。
上記動作フィルタパラメータは、上記訓練手法により作られた複数の重み付けされた信号に従って作られることを特徴とする請求項４記載の、入力アナログ信号を分類する適応ニューラルネットワーク分類器。
上記重み付けされた出力信号の上記一つは、上記入力信号の未知のクラスを表し、上記ニューラルネットワーク手段はさらに、それについてクラスを作るために、重み付けされた同じ出力信号をクラスターすることを特徴とする請求項１記載の、入力アナログ信号を分類する適応ニューラルネットワーク分類器。
上記ニューラルネットワーク手段には、重み付け配分があり、上記重み付け配分を上記誤差信号を最小にするように調整することを特徴とする、請求項１記載の、入力アナログ信号を分類する適応ニューラルネットワーク分類器。
入力アナログ信号を分類する適応ニューラルネットワーク分類器であって、
分類すべき前記入力アナログ信号を受信し、フィルタ出力信号を生成し、その各々は予め定められた数の動作パラメータを持つように特徴付けられる一つあるいはそれ以上のプログラム可能なフィルタ手段と；
各前記フィルタ出力信号を受信し、処理して、上記適応ニューラルネットワーク手段の予め定められた処理構造に従って、その一つが上記入力アナログ信号のクラスを表す複数の重み付けされた出力信号をそこから生成し、さらに上記重み付けされた出力信号の上記一つと予め定められた求めようとしているクラスとの間の差を表す誤差信号を生成する適応ニューラルネットワーク手段と；そして
上記誤差信号に応答して、上記誤差信号と関連したプログラム可能なフィルタ手段のための動作フィルタパラメータの組を再セットする再セット機能を提供し、上記誤差信号を最小にするようその動作応答を変更する上記各プログラム可能なフィルタ手段に再セットされた動作フィルタパラメータを入力するための制御手段であって、再セット機能は、上記入力信号のためのクラスを表す上記重み付けされた出力信号の１つの収束動作を示す値に誤差信号が収束するまで反復される上記制御手段と
を具備することを特徴とする適応ニューラルネットワーク分類器。
さらに上記一つあるいはそれ以上の適応フィルタ手段からの上記フィルタ出力信号の各々をデジタル信号へと変換するアナログ・デジタル変換手段を含み、上記ニューラルネットワーク手段は処理のために各デジタル信号を受信することを特徴とする請求項８記載の、入力アナログ信号を分類する適応ニューラルネットワーク分類器。
上記ニューラルネットワーク手段には、重み付け配分があり上記重み付け配分を上記誤差信号を最小にするように調整することを特徴とする、請求項８記載の、入力アナログ信号を分類する適応ニューラルネットワーク分類器。
ニューラルネットワーク分類器による信号分類方法であって、
分類すべきアナログ信号を、適応ニューラルネットワーク手段への入力のためのフィルタ出力信号を生成する一つあるいはそれ以上の、各々が予め定められた数の動作パラメータを持つように特徴付けられたプログラム可能なフィルタ手段に入力するステップと；
重み付けされた複数の出力信号を上記適応ニューラルネットワーク手段の内部の処理構造に従ってそこから生成するために、上記適応ニューラルネットワーク手段における各前記フィルタ出力信号を処理し、ここで上記重み付けされた出力信号の一つは上記入力アナログ信号のクラスを表し、さらに上記重み付けされた出力信号の上記一つと予め定められた求めようとしているクラスとの間の差を表す誤差信号を生成するステップと；そして
上記誤差信号に制御手段へ入力し、上記誤差信号と関連したプログラム可能なフィルタ手段のための動作フィルタパラメータの組を再セットする再セット機能を提供し、上記誤差信号を最小にするようその動作応答を変更する各上記プログラム可能なフィルタ手段に再セットされた動作フィルタパラメータを入力するステップと、を含み、再セット機能は、上記入力信号のためのクラスを表す上記重み付けされた出力信号の１つの収束動作を示す値に誤差信号が収束するまで反復されることを特徴とする信号分類方法。
上記アナログ信号の上記入力ステップは、さらに上記誤差信号を生成するために所望の出力信号を上記ニューラルネットワーク分類器へと入力することを含むことを特徴とする請求項１１記載の信号分類方法。
さらに上記ニューラルネットワークへの入力に先立ち上記フィルタ出力信号の各々のアナログ・デジタル変換を行うステップを含むことを特徴とする請求項１２記載の信号分類方法。
さらに上記誤差信号を最小にするよう上記ニューラルネットワークの重み付け配分を調整することを含む、請求項１１記載の信号分類方法。