JPH04501328A - 時間変動するデータを分類する適用回路網 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 時間変動するデータを分類する適用回路網本発明は情報処理、特に時間変動する データを分類する方法および装置に関する。

２、論議 複雑な時間変動するデータの分類は、通常の情報プロセッサに多数の難題を課す 。分類のタスクは典型的に大量の２次元データからの既知の分類の典型パターン を認識することを含む。認識されるパターンが既知の分類における微妙な変動を 有している場合、伝統的な分類装置は分類を正しく区別できないことが多い。こ れは部分的には入力データの基本分布に関連させられなければならない強い仮定 のためである。アルゴリズムは分類のためにこれらの特性を抽出し、入力特性に 既知の特性を一致させるように開発されなければならない。

分類装置の成功はこれらの基本仮定の正しさに依存している。多数の問題は含ま れるパターンの微妙さおよび各分類内におけるこのようなパターンの広範囲の変 動のためにアルゴリズムにおける明快な仮定を許容できない。伝統的な分類に関 する別の欠点は通常要求される拡大予備処理およびアルゴリズムを開発するため に要求される拡大時間、並びにパターン整合を行うためのソフトウェアである。

このような分類問題の例は、スピーチ、画像データ、レーダ、ソナー等の種々の ソースからの時間的に変化する信号を分類することを含む。

また通常の情報プロセッサは一般に耐故障がなく、スピーチ認識の場合における 可視的なパターンの配向変化のような入力信号のある変形すなわちスピーカの相 違を処理することができない。

近年、直列的に動作する通常のフォンノイマンコンピュータは、脳のような生物 学系で発生する並列処理との類似性をほとんど持たないことが認識されている。

したがって、通常の情報分類技術は人間により実行されるパターン認識タスクを 適切に行うことができないことは当然である。その結果、脳の神経モデルに基づ いた新しい方法が知覚タスクを実行するために開発されている。これらのシステ ムは神経ネットワーク、神経系、学習機構、並列分布プロセッサ、自己構成シス テムまたは適用論理システムとして種々に知られている。

名称はどうであっても、これらのモデルは並列に動作し、生物学的な神経ネット ワークを連想させるパターンで配列された非常に多数の非線形計算素子を使用す る。各計算素子または“ニューロン”は、行動を改良する訓練中に典型的に適用 される加重または“シナプス”を介して接続されている。したがって、これらの システムは正しい出力が特定の入力に応答して得られるまでそれらのシナプス加 重を変化することによる自己学習を呈する。一度訓練されると、神経ネットは入 力が不完全または背景雑音に隠されている場合でもパターンを認識し、所望の出 力を発生することができる。また神経ネットは、それぞれ局部的な接続を本質的 に備えた多数の処理ノードを有しているためフォンノイマンシーケンシャルコン ピュータより大きい堅牢さ、すなわち耐故障性を呈する。いくつかのノードまた はリンクに対する損傷は全体的な特性をそれ程損なわない。

種々の位相幾何学、神経特性、および訓練すなわち学習アルゴリズムを使用した 広範囲の神経ネットモデルがある。学習アルゴリズムは内部セットの加重を限定 し、特性を改良するためにどのような加重が使用すなわち訓練中に適用されるべ きかを示す。例で説明すると、これらの神経ネットモデルは、Ｆ、　Ｒｏｓｅｎ ｂｌａｔｔ氏による米国特許第３，２８７．６４９号明細書に記載された知覚神 経、Ｊ、ホップフィールド氏による米国特許第４．８６０．１８６号明細書およ び第４．７１．９．５９１号明細書に示されたホップフィールドネット、ハミン グネットおよびコーホネン自己構成マツプ（Ｒ，リップマン氏による文献゛Ａｎ 　Ｉ　ｎｔｒｏｄｕｃｔｉｏｎ　ｔｏ　Ｃｏｉｐｕｔｌｎｇ　ｖｉ、ｔｈ　Ｎｅ ｕｒａｌ　Ｎｅｔｓ″。

ＩＥＥＥ　ＡＳＳＰ　Ｍａｇａｚｆｎｅ、　１９８７年４月、４乃至２２頁、Ｒ ｕｎ＋ｅｌｈａｒｔ、ＨｉｌｔｏｎおよびＷ　ｉ　Ｉ　ｌ　ｌａ１ｍｓ氏による 文献“ＴｈｅＧｅｎｅｒａｌ！ｚｅｄ　Ｄｅｉｔａ　Ｒｕ１ｅ　ｆｏｒ　Ｍｕｌ ｔｉｌａｙｅｒｅｄ　Ｐｅｒｃｅｐｔｒｏｎｓ”　、　Ｄ、Ｅ、　Ｒｕｍｅｌｈ ａｒｔおよびＪ、Ｌ、　ＭｃＣｌｅｌｌａｎｄ氏（Ｅｄｓ、）による文献”Ｌｅ ａｒｎｉｎｇ　！　ｎｔｅｒｎａｌ　Ｒｅｐｒｅｓｓｎｔ、ａｔｉｏｎｓ　ｂｙ 　Ｅｒｒｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　’　）　％並列分布処理（Ｅｘｐｌｏｒ ａｔｉｏｎｓ　ｆｎ　ｔｈｅ　Ｍｉｃｒｏｓｔｒｕｅｔｕｒｅ　ｏｒ　Ｃｏｇｎ ｉｔ４ｏｎ”、Ｖｏｌ、１：　ＦｏｕｎｄａｔｉｏｎｌＭＩＴ　Ｐｒｅｓｓ、　 １９８６年）を含む。

これらの神経ネットモデルはそれぞれ最も適合される特定タスクで連続的な変動 率を達成するが、神経ネットワークプロセッサを使用した場合、依然として時間 変化するデータの分類に多数の難点がある。例えば、時間変化するデータが複雑 であり、大量のデータを含んでいる場合、主要な問題は処理するために神経ネッ トワークに対するデータを表す技術を開発することである。例えば、対象からレ ーダまたはソナードツプラ一時間信号を分類する際に、分類を十分に表すために 必要な最少量のデータは例えばドツプラーデータの１６個の周波数帯域の５０倍 のスライスを含む。神経ネットプロセッサにこのデータを与える１つの方法は、 ８００　（５０＋１６）の入力ニューロンを具備した神経ネットワークを使用し 、ドツプラーデータの１つのサンプルを持つ８００個の入力ニューロンのそれぞ れを与えることである。この方法の欠点は、多数の入力ニューロンおよび対応し た多数の合計ニューロンおよび相互接続が結果として非常に複雑で高価な神経ネ ットワークを生じることである。さらに、このような複雑なネットワークは情報 を処理して学習するためにかなりの時間期間を要する。

しまたがって、最小の予備処理を行ない、必要なアルゴリズムおよびソフトウェ ア開発が最小で時間変化するデータを分類するプロセッサを提供することが望ま しい。明快な仮定に基づいておらず、その代わりにパターンを認識する訓練によ って適合する分類プロセッサを提供することも望ましい。プロセッサに与えられ る入力値の合計数を減少する簡単な方法で時間変化するデータを表す手段を提供 することも望ましい。

発明の要約 本発明の技術によると、適用ネットワークは少なくともＮ＋１個の入力ニューロ ンを具備しており、ここでＮは第２のドメインにおける所定の値に関連された第 １のドメインにおける値の数に等しい。プロセッサは入力ニューロンにおける第 １のドメインにおける各Ｎ個の値の１つを受け、残りの入力ニューロンにおける 第２のドメインから単一の関連した値を受番ブる。ネットワークは既知のデータ を分類するように機能する出力を生成する既知の訓練データを使用して訓練され る。ネットワーク訓練は、第１のドメイン中の各Ｎ個の値と共にその値を入力と して与えることによって第２のドメインにおける８値に対して反復される。一度 訓練されると、適用ネットワークは適用ネットワークが認識することを訓練され た分類からその入力が派生したときに知られていない入力を分類する出力を生成 する。

図面の簡単な説明 本発明の種々の利点は以下の明細書および添付図面から当業者に明らかになるで あろう。

図１　（Ａ乃至Ｄ）は多数の移動対象の４つの分類からのドツプラー信号を表す 。

図２は本発明の技術による適用ネットワークのダイヤグラムを示す。

図３は対象の４つの分類のためのドツプラーデータを表わす。

図４は本発明の付加的な実施例の図である。

実施例 本発明の技術によると、２次元データを分類する方法および装置か提供される。

２次元データは赤外線、光学、レーダ、ソナー等の種々の信号源から生成される ことができる。データは処理されていないもとのままのものであっても、或は処 理されているものであってもよい。このような処理の１例はドツプラー処理であ り、出て行く信号と入来する信号との間の周波数の差が分析される。一般に、送 信されたエネルギを反射する目標はソースに関して静止している場合、復帰した エネルギにおける周波数のシフトは観察されない。目標がソースに向かって移動 した場合、反射されたエネルギは高い周波数を有し、また目標が移動して離れた 場合、反射されたエネルギの周波数は低くされる。

図１　（Ａ乃至Ｄ）において、目標の４つの異なる分類からの４つのドツプラー 信号が示されている。これらの図面において、ドツプラー周波数すなわち反射し た目標からの周波数のシフトは水平軸に沿って表される。時間は垂直軸に沿って 与えられる。図１　（Ａ乃至Ｄ）はそれぞれ独特の形状またはパターンを有する 。パターンは各図面の低い部分から高い部分に変化するという事実は、検出され たドツプラー周波数における時間的な変化を示す。これは、目標の４つのクラス のそれぞれに対する特定の瞬間の多数の目標の運動の変化を示す。

所定のクラス内の多数の目標の２つの異なる瞬間は、類似しているが互いに完全 に同じではないドツプラー信号を有していることに注意しなければならない。し たがって、異なるクラスの瞬間から瞬間への微妙な変化のために観察者が肉眼検 査のときに所定のクラスからドツプラー信号を識別することは比較的容易である が、不可能ではないけれども通常のプロセッサがドツプラー信号のクラスを正し く識別することは困難である。このために、神経ネットワークのパターン認識能 力はドツプラ一時間信号分類問題を解決することに十分に適合される。しかしな がら、作用している神経ネットワーク中のニューロン数の実際上の制限によるも のであり、図１（Ａ乃至Ｄ）に示されたドツプラー信号に含まれる全ての情報を 神経ネットワークに与えることが困難であるという問題が生じる。情報を簡単に するために、データはその最も本質的な特性に圧縮されることができる。このよ うにして、データは神経ネットワークによる処理のために管理可能な割合に減少 される。

したがって、図３には目標の４つの異なるクラスに対する簡単なドツプラー信号 が示されている。図１　（Ａ乃至Ｄ）のように、水平軸はドツプラー周波数を表 し、垂直軸は時間を表す。図３における各水平ラインｌＯは所定の時間に受信さ れたドツプラー周波数を表す。図３には３２個の水平ラインがあり、それぞれド ツプラー信号の時間スライスを表す。図３のドツプラー信号は垂直ラインにより 第１のクラス１２、第２のクラス１４、第３のクラス１５および第４のクラス１ ８という４つのクラスに分割される。図１　（Ａ乃至Ｄ）に示された４つのクラ スのように、図３における４つのクラスは４つの異なるタイプの対象からのドツ プラー信号を表し、それぞれその目標の特徴であるパターンを有する。図３は図 １　（Ａ乃至Ｄ）に示されたドツプラーデータよりかなり簡単化されたものを表 しているが、神経ネットワークに対する図３の４つのパターンの表示は依然とし て大量のデータを含んでいる。特に、各クラスにおける各時間スライス１０は１ ６個の周波数ビンからのドツプラー周波数から導出される。各クラスに対して３ ２倍のスライス１０が存在する。結果的に各クラスに対して５１２個の情報の個 々の小部分が生じる。通常の神経ネットワーク技術を使用すると、５１２個の入 力ニューロンを有する神経ネットワークは図３に示された各クラスにおける全情 報を処理するために必要とされる。

本発明による神経ネットワークの表示のためにこのデータを簡単に表すために、 図３に示されたデータは図２によって示されたように表される。図２において、 本発明の好ましい実施例による適用ネットワーク２０は、多層知覚神経として知 られた通常の神経ネットワーク構造を使用する。当業者は、多層知覚神経が入力 ニューロン２２の１層、内部ニューロン２４の１つ以上の層および出力ニューロ ン２Ｂの１層を使用することを理解するであろう。各層中の各ニューロンはシナ プス接続２７によって隣接した層におけるニューロン全てに接続されるが、同じ 層中のニューロンは典型的に互いに接続されていない。各ニューロンは２進数ま たは連続された値の入力のいずれかを入力として受容し、そのニューロンに対す る入力の伝達関数である出力を生成する。図２に示された多層知覚神経は、技術 的に知られている通常のバック伝播技術によって訓練されてもよい。この技術は 、ここで参照文献として含まれているＤ　、Ｅ　、ＲｕｍｅｌｈａｒｔおよびＪ 、Ｌ、　ＭｃＣＩｅｌｌａｎｄ氏による上記の文献に詳細に記載されている。

本発明によると、適用ネットワーク２０は入力データによって決定される特定数 の入力ニューロン２２を有するように構成されている。特に、図２におけるドツ プラーデータは７個の周波数ビンを具備している。例えば、図３において１６個 の周波数ビンがあり、ドツプラー周波数ビンの数は分析される特定のデータおよ び適用ネットワーク２０の所望の複雑さに依存することが理解されるであろう。

図３におけるドツプラー周波数曲線のようなドツプラー周波数曲線２８はドツプ ラーデータの１つの時間スライスを表す。

すなわち、それは所定の時間に受信されたドツプラー周波数を表す。周波数の範 囲は、入力ニューロン２２に受容され得る範囲内の信号によって表されるように 定常化されることが好ましい。例えば、ドツプラー周波数はゼロと１との間に特 定の相対値を有するように定常化される。

図２に示されているように、７個の入力ニューロンはそれぞれドツプラー周波数 曲線２８から単一のドツプラー周波数値を受取る。第８の入力ニューロン３０は ドツプラー周波数曲線２８が受取られた時を表す信号を受取る。時間入力ニュー ロン３０に対して使用される信号の大きさは、時間値の範囲全体が人力ニューロ ン２２に対して許容可能な範囲内であるように正規化される。例えば、図３のデ ータには３２個の異なる時間スライスからの３２個のドツプラー周波数曲線があ り、これらの時間は１乃至３２の番号を付けられており、範囲１乃至３２は入力 ニューロン３０に送信された信号に対して定常化される。時間と共にドツプラー 周波数曲線２Ｂが入力ニューロン２２および３０に送信されたとき、適用ネット ワーク２０は出力ニューロン２６においである出力状態を生成する。所望の出力 を生成するように適用ネットワーク２０を訓練するために、後方エラー伝播とし て知られている学習アルゴリズムが使用されてもよい。

この技術において、既知のドツプラー周波数および時間入力は入力ニューロンに 与えられ、適用ネットワーク２０はドツプラー周波数曲線のクラスに対応した出 力を生成するように訓練される。例えば、訓練している入力は第１のクラスから 生じ、所望の出力は２進数のものを生成する第１の２つの出力ニューロン２Ｇを 有し、その地金ての出力ニューロンは２進数の０を生成する。反復された訓練過 程の後、適用ネットワーク２０は所望の出力状態を形成するまでシナプス接続２ ７の加重を適合させる。適用ネットワーク２０が第１の時間スライスにおいて第 １のドツプラー周波数曲線２８により訓練されると、全ての連続した時間スライ スに対して訓練され得る。例えば、適用ネットワーク２０は第１のクラスを示す 出力を生成するように図３の３２個のドツプラー周波数曲線１０のそれぞれに対 して訓練されてもよい。第１のクラスに対する訓練が終了すると、知られていな いセットのドツプラー周波数曲線および時間は適用ネットワーク２０に送信され る。知られていないドツプラー信号が第１のクラスのものの全体的な特性を有す る場合、適用ネットワーク２０は第１のクラスに対応した各時間スライスに対し て出力状態を生成する。

さらに、適用ネットワーク２０は多数のクラスのドツプラー信号を認識するよう に訓練される。これを達成するために第１のクラスのドツプラー周波数曲線を認 識するように適用ネットワーク２０を訓練するために使用されるステップは第２ 、第３および第４のクラスに対して反復されるに過ぎない。図２に示されている ように、適用ネットワーク２０は図２に示されたこれらのクラスと関連された出 力ニューロン２６中の２進数１を生成することによって第２、第３および第４の クラスを示すように訓練される。適用ネットワーク２０が認識するように訓練さ れるクラス数は、ドツプラー信号の複雑性のような多数の変数、並びに適用ネッ トワーク２０におけるニューロン、層および相互接続の数に依存している。

図４を参照すると、本発明による適用ネットワーク２０が示されている。この実 施例は、１８個の入力ニューロン２２．２４個の内部ニューロ・ン２４および２ ６個の出力ニューロン２６を使用することを除いて図２に示されたものと類似し ている。非常に多数のニューロンおよびシナプス接続２７により非常に複雑な適 用ネットワーク２０が訓練されると、それは適用ネットワーク２０の複製を形成 することによって無制限に何度も再生されることができる。例えば、複製はシナ プス接続２７に対して同一であるが、固定された加重値を有している。このよう にして、訓練工程を反復せずに適用ネットワーク２０の大量生産が可能である。

上記の観点において、当業者は本発明か広範囲の適用に使用されることができる 適用ネットワークを提供することを理解すべきである。種々の利点は、明細書、 図面および以下の請求の範囲を検討した後に当業者に明らかになるであろう。

国際調査報告 １＋１＋＋＋１＋＋＋ｌＡ＋＋Ｌ＋＋＋１１＋ＰＣＴ／ＩＩｃ、Ｑｎ／ｎ＋１Ａ Ｑ−＋

Claims (7)

【特許請求の範囲】
1. （１）データが少なくとも２つのドメインからの情報を表し、第１および第２の ドメインを含み、情報プロセッサが入力および出力ニューロンを含むニューロン のネットワークを具備し、少なくとも（Ｎ＋１）個の入力ニューロンがあり、複 数のシナプス接続が前記ニューロンの選択されたものの間に加重された相互接続 を提供する１組の２次元データを分類する情報プロセッサにおいて、 少なくとも（Ｎ＋１）個の入力ニューロンを有し、Ｎが前記第１のドメインにお ける値の数である前記ネットワークと、各信号が少なくとも１つの入力ニューロ ンによって受信され、前記入力信号の組が前記第２のドメインからの少なくとも 単一の値を含み、入力信号の前記組はまた前記第１のドメインからのＮ個の値を 含み、前記Ｎ個の値は全て前記第２のドメインにおける前記単一の値に関連され る前記入力ニューロンに１組の入力信号を送信する手段と、前記入力ニューロン に既知の入力信号を提供する手段と、前記ネットワークに前記所望の出力を生成 させるように反復された訓練期間に前記加重されたシナプス相互接続を調節する 手段とを具備した所望の出力を生成するために前記ネットワークを訓練する手段 とを特徴とする情報プロセッサ。
2. （２）前記第２のドメインは時間であり、所定の時間値と関連された第１のドメ インからのＮ個の値は所定の時間におけるそれらＮ個の値のその値を表す請求項 １記載の情報プロセッサ。
3. （３）前記第２のドメインはドップラーデータを表す請求項２記載の情報プロセ ッサ。
4. （４）前記分類は、前記ドップラー信号が生じる異なるタイプの目標を表す請求 項３記載の情報プロセッサ。
5. （５）入力ニューロンの合計数は（Ｎ＋１）個である請求項１記載の情報プロセ ッサ。
6. （６）前記所望の出力は複数の前記既知の入力信号に対する分類を表す請求項１ 記載の情報プロセッサ。
7. （７）前記ネットワークを訓練する前記手段は、第１のドメインからの関連した Ｎ個の入力と共に第２のドメインからの複数の入力を含む多数の入力信号により 前記ネットワークを訓練する請求項１記載の情報プロセッサ。