JPH04242865A - 辞書に含まれたデータ語を選択するデータ処理デバイスと方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【技術分野】本発明は、多次元空間に配設された複数の
固定長の模範語（ｅｘｅｍｐｌａｒｙ　ｗｏｒｄｓ　）
ＤＲを含み、かつ所定の対応規準（ｃｏｒｒｅｓｐｏｎ
ｄｅｎｃｅ　ｃｒｉｔｅｒｉｏｎ）に従って上記のテス
ト語ＤＯに最も近い１つ以上の対応語（ｃｏｒｒｅｓｐ
ｏｎｄｉｎｇ　ｗｏｒｄｓ　）ＭＳをテスト語ＤＯの存
在に基づいて辞書中に選択するような辞書をそれと共に
構成するデータ処理デバイスに関するものである。本発
明はまた辞書に含まれたデータ語の選択方法にも関連し
ている。この種のデバイスと方法は情報圧縮あるいはデ
ータ分類に使用される。

【０００２】

【背景技術】一般に使用されているこの方法は処理すべ
きデータ語Ｘに最も近い語Ａｍ　の探索に基づいている
。 語Ａｍ　は辞書と呼ばれているＭ個の参照語（ｒｅｆｅ
ｒｅｎｃｅ　ｗｏｒｄｓ　）の１群に属している。これ
らの語Ａｍ　とＸは一般にＮ個の成分Ａｍ　ｉ　（ある
いはＸｉ　）を具え、ここでｉ＝１，．．．　，Ｎであ
る。

【０００３】近接度（ｐｒｏｘｉｍｉｔｙ　）は語Ａｍ
　と語Ｘとの間の距離規準（ｄｉｓｔａｎｃｅ　ｃｒｉ
ｔｅｒｉｏｎ）ｄ（Ａｍ　，Ｘ）に基づいてしばしば評
価されている。その成分に番号が付けられると、例えば
ユークリッド距離は数１

【数１】 のように取ることができる。

【０００４】データ語Ｘからの距離が最小である語Ａｍ
　を決定する必要がある。そこで、辞書の任意の語Ａｍ
　に対して、 ｄ（Ａｍ１，Ｘ）≦ｄ（Ａｍ　，Ｘ） が必要である。

【０００５】最も近い１つの語Ａｍ１を決定できるのみ
ならず、所定の近接限界に対して最も近いＫ個の語Ａｍ
１，Ａｍ２，．．．　，ＡｍＫも決定できる。十分な数
の対応語が見いだされた場合、あるいは対応限界よりも
良く対応するかあるいは少なくとも対応限界に従うよう
なすべての対応語が見いだされた場合のいずれかで探索
は終了しよう。

【０００６】最も近い語の決定に現在使用された方法は
、データ語と辞書のすべての各語との間のすべての距離
の完全な計算の実施からなり、それに比較演算による最
小距離の探索が続く。そのような演算はエラーフリーな
結果を得ることができる。しかし、計算時間の点で、す
なわち主として辞書が多数の語を含む場合のすべての距
離の計算のためにそれは非常に高価となる。

【０００７】この計算時間の低減に種々の提案がなされ
ているが、しかし一般にエラーを導入するかあるいは辞
書に関して制限を課すかのいずれかである。関連文献は
チィア・ルング・イェー（Ｃｈｉａ　Ｌｕｎｇ　Ｙｅｈ
）の「影像圧縮の遅延判定２進トリー探索ベクトル量子
化（Ｄｅｌａｙｅｄ−ｄｅｃｉｓｉｏｎ　ｂｉｎａｒｙ
　ｔｒｅｅ−ｓｅａｒｃｈｅｄ　ｖｅｃｔｏｒ　ｑｕａ
ｎｔｉｚａｔｉｏｎｆｏｒ　ｉｍａｇｅ　ｃｏｍｐｒｅ
ｓｓｉｏｎ　）」、エスピーアイイー（ＳＰＩＥ）、第
１９８９巻、頁１５４　−１５８　である。この文献は
同時に上記のトリーのいくつかの分枝の検査による辞書
の語のトリー探索の実施を提案している。この方法は検
査された分枝の数が大きい場合に殆どエラーのない符号
を決定するが、しかしそれには長い計算時間を必要とす
る。

【０００８】従って、解決すべき問題は、特に処理時間
を低減することにより、解析すべきデータ語に最も近い
辞書の語を選択することである。任意の低いエラー率で
この演算を遂行できなければならない。

【０００９】

【発明の開示】その１つの態様によると、この目的は−
　　上記の多次元空間をメッシュにし、それにより各模
範語が１つのメッシュ内にあるかあるいは近傍のメッシ
ュ間の境界上にあるかのいずれかである第１手段（２０
）、 −　　上記の対応規準に従って、最後のメッシュに割り
当てられた基準的（ｆｉｄｕｃｉａｒｙ）あるいは模範
的な少なくとも１つの語に対応する上記の模範語の間に
任意の語を含む各副次辞書（ｓｕｂ−ｄｉｃｔｉｏｎａ
ｒｙ）を各メッシュに割り当てる第２手段（２４，２５
）、 −　　上記のテスト語ＤＯをそれが属している任意の特
定メッシュに割り当て、それに基づいて上記の任意の特
定メッシュの副次辞書の模範語に上記の対応規準を排他
的に適用する第３手段、により実現されている。

【００１０】その解決法はまた例えばコンピューターの
ようなプログラムされたデバイスにより形成される。こ
の場合、デバイスが、 −　　第１に、上記の多次元空間をメッシュにし（２０
）、それにより各模範語が少なくとも１つのメッシュに
割り当てられ、 −　　第２に、上記の対応規準に従って、最後のメッシ
ュに割り当てられた基準的あるいは模範的な少なくとも
１つの語に対応する上記の模範語の間に任意の語を含む
各副次辞書を各メッシュに割り当て（２４，２５）、−
　　第３に、上記のテスト語ＤＯをそれが属している任
意の特定メッシュに割り当て、それに基づいて上記の任
意の特定メッシュの副次辞書の模範語に上記の対応規準
を排他的に適用すること、を連続的に行う予めプログラ
ムされた手段を具えるデバイスを特徴としている。

【００１１】メッシュの各迷路（ｍａｚｅ）に関連した
１つ以上の副次辞書に辞書のすべての模範語を割り当て
ることは、処理すべき任意のデータ語の検査の間の計算
時間の実質的な低減を許容する。セグメントの大きさと
テストサンプルの数の選択により任意に小さいエラー率
が達成できる。

【００１２】辞書のデータ語はアセンブリを囲む空間の
セグメンテーションにより分割（ｐａｒｔｉｔｉｏｎ）
されるアセンブリを構成する。このセグメンテーション
は分離子（ｓｅｐａｒａｔｏｒ　）により実現される。 本発明によると、これらの分離子は神経回路網（ｎｅｕ
ｒａｌ　ｎｅｔｗｏｒｋ）により発生されることが好ま
しい。それは層状（ｌａｙｅｒｅｄ　）神経回路網ある
いはトリー状神経回路網に関連しよう。しかし、代案と
してこれらの分離子をプログラムされた論理アレイ（Ｐ
ＡＬ　：ｐｒｏｇｒａｍｍｅｄ　ｌｏｇｉｃ　ａｒｒａ
ｙ）に基づくか、あるいは組合せ論理（ｃｏｍｂｉｎａ
ｔｏｒｙ　ｌｏｇｉｃ　）に基づいて決定することがで
きる。

【００１３】神経回路網を含む好ましい場合には、分離
子を位置決めするフェーズ（すなわちセグメンテーショ
ンフェーズ）は学習フェーズ（ｌｅａｒｎｉｎｇ　ｐｈ
ａｓｅ）の間に遂行される。これらの神経回路網はニュ
ーロンとして規定され、かつ入力空間の関数を実現する
要素により形成される。

【００１４】一般的に、そのような関数は数２

【数２】 により与えられ、ここでＸｊ　はデータ要素Ｘｊ　の位
数Ｊの成分、Ｃｊ　はシナプティックベクトル（ｓｙｎ
ａｐｔｉｃ　ｖｅｃｔｏｒ　）Ｃの位数ｊの成分、Ｎは
データＸの空間の次元、ｆは一般に問題のニューロンに
適合している非線形関数である。

【００１５】本発明によると、関数ｆは階段状タイプで
あることが好ましく、すなわちそれはａｉ　＜ｕ≦ａｉ
＋１　について例えばｆ（ｕ）＝ｉのように間隔に対し
て一定であり、ここでｉ＝０，．．．　，Ｌ−１、かつ
ａ０　＝−∞＜ａ１　＜ａ２　＜　．．．　　＜ａＬ−
１　＜ａＬ　＝＋∞である。

【００１６】ニューロンは層状神経回路網、あるいはニ
ューロントリーに組織化できる。層状神経回路網では、
その各出力Ｖが次の層の入力を構成する所与の層のすべ
てのニューロンの連続計算が生じる。いくつかの連続層
がまた形成できる。

【００１７】神経回路網では学習フェーズがユーザーフ
ェーズから区別される。学習フェーズは分離子を位置決
めし、かつ意図されたタスクに必要なニューロンの数を
決定するためのすべてのニューロン状態の計算を意味し
ている。しかし、トリー状神経回路網では、すべてのニ
ューロン状態はユーザーフェーズに対してもはや計算さ
れないが、しかし先行ニューロンの出力の値に依存する
制限された数のみが計算される。

【００１８】層状神経回路網のすべての層が、計算され
たそのシナプティック係数（ｓｙｎａｐｔｉｃ　ｃｏｅ
ｆｆｉｃｉｅｎｔｓ　）を有する場合、あるいはそれが
もはやトリー状神経回路網の引き続くニューロンを計算
する必要がなくなった場合に学習フェーズの終了が生じ
る。出力状態Ｖｊ　（ｊ＝１，．．．　，ｒ）が値の限
られた群をとるから、副次群（すなわちセグメント）の
制限された数へのデータ空間の分布（セグメンテーショ
ン）が得られる。この分布はそのように発生されたシナ
プティック係数の形で神経回路網の１つにより学習され
よう。従って、学習フェーズの間にこの回路網は前以て
出力結果が知られている一連の見本（ｅｘａｍｐｌｅ　
）を示している。選ばれたこの見本が辞書の語であるこ
とが好ましい。しかし、辞書の一部分を形成しないが、
しかし辞書の最も近い語が前以て知られているようなデ
ータの見本を選ぶことも可能である。 学習プロセスは最も近い辞書語に従ってデータの見本を
割り当てることからなっている。多数の学習アルゴリズ
ムが当業者に知られている。例えば、アール・ピー・リ
ップマン（Ｒ．　Ｐ．　Ｌｉｐｐｍａｎｎ）の論文「神
経回路網による計算序論（Ａｎ　ｉｎｔｒｏｄｕｃｔｉ
ｏｎ　ｔｏ　ｃｏｍｐｕｔｉｎｇ　ｗｉｔｈ　ｎｅｕｒ
ａｌ　ｎｅｔｓ　）」、アイイーイーイー・エイエスエ
スピー雑誌（ＩＥＥＥ　ＡＳＳＰ　Ｍａｇａｚｉｎｅ）
、１９８７年４月、頁４−２２が参照される。

【００１９】神経回路網に導入されたデータは正準（ｃ
ａｎｏｎｉｃａｌ　）（非準備［ｎｏｎ−ｐｒｅｐａｒ
ｅｄ］）語であるかあるいは準備語（ｐｒｅｐａｒｅｄ
　ｗｏｒｄｓ）のいずれかである。このように、例えば
影像処理において、データ語は画素の系列の特性：輝度
，コントラスト等を規定できる。音響信号の処理に対し
ては、データ語は時間特性，周波数特性等に関連するサ
ンプルの系列により形成できる。この状態はデータ語分
類問題に類似している。そのような正準データ語の正準
座標が神経回路網に直接導入できる。しかし、これらの
データ語により形成された（数学的意味での）分布を考
慮し、かつ取り扱うべき問題に関連するデータのアセン
ブリの上記の分布の特性の関数としてこれらのデータを
準備することもまた可能である。

【００２０】このように、例えば全分布の主成分あるい
は辞書の語の分布の一部分に解析を実行し、かつデータ
語を準備するためにこの分布に適応された座標軸を選択
し、かつ分布の主座標を使用することは可能である。い
くつかのデータ準備演算はデータ分布の一部分の連続す
る主成分に解析を行うことにより実行でき、上記の部分
は学習プロセスの途中で得られる。

【００２１】主成分への解析は数３

【数３】 により示されたようなＮ個のベクトル（ｄ次元空間の点
）のアセンブリがｄ個の主方向（ｐｒｉｎｃｉｐａｌ　
ｄｉｒｅｃｔｉｏｎ　）とｄ個の対応分散σ２　を持つ
数４

【数４】 の平均ベクトルにより記述できる統計的方法である。こ
の方法はイー・ディデイ（Ｅ．　Ｄｉｄａｙ）、ジェー
・ルメール（Ｊ．　Ｌｅｍａｉｒｅ）、ジェー・プジェ
（Ｊ．　Ｐｏｕｇｅｔ　）、イー・テステュ（Ｅ．　Ｔ
ｅｓｔｕ）による「既知数の解析の要素（Ｅｌｅｍｅｎ
ｔ　ｄ’Ａｎａｌｙｓｅ　ｄｅ　Ｄｏｎｎｅｅｓ）」、
編集者デュノー（Ｄｕｎｏｄ　）、１９８２年、頁１６
７　に詳細に記載されている。

【００２２】関数ｆは各ニューロンに固定されるか、あ
るいは辞書の語により決定されるように適応される。学
習フェーズはシナプティック係数の計算と関数ｆの決定
を可能とし、従って各分割、すなわち考慮されたニュー
ロンの出力により決定されたような辞書の各セグメント
は辞書の相対的に僅かな語に囲まれた。

【００２３】学習演算を実行するために、複数の層状回
路網が使用でき、かつ特定の中間層Ｈがセグメントの形
成のために検査できる。このことはセグメントの数が増
大することを許容する。というのは効率的に使用された
セグメントの数は第１層が接近するにつれて増大するか
らである。

【００２４】セグメンテーションが実行される場合、各
セグメントに関連する副次辞書が決定され、すなわち神
経回路網の各出力状態に対して決定される。副次辞書は
各セグメントに対して見本Ｘｐ　の系列の存在により得
られた結果を以下のように累積することにより形成され
る。すなわち −　　テストすべき見本Ｘｐ　のアセンブリは解が既知
であるように選ばれ、換言すれば、辞書のＫ個の最も近
い語Ａｍ１（ｐ）　，Ａｍ２（ｐ）　，．．．　，Ａｍ
Ｋ（ｐ）　が既知であるように選ばれ、 −　　特定のセグメントを特性化する回路網Ｖ１　（ｐ
），Ｖ２　（ｐ），．．．　，Ｖｒ　（ｐ）の出力状態
は各見本Ｘｐに対して決定され、このようにして上記の
セグメントへの見本Ｘｐ　の割り当てを規定し、 −　　各セグメントの副次辞書は各セグメントに関連し
た語Ａｍ１（ｐ）　，Ａｍ２（ｐ）　，．．．　，Ａｍ
Ｋ（ｐ）　を累積することにより形成される。

【００２５】これらの副次辞書は神経回路網の関連する
各出力状態によりアドレスされるメモリに蓄積できる。 テスト見本の数を増大することにより、引き続くユーザ
ーフェーズの間に起こるエラー率は減少する。このよう
にして、このエラー率は任意に低くすることができる。

【００２６】神経回路網が学習された後で、そのセグメ
ンテーションと各セグメントに関連した副次辞書が決定
され、神経回路網は処理すべきテストデータ語にユーザ
ーフェーズで作用できる。この目的で、処理すべきデー
タ語Ｘはその出力が出力段の構成Ｖ１　，．．．　，Ｖ
ｒ　を伝える神経回路網に導入される。この構成はデー
タ語Ｘを処理する関連副次辞書の決定を可能にする。

【００２７】対応規準は処理すべきデータ語Ｘと副次辞
書の各語の間で対応を計算するためにこの副次辞書Ａｍ
１，Ａｍ２，．．．　，ＡｍＫのすべての語をすっかり
決定する。この対応は距離あるいは類似度として特性化
できる。

【００２８】処理すべきデータ語に対して、ユーザーフ
ェーズの間の対応の計算は関連する副次辞書の語の排他
的な考慮に制限されることは有利である。辞書に関して
どんな制限も課せられない。

【００２９】本発明はまた辞書に含まれたデータ語の選
択方法を特徴とし、該方法は適当にプログラムされたコ
ンピューターにより遂行できる。

【００３０】この方法は、以下のステップ、−　　辞書
のデータ語を囲む空間をセグメント化する第１ステップ
、 −　　所定の対応規準に従って、辞書の所与の語と、各
セグメントに関連した副次辞書の語を形成するための各
セグメントとの間での対応の確立を含む副次辞書を発生
する第２ステップ、 −　　処理すべき任意のデータ語に対して、セグメント
との関連を決定することにより、そして上記の対応規準
に従って、処理すべき上記の任意のデータ語に最良に対
応する上記のセグメントに関連した副次辞書の語の間で
語を引き続いて決定することにより副次辞書を使用する
第３ステップ、を特徴としている。

【００３１】本発明の変形によると、辞書の語が既に関
連されている予め確立された副次辞書の使用もまた可能
である。すると神経回路網は適当な副次辞書の選択を直
接実行することに役立つ。本発明によるデバイスはその
場合に、処理すべき各データ語により決定された副次辞
書をアドレスする神経回路網と、アドレスされたメモリ
の語の間で、処理すべき上記の任意のデータ語に最良に
対応する語を決定する手段とを具えている。この神経回
路網はトリー状の組織を有するか、あるいは層状の組織
を有するかのいずれかである。

【００３２】本発明によるデバイスの適用あるいは方法
は影像あるいは音響あるいは他の信号の処理のデータ圧
縮の分野、もしくはデータ分類の分野であり、処理時間
はかなり短縮される。関連ハードウエアもまた簡単化さ
れる。

【００３３】添付図面を参照して本発明を今後詳細に説
明する。

【００３４】

【実施例】図１は２次元表現したデータ空間のセグメン
テーションの一例を示している。学習フェーズの間に、
神経回路網は上記のセグメンテーションを形成する分割
子１０から１９を位置するためにそのシナプティック係
数を決定する。各セグメントは例えば語Ａ，Ｂ，Ｃ，Ｄ
，Ｅ，Ｆのような辞書の１つ以上の語を囲むであろう。

【００３５】図２Ａ−図２Ｃは本発明を実現する装置の
線図である。図３Ａ−図３Ｅは副次辞書の形成を例示し
ている。より明確にするために、まず後者の図面を詳細
に取り扱う。図３Ａは全空間あるいはその一部分を表す
矩形３０内にクロスにより表された辞書語を示しており
、ここで辞書が規定されている。明確にするために、２
次元空間が選ばれているが、しかし実際には次元の実際
の数はもっと高くてもよい。さて、第１演算ステップは
演算空間のメッシュ化あるいはネッティング（ｎｅｔｔ
ｉｎｇ　）からなっている。これは多次元空間の複数の
超平面（ｈｙｐｅｒｐｌａｎｅ）の位置決めにより実行
され、各超平面は分離子を形成する。一般に、そのよう
な超平面の次元は空間の次元より１つ低い。２次元空間
ではそれはラインであり、３次元空間では平面である等
々である。分離子が図３Ｂに示され、メッシュにされた
多次元空間の辞書語のマッピングは図３Ｃに示されてい
る。各辞書語はメッシュの特定の迷路の内側に示されて
いる。代案として、そのような辞書語は正確に分離子の
１つ、あるいは１つ以上の交差分離子により位置決めで
きる。

【００３６】このプロセスの第２ステップは一般に辞書
の語の一部分を各迷路（あるいはメッシュ）に割り当て
ることからなっている。特に、すべての語は一様な長さ
である。この割り当ては対応規準に基づいて実行される
。簡単化のために、まず対応規準として最も近い近傍間
の距離が取られている。さて、例えばメッシュｍｎｐｑ
は辞書語Ｃ，Ｄを含んでいる。しかし、テスト語の処理
の間に、それはメッシュｍｎｐｑの内側のどこかに位置
している（あるいはその境界にさえ位置し、その境界は
１つ以上の辞書語の場合でもあり得るが、しかしそれは
簡単化のために示されていない）と見いだすことができ
る。このことは実際に、辞書語の間のそのようなテスト
語の最も近い近傍がメッシュｍｎｐｑの内側ならびに外
側にあり得ることを意味している。

【００３７】それ自身がメッシュｍｎｐｑに割り当てら
れた辞書語であり得るようにテスト語に最良に対応する
辞書語を見いだすために、メッシュｍｎｐｑの外側に位
置している辞書語を考慮することが必要である。この実
例では、このために語Ａ，Ｂ，Ｅ，Ｆ，Ｇが取られ、こ
れらはメッシュｍｎｐｑの内側の１つ以上の語に最良に
対応する辞書語であるが、しかしそれは模範語として辞
書に含まれず、かつ基準語と呼ばれている。それ故、語
Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇにより構成された副次辞書
がメッシュｍｎｐｑに割り当てられる。同じプロセスは
いくつかのメッシュの各々に実施される。そこで、問題
のテスト語に最良に従う１つの模範語を正しく決定する
ために、問題のメッシュの外側のすべての模範語は、も
しそれらがメッシュに属することのできる語に対する１
つの最も密に対応する語であるなら、メッシュの辞書に
割り当てられるべきである。

【００３８】もし２つの最良に対応する辞書語を見いだ
すべきなら、常にメッシュ内部の実際の各語あるいは基
準語の２つの最良な対応辞書語は問題の副次辞書に割り
当てられなければならない。別のケースに対して、可変
数の辞書語がテスト語に割り当てられなければならない
場合のように、さらに多くの辞書語を割り当てることが
できる。上の場合に、最小副次辞書が特定された。それ
は常により多くの辞書語を具えるように拡張できる。さ
らに、対応規準はテスト語に対する最大許容距離として
表現できる。その場合に、特定のメッシュの副次辞書に
模範語を割り当てる対応規準はメッシュそれ自身に割り
当てできる任意の可能な語の同じ最大距離（あるいはよ
り大きいもの）でもあろう。

【００３９】上記の方法の特定の性質は、副次辞書が将
来のテスト語に無関係に創成されることである。図３Ｄ
はメッシュｍｎｐｑの副次辞書への語の割り当てを示し
ている。明確にするために、副次辞書のすべての模範語
のみを包含する任意の輪郭が示されている。輪郭の形状
は取るに足らないことである。

【００４０】未知の語Ｗ（図３Ｅ）の処理の間に、まず
どのメッシュに（ここではメッシュｍｎｐｑ）にそれが
属するかが決定される。次に、メッシュｍｎｐｑの副次
辞書の語のみが対応規準に対してチェックされる必要が
ある。明らかに１つの副次辞書の語のみをチェックする
ことはすべての辞書語のチェックよりもずっと容易およ
び／または早い。図３Ｆから、副次辞書内で、語Ｄが語
Ｗの最良な対応を有していることは明らかである。

【００４１】図２Ａはその入力２１が辞書の語ＤＲを受
信する神経回路網２０をブロック線図の形で示している
。その出力２２は、その種々の構成が入力データ語空間
の１つのセグメントを識別する出力状態を供給する。神
経回路網は当業者に既知の学習方法に従って分離子を位
置するのに役立っている。このように、例えば層状神経
回路網の学習に対して、既知のエラー逆伝搬方法（ｅｒ
ｒｏｒ　ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ　ｍｅｔｈ
ｏｄ　）の使用が可能あり、この方法は出力結果が前以
て既知である入力に対する見本の存在（最も近い辞書語
Ａｍ１）と、神経回路網のエラー逆伝搬からなっている
。すると学習は、前以て既知である結果が神経回路網の
出力で効率的に得られることを保証するための神経回路
網のシナプティック係数の計算からなっている。これに
関する情報は、アール・ピー・リップマン（Ｒ．　Ｐ．
　Ｌｉｐｐｍａｎｎ）の論文、「神経網による計算序論
（Ａｎ　ｉｎｔｒｏｄｕｃｔｉｏｎｔｏ　ｃｏｍｐｕｔ
ｉｎｇ　ｗｉｔｈ　ｎｅｕｒａｌ　ｎｅｔｓ　）」、ア
イイーイーイー・エイエスエスピー雑誌（ＩＥＥＥ　Ａ
ＳＳＰ　Ｍａｇａｚｉｎｅ）、１９８７年４月、頁４−
２２に与えられている。

【００４２】例えばアール・ピー・リップマン（Ｒ．　
Ｐ．　Ｌｉｐｐｍａｎｎ）の論文、「神経回路網を使用
するパターン分類（Ｐａｔｔｅｒｎ　ｃｌａｓｓｉｆｉ
ｃａｔｉｏｎ　ｕｓｉｎｇ　ｎｅｕｒａｌ　ｎｅｔｗｏ
ｒｋｓ）」、アイイーイーイー・コム雑誌（ＩＥＥＥ　
ＣＯＭ　Ｍａｇａｚｉｎｅ　）、１９８９年１１月、頁
４７−６４に記載された回路網のようなトリー状神経回
路網を使用することも可能である。 その場合に神経回路網が構成され、従ってニューロンの
数ならびにシナプティック係数は学習すべき関数に適応
される。トリー状の神経回路網を使用する利点は、使用
すべきニューロンの数が層状神経回路網のニューロンの
数より小さいのみならず、特にユーザーモードにおいて
すべてのニューロン状態が計算されないで、関連タスク
に含まれているトリーの分枝のニューロンの状態のみが
計算されるという事実に帰することである。

【００４３】本発明によると、辞書の各セグメントが正
確に１つのデータ語を有することを保証するために学習
が実行されるのは好ましい。代案として、セグメントは
辞書のいくつかの語を囲むことができる。

【００４４】セグメンテーションが実行される場合、デ
バイスは副次辞書を発生しなければならない。図２Ｂの
線図はそのような発生の一例である。この目的で、辞書
のデータ語とは異なるデータ語の見本ＥＸの見本が使用
される。これらの見本ＥＸは入力空間の種々のセグメン
トにランダムに分布される。これらの見本ＥＸは神経回
路網２０に導入され、かつ例えばメモリ２４にアドレス
するのに役立つ出力の出力状態構成（ｏｕｔｐｕｔ　ｓ
ｔａｔｅ　ｃｏｎｆｉｇｕｒａｔｉｏｎ）を生成する。 これらの見本ＥＸと辞書の語ＤＲは対応規準をテストす
る要素２５に導入される。この対応規準は２つのデータ
間の距離あるいは類似度を決定できる。これは例えばユ
ークリッド距離：ｄ（ＤＲ，ＥＸ）＝（ＤＲ−ＥＸ）２
　である。

【００４５】所与の見本ＥＸと辞書のすべての各語ＤＲ
との間の距離が計算される。所定の所望な対応に依存し
て、辞書の所与の語は処理された見本に関する出力状態
構成（すなわちセグメント）に割り当てられた副次辞書
を形成するよう以前に説明されたものとして選ばれる。 この副次辞書はメモリ２４に蓄積される。

【００４６】この所定の対応は最良の類似あるいは別の
特性を示す最も近い近傍の選択であろう。

【００４７】演算が多数の見本に起こるから、副次辞書
が得られ、それは各セグメントに関連し、かつ十分な数
であり、セグメントの数と見本ＥＸの数のお陰でユーザ
ーモードでエラーの低減を可能にする。エラー率はこの
ようにして多数の見本ＥＸの使用により任意の小さい値
に低減できる。どんな制限も辞書自身に関して課せられ
ていない。

【００４８】副次辞書が形成された場合、デバイスは処
理すべきデータ語ＤＯにより演算するように使用できる
（図２Ｃ）。これらのデータ語ＤＯは神経回路網２０に
導入され、かつ出力２２にメモリ２４をアドレスする出
力状態構成を生成する。後者（メモリ２４）はアドレス
されたセグメントに関連する副次辞書の語を伝える。既
にメンバ２５として記述されたメンバ２７はデータ語Ｄ
Ｏと、アドレスされた副次辞書の語との間の対応の状態
を決定する。 従って、この決定は副次辞書の非常に限られた数の語に
ついて実行され、処理時間に実質的な利得を提供する。

【００４９】図１のハッチされたセルに位置している処
理すべきデータ語Ｘを考察しよう。そのアドレスされた
副次辞書は例えば語Ａ，Ｂ，Ｃ（図３Ｄ，図３ＥのＡ．
．．　とは関係がない）を具え、語Ｄ，Ｅ，Ｆは具えな
い。というのはそれらは余りにもセルから離れているか
らである。対応の計算はこのようにして副次辞書のこれ
らの語に対して排他的に実現されよう。

【００５０】記載された実施例によると、神経回路網は
副次辞書の発生ならびにユーザーモードのデータ語の処
理の適当な各副次辞書の選択に役立っている。辞書が既
に確立されてしまうと、それらは既に識別されたか、あ
るいはそれらが別のアプローチによって既に決定された
かのいずれかの理由で、本発明は図２Ｃに示された使用
に限定できる。神経回路網２０はメモリ２４をアドレス
し、メモリ２４はアドレスされた辞書の上記の語と入力
データ語ＤＯの間の対応のレベルを決定する対応比較メ
ンバ２７に、アドレスされた辞書の語を伝える。メモリ
２４はアドレスされた異なる辞書の読み取りを可能にす
るアドレス可能な任意のメンバにより形成できる。

【図面の簡単な説明】

【図１】図１は２次元表現したデータ空間のセグメンテ
ーションの一例を示している。

【図２】図２Ａは神経回路網によるセグメンテーション
を例示する線図を示している。図２Ｂは副次辞書の形成
を例示する線図を示している。図２Ｃは副次辞書の使用
を例示する線図を示している。

【図３】図３Ａ−図３Ｅは副次辞書の形成を例示してい
る。

【符号の説明】 １０　　分離子 １１　　分離子 １２　　分離子 １３　　分離子 １４　　分離子 １５　　分離子 １６　　分離子 １７　　分離子 １８　　分離子 １９　　分離子 ２０　　神経回路網 ２１　　入力 ２２　　出力 ２４　　メモリ ２５　　要素あるいはメンバ ２７　　対応比較メンバ ３０　　矩形

Claims (13)

【特許請求の範囲】
1. 【請求項１】　　多次元空間に配設された複数の固定長
   の模範語ＤＲを含み、かつ所定の対応規準に従って上記
   のテスト語ＤＯに最も近い１つ以上の対応語ＭＳをテス
   ト語ＤＯの存在に基づいて辞書中に選択するような辞書
   をそれと共に構成するデータ処理デバイスにおいて、上
   記のデバイスが、−　　上記の多次元空間をメッシュに
   し、それにより各模範語が１つのメッシュ内にあるかあ
   るいは近傍のメッシュ間の境界上にあるかのいずれかで
   ある第１手段（２０）、−　　上記の対応規準に従って
   、最後のメッシュに割り当てられた基準的あるいは模範
   的な少なくとも１つの語に対応する上記の模範語の間に
   任意の語を含む各副次辞書を各メッシュに割り当てる第
   ２手段（２４，２５）、−　　上記のテスト語ＤＯをそ
   れが属している任意の特定メッシュに割り当て、それに
   基づいて上記の任意の特定メッシュの副次辞書の模範語
   に上記の対応規準を排他的に適用する第３手段、を具え
   ることを特徴とするデータ処理デバイス。
2. 【請求項２】　　多次元空間に配設された複数の固定長
   の模範語ＤＲを含み、かつ所定の対応規準に従って上記
   のテスト語ＤＯに最も近い１つ以上の対応語ＭＳをテス
   ト語ＤＯの存在に基づいて辞書中に選択するような辞書
   をそれと共に構成するデータ処理デバイスにおいて、上
   記のデバイスが、−　　第１に、上記の多次元空間をメ
   ッシュにし（２０）、それにより各模範語が少なくとも
   １つのメッシュに割り当てられ、−　　第２に、上記の
   対応規準に従って、最後のメッシュに割り当てられた基
   準的あるいは模範的な少なくとも１つの語に対応する上
   記の模範語の間に任意の語を含む各副次辞書を各メッシ
   ュに割り当て（２４，２５）、−　　第３に、上記のテ
   スト語ＤＯをそれが属している任意の特定メッシュに割
   り当て、それに基づいて上記の任意の特定メッシュの副
   次辞書の模範語に上記の対応規準を排他的に適用するこ
   と、を連続的に行う予めプログラムされた手段を具える
   ことを特徴とするデータ処理デバイス。
3. 【請求項３】　　メッシュにすることが、その入力端子
   が辞書データ語ＤＲを表す信号を受信し、かつその出力
   ニューロンが各メッシュに特有な出力状態構成を有する
   出力信号を伝える神経回路網により実現されることを特
   徴とする請求項１あるいは２に記載のデバイス。
4. 【請求項４】　　神経回路網が層状神経回路網であるこ
   とを特徴とする請求項３に記載のデバイス。
5. 【請求項５】　　神経回路網がトリー状神経回路網であ
   ることを特徴とする請求項３に記載のデバイス。
6. 【請求項６】　　メッシュにすることが、プログラマブ
   ル論理アレイによるか、あるいは組合せ論理回路による
   かのいずれかで実現されることを特徴とする請求項１あ
   るいは２に記載のデバイス。
7. 【請求項７】　　データ語が少なくとも１つのタイプの
   予め処理されていない入力ベクトルに従って供給される
   ことを特徴とする請求項１から６のいずれか１つに記載
   のデバイス。
8. 【請求項８】　　データ語が、予め処理されていない入
   力ベクトルの分布の主成分解析により予め処理された後
   で決定される少なくとも１つのタイプの主座標に従って
   供給された予め処理されたデータ語であることを特徴と
   する請求項１から６のいずれか１つに記載のデバイス。
9. 【請求項９】　　２つの語の間の任意の対応規準が最後
   の２つの語の間の距離あるいは類似度のいずれかにより
   決定されることを特徴とする請求項１から８のいずれか
   １つに記載のデバイス。
10. 【請求項１０】　　上記の対応がテスト語ＤＯと、その
    割り当てられた副次辞書の副次辞書語ＳＤＲの間の最も
    近傍の距離の決定により得られることを特徴とする請求
    項９に記載のデバイス。
11. 【請求項１１】　　多次元空間に配設された複数の固定
    長の模範語ＤＲの間で選択し、かつ所定の対応規準に従
    って、存在するテスト語ＤＯに最も近い１つ以上の対応
    語ＭＳを選択するように辞書をそれと共に構成する方法
    において、上記の方法が、−　　第１に上記の多次元空
    間をメッシュにし、それにより各模範語が１つの関連メ
    ッシュ内にあるか、あるいは近傍のメッシュ間の境界上
    にあるかのいずれかであり、−　　第２に上記の対応規
    準に従って、最後のメッシュに割り当てられた基準的あ
    るいは模範的な少なくとも１つの語にに対応する上記の
    模範語間に任意の語を含む各副次辞書を各メッシュに割
    り当て、−　　上記のテスト語ＤＯをそれが属している
    任意の特定メッシュに割り当て、それに基づいて上記の
    任意の特定メッシュの１つの副次辞書の模範語に上記の
    対応規準を排他的に適用すること、の各ステップを具え
    る方法。
12. 【請求項１２】　　多次元空間に含まれた固定長模範語
    ＳＤＲの間にあり、かつそれと共に辞書を構成するデー
    タ処理デバイスであって、一方、各模範語は少なくとも
    １つの副次辞書に割り当てられ、かつ任意の副次辞書の
    すべての模範語が、所定の対応規準に従って、存在する
    テスト語ＤＯに最も近いもう１つの対応語ＭＳを選択す
    る各関連メモリデバイスに蓄積されるものにおいて、上
    記のデバイスが、上記のテスト語ＤＯを表す信号を受信
    する第１の複数の入力を有し、かつその各々が独自の各
    副次辞書に特有である各離散出力状態構成を出力する第
    ２の複数の出力を有する少なくとも１つの神経回路網を
    具え、上記の模範語の間に任意の語を具える各副次辞書
    は上記の所定の対応規準に従って、各副次辞書に関連し
    た独自なメッシュに割り当てられた基準的あるいは模範
    的な少なくとも１つの語に対応し、かつすべての副次辞
    書を含むセットは上記の多次元空間を完全に包含し、そ
    れにより、上記のテスト語の存在に基づいて生成された
    そのような離散出力状態が特定の副次辞書メモリデバイ
    スをアドレスし、上記のデータ処理デバイスは上記の１
    つ以上の対応語から最後のメモリデバイスを排他的にア
    クセスする対応決定手段をさらに具えること、を特徴と
    するデータ処理デバイス。
13. 【請求項１３】　　　　記憶デバイスに蓄積された辞書
    に含まれているデータ語ＳＤＲの間でデータ語を選択す
    るデータ処理デバイスであって、データ語ＭＳが対応規
    準に従って処理すべきデータ語ＤＯに最も近いものにお
    いて、該データ処理デバイスが、処理のためにその入力
    がデータ語ＤＯを表す信号を受信し、かつその出力ニュ
    ーロンが各辞書に特有な出力状態構成を有する出力信号
    を伝える少なくとも１つの神経回路網と、処理すべき各
    データ語ＤＯに従って辞書を蓄積する記憶デバイスをア
    ドレスする上記の構成、および処理すべき上記の任意の
    データ語ＤＯに最良に対応するデータ語ＭＳを、アドレ
    スされた辞書のデータ語ＳＤＲの間で決定する手段、を
    具えることを特徴とするデータ処理デバイス。