JPH05189401A - データ分類方法および装置 - Google Patents

データ分類方法および装置

Info

Publication number
JPH05189401A
JPH05189401A JP4169660A JP16966092A JPH05189401A JP H05189401 A JPH05189401 A JP H05189401A JP 4169660 A JP4169660 A JP 4169660A JP 16966092 A JP16966092 A JP 16966092A JP H05189401 A JPH05189401 A JP H05189401A
Authority
JP
Japan
Prior art keywords
class
individual
signature
neurons
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4169660A
Other languages
English (en)
Inventor
Joel Minot
ミノー ジョエル
Philippe Gentric
ジャントリック フィリップ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Gloeilampenfabrieken NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Gloeilampenfabrieken NV, Koninklijke Philips Electronics NV filed Critical Philips Gloeilampenfabrieken NV
Publication of JPH05189401A publication Critical patent/JPH05189401A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2453—Classification techniques relating to the decision surface non-linear, e.g. polynomial classifier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures
    • G06V40/37—Writer recognition; Reading and verifying signatures based only on signature signals such as velocity or pressure, e.g. dynamic signature recognition
    • G06V40/394—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Nonlinear Science (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 ＭＬＰ型の簡単なニューラルネット装置を提
供せんとするものである。 【構成】 入力層３、中間層４および出力層５を有する
ニューラルネットワーク具える。このネットワークはク
ラスに対するデータベクトルを分類し、ネットワークの
重みをクラスが既知の試料を基づきプログラミングによ
り決めるようにする。各クラスをプログラミング中固定
数の試料を含むドメインを各々が表わすニューロンの集
合に関連するものとして規定する。このネットワークは
かくして定義されたクラスの関数として決められた多数
のニューロンおよびシナプス重みを具える。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は数層のニューラルネット
ワークによりデータベクトルを１つまたは数個のクラス
に分類するに当たり、所望の分類を得るシナプス係数ま
たは重みをクラスが既知の試料に基づきプログラミング
することにより決め、ニューラルネットワークの寸法を
プログラミングされた試料およびクラスの数が適合する
ように適応させるようにしたデータ分類方法に関するも
のである。
【０００２】また、本発明はデータベクトルの形態で存
在するデータを分類するに際し、データベクトルがプロ
グラミング試料によりプログラムされた１つまたは数個
のクラスのうちの１クラスに属すると云う推測された確
率を表わす値を発生するとともに１つのデータベクトル
を処理する数層のニューラルネットワークを具えるデー
タ分類装置に関するものである。
【０００３】
【従来の技術】一組のデータにより規定される分類すべ
き例は超空間において“データベクトル”と見なされ、
このベクトルの座標は例のデータの値である。またここ
に云う“試料”はプログラミング試料を規定するような
特定のデータベクトルを示すために用いる（さらに装置
が“学習する”とはこのクラスの１部分を形成する試料
を設けたクラスを規定するものとする。）
【０００４】特に、本発明は署名の確認に関するもので
あるが、装置のプログラミングで得られるデータは数に
制限のある（データのヒュージョン、信号検出）分野、
または１クラスへの分類に関する問題が存在する（確率
の推定または雑音信号の検出）場合に、或は、時間経過
（枯化）が存在する場合に特に適用し得ることは勿論で
ある。本発明の適用分野の他の例は音声認識および書か
れた文字記号の認識である。
【０００５】
【発明が解決しようとする課題】この種のニューラル装
置は“プロシーディングス オブ ニューロニムス”１
９９０年、第３５１〜３６３頁に、ペトリ エイ．ジョ
ーキネンが発表した論文“ニューラル ネットワークス
ウイズ ダイナミック キャパシティ アロケイショ
ン アンド クオードラチック ファンクション ニュ
ーロンス”から既知である。この装置は共分散マトリッ
クスの係数で作動する。ニューロンは達成するのが困難
な二乗演算を行うことができる。署名鑑定の分野におけ
る問題の１つは単一クラスの試料のみは存在すること、
即ち、本人の署名のクラスのみが存在することである。
従って鑑定署名および代表的な試料が得られない偽造署
名の識別を行うの容易ではない。
【０００６】本発明の目的はかかる問題を解決するとと
もにいわゆるＭＬＰ（多層パーセプトロン）型の簡単な
ニューラルネット状装置を提供せんとするものである。
【０００７】
【課題を解決するための手段】本発明は数層のニューラ
ルネットワークによりデータベクトルを１つまたは数個
のクラスに分類するに当たり、所望の分類を得るシナプ
ス係数または重みをクラスが既知の試料に基づきプログ
ラミングすることにより決め、ニューラルネットワーク
の寸法をプログラミングされた試料およびクラスの数が
適合するように適応させるようにしたデータ分類方法に
おいて、プログラミングに対する決定ドメインを思索
し、これらを、装置が存在するすべてのデータベクトル
に対し同一の分類決定を行うとともに固定数の思索を含
むドメインであるとしたことを特徴とする。
【０００８】決定ドメインは（後方伝搬によってプログ
ラミングを行う既知のアルゴリズムの場合のように）影
響領域の境界によって規定された決定ドメインを探索す
る代わりに固定数の試料を含むものと考えられる。ま
た、決定ドメインは、装置がここに存在するすべてのデ
ータベクトルに対し同一の分類決定を行うドメインとし
て規定する。
【０００９】なかんずく、学習機は対話式には作動せ
ず、従って著しく迅速に作動することができる。さら
に、この方法は漸増学習を行い、従って前に学習した試
料を再考慮する必要なく追加の試料を学習することがで
きる。
【００１０】また本発明はデータベクトルの形態で存在
するデータを分類するに際し、データベクトルがプログ
ラミング試料によりプログラムされた１つまたは数個の
クラスのうちの１クラスに属すると云う推測された確率
を表わす値を発生するとともに１つのデータベクトルを
処理する数層のニューラルネットワークを具えるデータ
分類装置において、上記方法により決まった多数のニュ
ーロンおよびシナプス重みを具えるようにする。
【００１１】これがため、本発明ニューラル装置はデー
タを分類する統計的特性に基づくプログラミング方法を
利用する。
【００１２】かかる装置では、ニューラルネットワーク
は３層；入力層、中間層および出力層を有し、入力層お
よび中間層間の結合の重みを次式
【数３】 の係数“ａij”および“ｂi ”に等しくし、ここにＳは
考えられるドメインに割当てられたボリュームを表わす
既に決められた係数とし、係数“ａij”、“ｂi ”およ
び“ｃ”は次の等式
【数４】 により決まり、ここにμは超関数の中心、Γは超関数の
共分散マトリックスである。
【００１３】さらに、各出力ニューロンは１クラスのプ
ログラミング試料に相当する中間ニューロンに結合し、
装置はニューロンを具え、その値を“−１”に固定し、
これをすべての出力ニューロンに結合し、各出力ニュー
ロンへの結合に関するシナプス重みをクラスに相当する
中間ニューロンの群の規定後１クラスのプログラミング
試料へのネットワークによって適合し、値が“−１”に
固定されたニューロンとクラスに相当する出力ニューロ
ンとの間の異なる重みを順次テストすることによってク
ラスの平均エラーを最小にする重みを確定するように
し、この処理おクラスの各々に対し繰返すようにする。
【００１４】ニューラルネットワークに必要なデータを
得るために、入力データベクトルに１ベクトルを加える
入力モジュールを具え、前記１ベクトルの成分を入力デ
ータベクトルの成分の２倍積とし、このモジュールによ
ってｎ項をｎ＋ｎ（ｎ＋１）／２項で置換し、各々を１
つの出力に割当て、これら出力の各々をニューロンの第
１層のニューロンのうちの１つに結合するようにする。
【００１５】最後に、本発明装置を具える署名確認装置
はその性能を改善することができる。
【００１６】
【実施例】図面につき本発明の実施例を説明する。本発
明はテスト信号との相関により署名のような特定の信号
の分類または確認を行う方法および装置を提供する。相
関は信号パターンの代表的な特徴に基づいて行う。署名
に対しては、例えば形状、筆圧および署名を完了するま
での時間のような経過時間を考慮すべき代表的な特徴と
することができる。
【００１７】代表的な特徴をテスト信号から取出すと、
これら特徴を用いて、各々が特徴空間のガウス確率分布
（ガウシアン）を表わす１つ以上のパラメータ組を発生
する。特に、各個別のパラメータ組は個別の共分散マト
リックスおよび個別の中心値を具える。
【００１８】テスト信号は１つ以上のクラスを具え、１
つのクラスは代表的な特徴が相互に等価である１組のテ
スト信号として規定する。各クラスは単一ガウス確率分
布によって表わされるか、または２つの以上のガウス確
率分布に分割することができる。テスト署名の収集によ
って等価の特徴を示す場合には、テスト署名は単一の署
名とみなす。テスト署名および他の署名を相関して他の
署名がテスト署名と等価の特徴を有する場合には他の署
名はテスト署名と同一クラスのものであるとみなすこと
ができる。
【００１９】各ガウス確率分布は共分散マトリックスお
よび重心を含む直交（求積）関数によって規定する。直
交関数の所定の値に対しガウス確率分布は関連する値を
有し、特徴スペースにおける特定の楕円によって可視化
することができる。ガウス確率分布の種々の値に対し種
々の異なる同心楕円が存在する。特定の楕円の中間領域
ガウス確率分布の体積積分はこの領域内に任意の選定点
が存在する確率の値である。この確率は加速度として解
釈することができる。例えば、０．８の楕円内側にある
任意の選定点はある目的に対しては許容されるが０．８
の楕円の外側にある任意の選定点はこの目的に対しては
不所望である。
【００２０】これがため、特定の点に対する直交関数の
値を計算することは、この点が許容されるか否かを決め
る本質的なステップである。この点は特徴スペースの座
標により表わされる。本発明において直交関数の値はま
ず最初座標の二乗値、２つの異なる座標の乗積値および
座標自体である成分を有するベクトルを容易することに
よって計算する。次いで、これら成分の各々を直交関数
を特定するパラメータの正しいパラメータよって乗算す
る。最後に、乗算の結果を加算する。その出力が直交関
数の値となる。
【００２１】この乗算および加算はニューラルネットに
よって行うのが好適である。その理由はニューラルネッ
トがこれら基本演算に基因し、最適となるからである。
次いでシナプス係数としてのガウスパラメータ関数およ
び前に導入した成分をニューラルネットに対する入力信
号とする。
【００２２】次いで、サンプル（確認すべき署名）が他
のサンプル（前に形成した“試料”と称される鑑定署名
の１群）によって規定されたクラスに属する確率を見い
だすことによる署名の確認について説明する。しかし、
前文に示したように署名の確認以外の機能にこの装置を
用いることもできる。
【００２３】手書きの署名は署名を確認する最も普通の
方法のうちの１つである。署名の分析および確認を行う
方法および装置、即ち、署名が真正のもの出あるかまた
は偽造のものであるかを鑑定する方法および装置には次
に示す２種類のカテゴリーのものがある。 ・文書に前に書込まれ分析すべき形状に関する署名を鑑
定する方法； ・署名の書込み中署名の書込み処理を分析する方法。
【００２４】第１のカテゴリーのものは現在までのとこ
ろ不適切である。従って本発明は第２のカテゴリーに基
づく装置に関するものである。
【００２５】署名を行うには署名する紙を載置する書込
みパッドを用いる。本発明の１部分を構成するものでは
ないこの書込みパッドに、圧力トランスデューサを設
け、これによって各瞬時およびあらゆる瞬時における紙
上のペンの位置（例えば座標ｘ，ｙ）および押圧力を伝
達し得るようにする。これらの種々の量を適正な間隔で
登録する。１組の各関連量の値によって超空間における
ベクトルの座標を構成する。次いでこれらの値を正規化
する。この正規化によって、署名を行うために用いる全
時間、パッド上の一般的な位置、水平に対する傾斜およ
び一般的な大きさとは無関係なデータを得るようにす
る。
【００２６】かかる装置によって分析すべき署名Ｂとプ
ログラミング中に登録された真正の署名Ａの試料との差
を測定する。
【００２７】この差は一組の距離：ｄ（Ｂ，Ａ）：ｄ
（Ｂ，Ａ）＝｜ＺB * （ｔ）−ＺA * （ｔ）｜により表
わすことができ、ここにＺB * （ｔ）およびＺ
A * （ｔ）はそれぞれ署名Ｂおよび署名Ａのうちの１つ
に相当するベクトルである。この距離はスカラー距離で
ある。これにも署名Ａと同様に多くの距離が存在する。
【００２８】しかし、かくして規定した距離は、同一の
人物が１つの署名と他の署名との間で相違する書込み速
度の瞬時変動に感応するようになる。従って、これはｄ
（Ｂ，Ａ）を最小とするように既知の手段によってきま
る“時間ワーピング関数”の導入によって補正すること
ができる。距離を最小とするに要する時間ワーピングの
種類はそれ自体２つの署名間の差に関する重要なデータ
である。これらの正規化技術および時間ワーピング関数
に関する詳細は、プロシーディングス オブパターン
リコグニション 第６回国際会議 ミュンヘン １９８
２年 第８２３〜８２６頁にユキオ サトーおよびキヨ
シ コグレが発表した論文“形状、動きおよび筆圧に基
づくオンライン署名確認”を参照されたい。
【００２９】最終分析では、３つの重要な距離を、真正
の署名の組からの署名Ａを表わすベクトルと確認すべき
署名Ｂを表わすベクトルとの間の距離として保持するこ
とができる。これら３つの距離を以下に示す。 ・（時間ワーピングにより正規化され、且つ補正され
た）ペンの位置； ・（この位置の補正と同時に時間ワーピングにより正規
化され、且つ補正された）ペンの筆圧； ・時間自体に対するワーピング関数。
【００３０】これら３つの距離自体によって署名間の差
を表わす３つのベクトルを構成する。さらに、例えば、
署名を行うに要するおおよその時間および／または任意
のパラメータをを登録することもできる、これにより４
次元以上のベクトルを得ることができる。１つの所定の
署名Ｂに相当する真正の署名の試料と同様の多くのベク
トルが存在する。
【００３１】図１のニューラル装置は入力端子１に供給
されるベクトルを有する。このベクトルの座標を“直交
メンバー”と称され、以下に詳述する入力モジュール２
で処理する。直交メンバー２は第１層、即ち、入力層の
ニューロン３に結合された出力端子を具え、そのニュー
ロンを“直交ニューロン”と称する。この層の各ニュー
ロンを“超楕円ニューロン”と称されるニューロン４の
第２中間層のすべてのに結合する。この層のニューロン
を各々が達成すべき分類の１クラスに相当する群に細分
割し、１群のニューロンを１つの出力ニューロン５に結
合する。最後に、２つのニューロン６および７を設け、
一方のニューロンを超楕円ニューロンに結合し、他方の
ニューロンをすべての出力ニューロンに結合する。これ
らニューロン６および７の役割を以下に更に説明する。
【００３２】３次元のベクトルを表わすのは容易ではな
いため、図２乃至４は各々が２次元平面のベクトルを表
わす点を示すが、これらは任意数の次元の超空間のベク
トルを示すシンボルであり、この次元数は解決すべき問
題で変化する。従って、これら３つの図面の１つの各点
はベクトルを示し、以下、順次未知の署名と例示された
真正の署名との間の差を示す。
【００３３】このニューラル装置はクラスに細分割され
る特徴のスペースに存在するデータベクトルを考慮し、
かかるスペースの１つを図２に示し、図中“ＣＬＡＳＳ
１”で示されるクラスの１部分を形成する点のクラスタ
を可視化し、他の点にクラスタは“ＣＬＡＳＳ２”で示
されるクラスの１部分を形成する。各クラスタには基本
分布が存在する。図３はかかる状態を示す。即ち、図３
（ａ）に示す点のクラスタに基づき図３（ｂ）の点の群
を認識することができ、これら群のうちの各々によって
同一の型の分布が隣接していることを確認する。この場
合にはこの分布をガウス分布と見なすのが好適である。
【００３４】これらの考えを明らかにするために、例え
ば、試料、即ち、各々が３次元（立体）である１０個の
データベクトルにより得られる１０個の真正の署名が存
在するものとする。この時点では、いまだ確認すべき署
名は存在せず、従って装置をプログラミングする必要が
ある。１０個のベクトル間の差の全部を２つ宛とって計
算し、各々が３次元ベクトルを有する４５個の差を取出
す。これら差をず２および３に点で示すこの種の差の群
に類別する。次いで他の点に関連する４４個の距離を４
５個の点の各々に対し計算して、ｋ個の最小の点を取出
す。関連する点は分布の同一の法則に従うものと思われ
る１組の点を形成する。これら組の各々を図３に楕円で
シンボル化して示す。
【００３５】装置により用いられるアルゴリズムの一層
精密な記載を一層容易とするために数種類の統計を考察
する。
【００３６】Ｐ（Ｘ）が、集合Ｘが共分散マトリックス
Γを有し、μを中心とする超関数に属するガウス確率で
あるものとする。これを次式で示す。
【数５】 指数Ｔは転置ベクトルを示し、ｎは超空間の次元を示
す。μおよびΓが既知である場合には、式（１）の２項
の計算を行うことができる。
【００３７】上式から明らかなように、式Ｌ（Ｘ）は直
交関数である。かかる超関数に属する集合Ｘに対する条
件（“デバイの条件”）はＬ（Ｘ）＜Ｓである。これに
より考えられる空間における超楕円の式を与え、Ｌ
（Ｘ）＜Ｓを次式で示す。
【数６】 Ｓの値はユーザにより選択する。その理由はこれが超楕
円の体積の等化であるからである。
【００３８】ニューラルネットワークに入力側に設けら
れた直交メンバー２によって次の演算を行う。
【数７】
【００３９】かかる直交メンバーを物理的に達成する手
段は当業者にとって既知である。従って直交メンバーに
よってｎ項を各々が出力側に設けられたｎ＋ｎ（ｎ＋
１）／２項で置換する。直交メンバーのｎ＋ｎ（ｎ＋
１）／２出力はそれぞれ“直交”ニューロンの第１層の
ニューロンの１つに結合する。これがため、式（２）の
項ｘi ｘj は第１ニューロンに形成される。係数ａij、
ｂi およびｃは式（１）および（２）を同一視すること
により決めることができる。
【００４０】最後に、Ｌ（Ｘ）−Ｓの計算は係数ａij、
ｂi を具える特定のマトリックスにより直交メンバーの
出力の積“マトリックスｘベクトル”を要求する。積
“マトリックスｘベクトル”はニューラルネットワーク
の層によって達成される。これがため、Ｌ（Ｘ）−Ｓを
計算する手段は超楕円ニューロン４の第２層で実行され
る。ニューロン４はプログラミング試料と同程度多数存
在する。これらニューロン４の各々の入力を直交ニュー
ロン３の出力に結合し、これら結合の重みを対応する係
数ａij、ｂi に等しくする。固定値“−１”のニューロ
ン６とニューロン４との間の重みは上述したように規定
された差分Ｓ−ｃに比例する。
【００４１】直交メンバーが存在することによりＬ
（Ｘ）−Ｓに適用された非直線性によってＸがＬ（Ｘ）
−Ｓ＝０で表わされる超楕円の境界に近い場合には、超
楕円の層の応答を滑らかにする。
【００４２】出力層は中間ニューロン４の出力の関数と
しての応答（入力側の署名が真性であると云う確率）を
与える関数を有する。１つの出力ニューロン５は同一ク
ラスの試料に相当する全ての中間ニューロン４に結合
し、従ってこれらニューロンはこのクラスに相当する群
を構成する。原理的には、例えば、署名の確認の場合２
つのクラス、即ち、偽の署名のクラスおよび真性な署名
のクラス、従って２つの出力ニューロン５が存在し、一
方のクラスによって署名が偽であると云う確率に対応す
る信号を発生し、他方のクラスによって署名が真性であ
ると云う確率に対応する信号を発生する。実際には、一
般に偽の署名の試料が得られないため、偽の署名のクラ
スをプログラムすることはできず、署名が真性であると
云う確率を与える１つの出力ニューロンのみが存在す
る。
【００４３】出力層によってニューロン７の出力により
補正された群の中間ニューロンの全てを平均化する。中
間ニューロン４および出力ニューロン５間の重みは全て
１に固定される。固定値“−１”のニューロン７によっ
て１つのクラスの中間ニューロン４の全ての累積された
出力値の累積平衡、即ち、その個別のシナプス重みによ
り調整されたこれらニューロンの出力値の和を考慮し得
るようにする。これがため、出力層のニューロンは値の
高い超楕円層のニューロンの数の計数器の一種と見なす
ことができる。出力層のニューロンによってこの数とニ
ューロン７の出力値とを比較する。この目的のために、
ニューロン７と所定のクラスとの間のシナプス重みを次
に示すように調整する。即ち、クラスに対応する群の規
定後プログラミング試料の総数を（署名を評価する必要
のある場合のような）ネットワークに存在させ、ニュー
ロン７および各出力ニューロン間の差分重みを順次試行
して各クラスの平均誤差を最小にする個別の重みを見い
だすようにする。この手順は手動で行うか、またはコン
ピュータ手段に組込むことができる。
【００４４】従って、ネットワークのプログラミングは
各局部法則（プログラミングベースの各試料に対し１
つ）の推定およびシナプス重みの計算にある。局部分布
の計算には適応解を用いる。即ち、ユークリッド計量系
に従って領域を想定し、これら領域は、自然コースの場
合のようにこれに位相定義を与える代わりにこれらが固
定数の試料を含むように構成する。換言すれば、空間を
固定の境界によって限定された任意領域に分割する代わ
りに、領域の定義は所定数の試料を含む面とする。
【００４５】前文で定義されたようにネットワークの増
分プログラミングは各新たな試料に対する新たなニュー
ロン４の追加と新たなクラスが存在する場合に（複数の
クラスが存在する場合に）新たな出力ニューロン５の可
能性を含む。
【００４６】基本プログラミングにおける各下部クラス
Ｃm に対し次の演算を実行する。 *** クラスＣm に属する各試料に対し：* ＰをクラスＣm の試料とすることを計算する。この領
域は“ｋ個の最も近い近隣試料”のアルゴリズムによっ
て決める： １）クラスＣm の試料の各々と試料Ｐとの間の距離の計
算、 ２）その長さに応じこれら距離を分類、 ３）ｋ個の最も近い近隣試料はｋ個の最長の距離を与え
るクラスＣm の点である。* 局部分布の統計特性の計算：Γ（ｋ個の試料がｋ個の
近隣試料である正規の分布共分散マトリックス）および
μ（分布の中心）。* 分布の主軸（図４参照、２つの主軸８および９を有す
る面で例を与えるが、実際には分布と同数の多くの軸が
存在する）の計算。この目的のため、“主成分”の分析
を行う。この既知の方法によって分布の共分散マトリッ
クスの特性ベクトルを発生する。この特性ベクトルによ
って主軸の方向を決める。主軸によって規定されたベー
スにおける共分散マトリックスの記述において、このマ
トリックスが対角線であると云う近似を適合する。* 直交メンバーの出力と試料Ｐに対応する超楕円ニュー
ロンとの間の重みを計算。このステップによって係数ａ
ij、ｂi の計算を行う。* 係数ｃの計算。* クラスＣm のすべての試料に相当する超楕円ニューロ
ンとクラスＣm の出力ニューロンとの間のシナプス重み
を１に設定する。* Ｎm （Ｎm は今までに発生した超楕円ニューロンの
数、即ち、考慮すべき試料の数である）を増大させる。*** ニューロン７および出力ニューロン間のシナプス重
みの自動決定が必要である場合には：* クラスＣm に属する各試料Ｐに対し、および級数［−
Ｎm ，・・・，＋Ｎm ］の重みの整数値に対し、クラス
Ｃm に相当する上記規定の“累計平衡”を計算する。ク
ラスＣm の出力値のエラーを計算。*** クラスＣm に対する平均エラーを最小にする重み値
の保存：
【００４７】図５のフローチャートは超楕円の計算を示
す。これを達成するために必要な材料はこれから容易に
取出すことができる：この図から明らかなように、４つ
の機能モジュールが必要である：記号“Ｅｘ−ＲＡＭ”
が付されたランダムアクセスメモリ１２には、全ての得
られるデータをレジスタ１１を経て記憶する主メモリ１
０から得られた試料をロードする。* “ｋ−ＮＮ”が付されたモジュール２０はレジスタ２
１からの試料をロードし、ｋ個の最も近い近隣試料に対
する探索を行い、そのｋ個のアドレスをレジスタ１９に
格納する。* “ＰＣＡ”が付されたモジュール１３はその主成分に
対しｋ個の最も近い近隣試料を分析し、統計パラメータ
を計算する。次いで主軸の座標、即ち、共分散マトリッ
クスの対角線の項と局部分布の中心との積をレジスタ１
８に保持する。* “Ｈ ＥＬＬＩＰＳ”が付されたモジュール１７はシ
ナプス重みを計算するとともにこれらを“シナプスＲＡ
Ｍ”が付されたランダムアクセスメモリ１４に格納す
る。* “process”が付された中央演算プロセッサ２４によ
って通信および関数の性能を制御する。まず最初、この
プロセッサによってデータバンクまたはランダムアクセ
スメモリ１２の試料を制御し、次いでこれをパイプライ
ン（ｋ−ＮＮ，ＰＣＡ，Ｈ ＥＬＬＩＰＳ）に充填し、
従って全ての超楕円が計算された際にパイプラインを放
電する。
【００４８】計数器２３によってメモリ１２にロードさ
れた試料の数を置数し、マルチプレクサ２２によってモ
ジュール１３を試料に直接アクセスせしめるようにす
る。
【００４９】計数器１６によってクラスの数および発生
したニューロンの数を置数し、これらをモジュール１７
によりメモリ１４に供給し、且つマルチプレクサ１５に
よってメモリ１４内のシナプス重みを直接ユーザがアク
セスし得るようにし、従ってこれらシナプス重みが読出
され、ニューラルネットワークに供給し得るようにす
る。
【００５０】上述した方法によって署名のクラス（所定
個人の署名で例えば１２個の試料を具える）を代表的に
はミリ秒の単位で学習するが、既知の対話式方法は相当
の時間、代表的には数時間を必要とする。
【００５１】単一個人の署名の１クラスの学習が終了す
ると、人物の現在の署名が真正であることを示す度毎
に、シナプス係数に対する値を検索する。これらの値を
例えばその人物に発送されたメモリカードに記憶する。
このカードおよび実際の署名をシステムに導入すると、
鑑定の手順が開始される。
【図面の簡単な説明】
【図１】本発明ニューラルネットワークの構成を示す説
明図である。
【図２】２つのクラスに分割された試料群を示す説明図
である。
【図３】（ａ）は１クラスを局部ガウス超関数に分割す
る手段で点のクラスタを示す説明図であり、（ｂ）は１
クラスを局部ガウス超関数に分割する手段で点の群を示
す説明図である。
【図４】その主成分に従う局部超関数の解析を示す説明
図である。
【図５】シナプス値を確立するためにとられる工程を示
す説明図である。
【符号の説明】
１ 入力端子 ２ 入力モジュール ３ 入力層 ４ 中間層 ５ 出力層 ６ ニューロン ７ ニューロン ８ 主軸 ９ 主軸 １０ 主メモリ １１ バッファメモリ １２ ランダムアクセスメモリ １３ モジュール １４ メモリ １５ マルチプレクサ １６ 計数器 １７ モジュール １８ レジスタ １９ レジスタ ２０ モジュール ２１ レジスタ ２２ マルチプレクサ ２３ 計数器 ２４ 中央プロセッサ

Claims (9)

    【特許請求の範囲】
  1. 【請求項１】 数層のニューラルネットワークによりデ
    ータベクトルを１つまたは数個のクラスに分類するに当
    たり、所望の分類を得るシナプス係数または重みをクラ
    スが既知の試料に基づきプログラミングすることにより
    決め、ニューラルネットワークの寸法をプログラミング
    された試料およびクラスの数が適合するように適応させ
    るようにしたデータ分類方法において、プログラミング
    に対する決定ドメインを思索し、これらを、装置が存在
    するすべてのデータベクトルに対し同一の分類決定を行
    うとともに固定数の思索を含むドメインであるとしたこ
    とを特徴とするデータ分類方法。
  2. 【請求項２】 データベクトルの形態で存在するデータ
    を分類するに際し、データベクトルがプログラミング試
    料によりプログラムされた１つまたは数個のクラスのう
    ちの１クラスに属すると云う推測された確率を表わす値
    を発生するとともに１つのデータベクトルを処理する数
    層のニューラルネットワークを具えるデータ分類装置に
    おいて、請求項１に記載の方法により決まった多数のニ
    ューロンおよびシナプス重みを具えることを特徴とする
    データ分類装置。
  3. 【請求項３】 ニューラルネットワークは３層；入力
    層、中間層および出力層を有し、入力層および中間層間
    の結合の重みを次式 【数１】 の係数“ａij”および“ｂi ”に等しくし、 ここにＳは考えられるドメインに割当てられたボリュー
    ムを表わす既に決められた係数とし、係数“ａij”、
    “ｂi ”および“ｃ”は次の等式 【数２】 により決まり、ここにμは超関数の中心、Γは超関数の
    共分散マトリックスであることを特徴とする請求項２に
    記載のデータ分類装置。
  4. 【請求項４】 各出力ニューロンは１クラスのプログラ
    ミング試料に相当する中間ニューロンに結合し、装置は
    ニューロンを具え、その値を“−１”に固定し、これを
    すべての出力ニューロンに結合し、各出力ニューロンへ
    の結合に関するシナプス重みをクラスに相当する中間ニ
    ューロンの群の規定後１クラスのプログラミング試料へ
    のネットワークによって適合し、値が“−１”に固定さ
    れたニューロンとクラスに相当する出力ニューロンとの
    間の異なる重みを順次テストすることによってクラスの
    平均エラーを最小にする重みを確定するようにし、この
    処理おクラスの各々に対し繰返すようにしたことを特徴
    とする請求項３に記載のデータ分類装置。
  5. 【請求項５】 入力データベクトルに１ベクトルを加え
    る入力モジュールを具え、前記１ベクトルの成分を入力
    データベクトルの成分の２倍積とし、このモジュールに
    よってｎ項をｎ＋ｎ（ｎ＋１）／２項で置換し、各々を
    １つの出力に割当て、これら出力の各々をニューロンの
    第１層のニューロンのうちの１つに結合するようにした
    ことを特徴とする請求項２〜４の何れかの項に記載のデ
    ータ分類装置。
  6. 【請求項６】 請求項２〜５の何れかの項に記載の装置
    を具えることを特徴とする署名確認装置。
  7. 【請求項７】 特定の信号を分類するに当たり、 ・複数のテスト信号の代表的な特徴のテスト値を有する
    データベースを形成し、 ・個別の数のテスト値を相互相関して代表的な特徴の特
    徴スペースに関する個別のガウス確率分布に対する個別
    の共分散マトリックスおよび個別の重心を決め、 ・個別の超関数に関連する個別の共分散マトリックスお
    よび個別の重心に基づき特徴スペースに関する個別の直
    交関数を特定する個別のパラメータ組を形成し、 ・この個別の直交関数を特定の信号の代表的な特徴の特
    定の値に適用して個別の直交関数を特定の出力値をモニ
    タし、 ・前記個別の信号値および個別のスレシホルドを相互相
    関して特定の信号および複数のテスト信号が同一のクラ
    スに属すると云う確率を特定するようにしたことを特徴
    とする特定の信号の分類方法。
  8. 【請求項８】 前記複数のテスト信号は委任個人の署名
    の例を具え、特定の信号は確実性を特定とする署名と
    し、各署名に対する代表的な特徴が、次に示す特徴： ・署名の形状に関する第１表示； ・署名の形成の任意の概況に関する第２表示； ・署名の形成中に生じる書込み圧力に関する第３表示； のうちの少なくとも１つを具えることを特徴とする請求
    項７に記載の特定の信号の分類方法。
  9. 【請求項９】 信号の個別のクラスに関連するものとし
    て特定の信号を特徴付ける装置において、 ・特定の信号の代表的な特徴の値を取出す抽出手段と； ・この抽出手段に結合された入力端子を有し、前記値を
    受けてこの値の二乗値を形成するとともにこれら値間の
    異なる値の各対をそれぞれ乗算した乗積値を形成する乗
    算手段と； ・前記抽出手段および乗算手段に結合され前記値、二乗
    値および乗積値を入力信号として受けてこれら入力信号
    と個別のクラスに関連するシナプス係数との積を形成
    し、次いでこれら積値の和を形成し、最後にこの和とス
    レシホルド値とを比較して前記特定の信号が個別のクラ
    スに関連するか否かを決めるようにしたことを特徴とす
    る特定の信号を特徴付ける装置。
JP4169660A 1991-06-28 1992-06-26 データ分類方法および装置 Pending JPH05189401A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9108066A FR2678407A1 (fr) 1991-06-28 1991-06-28 Procede et dispositif avec un reseau neuronal pour classer des donnees, et appareil d'authentification de signature.
FR9108066 1991-06-28

Publications (1)

Publication Number Publication Date
JPH05189401A true JPH05189401A (ja) 1993-07-30

Family

ID=9414463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4169660A Pending JPH05189401A (ja) 1991-06-28 1992-06-26 データ分類方法および装置

Country Status (5)

Country Link
US (2) US5455892A (ja)
EP (1) EP0521548B1 (ja)
JP (1) JPH05189401A (ja)
DE (1) DE69223092D1 (ja)
FR (1) FR2678407A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2678407A1 (fr) * 1991-06-28 1992-12-31 Philips Electronique Lab Procede et dispositif avec un reseau neuronal pour classer des donnees, et appareil d'authentification de signature.
US6418424B1 (en) 1991-12-23 2002-07-09 Steven M. Hoffberg Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
FR2690771A1 (fr) * 1992-04-29 1993-11-05 Philips Electronique Lab Processeur neuronal muni de moyens pour normaliser des données.
JPH09506730A (ja) 1993-12-17 1997-06-30 クインテット、インコーポレイテッド 自動署名検証の方法
US5729660A (en) * 1994-05-03 1998-03-17 Chiabrera; Alessandro 3-D inverse scattering by artificial intelligence : apparatus and method
US5774631A (en) * 1994-05-03 1998-06-30 Chiabrera; Alessandro E. 3-D reconstruction of objects by artificial intelligence: apparatus and method
US5790754A (en) * 1994-10-21 1998-08-04 Sensory Circuits, Inc. Speech recognition apparatus for consumer electronic applications
US5790758A (en) * 1995-07-07 1998-08-04 The United States Of America As Represented By The Secretary Of The Navy Neural network architecture for gaussian components of a mixture density function
FR2738383B1 (fr) * 1995-09-05 1997-10-03 Thomson Csf Procede de quantification vectorielle de vocodeurs bas debit
US5819007A (en) * 1996-03-15 1998-10-06 Siemens Medical Systems, Inc. Feature-based expert system classifier
US5956409A (en) 1996-04-29 1999-09-21 Quintet, Inc. Secure application of seals
US5828402A (en) * 1996-06-19 1998-10-27 Canadian V-Chip Design Inc. Method and apparatus for selectively blocking audio and video signals
JP3335538B2 (ja) * 1996-11-08 2002-10-21 日本サイバーサイン株式会社 手書き文字列の照合方法および装置
US6058206A (en) * 1997-12-01 2000-05-02 Kortge; Chris Alan Pattern recognizer with independent feature learning
US6622135B1 (en) * 1998-12-29 2003-09-16 International Business Machines Corporation Method for detecting and classifying anomalies using artificial neural networks
US6393395B1 (en) * 1999-01-07 2002-05-21 Microsoft Corporation Handwriting and speech recognizer using neural network with separate start and continuation output scores
CN1371504A (zh) * 1999-01-13 2002-09-25 电脑相关想象公司 签名识别系统和方法
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US6397234B1 (en) * 1999-08-20 2002-05-28 The United States Of America As Represented By The Secretary Of The Navy System and apparatus for the detection of randomness in time series distributions made up of sparse data sets
US6697769B1 (en) * 2000-01-21 2004-02-24 Microsoft Corporation Method and apparatus for fast machine training
WO2001060054A1 (en) * 2000-01-31 2001-08-16 Mike Maas Method for detecting and identifying time-constant patterns in video signals, particularly for the detection of advertising spots in television broadcastings, and device for performing such a method
US6904408B1 (en) * 2000-10-19 2005-06-07 Mccarthy John Bionet method, system and personalized web content manager responsive to browser viewers' psychological preferences, behavioral responses and physiological stress indicators
US20110178967A1 (en) * 2001-05-24 2011-07-21 Test Advantage, Inc. Methods and apparatus for data analysis
US20160026915A1 (en) 2001-01-05 2016-01-28 In-Depth Test Llc Methods and Apparatus for Data Analysis
US8417477B2 (en) 2001-05-24 2013-04-09 Test Acuity Solutions, Inc. Methods and apparatus for local outlier detection
US20070219741A1 (en) * 2005-05-20 2007-09-20 Emilio Miguelanez Methods and apparatus for hybrid outlier detection
US7305122B2 (en) * 2002-08-13 2007-12-04 Lockheed Martin Corporation Method and computer program product for identifying and correcting systematic noise in a pattern recognition system
US7233932B2 (en) * 2005-05-31 2007-06-19 Honeywell International, Inc. Fault detection system and method using approximate null space base fault signature classification
US8260055B2 (en) 2009-03-27 2012-09-04 The Nielsen Company (Us), Llc Methods and apparatus for identifying primary media content in a post-production media content presentation
US8925024B2 (en) 2009-12-31 2014-12-30 The Nielsen Company (Us), Llc Methods and apparatus to detect commercial advertisements associated with media presentations
US8583386B2 (en) * 2011-01-18 2013-11-12 TaKaDu Ltd. System and method for identifying likely geographical locations of anomalies in a water utility network
US9053519B2 (en) 2012-02-13 2015-06-09 TaKaDu Ltd. System and method for analyzing GIS data to improve operation and monitoring of water distribution networks
US10242414B2 (en) 2012-06-12 2019-03-26 TaKaDu Ltd. Method for locating a leak in a fluid network

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5092343A (en) * 1988-02-17 1992-03-03 Wayne State University Waveform analysis apparatus and method using neural network techniques
US5153923A (en) * 1988-03-25 1992-10-06 Hitachi, Ltd. High order information processing method by means of a neural network and minimum and maximum searching method therefor
US5214745A (en) * 1988-08-25 1993-05-25 Sutherland John G Artificial neural device utilizing phase orientation in the complex number domain to encode and decode stimulus response patterns
US5274714A (en) * 1990-06-04 1993-12-28 Neuristics, Inc. Method and apparatus for determining and organizing feature vectors for neural network recognition
FR2678407A1 (fr) * 1991-06-28 1992-12-31 Philips Electronique Lab Procede et dispositif avec un reseau neuronal pour classer des donnees, et appareil d'authentification de signature.
US5179596A (en) * 1991-07-05 1993-01-12 Booz, Allen & Hamilton, Inc. Analog pattern categorization system having dual weighted connectivity between nodes
JPH0589247A (ja) * 1991-09-26 1993-04-09 Just Syst Corp パターン空間からの特定パターンの分離方法およびその分離装置
US5333209A (en) * 1992-03-24 1994-07-26 At&T Bell Laboratories Method of recognizing handwritten symbols
US5343251A (en) * 1993-05-13 1994-08-30 Pareto Partners, Inc. Method and apparatus for classifying patterns of television programs and commercials based on discerning of broadcast audio and video signals

Also Published As

Publication number Publication date
DE69223092D1 (de) 1997-12-18
US5568591A (en) 1996-10-22
EP0521548A1 (fr) 1993-01-07
FR2678407A1 (fr) 1992-12-31
US5455892A (en) 1995-10-03
EP0521548B1 (fr) 1997-11-12

Similar Documents

Publication Publication Date Title
JPH05189401A (ja) データ分類方法および装置
US7447338B2 (en) Method and system for face detection using pattern classifier
CN109063724B (zh) 一种增强型生成式对抗网络以及目标样本识别方法
US20040034611A1 (en) Face recognition method using artificial neural network and apparatus thereof
Pal Soft computing for feature analysis
EP0554083A2 (en) Neural network learning system
EP4068222A1 (en) Anti-spoofing method and apparatus
JP2009545045A (ja) パターン分類方法
KR101854258B1 (ko) 딥러닝을 pc에 적용하기 위한 메모리 최적화 방법
CN1723468A (zh) 采用照明不变神经网络的计算机视觉系统和方法
CN111834004B (zh) 一种基于中心化空间学习的未知疾病类别识别方法及装置
CN110020868B (zh) 基于线上交易特征的反欺诈模块决策融合方法
CN110110845A (zh) 一种基于并行多级宽度神经网络的学习方法
US6694054B1 (en) Pattern recognition process
CN115063664A (zh) 用于工业视觉检测的模型学习方法、训练方法及系统
CN113343123B (zh) 一种生成对抗多关系图网络的训练方法和检测方法
US5559929A (en) Method of enhancing the selection of a training set for use in training of a neural network
CN112541530B (zh) 针对聚类模型的数据预处理方法及装置
CN112906672A (zh) 钢轨缺陷识别方法及系统
Benchaji et al. Novel learning strategy based on genetic programming for credit card fraud detection in Big Data
CN115754199A (zh) 基于隶属度函数和主成分分析的水质检测方法
CN115116115A (zh) 人脸识别及其模型训练方法和装置
CN108846424A (zh) 一种代价敏感模糊多核分类器
CN114926702A (zh) 一种基于深度注意力度量的小样本图像分类方法
JP2023006279A (ja) 機械学習モデルを用いて検査データの良否を判定する方法、情報処理装置、及び、コンピュータープログラム