JPH0773261A - ニューラルデバイス及びその構成方法 - Google Patents

ニューラルデバイス及びその構成方法

Info

Publication number
JPH0773261A
JPH0773261A JP5312001A JP31200193A JPH0773261A JP H0773261 A JPH0773261 A JP H0773261A JP 5312001 A JP5312001 A JP 5312001A JP 31200193 A JP31200193 A JP 31200193A JP H0773261 A JPH0773261 A JP H0773261A
Authority
JP
Japan
Prior art keywords
neuron
neurons
group
output
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5312001A
Other languages
English (en)
Inventor
Philippe Gentric
ジェントリック フィリップ
Joel Minot
ミノ ジョエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV, Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JPH0773261A publication Critical patent/JPH0773261A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Abstract

(57)【要約】 【目的】 高速でオブジェクトを分類するためのニュー
ラルデバイスを提供する。 【構成】 裏ニューロンなしのデバイスを基にし、学習
サンプルの組の中から任意のサンプルをとり、分類すべ
きオブジェクトとする。毎回、回答が不正ならば裏ニュ
ーロンを導入してサンプルのクラスの出力ニューロンに
接続し、一方回答が正のときはニューロンは追加しな
い。裏ニューロンを導入する方法は、導入されたニュー
ロンそれぞれが既に存在している群の中に入るか否かを
サーチすることによってニューロンを群に分割し、群に
入る場合はそれに含め、群に入らない場合はこのニュー
ロンを中心に新しい群を作る。群の境界は創作者である
ニューロンからの距離の関数として決まる。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、クラスが既知であるオ
ブジェクトを形成する学習サンプル又はエグザンプルの
組によって、オブジェクトを分類するためのニューラル
デバイスを構成する方法であり、分類されるべき各オブ
ジェクトは超空間の中の点で表される入力ベクトルによ
って定義され、デバイスは入力ニューロンの層を有し、
各入力ニューロンは超空間の次元の１つに対応し、裏
（hidden）ニューロンの１つの層の入力が入力ニューロ
ンに排他的に接続され、その活性化がその裏ニューロン
に対応する超空間の基準点の座標に基づいており、出力
ニューロンの層のそれぞれがクラスの１つに対応してお
り、裏ニューロンのないデバイスからスタートし、学習
サンプルの該組からの任意のサンプルを取り込み、続い
て、第１の裏ニューロンをデバイスの中に位置させ、こ
のニューロンに対応する基準点を超空間の中に取り込ま
れたサンプルを表す点として定義し、この裏ニューロン
とこのサンプルのクラスに対応する出力ニューロンとの
間に正のウェイトの励起接続を確立し、その後、１つの
新しいサンプルを組から取り込み、分類されるべきオブ
ジェクトとしてデバイスに供給し、回答が正しくない場
合には、新しいサンプルに対応する新しい裏ニューロン
をデバイスに導入し、このニューロンに対応する基準点
を新しいサンプルを表示する点として定義し、この裏ニ
ューロンと新しいサンプルのクラスに対応する出力ニュ
ーロンとの間に正のウェイトの励起接続を確立し、一
方、回答が正しい場合には、新しいサンプルに対応する
追加の裏ニューロンを加えず、残りの全てのサンプルに
ついて、組の中に残ったサンプルがなくなるまで同様の
処理を行う、オブジェクトを分類するためのニューラル
デバイスを構成する方法に関するものである。
【０００２】本発明は、更に、オブジェクトをＪ個の分
離したクラスに分類するためのニューラルデバイスであ
り、分類されるべきオブジェクトはＫ個の座標を持つ入
力ベクトルによって定義され、Ｋ次元の超空間の中の点
として表され、Ｋ個の入力ニューロンを有する層を具
え、各入力ニューロンは該次元の１つに対応し、１つの
層はＪ個の出力ニューロンを有し、各出力ニューロンは
該クラスの１つに対応し、裏ニューロンの層の活性化が
各裏ニューロンに対応する基準点の超空間における座標
の関数として計算されるニューラルデバイスに関するも
のである。
【０００３】
【従来の技術】このように構成されたデバイスはオブジ
ェクトの分類、即ち、オブジェクトの認識、例えば、形
状の認識及びとりわけ文字の認識によく使われる。
【０００４】このような構成方法は、文献“カテゴリー
学習のためのニューラルモデル”（"A neural model fo
r categories learning", Douglas L.Reillyその他著,
“生物学的サイバネチックス”(Biological Cybernetic
s)第45号,35-41頁(1982)）によって既知である。ネット
ワークは増大する学習によって構成され、クラスを求め
るための決定は、超空間におけるサンプルの周囲の支配
容積を決める変数スレッショールド関数を基にして行わ
れる。
【０００５】
【発明が解決しようとする課題】それにも拘わらず、多
かれ少なかれサンプルのランダムな導入は、充分な信頼
性を達成するために、次のような影響を持つ。即ち、裏
ニューロンの数が、これらのニューロンの最適定義によ
って得られるべき値より高い値に達し、ネットワークの
使用中に計算時間を長くしてしまう。本発明の目的は、
この方法によって構成し、且つ計算速度が速いネットワ
ークを提供することにある。
【０００６】
【課題を解決するための手段】本発明は、この目的を達
成するため、裏ニューロンの導入によって各群を代表す
るニューロンを有するニューロンの群を定義し、導入さ
れた各ニューロンに対して、それが既に定義された群の
部分を形成するか否かをサーチし、その場合、既に定義
されたいずれの群の部分をも形成していないならば、そ
れが代表ニューロンとなる新しい群を形成し、最初に導
入されたニューロンはこのように最初の群の代表と定義
することを特徴とするオブジェクトを分類するためのニ
ューラルデバイスを構成する方法を提供する。
【０００７】この方法によれば、ニューロンは、このニ
ューロンに対応する基準点と対象となる群を代表するニ
ューロンに対応する基準点との間の距離が所定の距離よ
り小さいときには、該群の部分を形成するとみなす。
【０００８】他の実施例においては、問題の群が第１の
レベルにあるとみなし、第１の距離より大きい少なくと
も１つの第２の所定の距離を定義し、これを基にし、第
１のレベルの群と同じプロセスに従って第２のレベルの
第２の群を定義する。
【０００９】同一のクラスに属さない２つの学習サンプ
ルに対応する２つの裏ニューロンの代表点の座標が相互
に隣接するときは、サンプルの１つに対応する裏ニュー
ロンと他のサンプルのクラスに対応する出力ニューロン
との間に、負のウェイトの禁止シナプスを挿入すること
が望ましい。このようにすると、分類結果の信頼性が改
善される。
【００１０】裏ニューロンの活性化が予め定められ、基
準点間の距離の非補正関数であるときは、与えられたサ
ンプル間の差に対するデバイスの感度が小さくて、サン
プルを正しく区別できない状態が起こり得る。
【００１１】この問題を解決するために、分類されるべ
きオブジェクトとして存在する学習サンプルについて、
出力ニューロンが実際に適切なクラスに対して活性化さ
れる場合は、最高活性化レベルの出力ニューロンのアク
ティビティと２番目に高い活性化レベルの出力ニューロ
ンのそれとの間の差が所定のスレッショールド以下の場
合を除いて、該学習サンプルに対応する追加の裏ニュー
ロンを対応する出力ニューロンとの接続に挿入すること
が望ましい。
【００１２】ネットワークの所定の構築のために、裏ニ
ューロンに対する活性化値の選択及び出力ニューロンの
活性化の関数としてのクラスを決める選択規則は、性能
に対して重要なインパクトを持つ。前記で引用した文献
にはスレッショールド以下ではゼロである裏ニューロン
に対する活性化関数の利用は、“リモート”学習サンプ
ルの影響の漸進的な集積を許さない。そして、出力層に
おける“２値”（全てかゼロか）ニューロンの利用は、
とられるべき刺激を受けた決定を許さない。更に、２出
力ニューロンが同時に動作する状態を管理することはで
きない。
【００１３】従って、本発明の方法は、裏ニューロンの
活性化が超空間の中の裏ニューロンに対応する基準点と
入力ベクトルを表す点との間の幾何学的距離に関する減
少即ち逆の関数であるデバイスに更に有利に適用され
る。ここでの出力ニューロンの活性化は、入力スレッシ
ョールドの関数である。そして結果として表示されるそ
のクラスは、最も活性化された出力ニューロンに対応す
るクラスである。これは、後者のアクティビティと、最
も活性化された出力ニューロンの活性化に続いて活性化
が最も強い出力ニューロンのそれとの間の差が所定の値
を超えることを条件としている。
【００１４】これは中でも、勝者が指名されるばかりで
なく、確率が減少する順序で勝者のリストが提案される
という利点を有する。これは、リストがエラーを修正す
るために辞典のように引き続き使用される文字認識に対
しては重要な利点である。
【００１５】この種の装置においては、裏ニューロンと
これらに対応する基準点が定義され、裏ニューロンが群
に分割され、各群が群を代表するニューロンを持ち、本
発明による方法に合致し、分類されるべきサンプルの存
在下で、第１の期間の間群の代表である裏ニューロンの
みが、どのニューロンが最高の活性化レベルを持つかを
決めるための動作の手段を有し、この動作に続いて、第
２の期間の間、第１の期間の間代表のニューロンが最高
活性化レベルを与えた群の全ての裏ニューロンが動作の
手段を有することが望ましい。
【００１６】複数の群レベルが定義された後では、デバ
イスは、分類されるべきサンプルの存在下で、第１の期
間の間ｎ番目のレベルの群の代表である裏ニューロンの
みが、どのニューロンが最高の活性化レベルを持つかを
決めるための動作の手段を有し、第２の期間の間、第１
の期間の間その代表のニューロンが最高活性化レベルを
示したｎ番目のレベルの群に含まれる（ｎ−１）番目の
レベルの群を代表する裏ニューロンのみが、どのニュー
ロンが最高の活性化レベルを持つかを決めるための動作
の手段を有し、第１のレベルに到達するまでこの動作を
繰り返すことが望ましい。
【００１７】本発明のデバイスは、更に、各裏ニューロ
ンについて、活性化レベルが、この裏ニューロンに対応
する基準点と入力ベクトルを表す点との間の超空間にお
ける距離を基にして計算され、この目的のためにインデ
ックスｉを持つ裏ニューロンの活性化レベルを決める手
段が次式、
【数２】 によって与えられ、ここでＷkiはニューロン"i" の形成
を導いたサンプルのＫ個の座標を表し、σi はニューロ
ン"i" に対応する調整可能の係数を表し、Ｘk は分類さ
れるべき入力ベクトルのＫ個の座標を表し、ｎは整数を
表し、関数“ｆ”はその独立変数がゼロに近づくに従っ
て増加する関数を表し、出力ニューロンは、裏ニューロ
ンの所定の活性化スレッショールドを超えてのみ活性化
され、最高活性化レベルの出力層のニューロンと活性化
レベルが２番目に高い出力ニューロンのそれとの差が所
定の値を超える条件の下に、最高活性化レベルを持つ出
力層のニューロンに対応するクラスを結果として表示す
る手段を具備している。
【００１８】本発明のデバイスは、更に、同一のクラス
に属さない２つの学習サンプルに対応する２つの裏ニュ
ーロンの座標が相互に隣接する代表点を持つ場合には、
サンプルに対応する裏ニューロンと他のサンプルのクラ
スに対応する出力ニューロンとの間に負のウェイトの禁
止接続を有することが望ましい。
【００１９】本発明のこれらの観点及び更に詳細な他の
観点を、図面を用いて更にこれに限定されることのない
本発明の実施例に基づいて説明する。
【００２０】
【実施例】図１は、分類を行うように構成されたニュー
ラルデバイスの図である。これは、異なったクラスに再
分割され得るオブジェクトの母集団の存在の下に、この
母集団のサンプルの記述がデバイスに存在するときに、
デバイスがサンプルの対応するクラスを決定することを
意味すると理解されるべきである。例えば、オブジェク
トが異なった形と外観を持つアルファベットの文字であ
り、クラスは“文字ａ”、“文字ｂ”等とする。
【００２１】入力データが、所属クラスが既知の学習サ
ンプルに関するものか、それともそのクラスがデバイス
によって決められるべきものか、いずれであるかが、Ｋ
次元の超空間においてＫ個の座標又は成分を有するベク
トルの形で表されている。例えば文字の場合、その中に
文字が存在すると仮定される１つのゾーンが決定され
る。そしてこのゾーンで、入力ベクトルの成分の１つを
与える各点の明るさが連続して解析される。
【００２２】装置は、入力ベクトルの座標の数Ｋに等し
い数の入力ニューロンＵk の層を有する。各入力ニュー
ロンは、入力ベクトルの成分の１つに対応する入力値に
対応している。
【００２３】裏ニューロンの層の各ニューロンＨi は、
入力ニューロンＵk の１つの出力に接続された入力を有
する。不明瞭になるのを避けるために、図面ではニュー
ロンＵの接続は１つのニューロンＨへの接続のみしか表
示していないが、実際には全てのニューロンＵが全ての
ニューロンＨに接続されている。しかしながら、裏ニュ
ーロンの出力は他の裏ニューロンの入力には接続されて
いない。
【００２４】裏ニューロンの数Ｎi は、後に述べるよう
に、解くべき分類問題の難しさの関数である。最終的に
は、デバイスは出力ニューロンＯj の層を有する。この
出力ニューロン層はクラスの数に等しい数Ｊのニューロ
ンを有する。どの裏ニューロンがどの出力ニューロンＯ
に接続されているかは後に述べる。
【００２５】裏ニューロンＨi の活性化レベルは超空間
におけるニューロンＵk に印加された入力ベクトルを表
す点とニューロンＨi に対応する基準点との間の距離に
基づいて計算される。この点は図２に点で表示されてい
る。これは、図面の面に対する空間の投影を示すもので
ある。各点は学習サンプルを表す。
【００２６】これらの点には、それらの点の周りに実線
の小さい丸で示したドメインが対応している。この丸
は、サンプルから所定の距離に該当する点の区域であ
る。この距離は次の式で表される。
【数３】 これは距離（Ｘ，Ｗ）を求める式であり、Ｘk は距離を
求める空間の点の座標、ＷkiはニューロンＨi に対応す
る点のＫ個の座標であり、ｎはユークリッド距離では２
に等しい（この場合、差Ｘk-Ｗkiの絶対値をとる必要は
ない）。この距離が、 距離（ｘ，ｙ）＝距離（Ｙ，Ｘ） 距離（ｘ，ｚ）≦距離（ｘ，ｙ）＋距離（ｙ，ｚ） ならば全ての距離が用いられる。距離（ｘ，ｘ）＝０の
条件は必要ない。
【００２７】このようなデバイスを構成するためは、既
知の方法では、サンプルを群にし、各群を表す単一の裏
ニューロンを決める。しかしながら、問題は、失う情報
の量をあまり多くせずに分類結果に対して可能な限り高
い信頼性を達成するようにサンプルを群にするにはどう
するかにある。本発明の方法によれば、考慮する必要の
ないサンプルは自動的に排除し、情報は何も失われるこ
とはない。
【００２８】基礎は、裏ニューロンを含まないネットワ
ークによって形成される。最初に学習サンプルの組の中
から任意のサンプルをとる。このサンプルはこのように
組の中から引き出される。これは再び出会うことはな
い。このサンプルに対応する第１の裏ニューロンが定ま
り、このニューロンの活性化が超空間の中のそのサンプ
ルを表す点の位置の関数として決められる。この活性化
は次式で表される。
【数４】 ここで、Ｘk は分類されるべき入力ベクトルの座標、関
数ｆはその独立変数がゼロに近づくに従って増加する関
数、例えば“ｅｘｐ（−ｘ）”又は“１／（｜ｘ｜＋
ａ）”のような関数、Ｗklは第１のサンプルを表す点１
の座標、σ1 は第１のニューロンに対応する修正可能の
係数である。この裏ニューロンＨ1 は、サンプルのクラ
スに対応する出力ニューロンＯj に接続される。
【００２９】引き続いて、第２のサンプルを該組からと
り（例えばランダムに）、該組から引き出す（これは再
び出会うことはない）。それは分類されるべき対象とし
てデバイスに供給され、デバイスはサンプルが付与され
るクラスを示す。このクラスが事実上第２のサンプルの
クラスであるか又はそうではないかの２つのケースが可
能である。このクラスが正しいクラスであればニューロ
ンは追加されず、処理が継続され第３のサンプルがとら
れる。表示されたクラスが正しくない場合は、第２の裏
ニューロンがデバイス中に置かれる。この活性化は次式
で表される。
【数５】 ここで、Ｗk2はニューロンの構成を生じさせる第２のサ
ンプルを表す点の座標、σ2 は第２のニューロンに対応
する修正可能の係数である。この第２の裏ニューロン
は、第２のサンプルのクラスに対応する出力ニューロン
に接続される。
【００３０】この手順を継続し、任意のシーケンスの残
りの全てのサンプルを連続してとり、それらを分類すべ
き対象としてデバイスに提供し、表示されたクラスが正
しくない場合にのみ新しいニューロンが形成される。こ
のニューロンは次式の活性化を有する。
【数６】 ここで、Ｗkiはニューロンｉの構成を生じさせるサンプ
ルを表す点の座標、σiはニューロンｉに対応する修正
可能の係数である。
【００３１】この手順は、その組に残りのサンプルがな
くなるまで続けられる。デバイスはこのように、裏ニュ
ーロンの位置決めと出力ニューロンへの接続により、そ
れ自身によって組み立てられる。サンプルのクラスの決
定が更に困難な場合、即ち問題が更に難解な場合には、
正しい回答が見つからないサンプルが更に存在し（サン
プルが分類されるべき対象としてデバイスに供給される
とき）、導入される裏ニューロンの数が更に大きくな
る。
【００３２】ニューラルネットワークが実際のものでは
なく在来のコンピュータによるシミュレーションの場合
には、分類されるべき対象として存在するサンプルのク
ラスを決める計算は、処理のスタート時点では極めて少
ないニューロンがあるだけなので特に速い。この処理は
新しいニューロンが加わるに従って徐々に遅くなるが、
全体としては極めて速い速度を保つ。
【００３３】図２で隣接する点ＤとＨを考え、それらが
異なったクラスに属するとする。そうすると、分類され
るべき対象としての試験の間、それらが隣接していると
の事実によりこれらの２つの点について得られた結果は
同じである。これは、この場合は少なくとも２番目に試
験されるサンプルに対する１つのニューロンを生じさせ
ると考えるべきである。しかし、この場合は、このよう
に新しく生じた裏ニューロンとエラーによって見出され
たクラスの出力ニューロンとの間に確立された正規のシ
ナプスに加えて、負のウェイトの禁止シナプスを付加す
ることによって処理を完結するのが有利である。この処
理が行われると、出力シナプスの全数は、多くても裏ニ
ューロンの数の２倍に等しい。
【００３４】前述のネットワークを用いて、分類される
べき対象の表示について、表示された対象に対応する点
と全ての裏ニューロンに対応する点との間の（超空間
の）全ての距離が決定されなければならない。在来のコ
ンピュータによるシミュレーションの場合においては、
これらの操作は不経済である。計算時間を短縮するため
に、サンプルを群に分割し、第１の期間の間は１つの群
を代表する裏ニューロンのみを利用し、その後の第２の
期間には、好ましくは最高の活性化、即ち第１の期間の
間、群の代表が最高の活性化レベルを与えたその群の裏
ニューロンの中のレベルから、適切な活性化を探すこと
が提案されている。この２期間処理は後に詳細に説明す
る。
【００３５】図２の例では、裏ニューロンとして定まる
超球体Ａ、Ｂ、Ｃによって境界が定められている群が導
入される。このため、裏ニューロンの導入の一連のプロ
セスにおいては、導入されたニューロン各々について、
既に決まっている群の部分を構成するか否かが決定され
る。既に決まっている群の部分を構成している場合に
は、それと結合し、他方、既に決まっている群の部分を
構成していない場合には新しい群を形成し、その群の中
に代表ニューロンを構成する。導入された第１のニュー
ロンは、従って、第１の群の代表になる。
【００３６】１つのニューロンに対応する基準点と問題
の群を代表するニューロンに対応する基準点との間の距
離が、その群の代表であるニューロンに対応する基準点
を中心にして、与えられた半径の超球体の半径より小さ
い場合には、言い換えるとその超球体の中にあるときに
は、そのニューロンはその群の部分を形成すると考え
る。問題の半径は、前記で定義したパラメーターσi と
同じ性質の量である。このように、例えばネットワーク
を構成する間は、点Ｆが第１に出会い、超球体Ａの他の
点はそれまでに発見されない。超球体Ａは従って点Ｆを
中心として定義される。
【００３７】点Ｅを考えると、これは超球体Ａ（及びそ
の他の球体）の部分を構成せず、従って超球体Ｂが作ら
れる。続いて、点Ｇを考えると、この点はこれまでの超
球体の部分を形成しないので、超球体Ｃが作られる。超
球体の中に位置する他の点は、点Ｆが確定した後には超
球体Ａに関係する点として、点Ｅが確定した後には超球
体Ｂに関係する点として、点Ｇが確定した後には超球体
Ｃに関係する点として出会う。例えば、点Ｄが点Ｇより
前に出会った場合には、超球体は点Ｄを中心として作ら
れることに注意すべきである。点Ｇはその中に含まれ、
超球体Ｃは作られない。
【００３８】このように、一連の裏ニューロンの導入の
プロセスにおいては、各サンプルに対してデバイスによ
る回答（分類）が考慮されるのみではなく、存在する超
球体の中に対応する点が既に存在する場合には、前記サ
ンプルが新しいニューロンの導入を導くケースについて
も考慮されている。群への分割は、このように補助的な
経路を必要とせずに主プロセスの終わりの時点で既に確
立されている。
【００３９】群を決定する方法は、学習サンプルが出会
う順序に依存し、偶然がプロセスに影響を与えるように
見える。超球体はこのように相互に共通の部分を持つこ
とになる。例えば点Ｈは、点Ｈと超球体の中心との距離
の計算の間に点Ｅと点Ｇのいずれに最初に出会ったかに
よって、群Ｂ又は群Ｃの部分を構成するものとしてどち
らによっても定義される。これは欠点ではなく、特に後
者の利用のモードによって最も遠いデバイスの性能がそ
れによって影響されないことが見出された。
【００４０】裏ニューロンに対して与えられた群化のレ
ベルを決める方法は既に述べた。用語“群化レベル”
は、群はいくぶん多数のニューロンからなり、即ち群を
定める超球体の半径はいくぶん大きいことを意味するも
のである。明らかに、第２のレベル又は他の複数のレベ
ルは、同様の方法で既に決められている。従って、それ
は、群の代表（群との対応関係の基準はその超球体の中
にある点であることである）であるニューロンに対応す
る基準点を中心とする１つ或いは複数の他の（ますます
大きくなる）超球体の半径を決めるためには充分であ
る。これを基にして、同じプロセスによって複数のレベ
ルの群を決定することができる。
【００４１】デバイスの使用中、サンプルのクラスは次
のようにして決められる。 −第１の期間は、群を代表する裏ニューロンを排他的に
使う。例えば同じ超球体Ａに属する点に対応する全ての
ニューロンが裏ニューロンＦによって代表され、同様に
超球体Ｂに属する点に対応する全てのニューロンが裏ニ
ューロンＥによって代表され、同様に超球体Ｃに属する
点に対応する全てのニューロンが裏ニューロンＧによっ
て代表され、最高の活性化レベルを持つニューロンが決
められる。
【００４２】−その後の第２の期間は、第１の期間に最
高の活性化レベルを与えられたニューロンが代表する群
の他のニューロンの活性化が計算され、その活性化レベ
ルが与えられたスレッショールドを超えたニューロンが
見出されるや否や（言い換えれば、サンプルを代表する
点が、ニューロンを代表する点を中心として与えられた
半径の超球体の中に位置するとき）、このニューロンが
勝者と見做される。この瞬間に停止せずに、その群の代
表ニューロンが第１の期間の間に最高の活性化レベルを
与えられた群の全ての裏ニューロンの間から、最高の活
性化レベルをサーチすることによってサーチを広げるこ
とができる。
【００４３】例えばこれが群Ｃとすれば、第２の期間
中、点Ｄに対応するニューロンが最高の活性化レベルを
持つことになり得る。点Ｄが点Ｇと同じクラスに属する
ことはあり得ないことに注意すべきである。入力サンプ
ルは従って点Ｄのクラスに分類される。これは、特に、
最終的な群の決定のランダム性が欠点にはならないこと
の理由である。
【００４４】このプロセスは、裏ニューロンの群化のレ
ベルが２つ以上ある場合にも容易に適用できる。これ
は、対応する群の次元が減る順序で連続的にレベルを処
理することによって遂行される。
【００４５】裏ニューロンと出力ニューロンとの間に確
立された正規のシナプスに加えて、負のウェイトの禁止
シナプスが同一クラスに属していない隣接している点を
持つ学習サンプルに加えられているときには、これらの
点が隣接しているか否かを決める規則は、例えば、異な
ったクラスの２つのサンプルが同一群の部分を形成する
とすることができる。
【００４６】例えば９００の裏ニューロンが３０ニュー
ロンずつ３０群に分割されているとすると、９００の代
わりに３０＋３０の活性化レベルを計算すればよいこと
から、計算時間が短縮されることが容易に理解できる。
【００４７】１つの群の裏ニューロンの間ではなく、第
１の期間の間に最高活性化レベルを与えた代表ニューロ
ンの属する複数の群の裏ニューロンの間の最高活性化レ
ベルに対するサーチによってサーチは更に拡張される。
これは計算をわずかに長くするが、高い信頼性を達成で
きる。例えば、所与の数の群がランダムに選択でき、そ
の群の全てのニューロンが第２の期間の間考慮され、或
いは第２の期間に対して“許される”べきニューロンの
順序で最小活性化スレッショールドが第１の期間の間確
立される。
【００４８】サーチを拡大する他の手段は、与えられた
レベルの群を定める超球体について最初に選んだ半径よ
り大きい半径を“置く”ことである。
【００４９】裏ニューロンが適当な出力ニューロンに接
続されたときは、全てのこれらの接続と同等の正のウェ
イトを任意に付与することによって励起シナプスが作ら
れる。問題のウェイトは、補正係数σi と同様に、例え
ば既に近似解が使えるので追加の実行時間を必要としな
い既知の誤差後進法によって、全ての裏ニューロンが投
入された後に最終的に補正される。更に、群への分割は
誤差後進プロセスを加速するために用いることができ
る。
【００５０】このようなサンプルが入力に存在するプロ
セスの間、ネットワーク（伝播）が評価され、誤差が計
算され、その後誤差が徐々にウェイトを修正しながら
“後進”する。群への分割を用いると、ネットワークの
一部分のみが評価されるので評価時間は有利になる。更
に、修正されるのはネットワークの全てのウェイト及び
全てのσi ではなく、後進の過程でリストが格納されて
いる有用な群の裏ニューロンにリンクしている出力に関
するウェイト及びσi に限られるため、この利点は、更
に後進の間においても得られる。
【００５１】裏ニューロンが多少ともランダムに作り出
されるという事実に基づく欠点を制限するために、デバ
イスが作り出されたときに、“刈り込み”プロセスを実
行し、過剰のニューロンを除去することもできる。これ
は、例えば学習例を再び認識されるべきサンプルとして
指定し、この例として位置決めされている裏ニューロン
をそれぞれ不活性化することによって実行できる。それ
にも拘わらず結果が正しくない場合は、このニューロン
を使用しないようにすることができる。
【図面の簡単な説明】
【図１】図１は、本発明によって形成されるニューロン
ネットワークの説明図である。
【図２】図２は、超空間におけるＫ次元の中からの２次
元でサンプルの代表点を表示した図である。
【符号の説明】
Ｕ 入力ニューロン Ｈ 裏ニューロン Ｏ 出力ニューロン Ａ，Ｂ，Ｃ 超球体 ｎ 整数
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジョエル ミノ フランス国 94220 シャラントン プラ ス ド ル ユアロープ ８

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 クラスが既知であるオブジェクトを形成
    する学習サンプル又はエグザンプルの組によって、オブ
    ジェクトを分類するためのニューラルデバイスを構成す
    る方法であり、 分類されるべき各オブジェクトは超空間の中の点で表さ
    れる入力ベクトルによって定義され、デバイスは入力ニ
    ューロンの層を有し、各入力ニューロンは超空間の次元
    の１つに対応し、裏（hidden）ニューロンの１つの層の
    入力が入力ニューロンに排他的に接続され、その活性化
    がその裏ニューロンに対応する超空間の基準点の座標に
    基づいており、出力ニューロンの層のそれぞれがクラス
    の１つに対応しており、 裏ニューロンのないデバイスからスタートし、 学習サンプルの該組からの任意のサンプルを取り込み、 続いて、第１の裏ニューロンをデバイスの中に位置さ
    せ、このニューロンに対応する基準点を超空間の中に取
    り込まれたサンプルを表す点として定義し、この裏ニュ
    ーロンとこのサンプルのクラスに対応する出力ニューロ
    ンとの間に正のウェイトの励起接続を確立し、 その後、１つの新しいサンプルを組から取り込み、分類
    されるべきオブジェクトとしてデバイスに供給し、 回答が正しくない場合には、新しいサンプルに対応する
    新しい裏ニューロンをデバイスに導入し、このニューロ
    ンに対応する基準点を新しいサンプルを表示する点とし
    て定義し、この裏ニューロンと新しいサンプルのクラス
    に対応する出力ニューロンとの間に正のウェイトの励起
    接続を確立し、 一方、回答が正しい場合には、新しいサンプルに対応す
    る追加の裏ニューロンを加えず、 残りの全てのサンプルについて、組の中に残ったサンプ
    ルがなくなるまで同様の処理を行う、オブジェクトを分
    類するためのニューラルデバイスを構成する方法におい
    て、 裏ニューロンの導入によって各群を代表するニューロン
    を有するニューロンの群を定義し、 導入された各ニューロンに対して、それが既に定義され
    た群の部分を形成するか否かをサーチし、 その場合、既に定義されたいずれの群の部分をも形成し
    ていないならば、それが代表ニューロンとなる新しい群
    を形成し、 最初に導入されたニューロンはこのように最初の群の代
    表と定義することを特徴とするオブジェクトを分類する
    ためのニューラルデバイスを構成する方法。
  2. 【請求項２】 ニューロンは、このニューロンに対応す
    る基準点と対象となる群を代表するニューロンに対応す
    る基準点との間の距離が所定の距離より小さいときに
    は、該群の部分を形成するとみなすことを特徴とする請
    求項１に記載のオブジェクトを分類するためのニューラ
    ルデバイスを構成する方法。
  3. 【請求項３】 問題の群が第１のレベルにあるとみな
    し、第１の距離より大きい少なくとも１つの第２の所定
    の距離を定義し、これを基にし、第１のレベルの群と同
    じプロセスに従って第２のレベルの第２の群を定義する
    ことを特徴とする請求項２に記載のオブジェクトを分類
    するためのニューラルデバイスを構成する方法。
  4. 【請求項４】 同一のクラスに属さない２つの学習サン
    プルに対応する２つの裏ニューロンの代表点の座標が相
    互に隣接するときは、サンプルの１つに対応する裏ニュ
    ーロンと他のサンプルのクラスに対応する出力ニューロ
    ンとの間に、負のウェイトの禁止シナプスを挿入するこ
    とを特徴とする請求項１乃至３のいずれか１項に記載の
    オブジェクトを分類するためのニューラルデバイスを構
    成する方法。
  5. 【請求項５】 分類されるべきオブジェクトとして存在
    する学習サンプルについて、出力ニューロンが実際に適
    切なクラスに対して活性化される場合は、最高活性化レ
    ベルの出力ニューロンのアクティビティと２番目に高い
    活性化レベルの出力ニューロンのそれとの間の差が所定
    のスレッショールド以下の場合を除いて、該学習サンプ
    ルに対応する追加の裏ニューロンを対応する出力ニュー
    ロンとの接続に挿入することを特徴とする請求項１乃至
    ４のいずれか１項に記載のオブジェクトを分類するため
    のニューラルデバイスを構成する方法。
  6. 【請求項６】 オブジェクトをＪ個の分離したクラスに
    分類するためのニューラルデバイスであり、分類される
    べきオブジェクトはＫ個の座標を持つ入力ベクトルによ
    って定義され、Ｋ次元の超空間の中の点として表され、
    Ｋ個の入力ニューロンを有する層を具え、各入力ニュー
    ロンは該次元の１つに対応し、１つの層はＪ個の出力ニ
    ューロンを有し、各出力ニューロンは該クラスの１つに
    対応し、裏ニューロンの層の活性化が各裏ニューロンに
    対応する基準点の超空間における座標の関数として計算
    されるニューラルデバイスにおいて、 裏ニューロンとそれらに対応する基準点が定義され、裏
    ニューロンが群に分割され、各群は請求項１に記載の方
    法に合致する群の表現であるニューロンを有し、裏ニュ
    ーロンの活性化は裏ニューロンに対応する基準点と入力
    ベクトルを表す点との間の超空間における幾何学的距離
    の減少関数であり、出力ニューロンの活性化関数は入力
    スレッショールドの関数であり、結果として表示される
    クラスは最高活性化レベルの出力ニューロンに対応する
    クラスであり、後者のアクティビティと２番目に高い活
    性化レベルの出力ニューロンのそれとの間の差が所定の
    値を超える条件の下に、 分類されるべきサンプルの存在下で、第１の期間の間群
    の代表である裏ニューロンのみが、どのニューロンが最
    高の活性化レベルを持つかを決めるための動作の手段を
    有し、この動作に続いて、第２の期間の間、第１の期間
    の間代表のニューロンが最高活性化レベルを与えた群の
    全ての裏ニューロンが動作の手段を有することを特徴と
    するオブジェクトを分類するためのニューラルデバイ
    ス。
  7. 【請求項７】 裏ニューロンが更に請求項３に記載の方
    法によって複数の群に分割され、 分類されるべきサンプルの存在下で、第１の期間の間ｎ
    番目のレベルの群の代表である裏ニューロンのみが、ど
    のニューロンが最高の活性化レベルを持つかを決めるた
    めの動作の手段を有し、第２の期間の間、第１の期間の
    間その代表のニューロンが最高活性化レベルを示したｎ
    番目のレベルの群に含まれる（ｎ−１）番目のレベルの
    群を代表する裏ニューロンのみが、どのニューロンが最
    高の活性化レベルを持つかを決めるための動作の手段を
    有し、第１のレベルに到達するまでこの動作を繰り返す
    ことを特徴とする請求項６に記載のオブジェクトを分類
    するためのニューラルデバイス。
  8. 【請求項８】 各裏ニューロンについて、活性化レベル
    が、この裏ニューロンに対応する基準点と入力ベクトル
    を表す点との間の超空間における距離を基にして計算さ
    れ、この目的のためにインデックスｉを持つ裏ニューロ
    ンの活性化レベルを決める手段が次式、 【数１】 によって与えられ、ここでＷkiはニューロン"i" の形成
    を導いたサンプルのＫ個の座標を表し、σi はニューロ
    ン"i" に対応する調整可能の係数を表し、Ｘk は分類さ
    れるべき入力ベクトルのＫ個の座標を表し、ｎは整数を
    表し、関数“ｆ”はその独立変数がゼロに近づくに従っ
    て増加する関数を表し、 出力ニューロンは、裏ニューロンの所定の活性化スレッ
    ショールドを超えてのみ活性化され、 最高活性化レベルの出力層のニューロンと活性化レベル
    が２番目に高い出力ニューロンのそれとの差が所定の値
    を超える条件の下に、 最高活性化レベルを持つ出力層のニューロンに対応する
    クラスを結果として表示する手段を具備することを特徴
    とする請求項６又は７に記載のオブジェクトを分類する
    ためのニューラルデバイス。
  9. 【請求項９】 ｎが２であることを特徴とする請求項６
    乃至８のいずれか１項に記載のオブジェクトを分類する
    ためのニューラルデバイス。
  10. 【請求項１０】 同一のクラスに属さない２つの学習サ
    ンプルに対応する２つの裏ニューロンの座標が相互に隣
    接する代表点を持つ場合には、サンプルに対応する裏ニ
    ューロンと他のサンプルのクラスに対応する出力ニュー
    ロンとの間に負のウェイトの禁止接続を有することを特
    徴とする請求項６乃至９のいずれか１項に記載のオブジ
    ェクトを分類するためのニューラルデバイス。
JP5312001A 1992-12-16 1993-12-13 ニューラルデバイス及びその構成方法 Pending JPH0773261A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9215190 1992-12-16
FR9215190 1992-12-16

Publications (1)

Publication Number Publication Date
JPH0773261A true JPH0773261A (ja) 1995-03-17

Family

ID=9436683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5312001A Pending JPH0773261A (ja) 1992-12-16 1993-12-13 ニューラルデバイス及びその構成方法

Country Status (4)

Country Link
US (2) US5649067A (ja)
EP (1) EP0602717B1 (ja)
JP (1) JPH0773261A (ja)
DE (1) DE69314293T2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19509186A1 (de) * 1995-03-14 1996-09-19 Siemens Ag Einrichtung zum Entwurf eines neuronalen Netzes sowie neuronales Netz
FR2756073B1 (fr) 1996-11-18 1999-01-15 Commissariat Energie Atomique Procede d'apprentissage generant des reseaux de neurones de petites tailles pour la classification de donnees
US6466929B1 (en) 1998-11-13 2002-10-15 University Of Delaware System for discovering implicit relationships in data and a method of using the same
US6226408B1 (en) * 1999-01-29 2001-05-01 Hnc Software, Inc. Unsupervised identification of nonlinear data cluster in multidimensional data
WO2002008953A1 (en) * 2000-07-21 2002-01-31 Smarthaven B.V. A method and apparatus for dynamically clustering complex profile information
US7080053B2 (en) * 2000-08-16 2006-07-18 Research Foundation Of State University Of New York Neural network device for evolving appropriate connections
MY138544A (en) 2003-06-26 2009-06-30 Neuramatix Sdn Bhd Neural networks with learning and expression capability
US7706574B1 (en) 2003-11-06 2010-04-27 Admitone Security, Inc. Identifying and protecting composed and transmitted messages utilizing keystroke dynamics
US7620819B2 (en) * 2004-10-04 2009-11-17 The Penn State Research Foundation System and method for classifying regions of keystroke density with a neural network
US8020005B2 (en) * 2005-12-23 2011-09-13 Scout Analytics, Inc. Method and apparatus for multi-model hybrid comparison system
US20070198712A1 (en) * 2006-02-07 2007-08-23 Biopassword, Inc. Method and apparatus for biometric security over a distributed network
US7526412B2 (en) * 2006-03-31 2009-04-28 Biopassword, Inc. Method and apparatus for multi-distant weighted scoring system
US20070233667A1 (en) * 2006-04-01 2007-10-04 Biopassword, Llc Method and apparatus for sample categorization
US20070300077A1 (en) * 2006-06-26 2007-12-27 Seshadri Mani Method and apparatus for biometric verification of secondary authentications
US8266145B2 (en) * 2007-03-16 2012-09-11 1759304 Ontario Inc. Contextual data mapping, searching and retrieval
US7814038B1 (en) 2007-12-06 2010-10-12 Dominic John Repici Feedback-tolerant method and device producing weight-adjustment factors for pre-synaptic neurons in artificial neural networks
US8332932B2 (en) * 2007-12-07 2012-12-11 Scout Analytics, Inc. Keystroke dynamics authentication techniques
CN103607603A (zh) * 2013-11-28 2014-02-26 Tcl集团股份有限公司 一种识别台标的方法及装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4975961A (en) * 1987-10-28 1990-12-04 Nec Corporation Multi-layer neural network to which dynamic programming techniques are applicable
US5093899A (en) * 1988-09-17 1992-03-03 Sony Corporation Neural network with normalized learning constant for high-speed stable learning
US4933872A (en) * 1988-11-15 1990-06-12 Eastman Kodak Company Method and system for wavefront reconstruction
US4941122A (en) * 1989-01-12 1990-07-10 Recognition Equipment Incorp. Neural network image processing system
JPH0738186B2 (ja) * 1989-03-13 1995-04-26 シャープ株式会社 自己拡張形ニユーラル・ネットワーク
FR2646575A1 (fr) * 1989-04-26 1990-11-02 Labo Electronique Physique Procede et structure pour la compression de donnees
JP2940933B2 (ja) * 1989-05-20 1999-08-25 株式会社リコー パターン認識方式
US5146541A (en) * 1989-06-19 1992-09-08 The United States Of America As Represented By The Secretary Of The Navy Signal phase pattern sensitive neural network system and method
US5361328A (en) * 1989-09-28 1994-11-01 Ezel, Inc. Data processing system using a neural network
US5259065A (en) * 1989-11-16 1993-11-02 Yozan, Inc. Data processing system
US5067164A (en) * 1989-11-30 1991-11-19 At&T Bell Laboratories Hierarchical constrained automatic learning neural network for character recognition
US5067095A (en) * 1990-01-09 1991-11-19 Motorola Inc. Spann: sequence processing artificial neural network
JPH03288285A (ja) * 1990-04-04 1991-12-18 Takayama:Kk データ処理装置の学習方法
US5245697A (en) * 1990-04-24 1993-09-14 Kabushiki Kaisha Toshiba Neural network processing apparatus for identifying an unknown image pattern as one of a plurality of instruction image patterns
EP0453939B1 (en) * 1990-04-24 1996-07-17 Yozan Inc. Learning method for data processing system
FR2661265B1 (fr) * 1990-04-24 1994-07-29 Thomson Csf Systeme neuronal de classification et procede de classification utilisant un tel systeme.
US5052043A (en) * 1990-05-07 1991-09-24 Eastman Kodak Company Neural network with back propagation controlled through an output confidence measure
KR910020571A (ko) * 1990-05-21 1991-12-20 다카도리 수나오 데이터 처리장치
JP2763182B2 (ja) * 1990-06-28 1998-06-11 株式会社東芝 ニューラル・ネットワークの学習方法
US5182794A (en) * 1990-07-12 1993-01-26 Allen-Bradley Company, Inc. Recurrent neural networks teaching system
US5155801A (en) * 1990-10-09 1992-10-13 Hughes Aircraft Company Clustered neural networks
JP3088171B2 (ja) * 1991-02-12 2000-09-18 三菱電機株式会社 自己組織型パタ−ン分類システム及び分類方法
US5239594A (en) * 1991-02-12 1993-08-24 Mitsubishi Denki Kabushiki Kaisha Self-organizing pattern classification neural network system
JPH04266153A (ja) * 1991-02-20 1992-09-22 Honda Motor Co Ltd ニューラルネットワーク
US5228113A (en) * 1991-06-17 1993-07-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Accelerated training apparatus for back propagation networks
JPH0589247A (ja) * 1991-09-26 1993-04-09 Just Syst Corp パターン空間からの特定パターンの分離方法およびその分離装置
US5276771A (en) * 1991-12-27 1994-01-04 R & D Associates Rapidly converging projective neural network
US5371809A (en) * 1992-03-30 1994-12-06 Desieno; Duane D. Neural network for improved classification of patterns which adds a best performing trial branch node to the network
US5438629A (en) * 1992-06-19 1995-08-01 United Parcel Service Of America, Inc. Method and apparatus for input classification using non-spherical neurons
US5371834A (en) * 1992-08-28 1994-12-06 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Adaptive neuron model--an architecture for the rapid learning of nonlinear topological transformations

Also Published As

Publication number Publication date
US5802507A (en) 1998-09-01
DE69314293T2 (de) 1998-04-02
EP0602717A1 (fr) 1994-06-22
US5649067A (en) 1997-07-15
EP0602717B1 (fr) 1997-10-01
DE69314293D1 (de) 1997-11-06

Similar Documents

Publication Publication Date Title
JPH0773261A (ja) ニューラルデバイス及びその構成方法
CN109902665A (zh) 相似人脸检索方法、装置及存储介质
CN109783817A (zh) 一种基于深度强化学习的文本语义相似计算模型
CN106503654A (zh) 一种基于深度稀疏自编码网络的人脸情感识别方法
AU2009202547A1 (en) Neural networks with learning and expression capability
CN109086653A (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
EP0506730B1 (en) Neural networks
Ewees et al. A bio-inspired moth-flame optimization algorithm for arabic handwritten letter recognition
Dozono et al. Convolutional self organizing map
CN111898374A (zh) 文本识别方法、装置、存储介质和电子设备
CN113221950A (zh) 基于自监督图神经网络的图聚类方法、装置及存储介质
CN113222123A (zh) 模型训练方法、装置、设备及计算机存储介质
CN110909158A (zh) 基于改进萤火虫算法和k近邻的文本分类方法
CN112667979A (zh) 密码生成方法及装置、密码识别方法及装置、电子设备
US20060112027A1 (en) Data analyzer, data analyzing method and storage medium
CN109034280A (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
CN112215278B (zh) 一种遗传算法和蜻蜓算法相结合的多维数据特征选择方法
CN107274425A (zh) 一种基于脉冲耦合神经网络的彩色图像分割方法及装置
JP2003256839A (ja) パターンの特徴選択方法及び分類方法及び判定方法及びプログラム並びに装置
CN114780863B (zh) 基于人工智能的项目推荐方法、装置、计算机设备及介质
WO2020039790A1 (ja) 情報処理装置、情報処理方法及びプログラム
Garbaruk et al. Digital image evolution of artwork without human evaluation using the example of the evolving mona lisa problem
KR102597184B1 (ko) 가지치기 기반 심층 신경망 경량화에 특화된 지식 증류 방법 및 시스템
CN114548297A (zh) 基于领域自适应的数据分类方法、装置、设备及介质
Kijsirikul et al. Decision tree pruning using backpropagation neural networks