JP3088766B2 - ハイアラーキー ニューラル ネットワークに用いる分類方法及びネットワーク - Google Patents
ハイアラーキー ニューラル ネットワークに用いる分類方法及びネットワークInfo
- Publication number
- JP3088766B2 JP3088766B2 JP03039051A JP3905191A JP3088766B2 JP 3088766 B2 JP3088766 B2 JP 3088766B2 JP 03039051 A JP03039051 A JP 03039051A JP 3905191 A JP3905191 A JP 3905191A JP 3088766 B2 JP3088766 B2 JP 3088766B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- neuron
- neurons
- classes
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Machine Translation (AREA)
Description
【０００１】
【技術分野】本発明はツリー状ニューラル ネットワー
ク内に用いる分類方法であり、学習ステップを有し、こ
のステップ中において、ニューラル ネットワークは、
数クラスに分割される標本（エクザンプル）群を分類す
るため、シナプス係数を決定するツリー状ニューラル
ネットワーク内に用いる分類方法に関するものである。
さらに本発明は、かかる方法を実施するニューラル ネ
ットワークに関するものである。
ク内に用いる分類方法であり、学習ステップを有し、こ
のステップ中において、ニューラル ネットワークは、
数クラスに分割される標本（エクザンプル）群を分類す
るため、シナプス係数を決定するツリー状ニューラル
ネットワーク内に用いる分類方法に関するものである。
さらに本発明は、かかる方法を実施するニューラル ネ
ットワークに関するものである。
【０００２】ニューラル ネットワークは、とくに文字
及びパターン認識、音声信号プロセシング、画像プロセ
シング、情報比較等において分類（classification）を
行う用途に使用される。
及びパターン認識、音声信号プロセシング、画像プロセ
シング、情報比較等において分類（classification）を
行う用途に使用される。
【０００３】ニューラル ネットワークは非直線オート
マトン（automaton ）で、一般にシナプス（synapse ）
によって相互連結されたオートマトンにより構成され、
これらシナプスにはシナプス係数が割当られている。か
かるネットワークは従来の逐次処理型コンピュータでは
処理が困難であった問題のプロセスを可能とする。
マトン（automaton ）で、一般にシナプス（synapse ）
によって相互連結されたオートマトンにより構成され、
これらシナプスにはシナプス係数が割当られている。か
かるネットワークは従来の逐次処理型コンピュータでは
処理が困難であった問題のプロセスを可能とする。
【０００４】
【従来の技術】ネットワークの最も広く普及している２
つのタイプというのは： − いわゆるホーップフィールド・ネットワーク（Hopf
ield networks ）と呼ばれる完全に結合している（full
y connected ）ネットワーク、と − 層化された（layered ）ネットワーク：すなわちニ
ューロンは順次の層にグループ化され、各ニューロンは
それに続く層のすべてのニューロンに結合するの、とで
ある。 最も一般的な構造では、情報は（受動的−passive ）入
力端子から（能動的−active）入力層へ、次いで逐次各
隠された（能動的）層へ、そして（能動的）出力層に至
るルートで供給される。最も簡略化された構造では、情
報は、（受動的）入力端子から単一の（能動的）層へと
供給される。入力情報は数個の成分を有するベクトルの
シーケンスで形成される。
つのタイプというのは： − いわゆるホーップフィールド・ネットワーク（Hopf
ield networks ）と呼ばれる完全に結合している（full
y connected ）ネットワーク、と − 層化された（layered ）ネットワーク：すなわちニ
ューロンは順次の層にグループ化され、各ニューロンは
それに続く層のすべてのニューロンに結合するの、とで
ある。 最も一般的な構造では、情報は（受動的−passive ）入
力端子から（能動的−active）入力層へ、次いで逐次各
隠された（能動的）層へ、そして（能動的）出力層に至
るルートで供給される。最も簡略化された構造では、情
報は、（受動的）入力端子から単一の（能動的）層へと
供給される。入力情報は数個の成分を有するベクトルの
シーケンスで形成される。
【０００５】これらのシステムは、標本によるか又は自
己組織（self-organizing ）による学習の能力がある。
逐次型コンピュータ（sequential computers）の計算時
間は、学習相（learning phases ）と解答相（solution
phases）とを有する操作を並列に実行することにより
相当軽減することができる。
己組織（self-organizing ）による学習の能力がある。
逐次型コンピュータ（sequential computers）の計算時
間は、学習相（learning phases ）と解答相（solution
phases）とを有する操作を並列に実行することにより
相当軽減することができる。
【０００６】所与の操作（processing）を実行するため
には、ニューラル・ネットワークは第１にそれを実行す
る学習をしなければならない。学習相と呼ばれるこの相
では、標本（example ）を用いる。多数のアルゴリズム
に対してこれらの標本の出力に得られる結果は予め既知
である。意図された課題を未だ採り上げていないニュー
ラル・ネットワークは、最初は誤った結果を出すことが
ある。そこで、得られた結果と得らるべきであった結果
との間の誤りが明らかにされ、ニューラル・ネットワー
クに選定された標本を学習することを許すために、変更
した判定基準に基づいてシナプス係数が変形される。こ
の段階は、ニューラル・ネットワークが満足な学習をす
るのに必要と考えられる一団の標本に対して何度でも繰
り返される。
には、ニューラル・ネットワークは第１にそれを実行す
る学習をしなければならない。学習相と呼ばれるこの相
では、標本（example ）を用いる。多数のアルゴリズム
に対してこれらの標本の出力に得られる結果は予め既知
である。意図された課題を未だ採り上げていないニュー
ラル・ネットワークは、最初は誤った結果を出すことが
ある。そこで、得られた結果と得らるべきであった結果
との間の誤りが明らかにされ、ニューラル・ネットワー
クに選定された標本を学習することを許すために、変更
した判定基準に基づいてシナプス係数が変形される。こ
の段階は、ニューラル・ネットワークが満足な学習をす
るのに必要と考えられる一団の標本に対して何度でも繰
り返される。
【０００７】学習アルゴリズムは２つの階級（classes
）に分割される： − 局所学習（local learning）、すなわちニューロン
ｊをニューロンｉに結合するシナプス係数 Cijの変形
が、ニューロンｉ及びニューロンｊ上に限定されている
情報にのみ依存するもの、と − 非局所学習（non-local learning）、すなわちネッ
トワーク全体に所在する情報に依存するものである。後
者の公知の例としては層化されたネットワーク内で誤り
がフィード バックされるものである。
）に分割される： − 局所学習（local learning）、すなわちニューロン
ｊをニューロンｉに結合するシナプス係数 Cijの変形
が、ニューロンｉ及びニューロンｊ上に限定されている
情報にのみ依存するもの、と − 非局所学習（non-local learning）、すなわちネッ
トワーク全体に所在する情報に依存するものである。後
者の公知の例としては層化されたネットワーク内で誤り
がフィード バックされるものである。
【０００８】種々のタイプのニューラル・ネットワーク
に関する情報は、IEEE ASSP Magazine誌 1987 年４月号
第４−22頁に所載のアール・ピー・リップマン（R. P.
LIPPMANN）による“An introduction to computing wit
h neural nets ”という論文に記載されている。これら
のニューラル・ネットワークでは、構造の組織は（層化
されているか又は完全に結合しているかに）固定されて
いる、そしてニューロン間の結合は前以て固定されてい
る。
に関する情報は、IEEE ASSP Magazine誌 1987 年４月号
第４−22頁に所載のアール・ピー・リップマン（R. P.
LIPPMANN）による“An introduction to computing wit
h neural nets ”という論文に記載されている。これら
のニューラル・ネットワークでは、構造の組織は（層化
されているか又は完全に結合しているかに）固定されて
いる、そしてニューロン間の結合は前以て固定されてい
る。
【０００９】その時実行される学習の目的は、種々のア
ーキテクチャ（構造）を実施し、次で帰納的な選択（po
steriori chice）をなすことにより、最適構造を見出す
ことである。
ーキテクチャ（構造）を実施し、次で帰納的な選択（po
steriori chice）をなすことにより、最適構造を見出す
ことである。
【００１０】学習の過程でアーキテクチャが決定できる
ようなアルゴリズムが、J.Phys.A：Math.Gen. 誌 22(19
89年）第2191−2203頁に所載の“learning in Feedforw
ardLayered Networks：the tiling algorithm”という
文献中で既に、エム．メツアード（M. MEZARD ）及びジ
ェー．ピー．ナダル（J. P. NADAL ）により提案されて
いる。
ようなアルゴリズムが、J.Phys.A：Math.Gen. 誌 22(19
89年）第2191−2203頁に所載の“learning in Feedforw
ardLayered Networks：the tiling algorithm”という
文献中で既に、エム．メツアード（M. MEZARD ）及びジ
ェー．ピー．ナダル（J. P. NADAL ）により提案されて
いる。
【００１１】この目的のために、該学習はある層中に割
当られた１番目のニューロンのシナプス係数を最適化す
ることにより初期化され、もしこのニューロンが分類の
課題を完成するのに十分でなければ、さらにもう１つの
ニューロンが当該の層に、又は同じく初期化されたその
次の層に追加される。この手法（approach）によって、
アーキテクチャの学習及び、出力を２つの階級に分離し
て、層化されたネットワークのパラメータ（多層パーセ
プトロン）の学習ができる。
当られた１番目のニューロンのシナプス係数を最適化す
ることにより初期化され、もしこのニューロンが分類の
課題を完成するのに十分でなければ、さらにもう１つの
ニューロンが当該の層に、又は同じく初期化されたその
次の層に追加される。この手法（approach）によって、
アーキテクチャの学習及び、出力を２つの階級に分離し
て、層化されたネットワークのパラメータ（多層パーセ
プトロン）の学習ができる。
【００１２】しかしこれらは何れも、理論的なニューロ
ンの数よりも遙に多数のニューロンを使用しなければな
らないので、小形化（compactness）の点で最適ではな
い。さらにこれに加えて、展開的な問題（evolutionary
problem）の場合には、入力パラメータが極く僅か変化
したようなとき、例えば分類の問題で、既に学習したク
ラスに追加のクラスを付加するようなときでも全部の学
習を再開始する必要がある。
ンの数よりも遙に多数のニューロンを使用しなければな
らないので、小形化（compactness）の点で最適ではな
い。さらにこれに加えて、展開的な問題（evolutionary
problem）の場合には、入力パラメータが極く僅か変化
したようなとき、例えば分類の問題で、既に学習したク
ラスに追加のクラスを付加するようなときでも全部の学
習を再開始する必要がある。
【００１３】さらに、1988年７月 カリフォニルア州
サン ディエゴで開催されたニューラル ネットワーク
に関するIEEE International Conference において、シ
ー・コウツオジエラス（C. KOUTSOUGERAS ）及びシー・
エー・パパクリストウ（C. A. PAPACHRISTOU）が、P-1-
247 〜1-254 に“Training of a neural network forpa
ttern classification based on an entropy measure
”として発表したツリー状ニューラルネットワークが
既知である。
サン ディエゴで開催されたニューラル ネットワーク
に関するIEEE International Conference において、シ
ー・コウツオジエラス（C. KOUTSOUGERAS ）及びシー・
エー・パパクリストウ（C. A. PAPACHRISTOU）が、P-1-
247 〜1-254 に“Training of a neural network forpa
ttern classification based on an entropy measure
”として発表したツリー状ニューラルネットワークが
既知である。
【００１４】この構造は入力データ内の２つのクラスを
識別する分類の遂行に適している。ニューロンは、入力
と２つの相補的出力と、有効化（validation）入力Ｅと
を有するセル（シナプス係数と非直線機能を有する）に
よって構成されている。設定（create）された第１のニ
ューロンが、２つのクラスの完全な分離を遂行し得ない
ときは、２つの後続ニューロンがシステム的に形成さ
れ、これらの有効化入力Ｅは、それぞれ第１ニューロン
の２つの相補出力によって制御される。ニューラル ネ
ットワークはこれらニューロンの行（row ）を順次付加
してゆくことによって構成される。実際上前述の文献は
次のことを特定している。各ユニット（ニューロン）の
各出力は、次の行の他のユニット（ニューロン）の入力
Ｅに接続される。第１ニューロン（父ニューロン）によ
って構成される第１ランク（段階）に対し、すべての息
子ニューロンによって第２ランクが形成され、さらにす
べての孫ニューロンによって第３ランクが形成され、以
下同様となってゆく。従ってｋ次の層は、２k-1 個のニ
ューロンを有する。この構成によって完全２進ツリーが
創成される。また一方このニューラル ネットワークは
２つのクラス間のみの分類を遂行する目的を有してい
る。このニューラル ネットワークは、その入力のスペ
ース（空間）において、位相数学的あるいは地勢学的
（topological ）な課題の解を求めるものである。すな
わちこのニューラル ネットワークは、１つのクラスに
属しているスペースのゾーンを他方のクラスに属してい
るゾーンより識別する。前記文献は、２つより多いクラ
スに分割できる入力データを分類する為には如何にして
動作したら良いかについては教示していない。
識別する分類の遂行に適している。ニューロンは、入力
と２つの相補的出力と、有効化（validation）入力Ｅと
を有するセル（シナプス係数と非直線機能を有する）に
よって構成されている。設定（create）された第１のニ
ューロンが、２つのクラスの完全な分離を遂行し得ない
ときは、２つの後続ニューロンがシステム的に形成さ
れ、これらの有効化入力Ｅは、それぞれ第１ニューロン
の２つの相補出力によって制御される。ニューラル ネ
ットワークはこれらニューロンの行（row ）を順次付加
してゆくことによって構成される。実際上前述の文献は
次のことを特定している。各ユニット（ニューロン）の
各出力は、次の行の他のユニット（ニューロン）の入力
Ｅに接続される。第１ニューロン（父ニューロン）によ
って構成される第１ランク（段階）に対し、すべての息
子ニューロンによって第２ランクが形成され、さらにす
べての孫ニューロンによって第３ランクが形成され、以
下同様となってゆく。従ってｋ次の層は、２k-1 個のニ
ューロンを有する。この構成によって完全２進ツリーが
創成される。また一方このニューラル ネットワークは
２つのクラス間のみの分類を遂行する目的を有してい
る。このニューラル ネットワークは、その入力のスペ
ース（空間）において、位相数学的あるいは地勢学的
（topological ）な課題の解を求めるものである。すな
わちこのニューラル ネットワークは、１つのクラスに
属しているスペースのゾーンを他方のクラスに属してい
るゾーンより識別する。前記文献は、２つより多いクラ
スに分割できる入力データを分類する為には如何にして
動作したら良いかについては教示していない。
【００１５】
【発明が解決しようとする課題】従って本発明の課題
は、多クラス分類の問題に対処でき、かつ既知の層化構
造よりもより小形のニューラル ネットワークの構造を
提供するにある。この構造（architecture）は極めて急
速に動作するを要する。さらに本構造は既知の構造より
もより柔軟（適応）性があり、発展が容易であるを要す
る。
は、多クラス分類の問題に対処でき、かつ既知の層化構
造よりもより小形のニューラル ネットワークの構造を
提供するにある。この構造（architecture）は極めて急
速に動作するを要する。さらに本構造は既知の構造より
もより柔軟（適応）性があり、発展が容易であるを要す
る。
【００１６】２クラスより多いクラスの分類を行う本発
明による分類方法は、学習が次のステップを有すること
を特徴とする。 Ａ−クラス分けすべき標本をクラスの２つのサブグルー
プに従ってクラス分けするステップ、 Ｂ−標本群より、近似の標本の２つのサブグループを識
別しこれら２つのクラスのサブグループによって分割が
可能なようにするため、ニューロンのシナプス係数を計
算するステップ、 Ｃ−サブグループが単一のクラスを含んでいるか否かを
決定するため、識別された標本の均一性をテストするス
テップ、 Ｄ−ニューロンが単一クラスを識別したとき、このニュ
ーロンのアドレスを記憶蓄積し、この単一クラスを記録
するステップ、 Ｅ−ニューロンが不均一（非斉次）のサブグループを識
別したときは、ステップＡの工程を再スタートすること
によってクラスの２つの新しいサブグループに標本を各
均一のサブグループに分割し、次で標本の各不均一サブ
グループに対し、後位ニューロンを形成し、標本の新規
なサブグループが後位ニューロンによってすべてが均一
なクラスのサブグループであると識別される迄この工程
を反復するステップ。
明による分類方法は、学習が次のステップを有すること
を特徴とする。 Ａ−クラス分けすべき標本をクラスの２つのサブグルー
プに従ってクラス分けするステップ、 Ｂ−標本群より、近似の標本の２つのサブグループを識
別しこれら２つのクラスのサブグループによって分割が
可能なようにするため、ニューロンのシナプス係数を計
算するステップ、 Ｃ−サブグループが単一のクラスを含んでいるか否かを
決定するため、識別された標本の均一性をテストするス
テップ、 Ｄ−ニューロンが単一クラスを識別したとき、このニュ
ーロンのアドレスを記憶蓄積し、この単一クラスを記録
するステップ、 Ｅ−ニューロンが不均一（非斉次）のサブグループを識
別したときは、ステップＡの工程を再スタートすること
によってクラスの２つの新しいサブグループに標本を各
均一のサブグループに分割し、次で標本の各不均一サブ
グループに対し、後位ニューロンを形成し、標本の新規
なサブグループが後位ニューロンによってすべてが均一
なクラスのサブグループであると識別される迄この工程
を反復するステップ。
【００１７】この方法（procedure ）は、ハイアラーキ
ー ニューラル ネットワークと称され、ニューロンの
相互接続並びにシナプス係数のアップデート（更新）
は、デシジョン ツリーの通路に従って行われる。ツリ
ーの形状に構成されたニューラル ネットワークにおい
て、すべてのニューロンは入力の空間（スペース）で動
作する。（形成されたすべてのニューロンは入力ベクト
ル成分のすべてを受信する。）これにより得られる構造
は極めて小形となる。学習期間は遙に短縮される。その
理由は、ネットワーク構造が、ニューロンによってプロ
セスされる所望の所定サブクラスの選択に対する最適の
構造に極めて近似しているからである。とくに第１ニュ
ーロン（父ニューロン）により形成される第１ランクに
対し、第２ランクはすべての子（son ）ニューロンを包
含せず、同様に他のランクにもこれが当てはまり、すな
わち、クラスの分離に実際に役に立たないニューロンは
形成されない。
ー ニューラル ネットワークと称され、ニューロンの
相互接続並びにシナプス係数のアップデート（更新）
は、デシジョン ツリーの通路に従って行われる。ツリ
ーの形状に構成されたニューラル ネットワークにおい
て、すべてのニューロンは入力の空間（スペース）で動
作する。（形成されたすべてのニューロンは入力ベクト
ル成分のすべてを受信する。）これにより得られる構造
は極めて小形となる。学習期間は遙に短縮される。その
理由は、ネットワーク構造が、ニューロンによってプロ
セスされる所望の所定サブクラスの選択に対する最適の
構造に極めて近似しているからである。とくに第１ニュ
ーロン（父ニューロン）により形成される第１ランクに
対し、第２ランクはすべての子（son ）ニューロンを包
含せず、同様に他のランクにもこれが当てはまり、すな
わち、クラスの分離に実際に役に立たないニューロンは
形成されない。
【００１８】実行（execution ）フェースにおいて、実
行時間も遙に短縮される。その理由は、ある所定のクラ
スに対し、当該クラスの識別に必要なニューロンのみを
使用（implement ）するからである。実際上あるニュー
ロンにより得られた結果（result）によって、動作させ
るべき後位のニューロンのアドレスを決定する。このア
ドレスは学習中に記憶される。これはジー・コウツオウ
ジエラス（G. KOUTSOUGERAS ）他の文献の処理とは異な
る点である。該文献では、ニューロンのアドレスは記憶
されない。それは方式的にいって、ランクｋに対して、
全体で２k-1 のニューロンが創成される。
行時間も遙に短縮される。その理由は、ある所定のクラ
スに対し、当該クラスの識別に必要なニューロンのみを
使用（implement ）するからである。実際上あるニュー
ロンにより得られた結果（result）によって、動作させ
るべき後位のニューロンのアドレスを決定する。このア
ドレスは学習中に記憶される。これはジー・コウツオウ
ジエラス（G. KOUTSOUGERAS ）他の文献の処理とは異な
る点である。該文献では、ニューロンのアドレスは記憶
されない。それは方式的にいって、ランクｋに対して、
全体で２k-1 のニューロンが創成される。
【００１９】学習を行うには、父ニューロンのシナプス
係数を計算し、標本のグループＭ内に、複数のクラスＰ
のサブグループを識別する。
係数を計算し、標本のグループＭ内に、複数のクラスＰ
のサブグループを識別する。
【００２０】例えば標本グループ（群）Ｍが、クラス
Ａ，Ｂ，Ｃ，Ｄをカバーしているとすると、識別は、こ
れら各クラスのうちの１つのクラス、例えばクラスＢを
隔離（isolate)するサブグループＭ＋1 を識別すること
により行われる。この場合、相補的（Complementary)サ
ブグループＭ−1 は、他のクラスＡ，Ｃ，Ｄにより構成
される。
Ａ，Ｂ，Ｃ，Ｄをカバーしているとすると、識別は、こ
れら各クラスのうちの１つのクラス、例えばクラスＢを
隔離（isolate)するサブグループＭ＋1 を識別すること
により行われる。この場合、相補的（Complementary)サ
ブグループＭ−1 は、他のクラスＡ，Ｃ，Ｄにより構成
される。
【００２１】ニューロンがクラスＡ，Ｂ，Ｃ，Ｄのおの
おのを分離する能力に、予め定めた誤差基準（error cr
iterion)を割り当て、上述の手順を行うに際し最小の誤
差基準のものを選択することも可能てある。
おのを分離する能力に、予め定めた誤差基準（error cr
iterion)を割り当て、上述の手順を行うに際し最小の誤
差基準のものを選択することも可能てある。
【００２２】ニューロンによって行われる標本の２つの
サブグループの識別は、標本の分布の重心に関して２群
への分割を行うことにより、標本の分布の主成分の分析
によるクラス分けの傾向に見合うようにしても行うこと
ができる。
サブグループの識別は、標本の分布の重心に関して２群
への分割を行うことにより、標本の分布の主成分の分析
によるクラス分けの傾向に見合うようにしても行うこと
ができる。
【００２３】ニューロンが識別すべき特殊のクラスは、
層化ネットワークによって予め行われる学習によっても
決定することができる。この状況において、層化ニュー
ラルネットワークは、そのシナプス係数に多クラス標本
の基本を割当てる。入力ポテンシャルによって動作する
第１層は、クラスのセパレータとして動作する。従っ
て、所望の分割に最も近似した識別を行うニューロンは
第１層内より選択される。この場合、ニューロンの初期
シナプス係数は、層化ニューラル ネットワークより前
記ととくていのクラスをもっとも良く近似してクラス識
別を行うニューロンのシナプス係数を選択して決定す
る。
層化ネットワークによって予め行われる学習によっても
決定することができる。この状況において、層化ニュー
ラルネットワークは、そのシナプス係数に多クラス標本
の基本を割当てる。入力ポテンシャルによって動作する
第１層は、クラスのセパレータとして動作する。従っ
て、所望の分割に最も近似した識別を行うニューロンは
第１層内より選択される。この場合、ニューロンの初期
シナプス係数は、層化ニューラル ネットワークより前
記ととくていのクラスをもっとも良く近似してクラス識
別を行うニューロンのシナプス係数を選択して決定す
る。
【００２４】所定のクラスを離隔する代りに、他の態様
の分割が望まれるときもある。例えば２グループ内の標
本の数（population) を平衡させて、セパレータによっ
て分離することである。このような場合には、層化ニュ
ーラル ネットワークのもっとも適当なセパレータ ニ
ューロンのシナプス係数を関連のツリー状ニューロンの
学習に使用する。
の分割が望まれるときもある。例えば２グループ内の標
本の数（population) を平衡させて、セパレータによっ
て分離することである。このような場合には、層化ニュ
ーラル ネットワークのもっとも適当なセパレータ ニ
ューロンのシナプス係数を関連のツリー状ニューロンの
学習に使用する。
【００２５】この場合前位の構造内の満足な結果を利用
すると有利であり、これを用いてより小形で、より急速
で、かつパワーの大なツリー状構造を構成し得る。
すると有利であり、これを用いてより小形で、より急速
で、かつパワーの大なツリー状構造を構成し得る。
【００２６】ニューロンによって、分離しようとする特
定のクラスＰをＭ＋1 のグループ内で行う分離は、標本
のクラスが直線分離不能なときは不完全にしか行い得な
い。従って特定のクラスＰと同クラスの標本は、第１ニ
ューロンによって識別した後、相補的サブ グループＭ
−1 内にも見出される。
定のクラスＰをＭ＋1 のグループ内で行う分離は、標本
のクラスが直線分離不能なときは不完全にしか行い得な
い。従って特定のクラスＰと同クラスの標本は、第１ニ
ューロンによって識別した後、相補的サブ グループＭ
−1 内にも見出される。
【００２７】次でグループＭ＋1 及び相補グループＭ−
1 に斉次テストを行い、これらが単一のクラスを包含し
ているかを決定する。これらの１つまたは他方が斉次
（均一、homogeneous)であると、このグループの識別は
完結する。これらグループの一方または他方が、不均一
であると、これらのグループ各々に対し次位ニューロン
を形成し、次位ニューロンは非斉次（inhomogeneous)
グループ内に２つの新しいグループを識別する。この目
的に対する手続では、２分割（dichotomycriterion)に
よって識別を行うこの後続ニューロンに対するシナプス
係数を計算する。この識別動作は、入力標本（ベクト
ル）に対し行い、この標本は関連非斉次グループを形成
したものである。標本の二分プロセジュア及び後続ニュ
ーロンの生成は、各順次の世代にわたって反復して行
う。
1 に斉次テストを行い、これらが単一のクラスを包含し
ているかを決定する。これらの１つまたは他方が斉次
（均一、homogeneous)であると、このグループの識別は
完結する。これらグループの一方または他方が、不均一
であると、これらのグループ各々に対し次位ニューロン
を形成し、次位ニューロンは非斉次（inhomogeneous)
グループ内に２つの新しいグループを識別する。この目
的に対する手続では、２分割（dichotomycriterion)に
よって識別を行うこの後続ニューロンに対するシナプス
係数を計算する。この識別動作は、入力標本（ベクト
ル）に対し行い、この標本は関連非斉次グループを形成
したものである。標本の二分プロセジュア及び後続ニュ
ーロンの生成は、各順次の世代にわたって反復して行
う。
【００２８】２つのサブ グループにわたる分離を行う
各ニューロンの訓練にはいくつかの変形がある。エム．
メメザード（M.MEZARO) 及びジェー・ピー・ナダル (J.
P.NADAL)によって使用されたポケットアルゴリズム（Po
cket algorithm) で、エス・ギヤラント (S.GALLANT)
が、proc, 8th conf. “Pattern Recognition ”パリ、
1986に発表したIEEE“Optimal Linear Discrimiants ”
に発表したポケットアルゴリズムを使用すると好都合で
ある。このポケット アルゴリズムは各ニューロンによ
り行われる分離の遂行に使用することができる。
各ニューロンの訓練にはいくつかの変形がある。エム．
メメザード（M.MEZARO) 及びジェー・ピー・ナダル (J.
P.NADAL)によって使用されたポケットアルゴリズム（Po
cket algorithm) で、エス・ギヤラント (S.GALLANT)
が、proc, 8th conf. “Pattern Recognition ”パリ、
1986に発表したIEEE“Optimal Linear Discrimiants ”
に発表したポケットアルゴリズムを使用すると好都合で
ある。このポケット アルゴリズムは各ニューロンによ
り行われる分離の遂行に使用することができる。
【００２９】各ニューロンに対し、「パーセプトロン
(Perceptron) 」という訓練判定基準を用いることも可
能で、これは任意の標本に対して、ニューラル ネット
ワークの出力で得られた結果と期待される結果との差異
を特徴付ける誤りに基づいてシナプス係数を再更新する
ものである。これらの訓練判定基準は、当業者にとって
既知である。
(Perceptron) 」という訓練判定基準を用いることも可
能で、これは任意の標本に対して、ニューラル ネット
ワークの出力で得られた結果と期待される結果との差異
を特徴付ける誤りに基づいてシナプス係数を再更新する
ものである。これらの訓練判定基準は、当業者にとって
既知である。
【００３０】どのニューロンの訓練でもこれを成し遂げ
るためには、そのシナプス係数の計算は、「ポケット」
アルゴリズム（“Pocket”algorithm)か、「パーセプト
ロン」型 (“Percepton ”type) の学習規則か、又はヘ
ップ型(Hebb type) の学習規則かのいずれかを実行する
ことになる。（前掲のアール・ピー・リップマン (R.P.
LIPPMANN) の文献、及びPhys.Rev.A誌、第37巻第７号
（1988年) 第2660頁所載アール・メイヤ(R.MEIR)とイー
・ドマニー (E.DOMANY)による“Integrated Learning i
n a Iayered Feed-Forward Neural Natwork ”という
文献参照)
るためには、そのシナプス係数の計算は、「ポケット」
アルゴリズム（“Pocket”algorithm)か、「パーセプト
ロン」型 (“Percepton ”type) の学習規則か、又はヘ
ップ型(Hebb type) の学習規則かのいずれかを実行する
ことになる。（前掲のアール・ピー・リップマン (R.P.
LIPPMANN) の文献、及びPhys.Rev.A誌、第37巻第７号
（1988年) 第2660頁所載アール・メイヤ(R.MEIR)とイー
・ドマニー (E.DOMANY)による“Integrated Learning i
n a Iayered Feed-Forward Neural Natwork ”という
文献参照)
【００３１】本発明はまた、この方法を実行するニュー
ラル・ネットワークにも関する。
ラル・ネットワークにも関する。
【００３２】ニューラル・ネットワークがツリー状構造
でまず初めに構築され、然る後に分類のタスクを実施す
るに用いられる。このときはツリーのブランチ（枝）が
構造のフアンクションに従って追跡され、後継ニューロ
ンのアドレスが学習（training) のコースで記憶され
る。後継ニューロンは前位ニューロンによりもたらされ
た結果によって定まる。従って各ニューロンの出力に得
られた結果の関数としてツリーを追跡しうるようなメモ
リが必要である。この目的に対し、本ニューラルネット
ワークには、任意のニューロンによって得られた結果に
もとづいて、ツリー状構造による後継ニューロンを指定
するアドレスのディレクトリー（帳簿）を記憶するメモ
リを配置する。各ニューロンによってプロセスされた標
本を選定することにより、各ニューロンは前位ニューロ
ンの結果の関数として各ニューロン毎に互に相異なり得
るので、ニューラル ネットワークは、各後継ニューロ
ンによってプロセスされるべき標本を選択する手段を具
える。
でまず初めに構築され、然る後に分類のタスクを実施す
るに用いられる。このときはツリーのブランチ（枝）が
構造のフアンクションに従って追跡され、後継ニューロ
ンのアドレスが学習（training) のコースで記憶され
る。後継ニューロンは前位ニューロンによりもたらされ
た結果によって定まる。従って各ニューロンの出力に得
られた結果の関数としてツリーを追跡しうるようなメモ
リが必要である。この目的に対し、本ニューラルネット
ワークには、任意のニューロンによって得られた結果に
もとづいて、ツリー状構造による後継ニューロンを指定
するアドレスのディレクトリー（帳簿）を記憶するメモ
リを配置する。各ニューロンによってプロセスされた標
本を選定することにより、各ニューロンは前位ニューロ
ンの結果の関数として各ニューロン毎に互に相異なり得
るので、ニューラル ネットワークは、各後継ニューロ
ンによってプロセスされるべき標本を選択する手段を具
える。
【００３３】各ニューロン ネットワークはそれ自体は
学習を行わず、分類の任務のみを行うようにすることも
可能であり、この分類の仕事自体（task proper)はこの
ネットワークが指定されたかプログラムされたものてあ
る。この目的に対し、ニューロンの番号、シナプス係
数、連続順序、及びクラスのタイプ及び数を規定(fix)
するを要する。
学習を行わず、分類の任務のみを行うようにすることも
可能であり、この分類の仕事自体（task proper)はこの
ネットワークが指定されたかプログラムされたものてあ
る。この目的に対し、ニューロンの番号、シナプス係
数、連続順序、及びクラスのタイプ及び数を規定(fix)
するを要する。
【００３４】本発明はさらにニューラル ネットワーク
に関するものである。本ニューラル ネットワークは、
分類すべきデータ ワードのベクトルを受信する入力端
子と、この入力端子にリンクしているニューロンと、ニ
ューロン間のリンク力を規定するシナプス係数とを有
し、これらニューロンはツリー状の構成に相互接続され
ており、ニューロンは２状態の結果を送出し、これらの
結果はマルチクラス データ ワードの分類を遂行する
ニューラル ネットワークでっあって、ニューロン数、
シナプス係数、ニューロンの連続順序、識別すべきクラ
ス、及び番号は、遂行すべき分類に特殊の学習方法によ
って予め規定されており、前記連続順序は、前記ニュー
ロンがもたらす状態によってアドレスされる第１記憶媒
体内に記憶され、識別すべき前記クラスは第２記憶媒体
内に記憶され、各ニューロンにより送出される結果の均
一性をホスト コンピュータによりテストし、均一（斉
次）性が満足されるときは、ホスト コンピュータは第
２記憶媒体をアドレスして、識別したクラスを送出し、
均一性が満足されないときは、ホスト コンピュータは
第１記憶媒体をアドレスし、これによって次のニューロ
ンのアドレスが与えられる如くしたことを特徴とする。
に関するものである。本ニューラル ネットワークは、
分類すべきデータ ワードのベクトルを受信する入力端
子と、この入力端子にリンクしているニューロンと、ニ
ューロン間のリンク力を規定するシナプス係数とを有
し、これらニューロンはツリー状の構成に相互接続され
ており、ニューロンは２状態の結果を送出し、これらの
結果はマルチクラス データ ワードの分類を遂行する
ニューラル ネットワークでっあって、ニューロン数、
シナプス係数、ニューロンの連続順序、識別すべきクラ
ス、及び番号は、遂行すべき分類に特殊の学習方法によ
って予め規定されており、前記連続順序は、前記ニュー
ロンがもたらす状態によってアドレスされる第１記憶媒
体内に記憶され、識別すべき前記クラスは第２記憶媒体
内に記憶され、各ニューロンにより送出される結果の均
一性をホスト コンピュータによりテストし、均一（斉
次）性が満足されるときは、ホスト コンピュータは第
２記憶媒体をアドレスして、識別したクラスを送出し、
均一性が満足されないときは、ホスト コンピュータは
第１記憶媒体をアドレスし、これによって次のニューロ
ンのアドレスが与えられる如くしたことを特徴とする。
【００３５】
【実施例】以下図面により本発明を説明する。図1Aは、
セパレータの行動のモードの入力の空間内の表現であ
る。取り扱う状態というのは、標本のグループを３つに
分割した３つのクラスＡ，Ｂ，Ｃを有するものである。
この図では、セパレータ１は、空間を次の２つの部分す
なわち ─ 標本の１番目のサブグループ（クラスＡ，Ｂ）を有
する上部、と ─ 標本の２番目のサブグループ（クラスＡ，Ｂ，Ｃ）
を有する下部とに分割している。
セパレータの行動のモードの入力の空間内の表現であ
る。取り扱う状態というのは、標本のグループを３つに
分割した３つのクラスＡ，Ｂ，Ｃを有するものである。
この図では、セパレータ１は、空間を次の２つの部分す
なわち ─ 標本の１番目のサブグループ（クラスＡ，Ｂ）を有
する上部、と ─ 標本の２番目のサブグループ（クラスＡ，Ｂ，Ｃ）
を有する下部とに分割している。
【００３６】後継のセパレータ２は、一方ではクラスＡ
を孤立させ、他方では標本のサブグループ（クラスＡ，
Ｂ）を孤立させている。
を孤立させ、他方では標本のサブグループ（クラスＡ，
Ｂ）を孤立させている。
【００３７】次にはセパレータ４が、そしてそれからセ
パレータ６が、クラスＡとクラスＢとの完全な分離を実
行するために、標本の１番目のサブグループに付加され
なければならない。
パレータ６が、クラスＡとクラスＢとの完全な分離を実
行するために、標本の１番目のサブグループに付加され
なければならない。
【００３８】同様に、標本の２番目のサブグループに対
しても、セパレータ１の行動の後に、もしシンボルＸで
表される標本（クラスＣ）を分離したいならば、例えば
セパレータ３、セパレータ５、セパレータ７、セパレー
タ９をこの順序で導入しなければならない。
しても、セパレータ１の行動の後に、もしシンボルＸで
表される標本（クラスＣ）を分離したいならば、例えば
セパレータ３、セパレータ５、セパレータ７、セパレー
タ９をこの順序で導入しなければならない。
【００３９】これらと同一の結果が図1Bにツリー形式で
表されており、ここでは同じ数字が分離を実行するニュ
ーロン（セパレータ）を表す。父ニューロンはニューロ
ン１であり、その他は後継ニューロンである。こうして
茲に表される状態では、３つのクラスの完全な分離は、
９個のニューロンを必要とする。クラスＣのシンボルＸ
を孤立させるためのツリーの横断線は図1Bでは太線で表
される。すべてのニューロンが、入力ベクトルの構成要
素を受け取る入力端子に結合している。各ニューロン
は、それに先行するニューロンの結果で定まる標本又は
データのグループ又はサブグループ上に作用する。
表されており、ここでは同じ数字が分離を実行するニュ
ーロン（セパレータ）を表す。父ニューロンはニューロ
ン１であり、その他は後継ニューロンである。こうして
茲に表される状態では、３つのクラスの完全な分離は、
９個のニューロンを必要とする。クラスＣのシンボルＸ
を孤立させるためのツリーの横断線は図1Bでは太線で表
される。すべてのニューロンが、入力ベクトルの構成要
素を受け取る入力端子に結合している。各ニューロン
は、それに先行するニューロンの結果で定まる標本又は
データのグループ又はサブグループ上に作用する。
【００４０】図２は、手順の様々なステップが出現する
ツリー状の構造に関するフローチャートを表す。この手
順は、ニューラル・ネットワークの学習訓練を実行し、
定義されたタスクにそれを適合させるために選ばれた、
標本のグループＭからの選出(ステップ200)で始まる。
この標本のグループＭは、その定義により非斉次(inhom
ogeneous) である。訓練は茲では広い意味に理解されな
ければならない、その訳は、それは必要とされるシナプ
ス係数（ニューラル・ネットワークを教示する）を決定
するだけではなく、このタスクを完成するのに必要とさ
れるニューロンの数を同時に決定するものだからであ
る。従ってそれはまたニューラル・ネットワークが持っ
ていなければならないサイズを決定する問題でもある。
ツリー状の構造に関するフローチャートを表す。この手
順は、ニューラル・ネットワークの学習訓練を実行し、
定義されたタスクにそれを適合させるために選ばれた、
標本のグループＭからの選出(ステップ200)で始まる。
この標本のグループＭは、その定義により非斉次(inhom
ogeneous) である。訓練は茲では広い意味に理解されな
ければならない、その訳は、それは必要とされるシナプ
ス係数（ニューラル・ネットワークを教示する）を決定
するだけではなく、このタスクを完成するのに必要とさ
れるニューロンの数を同時に決定するものだからであ
る。従ってそれはまたニューラル・ネットワークが持っ
ていなければならないサイズを決定する問題でもある。
【００４１】標本のグループＭはｋ個の異なるクラスか
らの標本に対して形成される。ステップ202 では最初
に、ｋ個のクラスをクラスＧ+1とクラスＧ-1の２サブグ
ループに分割し、これによってｋ個のクラスの分類問題
をクラスＧ+1とクラスＧ-1との２つのサブグループの問
題に縮小する。ステップ203 では該手順は、標本のグル
ープＭの集合に亙って作用する父ニューロンＮ1 のシナ
プス係数を決定する。これらのシナプス係数は、ニュー
ラル・ネットワークが、標本のグループＭ中で２つのサ
ブグループＭ+1とＭ-1との識別を、最初に分割したクラ
スのサブグループＧ+1とＧ-1とを最も良く包含するよう
に実行することを指向するように、決定される。シナプ
ス係数を決定することを許すこの訓練のメカニズムは、
以下に述べるポケット・アルゴリズム(Pocket algorith
m)により実行されるのを好適とする。これらの条件下で
は、該訓練は実行時間に関してもこの訓練を行うために
所要のハードウェアに関しても最適であることが判明す
る。ニューラル・ネットワークからの出力は、正確に割
当てられたか或いは各クラスを意図したサブグループに
その他のやり方で割当てられたかが分析される。考え方
を固定するために、例えばいくつかのクラスＡ，Ｂ，
Ｃ，Ｄを有する標本のグループの中で、クラスＣ（Ｇ+1
＝Ｃ）を孤立させることを探究することもできる。そう
するとクラスのサブグループＧ-1は標本のグループＭか
らクラスのサブグループＧ+1を取り去ることにより形成
される。こうして父ニューロンの学習はＭ+1をＧ+1に符
合させ、またＭ-1をＧ-1に符合させるようになるであろ
う。
らの標本に対して形成される。ステップ202 では最初
に、ｋ個のクラスをクラスＧ+1とクラスＧ-1の２サブグ
ループに分割し、これによってｋ個のクラスの分類問題
をクラスＧ+1とクラスＧ-1との２つのサブグループの問
題に縮小する。ステップ203 では該手順は、標本のグル
ープＭの集合に亙って作用する父ニューロンＮ1 のシナ
プス係数を決定する。これらのシナプス係数は、ニュー
ラル・ネットワークが、標本のグループＭ中で２つのサ
ブグループＭ+1とＭ-1との識別を、最初に分割したクラ
スのサブグループＧ+1とＧ-1とを最も良く包含するよう
に実行することを指向するように、決定される。シナプ
ス係数を決定することを許すこの訓練のメカニズムは、
以下に述べるポケット・アルゴリズム(Pocket algorith
m)により実行されるのを好適とする。これらの条件下で
は、該訓練は実行時間に関してもこの訓練を行うために
所要のハードウェアに関しても最適であることが判明す
る。ニューラル・ネットワークからの出力は、正確に割
当てられたか或いは各クラスを意図したサブグループに
その他のやり方で割当てられたかが分析される。考え方
を固定するために、例えばいくつかのクラスＡ，Ｂ，
Ｃ，Ｄを有する標本のグループの中で、クラスＣ（Ｇ+1
＝Ｃ）を孤立させることを探究することもできる。そう
するとクラスのサブグループＧ-1は標本のグループＭか
らクラスのサブグループＧ+1を取り去ることにより形成
される。こうして父ニューロンの学習はＭ+1をＧ+1に符
合させ、またＭ-1をＧ-1に符合させるようになるであろ
う。
【００４２】先験的に線形に分離されないクラスＡ，
Ｂ，Ｃ，Ｄでは、こうして分離されたサブグループＭ-1
それ自体がクラスＣの構成要素をも有するかも知れな
い。後述するように、他の更に複雑な分割が父ニューロ
ンの行動の対象になり得る。
Ｂ，Ｃ，Ｄでは、こうして分離されたサブグループＭ-1
それ自体がクラスＣの構成要素をも有するかも知れな
い。後述するように、他の更に複雑な分割が父ニューロ
ンの行動の対象になり得る。
【００４３】標本のサブグループＭ+1とＭ-1とを生成す
る標本がその次に別々に処理される。ステップ220 及び
ステップ210 で、Ｍ+1及びＭ-1の斉次性が検査される。
る標本がその次に別々に処理される。ステップ220 及び
ステップ210 で、Ｍ+1及びＭ-1の斉次性が検査される。
【００４４】実際には、父ニューロンは前以て定義され
たクラスのサブグループを識別するというタスクを持
つ。もし標本のグループＭ+1（またはＭ-1）が斉次なら
ば、すなわち同一のクラスの標本のみを含むならば、こ
れらの標本はステップ222(またはステップ212)で識別さ
れる（階級Ｋ0,Ｋ1)。
たクラスのサブグループを識別するというタスクを持
つ。もし標本のグループＭ+1（またはＭ-1）が斉次なら
ば、すなわち同一のクラスの標本のみを含むならば、こ
れらの標本はステップ222(またはステップ212)で識別さ
れる（階級Ｋ0,Ｋ1)。
【００４５】もし標本のサブグループＭ+1（またはＭ
-1）が非斉次ならば、換言すれば異なるクラスの標本を
含むならば、この非斉次の標本のグループの区別を、ス
テップ224(またはステップ214)で続けることが必要であ
る。
-1）が非斉次ならば、換言すれば異なるクラスの標本を
含むならば、この非斉次の標本のグループの区別を、ス
テップ224(またはステップ214)で続けることが必要であ
る。
【００４６】この目的のために、標本のサブグループＭ
+1を２つのクラスのサブグループに分割することが、ス
テップ202 で述べたのと同じ分割メカニズムに従って、
標本のサブグループＭ+1中の残りのクラスの数について
行うことにより実行される。次いで、後継ニューロンＮ
2(又はＮ3)が付加され、類似の二分法メカニズムが実行
される。後継ニューロン、例えばＮ2 の出力ではこうし
て標本のサブグループＭ+2及びＭ-2が得られ、これらは
その斉次性について自身で検査されて (ステップ240,ス
テップ260)、それによりそれらが標本のクラス (クラス
Ｋ2,クラスＫ4)を孤立させるか否かを決定する (ステッ
プ242,ステップ262)。全く同一の過程が後継ニューロン
Ｎ3 の出力で行われる (ステップ250,ステップ230,ステ
ップ252,ステップ232)。本発明によるこの手順は、グル
ープＭのすべての標本がこうして処理され、各孤立した
標本のサブグループが同じクラスに属する標本のみを含
むようになったときに完成する。従って、ニューロンの
数及びそれらのシナプス係数はこの手順自体によって決
定され、この標本のグループに対する学習訓練動作は完
了する。然る後に、ニューラル・ネットワークは分類タ
スクを実行するために利用できる。
+1を２つのクラスのサブグループに分割することが、ス
テップ202 で述べたのと同じ分割メカニズムに従って、
標本のサブグループＭ+1中の残りのクラスの数について
行うことにより実行される。次いで、後継ニューロンＮ
2(又はＮ3)が付加され、類似の二分法メカニズムが実行
される。後継ニューロン、例えばＮ2 の出力ではこうし
て標本のサブグループＭ+2及びＭ-2が得られ、これらは
その斉次性について自身で検査されて (ステップ240,ス
テップ260)、それによりそれらが標本のクラス (クラス
Ｋ2,クラスＫ4)を孤立させるか否かを決定する (ステッ
プ242,ステップ262)。全く同一の過程が後継ニューロン
Ｎ3 の出力で行われる (ステップ250,ステップ230,ステ
ップ252,ステップ232)。本発明によるこの手順は、グル
ープＭのすべての標本がこうして処理され、各孤立した
標本のサブグループが同じクラスに属する標本のみを含
むようになったときに完成する。従って、ニューロンの
数及びそれらのシナプス係数はこの手順自体によって決
定され、この標本のグループに対する学習訓練動作は完
了する。然る後に、ニューラル・ネットワークは分類タ
スクを実行するために利用できる。
【００４７】図３は本発明による手順で実行される分離
ステップのもう１つの表現である。標本の非斉次のグル
ープＭ上では、父ニューロンＮ1(太線で表す) は、標本
のサブグループＭ+1とＭ-1とによる識別を実行する。こ
の表現では、標本のサブグループＭ1+は斉次で単一のク
ラスを含むと仮定する。さらにまた、標本のサブグルー
プＭ1-は非斉次とすることも仮定する。後継ニューロン
Ｎ3(太線で表す) は、Ｍ-1を２つの標本のサブグループ
Ｍ+3とＭ-3とに分離する。サブグループＭ-3は斉次であ
り、サブグループＭ+3は非斉次である。後者は後継ニュ
ーロンＮ5(太線で表す) で標本のサブグループＭ+5とＭ
-5とに分離され、それらは茲に表されている状態では斉
次である。分類の手順はこれで終わり、ツリー状のニュ
ーラル・ネットワークは他のデータのグループに分類を
実行するのに使うことができる。図３ではその縦の列Ｉ
は、関係の後継ニューロンにより実行された識別がそこ
で行われた標本のグループＭか又は標本のサブグループ
Ｍ-1，Ｍ+3を示す、すなわち換言すれば先行のサブグル
ープ又はグループにより識別された斉次のサブグループ
又はグループが取り出された後の標本のグループＭか又
は標本のサブグループＭ-1，Ｍ+3を示すのである。
ステップのもう１つの表現である。標本の非斉次のグル
ープＭ上では、父ニューロンＮ1(太線で表す) は、標本
のサブグループＭ+1とＭ-1とによる識別を実行する。こ
の表現では、標本のサブグループＭ1+は斉次で単一のク
ラスを含むと仮定する。さらにまた、標本のサブグルー
プＭ1-は非斉次とすることも仮定する。後継ニューロン
Ｎ3(太線で表す) は、Ｍ-1を２つの標本のサブグループ
Ｍ+3とＭ-3とに分離する。サブグループＭ-3は斉次であ
り、サブグループＭ+3は非斉次である。後者は後継ニュ
ーロンＮ5(太線で表す) で標本のサブグループＭ+5とＭ
-5とに分離され、それらは茲に表されている状態では斉
次である。分類の手順はこれで終わり、ツリー状のニュ
ーラル・ネットワークは他のデータのグループに分類を
実行するのに使うことができる。図３ではその縦の列Ｉ
は、関係の後継ニューロンにより実行された識別がそこ
で行われた標本のグループＭか又は標本のサブグループ
Ｍ-1，Ｍ+3を示す、すなわち換言すれば先行のサブグル
ープ又はグループにより識別された斉次のサブグループ
又はグループが取り出された後の標本のグループＭか又
は標本のサブグループＭ-1，Ｍ+3を示すのである。
【００４８】標本から、父ニューロンは予め定められた
分割に近い２つの標本のサブグループに区分することを
指向するのである。
分割に近い２つの標本のサブグループに区分することを
指向するのである。
【００４９】２つの標本のサブグループにクラスを分割
する１番目の例示は既に記述したが、これはある特定の
クラスを他のクラスから孤立させてそれら自身の間で標
本のクラスの集合を形成するものである。
する１番目の例示は既に記述したが、これはある特定の
クラスを他のクラスから孤立させてそれら自身の間で標
本のクラスの集合を形成するものである。
【００５０】図4Aは、クラスＣ1,クラスＣ2,クラスＣ3
から形成される標本40のグループＭを表す。クラスＣ1
の境界は曲線30で形成される。ニューロンのシナプス係
数の計算はクラスＣ1 を最良に孤立させることであり、
茲で形成されたセパレータは直線31とされる。
から形成される標本40のグループＭを表す。クラスＣ1
の境界は曲線30で形成される。ニューロンのシナプス係
数の計算はクラスＣ1 を最良に孤立させることであり、
茲で形成されたセパレータは直線31とされる。
【００５１】分割の２番目の例示は、標本のクラスの各
々に対して誤り判定基準を前以て計算することである。
次いで、最良の分割を評価する誤り判定基準が定義され
る。この最良の分割によりこうして孤立させられた特定
のクラスは、そのシナプス係数を決定するように各ニュ
ーロンの学習を実行すべく選定されたものである。
々に対して誤り判定基準を前以て計算することである。
次いで、最良の分割を評価する誤り判定基準が定義され
る。この最良の分割によりこうして孤立させられた特定
のクラスは、そのシナプス係数を決定するように各ニュ
ーロンの学習を実行すべく選定されたものである。
【００５２】分割の１番目及び２番目の例示は、大きな
サイズ（多数のニューロン）と大きな深さ（多数の更新
すべきニューロン）を持つツリーを導く可能性があり、
これはハンディキャップとなり得る。この理由によっ
て、それらにとって他の型の分割が好適となり得る。
サイズ（多数のニューロン）と大きな深さ（多数の更新
すべきニューロン）を持つツリーを導く可能性があり、
これはハンディキャップとなり得る。この理由によっ
て、それらにとって他の型の分割が好適となり得る。
【００５３】ニューロンが指向しなければならない３番
目の分割の例示は、標本の分布の主要構成要素分析(a p
rincipal componentsanalysis) を用いることである。
該主要構成要素分析というのは統計的な方法で、それは
Ｎ個のベクトル外１
目の分割の例示は、標本の分布の主要構成要素分析(a p
rincipal componentsanalysis) を用いることである。
該主要構成要素分析というのは統計的な方法で、それは
Ｎ個のベクトル外１
【外１】 （ｄ次元空間の点）のグループが、ｄ個の主要方向とｄ
個の対応する分散σ2 を持つ平均ベクトル数１
個の対応する分散σ2 を持つ平均ベクトル数１
【数１】 を援用して書き表すことを許すものである。この方法の
詳細は、1982年 Dunod社発行のE.DIDAY, J.LEMAIRE, J.
POUGET, E.TESTU による"Elements d'Analyse deDonnee
s" という文献の第 167頁に記載されている。
詳細は、1982年 Dunod社発行のE.DIDAY, J.LEMAIRE, J.
POUGET, E.TESTU による"Elements d'Analyse deDonnee
s" という文献の第 167頁に記載されている。
【００５４】図4Bの単純な場合では、標準偏差比σ1/σ
2 がほぼ３に等しい２次元空間の分布40が示されてい
る。この分布に対しては、平均外２
2 がほぼ３に等しい２次元空間の分布40が示されてい
る。この分布に対しては、平均外２
【外２】 及び固有の方向Ｄ1,Ｄ2 に沿った主要構成要素外３
【外３】 が定義されている。もし主要構成要素が減少する分散に
よって分類されるならば、第１の固有の方向は外４
よって分類されるならば、第１の固有の方向は外４
【外４】 のノルムが標本μで最も変動する方向を示す。クラスＣ
1,Ｃ2,… ,Ｃk に割り当てられた標本の集合外５
1,Ｃ2,… ,Ｃk に割り当てられた標本の集合外５
【外５】 があり、それに対してｋ個のクラスの分類を進めるため
に線形セパレータ（ニューロン）を適用することが望ま
しい時には、次のようにしてｋ個のクラスを２つの別々
のグループＧ+/Ｇ- に分離することが好適である： i) 一組の標本外６
に線形セパレータ（ニューロン）を適用することが望ま
しい時には、次のようにしてｋ個のクラスを２つの別々
のグループＧ+/Ｇ- に分離することが好適である： i) 一組の標本外６
【外６】 の平均外７
【外７】 及び最初の主要構成要素外８
【外８】 が、例えば共分散行列を計算し対角化し、続いて最大分
散を選択することによる完全な主要構成要素分析を実行
することによって計算される、 ii) Σを、クラスがＣの標本の総和とし、ＮC をクラ
スＣ中の標本の数とするとき、各クラスＣに対応する重
心が次式数２
散を選択することによる完全な主要構成要素分析を実行
することによって計算される、 ii) Σを、クラスがＣの標本の総和とし、ＮC をクラ
スＣ中の標本の数とするとき、各クラスＣに対応する重
心が次式数２
【数２】 によって計算される、 iii) その重心が次の関係数３
【数３】 を満足するクラスをＧ+ とし、その他のクラスをＧ- と
することによってグループ化が実行される。
することによってグループ化が実行される。
【００５５】主要構成要素分析の方法が、３つのクラス
を持つ２次元の分布に対して、図4Cに示される。分布40
は３つのクラスＣ1,Ｃ2,Ｃ3 を持ち、これらの各クラス
のそれぞれに対し平均値を＜ｙ＞1,＜ｙ＞2,＜ｙ＞3 、
重心をＨ1,Ｈ2,Ｈ3 とする。上記 i) に従っての平均の
計算及び最初の主要ベクトルの計算によって、＜ｙ＞及
び外９
を持つ２次元の分布に対して、図4Cに示される。分布40
は３つのクラスＣ1,Ｃ2,Ｃ3 を持ち、これらの各クラス
のそれぞれに対し平均値を＜ｙ＞1,＜ｙ＞2,＜ｙ＞3 、
重心をＨ1,Ｈ2,Ｈ3 とする。上記 i) に従っての平均の
計算及び最初の主要ベクトルの計算によって、＜ｙ＞及
び外９
【外９】 が決定される。上記ii) に従っての各クラスに付随する
重心の計算によってＨ1,Ｈ2,Ｈ3 が決定される。上記 i
ii) に従ってのクラスのグループ化は、セパレータ41を
援用して、３つのクラスを２つのクラスのサブグループ
上に分布させることを可能にする。
重心の計算によってＨ1,Ｈ2,Ｈ3 が決定される。上記 i
ii) に従ってのクラスのグループ化は、セパレータ41を
援用して、３つのクラスを２つのクラスのサブグループ
上に分布させることを可能にする。
【００５６】この場合、２つのクラスのサブグループへ
の標本の分割は、該標本の分布の重心を通り主方向に垂
直な軸に関する分割を実行するもので、該重心及び該主
方向は主要構成要素分析中に決定される。他の選択（例
えばクラスの選択）に関するこの方法の本質的利点は、
線形セパレータが更によくバランスするであろうこと、
すなわちそれは標本を、母集団がより僅かにしか異なら
ない２つの部分集合に分離するであろうことである。
の標本の分割は、該標本の分布の重心を通り主方向に垂
直な軸に関する分割を実行するもので、該重心及び該主
方向は主要構成要素分析中に決定される。他の選択（例
えばクラスの選択）に関するこの方法の本質的利点は、
線形セパレータが更によくバランスするであろうこと、
すなわちそれは標本を、母集団がより僅かにしか異なら
ない２つの部分集合に分離するであろうことである。
【００５７】分割の４番目の例示は、層化されたニュー
ラル・ネットワーク上の既知の結果を使うものである。
実際に、同一又は類似のタスクに適合するように既に訓
練を経たこのようなニューラル・ネットワークは、すで
に決定されたシナプス係数を保有している。そのような
層化されたニューラル・ネットワークの入力層は、セパ
レータ機能をも行うニューロンを有している。従って、
処理されるべき標本のグループＭでは、所望の分割に最
も近い２つのサブグループへの分割をこの入力層の中で
行うことが可能である。
ラル・ネットワーク上の既知の結果を使うものである。
実際に、同一又は類似のタスクに適合するように既に訓
練を経たこのようなニューラル・ネットワークは、すで
に決定されたシナプス係数を保有している。そのような
層化されたニューラル・ネットワークの入力層は、セパ
レータ機能をも行うニューロンを有している。従って、
処理されるべき標本のグループＭでは、所望の分割に最
も近い２つのサブグループへの分割をこの入力層の中で
行うことが可能である。
【００５８】ニューロンにより実行される分割の以上４
つの例示は、これだけに限定されるものではなく、本発
明による他の選択も用いることが出来る。
つの例示は、これだけに限定されるものではなく、本発
明による他の選択も用いることが出来る。
【００５９】所望のクラスのサブグループへの最善の近
似となるようにニューロンがそのシナプス係数を決定す
るために実行する学習は、J.Phys.A:Math. Gen.誌 22(1
989年) 第2191−2203頁に所載の"Learning in Feedforw
ard Layered networks:thetiling algorithm" という文
献中で M.MEZARD 及びJ.P.NADAL により用いられ、Pari
s(1986年) の 8th Conf. on Pattern Recognition にお
けるIEEE proc.に所載のS.GALANTによる"Optimal Linea
r Discriminants"という文献に記載されているポケット
・アルゴリズムにより実行されるのを好適とする。
似となるようにニューロンがそのシナプス係数を決定す
るために実行する学習は、J.Phys.A:Math. Gen.誌 22(1
989年) 第2191−2203頁に所載の"Learning in Feedforw
ard Layered networks:thetiling algorithm" という文
献中で M.MEZARD 及びJ.P.NADAL により用いられ、Pari
s(1986年) の 8th Conf. on Pattern Recognition にお
けるIEEE proc.に所載のS.GALANTによる"Optimal Linea
r Discriminants"という文献に記載されているポケット
・アルゴリズムにより実行されるのを好適とする。
【００６０】この目的で、無作為に選ばれた各標本に対
して、ニューロンの出力のポテンシャルが計算される。
もしこのポテンシャルが安定性判定基準(S≧0)を満足さ
せるならば、また別の標本が選ばれる。もしこのポテン
シャルが安定性判定基準を満足させない(S＜0)ならば、
新しいシナプス係数が計算され、その新しいシナプス係
数はそれらが最小の誤り判定基準を満足させる時に限り
以前のシナプス係数を更新するために用いられる。すべ
ての標本がこうして当該のニューロンのシナプス係数を
決定するのに用いられ、「ポケット」アルゴリズムは非
斉次のクラスの二分法を行わせるために最適のシナプス
係数に向かって収束する。
して、ニューロンの出力のポテンシャルが計算される。
もしこのポテンシャルが安定性判定基準(S≧0)を満足さ
せるならば、また別の標本が選ばれる。もしこのポテン
シャルが安定性判定基準を満足させない(S＜0)ならば、
新しいシナプス係数が計算され、その新しいシナプス係
数はそれらが最小の誤り判定基準を満足させる時に限り
以前のシナプス係数を更新するために用いられる。すべ
ての標本がこうして当該のニューロンのシナプス係数を
決定するのに用いられ、「ポケット」アルゴリズムは非
斉次のクラスの二分法を行わせるために最適のシナプス
係数に向かって収束する。
【００６１】このアルゴリズム(tiling)は、現在の層の
ユニットにより表される符号(+/-；1/0)が信頼できるよ
う(reliable)になるまで、すなわち換言すれば、２つの
異なるクラスの標本が当面問題の層の集合に亙って同一
の符号を持たなくなるまで、ニューロンを付加すること
によって多層ニューラル・ネットワークを構築するため
に設計されたものである。各層は、単一のニューロンを
持つ層が得られるに至るまで、先行の層の標本からこう
して構築される。
ユニットにより表される符号(+/-；1/0)が信頼できるよ
う(reliable)になるまで、すなわち換言すれば、２つの
異なるクラスの標本が当面問題の層の集合に亙って同一
の符号を持たなくなるまで、ニューロンを付加すること
によって多層ニューラル・ネットワークを構築するため
に設計されたものである。各層は、単一のニューロンを
持つ層が得られるに至るまで、先行の層の標本からこう
して構築される。
【００６２】図５はポケット・アルゴリズムのフローチ
ャートを示し、これは標本のグループを２つのグループ
に分離することを実行するものである。
ャートを示し、これは標本のグループを２つのグループ
に分離することを実行するものである。
【００６３】所与のニューロンに対してそのシナプス係
数Ｃijは０に初期化される、また最大誤り判定基準ＣＲ
m は非常に大きい値で初期化される (ステップ400)。１
つの標本ＥＸが無作為に採られ (ステップ402)、それに
対して安定値Ｓが ｉを目下分析の対象とされているるニューロンの指標と
し、ｊをそれに接続されるニューロン又は入力の指標と
し、外１０
数Ｃijは０に初期化される、また最大誤り判定基準ＣＲ
m は非常に大きい値で初期化される (ステップ400)。１
つの標本ＥＸが無作為に採られ (ステップ402)、それに
対して安定値Ｓが ｉを目下分析の対象とされているるニューロンの指標と
し、ｊをそれに接続されるニューロン又は入力の指標と
し、外１０
【外１０】 をニューロンｉの入力に存在するμ標本のｊ番目の構成
要素とする時数４
要素とする時数４
【数４】 によって決定される (ステップ404)。
【００６４】この安定値Ｓが検査される (ステップ40
6)。もしそれが正ならば安定性は十分で、また別の標本
が選ばれる。
6)。もしそれが正ならば安定性は十分で、また別の標本
が選ばれる。
【００６５】もしこの安定値Ｓが負又は０ならば、シナ
プス係数Ｃ' ijは次の式 Ｃ' ij（新）＝Ｃ' ij（旧）＋ｙj により決定される (ステップ408)。
プス係数Ｃ' ijは次の式 Ｃ' ij（新）＝Ｃ' ij（旧）＋ｙj により決定される (ステップ408)。
【００６６】こうして決定された各新シナプス係数Ｃ'
ijは、例えば安定性が間違った符号を持つ標本の数を算
定するところの誤り判定基準ＣＲを満足させなければな
らない (ステップ410)。もしこの判定基準ＣＲが判定基
準の最大値ＣＲm よりも小さければ (ステップ412)、決
定されたシナプス係数Ｃ' ijは、以前に記憶されていた
シナプス係数Ｃijを更新するのに使われる (ステップ41
4)。
ijは、例えば安定性が間違った符号を持つ標本の数を算
定するところの誤り判定基準ＣＲを満足させなければな
らない (ステップ410)。もしこの判定基準ＣＲが判定基
準の最大値ＣＲm よりも小さければ (ステップ412)、決
定されたシナプス係数Ｃ' ijは、以前に記憶されていた
シナプス係数Ｃijを更新するのに使われる (ステップ41
4)。
【００６７】同様に、最大値ＣＲm も更新される。こう
してすべての標本が計算のため及び恐らくはその次にこ
のニューロンｉのシナプス係数の更新のために逐次使わ
れる。この学習の最後に、このニューロンｉによって行
われた分離が、所与のグループの標本に対して得られた
結果 (２つのクラスのグループ:+/-；1/0)を算定するこ
とにより、検査される。もし該分離が斉次なクラスのグ
ループを供給しないならば、また別のニューロンが層に
付加され、ポケット・アルゴリズムが再び同じやり方で
実行される。
してすべての標本が計算のため及び恐らくはその次にこ
のニューロンｉのシナプス係数の更新のために逐次使わ
れる。この学習の最後に、このニューロンｉによって行
われた分離が、所与のグループの標本に対して得られた
結果 (２つのクラスのグループ:+/-；1/0)を算定するこ
とにより、検査される。もし該分離が斉次なクラスのグ
ループを供給しないならば、また別のニューロンが層に
付加され、ポケット・アルゴリズムが再び同じやり方で
実行される。
【００６８】このアルゴリズムはニューロンの出力で得
られたクラスのグループの２つのタイプ +/- (又は1/0)
しか区別することができない。それ故、それはもっと多
くの数のクラスＡ，Ｂ，Ｃ，Ｄ等に分割する学習中の標
本に対して、直接作用することはできない。
られたクラスのグループの２つのタイプ +/- (又は1/0)
しか区別することができない。それ故、それはもっと多
くの数のクラスＡ，Ｂ，Ｃ，Ｄ等に分割する学習中の標
本に対して、直接作用することはできない。
【００６９】本発明はまた、図６に図式的に示したツリ
ー状に組織されたニューラル・ネットワークにも関す
る。該ネットワークは計算ユニット500 を有し、これは
出力状態Ｖi を入力ポテンシャルＶj から、Ｃijはニュ
ーロンｉを入力ｊ（又はニューロンｊ）に接続するシナ
プス係数であるとすると、次式 Ｖi ＝ΣＣij・Ｖj によって算定する。
ー状に組織されたニューラル・ネットワークにも関す
る。該ネットワークは計算ユニット500 を有し、これは
出力状態Ｖi を入力ポテンシャルＶj から、Ｃijはニュ
ーロンｉを入力ｊ（又はニューロンｊ）に接続するシナ
プス係数であるとすると、次式 Ｖi ＝ΣＣij・Ｖj によって算定する。
【００７０】この計算ユニット500 は、当業者にとって
既知のメカニズムによって動作し、それは例えば上掲の
R.P.LIPPMANNの文献に記載されている。
既知のメカニズムによって動作し、それは例えば上掲の
R.P.LIPPMANNの文献に記載されている。
【００７１】任意のニューロンの学習中に、その後継ニ
ューロンはこの任意のニューロンのもたらす結果によっ
て異なるであろう。従って、ニューラル・ネットワーク
を使用するためには、該任意のニューロンのもたらす結
果による後継ニューロンを確定することが必要である。
この目的のために、アドレス・メモリ504 が上記結果に
対応するアドレスを受け取り、逆に後継ニューロンのア
ドレスを送り出す。
ューロンはこの任意のニューロンのもたらす結果によっ
て異なるであろう。従って、ニューラル・ネットワーク
を使用するためには、該任意のニューロンのもたらす結
果による後継ニューロンを確定することが必要である。
この目的のために、アドレス・メモリ504 が上記結果に
対応するアドレスを受け取り、逆に後継ニューロンのア
ドレスを送り出す。
【００７２】以前に定義したようにしてニューロンが創
造される学習の過程で、後継ニューロンの継起の順序は
このようにして決定され、メモリ504 に搭載される。こ
うしてニューラル・ネットワークはアドレスの一覧表を
記憶するメモリを具備することになり、この一覧表には
任意のニューロン上で得られた結果によるツリー状の組
織をもつ後続ニューロンに関する情報が含まれる。ツリ
ーのすべての分枝へアドレスすることはこうして僅かの
ハードウェアだけで速やかに実行される。クラス・メモ
リ506 はニューロンのツリーによって分離されたクラス
を記憶する。
造される学習の過程で、後継ニューロンの継起の順序は
このようにして決定され、メモリ504 に搭載される。こ
うしてニューラル・ネットワークはアドレスの一覧表を
記憶するメモリを具備することになり、この一覧表には
任意のニューロン上で得られた結果によるツリー状の組
織をもつ後続ニューロンに関する情報が含まれる。ツリ
ーのすべての分枝へアドレスすることはこうして僅かの
ハードウェアだけで速やかに実行される。クラス・メモ
リ506 はニューロンのツリーによって分離されたクラス
を記憶する。
【００７３】ツリー状のニューラル・ネットワークを利
用するステップ中に、メモリはニューロンの与える結果
によってアドレスされ、その返しとしてＮ個の後継ニュ
ーロンのアドレスを供給する。この交換はホスト・コン
ピュータ502を通して実行され、このホスト・コンピュ
ータは、種々のユニットのそれら自身の間の交換の集
合、特に各ニューロンが受け取らなければならない各グ
ループ又はサブグループの交換を管理する。
用するステップ中に、メモリはニューロンの与える結果
によってアドレスされ、その返しとしてＮ個の後継ニュ
ーロンのアドレスを供給する。この交換はホスト・コン
ピュータ502を通して実行され、このホスト・コンピュ
ータは、種々のユニットのそれら自身の間の交換の集
合、特に各ニューロンが受け取らなければならない各グ
ループ又はサブグループの交換を管理する。
【００７４】ツリーの分枝の終端に到達すると、クラス
・メモリ(506) から対応するクラスが読み出される。こ
のことは斉次の標本のクラスの決定が速やかに実行され
ることを好適に許容する。標本は標本メモリ508 に記憶
される。標本を割り付けるためのメモリ510 が、ある特
定のニューロンにより処理されなければならない標本の
サブグループの選択を許容する。ニューラル・ネットワ
ークは、学習方法がツリーを構成するニューロンをそれ
によって決定するところのある一定数のニューロンを備
えていることが可能である。しかしながら学習方法は、
ニューロンの数、そのシナプス係数、ニューロンの継起
の順序、識別すべきクラス及びその数を決定するために
別々のハードウェア内で実施されることもまた可能であ
る。そのとき、これらのパラメータはすべて、習得した
分類のタスクに役立たせるニューラル・ネットワークを
構築するのに用いられる。その場合には、このニューラ
ル・ネットワークは、学習のオプションを保有せず、専
ら分類用のニューラル・ネットワーク（習得した方法の
繰り返し）でしかない。この種のツリー状のネットワー
クが別の訓練方法で更に多く決定されるかもしれない。
・メモリ(506) から対応するクラスが読み出される。こ
のことは斉次の標本のクラスの決定が速やかに実行され
ることを好適に許容する。標本は標本メモリ508 に記憶
される。標本を割り付けるためのメモリ510 が、ある特
定のニューロンにより処理されなければならない標本の
サブグループの選択を許容する。ニューラル・ネットワ
ークは、学習方法がツリーを構成するニューロンをそれ
によって決定するところのある一定数のニューロンを備
えていることが可能である。しかしながら学習方法は、
ニューロンの数、そのシナプス係数、ニューロンの継起
の順序、識別すべきクラス及びその数を決定するために
別々のハードウェア内で実施されることもまた可能であ
る。そのとき、これらのパラメータはすべて、習得した
分類のタスクに役立たせるニューラル・ネットワークを
構築するのに用いられる。その場合には、このニューラ
ル・ネットワークは、学習のオプションを保有せず、専
ら分類用のニューラル・ネットワーク（習得した方法の
繰り返し）でしかない。この種のツリー状のネットワー
クが別の訓練方法で更に多く決定されるかもしれない。
【図１】図1A及び図1Bは、３つのクラスＡ，Ｂ，Ｃの標
本をベースとするときの入力空間におけるセパレータの
行動モードの説明図、並びに対応のツリー構造を示す図
である。
本をベースとするときの入力空間におけるセパレータの
行動モードの説明図、並びに対応のツリー構造を示す図
である。
【図２】図２は、クラスの識別のメカニズム及び関連の
標本のサブグループの識別のメカニズムを示すニューラ
ル・ツリーのフローチャートを示す図である。
標本のサブグループの識別のメカニズムを示すニューラ
ル・ツリーのフローチャートを示す図である。
【図３】図３は、標本の分離を示す図である。
【図４】図4A及び4Cは、クラスの分離における２つの標
本を示す図であり、図4Bは、分布の主成分を示す図であ
る。
本を示す図であり、図4Bは、分布の主成分を示す図であ
る。
【図５】図５は、２つのクラスのグループ間の分離の遂
行を可能とするポケット・アルゴリズムで構成されたア
ルゴリズムの一例を示す図である。
行を可能とするポケット・アルゴリズムで構成されたア
ルゴリズムの一例を示す図である。
【図６】図６は、ニューラル・ツリー状に構成されたニ
ューラル・ネットワークを示す図である。
ューラル・ネットワークを示す図である。
１〜９，31，41 セパレータ 30 クラス間の境界の曲線 40 標本 200 〜 262 図２のフローチャートの各ステップの番号 400 〜 414 図５のフローチャートの各ステップの番号 500 計算ユニット 502 ホスト・コンピュータ 504 アドレス・メモリ 506 クラス・メモリ 508 標本メモリ 510 標本を割り付けるためのメモリ
───────────────────────────────────────────────────── フロントページの続き (73)特許権者 590000248 Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １, 5621 ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔ ｈｅ Ｎｅｔｈｅｒｌａｎｄｓ (72)発明者 ジャン−ピエール ナダル フランス国 94250 ジャンティリー リュ エル レフェーブル 12 (56)参考文献 特開 平３−40170（ＪＰ，Ａ) 特開 平２−211576（ＪＰ，Ａ) 特開 平１−286040（ＪＰ，Ａ) 特開 平１−243181（ＪＰ，Ａ) 特開 昭63−298523（ＪＰ，Ａ) ｃｏｍｐｕｔｅｒ ｍｅｔｈｏｄｓ ａｈｄ ｐｒｏｇｒａｍｓ ｉｎ ｂｉ ｏｍｅｄｉｃｉｎｅ ＶＯＬＵＭＥ23, ＮＵＭＢＥＲ３ ＤＥＣ．1986 ｐ231 −235 1989 ＩＥＥＥ Ｉｎｔｅｒｎａｔｉ ｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｏｎ Ｓｙｓｔｅｍｓ，Ｍａｎ ａｎｄ Ｃ ｙｂｅｒｎｅｔｉｃｓ Ｖｏｌ．３ ｐ 915−920 Ｊｏｕｒｎａｌ ｏｆ Ｐｈｙｓｉｃ ｓ Ａ Ｍａｔｈｅｍａｔｉｃａｌ ａ ｎｄ Ｇｅｎｅｒａｌ Ｖｏｌ．22 Ｎ ｏ．12 21 Ｊｕｎｅ 1989 ｐ2191− 2203 ＮＥＴＷＯＲＫ−ＣＯＭＰＵＴＩＮＧ ＩＮ ＮＥＵＲＡＬ ＳＹＳＴＥＭＳ Ｖｏｌ．１ Ｎｏ．４ ｐ423−438 1990（参考) 1986 Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｏｎ Ｐａｔｔ ｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｐ 849−852 (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 15/18 520 G06G 7/60 ＥＰＡＴ（ＱＵＥＳＴＥＬ) ＩＮＳＰＥＣ（ＤＩＡＬＯＧ) ＪＩＣＳＴファイル（ＪＯＩＳ) ＷＰＩ（ＤＩＡＬＯＧ)
Claims (9)
- 【請求項１】ツリー状ニューラル ネットワーク内に用
いる分類方法であり、学習ステップを有し、このステッ
プ中において、ニューラル ネットワークは、数クラス
に分割される標本（エクザンプル）群を分類するため、
シナプス係数を決定するツリー状ニューラル ネットワ
ーク内に用いる分類方法において、２クラス以上の分類
を行うため、学習ステップは次のステップを有するこ
と、 Ａ−クラス分けすべき標本をクラスの２つのサブグルー
プに従ってクラス分けするステップ、 Ｂ−標本群より、近似の標本の２つのサブグループを識
別しこれら２つのクラスのサブグループによって分割が
可能なようにするため、ニューロンのシナプス係数を計
算するステップ、 Ｃ−サブグループが単一のクラスを含んでいるか否かを
決定するため、識別された標本の均一性をテストするス
テップ、 Ｄ−ニューロンが単一クラスを識別したとき、このニュ
ーロンのアドレスを記憶蓄積し、この単一クラスを記録
するステップ、 Ｅ−ニューロンが不均一（非斉次）のサブグループを識
別したときは、ステップＡの工程を再スタートすること
によってクラスの２つの新しいサブグループに標本を各
均一のサブグループに分割し、次で標本の各不均一サブ
グループに対し、後位ニューロンを形成し、標本の新規
なサブグループが後位ニューロンによってすべてが均一
なクラスのサブグループであると識別される迄この工程
を反復するステップ、を特徴とするツリー状ハイアラー
キー ニューラル ネットワークに用いる分類方法。 - 【請求項２】ステップＡの各反復において、クラスを２
つのサブグループとするクラスの分割は、特殊のクラス
を他のクラスより隔離する工程を有し、この工程は標本
のクラスのセットの各クラス中に形成するステップより
成る請求項１記載の方法。 - 【請求項３】前記特殊クラスは、初め標本の各クラスに
対するエラー基準を計算し、最小エラー判定基準を有す
るクラスを選択することによって決定する請求項２記載
の方法。 - 【請求項４】ステップＡの各反復において、層化したニ
ューロン ネットワークにより既に遂行されている分割
を選択することによりクラスの分割を行う請求項１記載
の方法。 - 【請求項５】ステップＡの各反復において、標本の２つ
のサブグループ クラスへの分割は、標本の分布の重心
の中心を通過する軸で、主方向に直角な軸に関して行わ
れ、該中心と該主方向は、主要構成成分の分析によって
決定される如くした請求項１記載の方法。 - 【請求項６】ニューロンの初期シナプス係数は、層とし
たニューロン ネットワークより、前記特殊クラスを最
良の近似でクラス分けするニューロンのシナプス係数を
選択することにより決定される請求項４記載の方法。 - 【請求項７】シナプス係数の計算は、“ポケット”アル
ゴリズムまたは“予知”型学習ルール、または“ヘブ”
型学習ルールの何れかを実施する請求項１ないし５のい
ずれかに記載の方法。 - 【請求項８】分類すべきデータ ワードのベクトルを受
信する入力端子と、この入力端子にリンクしているニュ
ーロンと、ニューロン間のリンク力を規定するシナプス
係数とを有し、これらニューロンはツリー状の構成に相
互接続されており、ニューロンは２状態の結果を送出
し、これらの結果はマルチ クラス データワードの分
類を遂行するニューラル ネットワークにおいて、ニュ
ーロン数、シナプス係数、ニューロンの連続順序、識別
すべきクラス、及び番号は、遂行すべき分類に特殊の学
習方法によって予め規定されており、前記連続順序は、
前記ニューロンがもたらす状態によってアドレスされる
第１記憶媒体内に記憶され、識別すべき前記クラスは第
２記憶媒体内に記憶され、各ニューロンにより送出され
る結果の均一性をホスト コンピュータによりテスト
し、均一（斉次）性が満足されるときは、ホスト コン
ピュータは第２記憶媒体をアドレスして、識別したクラ
スを送出し、均一性が満足されないときは、ホスト コ
ンピュータは第１記憶媒体をアドレスし、これによって
次のニューロンのアドレスが与えられる如くしたことを
特徴とするニューラル ネットワーク。 - 【請求項９】学習方法は請求項１ないし７の１つにより
行われる請求項８記載のニューラルネットワーク。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9001529 | 1990-02-09 | ||
| FR9001529A FR2658337A1 (fr) | 1990-02-09 | 1990-02-09 | Procede d'apprentissage d'un reseau de neurones hierarchise et reseau de neurones hierarchise. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04213751A JPH04213751A (ja) | 1992-08-04 |
| JP3088766B2 true JP3088766B2 (ja) | 2000-09-18 |
Family
ID=9393541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03039051A Expired - Fee Related JP3088766B2 (ja) | 1990-02-09 | 1991-02-12 | ハイアラーキー ニューラル ネットワークに用いる分類方法及びネットワーク |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5218646A (ja) |
| EP (1) | EP0446084B1 (ja) |
| JP (1) | JP3088766B2 (ja) |
| DE (1) | DE69126555T2 (ja) |
| FR (1) | FR2658337A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH072063U (ja) * | 1993-06-07 | 1995-01-13 | 綾子 阿部 | 多数の印面を有する押し印具 |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR930009066B1 (ko) * | 1990-08-18 | 1993-09-22 | 정호선 | 다층신경회로망 및 그 회로설계방법 |
| US5371809A (en) * | 1992-03-30 | 1994-12-06 | Desieno; Duane D. | Neural network for improved classification of patterns which adds a best performing trial branch node to the network |
| DE69329218T2 (de) * | 1992-06-19 | 2001-04-05 | United Parcel Service Inc | Verfahren und Vorrichtung zur Eingabeklassifizierung mit einem neuronalen Netzwerk |
| US5438629A (en) * | 1992-06-19 | 1995-08-01 | United Parcel Service Of America, Inc. | Method and apparatus for input classification using non-spherical neurons |
| FR2695743A1 (fr) * | 1992-09-16 | 1994-03-18 | Philips Electronique Lab | Système de traitement d'images texturées, analyseur de textures et synthétiseur de textures. |
| FR2703804A1 (fr) * | 1993-04-07 | 1994-10-14 | Philips Electronique Lab | Méthode et appareil de classification de configurations de signaux. |
| JP3170095B2 (ja) * | 1993-04-14 | 2001-05-28 | 富士通株式会社 | 情報検索システム |
| US5461699A (en) * | 1993-10-25 | 1995-10-24 | International Business Machines Corporation | Forecasting using a neural network and a statistical forecast |
| BR9508898A (pt) * | 1994-09-07 | 1997-11-25 | Motorola Inc | Sistema para reconhecer sons falados |
| JP3630734B2 (ja) * | 1994-10-28 | 2005-03-23 | キヤノン株式会社 | 情報処理方法 |
| US6018728A (en) * | 1996-02-09 | 2000-01-25 | Sarnoff Corporation | Method and apparatus for training a neural network to learn hierarchical representations of objects and to detect and classify objects with uncertain training data |
| US5995651A (en) * | 1996-07-11 | 1999-11-30 | Duke University | Image content classification methods, systems and computer programs using texture patterns |
| US6101275A (en) * | 1998-01-26 | 2000-08-08 | International Business Machines Corporation | Method for finding a best test for a nominal attribute for generating a binary decision tree |
| DE69802372D1 (de) | 1998-02-05 | 2001-12-13 | Intellix As Frederiksberg | Klassifizierungssystem und -verfahren mit N-Tuple- oder RAM-basiertem neuronalem Netzwerk |
| US7039856B2 (en) * | 1998-09-30 | 2006-05-02 | Ricoh Co., Ltd. | Automatic document classification using text and images |
| US7236623B2 (en) * | 2000-04-24 | 2007-06-26 | International Remote Imaging Systems, Inc. | Analyte recognition for urinalysis diagnostic system |
| FR2827414B1 (fr) * | 2001-07-13 | 2003-12-05 | Somfy | Procede d'appariement d'emetteur et de recepteur |
| US7630910B2 (en) | 2001-12-31 | 2009-12-08 | Genworth Financial, Inc. | System for case-based insurance underwriting suitable for use by an automated system |
| US8005693B2 (en) | 2001-12-31 | 2011-08-23 | Genworth Financial, Inc. | Process for determining a confidence factor for insurance underwriting suitable for use by an automated system |
| US7844477B2 (en) * | 2001-12-31 | 2010-11-30 | Genworth Financial, Inc. | Process for rule-based insurance underwriting suitable for use by an automated system |
| US7844476B2 (en) | 2001-12-31 | 2010-11-30 | Genworth Financial, Inc. | Process for case-based insurance underwriting suitable for use by an automated system |
| US7895062B2 (en) | 2001-12-31 | 2011-02-22 | Genworth Financial, Inc. | System for optimization of insurance underwriting suitable for use by an automated system |
| US7899688B2 (en) | 2001-12-31 | 2011-03-01 | Genworth Financial, Inc. | Process for optimization of insurance underwriting suitable for use by an automated system |
| US8793146B2 (en) * | 2001-12-31 | 2014-07-29 | Genworth Holdings, Inc. | System for rule-based insurance underwriting suitable for use by an automated system |
| US7818186B2 (en) | 2001-12-31 | 2010-10-19 | Genworth Financial, Inc. | System for determining a confidence factor for insurance underwriting suitable for use by an automated system |
| US7383239B2 (en) * | 2003-04-30 | 2008-06-03 | Genworth Financial, Inc. | System and process for a fusion classification for insurance underwriting suitable for use by an automated system |
| US7801748B2 (en) | 2003-04-30 | 2010-09-21 | Genworth Financial, Inc. | System and process for detecting outliers for insurance underwriting suitable for use by an automated system |
| US7813945B2 (en) | 2003-04-30 | 2010-10-12 | Genworth Financial, Inc. | System and process for multivariate adaptive regression splines classification for insurance underwriting suitable for use by an automated system |
| US7567914B2 (en) | 2003-04-30 | 2009-07-28 | Genworth Financial, Inc. | System and process for dominance classification for insurance underwriting suitable for use by an automated system |
| US7698159B2 (en) | 2004-02-13 | 2010-04-13 | Genworth Financial Inc. | Systems and methods for performing data collection |
| US7945627B1 (en) | 2006-09-28 | 2011-05-17 | Bitdefender IPR Management Ltd. | Layout-based electronic communication filtering systems and methods |
| US8572184B1 (en) | 2007-10-04 | 2013-10-29 | Bitdefender IPR Management Ltd. | Systems and methods for dynamically integrating heterogeneous anti-spam filters |
| US8010614B1 (en) | 2007-11-01 | 2011-08-30 | Bitdefender IPR Management Ltd. | Systems and methods for generating signatures for electronic communication classification |
| US8131655B1 (en) | 2008-05-30 | 2012-03-06 | Bitdefender IPR Management Ltd. | Spam filtering using feature relevance assignment in neural networks |
| CN105844087A (zh) * | 2009-04-30 | 2016-08-10 | 麦德托尼克公司 | 以基于支持向量机的算法为基础的病人状态探测 |
| US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| KR102143225B1 (ko) * | 2013-05-06 | 2020-08-11 | 삼성전자주식회사 | 뉴로모픽 칩의 스파이크 이벤트 정보 전송 방법 및 장치, 및 뉴로모픽 칩 |
| FR3012895B1 (fr) * | 2013-11-05 | 2015-12-25 | Commissariat Energie Atomique | Procede et programme d'ordinateur pour l'execution deportee de taches informatiques d'un equipement sans fil |
| US20200012930A1 (en) * | 2018-07-06 | 2020-01-09 | Global Elmeast Inc. | Techniques for knowledge neuron enhancements |
| US10395169B1 (en) | 2018-07-06 | 2019-08-27 | Global Elmeast Inc. | Self learning neural knowledge artifactory for autonomous decision making |
| US10311058B1 (en) | 2018-07-06 | 2019-06-04 | Global Elmeast Inc. | Techniques for processing neural queries |
| US11610107B2 (en) | 2018-07-06 | 2023-03-21 | Global Elmeast Inc. | Methodology to automatically incorporate feedback to enable self learning in neural learning artifactories |
-
1990
- 1990-02-09 FR FR9001529A patent/FR2658337A1/fr not_active Withdrawn
-
1991
- 1991-02-08 DE DE69126555T patent/DE69126555T2/de not_active Expired - Fee Related
- 1991-02-08 EP EP91400303A patent/EP0446084B1/fr not_active Expired - Lifetime
- 1991-02-08 US US07/653,595 patent/US5218646A/en not_active Expired - Fee Related
- 1991-02-12 JP JP03039051A patent/JP3088766B2/ja not_active Expired - Fee Related
Non-Patent Citations (5)
| Title |
|---|
| １９８６ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｐ８４９−８５２ |
| １９８９ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｏｎ Ｓｙｓｔｅｍｓ，Ｍａｎ ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ Ｖｏｌ．３ ｐ９１５−９２０ |
| ｃｏｍｐｕｔｅｒ ｍｅｔｈｏｄｓ ａｈｄ ｐｒｏｇｒａｍｓ ｉｎ ｂｉｏｍｅｄｉｃｉｎｅ ＶＯＬＵＭＥ２３，ＮＵＭＢＥＲ３ ＤＥＣ．１９８６ ｐ２３１−２３５ |
| Ｊｏｕｒｎａｌ ｏｆ Ｐｈｙｓｉｃｓ Ａ Ｍａｔｈｅｍａｔｉｃａｌ ａｎｄ Ｇｅｎｅｒａｌ Ｖｏｌ．２２ Ｎｏ．１２ ２１ Ｊｕｎｅ １９８９ ｐ２１９１−２２０３ |
| ＮＥＴＷＯＲＫ−ＣＯＭＰＵＴＩＮＧ ＩＮ ＮＥＵＲＡＬ ＳＹＳＴＥＭＳ Ｖｏｌ．１ Ｎｏ．４ ｐ４２３−４３８ １９９０（参考） |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH072063U (ja) * | 1993-06-07 | 1995-01-13 | 綾子 阿部 | 多数の印面を有する押し印具 |
Also Published As
| Publication number | Publication date |
|---|---|
| FR2658337A1 (fr) | 1991-08-16 |
| US5218646A (en) | 1993-06-08 |
| DE69126555D1 (de) | 1997-07-24 |
| DE69126555T2 (de) | 1998-01-02 |
| EP0446084A1 (fr) | 1991-09-11 |
| JPH04213751A (ja) | 1992-08-04 |
| EP0446084B1 (fr) | 1997-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3088766B2 (ja) | ハイアラーキー ニューラル ネットワークに用いる分類方法及びネットワーク | |
| Woodward et al. | Active one-shot learning | |
| EP0724750B1 (en) | Method for unsupervised neural network classification with back propagation | |
| US20200143243A1 (en) | Multiobjective Coevolution of Deep Neural Network Architectures | |
| EP0465489A1 (en) | GENETIC SYNTHESIS OF NEURONAL NETWORKS. | |
| CN113825978B (zh) | 用于定义路径的方法和设备、存储装置 | |
| US5220618A (en) | Classification method implemented in a layered neural network for multiclass classification and layered neural network | |
| Faradonbe et al. | A classifier task based on Neural Turing Machine and particle swarm algorithm | |
| Singh et al. | Two phase learning technique in modular neural network for pattern classification of handwritten Hindi alphabets | |
| Alippi et al. | Cluster partitioning in image analysis classification: a genetic algorithm approach | |
| CN111177388A (zh) | 一种处理方法及计算机设备 | |
| Babatunde et al. | Comparative analysis of genetic algorithm and particle swam optimization: An application in precision agriculture | |
| Bortolotto et al. | Neural networks in experimental high-energy physics | |
| JP4106021B2 (ja) | 人工ニューラル・ネットワークにおけるプロトタイプの数を仮想的に増加させる方法および回路 | |
| CN113239077B (zh) | 一种基于神经网络的搜索方法、系统和计算机可读存储介质 | |
| Vipsita et al. | Protein superfamily classification using adaptive evolutionary radial basis function network | |
| Santana et al. | A Parallel Strategy for Generation of Fuzzy Rule Bases in Big Data Problems Using the NSGA-DO | |
| Kittler et al. | Multiple Classifier Systems: First International Workshop, MCS 2000 Cagliari, Italy, June 21-23, 2000 Proceedings | |
| Lis | The synthesis of the ranked neural networks applying genetic algorithm with the dynamic probability of mutation | |
| Ahn | Forward additive neural network models | |
| Singh et al. | Design a multi-objective optimization with dynamic and global filter pruning strategy for convolutional neural network | |
| Gilley | Comparison of Search Algorithms in Two-Stage Neural Network Training for Optical Character Recognition of Handwritten Digits | |
| Liu | Automatic Designs in Deep Neural Networks | |
| Lee et al. | Constructing neural networks for multiclass-discretization based on information entropy | |
| JPH0498422A (ja) | データクラスタリング装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |