JP2925435B2 - 入力分類方法、トレーニング方法、調整方法、及び装置 - Google Patents

入力分類方法、トレーニング方法、調整方法、及び装置

Info

Publication number
JP2925435B2
JP2925435B2 JP5174752A JP17475293A JP2925435B2 JP 2925435 B2 JP2925435 B2 JP 2925435B2 JP 5174752 A JP5174752 A JP 5174752A JP 17475293 A JP17475293 A JP 17475293A JP 2925435 B2 JP2925435 B2 JP 2925435B2
Authority
JP
Japan
Prior art keywords
training
input
neuron
neurons
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP5174752A
Other languages
English (en)
Other versions
JPH06176161A (ja
Inventor
シー モード マイケル
ピン リー チー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
YUNAITETSUDO PAASERU SAABISU OBU AMERIKA Inc
Original Assignee
YUNAITETSUDO PAASERU SAABISU OBU AMERIKA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by YUNAITETSUDO PAASERU SAABISU OBU AMERIKA Inc filed Critical YUNAITETSUDO PAASERU SAABISU OBU AMERIKA Inc
Publication of JPH06176161A publication Critical patent/JPH06176161A/ja
Application granted granted Critical
Publication of JP2925435B2 publication Critical patent/JP2925435B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19107—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)
  • Image Processing (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Surface Acoustic Wave Elements And Circuit Networks Thereof (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は、分類（ｃｌａｓｓｉ
ｆｉｃａｔｉｏｎ）法と分類システムに関し、更に具体
的には光学的に得られたキャラクタ画像の分類方法とシ
ステムに、およびそれのトレーニング方法およびトレー
ニング・システムに関するものである。
【０００２】
【発明の背景】荷物すなわち梱包物（パッケージ）の輸
送の分野では、その梱包物に貼付されたシッピング・ラ
ベルに印刷されている送り先の住所に従って、発送元か
ら世界中の送り先へ仕向けて梱包物が送られる。梱包物
を仕向け発送するには、上記送り先の住所を読取ること
のできる自動化された光学的キャラクタ分類システムを
使用することが望ましい。その様な分類システムは、で
きるだけ迅速にキャラクタを分類し得るものでなければ
ならない。クーパー（Ｃｏｏｐｅｒ）氏その他による米
国特許第４３２６２５９号に開示されているような、球
形ニューロンを使用した通常の光学的キャラクタ分類シ
ステムは、或種の用途で与えられる処理要求を、ハード
ウェアに大きな投資をせずに、行うことはできない。
【０００３】
【発明の概要】この発明は入力を複数の可能な出力の１
つに分類する分類方法及び装置に関するものである。こ
の発明によれば、上記入力を表すフィーチャ・ベクトル
が生成される。次に、このフィーチャ・ベクトルから、
各々が上記可能な出力の１つに関連する複数のニューロ
ンの各ニューロンの中心までの距離の値が計算される。
この計算された距離に従って、フィーチャ・ベクトルを
包囲する各ニューロンが選択される。可能な出力の各々
に関連する選択されたニューロンの数であるボート（ｖ
ｏｔｅ）（票）が、可能な出力の各々に対して求められ
る。可能な出力の１つに対するボートが、他の可能な出
力の全てに対する他の全てのボートよりも大きい場合
は、その可能な出力が上記入力に対応するものとして選
択される。可能な出力の１つに対するボートが、他の可
能な出力の全てに対するボート他の全てのボートよりも
大きくない場合には、他の全てのニューロンの中で最も
小さい距離の値を持ったニューロンを識別する。その最
小距離値がある特定の値よりも小さい場合は、その識別
されたニューロンに関連する可能な出力を上記入力に対
応するものとして選択する。
【０００４】この発明は、また、ニューロンを発生する
ためのトレーニング法と装置を提供する。この発明によ
れば、各々が第１の可能な出力に対応する複数のトレー
ニング入力が選択される。次いで、トレーニング入力の
各々の質が特徴記述される。次に、特徴記述されたトレ
ーニング入力から、他のトレーニング入力の中の少なく
とも１つよりも高い質を持つトレーニング入力を選択す
る。次いで、この選択された特徴記述されたトレーニン
グ入力に従ってニューロンが造られる。
【０００５】この発明によれば、入力を複数の可能な出
力の１つに分類する分類方法が提供される。この分類方
法によれば、入力は２またはそれ以上の可能な出力を表
すクラスターに分類される。次いで、この入力はクラス
ターによって表される上記２またはそれ以上の可能な出
力の１つに分類される。この発明の分類ステップの中の
少なくとも１つのステップは入力を表す情報をニューロ
ンと比較することによって特徴付けられる。この発明は
さらに、複数のフィーチャ・ベクトルを包囲するニュー
ロンを調整する方法及び装置を提供する。フィーチャ・
ベクトルの空間分布が特徴記述される。次いで、その特
徴記述に従ってニューロンが空間的に調整される。
【０００６】
【詳細な説明】この発明は、光学的キャラクタ認識シス
テムを含んでいるが、より一般的に言えば、この発明は
入力を可能な複数出力の所定セットのうちの１つとして
分類するための分類システムをカバーするものである。
たとえば、その入力が英語のアルファベットの２６個の
大文字の中の１つを表している光学的に取出された画像
の場合、この発明の分類システムは、その入力画像に関
する大文字を出力として選択するように、使用される。
以下、この発明の分類システムを、図１の（ａ）、図２
乃至図４を参照しつつ説明する。
【０００７】この発明は、また、この発明による分類シ
ステムをトレーニングするシステムも含んでいる。この
トレーニング・システムは、この分類システムを配置す
るに先立ってオフラインで動作させることが望ましい。
キャラクタ認識の例の場合には、このトレーニング・シ
ステムは、既知のキャラクタを表す入力画像を受入れ
て、未知の画像が最終的に分類されることになる可能な
出力のセットについて学習する。この発明のトレーニン
グ・システムについて図５および図６を参照して後述す
る。
【０００８】この発明は、また、この発明による分類シ
ステムを、トレーニング入力の相対的品質に従ってその
トレーニング入力を順序づけする思想に基づいてトレー
ニングするシステムをも含んでいる。このトレーニング
・システムは、図１の（ａ）、（ｂ）、（ｃ）および
（ｄ）を参照して、後述する。
【０００９】この発明は、また、この発明によるシステ
ムのトレーニング期間中に発生するニューロンの位置お
よび形状を調整するシステムも含んでいる。
【００１０】この発明は、また、上位レベルおよび下位
レベルのクラスタ分類器の階層ネットワークを使用する
分類システムをも含むものである。この上位レベルの分
類器は入力を複数の出力クラスタのうちの１つに分類す
る。この場合、各出力クラスタは可能な出力のセットの
サブセットに付属している。上位レベルの分類器によっ
て識別された出力クラスタに関連するクラスタ分類器
は、次に、入力を可能な出力のうちの１つに対応するも
のとして分類する。この分類システムは、図１の
（ａ）、（ｂ）、（ｃ）および（ｄ）を参照して後述す
る。
【００１１】この発明は、また、２つのサブシステムを
組合せた形の、入力を分類するためのニューラル・シス
テムをも含むものである。１つのサブシステムは、可能
な複数出力の各々について、特定入力を表すフィーチャ
・ベクトルを包囲するニューロンの数をカウントする。
もし、可能な出力のうちの１つがそのフィーチャ・ベク
トルを包囲するニューロンを他の同様な出力よりも多数
持っているときは、そのシステムは上記入力に対応する
ものとして前記１つの出力を選択する。そうでない場合
には、そのフィーチャ・ベクトルに対する特定距離の値
として最小値を有するニューロンを、第２のサブシステ
ムが見つけ出す。もし、その値が特定の閾値よりも小さ
ければ、システムは、そのニューロンに関する出力を入
力に対応するものとして選択する。但し、本明細書にお
いて、距離または距離の値とは、楕円距離を含む上位概
念の距離であって、適合する距離の尺度に基づいて定量
した距離の値を意味する。このニューロン・システム
は、図１の（ａ）、図２乃至図４に関連して後述する。
【００１２】分類システム 図１の（ａ）を参照すると、この図には正常な文字
「０」を表すビットマップが例示されている。この発明
による分類システムが光学的に得たキャラクタ画像を分
類するときには、分類されるべき各システム画像は、図
１の（ａ）に示す如く２進値のｍｘｎ画像アレイである
入力ビットマップで表すことができる。好ましい実施例
においては、この発明の分類システムは各入力ビットマ
ップに含まれている情報からｋ次元フィーチャ空間に１
つのベクトルを発生する。各フィーチャ・ベクトルＦは
フィーチャ要素ｆｊを持っている。但し０≦ｊ≦ｋ−１
である。このフィーチャ空間の次元ｋは１より大きな如
何なる整数であってもよい。各フィーチャ要素ｆ１は、
入力ビットマップから抽出されたｋ個のフィーチャ要素
のうちの１つに相当する実数値である。
【００１３】このｋ個のフィーチャ要素は、たとえばグ
リッド（Ｇｒｉｄ）またはアダマール（Ａｄａｍａｒ
ｄ）フィーチャ抽出関数（ｅｘｔｒａｃｔｉｏｎ ｆｕ
ｎｃｔｉｏｎ）の如き通常のフィーチャ抽出関数を用い
て、入力ビットマップから取出すことができる。フィー
チャ・ベクトルＦはｋ次元フィーチャ空間における１点
を表している。フィーチャ要素ｆｊは、ｋ次元フィーチ
ャ空間のフィーチャ空間軸に沿った、フィーチャ・ベク
トルの成分である。この明細書における説明のために用
語「フィーチャ・ベクトル」とはフィーチャ空間内の１
点を指すものとする。
【００１４】好ましい実施例においては、フィーチャ空
間を決定するのにグリッドをベースとした、或いはアダ
マールをベースとしたフィーチャ・ベクトルに判別分析
変換（ｄｉｓｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ
ｔｒａｎｓｆｏｒｍ）を適用することができる。この実
施例では、判別変換からの最上位の固有ベクトルのみが
保持されるこの判別分析を行うことによって、可能な出
力相互間の隔たりを増加させまたフィーチャ・ベクトル
の次元を低減することができる。
【００１５】この発明の分類システムは、特定の入力画
像を表すフィーチャ・ベクトルＦをフィーチャ空間内に
おけるニューロンのセットと比較する。ここで、各ニュ
ーロンは、ｋ次元のフィーチャ空間における閉じたｋ次
元の領域または「ハイパー・ボリューム（超体積）」で
ある。たとえば、（ｋ＝２）であれば、各ニューロンは
２次元フィーチャ空間における１つの領域であり、（ｋ
＝３）であれば、各ニューロンは３次元フィーチャ空間
における１つのボリューム（体積）である。図２は、典
型例としての８個の２次元ニューロンを包含する２次元
フィーチャ空間である。
【００１６】この発明による好ましい分類システムにお
いては、ｋ次元フィーチャ空間に在る少なくとも１個の
ニューロンの境界は、少なくとも２個の相異なる長さの
軸によって決定される。これらニューロンの幾つかは、
Ｃｊがニューロンの中心点を規定し、ｂｊがニューロン
の各軸の長さで、ｍとＡが正の実数の定数であるとし
て、一般に数学的に次式で表される。
【００１７】好ましい或る実施例では少なくとも２つの
ニューロン軸は長さが異なっている。式（１）を満足す
る値のｇi は、ニューロンの境界内または境界上に在る
フィーチャ空間中の点を規定する。この技術分野の専門
家は、この発明の範囲に含まれる上記以外のニューロン
は、また別の数学的表現によって表されることを容易に
理解できよう。たとえば、関数ＭＡＸは、ｊが０からｋ
−１へ変化するときのこの比の最大値を計算するものと
して、ニューロンは次式で決定される。
【数２】 式（２）で決定されるニューロンはハイパー矩形であ
る。
【００１８】この発明の好ましい或る実施例では、ニュ
ーロンはｋ次元のフィーチャ空間のハイパー楕円（超楕
円）である。ハイパー楕円は、（ｍ＝２）でかつ（Ａ＝
１）の場合に式（１）で決定されるすベてのハイパー・
ボリュームである。より具体的に言えば、ハイパー楕円
は、Ｃｊがハイパー楕円の中心点、ｂｊはハイパー楕円
の軸の長さ、式（３）を満足する値ｇｉはハイパー楕円
の境界内および境界上に在る点を決定するとして、次式
で表される。
【数３】
【００１９】すべての軸が等長であれば、そのハイパー
楕円はハイパー球状（超球）である。
【００２０】この発明の或る好ましい実施例では、少な
くとも１つのニューロンの少なくとも２つの軸は相異な
る長さである。一例として、図２には、中心点が（Ｃｏ
１ 、Ｃ ｌ １ ）で軸ｂ ｏ １ 、ｂ ｌ １ の長さが異なる楕円状
ニューロン１が示されている。或る好ましい実施例にお
いては、ニューロンの軸はフィーチャ空間の座標軸と整
列している。この技術分野の専門家は、フィーチャ空間
軸と全部が整列している訳ではない軸を有する上記以外
のニューロンもこの発明の範囲内にあることは理解され
よう。
【００２１】この発明のよれば、各ニューロンは特定の
可能な出力に関連している。たとえば、各ニューロンは
２６個の大文字の１つに対応している。各ニューロンは
可能な出力（たとえば文字）の１つのみに関連している
が、各可能な出力は１個またはそれ以上の関連ニューロ
ンを持つことができる。更に、ニューロンはフィーチャ
空間内で互いに重畳することも有り得る。たとえば、図
２に示されたように、ニューロン０、１および７はキャ
ラクタＡに対応し、ニューロン２、３、５および６はキ
ャラクタＢに対応し、ニューロン４はキャラクタＣに対
応している。ニューロン１と７は、ニューロン２、３お
よび６、およびニューロン３、５および６がそうである
ように、重なり合っている。
【００２２】また別の或る実施例（図示省略）では、相
異なる可能な出力に対応するニューロンが重なり合って
いる。この発明の分類システムは、文字Ａ、ＢおよびＣ
を表す入力画像を分類するのに図２のニューロンを採用
することができる。
【００２３】次に、図３には、この発明の好ましい実施
例に従って、入力（たとえば、光学的に得たキャラクタ
画像）を可能な出力（たとえば、キャラクタ）の１セッ
トとして分類するための分類システム３００のプロセス
流れ図が示されている。図３のこの好ましい実施例にあ
っては、分類システム３００中のニューロンは並列処理
される。また別の実施例（図示省略）では、分類システ
ム３００内のニューロンは直列的に処理される。入力画
像のビットマップを受入れる手段３０２があって、その
ビットマップに含まれている情報を表すフィーチャ・ベ
クトルを発生する。手段３０４と３０６は、手段３０２
が発生したフィーチャ・ベクトルを複数ニューロン中の
１セットと比較する。このニューロンの少なくとも１つ
は長さを異にする２つまたはそれ以上の軸を持ってい
る。分類システム３００は上記の比較結果に基づいて可
能な出力のうちの１つを選出する。
【００２４】この発明の好ましい実施例では、分類シス
テム３００は、ハイパー楕円状ニューロンのネットワー
クを使用して、光学的に得たキャラクタ・ビットマップ
を分類する。分類システム３００の手段３０２は、分類
すべき光学的に得られたキャラクタ画像のビットマップ
を入力して受入れ、それに対応したフィーチャ・ベクト
ルＦを発生する。続いて手段３０４はネットワーク内の
Ｅ ｎｕｍ 個のハイパー楕円状ニューロンｘの中心と軸お
よびフィーチャ・ベクトルＦの関数として楕円距離ｒｘ
を求める。ｒｘは次式で表される。
【数４】
【００２５】式（４）においてｃｊ ｘとｂｊ ｘは、それ
ぞれｘを０からＥｎｕｍ−１まで変化させたときのニュ
ーロンｘの中心点と軸長を決定し、ｆｊはフィーチャ・
ベクトルＦの要素である。この技術分野の専門家は距離
の値が式（４）のそれと異なる値であっても使用可能で
あることは理解できよう。
【００２６】手段３０６は、Ｅｎｕｍ 個のニューロンの
中にフィーチャ・ベクトルＦを包囲するものがあれば、
それがどのニューロンであるかを確認する。フィーチャ
空間内でニューロンを規定する境界の内側にフィーチャ
・ベクトルがある場合、ニューロンはフィーチャ・ベク
トルを包囲し、「包囲ニューロン」と名付けられる。ハ
イパー楕円の場合には、もし（ｒｘ＜１）であれば、ニ
ューロンｘはフィーチャ・ベクトルＦを包囲する。も
し、（ｒｘ＝１）であればフィーチャ・ベクトルＦはニ
ューロンｘの境界上に位置し、また（ｒｘ＞１）であれ
ばフィーチャ・ベクトルＦはニューロンｘの外側に位置
する。ニューロンはフィーチャ空間内で重なり合うこと
ができるから、特定のフィーチャ・ベクトルは１個以上
のニューロンで包囲されることがある。図２において
は、特定の入力画像に対応するフィーチャ・ベクトルＦ
ｇはニューロン２と６に包囲されている。或いはまた、
図２のフィーチャ・ベクトルＦｈの場合のように、フィ
ーチャ・ベクトルがどのニューロンの内側にも位置して
いないこともある。その様なベクトルは別の入力画像に
対応するものである。
【００２７】手段３０８は、可能な出力のそれぞれに対
する「最近接」ニューロンを見つけ出す。記述のよう
に、各ニューロンは１つの出力に、そして可能な出力の
うちの１つの出力のみに、関連する。しかし可能な出力
の各々は関連する１つ以上のニューロンを持っているこ
ともある。手段３０８は、可能な各出力に関連するニュ
ーロンを全部分析して、その出力に対するフィーチャ・
ベクトルＦに対する最近接ニューロンを決定する。この
最近接ニューロンは、最も小さい距離値ｒｘを持ったも
のになる。図２のフィーチャ・ベクトルＦｇの例では、
手段３０８はキャラクタ「Ａ」に対するフィーチャ・ベ
クトルＦｇに対する最近接ニューロンとしてニューロン
１を選出することになる。また、キャラクタ「Ｂ」に対
する最近接ニューロンとしてニューロン２を、およびキ
ャラクタ「Ｃ」に対してはニューロン４を、選出する。
【００２８】図３の手段３１０は、各可能な出力に対す
るボート（票）をカウントする。第１の実施例におい
て、フィーチャ・ベクトルＦを包囲する各ニューロン
は、そのニューロンに関連する出力に対する１つのボー
ト（票）として、手段３１０によって処理される。ま
た、図７について詳細に後述する別の好ましい実施例に
おいては、フィーチャ・ベクトルＦを包囲する各ニュー
ロンは、そのニューロンに関連する出力に対する「重み
付けされたボート」を表すものとして、手段３１０で処
理される。ここに、どの特定ニューロンに関連する「重
み」もそのニューロンによって包囲されるトレーニング
入力フィーチャ・ベクトルの数の関数である。
【００２９】好ましい実施例においては、手段３１０は
比例ボーティングを行う。ここで、特定ニューロンに対
する重み付けされたボートは、そのニューロンで包囲さ
れるフィーチャ・ベクトルの数に等しい。可能な各出力
に対して、手段３１０は、フィーチャ・ベクトルＦを包
囲するすべてのニューロンに対する全ボートを記録す
る。
【００３０】ボーティングの結果には可能性のある３種
の形式がある。それは、（１）１つの出力キャラクタが
他のどの出力キャラクタよりも多数のボートを受ける、
か、（２）２つまたはそれ以上の出力キャラクタが大多
数のボートに関してタイ（等格）である、か、（３）す
べての出力キャラクタがボートを受けず、すなわちフィ
ーチャ・ベクトルＦを包囲するニューロンが存在しない
状態を示すか、の３種である。図２において、フィーチ
ャ・ベクトルＦ ｇは第１のボーティング形式となり、キ
ャラクタ「Ｂ」は包囲しているニューロン２と６に相当
する２つのボートを受け、一方キャラクタ「Ａ」と
「Ｃ」は全然ボートを受けない。図２のフィーチャ・ベ
クトルＦｈは、各キャラクタがボートを全く受けていな
い第３形式のボーティング結果となる。
【００３１】手段３１２は、フィーチャ・ベクトルＦに
手段３１０を適用することにより第１形式のボーティン
グ結果が得られたかどうかを決定する。もし、可能な出
力キャラクタのうちの１つのみが大多数（最大数）のボ
ートを受けていれば、手段３１２は、分類システムの３
００の処理を手段３１４に進める。手段３１４は入力キ
ャラクタ・ビットマップに対応するものとしてその出力
キャラクタを選択する。そうでない場合は、続いて手段
３１６で処理が行われる。
【００３２】図２のフィーチャ・ベクトルＦg について
は、手段３１２は、キャラクタ「Ｂ」が他のどのキャラ
クタよりも多数のボートを持っていることを確認して、
手段３１４に、フィーチャ・ベクトルＦg に対応するキ
ャラクタとして「Ｂ」を選択させる。図２のフィーチャ
・ベクトルＦh の場合には、手段３１２は、大多数のボ
ートを受けたキャラクタが１個も無いことを確認して、
処理を手段３１６へ進める。
【００３３】ボートが等格（タイ）であるか或いはフィ
ーチャ・ベクトルがどのニューロンの内側にも位置して
いないという理由のために明確なボートリーダが存在し
ないという、第２および第３形式のボーティング結果の
場合には、手段３１６はタイブレーカ（等格解除器）と
して働く。このタイを解除（ブレーク）するために、手
段３１６は、フィーチャ・ベクトルＦに楕円距離で最近
接状態にあるニューロンｘを選出して、ｒx を特定閾値
θm と比較する。その結果がもしも（ｒx ≦θm ）であ
れば、手段３１８が、このニューロンｘに関連する出力
キャラクタを入力キャラクタ・ビットマップに相当する
ものとして選択する。
【００３４】そうでない場合は、タイは解除されず分類
システム３００はその入力画像に対してキャラクタを選
択しない。「キャラクタ選択無し」という結果は分類シ
ステム３００からの可能な出力の１つである。たとえ
ば、もし分類システム３００が大文字を認識するように
設計されていて、それに対する入力が数字７に相当する
ものであったとすると、「キャラクタの選択無し」とい
う結果が適切な出力である。
【００３５】閾値θｍは、１より大きな任意の数でよ
く、好ましい値は約１．２５である。既に前述したよう
に、フィーチャ・ベクトルＦがニューロンｘの内側にあ
れば（ｒｘ＜１）でニューロンｘの外側にあれば（ｒｘ
＞１）である。手段３１０から得られるボーティングの
結果が、大部分の非ゼロ・ボートについてタイであれ
ば、手段３１６は、フィーチャ・ベクトルＦに楕円距離
が最近接している中心を持った包囲ニューロンに関連し
た出力キャラクタを選択することになる。或いは別の形
として、包囲ニューロンが無い場合には、手段３１６
は、もし（ｒｘ≦θｍ）であれば、最近接ニューロンｘ
に関連する出力キャラクタに対応するものとして、入力
ビットマップを更に分類する。約１．２５の閾値θｍを
使用すると、タイブレーキング手段３１６が使用する各
ニューロンを包囲する領域が設定できる。図２におい
て、もし距離の値ｒ４がこの閾値θｍより小さいとき
は、フィーチャ・ベクトルＦ ｈ はキャラクタ「Ｃ」とし
て分類される。そうでないときは、キャラクタは選択さ
れない。
【００３６】次に、図４には、入力を可能な出力の１セ
ットに対応するものとして分類するこの発明による分類
システム４００の概要図が示されている。分類システム
４００は、図３の分類システム３００が行った処理の一
部を実行することができる。分類システム４００は、フ
ィーチャ要素（ｆ0 、ｆ1 、・・・・ｆk-1 ）で表され
るフィーチャ・ベクトルＦを受入れ、選択されるべき可
能な出力を示す指標（ポインタ）および／またはフラッ
グとして働く値ｑt とｑm を発生する。分類システム４
００は４つのシステム・レベル、すなわち、入力レベル
４０２、処理レベル４０４、出力レベル４０６および後
処理レベル４０８を持っている。
【００３７】入力レベル４０２は、ｊを０からｋ−１ま
で変わる数として、ｋ個の入力処理ユニットｉj より成
るセットＩを持っている。各入力処理ユニットｉj は、
入力として１個の、そしてフィーチャ・ベクトルＦのた
だ１個の要素ｆj のみを受入れて、この値を処理レベル
４０４に分散供給する。入力レベル４０２は１組のパル
ススルー分散供給素子として働く。
【００３８】処理レベル４０４には、ｘが０からＥ
ｎｕｍ−１まで変わる数としてＥｎｕｍ 個の楕円状処理
ユニットｅｘのセットＥがある。各楕円状処理ユニット
ｅｘは、入力レベル４０２のすべての入力処理ユニット
ｉｊの出力から入力を受入れるように、各処理ユニット
ｉｊに接続されている。楕円状処理ユニットｅｘは、図
３の分類システム３００のニューロンｘについて式
（４）の演算をする。分類システム３００のニューロン
ｘと同様に、各楕円状処理ユニットｅｘは内部パラメー
タの２つのベクトルＢｘとＣｘによって規定される。ベ
クトルＢｘの要素はニューロンｘの軸の長さである。こ
こに、Ｂｘは次式で表される。
【数５】
【００３９】また、ベクトルＣx の要素はニューロンｘ
の中心点の座標であり、Ｃx は次式で表される。
【数６】
【００４０】処理レベル４０４の各楕円状処理ユニット
ｅｘは、フィーチャ・ベクトルＦからニューロンｘの中
心までの距離の大きさｒｘを計算する。処理レベル４０
４は分類システム３００の手段３０４に関連している。
もし、（ｒｘ＜１）であれば、楕円状処理ユニットｅｘ
は可動状態にされているとし、そうでない時は非可動状
態にあるとする。換言すれば、楕円状処理ユニットｅｘ
はニューロンｘがフィーチャ・ベクトルＦを包囲してい
ると可動状態にされる。各楕円状処理ユニットｅｘは、
出力レベル４０６の２つの出力処理ユニットのみに計算
した距離の大きさを分配供給する。
【００４１】出力レベル４０６は２つの部分を持ってい
る。すなわち、出力トータル部４１０と出力ミニマイズ
部４１２とを持っている。出力トータル部４１０はＳ個
の出力処理ユニットＯn t のセットＯt を有し、出力ミ
ニマイズ部４１２はＳ個の出力処理ユニットＯn m のセ
ットＯm を持っている。但し、ｎは０からｓ−１までを
表し、ｓは分類システム４００がそれを目的としてトレ
ーニングされている可能な出力の数である。たとえば、
大文字を分類する場合はｓ＝２６である。各処理ユニッ
トの対（Ｏn t 、Ｏn m ）は可能な出力のうちのただ１
個の出力のみに関連するものであり、またその逆の関係
も成立つ。
【００４２】処理レベル４０４の各楕円状処理ユニット
ｅx は、出力トータル部４１０のただ１個の出力処理ユ
ニットＯn t のみに、および出力ミニマイズ部４１２中
のただ１個の出力処理ユニットＯn m のみに、それぞれ
接続されてそれらに出力を供給する。しかし、各出力ユ
ニットＯn t と各出力ユニットＯn m は、処理レベル４
０４の１個またはそれ以上の楕円状処理ユニットｅx に
接続しそれらから入力を受入れるようにすることもでき
る。これらの関係は接続マトリックスＷt とＷm で表さ
れる。それらの次元は共に（ｓｘＥnum ）である。
【００４３】好ましい実施例において、処理レベル４０
４の楕円状処理ユニットｅｘと出力レベル４０６の出力
トータル部４１０の出力処理ユニットＯｎ ｔの間に接続
がある場合には、接続マトリックスＷｔにおけるエント
リＷｎｘ ｔの値はニューロンｘで包囲されるトレーニン
グ入力フィーチャ・ベクトルの数に等しく、そうでない
場合は、その値付０である。更に別の好ましい実施例に
おいては、楕円状処理ユニットｅｘと出力処理ユニット
Ｏｎ ｔの間に接続があれば、エントリＷｎｘ ｔの値は１
である。
【００４４】接続マトリックスＷm は、処理レベル４０
４と出力レベル４０６の出力ミニマイズ部４１２との間
の接続を表し、接続マトリックスＷt に関係を持ってい
る。接続マトリックスＷm におけるエントリＷnx m は接
続マトリックスＷt の０でないすべてのエントリＷnx t
に対して値１を持っている。そうでない（Ｗnx t が０）
の場合、エントリＷnx m の値は０になる。
【００４５】出力トータル部４１０の各出力処理ユニッ
トＯn t は、次式の出力値Ｏn t を計算する。
【数７】
【００４６】ここに、関数Ｔ（ｒｘ）は、（ｒｘ＞１）
であれば値０になり、そうでなければ値１になる。別の
言い方をすれば、関数Ｔ（ｒｘ）は処理レベル４０４の
楕円状処理ユニットｅｘが可動状態にされると、値１に
なる。出力処理ユニットＯｎ ｔは、関連する可能な出力
に対するボートをカウントして、その合計（トータル）
を出力する。出力レベル４０６の出力トータル部４１０
は、分類システム３００の手段３０６と３１０とに関連
するものである。
【００４７】同様に、出力ミニマイズ部４１２は次式で
表される出力値Ｏn m を計算する。
【数８】
【００４８】ここに、関数“ＭＩＮ”は、すべての楕円
状処理ユニットｅx に対して（Ｗnx m ｒx ）の最小値に
なる。従って、各出力処理ユニットＯn m は自己に接続
されている各楕円状処理ユニットｅx を調べて、それら
の楕円状処理ユニットから得られる最小出力値に等しい
リアル値を出力する。出力レベル４０６の出力ミニマイ
ズ部４１２は分類システム３００の手段３０８に関連す
るものである。
【００４９】後処理レベル４０８は２つの後処理ユニッ
トＰｔとｐ ｍ を持っている。後処理ユニットＰｔは、出
力レベル４０６の出力トータル部４１０の各出力処理ユ
ニットＯｎ ｔに接続されていてそこから入力を受取る。
後処理ユニットＰｔは最大出力値を持っている出力処理
ユニットＯｎ ｔを見出して値ｑｔを発生する。出力トー
タル部４１０の出力処理ユニットＯｎ ｔの出力値が、出
力トータル部４１０の他のすべての出力処理ユニットの
出力値よりも大であれば、値ｑｔをその出力処理ユニッ
トのインデックスであるｎにセットする。たとえば、大
文字を分類する場合、ｎは「Ａ」に対しては０となり
「Ｂ」に対しては１となる等にされる。そうでない場合
は、値ｑｔは−１にセットされて、出力レベルの出力ト
ータル部４１０は入力を分類できなかったことを示す。
後処理レベル４０８の後処理ユニットＰｔは分類システ
ム３００の手段３１２に関連するものである。
【００５０】同様に、後処理レベル４０８中の他の後処
理ユニットＰm は、出力レベル４０６のミニマイズ部４
１２の各出力処理ユニットＯn m に接続されていてそれ
から入力を受入れる。後処理ユニットＰm は最小出力値
を示す出力処理ユニットＯn m を見出して、値ｑm を発
生する。出力ミニマイズ部４１２の出力処理ユニットＯ
n m の出力値が所定の閾値θm よりも小さいと、この値
ｑm は対応するインデックスｎにセットされる。
【００５１】そうでない場合には、フィーチャ・ベクト
ルＦが、すべてのニューロンｘに対してニューロンを包
囲する閾値領域の外側にあるから、値ｑm は、−１にセ
ットされて、出力レベル４０６の出力ミニマイズ部４１
２は入力を分類できなかったことを示す。この閾値θm
は図３の分類システムに使用されている閾値θm と同じ
閾値でよい。後処理レベル４０８の後処理ユニットＰm
は分類システム３００の手段３１６に関連するものであ
る。
【００５２】入力の分類は、値ｑｔとｑｍを分析するこ
とによって完了する。もし、（ｑｔ≠−１）であれば、
その入力はＳ個の可能な出力のセットのうちの可能な出
力ｑｔとして分類される。もし（ｑｔ ＝−１）でかつ
（ｑｍ≠−１）であれば、その入力はＳ個の可能な出力
のセット中の可能な出力ｑｍとして分類される。そうで
なくて、もし両値が−１であれば、その入力はＳ個の可
能な入力の何れとしても分類されない。
【００５３】トレーニング・システム ニューラル・ネットワークは、入力を分類するために使
用する前にトレーニング（訓練）しなければならない。
この発明のトレーニング・システムはこの必要とされる
トレーニングを少なくとも１つの非球形ニューロンをｋ
次元のフィーチャ空間に生成することによって行う。こ
のトレーニング・システムは、好ましくは、分類システ
ムの実施に先立ってオフ・ラインで実行される。
【００５４】この発明のトレーニング・システムは１組
のトレーニング入力に基づいてニューロンを発生する。
各トレーニング入力は分類セット中の可能な（考えられ
る）出力の１つに対応することが分かっているものであ
る。分類システム３００を記述するために用いたアルフ
ァベットの大文字を例にとって説明すると、各トレーニ
ング入力は”Ａ”から”Ｚ”迄のキャラクタ（文字）の
１つに対応するビットマップとすることができる。各キ
ャラクタは少なくとも１つのトレーニング入力によって
表されなければならない。但し、通常は、各キャラクタ
に対し２５０乃至７５０のトレーニング入力が用いられ
る。
【００５５】図５と図６には、図３の分類システム３０
０または図４の分類システム４００で用いることができ
るｋ次元フィーチャ空間でニューロンを発生するための
トレーニング・システム５００の処理フロー・ダイアグ
ラムが示されている。例えば、出力分類をトレーニング
する時は、トレーニング・システム５００は、既知の出
力に対応する１組のトレーニング・ビットマップ入力を
順次処理する。トレーニング中のある時点で、先に処理
されたトレーニング入力に対応する１組の既存フィーチ
ャ・ベクトルとこれらの既存フィーチャ・ベクトルから
生成された１組の既存ニューロンが生じる。各トレーニ
ング入力について、トレーニング・システム５００は、
そのトレーニング入力に含まれている情報を表すフィー
チャ・ベクトルをフィーチャ空間に発生する。
【００５６】トレーニング・システム５００は各トレー
ニング入力を処理するに際して２つのルールを適用す
る。第１のトレーニング・ルールは、その時処理されて
いるトレーニング入力に対応するフィーチャ・ベクトル
が、異なる既知の出力に関連する既存のニューロンによ
って包含されている場合には、それらの既存のニューロ
ンの境界がそのフィーチャ・ベクトルを排除するように
空間的に調整される。即ち、そのフィーチャ・ベクトル
がそれらの既存ニューロンの境界内に入らないように空
間的に調整される。それ以外の場合には、ニューロンの
空間的調整は行われない。例えば、その時のトレーニン
グ入力がキャラクタ”Ｒ”に対応し、そのトレーニング
入力に対応するフィーチャ・ベクトルが２つの既存の”
Ｐ”ニューロンと１つの”Ｂ”ニューロンとによって囲
まれている時は、これらの３つの既存のニューロンの境
界が、その時のフィーチャ・ベクトルを包囲しないよう
に空間的に調整される。
【００５７】第２のトレーニング・ルールはその時のフ
ィーチャ・ベクトルが、同じ既知の出力に関連する少な
くとも１つの既存のニューロンによって包囲されていな
い場合には、新しいニューロンが形成されることであ
る。それ以外の場合には、その時のフィーチャ・ベクト
ルに対して新しいニューロンは生成されない。例えば、
その時のトレーニング入力がキャラクタ”Ｗ”に関連
し、そのトレーニング入力に対応するフィーチャ・ベク
トルがキャラクタ”Ｗ”に対応する既存のニューロンの
どれによっても包囲されていない場合は、その時のフィ
ーチャ・ベクトルを取り囲むように新しい”Ｗ”ニュー
ロンが形成される。推奨実施例では、新しいニューロン
は、一時的なハイパー球形（ｈｙｐｅｒ−ｓｐｈｅｒｉ
ｃａｌ）ニューロンを生成し、次に、その一時的ニュー
ロンを空間的に調整して新しいニューロンを造る。また
別の推奨実施例では、この一時的ニューロンは非球形ハ
イパー楕円である。
【００５８】この発明の推奨実施例においては、トレー
ニング・システム５００は、既知のキャラクタに対応す
る１組のトレーニング・ビットマップ入力からハイパー
楕円形ニューロンを発生する。トレーニング・システム
５００は、存在しないフィーチャ・ベクトルと存在しな
いニューロンからスタートする。トレーニング・システ
ム５００の処理は手段５０２で始まり、手段５０２はそ
の時のトレーニング入力として１組のトレーニング入力
から１番目のトレーニング入力を選択する。手段５０４
がその時のトレーニング入力に対応するフィーチャ・ベ
クトルＦを発生する。
【００５９】１番目のトレーニング入力がその時のトレ
ーニング入力である時は、既存のニューロンはなく、従
って、フィーチャ・ベクトルＦを包囲する既存のニュー
ロンもない。その場合には、トレーニング・システム５
００の処理は手段５１４に進み、そこでフィーチャ・ベ
クトルＦを中心にした新しいニューロンが形成される。
この新しいニューロンは、好ましくは、数３の式（３）
によって規定され、その場合、全ての新しいニューロン
軸は同じ長さに設定される。即ち、全てのｊについて
（ｂj ＝λ）とされる。新しいニューロン軸が全て同じ
長さなので、この新しいニューロンは半径λのフィーチ
ャ空間内のハイパー球である。推奨実施例では、定数λ
の値は、トレーニング入力の組全体に対する全てのフィ
ーチャ・ベクトルＦの中の最大フィーチャ要素ｆj の２
倍となろう。一番目のトレーニング入力を処理する時は
既存のフィーチャ・ベクトルがないので、トレーニング
・システム５００は手段５２８（図６）に進む。この点
からは、トレーニング・システム５００の処理はもっと
一般的な形で説明できる。
【００６０】手段５２８はその時のトレーニング入力が
その組のトレーニング入力の中の最後のトレーニング入
力であるか否かを判断する。それが最後のトレーニング
入力でない場合は、手段５２８はトレーニング・システ
ム５００の処理を手段５３０（図５）に進め、ここで次
のトレーニング入力がその時のトレーニング入力として
選択される。次いで、手段５０４がその時のトレーニン
グ入力に対応するフィーチャ・ベクトルＦを発生する。
【００６１】手段５０６と５０８は既存のニューロンが
あれば、フィーチャ・ベクトルＦが包囲されないように
するために、どの既存ニューロンを空間的に調整するか
を決める。推奨実施例においては、手段５１０が、ある
既存のニューロンがその時のトレーニング入力と同じ既
知のキャラクタに関連しておらず（これは手段５０６に
よって判断される）、かつ、そのニューロンがフィーチ
ャ・ベクトルＦを包囲している（これは手段５０８によ
って判断される）時、そのニューロンを調整する。手段
５０８は、前述したように、数４の式（４）の「距離」
の値ｒｘを計算し検査し、また、（ｒｘ＜１）か否かを
検査することにより、既存のニューロンがフィーチャ・
ベクトルＦを包囲しているか否かを判断する。
【００６２】推奨実施例においては、手段５１０はある
既存のニューロンをその１つの軸にのみに沿って最適に
収縮させることによって空間的に調整する。別の推奨実
施例においては、手段５１０は１またはそれ以上の軸に
沿って比例関係をもって既存のニューロンを収縮させ
る。これらの収縮法については後で詳細に説明する。手
段５１０による処理の後、その時のフィーチャ・ベクト
ルは、そのトレーニング入力に関係するキャラクタとは
異なるキャラクタに関連するいかなる既存のニューロン
によっても包囲されない。従って、その時のフィーチャ
・ベクトルはそのような既存のニューロンの外側または
境界線上に位置することになる。
【００６３】トレーニング・システム５００は新しいニ
ューロンを造るべきか否かを判断し、造るべきであると
判断した場合には、その新しいニューロンを造る。フィ
ーチャ・ベクトルＦが、トレーニング入力と同じキャラ
クタに関連するどのような既存のニューロンによっても
包囲されていない（これは手段５１２によって判断され
る）時は、新しいニューロンが（手段５１４によって）
形成される。前述したように、手段５１４は、好ましく
は半径λのハイパー球である新しいニューロンを形成す
る。
【００６４】トレーニング・システム５００は手段５１
４によって形成された新しいニューロンの各々を検査
し、必要な場合は、空間的に調整して、そのトレーニン
グ入力に関連するキャラクタと異なるキャラクタに関連
するいかなる既存のフィーチャ・ベクトルも包囲しない
ようにする。手段５１６、５２４及び５２６は、一時に
１つの既存フィーチャ・ベクトルを選択することによっ
て新しいニューロンを既存のフィーチャ・ベクトルの各
々と対比する検査のシーケンスを制御する。新しいニュ
ーロンがその時に選択されている既存フィーチャ・ベク
トルのキャラクタと異なるキャラクタに関連しており
（これは手段５１８によって判断される）、その新しい
ニューロンがその選択されている既存フィーチャ・ベク
トルを包囲している（これは式（４）を用いて、手段５
２０によって判断される）場合は、手段５２４は、手段
５１０によって採用されたと同じ収縮用アルゴリズムの
１つによって新しいニューロンを空間的に調整する。ト
レーニング・システム５００は、全ての既存フィーチャ
・ベクトルが処理されてしまうまで、新しいニューロン
の検査と調整を続ける。手段５１４によって形成された
ハイパー球形ニューロンは手段５２２によって調整され
るので、そのハイパー球形ニューロンは同じ長さの一時
的ニューロン軸を持った一時的ニューロンである。その
後トレーニングシステム５００の処理は手段５２８へと
進み、次のトレーニング入力の選択が制御される。
【００６５】推奨実施例においては、ある与えられた入
力について既存ニューロンを収縮させるステップ（１）
と、その同じ入力について形成された新しいニューロン
を形成し収縮させるステップ（２）を平行して行うこと
ができる。当業者には、これらの２つのステップが、ど
の順にでも、順番に実施できることは理解できよう。
【００６６】推奨実施例では、そのトレーニング入力の
組中のトレーニング入力の全てが順次処理された後、手
段５２８はトレーニング・システム５００の処理を手段
５３２（図６参照）に進める。１組のトレーニング入力
をそれに対応するフィーチャ・ベクトルで処理した後
は、フィーチャ空間にはフィーチャ・ベクトルとニュー
ロンの双方が配置される。その組のトレーニング入力を
一時に処理した後、幾つかのフィーチャ・ベクトルがど
のニューロンによっても包囲されていない場合があろ
う。これは、トレーニング処理中のある点において同じ
キャラクタのニューロンによって包囲されていたフィー
チャ・ベクトルが、それらのニューロンが異なるキャラ
クタに関連する後のフィーチャ・ベクトルを排除するよ
うに収縮された時に、それらのニューロンの外に追いや
られてしまう場合に生じる。そのような状況では、手段
５３２は処理を手段５０２に返して、その組全体のトレ
ーニング入力の処理を繰り返させる。この処理の繰り返
しの時に、以前に形成されたニューロンは保持される。
このトレーニング処理を繰り返すことにより、各繰り返
し毎に新しいニューロンが形成されて、最後には、各フ
ィーチャ・ベクトル全てが対応する適正な出力に関連す
る１またはそれ以上のニューロンによって包囲されるこ
とになり、また、どのフィーチャ・ベクトルも別の可能
な出力に関連するニューロンによって包囲されることは
ない。さらに、この繰り返しトレーニングは、最大繰り
返し数をトレーニング入力の総数に等しくしてある有限
時間に収斂させることができる。
【００６７】トレーニング・システム５００がその処理
を完了した後では、フィーチャ空間にはニューロンが配
置されており、このフィーチャ空間は特徴づけシステム
（分類システム）３００または４００で使用され、未知
の入力を複数の可能性のある出力の１つに分類する。
【００６８】最適１軸収縮処理 前にも述べたように、推奨実施例においては、トレーニ
ング・システム５００は、ある特定のフィーチャ・ベク
トルを排除するために、ハイパー楕円ニューロンの境界
を１本の軸に沿って最適に収縮させることにより空間的
に調整する。トレーニング・システム５００の手段５１
０と５２２がこの１軸収縮処理を、（１）収縮させるべ
き軸を識別し、（２）その軸についての新しい長さを計
算することによって行う。
【００６９】トレーニング・システム５００は収縮させ
るべき軸ｎを数９の式（９）に従って識別する。
【数９】 ここで、関数「ａｒｇｍａｘ」は、０からｋ−１の任意
のｉに対して角括弧中の式を最大にするｉの値を生じる
ものであり、ｃj とｂj はそれぞれ調整されるべきニュ
ーロンの中心点と軸の長さを規定し、ｆj はそのニュー
ロンによって排除されるべきフィーチャ・ベクトルを規
定する。
【００７０】トレーニング・システム５００は、数１０
の式（１０）によって軸ｎに対する新しい長さｂn を計
算する。
【数１０】 １軸収縮においては、他の全ての軸は元の長さｂj を維
持する。
【００７１】元のハイパー楕円ニューロンを式（９）と
（１０）に従って１軸収縮処理すると、次の４つの条件
を満たす最大ハイパー・ボリュームＶを持った調整され
たニューロンが得られる。 １．調整後のニューロンがハイパー楕円であること。 ２．元のニューロンの中心点が調整後のニューロンの中
心点と同じであること。 ３．排除されるべきフィーチャ・ベクトルが調整後のニ
ューロンの境界線上にあること。 ４．調整後のニューロンの境界線内または境界線上の全
ての点が元のニューロンの境界線内または境界線上にあ
ること。 ハイパー・ボリュームＶは数１１の式（１１）によって
表される。
【数１１】 ここで、Ｃk はｋの値によって決まる定数であり、ｋは
フィーチャ空間の次元であり、ｂj は調整後のニューロ
ンを規定する軸の長さである。従って、１軸収縮は、こ
の発明によるニューロンを最適調整するための第１の方
法を提供する。
【００７２】比例収縮アルゴリズム 別の推奨実施例においては、トレーニング・システム５
００は、ある特定のフィーチャ・ベクトルを排除するた
めに、１またはそれ以上の軸に沿って比例関係をもって
収縮処理を実行することによりハイパー楕円形ニューロ
ンの境界線を空間的に調整する。トレーニング・システ
ム５００の手段５１０と５２２は、軸の長さの変化Δｂ
j のベクトルΔＢを数１２の式（１２）によって計算す
ることにより比例収縮処理を実行する。
【数１２】 ここで、
【数１３】
【数１４】
【数１５】
【数１６】
【数１７】
【数１８】
【数１９】
【数２０】
【数２１】 である。但し、｜ｆ0 −ｃ0 ｜は（ｆ0 −ｃ0 ）の絶対
値、‖Ｆ−Ｃ‖はＦとＣの間のベクトル差の大きさ、ｃ
j とｂj はそれぞれ調整されるべきニューロンの中心点
と軸長を表し、ｆj はそのニューロンから除外されるべ
きフィーチャ・ベクトルの要素、αとγj は定数とする
ことができる。調整後のニューロンについての新しい軸
長ｂj ' は、０からｋ−１のｊに対して数２２の式（２
２）によって計算される。
【数２２】
【００７３】比例収縮では、トレーニング・システム５
００は調整されるべきニューロンの軸上へのベクトルの
投影を求める。このベクトルはそのニューロンの中心か
ら、排除されるべきフィーチャ・ベクトルに向いてい
る。これらの投影は式（１４）のコサインのベクトルに
よって表される。トレーニング・システム５００は、軸
の長さとその軸上への投影の長さの間の関係に基づい
て、各ニューロン軸をどれだけ収縮させるべきかを求め
る。
【００７４】推奨実施例では、式（１２）中の定数αは
１未満に選ばれる。この場合、トレーニング・システム
５００は繰り返し収縮処理を実行し、除外されるべきフ
ィーチャ・ベクトルが調整後のニューロンの外に出たこ
とが検出されるまで、ニューロンは複数の軸収縮ステッ
プにわたってゆっくりと調整される。推奨実施例におい
ては、パラメータγj は比例収縮によって最終的にフィ
ーチャ・ベクトルがニューロンの外に位置するようにす
るために、軸ｊの大きさの約０．００１倍の正の値に設
定される。別の推奨実施例では、パラメータγj は、フ
ィーチャ・ベクトルからゆっくりと調整されるニューロ
ンの境界までの距離に基づく誤り関数とすることができ
る。その場合には、トレーニング・システム５００はニ
ューロン調整用の比例積分制御器として動作することに
なる。
【００７５】トレーニング入力の順序 この発明の推奨実施例では、ニューロンを生成するため
にトレーニング・システムによって順に使用されるトレ
ーニング入力のセットは入力の質に従って編成すること
ができる。トレーニング入力は質の低いトレーニング入
力に進む前に、より高い質の入力でトレーニングするよ
うに順序づけすることができる。このトレーニング入力
をその質によって順序づけることにより、ニューロンが
高質の入力に対応するフィーチャ・ベクトルを中心に集
まるようにすることができる。このような順序づけした
トレーニングにより、分類システムを規定するために必
要なニューロンの数を少なくして、分類システムの動作
性能を向上させることができる。さらに、このような順
序づけにより、分類システムによってなされる誤った分
類（誤分類）の数を減じ、また分類がなされない回数を
減じることができる。誤分類はある入力がある可能な出
力に対応しているにも係わらず、分類システムが別の可
能な出力を選択する時に生じる。また、分類が行われな
い状態とは、分類システムが既知の出力の１つを選択せ
ずに、出力が選択されなかったという結果を出力する状
態をいう。
【００７６】図１（ａ）〜図１（ｄ）には、正常な文
字”０”、崩れた”０”、正常な”７”及び崩れた”
７”を表すビットマップが示されている。正常な入力は
ノイズを伴わない理想的な入力である。崩れた入力はノ
イズのために正常な入力から外れた入力である。崩れた
入力は制御されたノイズによっても、実際の予測不能な
ノイズによっても生じうる。
【００７７】推奨実施例では、この発明のトレーニング
・システムは３つの異なる質のレベルのトレーニング入
力でトレーニングを行うことができる。トレーニング入
力の第１のレベルは、図１（ａ）及び図１（ｃ）に示す
ような正常な入力である。トレーニング入力の第２のレ
ベルは制御されたノイズの入力で、正常な入力に対し
て、ある規定されたノイズ関数あるいは異なる特性を持
った信号を、独立してあるいは組み合わせて付加したこ
とによって生成されるタイプの崩れた入力である。トレ
ーニング入力の第３のレベルは実際のノイズの入力であ
り、文字の場合は、既知のキャラクタの光学的に取り出
した画像である第２のタイプの崩れた入力である。この
ような崩れた入力は現実の予測不能なノイズを持ってい
る。図１（ｂ）と図１（ｄ）が、現れ得る制御されたノ
イズの入力と実際のノイズの入力の例である。推奨実施
例では、正常な入力は最高の質を有し、制御されたノイ
ズの入力及び実際のノイズの入力の質は順次低下したも
のである。制御されたノイズ関数と供給される信号に応
じて、ある特定の制御されたノイズの入力の質は、ある
特定の実際のノイズの入力の質よりも高くもなるし、低
くもなる。
【００７８】それが制御されたノイズの入力であれ、実
際のノイズの入力であれ、ある特定の崩れた入力の質
は、その崩れた入力を同じ既知のキャラクタに対応する
正常な入力と比較することにより知ることができる。推
奨実施例では、質の測定はこれら２つの入力間のピクセ
ル数の差に基づいて行うことができる。別の推奨実施例
では、質の測定はグリッド・フィーチャ（Ｇｒｉｄ ｆ
ｅａｔｕｒｅ）測定とかアダマール・フィーチャ測定等
の通常のフィーチャ測定法に基づいて行うことができ
る。
【００７９】推奨実施例では、この発明のトレーニング
・システムは最初正常入力でトレーニングを行い、次い
で、その後、崩れた制御されたノイズの入力及び実際の
ノイズの入力でトレーニングを行う。この推奨実施例で
は、図１（ａ）と図１（ｃ）に対応する入力でのトレー
ニングは、図１（ｂ）及び図１（ｄ）によるトレーニン
グに先行する。別の推奨実施例では、トレーニング・シ
ステムは、次の既知のキャラクタに進む前に、同じ既知
のキャラクタの全ての入力でトレーニングを行い、各既
知のキャラクタのトレーニング入力は質に応じて内部的
に編成される。この推奨実施例においては、図１（ａ）
に対応する入力でのトレーニングは図１（ｂ）によるト
レーニングに先行し、図１（ｃ）によるトレーニングは
図１（ｄ）によるトレーニングに先行する。この技術分
野に係わる者には、入力の全てによるトレーニングの正
確な全体的なシーケンスの方が、各異なる既知のキャラ
クタについて質に応じて順序づけする方より重要性は低
いことは理解されよう。
【００８０】ニューロンの改善 この発明のトレーニング・システムがトレーニングを終
了した後は、フィーチャ空間にはフィーチャ・ベクトル
を包囲するニューロンが配置されている。そのフィーチ
ャ・ベクトルの各１つが各個別のトレーニング入力に対
応している。各ニューロンは１またはそれ以上のフィー
チャ・ベクトル、即ち、そのニューロンを造りだすため
に用いられたそのニューロンの中心に位置するフィーチ
ャ・ベクトルと、恐らくは、同じ既知のキャラクタに関
連する入力に対応するフィーチャ・ベクトルとを包囲し
ている。
【００８１】順次トレーニングに使用するトレーニング
入力の質に応じた順序付けによっては、ある特定のニュ
ーロンがより効率的な態様で、あるいはより低い効率の
態様でフィーチャ・ベクトルを包囲する場合がある。例
えば、ある特定のニューロンを造りだすために用いたフ
ィーチャ・ベクトルが相当崩れた入力に対応している場
合は、そのフィーチャ・ベクトルはそのニューロンの中
心に位置するであろう。その同じニューロンはまた、正
常な入力及び崩れの程度が少ない入力に対応する他のフ
ィーチャ・ベクトルを包囲している可能性もある。この
ようなニューロンはその組のフィーチャ・ベクトルを包
囲するための最も効率的なニューロンでない可能性があ
る。そのようなニューロンを用いる分類システムは、も
っと効率的なニューロンを用いるシステムに較べて、誤
分類や分類もれなどが多くなろう。
【００８２】この発明の改善システムはトレーニング中
に生成されたニューロンをより効率の高いニューロンを
形成するように空間的に調整する。この改善システムは
ある特定のニューロンによって包囲されたフィーチャ・
ベクトルの空間的分布の特徴を記述し、そのニューロン
を空間的に調整する。このような空間的調整処理にはニ
ューロンをそのニューロンのその時の中心点からそれら
のフィーチャ・ベクトルの空間的分布の平均値に移動さ
せるという処理が含まれている。ニューロンの移動後
に、同じ出力キャラクタのフィーチャ・ベクトルがその
ニューロンによって包囲されるように、かつ、異なる出
力キャラクタのフィーチャ・ベクトルが排除されるよう
に、軸の長さを調整することができる。
【００８３】別の実施例では、この改善システムは、同
じフィーチャ・ベクトルをより効率的に包囲する１乃至
それ以上のニューロンを造るために、同じキャラクタの
２またはそれ以上のニューロンを空間的に調整する。こ
の場合、１つの元のニューロンからのフィーチャ・ベク
トルが別のより効率的なニューロンによって包囲され
る。例えば、改善前は、第１のニューロンがフィーチャ
・ベクトルＦ1 、Ｆ2 及びＦ3 を包囲しており、第２の
ニューロンがフィーチャ・ベクトルＦ4 、Ｆ5 、Ｆ6 及
びＦ7 を包囲していると仮定すると、改善後、フィーチ
ャ・ベクトルＦ1、Ｆ2 、Ｆ3 及びＦ4 は例えば、第３
のニューロンによって包囲され、フィーチャ・ベクトル
Ｆ5 、Ｆ6 及びＦ7 が第４のニューロンによって包囲さ
れ、これらの第３と第４のニューロンの中心と軸の長さ
が、第１と第２のニューロンのどれとも異なるというこ
とも生じる。
【００８４】クラスタ分類器を有する分類システム この発明の第１の推奨実施例では、分類システムは入力
を、分類されるべき各入力について、フィーチャ・ベク
トルをフィーチャ空間中の全てのニューロンと比較する
ことによって、１組の可能な出力中の１つに分類する。
このような分類システムが図３と図４に示されている。
【００８５】図７にはこの発明の第２の推奨実施例であ
る分類システム６００が示されている。このシステム６
００では、入力はニューロンとクラスタ分類器を用いて
１組の可能な出力の１つに分類される。分類システム６
００は上位レベルの分類器６０２と２以上のクラスタ分
類器６０４、６０６、・・・、６０８を含んでいる。上
位レベル分類器６０２は入力を適当な入力のクラスタに
分類する。例えば、分類システム６００によってキャラ
クタを分類する場合、上位レベル分類器６０２は光学的
に取り出したキャラクタに対応する入力ビットマップを
キャラクタのクラスタに分類する。
【００８６】共に類別（クラスタ化）されるキャラクタ
は同様のビットマップによって表されるもの、即ち、換
言すれば、フィーチャ空間中で互いに近接したフィーチ
ャ・ベクトルに関連するキャラクタである。例えば、第
１のキャラクタのクラスタはキャラクタＤ、ＰＮＲ及び
Ｂに対応する。第２のキャラクタ・クラスタはキャラク
タＯ、Ｃ、Ｄ、Ｕ及びＱに対応する。また第３のキャラ
クタ・クラスタは例えば、キャラクタＺのようなただ１
つのキャラクタに対応する。ある特定のキャラクタが１
またはそれ以上のキャラクタ・クラスタに属している場
合もあり得る。この例の場合では、キャラクタＤはその
ビットマップが第１と第３のキャラクタ・クラスタのビ
ットマップに類似しているために、両方のクラスタに属
している。
【００８７】推奨実施例では、トレーニングを行う前
に、キャラクタがコンフュージョン・マトリクスに基づ
いて類別される。コンフュージョン・マトリクスは、考
えられるキャラクタ対全てについて、１つのキャラクタ
が他のキャラクタと混同される可能性を表す。一般的に
言って、１つのキャラクタのフィーチャ・ベクトルが他
のキャラクタのフィーチャ・ベクトルに近ければ近い
程、これら２つのキャラクタが混同される可能性が高く
なる。例えば、キャラクタＤはそのフィーチャ・ベクト
ルがＭに対するフィーチャ・ベクトルよりもＯに対する
フィーチャ・ベクトルに近ければ、Ｍに対するよりも、
Ｏに対して混同される可能性が高いことになる。
【００８８】推奨実施例では、キャラクタのクラスタリ
ングは、通常のＫミーンズ（Ｋ−ｍｅａｎｓ）クラスタ
リング・アルゴリズムに基づいて行われ、これによれ
ば、各々がフィーチャ空間中の点であるテンプレートの
組が各キャラクタに対して指定される。Ｋミーンズ・ク
ラスタリング・アルゴリズムは、ある特定のキャラクタ
のテンプレートの位置を、そのキャラクタに対応するト
レーニング入力の全てのものに対するフィーチャ・ベク
トルの位置を分析することによって、フィーチャ空間中
のどの位置にするかを決める。好ましくは、テンプレー
トは、関連するフィーチャ・ベクトルのクラスタの演算
手段の近くに配置する。
【００８９】推奨実施例においては、各キャラクタに４
つのテンプレートを用いることができ、クラスタ当たり
のキャラクタの数はほぼ同数である。例えば、アルファ
ベットの２６の大文字、２６の小文字、１０個の数字、
及び記号「＆」と「＃」に対応する６４個のキャラクタ
を分類する時、４×６４、即ち２５６個のテンプレート
を用いてほぼ同数のキャラクタからなる７つの異なるク
ラスタを形成することができる。
【００９０】キャラクタをクラスタリングすることによ
り、上位レベル分類器６０２は、各入力に対する適切な
クラスタを速く且つ正確に求める分類アルゴリズムを実
行に移すことができる。推奨実施例では、上位レベル分
類器６０２はニューロンをベースにした分類アルゴリズ
ムを実行する。別の推奨実施例では、他の通常の非ニュ
ーラル分類アルゴリズムが上位レベル分類器６０２によ
って実行される。上位レベル分類器６０２は特定の入力
に対して適切なクラスタを選択し、適切なクラスタ分類
器６０４、６０６、・・・、６０８で続いて処理がなさ
れるようにする。各クラスタ分類器はキャラクタ・クラ
スタの中の１つのみに関連して設けられており、逆に、
１つのキャラクタ・クラスタはただ１つのクラスタ分類
器に関係している。
【００９１】１つの推奨実施例においては、各クラスタ
分類器はそのキャラクタ・クラスタ特有の、あるいはキ
ャラクタ・クラスタ総数の１つのサブセットのみによっ
て共有される分類アルゴリズムを実施する。従って、各
クラスタ分類器はそのキャラクタ・クラスタに特有のフ
ィーチャ空間に存在するニューロンを用いる。例えば、
Ｐ、Ｒ、Ｂクラスタのためのトレーニングには、グリッ
ド・フィーチャのある特定の組を用い、一方、Ｏ、Ｃ、
Ｄ、Ｕ、Ｑクラスタのトレーニングにはアダマール・フ
ィーチャの別のセットを用いることができる。その場
合、異なるトレーニング手順が異なるクラスタ分類器の
各々に対して採用され、関連するクラスタのキャラクタ
に対応する入力のみが、異なるトレーニング手順の各々
に対して用いられる。
【００９２】この発明の第３の推奨実施例では、図７に
示す分類システムは入力を、ニューロンとクラスタ分類
器を用いて１組の可能な出力の１つに分類する。この第
３の実施例においては、上位レベルの分類器６０２は、
フィーチャ空間中で、分類されるべきその時の入力に対
するフィーチャ・ベクトルに最も近いテンプレートを識
別する。識別されたテンプレートは１またはそれ以上の
キャラクタ・クラスタに属するある特定のキャラクタに
関連付けられる。上位レベル分類器６０２は、最も近い
テンプレートのキャラクタ・クラスタに関係するクラス
タ分類器６０４、６０６、・・・、６０８のみに処理が
継続されるようにする。ある特定のキャラクタは２以上
のキャラクタ・クラスタに属する場合があるので、上位
レベルの分類器６０２によって２以上のクラスタ分類器
が処理のために選択されることもある。
【００９３】第４の推奨実施例においては、各クラスタ
分類器には、ある与えられた入力について処理されるべ
きニューロンを識別するデシジョン・ツリー（決定木構
造）を設けることができる。分類に先立って、ある特定
のクラスタ分類器に対するフィーチャ・ベクトル空間が
フィーチャ空間におけるフィーチャ・ベクトル及び／ま
たはニューロンの分布に従って領域に分割される。各領
域は１またはそれ以上のニューロンを含み、各ニューロ
ンは２以上の領域に属することがあり、２またはそれ以
上の領域が互いに重なりあう可能性がある。上位レベル
分類器６０２は、どの（単数または複数の）フィーチャ
空間領域にその時の入力に対するフィーチャ・ベクトル
が有るかを判断し、また、選択されたクラスタ分類器が
その（１または複数の）領域に関連するニューロンのみ
を処理するようにすることができる。
【００９４】この技術分野の者には理解されるように、
この発明による分類システムの幾つかの実施例ではクラ
スタ分類器を用いずに、デシジョン・ツリーを用いるこ
とができるし、あるものではデシジョン・ツリーを用い
ずにクラスタ分類器を用いることができ、またあるもの
では両方を用いることができる。さらに、あるもので
は、その両方を用いない場合もある。さらに、デシジョ
ン・ツリー及びクラスタ分類器を用いると、処理時間が
短縮されるので、この発明の分類システムの効率が向上
する。
【００９５】この技術分野の者には理解されるように、
この発明の分類システムは直列形式または並列形式のい
ずれにも構成できる。例えば、ある推奨実施例では、グ
リッド・フィーチャに基づく第１のキャラクタ分類器を
アダマール・フィーチャに基づく第２のキャラクタ分類
器と直列に配列することができる。その場合、第１の分
類器は既知のキャラクタの１つとしてのある特定のビッ
トマップ入力を分類するか、あるいはその入力を分類し
ない。第１の分類器がその入力を分類しない場合は、第
２の分類器がその入力の分類を試みる。
【００９６】別の実施例では、２以上の異なる分類器が
並列に配列される。その場合、異なる各分類器の出力を
比較することにより適切な出力を選択するために、ボー
ティング（ｖｏｔｉｎｇ）法を採用することができる。
【００９７】推奨実施例においては、この発明の分類シ
ステムとトレーニング・システムは、各楕円処理ユニッ
トが分類処理中別々のコンピュータ・プロセッサで動作
する、並列処理を行う。但し、この技術分野の者には理
解されるように、これらのシステムは直列処理を行うよ
うにすることもできる。ある推奨実施例では、分類シス
テムとトレーニング・システムは、縮小命令セットコン
ピュータ（ｒｅｄｕｃｅｄ ｉｎｓｔｒｃｕｔｉｏｎ
ｓｅｔ ｃｏｍｐｕｔｅｒ， ＲＩＳＣ）プロセッサ、
例えば、サン・マイクロシステム社（Ｓｕｎ Ｍｉｃｒ
ｏｓｙｓｔｅｍｓ）から市販されているＳＰＡＲＣｓｔ
ａｔｉｏｎ ２で動作するＳＰＡＲＣ２プロセッサにあ
るようにすることができる。
【００９８】この技術分野の者には理解できるように、
キャラクタ画像以外の入力もこの発明の分類システムに
よって分類できる。一般的に言うと、どのような入力で
も２以上の可能な出力からなる組の中の１つの出力とし
て分類でき、その場合、非選択結果（選択が行われなか
ったという結果）も可能な出力の１つである。例えば、
この発明の分類システムは人間を、その顔、指紋あるい
は耳たぶのようなものの画像に基づいてでも識別するた
めに用いることができるし、また、人の声の録音からそ
の人を識別することにも使用できる。
【００９９】さらに、この発明の特徴を説明するために
記述し図示した装置の詳細、材料あるいは構成等に対す
る種々の変形が、この発明の原理及び範囲を逸脱するこ
となく、この技術分野の者には可能である。
【図面の簡単な説明】
【図１】図１（ａ）〜図１（ｄ）はそれぞれ、正常な文
字「０」、崩れた文字「０」、正常な文字「７」及び崩
れた文字「７」のビットマップ表示である。
【図２】文字Ａ、Ｂ、Ｃの画像を分類するためにこの発
明の分類システムが用いることのできる８個の楕円形ニ
ューロンがある二次元フィーチャ空間を示す。
【図３】この発明の推奨実施例に従って入力を分類する
ための処理フローダイアグラムである。
【図４】図３の分類システムの一部の概略図である。
【図５】図３の分類システムで使用されるニューロンを
発生するための処理フローダイアグラムの一部である。
【図６】図３の分類システムで使用されるニューロンを
発生するための処理フローダイアグラムの一部であっ
て、図５のフローダイアグラムに接続するものである。
【図７】この発明の推奨実施例に従って入力を分類する
ためにクラスタ分類器を用いる分類システムの概略図で
ある。
【符号の説明】
３０２ フィーチャ・ベクトル発生手段 ３０４ 距離測定手段 ３０６ 選択手段 ３１０ 決定手段 ３１２ ボーティング手段 ３１６ 識別手段 ３１４、３１８ 選択手段
───────────────────────────────────────────────────── フロントページの続き (73)特許権者 593135480 55 Ｇｌｅｎｌａｋｅ Ｐａｒｋｗａ ｙ，Ｎ．Ｅ，．Ａｔｌａｎｔａ，Ｇｅｏ ｒｇｉａ 30328，Ｕｎｉｔｅｄ Ｓｔ ａｔｅｓｂ ｏｆ Ａｍｅｒｉｃａ (72)発明者 チー ピン リー アメリカ合衆国 コネテイカツト州 06810 ダンベリ ナンバー・34 コー ルピツト・ヒル・ロード 124 (56)参考文献 特開 平４−112354（ＪＰ，Ａ) 特開 昭60−126784（ＪＰ，Ａ) 特開 平３−296880（ＪＰ，Ａ) 特開 平４−84281（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) G06T 1/00 - 7/20

Claims (26)

    (57)【特許請求の範囲】
  1. 【請求項１】 ニューラル・ネットワーク型の入力分類
    装置において、捕捉画像等を表す入力を既知の画像等を
    表す複数の可能な出力の１つに分類する分類方法であっ
    て； （ａ）上記入力を表すフィーチャ・ベクトルを発生する
    ステップと； （ｂ）上記フィーチャ・ベクトルから、各々が上記複数
    の可能な出力の１つに関連する複数のニューロンの各々
    の中心までの距離の値を計算するステップと； （ｃ）上記複数のニューロンの中で上記フィーチャ・ベ
    クトルを包囲する各ニューロンを上記距離の値に従って
    選択するステップと； （ｄ）上記複数の可能な出力の各々に対して、上記各可
    能な出力に関連する上記選択されたニューロンの数の関
    数であるボートを求めるステップと； （ｅ）ある１つの可能な出力に対する１つのボートが他
    の全ての可能な出力に対する他の全ての各ボートよりも
    大きい場合に、その１つの可能な出力を上記入力に対応
    するものとして選択するステップと； （ｆ）可能な出力に対するいずれのボートも他の全ての
    可能な出力に対する他の全ての各ボートより大きくない
    場合に、上記複数のニューロンの中で最小の距離の値を
    持つ１つのニューロンを識別するステップと； （ｇ）上記最小の距離の値がある特定の値よりも小さい
    場合に、上記識別されたニューロンに関連する可能な出
    力を上記入力に対応するものとして選択するステップ
    と； を含む、分類方法。
  2. 【請求項２】 上記ステップ（ｄ）が、上記複数の可能
    な出力の各々に対して、上記各可能な出力に関連する上
    記選択されたニューロンの数に等しいボートを求めるス
    テップからなるものである、請求項１に記載の分類方
    法。
  3. 【請求項３】 捕捉画像等を表す入力を既知の画像等を
    表す複数の可能な出力の１つに分類するニューラル・ネ
    ットワーク型の入力分類装置において、ニューラル・ネ
    ットワークをトレーニングするトレーニング方法であっ
    て； （ａ）各々が第１の可能な出力に対応する複数のトレー
    ニング入力の各々と正規の入力との差を求めるステップ
    と； （ｂ）第１のトレーニング入力が第２のトレーニング入
    力よりも上記正規の入力との差が小さいものである場合
    に、上記第２のトレーニング入力を用いてニューラル・
    ネットワークをトレーニングする前に上記第１のトレー
    ニング入力を用いて上記ニューラル・ネットワークをト
    レーニングするステップと； を含む、トレーニング方法。
  4. 【請求項４】 上記複数のトレーニング入力はキャラク
    タを表すものであり、上記ステップ（ａ）は上記キャラ
    クタを表す上記複数のトレーニング入力の各々と上記正
    規の入力との差を求めるステップからなるものである、
    請求項３に記載のトレーニング方法。
  5. 【請求項５】 上記ステップ（ｂ）は既存のレベルの上
    記ニューラル・ネットワークにニューロンを追加するス
    テップを含むものであり；このニューロンは、上記第１
    のトレーニング入力に対応し、上記第１の可能な出力に
    関連し、種々の長さの２つ以上のニューロン軸によって
    規定される境界を有するものである、請求項３に記載の
    トレーニング方法。
  6. 【請求項６】 上記ステップ（ｂ）は既存のレベルの上
    記ニューラル・ネットワークにニューロンを追加するス
    テップを含むものであり；このニューロンは、上記第１
    のトレーニング入力に対応し、上記第１の可能な出力に
    関連するものであり； さらに、（ｃ）上記第１の可能な出力とは異なる第２の
    可能な出力に対応する少なくとも１つのトレーニング入
    力に従って上記ニューロンを空間的に調整するステップ
    を含む、請求項３に記載のトレーニング方法。
  7. 【請求項７】 上記ステップ（ｃ）は、上記ニューロン
    を空間的に調整して、種々の長さの２つ以上のニューロ
    ン軸によって規定される境界を有する調整されたニュー
    ロンを生成するステップからなるものである、請求項６
    に記載のトレーニング方法。
  8. 【請求項８】 上記第１のトレーニング入力は上記正規
    の入力を表すものであり、上記ステップ（ｂ）は、上記
    第２のトレーニング入力を用いて上記ニューラル・ネッ
    トワークをトレーニングする前に上記正規の入力を用い
    て上記ニューラル・ネットワークをトレーニングするス
    テップからなるものである、請求項３に記載のトレーニ
    ング方法。
  9. 【請求項９】 上記第２のトレーニング入力は実際の入
    力を表すものであり、上記ステップ（ｂ）は、上記実際
    の入力を用いて上記ニューラル・ネットワークをトレー
    ニングする前に上記第１のトレーニング入力を用いて上
    記ニューラル・ネットワークをトレーニングするステッ
    プからなるものである、請求項３に記載のトレーニング
    方法。
  10. 【請求項１０】 上記第１のトレーニング入力は上記第
    ２のトレーニング入力よりも高い信号対雑音比を有する
    ものであり、上記ステップ（ｂ）は、低い信号対雑音比
    を有する上記第２のトレーニング入力を用いて上記ニュ
    ーラル・ネットワークをトレーニングする前に高い信号
    対雑音比を有する上記第１のトレーニング入力を用いて
    上記ニューラル・ネットワークをトレーニングするステ
    ップからなるものである、請求項３に記載のトレーニン
    グ方法。
  11. 【請求項１１】 捕捉画像等を表す入力を既知の画像等
    を表す複数の可能な出力の１つに分類するニューラル・
    ネットワーク型の入力分類装置において、入力を表す複
    数のフィーチャ・ベクトルを包囲するニューロンを調整
    する調整方法であって； （ａ）複数のフィーチャ・ベクトルの空間分布を特徴記
    述するステップと、 （ｂ）上記複数のフィーチャ・ベクトルを包囲するニュ
    ーロンを上記ステップ（ａ）の特徴記述に従って空間的
    に調整するステップと、 を含み； 上記ニューロンは中心点を有し、 上記ステップ（ｂ）は上記ニューロンの上記中心点を上
    記空間分布の平均位置に向けて移動させるステップを含
    むものである、調 整方法。
  12. 【請求項１２】 上記ニューロンが、種々の長さの２つ
    以上のニューロン軸によって規定される境界を有するも
    のである、請求項１１に記載の調整方法。
  13. 【請求項１３】 上記移動したニューロンは２つ以上の
    ニューロン軸によって規定される境界を有しかつ上記複
    数のフィーチャ・ベクトルの全てを包囲している訳では
    なく、上記ステップ（ｂ）は、上記ニューロン軸の少な
    くとも１つの長さを変更して上記複数のフィーチャ・ベ
    クトルの全てが包囲されるようにするステップを含むも
    のである、請求項１１に記載の調整方法。
  14. 【請求項１４】 入力を表すフィーチャ・ベクトルを発
    生する発生手段と； 上記フィーチャ・ベクトルから、各々が複数の可能な出
    力の１つに関連する複数のニューロンの各々の中心まで
    の距離の値を計算する計算手段と； 上記複数のニューロンの中で上記フィーチャ・ベクトル
    を包囲する各ニューロンを上記距離の値に従って選択す
    る選択手段と； 上記複数の可能な出力の各々に対して、上記各可能な出
    力に関連する上記選択されたニューロンの数の関数であ
    るボートを求める決定手段と； ある１つの可能な出力に対する１つのボートが他の全て
    の可能な出力に対する他の全ての各ボートよりも大きい
    場合に、その１つの可能な出力を上記入力に対応するも
    のとして選択するボーティング手段と；可 能な出力に対するいずれのボートも他の全ての可能な
    出力に対する他の全ての各ボートより大きくない場合
    に、上記複数のニューロンの中で最小の距離の値を持つ
    １つのニューロンを識別する識別手段と； 上記最小の距離の値がある特定の値よりも小さい場合
    に、上記識別されたニューロンに関連する可能な出力を
    上記入力に対応するものとして選択する距離手段と； を具える、入力を複数の可能な出力の１つに分類する分
    類装置。
  15. 【請求項１５】 上記決定手段が、上記複数の可能な出
    力の各々に対して、上記各可能な出力に関連する上記選
    択されたニューロンの数に等しいボートを求める手段か
    らなるものである、請求項１４に記載の分類装置。
  16. 【請求項１６】 各々が第１の可能な出力に対応する複
    数のトレーニング入力の各々と正規の入力との差を求め
    る決定手段と；第１のトレーニング入力が第２のトレーニング入力より
    も上記正規の入力との差が小さいものである場合に、上
    記第２のトレーニング入力を用いてニューラル・ネット
    ワークをトレーニングする前に上記第１のトレーニング
    入力を用いて上記ニューラル・ネットワークをトレーニ
    ングするトレーニング手段と； を具える、ニューラル・ネットワークのトレーニング装
    置。
  17. 【請求項１７】 上記複数のトレーニング入力はキャラ
    クタを表すものであり、上記決定手段は上記キャラクタ
    を表す上記複数のトレーニング入力の各々と上記正規の
    入力との差を求める手段からなるものである、請求項１
    ６に記載のトレーニング装置。
  18. 【請求項１８】 上記トレーニング手段は既存のレベル
    の上記ニューラル・ネットワークにニューロンを追加す
    る手段を具えるものであり；このニューロンは、上記第
    １のトレーニング入力に対応し、上記第１の可能な出力
    に関連し、種々の長さの２つ以上のニューロン軸によっ
    て規定される境界を有するものである、請求項１６に記
    載のトレーニング装置。
  19. 【請求項１９】 上記トレーニング手段は既存のレベル
    の上記ニューラル・ネットワークにニューロンを追加す
    る手段を具えるものであり；このニューロンは、上記第
    １のトレーニング入力に対応し、上記第１の可能な出力
    に関連するものであり； さらに、上記第１の可能な出力とは異なる第２の可能な
    出力に対応する少なくとも１つのトレーニング入力に従
    って上記ニューロンを空間的に調整する調整手段を具え
    る、請求項１６に記載のトレーニング装置。
  20. 【請求項２０】 上記調整手段は、上記ニューロンを空
    間的に調整して、種々の長さの２つ以上のニューロン軸
    によって規定される境界を有する調整されたニューロン
    を生成する手段からなるものである、請求項１９に記載
    のトレーニング装置。
  21. 【請求項２１】 上記第１のトレーニング入力は上記正
    規の入力を表すものであり、上記トレーニング手段は、
    上記第２のトレーニング入力を用いて上記ニューラル・
    ネットワークをトレーニングする前に上記正規の入力を
    用いて上記ニューラル・ネットワークをトレーニングす
    る手段からなるものである、請求項１６に記載のトレー
    ニング装置。
  22. 【請求項２２】 上記第２のトレーニング入力は実際の
    入力を表すものであり、上記トレーニング手段は、上記
    実際の入力を用いて上記ニューラル・ネットワークをト
    レーニングする前に上記第１のトレーニング入力を用い
    て上記ニューラル・ネットワークをトレーニングする手
    段からなるものである、請求項１６に記載のトレーニン
    グ装置。
  23. 【請求項２３】 上記第１のトレーニング入力は上記第
    ２のトレーニング入力よりも高い信号対雑音比を有する
    ものであり、上記トレーニング手段は、低い信号対雑音
    比を有する上記第２のトレーニング入力を用いて上記ニ
    ューラル・ネットワークをトレーニングする前に高い信
    号対雑音比を有する上記第１のトレーニング入力を用い
    て上記ニューラル・ネットワークをトレーニングする手
    段からなるものである、請求項１６に記載のトレーニン
    グ装置。
  24. 【請求項２４】 複数のフィーチャ・ベクトルの空間分
    布を特徴記述する特徴記述手段と、 上記複数のフィーチャ・ベクトルを包囲するニューロン
    を上記特徴記述手段による特徴記述に従って空間的に調
    整する調整手段と、 を具え； 上記ニューロンは中心点を持ち、 上記調整手段は上記ニューロンの上記中心点を上記空間
    分布の平均位置に向け て移動させるものである、 複数のフィーチャ・ベクトルを包囲するニューロンを調
    整する調整装置。
  25. 【請求項２５】 上記ニューロンが、種々の長さの２つ
    以上のニューロン軸によって規定される境界を有するも
    のである、請求項２４に記載の調整装置。
  26. 【請求項２６】 上記移動したニューロンは２つ以上の
    ニューロン軸によって規定される境界を有しかつ上記複
    数のフィーチャ・ベクトルの全てを包囲している訳では
    なく、上記調整手段は上記ニューロン軸の少なくとも１
    つの長さを変更して上記複数のフィーチャ・ベクトルの
    全てが包囲されるようにするものである、請求項２４に
    記載の調整装置。
JP5174752A 1992-06-19 1993-06-21 入力分類方法、トレーニング方法、調整方法、及び装置 Expired - Fee Related JP2925435B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US90112392A 1992-06-19 1992-06-19
US901123 1992-06-19

Publications (2)

Publication Number Publication Date
JPH06176161A JPH06176161A (ja) 1994-06-24
JP2925435B2 true JP2925435B2 (ja) 1999-07-28

Family

ID=25413634

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5174752A Expired - Fee Related JP2925435B2 (ja) 1992-06-19 1993-06-21 入力分類方法、トレーニング方法、調整方法、及び装置

Country Status (6)

Country Link
US (4) US5452399A (ja)
EP (3) EP0944021B1 (ja)
JP (1) JP2925435B2 (ja)
AT (1) ATE279758T1 (ja)
DE (3) DE69333664T2 (ja)
ES (1) ES2150431T3 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69333664T2 (de) * 1992-06-19 2005-11-17 United Parcel Service Of America, Inc. Verfahren und Gerät zur Einstellung eines Neurons
EP0612035B1 (en) * 1993-02-19 2002-01-30 International Business Machines Corporation Neural net for the comparison of image pattern features
US6081766A (en) * 1993-05-21 2000-06-27 Axys Pharmaceuticals, Inc. Machine-learning approach to modeling biological activity for molecular design and to modeling other characteristics
JP3630734B2 (ja) * 1994-10-28 2005-03-23 キヤノン株式会社 情報処理方法
US6466926B1 (en) * 1996-03-06 2002-10-15 Hewlett-Packard Company Method for optimizing a recognition dictionary to distinguish between patterns that are difficult to distinguish
JPH10143613A (ja) 1996-10-30 1998-05-29 Hewlett Packard Co <Hp> パタン認識方法
US6049793A (en) * 1996-11-15 2000-04-11 Tomita; Kenichi System for building an artificial neural network
US6671404B1 (en) 1997-02-14 2003-12-30 Hewlett-Packard Development Company, L.P. Method and apparatus for recognizing patterns
US5966460A (en) * 1997-03-03 1999-10-12 Xerox Corporation On-line learning for neural net-based character recognition systems
US6336109B2 (en) * 1997-04-15 2002-01-01 Cerebrus Solutions Limited Method and apparatus for inducing rules from data classifiers
US6061472A (en) * 1997-06-06 2000-05-09 Microsoft Corporation Method and mechanism to reduce handwriting recognizer errors using multiple decision trees
US6134344A (en) * 1997-06-26 2000-10-17 Lucent Technologies Inc. Method and apparatus for improving the efficiency of support vector machines
US6122399A (en) * 1997-09-04 2000-09-19 Ncr Corporation Pattern recognition constraint network
DE69802372T4 (de) 1998-02-05 2003-01-23 Intellix As Frederiksberg Klassifizierungssystem und -verfahren mit N-Tuple- oder RAM-basiertem neuronalem Netzwerk
AU761730B2 (en) * 1998-12-03 2003-06-05 Samsung Electronics Co., Ltd. Subscriber identification system
US6366897B1 (en) 1999-07-26 2002-04-02 Hnc Software, Inc. Cortronic neural networks with distributed processing
US6694301B1 (en) * 2000-03-31 2004-02-17 Microsoft Corporation Goal-oriented clustering
US20040042665A1 (en) * 2002-08-30 2004-03-04 Lockheed Martin Corporation Method and computer program product for automatically establishing a classifiction system architecture
US20040186815A1 (en) * 2002-12-20 2004-09-23 Stockfisch Thomas P. Method for accommodating missing descriptor and property data while training neural network models
US7493295B2 (en) * 2003-01-17 2009-02-17 Francisco J. Ayala Method, system and computer program for developing cortical algorithms
JP2007504576A (ja) * 2003-01-17 2007-03-01 アヤラ，フランシスコ，ジェイ 人工知能を開発するためのシステム及び方法
US8260730B2 (en) * 2005-03-14 2012-09-04 Hewlett-Packard Development Company, L.P. Method of, and system for, classification count adjustment
WO2007056803A1 (en) * 2005-11-15 2007-05-24 Bernadette Garner Method for training neural networks
US8175394B2 (en) * 2006-09-08 2012-05-08 Google Inc. Shape clustering in post optical character recognition processing
CN101510262B (zh) * 2009-03-17 2012-05-23 江苏大学 一种钢中析出粒子的自动测量及其形态分类方法
US9041566B2 (en) * 2013-08-30 2015-05-26 International Business Machines Corporation Lossless compression of the enumeration space of founder line crosses
CN107239786B (zh) 2016-03-29 2022-01-11 阿里巴巴集团控股有限公司 一种字符识别方法和装置
CN106935035B (zh) * 2017-04-07 2019-07-23 西安电子科技大学 基于ssd神经网络的违章停车车辆实时检测方法
RU2693916C1 (ru) 2018-04-09 2019-07-05 Общество с ограниченной ответственностью "Аби Продакшн" Распознавание символов с использованием иерархической классификации
CN110533018B (zh) * 2018-05-23 2022-02-25 北京国双科技有限公司 一种图像的分类方法及装置
US10834106B2 (en) 2018-10-03 2020-11-10 At&T Intellectual Property I, L.P. Network security event detection via normalized distance based clustering
US11227176B2 (en) * 2019-05-16 2022-01-18 Bank Of Montreal Deep-learning-based system and process for image recognition
RU2723293C1 (ru) 2019-08-29 2020-06-09 Общество с ограниченной ответственностью "Аби Продакшн" Идентификация полей и таблиц в документах с помощью нейронных сетей с использованием глобального контекста документа
RU2721189C1 (ru) 2019-08-29 2020-05-18 Общество с ограниченной ответственностью "Аби Продакшн" Детектирование разделов таблиц в документах нейронными сетями с использованием глобального контекста документа
CN110866565B (zh) * 2019-11-26 2022-06-24 重庆邮电大学 一种基于卷积神经网络的多分支图像分类方法
RU2760471C1 (ru) 2020-12-17 2021-11-25 АБИ Девелопмент Инк. Способы и системы идентификации полей в документе

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5035379B1 (ja) * 1970-05-25 1975-11-15
US3950733A (en) * 1974-06-06 1976-04-13 Nestor Associates Information processing system
US4044243A (en) * 1976-07-23 1977-08-23 Nestor Associates Information processing system
US4326259A (en) * 1980-03-27 1982-04-20 Nestor Associates Self organizing general pattern class separator and identifier
US4599698A (en) * 1983-05-02 1986-07-08 United Technologies Corporation Aircraft trim actuator shutdown monitor system and method
JPH0638276B2 (ja) * 1983-12-14 1994-05-18 株式会社日立製作所 パターン識別装置
US4599693A (en) * 1984-01-16 1986-07-08 Itt Corporation Probabilistic learning system
US5054093A (en) * 1985-09-12 1991-10-01 Cooper Leon N Parallel, multi-unit, adaptive, nonlinear pattern class separator and identifier
JPS62133589A (ja) * 1985-12-05 1987-06-16 Mitsubishi Heavy Ind Ltd パタ−ン記憶識別装置
JPH0233687A (ja) * 1988-07-22 1990-02-02 Nec Corp マルチフォント文字認識用ニューラルネットワーク学習方法
JPH0735591B2 (ja) * 1988-07-27 1995-04-19 三菱重工業株式会社 酸洗前処理装置
JPH0242392A (ja) * 1988-08-03 1990-02-13 Central Res Inst Of Electric Power Ind 原子炉容器の耐震支持構造
US5046020A (en) * 1988-12-16 1991-09-03 E. I. Du Pont De Nemours And Company Distributed parallel processing network wherein the connection weights are generated using stiff differential equations
US5010512A (en) * 1989-01-12 1991-04-23 International Business Machines Corp. Neural network having an associative memory that learns by example
DE69031842T2 (de) * 1989-02-20 1998-04-16 Fujitsu Ltd Lernsystem und Lernverfahren für eine Datenverarbeitungsvorrichtung
US4954963A (en) * 1989-03-02 1990-09-04 Texas Instruments Incorporated Neural network and system
US5293454A (en) * 1989-03-08 1994-03-08 Sharp Kabushiki Kaisha Learning method of neural network
JPH0821065B2 (ja) * 1989-03-13 1996-03-04 シャープ株式会社 文字認識装置
JPH0738186B2 (ja) * 1989-03-13 1995-04-26 シャープ株式会社 自己拡張形ニユーラル・ネットワーク
JPH02242392A (ja) * 1989-03-15 1990-09-26 Fujitsu Ltd パターン認識処理方式
US5140530A (en) * 1989-03-28 1992-08-18 Honeywell Inc. Genetic algorithm synthesis of neural networks
JP2680419B2 (ja) * 1989-05-15 1997-11-19 株式会社東芝 文字認識装置
JP2940933B2 (ja) * 1989-05-20 1999-08-25 株式会社リコー パターン認識方式
US5086479A (en) * 1989-06-30 1992-02-04 Hitachi, Ltd. Information processing system using neural network learning function
US5150323A (en) * 1989-08-11 1992-09-22 Hughes Aircraft Company Adaptive network for in-band signal separation
JPH0375860A (ja) * 1989-08-18 1991-03-29 Hitachi Ltd パーソナライズド端末
US5339818A (en) * 1989-09-20 1994-08-23 University Of Utah Research Foundation Method for determining blood pressure utilizing a neural network
US5067164A (en) * 1989-11-30 1991-11-19 At&T Bell Laboratories Hierarchical constrained automatic learning neural network for character recognition
US5311601A (en) * 1990-01-12 1994-05-10 Trustees Of Boston University Hierarchical pattern recognition system with variable selection weights
FR2658337A1 (fr) * 1990-02-09 1991-08-16 Philips Electronique Lab Procede d'apprentissage d'un reseau de neurones hierarchise et reseau de neurones hierarchise.
FR2658336A1 (fr) * 1990-02-09 1991-08-16 Philips Electronique Lab Procede d'apprentissage d'un reseau de neurones en couches pour classification multiclasses et reseau de neurones en couches.
US5299284A (en) * 1990-04-09 1994-03-29 Arizona Board Of Regents, Acting On Behalf Of Arizona State University Pattern classification using linear programming
JPH07113943B2 (ja) * 1990-04-16 1995-12-06 シャープ株式会社 ニューラルネットワークの学習方法
FR2661265B1 (fr) * 1990-04-24 1994-07-29 Thomson Csf Systeme neuronal de classification et procede de classification utilisant un tel systeme.
US5245697A (en) * 1990-04-24 1993-09-14 Kabushiki Kaisha Toshiba Neural network processing apparatus for identifying an unknown image pattern as one of a plurality of instruction image patterns
US5058180A (en) * 1990-04-30 1991-10-15 National Semiconductor Corporation Neural network apparatus and method for pattern recognition
US5091780A (en) * 1990-05-09 1992-02-25 Carnegie-Mellon University A trainable security system emthod for the same
US5181171A (en) * 1990-09-20 1993-01-19 Atlantic Richfield Company Adaptive network for automated first break picking of seismic refraction events and method of operating the same
US5265192A (en) * 1990-09-20 1993-11-23 Atlantic Richfield Company Method for the automated editing of seismic traces using an adaptive network
US5121441A (en) * 1990-09-21 1992-06-09 International Business Machines Corporation Robust prototype establishment in an on-line handwriting recognition system
US5214744A (en) * 1990-12-14 1993-05-25 Westinghouse Electric Corp. Method and apparatus for automatically identifying targets in sonar images
DE4100500A1 (de) * 1991-01-10 1992-07-16 Bodenseewerk Geraetetech Signalverarbeitungsanordnung zur klassifizierung von objekten aufgrund der signale von sensoren
US5214715A (en) * 1991-01-31 1993-05-25 Trustees Of Boston University Predictive self-organizing neural network
US5239594A (en) * 1991-02-12 1993-08-24 Mitsubishi Denki Kabushiki Kaisha Self-organizing pattern classification neural network system
JP3088171B2 (ja) * 1991-02-12 2000-09-18 三菱電機株式会社 自己組織型パタ−ン分類システム及び分類方法
JPH04262453A (ja) * 1991-02-15 1992-09-17 Hitachi Ltd ニュ−ロ学習制御方法及び装置
WO1992020029A1 (en) * 1991-04-29 1992-11-12 Intel Corporation Neural network incorporating difference neurons
US5500905A (en) * 1991-06-12 1996-03-19 Microelectronics And Computer Technology Corporation Pattern recognition neural network with saccade-like operation
US5293456A (en) * 1991-06-28 1994-03-08 E. I. Du Pont De Nemours And Company Object recognition system employing a sparse comparison neural network
US5493688A (en) * 1991-07-05 1996-02-20 Booz, Allen & Hamilton, Inc. Pattern categoritzation system having self-organizing analog fields
US5260871A (en) * 1991-07-31 1993-11-09 Mayo Foundation For Medical Education And Research Method and apparatus for diagnosis of breast tumors
US5337371A (en) * 1991-08-09 1994-08-09 Matsushita Electric Industrial Co., Ltd. Pattern classification system
US5251268A (en) * 1991-08-09 1993-10-05 Electric Power Research Institute, Inc. Integrated method and apparatus for character and symbol recognition
US5335291A (en) * 1991-09-20 1994-08-02 Massachusetts Institute Of Technology Method and apparatus for pattern mapping system with self-reliability check
US5384863A (en) * 1991-11-19 1995-01-24 Xerox Corporation Methods and apparatus for automatic modification of semantically significant portions of a document without document image decoding
CA2077604C (en) * 1991-11-19 1999-07-06 Todd A. Cass Method and apparatus for determining the frequency of words in a document without document image decoding
CA2077274C (en) * 1991-11-19 1997-07-15 M. Margaret Withgott Method and apparatus for summarizing a document without document image decoding
US5276771A (en) * 1991-12-27 1994-01-04 R & D Associates Rapidly converging projective neural network
US5544257A (en) * 1992-01-08 1996-08-06 International Business Machines Corporation Continuous parameter hidden Markov model approach to automatic handwriting recognition
US5398303A (en) * 1992-02-28 1995-03-14 Yamatake-Honeywell Co., Ltd. Fuzzy data processing method and data smoothing filter
US5245672A (en) * 1992-03-09 1993-09-14 The United States Of America As Represented By The Secretary Of Commerce Object/anti-object neural network segmentation
US5264192A (en) * 1992-05-21 1993-11-23 Shutt Thomas C Method for detoxifying cyanide-containing water
DE69333664T2 (de) * 1992-06-19 2005-11-17 United Parcel Service Of America, Inc. Verfahren und Gerät zur Einstellung eines Neurons

Also Published As

Publication number Publication date
US5452399A (en) 1995-09-19
EP0574937B1 (en) 2000-08-16
EP0944021B1 (en) 2005-05-11
ATE279758T1 (de) 2004-10-15
DE69329218T2 (de) 2001-04-05
DE69333811T2 (de) 2006-05-11
EP0944021A2 (en) 1999-09-22
EP0574937A2 (en) 1993-12-22
EP0574937A3 (en) 1995-01-11
EP0944021A3 (en) 1999-10-13
US5638491A (en) 1997-06-10
DE69333664T2 (de) 2005-11-17
US5664067A (en) 1997-09-02
DE69333811D1 (de) 2005-06-16
ES2150431T3 (es) 2000-12-01
JPH06176161A (ja) 1994-06-24
DE69333664D1 (de) 2004-11-18
EP1199675A1 (en) 2002-04-24
US5974404A (en) 1999-10-26
EP1199675B1 (en) 2004-10-13
DE69329218D1 (de) 2000-09-21

Similar Documents

Publication Publication Date Title
JP2925435B2 (ja) 入力分類方法、トレーニング方法、調整方法、及び装置
US10713563B2 (en) Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering
JP2925434B2 (ja) 入力分類方法、トレーニング方法、及び装置
US10970313B2 (en) Clustering device, clustering method, and computer program product
EP3745309A1 (en) Training a generative adversarial network
Adamczak et al. New developments in the feature space mapping model
KR20200093970A (ko) 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법
Amorim et al. Analysing rotation-invariance of a log-polar transformation in convolutional neural networks
JP2022072648A (ja) 機械学習モデルを用いてクラス分類処理を実行する方法、情報処理装置、及び、コンピュータープログラム
US12033370B2 (en) Learning device, learning method, and computer program product
Li et al. Strangeness based feature selection for part based recognition
Zhang et al. Kernel pooled local subspaces for classification
Cervera et al. Multiple self-organizing maps: a hybrid learning scheme
Atukorale et al. On the performance of the HONG network for pattern classification
US20230005119A1 (en) Method for determining quality of inspection data using machine learning model, information processing apparatus, and non-transitory computer readable storage medium storing computer program
JPH06251156A (ja) パターン認識装置
US20220277198A1 (en) Method for discriminating class of data to be discriminated using machine learning model, information processing device, and computer program
Cervera et al. Multiple self-organizing maps for supervised learning
Dal Col et al. Fast and accurate object detection by means of recursive monomial feature elimination and cascade of SVM
CN114863159A (zh) 信息处理方法、信息处理装置及计算机程序
Scott et al. Diff2Dist: Learning Spectrally Distinct Edge Functions, with Applications to Cell Morphology Analysis
Bukor A Parallel Fuzzy Filter Network for Pattern Recognition
Tagliaferri et al. Astronomical object recognition by means of neural networks
JP5936160B1 (ja) パターン認識装置とその学習方法、及びパターン認識学習用プログラム
Sagheer et al. Fast feature extraction approach for multi-dimension feature space problems

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19990406

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090507

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100507

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees