JPH0744514A - ニューラルネットの学習用データ縮約化方法 - Google Patents

ニューラルネットの学習用データ縮約化方法

Info

Publication number
JPH0744514A
JPH0744514A JP5184792A JP18479293A JPH0744514A JP H0744514 A JPH0744514 A JP H0744514A JP 5184792 A JP5184792 A JP 5184792A JP 18479293 A JP18479293 A JP 18479293A JP H0744514 A JPH0744514 A JP H0744514A
Authority
JP
Japan
Prior art keywords
recognition rate
data
neural network
learning
equation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5184792A
Other languages
English (en)
Inventor
Masaaki Hayashi
政明 林
Takumi Takahashi
巧 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP5184792A priority Critical patent/JPH0744514A/ja
Priority to US08/264,091 priority patent/US5621861A/en
Publication of JPH0744514A publication Critical patent/JPH0744514A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

(57)【要約】 【目的】ニューラルネットの学習データを縮約化 す
る。 【構成】ニューラルネットのテストデータの認識率を評
価基準にし、多変量、位相幾何解析的距離を使って、収
集された全学習サンプルデータの中から必要十分のサブ
グループを選択しそれを学習用サンプルデータとする。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明はニューラルネットがパタ
ーン認識に使われたときに用いられるニューラルネット
の学習用データ縮約化方法に関する。
【０００２】
【従来の技術】ニューラルネットがパターン認識に使わ
れる場合、学習の為のサンプルデータはその数が多けれ
ば多いほどその入力データの不変特徴情報が学習され
る。いいかえるならニューラルネット認識アルゴリズム
において認識したい目的の任意の対象データが形成する
統計的母集団の確率分布の全体集合を学習しようとし，
認識の前処理である特徴抽出を工夫して認識率を上げよ
うとする。
【０００３】
【発明が解決しようとする課題】このように認識率を上
げる為には出来るだけ多くのサンプルデータが必要とな
るが収集と蓄積には限界がある。また、データの中には
認識率を低下させるデータが含まれている場合もある。
【０００４】本発明は上述の問題点に鑑みてなされたも
ので収集された全学習データの中から認識率を低下させ
ないむしろ上昇させる様なサンプルデータを選択する、
言い替えるならば確率分布空間を張る基底ベクトルを捜
す方法を提供する事を目的とする。これは部分集合から
母集団を推定しようとすることともいえる。
【０００５】
【課題を解決するための手段】上述目的を達成するた
め、本発明による方法では、サンプルデータが学習用デ
ータとして使われるニューラルネットを決め学習を行っ
て収束させ、まず全サンプルデータにおけるテストデー
タの認識率を観測し、次にサンプル間の距離に従って任
意の数のグループ（クラスタ）を形成し、各クラスタ又
は特定のクラスタを新たな学習データとし学習収束させ
テストデータの認識率を評価基準にしてサンプルデータ
のサブグループを選択する。また、前記サブグループを
多変量、位相幾何解析に基いた方法で選択する。
【０００６】
【作用】本発明は上記のように統計・位相幾何解析学的
に基ずいた距離関数を用いてクラスタリングすることに
よりニューラルネットの認識率を低下させる事無く学習
データサイズの減少を行うことが可能となる。
【０００７】
【実施例】以下、本発明で用いる距離について説明す
る。一般に集合Ｘに対して実数値関数（数１）が定義さ
れ、
【０００８】
【数１】
【０００９】公理（数２）を満たすとき、＜＜Ｘ；ｄ＞
＞ を距離空間（metric space)という。
【００１０】
【数２】
【００１１】ｄをＸ上の距離関数または計量、ｄ（ｘ，
ｙ）を２点ｘ，ｙの間の距離と呼ぶ。母集団Ｐ（popula
tion）がｎ個のサブグループ(Ｓ1、Ｓ2、・・・、Ｓn）
に分けられたときそのサブグループはクラスタ（cluste
r)と呼ばれる。クラスタから母集団を推定する方法をク
ラスタサンプリングという。サンプル間の距離はクラス
タ間の距離で定義される。クラスタ間の距離としてはユ
ークリッド距離、マハラノビス距離などの他に変動係
数、相関比などの親近性の尺度が用いられる。
【００１２】ｎ次元実数空間Ｒnの２点x＝(xi),y=(yi)
に対して
【００１３】
【数３】
【００１４】は距離である。特に
【００１５】
【数４】
【００１６】
【数５】
【００１７】（ユークリッド距離（Euclideandistanc
e)),
【００１８】
【数６】
【００１９】で＜＜Ｒn；d2＞＞をｎ次元ユークリッド
空間と呼ぶ。また
【００２０】
【数７】
【００２１】ここでｋ番目のサンプルベクトルを x=(x1
k,x2k,…,xpk),Ｓ-1は分散共分散行列Ｓの逆行列、Ｄk
はｋ番目のサンプルベクトルとサンプルデータ全体の重
心との距離でマハラノビス距離と呼ばれる。
【００２２】さらに
【００２３】
【数８】
【００２４】をクラスタ間分散、
【００２５】
【数９】
【００２６】をクラスタ内分散という。ここでＭはクラ
スタ数、Ｎは各クラスタの要素数、母集団の平均値 x、
分散をσ2とすると
【００２７】
【数１０】
【００２８】と書ける。
【００２９】
【数１１】
【００３０】
【数１２】
【００３１】をそれぞれクラスタ間変動係数、クラスタ
内変動係数という。ｃを母集団の変動係数とすると
【００３２】
【数１３】
【００３３】となる。認識率とサンプルデータサイズの
関係は単純にサンプルデータを減少させれば認識率は低
下する。しかしサンプルデータに母集団の確率(stochas
tic)分布空間言い替えるなら決定(deterministic)不変
特徴空間を張る基底ベクトルが必要数含まれれば逆に認
識率は上昇する。
【００３４】図１は本実施例で使われたニューラルネッ
トの構成を示す。いくつかのニューラルネットワークモ
デルの中で，バックプロパゲーションモデル（誤差逆伝
幡モデル）は最も効果的な学習モデルと考えられてい
る。バックプロパゲーションとは教師信号と出力との誤
差をフィードバックして出力層，中間層の重みを変えて
ゆく方法である。当該モデルは入力層１，中間層２，出
力層３の３層からなり入力層ユニット数２５６個，中間
層ユニット数８０個，数字０，１，…９に対応する出力
層ユニット数１０個とする。入力データは手書き数字を
用い，学習用として９４８０個，テスト用として２０８
０個を使用した。
【００３５】図２は本実施例のフロー図である。まず全
サンプルデータＳ0を入力データとし（ステップ１）、
ニューラルネットで学習を行いあるテストデータの認識
率Ｒ0を得る（ステップ２）。
【００３６】
【数１４】
【００３７】上式は重心(centroid)からの距離に依って
全サンプルデータを２分割する。次に（数１４）に依っ
てクラスタ化(S11,S12)を行い（ステップ３）、再び グ
ループＳ11について学習/テストし（ステップ４），上
述テストデータにおける認識率Ｒ1を初期認識率Ｒ0と比
較し（ステップ５）、クラスタ化ループを認識率Ｒnが
初期認識率Ｒ0以下になる迄繰り返す。最終サブグルー
プＳn-1は N-1回のときのものとする。
【００３８】図３はアルゴリズムでの認識率とデータサ
イズを示す。イタレーション0ではステップ1及び2で使
われた学習/テストデータのサイズとその時の認識結果
が示され，イタレーション1では（数1４）に依ってクラ
スタ化され学習された（ステップ3及び4）サブグループ
のサイズとテストデータでの認識結果が示されている。
【００３９】イタレーション0での認識率Ｒ0とイタレー
ション1での認識率Ｒ1を比較し（ステップ5）Ｒ1の方が
大なのでイタレーションを続ける。
【００４０】イタレーション2で更にクラスタ化したサ
ブグループのサイズとテストデータでの認識結果（ステ
ップ3及び4）が示され，再び認識率比較の結果（ステッ
プ5）イタレーションを続行する。イタレーション3では
クラスタのデータサイズはオリジナルサイズの1/4で
（ステップ3及び4），認識率比較の結果イタレーション
は終了し最終サブグループをＳ21(3160)とする。
【００４１】認識率を評価基準にする場合距離関数は認
識対象，ニューラルネットの構造，母集団のサイズなど
に依って設計者が任意に選択しなければならない。
【００４２】
【発明の効果】以上の説明から明らかな様に、本発明は
認識率を上げる様なサンプルデータを収集されたサンプ
ルデータの中から選択し、サイズリダクションを行う事
に依り演算時間とメモリイスペースの節約を実現する。
【図面の簡単な説明】
【図１】本発明の一実施例で使われたニューラルネット
の構成図
【図２】本発明の一実施例における縮約化方法の動作フ
ロー図
【図３】本発明の一実施例における認識率とデータサイ
ズを示す結果図
【符号の説明】
１ 入力層 ２ 中間層 ３ 出力層

Claims (2)

    【特許請求の範囲】
  1. 【請求項１】 ニューラルネットの多次元入力層へ与え
    る学習サンプルデータの中から任意のテストデータの認
    識率を維持するサブグループを選択する事を特徴とする
    ニューラルネットの学習用データ縮約化方法。
  2. 【請求項２】 サブグループを多変量・位相幾何解析学
    的距離関数を用いる方法で選択する事を特徴とする請求
    項１記載のニューラルネットの学習用データ縮約化方
    法。
JP5184792A 1993-07-27 1993-07-27 ニューラルネットの学習用データ縮約化方法 Pending JPH0744514A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP5184792A JPH0744514A (ja) 1993-07-27 1993-07-27 ニューラルネットの学習用データ縮約化方法
US08/264,091 US5621861A (en) 1993-07-27 1994-06-21 Method of reducing amount of data required to achieve neural network learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5184792A JPH0744514A (ja) 1993-07-27 1993-07-27 ニューラルネットの学習用データ縮約化方法

Publications (1)

Publication Number Publication Date
JPH0744514A true JPH0744514A (ja) 1995-02-14

Family

ID=16159378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5184792A Pending JPH0744514A (ja) 1993-07-27 1993-07-27 ニューラルネットの学習用データ縮約化方法

Country Status (2)

Country Link
US (1) US5621861A (ja)
JP (1) JPH0744514A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8451888B2 (en) 2004-08-24 2013-05-28 Fujitsu Component Limited Communication apparatus
KR20180080111A (ko) * 2017-01-03 2018-07-11 한국전자통신연구원 자가 학습을 위한 데이터 메타 스케일링 장치 및 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5463564A (en) * 1994-09-16 1995-10-31 3-Dimensional Pharmaceuticals, Inc. System and method of automatically generating chemical compounds with desired properties
FR2743143B1 (fr) * 1995-12-28 1998-02-27 Elf Antar France Procede de determination de la valeur d'une grandeur physique
US6345119B1 (en) * 1996-02-19 2002-02-05 Fujitsu Limited Handwritten character recognition apparatus and method using a clustering algorithm
US6571227B1 (en) * 1996-11-04 2003-05-27 3-Dimensional Pharmaceuticals, Inc. Method, system and computer program product for non-linear mapping of multi-dimensional data
CA2269669A1 (en) * 1996-11-04 1998-05-14 3-Dimensional Pharmaceuticals, Inc. System, method and computer program product for identifying chemical compounds having desired properties
US6054710A (en) * 1997-12-18 2000-04-25 Cypress Semiconductor Corp. Method and apparatus for obtaining two- or three-dimensional information from scanning electron microscopy
US6560586B1 (en) 1998-10-30 2003-05-06 Alcatel Multiresolution learning paradigm and signal prediction
US6385337B1 (en) 1998-12-21 2002-05-07 Xerox Corporation Method of selecting colors for pixels within blocks for block truncation encoding
AU2001247627A1 (en) * 2000-03-22 2001-10-03 3-Dimensional Pharmaceuticals, Inc. System, method, and computer program product for representing object relationships in a multidimensional space
AU2001249805A1 (en) * 2000-04-03 2001-10-15 3-Dimensional Pharmaceuticals, Inc. Method, system, and computer program product for representing object relationships in a multidimensional space
EP1350193A2 (en) * 2000-08-22 2003-10-08 3-Dimensional Pharmaceuticals, Inc. Method, system, and computer program product for determining properties of combinatorial library products from features of library building blocks
WO2002025504A2 (en) * 2000-09-20 2002-03-28 Lobanov Victor S Method, system, and computer program product for encoding and building products of a virtual combinatorial library
GB0101043D0 (en) * 2001-01-15 2001-02-28 Univ Aberdeen Input parameter selection process
US7054757B2 (en) * 2001-01-29 2006-05-30 Johnson & Johnson Pharmaceutical Research & Development, L.L.C. Method, system, and computer program product for analyzing combinatorial libraries
US7203669B2 (en) * 2003-03-17 2007-04-10 Intel Corporation Detector tree of boosted classifiers for real-time object detection and tracking
US8073652B2 (en) * 2008-07-03 2011-12-06 Caterpillar Inc. Method and system for pre-processing data using the mahalanobis distance (MD)
CN107292326A (zh) 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 一种模型的训练方法和装置
CN106128466B (zh) * 2016-07-15 2019-07-05 腾讯科技（深圳）有限公司 身份向量处理方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5063601A (en) * 1988-09-02 1991-11-05 John Hayduk Fast-learning neural network system for adaptive pattern recognition apparatus
US5067164A (en) * 1989-11-30 1991-11-19 At&T Bell Laboratories Hierarchical constrained automatic learning neural network for character recognition
JPH07113943B2 (ja) * 1990-04-16 1995-12-06 シャープ株式会社 ニューラルネットワークの学習方法
EP0514986B1 (fr) * 1991-05-24 1997-12-10 Laboratoires D'electronique Philips S.A.S. Procédé d'apprentissage d'un réseau de neurones et dispositif de classification pour la mise en oeuvre de ce procédé
US5408588A (en) * 1991-06-06 1995-04-18 Ulug; Mehmet E. Artificial neural network method and architecture
EP0528399A3 (en) * 1991-08-19 1994-12-21 Toyoda Machine Works Ltd Method and apparatus for learning of neural network
US5159644A (en) * 1991-08-30 1992-10-27 Eastman Kodak Company Character recognition method using statistically weighted correlation
JPH05346915A (ja) * 1992-01-30 1993-12-27 Ricoh Co Ltd 学習機械並びにニューラルネットワークおよびデータ分析装置並びにデータ分析方法
US5311600A (en) * 1992-09-29 1994-05-10 The Board Of Trustees Of The Leland Stanford Junior University Method of edge detection in optical images using neural network classifier

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8451888B2 (en) 2004-08-24 2013-05-28 Fujitsu Component Limited Communication apparatus
KR20180080111A (ko) * 2017-01-03 2018-07-11 한국전자통신연구원 자가 학습을 위한 데이터 메타 스케일링 장치 및 방법

Also Published As

Publication number Publication date
US5621861A (en) 1997-04-15

Similar Documents

Publication Publication Date Title
JPH0744514A (ja) ニューラルネットの学習用データ縮約化方法
CN110942091B (zh) 寻找可靠的异常数据中心的半监督少样本图像分类方法
CN110609524B (zh) 一种工业设备剩余寿命预测模型及其构建方法和应用
Pal Soft computing for feature analysis
CN112087447A (zh) 面向稀有攻击的网络入侵检测方法
CN110555459A (zh) 基于模糊聚类和支持向量回归的成绩预测方法
CN114444600A (zh) 基于记忆增强原型网络的小样本图像分类方法
CN110110845B (zh) 一种基于并行多级宽度神经网络的学习方法
CN112132266A (zh) 基于卷积循环网络的信号调制识别系统及调制识别方法
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN114299362A (zh) 一种基于k-means聚类的小样本图像分类方法
CN114898136B (zh) 一种基于特征自适应的小样本图像分类方法
CN114937021A (zh) 一种基于Swin-Transformer的农作物病害细粒度分类方法
Mustika et al. Comparison of keras optimizers for earthquake signal classification based on deep neural networks
CN113869451A (zh) 一种基于改进jgsa算法的变工况下滚动轴承故障诊断方法
CN111916204A (zh) 一种基于自适应稀疏深度神经网络的脑疾病数据评估方法
CN111797979A (zh) 基于lstm模型的振动传递系统
CN116630718A (zh) 一种基于原型的低扰动的图像类增量学习算法
CN115906959A (zh) 基于de-bp算法的神经网络模型的参数训练方法
CN110288002A (zh) 一种基于稀疏正交神经网络的图像分类方法
CN115601578A (zh) 基于自步学习与视图赋权的多视图聚类方法及系统
Wang et al. Optimal adaptive learning for image retrieval
CN109614581A (zh) 基于对偶局部学习的非负矩阵分解聚类方法
CN112465054B (zh) 一种基于fcn的多变量时间序列数据分类方法
CN115100694A (zh) 一种基于自监督神经网络的指纹快速检索方法