JP2520331B2 - ニュ―ラルネットワ―クの学習方法 - Google Patents

ニュ―ラルネットワ―クの学習方法

Info

Publication number
JP2520331B2
JP2520331B2 JP3060170A JP6017091A JP2520331B2 JP 2520331 B2 JP2520331 B2 JP 2520331B2 JP 3060170 A JP3060170 A JP 3060170A JP 6017091 A JP6017091 A JP 6017091A JP 2520331 B2 JP2520331 B2 JP 2520331B2
Authority
JP
Japan
Prior art keywords
learning
similarity
neural network
category
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP3060170A
Other languages
English (en)
Other versions
JPH04295957A (ja
Inventor
康弘 小森
茂樹 嵯峨山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR JIDO HONYAKU DENWA
Original Assignee
ATR JIDO HONYAKU DENWA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR JIDO HONYAKU DENWA filed Critical ATR JIDO HONYAKU DENWA
Priority to JP3060170A priority Critical patent/JP2520331B2/ja
Priority to US07/845,096 priority patent/US5555345A/en
Priority to DE4208727A priority patent/DE4208727C2/de
Publication of JPH04295957A publication Critical patent/JPH04295957A/ja
Application granted granted Critical
Publication of JP2520331B2 publication Critical patent/JP2520331B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明はニューラルネットワー
クの学習方法に関し、特に、サンプルごとに各音素カテ
ゴリに対する類似度を、そのサンプルと各音素カテゴリ
に含まれるサンプルとの距離に応じて各音素のカテゴリ
に対する類似度を予め求め、この類似度をニューラルネ
ットワークに教師信号として与え、バックプロパゲーシ
ョンで学習させるようなニューラルネットワークの学習
方法に関する。
【０００２】
【従来の技術】従来のニューラルネットワークの学習方
式は、学習サンプルのカテゴリを「０」，「１」でニュ
ーラルネットワークにバックプロパゲーションで学習さ
せている。この学習方式は、ダイレクトにカテゴリを学
習させるため、学習セットに対するカテゴリ識別能力は
かなり高く、そのカテゴリか否かを「０」，「１」で鮮
明に分ける特徴を有するニューラルネットワークが学習
できる。
【０００３】
【発明が解決しようとする課題】しかし、その一方、学
習セットと少々性質の異なるデータセットに対するカテ
ゴリ識別能力はかなり低下し、かつ一度ニューラルネッ
トワークが識別誤りを犯した場合、その結果はやはり
「１」，「０」で出力され、全く誤ったカテゴリに
「１」と大きく誤ったと判定を下してしまう。また、正
しくあるべきのカテゴリに対して、「０」と全くそのカ
テゴリではないという判定を下しやすい欠点を持ってい
た。さらに、判定が「０」，「１」であるため、文字認
識音声認識のような言語モデルなどの上位の情報との融
合の際、ニューラルネットワークの出力において情報の
欠落が起こりやすく、上位の情報による認識率の改善が
行なわれにくいという欠点があり、その結果、全体とし
て高い認識率が得られないという欠点もあった。
【０００４】それゆえに、この発明の主たる目的は、ニ
ューラルネットワークの学習において、学習セットと少
々性質の異なるデータセットに対するカテゴリ識別能力
が低下しにくく、かつ上位の情報との融合により認識率
を改善しやすいように、第１位の識別率のみならず第Ｎ
位の識別率を向上し、全体としての高い認識が可能とな
るニューラルネットワークの学習方法を提供することで
ある。
【０００５】
【課題を解決するための手段】請求項１に係る発明は、
Ｎ個のカテゴリからなるデータセットを用いて、Ｎ個の
カテゴリの識別を行なうニューラルネットワークを学習
する学習方式であって、データセット内の各サンプルご
とに、学習サンプルから各カテゴリに属するサンプルま
での距離に基づいて、全Ｎカテゴリに対する類似度を求
め、この類似度をニューラルネットワークの教師信号と
してバックプロパゲーションでニューラルネットワーク
の学習を行なう。
【０００６】
【０００７】請求項２に係る発明では、請求項１に係る
発明における全Ｎカテゴリに対する学習サンプルから各
カテゴリに属するサンプルまでの距離に基づいて類似度
を予め求める際に、各カテゴリごとに学習サンプルから
近いｍ個のサンプルを選び、このサンプルとの距離を用
い、そのカテゴリに対する類似度を求めるように構成さ
れる。
【０００８】請求項３に係る発明では、請求項２に係る
発明における学習サンプルから各カテゴリに属するサン
プルまでの距離に基づいて類似度を求める際に、学習サ
ンプルから各カテゴリに属するサンプルまでの距離に応
じて、類似度に変換する類似度変換関数に、距離が大き
くなればなるほど類似度が小さくなる単調減少関数を用
いて構成される。
【０００９】
【作用】この発明に係るニューラルネットワークの学習
方法は、学習サンプルから各カテゴリに属するサンプル
までの距離に基づいて、全Ｎカテゴリに対する類似度を
予め求めることにより、学習セットと少々性質の異なる
データセットに対するカテゴリ識別能力が低下しにく
く、かつ上位の情報との融合により認識率を改善しやす
いように、第１の識別率のみならず第Ｎ位の識別率を向
上し、全体としての高い認識が可能となる。さらに、学
習の際各カテゴリの類似度を教師信号として与え、バッ
クブロパゲーションで学習するため、ニューラルネット
ワークが無理な判別境界を探すことなく学習を進めるこ
とができ、従来の方法に比べてかなり速く学習を進める
ことができる。
【００１０】
【発明の実施例】図１はこの発明の一実施例が適用され
るニューラルネットワークの学習方式の概念図であり、
図２はこの発明に用いられる類似度変換関数の一例を示
す図である。
【００１１】従来のニューラルネットワーク学習方式
は、学習サンプルの音素カテゴリのみを教師信号として
与え、学習を行なっていた。たとえば、図１の□では
｛１，０，０｝となる。この方法に対して、この発明で
提案する学習方式は、サンプルごとに、そのサンプルと
各音素カテゴリに含まれる最も近いサンプルの距離に応
じて各音素カテゴリに対する類似度を求め、この類似度
をニューラルネットワークに教師信号として与え、バッ
クプロパゲーションで学習を行なう。たとえば、図１の
●では、｛ｆ（ｄＡ），ｆ（ｄＢ），ｆ（ｄＣ）｝とな
る。ここで、関数ｆ（）は、サンプル間の距離ｄｘを類
似度に変換する単調減少関数（たとえば、ｆ（ｄ）＝ｅ
ｘｐ（−α×ｄｘ2 ），α＞０）で表わされる。ここで
は、各カテゴリに対して最短距離にある１つのサンプル
を選び、そのサンプルとの距離により、そのカテゴリと
の類似度を求めている。また、類似度変換関数の一例と
して、ここでは図２に示す単調減少関数ｆ（ｄ）＝ｅｘ
ｐ（−α×ｄｘ2 ），α＞０を用いた。
【００１２】次に、この発明によるニューラルネットワ
ークの学習方式の手順について説明する。まず、学習サ
ンプルセットより１つの学習サンプルを取出し、このサ
ンプルと全学習サンプルとの距離を求める。各カテゴリ
ごとに最も近いサンプルを求め、そのサンプルとの距離
と類似度変換関数ｆ（）を用いて各カテゴリごとの類似
度を求める。この各カテゴリの類似度を取出した学習サ
ンプルへの教師信号とし、全学習サンプルの教師信号が
決まるまで初期状態に戻る。そして、全学習サンプルの
教師信号が決まると、学習サンプルおよび求めた教師信
号を用いて、ニューラルネットワークをバックプロパゲ
ーションで学習する。
【００１３】図３はこの発明が適用されるニューラルネ
ットワークの一例を示す図である。図３を参照して、ニ
ューラルネットワークは、７フレームの入力層１と中間
層２，３と出力層４とを含む。ＴＤＮＮが用いられ、各
音素の終端を中心とする７０ｍｓｅｃのデータを入力と
して用いられる。
【００１４】ここで提案する学習方式の有効性を示すた
めに、／ｂｄｇｍｎＮ／の６音素と日本語１８子音の音
素識別実験を行なった。この学習には、ＡＴＲデータベ
ース５２４０単語の偶数番から切り出した音素を用い、
評価には残りの奇数番，文節発声および文章発声から切
り出した音素を用いた。バックプロパゲーションのエラ
ー関数には、従来の学習方式では、Ｍ．Ｓ．Ｅ．（ｍｅ
ａｎ ｓｑｕａｒｅｅｒｒｏｒ）とＭａｃｌｅｌｌａｎ
ｄ ｅｒｒｏｒを用い、提案する学習方式では、Ｍ．
Ｓ．Ｅ．を用いた。Ｍａｃｌｅｌｌａｎｄ ｅｒｒｏｒ
は、ｌｏｇ（１−ε）2 （εは誤差）として誤差を強調
して伝搬し、学習する方法である。
【００１５】サンプル間の距離は７フレームデータのユ
ークリッド距離ｄｘを用い、今回は類似度変換関数とし
てｆ（ｄｘ）＝ｅｘｐ（−０．００５×ｄｘ2 ）を用い
た。学習サンプル数は、／ｂｄｇｍｎＮ／の学習では、
各カテゴリ最大５００の１８５７サンプル，日本語１８
子音の学習では各カテゴリ最大２５０の３６３８サンプ
ルである。なお、識別のときに用いるニューラルネット
ワークの重み係数は、学習の際の重み係数更新１００回
中、評価用の奇数番単語から切り出した音素の識別率が
最大となる重み係数を用いた。
【００１６】図４はこの発明と従来方式による／ｂｄｇ
ｍｎＮ／の６子音識別結果を示し、図５はこの発明と従
来方式による日本語１８子音の識別結果を示す図であ
る。
【００１７】図４および図５から明らかなように、提案
した学習方式●は、全評価データにおいて、第１位およ
び第Ｎ位累積識別結果が共に向上した。特に、連続音声
における第Ｎ位累積識別結果が顕著に改善された。連続
音声（文節，文）認識では、第１位の識別結果だけでは
なく、この第Ｎ位累積識別結果は言語情報との結合にお
いて非常に重要である。このため、この改善は文節，文
認識において、この発明がかなり有効であると考えられ
る。
【００１８】図６はこの発明と従来方式による日本語１
８子音の識別を行なう際の各学習方式に対する学習速度
を示す図である。この発明で提案した学習方式は、従来
の学習方式でＭａｃｌｅｌｌａｎｄ ｅｒｒｏｒを用い
たときとほぼ同程度の速度を示し、従来の学習方式で
Ｍ．Ｓ．Ｅ．を用いたときよりかなり速く学習が進む。
提案した学習方式は従来の学習方式でＭａｃｌｅｌｌａ
ｎｄ ｅｒｒｏｒを用いたときとほぼ同程度の速度を示
したが、図４，図５の識別結果では、従来の学習方式で
Ｍａｃｌｅｌｌａｎｄ ｅｒｒｏｒを用いたときが最も
悪い性能を示していることがわかる。
【００１９】
【発明の効果】以上のように、この発明によれば、学習
サンプルから各カテゴリに属するサンプルまでの距離に
基づいて、全Ｎカテゴリに対する類似度を求め、この類
似度をニューラルネットワークの教師信号としてバック
プロパゲーションでニューラルネットワークの学習を行
なうようにしたので、第１位，第Ｎ位において高い識別
性を示すニューラルネットワークの学習を可能にし、そ
の結果、高い性能の認識を可能にすることができる。
【図面の簡単な説明】
【図１】この発明の概念を示す図である。
【図２】この発明に用いる類似度変換関数の一例を示す
図である。
【図３】この発明が適用されるニューラルネットワーク
の一例を示す図である。
【図４】この発明と従来方式による６子音識別の効果を
示す図である。
【図５】この発明と従来方式による１８子音識別の効果
を示す図である。
【図６】この発明と従来方式による学習の速度の差を示
す図である。
【符号の説明】
１ 入力層 ２，３ 中間層 ４ 出力層

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項１】 Ｎ個のカテゴリからなるデータセットを
    用いて、Ｎ個の識別を行なうニューラルネットワークを
    学習する学習方法において、 前記データセット内の各サンプルごとに、学習サンプル
    から各カテゴリに属するサンプルまでの距離に基づい
    て、全Ｎカテゴリに対する類似度を求め、この類似度を
    ニューラルネットワークの教師信号としてバックプロパ
    ゲーションでニューラルネットワークの学習を行なうこ
    とを特徴とする、ニューラルネットワークの学習方法。
  2. 【請求項２】 さらに、前記Ｎカテゴリに対する学習サ
    ンプルから各カテゴリに属するサンプルまでの距離に基
    づき、類似度を予め求める際に、各カテゴリごとに前記
    学習サンプルから近いｍ個のサンプルを選び、このサン
    プルとの距離を用い、そのカテゴリに対する類似度を求
    めることを特徴とする、請求項１のニューラルネットワ
    ークの学習方法。
  3. 【請求項３】 さらに、前記学習サンプルから各カテゴ
    リに属するサンプルまでの距離に基づいて類似度を求め
    る際に、前記学習サンプルから各カテゴリに属するサン
    プルまでの距離に応じて、類似図に変換する類似度変換
    関数に、距離が大きくなればなるほど類似度が小さくな
    る単調減少関数を用いることを特徴とする、請求項２の
    ニューラルネットワークの学習方法。
JP3060170A 1991-03-25 1991-03-25 ニュ―ラルネットワ―クの学習方法 Expired - Fee Related JP2520331B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP3060170A JP2520331B2 (ja) 1991-03-25 1991-03-25 ニュ―ラルネットワ―クの学習方法
US07/845,096 US5555345A (en) 1991-03-25 1992-03-03 Learning method of neural network
DE4208727A DE4208727C2 (de) 1991-03-25 1992-03-18 Lernverfahren eines neuronalen Netzwerkes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3060170A JP2520331B2 (ja) 1991-03-25 1991-03-25 ニュ―ラルネットワ―クの学習方法

Publications (2)

Publication Number Publication Date
JPH04295957A JPH04295957A (ja) 1992-10-20
JP2520331B2 true JP2520331B2 (ja) 1996-07-31

Family

ID=13134425

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3060170A Expired - Fee Related JP2520331B2 (ja) 1991-03-25 1991-03-25 ニュ―ラルネットワ―クの学習方法

Country Status (3)

Country Link
US (1) US5555345A (ja)
JP (1) JP2520331B2 (ja)
DE (1) DE4208727C2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH684856A5 (de) * 1992-11-30 1995-01-13 Mars Inc Verfahren zur Klassifizierung eines Musters - insbesondere eines Musters einer Banknote oder einer Münze - und Einrichtung zur Durchführung des Verfahrens.
JP3016691B2 (ja) * 1994-06-29 2000-03-06 富士通株式会社 データ検索条件設定方法
US6256618B1 (en) 1998-04-23 2001-07-03 Christopher Spooner Computer architecture using self-manipulating trees
US6983236B1 (en) * 1999-10-12 2006-01-03 Aprisa, Inc. Method for system-constraint-based selection for design components
US6922682B1 (en) 1999-10-12 2005-07-26 Aprisa, Inc. Method and system for engineering discovery
US7134095B1 (en) 1999-10-20 2006-11-07 Gateway, Inc. Simulated three-dimensional navigational menu system
US7814038B1 (en) 2007-12-06 2010-10-12 Dominic John Repici Feedback-tolerant method and device producing weight-adjustment factors for pre-synaptic neurons in artificial neural networks
CN102402713B (zh) * 2010-09-09 2015-11-25 富士通株式会社 机器学习方法和装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040230A (en) * 1988-01-11 1991-08-13 Ezel Incorporated Associative pattern conversion system and adaptation method thereof
US5093899A (en) * 1988-09-17 1992-03-03 Sony Corporation Neural network with normalized learning constant for high-speed stable learning
JPH0298738A (ja) * 1988-10-05 1990-04-11 Adoin Kenkyusho:Kk 知識コンパイル・パターン型推論システム
US5083285A (en) * 1988-10-11 1992-01-21 Kabushiki Kaisha Toshiba Matrix-structured neural network with learning circuitry
US4912652A (en) * 1988-12-14 1990-03-27 Gte Laboratories Incorporated Fast neural network training
JPH02231670A (ja) * 1989-03-03 1990-09-13 Sharp Corp ニューラル・ネットワークの学習装置
JPH07104849B2 (ja) * 1989-03-08 1995-11-13 シャープ株式会社 ニューラル・ネットワークの学習方法
JPH077276B2 (ja) * 1989-03-09 1995-01-30 シャープ株式会社 音節認識装置
JPH07117949B2 (ja) * 1989-06-15 1995-12-18 株式会社エイ・ティ・アール視聴覚機構研究所 ニューラルネットにおける学習方法
US5131073A (en) * 1989-07-12 1992-07-14 Ricoh Company, Ltd. Neuron unit and neuron unit network
JPH04501327A (ja) * 1989-08-11 1992-03-05 ヒューズ・エアクラフト・カンパニー パターン伝達ニューラルネットワーク
JPH03111897A (ja) * 1989-09-27 1991-05-13 Sharp Corp 音韻スポッティング装置
JPH03123969A (ja) * 1989-10-06 1991-05-27 Sharp Corp 格フレーム生成装置
JPH03201027A (ja) * 1989-12-28 1991-09-02 Sharp Corp 学習を用いた動的計画法
US5167006A (en) * 1989-12-29 1992-11-24 Ricoh Company, Ltd. Neuron unit, neural network and signal processing method
JPH03257573A (ja) * 1990-03-07 1991-11-18 Sharp Corp ニューラルネットワークの学習装置
JP2540654B2 (ja) * 1990-06-28 1996-10-09 シャープ株式会社 ニュ―ラルネットワ―クの学習装置
JPH04194999A (ja) * 1990-11-27 1992-07-14 Sharp Corp 学習を用いた動的計画法
JPH04315254A (ja) * 1991-04-15 1992-11-06 Mitsubishi Electric Corp 信号識別装置

Also Published As

Publication number Publication date
DE4208727C2 (de) 1996-09-26
US5555345A (en) 1996-09-10
JPH04295957A (ja) 1992-10-20
DE4208727A1 (de) 1992-10-01

Similar Documents

Publication Publication Date Title
US11900915B2 (en) Multi-dialect and multilingual speech recognition
CN100559462C (zh) 语音处理装置、语音处理方法、程序、和记录介质
US5953701A (en) Speech recognition models combining gender-dependent and gender-independent phone states and using phonetic-context-dependence
US5621857A (en) Method and system for identifying and recognizing speech
JP3685972B2 (ja) 音声認識装置および音声モデル適応方法
JPH06332497A (ja) ニューラル・ネットワークを使用する話者非依存隔離単語音声認識システム
CN112509560B (zh) 一种基于缓存语言模型的语音识别自适应方法和系统
WO2000051105A1 (en) Supervised adaptation using corrective n-best decoding
JP2520331B2 (ja) ニュ―ラルネットワ―クの学習方法
CN117043857A (zh) 用于英语发音评估的方法、设备和计算机程序产品
GB2240203A (en) Automated speech recognition system
Niu et al. A study on landmark detection based on CTC and its application to pronunciation error detection
JPH0769709B2 (ja) 対話音声認識装置
Bruguier et al. Sequence-to-sequence Neural Network Model with 2D Attention for Learning Japanese Pitch Accents.
CN115376547A (zh) 发音评测方法、装置、计算机设备和存储介质
Artières et al. Connectionist and conventional models for free-text talker identification tasks
JPH08248988A (ja) 音声認識方法
Kirschning et al. Phoneme recognition using a time-sliced recurrent recognizer
Alleva et al. Automatic new word acquisition: Spelling from acoustics
Kuhn et al. Applications of decision tree methodology in speech recognition and understanding
JPH10319986A (ja) 音響モデル作成方法
Mary et al. Keyword spotting techniques
CN117059067A (zh) 一种语音识别结果纠错方法及装置
Sweeny et al. Speech perception using real-time phoneme detection: The BeBe system
Bramhendra et al. End to End ASR Free Keyword Spotting with Transfer Learning from Speech Synthesis

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19960206

LAPS Cancellation because of no payment of annual fees