JPH02146670A - ニューラルネットワーク及びニューラルネットワーク学習方式 - Google Patents
ニューラルネットワーク及びニューラルネットワーク学習方式Info
- Publication number
- JPH02146670A JPH02146670A JP63301353A JP30135388A JPH02146670A JP H02146670 A JPH02146670 A JP H02146670A JP 63301353 A JP63301353 A JP 63301353A JP 30135388 A JP30135388 A JP 30135388A JP H02146670 A JPH02146670 A JP H02146670A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- output
- unit
- learning
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 7
- 210000000653 nervous system Anatomy 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Devices For Executing Special Programs (AREA)
- Feedback Control In General (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
荻術且
本発明は、ニューラルネットワーク及びニューラルネッ
トワーク学習方式に関するもので、音声認識、画像処理
、自動翻訳、連想記憶等、あらゆる情報処理関係の機器
に応用できるものである。
トワーク学習方式に関するもので、音声認識、画像処理
、自動翻訳、連想記憶等、あらゆる情報処理関係の機器
に応用できるものである。
従４１支術
生物の神経系をモデル化し、その情報処理機能を解明し
ようとする試みは、ＭｕＣｕｌｌｏｃｈとＰｉｔｔｓ（
＋９４３）等によって始められた。このニューロンモテ
ルは、インパルスを出力するディジタルモデルである。
ようとする試みは、ＭｕＣｕｌｌｏｃｈとＰｉｔｔｓ（
＋９４３）等によって始められた。このニューロンモテ
ルは、インパルスを出力するディジタルモデルである。
その後、感覚系ではインパルス頻度や緩電位（アナログ
量）か刺激の強さや情報を伝達することからアナログモ
デルが検討されるようになった。アナログニューロンの
基本特性は、空間相、非線型出力関数、閾値、場合によ
り時間積分も加えて表現される。また、Ｉｔｏｓｅｎｂ
１．ａｒｔ （１９５８）は、視覚系からヒントを得て
、パーセプ１−ロン（Ｐｅｒｃｅｐｔｒｏｎ）と呼ばれ
る１１０の状態をもつ層構造のニューラルネットワーク
を提案した。層構造は、小脳の神経系との対応でも検討
されている（Ｍａｒｒ、 １９６９）ように、神経系の
基本構造を表現するものの一つであるが、特に、周辺系
（感覚系、運動系）では、比較的良く対応していると考
えられている。その後、これらのモテルは、生理学との
対応関係よりも数理工学的な能力の分析に重点が置かれ
てきた。最近は、これらのニューラルネッ１へワークの
もつ学習能力に注目し、認識に応用しようとする試みが
多数行われている。
量）か刺激の強さや情報を伝達することからアナログモ
デルが検討されるようになった。アナログニューロンの
基本特性は、空間相、非線型出力関数、閾値、場合によ
り時間積分も加えて表現される。また、Ｉｔｏｓｅｎｂ
１．ａｒｔ （１９５８）は、視覚系からヒントを得て
、パーセプ１−ロン（Ｐｅｒｃｅｐｔｒｏｎ）と呼ばれ
る１１０の状態をもつ層構造のニューラルネットワーク
を提案した。層構造は、小脳の神経系との対応でも検討
されている（Ｍａｒｒ、 １９６９）ように、神経系の
基本構造を表現するものの一つであるが、特に、周辺系
（感覚系、運動系）では、比較的良く対応していると考
えられている。その後、これらのモテルは、生理学との
対応関係よりも数理工学的な能力の分析に重点が置かれ
てきた。最近は、これらのニューラルネッ１へワークの
もつ学習能力に注目し、認識に応用しようとする試みが
多数行われている。
−・般に、音声を生成する方法として、規則合成法が用
いられている。人の発声した音声を分析し、その中から
発声の規則を児つけ出し、こ２Ｌらの規則にしたがって
音声を合成する方法である。この方法は、比較的小規模
なシステ１１ても任、Ｑ、の文章の合成音声が生成でき
る反面、自然な合成１゛？声を作ろうとすると、規則が
複雑化するとともに、般的な規則の抽出が難しくなる問
題点かある。これに対して、ニューラルネットワークを
用いることにより、実際の音声の特徴を正確に抽出した
。゛１声パラメータと、その音声が置かれている入力記
号列中の環境をセットで学習させることか可能となる。
いられている。人の発声した音声を分析し、その中から
発声の規則を児つけ出し、こ２Ｌらの規則にしたがって
音声を合成する方法である。この方法は、比較的小規模
なシステ１１ても任、Ｑ、の文章の合成音声が生成でき
る反面、自然な合成１゛？声を作ろうとすると、規則が
複雑化するとともに、般的な規則の抽出が難しくなる問
題点かある。これに対して、ニューラルネットワークを
用いることにより、実際の音声の特徴を正確に抽出した
。゛１声パラメータと、その音声が置かれている入力記
号列中の環境をセットで学習させることか可能となる。
学習後、記号列を入力することにより、音声を生成する
ことができる。
ことができる。
現在、ニューラルネットワークの学習法として、パック
プロパゲーション法（ＢＰｍ）が用いられることが多い
。ＢＰ法は、後向きの誤差伝播景により、目標量が直接
与えられない層のニューロン素子の重み係数の学習を可
能にする特徴をもっている。
プロパゲーション法（ＢＰｍ）が用いられることが多い
。ＢＰ法は、後向きの誤差伝播景により、目標量が直接
与えられない層のニューロン素子の重み係数の学習を可
能にする特徴をもっている。
而して、最近、多層型パーセブ１ヘロンの学習方式とし
てバンクプロパゲイジョン法が有効であることが明らか
になりつつあるか、この方式には次のような欠点かある
。
てバンクプロパゲイジョン法が有効であることが明らか
になりつつあるか、この方式には次のような欠点かある
。
（ａ）この方式では誤差を極小にする点しか見つからす
、−度局所極小に落ちこむと学習が進まなくなる。
、−度局所極小に落ちこむと学習が進まなくなる。
（ｂ）出力層の個数か多くなると、リンクの数が非常に
多くなり、ネットワークの構造が複雑化するため、学習
の能力が落ちてしまう。
多くなり、ネットワークの構造が複雑化するため、学習
の能力が落ちてしまう。
（ａ）の欠点を補う方法として、パックプロパゲイジョ
ン法を改良したものが考案されている。例えは、出力層
の個数か少なければ、比較的効率的な学習が可能となる
か、出力層の個数が多くなると、リンクの重みやバイア
スの値が発散する事故か起きやすくなり、学習の能率も
大幅に低下する。
ン法を改良したものが考案されている。例えは、出力層
の個数か少なければ、比較的効率的な学習が可能となる
か、出力層の個数が多くなると、リンクの重みやバイア
スの値が発散する事故か起きやすくなり、学習の能率も
大幅に低下する。
そこで、本発明では、出力層のユニットごとに独立した
ネットワークを構成することにより、（ｂ）の欠点を克
服したものである。
ネットワークを構成することにより、（ｂ）の欠点を克
服したものである。
ｌｓｌ的
本発明は、上述のごとき実情に鑑みてなされたもので、
与えられたパターンと教師データとの対応関係を学習す
ることにより望ましい出力をするニューラルネットワー
クを高精度かつ高速に構成することを目的としてなさ才
したものである、。
与えられたパターンと教師データとの対応関係を学習す
ることにより望ましい出力をするニューラルネットワー
クを高精度かつ高速に構成することを目的としてなさ才
したものである、。
棗−□玖
本発明は、上記目的を達成するために、与えられた入力
パターンとそれに対する教師データとの対応関係をニュ
ーラルネットワークに学習させる場合において、出力層
に属するユニツ１−ことに独立にネットワークを構成し
、学習、再学習、出力のそれぞれを独立に行うこと、或
いは、−ｑえられた入力パターンとそれに対する教師デ
ータとの対応関係をパックプロパゲイジョン法てニュー
ラルネットワークに学習させる場合において、ユニノＩ
−ｉ ｊ間のリンクの重みＷ ｊ＋、および、各ユニッ
トのバイアス０．を、漸化式 ％式％（） によって決めることを特徴としたものである。以下、本
発明の実施例に基づいて説明する。
パターンとそれに対する教師データとの対応関係をニュ
ーラルネットワークに学習させる場合において、出力層
に属するユニツ１−ことに独立にネットワークを構成し
、学習、再学習、出力のそれぞれを独立に行うこと、或
いは、−ｑえられた入力パターンとそれに対する教師デ
ータとの対応関係をパックプロパゲイジョン法てニュー
ラルネットワークに学習させる場合において、ユニノＩ
−ｉ ｊ間のリンクの重みＷ ｊ＋、および、各ユニッ
トのバイアス０．を、漸化式 ％式％（） によって決めることを特徴としたものである。以下、本
発明の実施例に基づいて説明する。
ニューラルネットの実現方法は、ソフトウェア及びハー
ドウェアの両方の方法が考えられるが、以下ではその両
方を対象とする。
ドウェアの両方の方法が考えられるが、以下ではその両
方を対象とする。
まず、本発明の詳細な説明すると、第１図は、本発明に
よる多層型バーセプトロン、第２図は、従来の多層型バ
ーセプ１〜ロンの一例を示す構造図で、図中、］−は入
力層、２は中間層、３は出力層を示し、本発明の請求項
第１項におけるネットワークは、第１図に示したような
構造をしており、出力層のユニツ１−ごとにネットワー
クが独立している点に特徴がある。すなわち、本発明に
よるネッ１−ワークの特長は次の二つである。
よる多層型バーセプトロン、第２図は、従来の多層型バ
ーセプ１〜ロンの一例を示す構造図で、図中、］−は入
力層、２は中間層、３は出力層を示し、本発明の請求項
第１項におけるネットワークは、第１図に示したような
構造をしており、出力層のユニツ１−ごとにネットワー
クが独立している点に特徴がある。すなわち、本発明に
よるネッ１−ワークの特長は次の二つである。
ａ、従来型（第２図）のネットワークの欠点は、出力層
のユニット数が多くなると、その構造の複雑さのために
学習能力が老ニジ＜低−１ぐすることにあったが、本発
明（第１図）では、ネットワークが出力層のユニットご
とに独立していることがら、従来型の欠点を克服し、出
力層のユニット数の非常に多いネットワークをその能力
を低下させることなく構成することができる。
のユニット数が多くなると、その構造の複雑さのために
学習能力が老ニジ＜低−１ぐすることにあったが、本発
明（第１図）では、ネットワークが出力層のユニットご
とに独立していることがら、従来型の欠点を克服し、出
力層のユニット数の非常に多いネットワークをその能力
を低下させることなく構成することができる。
ｂ０本発明の請求項第２項で述べられている学習方式は
従来型にも原理的には適用可能であるが、出力層のユニ
ット数の多い従メζ型に適用すると、リンクの重みやバ
イアスの値が発散しゃすく、学習能率の点でも低下が著
しい。本発明では、ネットワークが出力層のユニットご
とに独立しているため、請求項第２項の学習方式を用い
て効率的な学習を行うことができる。
従来型にも原理的には適用可能であるが、出力層のユニ
ット数の多い従メζ型に適用すると、リンクの重みやバ
イアスの値が発散しゃすく、学習能率の点でも低下が著
しい。本発明では、ネットワークが出力層のユニットご
とに独立しているため、請求項第２項の学習方式を用い
て効率的な学習を行うことができる。
次に、本発明の実施例を挙げてぶ；明する。
ｄ次元の入力パターン（Ｉｎ） ｎ：１１２＋ １．＋
Ｎ（工ｎ−（Ｉｎ□ｒ Ｉ ｎ２＋０．−００．＋
■ｎａ））及びそれに対するｅ次元の望ましい出カバタ
ーン（Ｔｎ） ｎ” ｘ＋−ｚ＋−−−Ｎ（Ｔｎ：（Ｔ
ｎｘｐｒｎ２ｒ１．−０−ｒＴｎ、））が与えられた時
、その対応を実現するニューラルネットは次のようにし
て構成される。
Ｎ（工ｎ−（Ｉｎ□ｒ Ｉ ｎ２＋０．−００．＋
■ｎａ））及びそれに対するｅ次元の望ましい出カバタ
ーン（Ｔｎ） ｎ” ｘ＋−ｚ＋−−−Ｎ（Ｔｎ：（Ｔ
ｎｘｐｒｎ２ｒ１．−０−ｒＴｎ、））が与えられた時
、その対応を実現するニューラルネットは次のようにし
て構成される。
第３図は、本発明の一実施例を説明するための構造図、
第４図は、第３図の動作説明をするためのアルゴリズム
で、丸はユニッｊ・を、四角はターミナルを、実線はリ
ンクを、点線は接続線をぞれぞれ表している。入力層の
ユニットの個数は入力パターンの次元であるｄにする。
第４図は、第３図の動作説明をするためのアルゴリズム
で、丸はユニッｊ・を、四角はターミナルを、実線はリ
ンクを、点線は接続線をぞれぞれ表している。入力層の
ユニットの個数は入力パターンの次元であるｄにする。
入力はそれぞれの接続線を通ってターミナルに送られる
。ターミナルでは、送られてきた値と同じ値を各リンク
に送る。リンクは入力された信号を、そのリンクの持つ
重みがＷならば、Ｗ倍してユニットに送る。
。ターミナルでは、送られてきた値と同じ値を各リンク
に送る。リンクは入力された信号を、そのリンクの持つ
重みがＷならば、Ｗ倍してユニットに送る。
各ユ二ツ１−はそこに集まった入力の総和がｎｅｔのと
き、 ｆ （ｎｅｔ＋θ） を出力する。ここでθは各ネットが持つバイアスの値で
あり、関数１゛は、 ｆ （ｘ） ＝１／ （１＋ｃｘｐ （−ｘ） ）で
与えられる。本発明の請求項第１項では、特に、第３図
に示すように、各中間層のユニツ１−が特定の出力層の
ユニットにだけ連結されている場合を述べている（二つ
以上の出カニニットに連結されている中間ユニットは存
在しない。）。
き、 ｆ （ｎｅｔ＋θ） を出力する。ここでθは各ネットが持つバイアスの値で
あり、関数１゛は、 ｆ （ｘ） ＝１／ （１＋ｃｘｐ （−ｘ） ）で
与えられる。本発明の請求項第１項では、特に、第３図
に示すように、各中間層のユニツ１−が特定の出力層の
ユニットにだけ連結されている場合を述べている（二つ
以上の出カニニットに連結されている中間ユニットは存
在しない。）。
このような構造のネットに対して人カバターンとそれに
対する教師データが与えられれば、各リンクの重みと各
ユニツＩ−のバイアス値は次のアルゴリズムによって順
次、変化させることにより、学習させることができる。
対する教師データが与えられれば、各リンクの重みと各
ユニツＩ−のバイアス値は次のアルゴリズムによって順
次、変化させることにより、学習させることができる。
ここで、
Ｆ（ｘ）：＝０．ＯＩ Ｘ ｘ２
のようにＯ以」二に値を取る関数
この方式において、学習が終了するまでにかかる回数は
、出カニニットごとに異なるので、学習は、出カニニッ
トごとに独立したネットワークで行なうと効率的である
。即ち、まず、出力ユニッ１へ１のネットワークを学習
させ、次に出力ユニッ１−２に学習させ１１１．と、繰
り返せば良い。なお、全てのネットワークを同時に学習
させることも可能であるが効率的ではない。
、出カニニットごとに異なるので、学習は、出カニニッ
トごとに独立したネットワークで行なうと効率的である
。即ち、まず、出力ユニッ１へ１のネットワークを学習
させ、次に出力ユニッ１−２に学習させ１１１．と、繰
り返せば良い。なお、全てのネットワークを同時に学習
させることも可能であるが効率的ではない。
、侠−□末
以上の説明から明らかなように、本発明によれは、与え
られた人カバターンと教師データとから、望ましい出力
をするニューラルネットワークが、高速かつ高精度に１
Ｈられる。特に、出力層のユ二ッ１−数が多くなるにつ
れて、従来のネットワークとの能力差が大きくなる。
られた人カバターンと教師データとから、望ましい出力
をするニューラルネットワークが、高速かつ高精度に１
Ｈられる。特に、出力層のユ二ッ１−数が多くなるにつ
れて、従来のネットワークとの能力差が大きくなる。
第１図は、本発明による請求項第１項に記載のニューラ
ルネットワークの一例を示すａ’ｌｊ Ｎ ｔｙ＋、第
２図は、従来のニューラルネジ１−ワークの構造図、第
３図は、請求項第２項に記載のニューラルネットワーク
学習方式の一例を説明するための構造図、第４図は、第
３図に示した構造図の動作説明をするためのアルゴリズ
１１を示す図である。 １・・入力層、２・・・中間層、３ 出力層。 特許出願人 株式会社 リロー
ルネットワークの一例を示すａ’ｌｊ Ｎ ｔｙ＋、第
２図は、従来のニューラルネジ１−ワークの構造図、第
３図は、請求項第２項に記載のニューラルネットワーク
学習方式の一例を説明するための構造図、第４図は、第
３図に示した構造図の動作説明をするためのアルゴリズ
１１を示す図である。 １・・入力層、２・・・中間層、３ 出力層。 特許出願人 株式会社 リロー
Claims (2)
- １．与えられた入力パターンとそれに対する教師デー
タとの対応関係をニューラルネットワークに学習させる
場合において、出力層に属するユニットごとに独立にネ
ットワークを構成し、学習、再学習、出力のそれぞれを
独立に行うことを特徴とするニューラルネットワーク。 - ２．与えられた入力パターンとそれに対する教師デー
タとの対応関係をバックプロパゲイシヨン法でニューラ
ルネットワークに学習させる場合において、ユニットｉ
ｊ間のリンクの重みＷ＿ｊ＿ｉ、および、各ユニットの
バイアスθ＿ｊを、漸化式ΔＷ＿ｊ＿ｉ（ｎ＋１）＝η
δ＿ｊＯ＿ｉ＋αΔＷ＿ｊ＿ｉ（ｎ）Δθ＿ｊ（ｎ＋１
）＝ηδ＿ｊ＋αΔθ＿ｊ（ｎ）ここで、 ｎ；学習回数 η，α；定数 Ｏ＿１；ユニットｉの出力 （ｊが出力層のとき） δ＿ｊ＝ （ｔ＿ｊ−Ｏ＿ｊ）Ｏ＿ｉ×｛Ｏ＿ｊ（ｌ−Ｏ＿ｊ）＋
Ｆ（ｔ＿ｊ−Ｏ＿ｊ）｝（ｊが中間層のとき） （ΣＷ＿ｋ＿ｊδ＿ｋ）×｛Ｏ＿ｊ（ｌ−Ｏ＿ｊ）＋Ｆ
（ｔ＿ｊ−Ｏ＿ｊ）｝ｋ Ｆ（ｘ）は０以上に値を取る関数 によって決めるニューラルネットワーク学習方式。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63301353A JPH02146670A (ja) | 1988-11-29 | 1988-11-29 | ニューラルネットワーク及びニューラルネットワーク学習方式 |
| US07/416,941 US5095443A (en) | 1988-10-07 | 1989-10-04 | Plural neural network system having a successive approximation learning method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63301353A JPH02146670A (ja) | 1988-11-29 | 1988-11-29 | ニューラルネットワーク及びニューラルネットワーク学習方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH02146670A true JPH02146670A (ja) | 1990-06-05 |
Family
ID=17895845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63301353A Pending JPH02146670A (ja) | 1988-10-07 | 1988-11-29 | ニューラルネットワーク及びニューラルネットワーク学習方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH02146670A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04279965A (ja) * | 1991-03-07 | 1992-10-06 | Koizumi Sangyo Kk | パターン認識装置 |
-
1988
- 1988-11-29 JP JP63301353A patent/JPH02146670A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04279965A (ja) * | 1991-03-07 | 1992-10-06 | Koizumi Sangyo Kk | パターン認識装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Robinson et al. | The utility driven dynamic error propagation network | |
| Pavlidis et al. | Spiking neural network training using evolutionary algorithms | |
| US5095443A (en) | Plural neural network system having a successive approximation learning method | |
| US5832466A (en) | System and method for dynamic learning control in genetically enhanced back-propagation neural networks | |
| Hart | Using neural networks for classification tasks–some experiments on datasets and practical advice | |
| WO1991016686A1 (en) | Artificial neural device | |
| CN112288080A (zh) | 面向脉冲神经网络的自适应模型转化方法及系统 | |
| KR100850914B1 (ko) | 게임 캐릭터 제어방법 | |
| JPH04501328A (ja) | 時間変動するデータを分類する適用回路網 | |
| JPH01243169A (ja) | パターン学習・生成方式 | |
| EP0357212B1 (en) | Artificial neural device and corresponding method | |
| JPH02146670A (ja) | ニューラルネットワーク及びニューラルネットワーク学習方式 | |
| Golovko et al. | Adaptive Learning Rate for Unsupervised Learning of Deep Neural Networks | |
| Olayinka et al. | Evolving feed-forward artificial neural networks using binary and denary dataset | |
| JPH04501327A (ja) | パターン伝達ニューラルネットワーク | |
| CN112288078A (zh) | 一种基于脉冲神经网络的自学习、小样本学习和迁移学习的方法与系统 | |
| JPH02100757A (ja) | 並列ニューラルネットワーク学習方式 | |
| Hidalgo et al. | Interval type-2 fuzzy inference systems as integration methods in modular neural networks for multimodal biometry and its optimisation with genetic algorithms | |
| Pican et al. | An on-line learning algorithm for the orthogonal weight estimation of MLP | |
| JP2654686B2 (ja) | ニューラルネットワーク | |
| Babu et al. | Teaching learning based optimized mathematical model for data classification problems | |
| Fujita et al. | Evolving neural networks with iterative learning scheme for associative memory | |
| JP2004030628A (ja) | 情報処理装置および方法、プログラム格納媒体、並びにプログラム | |
| Khan et al. | Mixed transfer function neural networks for knowledge acquisition | |
| JPH02178758A (ja) | ニューラルネット構成情報処理装置 |