JP7010541B2 - パターン認識装置、学習方法及び学習プログラム - Google Patents
パターン認識装置、学習方法及び学習プログラム Download PDFInfo
- Publication number
- JP7010541B2 JP7010541B2 JP2020091429A JP2020091429A JP7010541B2 JP 7010541 B2 JP7010541 B2 JP 7010541B2 JP 2020091429 A JP2020091429 A JP 2020091429A JP 2020091429 A JP2020091429 A JP 2020091429A JP 7010541 B2 JP7010541 B2 JP 7010541B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- error
- input data
- neural network
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
実施形態1に係るパターン認識装置を説明する。本実施形態のパターン認識装置は、例えば、パーソナルコンピュータ等の情報処理装置で構成されてもよい。具体的には、パターン認識装置は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、インターフェイス部(I/F)等からなるハードウェアで構成されてもよい。
図1は、実施形態1に係るパターン認識装置において、非巡回神経回路網を例示した構成図である。図1に示すように、非巡回神経回路網FNNは、複数のニューロンNRを有している。なお、図が煩雑にならないように、いくつかの符号を省略している。以下の図面も同様である。
次に、本実施形態に係るパターン認識装置の構成を説明する。図4は、実施形態1に係るパターン認識装置を例示したブロック図である。図4に示すように、パターン認識装置1は、処理部11、入力データ記憶部12、ニューロン出力値算出部13、ニューロン出力値記憶部14、教師信号記憶部15、学習誤差算出部16、及び、正規乱数生成部17を備えている。処理部11、入力データ記憶部12、ニューロン出力値算出部13、ニューロン出力値記憶部14、教師信号記憶部15、学習誤差算出部16、及び、正規乱数生成部17は、処理手段、入力データ記憶手段、ニューロン出力値算出手段、ニューロン出力値記憶手段、教師信号記憶手段、学習誤差算出手段、及び、正規乱数生成手段としての機能を有している。パターン認識装置1は、単体として、機能する。
次に、本実施形態のパターン認識装置の動作として、パターン認識装置の学習方法を説明する。図5は、実施形態1に係るパターン認識装置の学習方法を例示したフローチャート図である。
次に、実施形態2に係るパターン認識装置を説明する。前述の実施形態1では、図5及び(13)式で示したように、分散値をループ回数により線形に変化させている。本実施形態では、分散値σk 2をループ回数により非線形に変化させる。例えば、下記の(23)式に示すように、分散値σk 2をループ回数により非線形に変化させてもよい。例えば、ループ回数が進むにつれて減少する割合が徐々に小さくなるように変化させてもよい。ここで、αは、0よりも大きい値である。
複数のパターンを含む入力データを複数回入力することによって学習させる非巡回神経回路網の各ニューロンへ揺らぎノイズとして与える正規乱数を生成する際の分散値を、前記非巡回神経回路網の学習中に変化させる学習方法。
前記入力データを入力する毎に、前記分散値を変化させる、
付記1に記載の学習方法。
前記入力データを入力する毎に、前記分散値を減少させる、
付記1に記載の学習方法。
前記入力データを入力することによって前記非巡回神経回路網から出力された出力値と、前記パターンに対応した教師信号と、の学習誤差に基づいて前記分散値を変化させる、
付記1または2に記載の学習方法。
前記入力データが入力される前記複数回は、第1の回と、前記第1の回よりも前の第2の回と、を含み、
前記第1の回の前記学習誤差の第1誤差と、前記第2の回の前記学習誤差の第2誤差と、の差を含む学習誤差の変化量が、所定の値よりも大きい場合には、前記分散値を小さくし、
前記学習誤差の変化量が、前記所定の値以下の場合には、前記分散値を大きくする、
付記4に記載の学習方法。
前記正規乱数を生成し、
前記正規乱数を与えた前記非巡回神経回路網に前記入力データを入力することによって前記出力値を算出するとともに、前記各ニューロンの結合係数を更新し、
前記学習誤差を算出する、
付記5に記載の学習方法。
前記学習誤差が所定の誤差よりも大きい場合には、次の回の前記入力データの入力に進み、前記学習誤差が前記所定の誤差以下の場合には、学習を終了する、
付記4~6のいずれか1項に記載の学習方法。
複数のパターンを含む入力データを複数回入力することによって学習させる非巡回神経回路網の各ニューロンへ揺らぎノイズとして与える正規乱数を生成する際の分散値を、前記非巡回神経回路網の学習中に変化させることをコンピュータに実行させる学習プログラム。
前記入力データを入力する毎に、前記分散値を変化させる、
ことをコンピュータに実行させる付記8に記載の学習プログラム。
前記入力データを入力する毎に、前記分散値を減少させる、
ことをコンピュータに実行させる付記8に記載の学習プログラム。
前記入力データを入力することによって前記非巡回神経回路網から出力された出力値と、前記パターンに対応した教師信号と、の学習誤差に基づいて前記分散値を変化させる、
ことをコンピュータに実行させる付記8また9に記載の学習プログラム。
前記入力データが入力される前記複数回は、第1の回と、前記第1の回よりも前の第2の回と、を含み、
前記第1の回の前記学習誤差の第1誤差と、前記第2の回の前記学習誤差の第2誤差と、の差を含む学習誤差の変化量が、所定の値よりも大きい場合には、前記分散値を小さくさせ、
前記学習誤差の変化量が、前記所定の値以下の場合には、前記分散値を大きくさせる、
ことをコンピュータに実行させる付記11に記載の学習プログラム。
前記正規乱数を生成させ、
前記正規乱数を与えた前記非巡回神経回路網に前記入力データを入力することによって前記出力値を算出させるとともに、前記各ニューロンの結合係数を更新させ、
前記学習誤差を算出させる、
ことをコンピュータに実行させる付記12に記載の学習プログラム。
前記学習誤差が所定の誤差よりも大きい場合には、次の回の前記入力データの入力に進ませ、前記学習誤差が前記所定の誤差以下の場合には、学習を終了させる、
ことをコンピュータに実行させる付記11~13のいずれか1項に記載の学習プログラム。
11 処理部
12 入力データ記憶部
13 ニューロン出力値算出部
14 ニューロン出力値記憶部
15 教師信号記憶部
16 学習誤差算出部
17 正規乱数生成部
IL 入力層
FNN 非巡回神経回路網
ML 中間層
NR ニューロン
OL 出力層
Claims (7)
- 複数のパターンを含む入力データを複数回入力することによって学習させる非巡回神経回路網の各ニューロンへ揺らぎノイズとして与える正規乱数を生成する際の分散値を、前記非巡回神経回路網の学習中に変化させる処理部を備え、
前記入力データが入力される前記複数回は、第1の回と、前記第1の回よりも前の第2の回と、を含み、
前記処理部は、
前記入力データを入力する毎に、前記非巡回神経回路網から出力された出力値と、前記パターンに対応した教師信号と、の学習誤差に基づいて前記分散値を変化させ、
前記第1の回の前記学習誤差の第1誤差と、前記第2の回の前記学習誤差の第2誤差と、の差を含む学習誤差の変化量が、所定の値よりも大きい場合には、前記分散値を小さくし、
前記学習誤差の変化量が、前記所定の値以下の場合には、前記分散値を大きくする、
パターン認識装置。 - 前記正規乱数を生成する正規乱数生成部と、
前記正規乱数を与えた前記非巡回神経回路網に前記入力データを入力することによって前記出力値を算出するとともに、前記各ニューロンの結合係数を更新するニューロン出力値算出部と、
前記学習誤差を算出する学習誤差算出部と、
をさらに備えた、
請求項1に記載のパターン認識装置。 - 前記処理部は、
前記学習誤差が所定の誤差よりも大きい場合には、次の回の前記入力データの入力に進み、
前記学習誤差が前記所定の誤差以下の場合には、学習を終了する、
請求項1又は2に記載のパターン認識装置。 - 複数のパターンを含む入力データを複数回入力することによって学習させる非巡回神経回路網の各ニューロンへ揺らぎノイズとして与える正規乱数を生成する際の分散値を、前記非巡回神経回路網の学習中に変化させる学習方法であって、
前記入力データが入力される前記複数回は、第1の回と、前記第1の回よりも前の第2の回と、を含み、
前記入力データを入力する毎に、前記非巡回神経回路網から出力された出力値と、前記パターンに対応した教師信号と、の学習誤差に基づいて前記分散値を変化させ、
前記第1の回の前記学習誤差の第1誤差と、前記第2の回の前記学習誤差の第2誤差と、の差を含む学習誤差の変化量が、所定の値よりも大きい場合には、前記分散値を小さくし、
前記学習誤差の変化量が、前記所定の値以下の場合には、前記分散値を大きくする、
学習方法。 - 前記正規乱数を生成し、
前記正規乱数を与えた前記非巡回神経回路網に前記入力データを入力することによって前記出力値を算出するとともに、前記各ニューロンの結合係数を更新し、
前記学習誤差を算出する、
請求項4に記載の学習方法。 - 前記学習誤差が所定の誤差よりも大きい場合には、次の回の前記入力データの入力に進み、
前記学習誤差が前記所定の誤差以下の場合には、学習を終了する、
請求項4又は5に記載の学習方法。 - コンピュータに請求項4~6のいずれか1項に記載の学習方法を実行させる学習プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020091429A JP7010541B2 (ja) | 2020-05-26 | 2020-05-26 | パターン認識装置、学習方法及び学習プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020091429A JP7010541B2 (ja) | 2020-05-26 | 2020-05-26 | パターン認識装置、学習方法及び学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021189532A JP2021189532A (ja) | 2021-12-13 |
JP7010541B2 true JP7010541B2 (ja) | 2022-01-26 |
Family
ID=78848417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020091429A Active JP7010541B2 (ja) | 2020-05-26 | 2020-05-26 | パターン認識装置、学習方法及び学習プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7010541B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7491622B1 (ja) | 2023-03-29 | 2024-05-28 | Necプラットフォームズ株式会社 | パターン認識装置、学習方法、及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05197891A (ja) * | 1991-03-12 | 1993-08-06 | Babcock Hitachi Kk | 異常検出方法および装置 |
JPH0561848A (ja) * | 1991-09-02 | 1993-03-12 | Hitachi Ltd | 最適アルゴリズムの選定及び実行のための装置及び方法 |
JP3303032B2 (ja) * | 1992-04-24 | 2002-07-15 | 株式会社日立製作所 | ニューラルネット学習装置 |
-
2020
- 2020-05-26 JP JP2020091429A patent/JP7010541B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021189532A (ja) | 2021-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11386330B2 (en) | Learning coach for machine learning system | |
Suliman et al. | A review on back-propagation neural networks in the application of remote sensing image classification | |
Behera et al. | On adaptive learning rate that guarantees convergence in feedforward networks | |
US5056037A (en) | Analog hardware for learning neural networks | |
Lawrence et al. | What size neural network gives optimal generalization? Convergence properties of backpropagation | |
US11676026B2 (en) | Using back propagation computation as data | |
Pearlmutter | Gradient calculations for dynamic recurrent neural networks: A survey | |
CN110674933A (zh) | 用于提高神经网络推断准确度的流水线技术 | |
Lehtokangas et al. | Initializing weights of a multilayer perceptron network by using the orthogonal least squares algorithm | |
US5630023A (en) | Signal processor | |
JP2007265345A (ja) | 情報処理装置および方法、学習装置および方法、並びにプログラム | |
Salvatori et al. | Predictive coding can do exact backpropagation on convolutional and recurrent neural networks | |
Cheung et al. | An introduction to neural networks | |
JP7010541B2 (ja) | パターン認識装置、学習方法及び学習プログラム | |
Solazzi et al. | Regularising neural networks using flexible multivariate activation function | |
KR0185757B1 (ko) | 혼돈 순환 신경회로망의 학습방법 | |
Aizenberg et al. | Why we need complex-valued neural networks? | |
CN114730379A (zh) | 具有交叉式阵列结构的神经形态设备 | |
Kinzel | Theory of interacting neural networks | |
Malagon et al. | Evolving neural networks in reinforcement learning by means of UMDAc | |
De Veaux et al. | A brief introduction to neural networks | |
Gorse et al. | A pulse-based reinforcement algorithm for learning continuous functions | |
JP3130326B2 (ja) | 階層ネットワーク構成演算素子 | |
Ghorrati | A New Adaptive Learning algorithm to train Feed-Forward Multi-layer Neural Networks, Applied on Function Approximation Problem | |
Bengio et al. | An EM approach to learning sequential behavior |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7010541 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |