JP6327926B2 - 階層型ニューラルネットワークの学習システム及び方法 - Google Patents
階層型ニューラルネットワークの学習システム及び方法 Download PDFInfo
- Publication number
- JP6327926B2 JP6327926B2 JP2014093374A JP2014093374A JP6327926B2 JP 6327926 B2 JP6327926 B2 JP 6327926B2 JP 2014093374 A JP2014093374 A JP 2014093374A JP 2014093374 A JP2014093374 A JP 2014093374A JP 6327926 B2 JP6327926 B2 JP 6327926B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- input
- neural network
- output
- hierarchical neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
また本発明によれば、出力信号と目標信号との一致もしくは不一致の判定は、必ずしも離散的な2択を意味するものではない。出力信号と目標信号との差異に基づく一致度合に基づいて、結合荷重値との適合度を増加させ、又は減少させるようにしてもよい。この一致度合は、連続的な値を持つものであってもよい。
3 階層型ニューラルネットワーク
11 信号入力部
12 出力部
13 演算部
22 目標信号記憶部
23 階層型ニューラルネットワーク記憶部
24 出力信号生成部
25 結合荷重値調整部
31 入力層
32 中間層
33 出力層
41、42、43 SOM
51〜54 ニューロン
Claims (6)
- 外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、上記入力層ニューロンと上記出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む1層以上の中間層とを有する階層型ニューラルネットワークの各層間の結合荷重値を調整することにより出力信号を目標信号に近付ける学習を行う階層型ニューラルネットワークの学習システムにおいて、
予め用意した入力信号と目標信号の組からなる学習セットにおける入力信号を上記階層型ニューラルネットワークの入力層に対して入力して伝播させる信号入力手段と、
上記階層型ニューラルネットワークの各層を構成する各SOM(Self-Organizing Map)の各ニューロンにつながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理を当該SOM単位で行うスパース処理手段と、
上記スパース処理手段による処理が行われた上記階層型ニューラルネットワークに上記信号入力手段により入力された上記入力信号を順方向に伝播させて出力信号を取得する出力信号取得手段と、
上記出力信号取得手段により取得された出力信号と、上記入力信号と組になっている目標信号とを比較し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合荷重値との適合度を増減させる調整を行う結合荷重値調整手段とを備えること
を特徴とする階層型ニューラルネットワークの学習システム。 - 上記結合荷重値調整手段により上記目標信号と一致したものと判定された入力信号を教師信号とみなし、当該教師信号を上記信号入力手段に入力し順方向に伝播させ、スパース処理手段により選択された正しい経路の情報を記憶する記憶手段を更に備え、
上記スパース処理手段は、他の学習セットの入力信号が上記信号入力手段に入力された場合に、上記記憶手段により記憶された正しい経路の情報に基づいて上記処理を行うこと
を特徴とする請求項1記載の階層型ニューラルネットワークの学習システム。 - 各SOM内における各経路の結合荷重値の適合度の競合度を求め、求めた競合度に基づいて当該SOM毎の上記結合荷重値の調整量を変化させること
を特徴とする請求項1又は2記載の階層型ニューラルネットワークの学習システム。 - 外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、上記入力層ニューロンと上記出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む1層以上の中間層とを有する階層型ニューラルネットワークの各層間の結合荷重値を調整することにより出力信号を目標信号に近付ける表現学習を行う階層型ニューラルネットワークの学習システムにおいて、
入力信号群から選択した任意の入力信号を代表入力信号として、これを上記階層型ニューラルネットワークの入力層に対して入力して伝播させる信号入力手段と、
上記階層型ニューラルネットワークの各層を構成する各SOM(Self-Organizing Map)の各ニューロンにつながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理を当該SOM単位で行うスパース処理手段と、
上記スパース処理手段による処理が行われた上記階層型ニューラルネットワークに上記信号入力手段により入力された上記代表入力信号を順方向に伝播させて得られる代表出力信号を取得する出力信号取得手段と、
上記入力信号群の中から上記代表入力信号とは異なる他の入力信号が上記信号入力手段により入力されて上記スパース処理手段による上記処理を経て上記出力信号取得手段により取得された出力信号と、上記目標信号とみなした上記代表出力信号とを比較し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合荷重値との適合度を増減させる調整を行う結合荷重値調整手段とを備えること
を特徴とする階層型ニューラルネットワークの学習システム。 - 外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、上記入力層ニューロンと上記出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む1層以上の中間層とを有する階層型ニューラルネットワークの各層間の結合荷重値を調整することにより出力信号を目標信号に近付ける学習を行う階層型ニューラルネットワークの学習方法において、
予め用意した入力信号と目標信号の組からなる学習セットにおける入力信号を上記階層型ニューラルネットワークの入力層に対して入力して伝播させる信号入力ステップと、
上記階層型ニューラルネットワークの各層を構成する各SOM(Self-Organizing Map)の各ニューロンにつながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理を当該SOM単位で行うスパース処理ステップと、
上記スパース処理ステップにおける処理が行われた上記階層型ニューラルネットワークに上記信号入力ステップにより入力された上記入力信号を順方向に伝播させて出力信号を取得する出力信号取得ステップと、
上記出力信号取得ステップにおいて取得された出力信号と、上記入力信号と組になっている目標信号とを比較し、これらが一致している場合には、上記選択した経路を伝播する信号と結合荷重値との適合度が増加するように調整し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合荷重値との適合度を増減させる調整を行う結合荷重値調整ステップとを有すること
を特徴とする階層型ニューラルネットワークの学習方法。 - 外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、上記入力層ニューロンと上記出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む1層以上の中間層とを有する階層型ニューラルネットワークの各層間の結合荷重値を調整することにより出力信号を目標信号に近付ける表現学習を行う階層型ニューラルネットワークの学習方法において、
入力信号群から選択した任意の入力信号を代表入力信号として、これを上記階層型ニューラルネットワークの入力層に対して入力して伝播させる信号入力ステップと、
上記階層型ニューラルネットワークの各層を構成する各SOM(Self-Organizing Map)の各ニューロンにつながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理を当該SOM単位で行うスパース処理ステップと、
上記スパース処理ステップにおける処理が行われた上記階層型ニューラルネットワークに上記信号入力ステップにより入力された上記代表入力信号を順方向に伝播させて得られる代表出力信号を取得する出力信号取得ステップと、
上記入力信号群の中から上記代表入力信号とは異なる他の入力信号が上記信号入力ステップにより入力されて上記スパース処理ステップにおける上記処理を経て上記出力信号取得ステップにより取得された出力信号と、上記目標信号とみなした上記代表出力信号とを比較し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合荷重値との適合度を増減させる調整を行う結合荷重値調整ステップとを有すること
を特徴とする階層型ニューラルネットワークの学習方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014093374A JP6327926B2 (ja) | 2014-04-30 | 2014-04-30 | 階層型ニューラルネットワークの学習システム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014093374A JP6327926B2 (ja) | 2014-04-30 | 2014-04-30 | 階層型ニューラルネットワークの学習システム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015210747A JP2015210747A (ja) | 2015-11-24 |
JP6327926B2 true JP6327926B2 (ja) | 2018-05-23 |
Family
ID=54612857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014093374A Expired - Fee Related JP6327926B2 (ja) | 2014-04-30 | 2014-04-30 | 階層型ニューラルネットワークの学習システム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6327926B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10915812B2 (en) | 2016-11-09 | 2021-02-09 | Samsung Electronics Co., Ltd. | Method and system of managing computing paths in an artificial neural network |
WO2018140969A1 (en) * | 2017-01-30 | 2018-08-02 | Google Llc | Multi-task neural networks with task-specific paths |
WO2019088072A1 (ja) | 2017-11-01 | 2019-05-09 | 日本電気株式会社 | 情報処理装置、情報処理方法及びプログラム |
KR102697300B1 (ko) | 2018-03-07 | 2024-08-23 | 삼성전자주식회사 | 전자 장치 및 머신 러닝 수행 방법 |
US10878321B2 (en) * | 2019-02-28 | 2020-12-29 | DeepCube LTD. | Partial activation of multiple pathways in neural networks |
US11562248B2 (en) * | 2019-04-29 | 2023-01-24 | Advanced Micro Devices, Inc. | Data sparsity monitoring during neural network training |
JP7389575B2 (ja) * | 2019-07-02 | 2023-11-30 | キヤノン株式会社 | データ処理装置、データ処理方法、学習装置、学習方法、ニューラルネットワーク、及びプログラム |
CN111401425A (zh) * | 2020-03-11 | 2020-07-10 | 北京慧飒科技有限责任公司 | 一种非侵入式电气集群负载电气性能自主学习处理方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1185719A (ja) * | 1997-09-03 | 1999-03-30 | Matsushita Electric Ind Co Ltd | パラメータ推定装置 |
JP4169063B2 (ja) * | 2006-04-06 | 2008-10-22 | ソニー株式会社 | データ処理装置、データ処理方法、及びプログラム |
-
2014
- 2014-04-30 JP JP2014093374A patent/JP6327926B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015210747A (ja) | 2015-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6327926B2 (ja) | 階層型ニューラルネットワークの学習システム及び方法 | |
US11023806B2 (en) | Learning apparatus, identifying apparatus, learning and identifying system, and recording medium | |
US11610131B2 (en) | Ensembling of neural network models | |
KR102492318B1 (ko) | 모델 학습 방법 및 장치, 및 데이터 인식 방법 | |
US10832138B2 (en) | Method and apparatus for extending neural network | |
US20190080240A1 (en) | Execution of a genetic algorithm with variable evolutionary weights of topological parameters for neural network generation and training | |
RU2586864C2 (ru) | Способ и устройство для локального правила состязательного обучения, которое приводит к разреженной связности | |
KR102031982B1 (ko) | 언레이블드 데이터의 재학습 여부 결정을 이용한 압력분포 정보의 자세 분류 장치 | |
CN107516132A (zh) | 人造神经网络的简化装置和简化方法 | |
US20240095535A1 (en) | Executing a genetic algorithm on a low-power controller | |
KR20210060146A (ko) | 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 방법 및 장치, 딥 뉴럴 네트워크 모델을 학습시키는 학습 방법 및 장치 | |
Sekeroglu et al. | Review and analysis of hidden neuron number effect of shallow backpropagation neural networks | |
Johnsson et al. | Associative self-organizing map | |
Putri et al. | Enhancing Pneumonia Disease Classification using Genetic Algorithm-Tuned DCGANs and VGG-16 Integration | |
Zamani et al. | A bidirectional associative memory based on cortical spiking neurons using temporal coding | |
Lehman et al. | Rewarding reactivity to evolve robust controllers without multiple trials or noise | |
JP6980263B2 (ja) | 異種データ深層学習装置、異種データ深層学習方法、および異種データ深層学習プログラム | |
Hourdakis et al. | Computational modeling of cortical pathways involved in action execution and action observation | |
Chang et al. | Unsupervised query-based learning of neural networks using selective-attention and self-regulation | |
Belattar et al. | A novel strategy for improving the counter propagation artificial neural networks in classification tasks | |
Larisch et al. | A neural spiking approach compared to deep feedforward networks on stepwise pixel erasement | |
JPH04501327A (ja) | パターン伝達ニューラルネットワーク | |
Xi | Research on the Evaluation Algorithm of English Viewing, Listening, and Speaking Teaching Effect Based on DA‐BP Neural Network | |
KR102574165B1 (ko) | 스파이킹 신경망에서 신경 암호 기반 소리 분류 장치 및 그 방법 | |
Разумовский | NEURAL NETWORKS OF PERCEPTRON TOPOLOGY USAGE FOR SOLVING DIFFERENT TYPES OF TASKS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180410 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6327926 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |