JP7438544B2 - ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法 - Google Patents
ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法 Download PDFInfo
- Publication number
- JP7438544B2 JP7438544B2 JP2020546831A JP2020546831A JP7438544B2 JP 7438544 B2 JP7438544 B2 JP 7438544B2 JP 2020546831 A JP2020546831 A JP 2020546831A JP 2020546831 A JP2020546831 A JP 2020546831A JP 7438544 B2 JP7438544 B2 JP 7438544B2
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- neuron
- integration
- artificial neurons
- neurons
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 213
- 238000000034 method Methods 0.000 title claims description 140
- 238000012545 processing Methods 0.000 title claims description 58
- 238000004519 manufacturing process Methods 0.000 title claims description 22
- 238000004590 computer program Methods 0.000 title claims description 11
- 210000002569 neuron Anatomy 0.000 claims description 466
- 239000013598 vector Substances 0.000 claims description 173
- 230000010354 integration Effects 0.000 claims description 170
- 230000008569 process Effects 0.000 claims description 92
- 230000006870 function Effects 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 11
- 239000010410 layer Substances 0.000 description 119
- 230000006399 behavior Effects 0.000 description 86
- 238000010586 diagram Methods 0.000 description 26
- 230000004913 activation Effects 0.000 description 22
- 238000001994 activation Methods 0.000 description 22
- 238000002474 experimental method Methods 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 16
- 238000003860 storage Methods 0.000 description 9
- 230000007423 decrease Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000011229 interlayer Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000013138 pruning Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- MDEHFNXAMDVESV-UHFFFAOYSA-N 3-methyl-5-(4-phenylphenyl)pentanoic acid Chemical compound C1=CC(CCC(C)CC(O)=O)=CC=C1C1=CC=CC=C1 MDEHFNXAMDVESV-UHFFFAOYSA-N 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000010353 neuronal integration Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- VYMDGNCVAMGZFE-UHFFFAOYSA-N phenylbutazonum Chemical compound O=C1C(CCCC)C(=O)N(C=2C=CC=CC=2)N1C1=CC=CC=C1 VYMDGNCVAMGZFE-UHFFFAOYSA-N 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Description
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
20 :プロセッサ
21 :小規模化処理
22 :ニューロコーディング処理
23 :ニューロン統合処理
24 :出力処理
30 :記憶装置
31 :コンピュータプログラム
40 :入力データ
100 :ニューラルネットワーク利用装置
200 :プロセッサ
231 :残差算出処理
232 :選択処理
233 :統合処理
234 :決定処理
235 :選択処理
236 :更新処理
237 :残差更新処理
300 :記憶装置
N1 :原ニューラルネットワーク
N2 :統合ニューラルネットワーク
N20 :統合ニューラルネットワークデータ
FC1 :第1層
FC2 :第2層
Claims (15)
- 複数の人工ニューロンが結合したニューラルネットワークに対して複数の入力データを与えて、前記人工ニューロンから出力される複数の出力からなるベクトルを、複数の前記人工ニューロンそれぞれについて求めることで、複数の前記ベクトルを得る処理と、
指標に基づいて、同一又は類似の振舞いをする複数の人工ニューロンを選択し、選択された複数の人工ニューロンを統合する統合処理と、
を実行するように構成されて、
前記指標は、前記複数の前記ベクトルに含まれる第1ベクトルと、前記複数の前記ベクトルに含まれる第2ベクトルへの前記第1ベクトルの射影と、の残差に基づく
ニューラルネットワーク処理装置。 - 前記統合処理は、選択された複数の人工ニューロンの中から、前記残差に基づいて、統合先となる統合先ニューロンを決定する決定処理を含む
請求項1に記載のニューラルネットワーク処理装置。 - 前記ニューラルネットワークは、それぞれが人工ニューロンを有する複数の層を有し、
前記統合処理では、同一又は類似の振舞いをする複数の人工ニューロンとして、異なる層に含まれる人工ニューロンを選択可能である
請求項1又は2に記載のニューラルネットワーク処理装置。 - 前記指標は、統合された人工ニューロンの出力が与えられる他層人工ニューロンにおいて、前記残差から計算される前記他層人工ニューロンの内部活性度の誤差に基づく
請求項1から3のいずれか1項に記載のニューラルネットワーク処理装置。 - 前記指標は、統合により削除される前記ニューラルネットワークのパラメータの数に更に基づく
請求項1から4のいずれか1項に記載のニューラルネットワーク処理装置。 - 前記指標は、統合により生じる前記誤差を、統合により削除されるパラメータの数によって除した値である
請求項4に記載のニューラルネットワーク処理装置。 - 前記統合処理は、統合に伴い消去される人工ニューロンのためのウエイトを用いて、統合先ニューロンのためのウエイトを更新することを含む
請求項1から6のいずれか1項に記載のニューラルネットワーク処理装置。 - 前記統合処理では、統合に伴い消去される人工ニューロンの振舞いが、統合先ニューロンによって模擬される
請求項1から7のいずれか1項に記載のニューラルネットワーク処理装置。 - 前記統合処理では、統合に伴い消去される人工ニューロンの振舞いが、統合先ニューロンを含む二以上の人工ニューロンによって模擬される
請求項1から7のいずれか1項に記載のニューラルネットワーク処理装置。 - 前記統合処理では、統合に伴い消去される人工ニューロンのためのウエイトを用いて、前記統合先ニューロンを含む前記二以上の人工ニューロンのためのウエイトが更新される
請求項9に記載のニューラルネットワーク処理装置。 - 複数の人工ニューロンが結合したニューラルネットワークに対して複数の入力データを与えて、前記人工ニューロンから出力される複数の出力からなるベクトルを、複数の前記人工ニューロンそれぞれについて求めることで、複数の前記ベクトルを得る処理と、
指標に基づいて、同一又は類似の振舞いをする複数の人工ニューロンを選択し、選択された複数の人工ニューロンを統合する統合処理と、
をコンピュータに実行させるためのコンピュータプログラムであって、
前記指標は、前記複数の前記ベクトルに含まれる第1ベクトルと、前記複数の前記ベクトルに含まれる第2ベクトルへの前記第1ベクトルの射影と、の残差に基づく
コンピュータプログラム。 - 複数の人工ニューロンが結合した原ニューラルネットワークに対して複数の入力データを与えて、前記人工ニューロンから出力される複数の出力からなるベクトルを、複数の前記人工ニューロンそれぞれについて求めることで、複数の前記ベクトルを得て、
指標に基づいて、同一又は類似の振舞いをする複数の人工ニューロンを選択し、
選択された複数の人工ニューロンを統合する
ことを含み、
前記指標は、前記複数の前記ベクトルに含まれる第1ベクトルと、前記複数の前記ベクトルに含まれる第2ベクトルへの前記第1ベクトルの射影と、の残差に基づく、
コンピュータによって実行されるニューラルネットワークの製造方法。 - 複数の人工ニューロンが結合した原ニューラルネットワークに対して、複数の入力データを与えて、前記人工ニューロンから出力される複数の出力からなるベクトルを、複数の前記人工ニューロンそれぞれについて求めることで、複数の前記ベクトルを得て、
指標に基づいて、同一又は類似の振舞いをする複数の人工ニューロンを選択し、
選択された複数の人工ニューロンを統合することで、前記原ニューラルネットワークよりも人工ニューロンの数が少ない統合ニューラルネットワークを生成し、
ニューラルネットワークエンジンを前記統合ニューラルネットワークとして機能させるためのニューラルネットワークデータを生成する
ことを含み、
前記指標は、前記複数の前記ベクトルに含まれる第1ベクトルと、前記複数の前記ベクトルに含まれる第2ベクトルへの前記第1ベクトルの射影と、の残差に基づく、
コンピュータによって実行されるニューラルネットワークデータの製造方法。 - ニューラルネットワークとして機能するニューラルネットワーク利用装置であって、
前記ニューラルネットワークは、前記ニューラルネットワークよりも人工ニューロンの数が多い原ニューラルネットワークに入力が与えられたときに同一又は類似の出力をする複数の人工ニューロン同士が統合されて構成されており、
同一又は類似の出力をする前記複数の人工ニューロンは、指標に基づいて選択されており、
前記指標は、複数のベクトルに含まれる第1ベクトルと、前記複数の前記ベクトルに含まれる第2ベクトルへの前記第1ベクトルの射影と、の残差に基づき、
前記複数の前記ベクトルは、前記ニューラルネットワークに対して複数の入力データを与えて、前記人工ニューロンから出力される複数の出力からなるベクトルを、複数の前記人工ニューロンそれぞれについて求めることで得られる
ニューラルネットワーク利用装置。 - 複数の人工ニューロンが結合したニューラルネットワークの小規模化のための指標を求めることを含む、コンピュータによって実行されるニューラルネットワーク小規模化方法であって、
前記指標は、複数のベクトルに含まれる第1ベクトルと、前記複数の前記ベクトルに含まれる第2ベクトルへの前記第1ベクトルの射影と、の残差に基づき、
前記複数の前記ベクトルは、前記ニューラルネットワークに対して複数の入力データを与えて、前記人工ニューロンから出力される複数の出力からなるベクトルを、複数の前記人工ニューロンそれぞれについて求めることで得られる
ニューラルネットワーク小規模化方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018169412 | 2018-09-11 | ||
JP2018169412 | 2018-09-11 | ||
JP2019059091 | 2019-03-26 | ||
JP2019059091 | 2019-03-26 | ||
PCT/JP2019/033594 WO2020054402A1 (ja) | 2018-09-11 | 2019-08-28 | ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020054402A1 JPWO2020054402A1 (ja) | 2021-09-02 |
JP7438544B2 true JP7438544B2 (ja) | 2024-02-27 |
Family
ID=69777561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020546831A Active JP7438544B2 (ja) | 2018-09-11 | 2019-08-28 | ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7438544B2 (ja) |
WO (1) | WO2020054402A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112036564B (zh) * | 2020-08-28 | 2024-01-09 | 腾讯科技(深圳)有限公司 | 图片识别方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017182319A (ja) | 2016-03-29 | 2017-10-05 | 株式会社メガチップス | 機械学習装置 |
US20170364799A1 (en) | 2016-06-15 | 2017-12-21 | Kneron Inc. | Simplifying apparatus and simplifying method for neural network |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03134761A (ja) * | 1989-10-20 | 1991-06-07 | Fujitsu Ltd | 階層型ニューラルネットワークの中間層ユニット数推定方法 |
-
2019
- 2019-08-28 JP JP2020546831A patent/JP7438544B2/ja active Active
- 2019-08-28 WO PCT/JP2019/033594 patent/WO2020054402A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017182319A (ja) | 2016-03-29 | 2017-10-05 | 株式会社メガチップス | 機械学習装置 |
US20170364799A1 (en) | 2016-06-15 | 2017-12-21 | Kneron Inc. | Simplifying apparatus and simplifying method for neural network |
Non-Patent Citations (1)
Title |
---|
増田 達也 ほか,"隠れユニットの合成による階層型ニューラルネットワークのコンパクト構造化",計測自動制御学会論文集,社団法人計測自動制御学会,1992年,第28巻, 第4号,pp. 519-527,ISSN 0453-4654 |
Also Published As
Publication number | Publication date |
---|---|
WO2020054402A1 (ja) | 2020-03-19 |
JPWO2020054402A1 (ja) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6574503B2 (ja) | 機械学習方法および装置 | |
JP5937284B2 (ja) | 階層型ニューラルネットワーク装置、判別器学習方法および判別方法 | |
CN111105029B (zh) | 神经网络的生成方法、生成装置和电子设备 | |
WO2019229733A1 (en) | Mimicking a neural network without the original training dataset | |
US20220147877A1 (en) | System and method for automatic building of learning machines using learning machines | |
CN113168559A (zh) | 机器学习模型的自动化生成 | |
CN109165720A (zh) | 神经网络模型压缩方法、装置和计算机设备 | |
US11380301B2 (en) | Learning apparatus, speech recognition rank estimating apparatus, methods thereof, and program | |
KR20200099252A (ko) | 회로 디자인을 검증하기 위한 검증 벡터를 생성하는 장치, 회로 디자인 시스템 및 이의 강화 학습 방법 | |
JP7493554B2 (ja) | Few-shot模倣のためのデモンストレーション条件付き強化学習 | |
CN112446888A (zh) | 图像分割模型的处理方法和处理装置 | |
JP6643905B2 (ja) | 機械学習方法および機械学習装置 | |
JP6935868B2 (ja) | 画像認識装置、画像認識方法、およびプログラム | |
JP6227052B2 (ja) | 処理装置、判別方法およびプログラム | |
KR20210099795A (ko) | 준 지도 학습을 위한 오토인코더 기반 그래프 설계 | |
KR102559605B1 (ko) | 함수 최적화 방법 및 장치 | |
JP7438544B2 (ja) | ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法 | |
US11670403B2 (en) | Method and apparatus for generating chemical structure using neural network | |
WO2022127603A1 (zh) | 一种模型处理方法及相关装置 | |
KR20240015942A (ko) | 인간 뇌 네트워크 데이터 분석 방법 및 장치 | |
US11854672B2 (en) | Method and apparatus for generating chemical structure | |
JP2022045615A (ja) | 演算装置及び演算方法 | |
JP2022020464A (ja) | ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、及びコンピュータプログラム | |
WO2024157507A1 (ja) | モデル評価装置、モデル評価方法、プログラム | |
JP2019095894A (ja) | 推定装置、学習装置、学習済みモデル、推定方法、学習方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210115 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7438544 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |