JP7431473B2 - ニューロン-レベル塑性制御を通じて破局的忘却を克服するための方法およびこれを行うコンピューティングシステム - Google Patents
ニューロン-レベル塑性制御を通じて破局的忘却を克服するための方法およびこれを行うコンピューティングシステム Download PDFInfo
- Publication number
- JP7431473B2 JP7431473B2 JP2022542682A JP2022542682A JP7431473B2 JP 7431473 B2 JP7431473 B2 JP 7431473B2 JP 2022542682 A JP2022542682 A JP 2022542682A JP 2022542682 A JP2022542682 A JP 2022542682A JP 7431473 B2 JP7431473 B2 JP 7431473B2
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- learning
- computing system
- neurons
- npc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000002569 neuron Anatomy 0.000 title claims description 122
- 238000000034 method Methods 0.000 title claims description 38
- 238000013528 artificial neural network Methods 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 3
- 238000011478 gradient descent method Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 18
- 238000010606 normalization Methods 0.000 description 16
- 230000010354 integration Effects 0.000 description 10
- 238000013459 approach Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 210000005155 neural progenitor cell Anatomy 0.000 description 5
- 238000013138 pruning Methods 0.000 description 5
- 241001645095 Parisis Species 0.000 description 4
- 238000007596 consolidation process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000001073 episodic memory Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000013383 initial experiment Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Machine Translation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
[Aljundi et~al.(2017)Aljundi, Chakravarty, and Tuytelaars] Aljundi, R., Chakravarty, P., and Tuytelaars, T. ExperTgate: Lifelong learning with a network of experts. pp. 3366-3375, 2017. [De~Vries et~al.(2017)De~Vries, Strub, Mary, Larochelle, Pietquin, and Courville] De Vries, H., Strub, F., Mary, J., Larochelle, H., Pietquin, O., and Courville, A. C. Modulating early visual processing by language. pp. 6594-6604, 2017. [Fernando et~al.(2017)Fernando, Banarse, Blundell, Zwols, Ha, Rusu, Pritzel, and Wierstra] Fernando, C., Banarse, D., Blundell, C., Zwols, Y., Ha, D., Rusu, A. A., Pritzel, A., and Wierstra, D. PathNet: Evolutionchannels gradient descent in super neural networks. arXiv preprint arXiv:1701.08734, 2017. [Gepperth Karaoguz(2016)Gepperth and Karaoguz] Gepperth, A. and Karaoguz, C. A bio-inspired incremental learning architecture for applied perceptual problems. Cognitive Computation, 80 (5):0 924-934, 2016. [He et~al.(2016)He, Zhang, Ren, and Sun] He, K., Zhang, X., Ren, S., and Sun, J. Deep residual learning for image recognition. pp. 770-778, 2016. [Ioffe Szegedy(2015)Ioffe and Szegedy] Ioffe, S. and Szegedy, C. Batch normalization: Accelerating deep network training by reducing internal covariate shift. arXiv preprint arXiv:1502.03167, 2015. [Kamra et~al.(2017)Kamra, Gupta, and Liu] Kamra, N., Gupta, U., and Liu, Y. Deep generative dual memory network for continual learning. arXiv preprint arXiv:1710.10368, 2017. [Kim et~al.(2018)Kim, Kim, and Lee] Kim, H.-E., Kim, S., and Lee, J. Keep and learn: Continual learning by constraining the latent space for knowledge preservation in neural networks. arXiv preprint arXiv:1805.10784, 2018. [Kirkpatrick et~al.(2017)Kirkpatrick, Pascanu, Rabinowitz, Veness, Desjardins, Rusu, Milan, Quan, Ramalho, Grabska-Barwinska, et~al.] Kirkpatrick, J., Pascanu, R., Rabinowitz, N., Veness, J., Desjardins, G., Rusu, A. A., Milan, K., Quan, J., Ramalho, T., Grabska-Barwinska, A., et al. Overcoming catastrophic forgetting in neural networks. Proceedings of the national academy of sciences, pp. 201611835, 2017. [Krizhevsky Hinton(2009)Krizhevsky and Hinton] Krizhevsky, A. and Hinton, G. Learning multiple layers of features from tiny images. 2009. [LeCun et~al.(1998)LeCun, Bottou, Bengio, and Haffner] LeCun, Y., Bottou, L., Bengio, Y., and Haffner, P. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 860 (11):0 2278-2324, 1998. [Lee et~al.(2017)Lee, Yun, Hwang, and Yang] Lee, J., Yun, J., Hwang, S., and Yang, E. Lifelong learning with dynamically expandable networks. arXiv preprint arXiv:1708.01547, 2017 a . [Lee et~al.(2017)Lee, Kim, Jun, Ha, and Zhang] Lee, S.-W., Kim, J.-H., Jun, J., Ha, J.-W., and Zhang, B.-T. Overcoming catastrophic forgetting by incremental moment matching. pp. 4652-4662, 2017 b . [Liu et~al.(2018)Liu, Masana, Herranz, Van~de Weijer, Lopez, and Bagdanov] Liu, X., Masana, M., Herranz, L., Van de Weijer, J., Lopez, A. M., and Bagdanov, A. D. Rotate your networks: Better weight consolidation and less catastrophic forgetting. arXiv preprint arXiv:1802.02950, 2018. [Li Hoiem(2018)Li and Hoiem] Li, Z. and Hoiem, D. Learning without forgetting. IEEE Transactions on Pattern Analysis and Machine Intelligence, 400 (12):0 2935-2947, 2018. [Lopez-Paz(2017)] Lopez-Paz, D. Gradient episodic memory for continual learning. Advances in Neural Information Processing Systems, pp. 6467-6476, 2017. [Luo Wu(2017)Luo and Wu] Luo, J.-H. and Wu, J. An entropy-based pruning method for cnn compression. arXiv preprint arXiv:1706.05791, 2017. [Luo et~al.(2017)Luo, Wu, and Lin] Luo, J.-H., Wu, J., and Lin, W. Thinet: A filter level pruning method for deep neural network compression. pp. 5068-5076, 2017. [McCloskey Cohen(1989)McCloskey and Cohen] McCloskey, M. and Cohen, N. J. Catastrophic interference in connectionist networks: The sequential learning problem. 24:0 109-165, 1989. [Mermillod et~al.(2013)Mermillod, Bugaiska, and Bonin] Mermillod, M., Bugaiska, A., and Bonin, P. The stability-plasticity dilemma: Investigating the continuum from catastrophic forgetting to age-limited learning effects. Frontiers in psychology, 4:0 504, 2013. [Molchanov et~al.(2016)Molchanov, Tyree, Karras, Aila, and Kautz] Molchanov, P., Tyree, S., Karras, T., Aila, T., and Kautz, J. Pruning convolutional neural networks for resource efficient inference. arXiv preprint arXiv:1611.06440, 2016. [Nguyen et~al.(2017)Nguyen, Li, Bui, and Turner] Nguyen, C. V., Li, Y., Bui, T. D., and Turner, R. E. Variational continual learning. arXiv preprint arXiv:1710.10628, 2017. [Parisi et~al.(2018)Parisi, Kemker, Part, Kanan, and Wermter] Parisi, G. I., Kemker, R., Part, J. L., Kanan, C., and Wermter, S. Continual lifelong learning with neural networks: A review. arXiv preprint arXiv:1802.07569, 2018. [Real et~al.(2018)Real, Aggarwal, Huang, and Le] Real, E., Aggarwal, A., Huang, Y., and Le, Q. V. Regularized evolution for image classifier architecture search. arXiv preprint arXiv:1802.01548, 2018. [Salimans et~al.(2016)Salimans, Goodfellow, Zaremba, Cheung, Radford, and Chen] Salimans, T., Goodfellow, I., Zaremba, W., Cheung, V., Radford, A., and Chen, X. Improved techniques for training GANs. pp. 2234-2242, 2016. [Shin et~al.(2017)Shin, Lee, Kim, and Kim] Shin, H., Lee, J. K., Kim, J., and Kim, J. Continual learning with deep generative replay. pp. 2990-2999, 2017. [Simonyan Zisserman(2014)Simonyan and Zisserman] Simonyan, K. and Zisserman, A. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014. [Ulyanov et~al.(2016)Ulyanov, Vedaldi, and Lempitsky] Ulyanov, D., Vedaldi, A., and Lempitsky, V. Instance normalization: The missing ingredient for fast stylization. arXiv preprint arXiv:1607.08022, 2016. [Wikipedia contributors(2018)] Wikipedia contributors. Error function― Wikipedia, the free encyclopedia, 2018. URL https://en.wikipedia.org/wiki/Error_function. [Online; accessed 23-Jan-2019]. [Yu et~al.(2018)Yu, Li, Chen, Lai, Morariu, Han, Gao, Lin, and Davis] Yu, R., Li, A., Chen, C.-F., Lai, J.-H., Morariu, V. I., Han, X., Gao, M., Lin, C.-Y., and Davis, L. S. NISP: Pruning networks using neuron importance score propagation. pp. 9194-9203, 2018. [Zacarias Alexandre(2018)Zacarias and Alexandre] Zacarias, A. S. and Alexandre, L. A. Overcoming catastrophic forgetting in convolutional neural networks by selective network augmentation. arXiv preprint arXiv:1802.08250, 2018. [Zenke et~al.(2017)Zenke, Poole, and Ganguli] Zenke, F., Poole, B., and Ganguli, S. Continual learning through synaptic intelligence. arXiv preprint arXiv:1703.04200, 2017.
本発明の理解への一助となるために、以下では、まず、本発明の理論的な背景となる研究について紹介する。
人工ニューラルネットワークにおいて破局的忘却の問題(issue of catastrophic forgetting)を解決するために、ニューロン-レベル塑性制御(neuron-level plasticity control;NPC)と呼ばれる簡単かつ効果的であり、しかも、新規なソリューションが提案される。提案された方法は、新たなタスクを学習する間に接続レベルではなく、神経レベルにおいてネットワークの塑性を制御して既存の知識を保存する。ニューロン-レベル塑性制御は、各ニューロンが重要性を評価し、低い学習速度を適用して重要なニューロンを統合する。
深層ニューラルネットワークにて人工一般知能を実現する過程において、破局的忘却(catastrophic forgetting)は、依然として最も根本的な挑戦の一つである。最も頻繁に用いられる学習アルゴリズムである勾配降下法(gradient descent)は、色々な作業に対するニューラルネットワークを順次に訓練させるために適用されるときに問題を引き起こしてしまう。勾配降下法(gradient descent)が現在の作業に対するニューラルネットワークを最適化させるとき、以前の作業に関する知識は、新たな知識により破局的に(catastrophically)上書きされてしまう。
EWCとその後続研究[Kirkpatrick et~al.(2017)Kirkpatrick, Pascanu, Rabinowitz, Veness, Desjardins, Rusu, Milan, Quan, Ramalho, Grabska-Barwinska, et~al., Lee et~al.(2017)Lee, Kim, Jun, Ha, and Zhang, Nguyen et~al.(2017)Nguyen, Li, Bui, and Turner, Liu et~al.(2018)Liu, Masana, Herranz, Van~de Weijer, Lopez, and Bagdanov, Zenke et~al.(2017)Zenke, Poole, and Ganguli]は、ニューラルネットワークの接続重みに知識が格納されるという考え方に重点を置くものの、このような接続間の相関関係は強調されない。EWCの損失関数は、下記の数1のように定義される。ここで、Tnは、n番目の作業を示す。
3.1 重要度評価(Importance Evaluation)
各ニューロンの重要性を評価するためにネットワークプルーニング分野において用いられるテイラー(Taylor)拡張に基づいて基準(criterion)を調整する[Molchanov et al. (2016) Molchanov, Tyree, Karras, Aila and Kautz]。ネットワーク定理において性能がさらに優秀であると主張する別の方法があるとはいえ[Yu eT~ al. (2018) Yu, Li, Chen, Lai, Morariu, Han, Gao, Lin, Davis, Luo Wu (2017) Luo and Wu Luo et al. (2017) Luo, Wu, Lin]、計算の効率性によりテイラー基準を選択した。テイラー基準(Taylor criterion)は、逆伝播(back-propagation)の間に計算されるニューロンに対する損失関数の勾配度(gradient)から計算される。したがって、これは、最小限の追加計算により訓練過程に容易に統合されることが可能である。
は、相補誤差関数(complementary error function)[Wikipedia contributors (2018)]である。図2(b)は、イークワラゼイション後の重要度の分布を示す。
安定性-塑性ジレンマ(stability-plasticity dilemma)は、人工および生物学的な神経システムの両方ともにおいてよく知られている制約である[Mermillod et al. (2013) Mermillod, Bugaiska, Bonin]。破局的忘却(catastrophic forgetting)は、同一のトレード-オフの問題(すなわち、多重作業のためのニューラルネットワークの性能を最大化させる最適な個所を決定するために試みること)の結果であるとみなすことができる。我々は、各ニューロンniに対して異なる学習率(learning rate)ηiを適用して各ニューロンの塑性を制御する。もし、ηiが高ければ、ニューロンは、既存の知識を速やかに失う代わりに、新たな知識を積極的に学ぶことになる。これに対し、ηiが低ければ、既存の知識(knowledge)をさらに上手く保存することができる。しかしながら、そのニューロンは、新たな知識を学ぶことをはばかる筈である。
である。
であると仮定すれば、数9の解き方は、下記の数10の通りである。このとき、
である。
バッチ正規化(Batch Normalization;BN)は、深層ニューラルネットワーク(deep neural network)訓練に重要な役割を果たす[Ioffe Szegedy (2015) Ioffe and Szegedy]。しかしながら、平均および分散が作業の切り換えに大きく影響を受けるため、継続的な学習環境においてはバニラ―バッチ正規化が正常に作動しない。この場合、条件付き一括処理正規化[De ~ Vries et al. (2017) De ~ Vries, Strub, Mary, Larochelle, Pietquin and Courville]および仮想一括正規化[Salimans et al. (2016) Salimans, Goodfellow, Zaremba, Cheung, Radford and Chen]などのいくつかの代案がある。しかしながら、これらの二種類の方法は、SNPCに適用することができるものの、作業-特化情報を保持・管理するため、NPCには向いていない。したがって、アフィン変換(affine transform)と移動平均が除去されるインスタンス正規化の単純化されたバージョン[Ulyanov et al. (2016) Ulyanov, Vedaldi and Lempitsky]を適用する。インスタンス正規化が各サンプルに独立的に適用できるということに鑑みると、トレーニング時間だけではなく、テスト時間にもモデルパラメーターを特別な操作なしに作動させる。
4.1 学習スケジュールを用いるNPC(NPC Using Learning Schedule)
NPCは、予め定められた学習スケジュールに依存しない。しかしながら、作業切り換えスケジュールが利用可能であるとき、性能を改善するためにその情報を積極的利用することが好ましい。学習スケジュールが実際に予め定められたわけではないものの、最近、継続的な学習に関する研究は、これと類似する状況において評価されたことがある。[Li Hoiem(2018)Li and Hoiem, Shin et~al.(2017)Shin, Lee, Kim, and Kim, Kamra et~al.(2017)Kamra, Gupta, and Liu, Gepperth Karaoguz(2016)Gepperth and Karaoguz, Lopez-Paz(2017), Fernando et~al.(2017)Fernando, Banarse, Blundell, Zwols, Ha, Rusu, Pritzel, and Wierstra, Lee et~al.(2017)Lee, Yun, Hwang, and Yang, Aljundi et~al.(2017)Aljundi, Chakravarty, and Tuytelaars, Kirkpatrick et~al.(2017)Kirkpatrick, Pascanu, Rabinowitz, Veness, Desjardins, Rusu, Milan, Quan, Ramalho, Grabska-Barwinska, et~al., Lee et~al.(2017)Lee, Kim, Jun, Ha, and Zhang, Nguyen et~al.(2017)Nguyen, Li, Bui, and Turner, Liu et~al.(2018)Liu, Masana, Herranz, Van~de Weijer, Lopez, and Bagdanov, Zenke et~al.(2017)Zenke, Poole, and Ganguli, Zacarias Alexandre(2018)Zacarias and Alexandre, Kim et~al.(2018)Kim, Kim, and Lee]
SNPCは、rk×Nlayerにより各作業に割り当てるべきニューロンの数を決定する(ここで、rkは、Tkに割り当てられるニューロンの割合であり、
である)。SNPCは、すべての階層において同一の値を共有して作業間の釣り合いと単純性を向上させる。
5.1 データセットおよび実現詳細(Datasets and Implementation Detail)
我々は、MNIST[LeCun et~al.(1998)LeCun, Bottou, Bengio, and Haffner]およびCIFAR100[Krizhevsky Hinton(2009)Krizhevsky and Hinton]データセットの増分バージョンを実験した。ここで、Lクラスを含むデータセットは、L/KクラスのKサブセットに分けられ、それぞれは、k番目の作業に分類される。MNISTおよびCIFAR100の場合、Kを5に設定した。事前処理のために、二つのデータセットの両方ともにパディングの大きさが4であるランダム切り抜き(random cropping)を適用し、増分CIFAR100(iCIFAR100)データセットに対する追加的な任意の水平反転(random horizontal flip)を適用した。また、一貫性を保つために、すべての実験において、一つのエポック(epoch)単位を総トレーニングデータ数が表示される周期と再定義した。例えば、元々MNISTデータセットに60,000個のトレーニングサンプルがあるため、12,000個のサンプルを5回処理することとiMNISTデータセットの一つのエポックを定義した。このようなエポックの新たな定義とともに、我々は、iMNISTの各作業に対する下位集合においては10エポックに見合う分だけモデルを学習し、iCIFAR100の各下位集合においては30エポックに見合う分だけモデルを学習した。我々は、実験において、iCIFAR100の最初の5個の部分集合を用いた。我々は、すべての作業にミニバッチサイズ256を用いた。
図3および図4は、それぞれiMNISTとiCIFAR100において5種類の継続学習アルゴリズム(NPC、SNPC、EWC、L2正規化およびSGD)の性能を示す。図3において、NPCおよびSNPCは、平均正確度(accuracy)の側面からみて、EWCおよびL2regよりも優れた性能を示す。それらの訓練曲線は、ネットワークがNPCまたはSNPCにより訓練されるときに、先行して学習した知識が後続して学習した知識によりはるかに影響を少なく受けたということを示す。特に、SNPCの場合、第一番目の作業の性能は、後続学習の影響をほとんど受けない。その結果は、SNPCがその影響が消える時点までiMNISTに対して破局的忘却を緩和させるということを示す。
この研究においては、ニューロンレベルにおいてニューラルネットワークの塑性を制御するNPCおよびSNPCという二つの継続的な学習アルゴリズムを提案した。NPCは、各作業に最適化された最新の媒介変数セットのような情報を保持しない。したがって、予め定義された学習スケジュールなしに実行することができない。これに対し、SNPCは、学習スケジュールが予め定義されており、重要なニューロンをより明示的に保護するために積極的に活用する。iMNISTおよびiCIFAR100データセットの実験結果によれば、NPCおよびSNPCは、接続間の関係を考慮しない既存の接続レベル統合アルゴリズムよりもはるかに効果的である。特に、iMNISTデータセットに対するSNPCの結果においては、破局的忘却がほとんど消えていた。
上述した以上の研究によるニューロン-レベル塑性制御(NPC)またはスケジュールされたNPC(SNPC)を通じて破局的忘却を克服するための方法は、コンピューティングシステムにより行われることができる。
Claims (3)
- 第1のニューロン乃至第Nのニューロン(ここで、Nは2以上の整数)から構成される人工ニューラルネットワークモデルに対するニューロン-レベル塑性の制御方法であって、
コンピューティングシステムが、継続学習(continual learning)の対象となる複数の作業のそれぞれに見合うトレーニングデータセットを取得するステップと、
前記コンピューティングシステムが、前記複数の作業のそれぞれに対して、前記作業に見合う学習プロセスを行うステップと、
を含むが、
前記作業に見合う学習プロセスを行うステップは、
前記コンピューティングシステムが、前記作業に見合うトレーニングデータセットに含まれている複数の個別データのそれぞれに対して(ここで、前記複数の個別データのそれぞれには、それに見合う正解ラベルが与えられる)、前記個別データに基づいて重み調節プロセスを行うステップと、
前記コンピューティングシステムが、前記人工ニューラルネットワークを構成する複数のレイヤーのそれぞれに対して、前記レイヤーに含まれている自由ニューロンのうち、重要度が最も大きな一部である重要ニューロンを選択するステップと、
前記人工ニューラルネットワーク内の自由ニューロンから前記重要ニューロンへと向かうすべての接続の重みを0に固定するステップと、
前記コンピューティングシステムが、前記作業に見合うトレーニングデータセットにて、前記重み調節プロセスを行うステップを2以上のエポック(epoch)に見合う分だけ繰り返し行うステップと、
前記重要ニューロンを入力ノードとするすべての接続の重みを固定するステップと、を含み、
前記重み調節プロセスを行うステップは、
前記人工ニューラルネットワークモデルに前記個別データを入力して、前記個別データに見合う予測値を取得するステップと、
前記予測値および前記個別データに与えられた正解ラベルに基づいて、交差エントロピー(Cross Entropy)を算出するステップと、
前記人工ニューラルネットワークモデルに含まれているそれぞれのニューロンniに対して(ここで、iは1≦i≦Nの整数)、前記ニューロンniを入力ノードとするすべての接続の重みを調節するステップと、
を含み、
前記ニューロンniを入力ノードとするすべての接続の重みを調節するステップは、
正規化済みのテイラー基準の移動平均であるニューロンniの重要度Ciを算出するステップと、
下記の数1に基づいて、ニューロンniの学習率ηiを算出するステップと、
算出された前記学習率ηiを適用した勾配降下法(gradient descent)を通じて、前記ニューロンniを入力ノードとするすべての接続の重みを更新するステップと、
を含むニューロン-レベル塑性の制御方法。 - データ処理装置にインストールされ、請求項1に記載の方法を行うために記録媒体に格納されたコンピュータープログラム。
- コンピューティングシステムであって、
プロセッサーと、
前記プロセッサーにより起動されるコンピュータープログラムを格納するメモリと、
を備え、
前記コンピュータープログラムは、前記プロセッサーにより起動される場合、前記コンピューティングシステムが、請求項1に記載の方法を行うようにするコンピューティングシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2020-0009615 | 2020-01-28 | ||
KR1020200009615A KR20210096342A (ko) | 2020-01-28 | 2020-01-28 | 뉴런-레벨 가소성 제어를 통해 파국적인 망각을 극복하기 위한 방법 및 이를 수행하는 컴퓨팅 시스템 |
PCT/KR2020/009823 WO2021153864A1 (ko) | 2020-01-28 | 2020-07-24 | 뉴런-레벨 가소성 제어를 통해 파국적인 망각을 극복하기 위한 방법 및 이를 수행하는 컴퓨팅 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023510837A JP2023510837A (ja) | 2023-03-15 |
JP7431473B2 true JP7431473B2 (ja) | 2024-02-15 |
Family
ID=77078190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022542682A Active JP7431473B2 (ja) | 2020-01-28 | 2020-07-24 | ニューロン-レベル塑性制御を通じて破局的忘却を克服するための方法およびこれを行うコンピューティングシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230072274A1 (ja) |
EP (1) | EP4099223A4 (ja) |
JP (1) | JP7431473B2 (ja) |
KR (1) | KR20210096342A (ja) |
CN (1) | CN115023708A (ja) |
WO (1) | WO2021153864A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018513507A (ja) | 2015-03-20 | 2018-05-24 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 人工ニューラルネットワークの関連性スコア割当て |
JP2019525329A (ja) | 2016-07-18 | 2019-09-05 | ディープマインド テクノロジーズ リミテッド | 複数の機械学習タスクに関する機械学習モデルのトレーニング |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3477591B1 (en) * | 2017-10-24 | 2020-05-27 | AGFA Healthcare | Avoiding catastrophic interference while training an artificial neural network on an additional task |
KR102471514B1 (ko) * | 2019-01-25 | 2022-11-28 | 주식회사 딥바이오 | 뉴런-레벨 가소성 제어를 통해 파국적인 망각을 극복하기 위한 방법 및 이를 수행하는 컴퓨팅 시스템 |
CN109934343A (zh) * | 2019-02-25 | 2019-06-25 | 中国科学院自动化研究所 | 基于正交投影矩阵的人工神经网络优化方法、系统、装置 |
-
2020
- 2020-01-28 KR KR1020200009615A patent/KR20210096342A/ko unknown
- 2020-07-24 WO PCT/KR2020/009823 patent/WO2021153864A1/ko unknown
- 2020-07-24 JP JP2022542682A patent/JP7431473B2/ja active Active
- 2020-07-24 CN CN202080095037.0A patent/CN115023708A/zh active Pending
- 2020-07-24 US US17/795,546 patent/US20230072274A1/en active Pending
- 2020-07-24 EP EP20916689.1A patent/EP4099223A4/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018513507A (ja) | 2015-03-20 | 2018-05-24 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 人工ニューラルネットワークの関連性スコア割当て |
JP2019525329A (ja) | 2016-07-18 | 2019-09-05 | ディープマインド テクノロジーズ リミテッド | 複数の機械学習タスクに関する機械学習モデルのトレーニング |
Non-Patent Citations (1)
Title |
---|
PAIK, Inyoung ほか,Overcoming Catastrophic Forgetting by Neuron-level Plasticity Control,arXiv[online],2019年07月31日,[retrieved on 2023.07.18], Retrieved from the Internet: <URL:https://arxiv.org/pdf/1907.13322.pdf> |
Also Published As
Publication number | Publication date |
---|---|
EP4099223A1 (en) | 2022-12-07 |
KR20210096342A (ko) | 2021-08-05 |
WO2021153864A1 (ko) | 2021-08-05 |
EP4099223A4 (en) | 2023-03-22 |
JP2023510837A (ja) | 2023-03-15 |
CN115023708A (zh) | 2022-09-06 |
US20230072274A1 (en) | 2023-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Maltoni et al. | Continuous learning in single-incremental-task scenarios | |
Guo et al. | Dynamic task prioritization for multitask learning | |
Rastegari et al. | Xnor-net: Imagenet classification using binary convolutional neural networks | |
Yin et al. | Knowledge transfer for deep reinforcement learning with hierarchical experience replay | |
Paik et al. | Overcoming catastrophic forgetting by neuron-level plasticity control | |
KR102471514B1 (ko) | 뉴런-레벨 가소성 제어를 통해 파국적인 망각을 극복하기 위한 방법 및 이를 수행하는 컴퓨팅 시스템 | |
US11494626B2 (en) | Runtime-throttleable neural networks | |
Touati et al. | Randomized value functions via multiplicative normalizing flows | |
Lemaire et al. | An analytical estimation of spiking neural networks energy efficiency | |
KR20220038148A (ko) | 공유 스크래치패드 메모리를 사용한 벡터 축소들 | |
KR20220166716A (ko) | 퓨샷 모방을 위한 시연 조건부 보강 학습 | |
Thangarasa et al. | Enabling continual learning with differentiable hebbian plasticity | |
Mehmood et al. | Automatic differentiation of some first-order methods in parametric optimization | |
Shekhovtsov et al. | Stochastic normalizations as bayesian learning | |
JP7431473B2 (ja) | ニューロン-レベル塑性制御を通じて破局的忘却を克服するための方法およびこれを行うコンピューティングシステム | |
Huang et al. | Rct: Resource constrained training for edge ai | |
Liang et al. | A CGRA based neural network inference engine for deep reinforcement learning | |
GB2572164A (en) | Artificial neural networks | |
CN117011118A (zh) | 模型参数更新方法、装置、计算机设备以及存储介质 | |
Khan et al. | DaCapo: An On-Device Learning Scheme for Memory-Constrained Embedded Systems | |
Jin et al. | Deep deformable Q-Network: an extension of deep Q-Network | |
Chen et al. | SMALE: Enhancing Scalability of Machine Learning Algorithms on Extreme-Scale Computing Platforms | |
Shulman | DiffPrune: Neural Network Pruning with Deterministic Approximate Binary Gates and $ L_0 $ Regularization | |
Li et al. | Neural plasticity networks | |
Chen et al. | A robust and anti-forgettiable model for class-incremental learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7431473 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |