WO2022114913A1 - 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템 및 그 방법 - Google Patents

인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템 및 그 방법 Download PDF

Info

Publication number
WO2022114913A1
WO2022114913A1 PCT/KR2021/017832 KR2021017832W WO2022114913A1 WO 2022114913 A1 WO2022114913 A1 WO 2022114913A1 KR 2021017832 W KR2021017832 W KR 2021017832W WO 2022114913 A1 WO2022114913 A1 WO 2022114913A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
algorithm
artificial intelligence
intelligence technology
resistance variable
Prior art date
Application number
PCT/KR2021/017832
Other languages
English (en)
French (fr)
Inventor
김녹원
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to US18/039,402 priority Critical patent/US20240020511A1/en
Priority to CN202180091192.XA priority patent/CN116724317A/zh
Publication of WO2022114913A1 publication Critical patent/WO2022114913A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn

Definitions

  • the present disclosure relates to a system and method for optimizing a layer of a stacked resistance variable memory device using artificial intelligence technology. More specifically, in a BNN (Binary Neural Networks) model, the optimal parameters are obtained by classifying the BNN model parameters into physical parameters and hyperparameters, and the minimum size channel with high accuracy and minimum deviation using the obtained parameters. To a system and method for optimizing a layer of a stacked resistance variable memory device using an artificial intelligence technology for calculating a value and optimizing a layer of a stacked resistance conversion memory (3D RRAM) using the calculated channel value.
  • a BNN Binary Neural Networks
  • Such a neuromorphic processor is a neural network device for driving various neural networks such as Binary Neural Networks (BNN), Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Feedforward Neural Network (FNN), etc. and can be used in fields such as data classification or image recognition.
  • BNN Binary Neural Networks
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • FNN Feedforward Neural Network
  • a neural network device requires a large amount of computation on complex input data.
  • a technology capable of efficiently processing a neural network operation is required.
  • a technology capable of minimizing the loss of accuracy while reducing the amount of computation required to process complex input data is required.
  • An object of the present disclosure is to provide a system and method for optimizing a layer of a stacked resistance variable memory device using artificial intelligence technology.
  • the layer optimization method of the stacked resistance variable memory device using artificial intelligence technology is a method using a neural network device for optimizing the layer of the stacked resistance variable memory device using artificial intelligence technology, the neural network device classifying the BNN parameters into physical parameters and hyperparameters in the BNN model; obtaining, by the neural network device, an optimal parameter using the physical parameter and the hyper parameter; and calculating, by the neural network device, a minimum channel size in the BNN model by using the optimal parameter.
  • the physical parameters include the number of convolutional layers, the channel (filter) size, the kernel size, the presence or absence of batch normalization and the presence or absence of a pooling layer, and the hyper parameter is an optimization device (Optimizer), a learning rate (learning rate), and may include a momentum (Momentum).
  • Optimizer optimization device
  • Learning rate learning rate
  • Momentum momentum
  • the optimization device includes a batch gradient descent algorithm, a stochastic gradient descent (SGD) algorithm, a gradient descent algorithm, a mini-batch gradient descent algorithm, a momentum ( Momentum) algorithm, Adagrad algorithm, RMSprop algorithm, and may include at least one algorithm of Adam (Adam) algorithm.
  • SGD stochastic gradient descent
  • Grad gradient descent
  • mini-batch gradient descent algorithm a momentum ( Momentum) algorithm
  • Adagrad Adagrad algorithm
  • RMSprop algorithm and may include at least one algorithm of Adam (Adam) algorithm.
  • the acquiring of the optimal parameter may include: calculating an optimal algorithm using an algorithm of the optimization device included in the hyper parameter; calculating an optimal learning rate for adjusting a weight and intensity of a kernel update in BNN using the learning rate included in the hyper parameter; and calculating an optimal momentum in consideration of a momentum value in the BNN using the momentum included in the hyper parameter.
  • the calculating of the optimal algorithm may include: calculating an optimal algorithm combination among at least one algorithm included in the optimization device; and calculating the ratio of the optimal algorithm combination.
  • the ratio of the Adam algorithm and the SGD algorithm may be 3:7, and when the kernel size is 5 ⁇ 5, the ratio of the Adam algorithm and the SGD algorithm may be 6:4.
  • the same optimal learning rate may be obtained, and the optimal learning rate may have a learning rate of 0.03.
  • the optimal momentum may have a value of 0.5 momentum when the kernel size is 3x3, and 0.6 momentum when the kernel size is 5x5.
  • the obtaining of the optimal parameter may include determining whether the batch normalization and the pooling layer exist.
  • the batch normalization may be included in each of the convolutional layers.
  • the batch normalization may be performed by [Equation 1].
  • the pooling layer may be located in the last two layers among the convolutional layers.
  • the calculating of the minimum channel size may include determining accuracy of the minimum channel size.
  • the accuracy may be 96% or more when the kernel size is 3x3.
  • the calculating of the minimum channel size may further include determining the accuracy of the minimum channel size by applying an error rate for each layer for each minimum channel size.
  • the accuracy may be 94.069% at the 40nm node, the accuracy may be 93.777% at the 20nm node, and the accuracy may be 93.07% at the 10nm node.
  • the system for optimizing the layer of the stacked resistance variable memory device using the artificial intelligence technology may perform a neural network method for optimizing the layer of the stacked resistance variable memory device using the artificial intelligence technology by the neural network device.
  • the program according to an embodiment of the present disclosure is stored in a computer-readable recording medium so as to perform the layer optimization method of the stacked resistance variable memory device using the artificial intelligence technology in combination with a computer that is hardware.
  • robot devices such as drones, advanced driver assistance systems (ADAS), etc., smart TVs, smartphones, medical devices, mobile devices, image display devices, measurement devices, IoT devices, etc.
  • ADAS advanced driver assistance systems
  • smart TVs smartphones
  • medical devices mobile devices
  • image display devices measurement devices
  • IoT devices IoT devices
  • FIG. 1 is a conceptual diagram illustrating a system for optimizing a layer of a stacked resistance variable memory device using an artificial intelligence technology according to an embodiment of the present disclosure.
  • FIG. 2 is a view for explaining a method of optimizing a layer of a stacked resistance variable memory device using an artificial intelligence technology according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining a step of obtaining an optimal parameter shown in FIG. 2 .
  • 4 and 5 are diagrams for explaining the step of calculating the optimal algorithm combination shown in FIG.
  • 6 and 7 are diagrams for explaining the step of calculating the optimal learning rate shown in FIG.
  • FIG. 8 and 9 are diagrams for explaining the step of calculating the optimum momentum shown in FIG. 3 .
  • 10 to 12 are diagrams for explaining the step of determining the presence or absence of the batch normalization and pooling layer shown in FIG. 3 .
  • 13 and 14 are diagrams for explaining the step of calculating the minimum channel size shown in FIG. 2 .
  • FIG. 15 is a diagram for explaining a step of optimizing the layer of the RRAM having the minimum deviation shown in FIG. 2 .
  • FIG. 16 is a hardware configuration diagram of a computing device capable of implementing the neural network device shown in FIG. 1 .
  • first, second, etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.
  • FIG. 1 is a conceptual diagram illustrating a system for optimizing a layer of a stacked resistance variable memory device using an artificial intelligence technology according to an embodiment of the present disclosure.
  • the hierarchical optimization system 1 of the stacked resistance variable memory device using the artificial intelligence technology which is an embodiment of the present disclosure, is a filter of the BNN (Binary Neural Networks) model by the neural network device 10 .
  • BNN Binary Neural Networks
  • FIG. 2 is a view for explaining a method of optimizing a layer of a stacked resistance variable memory device using an artificial intelligence technology, according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining a step of obtaining an optimal parameter shown in FIG. 2 .
  • 4 and 5 are diagrams for explaining a method of calculating an optimal algorithm combination shown in FIG. 3 .
  • 6 and 7 are diagrams for explaining a method of calculating the optimal learning rate shown in FIG. 3 .
  • 8 and 9 are diagrams for explaining a method of calculating the optimum momentum shown in FIG. 3 .
  • 10 to 12 are diagrams for explaining the step of determining the presence or absence of the batch normalization and pooling layer shown in FIG. 3 .
  • FIG. 13 and 14 are diagrams for explaining a method of calculating the minimum channel size shown in FIG. 2 .
  • FIG. 15 is a diagram for explaining a method of optimizing a layer of an RRAM having a minimum deviation shown in FIG. 2 .
  • the layer optimization method of the stacked resistance variable memory device using artificial intelligence technology was performed in the coded condition, the present invention is not limited thereto.
  • Kernel Size Convolutional Layer Channel Size 3 ⁇ 3 2 10 15 20 4 10 15 20 6 10 15 20 5 ⁇ 5 2 10 15 20 4 10 15 20 6 10 15 20
  • the neural network device 10 may classify BNN parameters into physical parameters and hyper parameters in the BNN model ( S10 ).
  • the physical parameter may include the number of convolutional layers, the channel (filter) size, the kernel size, the presence or absence of batch normalization and the presence or absence of a pooling layer, but is not limited thereto. .
  • the hyperparameter may include, but is not limited to, an optimizer, a learning rate, and a momentum, the number of hidden units, the mini-batch size, the number of hidden layers, and the learning rate. decay) can be included.
  • the neural network device 10 may obtain an optimal parameter by using the physical parameter and the hyper parameter ( S20 ).
  • the neural network device 10 may calculate the optimal algorithm by using the algorithm of the optimization device included in the hyper parameter ( S100 ).
  • the algorithm of the optimization device is a batch gradient descent algorithm that considers all data when calculating an error, and stochastic gradient descent that calculates only one randomly selected data rather than all data when adjusting parameter values.
  • SGD Spochastic Gradient Descent
  • Gradient Descent Algorithm that adjusts the values of parameters by calculating only a set amount
  • Mini-Batch Gradient Descent Mini-Batch
  • Momentum Algorithm that applies the law of physics called inertia
  • Adagrad Algorithm that applies different learning rates to each parameter
  • RMS Prop that improves the disadvantage of decreasing learning rate of Adagrad Algorithm (RMSprop)
  • Adam Adaptive Moment Estimation
  • the neural network device 10 has low optimal accuracy to calculate the optimal algorithm, but the SGD algorithm in which the speed is improved by adjusting the weights for randomly extracted data rather than adjusting the weights for all data
  • the optimal combination of algorithms can be calculated using the Adam algorithm, which combines the strengths of the RMSprop algorithm and the momentum algorithm. That is, in the neural network device 10, the ratio of the Adam algorithm and the SGD algorithm is 3:7 when the kernel size is 3x3, and the ratio of the Adam algorithm and the SGD algorithm is 6:4 when the kernel size is 5x5. can be calculated.
  • the neural network device 10 may calculate an optimal ratio between the Adam algorithm and the SGD algorithm.
  • the optimal ratio with the highest accuracy can be calculated by comparing the case where the Adam algorithm is high and the case where the SGD algorithm is high.
  • the ratio of Adam algorithm and SGD algorithm is 1:9, the ratio of Adam algorithm and SGD algorithm is 2:8, the ratio of Adam algorithm and SGD algorithm is 3:7, the ratio of Adam algorithm and SGD algorithm is 4: 6, the ratio of the Adam algorithm and the SGD algorithm is 5:5, the ratio of the Adam algorithm and the SGD algorithm is 6:4, the ratio of the Adam algorithm and the SGD algorithm is 7:3, the ratio of the Adam algorithm and the SGD algorithm is 8:1 and It is repeated for the condition that the ratio of Adam algorithm and SGD algorithm is 9:1.
  • the optimal ratio of the Adam algorithm and the SGD algorithm is 3:7 when the kernel size is 3x3, and the optimal combination of the Adam algorithm and the SGD algorithm is 6:4 when the kernel size is 5x5. can be calculated.
  • the accuracy according to a change in the channel size (refer to FIG. 5(a) ) and the number of convolutional layers is 4 Among the accuracy according to the change in the channel size in the case of (see Fig. 5 (b)) and the accuracy according to the change in the channel size when the number of convolution layers is 6 (see Fig. 5 (c)), the Adam algorithm and the SGD algorithm It can be seen that the highest accuracy is achieved when the ratio of is 3:7.
  • the neural network device 10 may use the learning rate included in the hyper parameter to calculate the optimal learning rate for adjusting the weight and the intensity of the kernel update in the BNN ( S110 ). That is, when the kernel size is 3x3 and the kernel size is 5x5, the neural network device 10 may calculate the same optimal learning rate of 0.03.
  • the neural network device 10 can calculate an optimal learning rate of 0.03 with an accuracy of 99% by comparing and analyzing the learning rate that has the meaning of how much to learn when learning from 0.01 to 0.1 once. .
  • the accuracy according to the change in the channel size (refer to FIG. 6(a)) and the number of convolutional layers are 4
  • the learning rate is 0.03 among the accuracy according to the change in the channel size (see Fig. 6 (b)) and the accuracy according to the change in the channel size when the number of convolution layers is 6 (see Fig. 6 (c))
  • the neural network apparatus 10 may calculate the optimal momentum by considering the momentum value in the BNN by using the momentum included in the hyper parameter ( S120 ). That is, the neural network device 10 may calculate an optimal momentum having a momentum of 0.5 when the kernel size is 3 ⁇ 3 and a momentum of 0.6 when the kernel size is 5 ⁇ 5.
  • the neural network device 10 considers different momentum values from 0.1 to 1.0 in order to calculate an optimal momentum value to reduce training time, and when the kernel size is 3 ⁇ 3, the momentum is 0.5, and the kernel When the size is 5 ⁇ 5, the optimum momentum with a momentum of 0.6 can be calculated.
  • the neural network device 10 may determine the presence or absence of batch normalization (S130). That is, the neural network device 10 may determine whether batch normalization is required for the convolutional layer.
  • batch normalization may be calculated by Equation 1 below.
  • the neural network device 10 may determine whether a pooling layer exists (S140). That is, the neural network device 10 may determine whether a pooling layer exists in the convolutional layer.
  • the pooling layer may be located in the last two layers among the convolutional layers.
  • the pooling layer when the pooling layer is located in the last two layers among the convolutional layers, referring to FIG. 12 , it can be seen that the pooling layer has the highest accuracy.
  • step S130 of determining the presence or absence of the batch normalization may be performed after the step S140 of determining the existence of the pooling layer.
  • steps S130 and S140 may be simultaneously performed.
  • the neural network device 10 may calculate the minimum channel size in the BNN model by using the optimal parameters (S30). That is, the neural network device 10 may determine the accuracy of the minimum channel size and calculate the corresponding minimum channel size.
  • the neural network device 10 may calculate the channel size starting from 9 and decreasing one by one.
  • the channel size may be independent of the number of convolutional layers.
  • the accuracy is 96% or more when the kernel size is 3 ⁇ 3. That is, it is possible to minimize the layer of the stacked resistance variable memory device while maintaining or increasing the accuracy in the BNN model.
  • the neural network device 10 may determine the accuracy of the minimum channel size by applying the error rate for each layer to each minimum channel size.
  • the accuracy is 94.069% at the 40nm node, the accuracy is 93.777% at the 20nm node, and the accuracy is 93.07 at the 10nm node. It can be %.
  • the neural network device 10 may optimize the RRAM layer having the minimum deviation by using the minimum channel size (S40).
  • the neural network device 10 may optimize the channel size to 8 by reducing the channel size of 50 by 80% or more while maintaining accuracy.
  • Such a neural network device 10 may include various portable electronic communication devices for performing a layer optimization method of a stacked resistance variable memory device using artificial intelligence technology.
  • a smart phone for performing a layer optimization method of a stacked resistance variable memory device using artificial intelligence technology.
  • PDA personal digital assistant
  • a tablet for example, a wearable device, for example, a watch-type terminal (Smartwatch), a glass-type terminal (including Smart Glass), HMD (Head Mounted Display), etc.) and various Internet of Things (IoT) terminals, but are not limited thereto.
  • IoT Internet of Things
  • 16 is a hardware configuration diagram of an exemplary computing device capable of implementing the neural network device 10 .
  • the computing device 800 loads one or more processors 810 , a storage 850 for storing a computer program 851 , and a computer program 851 executed by the processor 810 . and a memory 820 , a bus 830 , and a network interface 840 .
  • processors 810 the computing device 800 loads one or more processors 810 , a storage 850 for storing a computer program 851 , and a computer program 851 executed by the processor 810 .
  • a memory 820 for storing a computer program 851 , and a computer program 851 executed by the processor 810 .
  • a bus 830 for storing a computer program 851
  • a network interface 840 a network interface
  • the processor 810 controls the overall operation of each component of the computing device 800 .
  • the processor 810 includes a central processing unit (CPU), a micro processor unit (MPU), a micro controller unit (MCU), a graphic processing unit (GPU), or any type of processor well known in the art of the present disclosure. can be In addition, the processor 810 may perform an operation on at least one computer program for executing the method of optimizing the layer of the stacked resistance variable memory device using artificial intelligence technology according to an embodiment of the present disclosure.
  • Computing device 800 may include one or more processors.
  • the memory 820 stores data supporting various functions of the computing device 800 .
  • the memory 820 stores a plurality of computer programs (app, application program, or application software) driven in the computing device 800 , data, instructions, and one or more information for the operation of the computing device 800 .
  • At least some of the computer programs may be downloaded from an external device (not shown).
  • at least a part of the computer program may exist on the computing device 800 from the time of shipment for basic functions (eg, receiving a message, sending a message) of the computing device 800 .
  • the memory 820 may load one or more computer programs 851 from the storage 850 in order to execute the method for optimizing the layer of the stacked resistance variable memory device using artificial intelligence technology according to an embodiment of the present disclosure.
  • RAM random access memory
  • the bus 830 provides communication functions between components of the computing device 800 .
  • the bus 830 may be implemented as various types of buses, such as an address bus, a data bus, and a control bus.
  • the network interface 840 supports wired/wireless Internet communication of the computing device 800 . Also, the network interface 840 may support various communication methods other than Internet communication. To this end, the network interface 840 may be configured to include a communication module well-known in the technical field of the present disclosure.
  • the storage 850 may non-temporarily store one or more computer programs 851 .
  • the storage 850 is a non-volatile memory, such as a read only memory (ROM), an erasable programmable ROM (EPROM), an electrically erasable programmable ROM (EEPROM), a flash memory, a hard disk, a removable disk, or well in the art to which the present disclosure pertains. It may be configured to include any known computer-readable recording medium.
  • the computing device 800 may further include an input unit and an output unit in addition to the components illustrated in FIG. 16 .
  • the input unit may include a camera for receiving an image signal, a microphone for receiving an audio signal, and a user input unit for receiving information from a user.
  • the user input unit may include one or more of a touch key and a mechanical key.
  • the image data collected through the camera or the audio signal collected through the microphone may be analyzed and processed by a user's control command.
  • the output unit is for visual, auditory or tactile output of the command processing result, and may include a display unit, an optical output unit, a speaker, a haptic output unit, and an optical output unit.
  • Steps of a method or algorithm described in relation to an embodiment of the present disclosure may be implemented directly in hardware, as a software module executed by hardware, or by a combination thereof.
  • a software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or this It may reside in any type of computer-readable recording medium well known in the art to which the disclosure pertains.
  • the disclosed technology can be applied to a neural network using a stacked resistance conversion memory (3D RRAM), a neural network device, and a neural network system.
  • 3D RRAM stacked resistance conversion memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)
  • Semiconductor Memories (AREA)

Abstract

인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템 및 그 방법이 제공된다. 상기 방법은, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 장치를 이용한 방법에 있어서, 상기 뉴럴 네트워크 장치가 BNN모델에서 BNN매개변수를 물리적 매개변수 및 하이퍼 매개변수로 분류하는 단계; 상기 뉴럴 네트워크 장치가 상기 물리적 매개변수 및 상기 하이퍼 매개변수를 이용하여 최적의 파라미터를 획득하는 단계; 상기 뉴럴 네트워크 장치가 상기 최적의 파라미터를 이용하여 상기 BNN모델에서 최소채널크기를 산출하는 단계;를 포함할 수 있다.

Description

인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템 및 그 방법
본 개시는 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템 및 그 방법에 관한 것이다. 더욱 구체적으로 BNN(Binary Neural Networks) 모델에서 BNN모델매개변수를 물리적 매개변수 및 하이퍼 매개변수로 분류하여 최적의 파라미터를 획득하고, 획득한 파라미터를 이용하여 높은 정확도와 최소 편차를 갖는 최소크기의 채널값을 산출하고, 산출된 채널값을 이용하여 적층형 저항 변환 메모리(3D RRAM)의 계층을 최적화기 위한 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템 및 그 방법에 관한 것이다.
인간의 신경계를 닮은 뉴로모픽 프로세서(neuromorphic processor)에 관한 관심이 증대되고 있다. 인간의 신경계에 존재하는 뉴런(neuron)과 시냅스(synapse)에 각각 대응되는, 뉴런 회로와 시냅스 회로를 설계하여, 뉴로모 픽 프로세서를 구현하고자 하는 연구가 있어 왔다. 이와 같은 뉴로모픽 프로세서는 BNN(Binary Neural Networks), Convolutional Neural Network(CNN), Recurrent Neural Network(RNN), Feedforward Neural Network(FNN) 등과 같은 다양한 뉴럴 네트워크(neural network)들을 구동하기 위한 뉴럴 네트워크 장치로 이용될 수 있고, 데이터 분류(classification) 또는 이미지 인식 (recognition)과 같은 분야에서 활용될 수 있다.
최근 뉴럴 네트워크 기술이 발전함에 따라, 다양한 종류의 전자 시스템에서 뉴럴 네트워크 장치를 사용하여 입력 데이터를 분석하고 유효한 정보를 추출하는 연구가 활발히 진행되고 있다.
뉴럴 네트워크 장치는 복잡한 입력 데이터에 대한 많은 양의 연산을 필요로 한다. 뉴럴 네트워크 장치가 입력을 실시간으로 분석하고, 정보를 추출하기 위해서 뉴럴 네트워크 연산을 효율적으로 처리할 수 있는 기술이 요구된다. 특히, 스마트폰과 같은, 저전력 고성능 임베디드 시스템은 제한된 리소스를 가지므로, 복잡한 입력 데이터를 처리하는데 필요한 연산량을 감소시키면서도 정확도 손실을 최소화할 수 있는 기술이 요구된다.
본 개시가 해결하고자 하는 과제는 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템 및 그 방법을 제공하는 것이다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 실시예에 따른 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 방법은, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 장치를 이용한 방법으로서, 상기 뉴럴 네트워크 장치가 BNN모델에서 BNN매개변수를 물리적 매개변수 및 하이퍼 매개변수로 분류하는 단계; 상기 뉴럴 네트워크 장치가 상기 물리적 매개변수 및 상기 하이퍼 매개변수를 이용하여 최적의 파라미터를 획득하는 단계; 상기 뉴럴 네트워크 장치가 상기 최적의 파라미터를 이용하여 상기 BNN모델에서 최소채널크기를 산출하는 단계;를 포함할 수 있다.
상기 물리적 매개변수는 컨볼루션 레이어(Convolutional Layer)의 수, 채널(필터) 크기, 커널 크기, 배치 정규화(Batch Normalization) 유무 및 풀링 계층(Pooling Layer) 유무를 포함하고, 상기 하이퍼 매개변수는 최적화 기기(Optimizer), 학습률(learning rate) 및 모멘텀(Momentum)을 포함할 수 있다.
상기 최적화 기기는 배치 경사 하강(Batch Gradient Descent) 알고리즘, 확률적 경사 하강(Stochastic Gradient Descent, SGD) 알고리즘, 경사 하강(Gradient Descent) 알고리즘, 미니 배치 경사 하강(Mini-Batch Gradient Descent) 알고리즘, 모멘텀(Momentum) 알고리즘, 아다그라드(Adagrad) 알고리즘, 알엠에스프롭(RMSprop) 알고리즘 및 아담(Adam) 알고리즘 중 적어도 하나의 알고리즘을 포함할 수 있다.
상기 최적의 파라미터를 획득하는 단계는, 상기 하이퍼 매개변수에 포함된 상기 최적화 기기의 알고리즘을 이용하여 최적알고리즘을 산출하는 단계; 상기 하이퍼 매개변수에 포함된 상기 학습률을 이용하여 BNN에서 가중치 및 커널 업데이트의 강도를 조절하는 최적학습률을 산출하는 단계; 및 상기 하이퍼 매개변수에 포함된 상기 모멘텀을 이용하여 BNN에서 운동량값을 고려하여 최적모멘텀을 산출하는 단계;를 포함할 수 있다.
상기 최적알고리즘을 산출하는 단계는, 상기 최적화 기기에 포함된 적어도 하나의 알고리즘 사이의 최적의 알고리즘조합을 산출하는 단계; 및 상기 최적의 알고리즘조합의 비율을 산출하는 단계;를 포함할 수 있다.
상기 최적알고리즘은, 커널 크기가 3×3인 경우 Adam 알고리즘과 SGD 알고리즘의 비율이 3:7 이고, 커널 크기가 5×5인 경우 Adam 알고리즘과 SGD 알고리즘의 비율이 6:4일 수 있다.
커널 크기가 3×3 및 커널 크기가 5×5인 경우 동일한 최적학습률을 갖고, 상기 최적학습률은 0.03 학습률을 가질 수 있다.
상기 최적모멘텀은, 커널 크기가 3×3인 경우 0.5 모멘텀의 값을 가지고, 커널 크기가 5×5인 경우 0.6 모멘텀의 가질 수 있다.
상기 최적의 파라미터를 획득하는 단계는, 상기 배치 정규화 및 상기 풀링 계층의 존재유무를 판단하는 단계;를 포함할 수 있다.
컨볼루션 레이어의 수가 4이고, 채널 크기가 9이고, 커널 크기가 3×3인 경우, 상기 배치 정규화는 상기 컨볼루션 레이어 각각에 포함될 수 있다.
상기 배치 정규화는 상기 컨볼루션 레이어 각각에 포함되지 않는 경우, 8%의 정확도가 차이날 수 있다.
상기 배치 정규화는 [수학식 1]에 의해 연산 수행될 수 있다.
[수학식 1]
Figure PCTKR2021017832-appb-img-000001
컨볼루션 레이어의 수가 4이고, 채널 크기가 9이고, 커널 크기가 3×3인 경우, 상기 풀링 계층은 상기 컨볼루션 레이어 중 마지막 2개의 계층에 위치할 수 있다.
상기 최소채널크기를 산출하는 단계는, 상기 최소채널크기의 정확성을 판단하는 단계;를 포함할 수 있다.
상기 최소채널크기가 8인 경우, 커널 크기가 3×3인 일 때 정확도가 96% 이상일 수 있다.
상기 최소채널크기를 산출하는 단계는, 상기 최소채널크기별로 계층별 에러율을 적용하여 상기 최소채널크기의 정확성을 판단하는 단계;를 더 포함할 수 있다.
상기 최소채널크기가 8이고, 커널 크기가 3×3인 인 경우, 40nm 노드에서 정확도가 94.069%이고, 20nm 노드에서 정확도가 93.777%이며, 10nm 노드에서 정확도가 93.07%일 수 있다.
상기 뉴럴 네트워크 장치가 상기 최소채널크기를 이용하여 최소편차를 갖는 RRAM의 계층을 최적화하는 단계;를 포함할 수 있다.
본 개시의 일 실시예에 따른 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템은, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법을 뉴럴 네트워크 장치에 의해 수행할 수 있다.
본 개시의 일 실시예에 따른 프로그램은 하드웨어인 컴퓨터와 결합되어, 상기 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된다.
본 개시의의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 개시에 따르면, 인공지능 기술을 이용하여 최소편차를 갖는 적층형 저항 변화 메모리 소자의 계층 최적화할 수 있다. 즉, 3D 가중치 매트릭스 크기를 최소화함으로써, RRAM 시냅스를 사용하는 하드웨어 프로세서에서 더욱 효과적일 수 있다.
본 개시에 따르면, 드론(drone), 첨단 운전자 보조 시스템(Advanced Drivers Assistance System; ADAS) 등과 같은 로봇 장치, 스마트 TV, 스마트폰, 의료 디바이스, 모바일 디바이스, 영상 표시 디바이스, 계측 디바이스, IoT 디바이스 등에 적용될 수 있으며, 이 외에도 다양한 종류의 전자 디바이스들 중 적어도 하나에 탑재됨으로써, 다양한 전자 디바이스에 적용되어 다양한 사용자에게 고품질의 서비스 제공이 가능하다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템을 설명하기 위한 개념도이다.
도 2는 본 개시의 일 실시예에 따른 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 방법을 설명하기 위한 도면이다.
도 3은 도 2에 도시된 최적의 파라미터를 획득하는 단계를 설명하기 위한 도면이다.
도 4 및 도 5는 도 3에 도시된 최적의 알고리즘조합을 산출하는 단계를 설명하기 위한 도면들이다.
도 6 및 도 7은 도 3에 도시된 최적학습률을 산출하는 단계를 설명하기 위한 도면이다.
도 8 및 도 9는 도 3에 도시된 최적모멘텀을 산출하는 단계를 설명하기 위한 도면이다.
도 10 내지 도 12는 도 3에 도시된 배치 정규화 및 풀링 계층의 존재유무를 판단하는 단계를 설명하기 위한 도면이다.
도 13 및 도 14는 도 2에 도시된 최소채널크기를 산출하는 단계를 설명하기 위한 도면이다.
도 15는 도 2에 도시된 최소편차를 갖는 RRAM의 계층을 최적화하는 단계를 설명하기 위한 도면이다.
도 16은 도 1에 도시된 뉴럴 네트워크 장치를 구현할 수 있는 컴퓨팅 장치의 하드웨어 구성도이다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술 분야의 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)” 및/또는 “포함하는(comprising)”은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, “및/또는”은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 “제1”, “제2” 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.
도 1은 본 개시의 일 실시예에 따른 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템을 설명하기 위한 개념도이다.
도 1에 도시된 바와 같이, 본 개시의 일 실시예인 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템(1)은 뉴럴 네트워크 장치(10)에 의해 BNN(Binary Neural Networks) 모델의 필터의 크기를 최소화하기 위해 BNN 모델의 매개변수를 최적화할 수 있다.
이하, 도 2 내지 도 15를 참조하여, 본 개시의 일 실시예에 따른 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템(1)의 동작을 설명하기로 한다.
도 2는 본 개시의 일 실시예에 따른, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 방법을 설명하기 위한 도면이다. 도 3은 도 2에 도시된 최적의 파라미터를 획득하는 단계를 설명하기 위한 도면이다. 도 4 및 도 5는 도 3에 도시된 최적의 알고리즘조합을 산출하는 방법을 설명하기 위한 도면이다. 도 6 및 도 7은 도 3에 도시된 최적학습률을 산출하는 방법을 설명하기 위한 도면이다. 도 8 및 도 9는 도 3에 도시된 최적모멘텀을 산출하는 방법을 설명하기 위한 도면이다. 도 10 내지 도 12는 도 3에 도시된 배치 정규화 및 풀링 계층의 존재유무를 판단하는 단계를 설명하기 위한 도면이다. 도 13 및 도 14는 도 2에 도시된 최소채널크기를 산출하는 방법을 설명하기 위한 도면이다. 도 15는 도 2에 도시된 최소편차를 갖는 RRAM의 계층을 최적화하는 방법을 설명하기 위한 도면이다. 코딩된 조건에서 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 방법을 수행하였지만, 이에 한정되지 않는다.
또한, 표 1을 참고하여 커널 크기(Kernel Size), 채널 크기(Channel Size) 및 컨볼루션 레이어(Convolutional Layer)에 대한 다양한 조건에서 100 에포크(epoch)로 100회를 기초로 실시할 수 있지만, 이에 한정하지 않는다.
Kernel Size Convolutional Layer Channel Size



3×3
2		 10
15
20

4		 10
15
20

6		 10
15
20



5×5
2		 10
15
20

4		 10
15
20

6		 10
15
20
우선, 도 2에 도시된 바와 같이 뉴럴 네트워크 장치(10)는 BNN모델에서 BNN매개변수를 물리적 매개변수 및 하이퍼 매개변수로 분류할 수 있다(S10).
여기서, 물리적 매개변수는 컨볼루션 레이어(Convolutional layer)의 수, 채널(필터) 크기, 커널 크기, 배치 정규화(Batch Normalization) 유무 및 풀링 계층(Pooling Layer) 유무를 포함할 수 있지만, 이에 한정하지 않는다.
또한, 하이퍼 매개변수는 최적화 기기(Optimizer), 학습률(learning rate) 및 모멘텀(Momentum)을 포함할 수 있지만, 이에 한정하지 않고 은닉 유닛의 수, 미니배치 크기, 은닉층의 개수, 학습률 감쇠율(learning rate decay)을 포함할 수 있다.
다음으로, 뉴럴 네트워크 장치(10)는 물리적 매개변수 및 상기 하이퍼 매개변수를 이용하여 최적의 파라미터를 획득할 수 있다(S20).
구체적으로, 도 3에 도시된 바와 같이, 뉴럴 네트워크 장치(10)는 하이퍼 매개변수에 포함된 최적화 기기의 알고리즘을 이용하여 최적알고리즘을 산출할 수 있다(S100).
여기서, 최적화 기기의 알고리즘은 오차를 구할 때 전체 데이터를 고려하는 배치 경사 하강(Batch Gradient Descent) 알고리즘과, 매개변수 값 조정 시 전체 데이터가 아니라 랜덤으로 선택한 하나의 데이터에 대해서만 계산하는 확률적 경사 하강(Stochastic Gradient Descent, SGD) 알고리즘, 정해진 양에 대해서만 계산하여 매개 변수의 값을 조정하는 경사 하강(Gradient Descent) 알고리즘, 전체 데이터를 계산하는 것보다 빠르며, SGD보다 안정적인 미니 배치 경사 하강(Mini-Batch Gradient Descent) 알고리즘, 관성이라는 물리학의 법칙을 응용한 모멘텀(Momentum) 알고리즘, 각 매개변수에 서로 다른 학습률을 적용한 아다그라드(Adagrad) 알고리즘, 아다그라드 알고리즘의 학습률이 감소하는 단점을 개선한 알엠에스프롭(RMSprop), 및 알엠에스프롭과 모멘텀의 장점을 합친 아담(Adaptive Moment Estimation, Adam) 알고리즘을 포함할 수 있다.
본 실시예에서, 최적알고리즘을 산출하기 위해 뉴럴 네트워크 장치(10)는 최적의 정확도가 낮지만, 모든 데이터에 대해 가중치를 조절하는 것이 아니라 랜덤 추출데이터에 대해 가중치를 조절해서 속도가 개선되는 SGD 알고리즘과, 알엠에스프롭 알고리즘과 모멘텀 알고리즘의 장점을 합친 아담 알고리즘을 이용하여 최적의 알고리즘조합을 산출할 수 있다. 즉, 뉴럴 네트워크 장치(10)는 커널 크기가 3x3인 경우 아담 알고리즘과 SGD 알고리즘의 비율이 3:7 이고, 커널 크기가 5x5인 경우 아담 알고리즘과 SGD 알고리즘의 비율이 6:4 인 최적의 알고리즘조합을 산출할 수 있다.
다시 말하면, 뉴럴 네트워크 장치(10)는 아담 알고리즘과 SGD 알고리즘 사이의 최적의 비율을 산출할 수 있다. 아담 알고리즘이 높은 경우와 SGD 알고리즘이 높은 경우를 비교하여 가장 높은 정확도를 갖는 최적의 비율을 산출할 수 있다.
예를 들어, 아담 알고리즘과 SGD 알고리즘의 비율이 1:9, 아담 알고리즘과 SGD 알고리즘의 비율이 2:8, 아담 알고리즘과 SGD 알고리즘의 비율이 3:7, 아담 알고리즘과 SGD 알고리즘의 비율이 4:6, 아담 알고리즘과 SGD 알고리즘의 비율이 5:5, 아담 알고리즘과 SGD 알고리즘의 비율이 6:4, 아담 알고리즘과 SGD 알고리즘의 비율이 7:3, 아담 알고리즘과 SGD 알고리즘의 비율이 8:1 및 아담 알고리즘과 SGD 알고리즘의 비율이 9:1인 조건에 대하여 반복 실시한다. 그 결과, 최적의 비율인, 커널 크기가 3x3인 경우 아담 알고리즘과 SGD 알고리즘의 비율이 3:7 이고, 커널 크기가 5x5인 경우 아담 알고리즘과 SGD 알고리즘의 비율이 6:4 인 최적의 알고리즘조합을 산출할 수 있다.
구체적으로, 도 4를 참조하면, 커널 크기가 3×3일 때, 컨볼루션 레이어 개수가 2인 경우 채널 크기의 변화에 따른 정확도(도 4의 (a) 참조)와, 컨볼루션 레이어 개수가 4인 경우 채널 크기의 변화에 따른 정확도(도 4의 (b) 참조)와, 컨볼루션 레이어 개수가 6인 경우 채널 크기의 변화에 따른 정확도(도 4의 (c) 참조) 중에서, 아담 알고리즘과 SGD 알고리즘의 비율이 3:7인 경우에 가장 정확도가 높은 것을 알 수 있다.
또한, 도 5를 참조하면, 커널 크기가 5×5일 때, 컨볼루션 레이어 개수가 2인 경우 채널 크기의 변화에 따른 정확도(도 5의 (a) 참조)와, 컨볼루션 레이어 개수가 4인 경우 채널 크기의 변화에 따른 정확도(도 5의 (b) 참조)와, 컨볼루션 레이어 개수가 6인 경우 채널 크기의 변화에 따른 정확도(도 5의 (c) 참조) 중에서, 아담 알고리즘과 SGD 알고리즘의 비율이 3:7인 경우에 가장 정확도가 높은 것을 알 수 있다.
다음, 뉴럴 네트워크 장치(10)는 하이퍼 매개변수에 포함된 학습률을 이용하여, BNN에서 가중치 및 커널 업데이트의 강도를 조절하는 최적학습률을 산출할 수 있다(S110). 즉, 뉴럴 네트워크 장치(10)는 커널 크기가 3×3 및 커널 크기가 5×5인 경우, 동일한 0.03의 최적학습률을 산출할 수 있다.
예를 들어, 뉴럴 네트워크 장치(10)는 0.01에서 0.1까지 한번 학습할 때 얼만큼 학습해야 하는 것에 대한 의미를 갖는 학습률을 비교 및 분석하여 99%의 정확도를 갖는 0.03의 최적학습률을 산출할 수 있다.
구체적으로, 도 6을 참조하면 커널 크기가 3×3일 때, 컨볼루션 레이어 개수가 2인 경우 채널 크기의 변화에 따른 정확도(도 6의 (a) 참조)와, 컨볼루션 레이어 개수가 4인 경우 채널 크기의 변화에 따른 정확도(도 6의 (b) 참조)와, 컨볼루션 레이어 개수가 6인 경우 채널 크기의 변화에 따른 정확도(도 6의 (c) 참조) 중에서, 학습률이 0.03인 경우에 가장 정확도가 높은 것을 알 수 있다.
또한, 도 7을 참조하면 커널 크기가 5×5일 때, 컨볼루션 레이어 개수가 2인 경우 채널 크기의 변화에 따른 정확도(도 7의 (a) 참조)와, 컨볼루션 레이어 개수가 4인 경우 채널 크기의 변화에 따른 정확도(도 7의 (b) 참조)와, 컨볼루션 레이어 개수가 6인 경우 채널 크기의 변화에 따른 정확도(도 7의 (c) 참조) 중에서, 학습률이 0.03인 경우에 가장 정확도가 높은 것을 알 수 있다.
다음, 뉴럴 네트워크 장치(10)는 하이퍼 매개변수에 포함된 모멘텀을 이용하여, BNN에서 운동량값을 고려하여 최적모멘텀을 산출할 수 있다(S120). 즉, 뉴럴 네트워크 장치(10)는 커널 크기가 3×3인 경우 모멘텀이 0.5이고, 커널 크기가 5×5인 경우 모멘텀이 0.6인 최적모멘텀을 산출할 수 있다.
예를 들어, 뉴럴 네트워크 장치(10)는 훈련시간을 줄이 위해 최적의 운동량값을 산출하기 위해 0.1에서 1.0까지 각각 다른 운동량 값을 고려하여 커널 크기가 3×3인 경우 모멘텀이 0.5이고, 커널 크기가 5×5인 경우 모멘텀이 0.6인 최적모멘텀을 산출할 수 있다.
구체적으로, 도 8을 참조하면, 커널 크기가 3×3일 때, 컨볼루션 레이어 개수가 2인 경우 채널 크기의 변화에 따른 정확도(도 8의 (a) 참조)와, 컨볼루션 레이어 개수가 4인 경우 채널 크기의 변화에 따른 정확도(도 8의 (b) 참조)와, 컨볼루션 레이어 개수가 6인 경우 채널 크기의 변화에 따른 정확도(도 8의 (c) 참조) 중에서, 모멘텀이 0.5인 경우에 가장 정확도가 높은 것을 알 수 있다.
또한, 도 9를 참조하면, 커널 크기가 5×5일 때, 컨볼루션 레이어 개수가 2인 경우 채널 크기의 변화에 따른 정확도(도 9의 (a) 참조)와, 컨볼루션 레이어 개수가 4인 경우 채널 크기의 변화에 따른 정확도(도 9(b)참조)와, 컨볼루션 레이어 개수가 6인 경우 채널 크기의 변화에 따른 정확도(도 9(c)참조) 중에서, 모멘텀이 0.6인 경우에 가장 정확도가 높은 것을 알 수 있다.
다음, 뉴럴 네트워크 장치(10)는 배치 정규화의 존재유무를 판단할 수 있다(S130). 즉, 뉴럴 네트워크 장치(10)는 컨볼루션 레이어에 배치 정규화가 필요한지 여부를 판단할 수 있다.
예를 들어, 도 10을 참조하면 컨볼루션 레이어의 수가 4이고, 채널 크기가 9이고, 커널 크기가 3×3인 경우, 컨볼루션 레이어 각각에 배치 정규화가 필요할 수 있다.
여기서, 배치 정규화는 다음의 수학식 1에 의해 연산될 수 있다. 스칼라값을 가지는 요소들을 독립적으로 정규화를 위해 n차원의 입력 x = {x(1), x(2), …x(n)}에 대해 수학식 1을 이용하여 연산할 수 있다.
Figure PCTKR2021017832-appb-img-000002
이때, 컨볼루션 레이어 각각에 배치 정규화가 포함되지 않는 경우, 도 11을 참조하면 8%의 정확도가 차이날 수 있지만, 이에 한정하지 않는다.
다음, 뉴럴 네트워크 장치(10)는 풀링 계층의 존재유무를 판단할 수 있다(S140). 즉, 뉴럴 네트워크 장치(10)는 컨볼루션 레이어에 풀링 계층이 존재하는지 유부를 판단할 수 있다.
예를 들어, 도 10을 참조하면 컨볼루션 레이어의 수가 4이고, 채널 크기가 9이고, 커널 크기가 3×3인 경우, 풀링 계층은 컨볼루션 레이어 중 마지막 2개의 계층에 위치할 수 있다.
다시 말하면, 풀링 계층은 컨볼루션 레이어 중 마지막 2개의 계층에 위치하는 경우, 도 12를 참조하면 가장 높은 정확도를 가지는 것을 알 수 있다.
한편, 배치 정규화의 존재유무를 판단하는 S130 단계는 풀링 계층의 존재유무를 판단하는 S140 단계 이후에 수행될 수 있다. 그러나, 이에 한정하지 않고 S130 단계와 S140 단계는 동시에 수행될 수도 있다.
다음으로, 뉴럴 네트워크 장치(10)는 최적의 파라미터를 이용하여 BNN모델에서 최소채널크기를 산출할 수 있다(S30). 즉, 뉴럴 네트워크 장치(10)는 최소채널크기의 정확성을 판단하여 그에 대응하는 최소채널크기를 산출할 수 있다.
예를 들어, 뉴럴 네트워크 장치(10)는 채널 크기는 9에서 시작하여 하나씩 낮춰가면서 산출할 수 있다. 이때, 채널 크기는 컨볼루션 레이어의 개수와 상관없을 수 있다.
구체적으로, 도 13을 참조하면, 최소채널크기가 8인 경우, 커널 크기가 3×3일 때 정확도가 96% 이상인 것을 알 수 있다. 즉, BNN모델에서 정확도를 유지하거나 높이면서 적층형 저항 변화 메모리 소자의 계층을 최소화할 수 있다.
또한, 뉴럴 네트워크 장치(10)는 최소채널크기별로 계층별 에러율을 적용하여 최소채널크기의 정확성을 판단할 수 있다.
예를 들어, 도 14를 참조하면 최소채널크기가 8이고, 커널 크기가 3×3인 인 경우, 40nm 노드에서 정확도가 94.069%이고, 20nm 노드에서 정확도가 93.777%이며, 10nm 노드에서 정확도가 93.07%일 수 있다.
마지막으로, 뉴럴 네트워크 장치(10)는 최소채널크기를 이용하여 최소편차를 갖는 RRAM의 계층을 최적화할 수 있다(S40).
도 15를 참조하면, 뉴럴 네트워크 장치(10)는 50의 채널 크기를, 정확도를 유지하면서 80%이상 감소시켜, 채널 크기를 8로 최적화할 수 있다.
이와 같은 뉴럴 네트워크 장치(10)는 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 방법을 수행하기 위한 각종 휴대 가능한 전자통신기기를 포함할 수 있다. 예를 들어, 별도의 스마트 기기로써, 스마트폰(Smart phone), PDA(Personal Digital Assistant), 테블릿(Tablet), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display)등 포함) 및 각종 IoT(Internet of Things) 단말과 같은 다양한 단말을 포함할 수 있지만 이에 한정하는 것은 아니다.
도 16은 뉴럴 네트워크 장치(10)를 구현할 수 있는 예시적인 컴퓨팅 장치의 하드웨어 구성도이다.
도 16을 참조하면, 컴퓨팅 장치(800)는 하나 이상의 프로세서(810), 컴퓨터 프로그램(851)을 저장하는 스토리지(850), 프로세서(810)에 의하여 수행되는 컴퓨터 프로그램(851)을 로드(load)하는 메모리(820), 버스(830) 및 네트워크 인터페이스(840)를 포함할 수 있다. 다만, 도 16에는 본 개시의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 개시가 속한 기술분야의 통상의 기술자라면 도 16에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(810)는 컴퓨팅 장치(800)의 각 구성의 전반적인 동작을 제어한다. 프로세서(810)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(810)는 본 개시의 실시예에 따른, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 방법을 실행하기 위한 적어도 하나의 컴퓨터 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(800)는 하나 이상의 프로세서를 구비할 수 있다.
메모리(820)는 컴퓨팅 장치(800)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(820)는 컴퓨팅 장치(800)에서 구동되는 다수의 컴퓨터 프로그램(app, application program, 또는 application software), 컴퓨팅 장치(800)의 동작을 위한 데이터들, 명령어들 및 정보 하나 이상을 저장한다. 컴퓨터 프로그램 중 적어도 일부는 외부 장치(도시되지 않음)로부터 다운로드 될 수 있다. 또한, 컴퓨터 프로그램 중 적어도 일부는 컴퓨팅 장치(800)의 기본적인 기능(예를 들어, 메시지 수신, 메시지 발신)을 위하여 출고 당시부터 컴퓨팅 장치(800) 상에 존재할 수 있다.
한편, 메모리(820)는 본 개시의 실시예에 따른, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 방법을 실행하기 위하여, 스토리지(850)로부터 하나 이상의 컴퓨터 프로그램(851)을 로드할 수 있다. 도 16에서 메모리(820)의 예시로 RAM(Random Access Memory)이 도시되었다.
버스(830)는 컴퓨팅 장치(800)의 구성 요소 간 통신 기능을 제공한다. 버스(830)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
네트워크 인터페이스(840)는 컴퓨팅 장치(800)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(840)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 네트워크 인터페이스(840)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
스토리지(850)는 하나 이상의 컴퓨터 프로그램(851)을 비임시적으로 저장할 수 있다. 스토리지(850)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
이외에도, 컴퓨팅 장치(800)는 도 16에 도시된 구성요소들 외에도 입력부 및 출력부를 더 포함할 수 있다.
입력부는 영상 신호를 입력받기 위한 카메라, 오디오 신호를 입력받기 위한 마이크로폰 및 사용자로부터 정보를 입력받기 위한 사용자 입력부를 포함할 수 있다. 사용자 입력부는 터치 키(touch key) 및 기계식 키(mechanical key) 중 하나 이상을 포함할 수 있다. 카메라를 통해 수집된 영상 데이터 또는 마이크로폰을 통해 수집된 오디오 신호는 분석되어, 사용자의 제어명령으로 처리될 수 있다.
출력부는 명령 처리 결과를 시각, 청각 또는 촉각적으로 출력하기 위한 것으로, 디스플레이부, 광 출력부, 스피커 및 햅틱 출력부 및 광 출력부를 포함할 수 있다.
본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 개시의 실시예를 설명하였지만, 본 개시가 속하는 기술분야의 통상의 기술자는 본 개시가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
개시된 기술은 적층형 저항 변환 메모리(3D RRAM)를 이용하는 뉴럴 네트워크, 뉴럴 네트워크 장치 및 뉴럴 네트워크 시스템에 적용될 수 있다.

Claims (20)

  1. 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 장치를 이용한 방법에 있어서,
    상기 뉴럴 네트워크 장치가 BNN모델에서 BNN매개변수를 물리적 매개변수 및 하이퍼 매개변수로 분류하는 단계;
    상기 뉴럴 네트워크 장치가 상기 물리적 매개변수 및 상기 하이퍼 매개변수를 이용하여 최적의 파라미터를 획득하는 단계;
    상기 뉴럴 네트워크 장치가 상기 최적의 파라미터를 이용하여 상기 BNN모델에서 최소채널크기를 산출하는 단계;
    를 포함하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  2. 제1항에 있어서,
    상기 물리적 매개변수는 컨볼루션 레이어(Convolutional Layer)의 수, 채널(필터) 크기, 커널 크기, 배치 정규화(Batch Normalization) 유무 및 풀링 계층(Pooling Layer) 유무를 포함하고,
    상기 하이퍼 매개변수는 최적화 기기(Optimizer), 학습률(learning rate) 및 모멘텀(Momentum)을 포함하는,
    인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  3. 제2항에 있어서,
    상기 최적화 기기는 배치 경사 하강(Batch Gradient Descent) 알고리즘, 확률적 경사 하강(Stochastic Gradient Descent, SGD) 알고리즘, 경사 하강(Gradient Descent) 알고리즘, 미니 배치 경사 하강(Mini-Batch Gradient Descent) 알고리즘, 모멘텀(Momentum) 알고리즘, 아다그라드(Adagrad) 알고리즘, 알엠에스프롭(RMSprop) 알고리즘 및 아담(Adam) 알고리즘 중 적어도 하나의 알고리즘을 포함하는,
    인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  4. 제3항에 있어서,
    상기 최적의 파라미터를 획득하는 단계는,
    상기 하이퍼 매개변수에 포함된 상기 최적화 기기의 알고리즘을 이용하여 최적알고리즘을 산출하는 단계;
    상기 하이퍼 매개변수에 포함된 상기 학습률을 이용하여 BNN에서 가중치 및 커널 업데이트의 강도를 조절하는 최적학습률을 산출하는 단계; 및
    상기 하이퍼 매개변수에 포함된 상기 모멘텀을 이용하여 BNN에서 운동량값을 고려하여 최적모멘텀을 산출하는 단계;
    를 포함하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  5. 제4항에 있어서,
    상기 최적알고리즘을 산출하는 단계는,
    상기 최적화 기기에 포함된 적어도 하나의 알고리즘 사이의 최적의 알고리즘조합을 산출하는 단계; 및
    상기 최적의 알고리즘조합의 비율을 산출하는 단계;
    를 포함하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  6. 제5항에 있어서,
    상기 최적알고리즘은,
    커널 크기가 3×3인 경우 Adam 알고리즘과 SGD 알고리즘의 비율이 3:7 이고,
    커널 크기가 5×5인 경우 Adam 알고리즘과 SGD 알고리즘의 비율이 6:4 인,
    인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  7. 제4항에 있어서,
    커널 크기가 3×3 및 커널 크기가 5×5인 경우 동일한 최적학습률을 갖고,
    상기 최적학습률은 0.03 학습률을 가지는,
    인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  8. 제4항에 있어서,
    상기 최적모멘텀은,
    커널 크기가 3×3인 경우 0.5 모멘텀의 값을 가지고,
    커널 크기가 5×5인 경우 0.6 모멘텀의 값을 가지는,
    인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  9. 제4항에 있어서,
    상기 최적의 파라미터를 획득하는 단계는,
    상기 배치 정규화 및 상기 풀링 계층의 존재유무를 판단하는 단계;
    를 포함하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  10. 제9항에 있어서,
    컨볼루션 레이어의 수가 4이고, 채널 크기가 9이고, 커널 크기가 3×3인 경우, 상기 배치 정규화는 상기 컨볼루션 레이어 각각에 포함되는,
    인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  11. 제10항에 있어서,
    상기 배치 정규화는 상기 컨볼루션 레이어 각각에 포함되지 않는 경우, 8%의 정확도가 차이나는,
    인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  12. 제10항에 있어서,
    상기 배치 정규화는 [수학식 1]에 의해 연산 수행되는,
    [수학식 1]
    Figure PCTKR2021017832-appb-img-000003
    인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  13. 제9항에 있어서,
    컨볼루션 레이어의 수가 4이고, 채널 크기가 9이고, 커널 크기가 3×3인 경우, 상기 풀링 계층은 상기 컨볼루션 레이어 중 마지막 2개의 계층에 위치하는,
    인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  14. 제1항에 있어서,
    상기 최소채널크기를 산출하는 단계는,
    상기 최소채널크기의 정확성을 판단하는 단계;
    를 포함하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  15. 제14항에 있어서,
    상기 최소채널크기가 8인 경우, 커널 크기가 3×3인 일 때 정확도가 96% 이상인,
    인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  16. 제15항에 있어서,
    상기 최소채널크기를 산출하는 단계는,
    상기 최소채널크기별로 계층별 에러율을 적용하여 상기 최소채널크기의 정확성을 판단하는 단계;
    를 더 포함하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  17. 제16항에 있어서,
    상기 최소채널크기가 8이고, 커널 크기가 3×3인 인 경우,
    40nm 노드에서 정확도가 94.069%이고, 20nm 노드에서 정확도가 93.777%이며, 10nm 노드에서 정확도가 93.07%인,
    인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  18. 제1항에 있어서,
    상기 뉴럴 네트워크 장치가 상기 최소채널크기를 이용하여 최소편차를 갖는 RRAM의 계층을 최적화하는 단계;
    를 포함하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 방법.
  19. 제1항 내지 제18항 중 어느 한 항에 기재된 방법을 뉴럴 네트워크 장치에 의해 수행하는, 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화하는 뉴럴 네트워크 시스템.
  20. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제18항 중 어느 한 항에 기재된 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터 프로그램.
PCT/KR2021/017832 2020-11-30 2021-11-30 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템 및 그 방법 WO2022114913A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/039,402 US20240020511A1 (en) 2020-11-30 2021-11-30 System and method for performing layer optimization of stacked resistive random-access memory device by using artificial intelligence technology
CN202180091192.XA CN116724317A (zh) 2020-11-30 2021-11-30 利用人工智能技术的堆叠式阻变存储器元件的层优化系统及其方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200163675A KR102539876B1 (ko) 2020-11-30 2020-11-30 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템 및 그 방법
KR10-2020-0163675 2020-11-30

Publications (1)

Publication Number Publication Date
WO2022114913A1 true WO2022114913A1 (ko) 2022-06-02

Family

ID=81756228

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/017832 WO2022114913A1 (ko) 2020-11-30 2021-11-30 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템 및 그 방법

Country Status (4)

Country Link
US (1) US20240020511A1 (ko)
KR (1) KR102539876B1 (ko)
CN (1) CN116724317A (ko)
WO (1) WO2022114913A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991621A (zh) * 2019-12-13 2020-04-10 中国科学院计算技术研究所 一种基于通道数搜索卷积神经网络的方法
CN111160534A (zh) * 2019-12-31 2020-05-15 中山大学 一种适用于移动终端的二值神经网络前向传播框架
KR20200091785A (ko) * 2019-01-23 2020-07-31 주식회사 스트라드비젼 하드웨어 최적화를 통해 모바일 장치 또는 높은 정확도의 소형 네트워크에 사용될 cnn 파라미터 양자화를 최적화하기 위하여 cnn 레이어를 변환하는 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102526650B1 (ko) 2017-05-25 2023-04-27 삼성전자주식회사 뉴럴 네트워크에서 데이터를 양자화하는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200091785A (ko) * 2019-01-23 2020-07-31 주식회사 스트라드비젼 하드웨어 최적화를 통해 모바일 장치 또는 높은 정확도의 소형 네트워크에 사용될 cnn 파라미터 양자화를 최적화하기 위하여 cnn 레이어를 변환하는 방법 및 장치
CN110991621A (zh) * 2019-12-13 2020-04-10 中国科学院计算技术研究所 一种基于通道数搜索卷积神经网络的方法
CN111160534A (zh) * 2019-12-31 2020-05-15 中山大学 一种适用于移动终端的二值神经网络前向传播框架

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BOGDAN PENKOVSKY; MARC BOCQUET; TIFENN HIRTZLIN; JACQUES-OLIVIER KLEIN; ETIENNE NOWAK; ELISA VIANELLO; JEAN-MICHEL PORTAL; DAMIEN : "In-Memory Resistive RAM Implementation of Binarized Neural Networks for Medical Applications", ARXIV.ORG, 20 June 2020 (2020-06-20), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081699610 *
XUANYI DONG; YI YANG: "Network Pruning via Transformable Architecture Search", ARXIV.ORG, 23 May 2019 (2019-05-23), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081500056 *

Also Published As

Publication number Publication date
KR20220075521A (ko) 2022-06-08
KR102539876B1 (ko) 2023-06-02
US20240020511A1 (en) 2024-01-18
CN116724317A (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
WO2017213398A1 (en) Learning model for salient facial region detection
WO2019156283A1 (en) Dynamic memory mapping for neural networks
WO2020111647A1 (en) Multi-task based lifelong learning
WO2020238353A1 (zh) 数据处理方法和装置、存储介质及电子装置
Santhalingam et al. Sign language recognition analysis using multimodal data
WO2022059969A1 (ko) 심전도 데이터 분류를 위한 심층 신경망 사전 학습 방법
EP3620982A1 (en) Sample processing method and device
WO2018212584A2 (ko) 딥 뉴럴 네트워크를 이용하여 문장이 속하는 클래스를 분류하는 방법 및 장치
WO2020222391A1 (en) System and method for invertible wavelet layer for neural networks
WO2023282569A1 (en) Method and electronic device for generating optimal neural network (nn) model
WO2020231005A1 (ko) 영상 처리 장치 및 그 동작방법
WO2020192523A1 (zh) 译文质量检测方法、装置、机器翻译系统和存储介质
WO2020222378A1 (en) Convolution streaming engine for deep neural networks
CN114925320B (zh) 一种数据处理方法及相关装置
WO2019045147A1 (ko) 딥러닝을 pc에 적용하기 위한 메모리 최적화 방법
WO2022114913A1 (ko) 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템 및 그 방법
WO2020096332A1 (en) System and method for cached convolution calculation
WO2022071708A1 (ko) 컨텐츠 추천 서비스를 제공하는 전자 장치 및 그 방법
WO2022244997A1 (en) Method and apparatus for processing data
WO2022139325A1 (ko) 과적합 없는 단일 신경망 기반 다중 도메인 적응 학습을 위한 컴퓨터 시스템, 및 그의 방법
WO2021242073A1 (ko) 전자 장치 및 이의 제어 방법
WO2022196955A1 (ko) 인공지능 모델을 사전 학습시키는 방법 및 장치
WO2021010540A1 (ko) 딥러닝 내부의 데이터 추출 방법 및 장치
WO2022045526A1 (ko) 정규화된 합성곱 신경망 시스템 및 합성곱 신경망 정규화 방법
CN112035649A (zh) 问答模型处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21898738

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 202180091192.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18039402

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 21898738

Country of ref document: EP

Kind code of ref document: A1