WO2020071618A1 - 엔트로피 기반 신경망 부분학습 방법 및 시스템 - Google Patents

엔트로피 기반 신경망 부분학습 방법 및 시스템

Info

Publication number
WO2020071618A1
WO2020071618A1 PCT/KR2019/007639 KR2019007639W WO2020071618A1 WO 2020071618 A1 WO2020071618 A1 WO 2020071618A1 KR 2019007639 W KR2019007639 W KR 2019007639W WO 2020071618 A1 WO2020071618 A1 WO 2020071618A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
entropy
node
weight
weights
Prior art date
Application number
PCT/KR2019/007639
Other languages
English (en)
French (fr)
Inventor
강상길
허청환
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Publication of WO2020071618A1 publication Critical patent/WO2020071618A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to a method and system capable of maintaining accuracy while reducing the load of learning when a new class appears in learning using convolutional neural networks, and more specifically, for weight evaluation based on entropy. It relates to a partial learning method and system of the convolutional neural network.
  • CNNs Deep-Neural Networks
  • CNNs Convolutional Neural Networks
  • a variety of delivery methods have been developed, such as incremental transmission, parameter transmission, and feature transmitter by sending additional network structures, feature classes, etc.
  • the incremental transmission method transmission of additional network structures
  • this method has a disadvantage in that it requires a structure overhead to design an additional network structure.
  • Parameter passing transmitting feature values
  • the application of this method is limited in certain networks that require the assumption that the network is a Gaussian process.
  • the instance transmission trains the existing network using only the common weight obtained from the difference analysis of the weights. The analysis is performed based on the distribution of the input data of the existing and new classes.
  • this method requires unnecessary computational overhead for weight difference analysis.
  • the present invention is to solve the above problems, and proposes an on-device partial learning technique that can reduce unnecessary computational overhead without requiring an additional network structure.
  • An entropy-based neural network partial learning method for solving the above-described problem includes: (a) recognizing the occurrence of a new class in a learning method using neural networks; (B) calculating a qualitative information based on entropy of a plurality of weights and a threshold for determining a weight to partially learn among the plurality of weights; And (c) learning the new class using weights in which the qualitative information has a value below a threshold.
  • steps (a) to (c) may be performed while the neural network is performing learning.
  • the threshold value may be obtained by calculating Equation 1 below.
  • the qualitative information QA may be obtained by calculating Equation 2 below.
  • An entropy-based neural network partial learning system for solving the above problems is a learning system using neural networks, and learning to perform learning using neural networks part;
  • a computing unit calculating qualitative information based on entropy of a plurality of weights of the neural network and a threshold for determining a weight to be partially learned among the plurality of weights;
  • a partial learning control unit that partially learns the qualitative information using weights having a value equal to or less than a threshold.
  • the arithmetic unit and the partial learning control unit may perform arithmetic and partial learning control while the learning unit is learning.
  • the threshold value may be obtained by calculating Equation 1 below.
  • the qualitative information may be obtained by calculating Equation 2 below.
  • FIG. 1 is a conceptual diagram of a qualitative entropy-based neural network partial learning method according to an embodiment of the present invention.
  • FIG. 3 is a block diagram of an entropy-based neural network partial learning system according to an embodiment of the present invention.
  • FIG. 4A is an example of the weight distribution of the complete connection layer 1 of LeNet-5
  • FIG. 4B is an example of the weight distribution of the full connection layer 1 of AlexNet.
  • FIGS. 5A and 5B are graphs showing an entropy of a node and an amount of weight information connected to a node according to an embodiment of the present invention
  • FIGS. 5C and 5D are qualitative entropy of a node according to an embodiment of the present invention ( Dotted line) and a graph showing the qualitative amount of weight information connected to a node.
  • Equation 7 for LeNet-5.
  • Equation 7 is the weight selected by Equation 7 for AlexNet.
  • 9 is a performance graph of partial learning when a new class is added from 17 flower images.
  • 11 is the learning time performance of partial learning and mobile learning in AlexNet.
  • FIG. 12 is a flowchart of an entropy-based neural network partial learning method according to an embodiment of the present invention.
  • each component may be implemented solely in the configuration of hardware or software, but may also be implemented in a combination of various hardware and software components that perform the same function. Also, two or more components may be implemented together by one hardware or software.
  • FIG. 1 is a conceptual diagram of a qualitative entropy-based neural network partial learning method according to an embodiment of the present invention.
  • the new class when a new class occurs in an input image, the new class may be recognized.
  • nodes and weights to be used for partial learning may be selected and used for partial learning based on entropy.
  • entropy may be used to calculate an estimate of weight information for output generation as in Equation (1). If the information amount of the weight is lower than the entropy of the entire weight set, the weight may be considered to be less important.
  • partial learning for the new class may be performed by selecting weights considered to be less important.
  • the four nodes (i1, i2, i3, i4) have the same value 1 and can be completely connected to the node of L2.
  • the entropy of the node is 0.431.
  • the entropy is also 0.431.
  • the entropy values of n1 and n2 are the same. This is because entropy is calculated using only the probability distribution. Even if the entropy of n1 and n2 are the same, n2 has a greater effect on o1 and o2 in L3.
  • the quality of the weights can be considered so that the weights with a lot of information are not misunderstood as insignificant due to the high probability.
  • the quality of the weight can be normalized to [0, 1] using the Sigmoid function. This can help avoid over-emphasis on weights outside of a certain range of weight distributions.
  • the standardized quality of the weight can be referred to as a qualitative characteristic for convenience.
  • FIG. 3 is a block diagram of an entropy-based neural network partial learning system according to an embodiment of the present invention.
  • an entropy-based neural network partial learning system may include a calculation unit 310, a partial learning control unit 320, and a learning unit 330.
  • the calculator 310 may calculate each entropy, qualitative entropy, information amount, and qualitative information amount for a plurality of weights of the neural network NN.
  • the calculating unit 310 may calculate the average and standard deviation of the entire weights of the neural network.
  • the entropy can be used to calculate an estimate of weight information for output generation as in Equation 1 below. If the information amount of the weight is lower than the entropy of the entire weight, the weight may be considered to be less important.
  • the operation unit 310 is the The amount of each information can be evaluated by Equation (2).
  • the operation unit 310 is each The value of If less than This means that there is less information being sent to. To generate output during training This is not important. However, as can be seen from Equations 1 and 2, entropy is made only by a product product based on a probability distribution of weights. When the probability distribution of weights is similar, the weights have similar entropy. Although the entropy is similar to the weight, the effect on the output node may be different because the weight performs training in a black box pattern
  • the operation unit 310 uses the Sigmoid function to set the quality of the weight to [0, 1] so that the quality of the weight outside the specific range of the distribution of the weight is not excessively emphasized by calculating Equation 3 below. Can be standardized.
  • silver Quality in Is a weight connected from the k-th node of the L-th layer to the r-th node of the next layer.
  • the amount of qualitative information in the operation unit 310 may vary according to the importance of each weight connected to one node.
  • the qualitative information amount of each weight can be obtained by connecting Equation 2 and Equation 3 as shown in Equation 4 below.
  • Equation 5 The The qualitative entropy of, Is the weight connected to N r Probability of, The It is the quantity of qualitative information.
  • the probability distribution of weights can converge to a bell-shaped Gaussian distribution by a central theorem. This is because CNN has a huge number of weights on at least 5000 fully connected layers. Therefore, Equation 5 can be simplified to Equation 6.
  • the classification performance of the existing class can be maintained by partially learning with weights that have little effect on the output.
  • the partial learning control unit 320 may recognize whether a new class has occurred. When a new class occurs, the partial learning control unit 320 may calculate each entropy, qualitative entropy, information amount, and qualitative information amount of the plurality of weights of the neural network NN in the operation unit 310. The calculating unit 310 may calculate the average and standard deviation of the entire weights of the neural network.
  • the partial learning control unit 320 may determine a weight having a low importance using the values calculated by the operation unit 310.
  • the partial learning control unit 320 may allow a new class to be learned through the weight with low importance.
  • the weight with low importance may mean a weight with little information.
  • the weight with little information may be selected from Equation 4 and Equation 7 below.
  • the qualitative entropy of The It is the quantity of qualitative information.
  • partial learning does not apply the above method in the last layer.
  • the last layer has no next node to send information to, so the weight independently affects the output node. Therefore, it is efficient to learn only the weights associated with the new class. Because both qualitative and stochastic properties are considered due to qualitative entropy, the present invention can identify weights with less information needed to generate and educate results.
  • the weight having low importance or a weight having little necessary information may be referred to as a threshold.
  • the partial learning control unit 320 may cause the learning unit 330 to learn the new class using the threshold.
  • the learning unit 330 may perform learning using a neural network NN.
  • the learning unit 330 may perform learning using a neural network NN.
  • the neural network NN may include a Multi Layer Perceptron (MLP), a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), and the like.
  • MLP Multi Layer Perceptron
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • FIG. 4A is an example of the weight distribution of the complete connection layer 1 of LeNet-5
  • FIG. 4B is an example of the weight distribution of the complete connection layer 1 of AlexNet
  • FIGS. 5A and 5B are examples according to an embodiment of the present invention
  • FIGS. 5C and 5D show the qualitative entropy of the node (dashed line) and the qualitative amount of weight information connected to the node according to an embodiment of the present invention. It is a graph.
  • the mechanism is analyzed and performance is shown using networks such as Lenet-5 and Alexnet.
  • the Lenet-5 can consist of two convolutional layers and two fully connected layers. The weights of each layer are 500, 25000, 400000 and 5000 respectively.
  • the network can be trained with 10 handwritten image classes, an MNIST data set with 6000 pieces each.
  • Alexnet can consist of 5 convolutional layers and 3 fully connected layers. The weights of each tier are 3500, 307000, 885000, 663000, 442000, 38000000, 17000000 and 4000000 respectively.
  • the network classifies 1360 flower images into 17 categories of flowers.
  • the Tensorflow framework is modified by adding a mask that ignores unselected weights. It also uses the NVIDIA Titan X Pascal graphics processing unit.
  • 4A and 4B show weight distributions connected from fully connected Layer 1 of LeNet-5 and AlexNet to fully connected Layer 2, respectively. Since the distribution of weights is in the shape of a bell, the qualitative entropy can be calculated using Equation (6) and shown in FIG. 5.
  • 5 (a) and 5 (b) show the amount of information and entropy obtained using Equation 1 and Equation 2 at a node to which qualitative characteristics have not yet been applied.
  • 5 (c) and 5 (d) show the qualitative entropy and the amount of qualitative information by using Equation 4 and Equation 6 at the node.
  • FIGS. 5 (a) and 5 (b) more than 95% of the weight is selected because the weight of the information is less than that of the entropy. In this case, it can be misunderstood that the weight with high probability is not important for the result because only the probability distribution is considered regardless of the size of the weight. That is, most of the weights are chosen not to be retraining for new classes.
  • the entropy of FIGS. 5 (a) and 5 (b) is almost equal to 1.45. This is because the probability distribution of the two networks is almost equal to the Gaussian distribution as shown in FIG. 4.
  • FIGS. 5 (c) and 5 (d) are 0.015 and 0.09, respectively.
  • the probability distributions of FIGS. 5 (c) and 5 (d) are almost the same as in FIGS. 5 (a) and 5 (b), but the weights are appropriately divided by qualitative entropy.
  • FIG. 6 is the weight selected by Equation 7 for LeNet-5
  • FIG. 7 is the weight selected by Equation 7 for AlexNet.
  • weights are appropriately divided into qualitative entropy.
  • 6 shows the number of weights selected for each layer in LeNet-5.
  • the weights selected from fully connected layer1 and fully connected layer2 are 272195 out of 400,000 and 3634 out of 5000 respectively.
  • 68.10% of the weight of the fully connected layer is selected.
  • 7 also shows the number of weights selected for each layer in AlexNet.
  • the weights selected in the fully connected layer 1, fully connected layer 2 and fully connected layer 3 are 23943187 out of 38000000, 11053214 out of 17000000, and 2800745 out of 4000000 respectively.
  • 64.06% of the total weight of the fully connected layer is selected.
  • FIG. 8 is a performance graph of partial learning when a new class is added in MNIST
  • FIG. 9 is a performance graph of partial learning when a new class is added from 17 types of flower images.
  • FIG. 8 shows classification accuracy of partial learning by adding a new class using MNIST and flower images of 17 categories.
  • Classification accuracy is 99.20%. Analyze performance by adding one class at a time in the structure. Every time a new class is added, the learning accuracy is 99.06% (6 classes in total), 98.25% (7 classes), 97.61% (8 classes), 93.19% (9 classes), 89.74%. When one new class is added, there is little difference in accuracy between the six-class network structure and the original network structure. The difference in accuracy between 2 and 3 new classes is less than 1% and 1.6%, respectively. Performance is gradually degraded in the four new classes. If the flower images are in 17 categories, then learning 8 classes using AlexNet as the initial network structure gives an accuracy of 72.79%. Analyze performance by adding one new class at a time.
  • partial learning provides better performance than transmission learning when adding up to three new classes to an existing network.
  • the present invention can accommodate about 40% of new classes in the existing network for partial retraining.
  • FIG. 10 is a learning time performance of partial learning and mobile learning in LeNet-5
  • FIG. 11 is a learning time performance of partial learning and mobile learning in AlexNet.
  • FIG. 10 shows a training time required for partial learning and transmission learning in LeNet-5 using MNIST by adding a new class at a time.
  • the time difference between the method of the present invention and transmission learning is 207s, 241s, 274s, 309s and 348s, respectively, by adding up to five new classes to the existing network.
  • the time difference increases as the network size increases, as partial learning gradually affects the reduction in computational complexity.
  • the training time performance of AlexNet is shown with flowers of 17 categories. Add up to 5 new classes to the existing network.
  • the time difference between the entropy-based partial learning method and the transmission learning according to an embodiment of the present invention is 5074, 5602, 6177, 6432, 6940, 7497, 7970, 8509, 9051, respectively. Because the size of AlexNet is 140 times larger than that of LeNet-5, the time interval is greater than Figure 10 because the complexity of the 17 categories of flower datasets is greater than MNIST. As a result, training time increases exponentially. Therefore, the more complex the data and the network, the more effective the entropy-based partial learning technique according to an embodiment of the present invention.
  • FIG. 12 is a flowchart of an entropy-based neural network partial learning method according to an embodiment of the present invention.
  • an entropy-based neural network partial learning method may include (a) step S1210 of recognizing the occurrence of a new class.
  • the partial learning control unit 320 may recognize whether a new class has occurred. When a new class occurs, the partial learning control unit 320 may calculate each entropy, qualitative entropy, information amount, and qualitative information amount of the plurality of weights of the neural network NN in the operation unit 310. The calculating unit 310 may calculate the average and standard deviation of the entire weights of the neural network.
  • the entropy-based neural network partial learning method calculates qualitative information based on entropy of a plurality of weights and a threshold value for determining a weight to partially learn among the plurality of weights ( b) Step S1220 may be included.
  • the operation unit 310 may calculate each entropy, qualitative entropy, information amount, and qualitative information amount for a plurality of weights of the neural network NN.
  • the calculating unit 310 may calculate the average and standard deviation of the entire weights of the neural network.
  • the entropy can be used to calculate an estimate of weight information for output generation as in Equation 1 below. If the information amount of the weight is lower than the entropy of the entire weight, the weight may be considered to be less important.
  • Is the rth node in the Lth layer The Is the entropy of Is the weight connected from the k-th node of the L-th layer to the r-th node of the next layer, Is the weight connected to N r Probability of, silver This is the amount of information you have. Each entropy Connected to This means the expected value of the amount of information held.
  • step S1220 the operation unit 310 is the The amount of each information can be evaluated by Equation (2).
  • the operation unit 310 is each The value of If less than This means that there is less information being sent to. To generate output during training This is not important. However, as can be seen from Equations 1 and 2, entropy is made only by a product product based on a probability distribution of weights. When the probability distribution of weights is similar, the weights have similar entropy. Although the entropy is similar to the weight, the effect on the output node may be different because the weight performs learning in a black box pattern.
  • step S1220 the operation unit 310 calculates the quality of the weight by using the Sigmoid function in order to avoid over-emphasizing qualitatively by calculating Equation 3 below to calculate the quality of the weight outside the specific range of the distribution of the weight. , 1].
  • silver Quality in Is a weight connected from the k-th node of the L-th layer to the r-th node of the next layer.
  • step S1220 the amount of qualitative information in the operation unit 310 may vary according to the importance of each weight connected to one node.
  • the qualitative information amount of each weight can be obtained by connecting Equation 2 and Equation 3 as shown in Equation 4 below.
  • step S1220 qualitative entropy may be calculated using Equation 4 as shown in Equation 5 below.
  • Equation 5 The The qualitative entropy of, Is the weight connected to N r Probability of, The It is the quantity of qualitative information.
  • the probability distribution of weights can converge to a bell-shaped Gaussian distribution by a central theorem. This is because CNN has a huge number of weights on at least 5000 fully connected layers. Therefore, Equation 5 can be simplified to Equation 6.
  • the classification performance of the existing class can be maintained by partially learning with weights that have little effect on the output.
  • the entropy-based neural network partial learning method may include the step (c) of learning the new class using weights in which the qualitative information has a value below a threshold (S1230). have.
  • the partial learning control unit 320 may determine a weight having a low importance using values calculated by the operation unit 310.
  • the partial learning control unit 320 may allow a new class to be learned through the weight with low importance.
  • the weight with low importance may mean a weight with little information.
  • the weight with little information may be selected from Equation 4 and Equation 7 below.
  • the qualitative entropy of The It is the quantity of qualitative information.
  • partial learning does not apply the above method in the last layer.
  • the last layer has no next node to send information to, so the weight independently affects the output node. Therefore, it is efficient to learn only the weights associated with the new class. Because both qualitative and stochastic properties are considered due to qualitative entropy, the present invention can identify weights with less information needed to generate and educate results.
  • the weight having low importance or a weight having little necessary information may be referred to as a threshold.
  • the partial learning control unit 320 may cause the learning unit 330 to learn the new class using the threshold.
  • the learning unit 330 may perform learning using a neural network NN.
  • the learning unit 330 may perform learning using a neural network NN.
  • the learning unit 330 may partially learn the new class using the threshold through the partial learning control unit 320.
  • the neural network NN may include a multi-layer perceptron (MLP), a convolutional neural network (CNN), a deep neural network (DNN), and a recurrent neural network (RNN).
  • MLP multi-layer perceptron
  • CNN convolutional neural network
  • DNN deep neural network
  • RNN recurrent neural network

Abstract

본 발명은 콘볼루션 신경망(Convolutional Neural Networks)을 이용한 학습에 있어서, 새로운 클래스가 나타난 경우 학습의 부하를 줄이면서도 정확도를 유지할 수 있는 방법 및 시스템에 관한 것으로, 더욱 상세하게는 엔트로피에 기반한 가중치 평가에 의한 콘볼루션 신경망의 부분학습 방법 및 시스템에 관한 것으로, 신경망(Neural Networks)을 이용한 학습 방법에 있어서, 새로운 클래스의 발생을 인식하는 (a) 단계; 복수의 가중치들의 엔트로피에 기반한 질적 정보 및 를 상기 복수의 가중치들 중 부분학습할 가중치를 결정하기 위한 임계값을 연산하는 (b) 단계; 및 상기 질적 정보가 임계값 이하의 값을 가지는 가중치들을 이용해 상기 새로운 클래스를 학습하는 (c) 단계;를 포함하는 구성을 개시한다.

Description

엔트로피 기반 신경망 부분학습 방법 및 시스템
본 발명은 콘볼루션 신경망(Convolutional Neural Networks)을 이용한 학습에 있어서, 새로운 클래스가 나타난 경우 학습의 부하를 줄이면서도 정확도를 유지할 수 있는 방법 및 시스템에 관한 것으로, 더욱 상세하게는 엔트로피에 기반한 가중치 평가에 의한 콘볼루션 신경망의 부분학습 방법 및 시스템에 관한 것이다.
DNN(Deep-Neural Networks)은 다양한 학문적 또는 산업 분야에서 엄청난 변화와 진보를 이루어 왔다. 특히, Convolutional Neural Networks (CNNs)은 ImageNet 데이터 세트와 GoogleNet, ResNet 및 VGNet와 같은 여러 고급 네트워크 때문에 학술 분야에서 빠른 발전을 이루었다. 최근, 이러한 발전을 이용한 지능형 서비스를 제공하는 응용 프로그램의 경우, 스마트폰, 태블릿 PC, 드론, 임베딩 보드 같은 다양한 모바일 장치에 CNN이 삽입되고 있다. CNN은 모바일 카메라로 촬영된 동영상에서 사람들의 행동을 예측해 위험한 상황을 감지하고, 모바일 장치로 사진을 찍고, 사진 정보를 제공하는 등 영상 분류에 능하다. 그러나, 일반적으로, CNN은 무거운 층과 많은 매개 변수들로 구성된 복잡한 네트워크 구조를 가지고 있다. 복잡성과 컴퓨팅 부하로 인해 CNN은 대규모 클라우드 네트워크에서 학습되고 실행된다. 하지만 클라우드 네트워크에서 학습하고 수행하는 데 두 가지 장애물이 있다. 1) 정보의 교환이 쉬워짐에 따라 개인 정보의 보안이 취약해지고, 해킹에 의한 개인 정보 유출의 가능성이 높다. 2) 학습과 실행이 불안정해질 수 있다. 모바일 네트워크 상태의 경과 따라서 일부 선행 기술은 네트워크를 학습하고 운영하기 위해 CNN의 구조를 압축하고 효율적이며 경미한 학습으로 만들기 위해 연구했다. 네트워크 구조의 대표적인 압축 방법은 체중 매트릭스 재구성, 정량화 및 제거다. 또한 효율적이며 가벼운 학습을 위한 선호되는 방법은 기존 네트워크의 정보를 활용하여 네트워크를 교육하는 전송 학습이다. 기존 네트워크를 교육하는 동안 알려지지 않은 새로운 클래스나 패턴이 발생할 때 학습 비용을 절감할 수 있다.
추가 네트워크 구조, 피쳐 클래스 등을 전송함으로써 증분 전송, 매개변수 전송 및 피쳐 전송기와 같은 다양한 전달 방식이 개발되었다. 증분 전송 방법(추가 네트워크 구조 전송)은 기존 네트워크와 병렬로 새 클래스에 대한 추가 네트워크를 연결하여 기존 네트워크를 재구성한다. 그러나 이 방법에는 추가 네트워크 구조를 설계하기 위한 구조 오버헤드가 필요한 단점이 있다. 매개변수 전달(특징 값 전송)은 기존 네트워크의 피쳐 필터에서 추출된 공통 피쳐를 사용하여 네트워크를 구성한다. 그러나 이 방법의 적용은 네트워크가 가우스 프로세스라는 가정을 요구하는 특정 네트워크에서 제한된다. 인스턴스 전송(가중치 전송)은 가중치의 차이 분석에서 얻은 공통 가중치만 사용하여 기존 네트워크를 훈련시킨다. 분석은 기존 클래스 및 새 클래스의 입력 데이터 분포를 기반으로 수행된다. 그러나 이 방법은 가중치 차이 분석의 불필요한 계산 오버헤드를 요구한다.
따라서, 추가적인 클래스에 대하여 시스템의 부하를 감소시키면서도 효율적으로 학습을 수행할 수 있는 방법이 필요한 실정이다.
따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위한 것으로서, 추가 네트워크 구조를 요구하지 않고 불필요한 계산 오버헤드를 줄일 수 있는 온디바이스 부분 학습 기법을 제안하고자 한다.
상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 엔트로피 기반 신경망(Neural Networks) 부분학습 방법은 신경망(Neural Networks)을 이용한 학습 방법에 있어서, 새로운 클래스의 발생을 인식하는 (a) 단계; 복수의 가중치들의 엔트로피에 기반한 질적 정보 및 를 상기 복수의 가중치들 중 부분학습할 가중치를 결정하기 위한 임계값을 연산하는 (b) 단계; 및 상기 질적 정보가 임계값 이하의 값을 가지는 가중치들을 이용해 상기 새로운 클래스를 학습하는 (c) 단계;를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 (a) 단계 내지 (c) 단계는, 상기 신경망이 학습을 수행하는 중에 수행될 수 있다.
본 발명의 일 실시 예에 따르면, 상기 임계값은 하기 수학식 1을 연산해 얻을 수 있다.
[수학식 1]
Figure PCTKR2019007639-appb-I000001
(여기서,
Figure PCTKR2019007639-appb-I000002
는 L번째 계층의 r번째 노드,
Figure PCTKR2019007639-appb-I000003
는 L번째 계층에서 가중치의 표준 편차,
Figure PCTKR2019007639-appb-I000004
는 L번째 계층의 k번째 노드에서 다음 계층의 r번째 노드로 연결된 가중치의 정보 양이다.)
본 발명의 일 실시 예에 따르면, 상기 질적 정보(QA)는 하기 수학식 2를 연산해 얻을 수 있다.
[수학식 2]
Figure PCTKR2019007639-appb-I000005
(여기서,
Figure PCTKR2019007639-appb-I000006
는 L번째 계층의 k번째 노드에서 다음 계층의 r번째 노드로 연결된 가중치의 품질,
Figure PCTKR2019007639-appb-I000007
는 L번째 계층의 k번째 노드에서 다음 계층의 r번째 노드로 연결된 가중치의 정보 양이다.)
상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 엔트로피 기반 신경망(Neural Networks) 부분학습 시스템은 신경망(Neural Networks)을 이용한 학습 시스템에 있어서, 신경망(Neural Networks)을 이용한 학습을 수행하는 학습부; 상기 신경망의 복수의 가중치들의 엔트로피에 기반한 질적 정보 및 상기 복수의 가중치들 중 부분학습할 가중치를 결정하기 위한 임계값을 연산하는 연산부; 및 상기 질적 정보가 임계값 이하의 값을 가지는 가중치들을 이용해 부분학습하는 부분학습 제어부;를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 연산부 및 부분학습 제어부는, 상기 학습부가 학습을 수행하는 중에 연산 및 부분학습 제어를 수행할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 임계값은 하기 수학식 1을 연산해 얻을 수 있다.
[수학식 1]
Figure PCTKR2019007639-appb-I000008
(여기서,
Figure PCTKR2019007639-appb-I000009
는 L번째 계층의 r번째 노드,
Figure PCTKR2019007639-appb-I000010
는 L번째 계층에서 가중치의 표준 편차,
Figure PCTKR2019007639-appb-I000011
는 L번째 계층의 k번째 노드에서 다음 계층의 r번째 노드로 연결된 가중치의 정보 양이다.)
본 발명의 일 실시 예에 따르면, 상기 질적 정보는 하기 수학식 2를 연산해 얻을 수 있다.
[수학식 2]
Figure PCTKR2019007639-appb-I000012
(여기서,
Figure PCTKR2019007639-appb-I000013
는 L번째 계층의 k번째 노드에서 다음 계층의 r번째 노드로 연결된 가중치의 품질,
Figure PCTKR2019007639-appb-I000014
는 L번째 계층의 k번째 노드에서 다음 계층의 r번째 노드로 연결된 가중치의 정보 양이다.)
본 발명에 따르면, 기존의 방법보다 압축보다 성능이 뛰어나며, 기존 압축 방법인 MNIST(Mixed National Institute of Standards and Technology) 데이터를 사용하여 처리 시간 및 오버헤드를 줄여준다.
또한, 학습 중에 가중치에 따른 부분학습을 수행하여 연산 중간에도 시스템의 부하를 감소시킬 수 있다.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 질적 엔트로피 기반 신경망(Neural Networks) 부분학습 방법의 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 질적 엔트로피 계산의 일 예시이다.
도 3은 본 발명의 일 실시 예에 따른 엔트로피 기반 신경망(Neural Networks) 부분학습 시스템의 블록도이다.
도 4a는 LeNet-5의 완전 연결 계층 1의 가중치 분포의 일 예시이고, 도 4b는 AlexNet의 완전 연결 계층 1의 가중치 분포의 일 예시이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 노드의 엔트로피와 노드에 연결된 가중치 정보의 양을 도시한 그래프이고, 도5c 및 도5d는 본 발명의 일 실시예에 따른 노드의 질적 엔트로피(점선) 및 노드에 연결된 가중치 정보의 질적 양을 도시한 그래프이다.
도 6는 LeNet-5에서 대해 수학식 7에 의해 선택된 가중치이다.
도 7은 AlexNet에서 대해 수학식 7에 의해 선택된 가중치이다.
도 8은 MNIST에서 새로운 클래스를 추가했을 때의 부분 학습의 성능 그래프이다.
도 9은 17종의 꽃 이미지에서 새로운 클래스를 추가했을 때의 부분 학습의 성능 그래프이다.
도 10은 LeNet-5에서의 부분 학습 및 이동 학습의 학습 시간 성능이다.
도 11은 AlexNet 에서의 부분 학습 및 이동 학습의 학습 시간 성능이다.
도 12는 본 발명의 일 실시 예에 따른 엔트로피 기반 신경망(Neural Networks) 부분학습 방법의 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 '엔트로피 기반 신경망(Neural Networks) 부분학습 방법 및 시스템'을 상세하게 설명한다. 설명하는 실시 예들은 본 발명의 기술 사상을 당업자가 용이하게 이해할 수 있도록 제공되는 것으로 이에 의해 본 발명이 한정되지 않는다. 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시 예들을 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.
한편, 이하에서 표현되는 각 구성부는 본 발명을 구현하기 위한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다.
또한, 각 구성부는 순전히 하드웨어 또는 소프트웨어의 구성만으로 구현될 수도 있지만, 동일 기능을 수행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합으로 구현될 수도 있다. 또한, 하나의 하드웨어 또는 소프트웨어에 의해 둘 이상의 구성부들이 함께 구현될 수도 있다.
또한, 어떤 구성요소들을 '포함'한다는 표현은, '개방형'의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.
도 1은 본 발명의 일 실시 예에 따른 질적 엔트로피 기반 신경망(Neural Networks) 부분학습 방법의 개념도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 질적 엔트로피 기반 신경망(Neural Networks) 부분학습 방법은 입력 이미지에서 새로운 클래스가 발생하면 상기 새로운 클래스를 인식할 수 있다. 상기 새로운 클래스를 학습하기 위해 엔트로피에 기반해 부분학습에 이용할 노드 및 가중치를 선택해 부분학습에 이용할 수 있다.
본 발명의 일 실시 예에 따른 질적 엔트로피 기반 신경망(Neural Networks) 부분학습 방법에서 엔트로피는 수학식 1과 같이 출력 발생에 대한 가중치 정보의 예상치를 계산하는 데 사용될 수 있다. 상기 가중치의 정보량이 전체 가중치 집합의 엔트로피보다 낮은 경우 상기 가중치는 덜 중요한 것으로 간주될 수 있다.
본 발명의 일 실시 예에 따른 질적 엔트로피 기반 신경망(Neural Networks) 부분학습 방법은 상기 덜 중요한 것으로 간주되는 가중치를 선택해 상기 새로운 클래스에 대한 부분학습을 수행할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 질적 엔트로피 계산의 일 예시이다.
도 2를 참조하면, 4 개의 노드 (i1, i2, i3, i4)는 동일한 값 1을 가지며 L2의 노드에 완전히 연결될 수 있다. L2의 n1에 연결된 가중치의 값이 1, 1, 1 및 2이면 노드의 엔트로피는 0.431이다. 그러나 L2의 n2에 연결된 가중치의 값이 1, 1, 3 인 경우 엔트로피도 0.431이다. n1과 n2의 엔트로피 값은 같다. 이는 엔트로피가 확률 분포만을 사용하여 계산되기 때문이다. n1과 n2의 엔트로피가 같더라도, n2는 L3에서 o1과 o2에 더 큰 영향을 미친다. 문제를 해결하기 위해 많은 정보가 있는 가중치가 높은 확률로 인해 중요하지 않은 것으로 오해하지 않도록 가중치의 품질을 고려할 수 있다.
가중치의 품질은 Sigmoid 함수를 사용하여 [0, 1]로 정규화할 수 있다. 이는 가중치 분포의 특정 범위를 벗어나는 가중치의 과도한 강조를 피하는 데 도움이 될 수 있다. 본 발명에서는 가중치의 표준화 된 품질을 편의상 질적 특성이라고 할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 엔트로피 기반 신경망(Neural Networks) 부분학습 시스템의 블록도이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 엔트로피 기반 신경망(Neural Networks) 부분학습 시스템은 연산부(310), 부분학습 제어부(320) 및 학습부(330)를 포함할 수 있다.
상기 연산부(310)는 신경망(NN)의 복수의 가중치에 대해 각각의 엔트로피, 질적 엔트로피, 정보량, 질적 정보량을 연산할 수 있다. 상기 연산부(310)는 상기 신경망의 가중치 전체의 평균, 표준편차를 연산할 수 있다.
상기 엔트로피는 하기 수학식 1과 같이 출력 발생에 대한 가중치 정보의 예상치를 계산하는 데 사용될 수 있다. 상기 가중치의 정보량이 가중치 전체의 엔트로피보다 낮은 경우 상기 가중치는 덜 중요한 것으로 간주될 수 있다.
[수학식 1]
Figure PCTKR2019007639-appb-I000015
여기서,
Figure PCTKR2019007639-appb-I000016
은 L번째 계층에서 r번째 노드,
Figure PCTKR2019007639-appb-I000017
는
Figure PCTKR2019007639-appb-I000018
의 엔트로피이며,
Figure PCTKR2019007639-appb-I000019
은 L번째 계층의 k번째 노드에서 다음 레이어의 r번째 노드로 연결된 가중치,
Figure PCTKR2019007639-appb-I000020
은 Nr에 연결된 가중치 중
Figure PCTKR2019007639-appb-I000021
의 확률,
Figure PCTKR2019007639-appb-I000022
은
Figure PCTKR2019007639-appb-I000023
이 보유한 정보의 양이다. 각 엔트로피는
Figure PCTKR2019007639-appb-I000024
에 연결된
Figure PCTKR2019007639-appb-I000025
이 보유하는 정보 양의 예상값을 의미한다. 상기 연산부(310)는 상기
Figure PCTKR2019007639-appb-I000026
각각의 정보의 양은 수학식 2로 평가할 수 있다.
[수학식 2]
Figure PCTKR2019007639-appb-I000027
여기서,
Figure PCTKR2019007639-appb-I000028
은 L번째 계층의 k번째 노드에서 다음 레이어의 r번째 노드로 연결된 가중치,
Figure PCTKR2019007639-appb-I000029
은 Nr에 연결된 가중치 중
Figure PCTKR2019007639-appb-I000030
의 확률이다.
상기 연산부(310)는 각
Figure PCTKR2019007639-appb-I000031
의 값이
Figure PCTKR2019007639-appb-I000032
보다 작을 경우,
Figure PCTKR2019007639-appb-I000033
로 전송되는 정보가 더 적다는 의미이다. 학습 중 출력을 생성하는 데
Figure PCTKR2019007639-appb-I000034
이 중요하지 않다고 볼 수 있다. 단, 상기 수학식 1과 수학식 2에서 확인할 수 있듯이 엔트로피는 가중치의 확률 분포에 기초한 프로덕트 곱에 의해서만 만들어진다. 가중치의 확률 분포가 유사한 경우 상기 가중치는 엔트로피가 유사하다. 가중치에 엔트로피가 유사하지만, 가중치가 블랙박스 패턴으로 학습을 수행하기 때문에 출력 노드에 미치는 영향은 다를 수 있다
상기 연산부(310)는 상기 가중치의 분포의 특정 범위를 벗어나는 가중치의 품질을 하기 수학식 3을 연산해 질적으로 과도하게 강조하지 않도록 하기 위해 Sigmoid 함수를 사용하여 가중치의 품질을 [0, 1]로 표준화할 수 있다.
[수학식 3]
Figure PCTKR2019007639-appb-I000035
여기서,
Figure PCTKR2019007639-appb-I000036
은
Figure PCTKR2019007639-appb-I000037
에서의 품질,
Figure PCTKR2019007639-appb-I000038
은 L번째 계층의 k번째 노드에서 다음 레이어의 r번째 노드로 연결된 가중치이다.
상기 연산부(310)에서 질적 정보량은 한 노드에 연결된 각 가중치의 중요도에 따라 달라질 수 있다. 각 가중치의 질적 정보량은 수학식 2와 수학식 3을 하기 수학식 4와 같이 연결하여 구할 수 있다.
[수학식 4]
Figure PCTKR2019007639-appb-I000039
여기서,
Figure PCTKR2019007639-appb-I000040
는
Figure PCTKR2019007639-appb-I000041
의 질적 정보량이다.
상기 수학식 4를 이용해 질적 엔트로피를 하기 수학식 5와 같이 연산할 수 있다.
[수학식 5]
Figure PCTKR2019007639-appb-I000042
여기서,
Figure PCTKR2019007639-appb-I000043
는
Figure PCTKR2019007639-appb-I000044
의 질적 엔트로피,
Figure PCTKR2019007639-appb-I000045
은 Nr에 연결된 가중치 중
Figure PCTKR2019007639-appb-I000046
의 확률,
Figure PCTKR2019007639-appb-I000047
는
Figure PCTKR2019007639-appb-I000048
의 질적 정보량이다. 대부분의 CNN에서, 가중치의 확률 분포는 중심근한 정리에 의한 벨 모양을 가진 가우스 분포로 수렴될 수 있다. CNN은 최소한 5000개의 완전히 연결된 레이어에 엄청난 수의 가중치를 가지고 있기 때문이다. 따라서 수학식 5는 수학식 6으로 단순화할 수 있다.
[수학식 6]
Figure PCTKR2019007639-appb-I000049
여기서,
Figure PCTKR2019007639-appb-I000050
는
Figure PCTKR2019007639-appb-I000051
의 질적 엔트로피,
Figure PCTKR2019007639-appb-I000052
는 L번째 계층의 r번째 노드,
Figure PCTKR2019007639-appb-I000053
는 L번째 계층에서 가중치의 표준 편차,
Figure PCTKR2019007639-appb-I000054
는 L번째 계층의 k번째 노드에서 다음 계층의 r번째 노드로 연결된 가중치의 정보 양이다. 출력에 거의 영향을 미치지 않는 가중치를 이용해 부분적으로 학습함으로써 기존 클래스의 분류 성능을 유지할 수 있다.
상기 부분학습 제어부(320)는 새로운 클래스의 발생여부를 인지할 수 있다. 상기 부분학습 제어부(320)는 새로운 클래스가 발생한 경우 상기 연산부(310)에서 신경망(NN)의 복수의 가중치에 대해 각각의 엔트로피, 질적 엔트로피, 정보량, 질적 정보량을 연산할 수 있다. 상기 연산부(310)는 상기 신경망의 가중치 전체의 평균, 표준편차를 연산하게 할 수 있다.
상기 부분학습 제어부(320)는 상기 연산부(310)에서 연산된 값들을 이용해 중요도가 낮은 가중치를 판단할 수 있다. 상기 부분학습 제어부(320)는 상기 중요도가 낮은 가중치를 통해 새로운 클래스를 학습하도록 할 수 있다. 상기 중요도가 낮은 가중치는 정보가 거의 없는 가중치를 의미할 수 있다. 상기 정보가 거의 없는 가중치는 상기 수학식 4와 수학식 6에서 얻는 하기 수학식 7로 선택할 수 있다.
[수학식 7]
Figure PCTKR2019007639-appb-I000055
Figure PCTKR2019007639-appb-I000056
는
Figure PCTKR2019007639-appb-I000057
의 질적 엔트로피,
Figure PCTKR2019007639-appb-I000058
는
Figure PCTKR2019007639-appb-I000059
의 질적 정보량이다. 그러나 부분 학습은 마지막 계층에서는 위의 방법을 적용하지 않는다. 마지막 계층에는 정보를 전송할 다음 노드가 없으므로 가중치는 출력 노드에 독립적으로 영향을 미친다. 따라서 새로운 클래스와 관련된 가중치만 학습시키는 것이 효율적이다. 질적 엔트로피 때문에 질적 특성과 확률론적 특성이 모두 고려되므로, 본 발명은 결과를 생성하고 교육하는 데 필요한 정보가 적은 가중치를 식별할 수 있다. 상기 중요도가 낮은 가중치 또는 필요한 정보가 적은 가중치를 임계값이라고 할 수 있다.
상기 부분학습 제어부(320)는 상기 학습부(330)가 상기 임계값을 이용해 상기 새로운 클래스를 학습하도록 할 수 있다.
상기 학습부(330)는 신경망(NN)을 이용해 학습을 수행할 수 있다. 상기 학습부(330)는 신경망(NN)을 이용해 학습을 수행할 수 있다. 상기 학습부(330)는 새로운 클래스가 발생한 경우 상기 부분학습 제어부(320)를 통해서 상기 임계값을 이용해 상기 새로운 클래스를 부분학습할 수 있다. 상기 신경망(NN)은 Multi Layer Perceptron (MLP), Convolutional Neural Network(CNN), Deep Neural Network(DNN), Recurrent Neural Network(RNN) 등을 포함할 수 있다.
도 4a는 LeNet-5의 완전 연결 계층 1의 가중치 분포의 일 예시이고, 도 4b는 AlexNet의 완전 연결 계층 1의 가중치 분포의 일 예시이고, 도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 노드의 엔트로피와 노드에 연결된 가중치 정보의 양을 도시한 그래프이고, 도5c 및 도5d는 본 발명의 일 실시예에 따른 노드의 질적 엔트로피(점선) 및 노드에 연결된 가중치 정보의 질적 양을 도시한 그래프이다.
도 4 및 도 5를 참조하면, 본 발명의 일 실시 예에서, 메커니즘을 분석하고 Lenet-5와 Alexnet과 같은 네트워크를 사용하여 성능을 보여준다. Lenet-5는 두 개의 컨벌루션 레이어와 두 개의 완전 연결된 레이어로 구성될 수 있다. 각 계층의 가중치는 각각 500, 25000, 400000 및 5000이다. 네트워크는 10 개의 수기 이미지 클래스, 각각 6000 개의 조각을 갖는 MNIST 데이터 세트로 트레이닝될 수 있다. Alexnet은 5 개의 컨벌루션 레이어와 3 개의 완전 연결된 레이어로 구성될 수 있다. 각 계층의 가중치는 각각 3500, 307000, 885000, 663000, 442000, 38000000, 17000000 및 4000000이다. 이 네트워크는 1360 개의 꽃 이미지를 17 가지 카테고리의 꽃으로 분류하여 학습한다. 본 발명의 일 실시 예에서, 선택되지 않은 가중치를 무시하는 마스크를 추가하여 Tensorflow 프레임 워크를 수정한다. 또한 NVIDIA Titan X Pascal 그래픽 처리 장치를 사용한다.
도 4a 및 도 4b는 각각 LeNet-5와 AlexNet의 완전히 연결된 Layer1에서부터 완전히 연결된 layer2에 연결된 가중치 분포를 보여준다. 가중치의 분포가 종 모양이기 때문에 정 성적 엔트로피는 수학식 6을 사용하여 계산되어 도 5와 같이 나타날 수 있다.
도 5 (a)와 도 5 (b)는 질적 특성이 아직 적용되지 않은 노드에서 수학식 1과 수학식 2를 사용하여 얻은 정보량과 엔트로피를 보여준다. 도 5 (c)와 도 5 (d)는 노드에서 수학식 4와 수학식 6을 사용하여 질적 엔트로피와 질적 정보량을 보여준다.
도 5 (a)와 도 5 (b)에서 볼 수 있듯이, 엔트로피보다 정보량이 적은 가중치가 대다수이므로 가중치의 95 % 이상이 선택된다. 이 경우 확률이 높은 가중치는 가중치의 크기에 관계없이 확률 분포 만 고려하기 때문에 결과에 중요하지 않은 것으로 오해 할 수 있다. 즉, 대부분의 가중치는 새로운 클래스에 대한 재교육이 아닌 것으로 선택된다. 도 5 (a)와 도 5 (b)의 엔트로피는 1.45와 거의 같다. 왜냐하면 두 네트워크의 확률 분포가 도 4에서와 같이 가우스 분포와 거의 같기 때문이다. 반면에 도 5 (c)와 도 5 (d)는 각각 0.015 및 0.09이다. 도 5 (c)와 도 5 (d)의 확률 분포는 도 5 (a)와 도 5 (b)와는 달리 거의 동일하지만 가중치를 질적 엔트로피로 적절히 나누었다.
도 6는 LeNet-5에서 대해 수학식 7에 의해 선택된 가중치이고, 도 7은 AlexNet에서 대해 수학식 7에 의해 선택된 가중치이다.
도 6 및 도 7을 참조하면, 가중치를 질적 엔트로피로 적절히 나누었다. 도 6은 LeNet-5에서 각 계층에 대해 선택된 가중치의 수를 보여준다. 완전 연결 layer1과 완전 연결 layer2에서 선택된 가중치는 각각 400,000 개 중 272195 개, 5000 개 중 3634 개이다. 결과적으로 완전 연결 계층의 가중치 중 68.10 %가 선택된다. 도 7은 또한 AlexNet에서 각 계층에 대해 선택된 가중치 수를 보여준다. 완전 연결 레이어 1, 완전 연결 레이어 2 및 완전 연결 레이어 3에서 선택한 가중치는 각각 38000000 개 중 23943187 개, 17000000 개 중 11053214 개, 4000000 개 중 2800745 개다. 결과적으로 완전 연결 계층의 총 가중치 중 64.06 %가 선택된다.
도 8은 MNIST에서 새로운 클래스를 추가했을 때의 부분 학습의 성능 그래프이고, 도 9은 17종의 꽃 이미지에서 새로운 클래스를 추가했을 때의 부분 학습의 성능 그래프이다.
도 8 및 도 9를 참조하면, 도 8은 MNIST와 17 개의 카테고리의 꽃 이미지를 사용하여 새로운 클래스를 추가하여 부분 학습의 분류 정확도를 보여준다. 먼저 LeNet-5를 초기 네트워크 구조로 사용하여 5 개의 클래스를 학습한다.
분류 정확도는 99.20 %다. 구조에서 한 번에 하나의 클래스를 추가하여 성능을 분석한다. 새로운 클래스가 추가될 때마다 학습의 정확도는 99.06 % (총 6 개 클래스), 98.25 % (7 개 클래스), 97.61 % (8 개 클래스), 93.19 % (9 개 클래스), 89.74 %이다. 하나의 새로운 클래스가 추가될 때, 6 클래스 네트워크 구조와 원래의 네트워크 구조 사이에 정확도 차이가 거의 없다. 2 개 및 3 개의 새 클래스의 정확도 차이는 각각 1 % 및 1.6 % 미만이다. 네 가지 새로운 클래스에서 성능이 점차 저하된다. 꽃 이미지가 17 개 범주 인 경우 AlexNet을 초기 네트워크 구조로 사용하여 8 개의 클래스를 학습하면 정확도는 72.79 %입니다. 한 번에 하나의 새로운 클래스를 추가하여 성능을 분석한다. 정확도는 각각 71.63 % (총 9 개 클래스), 71.52 % (10 개 클래스), 71.08 % (11 개 클래스), 70.56 % (12 개 클래스), 70.16 % (13 개 클래스), 93.26 % (총 14 개 클래스), 60.10 % (15 개 클래스), 57.40 % (16 개 클래스), 51.92 % (17 개 클래스)이다. 1개 또는 2 개의 새로운 클래스의 경우, 원래의 네트워크 구조에 비해 9 클래스, 10 클래스 네트워크 구조에 대한 정확도 저하가 거의 없다. 3 가지 및 4 가지 새로운 클래스의 정확도 차이는 각각 1.7 % 및 2.3 % 미만이다. 다섯 가지 새로운 클래스에서 성능이 점차 저하된다.
상기 실시 예를 통해 부분 학습은 기존 네트워크에 최대 3 개의 새 클래스를 추가 할 때 전송 학습보다 더 나은 성능을 제공한다. 본 발명은 부분적인 재교육을 위해 기존 네트워크의 새로운 클래스의 약 40 %를 수용 할 수 있다.
도 10은 LeNet-5에서의 부분 학습 및 이동 학습의 학습 시간 성능이고, 도 11은 AlexNet 에서의 부분 학습 및 이동 학습의 학습 시간 성능이다.
도 10을 참조하면, 한 번에 새로운 클래스를 추가하는 것으로 MNIST를 사용하여 LeNet-5에서 부분 학습 및 전송 학습에 필요한 교육 시간을 보여준다. 본 발명의 방법과 전송 학습 간의 시간차는 각각 기존의 네트워크에 최대 5 개의 새로운 클래스를 추가함으로써 207s, 241s, 274s, 309s 및 348s이다. 시간 차이는 부분 학습이 점차 계산 복잡도의 감소에 영향을 미치기 때문에 네트워크 크기가 커짐에 따라 증가한다. 전송 학습의 경우 네트워크 구조의 크기가 커짐에 따라 가중치 수가 기하 급수적으로 증가하기 때문에 새 클래스가 추가되면 학습 시간이 늘어난다. 도 11을 참조하면, 17 가지 범주의 꽃으로 AlexNet의 교육 시간 성능을 보여준다. 기존 네트워크에 최대 5 개의 새로운 클래스를 추가한다. 본 발명의 일 실시 예에 따른 엔트로피 기반 부분학습 방법과 전송 학습 간의 시간차는 각각 5074, 5602, 6177, 6432, 6940, 7497, 7970, 8509, 9051이다. AlexNet의 크기가 LeNet-5보다 140 배 더 크기 때문에 꽃 데이터 세트의 17 가지 카테고리의 복잡성이 MNIST보다 크기 때문에 시간 간격은 도 10보다 크다. 결과적으로 교육 시간이 기하 급수적으로 증가한다. 따라서 데이터와 네트워크가 복잡할수록 본 발명의 일 실시 예에 따른 엔트로피 기반 부분 학습 기술이 더 효과적이다.
도 12는 본 발명의 일 실시 예에 따른 엔트로피 기반 신경망(Neural Networks) 부분학습 방법의 흐름도이다.
도 12를 참조하면, 본 발명의 일 실시 예에 따른 엔트로피 기반 신경망(Neural Networks) 부분학습 방법은 새로운 클래스의 발생을 인식하는 (a) 단계(S1210)를 포함할 수 있다.
S1210 단계에서, 상기 부분학습 제어부(320)는 새로운 클래스의 발생여부를 인지할 수 있다. 상기 부분학습 제어부(320)는 새로운 클래스가 발생한 경우 상기 연산부(310)에서 신경망(NN)의 복수의 가중치에 대해 각각의 엔트로피, 질적 엔트로피, 정보량, 질적 정보량을 연산할 수 있다. 상기 연산부(310)는 상기 신경망의 가중치 전체의 평균, 표준편차를 연산하게 할 수 있다.
본 발명의 일 실시 예에 따른 엔트로피 기반 신경망(Neural Networks) 부분학습 방법은 복수의 가중치들의 엔트로피에 기반한 질적 정보 및 를 상기 복수의 가중치들 중 부분학습할 가중치를 결정하기 위한 임계값을 연산하는 (b) 단계(S1220)를 포함할 수 있다.
S1220 단계에서, 상기 연산부(310)는 신경망(NN)의 복수의 가중치에 대해 각각의 엔트로피, 질적 엔트로피, 정보량, 질적 정보량을 연산할 수 있다. 상기 연산부(310)는 상기 신경망의 가중치 전체의 평균, 표준편차를 연산할 수 있다.
상기 엔트로피는 하기 수학식 1과 같이 출력 발생에 대한 가중치 정보의 예상치를 계산하는 데 사용될 수 있다. 상기 가중치의 정보량이 가중치 전체의 엔트로피보다 낮은 경우 상기 가중치는 덜 중요한 것으로 간주될 수 있다.
[수학식 1]
여기서,
Figure PCTKR2019007639-appb-I000060
은 L번째 계층에서 r번째 노드,
Figure PCTKR2019007639-appb-I000061
는
Figure PCTKR2019007639-appb-I000062
의 엔트로피이며,
Figure PCTKR2019007639-appb-I000063
은 L번째 계층의 k번째 노드에서 다음 레이어의 r번째 노드로 연결된 가중치,
Figure PCTKR2019007639-appb-I000064
은 Nr에 연결된 가중치 중
Figure PCTKR2019007639-appb-I000065
의 확률,
Figure PCTKR2019007639-appb-I000066
은
Figure PCTKR2019007639-appb-I000067
이 보유한 정보의 양이다. 각 엔트로피는
Figure PCTKR2019007639-appb-I000068
에 연결된
Figure PCTKR2019007639-appb-I000069
이 보유하는 정보 양의 예상값을 의미한다.
S1220 단계에서, 상기 연산부(310)는 상기
Figure PCTKR2019007639-appb-I000070
각각의 정보의 양은 수학식 2로 평가할 수 있다.
[수학식 2]
Figure PCTKR2019007639-appb-I000071
여기서,
Figure PCTKR2019007639-appb-I000072
은 L번째 계층의 k번째 노드에서 다음 레이어의 r번째 노드로 연결된 가중치,
Figure PCTKR2019007639-appb-I000073
은 Nr에 연결된 가중치 중
Figure PCTKR2019007639-appb-I000074
의 확률이다.
상기 연산부(310)는 각
Figure PCTKR2019007639-appb-I000075
의 값이
Figure PCTKR2019007639-appb-I000076
보다 작을 경우,
Figure PCTKR2019007639-appb-I000077
로 전송되는 정보가 더 적다는 의미이다. 학습 중 출력을 생성하는 데
Figure PCTKR2019007639-appb-I000078
이 중요하지 않다고 볼 수 있다. 단, 상기 수학식 1과 수학식 2에서 확인할 수 있듯이 엔트로피는 가중치의 확률 분포에 기초한 프로덕트 곱에 의해서만 만들어진다. 가중치의 확률 분포가 유사한 경우 상기 가중치는 엔트로피가 유사하다. 가중치에 엔트로피가 유사하지만, 가중치가 블랙박스 패턴으로 학습을 수행하기 때문에 출력 노드에 미치는 영향은 다를 수 있다.
S1220 단계에서, 상기 연산부(310)는 상기 가중치의 분포의 특정 범위를 벗어나는 가중치의 품질을 하기 수학식 3을 연산해 질적으로 과도하게 강조하지 않도록 하기 위해 Sigmoid 함수를 사용하여 가중치의 품질을 [0, 1]로 표준화할 수 있다.
[수학식 3]
Figure PCTKR2019007639-appb-I000079
여기서,
Figure PCTKR2019007639-appb-I000080
은
Figure PCTKR2019007639-appb-I000081
에서의 품질,
Figure PCTKR2019007639-appb-I000082
은 L번째 계층의 k번째 노드에서 다음 레이어의 r번째 노드로 연결된 가중치이다.
S1220 단계에서, 상기 연산부(310)에서 질적 정보량은 한 노드에 연결된 각 가중치의 중요도에 따라 달라질 수 있다. 각 가중치의 질적 정보량은 수학식 2와 수학식 3을 하기 수학식 4와 같이 연결하여 구할 수 있다.
[수학식 4]
Figure PCTKR2019007639-appb-I000083
여기서,
Figure PCTKR2019007639-appb-I000084
는
Figure PCTKR2019007639-appb-I000085
의 질적 정보량이다.
S1220 단계에서, 상기 수학식 4를 이용해 질적 엔트로피를 하기 수학식 5와 같이 연산할 수 있다.
[수학식 5]
Figure PCTKR2019007639-appb-I000086
여기서,
Figure PCTKR2019007639-appb-I000087
는
Figure PCTKR2019007639-appb-I000088
의 질적 엔트로피,
Figure PCTKR2019007639-appb-I000089
은 Nr에 연결된 가중치 중
Figure PCTKR2019007639-appb-I000090
의 확률,
Figure PCTKR2019007639-appb-I000091
는
Figure PCTKR2019007639-appb-I000092
의 질적 정보량이다. 대부분의 CNN에서, 가중치의 확률 분포는 중심근한 정리에 의한 벨 모양을 가진 가우스 분포로 수렴될 수 있다. CNN은 최소한 5000개의 완전히 연결된 레이어에 엄청난 수의 가중치를 가지고 있기 때문이다. 따라서 수학식 5는 수학식 6으로 단순화할 수 있다.
[수학식 6]
Figure PCTKR2019007639-appb-I000093
여기서,
Figure PCTKR2019007639-appb-I000094
는
Figure PCTKR2019007639-appb-I000095
의 질적 엔트로피,
Figure PCTKR2019007639-appb-I000096
는 L번째 계층의 r번째 노드,
Figure PCTKR2019007639-appb-I000097
는 L번째 계층에서 가중치의 표준 편차,
Figure PCTKR2019007639-appb-I000098
는 L번째 계층의 k번째 노드에서 다음 계층의 r번째 노드로 연결된 가중치의 정보 양이다. 출력에 거의 영향을 미치지 않는 가중치를 이용해 부분적으로 학습함으로써 기존 클래스의 분류 성능을 유지할 수 있다.
본 발명의 일 실시 예에 따른 엔트로피 기반 신경망(Neural Networks) 부분학습 방법은 상기 질적 정보가 임계값 이하의 값을 가지는 가중치들을 이용해 상기 새로운 클래스를 학습하는 (c) 단계(S1230)를 포함할 수 있다.
S1230 단계에서, 상기 부분학습 제어부(320)는 상기 연산부(310)에서 연산된 값들을 이용해 중요도가 낮은 가중치를 판단할 수 있다. 상기 부분학습 제어부(320)는 상기 중요도가 낮은 가중치를 통해 새로운 클래스를 학습하도록 할 수 있다. 상기 중요도가 낮은 가중치는 정보가 거의 없는 가중치를 의미할 수 있다. 상기 정보가 거의 없는 가중치는 상기 수학식 4와 수학식 6에서 얻는 하기 수학식 7로 선택할 수 있다.
[수학식 7]
Figure PCTKR2019007639-appb-I000099
Figure PCTKR2019007639-appb-I000100
는
Figure PCTKR2019007639-appb-I000101
의 질적 엔트로피,
Figure PCTKR2019007639-appb-I000102
는
Figure PCTKR2019007639-appb-I000103
의 질적 정보량이다. 그러나 부분 학습은 마지막 계층에서는 위의 방법을 적용하지 않는다. 마지막 계층에는 정보를 전송할 다음 노드가 없으므로 가중치는 출력 노드에 독립적으로 영향을 미친다. 따라서 새로운 클래스와 관련된 가중치만 학습시키는 것이 효율적이다. 질적 엔트로피 때문에 질적 특성과 확률론적 특성이 모두 고려되므로, 본 발명은 결과를 생성하고 교육하는 데 필요한 정보가 적은 가중치를 식별할 수 있다. 상기 중요도가 낮은 가중치 또는 필요한 정보가 적은 가중치를 임계값이라고 할 수 있다.
상기 부분학습 제어부(320)는 상기 학습부(330)가 상기 임계값을 이용해 상기 새로운 클래스를 학습하도록 할 수 있다.
상기 학습부(330)는 신경망(NN)을 이용해 학습을 수행할 수 있다. 상기 학습부(330)는 신경망(NN)을 이용해 학습을 수행할 수 있다. 상기 학습부(330)는 새로운 클래스가 발생한 경우 상기 부분학습 제어부(320)를 통해서 상기 임계값을 이용해 상기 새로운 클래스를 부분학습할 수 있다. 상기 신경망(NN)은 Multi Layer Perceptron (MLP), Convolutional Neural Network(CNN), Deep Neural Network(DNN), Recurrent Neural Network(RNN) 등을 포함할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통 상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (8)

  1. 신경망(Neural Networks)을 이용한 학습 방법에 있어서,
    새로운 클래스의 발생을 인식하는 (a) 단계;
    복수의 가중치들의 엔트로피에 기반한 질적 정보 및 를 상기 복수의 가중치들 중 부분학습할 가중치를 결정하기 위한 임계값을 연산하는 (b) 단계; 및
    상기 질적 정보가 임계값 이하의 값을 가지는 가중치들을 이용해 상기 새로운 클래스를 학습하는 (c) 단계;를 포함하는 엔트로피 기반 신경망(Neural Networks) 부분학습 방법.
  2. 제1항에 있어서,
    상기 (a) 단계 내지 (c) 단계는,
    상기 신경망이 학습을 수행하는 중에 수행되는 것을 특징으로 하는 엔트로피 기반 신경망(Neural Networks) 부분학습 방법.
  3. 제1항에 있어서,
    상기 임계값은 하기 수학식 1을 연산해 얻는 엔트로피 기반 신경망(Neural Networks) 부분학습 방법.
    [수학식 1]
    Figure PCTKR2019007639-appb-I000104
    (여기서,
    Figure PCTKR2019007639-appb-I000105
    는 L번째 계층의 r번째 노드,
    Figure PCTKR2019007639-appb-I000106
    는 L번째 계층에서 가중치의 표준 편차,
    Figure PCTKR2019007639-appb-I000107
    는 L번째 계층의 k번째 노드에서 다음 계층의 r번째 노드로 연결된 가중치의 정보 양이다.)
  4. 제3항에 있어서,
    상기 질적 정보(QA)는 하기 수학식 2를 연산해 얻는 엔트로피 기반 신경망(Neural Networks) 부분학습 방법.
    [수학식 2]
    Figure PCTKR2019007639-appb-I000108
    (여기서,
    Figure PCTKR2019007639-appb-I000109
    는 L번째 계층의 k번째 노드에서 다음 계층의 r번째 노드로 연결된 가중치의 품질,
    Figure PCTKR2019007639-appb-I000110
    는 L번째 계층의 k번째 노드에서 다음 계층의 r번째 노드로 연결된 가중치의 정보 양이다.)
  5. 신경망(Neural Networks)을 이용한 학습 시스템에 있어서,
    신경망(Neural Networks)을 이용한 학습을 수행하는 학습부;
    상기 신경망의 복수의 가중치들의 엔트로피에 기반한 질적 정보 및 상기 복수의 가중치들 중 부분학습할 가중치를 결정하기 위한 임계값을 연산하는 연산부; 및
    상기 질적 정보가 임계값 이하의 값을 가지는 가중치들을 이용해 부분학습하는 부분학습 제어부;를 포함하는 엔트로피 기반 신경망(Neural Networks) 부분학습 시스템.
  6. 제5항에 있어서,
    상기 연산부 및 부분학습 제어부는,
    상기 학습부가 학습을 수행하는 중에 연산 및 부분학습 제어를 수행하는 것을 특징으로 하는 엔트로피 기반 신경망(Neural Networks) 부분학습 시스템.
  7. 제5항에 있어서,
    상기 임계값은 하기 수학식 1을 연산해 얻는 엔트로피 기반 신경망(Neural Networks) 부분학습 시스템.
    [수학식 1]
    Figure PCTKR2019007639-appb-I000111
    (여기서,
    Figure PCTKR2019007639-appb-I000112
    는 L번째 계층의 r번째 노드,
    Figure PCTKR2019007639-appb-I000113
    는 L번째 계층에서 가중치의 표준 편차,
    Figure PCTKR2019007639-appb-I000114
    는 L번째 계층의 k번째 노드에서 다음 계층의 r번째 노드로 연결된 가중치의 정보 양이다.)
  8. 제7항에 있어서,
    상기 질적 정보는 하기 수학식 2를 연산해 얻는 엔트로피 기반 신경망(Neural Networks) 부분학습 시스템.
    [수학식 2]
    Figure PCTKR2019007639-appb-I000115
    (여기서,
    Figure PCTKR2019007639-appb-I000116
    는 L번째 계층의 k번째 노드에서 다음 계층의 r번째 노드로 연결된 가중치의 품질,
    Figure PCTKR2019007639-appb-I000117
    는 L번째 계층의 k번째 노드에서 다음 계층의 r번째 노드로 연결된 가중치의 정보 양이다.)
PCT/KR2019/007639 2018-10-02 2019-06-25 엔트로피 기반 신경망 부분학습 방법 및 시스템 WO2020071618A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180117733A KR102120443B1 (ko) 2018-10-02 2018-10-02 엔트로피 기반 신경망(Neural Networks) 부분학습 방법 및 시스템
KR10-2018-0117733 2018-10-02

Publications (1)

Publication Number Publication Date
WO2020071618A1 true WO2020071618A1 (ko) 2020-04-09

Family

ID=70054617

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/007639 WO2020071618A1 (ko) 2018-10-02 2019-06-25 엔트로피 기반 신경망 부분학습 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102120443B1 (ko)
WO (1) WO2020071618A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232484A (zh) * 2020-10-15 2021-01-15 北京航空航天大学 一种基于类脑神经网络的空间碎片识别捕获方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102554624B1 (ko) * 2020-06-15 2023-07-13 한국전자통신연구원 임베디드 기기에서의 딥러닝 기반 객체 인식 장치 및 임베디드 기기용 객체 인식 모델 학습 장치
KR102432003B1 (ko) * 2021-01-21 2022-08-12 인하대학교 산학협력단 개인 정보 보호 도메인 적응 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130084016A (ko) * 2012-01-16 2013-07-24 삼성전자주식회사 분산된 학습 구조에 기초하는 자세 인식기 학습 시스템 및 방법
KR20140133417A (ko) * 2013-05-06 2014-11-19 한양대학교 산학협력단 시간 및 공간적 엔트로피를 이용한 작업 솜씨 학습 방법
KR20180022288A (ko) * 2016-08-24 2018-03-06 한국과학기술원 부분구조 학습기법과 영상데이터를 이용한 신경망 학습 방법 및 장치
KR101851374B1 (ko) * 2016-09-07 2018-04-23 서울대학교산학협력단 입력 데이터를 학습하는 방법 및 학습 장치
KR20180047391A (ko) * 2016-10-31 2018-05-10 한국생산기술연구원 학습 로봇, 그리고 이를 이용한 작업 솜씨 학습 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130084016A (ko) * 2012-01-16 2013-07-24 삼성전자주식회사 분산된 학습 구조에 기초하는 자세 인식기 학습 시스템 및 방법
KR20140133417A (ko) * 2013-05-06 2014-11-19 한양대학교 산학협력단 시간 및 공간적 엔트로피를 이용한 작업 솜씨 학습 방법
KR20180022288A (ko) * 2016-08-24 2018-03-06 한국과학기술원 부분구조 학습기법과 영상데이터를 이용한 신경망 학습 방법 및 장치
KR101851374B1 (ko) * 2016-09-07 2018-04-23 서울대학교산학협력단 입력 데이터를 학습하는 방법 및 학습 장치
KR20180047391A (ko) * 2016-10-31 2018-05-10 한국생산기술연구원 학습 로봇, 그리고 이를 이용한 작업 솜씨 학습 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232484A (zh) * 2020-10-15 2021-01-15 北京航空航天大学 一种基于类脑神经网络的空间碎片识别捕获方法及系统
CN112232484B (zh) * 2020-10-15 2022-08-05 北京航空航天大学 一种基于类脑神经网络的空间碎片识别捕获方法及系统

Also Published As

Publication number Publication date
KR20200038072A (ko) 2020-04-10
KR102120443B1 (ko) 2020-06-08

Similar Documents

Publication Publication Date Title
WO2020071618A1 (ko) 엔트로피 기반 신경망 부분학습 방법 및 시스템
EP3461290A1 (en) Learning model for salient facial region detection
WO2019164251A1 (en) Method of performing learning of deep neural network and apparatus thereof
WO2017209548A1 (ko) 인공 신경망 기반 예측 모델 생성 장치 및 방법
WO2015115681A1 (ko) 표정 동작사전을 이용한 표정인식 방법 및 장치
WO2022005090A1 (ko) 진단 결과를 제공하기 위한 방법 및 장치
WO2023008884A1 (ko) 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법, 그리고 이를 실행시키기 위해 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2022114731A1 (ko) 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법
WO2021215710A1 (en) Method for preventing breach of original data for deep learning and data breach preventing device using them
EP4275351A1 (en) Method and device for execution of deep neural network in iot edge network
WO2020231005A1 (ko) 영상 처리 장치 및 그 동작방법
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2020204610A1 (ko) 딥러닝 기반 컬러링 방법, 시스템 및 프로그램
WO2024080791A1 (ko) 데이터셋을 생성하기 위한 방법
WO2021158085A1 (en) Neural network update method, classification method and electronic device
WO2021075742A1 (ko) 딥러닝 기반의 가치 평가 방법 및 그 장치
WO2015182979A1 (ko) 영상 처리 방법 및 영상 처리 장치
WO2023182713A1 (ko) 인공지능 기반으로 텍스트 및 비-텍스트 이미지를 포함하는 화면 정보를 인지하여 화면 상의 오브젝트에 이벤트를 발생시키는 방법 및 시스템
WO2020149493A1 (ko) 전자 장치 및 이의 제어 방법
WO2023080509A1 (ko) 효율적인 전환 매트릭스 추정을 통한 노이즈 레이블을 학습하는 방법 및 장치
WO2022177345A1 (ko) 인공지능 기반으로 화면 정보를 인지하여 화면 상의 오브젝트에 이벤트를 발생시키는 방법 및 시스템
EP3707646A1 (en) Electronic apparatus and control method thereof
WO2021125521A1 (ko) 순차적 특징 데이터 이용한 행동 인식 방법 및 그를 위한 장치
WO2022025690A1 (ko) 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19868700

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19868700

Country of ref document: EP

Kind code of ref document: A1