KR102129161B1 - Terminal device and Method for setting hyperparameter of convolutional neural network - Google Patents
Terminal device and Method for setting hyperparameter of convolutional neural network Download PDFInfo
- Publication number
- KR102129161B1 KR102129161B1 KR1020170183585A KR20170183585A KR102129161B1 KR 102129161 B1 KR102129161 B1 KR 102129161B1 KR 1020170183585 A KR1020170183585 A KR 1020170183585A KR 20170183585 A KR20170183585 A KR 20170183585A KR 102129161 B1 KR102129161 B1 KR 102129161B1
- Authority
- KR
- South Korea
- Prior art keywords
- hmcr
- par
- harmony
- memory
- neural network
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
컨볼루션 신경망의 하이퍼파라미터를 설정하는 방법 및 이를 수행하는 단말 장치가 개시된다. 개시된 컨볼루션 신경망의 하이퍼파라미터를 설정하는 방법은 상기 하이퍼파라미터를 HS(Harmony Search) 알고리즘의 하모니로 설정하는 단계; 랜덤 선택을 통해 상기 하모니의 초기값을 설정하여 하모니 메모리를 초기화하는 단계; 및 HMCR(Harmony Memory Considering Rate) 및 PAR(Pitch adjusting Rate)를 이용해 상기 하모니 메모리를 반복적으로 업데이트하여 상기 하이퍼파라미터의 최적해를 도출하는 단계;를 포함한다. Disclosed is a method for setting hyperparameters of a convolutional neural network and a terminal device performing the same. The method of setting the hyperparameters of the disclosed convolutional neural network includes setting the hyperparameters as harmony of the HS (Harmony Search) algorithm; Initializing a harmony memory by setting an initial value of the harmony through random selection; And deriving the optimal solution of the hyperparameters by repeatedly updating the harmony memory by using Harmony Memory Considering Rate (HMCR) and Pitch adjusting Rate (PAR).
Description
본 발명의 실시예들은 컨볼루션 신경망의 하이퍼파라미터를 최적화하여 설정하는 방법 및 이를 수행하는 단말 장치와 관련된 것이다. Embodiments of the present invention relate to a method of optimizing and setting hyperparameters of a convolutional neural network and a terminal device performing the same.
컨볼루션 신경망(CNN: Convolutional Neural Network)은 다층 신경망의 한 종류로 패턴 인식 분야에서 좋은 성능을 보이고 있어 이미지, 텍스트 등의 데이터를 분류하고 인식하는데 주로 사용되고 있다. Convolutional Neural Network (CNN) is a kind of multi-layer neural network that shows good performance in pattern recognition, and is mainly used to classify and recognize data such as images and text.
다층 신경망은 입력 층, 은닉 층, 출력 층으로 이루어진 구조를 가지고 있어 원본 데이터에 대하여 바로 연산하여 출력을 계산하는 반면, 컨볼루션 신경망은 원본 데이터의 특징을 추출하는 단계와 추출한 특징을 분류하는 단계로 이루어져 있어 원본 데이터에 대하여 바로 연산하지 않고 원본 데이터의 특징을 추출한 뒤 연산한다는 특징을 가지고 있다.Multilayer neural networks have a structure composed of an input layer, a hidden layer, and an output layer, so that the output is calculated by directly calculating the original data, whereas the convolutional neural network is a step of extracting features of the original data and classifying the extracted features. It has the feature that it does not operate directly on the original data, but extracts and operates the characteristics of the original data.
일반적으로, 컨볼루션 신경망은 입력 층, 컨볼루션 층(convolution layer) 풀링 층(pooling layer), 완전 연결 층(fully connected layer), 출력 층으로 구성된다. 컨볼루션 층과 풀링 층은 원본 데이터의 특징을 추출하는 역할을 하고, 완전 연결 층은 특징을 분류하는 분류기의 역할을 한다. In general, the convolutional neural network is composed of an input layer, a convolution layer pooling layer, a fully connected layer, and an output layer. The convolution and pooling layers serve to extract features of the original data, and the fully connected layer serves as a classifier to classify features.
일반적인 다층 신경망은 모든 노드에 대하여 계산을 수행하기 때문에 학습시킬 파라미터의 개수가 많지만, 컨볼루션 신경망은 다른 알고리즘과 달리 특징을 추출하는 단계가 내부에 포함되어 있기 때문에 입력 데이터의 특징을 추출하는 별도의 전처리 과정 없이 직접 연산이 가능하다는 장점이 있다. 또한, 컨볼루션 신경망은 데이터의 특징을 이용하여 학습하기 때문에 국부적 특징 추출 및 분류에 좋은 성능을 보이고, dropout 기법을 이용하면 과적합 문제도 방지할 수 있기 때문에 이미지 인식 분야에서 널리 사용되고 있다. In general, a multi-layer neural network has a large number of parameters to be trained because it performs calculations on all nodes, but a convolutional neural network, unlike other algorithms, includes a step of extracting features, so it separates the features of input data. It has the advantage that it can be operated directly without pre-processing. In addition, the convolutional neural network is widely used in the field of image recognition because it learns using the features of the data and shows good performance for local feature extraction and classification, and the dropout technique can also prevent overfitting problems.
도 1은 종래의 컨볼루션 신경망의 일례인 LeNet-5 구조를 도시하고 있다 .1 shows a LeNet-5 structure as an example of a conventional convolutional neural network.
도 1을 참조하면, C1, C3, C5는 컨볼루션 층으로서, 입력으로 들어오는 데이터에 5×5 크기의 커널 필터를 사용하여 컨볼루션 연산을 수행하고, 입력으로 들어오는 데이터에서 특징을 추출한다. S2, S4층은 풀링 층으로 일반적으로 최대 풀링 방법을 이용하여 차원을 축소시킨다. 컨볼루션과 풀링을 여러 번 반복하여 데이터의 특징을 추출하며, 데이터 추출이 끝나는 층 뒤에 분류기를 위치시켜 컨볼루션 신경망을 완성한다. F6층은 일반적인 다층 신경망과 같은 구조로 구성되어 있는 완전 연결 층으로 특징 추출 단계에서 추출된 특징을 분류하는 역할을 한다. Referring to FIG. 1, C1, C3, and C5 are convolution layers, and convolution operation is performed using a 5×5 kernel filter on the input data, and features are extracted from the input data. The S2 and S4 layers are pooling layers and are generally reduced in dimension using the maximum pooling method. Convolution and pooling is repeated several times to extract the characteristics of the data, and the classifier is placed behind the layer where the data extraction ends to complete the convolutional neural network. The F6 layer is a complete connection layer composed of structures like a general multilayer neural network, and serves to classify features extracted in the feature extraction step.
한편, 컨볼루션 신경망의 구조를 결정할 때에는 커널의 크기, 채널의 수 등과 같은 하이퍼파라미터를 설정해야 한다. 이러한 하이퍼파라미터들은 컨볼루션 신경망의 전체적인 구조를 결정할 뿐만 아니라, 학습 시간, 정확도 등의 성능에도 직접적인 영향을 주기 때문에 하이퍼파라미터에 대한 최적화 작업이 선행되어야 한다. Meanwhile, when determining the structure of the convolutional neural network, hyperparameters such as the size of the kernel and the number of channels must be set. Since these hyperparameters not only determine the overall structure of the convolutional neural network, but also have a direct impact on performance such as learning time and accuracy, optimization of the hyperparameters must be preceded.
하지만, 종래의 경우, 하이퍼파라미터의 최적화하는 규칙이 존재하지 않으며, 사용자의 경험 또는 직관을 통해 하이퍼파라미터를 설정하여야 하는 문제점이 있다. However, in the conventional case, there are no rules for optimizing hyperparameters, and there is a problem in that hyperparameters must be set through user experience or intuition.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 컨볼루션 신경망의 하이퍼파라미터를 최적화하여 설정하는 방법 및 이를 수행하는 단말 장치를 제안하고자 한다. In order to solve the problems of the prior art as described above, the present invention is to propose a method for optimizing and setting hyperparameters of a convolutional neural network and a terminal device performing the same.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.Other objects of the present invention may be derived by those skilled in the art through the following examples.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 프로세서가 포함된 장치에서 수행되는 컨볼루션 신경망(Convolutional Neural Network)의 하이퍼파라미터(Hyperparameter)의 설정 방법에 있어서, 상기 하이퍼파라미터를 HS(Harmony Search) 알고리즘의 하모니로 설정하는 단계; 랜덤 선택을 통해 상기 하모니의 초기값을 설정하여 하모니 메모리를 초기화하는 단계; 및 HMCR(Harmony Memory Considering Rate) 및 PAR(Pitch adjusting Rate)를 이용해 상기 하모니 메모리를 반복적으로 업데이트하여 상기 하이퍼파라미터의 최적해를 도출하는 단계;를 포함하는 것을 특징으로 하는 컨볼루션 신경망의 하이퍼파라미터의 설정 방법이 제공된다. According to a preferred embodiment of the present invention to achieve the above object, in the method of setting a hyperparameter (Hyperparameter) of a convolutional neural network (Convolutional Neural Network) performed in a device including a processor, the hyperparameter HS (Harmony Search) setting the harmony of the algorithm; Initializing a harmony memory by setting an initial value of the harmony through random selection; And deriving an optimal solution of the hyperparameters by repeatedly updating the harmony memory using a Harmony Memory Considering Rate (HMCR) and a Pitch adjusting Rate (PAR). Setting of hyperparameters of a convolutional neural network comprising: Methods are provided.
상기 하이퍼파라미터는 상기 컨볼루션 신경망의 컨볼루션 층(convolution layer)와 풀링 층(pooling layer) 각각의 커널(kernel)의 크기, 채널의 수, 스트라이드(stride) 및 제로-패딩(zero-padding)을 포함할 수 있다. The hyperparameters include the size of the kernel, the number of channels, the stride, and the zero-padding of each of the convolution layer and the pooling layer of the convolutional neural network. It can contain.
상기 HMCR 및 상기 PAR는 상기 업데이트 시 변경되며, i번째 업데이트 시점에서 상기 HMCR 및 상기 PAR가 1 또는 0의 값을 갖는 경우, 상기 HMCR 및 상기 PAR는 최대 반복 횟수 및 상기 i번째 업데이트 시점까지의 반복 횟수에 기초하여 설정될 수 있다. The HMCR and the PAR are changed upon the update, and when the HMCR and the PAR have a value of 1 or 0 at the i-th update time point, the HMCR and the PAR are the maximum number of repetitions and the repetition until the i-th update time point It can be set based on the number of times.
상기 i번째 업데이트 시점에서의 HMCR 및 PAR는 아래의 수학식에 초하여 설정될 수 있다. The HMCR and PAR at the i-th update time may be set based on the following equation.
여기서, HMCRi는 i번째 업데이트 시점의 HMCR, PARi는 i번째 업데이트 시점의 PAR, iter는 상기 i번째 업데이트 시점까지의 반복 횟수, 상기 Max iter는 상기 최대 반복 횟수, n(yi j=Memory)는 기억 회상(Harmony Memory Considering)이 사용된 횟수, n(yi j=Pitch)는 피치 조정(Pitch Adjusting)이 사용된 횟수, HMS는 상기 하모니 메모리의 크기(size)를 각각 의미함.Here, HMCR i is the HMCR at the i-th update time, PAR i is the PAR at the i-th update time, iter is the number of iterations until the i-th update time, Max Maxer is the maximum number of iterations, n(y i j =Memory ) Is the number of times memory recall is used, n (y i j =Pitch) is the number of times pitch adjustment is used, and HMS means the size of the harmony memory, respectively.
또한, 본 발명의 다른 실시예에 따르면, 컴퓨터에서 판독 가능한 명령을 저장하는 메모리; 및 상기 명령을 실행하도록 구현되는 프로세서:를 포함하되, 상기 프로세서는, 컨볼루션 신경망의 하이퍼파라미터를 HS 알고리즘의 하모니로 설정하고, 랜덤 선택을 통해 상기 하모니의 초기값을 설정하여 하모니 메모리를 초기화하고, HMCR 및 PAR를 이용해 상기 하모니 메모리를 반복적으로 업데이트하여 상기 하이퍼파라미터의 최적해를 도출하는 것을 특징으로 하는 단말 장치가 제공된다. In addition, according to another embodiment of the present invention, a memory for storing instructions readable by a computer; And a processor implemented to execute the instruction, wherein the processor initializes the harmony memory by setting the hyperparameters of the convolutional neural network to the harmony of the HS algorithm, and setting the initial value of the harmony through random selection. , HMCR and PAR are used to update the harmony memory repeatedly to derive an optimal solution of the hyperparameters.
본 발명에 따르면, 컨볼루션 신경망의 하이퍼파라미터를 최적화하여 설정할 수 있는 장점이 있다. According to the present invention, there is an advantage that can be set by optimizing the hyperparameters of the convolutional neural network.
또한, 본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.In addition, it should be understood that the effects of the present invention are not limited to the above-described effects and include all effects that can be deduced from the configuration of the invention described in the detailed description or claims of the present invention.
도 1은 종래의 컨볼루션 신경망의 일례인 LeNet-5 구조를 도시한 도면이다.
도 2는 종래의 HS 알고리즘의 적용 과정을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 단말 장치의 개략적인 구성을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 컨볼루션 신경망의 하이퍼파라미터의 설정 방법의 흐름도를 도시한 도면이다.
도 5 및 도 6은 본 발명에 따른 컨볼루션 신경망의 하이퍼파라미터를 최적화하여 설정하는 방법의 시뮬레이션 결과를 도시한 도면이다. 1 is a view showing a LeNet-5 structure as an example of a conventional convolutional neural network.
2 is a view showing a process of applying the conventional HS algorithm.
3 is a diagram illustrating a schematic configuration of a terminal device according to an embodiment of the present invention.
4 is a flowchart illustrating a method for setting hyperparameters of a convolutional neural network according to an embodiment of the present invention.
5 and 6 are diagrams showing simulation results of a method of optimizing and setting hyperparameters of a convolutional neural network according to the present invention.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
As used herein, a singular expression includes a plural expression unless the context clearly indicates otherwise. In this specification, the terms "consisting of" or "comprising" should not be construed as including all of the various components, or various steps described in the specification, among which some components or some steps It may not be included, or it should be construed to further include additional components or steps. In addition, terms such as "... unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented in hardware or software, or a combination of hardware and software. .
본 발명의 특징을 설명하기에 앞서, 본 발명에서 사용되는 HS(Harmony Search) 알고리즘에 대해 먼저 설명하기로 한다. Prior to describing the features of the present invention, the HS (Harmony Search) algorithm used in the present invention will be described first.
HS 알고리즘은 음악의 즉흥 연주에서 연주자들이 최적의 화음을 찾아내기 위하여 더 좋은 하모니를 찾는 방법을 모방한 최적화 알고리즘이다. The HS algorithm is an optimization algorithm that mimics how to find a better harmony in order to find the optimal chord for the improvisation of music.
HS 알고리즘은 초기 하모니 메모리를 생성하고 새로운 해를 생성하여 기존의 해와 성능 비교를 통하여 하모니 메모리를 업데이트하는 방법으로 최적화를 진행한다. 도 2에서는 종래의 HS 알고리즘의 적용 과정을 도시하고 있다. The HS algorithm performs optimization by generating an initial harmony memory and generating a new solution to update the harmony memory by comparing performance with the existing solution. 2 illustrates a process of applying the conventional HS algorithm.
이 때, HS 알고리즘은 랜덤으로 생성된 변수가 저장되는 공간인 하모니 메모리(Harmony Memory)에 변수를 생성하고 이를 반복적으로 업데이트하여 최적의 해를 도출한다. 이 때, 무작위로 변수를 생성하는 랜덤 선택, 하모니 메모리의 변수를 사용하는 기억 회상(Harmony Memory Considering), 하모니 메모리의 변수를 가져와 변형하는 피치 조정(Pitch Adjusting Rate)를 이용하여 최적화를 진행한다. At this time, the HS algorithm creates a variable in Harmony Memory, a space in which randomly generated variables are stored, and iteratively updates it to derive an optimal solution. At this time, optimization is performed by using random selection to randomly generate a variable, memory memory consideration using a variable in harmony memory, and pitch adjustment rate that takes and transforms a variable in harmony memory.
한편, 기억 회상을 이용하여 하모니를 생성할 확률인 HMCR(Harmony Memory Considering Rate)과 피치 조정을 이용하여 하모니를 생성할 확률인 PAR(Pitch Adjusting Rate)은 HS 알고리즘의 성능에 영향을 준다고 알려져 있다. 따라서, 적절한 HMCR과 PAR을 자동으로 설정하기 위한 PSF-HS(Parameter Setting Free - Harmony Search) 알고리즘이 기존에 제안되었다. On the other hand, it is known that the probability of generating harmony using memory recall, HMCR (Harmony Memory Considering Rate) and the probability of generating harmony using pitch adjustment, PAR (Pitch Adjusting Rate) are known to affect the performance of the HS algorithm. Therefore, a PSF-HS (Parameter Setting Free-Harmony Search) algorithm for automatically setting appropriate HMCR and PAR has been proposed.
일반적인 HS 알고리즘은 HMCR과 PAR을 고정한 뒤 최적화를 진행하지만, PSF-HS 알고리즘은 기존의 하모니 메모리에 저장된 하모니들이 생성된 방법을 이용하여 HMCR과 PAR을 결정한다. 즉, PSF-HS 알고리즘은 초기의 HMCR과 PAR을 바탕으로 구성된 하모니 메모리를 분석한 다음, 기억 회상과 피치 조정을 사용한 횟수를 하모니 메모리의 크기(Harmony Memory Size, HMS)로 나눠 HMCR과 PAR을 반복적으로 변경(업데이트)하여 최적화를 진행한다. 변경된 HMCR과 PAR는 각각 아래의 수학식 1 및 수학식 2와 같이 표현될 수 있다.
The general HS algorithm performs optimization after fixing the HMCR and PAR, but the PSF-HS algorithm determines the HMCR and PAR using the method in which the harmony stored in the existing harmony memory is generated. In other words, the PSF-HS algorithm analyzes the harmony memory based on the initial HMCR and PAR, and then divides the number of memory recall and pitch adjustments by the size of the harmony memory (Harmony Memory Size, HMS) to repeat the HMCR and PAR. Change to (Update) to optimize. The modified HMCR and PAR may be expressed as
여기서, HMCRi는 i번째 업데이트 시점의 HMCR, PARi는 i번째 업데이트 시점의 PAR, n(yi j=Memory)는 기억 회상이 사용된 횟수, n(yi j=Pitch)는 피치 조정(Pitch Adjusting)이 사용된 횟수, HMS는 하모니 메모리의 크기(size)를 각각 의미한다. Here, HMCR i is the HMCR at the i-th update time, PAR i is the PAR at the i-th update time, n(y i j =Memory) is the number of times memory recall was used, and n(y i j =Pitch) is the pitch adjustment ( Pitch Adjusting) is used, and HMS means the size of harmony memory, respectively.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술한다.
Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 3은 본 발명의 일 실시예에 따른 단말 장치의 개략적인 구성을 도시한 도면이다. 3 is a diagram illustrating a schematic configuration of a terminal device according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 단말 장치(300)는 메모리(310) 및 프로세서(320)를 포함할 수 있다. Referring to FIG. 2, the
메모리(310)는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하여 구성될 수 있으며, 단말 장치(300)의 적어도 하나의 다른 구성요소에 관계된 명령어 또는 데이터를 저장한다. 특히, 메모리(310)에는 하기에서 설명하는 하모니 메모리(Harmony Memory)가 저장될 수 있다. Memory 310 may be configured to include both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. And stores commands or data related to at least one other component of the
프로세서(320)는 중앙처리장치, 애플리케이션 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 예를 들면, 프로세서부(320)는 단말 장치(300)의 적어도 하나의 다른 구성요소들의 제어에 관한 연산이나 데이터 처리를 실행할 수 있다. The
이 때, 단말 장치(300)는 HS(Harmony Search) 알고리즘, 보다 정확하게 PSF-HS(Parameter Setting Free - Harmony Search) 알고리즘을 이용하여 컨볼루션 신경망의 하이퍼파라미터를 최적화하여 설정수 있다. At this time, the
이하, 도 4를 참조하여 본 발명에 따른 단말 장치(300)의 동작을 설명하기로 한다. Hereinafter, the operation of the
도 4는 본 발명의 일 실시예에 따른 단말 장치(300)의 동작인 컨볼루션 신경망의 하이퍼파라미터의 설정 방법의 흐름도를 도시한 도면이다. 이하, 각 단계 별로 수행되는 과정을 상세하게 설명한다. 4 is a flowchart illustrating a method of setting hyperparameters of a convolutional neural network, which is an operation of the
먼저, 단계(402)에서는 하모니 메모리의 크기(HMS: Harmony memory Size), 초기 HMCR(Harmony Memory Considering Rate) 및 초기 PAR(Pitch adjusting Rate)를 설정한다. First, in
다음으로, 단계(404)에서는 컨볼루션 신경망의 구조를 결정하고, 컨볼루션 신경망의 하이퍼파라미터를 HS(Harmony Search) 알고리즘, 즉 PSF-HS 알고리즘의 하모니로 설정한다. Next, in
본 발명의 일 실시예에 따르면, 하이퍼파라미터는 컨볼루션 신경망의 컨볼루션 층(convolution layer)와 풀링 층(pooling layer) 각각의 커널(kernel)의 크기, 채널의 수, 스트라이드(stride) 및 제로-패딩(zero-padding)을 포함할 수 있다. According to one embodiment of the present invention, the hyperparameters are the size of the kernel, the number of channels, the number of strides and zeros of each of the convolution layer and the pooling layer of the convolutional neural network. It may include padding (zero-padding).
계속하여, 단계(406)에서는 랜덤 선택을 통해 하모니의 초기값을 설정하여 하모니 메모리를 초기화한다. 즉, 단계(406)에서는 랜덤 선택을 이용하여 하모니 벡터를 생성하고, 각각의 하모니 벡터의 컨볼루션 신경망의 loss를 획득하고, 하모니 벡터 및 loss로 구성되는 하모니 메모리를 초기화한다. Subsequently, in
그 후, 단계(408)에서는 새로운 HMCR 및 PAR를 산출한다. Thereafter, in
그리고, 단계(410) 내지 단계(420)는 하모니 메모리 내의 값(Rand) 각각에 대해 수행되는 과정이다. Then, steps 410 to 420 are processes performed for each value (Rand) in the harmony memory.
단계(410)에서는 상기 값(Rand)이 HMCR보다 큰지 여부를 판단한다. In
만약, 상기 값(Rand)이 HMCR보다 큰 경우, 단계(412)에서는 상기 값(Rand)을 랜덤 선택한다. If the value Rand is greater than the HMCR, in
반대로, 상기 값(Rand)이 HMCR보다 작은 경우, 단계(414)에서는 상기 값(Rand)이 PAR보다 큰지 여부를 판단한다. 상기 값(Rand)이 PAR보다 큰 경우 단계(416)에서는 상기 값(Rand)에 대해 기억 회상을 수행하고, 상기 값(Rand)이 PAR보다 작은 경우 단계(418)에서는 상기 값(Rand)에 대해 피치 조정을 수행한다. Conversely, when the value Rand is smaller than the HMCR, it is determined in
다음으로, 단계(420)에서는 새로운 하모니 벡터에 대한 컨볼루션 신경망의 loss를 획득한다. 그리고, 단계(422)에서는 하모니 메모리 내의 가장 안 좋은 하모니를 새로운 후보 하모니로 대체하여 하모니 메모리를 업데이트한다. Next, in
그리고, 단계(410) 내지 단계(420)는 반복적으로 수행되며, 이를 통해 하이퍼파라미터의 최적해가 도출된다. 즉, 단계(410) 내지 단계(420)는 HMCR 및 PAR를 이용해 하모니 메모리를 반복적으로 업데이트하여 하이퍼파라미터의 최적해를 도출하는 단계이다. Then, steps 410 to 420 are repeatedly performed, through which the optimal solution of the hyperparameters is derived. That is, steps 410 to 420 are steps of repeatedly updating the harmony memory using HMCR and PAR to derive the optimal solution of the hyperparameters.
이하, 도 5 및 도 6을 참조하여, 본 발명에 따른 컨볼루션 신경망의 하이퍼파라미터를 최적화하여 설정하는 방법의 시뮬레이션 결과를 설명하기로 한다. Hereinafter, simulation results of a method of optimizing and setting hyperparameters of a convolutional neural network according to the present invention will be described with reference to FIGS. 5 and 6.
본 시뮬레이션의 경우, 손 글씨 이미지로 구성된 MNIST 데이터 셋을 분류하기 위해 제안된 컨볼루션 신경망인 LeNet-5 구조에 대한 하이퍼파라미터의 최적화 시뮬레이션이다. 이 때, 최적화하기 위한 하이퍼파라미터들은 도 5에 도시된 바와 같이, 컨볼루션 신경망의 컨볼루션 층(convolution layer)와 풀링 층(pooling layer) 각각의 커널(kernel)의 크기, 채널의 수, 스트라이드(stride) 및 제로-패딩(zero-padding)이다. In the case of this simulation, it is an optimization simulation of hyperparameters for the LeNet-5 structure, which is a proposed convolutional neural network to classify the MNIST data set composed of handwritten images. At this time, the hyperparameters for optimization, as shown in Figure 5, the convolutional layer of the convolutional neural network (convolution layer) and the pooling layer (pooling layer) the size of the kernel (kernel), the number of channels, the stride ( stride) and zero-padding.
그리고, 상기의 하이퍼파라미터로 구성한 컨볼루션 신경망은 도 6에 도시된 바와 같다. 이러한 컨볼루션 신경망의 구조는 60552개의 가중치 및 바이어스를 가지고 있는데, LeNet-5의 가중치와 바이어스의 수인 61706개보다 1154개 적기 때문에 복잡도가 줄어드는 장점이 있다. 또한, 상기한 컨볼루션 신경망의 구조는 MNIST 데이터 셋을 99.25%의 정확도로 분류했는데, LeNet-5는 98.94%로 분류하여 데이터를 인식하고 분류하는 성능 또한 향상된 것을 확인하였다.In addition, the convolutional neural network composed of the hyperparameters is as shown in FIG. 6. The structure of this convolutional neural network has 60552 weights and biases, which is 1154 less than the number of LeNet-5 weights and biases of 61706, which reduces the complexity. In addition, the structure of the convolutional neural network described above classifies the MNIST data set with an accuracy of 99.25%, and LeNet-5 classifies it as 98.94%, confirming that the performance of recognizing and classifying data is also improved.
요컨대, 본 발명에 따른 컨볼루션 신경망의 하이퍼파라미터를 최적화하여 설정하는 방법은 사용자의 경험 및 직관을 이용하지 않고, 하이퍼파라미터를 최적화할 수 있는 장점이 있다.
In short, the method of optimizing and setting the hyperparameters of the convolutional neural network according to the present invention has an advantage of optimizing the hyperparameters without using the user's experience and intuition.
한편, 종래의 PSF-HS 알고리즘의 경우, HMCR과 PAR이 한번이라도 1(100%) 또는 0(0%)가 된다면, 그 이후 산출되는 HMCR과 PAR이 계속해서 1 또는 0로 계산된다는 문제점이 있다. 즉, HMCR이 1의 값을 가지는 경우 HS 알고리즘은 랜덤 선택 방법을 사용하지 않고, PAR이 1의 값을 가지는 경우 HS 알고리즘은 피치 조정만을 사용하며, HMCR이 0의 값을 가지는 경우 랜덤 선택만을 이용한다. 따라서, 종래의 PSF-HS 알고리즘의 경우 최적해를 찾는 성능이 떨어지는 단점이 있다. On the other hand, in the case of the conventional PSF-HS algorithm, if the HMCR and the PAR are 1 (100%) or 0 (0%) even once, there is a problem that the calculated HMCR and PAR are continuously calculated as 1 or 0. . That is, when the HMCR has a value of 1, the HS algorithm does not use a random selection method, when the PAR has a value of 1, the HS algorithm uses only pitch adjustment, and when the HMCR has a value of 0, only the random selection method is used. . Therefore, in the case of the conventional PSF-HS algorithm, there is a disadvantage in that performance for finding an optimal solution is poor.
따라서, 본 발명의 일 실시예에 따르면, i(1 이상의 정수)번째 업데이트 시점에서, HMCR 및 PAR가 1 또는 0의 값을 가지는 않는 경우 HMCR 및 PAR는 상기의 수학식 1 및 2와 같이 설정되고, HMCR 및 PAR가 1 또는 0의 값을 가지는 경우 HMCR 및 PAR는 최대 반복 횟수 및 i번째 업데이트 시점까지의 반복 횟수에 기초하여 설정 내지 변경된다. Accordingly, according to an embodiment of the present invention, at the time of i (integer of 1 or more) update, when HMCR and PAR do not have a value of 1 or 0, HMCR and PAR are set as
일례로서, 본 발명의 일 실시예에 따르면, i번째 업데이트 시점에서의 HMCR 및 PAR은 아래의 수학식 3과 같이 설정될 수 있다.
As an example, according to an embodiment of the present invention, HMCR and PAR at the i-th update point may be set as in
여기서, HMCRi는 i번째 업데이트 시점의 HMCR, PARi는 i번째 업데이트 시점의 PAR, iter는 i번째 업데이트 시점까지의 반복 횟수, Max iter는 최대 반복 횟수, n(yi j=Memory)는 기억 회상이 사용된 횟수, n(yi j=Pitch)는 피치 조정이 사용된 횟수, HMS는 하모니 메모리의 크기를 각각 의미한다. 이를 통해 지역 최적해에 수렴하는 것을 방지하여 정확한 최적해를 도출할 수 있다.
Here, HMCR i is the HMCR at the i-th update time, PAR i is the PAR at the i-th update time, iter is the number of iterations until the i-th update time, Max iter is the maximum number of iterations, and n(y i j =Memory) is remembered The number of times that recall is used, n (y i j =Pitch) is the number of times pitch adjustment is used, and HMS means the size of harmony memory, respectively. Through this, it is possible to derive an accurate optimal solution by preventing convergence in the local optimal solution.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and can be recorded in computer readable media. The computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and usable by those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks. Examples of program instructions, such as magneto-optical, and ROM, RAM, flash memory, etc., can be executed by a computer using an interpreter as well as machine code such as those produced by a compiler. Contains high-level language codes. The hardware device described above may be configured to operate as one or more software modules to perform the operations of one embodiment of the present invention, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다. As described above, in the present invention, specific matters such as specific components and the like have been described with limited embodiments and drawings, but these are provided to help the overall understanding of the present invention, and the present invention is not limited to the above embodiments, Those skilled in the art to which the present invention pertains can make various modifications and variations from these descriptions. Accordingly, the spirit of the present invention should not be limited to the described embodiments, and should not be determined, and all claims that are equivalent or equivalent to the scope of the claims as well as the claims described below belong to the scope of the spirit of the invention. .
Claims (6)
상기 하이퍼파라미터를 HS(Harmony Search) 알고리즘의 하모니로 설정하는 단계;
랜덤 선택을 통해 상기 하모니의 초기값을 설정하여 하모니 메모리를 초기화하는 단계; 및
HMCR(Harmony Memory Considering Rate) 및 PAR(Pitch adjusting Rate)를 이용해 상기 하모니 메모리를 미리 설정된 최대 반복 횟수만큼 반복적으로 업데이트하여 상기 하이퍼파라미터의 최적해를 도출하는 단계;를 포함하되,
상기 HMCR 및 상기 PAR는 업데이트 시점에 변경되며,
i번째(i는 1 이상의 정수) 업데이트 시점에서 상기 HMCR 및 상기 PAR가 1의 값을 갖는 경우, 최대 반복 횟수 및 상기 i번째 업데이트 시점까지의 반복 횟수에 기초하여 상기 HMCR 및 상기 PAR는 1 미만의 값으로 설정되고, 상기 HMCR 및 상기 PAR가 0의 값을 갖는 경우, 상기 최대 반복 횟수 및 상기 i번째 업데이트 시점까지의 반복 횟수에 기초하여 상기 HMCR 및 상기 PAR는 0을 초과하는 값으로 설정되며, 상기 HMCR 및 상기 PAR가 1 또는 0의 값을 갖지 않은 경우, 상기 HMCR은 상기 하모니 메모리의 크기 및 기억 회상이 사용된 횟수에 의해 설정되고, 상기 PAR은 상기 하모니 메모리의 크기 및 피치 조정이 사용된 횟수에 따라 설정되는 것을 특징으로 하는 컨볼루션 신경망의 하이퍼파라미터의 설정 방법.
In the method of setting a hyperparameter (Hyperparameter) of a convolutional neural network (Convolutional Neural Network) performed on a device including a processor,
Setting the hyperparameters as harmony of an HS (Harmony Search) algorithm;
Initializing a harmony memory by setting an initial value of the harmony through random selection; And
Including the step of deriving the optimal solution of the hyperparameter by repeatedly updating the harmony memory using a HMCR (Harmony Memory Considering Rate) and a PAR (Pitch adjusting Rate) a preset maximum number of iterations.
The HMCR and the PAR are changed at the time of update,
When the HMCR and the PAR have a value of 1 at the i-th (i is an integer greater than or equal to 1) update time, the HMCR and the PAR are less than 1 based on the maximum number of repetitions and the number of repetitions until the i-th update time. When the HMCR and the PAR have a value of 0, the HMCR and the PAR are set to a value exceeding 0 based on the maximum number of repetitions and the number of repetitions until the i-th update point, If the HMCR and the PAR do not have a value of 1 or 0, the HMCR is set by the size of the harmony memory and the number of times memory recall is used, and the PAR is used to adjust the size and pitch of the harmony memory. A method of setting hyperparameters of a convolutional neural network, which is set according to the number of times.
상기 하이퍼파라미터는 상기 컨볼루션 신경망의 컨볼루션 층(convolution layer)와 풀링 층(pooling layer) 각각의 커널(kernel)의 크기, 채널의 수, 스트라이드(stride) 및 제로-패딩(zero-padding)을 포함하는 것을 특징으로 하는 컨볼루션 신경망의 하이퍼파라미터의 설정 방법.
According to claim 1,
The hyperparameters include the size of the kernel, the number of channels, the stride, and the zero-padding of each of the convolution layer and the pooling layer of the convolutional neural network. How to set the hyperparameters of the convolutional neural network, characterized in that it comprises.
상기 i번째 업데이트 시점에서의 HMCR 및 PAR는 아래의 수학식에 기초하여 설정되는 것을 특징으로 하는 컨볼루션 신경망의 하이퍼파라미터의 설정 방법.
여기서, HMCRi는 i번째 업데이트 시점의 HMCR, PARi는 i번째 업데이트 시점의 PAR, iter는 상기 i번째 업데이트 시점까지의 반복 횟수, 상기 Max iter는 상기 최대 반복 횟수, n(yi j=Memory)는 기억 회상(Harmony Memory Considering)이 사용된 횟수, n(yi j=Pitch)는 피치 조정(Pitch Adjusting)이 사용된 횟수, HMS는 상기 하모니 메모리의 크기(size)를 각각 의미함.
According to claim 1,
The method of setting hyperparameters of a convolutional neural network, characterized in that HMCR and PAR at the i-th update point are set based on the following equation.
Here, HMCR i is the HMCR at the i-th update time, PAR i is the PAR at the i-th update time, iter is the number of iterations until the i-th update time, Max Maxer is the maximum number of iterations, n(y i j =Memory ) Is the number of times memory recall is used, n (y i j =Pitch) is the number of times pitch adjustment is used, and HMS means the size of the harmony memory, respectively.
A computer-readable recording medium recording a program for performing the method of claim 1.
상기 명령을 실행하도록 구현되는 프로세서:를 포함하되,
상기 프로세서는, 컨볼루션 신경망의 하이퍼파라미터를 HS 알고리즘의 하모니로 설정하고, 랜덤 선택을 통해 상기 하모니의 초기값을 설정하여 하모니 메모리를 초기화하고, HMCR 및 PAR를 이용해 상기 하모니 메모리를 반복적으로 업데이트하여 상기 하이퍼파라미터의 최적해를 도출하며,
상기 HMCR 및 상기 PAR는 업데이트 시점에 변경되며,
상기 HMCR 및 상기 PAR가 1의 값을 갖는 경우, 최대 반복 횟수 및 상기 i번째 업데이트 시점까지의 반복 횟수에 기초하여 상기 HMCR 및 상기 PAR는 1 미만의 값으로 설정되고, 상기 HMCR 및 상기 PAR가 0의 값을 갖는 경우, 상기 최대 반복 횟수 및 상기 i번째 업데이트 시점까지의 반복 횟수에 기초하여 상기 HMCR 및 상기 PAR는 0을 초과하는 값으로 설정되며, 상기 HMCR 및 상기 PAR가 1 또는 0의 값을 갖지 않은 경우, 상기 HMCR은 상기 하모니 메모리의 크기 및 기억 회상이 사용된 횟수에 의해 설정되고, 상기 PAR은 상기 하모니 메모리의 크기 및 피치 조정이 사용된 횟수에 따라 설정되는 것을 특징으로 하는 단말 장치. A memory storing computer readable instructions; And
A processor implemented to execute the instruction:
The processor sets the hyperparameters of the convolutional neural network to the harmony of the HS algorithm, initializes the harmony memory by setting the initial value of the harmony through random selection, and repeatedly updates the harmony memory using HMCR and PAR. Derive the optimal solution of the hyperparameters,
The HMCR and the PAR are changed at the time of update,
When the HMCR and the PAR have a value of 1, the HMCR and the PAR are set to a value less than 1 based on the maximum number of repetitions and the number of repetitions until the i-th update point, and the HMCR and the PAR are 0 In case of having a value of, the HMCR and the PAR are set to a value exceeding 0 based on the maximum number of repetitions and the number of repetitions until the i-th update point, and the HMCR and the PAR set a value of 1 or 0. If not, the HMCR is set according to the size of the harmony memory and the number of times memory recall is used, and the PAR is set according to the size of the harmony memory and the number of times the pitch adjustment is used.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170183585A KR102129161B1 (en) | 2017-12-29 | 2017-12-29 | Terminal device and Method for setting hyperparameter of convolutional neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170183585A KR102129161B1 (en) | 2017-12-29 | 2017-12-29 | Terminal device and Method for setting hyperparameter of convolutional neural network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190081218A KR20190081218A (en) | 2019-07-09 |
| KR102129161B1 true KR102129161B1 (en) | 2020-07-01 |
Family
ID=67261710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170183585A KR102129161B1 (en) | 2017-12-29 | 2017-12-29 | Terminal device and Method for setting hyperparameter of convolutional neural network |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102129161B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126564B (en) * | 2019-11-27 | 2023-08-08 | 东软集团股份有限公司 | Neural network structure searching method, device and equipment |
| KR20220006293A (en) | 2020-07-08 | 2022-01-17 | 건국대학교 산학협력단 | Fine dust measuring devices using raspberry pi, Personal mobility including them, and Data radio transmission systems and methods using the personal mobility |
| CN115660073B (en) * | 2022-12-28 | 2024-02-06 | 民航成都物流技术有限公司 | Intrusion detection method and system based on harmony whale optimization algorithm |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106156807B (en) * | 2015-04-02 | 2020-06-02 | 华中科技大学 | Training method and device of convolutional neural network model |
| KR102042323B1 (en) * | 2017-11-23 | 2019-11-07 | 중앙대학교 산학협력단 | Method for deriving optimal solution using the HS algorithm and Terminal device for performing the same |
-
2017
- 2017-12-29 KR KR1020170183585A patent/KR102129161B1/en active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| Kang Seok Lee 외 1, ‘A new structural optimization method based on the harmony search algorithm', Computers and Structures, 2004.4* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190081218A (en) | 2019-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11741361B2 (en) | Machine learning-based network model building method and apparatus | |
| US11468262B2 (en) | Deep network embedding with adversarial regularization | |
| KR102641116B1 (en) | Method and device to recognize image and method and device to train recognition model based on data augmentation | |
| CN109978142B (en) | Neural network model compression method and device | |
| US10795645B2 (en) | Neural network for program synthesis | |
| JP6781415B2 (en) | Neural network learning device, method, program, and pattern recognition device | |
| US10713533B2 (en) | Image processing method and apparatus, and computer-readable storage medium | |
| US11630990B2 (en) | Systems and methods for auto machine learning and neural architecture search | |
| KR102129161B1 (en) | Terminal device and Method for setting hyperparameter of convolutional neural network | |
| US20200134472A1 (en) | System and method for optimization of deep learning model | |
| WO2022252455A1 (en) | Methods and systems for training graph neural network using supervised contrastive learning | |
| WO2022083165A1 (en) | Transformer-based automatic speech recognition system incorporating time-reduction layer | |
| US20240119266A1 (en) | Method for Constructing AI Integrated Model, and AI Integrated Model Inference Method and Apparatus | |
| US20230259761A1 (en) | Transfer learning system and method for deep neural network | |
| KR102534936B1 (en) | Apparatus and method for classifying image | |
| WO2019234291A1 (en) | An apparatus, a method and a computer program for selecting a neural network | |
| KR20230170752A (en) | Hardware-aware incremental training of machine learning models | |
| KR20210155825A (en) | Method and apparatus for performing tunable continuous learning on deep neural network models using selective deep generative replay module | |
| KR102479718B1 (en) | Ai based image recognition and classification method for ar device, thereof system | |
| KR102574457B1 (en) | Device and method for electronic document management based on artificial intelligence | |
| JP2021081930A (en) | Learning device, information classification device, and program | |
| KR102533235B1 (en) | Convolution neural network-based input classification apparatus and method | |
| KR102608565B1 (en) | Acoustic scene classification method and leanring method for acoustic scene classification | |
| Cosovic et al. | Bgp anomaly prediction using ensemble learning | |
| KR102441185B1 (en) | Method and device for transfer learning-based facial expression recognition using weighted cluster loss |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |