KR102251807B1 - Hyperparameter Optimization Algorithm Recommendation Method and Optimization Algorithm Recommendation System - Google Patents
Hyperparameter Optimization Algorithm Recommendation Method and Optimization Algorithm Recommendation System Download PDFInfo
- Publication number
- KR102251807B1 KR102251807B1 KR1020190155687A KR20190155687A KR102251807B1 KR 102251807 B1 KR102251807 B1 KR 102251807B1 KR 1020190155687 A KR1020190155687 A KR 1020190155687A KR 20190155687 A KR20190155687 A KR 20190155687A KR 102251807 B1 KR102251807 B1 KR 102251807B1
- Authority
- KR
- South Korea
- Prior art keywords
- machine learning
- optimization algorithm
- learning model
- similarity
- condition
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
본 발명은 하이퍼파라미터 최적화 알고리즘 추천 방법 및 최적화 알고리즘 추천 시스템에 관한 것으로, 특히 기계학습 모델에 따른 하이퍼파라미터 최적화 알고리즘 추천 방법 및 최적화 알고리즘 추천 시스템에 관한 것이다.The present invention relates to a hyperparameter optimization algorithm recommendation method and an optimization algorithm recommendation system, and more particularly, to a hyperparameter optimization algorithm recommendation method and an optimization algorithm recommendation system according to a machine learning model.
기계 학습 모델의 하이퍼파라미터(hyper-parameter)는 모델의 트레이닝(training)을 수행하기 전에 설정해주어야 하는 파라미터(parameter)를 의미한다. 하이퍼파라미터는 트레이닝 수행 전에 미리 설정되어야 한다는 점에서, 트레이닝에 의해 학습되는 기계 학습 모델의 파라미터와 차이점이 있다.The hyper-parameter of the machine learning model refers to a parameter that must be set before performing training of the model. Hyperparameters differ from those of machine learning models that are learned by training in that they must be set in advance before performing training.
하이퍼파라미터 최적화 또는 하이퍼파라미터 튜닝(tuning)은 기계 학습 모델의 성능을 최대화하기 위해 하이퍼파라미터의 값을 조정하는 작업을 말한다. 하이퍼파라미터의 값이 어떤 값으로 설정되는지에 따라 기계 학습 모델의 성능이 크게 달라지기 때문에 하이퍼파라미터 최적화는 기계 학습 분야에서 매우 중요한 작업 중 하나이다.Hyperparameter optimization, or hyperparameter tuning, refers to adjusting the values of hyperparameters to maximize the performance of a machine learning model. Hyperparameter optimization is one of the most important tasks in the field of machine learning because the performance of the machine learning model greatly varies depending on what value the hyperparameter is set to.
종래의 경우 하이퍼파라미터의 모든 가능한 조합에 대한 기계 학습 모델의 트레이닝 및 성능 평가를 통해 최적의 하이퍼파라미터 조합을 결정하는 방법을 이용하였다. 이 방법은 최적 하이퍼파라미터 조합의 도출을 담보해 줄 수 있으나, 지나치게 많은 시간 비용 및 컴퓨팅 비용을 요구하기 때문에 비효율적이라는 문제점이 있다.In the conventional case, a method of determining an optimal hyperparameter combination was used through training and performance evaluation of a machine learning model for all possible combinations of hyperparameters. This method can guarantee the derivation of the optimal hyperparameter combination, but it has a problem that it is inefficient because it requires too much time and computing cost.
따라서 기존의 기계학습 모델과 새로운 기계학습 모델의 유사도를 비교하고, 모델에 따라 효율적인 하이퍼파라미터 최적화 알고리즘을 추천할 수 있는 방법이 필요하다.Therefore, there is a need for a method that can compare the similarity between the existing machine learning model and the new machine learning model and recommend an efficient hyperparameter optimization algorithm according to the model.
본 발명은 하이퍼파라미터 최적화 알고리즘 추천 방법 및 최적화 알고리즘 추천 시스템으로 하이퍼파라미터 최적화의 대상이 되는 타겟 기계학습 모델, 상기 타겟 기계학습 모델의 메타데이터 및 최적화 알고리즘 검색 조건을 입력 받고, 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도를 비교하여 기계학습의 하이퍼파라미터 최적화 과정에서 사용할 최적화 알고리즘을 추천하는데 그 목적이 있다.The present invention is a hyperparameter optimization algorithm recommendation method and optimization algorithm recommendation system, which receives input of a target machine learning model that is a target of hyperparameter optimization, metadata of the target machine learning model, and an optimization algorithm search condition, and reference machine learning model metadata. The purpose of this is to compare the similarity of the metadata of the target machine learning model received with and to recommend an optimization algorithm to be used in the hyperparameter optimization process of machine learning.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other objects not specified of the present invention may be additionally considered within a range that can be easily deduced from the following detailed description and effects thereof.
상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 방법은, 데이터 입력부가 하이퍼파라미터 최적화의 대상이 되는 타겟 기계학습 모델, 상기 타겟 기계학습 모델의 메타데이터 및 최적화 알고리즘 검색 조건을 입력 받는 단계, 유사 모델 비교부가 데이터베이스에 기 저장된 다수의 기계학습 모델 메타데이터들 중 적어도 하나를 참조 기계학습 모델 메타데이터로 선택하고, 선택된 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도를 비교하는 단계, 알고리즘 탐색부가 기 설정된 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 출력하는 단계 및 최적화 알고리즘 선별부가 입력 받은 상기 최적화 알고리즘 검색 조건과 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 기반으로 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘을 출력하는 단계를 포함한다.In order to solve the above problem, the hyperparameter optimization algorithm recommendation method according to an embodiment of the present invention includes a target machine learning model to which a data input unit is a target of hyperparameter optimization, metadata of the target machine learning model, and an optimization algorithm search. The step of receiving a condition, the similar model comparison unit selects at least one of the plurality of machine learning model metadata previously stored in the database as reference machine learning model metadata, and the selected reference machine learning model metadata and the received target machine Comparing the similarity of the learning model metadata, outputting an optimization algorithm of a reference machine learning model that satisfies a preset similarity condition by an algorithm search unit, and satisfying the optimization algorithm search condition and the similarity condition received by the optimization algorithm selection unit And outputting a hyperparameter optimization algorithm of the target machine learning model based on the optimization algorithm of the reference machine learning model.
여기서, 업데이트부가 상기 최적화 알고리즘 선별부에서 출력된 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘에 대해 성능을 평가하여 스코어를 계산하고, 상기 데이터베이스를 업데이트하는 단계를 더 포함한다.Here, the step of calculating a score by evaluating the performance of the hyperparameter optimization algorithm of the target machine learning model output from the optimization algorithm selection unit by an update unit, and updating the database.
여기서, 상기 최적화 알고리즘 검색 조건은, 사전 선별 조건 정확도, 사전 선별 조건 탐색 시간, 사전 선별 조건 탐색 횟수, 목표 정확도, 목표 탐색 시간, 목표 탐색 횟수 및 탐색하기 위한 하이퍼파라미터 최적화 알고리즘의 수로 이루어진 군으로부터 선택되는 하나 이상을 포함한다.Here, the optimization algorithm search condition is selected from the group consisting of pre-selection condition accuracy, pre-selection condition search time, pre-selection condition search number, target accuracy, target search time, target search number, and number of hyperparameter optimization algorithms for searching. Includes one or more of which are.
여기서, 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도를 비교하는 단계는, 선택된 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 구성 요소를 벡터 공간 상의 원소로 나타내어 코사인 유사도를 측정하는 방법으로 유사도를 비교한다.Here, the step of comparing the similarity between the reference machine learning model metadata and the inputted target machine learning model metadata includes vector elements of the selected reference machine learning model metadata and the input target machine learning model metadata. Similarity is compared by measuring the cosine similarity expressed as an element in space.
여기서, 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 출력하는 단계는, 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도가 기 설정된 유사도 보다 높은 경우, 적어도 하나의 상기 유사도 조건을 만족하는 참조 기계학습 모델의 메타데이터 중에서 기 계산된 스코어에 따라 적어도 하나 이상의 최적화 알고리즘을 선택하여 출력한다.Here, the outputting of the optimization algorithm of the reference machine learning model that satisfies the similarity condition includes at least one when the similarity between the reference machine learning model metadata and the received target machine learning model metadata is higher than a preset similarity. Among the metadata of the reference machine learning model that satisfies the similarity condition of, at least one optimization algorithm is selected and outputted according to a pre-calculated score.
여기서, 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 출력하는 단계는, 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도가 기 설정된 유사도 보다 낮은 경우, 상기 데이터베이스에 저장된 다수의 기계학습 모델들 중 추천 빈도수에 따라 적어도 하나 이상의 최적화 알고리즘을 선택하여 출력한다.Here, the outputting of the optimization algorithm of the reference machine learning model that satisfies the similarity condition may include, when the similarity between the reference machine learning model metadata and the input target machine learning model metadata is lower than a preset similarity, the database At least one optimization algorithm is selected and outputted according to the recommended frequency among a plurality of machine learning models stored in the machine learning model.
여기서, 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘을 출력하는 단계는, 상기 입력 받은 상기 최적화 알고리즘 검색 조건에 따라 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘의 출력 조건을 설정하는 단계, 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 입력 받는 단계, 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘의 정확도를 확인하고, 기 설정된 사전 선별 조건 정확도와 비교하는 단계 및 비교 결과가 상기 사전 선별 조건 정확도를 초과하는 경우에 정확도를 초과한 하이퍼파라미터 최적화 알고리즘을 출력하는 단계를 포함한다.Here, the outputting of the hyperparameter optimization algorithm of the target machine learning model comprises: setting an output condition of the hyperparameter optimization algorithm of the target machine learning model according to the received optimization algorithm search condition, and the similarity condition Receiving an optimization algorithm of a satisfied reference machine learning model, checking the accuracy of the optimization algorithm of a reference machine learning model that satisfies the similarity condition, comparing it with the accuracy of a preset pre-selection condition, and pre-selecting the comparison result And outputting a hyperparameter optimization algorithm exceeding the accuracy when the conditional accuracy is exceeded.
여기서, 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘에 대해 성능을 평가하여 스코어를 계산하고, 상기 데이터베이스를 업데이트하는 단계는, 상기 사전 선별 조건 정확도를 초과한 하이퍼파라미터 최적화 알고리즘을 입력 받고, 최종 탐색 결과 정확도와 최종 탐색 결과 시간을 출력하는 단계, 최종 탐색 결과 정확도와 최종 탐색 결과 시간을 고려하여 스코어를 계산하는 단계 및 기 계산된 스코어에 새로 계산된 스코어를 합산하여 데이터베이스에 저장하는 단계를 포함한다.Here, in the step of calculating a score by evaluating the performance of the hyperparameter optimization algorithm of the target machine learning model, and updating the database, a hyperparameter optimization algorithm exceeding the accuracy of the preselection condition is input, and a final search result And outputting the accuracy and the final search result time, calculating a score in consideration of the final search result accuracy and the final search result time, and summing the newly calculated score with the previously calculated score and storing it in a database.
본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템은, 하나 이상의 인스트럭션을 저장하는 메모리, 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는, 하이퍼파라미터 최적화의 대상이 되는 타겟 기계학습 모델, 상기 타겟 기계학습 모델의 메타데이터 및 최적화 알고리즘 검색 조건을 입력 받는 데이터 입력부, 데이터베이스에 기 저장된 다수의 기계학습 모델 메타데이터들 중 적어도 하나를 참조 기계학습 모델 메타데이터로 선택하고, 선택된 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도를 비교하는 유사 모델 비교부, 기 설정된 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 출력하는 알고리즘 탐색부, 입력 받은 상기 최적화 알고리즘 검색 조건과 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 기반으로 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘을 출력하는 최적화 알고리즘 선별부를 포함한다.A system for recommending a hyperparameter optimization algorithm according to an embodiment of the present invention includes a memory storing one or more instructions, a processor executing one or more instructions stored in the memory, and the processor is an object of hyperparameter optimization. Selecting at least one of a target machine learning model, a data input unit that receives metadata of the target machine learning model and an optimization algorithm search condition, and a plurality of machine learning model metadata previously stored in a database as reference machine learning model metadata, A similarity model comparison unit that compares the similarity between the selected reference machine learning model metadata and the inputted target machine learning model metadata, an algorithm search unit that outputs an optimization algorithm of a reference machine learning model that satisfies a preset similarity condition, input And an optimization algorithm selecting unit that outputs a hyperparameter optimization algorithm of the target machine learning model based on the received optimization algorithm search condition and an optimization algorithm of a reference machine learning model that satisfies the similarity condition.
여기서, 상기 최적화 알고리즘 선별부에서 출력된 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘에 대해 성능을 평가하여 스코어를 계산하고, 상기 데이터베이스를 업데이트하는 업데이트부를 더 포함한다.Here, the method further includes an update unit that evaluates the performance of the hyperparameter optimization algorithm of the target machine learning model output from the optimization algorithm selection unit, calculates a score, and updates the database.
여기서, 상기 최적화 알고리즘 검색 조건은, 사전 선별 조건 정확도, 사전 선별 조건 탐색 시간, 사전 선별 조건 탐색 횟수, 목표 정확도, 목표 탐색 시간, 목표 탐색 횟수 및 탐색하기 위한 하이퍼파라미터 최적화 알고리즘의 수로 이루어진 군으로부터 선택되는 하나 이상을 포함한다.Here, the optimization algorithm search condition is selected from the group consisting of pre-selection condition accuracy, pre-selection condition search time, pre-selection condition search number, target accuracy, target search time, target search number, and number of hyperparameter optimization algorithms for searching. Includes one or more of which are.
여기서, 상기 유사 모델 비교부는, 선택된 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 구성 요소를 벡터 공간 상의 원소로 나타내어 코사인 유사도를 측정하는 방법으로 유사도를 비교한다.Here, the similarity model comparison unit compares the similarity by measuring the cosine similarity by representing the selected reference machine learning model metadata and the input component of the target machine learning model metadata as elements in a vector space.
여기서, 상기 알고리즘 탐색부는, 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도가 기 설정된 유사도 보다 높은 경우, 적어도 하나의 상기 유사도 조건을 만족하는 참조 기계학습 모델의 메타데이터 중에서 기 계산된 스코어에 따라 적어도 하나 이상의 최적화 알고리즘을 선택하여 출력하고, 기 설정된 유사도 보다 낮은 경우, 상기 데이터베이스에 저장된 다수의 기계학습 모델들 중 추천 빈도수에 따라 적어도 하나 이상의 최적화 알고리즘을 선택하여 출력한다.Here, the algorithm search unit, when the similarity between the reference machine learning model metadata and the input target machine learning model metadata is higher than a preset similarity, metadata of a reference machine learning model that satisfies at least one similarity condition Among them, at least one optimization algorithm is selected and outputted according to a pre-calculated score, and when it is lower than a preset similarity, at least one optimization algorithm is selected and outputted according to the recommended frequency among a plurality of machine learning models stored in the database. .
여기서, 상기 최적화 알고리즘 선별부는, 상기 입력 받은 상기 최적화 알고리즘 검색 조건에 따라 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘의 출력 조건을 설정하고, 입력 받은 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘의 정확도를 기 설정된 사전 선별 조건 정확도와 비교한 후 비교 결과가 상기 사전 선별 조건 정확도를 초과하는 경우에 정확도를 초과한 하이퍼파라미터 최적화 알고리즘을 출력한다.Here, the optimization algorithm selection unit sets an output condition of a hyperparameter optimization algorithm of the target machine learning model according to the received optimization algorithm search condition, and an optimization algorithm of a reference machine learning model that satisfies the received similarity condition. The accuracy of is compared with the accuracy of a preset pre-selection condition, and when the comparison result exceeds the accuracy of the pre-selection condition, a hyperparameter optimization algorithm exceeding the accuracy is output.
여기서, 상기 업데이트부는, 상기 최적화 알고리즘 선별부에서 상기 사전 선별 조건 정확도를 초과한 하이퍼파라미터 최적화 알고리즘을 입력 받고, 최종 탐색 결과 정확도와 최종 탐색 결과 시간을 고려하여 스코어를 새로 계산하고, 기 계산된 스코어에 새로 계산된 스코어를 합산하여 데이터베이스에 저장한다.Here, the update unit receives a hyperparameter optimization algorithm that exceeds the accuracy of the pre-selection condition from the optimization algorithm selection unit, and calculates a new score in consideration of the final search result accuracy and the final search result time, and the pre-calculated score The newly calculated scores are added to and stored in the database.
본 실시예의 다른 측면에 의하면, 하이퍼파라미터 최적화 알고리즘 추천 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.According to another aspect of the present embodiment, there is provided a computer-readable recording medium in which a program for executing a hyperparameter optimization algorithm recommendation method on a computer is recorded.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 하이퍼파라미터 최적화의 대상이 되는 타겟 기계학습 모델, 상기 타겟 기계학습 모델의 메타데이터 및 최적화 알고리즘 검색 조건을 입력 받고, 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도를 비교하여 기계학습의 하이퍼파라미터 최적화 과정에서 사용할 최적화 알고리즘을 추천할 수 있다.As described above, according to embodiments of the present invention, a target machine learning model to be subjected to hyperparameter optimization, metadata of the target machine learning model, and an optimization algorithm search condition are input, and reference machine learning model metadata and An optimization algorithm to be used in the hyperparameter optimization process of machine learning may be recommended by comparing the similarity of the received target machine learning model metadata.
또한, 시스템을 반복적으로 사용할 경우 기계학습 모델의 종류가 많아지고 모델 별 최적화 알고리즘의 스코어(Score) 격차가 뚜렷해질 수 있어 더 효율적으로 최적화 알고리즘을 추천할 수 있다.In addition, when the system is used repeatedly, the types of machine learning models increase, and the difference in the score of each model optimization algorithm may become clear, so that it is possible to more efficiently recommend an optimization algorithm.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if it is an effect not explicitly mentioned herein, the effect described in the following specification expected by the technical features of the present invention and the provisional effect thereof are treated as described in the specification of the present invention.
도 1 및 도 2는 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템의 블록도이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 방법을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템의 레이어 구조를 예로 들어 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템의 스코어 계산 과정을 예로 들어 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템의 데이터 베이스 업데이트 결과를 예로 들어 도시한 것이다.
도 9은 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템의 출력 결과를 예로 들어 도시한 것이다.1 and 2 are block diagrams of a system for recommending a hyperparameter optimization algorithm according to an embodiment of the present invention.
3 to 5 are flowcharts illustrating a method of recommending a hyperparameter optimization algorithm according to an embodiment of the present invention.
6 illustrates a layer structure of a system for recommending a hyperparameter optimization algorithm according to an embodiment of the present invention as an example.
7 is a diagram illustrating a score calculation process of a system for recommending a hyperparameter optimization algorithm according to an embodiment of the present invention as an example.
8 is an example of a database update result of a system for recommending a hyperparameter optimization algorithm according to an embodiment of the present invention.
9 is an example of an output result of a system for recommending a hyperparameter optimization algorithm according to an embodiment of the present invention.
이하, 본 발명에 관련된 하이퍼파라미터 최적화 알고리즘 추천 방법 및 최적화 알고리즘 추천 시스템에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.Hereinafter, a method for recommending a hyperparameter optimization algorithm and a system for recommending an optimization algorithm according to the present invention will be described in more detail with reference to the drawings. However, the present invention may be implemented in various different forms, and is not limited to the described embodiments. In addition, in order to clearly describe the present invention, parts not related to the description are omitted, and the same reference numerals in the drawings indicate the same members.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.The suffixes "module" and "unit" for constituent elements used in the following description are given or used interchangeably in consideration of only the ease of writing the specification, and do not themselves have a distinct meaning or role from each other.
본 발명은 하이퍼파라미터 최적화 알고리즘 추천 방법 및 최적화 알고리즘 추천 시스템에 관한 것이다.The present invention relates to a hyperparameter optimization algorithm recommendation method and an optimization algorithm recommendation system.
도 1 및 도 2는 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템의 블록도이다.1 and 2 are block diagrams of a system for recommending a hyperparameter optimization algorithm according to an embodiment of the present invention.
도 1은 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템의 블록도이다.1 is a block diagram of a system for recommending a hyperparameter optimization algorithm according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템(1)은 프로세서(10), 메모리(20), 입력부(30), 출력부(40)를 포함한다.Referring to FIG. 1, a system for recommending a
본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템(1)은 기계학습의 하이퍼파라미터 최적화 과정에서 사용할 최적화 알고리즘을 추천하는 시스템으로, 데이터 셋 혹은 모델 별로 상이한 성능을 가진 하이퍼파라미터 최적화 알고리즘을 사용자가 정한 기준에 맞춰 추천한다.The hyperparameter optimization
기계학습 모델은 하이퍼파라미터의 값에 따라 성능이 좌우되므로 최적의 하이퍼파라미터를 찾는 것은 매우 중요한 작업이다.Since machine learning model performance depends on the value of hyperparameters, finding the optimal hyperparameter is a very important task.
기계학습 모델의 하이퍼파라미터를 최적화하기 위해서 최적화 알고리즘을 선정해야 하지만 하이퍼파라미터 최적화 알고리즘은 각기 다른 탐색 속도와 정확도를 가지므로, 하이퍼파라미터 최적화 알고리즘의 성능에 영향을 주는 요소들(기계학습 모델이 가진 layer의 깊이, Shape, 데이터 셋의 크기, Shape, 하이퍼파라미터의 개수 및 범위 등)이 존재하기 때문에 요소에 따른 효율적인 최적화 알고리즘을 찾을 필요가 있다.In order to optimize the hyperparameters of the machine learning model, an optimization algorithm must be selected, but since the hyperparameter optimization algorithms have different search speeds and accuracy, factors that affect the performance of the hyperparameter optimization algorithm (layers of the machine learning model) Depth, shape, size of data set, shape, number and range of hyperparameters, etc.) exist, so it is necessary to find an efficient optimization algorithm according to factors.
이에 따라, 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템(1)은 기존의 기계학습 모델과 새로운 기계학습 모델의 유사도를 비교하고, 모델에 따라 효율적인 하이퍼파라미터 최적화 알고리즘을 추천할 수 있다.Accordingly, the hyperparameter optimization
메모리(20)는 프로세서(10)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다.The
메모리(20)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있으며, 후술할 기 저장된 다수의 기계학습 모델 메타데이터들이 저장되는 데이터 베이스가 소프트웨어 모듈로 구성될 수도 있다.Programs stored in the
프로세서(10)는 메모리(20)에 저장된 하나 이상의 인스트럭션을 실행하며, 구체적으로, 하이퍼파라미터 최적화의 대상이 되는 타겟 기계학습 모델, 상기 타겟 기계학습 모델의 메타데이터 및 최적화 알고리즘 검색 조건을 입력 받아 데이터베이스에 기 저장된 다수의 기계학습 모델 메타데이터들 중 적어도 하나를 참조 기계학습 모델 메타데이터로 선택하고, 선택된 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도를 비교한다. 이후, 기 설정된 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 출력하고, 입력 받은 상기 최적화 알고리즘 검색 조건과 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 기반으로 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘을 출력한다.The
여기서, 기계 학습 모델은 예를 들어 딥 러닝 기반의 기계 학습 모델일 수 있다. 심층 신경망으로 구성된 딥 러닝 기반의 기계 학습 모델은 다수의 하이퍼파라미터를 포함하고, 하이퍼파라미터 튜닝(tuning)에 따라 모델의 성능이 크게 좌우되는 특징을 갖는다. 따라서, 본 발명의 몇몇 실시예들에 따른 하이퍼파라미터 최적화 과정은 딥러닝 기반 기계 학습 모델의 성능 개선에 매우 효과적으로 활용될 수 있다.Here, the machine learning model may be, for example, a deep learning-based machine learning model. Deep learning-based machine learning models composed of deep neural networks include a number of hyperparameters, and the performance of the model is greatly influenced by hyperparameter tuning. Therefore, the hyperparameter optimization process according to some embodiments of the present invention can be very effectively utilized to improve the performance of a deep learning-based machine learning model.
입력부(30)는 하이퍼파라미터 최적화 알고리즘 추천 시스템을 제어하기 위한 데이터를 입력하는 수단을 의미한다. 입력부(30)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.The
출력부(40)는 하이퍼파라미터 최적화 알고리즘 추천 시스템에 따른 결과 정보를 표시할 수 있다. 예를 들어, 출력부(40)는 프로세서(10)로부터 획득된 알고리즘 탐색 결과를 표시할 수 있다.The
도 2는 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템의 프로세서를 설명하기 위한 도면이다.2 is a diagram illustrating a processor of a system for recommending a hyperparameter optimization algorithm according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템(1)의 프로세서(10)는 데이터 입력부(100), 유사 모델 비교부(200), 알고리즘 탐색부(300), 최적화 알고리즘 선별부(400), 업데이트부(500)를 포함한다.2, the
데이터 입력부(100)는 하이퍼파라미터 최적화의 대상이 되는 타겟 기계학습 모델, 상기 타겟 기계학습 모델의 메타데이터 및 최적화 알고리즘 검색 조건을 입력 받는다.The
여기서, 기계학습 모델은 하이퍼파라미터 최적화의 대상이 되는 기계학습 모델의 애플리케이션 파일이다. 타겟 기계학습 모델은 최적화 알고리즘을 찾기 위한 기계학습 모델이며, 참조 기계학습 모델은 데이터베이스에 저장된 기존의 기계학습 모델로써 타겟 기계학습 모델과 유사도를 비교하게 되는 대상이다.Here, the machine learning model is an application file of a machine learning model targeted for hyperparameter optimization. The target machine learning model is a machine learning model to find an optimization algorithm, and the reference machine learning model is an existing machine learning model stored in a database, and is the object to be compared with the target machine learning model.
또한, 최적화 알고리즘 검색 조건은, 사전 선별 조건 정확도, 사전 선별 조건 탐색 시간, 사전 선별 조건 탐색 횟수, 목표 정확도, 목표 탐색 시간, 목표 탐색 횟수 및 탐색하기 위한 하이퍼파라미터 최적화 알고리즘의 수로 이루어진 군으로부터 선택되는 하나 이상을 포함한다.In addition, the optimization algorithm search condition is selected from the group consisting of the pre-selection condition accuracy, the pre-selection condition search time, the pre-selection condition search number, the target accuracy, the target search time, the target search number, and the number of hyperparameter optimization algorithms for searching. Contains one or more.
유사 모델 비교부(200)는 데이터베이스에 기 저장된 다수의 기계학습 모델 메타데이터들 중 적어도 하나를 참조 기계학습 모델 메타데이터로 선택하고, 선택된 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도를 비교한다.The similar
유사 모델 비교부(200)는 선택된 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 구성 요소를 벡터 공간 상의 원소로 나타내어 코사인 유사도를 측정하는 방법으로 유사도를 비교한다.The similarity
알고리즘 탐색부(300)는 기 설정된 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 출력한다.The
알고리즘 탐색부(300)는 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도가 기 설정된 유사도 보다 높은 경우, 적어도 하나의 상기 유사도 조건을 만족하는 참조 기계학습 모델의 메타데이터 중에서 기 계산된 스코어에 따라 적어도 하나 이상의 최적화 알고리즘을 선택하여 출력하고, 기 설정된 유사도 보다 낮은 경우, 상기 데이터베이스에 저장된 다수의 기계학습 모델들 중 추천 빈도수에 따라 적어도 하나 이상의 최적화 알고리즘을 선택하여 출력한다.When the similarity between the reference machine learning model metadata and the input target machine learning model metadata is higher than a preset similarity, the
최적화 알고리즘 선별부(400)는 입력 받은 상기 최적화 알고리즘 검색 조건과 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 기반으로 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘을 출력한다.The optimization
최적화 알고리즘 선별부(400)는 상기 입력 받은 상기 최적화 알고리즘 검색 조건에 따라 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘의 출력 조건을 설정하고, 입력 받은 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘의 정확도를 기 설정된 사전 선별 조건 정확도와 비교한 후 비교 결과가 상기 사전 선별 조건 정확도를 초과하는 경우에 정확도를 초과한 하이퍼파라미터 최적화 알고리즘을 출력한다.The optimization
업데이트부(500)는 상기 최적화 알고리즘 선별부에서 출력된 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘에 대해 성능을 평가하여 스코어를 계산하고, 상기 데이터베이스를 업데이트한다.The
업데이트부(500)는 상기 최적화 알고리즘 선별부에서 상기 정확도를 초과한 하이퍼파라미터 최적화 알고리즘을 입력 받고, 최종 탐색 결과 정확도와 최종 탐색 결과 시간을 고려하여 스코어를 새로 계산하고, 기 계산된 스코어에 새로 계산된 스코어를 합산하여 데이터베이스에 저장한다.The
도 3 내지 도 5는 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 방법을 나타낸 흐름도이다.3 to 5 are flowcharts illustrating a method of recommending a hyperparameter optimization algorithm according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 방법은 데이터 입력부가 하이퍼파라미터 최적화의 대상이 되는 타겟 기계학습 모델, 상기 타겟 기계학습 모델의 메타데이터 및 최적화 알고리즘 검색 조건을 입력 받는 단계(S100)에서 시작한다.3, in the hyperparameter optimization algorithm recommendation method according to an embodiment of the present invention, a data input unit determines a target machine learning model to be subjected to hyperparameter optimization, metadata of the target machine learning model, and an optimization algorithm search condition. It starts in the step of receiving the input (S100).
단계 S100에서 최적화 알고리즘 검색 조건은, 사전 선별 조건 정확도, 탐색 시간, 탐색 횟수 및 탐색하기 위한 하이퍼파라미터 최적화 알고리즘의 수로 이루어진 군으로부터 선택되는 하나 이상을 포함한다.In step S100, the optimization algorithm search condition includes at least one selected from the group consisting of the accuracy of the pre-selection condition, the search time, the number of searches, and the number of hyperparameter optimization algorithms for searching.
단계 S200에서 유사 모델 비교부가 데이터베이스에 기 저장된 다수의 기계학습 모델 메타데이터들 중 적어도 하나를 참조 기계학습 모델 메타데이터로 선택하고, 선택된 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도를 비교한다.In step S200, the similar model comparison unit selects at least one of the plurality of machine learning model metadata previously stored in the database as reference machine learning model metadata, and the selected reference machine learning model metadata and the received target machine learning model metadata Compare the similarity of the data.
구체적으로, 선택된 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 구성 요소를 벡터 공간 상의 원소로 나타내어 코사인 유사도를 측정하는 방법으로 유사도를 비교한다.Specifically, the similarity is compared by a method of measuring cosine similarity by representing the components of the selected reference machine learning model metadata and the inputted target machine learning model metadata as elements in a vector space.
단계 S300에서 알고리즘 탐색부가 기 설정된 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 출력한다.In step S300, the algorithm search unit outputs an optimization algorithm of a reference machine learning model that satisfies a preset similarity condition.
단계 S400에서 최적화 알고리즘 선별부가 입력 받은 상기 최적화 알고리즘 검색 조건과 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 기반으로 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘을 출력한다.In step S400, a hyperparameter optimization algorithm of the target machine learning model is output based on the optimization algorithm search condition received by the optimization algorithm selection unit and the optimization algorithm of the reference machine learning model that satisfies the similarity condition.
단계 S500에서 업데이트부가 상기 최적화 알고리즘 선별부에서 출력된 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘에 대해 성능을 평가하여 스코어를 계산하고, 상기 데이터베이스를 업데이트한다.In step S500, the update unit calculates a score by evaluating the performance of the hyperparameter optimization algorithm of the target machine learning model output from the optimization algorithm selection unit, and updates the database.
도 4 내지 도 5는 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 방법을 상세히 나타낸 흐름도이다.4 to 5 are flowcharts illustrating in detail a method of recommending a hyperparameter optimization algorithm according to an embodiment of the present invention.
도 4를 참조하면, 단계 S110의 사용자 입력에 따라, 단계 S111 내지 단계 S113에서 데이터 입력부가 하이퍼파라미터 최적화의 대상이 되는 타겟 기계학습 모델, 상기 타겟 기계학습 모델의 메타데이터 및 최적화 알고리즘 검색 조건을 입력 받는다.4, according to a user input in step S110, in steps S111 to S113, a data input unit inputs a target machine learning model to be subjected to hyperparameter optimization, metadata of the target machine learning model, and an optimization algorithm search condition. Receive.
여기서, 기계학습 모델은 하이퍼파라미터 최적화의 대상이 되는 기계학습 모델의 애플리케이션 파일이다. 타겟 기계학습 모델은 최적화 알고리즘을 찾기 위한 기계학습 모델이며, 참조 기계학습 모델은 데이터베이스에 저장된 기존의 기계학습 모델로써 타겟 기계학습 모델과 유사도를 비교하게 되는 대상이다.Here, the machine learning model is an application file of a machine learning model targeted for hyperparameter optimization. The target machine learning model is a machine learning model to find an optimization algorithm, and the reference machine learning model is an existing machine learning model stored in a database, and is the object to be compared with the target machine learning model.
단계 S112에서 입력 받는 하이퍼파라미터 최적화 알고리즘 검색 조건은 하이퍼파라미터 최적화 알고리즘을 선정하기 위한 조건이다.The hyperparameter optimization algorithm search condition input in step S112 is a condition for selecting a hyperparameter optimization algorithm.
본 발명의 일 실시예에서는 하기와 같은 정보들을 가지는 것이 바람직하며, 이에 한정되는 것은 아니다.In an embodiment of the present invention, it is desirable to have the following information, but is not limited thereto.
사전 선별 조건은 항상 목표 조건보다 작거나 같도록 설정되며, 사전 선별 조건 정확도, 사전 선별 조건 탐색 시간, 사전 선별 조건 탐색 횟수를 포함한다. 목표 조건은 이름, 목표 정확도, 목표 탐색 시간, 목표 탐색 횟수를 포함한다. 하이퍼파라미터 조건은 이름, 탐색 가능 범위를 포함한다. 또한 탐색하기 위한 하이퍼파라미터 최적화 알고리즘의 수를 포함한다.The pre-selection condition is always set to be less than or equal to the target condition, and includes the pre-selection condition accuracy, the pre-selection condition search time, and the number of pre-selection condition searches. Target conditions include name, target accuracy, target search time, and target search number. Hyperparameter conditions include name and searchable range. It also contains the number of hyperparameter optimization algorithms to search.
단계 S210에서 유사 모델 비교부가 데이터베이스에 기 저장된 다수의 기계학습 모델 메타데이터들 중 적어도 하나를 참조 기계학습 모델 메타데이터로 선택하고, 단계 S211 내지 단계 S212에서 선택된 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도를 비교한다.In step S210, the similar model comparison unit selects at least one of the plurality of machine learning model metadata previously stored in the database as reference machine learning model metadata, and receives the reference machine learning model metadata selected in steps S211 to S212. The similarity of the target machine learning model metadata is compared.
기계학습 모델의 메타데이터는 입력된 모델의 메타 데이터이다. 본 발명의 일 실시예에 따르면 기계학습 모델 메타데이터의 구성 요소는 타입(CNN, RNN), 레이어 구조(model summary), 데이터 셋, 하이퍼파라미터 개수를 포함하는 것이 바람직하나 이에 한정되는 것은 아니다. 레이어 구조는 하기 도 6에 나타난 바와 같다.The metadata of the machine learning model is the metadata of the input model. According to an embodiment of the present invention, components of the machine learning model metadata preferably include a type (CNN, RNN), a layer structure (model summary), a data set, and the number of hyperparameters, but are not limited thereto. The layer structure is as shown in FIG. 6 below.
참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도가 기 설정된 유사도 보다 낮은 경우, 단계 S310에서 상기 데이터베이스에 저장된 다수의 기계학습 모델들 중 추천 빈도수와 하이퍼파라미터 최적화 알고리즘 검색 조건에 따라 하나 이상의 최적화 알고리즘을 선택하여 출력한다.If the similarity between the reference machine learning model metadata and the input target machine learning model metadata is lower than the preset similarity, in step S310, the recommendation frequency and the hyperparameter optimization algorithm search condition among the plurality of machine learning models stored in the database are applied. Accordingly, one or more optimization algorithms are selected and output.
본 발명의 일 실시예에 따르면, 기존 모델의 메타데이터와 입력된 모델의 메타데이터의 유사도가 낮은 경우 데이터베이스(DB)에 저장된 기존 모델 전체를 대상으로 추천 빈도수가 높은 최적화 알고리즘을 선택하게 된다.According to an embodiment of the present invention, when the similarity between the metadata of the existing model and the metadata of the input model is low, an optimization algorithm with a high recommendation frequency is selected for the entire existing model stored in the database (DB).
참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도가 기 설정된 유사도 보다 높은 경우, 단계 S320에서 알고리즘 탐색부가 적어도 하나의 상기 유사도 조건을 만족하는 참조 기계학습 모델의 메타데이터 중에서 기 계산된 스코어와 하이퍼파라미터 최적화 알고리즘 검색 조건에 따라 적어도 하나 이상의 최적화 알고리즘을 선택하여 출력한다.If the similarity between the reference machine learning model metadata and the received target machine learning model metadata is higher than a preset similarity, in step S320, the algorithm search unit is selected from among metadata of the reference machine learning model that satisfies at least one similarity condition. At least one optimization algorithm is selected and outputted according to the calculated score and the hyperparameter optimization algorithm search condition.
구체적으로, 유사도가 높은 기존 모델의 메타데이터 중에서 스코어(Score)가 높은 최적화 알고리즘들을 선택한다.Specifically, optimization algorithms with a high score are selected from metadata of an existing model with high similarity.
유사도가 높은 기존 모델이 다수일 경우, 각 모델의 유사도를 가중치로 하여 스코어(Score) 및 추천 빈도의 가중 평균을 구하고, 높은 평균값을 가지는 최적화 알고리즘을 적어도 하나 이상 선택한다.When there are a large number of existing models with high similarity, a weighted average of a score and recommendation frequency is obtained by using the similarity of each model as a weight, and at least one optimization algorithm having a high average value is selected.
여기서, 유사도는 기계학습 모델 메타데이터들의 구성 요소를 벡터 공간 상의 원소로 나타내어 코사인 유사도 등의 유사도 측정 방법으로 계산한다.Here, the similarity is calculated by a method of measuring similarity, such as cosine similarity, by representing components of the machine learning model metadata as elements in a vector space.
이후, 단계 S410에서 최적화 알고리즘 선별부가 입력 받은 상기 최적화 알고리즘 검색 조건과 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 기반으로 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘을 출력한다.Thereafter, the hyperparameter optimization algorithm of the target machine learning model is output based on the optimization algorithm search condition received in step S410 and the optimization algorithm of the reference machine learning model that satisfies the similarity condition.
단계 S510에서 업데이트부가 상기 최적화 알고리즘 선별부에서 출력된 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘에 대해 성능을 평가하여 스코어를 계산하고, 상기 데이터베이스를 업데이트한다.In step S510, the update unit calculates a score by evaluating the performance of the hyperparameter optimization algorithm of the target machine learning model output from the optimization algorithm selection unit, and updates the database.
도 5를 참조하면, 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘을 출력하는 단계(S410)는, 단계 S411에서 하이퍼파라미터 최적화 알고리즘 검색 조건을 입력 받아, 최적화 알고리즘 검색 조건에 따라 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘의 출력 조건을 설정한다.5, in the step of outputting the hyperparameter optimization algorithm of the target machine learning model (S410), a hyperparameter optimization algorithm search condition is input in step S411, and the hyperparameter of the target machine learning model according to the optimization algorithm search condition is received. Set the output condition of the parameter optimization algorithm.
단계 S412에서 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 입력 받고, 단계 S413에서 타겟 기계학습 모델을 입력 받는다.In step S412, an optimization algorithm of a reference machine learning model that satisfies the similarity condition is input, and in step S413, a target machine learning model is input.
단계 S420에서 하이퍼파라미터 최적화 알고리즘 검색 조건에 따라 사전 선별 조건의 시간 또는 횟수까지 탐색을 실행한다.In step S420, the search is performed up to the time or number of pre-selection conditions according to the hyperparameter optimization algorithm search condition.
구체적으로, 모델 탐색 부분에서 전달받는 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘들은 자료구조를 이용하여 저장되며, 사전에 입력 받은 최적화 알고리즘 검색 조건에서 설정한 사전 선별 조건의 탐색 시간 및 탐색 횟수까지 기계학습 모델의 최적화를 진행한다.Specifically, the optimization algorithms of the reference machine learning model that satisfy the similarity condition received from the model search section are stored using a data structure, and the search time and search of the preselection condition set in the optimization algorithm search condition received in advance. Machine learning model is optimized up to the number of times.
단계 S430에서 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘의 정확도를 확인하고, 기 설정된 사전 선별 조건 정확도와 비교한다.In step S430, the accuracy of the optimization algorithm of the reference machine learning model that satisfies the similarity condition is checked, and the accuracy of the preset selection condition is compared.
비교 결과가 상기 사전 선별 조건 정확도를 초과하는 경우에 단계 S441에서 정확도를 초과한 하이퍼파라미터 최적화 알고리즘을 출력하고, 목표 조건의 시간, 횟수 또는 목표 정확도에 도달할 때까지 남은 탐색을 실행한다.When the comparison result exceeds the accuracy of the pre-selection condition, a hyperparameter optimization algorithm exceeding the accuracy is output in step S441, and the remaining search is performed until the time, number of times, or target accuracy of the target condition is reached.
비교 결과가 상기 사전 선별 조건 정확도를 초과하지 않는 경우에 단계 S442에서 해당 알고리즘은 Worst한 경우로 판단하고 제외한다.If the comparison result does not exceed the accuracy of the pre-selection condition, the algorithm is determined to be Worst in step S442 and excluded.
단계 S411 내지 단계 S442의 최적화 알고리즘 선별 과정은 자료구조에 저장된 최적화 알고리즘 데이터를 전부 확인할 때까지 과정을 반복하게 된다. 병렬로 처리하는 것도 가능하며 이 경우 위 반복 과정이 줄어들 수 있다.The process of selecting the optimization algorithm in steps S411 to S442 is repeated until all optimization algorithm data stored in the data structure is confirmed. It is also possible to process in parallel, and in this case, the above iteration process can be reduced.
단계 S450에서 탐색이 완료되지 않은 하이퍼파라미터 최적화 알고리즘이 있다면, 단계 S461에서 단계 S412의 최적화 알고리즘을 탐색이 완료되지 않은 하이퍼파라미터 최적화 알고리즘으로 변경하고, 단계 S420과 단계 S430을 실행한다. 단계 S450에서 탐색이 완료되지 않은 하이퍼파라미터 최적화 알고리즘이 없다면, 단계 S462에서 지금까지 탐색한 기계학습 모델에 탐색 알고리즘 별로 최종 탐색 결과 정확도와 최종 탐색 결과 시간을 고려하여 스코어를 계산하고, S470에서 하이퍼파라미터 최적화 알고리즘 탐색 결과를 출력한 후 단계 S510에서 기 계산된 스코어에 새로 계산된 스코어를 합산하여 데이터베이스에 저장한다.If there is a hyperparameter optimization algorithm in which the search is not completed in step S450, the optimization algorithm in step S412 is changed to a hyperparameter optimization algorithm in which the search is not completed in step S461, and steps S420 and S430 are executed. If there is no hyperparameter optimization algorithm for which the search has not been completed in step S450, the score is calculated by considering the accuracy of the final search result and the time of the final search result for each search algorithm in the machine learning model searched so far in step S462. After the optimization algorithm search result is output, the newly calculated score is added to the previously calculated score in step S510 and stored in the database.
즉, 모든 탐색이 완료된 후 메타데이터 DB에 없는 모델이라면 탐색 알고리즘별로 새로 계산된 Score를 부여하고 메타데이터 DB에 있는 모델이라면 기존 Score에 새로 계산된 Score를 가산한다. 새로 계산된 Score를 바탕으로 메타데이터 DB를 업데이트한다. In other words, after all the search is completed, if the model does not exist in the metadata DB, a newly calculated score is given for each search algorithm, and if the model exists in the metadata DB, the newly calculated score is added to the existing score. The metadata DB is updated based on the newly calculated score.
도 6은 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템의 레이어 구조를 예로 들어 도시한 것이다.6 illustrates a layer structure of a system for recommending a hyperparameter optimization algorithm according to an embodiment of the present invention as an example.
유사 모델 비교부가 데이터베이스에 기 저장된 다수의 기계학습 모델 메타데이터들 중 적어도 하나를 참조 기계학습 모델 메타데이터로 선택하고, 선택된 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도를 비교하며, 기계학습 모델의 메타데이터간의 유사도 비교를 위해 도 6에 나타난 바와 같이 기계학습 모델의 레이어(Layer) 구조를 입력 받아 메타데이터에 저장하도록 한다.The similarity model comparison unit selects at least one of the plurality of machine learning model metadata previously stored in the database as reference machine learning model metadata, and the similarity between the selected reference machine learning model metadata and the input target machine learning model metadata As shown in FIG. 6, in order to compare the similarity between the metadata of the machine learning model, the layer structure of the machine learning model is input and stored in the metadata.
도 6의 (a)에 나타난 레이어 타입에 따른 파라미터들에 따라 도 6의 (b)에 나타난 바와 같이 레이어 타입에 따른 레이어 수와 shape을 저장한다.According to the parameters according to the layer type shown in FIG. 6A, the number of layers and the shape according to the layer type are stored as shown in FIG. 6B.
도 7은 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템의 스코어 계산 과정을 예로 들어 도시한 것이다.7 is a diagram illustrating a score calculation process of a system for recommending a hyperparameter optimization algorithm according to an embodiment of the present invention as an example.
업데이트부가 상기 최적화 알고리즘 선별부에서 출력된 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘에 대해 성능을 평가하여 스코어를 계산한다.An update unit calculates a score by evaluating the performance of the hyperparameter optimization algorithm of the target machine learning model output from the optimization algorithm selection unit.
도 7에 나타난 바와 같이 각각의 기계학습 모델의 메타데이터(A, B, C)에서 탐색 시간과 정확도를 지표로 삼아 스코어(Score)를 계산하며, 기계학습 모델의 메타데이터에서 스코어(Score)가 높을수록 효율적인 하이퍼파라미터 최적화 알고리즘이 된다.As shown in FIG. 7, a score is calculated using the search time and accuracy as indicators in the metadata (A, B, C) of each machine learning model, and the score is calculated in the metadata of the machine learning model. The higher it is, the more efficient hyperparameter optimization algorithm is.
적어도 하나의 상기 유사도 조건을 만족하는 참조 기계학습 모델의 메타데이터 중에서 기 계산된 스코어에 따라 최적화 알고리즘을 선택하여 출력하고, 다시 스코어를 산출하여 저장하는 과정을 반복함으로써 시스템을 반복적으로 사용할 경우 기계학습 모델의 종류가 많아지고 모델 별 최적화 알고리즘의 스코어(Score) 격차가 뚜렷해질 수 있어 더 효율적으로 최적화 알고리즘을 추천할 수 있다. 따라서 자동화된 대규모 실시간 기계학습 시스템에 매우 적합할 것으로 기대된다.Machine learning when the system is repeatedly used by repeating the process of selecting and outputting an optimization algorithm according to a pre-calculated score among metadata of a reference machine learning model that satisfies at least one similarity condition, and calculating and storing the score again. As the number of models increases and the score gap of each model optimization algorithm becomes clear, it is possible to more efficiently recommend an optimization algorithm. Therefore, it is expected to be very suitable for automated large-scale real-time machine learning systems.
도 7에 나타난 스코어를 계산하는 방법을 예로 들어 설명하면, 스코어는 참조 기계학습 모델과 타겟 기계학습 모델의 유사도를 비교한 정확도를 이용하며 수학식 1로 나타난다.When the method of calculating the score shown in FIG. 7 is described as an example, the score is expressed by
도 7에서 A, B, C 알고리즘의 탐색시간의 합을 440이라 하면, 정확도 가중치가 0.9일 때,In FIG. 7, if the sum of the search times of algorithms A, B, and C is 440, when the accuracy weight is 0.9,
A 알고리즘의 Score = 0.9927 * 0.9 + (440-180)/440 * 0.1 = 0.9466, Score of algorithm A = 0.9927 * 0.9 + (440-180)/440 * 0.1 = 0.9466,
B 알고리즘의 Score = 0.9922 * 0.9 + (440-90)/440 * 0.1 = 0.9648,Score of algorithm B = 0.9922 * 0.9 + (440-90)/440 * 0.1 = 0.9648,
C 알고리즘의 Score = 0.9812 * 0.9 + (440-170)/440 * 0.1 = 0.9383으로 계산된다.The score of the C algorithm is calculated as 0.9812 * 0.9 + (440-170)/440 * 0.1 = 0.9383.
도 8은 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템의 데이터 베이스 업데이트 결과를 예로 들어 도시한 것이다.8 is an example of a database update result of a system for recommending a hyperparameter optimization algorithm according to an embodiment of the present invention.
도 8의 (a)는 기계학습 모델의 기존 메타데이터를 나타낸 것이다. 기존 메타데이터에는 최적화 알고리즘들과 기 계산되어 저장된 스코어가 있으며, 스코어가 높은 순으로 나열된다.Figure 8 (a) shows the existing metadata of the machine learning model. In the existing metadata, there are optimization algorithms and pre-calculated and stored scores, and the scores are listed in the highest order.
도 8의 (b)는 최적화 진행 후 업데이트할 결과 메타데이터이다. 도 8의 (b)에서 Grid Search 알고리즘은 새로 추가되는 알고리즘이며, Bayesian Optimization은 기존에 존재하는 알고리즘이다.(B) of FIG. 8 is result metadata to be updated after optimization is performed. In (b) of FIG. 8, the Grid Search algorithm is a newly added algorithm, and Bayesian Optimization is an existing algorithm.
도 8의 (c)는 기계학습 모델 데이터베이스 업데이트 결과이다.8C is a result of updating the machine learning model database.
최적화 알고리즘 데이터가 증가하며, Bayesian Optimization 알고리즘의 경우 스코어가 합산된 결과로 갱신되어 저장됨을 확인할 수 있다.It can be seen that the optimization algorithm data increases, and in the case of the Bayesian Optimization algorithm, scores are updated and stored as the summed result.
도 9은 본 발명의 일 실시예에 따른 하이퍼파라미터 최적화 알고리즘 추천 시스템의 출력 결과를 예로 들어 도시한 것이다.9 is an example of an output result of a system for recommending a hyperparameter optimization algorithm according to an embodiment of the present invention.
도 9에 나타난 바와 같이 최적화 알고리즘별로 스코어, 정확도, 시간, 탐색횟수, 하이퍼파라미터 값이 포함되어 출력됨을 확인할 수 있다.As shown in FIG. 9, it can be seen that the score, accuracy, time, number of searches, and hyperparameter values are included and output for each optimization algorithm.
또한, 하이퍼파라미터 최적화 알고리즘 추천 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.In addition, it provides a computer-readable recording medium in which a program for executing a hyperparameter optimization algorithm recommendation method on a computer is recorded.
이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Such a computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.The above description is only an embodiment of the present invention, and those of ordinary skill in the art to which the present invention pertains may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the scope of the present invention is not limited to the above-described embodiments, and should be construed to include various embodiments within the scope equivalent to those described in the claims.
Claims (16)
유사 모델 비교부가 데이터베이스에 기 저장된 다수의 기계학습 모델 메타데이터들 중 적어도 하나를 참조 기계학습 모델 메타데이터로 선택하고, 선택된 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도를 비교하는 단계;
알고리즘 탐색부가 기 설정된 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 출력하는 단계; 및
최적화 알고리즘 선별부가 입력 받은 상기 최적화 알고리즘 검색 조건과 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 기반으로 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘을 출력하는 단계;를 포함하는 것을 특징으로 하는 하이퍼파라미터 최적화 알고리즘 추천 방법.Receiving, by a data input unit, a target machine learning model subject to hyperparameter optimization, metadata of the target machine learning model, and an optimization algorithm search condition;
The similarity model comparison unit selects at least one of the plurality of machine learning model metadata previously stored in the database as reference machine learning model metadata, and the similarity between the selected reference machine learning model metadata and the input target machine learning model metadata Comparing them;
Outputting, by an algorithm search unit, an optimization algorithm of a reference machine learning model that satisfies a preset similarity condition; And
And outputting a hyperparameter optimization algorithm of the target machine learning model based on an optimization algorithm of a reference machine learning model that satisfies the optimization algorithm search condition and the similarity condition received by an optimization algorithm selection unit. Hyperparameter optimization algorithm recommendation method.
업데이트부가 상기 최적화 알고리즘 선별부에서 출력된 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘에 대해 성능을 평가하여 스코어를 계산하고, 상기 데이터베이스를 업데이트하는 단계;를 더 포함하는 것을 특징으로 하는 하이퍼파라미터 최적화 알고리즘 추천 방법.The method of claim 1,
The hyperparameter optimization algorithm further comprises: evaluating the performance of the hyperparameter optimization algorithm of the target machine learning model output from the optimization algorithm selection unit, calculating a score, and updating the database; Recommended way.
상기 최적화 알고리즘 검색 조건은,
사전 선별 조건 정확도, 사전 선별 조건 탐색 시간, 사전 선별 조건 탐색 횟수, 목표 정확도, 목표 탐색 시간, 목표 탐색 횟수 및 탐색하기 위한 하이퍼파라미터 최적화 알고리즘의 수로 이루어진 군으로부터 선택되는 하나 이상을 포함하는 것을 특징으로 하는 하이퍼파라미터 최적화 알고리즘 추천 방법.The method of claim 2,
The optimization algorithm search condition,
It characterized in that it comprises at least one selected from the group consisting of the pre-selection condition accuracy, the pre-selection condition search time, the pre-selection condition search number, the target accuracy, the target search time, the target search number, and the number of hyperparameter optimization algorithms for searching. How to recommend a hyperparameter optimization algorithm.
상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도를 비교하는 단계는,
선택된 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 구성 요소를 벡터 공간 상의 원소로 나타내어 코사인 유사도를 측정하는 방법으로 유사도를 비교하는 것을 특징으로 하는 하이퍼파라미터 최적화 알고리즘 추천 방법.The method of claim 1,
Comparing the similarity between the reference machine learning model metadata and the input target machine learning model metadata,
A method of recommending a hyperparameter optimization algorithm, comprising comparing the similarity by measuring the cosine similarity by representing the selected reference machine learning model metadata and the input component of the target machine learning model metadata as elements in a vector space.
상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 출력하는 단계는,
상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도가 기 설정된 유사도 보다 높은 경우, 적어도 하나의 상기 유사도 조건을 만족하는 참조 기계학습 모델의 메타데이터 중에서 기 계산된 스코어에 따라 적어도 하나 이상의 최적화 알고리즘을 선택하여 출력하는 것을 특징으로 하는 하이퍼파라미터 최적화 알고리즘 추천 방법.The method of claim 1,
Outputting an optimization algorithm of a reference machine learning model that satisfies the similarity condition,
When the similarity between the reference machine learning model metadata and the input target machine learning model metadata is higher than a preset similarity, according to a score calculated in advance among metadata of a reference machine learning model that satisfies at least one similarity condition. Hyperparameter optimization algorithm recommendation method, characterized in that for selecting and outputting at least one optimization algorithm.
상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 출력하는 단계는,
상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도가 기 설정된 유사도 보다 낮은 경우, 상기 데이터베이스에 저장된 다수의 기계학습 모델들 중 추천 빈도수에 따라 적어도 하나 이상의 최적화 알고리즘을 선택하여 출력하는 것을 특징으로 하는 하이퍼파라미터 최적화 알고리즘 추천 방법.The method of claim 1,
Outputting an optimization algorithm of a reference machine learning model that satisfies the similarity condition,
When the similarity between the reference machine learning model metadata and the input target machine learning model metadata is lower than a preset similarity, at least one optimization algorithm is selected from among a plurality of machine learning models stored in the database according to the recommended frequency. Hyperparameter optimization algorithm recommendation method, characterized in that outputting.
상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘을 출력하는 단계는,
상기 입력 받은 상기 최적화 알고리즘 검색 조건에 따라 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘의 출력 조건을 설정하는 단계;
상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 입력 받는 단계;
상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘의 정확도를 확인하고, 기 설정된 사전 선별 조건 정확도와 비교하는 단계; 및
비교 결과가 상기 사전 선별 조건 정확도를 초과하는 경우에 정확도를 초과한 하이퍼파라미터 최적화 알고리즘을 출력하는 단계;를 포함하는 것을 특징으로 하는 하이퍼파라미터 최적화 알고리즘 추천 방법.The method of claim 3,
Outputting the hyperparameter optimization algorithm of the target machine learning model,
Setting an output condition of a hyperparameter optimization algorithm of the target machine learning model according to the received optimization algorithm search condition;
Receiving an optimization algorithm of a reference machine learning model that satisfies the similarity condition;
Checking the accuracy of the optimization algorithm of the reference machine learning model that satisfies the similarity condition, and comparing it with the accuracy of a preset selection condition; And
And outputting a hyperparameter optimization algorithm exceeding the accuracy when the comparison result exceeds the accuracy of the preselection condition.
상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘에 대해 성능을 평가하여 스코어를 계산하고, 상기 데이터베이스를 업데이트하는 단계는,
상기 정확도를 초과한 하이퍼파라미터 최적화 알고리즘을 입력 받고, 최종 탐색 결과 정확도와 최종 탐색 결과 시간을 출력하는 단계;
상기 최종 탐색 결과 정확도와 최종 탐색 결과 시간을 고려하여 스코어를 계산하는 단계; 및
기 계산된 스코어에 새로 계산된 스코어를 합산하여 데이터베이스에 저장하는 단계;를 포함하는 것을 특징으로 하는 하이퍼파라미터 최적화 알고리즘 추천 방법.The method of claim 7,
Computing a score by evaluating the performance of the hyperparameter optimization algorithm of the target machine learning model, and updating the database,
Receiving a hyperparameter optimization algorithm exceeding the accuracy, and outputting a final search result accuracy and a final search result time;
Calculating a score in consideration of the accuracy of the final search result and the time of the final search result; And
And storing the newly calculated score in a database by adding the newly calculated score to the previously calculated score.
상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
상기 프로세서는, 하이퍼파라미터 최적화의 대상이 되는 타겟 기계학습 모델, 상기 타겟 기계학습 모델의 메타데이터 및 최적화 알고리즘 검색 조건을 입력 받는 데이터 입력부;
데이터베이스에 기 저장된 다수의 기계학습 모델 메타데이터들 중 적어도 하나를 참조 기계학습 모델 메타데이터로 선택하고, 선택된 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도를 비교하는 유사 모델 비교부;
기 설정된 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 출력하는 알고리즘 탐색부;
입력 받은 상기 최적화 알고리즘 검색 조건과 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘을 기반으로 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘을 출력하는 최적화 알고리즘 선별부;를 포함하는 것을 특징으로 하는 하이퍼파라미터 최적화 알고리즘 추천 시스템.A memory for storing one or more instructions;
And a processor that executes one or more instructions stored in the memory,
The processor may include: a data input unit for receiving a target machine learning model to be optimized for hyperparameters, metadata of the target machine learning model, and an optimization algorithm search condition;
Similarity for selecting at least one of a plurality of machine learning model metadata previously stored in a database as reference machine learning model metadata, and comparing the similarity between the selected reference machine learning model metadata and the input target machine learning model metadata Model comparison unit;
An algorithm search unit for outputting an optimization algorithm of a reference machine learning model that satisfies a preset similarity condition;
And an optimization algorithm selection unit that outputs a hyperparameter optimization algorithm of the target machine learning model based on an optimization algorithm of a reference machine learning model that satisfies the received optimization algorithm search condition and the similarity condition. Parameter optimization algorithm recommendation system.
상기 최적화 알고리즘 선별부에서 출력된 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘에 대해 성능을 평가하여 스코어를 계산하고, 상기 데이터베이스를 업데이트하는 업데이트부;를 더 포함하는 것을 특징으로 하는 하이퍼파라미터 최적화 알고리즘 추천 시스템.The method of claim 9,
And an update unit that evaluates performance of the hyperparameter optimization algorithm of the target machine learning model output from the optimization algorithm selection unit, calculates a score, and updates the database; system.
상기 최적화 알고리즘 검색 조건은,
사전 선별 조건 정확도, 사전 선별 조건 탐색 시간, 사전 선별 조건 탐색 횟수, 목표 정확도, 목표 탐색 시간, 목표 탐색 횟수 및 탐색하기 위한 하이퍼파라미터 최적화 알고리즘의 수로 이루어진 군으로부터 선택되는 하나 이상을 포함하는 것을 특징으로 하는 하이퍼파라미터 최적화 알고리즘 추천 시스템.The method of claim 10,
The optimization algorithm search condition,
It characterized in that it comprises at least one selected from the group consisting of the pre-selection condition accuracy, the pre-selection condition search time, the pre-selection condition search number, the target accuracy, the target search time, the target search number, and the number of hyperparameter optimization algorithms for searching. Hyperparameter optimization algorithm recommendation system.
상기 유사 모델 비교부는, 선택된 상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 구성 요소를 벡터 공간 상의 원소로 나타내어 코사인 유사도를 측정하는 방법으로 유사도를 비교하는 것을 특징으로 하는 하이퍼파라미터 최적화 알고리즘 추천 시스템.The method of claim 9,
The similarity model comparison unit compares the similarity by measuring the cosine similarity by representing the selected reference machine learning model metadata and the input components of the target machine learning model metadata as elements in a vector space. Parameter optimization algorithm recommendation system.
상기 알고리즘 탐색부는,
상기 참조 기계학습 모델 메타데이터와 입력 받은 상기 타겟 기계학습 모델 메타데이터의 유사도가 기 설정된 유사도 보다 높은 경우, 적어도 하나의 상기 유사도 조건을 만족하는 참조 기계학습 모델의 메타데이터 중에서 기 계산된 스코어에 따라 적어도 하나 이상의 최적화 알고리즘을 선택하여 출력하고,
기 설정된 유사도 보다 낮은 경우, 상기 데이터베이스에 저장된 다수의 기계학습 모델들 중 추천 빈도수에 따라 적어도 하나 이상의 최적화 알고리즘을 선택하여 출력하는 것을 특징으로 하는 하이퍼파라미터 최적화 알고리즘 추천 시스템.The method of claim 9,
The algorithm search unit,
When the similarity between the reference machine learning model metadata and the input target machine learning model metadata is higher than a preset similarity, according to a score calculated in advance among metadata of a reference machine learning model that satisfies at least one similarity condition. Select and output at least one optimization algorithm,
When the degree of similarity is lower than a preset similarity, at least one optimization algorithm is selected and outputted according to a recommended frequency among a plurality of machine learning models stored in the database.
상기 최적화 알고리즘 선별부는,
상기 입력 받은 상기 최적화 알고리즘 검색 조건에 따라 상기 타겟 기계학습 모델의 하이퍼파라미터 최적화 알고리즘의 출력 조건을 설정하고, 입력 받은 상기 유사도 조건을 만족하는 참조 기계학습 모델의 최적화 알고리즘의 정확도를 기 설정된 사전 선별 조건 정확도와 비교한 후 비교 결과가 상기 사전 선별 조건 정확도를 초과하는 경우에 정확도를 초과한 하이퍼파라미터 최적화 알고리즘을 출력하는 것을 특징으로 하는 하이퍼파라미터 최적화 알고리즘 추천 시스템.The method of claim 11,
The optimization algorithm selection unit,
According to the received optimization algorithm search condition, the output condition of the hyperparameter optimization algorithm of the target machine learning model is set, and the accuracy of the optimization algorithm of the reference machine learning model that satisfies the received similarity condition is preset as a preset selection condition. A hyperparameter optimization algorithm recommendation system, characterized in that, after comparing with accuracy, outputting a hyperparameter optimization algorithm exceeding the accuracy when the comparison result exceeds the accuracy of the pre-selection condition.
상기 업데이트부는,
상기 최적화 알고리즘 선별부에서 상기 정확도를 초과한 하이퍼파라미터 최적화 알고리즘을 입력 받고, 최종 탐색 결과 정확도와 최종 탐색 결과 시간을 고려하여 스코어를 새로 계산하고, 기 계산된 스코어에 새로 계산된 스코어를 합산하여 데이터베이스에 저장하는 것을 특징으로 하는 하이퍼파라미터 최적화 알고리즘 추천 시스템.The method of claim 14,
The update unit,
The optimization algorithm selection unit receives a hyperparameter optimization algorithm that exceeds the accuracy, calculates a new score in consideration of the accuracy of the final search result and the time of the final search result, and adds the newly calculated score to the previously calculated score, Hyperparameter optimization algorithm recommendation system, characterized in that stored in the.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190155687A KR102251807B1 (en) | 2019-11-28 | 2019-11-28 | Hyperparameter Optimization Algorithm Recommendation Method and Optimization Algorithm Recommendation System |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190155687A KR102251807B1 (en) | 2019-11-28 | 2019-11-28 | Hyperparameter Optimization Algorithm Recommendation Method and Optimization Algorithm Recommendation System |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102251807B1 true KR102251807B1 (en) | 2021-05-12 |
Family
ID=75918601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190155687A KR102251807B1 (en) | 2019-11-28 | 2019-11-28 | Hyperparameter Optimization Algorithm Recommendation Method and Optimization Algorithm Recommendation System |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102251807B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113312855A (en) * | 2021-07-28 | 2021-08-27 | 北京大学 | Search space decomposition-based machine learning optimization method, electronic device, and medium |
| WO2023022405A1 (en) * | 2021-08-20 | 2023-02-23 | (주)뤼이드 | Automated machine learning for pre-training |
| KR102545575B1 (en) * | 2022-07-21 | 2023-06-21 | (주)시큐레이어 | Method of providing subscription service for automatically recommending ai model using platform applied with dualized service flow adapted to each characteristic of each customer group and server using the same |
| US20230236960A1 (en) * | 2022-01-24 | 2023-07-27 | Cisco Technology, Inc. | Validation of a machine learning model |
| KR20230133021A (en) | 2022-03-10 | 2023-09-19 | 연세대학교 산학협력단 | Optimization system and method of AI algorithm for prediction coronary artery lesions based on FFR |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018147392A (en) * | 2017-03-08 | 2018-09-20 | 日本電信電話株式会社 | Model learning device, score calculation device, method, data structure, and program |
| KR20190048895A (en) * | 2017-10-31 | 2019-05-09 | 삼성에스디에스 주식회사 | Method For optimizing hyper-parameter automatically and Apparatus thereof |
| KR20190118937A (en) * | 2018-04-11 | 2019-10-21 | 삼성에스디에스 주식회사 | System and method for optimization of hyperparameter |
-
2019
- 2019-11-28 KR KR1020190155687A patent/KR102251807B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018147392A (en) * | 2017-03-08 | 2018-09-20 | 日本電信電話株式会社 | Model learning device, score calculation device, method, data structure, and program |
| KR20190048895A (en) * | 2017-10-31 | 2019-05-09 | 삼성에스디에스 주식회사 | Method For optimizing hyper-parameter automatically and Apparatus thereof |
| KR20190118937A (en) * | 2018-04-11 | 2019-10-21 | 삼성에스디에스 주식회사 | System and method for optimization of hyperparameter |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113312855A (en) * | 2021-07-28 | 2021-08-27 | 北京大学 | Search space decomposition-based machine learning optimization method, electronic device, and medium |
| CN113312855B (en) * | 2021-07-28 | 2021-12-10 | 北京大学 | Search space decomposition-based machine learning optimization method, electronic device, and medium |
| WO2023022405A1 (en) * | 2021-08-20 | 2023-02-23 | (주)뤼이드 | Automated machine learning for pre-training |
| US20230236960A1 (en) * | 2022-01-24 | 2023-07-27 | Cisco Technology, Inc. | Validation of a machine learning model |
| US11983104B2 (en) * | 2022-01-24 | 2024-05-14 | Cisco Technology, Inc. | Validation of a machine learning model |
| KR20230133021A (en) | 2022-03-10 | 2023-09-19 | 연세대학교 산학협력단 | Optimization system and method of AI algorithm for prediction coronary artery lesions based on FFR |
| KR102545575B1 (en) * | 2022-07-21 | 2023-06-21 | (주)시큐레이어 | Method of providing subscription service for automatically recommending ai model using platform applied with dualized service flow adapted to each characteristic of each customer group and server using the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102251807B1 (en) | Hyperparameter Optimization Algorithm Recommendation Method and Optimization Algorithm Recommendation System | |
| JP6555015B2 (en) | Machine learning management program, machine learning management apparatus, and machine learning management method | |
| US11423082B2 (en) | Methods and apparatus for subgraph matching in big data analysis | |
| US8990145B2 (en) | Probabilistic data mining model comparison | |
| JP2019079214A (en) | Search method, search device and search program | |
| US10215814B2 (en) | System and method for cognitive alarm management for the power grid | |
| US10331681B1 (en) | Crowdsourced evaluation and refinement of search clusters | |
| US20190354796A1 (en) | Systems and Methods for Slate Optimization with Recurrent Neural Networks | |
| Fan et al. | Adaptive partition intuitionistic fuzzy time series forecasting model | |
| KR102124425B1 (en) | Method and apparatus for estimating a predicted time series data | |
| KR102480518B1 (en) | Method for credit evaluation model update or replacement and apparatus performing the method | |
| US20220180287A1 (en) | Optimization support apparatus and method | |
| CN110674860A (en) | Feature selection method based on neighborhood search strategy, storage medium and terminal | |
| US9466031B1 (en) | Data-agnostic methods and systems for ranking and updating beliefs | |
| WO2022166125A1 (en) | Recommendation system with adaptive weighted baysian personalized ranking loss | |
| JP6203313B2 (en) | Feature selection device, feature selection method, and program | |
| JP2009265729A (en) | Estimating device and method, and program | |
| US20230214668A1 (en) | Hyperparameter adjustment device, non-transitory recording medium in which hyperparameter adjustment program is recorded, and hyperparameter adjustment program | |
| Mothe et al. | Predicting the best system parameter configuration: The (per parameter learning) PPL method | |
| Zeng et al. | Design and implementation of an estimator of fractal dimension using fuzzy techniques | |
| US20240062105A1 (en) | Information processing apparatus, information processing method, and recording medium | |
| KR102314847B1 (en) | Optimal model seeking method and apparatus | |
| JP7436830B2 (en) | Learning programs, learning methods, and learning devices | |
| US20210073651A1 (en) | Model generating method and model generating apparatus | |
| KR102468160B1 (en) | Method for supporting training machine learning model by recommending optimized hyper parameter values automatically and hyper parameter recommendation server using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |