KR102497543B1 - Military demand prediction model and practical system using machine learning - Google Patents

Military demand prediction model and practical system using machine learning Download PDF

Info

Publication number
KR102497543B1
KR102497543B1 KR1020210013521A KR20210013521A KR102497543B1 KR 102497543 B1 KR102497543 B1 KR 102497543B1 KR 1020210013521 A KR1020210013521 A KR 1020210013521A KR 20210013521 A KR20210013521 A KR 20210013521A KR 102497543 B1 KR102497543 B1 KR 102497543B1
Authority
KR
South Korea
Prior art keywords
data
military
demand
item
model
Prior art date
Application number
KR1020210013521A
Other languages
Korean (ko)
Other versions
KR20220089591A (en
Inventor
유성준
구영현
정다운
정원희
강아영
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Publication of KR20220089591A publication Critical patent/KR20220089591A/en
Application granted granted Critical
Publication of KR102497543B1 publication Critical patent/KR102497543B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0637Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G06Q10/06375Prediction of business process outcome or impact based on a proposed change
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0633Workflow analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services

Abstract

머신러닝을 사용한 군 수리부속 수요예측 모델과 실용화 시스템이 개시된다. 수요예측 실용화 서버에서 수행되는 군 수리부속 수요예측 방법은, 모델 개발 서버를 통해 구성된 군 수리부속 수요예측을 위한 학습 모델에 과거의 군 데이터를 입력받는 단계; 상기 입력받은 과거의 군 데이터를 이용하여 상기 학습 모델을 재학습시키는 단계; 상기 재학습을 통해 업데이트된 학습 모델에 새로운 군 데이터를 입력받는 단계; 및 상기 업데이트된 학습 모델을 이용하여 새로운 군 데이터에 대한 군 수리부속 수요정보를 예측하는 단계를 포함할 수 있다. A demand forecasting model for military repair parts using machine learning and a commercialization system are disclosed. The method for predicting demand for military repair parts, which is performed in a demand forecasting commercialization server, includes receiving past military data into a learning model for forecasting demand for military repair parts configured through a model development server; re-learning the learning model using the inputted past group data; receiving new group data into the learning model updated through the re-learning; and predicting demand information for military repair parts for new military data using the updated learning model.

Description

머신러닝을 사용한 군 수리부속 수요예측 모델과 실용화 시스템{MILITARY DEMAND PREDICTION MODEL AND PRACTICAL SYSTEM USING MACHINE LEARNING} Demand forecasting model for military repair parts using machine learning and practical system {MILITARY DEMAND PREDICTION MODEL AND PRACTICAL SYSTEM USING MACHINE LEARNING}

아래의 설명은 군 데이터를 이용하여 군 수리부속 수요를 예측하는 기술에 관한 것이다. The description below relates to techniques for predicting demand for military repair parts using military data.

현재 군의 무기 체계별 적정 유지비 산출에 논리 및 방법론이 취약한 상태로 장기 비수요 및 잉여품목이 발생해 장비 가용도가 낮은 상황이다. 그리고 이로 인해 예산의 효율적인 사용이 이루어지지 않고 있어 개선이 필요한 상태이다. 이와 같은 문제는 과거 수요실적의 단순 집계와 수요 담당관의 판단에 의존하기 때문이며 이러한 이유로 효율적인 관리 체계가 요구되는 수리부속 측면에서 한국군의 수리부속 수요예측 정확도는 현재 품목 기준 70% 정도에 불과하다. 기존의 수리부속 수요예측에는 이동평균법, 지수평활법, 최소자승법 등의 전통적인 통계적 모형을 적용하고 있다.Currently, the military's logic and methodology for calculating the appropriate maintenance cost for each weapon system are weak, and equipment availability is low due to long-term non-demand and surplus items. And because of this, the budget is not being used efficiently, and improvement is needed. This problem is due to the simple aggregation of past demand performance and reliance on the judgment of the demand officer. For this reason, the accuracy of forecasting demand for repair parts for the Korean military in terms of repair parts requiring an efficient management system is only about 70% based on current items. Traditional statistical models such as moving average method, exponential smoothing method, and least squares method are applied to the existing repair parts demand forecasting.

현재 군에서는 수요실적의 단순 집계와 전통적인 통계적 모형, 수요 담당관의 판단에 의존해 수리부속 수요예측을 진행하고 있다. 이로 인해 품목 기준 정확도 70%에 그쳐 효율적인 예산 활용이 이루어지지 못하고 군의 장비 가용도가 낮은 문제를 가지고 있다. Currently, the county relies on simple aggregation of demand performance, traditional statistical models, and the judgment of demand officers to forecast demand for repair parts. As a result, the item-based accuracy is only 70%, which prevents efficient budget utilization and has a problem of low availability of equipment in the military.

수요 관련 다양한 데이터와 머신러닝 알고리즘을 사용한 수요예측 모델과 군 내부에서 독립적으로 모델을 업데이트할 수 있는 시스템 및 방법을 제안한다. We propose a demand forecasting model using various demand-related data and machine learning algorithms, and a system and method that can independently update the model within the military.

또한, 군 외부에서 개발한 모델을 군 내부에서 외부의 개입 없이 재학습, 업데이트에 활용할 수 있는 통합 시스템 및 방법을 제안한다. In addition, we propose an integrated system and method that can utilize models developed outside the military for relearning and updating within the military without outside intervention.

수요예측 실용화 서버에서 수행되는 군 수리부속 수요예측 방법은, 모델 개발 서버를 통해 구성된 군 수리부속 수요예측을 위한 학습 모델에 과거의 군 데이터를 입력받는 단계; 상기 입력받은 과거의 군 데이터를 이용하여 상기 학습 모델을 재학습시키는 단계; 상기 재학습을 통해 업데이트된 학습 모델에 새로운 군 데이터를 입력받는 단계; 및 상기 업데이트된 학습 모델을 이용하여 새로운 군 데이터에 대한 군 수리부속 수요정보를 예측하는 단계를 포함할 수 있다. The method for predicting demand for military repair parts, which is performed in a demand forecasting commercialization server, includes receiving past military data into a learning model for forecasting demand for military repair parts configured through a model development server; re-learning the learning model using the inputted past group data; receiving new group data into the learning model updated through the re-learning; and predicting demand information for military repair parts for new military data using the updated learning model.

상기 재학습시키는 단계는, 상기 입력받은 과거의 군 데이터를 이용하여 복수 개의 알고리즘 모델을 재학습하고, 상기 재학습된 복수 개의 알고리즘 모델에 대한 검증 및 테스트를 통해 품목별 최적 모델을 재선정하고, 상기 재선정된 품목별 최적 모델에 기초하여 상기 학습 모델을 업데이트하는 단계를 포함할 수 있다. In the re-learning step, a plurality of algorithm models are re-learned using the inputted past group data, an optimal model for each item is re-selected through verification and testing of the re-learned plurality of algorithm models, and the re-learning is performed. Updating the learning model based on the selected optimal model for each item may be included.

상기 새로운 군 데이터는, 기 설정된 시점을 기준으로 발생한 분기별 군 데이터를 의미하고, 상기 새로운 군 데이터를 입력받는 단계는, 상기 업데이트된 학습 모델을 이용하여 상기 기 설정된 시점을 기준으로 발생한 분기별 군 데이터에 대한 분기 단위의 군 수리부속 수요예측 결과를 획득하고, 상기 획득된 군 수리부속 수요예측 결과를 저장하는 단계를 포함할 수 있다. The new group data means quarterly group data generated based on a preset time point, and the step of receiving the new group data is a quarterly group generated based on the preset time point using the updated learning model. Obtaining a result of forecasting demand for military repair parts on a quarterly basis for the data, and storing the obtained result of forecasting demand for military repair parts.

상기 입력받는 단계는, 과거의 품목 수요 정보, 운용 정보, 부대 정보를 포함하는 군 데이터에 대한 데이터 통합, 이상치와 결측값 처리 및 스케일링을 포함하는 전처리를 수행하는 단계를 포함할 수 있다. The receiving of the input may include performing preprocessing including data integration, outlier and missing value processing, and scaling on military data including past item demand information, operation information, and unit information.

상기 입력받는 단계는, 상기 전처리를 수행한 군 데이터를 학습 데이터, 검증 데이터 및 테스트 데이터로 분할하는 단계를 포함할 수 있다. The receiving of the input may include dividing the preprocessed group data into training data, verification data, and test data.

상기 학습 모델은, 상기 모델 개발 서버에서 과거의 품목 수요 정보, 운용 정보, 부대 정보를 포함하는 군 데이터에 대한 데이터 통합, 이상치와 결측값 처리 및 스케일링을 포함하는 전처리가 수행되고, 상기 전처리를 수행한 군 데이터가 학습 데이터, 검증 데이터 및 테스트 데이터로 분할되고, 상기 입력받은 군 데이터를 이용하여 상기 학습 모델의 머신러닝 알고리즘에 기초하여 복수 개의 알고리즘 모델이 도출되고, 상기 도출된 복수 개의 알고리즘 모델에 대한 검증 및 테스트를 통해 품목별 최적 모델이 재선정되고, 상기 재선정된 품목별 최적 모델에 기초하여 상기 학습 모델이 구성된 것일 수 있다. In the learning model, preprocessing including data integration, outlier and missing value processing, and scaling for military data including past item demand information, operation information, and unit information is performed in the model development server, and the preprocessing is performed. One group data is divided into training data, verification data, and test data, and a plurality of algorithm models are derived based on the machine learning algorithm of the learning model using the input group data, and the plurality of algorithm models are derived. An optimal model for each item may be re-selected through verification and testing for each item, and the learning model may be configured based on the re-selected optimal model for each item.

군 수리부속 수요예측을 위한 수요예측 실용화 서버는, 모델 개발 서버를 통해 구성된 군 수리부속 수요예측을 위한 학습 모델에 과거의 군 데이터를 입력받는 과거 데이터 입력부; 상기 입력받은 과거의 군 데이터를 이용하여 상기 학습 모델을 재학습시키는 재학습부; 상기 재학습을 통해 업데이트된 학습 모델에 새로운 군 데이터를 입력받는 새로운 데이터 입력부; 및 상기 업데이트된 학습 모델을 이용하여 새로운 군 데이터에 대한 군 수리부속 수요정보를 예측하는 예측부를 포함할 수 있다. The demand forecasting commercialization server for demand forecasting for military repair parts includes: a past data input unit that receives past military data into a learning model for demand forecasting for military repair parts configured through a model development server; a re-learning unit for re-learning the learning model using the received past group data; a new data input unit that receives new group data into the learning model updated through the re-learning; and a prediction unit that predicts demand information for military repair parts for new military data using the updated learning model.

상기 재학습부는, 상기 입력받은 과거의 군 데이터를 이용하여 복수 개의 알고리즘 모델을 재학습하고, 상기 재학습된 복수 개의 알고리즘 모델에 대한 검증 및 테스트를 통해 품목별 최적 모델을 재선정하고, 상기 재선정된 품목별 최적 모델에 기초하여 상기 학습 모델을 업데이트할 수 있다. The re-learning unit re-learns a plurality of algorithm models using the received past group data, re-selects an optimal model for each item through verification and testing of the re-learned plurality of algorithm models, and re-selects the re-selected algorithm models. The learning model may be updated based on an optimal model for each item.

상기 새로운 군 데이터는, 기 설정된 시점을 기준으로 발생한 분기별 군 데이터를 의미하고, 상기 새로운 데이터 입력부는, 상기 업데이트된 학습 모델을 이용하여 상기 기 설정된 시점을 기준으로 발생한 분기별 군 데이터에 대한 분기 단위의 군 수리부속 수요예측 결과를 획득하고, 상기 획득된 군 수리부속 수요예측 결과를 저장할 수 있다. The new group data means quarterly group data generated based on a preset time point, and the new data input unit uses the updated learning model to branch the quarterly group data generated based on the preset time point. A demand forecasting result for military repair parts for a unit may be obtained, and the acquired demand forecasting result for military repair parts may be stored.

상기 과거 데이터 입력부는, 과거의 품목 수요 정보, 운용 정보, 부대 정보를 포함하는 군 데이터에 대한 데이터 통합, 이상치와 결측값 처리 및 스케일링을 포함하는 전처리를 수행할 수 있다. The past data input unit may perform pre-processing including data integration, outlier and missing value processing, and scaling on military data including past item demand information, operation information, and unit information.

상기 과거 데이터 입력부는, 상기 전처리를 수행한 군 데이터를 학습 데이터, 검증 데이터 및 테스트 데이터로 분할할 수 있다. The past data input unit may divide the preprocessed group data into training data, verification data, and test data.

상기 학습 모델은, 상기 모델 개발 서버에서 과거의 품목 수요 정보, 운용 정보, 부대 정보를 포함하는 군 데이터에 대한 데이터 통합, 이상치와 결측값 처리 및 스케일링을 포함하는 전처리가 수행되고, 상기 전처리를 수행한 군 데이터가 학습 데이터, 검증 데이터 및 테스트 데이터로 분할되고, 상기 입력받은 군 데이터를 이용하여 상기 학습 모델의 머신러닝 알고리즘에 기초하여 복수 개의 알고리즘 모델이 도출되고, 상기 도출된 복수 개의 알고리즘 모델에 대한 검증 및 테스트를 통해 품목별 최적 모델이 재선정되고, 상기 재선정된 품목별 최적 모델에 기초하여 상기 학습 모델이 구성된 것일 수 있다. In the learning model, preprocessing including data integration, outlier and missing value processing, and scaling for military data including past item demand information, operation information, and unit information is performed in the model development server, and the preprocessing is performed. One group data is divided into training data, verification data, and test data, and a plurality of algorithm models are derived based on the machine learning algorithm of the learning model using the input group data, and the plurality of algorithm models are derived. An optimal model for each item may be re-selected through verification and testing for each item, and the learning model may be configured based on the re-selected optimal model for each item.

머신러닝을 사용한 군 수리부속 수요예측을 위한 실용화 시스템은, 과거의 군 데이터를 이용하여 군 수리부속 수요예측을 위한 학습 모델을 구성하는 모델 개발 서버; 및 상기 모델 개발 서버로부터 구성된 학습 모델의 재학습을 통해 업데이트된 학습 모델에 새로운 군 데이터를 입력하고, 상기 업데이트된 학습 모델을 이용하여 새로운 군 데이터에 대한 군 수리부속 수요정보를 예측하는 수요예측 실용화 서버를 포함할 수 있다. A practical system for predicting demand for military repair parts using machine learning includes a model development server that configures a learning model for demand forecast for military repair parts using past military data; And practical use of demand forecasting that inputs new military data to the learning model updated through re-learning of the learning model configured from the model development server, and predicts demand information for military repair parts for the new military data using the updated learning model. Servers may be included.

상기 모델 개발 서버는, 과거의 품목 수요 정보, 운용 정보, 부대 정보를 포함하는 군 데이터에 대한 데이터 통합, 이상치와 결측값 처리 및 스케일링을 포함하는 전처리를 수행하고, 상기 전처리를 수행한 군 데이터를 학습 데이터, 검증 데이터 및 테스트 데이터로 분할하고, 상기 입력받은 군 데이터 중 분할된 학습 데이터를 이용하여 상기 학습 모델의 머신러닝 알고리즘에 기초하여 복수 개의 알고리즘 모델을 도출하고, 상기 분할된 검증 데이터 및 테스트 데이터를 이용하여 상기 도출된 복수 개의 알고리즘 모델에 대한 검증 및 테스트를 통해 품목별 최적 모델을 재선정하고, 상기 재선정된 품목별 최적 모델에 기초하여 상기 학습 모델을 구성할 수 있다. The model development server performs pre-processing including data integration, outlier and missing value processing, and scaling on military data including past item demand information, operation information, and unit information, and stores military data after the pre-processing. Divide into training data, verification data, and test data, derive a plurality of algorithm models based on the machine learning algorithm of the learning model using the divided training data among the input group data, and derive the divided verification data and test data An optimal model for each item may be re-selected through verification and testing of the plurality of algorithm models derived above using data, and the learning model may be configured based on the re-selected optimal model for each item.

상기 수요예측 실용화 서버는, 과거의 품목 수요 정보, 운용 정보, 부대 정보를 포함하는 군 데이터에 대한 데이터 통합, 이상치와 결측값 처리 및 스케일링을 포함하는 전처리를 수행하고, 상기 전처리를 수행한 군 데이터를 학습 데이터, 검증 데이터 및 테스트 데이터로 분할하고, 입력받은 군 데이터 중 분할된 학습 데이터를 이용하여 복수 개의 알고리즘 모델을 재학습하고, 상기 분할된 검증 데이터 및 테스트 데이터를 이용하여 상기 재학습된 복수 개의 알고리즘 모델에 대한 검증 및 테스트를 통해 품목별 최적 모델을 재선정하고, 상기 재선정된 품목별 최적 모델에 기초하여 학습 모델을 업데이트할 수 있다. The demand forecasting practical server performs pre-processing including data integration, outlier and missing value processing, and scaling on military data including past item demand information, operation information, and unit information, and performs the pre-processing on military data. divided into learning data, verification data, and test data, re-learning a plurality of algorithm models using the divided learning data among the input group data, and using the divided verification data and test data to re-learn the plurality of An optimal model for each item may be reselected through verification and testing of the algorithm models, and the learning model may be updated based on the reselected optimal model for each item.

상기 수요예측 실용화 서버는, 상기 업데이트된 학습 모델에 기 설정된 시점을 기준으로 발생한 분기별 군 데이터에 대한 분기 단위의 군 수리부속 수요예측 결과를 획득하고, 상기 획득된 군 수리부속 수요예측 결과를 저장할 수 있다. The demand forecasting commercialization server obtains quarterly military repair parts demand forecast results for quarterly military data generated based on a time point preset in the updated learning model, and stores the obtained military repair parts demand forecast results. can

군이 외부와의 접촉 없이 내부에서 군 데이터를 사용해 수요예측 모델을 주기적으로 업데이트할 수 있고, 성능이 향상된 모델과 결과를 통해 군 수리부속 수요를 정확하게 예측하고, 보안성을 향상시킬 수 있다. The military can periodically update the demand forecasting model using military data internally without contacting the outside world, accurately predicting demand for military repair parts and improving security through improved models and results.

군의 전통적인 통계적 기법에서 더 나아가 머신러닝, 딥러닝 모델을 통한 수요예측을 실행하고, 주기적으로 모델을 업데이트 함으로써 성능을 고도화할 수 있다. Going further than the military's traditional statistical techniques, demand forecasting through machine learning and deep learning models can be performed, and performance can be improved by periodically updating the model.

군이 기존에 운영하고 있는 수요예측 방법의 문제를 해결함으로써 군의 전투력을 향상시킬 수 있다.The combat power of the military can be improved by solving the problem of the demand forecasting method that the military is currently operating.

도 1은 일 실시예에 따른 군 수리부속 수요예측을 위한 실용화 시스템의 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 있어서, 모델 개발 서버의 동작을 설명하기 위한 도면이다.
도 3 내지 도 9는 일 실시예에 있어서, 학습 모델에서 사용되는 머신러닝 알고리즘을 설명하기 위한 예이다.
도 10은 일 실시예에 있어서, 수요예측 실용화 서버의 동작을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 수요예측 실용화 서버의 구성을 설명하기 위한 블록도이다.
도 12는 일 실시예에 따른 수요예측 실용화 서버에서 머신러닝을 사용한 군 수리부속 수요예측 방법을 설명하기 위한 흐름도이다.
1 is a diagram for explaining the operation of a practical system for predicting demand for military repair parts according to an embodiment.
2 is a diagram for explaining the operation of a model development server according to an embodiment.
3 to 9 are examples for explaining a machine learning algorithm used in a learning model according to an embodiment.
10 is a diagram for explaining the operation of a demand forecasting commercialization server according to an embodiment.
11 is a block diagram for explaining the configuration of a demand forecasting commercialization server according to an embodiment.
12 is a flowchart illustrating a method for predicting demand for military repair parts using machine learning in a demand prediction commercialization server according to an embodiment.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, an embodiment will be described in detail with reference to the accompanying drawings.

실시예에서는 수요예측을 위한 활용 데이터 확장, 다양한 기계학습 알고리즘을 활용한 수요예측 모델 개발, 그리고 이를 군의 수요 담당관이 활용할 수 있도록 지원하는 실용화 시스템 및 방법에 대하여 설명하기로 한다. In the embodiment, the application data expansion for demand forecasting, the development of a demand forecasting model using various machine learning algorithms, and the commercialization system and method for supporting the use by the military demand officer will be described.

군의 기존 수요예측 모델은 품목의 수요실적에 대한 단순 수치만 사용하는 반면에 실시예에서는 품목 수요, 운용 정보, 부대 정보를 통합해 사용할 수 있다. 전차와 항공기의 부속 품목의 수요는 대상 호기의 운용 이력과 운용되는 부대의 특성에 영향을 받기 때문에 이에 대한 데이터를 분석에 추가해 활용할 수 있다. While the military's existing demand forecasting model uses only simple figures for item demand performance, in the embodiment, item demand, operation information, and unit information can be integrated and used. Since the demand for accessories for tanks and aircraft is affected by the operation history of the target unit and the characteristics of the unit in operation, data on this can be added to the analysis and used.

또한, 기존의 통계적 모델의 한계를 넘기 위해 딥러닝 알고리즘과 머신러닝 알고리즘을 사용해 수요예측 모델을 개발한다. 앙상블 기법의 머신러닝 알고리즘과 딥러닝 알고리즘을 사용해 수요 예측 모델을 학습, 테스트해 우수한 성능의 모델을 도출할 수 있다. In addition, to overcome the limitations of existing statistical models, a demand forecasting model is developed using deep learning algorithms and machine learning algorithms. Demand prediction models can be learned and tested using ensemble machine learning algorithms and deep learning algorithms to derive models with excellent performance.

또한, 군 외부에서 개발한 모델을 군 내부에서 외부의 개입 없이 재학습, 업데이트해 활용할 수 있는 통합 시스템을 제안한다. 실시예를 통해 군이 외부와의 접촉 없이 내부에서 군의 데이터를 사용해 수요예측 모델을 주기적으로 업데이트할 수 있고, 성능이 향상된 모델과 결과를 통해 기존의 문제를 해결할 수 있다.In addition, we propose an integrated system that allows the military to relearn, update, and utilize models developed outside the military without outside intervention. Through the embodiment, the military can periodically update the demand forecasting model using the military data internally without contacting the outside, and the existing problems can be solved through improved models and results.

도 1은 일 실시예에 따른 군 수리부속 수요예측을 위한 실용화 시스템의 동작을 설명하기 위한 도면이다. 1 is a diagram for explaining the operation of a practical system for predicting demand for military repair parts according to an embodiment.

군 수리부속 수요예측을 위한 실용화 시스템(100)은 모델 개발 서버(110) 및 수요예측 실용화 서버(120)를 포함할 수 있다. The commercialization system 100 for demand forecasting for military repair parts may include a model development server 110 and a demand forecasting commercialization server 120 .

모델 개발 서버(110)는 군에서 제공하는 과거의 군 데이터(예를 들면, 과거 10년간 품목 수요, 운용, 부대 정보 데이터)를 사용해 수요예측 모델을 개발할 수 있다. 모델 개발 서버(110)는 데이터 전처리, 데이터 분할에 대한 작업이 이루어지며 머신러닝 알고리즘에 군 데이터를 입력해 수요예측 모델(학습 모델)을 학습, 테스트할 수 있다. 학습 결과 한 개 품목 당 복수(예를 들면, 7)개 모델이 도출되며 테스트 결과 1개의 최적 모델이 선정될 수 있다. 모델 개발 서버(110)는 각 품목의 최적 모델을 수요예측 실용화 서버(120)에 이전할 수 있다.The model development server 110 may develop a demand forecasting model using past military data provided by the military (eg, item demand, operation, and unit information data for the past 10 years). The model development server 110 performs data preprocessing and data segmentation, and can learn and test a demand forecasting model (learning model) by inputting group data into a machine learning algorithm. As a result of learning, multiple (eg, 7) models are derived for each item, and as a result of testing, one optimal model may be selected. The model development server 110 may transfer the optimal model of each item to the demand forecasting commercialization server 120 .

수요예측 실용화 서버(120)는 군 내부에서 독립적으로 운영되는 서버이다. 수요예측 실용화 서버(120)는 군의 실제 데이터 마트에서 데이터를 가져와 수요예측 모델(학습 모델)을 재학습하고 업데이트할 수 있다. 예를 들면, 수요예측 실용화 서버(120)는 데이터 마트에서 과거의 군 데이터(최근 10년 이상의 기간에 해당하는 데이터)를 가져와 모델 개발 서버(110)와 동일한 데이터 전처리, 데이터 분할 작업을 거치고 7개 알고리즘 모델을 재학습, 품목별 최적 모델을 다시 선정해 업데이트할 수 있다. 업데이트한 모델에는 최근 N분기 데이터가 입력되고 품목의 분기 단위 수요예측 결과를 도출, 군의 데이터베이스에 입력할 수 있다. 단, 서버 이관 후 초기 모델은 모델 개발 서버(110)에서 도출한 최적 모델을 사용한다. 이와 같은 모델 재학습, 업데이트, 수요예측을 외부의 개입 없이 독립적, 반복적으로 수행될 수 있다. The demand forecasting commercialization server 120 is a server independently operated within the military. The demand forecasting commercialization server 120 may relearn and update the demand forecasting model (learning model) by importing data from the actual data mart of the county. For example, the demand forecasting commercialization server 120 takes past military data (data corresponding to a period of more than 10 years) from the data mart, undergoes the same data pre-processing and data segmentation work as the model development server 110, and The algorithm model can be relearned, and the optimal model for each item can be re-selected and updated. The latest N quarter data is input into the updated model, and the quarterly demand forecast results for the item can be derived and entered into the military database. However, as the initial model after transfer to the server, the optimal model derived from the model development server 110 is used. Such model relearning, updating, and demand forecasting can be independently and repeatedly performed without external intervention.

학습 데이터는 품목 정보(품목 수요 관련 정보), 운용 정보, 부대 정보를 포함하는 군 데이터로 이루어질 수 있다. 각 카테고리에 해당하는 요소와 이를 사용하는 이유를 서술하면 다음과 같다. 첫 번째로, 품목 정보(품목 수요 관련 정보)는 품목 번호, 품목의 단가, 고단가 품목 여부, 품목의 유형, 해당 분기에 발생한 수요량으로 이루어진다. 기존 군의 수요예측 모델은 해당 분기에 발생한 수요량만 사용하는데 그쳤지만 실시예에서는 품목의 특성을 모델 학습에 반영하기 위해 단가, 유형 등을 추가로 사용할 수 있다. 두 번째로, 운용 정보는 해당 호기 즉, 전투기나 전차의 운용 대수, 운용 횟수, 운용 시간 등으로 구성될 수 있다. 품목의 수요는 품목을 사용하는 호기의 운용 정도에 크게 영향을 받는다. 따라서 해당 분기에 운용된 전투기와 전차의 정보를 모델 학습에 사용할 수 있다. 마지막으로. 부대 정보는 부대의 지역적인 특성을 반영하기 위해 해당 지역의 기상 정보인 기온, 기압, 습도, 강수량 등으로 구성된다. 항공기나 전차의 장비는 기상 요건 중 특히 습도와 강수량의 영향을 크게 받는다. 따라서 실시예에서는 모델의 학습에 해당 품목의 수요가 이루어지는 부대의 지역적인 특성인 기상 정보를 학습에 사용할 수 있다. The learning data may consist of military data including item information (item demand related information), operation information, and unit information. The elements corresponding to each category and the reasons for using them are described as follows. First, item information (information related to item demand) consists of the item number, unit price of item, high unit price item, type of item, and quantity of demand generated in the corresponding quarter. Existing demand forecasting models of the group used only the amount of demand generated in the corresponding quarter, but in the embodiment, unit price, type, etc. can be additionally used to reflect the characteristics of items in model learning. Second, the operation information may consist of the number of units in operation, that is, the number of fighters or tanks operated, the number of operations, and the operation time. The demand for an item is greatly influenced by the degree of operation of units using the item. Therefore, information on fighters and tanks operated in the corresponding branch can be used for model learning. finally. Unit information consists of weather information such as temperature, atmospheric pressure, humidity, and precipitation in the region to reflect the regional characteristics of the unit. Aircraft and tank equipment are greatly affected by weather conditions, especially humidity and precipitation. Therefore, in the embodiment, weather information, which is a regional characteristic of a military unit in which demand for a corresponding item is made, may be used for model learning.

상세하게는, 도 2를 참고하면, 모델 개발 서버의 동작을 설명하기 위한 도면이다. 모델 개발 서버(110)에서는 군에서 제공하는 과거 10년간의 품목 수요, 운용 정보 및 부대 정보를 포함하는 군 데이터를 사용하여 수요예측 모델을 구성할 수 있다. In detail, referring to Figure 2, it is a diagram for explaining the operation of the model development server. In the model development server 110, a demand forecasting model may be configured using military data including item demand, operation information, and unit information for the past 10 years provided by the military.

모델 개발 서버(110)는 데이터 전처리, 데이터 분할 및 학습/테스트 동작을 수행할 수 있다. 모델 개발 서버(110)는 머신러닝 알고리즘에 과거 10년간의 군 데이터를 입력하여 수요예측 모델을 학습 및 테스트할 수 있다. The model development server 110 may perform data preprocessing, data segmentation, and learning/testing operations. The model development server 110 may learn and test a demand forecasting model by inputting military data for the past 10 years into a machine learning algorithm.

이때, 학습용 데이터베이스에 품목 수요 정보, 운용 정보, 부대 정보를 포함하는 군 데이터가 저장되어 있을 수 있다. 다시 말해서, 군 데이터를 학습 데이터로 사용할 수 있다. 군 데이터는, 품목의 수요량, 품목 유형 등의 데이터와 해당 품목을 사용하는 호기의 운용 정보, 운용 환경, 해당 부대 정보를 포함할 수 있다. 예를 들면, 모델 개발 서버는 학습용 데이터베이스에 저장된 과거 10년간의 군 데이터를 이용할 수 있다. 여기서, 과거 10년간의 군 데이터란 현재 시점 또는 기 설정된 시점을 기준으로 과거 10년간의 데이터를 의미할 수 있다. In this case, military data including item demand information, operation information, and unit information may be stored in the learning database. In other words, group data can be used as training data. Military data may include data such as quantity demanded of an item and type of item, operation information of units using the corresponding item, operation environment, and corresponding unit information. For example, the model development server may use military data for the past 10 years stored in a training database. Here, the group data for the past 10 years may mean data for the past 10 years based on a current time point or a preset time point.

모델 개발 서버(110)는 과거 10년간의 군 데이터에 대한 데이터 전처리 동작을 수행할 수 있다. 데이터 전처리 동작에는 데이터 통합, 이상치/결측값 처리 및 스케일링(scaling)이 포함될 수 있다. 모델 개발 서버(110)는 데이터를 통합할 수 있다. 이때, 각 군 데이터 또는 군 데이터의 종류에 따라 데이터 형식이 다를 수 있다. 모델 개발 서버(110)는 과거 10년간의 군 데이터를 수집할 뿐만 아니라 과거 10년간의 군 데이터를 통합할 수 있다. 또는, 모델 개발 서버(110)는 군 데이터로부터 각 항목별 데이터를 통합할 수 있다. 또한, 모델 개발 서버(110)는 과거 10년간의 군 데이터의 이상치 및 결측값을 처리할 수 있다. 예를 들면, 모델 개발 서버는 데이터의 이상치 및 결측값을 제거할 수 있다. 이때, 이상치 및 결측값을 판단하는 기준은 사전에 기 설정된 값이 설정되어 있을 수 있으며, 설정된 기 설정된 값을 비교하여 과거 10년간의 군 데이터로부터 이상치 및 결측값을 제거할 수 있다. 또한, 모델 개발 서버(110)는 과거 10년간의 군 데이터의 스케일링을 수행할 수 있다. 예를 들면, 데이터에서 각 특징의 평균을 0, 분산을 1로 변경하거나, 데이터에서 추출된 특징이 0 내지 1 사이 값을 가지도록 할 수 있다. 상기 언급한 스케일링 방법 이외에도 다양한 스케일링 방법이 적용될 수 있다. 이에, 스케일링 작업을 통해 모델이 학습하기에 적합한 데이터 셋을 구축할 수 있다. The model development server 110 may perform a data pre-processing operation on military data of the past 10 years. Data preprocessing operations may include data integration, outlier/missing value processing, and scaling. The model development server 110 may integrate data. In this case, the data format may be different according to each group data or the type of group data. The model development server 110 may not only collect military data for the past 10 years, but also integrate military data for the past 10 years. Alternatively, the model development server 110 may integrate data for each item from group data. In addition, the model development server 110 may process outliers and missing values of group data for the past 10 years. For example, the model development server can remove outliers and missing values from the data. In this case, a preset value may be set as a criterion for determining outliers and missing values, and outliers and missing values may be removed from the group data for the past 10 years by comparing the preset values. In addition, the model development server 110 may perform scaling of military data for the past 10 years. For example, the average of each feature in the data may be changed to 0 and the variance may be changed to 1, or features extracted from the data may have a value between 0 and 1. In addition to the aforementioned scaling method, various scaling methods may be applied. Thus, a data set suitable for model learning can be built through a scaling operation.

모델 개발 서버(110)는 과거 10년간의 군 데이터에 대한 데이터 전처리가 수행됨에 따라 데이터 분할 동작을 수행할 수 있다. 모델 개발 서버(110)는 전처리된 과거 10년간의 군 데이터를 분할할 수 있다. 모델 개발 서버(110)는 전처리된 과거 10년간의 군 데이터를 학습 데이터, 검증 데이터, 테스트 데이터로 분할할 수 있다. 이때, 학습 데이터, 검증 데이터 및 테스트 데이터로 분할하는 비율은 사용자 또는 컴퓨터에 의해 설정될 수 있으며, 설정된 비율값에 의해 학습 데이터, 검증 데이터 및 테스트 데이터가 분할될 수 있다. The model development server 110 may perform a data division operation as data pre-processing is performed on the group data of the past 10 years. The model development server 110 may divide pre-processed group data of the past 10 years. The model development server 110 may divide the preprocessed group data of the past 10 years into training data, verification data, and test data. In this case, the dividing ratio into training data, verification data, and test data may be set by a user or a computer, and learning data, verification data, and test data may be divided according to the set ratio value.

모델 개발 서버(110)는 데이터 분할이 수행됨에 따라 머신러닝 모델을 학습 및 테스트하는 동작을 수행할 수 있다. 모델 개발 서버는 과거 10년간의 군 데이터를 LSTM, DNN, Random Forest, Bagging, Gradient Boosting, Extra Trees, AdaBoost를 포함하는 복수 개의 머신러닝 알고리즘에 입력하여 수요예측 모델을 학습 및 테스트할 수 있다. 복수 개의 머신러닝 알고리즘에 대한 설명은 도 3 내지 도 9를 참고하기로 한다. The model development server 110 may perform an operation of learning and testing a machine learning model as data segmentation is performed. The model development server can learn and test demand forecasting models by inputting military data from the past 10 years into multiple machine learning algorithms including LSTM, DNN, Random Forest, Bagging, Gradient Boosting, Extra Trees, and AdaBoost. A description of a plurality of machine learning algorithms will be referred to FIGS. 3 to 9 .

예를 들면, 모델 개발 서버(110)는 학습 결과, 한 품목 당 총 7개의 모델을 도출할 수 있으며, 테스트 결과 1개의 최적 모델을 선정할 수 있다. 다시 말해서, 모델 개발 서버(110)는 7개의 머신러닝 알고리즘 각각에 대한 모델을 도출할 수 있으며, 검증 데이터 및 테스트 데이터를 이용하여 검증 및 테스트를 수행한 결과 1개의 최적 모델을 선정할 수 있다. 이때, 테스트 결과 정확도가 가장 높은 모델이 선정될 수 있다. 모델 개발 서버(110)는 각 품목의 최적 모델을 초기 모델로 설정할 수 있다. 모델 개발 서버(110)는 설정된 초기 모델을 수요예측 실용화 서버로 이전할 수 있다. For example, the model development server 110 may derive a total of 7 models per item as a learning result, and may select one optimal model as a test result. In other words, the model development server 110 may derive models for each of the seven machine learning algorithms, and may select one optimal model as a result of performing verification and testing using verification data and test data. At this time, a model having the highest accuracy as a result of the test may be selected. The model development server 110 may set an optimal model for each item as an initial model. The model development server 110 may transfer the set initial model to the demand forecasting commercialization server.

일례로, 모델 개발 서버(110)에서 이루어지는 작업을 예를 들어 서술하면 다음과 같다. 모델 개발 서버(110)는 품목 A에 대한 과거 10년 데이터를 가져와 전처리를 진행할 수 있다. 모델 개발 서버(110)는 학습, 검증, 테스트 데이터로 분할하는데 2010년부터 2017년까지의 데이터는 학습, 2018년부터 2019년까지의 데이터는 검증 데이터, 2020년 데이터는 테스트 데이터로 사용할 수 있다. 모델 개발 서버(110)는 분할한 데이터 셋을 7개 알고리즘에 적용해 모델을 학습, 검증, 테스트할 수 있다. 모델 개발 서버(110)는 테스트 결과, 2020년 수요예측 정확도가 가장 높은 모델을 해당 품목의 최적 모델로 선정할 수 있다.As an example, the work performed in the model development server 110 is described as follows. The model development server 110 may perform pre-processing by importing data of the past 10 years for item A. The model development server 110 divides data into learning, verification, and test data. Data from 2010 to 2017 can be used for learning, data from 2018 to 2019 can be used as verification data, and data from 2020 can be used as test data. The model development server 110 may learn, verify, and test a model by applying the divided data set to seven algorithms. As a result of the test, the model development server 110 may select a model having the highest demand prediction accuracy in 2020 as the optimal model for the corresponding item.

모델 개발 서버(110)는 복수 개의 머신러닝 알고리즘을 이용하여 한 품목당 7개 모델의 예측 결과를 도출하고, 도출된 예측 결과를 통해 품목별 최적 모델을 선정해 최종 학습 모델로 결정할 수 있다. 이와 같이 결정된 최종 학습 모델은 수요예측 실용화 서버로 이관되어 모델 재학습, 업데이트 전의 초기 모델로 사용될 수 있다. The model development server 110 derives prediction results of seven models per item using a plurality of machine learning algorithms, selects an optimal model for each item through the derived prediction results, and determines it as the final learning model. The final learning model determined in this way is transferred to the demand forecasting commercialization server and can be used as an initial model before model relearning and update.

상세하게는, 도 10을 참고하면, 수요예측 실용화 서버의 동작을 설명하기 위한 도면이다. 수요예측 실용화 서버(120)는 모델 개발 서버(110)로부터 이전받은 초기 모델(군 수리부속 수요예측을 위한 학습 모델)을 기반으로 수요예측을 진행하고, 이후부터는 업데이트되는 군 데이터를 기반으로 모델을 재학습, 업데이트, 다시 수요예측을 진행할 수 있다. In detail, referring to FIG. 10, it is a diagram for explaining the operation of the demand prediction commercialization server. The demand forecasting commercialization server 120 proceeds with demand forecasting based on the initial model (learning model for predicting demand for military repair parts) transferred from the model development server 110, and then develops a model based on updated military data. Re-learning, updating, and demand forecasting can be performed again.

수요예측 실용화 서버(120)는 외부와의 접속없이 군 내부에서 독립적으로 운영되는 서버이다. 수요예측 실용화 서버(120)는 수요예측 모델 재학습 및 업데이트 동작을 수행할 수 있다. 수요예측 실용화 서버(120)는 군의 실제 데이터 마트에 저장된 군 데이터를 이용하여 모델 재학습과 수요예측을 수행할 수 있다. 데이터 마트는 각 군(육군, 공군, 해군 등)과 관련된 데이터를 저장하는 데이터베이스를 의미할 수 있다. 데이터 마트에는 품목 수요 정보, 운용 정보, 부대 정보 및 수요 예측 결과를 포함하는 데이터를 포함할 수 있다. 이때, 데이터 마트에 군 데이터가 주기적 또는 비주기적으로 업데이트될 수 있다. 데이터 항목은 모델 개발 서버의 학습용 데이터베이스와 동일하고, 이를 학습 모델에 사용할 수 있다. 한편, 데이터 마트에 저장된 군 데이터는 학습용 데이터베이스의 군 데이터와 동일하거나 다를 수 있다. 예를 들면, 데이터 마트에 저장된 군 데이터는 학습용 데이터베이스에 저장된 군 데이터를 포함할 수 있고, 이외에도 군 데이터를 포함하는 부가 정보를 더 포함할 수 있다. The demand forecasting commercialization server 120 is a server independently operated inside the military without external connection. The demand forecasting commercialization server 120 may perform a demand forecasting model relearning and updating operation. The demand forecasting commercialization server 120 may perform model relearning and demand forecasting using group data stored in the actual data mart of the group. The data mart may refer to a database storing data related to each military force (army, air force, navy, etc.). The data mart may include data including item demand information, operation information, incidental information, and demand forecast results. In this case, group data may be periodically or non-periodically updated in the data mart. The data items are the same as the training database of the model development server, and can be used for the learning model. Meanwhile, the group data stored in the data mart may be the same as or different from the group data of the learning database. For example, the group data stored in the data mart may include group data stored in the learning database, and additional information including the group data may be further included.

수요예측 실용화 서버(120)는 품목의 과거 10년 이상의 축적된 군 데이터를 이용하여 초기 모델(군 수리부속 수요예측을 위한 학습 모델)을 재학습시킬 수 있다. 이때, 수요예측 실용화 서버(120)는 모델 개발 서버에서 사용하였던 동일한 과거 10년의 군 데이터를 사용할 수 있고, 또는 다른 데이터를 사용할 수 있다. 여기서, 과거 10년 이상의 군 데이터란 현재 시점 또는 기 설정된 시점을 기준으로 과거 10년, 과거 10년 이상의 데이터를 의미할 수 있다. 예를 들면, 수요예측 실용화 서버(120)는 데이터 마트에 각 군과 관련하여 저장된 과거 10년 이상의 축적된 군 데이터를 이용하여 초기 모델을 재학습시킬 수 있다. The demand forecasting commercialization server 120 may relearn an initial model (learning model for predicting demand for military repair parts) by using military data accumulated over the past 10 years or more of an item. At this time, the demand forecasting commercialization server 120 may use the same group data of the past 10 years used in the model development server, or may use other data. Here, the group data of the past 10 years or more may mean data of the past 10 years or more than 10 years based on a current time point or a preset time point. For example, the demand forecasting commercialization server 120 may relearn an initial model using accumulated group data for the past 10 years or more stored in relation to each group in a data mart.

수요예측 실용화 서버(120)는 데이터 전처리, 데이터 분할 및 학습/테스트 동작을 수행할 수 있다. 수요예측 실용화 서버(120)는 머신러닝 알고리즘에 과거 10년 이상의 군 데이터를 입력하여 초기 모델을 재학습 및 테스트할 수 있다. The demand forecasting commercialization server 120 may perform data preprocessing, data segmentation, and learning/testing operations. The demand forecasting commercialization server 120 may relearn and test an initial model by inputting military data for the past 10 years or more to the machine learning algorithm.

수요예측 실용화 서버(120)는 과거 10년 이상의 군 데이터에 대한 데이터 전처리 동작을 수행할 수 있다. 데이터 전처리 동작에는 데이터 통합, 이상치/결측값 처리 및 스케일링(scaling)이 포함될 수 있다. 상세하게는, 수요예측 실용화 서버(120)는 군 데이터를 통합할 수 있다. 이때, 각 군 데이터 또는 군 데이터의 종류에 따라 데이터 형식이 다를 수 있다. 수요예측 실용화 서버(120)는 과거 10년 이상의 군 데이터를 수집할 뿐만 아니라 과거 10년 이상의 군 데이터를 통합할 수 있다. 또는, 수요예측 실용화 서버(120)는 군 데이터로부터 각 항목별 데이터를 통합할 수 있다. 또한, 수요예측 실용화 서버(120)는 과거 10년간의 군 데이터의 이상치 및 결측값을 처리할 수 있다. 예를 들면, 수요예측 실용화 서버는 데이터의 이상치 및 결측값을 제거할 수 있다. 이때, 이상치 및 결측값을 판단하는 기준은 사전에 기 설정된 값이 설정되어 있을 수 있으며, 설정된 기 설정된 값을 비교하여 과거 10년 이상의 군 데이터로부터 이상치 및 결측값을 제거할 수 있다. 또한, 수요예측 실용화 서버(120)는 과거 10년 이상의 군 데이터의 스케일링을 수행할 수 있다. 예를 들면, 데이터에서 각 특징의 평균을 0, 분산을 1로 변경하거나, 데이터에서 추출된 특징이 0 내지 1 사이 값을 가지도록 할 수 있다. 상기 언급한 스케일링 방법 이외에도 다양한 스케일링 방법이 적용될 수 있다. 이에, 스케일링 작업을 통해 모델이 학습하기에 적합한 데이터 셋을 구축할 수 있다. The demand forecasting commercialization server 120 may perform a data preprocessing operation on group data of the past 10 years or more. Data preprocessing operations may include data integration, outlier/missing value processing, and scaling. In detail, the demand forecasting practicalization server 120 may integrate group data. In this case, the data format may be different according to each group data or the type of group data. The demand forecasting practical server 120 may not only collect military data for the past 10 years or more, but also integrate military data for the past 10 years or more. Alternatively, the demand forecasting commercialization server 120 may integrate data for each item from group data. In addition, the demand forecasting practical server 120 may process outliers and missing values of group data for the past 10 years. For example, the demand forecasting practical server can remove outliers and missing values of data. In this case, a predetermined value may be set as a criterion for determining outliers and missing values, and outliers and missing values may be removed from group data of the past 10 years or more by comparing the set values. In addition, the demand forecasting practical server 120 may perform scaling of group data of the past 10 years or more. For example, the average of each feature in the data may be changed to 0 and the variance may be changed to 1, or features extracted from the data may have a value between 0 and 1. In addition to the aforementioned scaling method, various scaling methods may be applied. Thus, a data set suitable for model learning can be built through a scaling operation.

수요예측 실용화 서버(120)는 과거 10년 이상의 군 데이터에 대한 데이터 전처리가 수행됨에 따라 데이터 분할 동작을 수행할 수 있다. 수요예측 실용화 서버(120)는 전처리된 과거 10년 이상의 군 데이터를 분할할 수 있다. 수요예측 실용화 서버(120)는 전처리된 과거 10년 이상의 군 데이터를 학습 데이터, 검증 데이터, 테스트 데이터로 분할할 수 있다. 이때, 학습 데이터, 검증 데이터 및 테스트 데이터로 분할하는 비율은 사용자 또는 컴퓨터에 의해 설정될 수 있으며, 설정된 비율값에 의해 학습 데이터, 검증 데이터 및 테스트 데이터가 분할될 수 있다. The demand forecasting practical server 120 may perform a data division operation as data preprocessing is performed on group data of the past 10 years or more. The demand forecasting commercialization server 120 may divide preprocessed group data of 10 years or more in the past. The demand forecasting commercialization server 120 may divide the preprocessed group data of the past 10 years or more into learning data, verification data, and test data. In this case, the dividing ratio into training data, verification data, and test data may be set by a user or a computer, and learning data, verification data, and test data may be divided according to the set ratio value.

수요예측 실용화 서버(120)는 데이터 분할이 수행됨에 따라 머신러닝 모델을 학습 및 테스트하는 동작을 수행할 수 있다. 수요예측 실용화 서버는 과거 10년 이상의 군 데이터를 LSTM, DNN, Random Forest, Bagging, Gradient Boosting, Extra Trees, AdaBoost를 포함하는 복수 개의 머신러닝 알고리즘에 입력하여 초기 모델을 학습 및 테스트할 수 있다. 복수 개의 머신러닝 알고리즘에 대한 설명은 도 3 내지 도 9를 참고하기로 한다. The demand forecasting commercialization server 120 may perform an operation of learning and testing a machine learning model as data division is performed. The demand forecasting server can learn and test initial models by inputting group data from the past 10 years or more into multiple machine learning algorithms including LSTM, DNN, Random Forest, Bagging, Gradient Boosting, Extra Trees, and AdaBoost. A description of a plurality of machine learning algorithms will be referred to FIGS. 3 to 9 .

수요예측 실용화 서버(120)는 모델 개발 서버에서 이루어진 동작과 동일하게 데이터 전처리, 데이터 분할, 7개의 머신러닝 모델을 사용한 수요예측 모델을 재학습, 품목별 최적 모델의 재선정을 통해 초기 모델을 재학습할 수 있다. 수요예측 실용화 서버(120)는 재학습 결과, 한 품목 당 총 7개의 머신러닝 모델을 도출할 수 있으며, 검증 및 테스트 결과 1개의 최적 모델을 선정할 수 있다. The demand forecasting commercialization server 120 relearns the initial model through data preprocessing, data segmentation, relearning the demand forecasting model using seven machine learning models, and reselecting the optimal model for each item in the same way as the operation performed in the model development server. can do. The demand forecasting commercialization server 120 may derive a total of 7 machine learning models per item as a result of relearning, and may select one optimal model as a result of verification and testing.

다시 말해서, 수요예측 실용화 서버(120)는 7개의 머신러닝 모델을 도출할 수 있으며, 검증 데이터 및 테스트 데이터를 이용하여 검증 및 테스트를 수행한 결과 1개의 최적 모델을 재선정할 수 있다. 이때, 테스트 결과 정확도가 가장 높은 모델이 재선정될 수 있다. 이에, 재선정된 모델에 기초하여 기존의 초기 모델을 새로운 모델로 업데이트할 수 있다. In other words, the demand forecasting commercialization server 120 may derive seven machine learning models, and may re-select one optimal model as a result of performing verification and testing using verification data and test data. At this time, a model with the highest accuracy as a result of the test may be re-selected. Accordingly, the existing initial model may be updated to a new model based on the reselected model.

수요예측 실용화 서버(120)는 업데이트된 모델에 최근 N분기 데이터를 입력 데이터로 입력할 수 있다. 수요예측 실용화 서버(120)는 데이터 마트로부터 기 설정된 기간(최근 N분기 데이터)의 데이터를 추출할 수 있다. 수요예측 실용화 서버(120)는 최근 N분기 데이터에 대한 전처리하고, 전처리를 수행한 최근 N분기 데이터를 업데이트된 모델에 입력하여 수요예측 결과를 도출할 수 있다. 수요예측 실용화 서버(120)는 분기 단위의 수요예측 결과를 획득할 수 있고, 획득된 분기 단위의 수요예측 결과를 데이터 마트에 저장할 수 있다. The demand forecasting commercialization server 120 may input the latest N quarter data as input data to the updated model. The demand forecasting commercialization server 120 may extract data of a preset period (recent N quarter data) from the data mart. The demand forecasting commercialization server 120 may preprocess data for the latest N quarters and input the preprocessed data for the latest N quarters to an updated model to derive a demand forecasting result. The demand forecasting commercialization server 120 may obtain quarterly demand forecasting results and store the acquired quarterly demand forecasting results in a data mart.

모델 재학습, 업데이트 및 수요예측은 분기, 연 단위로 반복적으로 실행될 수 있으며, 예측 결과는 군의 데이터베이스에 저장되어 수요예측 담당관이 활용할 수 있다. Model retraining, updating, and demand forecasting can be repeatedly executed on a quarterly or annual basis, and the forecasting results are stored in the military database and can be used by the demand forecasting officer.

일례로, 수요예측 실용화 서버(120)에서 이루어지는 작업을 예를 들어 서술하면 다음과 같다. 모델 이관 후 첫 수요예측은 군의 데이터 마트에서 품목 A에 대한 모델 개발 서버의 모델 학습에 사용했던 동일한 항목의 최근 N분기 동안의 군 데이터를 가져오고 전처리한 후, 모델 개발 서버에서 이관한 초기 모델에 입력해 2021년 수요예측 결과를 도출하는 과정으로 이루어질 수 있다. 그 이후에는 분기, 연 단위로 업데이트되는 군의 데이터를 모델 개발 서버에서와 같은 과정으로 학습해 품목별 최적 모델을 재설정, 업데이트해 다음 해의 수요를 예측하고 군의 데이터베이스에 저장한다. As an example, the work performed in the demand prediction commercialization server 120 is described as follows. The first demand forecast after model transfer is the initial model transferred from the model development server after importing and pre-processing the group data for the last N quarters of the same item used for model learning on the model development server for item A from the military data mart. It can be done in the process of deriving the result of the demand forecast for 2021 by inputting it into . After that, it learns the county data updated on a quarterly and yearly basis in the same process as in the model development server, resets and updates the optimal model for each item, predicts demand for the next year, and stores it in the county database.

도 3 내지 도 9는 일 실시예에 있어서, 학습 모델에서 사용되는 머신러닝 알고리즘을 설명하기 위한 예이다. 3 to 9 are examples for explaining a machine learning algorithm used in a learning model according to an embodiment.

도 3을 참고하면, LSTM을 나타낸 것이다. LSTM은 Recurrent neural networks(RNNs)의 한 종류로 글, 유전자, 손글씨, 음성신호, 센서 데이터, 주가 등 배열 또는 시계열 데이터에서 패턴을 인식하는데 적합한 인공신경망이다. RNN의 vanishing gradient problem을 극복하기 위해 고안된 것이 바로 LSTM으로 RNN의 히든 스테이트에 셀 스테이트를 추가한 구조를 가지고 있다. LSTM의 핵심인 셀 스테이트를 통해 정보는 큰 변함없이 계속적으로 다음 단계로 전달되는데 게이트라는 요소를 활용해 정보를 더하거나 제거한다. 게이트는 선택적으로 정보들이 흘러 들어갈 수 있도록 만드는 장치로 각 구성요소가 얼마만큼의 영향을 주게 될 지 결정한다.Referring to Figure 3, it shows the LSTM. LSTM is a type of recurrent neural networks (RNNs) and is an artificial neural network suitable for recognizing patterns in array or time series data such as text, genes, handwriting, voice signals, sensor data, and stock prices. LSTM was devised to overcome the vanishing gradient problem of RNN, and has a structure in which a cell state is added to the RNN's hidden state. Through the cell state, which is the core of LSTM, information is continuously passed to the next step without much change, and information is added or removed using an element called a gate. A gate is a device that selectively allows information to flow in, and determines how much influence each component will have.

도 4를 참고하면, DNN을 나타낸 것이다. Deep Neural Network(DNN)은 이름과 같이 층을 깊게 쌓은 심층 신경망을 의미한다. 기존 머신러닝 대비 심층신경망의 이점은 신경망의 매개변수 수가 줄어드는 것에 있다. 즉, 층을 깊게 했을 경우 더 적은 매개변수로 같거나 높은 수준의 표현력을 가질 수 있다. 은닉층(hidden layer)과 각 층의 다수 뉴런이 연결되어 있으며 입력 변수의 값을 조합하고 가중치를 부여해 새로운 실수를 생성하고 출력층으로 전달한다. 즉, 은닉층에서 계산된 가장 추상화된 특징을 이용해서 출력층은 분류나 예측을 한다. 이때, 네트워크 함수가 주어진 결정 함수와 가능한 한 가까워지게 하는 가중치의 최적 조합이 DNN의 최종 해가 된다.Referring to Figure 4, it shows a DNN. Deep Neural Network (DNN), as the name suggests, is a deep neural network with deep layers. The advantage of deep neural networks over traditional machine learning lies in the reduced number of parameters of the neural network. In other words, if the layer is deep, the same or higher level of expression can be obtained with fewer parameters. A hidden layer and a number of neurons in each layer are connected, and a new real number is generated by combining the values of the input variables and assigning weights, and passed to the output layer. That is, the output layer performs classification or prediction using the most abstract features calculated in the hidden layer. At this time, the optimal combination of weights that makes the network function as close as possible to the given decision function becomes the final solution of the DNN.

도 5를 참고하면, 랜덤 포레스트(Random Forest)를 나타낸 것이다. Random Forest는 여러 개의 의사결정 트리를 사용하는 앙상블 방식의 알고리즘으로 여러 트리가 하나의 숲을 이루는 형태이다. 여기에서 앙상블 학습이란 하나의 예측에 여러 알고리즘을 투표 방식으로 사용하는 방법이다. 훈련 과정에서 구성한 다수의 결정 트리로부터 분류 또는 회귀 예측치를 도출 가능하며 랜덤 포레스트는 서로 조금씩 다른 특성을 갖는 트리들로 이루어진 앙상블 기법으로 학습되었기 때문에 결과적으로 일반화 성능을 향상시킬 뿐만 아니라 노이즈가 포함된 데이터에 대해서도 강인한 모델을 구축할 수 있다. 새로운 데이터에 대한 예측을 수행할 때는 분류의 경우 여러 개의 의사결정트리가 내놓은 예측 결과를 투표(voting) 방식으로 통합하며 회귀의 경우 출력된 연속적인 값들의 평균을 결과로 도출한다.Referring to Figure 5, it shows a random forest (Random Forest). Random forest is an ensemble-type algorithm that uses multiple decision trees, and multiple trees form a single forest. Here, ensemble learning is a method of using multiple algorithms in a voting method for one prediction. It is possible to derive classification or regression predictions from a number of decision trees constructed during the training process, and since the random forest was learned as an ensemble technique consisting of trees with slightly different characteristics, it not only improves generalization performance but also data containing noise. Robust models can also be built for When predicting new data, in the case of classification, prediction results from multiple decision trees are integrated through a voting method, and in the case of regression, the average of outputted consecutive values is derived as the result.

도 6을 참고하면, Bagging을 나타낸 것이다. Bagging은 샘플을 여러 번 뽑아 각 모델을 학습시켜 결과를 집계(Aggregating) 하는 방법이다. Bagging은 각 샘플에서 나타난 결과를 일종의 중간값으로 맞추어 주기 때문에, Overfitting을 피할 수 있다. 일반적으로 Categorical Data인 경우, 투표 방식(Voting)으로 집계하며 Continuous Data인 경우, 평균(Average)으로 집계하고 대표적인 Bagging 알고리즘으로 RandomForest 모델이 있다.Referring to Figure 6, it shows the bagging. Bagging is a method of aggregating the results by drawing samples multiple times and training each model. Bagging avoids overfitting because it adjusts the results from each sample to a kind of median value. In general, in the case of categorical data, it is aggregated by voting method, and in case of continuous data, it is aggregated by average, and there is a RandomForest model as a representative bagging algorithm.

도 7을 참고하면, Gradient Boosting을 나타낸 것이다. Gradient Boosting는 Gradient Desent 와 Boosting의 합성어로 쉽게 말해 Boosting에 Gradient Descent를 접목시킨 강력한 머신러닝 기법이다. 우선 Boosting이란 단순한 모델들을 결합하여 단계적으로 학습함으로써 이전 모델의 약점을 점점 보완해 가는 모델이고, Gradient Descent는 '경사 하강' 이라는 의미로 함수의 기울기를 구하여 기울기가 낮은 쪽으로 이동시키면서 극값에 이를 때까지 반복하는 방법이다. Gradient Boosting은 약한 모델들을 단계적으로 부스팅하는 과정에서 이전 모델의 오류를 손실 함수로 나타내고 이 손실 함수를 최소화하는 방법으로 Gradient Descent를 사용하는 분석기법이다. 경사하강법을 사용하여 AdaBoost보다 성능을 개선한 Boosting 알고리즘이다.Referring to FIG. 7, Gradient Boosting is shown. Gradient Boosting is a compound word of Gradient Descend and Boosting. Simply put, it is a powerful machine learning technique that combines Gradient Descent with Boosting. First of all, Boosting is a model that gradually compensates for the weakness of the previous model by combining simple models and learning them step by step. way to repeat. Gradient Boosting is an analysis technique that uses gradient descent as a method of minimizing the loss function by representing the error of the previous model as a loss function in the process of boosting weak models step by step. It is a boosting algorithm that improves performance over AdaBoost by using the gradient descent method.

도 8을 참고하면, Extra Trees를 나타낸 것이다. Extra Trees는 랜덤 포레스트에서 트리를 만들 때 각 노드는 무작위로 특성의 서브셋을 만들어 분할에 사용하는데, 트리를 더욱 무작위하게 만들기 위해 최적의 임계값을 찾는 후보 특성을 사용해 무작위로 분할한 다음 그 중에서 최상의 분할을 선택한다. 이와 같이 극단적으로 무작위한 트리의 랜덤 포레스트를 Extra Trees라고 한다. 모든 노드에서 특성마다 가장 최적의 임계값을 찾는 것이 트리 알고리즘에서 가장 시간이 많이 소요되는 작업 중 하나인데 일반적인 랜덤 포레스트보다 엑스트라 트리의 속도가 훨씬 빠르다.Referring to FIG. 8 , Extra Trees are shown. In Extra Trees, when building a tree in a random forest, each node randomly creates a subset of features and uses them for splitting. choose a split Random forests of extremely random trees like this are called Extra Trees. Finding the most optimal threshold for each feature at every node is one of the most time-consuming tasks in tree algorithms, and extra trees are much faster than regular random forests.

도 9를 참고하면, AdaBoost를 나타낸 것이다. AdaBoost는 Boosting 알고리즘의 한 종류로서 Adaptive Boosting의 약자이며 가중치를 부여한 약한 분류기를 모아서 최종적으로 강한 분류기를 생성하는 기법이다. 훈련 과정에서 모델 능력을 향상시키는 특성들을 골라 선택하며, 이를 통해 실시간 처리에서 속도 개선을 이룬다. 다음 학습 과정에서 각각의 샘플들에 대해 가중치를 두고 모델링을 하고 이전에 처리하지 못한 샘플들을 Adaptive하게 더 잘 풀도록 개선하는 특성이 있다. 이전 약한 모델 결과의 오차를 다른 약한 모델의 가중치(Weight)에 반영하는 방법으로 성능을 개선하는 알고리즘이다.Referring to FIG. 9 , AdaBoost is shown. AdaBoost is a type of boosting algorithm, which stands for Adaptive Boosting, and is a technique that collects weighted weak classifiers and finally creates a strong classifier. During the training process, features that enhance the model's ability are picked and selected, thereby achieving speed improvements in real-time processing. In the next learning process, each sample is modeled with a weight, and samples that have not been processed before are improved so that they can be solved adaptively. It is an algorithm that improves performance by reflecting the error of the previous weak model result to the weight of another weak model.

도 11은 일 실시예에 따른 수요예측 실용화 서버의 구성을 설명하기 위한 블록도이고, 도 12는 일 실시예에 따른 수요예측 실용화 서버에서 머신러닝을 사용한 군 수리부속 수요예측 방법을 설명하기 위한 흐름도이다. 11 is a block diagram for explaining the configuration of a demand forecasting commercialization server according to an embodiment, and FIG. 12 is a flowchart illustrating a demand forecasting method for military repair parts using machine learning in a demand forecasting commercialization server according to an embodiment. am.

수요예측 실용화 서버(120)의 프로세서는 과거 데이터 입력부(1110), 재학습부(1120), 새로운 데이터 입력부(1130) 및 예측부(1140)를 포함할 수 있다. 이러한 프로세서의 구성요소들은 수요예측 실용화 서버에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서 및 프로세서의 구성요소들은 도 12의 머신러닝을 사용한 군 수리부속 수요예측 방법이 포함하는 단계들(1210 내지 1240)을 수행하도록 수요예측 실용화 서버를 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.The processor of the demand forecasting practical server 120 may include a past data input unit 1110, a relearning unit 1120, a new data input unit 1130, and a prediction unit 1140. Components of the processor may be expressions of different functions performed by the processor according to a control command provided by a program code stored in the demand forecasting practical server. The processor and components of the processor may control the demand forecasting practical server to perform steps 1210 to 1240 included in the method of predicting demand for military repair parts using machine learning of FIG. 12 . In this case, the processor and components of the processor may be implemented to execute instructions according to the code of an operating system included in the memory and the code of at least one program.

프로세서는 머신러닝을 사용한 군 수리부속 수요예측 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 수요예측 실용화 서버에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 데이터 격리 시스템을 제어할 수 있다. 이때, 과거 데이터 입력부(1110), 재학습부(1120), 새로운 데이터 입력부(1130) 및 예측부(1140) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(1210 내지 1240)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다.The processor may load a program code stored in a file of a program for a method of predicting demand for military repair parts using machine learning into a memory. For example, when a program is executed in the demand forecasting practical server, the processor may control the data isolation system to load the program code from the program file into the memory under the control of the operating system. At this time, each of the past data input unit 1110, the re-learning unit 1120, the new data input unit 1130, and the prediction unit 1140 executes a command of a corresponding part of the program code loaded into the memory to perform subsequent steps (1210). to 1240) may be different functional representations of the processor.

단계(1210)에서 과거 데이터 입력부(1110)는 모델 개발 서버를 통해 구성된 군 수리부속 수요예측을 위한 학습 모델에 과거의 군 데이터를 입력받을 수 있다. 과거 데이터 입력부(1110)는 과거의 품목 수요 정보, 운용 정보, 부대 정보를 포함하는 군 데이터에 대한 데이터 통합, 이상치와 결측값 처리 및 스케일링을 포함하는 전처리를 수행할 수 있다. 과거 데이터 입력부(1110)는 전처리를 수행한 군 데이터를 학습 데이터, 검증 데이터 및 테스트 데이터로 분할할 수 있다. In step 1210, the past data input unit 1110 may input past military data to a learning model for predicting demand for military repair parts configured through the model development server. The past data input unit 1110 may perform pre-processing including data integration, outlier and missing value processing, and scaling on military data including past item demand information, operation information, and unit information. The past data input unit 1110 may divide the preprocessed group data into training data, verification data, and test data.

단계(1210)에서 재학습부(1120)는 입력받은 과거의 군 데이터를 이용하여 상기 학습 모델을 재학습시킬 수 있다. 재학습부(1120)는 입력받은 과거의 군 데이터를 이용하여 복수 개의 알고리즘 모델을 재학습하고, 재학습된 복수 개의 알고리즘 모델 중 테스트를 통해 품목별 최적 모델을 재선정하고, 재선정된 품목별 최적 모델에 기초하여 학습 모델을 업데이트할 수 있다. In step 1210, the re-learning unit 1120 may re-learn the learning model using the input group data of the past. The re-learning unit 1120 re-learns a plurality of algorithm models using the input past group data, re-selects an optimal model for each item through a test among the plurality of re-learned algorithm models, and uses the re-selected optimal model for each item. Based on this, the learning model can be updated.

단계(1210)에서 새로운 데이터 입력부(1130)는 재학습을 통해 업데이트된 학습 모델에 새로운 군 데이터를 입력받을 수 있다. In step 1210, the new data input unit 1130 may receive new group data for the learning model updated through re-learning.

단계(1210)에서 예측부(1140)는 업데이트된 학습 모델을 이용하여 새로운 군 데이터에 대한 군 수리부속 수요정보를 예측할 수 있다. 예측부(1140)는 업데이트된 학습 모델을 이용하여 기 설정된 시점을 기준으로 발생한 분기별 군 데이터에 대한 분기 단위의 군 수리부속 수요예측 결과를 획득하고, 획득된 군 수리부속 수요예측 결과를 저장할 수 있다.In step 1210, the prediction unit 1140 may predict demand information for military repair parts for new military data using the updated learning model. The forecasting unit 1140 may obtain quarterly military repair parts demand forecast results for quarterly military data generated based on a preset time point using the updated learning model, and store the obtained military repair parts demand forecast results. there is.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. A processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. The device can be commanded. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. can be embodied in Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

Claims (16)

수요예측 실용화 서버에서 수행되는 군 수리부속 수요예측 방법에 있어서,
모델 개발 서버를 통해 구성된 군 수리부속 수요예측을 위한 학습 모델에 과거의 군 데이터를 입력받는 단계;
상기 입력받은 과거의 군 데이터를 이용하여 상기 학습 모델을 재학습시키는 단계;
상기 재학습을 통해 업데이트된 학습 모델에 새로운 군 데이터를 입력받는 단계; 및
상기 업데이트된 학습 모델을 이용하여 새로운 군 데이터에 대한 군 수리부속 수요정보를 예측하는 단계
를 포함하고,
상기 학습 모델은,
상기 모델 개발 서버에서 품목 수요 정보, 운용 정보, 부대 정보를 포함하는 과거의 군 데이터에 대한 데이터 통합, 이상치와 결측값 처리 및 스케일링을 포함하는 전처리가 수행되고, 상기 전처리를 수행한 과거의 군 데이터가 학습 데이터, 검증 데이터 및 테스트 데이터로 분할되고, 상기 입력받은 과거의 군 데이터를 이용하여 상기 학습 모델의 머신러닝 알고리즘에 기초하여 복수 개의 알고리즘 모델이 도출되고, 상기 도출된 복수 개의 알고리즘 모델에 대한 검증 및 테스트를 통해 품목별 최적 모델이 재선정되고, 상기 재선정된 품목별 최적 모델에 기초하여 상기 학습 모델이 구성된 것이고,
상기 재학습시키는 단계는,
해군, 공군, 육군을 포함하는 각 군과 관련하여 품목 수요 정보, 운용 정보, 부대 정보를 포함하는 과거의 군 데이터를 입력받고, 상기 입력받은 과거의 군 데이터를 이용하여 복수 개의 알고리즘 모델을 재학습하고, 상기 재학습된 복수 개의 알고리즘 모델에 대한 검증 및 테스트를 통해 품목별 최적 모델을 재선정하고, 상기 재선정된 품목별 최적 모델에 기초하여 상기 학습 모델을 업데이트하는 단계
를 포함하고,
상기 새로운 군 데이터는, 기 설정된 시점을 기준으로 발생한 분기별 군 데이터를 의미하고,
상기 새로운 군 데이터를 입력받는 단계는,
상기 업데이트된 학습 모델을 이용하여 상기 기 설정된 시점을 기준으로 발생한 분기별 군 데이터에 대한 분기 단위의 군 수리부속 수요예측 결과를 획득하고, 상기 획득된 군 수리부속 수요예측 결과를 저장하는 단계
를 포함하고,
상기 품목 수요 정보는, 품목 번호, 품목의 단가, 고단가 품목 여부, 품목의 유형, 해당 분기에 발생한 수요량을 포함하고,
상기 운용 정보는, 전투기나 전차의 운용 대수, 운용 횟수, 운용 시간을 포함하고,
상기 부대 정보는, 부대의 지역적인 특성을 반영하기 위해 부대 지역의 기상 정보를 포함하는
군 수리부속 수요예측 방법.
In the demand forecasting method for military repair parts performed in the demand forecasting commercialization server,
Receiving past military data into a learning model for predicting demand for military repair parts configured through a model development server;
re-learning the learning model using the inputted past group data;
receiving new group data into the learning model updated through the re-learning; and
Predicting demand information for military repair parts for new military data using the updated learning model.
including,
The learning model,
In the model development server, pre-processing including data integration, processing of outliers and missing values, and scaling for past military data including item demand information, operation information, and unit information is performed, and the past military data having performed the pre-processing is performed. is divided into learning data, verification data, and test data, and a plurality of algorithm models are derived based on the machine learning algorithm of the learning model using the input past group data, and for the derived plurality of algorithm models The optimal model for each item is reselected through verification and testing, and the learning model is configured based on the reselected optimal model for each item.
In the relearning step,
In relation to each service including the Navy, Air Force, and Army, past military data including item demand information, operation information, and unit information is input, and a plurality of algorithm models are relearned using the received past military data. and re-selecting an optimal model for each item through verification and testing of the re-learned plurality of algorithm models, and updating the learning model based on the re-selected optimal model for each item.
including,
The new group data means quarterly group data generated based on a preset time point,
The step of receiving the new group data,
Obtaining a quarterly military repair parts demand forecast result for the quarterly military data generated based on the preset time point by using the updated learning model, and storing the obtained military repair parts demand forecast result.
including,
The item demand information includes the item number, the unit price of the item, whether or not it is a high unit price item, the type of item, and the quantity of demand generated in the corresponding quarter,
The operation information includes the number of fighters or tanks operated, the number of operations, and the operation time,
The unit information includes weather information of the unit area to reflect the regional characteristics of the unit.
Demand forecasting method for military repair parts.
삭제delete 삭제delete 제1항에 있어서,
상기 입력받는 단계는,
품목 수요 정보, 운용 정보, 부대 정보를 포함하는 과거의 군 데이터에 대한 데이터 통합, 이상치와 결측값 처리 및 스케일링을 포함하는 전처리를 수행하는 단계
를 포함하는 군 수리부속 수요예측 방법.
According to claim 1,
In the step of receiving the input,
Performing pre-processing including data integration, outlier and missing value processing, and scaling for past military data including item demand information, operation information, and unit information
Demand forecasting method for military repair parts comprising a.
제4항에 있어서,
상기 입력받는 단계는,
상기 전처리를 수행한 과거의 군 데이터를 학습 데이터, 검증 데이터 및 테스트 데이터로 분할하는 단계
를 포함하는 군 수리부속 수요예측 방법.
According to claim 4,
In the step of receiving the input,
Dividing the past group data on which the preprocessing was performed into training data, verification data, and test data
Demand forecasting method for military repair parts comprising a.
삭제delete 군 수리부속 수요예측을 위한 수요예측 실용화 서버에 있어서,
모델 개발 서버를 통해 구성된 군 수리부속 수요예측을 위한 학습 모델에 과거의 군 데이터를 입력받는 과거 데이터 입력부;
상기 입력받은 과거의 군 데이터를 이용하여 상기 학습 모델을 재학습시키는 재학습부;
상기 재학습을 통해 업데이트된 학습 모델에 새로운 군 데이터를 입력받는 새로운 데이터 입력부; 및
상기 업데이트된 학습 모델을 이용하여 새로운 군 데이터에 대한 군 수리부속 수요정보를 예측하는 예측부
를 포함하고,
상기 학습 모델은,
상기 모델 개발 서버에서 품목 수요 정보, 운용 정보, 부대 정보를 포함하는 과거의 군 데이터에 대한 데이터 통합, 이상치와 결측값 처리 및 스케일링을 포함하는 전처리가 수행되고, 상기 전처리를 수행한 과거의 군 데이터가 학습 데이터, 검증 데이터 및 테스트 데이터로 분할되고, 상기 입력받은 과거의 군 데이터를 이용하여 상기 학습 모델의 머신러닝 알고리즘에 기초하여 복수 개의 알고리즘 모델이 도출되고, 상기 도출된 복수 개의 알고리즘 모델에 대한 검증 및 테스트를 통해 품목별 최적 모델이 재선정되고, 상기 재선정된 품목별 최적 모델에 기초하여 상기 학습 모델이 구성된 것이고,
상기 재학습부는,
해군, 공군, 육군을 포함하는 각 군과 관련하여 품목 수요 정보, 운용 정보, 부대 정보를 포함하는 과거의 군 데이터를 입력받고, 상기 입력받은 과거의 군 데이터를 이용하여 복수 개의 알고리즘 모델을 재학습하고, 상기 재학습된 복수 개의 알고리즘 모델에 대한 검증 및 테스트를 통해 품목별 최적 모델을 재선정하고, 상기 재선정된 품목별 최적 모델에 기초하여 상기 학습 모델을 업데이트하는 것을 포함하고,
상기 새로운 군 데이터는, 기 설정된 시점을 기준으로 발생한 분기별 군 데이터를 의미하고,
상기 새로운 데이터 입력부는,
상기 업데이트된 학습 모델을 이용하여 상기 기 설정된 시점을 기준으로 발생한 분기별 군 데이터에 대한 분기 단위의 군 수리부속 수요예측 결과를 획득하고, 상기 획득된 군 수리부속 수요예측 결과를 저장하는 것을 포함하고,
상기 품목 수요 정보는, 품목 번호, 품목의 단가, 고단가 품목 여부, 품목의 유형, 해당 분기에 발생한 수요량을 포함하고,
상기 운용 정보는, 전투기나 전차의 운용 대수, 운용 횟수, 운용 시간을 포함하고,
상기 부대 정보는, 부대의 지역적인 특성을 반영하기 위해 부대 지역의 기상 정보를 포함하는
수요예측 실용화 서버.
In a demand forecasting commercialization server for demand forecasting for military repair parts,
a past data input unit that receives past military data into a learning model for demand forecasting for military repair parts configured through a model development server;
a re-learning unit for re-learning the learning model using the input past group data;
a new data input unit that receives new group data into the learning model updated through the re-learning; and
A prediction unit that predicts demand information for military repair parts for new military data using the updated learning model.
including,
The learning model,
In the model development server, pre-processing including data integration, processing of outliers and missing values, and scaling for past military data including item demand information, operation information, and unit information is performed, and the past military data having performed the pre-processing is performed. is divided into learning data, verification data, and test data, and a plurality of algorithm models are derived based on the machine learning algorithm of the learning model using the input past group data, and for the derived plurality of algorithm models The optimal model for each item is reselected through verification and testing, and the learning model is configured based on the reselected optimal model for each item.
The relearning department,
In relation to each service including the Navy, Air Force, and Army, past military data including item demand information, operation information, and unit information is input, and a plurality of algorithm models are relearned using the received past military data. and reselecting an optimal model for each item through verification and testing of the plurality of relearned algorithm models, and updating the learning model based on the reselected optimal model for each item,
The new group data refers to quarterly group data generated based on a preset time point,
The new data input unit,
Obtaining a quarterly military repair parts demand forecast result for the quarterly military data generated based on the preset time point using the updated learning model, and storing the obtained military repair parts demand forecast result; ,
The item demand information includes the item number, the unit price of the item, whether or not it is a high unit price item, the type of item, and the quantity of demand generated in the corresponding quarter,
The operation information includes the number of fighters or tanks operated, the number of operations, and the operation time,
The unit information includes weather information of the unit area to reflect the regional characteristics of the unit.
Demand forecasting commercialization server.
삭제delete 삭제delete 제7항에 있어서,
상기 과거 데이터 입력부는,
품목 수요 정보, 운용 정보, 부대 정보를 포함하는 과거의 군 데이터에 대한 데이터 통합, 이상치와 결측값 처리 및 스케일링을 포함하는 전처리를 수행하는
것을 특징으로 하는 수요예측 실용화 서버.
According to claim 7,
The past data input unit,
Performs pre-processing including data integration, outlier and missing value processing, and scaling for past military data including item demand information, operation information, and unit information.
Demand forecasting practical server, characterized in that.
제10항에 있어서,
상기 과거 데이터 입력부는,
상기 전처리를 수행한 과거의 군 데이터를 학습 데이터, 검증 데이터 및 테스트 데이터로 분할하는
것을 특징으로 하는 수요예측 실용화 서버.
According to claim 10,
The past data input unit,
Dividing the past group data after performing the preprocessing into learning data, verification data, and test data
Demand forecasting practical server, characterized in that.
삭제delete 머신러닝을 사용한 군 수리부속 수요예측을 위한 실용화 시스템에 있어서,
과거의 군 데이터를 이용하여 군 수리부속 수요예측을 위한 학습 모델을 구성하는 모델 개발 서버; 및
상기 모델 개발 서버로부터 구성된 학습 모델의 재학습을 통해 업데이트된 학습 모델에 새로운 군 데이터를 입력하고, 상기 업데이트된 학습 모델을 이용하여 새로운 군 데이터에 대한 군 수리부속 수요정보를 예측하는 수요예측 실용화 서버
를 포함하고,
상기 모델 개발 서버는,
품목 수요 정보, 운용 정보, 부대 정보를 포함하는 과거의 군 데이터에 대한 데이터 통합, 이상치와 결측값 처리 및 스케일링을 포함하는 전처리를 수행하고, 상기 전처리를 수행한 과거의 군 데이터를 학습 데이터, 검증 데이터 및 테스트 데이터로 분할하고, 상기 입력받은 과거의 군 데이터 중 분할된 학습 데이터를 이용하여 상기 학습 모델의 머신러닝 알고리즘에 기초하여 복수 개의 알고리즘 모델을 도출하고, 상기 분할된 검증 데이터 및 테스트 데이터를 이용하여 상기 도출된 복수 개의 알고리즘 모델에 대한 검증 및 테스트를 통해 품목별 최적 모델을 재선정하고, 상기 재선정된 품목별 최적 모델에 기초하여 상기 학습 모델을 구성한 것을 포함하고,
상기 수요예측 실용화 서버는,
해군, 공군, 육군을 포함하는 각 군과 관련하여 품목 수요 정보, 운용 정보, 부대 정보를 포함하는 과거의 군 데이터를 입력받고, 상기 입력받은 과거의 군 데이터를 이용하여 복수 개의 알고리즘 모델을 재학습하고, 상기 재학습된 복수 개의 알고리즘 모델에 대한 검증 및 테스트를 통해 품목별 최적 모델을 재선정하고, 상기 재선정된 품목별 최적 모델에 기초하여 상기 학습 모델을 업데이트하고, 상기 업데이트된 학습 모델을 이용하여 기 설정된 시점을 기준으로 발생한 분기별 군 데이터에 대한 분기 단위의 군 수리부속 수요예측 결과를 획득하고, 상기 획득된 군 수리부속 수요예측 결과를 저장하는 것을 포함하고,
상기 새로운 군 데이터는, 기 설정된 시점을 기준으로 발생한 분기별 군 데이터를 의미하고,
상기 품목 수요 정보는, 품목 번호, 품목의 단가, 고단가 품목 여부, 품목의 유형, 해당 분기에 발생한 수요량을 포함하고,
상기 운용 정보는, 전투기나 전차의 운용 대수, 운용 횟수, 운용 시간을 포함하고,
상기 부대 정보는, 부대의 지역적인 특성을 반영하기 위해 부대 지역의 기상 정보를 포함하는
실용화 시스템
In a practical system for predicting demand for military repair parts using machine learning,
a model development server that constructs a learning model for predicting demand for military repair parts using past military data; and
A demand forecasting commercialization server that inputs new military data into the learning model updated through relearning of the learning model configured from the model development server and predicts demand information for military repair parts for the new military data using the updated learning model.
including,
The model development server,
Data integration of past military data including item demand information, operation information, and unit information, preprocessing including processing and scaling of outliers and missing values is performed, and the past military data after performing the preprocessing is used as learning data and verification. Data and test data are divided, and a plurality of algorithm models are derived based on the machine learning algorithm of the learning model using the divided learning data among the received past group data, and the divided verification data and test data are Re-selecting an optimal model for each item through verification and testing of the plurality of algorithm models derived by using the algorithm, and configuring the learning model based on the re-selected optimal model for each item;
The demand forecasting commercialization server,
In relation to each service including the Navy, Air Force, and Army, past military data including item demand information, operation information, and unit information is input, and a plurality of algorithm models are relearned using the received past military data. and re-selecting an optimal model for each item through verification and testing of the re-learned plurality of algorithm models, updating the learning model based on the re-selected optimal model for each item, and using the updated learning model. Obtaining quarterly military repair parts demand forecast results for quarterly military data generated based on the set time point, and storing the obtained military repair parts demand forecast results,
The new group data means quarterly group data generated based on a preset time point,
The item demand information includes the item number, the unit price of the item, whether or not it is a high unit price item, the type of item, and the quantity of demand generated in the corresponding quarter,
The operation information includes the number of fighters or tanks operated, the number of operations, and the operation time,
The unit information includes weather information of the unit area to reflect the regional characteristics of the unit.
practical system
삭제delete 제13항에 있어서,
상기 수요예측 실용화 서버는,
품목 수요 정보, 운용 정보, 부대 정보를 포함하는 과거의 군 데이터에 대한 데이터 통합, 이상치와 결측값 처리 및 스케일링을 포함하는 전처리를 수행하고, 상기 전처리를 수행한 과거의 군 데이터를 학습 데이터, 검증 데이터 및 테스트 데이터로 분할하는
것을 특징으로 하는 실용화 시스템.
According to claim 13,
The demand forecasting commercialization server,
Data integration of past military data including item demand information, operation information, and unit information, preprocessing including processing and scaling of outliers and missing values is performed, and the past military data after performing the preprocessing is used as learning data and verification. split into data and test data
A practical system characterized by that.
삭제delete
KR1020210013521A 2020-12-21 2021-01-29 Military demand prediction model and practical system using machine learning KR102497543B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200179417 2020-12-21
KR1020200179417 2020-12-21

Publications (2)

Publication Number Publication Date
KR20220089591A KR20220089591A (en) 2022-06-28
KR102497543B1 true KR102497543B1 (en) 2023-02-10

Family

ID=82268404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210013521A KR102497543B1 (en) 2020-12-21 2021-01-29 Military demand prediction model and practical system using machine learning

Country Status (1)

Country Link
KR (1) KR102497543B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101966557B1 (en) * 2017-12-08 2019-04-05 세종대학교산학협력단 Repairing-part-demand forecasting system and method using big data and machine learning

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101995832B1 (en) * 2017-06-26 2019-07-08 대한민국 Repair parts demand forecasting system and method for thereof
KR102063171B1 (en) * 2017-12-12 2020-01-07 (주)위세아이텍 Apparatus and method for predicting equipment failure

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101966557B1 (en) * 2017-12-08 2019-04-05 세종대학교산학협력단 Repairing-part-demand forecasting system and method using big data and machine learning

Also Published As

Publication number Publication date
KR20220089591A (en) 2022-06-28

Similar Documents

Publication Publication Date Title
US10713597B2 (en) Systems and methods for preparing data for use by machine learning algorithms
KR102022776B1 (en) Artificial neural network model learning method and deep learning system
US11816183B2 (en) Methods and systems for mining minority-class data samples for training a neural network
KR101966557B1 (en) Repairing-part-demand forecasting system and method using big data and machine learning
CN111148118B (en) Flow prediction and carrier wave turn-off method and system based on time sequence
CN111563706A (en) Multivariable logistics freight volume prediction method based on LSTM network
CN113609779B (en) Modeling method, device and equipment for distributed machine learning
CN112487805B (en) Small sample Web service classification method based on meta-learning framework
CN110059852A (en) A kind of stock yield prediction technique based on improvement random forests algorithm
KR20210032140A (en) Method and apparatus for performing pruning of neural network
CN103324954A (en) Image classification method based on tree structure and system using same
CN107103359A (en) The online Reliability Prediction Method of big service system based on convolutional neural networks
US20220129708A1 (en) Segmenting an image using a neural network
CN116562514B (en) Method and system for immediately analyzing production conditions of enterprises based on neural network
Suryo et al. Improved time series prediction using LSTM neural network for smart agriculture application
CN114548591A (en) Time sequence data prediction method and system based on hybrid deep learning model and Stacking
CN116596044A (en) Power generation load prediction model training method and device based on multi-source data
CN110222824B (en) Intelligent algorithm model autonomous generation and evolution method, system and device
KR101966558B1 (en) System and method for visualizing equipment inventory status and repair parts procurement request
US20220129789A1 (en) Code generation for deployment of a machine learning model
Chen et al. A Spark-based Ant Lion algorithm for parameters optimization of random forest in credit classification
KR102497543B1 (en) Military demand prediction model and practical system using machine learning
CN113486926B (en) Automatic change pier equipment anomaly detection system
CN115751441A (en) Heat supply system heating station heat regulation method and system based on secondary side flow
KR102289396B1 (en) Application of reinforcement learning for the advancement of forecasting item demand of repair parts of military equipment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right