WO2020133952A1 - Système et procédé d'optimisation de super-paramètre d'apprentissage automatique basée sur une optimisation bayésienne asynchrone - Google Patents

Système et procédé d'optimisation de super-paramètre d'apprentissage automatique basée sur une optimisation bayésienne asynchrone Download PDF

Info

Publication number
WO2020133952A1
WO2020133952A1 PCT/CN2019/091485 CN2019091485W WO2020133952A1 WO 2020133952 A1 WO2020133952 A1 WO 2020133952A1 CN 2019091485 W CN2019091485 W CN 2019091485W WO 2020133952 A1 WO2020133952 A1 WO 2020133952A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
module
parameter
model parameter
points
Prior art date
Application number
PCT/CN2019/091485
Other languages
English (en)
Chinese (zh)
Inventor
刘杰
王建飞
杨诏
叶丹
钟华
Original Assignee
中国科学院软件研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院软件研究所 filed Critical 中国科学院软件研究所
Publication of WO2020133952A1 publication Critical patent/WO2020133952A1/fr

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

La présente invention concerne un système et un procédé d'optimisation de super-paramètre d'apprentissage automatique basée sur une optimisation bayésienne asynchrone. Le système comprend : un module d'optimisation bayésienne, un modèle de groupe de paramètres de modèle, un module de segmentation par k-moyennes, un module de planification de tâches et un module de parallélisme de modèle à détermination adaptative. La présente invention réalise efficacement un ajustement automatique de paramètre d'apprentissage automatique dans un environnement de mégadonnées, utilise efficacement une capacité de calcul parallèle multi-hôte, et réalise efficacement un ajustement automatique de paramètre pour un apprentissage automatique de mégadonnées, de telle sorte que des personnes puissent mieux utiliser l'apprentissage automatique de mégadonnées dans la pratique de la production.
PCT/CN2019/091485 2018-12-25 2019-06-17 Système et procédé d'optimisation de super-paramètre d'apprentissage automatique basée sur une optimisation bayésienne asynchrone WO2020133952A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811588608.5 2018-12-25
CN201811588608.5A CN109376869A (zh) 2018-12-25 2018-12-25 一种基于异步贝叶斯优化的机器学习超参优化系统及方法

Publications (1)

Publication Number Publication Date
WO2020133952A1 true WO2020133952A1 (fr) 2020-07-02

Family

ID=65371987

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/091485 WO2020133952A1 (fr) 2018-12-25 2019-06-17 Système et procédé d'optimisation de super-paramètre d'apprentissage automatique basée sur une optimisation bayésienne asynchrone

Country Status (2)

Country Link
CN (1) CN109376869A (fr)
WO (1) WO2020133952A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI733270B (zh) * 2019-12-11 2021-07-11 中華電信股份有限公司 機器學習模型的最佳超參數組態的訓練裝置和訓練方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376869A (zh) * 2018-12-25 2019-02-22 中国科学院软件研究所 一种基于异步贝叶斯优化的机器学习超参优化系统及方法
JP7124768B2 (ja) * 2019-03-05 2022-08-24 日本電信電話株式会社 パラメータ推定装置、方法、及びプログラム
CN110334732A (zh) * 2019-05-20 2019-10-15 北京思路创新科技有限公司 一种基于机器学习的空气质量预报方法和装置
CN110619423B (zh) * 2019-08-06 2023-04-07 平安科技（深圳）有限公司 多任务预测方法、装置、电子设备及存储介质
CN110659741A (zh) * 2019-09-03 2020-01-07 浩鲸云计算科技股份有限公司 一种基于分片式自动学习的ai模型训练系统和方法
CN111027709B (zh) * 2019-11-29 2021-02-12 腾讯科技（深圳）有限公司 信息推荐方法、装置、服务器及存储介质
CN111797833A (zh) * 2020-05-21 2020-10-20 中国科学院软件研究所 一种面向遥感语义分割的自动化机器学习方法及系统
CN113742991A (zh) * 2020-05-30 2021-12-03 华为技术有限公司 模型和数据联合优化方法及相关装置
CN112261721B (zh) * 2020-10-19 2023-03-31 南京爱而赢科技有限公司 一种基于贝叶斯调参支持向量机的联合波束分配方法
CN113305853B (zh) * 2021-07-28 2021-10-12 季华实验室 优化焊接参数获取方法、装置、电子设备及存储介质
CN115470910A (zh) * 2022-10-20 2022-12-13 晞德软件(北京)有限公司 基于贝叶斯优化及K-center采样的自动调参方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989374A (zh) * 2015-03-03 2016-10-05 阿里巴巴集团控股有限公司 一种在线训练模型的方法和设备
CN108062587A (zh) * 2017-12-15 2018-05-22 清华大学 一种无监督机器学习的超参数自动优化方法及系统
CN108446302A (zh) * 2018-01-29 2018-08-24 东华大学 一种结合TensorFlow与Spark的个性化推荐系统
CN109062782A (zh) * 2018-06-27 2018-12-21 阿里巴巴集团控股有限公司 一种回归测试用例的选择方法、装置及设备
CN109376869A (zh) * 2018-12-25 2019-02-22 中国科学院软件研究所 一种基于异步贝叶斯优化的机器学习超参优化系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200087B (zh) * 2014-06-05 2018-10-02 清华大学 用于机器学习的参数寻优及特征调优的方法及系统
CN108470210A (zh) * 2018-04-02 2018-08-31 中科弘云科技（北京）有限公司 一种深度学习中超参数的优化选取方法
CN108573281A (zh) * 2018-04-11 2018-09-25 中科弘云科技（北京）有限公司 一种基于贝叶斯优化的深度学习超参数的调优改进方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989374A (zh) * 2015-03-03 2016-10-05 阿里巴巴集团控股有限公司 一种在线训练模型的方法和设备
CN108062587A (zh) * 2017-12-15 2018-05-22 清华大学 一种无监督机器学习的超参数自动优化方法及系统
CN108446302A (zh) * 2018-01-29 2018-08-24 东华大学 一种结合TensorFlow与Spark的个性化推荐系统
CN109062782A (zh) * 2018-06-27 2018-12-21 阿里巴巴集团控股有限公司 一种回归测试用例的选择方法、装置及设备
CN109376869A (zh) * 2018-12-25 2019-02-22 中国科学院软件研究所 一种基于异步贝叶斯优化的机器学习超参优化系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ERIC P XING ET AL: "Strategies and Principles of Distributed Machine Learning on Big Data", ENGINEERING, vol. 2, no. 2, 30 June 2016 (2016-06-30), pages 179 - 195, XP055405966, ISSN: 2095-8099, DOI: 10.1016/J.ENG.2016.02.008 *
KANG, LIANGYI ET AL: "Survey on Parallel and Distributed Optimization Algorithms for Scalable Machine Learning", JOURNAL OF SOFTWARE, vol. 29, no. 1, 31 January 2018 (2018-01-31), pages 109 - 130, XP009521771, ISSN: 1000-9825, DOI: 10.13328/j.cnki.jos.005376 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI733270B (zh) * 2019-12-11 2021-07-11 中華電信股份有限公司 機器學習模型的最佳超參數組態的訓練裝置和訓練方法

Also Published As

Publication number Publication date
CN109376869A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
WO2020133952A1 (fr) Système et procédé d'optimisation de super-paramètre d'apprentissage automatique basée sur une optimisation bayésienne asynchrone
US11720822B2 (en) Gradient-based auto-tuning for machine learning and deep learning models
Guo et al. Cloud resource scheduling with deep reinforcement learning and imitation learning
CN111026549B (zh) 一种电力信息通信设备自动化测试资源调度方法
WO2023240845A1 (fr) Procédé, système et dispositif de calcul distribué, ainsi que support de stockage
CN111274036B (zh) 一种基于速度预测的深度学习任务的调度方法
CN109891438B (zh) 数值量子实验方法和系统
CN113627871B (zh) 一种基于多目标粒子群算法的工作流调度方法、系统及存储介质
CN110727506B (zh) 一种基于成本模型的spark参数自动调优方法
CN112052081B (zh) 一种任务调度方法、装置及电子设备
WO2015066979A1 (fr) Procédé d'apprentissage de machine pour paramètres de configuration de ressources de tâche mapreduce
CN112651483B (zh) 一种面向大规模多批次任务协同的云制造服务组合优化方法
Liu et al. Predicting of job failure in compute cloud based on online extreme learning machine: a comparative study
CN110825522A (zh) Spark参数自适应优化方法及系统
CN106408031A (zh) 一种最小二乘支持向量机的超参优化方法
Dorronsoro et al. Combining machine learning and genetic algorithms to solve the independent tasks scheduling problem
Banjongkan et al. A Study of Job Failure Prediction at Job Submit-State and Job Start-State in High-Performance Computing System: Using Decision Tree Algorithms [J]
Fan et al. An evaluation model and benchmark for parallel computing frameworks
CN115543626A (zh) 采用异构计算资源负载均衡调度的电力缺陷图像仿真方法
Shang et al. Research on the application of artificial intelligence and distributed parallel computing in archives classification
EP4107631A1 (fr) Système et procédé d'apprentissage automatique pour déploiements de système sans régressions de performances
Yu et al. Accelerating distributed training in heterogeneous clusters via a straggler-aware parameter server
CN113900942B (zh) 一种生成飞控机载模型精简测试用例集的方法
CN111652269A (zh) 一种基于群智交互的主动机器学习方法及装置
CN113991752B (zh) 一种电网准实时智能控制方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19904044

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 061021)

122 Ep: pct application non-entry in european phase

Ref document number: 19904044

Country of ref document: EP

Kind code of ref document: A1