WO2021035412A1 - 一种自动机器学习AutoML系统、方法及设备 - Google Patents

一种自动机器学习AutoML系统、方法及设备 Download PDF

Info

Publication number
WO2021035412A1
WO2021035412A1 PCT/CN2019/102305 CN2019102305W WO2021035412A1 WO 2021035412 A1 WO2021035412 A1 WO 2021035412A1 CN 2019102305 W CN2019102305 W CN 2019102305W WO 2021035412 A1 WO2021035412 A1 WO 2021035412A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
data
data set
training
type
Prior art date
Application number
PCT/CN2019/102305
Other languages
English (en)
French (fr)
Inventor
徐宇啸
高瑞阳
郭兴泽
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to CN201980099020.XA priority Critical patent/CN114245910A/zh
Priority to PCT/CN2019/102305 priority patent/WO2021035412A1/zh
Publication of WO2021035412A1 publication Critical patent/WO2021035412A1/zh
Priority to US17/677,620 priority patent/US20220180209A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7792—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being an automated module, e.g. "intelligent oracle"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能AI领域，本申请提供一种自动机器学习AutoML的方法，该方法包括：AutoML系统接收用户的任务目标和第一数据集；根据任务目标确定初始AI模型用于为用户实现其任务目标；AutoML系统根据接收的第一数据集对初始AI模型进行训练，得到已训练的AI模型；进一步地，根据第一数据集对初始AI模型的训练进行分析，获得分析结果，分析结果包括第一数据集中的至少一种类型的数据对初始AI模型的训练的影响；AutoML系统根据分析结果向用户提供对已训练的AI模型的优化方式，优化方式可以是上传第二数据集用于对已训练的AI模型进行优化。该方法根据对初始AI模型训练的分析，使得AutoML系统向用户提供的优化方式可高效地优化AI模型的预测准确率。

Description

一种自动机器学习AutoML系统、方法及设备 技术领域
本申请涉及人工智能技术领域，具体涉及一种自动机器学习(automatic machine learning，AutoML)AutoML系统、方法及设备。
背景技术
目前人工智能(artificial intelligence，AI)受到了学术界和工业界的广泛关注，AI的应用越来越广泛，其在不少应用领域都超乎普通人类水平。例如：AI技术在机器视觉领域(人类识别、图像分类、物体检测等)的应用使得机器视觉的准确率高于人类，AI技术在自然语言处理和推荐系统等领域也有较好的应用。
机器学习是一种实现AI的核心手段，计算机针对要解决的技术问题，根据已有的数据构建一种AI模型，再利用AI模型预测结果，这种方法就好像计算机像人类一样学习了某一能力(例如：认知能力、辨别能力、分类能力)，因此将这种方法称为机器学习。利用机器学习实现AI的各种应用要用到各种AI模型(例如：神经网络(neural network)模型),AI模型本质是一种算法，其包括大量的参数和计算公式(或计算规则)。用机器学习的方法解决一个技术问题时，如何构建或选择合适的AI模型、在训练时如何优化AI模型，即：使被选择的AI模型中的参数组合达到较优，使AI模型对于解决这一技术问题的准确率较优，这一系列问题使得将机器学习应用到实际问题中，成为了一项仅仅只能由少部分专业性极强的技术人员才能实现的技术。
在实际情况中，许多拥有一线应用场景的真实数据且想用AI解决实际问题的企业或组织缺少AI方面的能力，而聚集了大量AI方面的技术与人才的AI提供商往往较难获取到一线应用场景的真实数据作为AI模型训练的数据集。在此背景下，AutoML系统应运而生，AutoML系统用于根据用户确定的任务目标和用户收集的数据集为用户提供AI模型的选择、构建、训练等业务，使对AI技术不甚精通的用户也能获得能完成特定任务的AI模型，用AI模型解决业务问题。现有技术中的AutoML系统在为用户训练AI模型时，对用户数据质量的反馈较为简单。当根据用户已上传的数据集训练的一个AI模型还未到达理想情况时，现有AutoML系统中的平台仅仅简单地向用户反馈目前的结果(例如：模型总体精度)或通用的优化方式，这使得用户在获得效果不理想的AI模型后十分迷茫。如果用户想要进一步优化AutoML中训练的AI模型，也只能盲目地通过增加数据集或调整每一类数据集的数量比例等实现AI模型的优化，由于这些方式没有考虑数据之间相关性，通常导致对AI模型的优化事倍功半。
发明内容
本申请提供了一种自动机器学习AutoML的方法、系统及设备，该AutoML方式可对AI模型的训练进行分析，进一步向用户提供高效的优化方式用于对已训练的AI模型进行优化。
第一方面，本申请提供一种自动机器学习AutoML的方法，该方法包括：AutoML系统接收用户的任务目标和第一数据集；根据所述任务目标确定初始人工智能AI模型，所述初始AI模型用于为所述用户实现所述任务目标；根据所述第一数据集对所述初始AI模型进行训练，得到已训练的AI模型；根据所述第一数据集对所述初始AI模型的训练进行分析，获得分析结果，其中，所述分析结果包括所述第一数据集中的至少一种类型的数据对所述初始AI模型的训练的影响；根据所述分析结果向所述用户提供对所述已训练的AI模型的优化方式，所述优化方式包括：上传第二数据集用于对所述已训练的AI模型进行优化。
应理解，AutoML系统接收的用户的任务目标为用户希望AutoML系统训练的最终的AI模型能提供的功能，用户可以通过在GUI上选择或输入一个任务目标至AutoML系统，也可以通过命令行输入一个任务目标。还应理解，AutoML系统接收用户的任务目标和第一数据集的顺序不限定，可以先接收用户的任务目标，再接收用户上传的第一数据集。
通过该方法，用户可以获得对已训练的AI模型的更为具体的优化方式，这使得用户可以根据AutoML系统建议的优化方式更有目标地进行数据的采集、标注和上传等工作，避免了用户盲目增加其他工作量，使得对已训练的AI模型的优化更高效。对初始AI模型的训练进行优化分析和提供可靠的优化方式可以真正使不具备专业AI知识的用户较为轻松的获得最终满意的AI模型。以利用最终获得的AI模型完成任务目标。
在第一方面的一种可能的实现方式中，所述方法还包括：向所述用户提供所述已训练的AI模型优化的预期效果，所述预期效果指示所述已训练的AI模型在根据所述第二数据集优化训练后将达到的预测准确率。
通过向用户提供已训练的AI模型优化的预期效果，可使得用户了解对于已训练的AI模型的优化空间，使得用户可以根据这些信息和实际情况决定是否遵从AutoML系统建议的优化方式。或者用户可在均衡考虑当前已训练的AI模型的预测准确率、优化后的预期效果、时间和人力成本后，放弃继续优化已训练的AI模型。
在第一方面的一种可能的实现方式中，所述第一数据集包括训练数据集和测试数据集；在根据所述第一数据集对所述初始AI模型的训练进行分析，获得分析结果之前，所述方法还包括：评估所述已训练的AI模型对所述测试数据集中的每一类型的数据的预测准确率；所述根据所述第一数据集对所述初始AI模型的训练进行分析，获得分析结果，具体包括：根据所述测试数据集中的所述每一类型的数据的预测准确率，确定所述训练数据集中的至少一种类型的数据用于分析所述初始AI模型的训练；利用增量实验方法，分析所述训练数据集中的至少一种类型的数据对所述初始AI模型的训练的影响，获得所述分析结果。
上述对已训练的AI模型进行评估和对初始AI模型的训练进行分析，充分考虑了训练数据集中不同类型的数据对于AI模型训练的不同影响，保证了AutoML系统向用户提供的优化方式可以更高效地优化已训练的AI模型。
在第一方面的一种可能的实现方式中，所述利用增量实验方法，分析所述训练数据集中的至少一种类型的数据对所述初始AI模型的训练的影响，获得所述分析结果，具体包括：将所述训练数据集分为基准集和增量集；利用所述基准集对所述初始AI模型进行训练，得到基准AI模型；对于所述增量集中的至少一种类型的数据中的每一类型的数据， 将所述每一类型的数据分为多份，逐次增加所述多份数据中的一份数据训练所述基准AI模型，得到中间AI模型；计算每次训练后的所述中间AI模型相对所述基准AI模型的预测准确率的变化量；根据所述预测准确率的变化量和所述每一类型的数据，获得所述至少一种类型的数据中的每一类型的数据对所述中间AI模型的预测准确率的收益系数。
该方法利用数学实验的方法充分地分析了训练数据集中的至少一种类型的数据对所述初始AI模型的训练的影响，利用至少一种类型的数据中的每一类型的数据对所述中间AI模型的预测准确率的收益系数作为分析的结果，这一数学量化的分析结果不仅使得AutoML系统根据分析结果可准确地提出对已训练的AI模型的优化方式，还可以直观地提供给用户，使得给用户的优化方式对用户而言更具有信服力。
在第一方面的一种可能的实现方式中，所述第二数据集中包括一种或多种类型的数据，所述第二数据集中数据的类型为对所述中间AI模型的预测准确率的收益系数大于预设定阈值的数据的类型。第二数据集中的数据类型是根据对初始AI模型的分析结果进一步分析获得的，在向用户提供优化方式时，指导用户继续上传对所述中间AI模型的预测准确率的收益系数大于预设定阈值的数据的类型，可提高已训练的AI模型的优化效率，也可节省用户不必要的时间和人力成本的浪费。
在第一方面的一种可能的实现方式中，所述方法还包括：接收所述用户上传的所述第二数据集；根据所述第二数据集对所述已训练的AI模型进行优化训练。在用户上传第二数据集后，继续对已训练的AI模型进行优化训练使得优化后的AI模型可以更好的实现用户的任务目标。
在第一方面的一种可能的实现方式中，在根据所述第一数据集对所述初始AI模型的训练进行分析，得到已训练的AI模型之前，所述方法还包括：根据所述第一数据集中的数据的属性对所述第一数据集中的数据进行分类。这种方法可以使AutoML系统在对初始AI模型的训练进行分析时，针对数据集中的数据的每一属性下的类别进行分别分析，可充分分析数据的不同属性分类对于AI模型的训练的影响，给予用户更多的优化方式。
在第一方面的一种可能的实现方式中，所述第一数据集和第二数据集中的数据带有标注，所述第一数据集和所述第二数据集的数据的类型与所述第一数据集和所述第二数据集中的数据带有的标注相同。AutoMl系统可以根据用户上传的数据集中的标注分析每一类标注下的数据对于AI模型的训练的影响，最后给出增加一类或多类标注下的数据的优化方式，使用户可以按照采集第一数据集的方式继续采集第二数据集，且这种优化方式简单高效。
在第一方面的一种可能的实现方式中，所述方法还包括：分别对接收到的所述第一数据集和所述第二数据集中的数据进行预处理，其中，所述预处理包括以下操作中的一种或多种：(1)、对所述数据的尺寸规格进行修改；(2)、对所述数据进行校验；(3)、对所述数据进行编码和转换；(4)、对所述数据进行属性分类；(5)、对所述数据进行特征提取。
在利用第一数据集或第二数据集中的数据进行训练前，对数据集中的数据进行预处理，可使得这些数据更适合对AI模型进行训练，提高训练AI模型的效率和经过这些数据训练后的AI模型的预测准确率。
第二方面，本申请提供一种自动机器学习AutoML系统，所述系统包括：用户输入输出I/O模块，用于接收用户的任务目标和第一数据集；模型确定模块，用于根据所述任务目标确定初始人工智能AI模型，所述初始AI模型用于为所述用户实现所述任务目标；模型训练模块，用于根据所述第一数据集对所述初始AI模型进行训练，得到已训练的AI模型；模型优化分析模块，用于根据所述第一数据集对所述初始AI模型的训练进行分析，获得分析结果，其中，所述分析结果包括所述第一数据集中的至少一种类型的数据对所述初始AI模型的训练的影响；所述用户I/O模块，还用于根据所述分析结果向所述用户提供对所述已训练的AI模型的优化方式，所述优化方式包括：上传第二数据集用于对所述已训练的AI模型进行优化。
在第二方面的一种可能的实现方式中，所述用户I/O模块，还用于向所述用户提供所述已训练的AI模型优化的预期效果，所述预期效果指示所述已训练的AI模型在根据所述第二数据集进行优化训练后将达到的预测准确率。
在第二方面的一种可能的实现方式中，所述第一数据集包括训练数据集和测试数据集；所述模型优化分析模块还用于：评估所述已训练的AI模型对所述测试数据集中的每一类型的数据的预测准确率；所述模型优化分析模块用于根据所述第一数据集对所述初始AI模型的训练进行分析，获得分析结果时，具体用于：根据所述测试数据集中的所述每一类型的数据的预测准确率，确定所述训练数据集中的至少一种类型的数据用于分析所述初始AI模型的训练；利用增量实验方法，分析所述训练数据集中的至少一种类型的数据对所述初始AI模型的训练的影响，获得所述分析结果。
在第二方面的一种可能的实现方式中，所述模型优化分析模块用于利用增量实验方法，分析所述训练数据集中的至少一种类型的数据对所述初始AI模型的训练的影响，获得分析结果时，具体用于：将所述训练数据集分为基准集和增量集；利用所述基准集对所述初始AI模型进行训练，得到基准AI模型；对于所述增量集中的至少一种类型的数据中的每一类型的数据，将所述每一类型的数据分为多份，逐次增加所述多份数据中的一份数据训练所述基准AI模型，得到中间AI模型；计算每次训练后的所述中间AI模型相对所述基准AI模型的预测准确率的变化量；根据所述预测准确率的变化量和所述每一类型的数据，获得所述至少一种类型的数据中的每一类型的数据对所述中间AI模型的预测准确率的收益系数。
在第二方面的一种可能的实现方式中，所述第二数据集中包括一种或多种类型的数据，所述第二数据集中数据的类型为对所述中间AI模型的预测准确率的收益系数大于预设定的阈值的数据的类型。
在第二方面的一种可能的实现方式中，所述用户I/O模块还用于接收所述用户上传的所述第二数据集；所述模型训练模块还用于根据所述第二数据集对所述已训练的AI模型进行优化训练。
在第二方面的一种可能的实现方式中，所述模型优化分析模块还用于：根据所述第一数据集中的数据的属性对所述第一数据集中的数据进行分类。
在第二方面的一种可能的实现方式中，所述第一数据集和第二数据集中的数据带有标注，所述第一数据集和所述第二数据集的数据的类型与所述第一数据集和所述第二数据集中的数据带有的标注相同。
在第二方面的一种可能的实现方式中，所述系统还包括：数据预处理模块，用于分别对接收到的所述第一数据集和所述第二数据集进行预处理，其中，所述预处理包括以下操作中的一种或多种：(1)、对所述数据的尺寸规格进行修改；(2)、对所述数据进行校验；(3)、对所述数据进行编码和转换；(4)、对所述数据进行属性分类；(5)、对所述数据进行特征提取。
第三方面，本申请提供一种计算设备，所述计算设备包括存储器和处理器，所述存储器用于存储一组计算机指令；所述处理器执行所述存储器存储的一组计算机指令，以使得所述计算设备执行第一方面或第一方面的任意一种可能的实现方式提供的方法。
第四方面，本申请提供一种非瞬态的可读存储介质，所述非瞬态的可读存储介质存储有计算机程序代码，当所述计算机程序代码被计算设备执行时，所述计算设备执行前述第一方面或第一方面的任意一种可能的实现方式中提供的方法。该存储介质包括但不限于易失性存储器，例如随机访问存储器，非易失性存储器，例如快闪存储器、硬盘(英文：hard disk drive，缩写：HDD)、固态硬盘(英文：solid state drive，缩写：SSD)。
第五方面，本申请提供一种计算机程序产品，所述计算机程序产品包括计算机程序代码，在所述计算机程序代码被计算设备执行时，所述计算设备执行前述第一方面或第一方面的任意可能的实现方式中提供的方法。该计算机程序产品可以为一个软件安装包，在需要使用前述第一方面或第一方面的任意可能的实现方式中提供的方法的情况下，可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。
附图说明
为了更清楚地说明本申请实施例的技术方法，下面将对实施例中所需使用的附图作以简单地介绍。
图1为本申请实施例提供的一种AutoML系统100的结构示意图；
图2为本申请提供的一种AutoML系统100的应用场景示意图；
图3为本申请实施例提供的一种AutoML系统100的部署示意图；
图4为本申请实施例提供的一种部署有AutoML系统100的计算设备200的结构示意图；
图5为本申请实施例提供的一种自动机器学习AutoML的方法的流程示意图；
图6为本申请实施例提供的一种分析初始AI模型的训练的方法的流程示意图；
图7为本申请实施例提供的一种已训练的AI模型在测试数据集中各个类型的预测准确率的GUI示意图；
图8为本申请实施例提供的一种新增A类数据对中间AI模型的总收益系数的计算示意图；
图9为本申请实施例提供的一种提供优化方式和分析结果的GUI示意图；
图10为本申请实施例提供的一种显示AI模型的预测准确率曲线图的GUI示意图；
图11为本申请实施例提供的另一种自动机器学习AutoML的方法的流程示意图；
图12为本申请实施例提供的一种计算设备的结构示意图。
具体实施方式
下面将结合本申请中的附图，对本申请提供的实施例中的方案进行描述。
目前，人工智能(artificial intelligence，AI)热潮不断，机器学习是一种实现AI的核心手段，机器学习渗透至医学、交通、教育、金融等各个行业。不仅仅是专业技术人员，就连各行业的非AI技术专业也期盼用AI、机器学习完成特定任务。
为了便于理解本申请提供的技术方案和实施例，下面对AI模型、AI模型的训练、自动机器学习(automatic machine learning，AutoML)系统等概念进行详细说明：
AI模型是一类用机器学习思想解决实际问题的数学算法模型，AI模型中包括大量的参数和计算公式(或计算规则)，AI模型中的参数是可以通过数据集对AI模型进行训练获得的数值，例如：AI模型中计算公式或因子的权重。AI模型还包含一些超参数，超参数是无法通过数据集对AI模型进行训练获得的参数，超参数可用于指导AI模型的构建或者AI模型的训练，超参数有多种，例如：AI模型训练的迭代次数(iteration)、学习率(leaning rate)、批尺寸(batch size)、AI模型的层数、每层神经元的个数。换而言之，AI模型的超参数与参数的区别在于：超参数的值无法通过对数据集中的数据进行分析获得，而模型的参数的值可根据数据集中的数据进行分析进行修改和确定。
AI模型多种多样，使用较为广泛的一类AI模型为神经网络模型，神经网络模型是一类模仿生物神经网络(动物的中枢神经系统)的结构和功能的数学算法模型，一个神经网络模型可以包括多种不同功能的神经网络层，每层包括参数和计算公式。根据计算公式的不同或功能的不同，神经网络模型中不同的层有不同的名称，例如：进行卷积计算的层称为卷积层，所述卷积层常用于对输入信号(例如：图像)进行特征提取。一个神经网络模型也可以由多个已有的神经网络模型组合构成。不同结构的神经网络模型可用于不同的场景(例如：分类、识别)或在用于同一场景时提供不同的效果，神经网络模型结构不同具体包括以下一项或多项：神经网络模型中网络层的层数不同、各个网络层的顺序不同、每个网络层中的权重、参数或计算公式不同。业界已存在多种不同的用于识别或分类等应用场景的具有较高准确率的神经网络模型，其中，一些神经网络模型可以被特定的数据集进行训练后单独用于完成一项任务或与其他神经网络模型(或其他功能模块)组合完成一项任务。
除了神经网络模型外，其他大部分AI模型在被用于完成一项任务前都需要被训练。训练AI模型是指利用已有的数据通过一定方法使AI模型拟合已有数据的规律，确定AI模型中的参数。训练一个AI模型需要准备一个数据集，根据数据集中的数据是否有标注(即：数据是否有特定的类型或名称)，可以将AI模型的训练分为监督训练(supervised training)和无监督训练(unsupervised trainng)。对AI模型进行监督训练时，用于训练的数据集中的数据带有标注(label)。训练AI模型时，将数据集中的数据作为AI模型的输入，将数据对应的标注作为AI模型的输出值的参考，利用损失函数(loss function)计算AI模型输出值与数据对应的标注的损失值(loss)，根据损失值调整AI模型中的参数。用数据集中的每个数据迭 代地对AI模型进行训练，AI模型的参数不断调整，直到AI模型可以根据输入的数据准确度较高地输出与数据对应的标注相同的输出值。对AI模型进行无监督训练，则用于训练的数据集中的数据没有标注，数据集中的数据依次输入至AI模型，由AI模型逐步识别数据中的数据之间的关联和潜在规则，直到AI模型可以用于判断或识别输入的数据的类型或特征，例如聚类，用于聚类的AI模型接收到大量的数据后，可学习到各个数据的特征以及数据之间的关联和区别，将数据自动地分为多个类型。不同的任务类型可采用不同的AI模型，一些AI模型仅可以用监督学习的方式训练，一些AI模型仅可以用无监督学习的方式训练，还有一些AI模型既可以用监督学习的方式训练又可以用务监督学习的方式训练。经过训练完成的AI模型可以用于完成一项特定的任务。通常而言，机器学习中的Ai模型都需要采用有监督学习的方式进行训练，有监督学习的方式对AI模型进行训练可使AI模型在带有标注的数据集中更有针对性地学习到数据集中数据与对应标注的关联，使训练完成的AI模型用于预测其他输入数据时准确率较高。
下面举一个用监督学习的方式训练一个用于图像分类任务的神经网络模型的例子：为了训练一个用于完成图像分类任务的神经网络模型，首先根据任务搜集数据，构建数据集，构成的数据集中包含3类图像，分别为：苹果、梨、香蕉，采集的图像分别按照类型存放在3个文件夹中，文件夹命名即为该文件夹内所有图像的标注。数据集构建好之后，选择一个可实现图像分类的神经网络模型(例如：卷积神经网络(convolutional neural network，CNN))，将数据集中的图像输入至CNN中，CNN中各层的卷积核对图像进行特征提取、特征分类，最后输出图像属于每个类型的置信度(confidence)，根据置信度和图像对应的标注利用损失函数计算损失值，根据损失值和CNN结构更新CNN中每层的参数。前述训练过程持续进行，直到损失函数输出的损失值收敛或者数据集中所有的图像均被用于训练，则训练结束。
损失函数是用于衡量AI模型被训练的程度(也就是用于计算AI模型预测的结果与真实目标之间的差异)的函数。在训练AI模型的过程中，因为希望AI模型的输出尽可能的接近真正想要预测的值，所以可以通过比较当前AI模型根据输入图像的预测值和真正想要的目标值(即输入图像的标注)，再根据两者之间的差异情况来更新AI模型中的参数(当然，在第一次更新之前通常会有初始化的过程，即为AI模型中的参数预先配置初始值)。每次训练都通过损失函数判断一下当前的AI模型预测的值与真实目标值之间的差异，更新AI模型的参数，直到AI模型能够预测出真正想要的目标值或与真正想要的目标值非常接近的值，则认为AI模型被训练完成。
自动机器学习(automatic machine learning，AutoML)系统是一种用于自动化完成机器学习过程的系统。AutoML系统中内置各种解决不同问题的AI模型或AI子模型，AutoML系统可根据用户的需求搜索并建立适用的AI模型，用户只需在AutoML系统中的平台确定自己的需求，且将按提示准备好的数据集上传至AutoML系统，AutoML系统就能为用户训练出一个可用于实现用户需要的AI模型。用户可利用训练完成的AI模型完成 自己的特定任务，由于机器学习是一个复杂的且需要技术经验的开发过程，AutoML系统有效降低了开发成本以及AI应用的准入门槛。
现有技术中的AutoML系统在对AI模型训练过程中普遍存在分析能力较弱、无法给用户提供较好的模型优化方式的问题。针对该问题，本申请实施例提供一种AutoML系统，该系统可以深度分析不同类型的数据对AI模型训练的影响、预测新增一个或多个类型的数据对AI模型优化的效果，进一步向用户提供AI模型优化的建议。该系统用于执行数据预处理、根据用户的任务搜索或选择合适的AI模型、AI模型训练和超参数优化、AI模型深度优化分析等操作。
图1为本申请实施例中的AutoML系统100的结构示意图，应理解，图1仅是示例性地展示了AutoML系统100的一种结构化示意图，本申请并不限定对AutoML系统100中的模块的划分。如图1所示，AutoML系统100包括用户输入输出(input/output,I/O)模块101、数据预处理模块102、模型确定模块103、模型训练模块104、模型优化分析模块105、数据集存储模块106和AI模型存储模块107。
下面简要地描述AutoML系统100中的各个模块的功能：
用户I/O模块101：用于接收用户输入或选择的任务目标、接收用户上传的数据集，以及向用户提供对AI模型训练的分析结果、模型优化方式和/或AI模型优化的预期效果。作为用户I/O模块101的举例，可采用图形用户界面(graphical user interface，GUI)实现。例如，GUI上显示AutoML系统可向用户提供4种AI业务，分别为：图像分类业务、人脸识别业务、视频相似度检测业务、车牌识别业务。用户可在GUI上选择一个任务目标，例如选择人脸识别业务，则用户继续在AutoML的GUI上上传用于训练人脸识别的AI模型的数据集。GUI接收到任务目标和数据集后，与数据集存储模块106和模型确定模块103进行通信，数据集存储模块102对用户上传的数据集进行存储，模型确定模块103根据用户确定的任务目标为用户选择或者搜索构建可用于完成用户任务目标的AI模型。用户I/O模块101还用于接收模型优化分析模块105对AI模型训练的分析结果和优化方式。
可选的，用户I/O模块101还可用于接收用户输入的对完成任务目标的AI模型的效果期望，例如：输入或选择最终获得的AI模型用于人脸识别的准确率要高于99％。
可选的，用户I/O模块101还可用于提供各种预先内置的初始AI模型供用户选择，例如：用户可根据自己的任务目标在GUI上选择一个初始AI模型。
可选的，用户I/O模块101还可用于接收用户对初始AI模型、数据集的各种配置信息等。
数据预处理模块102：用于对用户上传的数据集进行预处理操作。数据预处理模块102可从数据集存储模块106读取用户上传的数据集，或者数据预处理模块102直接接收用户上传的数据集，进而对数据集中的数据进行预处理。对用户上传的数据集进行预处理可使得数据集中的数据在尺寸上具有一致性，还可以去除数据集中不恰当的数据，预处理后的数据集可适合用于对初始AI模型的训练，还可使训练的效果更优。数据预处理模块102对数据集进行预处理完成后将预处理完成的数据集存储至数据集存储模块106或者将预处理后的数据集发送至模型训练模块104。
模型确定模块103：用于根据用户的任务目标为用户确定用于完成用户任务目标的初 始AI模型。模型确定模块103与用户I/O模块101、模型训练模块104和AI模型存储模块107均可进行通信。模型确定模块103根据用户的任务目标在AI模型存储模块107中存储的AI模型库中选择一个现成的初始AI模型或者模型确定模块103根据用户的任务目标，或者用户对任务目标的预期效果或者用户输入的一些配置参数，在AI模型库中搜索初始AI子模型结构，且指定一些初始AI模型的超参数，例如：模型的层数、每层神经元的个数等，进行初始AI模型构建，最终获得一个完整的初始AI模型。模型确定模块103确定好用于完成任务目标的初始AI模型后，将初始AI模型发送至模型训练模块104或者发送初始AI模型在AI模型存储模块中的名称信息、地址信息等，使得模型训练模块104可对初始AI模型进行训练。值得注意的是，初始AI模型的一些超参数可以是AutoML系统根据初始AI模型构建和训练的经验确定的超参数。
可选的，模型确定模块103还可用于将用户在GUI上选择的AI模型确定为初始AI模型。
模型训练模块104：用于根据预处理后的数据集对已确定的初始AI模型执行自动训练。模型训练模块104从数据预处理模块102或者数据集存储模块106中读取已经过预处理的数据集，模型训练模块104从模型确定模块103或者AI模型存储模块107获取已确定的初始AI模型。模型训练模型104根据数据集的特点和初始AI模型的结构确定初始AI模型训练时的一些超参数，例如：迭代次数(iteration)、学习率(leaning rate)、批尺寸(batch size)等，设定完超参数后，模型训练模块104利用获取的数据集对初始AI模型执行自动训练，在训练过程中不断更新AI模型内部的参数。值得注意的是，对初始AI模型训练时的一些超参数可以是AutoML系统根据模型训练的经验确定的超参数。
模型优化分析模块105：用于对初始AI模型的训练进行分析，分析AI模型训练的效果和经过模型训练模块104获得的已训练的AI模型可进一步优化的方式和预期效果。在初始AI模型在被训练的过程中，模型优化分析模块105对数据集中每个类型的数据对于初始AI模型训练的影响进行分析，分析出对初始AI模型的效果提升较大的数据类型，进一步分析若增加这些数据类型的数据用于初始AI模型进一步训练后，初始AI模型可优化的预期效果。模型优化分析模块105根据分析结果为用户提供优化方式，模型优化分析模块105将分析结果和优化方式发送至用户I/O模块101。
数据集存储模块106:用于存储用户上传的数据集，也用于存储数据预处理模块102处理后的数据集。应理解，在另一个实施例中，数据集存储模块106也可作为数据预处理模块102中的一部分，即使数据预处理模块102有存储数据集的功能。
AI模型存储模块107：用于存储预置的AI模型和AI子模型结构，也可以用于存储根据AI子模型结构新构建好的初始AI模型。应理解，在另一个实施例中，AI模型存储模块107也可作为模型确定模块103中的一部分。
由于上述各模块的功能，本申请实施例提供的AutoML系统可向用户提供确定和训练AI模型的业务，且该系统可以深度分析不同类型的数据对AI模型训练的影响、预测新增一个或多个类型的数据对AI模型优化的效果等分析结果，进一步向用户提供AI模型优化的方式。
图2为本申请实施例提供的一种AutoML系统100的应用场景示意图，如图2所示， 在一种实施例中，AutoML系统100可全部部署在云环境中。云环境是云计算模式下利用基础资源向用户提供云服务的实体。云环境包括云数据中心和云服务平台，所述云数据中心包括云服务提供商拥有的大量基础资源(包括计算资源、存储资源和网络资源)，云数据中心包括的计算资源可以是大量的计算设备(例如服务器)。AutoML系统100可以独立地部署在云数据中心中的服务器或虚拟机上，AutoML系统100也可以分布式地部署在云数据中心中的多台服务器上、或者分布式地部署在云数据中心中的多台虚拟机上、再或者分布式地部署在云数据中心中的服务器和虚拟机上。如图2所示，AutoML系统100由云服务提供商在云服务平台抽象成一种AutoML云服务提供给用户，用户在云服务平台购买该云服务后(可预充值再根据最终资源的使用情况进行结算)，云环境利用部署在云数据中心的AutoML系统100向用户提供AutoML云服务。在使用AutoML云服务时，用户可以通过应用程序接口(application program interface，API)或者GUI确定要AI模型完成的任务、上传数据集至云环境，云环境中的AutoML系统100接收用户的任务信息和数据集，执行数据预处理、AI模型确定、AI模型训练以及AI模型优化分析等操作，AutoML系统通过API或者GUI向用户返回已训练的AI模型的效果、已训练的AI模型的优化方式、优化的预期效果等内容。用户进一步根据优化方式上传数据集或者放弃优化，训练完成的AI模型可被用户下载或者在线使用，用于完成特定的任务。
在本申请的另一种实施例中，云环境下的AutoML系统100抽象成AutoML云服务向用户提供时，可分为两部分，即：基础AutoML云服务和增值AI模型优化分析云服务。用户在云服务平台可先仅购买基础AutoML云服务，在需要使用增值AI模型优化分析云服务时再进行购买，购买后由云服务提供商提供增值AI模型优化分析API，最终按照调用API的次数对增值AI模型优化分析云服务进行额外计费。
本申请提供的AutoML系统100的部署较为灵活，如图3所示，在另一种实施例中，本申请提供的AutoML系统100还可以分布式地部署在不同的环境中。本申请提供的AutoML系统100可以在逻辑上分成多个部分，每个部分具有不同的功能，例如：在一种实施例中AutoML系统100包括用户I/O模块101、数据预处理模块102、模型确定模块103、模型训练模块104、模型优化分析模块105、数据集存储模块106、AI模型存储模块107。AutoML系统100中的各部分可以分别部署在终端计算设备、边缘环境和云环境中的任意两个或三个环境中。终端计算设备包括：终端服务器、智能手机、笔记本电脑、平板电脑、个人台式电脑、智能摄相机等。边缘环境为包括距离终端计算设备较近的边缘计算设备集合的环境，边缘计算设备包括：边缘服务器、拥有计算力的边缘小站等。部署在不同环境或设备的AutoML系统100的各个部分协同实现为用户提供初始AI模型确定和训练等功能。例如：在一种场景中，终端计算设备中部署AutoML系统100中的用户I/O模块101、数据预处理模块102和数据集存储模块106，边缘环境的边缘计算设备中部署AutoML系统100中的模型确定模块103、模型训练模块104、模型优化分析模块105、AI模型存储模块107，用户将采集的数据集发送至终端计算设备中的用户I/O模块101，终端计算设备将数据集存储至数据集存储模块106，数据预处理模块102对数据集进行预处理，将预处理后的数据集也存储在数据集存储模块106，边缘计算设备中模块确定模块103根据用户的任务目标确定初始AI模型，进一步地模型训练模块104、模型优化分析模块105利用数据存储设备存储的预处理后的数据集对AI模型存储模块107 中的确定的初始AI模型进行训练和优化分析。应理解，本申请不对AutoML系统100的哪些部分部署具体部署在什么环境进行限制性的划分，实际应用时可根据终端计算设备的计算能力、边缘环境和云环境的资源占有情况或具体应用需求进行适应性的部署。
AutoML系统100也可以单独部署在任意环境中的一个计算设备上(例如：单独部署在边缘环境的一个边缘服务器上)。图4为部署有AutoML系统100的计算设备200的硬件结构示意图，图4所示的计算设备200包括存储器201、处理器202、通信接口203以及总线204。其中，存储器201、处理器202、通信接口203通过总线204实现彼此之间的通信连接。
存储器201可以是只读存储器(Read Only Memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(Random Access Memory，RAM)。存储器201可以存储程序，当存储器201中存储的程序被处理器202执行时，处理器202和通信接口203用于执行AutoML系统100为用户训练和优化AI模型的方法。存储器还可以存储数据集合，例如：存储器201中的一部分存储资源被划分成一个数据集存储模块106，用于存储AutoML系统100所需的数据集，存储器201中的一部分存储资源被划分成一个AI模型存储模块107，用于存储AI模型库。
处理器202可以采用通用的中央处理器(Central Processing Unit，CPU)，微处理器，应用专用集成电路(Application Specific Integrated Circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路。
处理器202还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的AutoML系统100的功能可以通过处理器202中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器202还可以是通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请下文实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请下文实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器202读取存储器201中的信息，结合其硬件完成本申请实施例的AutoML系统100的功能。
通信接口203使用例如但不限于收发器一类的收发模块，来实现计算设备200与其他设备或通信网络之间的通信。例如，可以通过通信接口203获取数据集。
总线204可包括在计算设备200各个部件(例如，存储器201、处理器202、通信接口203)之间传送信息的通路。
下面结合图5描述在一种实施例中自动机器学习AutoML的方法的具体流程，该方法由AutoML系统100执行：
S301：接收用户的任务目标和数据集。
具体地，AutoML系统100可以通过用户I/O模块(例如：GUI)接收用户的任务目标， 任务目标例如：用户想要获得一个可用于检测和识别快递单号上的文字的AI模型、或者用户想要获得一个可用于能准确对包含各种水果的图像进行识别的AI模型。接收到用户的任务后，给予用户提示，让用户按照提示上传已搜集的数据集，AutoML系统接收用户上传的数据集。
值得注意的是，AutoML系统100还可以接收用户上传的两个数据集，分别为训练数据集和测试数据集。其中，训练数据集用于对确定用于完成任务目标的初始AI模型进行训练，测试数据集用于对已经过训练数据集进行训练后的AI模型进行测试，评估已训练的AI模型预测的准确率。值得注意的是，AutoML系统100只接收用户上传的一个数据集时，AutoML系统100可自行对用户上传的数据集进行划分，分为训练数据集和测试数据集。
可选的，AutoML系统100还可以接收在用户在GUI上输入的对最终AI模型的效果的期望(例如：希望最终AI模型的检测和识别的准确率到达99％以上)。
可选的，AutoML系统100还可接收用户选择的预置AI模型，将用户选择的预置AI模型作为初始AI模型。
可选的，AutoML系统100还可接收用户对初始AI模型、数据集的各种配置信息等。
S302：对用户上传的数据集进行预处理。
在该步骤中，预处理的方法包括下列操作中的一种或多种：
1、对用户上传的数据集中的数据的尺寸规格进行自动缩放或规范化；
2、对用户上传的数据集中的数据进行校验，剔除严重影响模型训练效果的个别数据；
3、对用户上传的数据集的数据的标注进行校验，剔除或纠正有标注的数据中数据内容与数据标注不符的数据；
4、对数据集中的数据进行转换和编码；
5、对数据集中的数据进行特征提取；
6、将数据集中的数据划分为训练数据集和测试数据集，其中划分的比例可根据用户的任务目标的不同而不同，对于一个数据集中有多个不同种类的数据的数据集时，划分的训练数据集和测试数据集中都应包含每种类型的数据；
7、对数据集进行属性分类，例如：对于数据集中包含多个国家的车牌时，可对数据集按照车牌颜色或者按照车牌中字符的长度等属性进行分类。应理解，对数据集进行的预处理操作不限于前述提到的几种操作，还可以根据任务目标和用户上传的数据集的情况进行适应性地进行一些其他预处理。应理解，对数据集执行多个预处理操作时，可根据预处理操作的类型顺序地对数据集进行预处理。
值得注意的是，当用户上传的为训练数据集和测试数据集两个数据集时，分别对两个数据集执行相同的预处理操作。值得注意的是，当用户上传的数据集为一个数据集时，S302对数据集的预处理先对用户上传的数据集进行划分，分为一个训练数据集和一个测试数据集，再对训练数据集和测试数据集执行相同的其他预处理操作。
S303：根据用户的任务目标确定初始AI模型。
在该步骤中，AutoML系统100根据用户的任务目标在AI模型数据库中确定一个完整 结构的AI模型作为用于完成用户任务的初始AI模型，或者AutoML系统100根据用户的任务目标确定一些初始AI模型的超参数，例如：模型的层数、每层神经元的个数等，且AutoML模型根据用户的任务目标搜索AI模型库中的AI子模型结构。进一步地，AutoML系统100根据超参数和AI子模型结构进行AI模型构建，最终获得一个完成的初始AI模型。应理解，本申请不对初始AI模型确定的方法进行限定，现有技术中其他一些对初始AI模型进行确定和构建的方法也适用于本申请实施例中的该步骤。应理解，本申请中的初始AI模型指AutoML系统100根据用户的任务目标确定的，但是未经过用户上传的数据集进行训练的AI模型。
S304：利用预处理后的数据集对初始AI模型进行训练。
此步骤利用S302获得的预处理后的训练数据集对由S303确定的初始AI模型进行训练，在训练前，可根据训练经验、预处理后的训练数据集的特点、初始AI模型的特点确定模型训练的一些超参数，例如：迭代次数、学习率、批尺寸(batch size)等。在一种训练方式中，根据设定的超参数对初始AI模型进行训练，训练时，利用损失函数计算训练过程中的AI模型对输入图像的预测值和目标值之间的损失值，根据损失值更新训练过程中的AI模型的参数，直到训练数据集中的数据均根据设定的超参数用于训练。应理解，本申请不限定对于初始AI模型的训练的具体方式，根据初始AI模型的结构不同、设定的训练的超参数不同，训练的方法也会相应发生改变，但是所有的训练均需要用训练数据集进行，且训练的目的是为了使初始AI模型学习到训练数据集中的数据的特点和规律，使得初始AI模型对于任意与训练数据集中的数据相似或类型相同的其他数据可进行预测。
S305：对已训练的AI模型进行评估，对初始AI模型的训练进行分析。
在前述S304中，初始AI模型根据训练数据集被训练，在该步骤S305中，AutoML系统100对已训练的AI模型用测试数据集进行评估，即：用测试数据集中的数据作为已训练的AI模型的输入，计算已训练的AI模型对测试数据的预测准确率。对于数据集中包含多个类型的数据时，对已训练的AI模型的评估可以分别计算已训练的AI模型对于测试数据集中每一类数据的预测准确率。已训练的AI模型经过评估后，将评估结果与用户在GUI上预输入的对最终的AI模型的效果期望进行比较。当已训练的AI模型未达到效果期望时，进一步分析已训练的AI模型的预测准确率较差的几个类型的数据在用于对初始AI模型进行训练过程中，对AI模型预测同一类型数据的准确率和预测其他类型的数据的准确率的影响。可用增量实验的方法分析每次增加一个定数量的训练数据用于对AI模型训练后，AI模型的预测准确率的变化情况。进一步地，根据用于训练AI模型的数据量与AI模型的预测准确率的曲线关系，可预测继续添加一种或多种类型的数据进行优化训练后的AI模型的预测准确率的预期效果。对已训练的AI模型进行评估和对初始AI模型进行训练的一个实施例的具体流程将在后续S3051-S3054中进行描述。
可选的，S305对已训练的AI模型进行评估后，将评估结果与用户在GUI上预输入的对AI模型的效果期望进行比较，当已训练的AI模型达到效果期望时，S305不 再进一步地分析，而是通过GUI向用户提示已训练出符合用户效果期望的AI模型，向用户提供已训练完成的AI模型的下载或者提示用户可在线使用已训练完成的AI模型。
S306：向用户反馈评估结果、分析结果、优化方式和优化后的预期效果。
根据前述S305的评估，可获得对已训练的AI模型的评估结果，评估结果包括：当前已训练的AI模型在测试数据集表现的预测准确率(对于存在多个数据类型的数据集，评估结果还包括已训练的AI模型对于每一类数据的预测准确率)。根据前述S305的分析，可获得对初始AI模型的训练的分析结果，分析结果包括每次训练后的所述中间AI模型相对所述基准AI模型的预测准确率的变化量；根据所述预测准确率的变化量和所述每一类型的数据，获得所述至少一种类型的数据中的每一类型的数据对所述中间AI模型的预测准确率的收益系数。优化方式为AutoML系统100根据分析结果向用户建议的优化已训练的AI模型的方法，例如：训练数据集中包括A、B、C、D四类数据，根据分析结果发现新增训练数据集的数据总量的10％的A类数据既可提升AI模型对A类数据的预测准确率，又可提升B、C类数据的预测准确率，则优化方式为“增加训练数据集数据总量的10％的A类数据”。AutoML系统100还向用户反馈优化方式后的预期优化效果，例如：增加训练数据集数据总量的10％的A类数据后，AI模型的预期效果为：AI模型对A类数据的预测准确率预期提升4.2％，AI模型对B类数据的预测准确率预期提升1.5％，AI模型对C类数据的预测准确率预期提升6.3％。
应理解，当用户根据AutoML系统100提供的优化方式上传了新增的训练数据集后，AutoML系统100将以已训练的AI模型当做初始AI模型，利用新增的训练数据集执行与上述S302、S304、S305和S306相似的流程，即：对新增的训练数据集中的数据进行预处理、利用预处理后的新增的训练数据集对已经经过上述S303确定的且经过上述S304训练后的已训练的AI模型继续进行优化训练，对优化训练后的AI模型进行评估和分析，进一步向用户提供分析结果、优化方式和预期优化效果。直到用户选择不再遵从优化方式，或者S304训练完AI模型，将目前已训练的AI模型的预测准确率与用户预设定的效果期望进行比较，确定目前已训练的AI模型已满足用户的效果期望，则AutoML系统不再执行与上述S302、S304、S305和S306相似的流程，而是在GUI上提示用户：已按照用户需求训练好AI模型，当前已训练好的AI模型可供用户下载或者在线使用。
通过上述S301-S306中AutoML系统100进行自动机器学习的方法流程，用户可以获得更有信息量的AI模型的训练的分析结果、已训练的AI模型的优化方式和优化后的预期效果，这使得用户可以根据这些信息和实际情况决定是否遵从AutoML系统建议的优化方式。或者用户可在均衡考虑当前已训练的AI模型的预测准确率、优化后的预期效果、时间和人力成本后，放弃继续优化已训练的AI模型。对AI模型的训练进行优化分析和提供可靠的优化方式可以真正使不具备专业AI知识的用户较为轻松的获得满意的AI模型。以利用AI模型完成任务目标。
图6描述了在一种实施例中评估已训练的AI模型和分析初始AI模型的训练的具体方法流程示意图，下面结合图6以用户的任务目标为获得一个用于图像分类的AI 模型、用户上传的数据集为包括A、B、C、D四类数据的一个训练数据集和包括A、B、C、D四类数据的一个测试数据集为例，对前述S305中评估和分析AI模型的方法进行详细的描述：
S3051：利用测试数据集对已训练的AI模型进行评估，计算已训练的AI模型在各个类型上的预测准确率。
具体地，将测试数据集中的数据依次输入至已训练的AI模型，由已训练的AI模型输出每个输入数据对应的预测类型。进一步将预测类型与输入数据的真实类型进行比较，分别计算已训练的AI模型对测试数据集中A、B、C、D四个类型的数据的预测准确率。每个类型的预测准确率为AI模型对测试数据集中该类型的数据准确预测的数量与测试数据集中该类型的总数据量的比值。例如：在测试数据集中一共有20个A类型的图像，这20个图像分别输入至训练后的AI模型进行预测后，训练后的AI模型准确预测出了其中18个图像为A类型的图像，则训练后的AI模型对A类型的预测准确率为90％。
值得注意的是，在S306中，已训练的AI模型在测试数据集中各个类型的预测准确率可以由GUI显示给用户，使用户直观地获得当前训练程度的AI模型在各个类型的数据上的表现，例如：图7为GUI上呈现的已训练的AI模型在测试数据集中各个类型的预测准确率的示意图。
S3052：分析一个或多个类型的数据在用于训练AI模型时，对AI模型的预测准确率的影响。
具体地，根据前述S3051获得的已训练的AI模型在各个类型上的预测准确率，确定训练数据集中N个预测准确率较差的类型，分别对这N个类型进行增量实验。其中，N为大于等于1的正整数，N的取值可由多种因素结合确定，例如：训练的时间成本、当前AI模型的预测准确率排序等。例如：对于如图7所示的预测准确率，确定N的取值为2，选择A类型和B类型进行增量实验。
进行增量实验的主要思路是：用基准集重新训练初始AI模型获得基准AI模型，评估基准AI模型对测试数据集中各个类型的数据的预测准确率。再逐渐增加一个类型的数据对基准AI模型进行训练，获得一个类型的数据增量序列与AI模型对于测试数据集中各个类型的数据的预测准确率变量序列之间的相关系数。其中，一个类型的数据增量序列可表示为[NA 1,NA 2，…,NA i，…,NA k],i和k均为大于0的正整数，i小于或等于k。NA i表示第i次增加数据后的用于训练AI模型的该类型的数据量的个数，NA k表示最后一次增加数据后的用于训练AI模型的该类型的数据量的个数。逐渐增加一个类型的数据量用于训练AI模型的过程中，AI模型对于测试数据集中第j个类型的数据的预测准确率变量序列可表示成[△PA j 1,△PA j 2，…,△PA j i，…,△PA j k]，j为大于0的正整数。应理解，逐渐增加一个类型的数据用于AI模型训练，可以获得测试数据集中所有类型的数据对应的预测准确率的增量序列。例如：逐渐A类数据用于对AI模型进行训练，可获得A类数据增加训练AI模型的过程中，AI模型对于测试数据集中的A、B、C、D四类数据的预测准确率的增量序列。下面以对A类数据进行增量实验，描述增加A类数据对AI模型进行训练对AI模型在A、B、C、D数据类型上的预测准确率的影响的具体方法。具体的步骤如下：
1：将预处理后的训练数据集分为基准集和增量集，其中基准集和增量集之间的比例划分可以由AutoML系统100根据经验值确定，不同任务目标可以设定不同的划分比例。
2：利用基准集对前述步骤S303确定的初始AI模型重新进行训练获得基准AI模型，利用测试数据集对用基准AI模型对各个类型的预测准确率进行评估，获得每个类型的基准预测准确率，第j类型数据的基准预测准确率记为PA j 0。
应理解，前述第1步和第2步的具体对AI模型重新训练和评估的方法与前述步骤S304和S305相似，此处不再赘述。
3：将增量集中第A类数据划分为k份，其中每一份数据的数量可以相同也可以不同。每一次增加一份A类数据对AI模型进行训练，每一次训练后，计算当前被训练后的中间AI模型对于测试数据集中A、B、C、D类数据的预测准确率，计算每个预测准确率相对于基准预测准确率的变化量，第i次增加A类数据训练后的中间AI模型对第j类数据的预测准确率相对于基准AI模型对第j类数据的预测准确率之间的变化量记为△PA j i。在第k次增加A类数据后，可获得4个预测准确率变量序列(分别为增加A类数据训练AI模型的过程中，中间AI模型预测A、B、C、D类数据的预测准确率相对于基准预测准确率的变量序列)，其中第j类数据对应的预测准确率变量序列表示增加第1-k次A类数据后，中间AI模型对测试数据集中的第j类数据的预测准确率相对于基准预测准确率的变化量的集合。例如每次增加A类数据后，中间AI模型对测试数据集中的B类数据的预测准确率都可能有变化，B类数据对应的预测准确率变量序列即表示每一次的变化。
4：计算A类数据的增量序列与获得的每一类数据对应的预测准确率变量序列之间的相关系数。其中，相关系数的计算可用皮尔逊相关系数，也可以使用其他统计学中常用的相关系数，如spearman系数，kendall系数来计算。例如：增加A类型的数据用于AI模型训练后，获得A类型、B类型、C类型、D类型对应的预测准确率变量序列，分别计算A类型的增量序列与A类型、B类型、C类型、D类型对应的预测准确率变量序列之间的相关系数，A类型、B类型、C类型、D类型对应的相关系数分别记为rA A、rA B、rA C、rA D。由此，该步骤中可以获得增加A类数据用于AI模型的训练对于AI模型预测A、B、C、D类数据的影响，这种影响可由相关系数判断，当A类数据的增量序列与A类数据对应的的预测准确率变量序列的相关系数较大，且为正相关(相关系数为正数)，则可判断增加A类数据用于对AI模型的训练对于A类数据的预测准确率而言是有积极影响的，可提高AI模型预测A类数据的准确率。当A类数据的增量序列与B类数据对应的的预测准确率变量序列的相关系数较大，且为负相关(相关系数为负数)，则可判断增加A类数据用于对AI模型的训练对于B类数据的预测准确率而言是有消极影响的，会降低AI模型预测B类数据的准确率。当A类数据的增量序列与C类数据对应的的预测准确率变量序列的相关系数较小，则可判断增加A类数据用于对AI模型的训练对于C类数据的预测准确率而言影响不大。
值得注意的是，上述第3、4步的方法对于N个类型的数据都执行一遍，由此可获得增加每一类数据对于AI模型预测同类数据和其他类数据的预测准确率变化量的相关系数。
S3053：计算增加一个类型的数据对中间AI模型的预测准确率的收益系数。
具体地，将预设定的相关系数阈值与获得的每个相关系数进行比较，将大于或等于相关系数阈值的相关系数对应的增量序列和预测准确率变量序列继续进行回归分析。回归分析的方法可采用线性回归分析法，以增量序列为A类型数据的增量序列，对应的预测准确率序列为增加A类数据后AI模型对B类数据的预测准确率变量序列为例，利用增量序列[NA 1,NA 2，…,NA i，…,NA k]与对应的预测准确率序列[△PA B 1,△PA B 2，…,△PA B i，…,△PA B k]根据公式：
[△PA B 1,△PA B 2，…,△PA B i，…,△PA B k]＝bA B*[NA 1,NA 2，…,NA i，…,NA k]+hA B
计算表示增加A类型数据训练后的AI模型对于B类型的数据的预测准确率的收益系数bA B，同理，根据上述公式，计算增加A类型数据训练后的AI模型相对于同类数据和其他数据的预测准确率的所有收益系数。增加A类数据训练后的AI模型的预测准确率的总收益系数为增加A类型数据训练后的AI模型相对于同类数据和其他数据的预测准确率的所有收益系数之和，记为BA。
前述步骤S3052和S3053的计算可用图8所示的计算示意图举例说明，如图8所示，步骤S3052分别计算得到了新增A类数据用于对基准AI模型训练后，A类数据的增量序列与中间AI模型预测A、B、C三类数据的预测准确率的相关系数rA A、rA B、rA C。由于预设定的相关系数阈值为0.6，因此，可确定新增A类数据对于A、B类数据预测准确率的影响较大，对于C类数据的预测准确率的影响较小。因此进一步计算新增A类数据用于AI模型训练对于AI模型预测A类数据和B类数据的收益系数bA A、bA B。根据bA A、bA B计算得到新增A类数据对中间AI模型的预测准确率的总收益系数，总收益系数为5.6。
应理解，S3051中获得的N个预测准确率较差的类型分别采用S3052和S3053计算出新增这N个类型中的每个类型的数据对中间AI模型预测测试数据集中各个类型的数据的影响(相关系数、收益系数)和对AI模型的总收益系数。对获得的N个总收益系数进行排序，可选择一个或多个较大的收益系数对应的新增的类型作为推荐用户最应优先增加的一个或多个数据类型。
值得注意的是，在S306中，前述步骤S3052和S3053获得的新增一个类型的数据对中间AI模型预测同类型数据的影响和对预测不同类型数据的影响，以及新增一个类型的数据对中间AI模型的预测准确率的总体收益系数均可在GUI上显示给用户，进一步地，AutoML系统100还根据这些分析结果向用户推荐最应增加的一个或多个数据类型。例如：如图9所示，经过前述步骤S3052和S3053的分析后，AutoML系统100在GUI上为用户显示优化方式，用户从GUI上可以清楚地看到AutoML系统100向用户推荐的应新增的数据类型。进一步地，用户可以选择查看分析结果，了解为什么AutoML系统100会向用户推荐新增这一类或多类数据类型。
S3054：计算增加一类数据训练后的AI模型的预测准确率的预期效果。
根据前述S3053获得的每次增加一类数据训练AI模型后，中间AI模型预测各个类型的数据的预测准确率，计算每次训练后的中间AI模型的总预测准确率，每次中间AI模型的总预测准确率可以为每次中间AI模型预测每个类别的预测准确率的平均值或者加权平均值(加权系数可根据测试数据集中每一类型数据的数量确定)。 例如：用于训练AI模型的A类型的数据增量为[NA 1,NA 2，…,NA i，…,NA k]，在A类型的数据增加过程中，被训练的中间AI模型预测A类型的数据的预测准确率序列为[PA A 1,PA A 2，…,PA A i，…,PA A k]，被训练的中间AI模型预测B类型的数据的预测准确率序列为[PA B 1,PA B 2，…,PA B i，…,PA B k]，被训练的中间AI模型预测C类型的数据的预测准确率序列为[PA C 1,PA C 2，…,PA C i，…,PA C k]，被训练的中间AI模型预测D类型的数据的预测准确率序列为[PA D 1,PA D 2，…,PA D i，…,PA D k]。通过计算这四个序列中每个预测准确率的平均值，可获得在A类型的数据增加过程中，被训练的中间AI模型的预测准确率序列为[PA 1,PA 2，…,PA i，…,PA k]。将A类型的数据增量[NA 1,NA 2，…,NA i，…,NA k]与被训练的中间AI模型的预测准确率序列[PA 1,PA 2，…,PA i，…,PA k]进行曲线拟合，获得一个可以表征该曲线关系的公式G，根据公式G可计算继续增加一定量的A类数据训练后的AI模型预期的预测准确率，根据预期准确率可以进一步计算得到增加一定量的A类数据训练后的AI模型的预测准确率的预期效果。
可选的，对于计算在A类型的数据增加过程中被训练的AI模型的预测准确率序列[PA 1,PA 2，…,PA i，…,PA k]，也可根据前述S3052的增量实验的方法，逐步增加A类型数据，对基准AI模型进行逐步训练。对每一次训练后的中间AI模型用测试数据进行评估，获得每一次训练后的中间AI模型对整个测试数据的预测准确率，进而获得预测准确率序列[PA 1,PA 2，…,PA i，…,PA k]。
应理解，在一种实施例中，可以在S3053完成之后，对优化方式中提到的建议增加的数据类型(可以为一个或多个数据类型)，进行前述S3054中计算增加建议的数据类型的数据训练后的AI模型的总预测准确率的预期效果。例如：前述S3053中AutoML系统100根据分析建议用户继续增加A类型的数据，AutoML系统100在S3054则继续计算增加A类型的数据进行训练后的AI模型预测准确率的预期效果，以便显示给用户。在另一种实施例中，S3054可以对前述S3053中进行了分析的每个数据类型，分别计算继续增加每个类型的数据训练后的AI模型预测准确率的预期效果。
值得注意的是，在S306中，前述拟合获得的预测准确率曲线，以及进一步计算得到的增加一定量的数据后AI模型的预测准确率的预期效果均可以在GUI上显示，以使得用户根据AI模型的预测准确率的预期效果决定是否按照优化方式增加数据。图10为一种GUI，该GUI显示了A类数据用于训练过程中AI模型的预测准确率曲线图。该图中，横坐标为A类数据的数据量，纵坐标为在横坐标中的A类数据的数据量用于训练AI模型后，AI模型的预测准确率。如图10所示，用户可知道增加200个A类数据用于训练后，AI模型的总预测准确率的预期效果将提升至95.6％；增加1000个A类数据用于训练后AI模型的总预测准确率的预期效果将提升至97.9％。可选的，用户在图10中还可以用鼠标箭头点击曲线上的任意一点，GUI则会相应显示在曲线上的该点对应的增加A类型的数据的数量以及这个数量的A类型数据用于继续训练AI模型后，AI模型的预测准确率的预期效果。
应理解，前述S3051-S3054的方法虽然以用户的任务目标为图像分类为例子进行介绍的，但是S3051-S3054所描述的对AI模型进行分析、给用户优化方式和优化的预期效果的方法实际可以用于多种任务目标，本申请不对任务目标的类型做限定， 任何需要不同数据集进行训练的AI模型都可用前述方法进行优化分析，给用户更准确和可信服的优化方式和预期效果。例如：用户的任务目标可以是车牌识别、人脸识别、目标检测、视频审核等。
本申请提供的AutoML系统100在进行优化分析时，还可以不根据用户上传的数据集中数据的标注的分类，而是根据用户上传的数据集中的数据的一种或多种属性(例如：图像的背景颜色、视频的创作年代、文字的国别等)，对数据集进行分类。进一步对一种或多种属性分类下的每一类型的数据对AI模型训练的影响进行分析。
下面结合图11介绍本申请提供的另一种实施例：
S401：AutoML系统100接收用户在GUI上选择的任务目标和数据集。其中，任务目标为车牌识别，数据集为包括各个国家的不同车牌的数据集，其中数据集中的每个车牌的标注为该车牌的车牌号对应的字符串。
S402：AutoML系统100根据用户的数据集对数据集进行预处理，预处理的操作包括前述S302提到的一种或多种，在此不再赘述。
S403：AutoML系统100根据任务目标为用户确定一个用于实现任务目标的初始AI模型。
S404：AutoML系统100利用数据集对AI模型进行训练，获得已训练的AI模型。
S405：AutoML系统100将训练数据集和测试数据集中的车牌按照背景颜色的不同进行分类，其中，背景颜色为数据集中数据的一种属性，例如：可分成黑色、绿色、蓝色、红色四类。将颜色分类后的测试数据集对已训练的AI模型的效果进行评估，利用颜色分类后的训练数据集对初始AI模型的训练进行分析。
将测试数据集中的车牌分别输入至已训练的AI模型中，与前述S3051相似，评估当前训练的AI模型对绿色、蓝色、黑色、红色车牌进行车牌号预测的预测准确率，发现已训练的AI模型对背景为黑色和红色的车牌中的字符串的预测准确率较差。
根据前述S3052-S3054中的方法，分别分析训练数据集中背景为黑色和红色的车牌用于训练初始AI模型的过程中，对AI模型预测同类型颜色和其他类型颜色的车牌的预测准确率的影响，计算增加一个颜色类型的数据对AI模型的预测准确率的总收益系数，进一步计算增加一类颜色的数据训练后的AI模型的总预测准确率的预期效果。上述评估和分析方法的具体实现与前述S3051-S3054相同，在此不再赘述。
S406：根据前述S405的评估和分析，向用户显示分析结果和优化方式，优化方式可以是：增加黑色背景的车牌继续优化AI模型。还可以向用户提供增加一定数量优化AI模型后的预期效果，例如AI模型的预测准率的提升比例。
上述实施例中，用户上传的数据集中虽然没有对数据进行颜色属性的分类，但是AutoML系统100在对AI模型做优化分析时，为了分析车牌的背景对字符识别的影响，将数据集进行了按照属性(颜色)分类的操作，以使得可对已训练的AI模型对不同颜色的车牌的预测准确率进行分析，给用户以另一个方面的对AI模型的优化方式。
可选的，在另一种实施例中，AutoML系统100在对已训练的AI模型和用于训练的数据集进行分析时，可对数据集按照多个方面的属性进行分类后，分析每一方面的属性下的每一类数据集对AI模型训练的影响。例如：在用户的任务目标为人脸识别时，在分析时，可根据数据集中人脸的性别进行对训练数据集和测试数据集进行 分类，分成男性和女性，分析已训练的AI模型对男性和女性的识别准确率，以及男性和女性训练数据对AI模型的准确率的影响。还可以根据数据集中人脸的年龄对训练数据集和测试数据集进行分类，分成20-30、30-40、40-50、50-60、60以上，分析已训练的AI模型对不同年龄阶段的人脸的识别准确率，以及各个年龄阶段的训练数据对AI模型的准确率的影响。由于AutoML系统从两方面的属性对AI模型的训练进行了分析。AutoML系统100通过GUI向用户提供的优化方式可以为：增加女性人脸数据和年龄为60岁以上的人脸数据。
本申请还提供一种如图1所示的AutoML系统100，AutoML系统包括的模块和功能如前文的描述，在此不再赘述。在一种实施例中，AutoML系统100中的用户I/O模块101具体用于执行前述步骤S301和S306所描述的方法或者用于执行前述S401和S406所描述的方法；数据预处理模块102具体用于执行前述步骤S302所描述的方法或者用于执行前述S402所描述的方法；模型确定模块103具体用于执行前述步骤S303所描述的方法或者用于执行前述S403所描述的方法；模型训练模块104具体用于执行前述步骤S304所描述的方法或者用于执行前述S404所描述的方法；模型优化分析模块105具体用于执行前述步骤S305所描述的方法或者用于执行前述S405所描述的方法。
值得注意的是，在一种实施例中，模型优化分析模块还具体用于执行前述S3051-S3054。
本申请还提供一种如图4所示的计算设备200，计算设备200中的处理器202读取存储器201存储的程序和数据集合以执行前述AutoML系统执行的方法。
由于本申请提供的AutoML系统100中的各个模块可以分布式地部署在同一环境或不同环境中的多个计算机上，因此，本申请还提供一种如图12所示的计算设备，该计算设备包括多个计算机500，每个计算机500包括存储器501、处理器502、通信接口503以及总线504。其中，存储器501、处理器502、通信接口503通过总线504实现彼此之间的通信连接。
存储器501可以是只读存储器(Read Only Memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(Random Access Memory，RAM)。存储器501可以存储程序，当存储器501中存储的程序被处理器502执行时，处理器502和通信接口503用于执行AutoML系统为用户训练和优化AI模型的部分方法。存储器还可以存储数据集合，例如：存储器501中的一部分存储资源被划分成一个数据集存储模块，用于存储AutoML系统所需的数据集，存储器501中的一部分存储资源被划分成一个AI模型存储模块，用于存储AI模型库。
处理器502可以采用通用的中央处理器(Central Processing Unit，CPU)，微处理器，应用专用集成电路(Application Specific Integrated Circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路。
处理器502还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的AutoML系统的部分或全部功能可以通过处理器502中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器502还可以是通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请下文实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501，处理器502读取存储器501中的信息，结合其硬件完成本申请实施例的AutoML系统的部分功能。
通信接口503使用例如但不限于收发器一类的收发模块，来实现计算机500与其他设备或通信网络之间的通信。例如，可以通过通信接口503获取数据集。
总线504可包括在计算机500各个部件(例如，存储器501、处理器502、通信接口503)之间传送信息的通路。
上述每个计算机500间通过通信网络建立通信通路。每个计算机500上运行用户I/O模块101、数据预处理模块102、模型确定模块103、模型训练模块104、模型优化分析模块105、数据集存储模块106和AI模型存储模块107中的任意一个或多个。任一计算机500可以为云数据中心中的计算机(例如：服务器)，或边缘数据中心中的计算机，或终端计算设备。
上述各个附图对应的流程的描述各有侧重，某个流程中没有详述的部分，可以参见其他流程的相关描述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。提供AutoML的计算机程序产品包括一个或多个进行AutoML的计算机指令，在计算机上加载和执行这些计算机程序指令时，全部或部分地产生按照本发明实施例图5、图6或图11所述的流程或功能。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质存储有提供AutoML的计算机程序指令的可读存储介质。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)。

Claims (21)

  1. 一种自动机器学习AutoML的方法，其特征在于，包括：
    接收用户的任务目标和第一数据集；
    根据所述任务目标确定初始人工智能AI模型，所述初始AI模型用于为所述用户实现所述任务目标；
    根据所述第一数据集对所述初始AI模型进行训练，得到已训练的AI模型；
    根据所述第一数据集对所述初始AI模型的训练进行分析，获得分析结果，其中，所述分析结果包括所述第一数据集中的至少一种类型的数据对所述初始AI模型的训练的影响；
    根据所述分析结果向所述用户提供对所述已训练的AI模型的优化方式，所述优化方式包括：上传第二数据集用于对所述已训练的AI模型进行优化。
  2. 如权利要求1所述的方法，其特征在于，所述方法还包括：
    向所述用户提供所述已训练的AI模型优化的预期效果，所述预期效果指示所述已训练的AI模型在根据所述第二数据集优化训练后将达到的预测准确率。
  3. 如权利要求1或2所述的方法，其特征在于，所述第一数据集包括训练数据集和测试数据集；
    在根据所述第一数据集对所述初始AI模型的训练进行分析，获得分析结果之前，所述方法还包括：
    评估所述已训练的AI模型对所述测试数据集中的每一类型的数据的预测准确率；
    所述根据所述第一数据集对所述初始AI模型的训练进行分析，获得分析结果，具体包括：
    根据所述测试数据集中的所述每一类型的数据的预测准确率，确定所述训练数据集中的至少一种类型的数据用于分析所述初始AI模型的训练；
    利用增量实验方法，分析所述训练数据集中的至少一种类型的数据对所述初始AI模型的训练的影响，获得所述分析结果。
  4. 如权利要求3所述的方法，其特征在于，所述利用增量实验方法，分析所述训练数据集中的至少一种类型的数据对所述初始AI模型的训练的影响，获得所述分析结果，具体包括：
    将所述训练数据集分为基准集和增量集；
    利用所述基准集对所述初始AI模型进行训练，得到基准AI模型；
    对于所述增量集中的至少一种类型的数据中的每一类型的数据，将所述每一类型的数据分为多份，逐次增加所述多份数据中的一份数据训练所述基准AI模型，得到中间AI模型；
    计算每次训练后的所述中间AI模型相对所述基准AI模型的预测准确率的变化量；
    根据所述预测准确率的变化量和所述每一类型的数据，获得所述至少一种类型的数据中的每一类型的数据对所述中间AI模型的预测准确率的收益系数。
  5. 如权利要求3或4所述的方法，其特征在于，所述第二数据集包括一种或多种类型的数据，所述第二数据集中数据的类型为对所述中间AI模型的预测准确率的收益系数大于预设定阈值的数据的类型。
  6. 如权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
    接收所述用户上传的所述第二数据集；
    根据所述第二数据集对所述已训练的AI模型进行优化训练。
  7. 如权利要求1-6任一项所述的方法，其特征在于，在根据所述第一数据集对所述初始AI模型的训练进行分析，得到已训练的AI模型之前，所述方法还包括：
    根据所述第一数据集中的数据的属性对所述第一数据集中的数据进行分类。
  8. 如权利要求1-6任一项所述的方法，其特征在于，所述第一数据集和第二数据集中的数据带有标注，所述第一数据集和所述第二数据集的数据的类型与所述第一数据集和所述第二数据集中的数据带有的标注相同。
  9. 如权利要求1-8任一项所述的方法，其特征在于，所述方法还包括：
    分别对接收到的所述第一数据集和所述第二数据集中的数据进行预处理，其中，所述预处理包括以下操作中的一种或多种：
    (1)、对所述数据的尺寸规格进行修改；
    (2)、对所述数据进行校验；
    (3)、对所述数据进行编码和转换；
    (4)、对所述数据进行属性分类；
    (5)、对所述数据进行特征提取。
  10. 一种自动机器学习AutoML系统，其特征在于，所述系统包括：
    用户输入输出I/O模块，用于接收用户的任务目标和第一数据集；
    模型确定模块，用于根据所述任务目标确定初始人工智能AI模型，所述初始AI模型用于为所述用户实现所述任务目标；
    模型训练模块，用于根据所述第一数据集对所述初始AI模型进行训练，得到已训练的AI模型；
    模型优化分析模块，用于根据所述第一数据集对所述初始AI模型的训练进行分析，获得分析结果，其中，所述分析结果包括所述第一数据集中的至少一种类型的数据对所述初始AI模型的训练的影响；
    所述用户I/O模块，还用于根据所述分析结果向所述用户提供对所述已训练的AI模型的优化方式，所述优化方式包括：上传第二数据集用于对所述已训练的AI模型进行优化。
  11. 如权利要求10所述的系统，其特征在于，
    所述用户I/O模块，还用于向所述用户提供所述已训练的AI模型优化的预期效果，所述预期效果指示所述已训练的AI模型在根据所述第二数据集进行优化训练后将达到的预测准确率。
  12. 如权利要求10或11所述的系统，其特征在于，所述第一数据集包括训练数据集和测试数据集；所述模型优化分析模块还用于：评估所述已训练的AI模型对所述测试数据集中的每一类型的数据的预测准确率；
    所述模型优化分析模块用于根据所述第一数据集对所述初始AI模型的训练进行分析，获得分析结果时，具体用于：
    根据所述测试数据集中的所述每一类型的数据的预测准确率，确定所述训练数据集中的至少一种类型的数据用于分析所述初始AI模型的训练；
    利用增量实验方法，分析所述训练数据集中的至少一种类型的数据对所述初始AI模型的训练的影响，获得所述分析结果。
  13. 如权利要求12所述的系统，其特征在于，所述模型优化分析模块用于利用增量实验方法，分析所述训练数据集中的至少一种类型的数据对所述初始AI模型的训练的影响，获得分析结果时，具体用于：
    将所述训练数据集分为基准集和增量集；
    利用所述基准集对所述初始AI模型进行训练，得到基准AI模型；
    对于所述增量集中的至少一种类型的数据中的每一类型的数据，将所述每一类型的数据分为多份，逐次增加所述多份数据中的一份数据训练所述基准AI模型，得到中间AI模型；
    计算每次训练后的所述中间AI模型相对所述基准AI模型的预测准确率的变化量；
    根据所述预测准确率的变化量和所述每一类型的数据，获得所述至少一种类型的数据中的每一类型的数据对所述中间AI模型的预测准确率的收益系数。
  14. 如权利要求12或13所述的系统，其特征在于，所述第二数据集中包括一种或多种类型的数据，所述第二数据集中数据的类型为对所述中间AI模型的预测准确率的收益系数大于预设定的阈值的数据的类型。
  15. 如权利要求10-14任一项所述的系统，其特征在于，
    所述用户I/O模块还用于接收所述用户上传的所述第二数据集；
    所述模型训练模块还用于根据所述第二数据集对所述已训练的AI模型进行优化训练。
  16. 如权利要求10-15任一项所述的系统，其特征在于，所述模型优化分析模块还用于：
    根据所述第一数据集中的数据的属性对所述第一数据集中的数据进行分类。
  17. 如权利要求10-15任一项所述的系统，其特征在于，所述第一数据集和第二数据集中的数据带有标注，所述第一数据集和所述第二数据集的数据的类型与所述第一数据集和所述第二数据集中的数据带有的标注相同。
  18. 如权利要求10-17任一项所述的系统，其特征在于，所述系统还包括：
    数据预处理模块，用于分别对接收到的所述第一数据集和所述第二数据集进行预处理，其中，所述预处理包括以下操作中的一种或多种：
    (1)、对所述数据的尺寸规格进行修改；
    (2)、对所述数据进行校验；
    (3)、对所述数据进行编码和转换；
    (4)、对所述数据进行属性分类；
    (5)、对所述数据进行特征提取。
  19. 一种计算设备，其特征在于，所述计算设备包括存储器和处理器，所述存储器用于存储一组计算机指令；
    所述处理器执行所述存储器存储的一组计算机指令，以执行上述权利要求1至9中任一项所述的方法。
  20. 一种非瞬态的可读存储介质，其特征在于，所述非瞬态的可读存储介质存储有计算机程序代码，当所述计算机程序代码被计算设备执行时，所述计算设备执行上述权利要求1至9中任一项所述的方法。
  21. 一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码被计算设备执行时，所述计算设备执行上述权利要求1至9中任一项所述的方法。
PCT/CN2019/102305 2019-08-23 2019-08-23 一种自动机器学习AutoML系统、方法及设备 WO2021035412A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980099020.XA CN114245910A (zh) 2019-08-23 2019-08-23 一种自动机器学习AutoML系统、方法及设备
PCT/CN2019/102305 WO2021035412A1 (zh) 2019-08-23 2019-08-23 一种自动机器学习AutoML系统、方法及设备
US17/677,620 US20220180209A1 (en) 2019-08-23 2022-02-22 Automatic machine learning system, method, and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/102305 WO2021035412A1 (zh) 2019-08-23 2019-08-23 一种自动机器学习AutoML系统、方法及设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/677,620 Continuation US20220180209A1 (en) 2019-08-23 2022-02-22 Automatic machine learning system, method, and device

Publications (1)

Publication Number Publication Date
WO2021035412A1 true WO2021035412A1 (zh) 2021-03-04

Family

ID=74684765

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/102305 WO2021035412A1 (zh) 2019-08-23 2019-08-23 一种自动机器学习AutoML系统、方法及设备

Country Status (3)

Country Link
US (1) US20220180209A1 (zh)
CN (1) CN114245910A (zh)
WO (1) WO2021035412A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114662006A (zh) * 2022-05-23 2022-06-24 阿里巴巴达摩院(杭州)科技有限公司 端云协同推荐系统、方法以及电子设备
RU2787558C1 (ru) * 2021-10-14 2023-01-10 Общество С Ограниченной Ответственностью "Интеллоджик" СИСТЕМА И СПОСОБ АВТОМАТИЧЕСКОГО МАШИННОГО ОБУЧЕНИЯ (AutoML) МОДЕЛЕЙ КОМПЬЮТЕРНОГО ЗРЕНИЯ ДЛЯ АНАЛИЗА БИОМЕДИЦИНСКИХ ИЗОБРАЖЕНИЙ
WO2023063845A1 (ru) * 2021-10-14 2023-04-20 Общество С Ограниченной Ответственностью "Интеллоджик" СИСТЕМА И СПОСОБ АВТОМАТИЧЕСКОГО МАШИННОГО ОБУЧЕНИЯ (AutoML) МОДЕЛЕЙ КОМПЬЮТЕРНОГО ЗРЕНИЯ ДЛЯ АНАЛИЗА БИОМЕДИЦИНСКИХ ИЗОБРАЖЕНИЙ
WO2023066662A1 (en) * 2021-10-20 2023-04-27 Nokia Technologies Oy Criteria-based measurement data reporting to a machine learning training entity
WO2023130837A1 (zh) * 2022-01-10 2023-07-13 华南理工大学 面向科研应用的自动机器学习实现方法、平台及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673706A (zh) * 2020-05-15 2021-11-19 富泰华工业（深圳）有限公司 机器学习模型训练方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080103996A1 (en) * 2006-10-31 2008-05-01 George Forman Retraining a machine-learning classifier using re-labeled training samples
WO2015006517A2 (en) * 2013-07-10 2015-01-15 Rice Daniel M Extensions to the generalized reduced error logistic regression method
CN105894359A (zh) * 2016-03-31 2016-08-24 百度在线网络技术（北京）有限公司 订单推送方法、装置及系统
CN106033425A (zh) * 2015-03-11 2016-10-19 富士通株式会社 数据处理设备和数据处理方法
CN107705183A (zh) * 2017-09-30 2018-02-16 深圳乐信软件技术有限公司 一种商品的推荐方法、装置、存储介质及服务器
CN109727640A (zh) * 2019-01-22 2019-05-07 袁隆平农业高科技股份有限公司 基于自动机器学习技术的全基因组预测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080103996A1 (en) * 2006-10-31 2008-05-01 George Forman Retraining a machine-learning classifier using re-labeled training samples
WO2015006517A2 (en) * 2013-07-10 2015-01-15 Rice Daniel M Extensions to the generalized reduced error logistic regression method
CN106033425A (zh) * 2015-03-11 2016-10-19 富士通株式会社 数据处理设备和数据处理方法
CN105894359A (zh) * 2016-03-31 2016-08-24 百度在线网络技术（北京）有限公司 订单推送方法、装置及系统
CN107705183A (zh) * 2017-09-30 2018-02-16 深圳乐信软件技术有限公司 一种商品的推荐方法、装置、存储介质及服务器
CN109727640A (zh) * 2019-01-22 2019-05-07 袁隆平农业高科技股份有限公司 基于自动机器学习技术的全基因组预测方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2787558C1 (ru) * 2021-10-14 2023-01-10 Общество С Ограниченной Ответственностью "Интеллоджик" СИСТЕМА И СПОСОБ АВТОМАТИЧЕСКОГО МАШИННОГО ОБУЧЕНИЯ (AutoML) МОДЕЛЕЙ КОМПЬЮТЕРНОГО ЗРЕНИЯ ДЛЯ АНАЛИЗА БИОМЕДИЦИНСКИХ ИЗОБРАЖЕНИЙ
WO2023063845A1 (ru) * 2021-10-14 2023-04-20 Общество С Ограниченной Ответственностью "Интеллоджик" СИСТЕМА И СПОСОБ АВТОМАТИЧЕСКОГО МАШИННОГО ОБУЧЕНИЯ (AutoML) МОДЕЛЕЙ КОМПЬЮТЕРНОГО ЗРЕНИЯ ДЛЯ АНАЛИЗА БИОМЕДИЦИНСКИХ ИЗОБРАЖЕНИЙ
WO2023066662A1 (en) * 2021-10-20 2023-04-27 Nokia Technologies Oy Criteria-based measurement data reporting to a machine learning training entity
WO2023130837A1 (zh) * 2022-01-10 2023-07-13 华南理工大学 面向科研应用的自动机器学习实现方法、平台及装置
CN114662006A (zh) * 2022-05-23 2022-06-24 阿里巴巴达摩院(杭州)科技有限公司 端云协同推荐系统、方法以及电子设备

Also Published As

Publication number Publication date
US20220180209A1 (en) 2022-06-09
CN114245910A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
WO2021035412A1 (zh) 一种自动机器学习AutoML系统、方法及设备
CN111191791B (zh) 基于机器学习模型的图片分类方法、装置及设备
US11521221B2 (en) Predictive modeling with entity representations computed from neural network models simultaneously trained on multiple tasks
WO2020007138A1 (zh) 一种事件识别的方法、模型训练的方法、设备及存储介质
CN107766929B (zh) 模型分析方法及装置
CN107220217A (zh) 基于逻辑回归的特征系数训练方法和装置
WO2022022233A1 (zh) Ai模型更新的方法、装置、计算设备和存储介质
US11620683B2 (en) Utilizing machine-learning models to create target audiences with customized auto-tunable reach and accuracy
CN114418035A (zh) 决策树模型生成方法、基于决策树模型的数据推荐方法
US20230195809A1 (en) Joint personalized search and recommendation with hypergraph convolutional networks
CN110598869B (zh) 基于序列模型的分类方法、装置、电子设备
CN112925911B (zh) 基于多模态数据的投诉分类方法及其相关设备
CN112487199A (zh) 一种基于用户购买行为的用户特征预测方法
US20220414470A1 (en) Multi-Task Attention Based Recurrent Neural Networks for Efficient Representation Learning
CN112819024B (zh) 模型处理方法、用户数据处理方法及装置、计算机设备
US20230342606A1 (en) Training method and apparatus for graph neural network
CN111191825A (zh) 用户违约预测方法、装置及电子设备
CN111797320A (zh) 数据处理方法、装置、设备及存储介质
CN113065013A (zh) 图像标注模型训练和图像标注方法、系统、设备及介质
CN114077836A (zh) 一种基于异构神经网络的文本分类方法及装置
CN113591971B (zh) 基于dpi时间序列词嵌入向量的用户个性行为预测方法
CN116362359A (zh) 基于ai大数据的用户满意度预测方法、装置、设备及介质
CN113886454A (zh) 一种基于lstm-rbf的云资源预测方法
CN113761193A (zh) 日志分类方法、装置、计算机设备和存储介质
CN116468479A (zh) 确定页面质量评估维度方法、页面质量的评估方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19942944

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19942944

Country of ref document: EP

Kind code of ref document: A1