WO2022134600A1 - 一种神经网络交互式自动训练系统和方法 - Google Patents

一种神经网络交互式自动训练系统和方法 Download PDF

Info

Publication number
WO2022134600A1
WO2022134600A1 PCT/CN2021/110156 CN2021110156W WO2022134600A1 WO 2022134600 A1 WO2022134600 A1 WO 2022134600A1 CN 2021110156 W CN2021110156 W CN 2021110156W WO 2022134600 A1 WO2022134600 A1 WO 2022134600A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
training
data set
data
information
Prior art date
Application number
PCT/CN2021/110156
Other languages
English (en)
French (fr)
Inventor
罗明宇
徐驰
林健
Original Assignee
东云睿连(武汉)计算技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东云睿连(武汉)计算技术有限公司 filed Critical 东云睿连(武汉)计算技术有限公司
Publication of WO2022134600A1 publication Critical patent/WO2022134600A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Definitions

  • the present application also proposes one or more non-volatile readable storage media storing computer-readable instructions that, when executed by one or more processors, cause the one or more processors to execute The steps of the neural network interactive automatic training method method as described above.
  • FIG. 1 is a schematic diagram of components of a neural network interactive automatic training system according to an embodiment of the present invention
  • the system 10 includes: a data storage component 100 , a data annotation component 200 , a model automatic training component 300 , a model deployment component 400 and a user interaction component 500 .
  • the data labeling component 200 provides labeling services based on different interfaces for different tasks.
  • the labeling file is generated in the data storage component 100, so
  • the annotation file can be directly used for the model training component 300 to perform automatic training without manual processing.
  • the model training component 300 automatically trains the neural network by reading data sets and annotation files from the data storage component 100 , and can adaptively change strategies according to changes in the data sets, while saving output assets such as model files to the data storage component 100 .
  • the model deployment component 400 is used to read the trained model stored in the data storage component 100 and deploy it as an inference service.
  • the "dataset information" returned to the model scheduling module specifically refers to the "dataset id”.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

一种神经网络交互式自动训练系统和方法，系统包括数据存储组件（100）、数据标注组件（200）、模型训练组件（300）和模型部署组件（400）；数据标注组件（200）用于对用户提供的原始数据集进行标注，生成原始数据集的标注文件；模型训练组件（300）用于基于标注文件自动进行神经网络训练并生成训练好的已训练模型；模型部署组件（400）用于将已训练模型部署为在线推理服务。

Description

一种神经网络交互式自动训练系统和方法 技术领域
本发明属于人工智能技术领域，尤其涉及一种神经网络交互式自动训练系统和方法。
背景技术
现有神经网络自动学习方法基本针对神经网络训练方面，其采用超参调优、神经网络架构搜索等方法在通用的基准数据集上进行训练，并报告在这些数据集上的评估结果。这些方法在学术研究中应用广泛，但在实际生产应用中存在以下问题：
自动化范围有限。大多数现有神经网络自动学习是针对训练而言的，往往只能在若干通用的基准数据集上进行，这是因为不同算法的数据处理方式未必一致、不同数据集的标注格式不尽相同，这导致现有神经网络自动学习很难应用到实际生产环境的数据集中。另外，这些自动学习方法仅仅生成训练好的模型文件，而模型部署本身仍需要一定的专业知识，这进一步增加了自动学习算法应用的困难。
数据集固定。基准数据集的诞生旨在提供一个相对公平的算法评判标准，但并非算法开发的最终目的。现有神经网络自动学习算法过于依赖一些基准数据集，例如一些图像分类架构搜索算法在数据量稍小、图像分辨率较低的CIFAR100上搜索出的网络无法迁移到数据量更大、分辨率更大的ImageNet数据集上，反之亦然。更重要的是，数据是随生成业务发展不断变动的，其更新周期可能小到一天或者小时，这比现有自动学习方法的训练周期(几天/几月)要短得多。现有自动学习方法无法及时利用新数据，花费较长时间训练的模型可能已经脱离实际生成环境需求。
训练过程难以干预。当前主流的自动学习方法基本可以分为超参调优和架构搜索，超参调优通过贝叶斯等算法不断尝试使用一组超参进行训练，通过超参组合/训练效果来对超参组合优劣进行建模。架构搜索算法一般采用强化学习或进化算法，通过不断调整网络结构周而复始地训练。这些方法的训练过程没有整体进度，超参调优和架构搜索可以无限进行下去，且在训练中断后往往不能像单一模型那样恢复断点进度。这对于生产开发而言过于黑盒，难以干预。
技术问题
由于现有神经网络自动学习方法存在的自动化范围有限、数据集固定、训练过程难以干预的问题。
技术解决方案
本申请提供一种神经网络交互式自动训练系统，所述神经网络交互式自动训练系统包括数据存储组件、数据标注组件、模型训练组件和模型部署组件：
所述数据标注组件，用于对用户提供的原始数据集进行标注，生成所述原始数据集的标注文件；
所述模型训练组件，用于基于所述标注文件自动进行神经网络训练并生成训练好的已训练模型；
所述模型部署组件，用于将所述已训练模型部署为在线推理服务；
所述数据存储组件，用于存储所述生成的标注文件和所述已训练模型。
本申请还提出一种神经网络交互式自动训练方法，所述方法包括以下步骤：
调用数据标注组件对用户提供的原始数据集进行标注，生成所述原始数据集的标注文件，并将所述数据标注组件存储于数据存储组件；
由模型训练组件根据所述标注文件自动进行神经网络训练，生成训练好的已训练模型，并将所述已训练模型输入至所述模型部署组件；
调用模型部署组件将所述已训练模型部署为在线推理服务。
本申请还提出一种电子设备，其中，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的神经网络交互式自动训练方法的步骤。
本申请还提出一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如上所述的神经网络交互式自动训练方法方法的步骤。
有益效果
本申请的有益效果在于：用户在神经网络交互式自动训练系统中进行数据标注，标注结果即可用于模型训练，训练结果可以一键部署为在线服务，以实现从原始数据到推理服务的全自动化流程。
附图说明
图1是根据本发明实施例的神经网络交互式自动训练系统组件示意图；
图2是根据本发明实施例的神经网络交互式自动训练方法的流程示意图；
图2-1是根据本发明涉及数据标注实施例的流程示意图；
图3是根据本发明涉及模型自动训练实施例的模块示意图；
图3-1是根据本发明实施例的模型训练组件中的整体规划模块对应的方法流程示意图；
图3-2是根据本发明实施例的模型训练组件中的数据检测模块对应的方法流程示意图；
图3-3是根据本发明实施例的模型训练组件中的模型调度模块对应的方法流程示意图；
图3-4是根据本发明实施例的模型训练组件中的模型训练模块对应的方法流程示意图；
图4是根据本发明实施例的模型部署组件对应的方法流程示意图。
本发明的实施方式
下面将结合本发明实施例中的附图，对本发明所提供的各个示例性的实施例的技术方案进行清楚、完整地描述。在不冲突的情况下，下述各个实施例及其技术特征可以相互组合。
专业术语解释说明：
首先解释神经网络和神经网络的训练。
神经网络算法是一种以人工神经网络为架构，对数据进行表征学习的算法。
神经网络架构即神经网络参数及其关系的结构，神经网络的训练即使用一组超参数对神经网络进行迭代训练得到神经网络参数的估计值。
神经网络的超参数包括但不限于神经网络的优化算法、学习率、损失函数等。
神经网络的训练流程以成批的输入数据/输出数据的数据对传入神经网络算法，以神经网络的预测输出与输出数据的误差作为损失函数，以梯度下降或类梯度下降的迭代方法进行训练，以损失函数下降到阈值或神经网络参数的变化幅度达到阈值作为训练结束的标志，最终得到的神经网络结构和参数集合作为神经网络模型。
非神经网络领域专家可通过自动超参调优算法或架构搜素算法在给定数据 集的情况下自动训练出一个效果较好的模型。
自动超参调优算法基于一定策略尝试多组超参，在神经网络架构基本不变的情况下找到一组效果最好的超参并训练得到相应的神经网络模型；架构搜索算法基于一定策略，通过不断调整神经网络架构，在超参基本不变的情况下找到神经网络的最佳架构并训练得到相应的神经网络模型。
神经网络训练中的数据对一般为输入数据和标注，其数据格式与特定任务有关。例如，图像分类任务的输入数据为图片，标注为该图片对应的类别标签。在进行神经网络训练之前，需要准备多条样本数据，每条样本数据包括上述的一个数据对。可理解的是，数据准备和标注是独立于模型训练的流程，但却是执行训练的必备条件。
神经网络训练的结果为神经网络模型。神经网络模型在计算机中一般以神经网络参数及结构的序列化文件进行存储，该文件的格式与神经网络算法的实现方式和使用的框架有关。例如，使用TensorFlow框架训练的神经网络模型文件一般为pb文件。使用训练好的神经网络模型对新数据进行预测的过程称为推理。可理解的是，模型推理是独立于模型训练的流程，但却是模型应用于解决实际问题的必要流程。
神经网络交互式自动训练的系统实施例
首先将参照附图描述根据本发明实施例提出的神经网络交互式自动训练系统。参考图1，图1为本发明一个实施例的用于神经网络交互式自动训练的系统。
如图1所示，该系统10包含：数据存储组件100、数据标注组件200、模型自动训练组件300、模型部署组件400和用户交互组件500。
数据标注组件200；用于对用户提供的原始数据集进行标注，生成所述原始数据集的标注文件；
模型训练组件300，用于基于所述标注文件自动进行神经网络训练并生成训练好的已训练模型；
模型部署组件400组件，用于将所述已训练模型部署为在线推理服务；主要用于将训练好的模型部署为在线的推理服务。
用户交互组件500用于向用户提供可以与该系统其他组件交互的方法。
所述数据存储组件100，用于存储所述生成的标注文件和所述已训练模型，具体地，数据存储组件100主要用于存放数据集、标注文件、神经网络模型等数据资产。
根据该实施例，数据标注组件200针对不同的任务提供基于不同界面的标注服务，通过将数据存储组件100中的数据展示在界面并由用户完成标注，在数据存储组件100中生成标注文件，所述标注文件可以直接用于模型训练组件300进行自动训练，不需要人为处理。模型训练组件300通过从数据存储组件100读取数据集和标注文件自动训练神经网络，并可根据数据集变化自适应改变策略，同时向数据存储组件100保存模型文件等输出资产。模型部署组件400用于读取存于数据存储组件100中的已训练模型，并将其部署为推理服务。整个自动训练系统包含从数据标注到模型部署的神经网络开发全流程，且具有实时更新数据、反馈性强、可扩展等特点。用户交互组件可以是一套基于Web的用户界面，用户可以通过该界面与其他组件进行交互。例如，可以在该界面访问数据存储组件，并进行文件读写操作；可以向数据标注组件提交标注申请，并在该界面完成数据标注；可以向模型训练组件提交训练申请，使用标注好的数据进行神经网络自动训练；可以向模型部署组件提供部署申请，将训练好的模型部署为在线的推理服务。
本实施例中，用户在神经网络交互式自动训练系统中进行数据标注，标注结果即可用于模型训练，训练结果可以一键部署为在线服务，以实现从原始数据到推理服务的全自动化流程。
可选地，所述系统10中的数据标注组件200、模型训练组件300、模型部署组件400皆可提供项目管理与版本管理。所述项目是指对于一个具体任务的算法开发，例如花卉识别任务。所述版本是对应于数据集、训练和部署的变化而言的。由于一个具体任务开发中，数据集往往会随着业务不断更新，算法会不断优化，相应的模型也会不断更新，一个项目可能由多个版本组成。
本实施例提供持续的数据交互方法。用户可以随时向系统更新数据，而不用暂停模型训练流程，系统将自动识别数据的变化并做出相应反馈，例如保持当前算法继续训练、更改算法、更改策略等。
神经网络交互式自动训练方法实施例
参照图2，对应上述图1的系统实施例，所述神经网络交互式自动训练方法包括以下步骤：
步骤S101:调用数据标注组件对用户提供的原始数据集进行标注，生成所述原始数据集的标注文件，并将所述数据标注组件存储于数据存储组件；
步骤S102:由模型训练组件根据所述标注文件自动进行神经网络训练，生成训练好的已训练模型，并将所述已训练模型输入至模型部署组件；
步骤S103:调用模型部署组件将所述已训练模型部署为在线推理服务。
<方法实施例1>
在本实施例中，提供一种用于数据标注的方法流程，该方法流程可由神经网络交互式自动训练系统的数据标注组件200执行。
根据图2-1所示，本实施例的用于数据标注的方法可以包括如下步骤S201～S203：
步骤S201，用户将所需训练的数据集存放于数据存储组件中。该数据存储组件可以是任意的文件系统，例如对象存储。数据集存放需满足一定的规则，例如将用于一个任务的数据集存放在单独的路径下，不与其他文件混杂。
步骤S202，响应用户选定的目标任务类型，确定与所述目标任务类型对应的目标数据集目录，针对所述目标任务类型提供基于与所述任务类型相应的界面的标注服务，对所述目标数据集目录中的数据集进行展示；
可理解的是，用户选定任务类型和数据集目录，根据不同的任务类型，使用不同的标注方式对数据集进行标注，即在用户界面中使用不同的标注方式对数据集进行标注。作为示例，对于图像分类任务，可以将用户所选路径中的所有图片文件展示在界面，并通过创建标签和勾选方式将图片分配到不同的标签。
步骤S203，生成所述目标任务类型对应的数据集的标注文件；
具体地，系统根据一定将标注结果汇总为标注文件。作为示例，对于图像分类任务，可以将所有图片的标注信息存于一个json文件下，将每个图片的文件路径与其标签名以key:value形式保存。
本实施例中，用户在神经网络交互式自动训练系统中进行数据标注，标注结果即可用于模型训练，训练结果可以一键部署为在线服务，以实现从原始数据到推理服务的全自动化流程。
<方法实施例2>
在本实施例中，提供一种用于模型自动训练的方法流程，该方法流程可由神经网络交互式自动训练系统的模型训练组件300执行。
根据图3所示，本实施例的用于模型自动训练的方法可以包含如下模块310～360。该模型自动训练方法用于在给定任务和数据集(含标注文件按)上自 动训练神经网络模型。按照本发明方法，除了接收任务类型、数据集目录、模型保存路径外，为了能够达到自适应数据更新和训练过程强反馈的方法，还可以接收如下所述的信息。
优选地，为提高训练过程的可控性，模型自动训练方法的输入还可以包含可选的模型评估指标、训练时长上限、评估指标下限值来制定训练过程的整体规划。模型评估指标用于说明模型的效果，作为示例，图像分类任务的常用评估指标包含分类准确率、精确率、召回率等，输入的指标将作为该次自动训练任务的唯一追踪指标，是算法选择和评估的唯一依据。训练时长上限用于控制该次训练任务的最大执行时长，避免算法无限制地运行下去，训练任务达到设定的训练时长上限后无论处于何种状态都会立即结束。评估指标下限值同样用于约束训练任务执行过程，算法不会无止境地追求最大化评估结果，而是在达到下限值后停止。
优选地，为提高训练任务的灵活性、可扩展性及可迁移性。输入还可以接收之前训练任务得到的已训练模型作为新训练任务的初始化信息。可理解的是，神经网络训练基于梯度下降算法，其训练开始会基于一组初始化的网络参数值。当网络架构一样/相似时，可将训练好的神经网络模型参数用于全局/局部初始化一个待训练的全新神经网络，从而能达到知识迁移、缩短训练时长等目的。可选的，迁移方法不仅包含神经网络权重的迁移，也包含训练计划进度的迁移，将在本实施例后续提及。
根据本发明内容和上述可选及优选方法，本实施例所涉及模块310-360所使用的方法如下：
整体规划模块310，用于接收规划训练流程信息，基于所述规划训练流程信息向所述模型训练组件中的其他模块发出指令以执行特定的任务；
可理解的是，整体规划模块310是整个训练任务的基本模块，用于规划训练流程，并向其他模块发出指令以执行特定的任务。整体规划模块接收以下信息：任务类型、数据集路径、评估指标、评估指标下限、训练时长上限，待恢复模型路径。
作为示例，整体规划模块可以采取如图3-1所示步骤S311～S316的流程工作：
步骤S311，调用数据检测模块，等待数据检测模块返回数据集信息。数据集信息的定义和详细说明详见数据检测模块330实施例说明。首次调用数据检 测模块时，若返回异常的数据信息，则抛出该异常。
步骤S312，调用模型调度模块，传入数据集信息、待恢复模型路径、训练时长上限和当前花费时间。模型调度模块的定义和详细说明参见模型调度模块320实施例说明。
步骤S313，按一定方式检测数据集的变动。该步骤在步骤S311、S312之后作为相对独立的步骤进行。作为示例，可以每隔一段时间调用数据检测模块以检测数据集信息。持续进行数据集检测时，若数据检测模块返回异常的数据信息，则不将该信息传入模型调度模块，否则将该信息传入模型调度模块。
步骤S314，按一定方式接收模型训练进度，按照预设时间间隔接收所述模型调度模块返回的当前训练信息，所述当前训练包括用户指定的评估指标，所述评估指标用于规划模型训练；
具体地，该步骤在步骤S311、S312之后作为相对独立的步骤进行。作为示例，可以每隔一段时间接收模型调度模块返回的信息。具体而言，可以是当前所有模型的模型名称、评估结果和模型检查点路径。作为示例，对于图像分类任务，评估结果可以是准确率、精确率、召回率、F1值等其中的一个或若干个。需要注意的是，模型训练使用用户指定的唯一的评估指标来规划训练，但可以有多个反馈指标。
步骤S315，按一定的方式输出训练信息。该步骤在步骤S311、S312之后作为相对独立的步骤进行。作为示例，输出接收者可以是该神经网络交互式自动训练系统中10中的交互组件500，该组件提供一个交互界面用于显示当前模型训练的反馈信息。作为示例，输出方法可以是每隔一段时间刷新当前所有训练中/训练完成模型名称与评估结果。
步骤S316，当评估指标取值超过下限或训练时长达到上限时，调用模型保存模块以将评估结果最好的模型保存为能部署为推理服务的推理模型，之后结束模型训练。模型保存模块的定义和详细说明参加模型保存模块实施例部分。
数据检测模块320，用于检测输入的数据集目录的数据集信息，并对数据集进行初步处理。作为示例，对于图像分类任务而言，数据集信息包含：所有真实存在于数据存储组件中的图像文件路径及其标签名、所有类别的标签名。从上述的数据集信息中能够推断出数据集样本量，分类类别数等信息，也属于数据集信息。对于本实施例中的图像分类任务而言，数据集初步处理可以是将数据集信息解析并转换为tfrecord文件保存在数据集路径下。应当指出，所述数据 集信息和数据集处理只是对图像分类任务数据预处理的部分概括，本发明不约束具体的任务类别，也不约束数据集信息的具体表示方法和数据处理方式。
作为示例，数据检测模块可以采取如图3-2所示步骤S321～步骤S325流程工作：
步骤S321，检测数据集目录下的数据。作为示例，对于图像分类任务，可以检测是否存在名为'annotations.json'的文件，如果不存在，抛出异常。
步骤S322，读取标注文件，解析其中字段。作为示例，对于图像分类任务，可以指定其含有'annotations'和'labels'字段，如果其一不存在，抛出异常。'labels'是包含所有标签名字符串的列表，'annotation'是包含所有'file_path'和'labels'的图像文件路径/标签名对的列表。
步骤S323，解析每一个图像文件路径/标签名对(样本)。图像文件路径可以是事先规定的图像文件在数据存储组件中的绝对路径，或者是相对于数据集路径的相对路径。此处以相对路径为例，将其与数据集路径拼接为绝对路径。当该文件的绝对路径不存在，或该标签名不存在于所有标签名列表时，视为异常样本，否则视为正常样本。保留所有正常样本。
步骤S324，将所有正常样本数据进行处理。作为示例，当使用Tensorflow深度学习框架时，可以将原始数据转换为tfrecord文件。例如，对于图像文件路径，读取该文件，将其保存为二进制字符串；对于标签名，找到其在所有标签名列表中的索引，即将图像文件路径/标签名转换为图像二进制字符串/类别索引。之后，将转换好的数据存储为tfrecord文件。
步骤S325，将数据集信息将返回该模块调用者——整体规划模块。作为示例，按照上述步骤，数据集信息可以包含tfrecord文件路径、数据集样本量、标签名列表、类别数。
数据加载模块330，用于实际从数据存储组件中加载训练所需的数据并执行特定于某个算法的数据预处理。数据预处理模块依赖特定的算法，因此其仅由模型训练模块调用。作为示例，依据上述数检测模块的示例数据生成信息，数据加载模块读取tfrecord文件，执行特定的数据处理流程，返回一个数据迭代器。可以理解的是，上述方法仅为神经网络训练中数据加载和处理的典型方法，本发明不限制具体实施方法。
模型调度模块340，模型训练的整体调度模块，用于规划模型训练流程。具体而言，模型调度模块对每一种任务都有预定义的默认训练流程。作为示例， 对于图像分类任务而言，模型调度模块预先定义含有一系列预置算法的算法池，算法池包括：基准算法、超参调优算法、架构搜索算法以及集成算法。基准算法包括一些超参固定、架构固定的经典神经网络算法，例如ResNet、MobileNet等；超参调优算法是基于基准算法网络架构，但超参可变的算法。超参包含学习率计划、迭代时期、批次大小、优化器等；架构搜索算法是以基准算法部分网络结构(又称为模块)作为架构搜索空间，训练超参保持不变的算法。例如：对于基准算法ResNet而言，部分网络结构可以是bottleneck模块等。架构搜索算法会将这些模块以分支或塔式结构堆叠起来以形成完整的神经网络；集成算法是将任意数量的已训练模型集成为一个整体模型的算法，例如：将待集成神经网络输出层未经激活的输出值取平均值再进行激活作为集成模型的输出。
模型调度模块340只用于规划模型的训练计划，不负责实际的模型训练。具体训练一个模型时，模型调度模块调用模型训练模块，传入训练所需信息(算法名，数据集信息)。作为示例，对于图像分类任务而言，模型调度模块可以采取如图3-3所示步骤S3401～S3411流程工作：
步骤S3401，接收整体规划模块传入的数据集信息、待恢复模型路径、训练时长上限和当前花费时间。
步骤S3402，通过初始化模型池存放已训练的模型信息；其中，所述模型信息包括该模型的算法名、算法类别、模型的评估结果、该模型的模型文件路径、模型是否训练完成、该模型输出对应的标签名列表；
对所述模型信息的状态进行判断：
步骤S3403，如果存在待恢复模型信息，将其放置于模型池中。
步骤S3404，如果没有待恢复模型，根据基准算法的FLOPs确定基准算法训练顺序，FLOPs较低的算法优先。例如，MobileNet的FLOPs比ResNet小，则其训练排在ResNet前面。为充分利用时间预算，模型调度模块会根据可用GPU和内存空间动态分配并行训练的算法数量，但总体而言仍是FLOPs较低的一些算法在前，直到算法池中的所有基准算法训练完成。
步骤S3405，如果存在待恢复模型，根据已训练完成的待恢复模型确定基准算法训练顺序。当待恢复模型进度仅为基准模型时，按所有已经训练的基准模型在之前版本数据集上的评估结果排序。具体而言，若评估指标为高优指标，则值较高的结果对应的算法优先，若评估指标为低优指标，则值较低的结果对应的算法优先。例如图像分类中，若以分类准确率为评估指标，则分类正确率 较高的算法在前，若以分类交叉熵损失为指标，则其较低的算法在前。当待恢复模型存在超参调优模型或架构搜索模型时，以基准模型、其对应的超参调优模型、其对应的架构搜索模型中评估结果最高的所对应的基准模型作为基准算法训练顺序。例如，待恢复模型包含基准ResNet、超参调优ResNet、架构搜索ResNet、基准MobileNet，评估指标为分类准确率，评估结果排序为架构搜索ResNet>基准MobileNet>超参调优ResNet>基准ResNet，则基准算法训练顺序为ResNet->MobileNet。剩余的基准算法仍按FLOPs从低到高排序。与没有待恢复模型情况不同的是，当调用模型训练模块进行训练时，除了传入要训练的基准算法名外，如果存在该基准算法的待恢复模型(无论该模型是否训练完成)，则额外传入该待恢复模型路径。如上所述，依次/并行训练基准算法直至所有基准算法训练完成。
步骤S3406，当所有基准算法训练完成后，选择评估结果最优的算法。以该基准算法为基础，开始训练超参调优算法/架构搜索算法。架构搜索算法往往需要大量的训练时间，本实施例中，可以根据剩余训练时间来确定选择超参调优算法还是架构搜索算法。例如，若剩余时间小于2小时，训练超参调优算法，否则训练架构搜索算法。持续训练，直到超参搜索算法遍历完预定义的超参搜索空间(如果该空间有限的话)，或架构搜索算法遍历完预定的架构搜索空间(如果该空间有限的话)。
步骤S3407，在整个模型训练期间，若模型池中有至少两个已训练完成且标签名列表与当前数据集信息的标签列表相同的模型，且有余裕资源，使用这些资源训练集成模型。
步骤S3408，在每个模型训练开始时，向模型训练模块传入算法信息和数据集信息。在本实施例中，算法信息包含算法名、待恢复模型路径，数据集信息包含tfrecord文件路径、样本量、标签名、类别数。每个模型训练期间，模型训练模块按一定方式返回当前模型的训练情况，例如，每隔一段时间返回当前模型的评估结果、模型检查点保存路径，同时返回模型未训练完成信号。训练结束后，返回最终的模型评估结果和模型保存路径，同时返回模型训练完成信号。模型训练的详细说明参见模型训练模块实施例部分。
步骤S3409，在整个模型训练期间，若接收到整体规划模块传入的数据集信息变动信号，停止当前运行的所有模型训练模块。初始化当前训练进度，重新按照基准算法顺序进行训练，但如果模型池中有已有同名算法，额外向模型训 练模块传入该算法的待恢复模型检查点路径(无论该模型是否训练完成)。
步骤S3410，当接收到任意模型训练模块抛出的异常，仅打印该异常，并跳过该模型的训练。
步骤S3411，按一定方法向整体规划模块返回训练进度。例如，每隔一段时间将模型池同步到整体规划模块。
模型训练模块350，使用一个算法进行训练的具体模块，该算法可以是基准算法、超参调优算法、架构搜索算法或集成算法。该模块接收模型调度模块的指令时，根据其传入的算法信息、数据集信息构建具体的神经网络，调用数据加载模块加载和预处理数据集，进行训练。作为示例，对于图像分类任务而言，模型训练模块可以采取如图3-4所示步骤S351～S356流程工作：
步骤S351，接收指定算法的算法信息和所述数据集信息；算法信息包括算法名、算法类型和待恢复模型路径；数据集信息包括tfrecord文件路径、样本量、标签名、类别数。
步骤S352，根据算法名、算法类型、类别数构建神经网络，初始化神经网络参数，初始化优化器。
步骤S353，若存在待恢复模型路径，加载并解析该模型的神经网络结构、参数、优化器状态。按神经网络结构尽量恢复神经网络参数。例如，当用户更改数据集导致图像分类类别数改变时，该信息会沿着数据检测模块、整体规划模块、模型调用模块传递给模型训练模块，此时同名基准算法的待恢复神经网络只有最后一个全连接层的参数维度与当前神经网络不符，将待恢复神经网络除最后一层的所有层的参数赋值给当前神经网络对应层的参数。
步骤S354，调用数据加载模块，读取tfrecord文件，并根据当前特定算法构建适合其的数据管道。
步骤S355，根据不同的神经网络按其预设方法进行训练。具体而言，不同类型算法可以采取下述示例设置：
基准算法：默认训练100个时期(遍历100次训练集)，根据资源情况(内存、显存)动态确定批量大小，每个时期迭代次数为样本量/批量大小。默认使用Adam优化器，并在第60个时期和第90个时期将学习率衰减为原来的十分之一。每个时期结束后在验证集上进行评估，保存验证集评估结果最优的模型。使用提前终止策略，当验证集评估结果在连续若干时期没有提升时结束训练。
超参调优算法：将每组超参进行的训练称为一次试验。每次试验训练设置 与上述基准算法一致。超参按照bayes算法从预设超参搜索空间中采样，默认采样50次。默认使用hyperband算法控制试验进度，可以依据试验的中间结果及时停止不良的试验以加快搜素速度。
架构搜索算法：将每组架构模块组合进行的训练称为一次试验。每次试验训练设置与上述基准算法一致。架构组合按照一定方式进行采样和确认，默认采样50次。与上述超参调优算法一样使用hyperband算法控制试验进度。
集成算法：将所有参与集成的模型的最后一层的未激活值进行加权，权重是可学习的参数，将加权结果进行激活后作为模型输出。训练集成模型，训练设置与上述基准算法一致。
步骤S356，训练的每个时期向模型调度模块返回当前的指定算法的训练信息，包括：算法名、算法类别、验证集评估结果、模型检查点路径、模型是否训练完成(最后一个时期或提前终止为完成，其余为未完成)、数据集信息中的标签名列表。
本实施例提供可控的训练流程。用户可以设置训练过程的总体要求，例如设置时间阈值和性能下限要求。自动学习算法使用经典网络、超参调优、架构搜索和集成学习的串并行结合模式，训练过程可以随时打断和恢复，而不影响训练进度。训练过程拥有版本管理和历史记录，一个新的版本可以基于之前任何一次版本恢复进度，从而可以很容易地完成知识迁移和扩展到任意训练时长。训练过程具有实时有意义的反馈，用户能观察到什么样的策略对算法效果有怎样的影响，当前算法性能离目标期望还有多大差距。
模型保存模块360，当整体规划模块判断训练满足停止条件时，调用模型保存模块，传入当前模型池、数据集信息、用户指定的模型保存路径。模型保存模块从该模型池中找到当前评估指标最优的、模型输出对应的标签名列表与当前数据集信息的标签列表一致的模型，将该模型保存为可以直接用于推理的推理模型。例如，当该模型文件可直接用于推理时，直接将该模型文件复制到用户模型保存路径；当需要额外处理时，可先加载模型，进行相应的处理后再将其保存到用户模型保存路径。
需要说明的是，本实施例中的“数据集信息”在不同模块和和其交互之间具有的含义不完全相同，以下补充说明：
对于数据检测模块来说。提取的数据集信息包含原始数据文件路径(当数 据检测模块没有产生额外的数据文件输出时)或预处理数据文件路径(当数据检测模块产生了额外的输出时)等，用于说明数据集情况的信息(该信息因任务类型而异)。该信息会传递给整体规划模块。
对于整体规划模块来说，会根据当前数据集信息和历史数据集信息(如果有的话)生成当前数据集的id。所谓“数据集id”是用于界定数据是否发生质变的标志。例如对于图像分类任务来说，当总体标签不变时，样本数量的增多/减少不会影响该任务的性质，是量变；当标签变化时，意味着该任务的性质发生变化，是质变。当数据发生量变时，不会影响模型训练进度，而当发生质变时，才会像后面提到的“整体规划模块将该信息传入模型调度模块以重新规划训练进度”。整体规划模块像模型调度模块传递信息时，除了从数据检测模块接收到的数据集信息外，还会包括数据集id和数据集id变动信号。
对于模型调度模块来说，其向模型训练模块发送的“数据集信息”与整体规划模块向模型调度模块发送的“数据集信息”相同。
对于模型训练模块来说，其向模型调度模块返回的“数据集信息”特指“数据集id”。
根据本实施例的方法，其通过整体规划模块310、数据检测模块320和模型调度模块340的配合，能够实现在训练期间更新数据集和数据标注，且模型训练能够检测并且自适应这种变化。其通过模型调度模块340和模型训练模块350的配合，能够实现有条理、有训练进度的神经网络自动训练过程，且能够充分利用资源。当数据发生变化时，能够动态调整进度，且最大化利用已训练的模型信息，以提升神经网络自动学习的效果和效率。
<方法实施例3>
在本实施例中，提供一种用于执行神经网络模型部署的方法，该方法可由神经网络交互式自动训练系统的模型部署组件400执行。
根据图4所示，本实施例的用于执行神经网络模型部署的方法可以包括如下步骤S401～S406：
步骤S401，获取模型自动训练生成的神经网络模型(已训练模型)。在首次部署时，该模型文件路径是由外部指定。例如，根据本发明神经网络交互式自动训练系统的用户交互组件500，由用户进行指定。具体的，该模型存在方式可 以是单独的一个文件，也可以是与该模型推理有关的一系列文件。本发明不限制模型的文件格式和数量。
步骤S402，判断是否为初次获取该神经网络模型(已训练模型)，若为首次，执行步骤S404，否则执行步骤S403.
步骤S403，判断神经网络模型是否有更新，如果没有，则执行步骤S402持续检测模型更新情况，否则执行步骤S404。
步骤S404，使用神经网络推理引擎加载神经网络模型，将其部署为推理服务。具体地，该推理服务可以提供任意方式访问，例如以REST API接口访问。本发明不限制所使用的神经网络推理引擎，例如，该引擎可以是Tensorflow Serving、MLflow等。
本申请还提出一种电子设备，其中，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上任一实施例的神经网络交互式自动训练方法的步骤。
本申请中描述的电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。
本申请还提出一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如上任一实施例的神经网络交互式自动训练方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如上任一实施例中的神经网络交互式自动训练方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
尽管已经相对于一个或多个实现方式示出并描述了本发明，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本发明包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本说明书的示范性实现方式中的功能的公开结构不等同。此外，尽管本说明书的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。进一步地，应当理解的是，在本文中提及的“多个”是指两个或两个以上。对于本文中提及的步骤，其通过数字后缀仅仅是为了清晰表述实施例，便于理解，并不完全代表步骤执行的先后顺序，应当以逻辑关系的先后设定为思考。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，例如各实施例之间技术特征的相互结合，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (14)

  1. 一种神经网络交互式自动训练系统，其中，所述系统包括数据存储组件、数据标注组件、模型训练组件和模型部署组件：
    所述数据标注组件，用于对用户提供的原始数据集进行标注，生成所述原始数据集的标注文件；
    所述模型训练组件，用于基于所述标注文件自动进行神经网络训练并生成训练好的已训练模型；
    所述模型部署组件，用于将所述已训练模型部署为在线推理服务；
    所述数据存储组件，用于存储所述生成的标注文件和所述已训练模型。
  2. 如权利要求1所述的系统，其中，所述数据存储组件包含数据集目录，所述数据存储组件中的数据集目录用于存储用户预先指定的数据集，所述数据集目录与任务类型存在对应关系；
    所述数据标注组件，还用于响应用户选定的目标任务类型，确定与所述目标任务类型对应的目标数据集目录，针对所述目标任务类型提供基于与所述任务类型相应的界面的标注服务，对所述目标数据集目录中的数据集进行展示；生成所述目标任务类型对应的数据集的标注文件，将所述标注文件保存至所述数据存储组件。
  3. 如权利要求2所述的系统，其中，所述模型训练组件包括整体规划模块、数据检测模块、数据加载模块、模型训练模块和模型保存模块；
    所述数据检测模块，用于检测位于数据集目录的数据集信息，并对所述数据集进行初步处理；其中，所述数据检测模块提取的数据集信息包含原始数据文件路径或预处理数据文件路径，用于表征数据集情况的信息，所述数据集情况的信息因任务类型而异，所述数据集情况的信息被所述数据检测模块传递至所述整体规划模块；
    所述整体规划模块，用于接收规划训练流程信息，基于所述规划训练流程信息向所述模型训练组件中的其他模块发出指令以执行特定的任务；其中，所述规划训练流程信息包括任务类型、数据集路径、评估指标、评估指标下限、训练时长上限，以及待恢复模型路径中的至少一项；其中，所述整体规划模块根据当前数据集信息和/或历史数据集信息生成当前数据集的id，所述数据集id用于界定数据是否发生质变的标志；
    所述数据加载模块，用于从数据集信息中加载训练所需的数据并执行与指定算法相关的数据的预处理，得到预处理数据集；
    所述模型调度模块，用于规划模型训练流程，其中，每一种任务类型都有对应的默认训练流程；其中，所述模型调度模块向所述模型训练模块发送的数据 集信息与所述整体规划模块向所述模型调度模块发送的数据集信息相同；
    所述模型训练模块，用于根据所述指定算法的算法信息和数据集信息构建神经网络，加载并对所述预处理数据集进行训练，其中，所述模型训练模块向所述模型调度模块返回的数据集信息为数据集id。
  4. 如权利要求1所述的系统，其中，所述模型部署组件，用于从所述数据存储组件中获取已训练模型；在所述已训练模型为首次被获取且所述已训练模型不需要更新时，使用神经网络推理引擎对所述已训练模型进行加载，并将所述已训练模型部署为推理服务。
  5. 如权利要求1所述的系统，其中，所述数据标注组件用于针对不同的任务提供基于不同界面的标注服务，通过将所述数据存储组件中的数据展示在界面并由用户完成标注，并用于在所述数据存储组件中生成标注文件。
  6. 一种神经网络交互式自动训练方法，其中，所述方法包括以下步骤：
    调用数据标注组件对用户提供的原始数据集进行标注，生成所述原始数据集的标注文件，并将所述数据标注组件存储于数据存储组件；
    由模型训练组件根据所述标注文件自动进行神经网络训练，生成训练好的已训练模型，并将所述已训练模型输入至所述模型部署组件；
    调用模型部署组件将所述已训练模型部署为在线推理服务。
  7. 如权利要求6所述的自动训练方法，其中，所述对用户提供的原始数据集进行标注，生成所述原始数据集的标注文件的步骤，具体包括：
    响应用户选定的目标任务类型，确定与所述目标任务类型对应的目标数据集目录；
    针对所述目标任务类型提供基于与所述任务类型相应的界面的标注服务，对所述目标数据集目录中的数据集进行展示；
    生成所述目标任务类型对应的数据集的标注文件。
  8. 如权利要求6所述的自动训练方法，其中，所述模型训练组件包括整体规划模块、数据检测模块、数据加载模块、模型调度模块、模型训练模块和模型保存模块；
    所述模型训练组件根据所述标注文件自动进行神经网络训练，生成训练好的已训练模型的步骤，具体包括：
    调用所述数据检测模块检测位于数据集目录的数据集信息，并对所述数据集进行初步处理；其中，所述数据检测模块提取的数据集信息包含原始数据文件路径或预处理数据文件路径，用于表征数据集情况的信息，所述数据集情况的信息因任务类型而异，所述数据集情况的信息被所述数据检测模块传递至所述整体规划模块；
    由所述整体规划模块接收规划训练流程信息，基于所述规划训练流程信息向所述模型训练组件中的其他模块发出指令以执行特定的任务；其中，所述规划 训练流程信息包括任务类型、数据集路径、评估指标、评估指标下限、训练时长上限，以及待恢复模型路径中的至少一项；其中，所述整体规划模块根据当前数据集信息和/或历史数据集信息生成当前数据集的id，所述数据集id用于界定数据是否发生质变的标志；通过所述数据加载模块从数据集信息中加载训练所需的数据并执行与指定算法相关的数据的预处理，得到预处理数据集；
    调用所述模型调度模块规划模型训练流程，其中，每一种任务类型都有对应的默认训练流程；所述模型调度模块向所述模型训练模块发送的数据集信息与所述整体规划模块向所述模型调度模块发送的数据集信息相同；
    启动所述模型训练模块，根据所述指定算法的算法信息和数据集信息构建神经网络，加载并对所述预处理数据集进行训练，其中，所述模型训练模块向所述模型调度模块返回的数据集信息为数据集id。
  9. 如权利要求8所述的自动训练方法，其中，所述整体规划模块用于接收规划训练流程信息，基于所述规划训练流程信息向所述模型训练组件中的其他模块发出指令以执行特定的任务的步骤，具体包括：
    调用所述数据检测模块，以等待所述数据检测模块反馈数据集信息；
    通过所述模型调度模块传入数据集信息、待恢复模型路径、训练时长上限和当前花费时间；
    按照预设时间间隔调用所述数据检测模块以检测数据集信息，其中，在持续进行数据集检测时，若所述数据检测模块返回的数据信息存在异常，则不将该信息传入所述模型调度模块，否则将该信息传入所述模型调度模块；
    按一定方式接收模型训练进度，按照预设时间间隔接收所述模型调度模块返回的当前训练信息，所述当前训练包括用户指定的评估指标，所述评估指标用于规划模型训练；
    当所述评估指标的取值超过下限或训练时长达到上限时，调用模型保存模块以将评估结果最好的模型保存为能部署为推理服务的推理模型，之后结束模型训练；
  10. 如权利要求9所述的自动训练方法，其中，所述模型调度模块启动所述模型训练模块，根据所述指定算法的算法信息和数据集信息构建神经网络，加载并对所述预处理数据集进行训练的步骤，具体包括：
    接收指定算法的算法信息和数据集信息；其中，所述算法信息包括算法名、算法类型和待恢复模型路径；
    根据所述算法名、所述算法类型构建神经网络，初始化所述神经网络的参数，并初始化优化器；
    若存在待恢复模型路径，加载并解析该模型的神经网络结构、参数、优化器状态；
    调用数据加载模块，读取数据文件，并根据当前特定算法构建适合其的数据 管道；
    根据不同的神经网络按其预设方法进行训练；
    其中，训练的每个时期向所述模型调度模块返回所述指定算法的训练信息，所述训练信息包括：算法名、算法类别、验证集评估结果、模型检查点路径、模型是否训练完成、以及数据集信息。
  11. 如权利要求8所述的自动训练方法，其中，所述整体规划模块调用所述模型调度模块规划模型训练流程的步骤，具体包括：
    接收所述整体规划模块传入的数据集信息、待恢复模型路径、训练时长上限和当前花费时间；
    通过初始化模型池存放已训练的模型信息；其中，所述模型信息包括该模型的算法名、算法类别、模型的评估结果、该模型的模型文件路径、模型是否训练完成、该模型输出对应的数据集id；
    对所述模型信息的状态进行判断：
    若存在待恢复模型信息，则将其放置于所述模型池中；
    若没有待恢复模型，则根据基准算法的FLOPs确定基准算法训练顺序；
    若存在待恢复模型，则根据已训练完成的待恢复模型确定所述基准算法训练顺序；在所述待恢复模型进度仅为基准模型时，按所有已经训练的基准模型在之前版本数据集上的评估结果排序；在所述待恢复模型存在超参调优模型或架构搜索模型时，以所述基准模型、以及所述基准模型对应的超参调优模型、所述基准模型对应的架构搜索模型中评估结果最高的所对应的基准模型作为基准算法训练顺序；依次并行训练基准算法直至所有基准算法训练完成；
    在所有基准算法训练完成后，选择评估结果最优的基准算法，以所述评估结果最优的基准算法为基础，开始训练超参调优算法/架构搜索算法；
    其中，在整个模型训练期间，若模型池中有至少两个已训练完成且模型信息中的数据集id与当前数据集的id相同的模型，且有存在多余的资源，则使用所述多余的资源训练集成模型；
    在每个模型训练开始时，向所述模型训练模块传入算法信息和数据集信息；在模型训练结束后，反馈最终的模型评估结果和模型保存路径，同时反馈模型训练完成信号；
    在整个模型训练期间，若接收到所述整体规划模块传入的数据集信息变动信号，则停止当前运行的所有模型训练模块；初始化当前训练进度，重新按照基准算法顺序进行训练，若模型池中有已有同名算法，则额外向所述模型训练模块传入该算法的待恢复模型检查点路径；
    当接收到任意模型训练模块抛出的异常，打印所述异常，并跳过该模型的训练；
    向所述整体规划模块反馈模型训练进度。
  12. 如权利要求6所述的自动训练方法，其中，所述调用模型部署组件将所述已训练模型部署为在线推理服务的步骤，具体包括：
    从所述数据存储组件中获取已训练模型；
    在所述已训练模型为首次被获取且所述已训练模型不需要更新时，使用神经网络推理引擎对所述已训练模型进行加载，并将所述已训练模型部署为推理服务。
  13. 一种电子设备，其中，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求6至12中任一项所述的方法的步骤。
  14. 一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求6至12中任一项所述的方法的步骤。
PCT/CN2021/110156 2020-12-25 2021-08-02 一种神经网络交互式自动训练系统和方法 WO2022134600A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011563536.6A CN112529167B (zh) 2020-12-25 2020-12-25 一种神经网络交互式自动训练系统和方法
CN202011563536.6 2020-12-25

Publications (1)

Publication Number Publication Date
WO2022134600A1 true WO2022134600A1 (zh) 2022-06-30

Family

ID=74976412

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/110156 WO2022134600A1 (zh) 2020-12-25 2021-08-02 一种神经网络交互式自动训练系统和方法

Country Status (2)

Country Link
CN (1) CN112529167B (zh)
WO (1) WO2022134600A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114861836A (zh) * 2022-07-05 2022-08-05 浙江大华技术股份有限公司 一种基于人工智能平台的模型部署方法及相关设备
CN115860141A (zh) * 2022-12-23 2023-03-28 深圳市魔数智擎人工智能有限公司 一种自动化机器学习交互式黑箱可视建模方法及系统
CN117077726A (zh) * 2023-10-17 2023-11-17 之江实验室 一种生成存内计算神经网络模型的方法、装置及介质
CN117331339A (zh) * 2023-12-01 2024-01-02 南京华视智能科技股份有限公司 基于时序神经网络模型的涂布机模头电机控制方法及装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529167B (zh) * 2020-12-25 2024-05-14 东云睿连(武汉)计算技术有限公司 一种神经网络交互式自动训练系统和方法
CN113469358A (zh) * 2021-07-05 2021-10-01 北京市商汤科技开发有限公司 一种神经网络训练方法、装置、计算机设备及存储介质
CN113435597A (zh) * 2021-07-07 2021-09-24 杭州海康威视数字技术股份有限公司 一种模型生成、调度方法、系统及装置
CN113657597B (zh) * 2021-07-15 2023-07-11 博流智能科技（南京）有限公司 Ai训练测试网站架构系统及ai训练测试方法
CN114154406A (zh) * 2021-11-22 2022-03-08 厦门深度赋智科技有限公司 基于黑盒优化器的ai模型自动建模系统
CN114358158B (zh) * 2021-12-24 2023-10-31 苏州万店掌网络科技有限公司 一种模型训练方法、装置、设备及存储介质
CN117278419A (zh) * 2022-06-15 2023-12-22 华为技术有限公司 一种数据传输的方法、通信装置和通信系统
CN117474125B (zh) * 2023-12-21 2024-03-01 环球数科集团有限公司 一种自动训练机器学习模型系统
CN117873789B (zh) * 2024-03-13 2024-05-10 之江实验室 一种基于分段量化的检查点写入方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229686A (zh) * 2016-12-14 2018-06-29 阿里巴巴集团控股有限公司 模型训练、预测方法、装置、电子设备及机器学习平台
CN108363714A (zh) * 2017-12-21 2018-08-03 北京至信普林科技有限公司 一种方便数据分析人员使用的集成机器学习的方法及系统
CN109242825A (zh) * 2018-07-26 2019-01-18 北京首钢自动化信息技术有限公司 一种基于深度学习技术的钢铁表面缺陷识别方法和装置
CN110263939A (zh) * 2019-06-24 2019-09-20 腾讯科技（深圳）有限公司 一种表示学习模型的评估方法、装置、设备及介质
CN110275928A (zh) * 2019-06-24 2019-09-24 复旦大学 迭代式实体关系抽取方法
CN111310934A (zh) * 2020-02-14 2020-06-19 北京百度网讯科技有限公司 一种模型生成方法、装置、电子设备和存储介质
CN111931944A (zh) * 2020-07-14 2020-11-13 东云睿连(武汉)计算技术有限公司 一种深度学习向导装置和方法
CN112529167A (zh) * 2020-12-25 2021-03-19 东云睿连(武汉)计算技术有限公司 一种神经网络交互式自动训练系统和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836792A (zh) * 2017-12-29 2021-05-25 华为技术有限公司 一种神经网络模型的训练方法及装置
US20200272899A1 (en) * 2019-02-22 2020-08-27 Ubotica Technologies Limited Systems and Methods for Deploying and Updating Neural Networks at the Edge of a Network

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229686A (zh) * 2016-12-14 2018-06-29 阿里巴巴集团控股有限公司 模型训练、预测方法、装置、电子设备及机器学习平台
CN108363714A (zh) * 2017-12-21 2018-08-03 北京至信普林科技有限公司 一种方便数据分析人员使用的集成机器学习的方法及系统
CN109242825A (zh) * 2018-07-26 2019-01-18 北京首钢自动化信息技术有限公司 一种基于深度学习技术的钢铁表面缺陷识别方法和装置
CN110263939A (zh) * 2019-06-24 2019-09-20 腾讯科技（深圳）有限公司 一种表示学习模型的评估方法、装置、设备及介质
CN110275928A (zh) * 2019-06-24 2019-09-24 复旦大学 迭代式实体关系抽取方法
CN111310934A (zh) * 2020-02-14 2020-06-19 北京百度网讯科技有限公司 一种模型生成方法、装置、电子设备和存储介质
CN111931944A (zh) * 2020-07-14 2020-11-13 东云睿连(武汉)计算技术有限公司 一种深度学习向导装置和方法
CN112529167A (zh) * 2020-12-25 2021-03-19 东云睿连(武汉)计算技术有限公司 一种神经网络交互式自动训练系统和方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114861836A (zh) * 2022-07-05 2022-08-05 浙江大华技术股份有限公司 一种基于人工智能平台的模型部署方法及相关设备
CN114861836B (zh) * 2022-07-05 2022-10-28 浙江大华技术股份有限公司 一种基于人工智能平台的模型部署方法及相关设备
CN115860141A (zh) * 2022-12-23 2023-03-28 深圳市魔数智擎人工智能有限公司 一种自动化机器学习交互式黑箱可视建模方法及系统
CN117077726A (zh) * 2023-10-17 2023-11-17 之江实验室 一种生成存内计算神经网络模型的方法、装置及介质
CN117077726B (zh) * 2023-10-17 2024-01-09 之江实验室 一种生成存内计算神经网络模型的方法、装置及介质
CN117331339A (zh) * 2023-12-01 2024-01-02 南京华视智能科技股份有限公司 基于时序神经网络模型的涂布机模头电机控制方法及装置
CN117331339B (zh) * 2023-12-01 2024-02-06 南京华视智能科技股份有限公司 基于时序神经网络模型的涂布机模头电机控制方法及装置

Also Published As

Publication number Publication date
CN112529167B (zh) 2024-05-14
CN112529167A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
WO2022134600A1 (zh) 一种神经网络交互式自动训练系统和方法
US8443351B2 (en) Parallel loops in a workflow
KR102473613B1 (ko) 인공지능 모델의 분산 학습 기법
US11941494B2 (en) Notebook interface for authoring enterprise machine learning models
US11416487B2 (en) Data-driven checkpoint selector
KR102478076B1 (ko) 음성 인식 오류 검출을 위해 학습 데이터를 생성하기 위한 방법
KR102486119B1 (ko) 피드백 정보를 이용한 음성 인식 방법
US20230176928A1 (en) Serverless Workflow Enablement and Execution Platform
KR102629022B1 (ko) 강화 학습 기반의 스케줄링 방법
KR102552230B1 (ko) 클라우드 플랫폼에서 인공지능 모델을 활용한 데이터 라벨링 방법
KR102570771B1 (ko) 강화학습 알고리즘의 파라미터 조절 방법
KR102550108B1 (ko) 클라우드 플랫폼에서 인공지능 모델을 활용한 용접 불량 탐지 방법
KR102645690B1 (ko) 노드에 대응되는 인공지능 기반의 모델을 제공하기 위한 방법 및 디바이스
KR102547001B1 (ko) 하향식 방식을 이용한 오류 검출 방법
US11657803B1 (en) Method for speech recognition by using feedback information
KR102498533B1 (ko) 딥 러닝 기법으로 학습된 모델을 이용하여 사용자와의 실시간 대화 및 질문에 대한 응답 제공 기능을 수행하는 대화형 전자 장치 및 그 동작 방법
KR102576241B1 (ko) 단백질과 리간드의 결합 구조 예측 방법
KR102662989B1 (ko) 어플리케이션 플랫폼을 제공하기 위한 방법 및 장치
KR102440629B1 (ko) 반도체 설계를 위한 신경망 모델 학습 방법
KR20240063817A (ko) 타깃 단백질과 연관된 데이터 증강 방법
KR102479218B1 (ko) 오토 인코더 모델의 선택 및 최적화 방법
Feng et al. Incorporating business rule engine technology in control center applications-toward adaptive it solutions
US20230267311A1 (en) Method Of Selection And Optimization Of Auto-Encoder Model
EP4312160A1 (en) Integrated machine learning and rules platform for improved accuracy and root cause analysis
Testas Deploying Models in Production with Scikit-Learn and PySpark

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21908605

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21908605

Country of ref document: EP

Kind code of ref document: A1