WO2023005386A1 - 模型训练方法和装置 - Google Patents

模型训练方法和装置 Download PDF

Info

Publication number
WO2023005386A1
WO2023005386A1 PCT/CN2022/094879 CN2022094879W WO2023005386A1 WO 2023005386 A1 WO2023005386 A1 WO 2023005386A1 CN 2022094879 W CN2022094879 W CN 2022094879W WO 2023005386 A1 WO2023005386 A1 WO 2023005386A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature extraction
network
processing
enhancement
Prior art date
Application number
PCT/CN2022/094879
Other languages
English (en)
French (fr)
Inventor
白亚龙
张炜
梅涛
周伯文
Original Assignee
京东科技控股股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东科技控股股份有限公司 filed Critical 京东科技控股股份有限公司
Publication of WO2023005386A1 publication Critical patent/WO2023005386A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • model training applications may also be installed in the terminal devices 101, 102, 103, and the terminal devices 101, 102, 103 may complete model training based on the model training applications.
  • the model training method can also be executed by the terminal devices 101 , 102 , 103 , and correspondingly, the model training apparatus can also be set in the terminal devices 101 , 102 , 103 .
  • server 105 and network 104 may not exist in exemplary system architecture 100 .
  • Step 203 input the enhanced images in the enhanced image set to the initial model, and use the preset loss function to train the initial model with the image processing result corresponding to the input enhanced image set as the expected output result.
  • the enhanced image corresponding to level three is only input to the third feature extraction network, and then the third output network generates a third image processing result (such as image category, etc.) based on the features extracted by the third feature extraction network.
  • a third image processing result such as image category, etc.
  • the present disclosure provides an embodiment of a model training device.
  • This device embodiment corresponds to the method embodiment shown in FIG. 2 , and this device can be specifically applied to in various electronic devices.
  • each block in a flowchart or block diagram may represent a module, program segment, or portion of code that contains one or more logical functions for implementing specified executable instructions.
  • the functions noted in the block may occur out of the order noted in the figures. For example, two blocks shown in succession may, in fact, be executed substantially concurrently, or they may sometimes be executed in the reverse order, depending upon the functionality involved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种模型训练方法和装置，方法包括：获取至少一个原始图像分别对应的增强图像集，获取每个增强图像集对应的图像处理结果（S201），每个增强图像集包括至少两种增强等级的增强图像；获取初始模型（S202），初始模型包括分别对应于不同增强等级的处理网络，每种增强等级对应的处理网络包括输出网络和增强等级以上的各增强等级分别对应的特征提取网络，输出网络用于根据各特征提取网络输出的特征提取结果生成图像处理结果；将增强图像集中的增强图像输入至初始模型，将输入的增强图像集对应的图像处理结果作为期望输出结果，利用预设的损失函数对初始模型进行训练（S203），提升了待训练模型对各种数据增强方法的适应性。

Description

模型训练方法和装置
本专利申请要求于2021年07月27日提交的、申请号为202110848100.X、发明名称为“模型训练方法和装置”的中国专利申请的优先权，该申请的全文以引用的方式并入本申请中。
技术领域
本公开的实施例涉及计算机技术领域，具体涉及模型训练方法和装置。
背景技术
随着人工神经网络(ANNs，Artificial Neural Networks)的快速发展，其已被广泛应用于图像识别、图像分类、图像检索、语义分割、多模态图像处理等等各种图像处理任务中。在各种图像处理模型(如卷积神经网络等)的训练过程中经常遇到如训练样本包含噪声信号、训练样本的数量有限、过渡拟合训练样本等一些问题。
目前，数据增强技术作为一种低成本扩充训练样本的策略被广泛应用于各种图像处理模型的训练过程中，以改善上述一些问题。数据增强的类型包括但不限于随机图像翻转、图像裁剪、图像随机遮挡等等。不同类型的数据增强对图像处理模型的训练效果影响不同，同时，同一类型的数据增强对不同图像处理任务分别对应的图像处理模型的训练效果影响也不同，因此，如何选择合适的数据增强类型是值得考虑的一个问题。
发明内容
本公开的实施例提出了模型训练方法和装置。
在一种或多种实施例中，本公开提供了一种模型训练方法，该方法包括：获取至少一个原始图像分别对应的增强图像集，以及获取每个增强图像集对应的图像处理结果，其中，每个增强图像集包括至少两种增强等级的增强图像；获取初始模型，其中，初始模型包括分别对应于不同增强等级的处理网络，每种增强等 级对应的处理网络包括输出网络和该增强等级以上的各增强等级分别对应的特征提取网络，输出网络用于根据各特征提取网络输出的特征提取结果生成图像处理结果；将增强图像集中的增强图像输入至初始模型，以及将输入的增强图像集对应的图像处理结果作为期望输出结果，利用预设的损失函数对初始模型进行训练。
在一种或多种实施例中，本公开提供了一种图像处理方法，该方法包括：获取待处理图像；将待处理图像输入至图像处理模型，得到图像处理结果，其中，图像处理模型为训练完成的初始模型中最低增强等级对应的处理网络，初始模型利用如第一方面中任一实现方式描述的方法训练得到。
在一种或多种实施例中，本公开提供了一种模型训练装置，该装置包括：增强图像集获取单元，被配置成获取至少一个原始图像分别对应的增强图像集，以及获取每个增强图像集对应的图像处理结果，其中，每个增强图像集包括至少两种增强等级的增强图像；模型获取单元，被配置成获取初始模型，其中，初始模型包括分别对应于不同增强等级的处理网络，每种增强等级对应的处理网络包括输出网络和该增强等级以上的各增强等级分别对应的特征提取网络，输出网络用于根据各特征提取网络输出的特征提取结果生成图像处理结果；训练单元，被配置成将增强图像集中的增强图像输入至初始模型，以及将输入的增强图像集对应的图像处理结果作为期望输出结果，利用预设的损失函数对初始模型进行训练。
在一种或多种实施例中，本公开提供了一种图像处理装置，该装置包括：待处理图像获取单元，被配置成获取待处理图像；处理单元，被配置成将待处理图像输入至图像处理模型，得到图像处理结果，其中，图像处理模型为训练完成的初始模型中最低增强等级对应的处理网络，初始模型利用如上述任一实施例描述的模型训练方法训练得到。
在一种或多种实施例中，本公开提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述任一实施例描述的模型训练或图像处理方法。
在一种或多种实施例中，本公开提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
在一种或多种实施例中，本申请提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上述任一实施例描述的模型训练或图像处理方法。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本公开的模型训练方法的一个实施例的流程图；
图3a是现有的模型训练方法所采用的初始模型的网络结构示意图；
图3b是根据本实施例的模型训练方法中的初始模型的网络结构示意图；
图3c是现有的模型训练方法所采用的初始模型的特征提取操作的示意图；
图3d是根据本实施例的模型训练方法中的初始模型的特征提取操作的示意图；
图4是是根据本实施例的模型训练方法中的初始模型的网络结构又一示意图
图5是根据本公开的图像处理方法的一个实施例的流程图；
图6是根据本公开的模型训练装置的一个实施例的结构示意图；
图7是根据本公开的图像处理装置的一个实施例的结构示意图；
图8是适于用来实现本公开的实施例的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的模型训练方法或模型训练装置的实施例的示例性架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通 信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用。例如，浏览器类应用、搜索类应用、即时通信工具、图像处理类应用等等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如为终端设备101、102、103提供后端支持的服务器。服务器105可以获取至少一个原始图像分别的增强图像集、各增强图像集分别对应的图像处理结果和初始模型作为训练数据，然后利用预设的损失函数完成对初始模型的训练，得到图像处理模型。然后，服务器105可以接收终端设备101、102、103发送的图像处理请求，并利用训练好的图像处理模型对该图像处理请求指示的图像进行处理，得到图像处理结果。
需要说明的是，本公开的实施例所提供的模型训练方法一般由服务器105执行，相应地，模型训练装置一般设置于服务器105中。在一些情况下，可以不存在终端设备101、102、103和网络104。
还需要指出的是，终端设备101、102、103中也可以安装有模型训练类应用，并且终端设备101、102、103可以基于模型训练类应用完成模型训练。此时，模型训练方法也可以由终端设备101、102、103执行，相应地，模型训练装置也可以设置于终端设备101、102、103中。此时，示例性系统架构100可以不存在服务器105和网络104。
需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
本公开的实施例提供的模型训练方法和装置，在模型训练过程中通过将对应不同增强等级的增强图像进行区分，分别输入至对应增强等级的处理网络，使得每种增强等级对应的处理网络提取该增强等级以上的各增强图像的特征，并根据得到的各特征提取结果生成图像处理结果，从而使得模型训练过程可以学习到较高增强等级的增强图像所包含的有利于图像处理任务的特征，而降低较高增强等级的增强图像所包含的不利于图像处理任务的特征对模型训练的影响，进而提升模型训练效果。
继续参考图2，其示出了根据本公开的模型训练方法的一个实施例的流程200。该模型训练方法包括以下步骤：
步骤201，获取至少一个原始图像分别对应的增强图像集，以及获取每个增强图像集对应的图像处理结果。
在本实施例中，原始图像可以是任意指定的图像。至少一个原始图像中的各原始图像可以不同。在指定一个原始图像之后，可以通过对该原始图像进行数据增强处理，以得到该原始图像对应的增强图像。采用不同的数据增强方法对同一个原始图像进行处理可以得到不同的增强图像。
具体地，对原始图像可以采用各种数据增强方法以实现图像增强。作为示例，数据增强方法包括但不限于模糊(Blur)、翻转(Flip)、归一化(Normalize)、转置(Transpose)、随机裁剪(RandomCrop)、随机Gamma、旋转(Rotate)、光学畸变(OpticalDistortion)、网格失真(GridDistortion)、弹性变换(ElasticTransform)、随机网格洗牌(RandomGridShuffle)、CutOut(随机擦除)、Gray(灰度化)等等。
每个原始图像对应的增强图像集可以由该原始图像对应的增强图像组成。每个增强图像集可以包括至少两种增强等级的增强图像。其中，增强等级可以用于表征采用对应的数据增强方法形成的增强图像，相较于原始图像的信息丢失程度。图像的信息包括如颜色、对象结构等各种信息。一般地，造成的信息丢失越多，则对应的增强等级越高。
作为示例，翻转和随机网格洗牌相比，翻转通常不会导致原始图像丢失过多 信息，而随机网格洗牌通常会导致原始图像丢失大量重要信息。因此，随机网格洗牌对应的增强等级高于翻转对应的增强等级。
增强等级的划分方式可以根据实际的应用场景灵活设置。例如，可以将增强等级划分为弱数据增强和强数据增强两种。又例如，可以在前述两种增强等级的基础上，将强数据增强进一步划分为等级一的强数据增强和等级二的强数据增强，且等级二的增强等级高于等级一的增强等级。此时，增强等级包括弱数据增强、等级一的强数据增强和等级二的强数据增强三种。
需要说明的是，对于每种增强等级，每个增强图像集可以包括该增强等级的任意数目个增强图像。
增强图像集对应的图像处理结果可以指原始图像对应的图像处理结果。一般地，增强图像集中的各增强图像对应同一图像处理结果。具体地，增强图像集对应的图像处理结果可以根据实际的应用场景灵活确定。例如，对于训练用于图像分类的图像处理模型的场景下，图像处理结果可以指图像所属类别。又例如，对于训练用于图像检测的图像处理模型的场景下，图像处理结果可以指待检测目标在图像中的位置。
模型训练方法的执行主体(如图1所示的服务器105等)可以从本地、连接的数据库、第三方数据平台或存储设备(如图1所示的终端设备101、102、103等)获取至少一个增强图像集和各增强图像集分别对应的图像处理结果。需要说明的是，至少一个增强图像集和各增强图像集分别对应的图像处理结果可以从同一数据源获取，也可以从不同数据源获取。
步骤202，获取初始模型。
在本实施例中，上述执行主体可以从本地或其他数据源获取预先构建的初始模型。其中，初始模型可以包括分别对应于不同增强等级的处理网络。每种增强等级对应的处理网络可以包括输出网络和该增强等级以上的各增强等级分别对应的特征提取网络。
作为示例，增强等级“N”对应的处理网络可以包括输出网络和等级不小于“N”的各增强等级(即增强等级“N”、“N+1”、“N+2”…)分别对应的特征提取网络。
其中，每个处理网络中的特征提取网络可以用于提取图像的特征，输出网络可以用于根据该处理网络包括的各特征提取网络输出的特征提取结果生成图像 处理结果。需要说明的是，输入每个特征提取网络的增强图像对应的增强等级一般可以与该特征提取网络对应的增强等级相同。
每个处理网络中的各特征提取网络分别输出提取的特征之后，输出网络可以通过各种方法(如顺序拼接、融合等)根据各特征提取网络分别输出的特征生成图像处理结果。
具体地，特征提取网络可以采用现有的各种用于提取图像特征的网络结构。例如，特征提取网络可以由若干卷积层和池化层组成。输入网络可以根据实际的应用场景灵活构建。例如，在图像分类的场景下，输入网络可以是各种分类器等。
在本实施例的一些可选的实现方式中，初始模型中对应于同一增强等级的各特征提取网络可以共享网络参数。
作为示例，在增强等级包括等级一和等级二，且等级一低于等级二时，等级一对应的处理网络可以包括对应于等级一的特征提取网络和对应于等级二的特征提取网络，等级二对应的处理网络可以包括对应于等级二的特征提取网络，此时，等级一对应的处理网络所包括的对应于等级二的特征提取网络和等级二对应的处理网络所包括的对应于等级二的特征提取网络可以共享网络参数。
通过共享网络参数可以简化网络结构，而且可以使得不同增强等级的增强图像的处理过程有所关联，避免较强的增强等级的增强图像在训练过程中产生的噪声对模型训练效果的影响，有助于提升模型训练效率和训练效果。
在本实施例的一些可选的实现方式中，不同增强等级对应的处理网络所包括的特征提取网络输出的特征提取结果的尺度可以不同。具体地，每种增强等级对应的处理网络所包括的特征提取网络输出的特征提取结果的尺度可以预先由技术人员灵活设置。
需要说明的是，对于包括两个以上的特征提取网络的处理网络，该处理网络对应的特征提取结果的尺度可以指其包括的各特征提取网络分别对应的特征提取结果的拼接或融合结果的尺度。
作为示例，在增强等级包括等级一和等级二，且等级一低于等级二时，等级一对应的处理网络包括对应于等级一的特征提取网络和对应于等级二的特征提取网络，且对应于等级一的特征提取网络输出的特征提取结果的长度为H，宽度为W，通道数为(N-M)，对应于等级二的特征提取网络输出的特征提取结果的长度为H，宽度为W，通道数为M。其中，N大于M。此时，等级一对应的处理 网络包括的两个特征提取网络的特征提取结果的顺序拼接结果的尺度为：长度H、宽度W，通道数N。等级二对应的处理网络可以包括对应于等级二的特征提取网络，且对应于等级二的特征提取网络的特征提取结果的长度为H，宽度为W，通道数为M。
下面参考图3a和3b。其中，图3a是现有的模型训练方法所采用的初始模型的网络结构示意图。图3b是根据本实施例的模型训练方法中的初始模型的网络结构示意图。
如图3a所示，现有的模型训练方法所采用的初始模型通常包括特征提取网络和输出网络。其中，特征提取网络可以包括若干卷积层以提取图像特征，输出网络用于根据特征提取网络所提取的图像特征生成图像处理结果。
具体的训练过程通常是先获取至少一个原始图像分别对应的增强图像集，以及获取每个增强图像集对应的图像处理结果(如图像类别)。每个原始图像对应的增强图像集可以通过对该原始图像进行各种增强处理得到，且每个增强图像集中的各增强图像并不进行增强等级的区分。然后，将每个增强图像集中的增强图像输入至初始模型，然后比较初始模型输出的结果和预先获取的图像处理结果的差异，再根据差异调节初始模型的网络参数，重复上述训练过程直至完成初始模型的训练。
如图3b所示，将增强等级划分为弱数据增强和强数据增强两种。初始模型包括弱数据增强对应的第一处理网络和强数据增强对应的第二处理网络。第一处理网络包括对应于弱数据增强的第一特征提取网络、对应于强数据增强的第二特征提取网络和对应于弱数据增强的第一输出网络。第二处理网络包括对应于强数据增强的第二特征提取网络和对应于强数据增强的第二输出网络。
具体地，弱数据增强图像同时输入第一特征提取网络和第二特征提取网络，然后由第一输出网络根据第一特征提取网络和第二特征提取网络分别提取的特征，生成第一图像处理结果(如图像类别等)。强数据增强图像仅输入至第二特征提取网络，然后由第二输出网络根据第二特征提取网络提取的特征生成第二图像处理结果(如图像类别等)。
由此可以看出，现有的模型训练方法是将增强图像不进行增强等级区分地直接输入到初始模型中进行训练，初始模型对不同的增强图像的处理过程无差别。而本实施例提出的模型训练方法是对增强图像进行增强等级区分地输入到初始 模型中对应增强等级的处理网络中进行处理。即现有的模型训练方法和本实施例提出的模型训练方法对输入图像的特征提取操作具有本质区别。
步骤203，将增强图像集中的增强图像输入至初始模型，以及将输入的增强图像集对应的图像处理结果作为期望输出结果，利用预设的损失函数对初始模型进行训练。
在本实施例中，可以从获取的至少一个增强图像集中选取增强图像集，并将选取的增强图像集中的增强图像输入至初始模型，得到初始模型生成的图像处理结果，然后通过比较初始模型生成的图像处理结果和预先获取的图像处理结果，利用预设的损失函数计算损失值，再根据损失值利用反向传播和梯度下降等算法调整初始模型的参数，然后确定调整后的初始模型是否训练完成，若未训练完成，则继续选取未被选取过的增强图像集输入至调整后的初始模型继续训练，直至完成初始模型的训练。
其中，损失函数可以预先由技术人员根据实际的应用需求灵活设置。例如，损失函数可以表征处理模型所包括的各处理网络的图像处理结果分别与期望输出结果之间的差异的总和，此时，通过最小化损失函数来调整初始模型的参数。
可选地，损失函数可以包括等级损失函数。其中，等级损失函数可以用于表征每种增强等级对应的处理网络所包括的各特征提取网络的输出结果之间的相似度。此时，可以通过最小化等级损失函数(即使得各特征提取网络的输出结果之间的差异尽可能大)来使得最低增强等级对应的特征提取网络能够专注于提取最低增强等级的增强图像的特征，同时较高增强等级对应的特征提取网络能够专注于提取该增强等级以上的各增强等级分别对应的增强图像的共有特征。
可选地，损失函数可以包括各增强等级的处理网络分别对应的损失函数。其中，不同增强等级对应的处理网络的损失函数的设计可以相同，也可以不同。例如，每种增强等级对应的处理网络的损失函数可以用于表征处理网络在训练过程中实际输出的图像处理结果与对应的期望输出结果之间的差异。
基于上述说明，损失函数还可以设计为等级损失函数和各增强等级的处理网络分别对应的损失函数的和，以从多方面综合控制模型训练的网络参数的调整。
作为示例，继续参考图3c和3d。图3c示出了现有的模型训练方法所采用的初始模型的特征提取操作的示意图。图3d是根据本实施例的模型训练方法中的初始模型的特征提取操作的示意图。
具体地，如图3c所示，
Figure PCTCN2022094879-appb-000001
表示输入的图像。
Figure PCTCN2022094879-appb-000002
和
Figure PCTCN2022094879-appb-000003
分别表示特征提取网络的第(t-1)和第t个网络层的卷积运算。h t卷积核的长度，w t表示卷积核的宽度，n t-1和n t分别表示第(t-1)和第t个卷积层经过卷积处理后输出的特征提取结果的通道数。
此时，以初始模型用于图像分类为示例，初始模型的损失函数可以如下公式所示：
Figure PCTCN2022094879-appb-000004
Figure PCTCN2022094879-appb-000005
其中，
Figure PCTCN2022094879-appb-000006
损失函数，
Figure PCTCN2022094879-appb-000007
表示交叉熵损失函数。
Figure PCTCN2022094879-appb-000008
表示第i个卷积层的输入图像。N表示卷积层的总数。l i表示输入图像的类别标签。W t和b t表示待学习的网络参数。
如图3d所示，φ表示输入的弱增强等级对应的增强图像。
Figure PCTCN2022094879-appb-000009
表示输入的强增强等级对应的增强图像。
Figure PCTCN2022094879-appb-000010
和
Figure PCTCN2022094879-appb-000011
分别表示第(t-1)和第t个卷积层。
Figure PCTCN2022094879-appb-000012
表示弱增强等级对应的特征提取网络对弱增强等级对应的增强图像的卷积运算。
Figure PCTCN2022094879-appb-000013
表示强增强等级对应的特征提取网络对弱增强等级对应的增强图像的卷积运算。
Figure PCTCN2022094879-appb-000014
表示强增强等级对应的特征提取网络对强增强等级对应的增强图像的卷积运算。m t和m t-1分别表示卷积层
Figure PCTCN2022094879-appb-000015
在处理强增强等级对应的增强图像时的输入和输出的通道数。n t-1和n t分别表示卷积层
Figure PCTCN2022094879-appb-000016
在处理弱增强等级对应的增强图像时的输入和输出的通道数。其中，n t大于m t。
此时，对输入的弱增强等级对应的增强图像的卷积运算的具体过程如下公式所示：
Figure PCTCN2022094879-appb-000017
对输入的强增强等级对应的增强图像的卷积运算的具体过程如下公式所示：
Figure PCTCN2022094879-appb-000018
其中，[,]表示拼接操作。W和b表示待学习的网络参数。
以初始模型用于图像分类为示例，初始模型的损失函数可以如下公式所示：
Figure PCTCN2022094879-appb-000019
Figure PCTCN2022094879-appb-000020
其中，f φ和
Figure PCTCN2022094879-appb-000021
分别表示弱增强等级和强增强等级对应的分类器。<,>表示Kullback-Leibler divergence(KL散度)，又称Relative Entropy(相对熵)或Information Divergence(信息散度)。S表示等级损失函数以用于表示弱增强等级对应的增强图像经过不同特征提取网络的卷积处理后产生的特征提取结果的相 似度。λ为取值为0到1之间的调节参数。
上述图3b和3d是以两种增强等级为示例，需要说明的是，本实施例提供的模型训练方法可以根据实际的需求扩展至三种以上的增强等级。作为示例，图4示出了根据本实施例的模型训练方法中的初始模型的网络结构又一示意图。
如图4所示。将增强等级划分为等级一、等级二和等级三共三种，且等级一低于等级二，等级二低于等级三。此时，初始模型包括三种增强等级分别对应的处理网络。
具体地，等级一对应的处理网络包括对应于等级一的第一特征提取网络、对应于等级二的第二特征提取网络、对应于等级三的特征提取网络和对应于等级一的第一输出网络。等级二对应的处理网络包括对应于等级二的第二特征提取网络、对应于等级三的特征提取网络和对应于等级二的第二输出网络。等级三对应的处理网络包括对应于等级三的第三特征提取网络和对应于特征三的第三输出网络。
等级一对应的增强图像同时输入至第一特征提取网络、第二特征提取网络和第三特征提取网络，然后由第一输出网络根据第一特征提取网络、第二特征提取网络和第三特征提取网络分别提取的特征，生成第一图像处理结果(如图像类别等)。
等级二对应的增强图像同时输入至第二特征提取网络和第三特征提取网络，然后由第二输出网络根据第二特征提取网络和第三特征提取网络分别提取的特征，生成第二图像处理结果(如图像类别等)。
等级三对应的增强图像仅输入至第三特征提取网络，然后由第三输出网络根据第三特征提取网络提取的特征，生成第三图像处理结果(如图像类别等)。
此时，损失函数可以计算三种增强等级分别对应的处理网络的交叉熵损失函数和等级损失函数的总和。其中，等级损失函数可以包括第一等级损失函数和第二等级损失函数。第一等级损失函数可以表示等级一对应的处理网络所包括的第一特征提取网络、第二特征提取网络和第三特征提取网络分别对输入的等级一增强图像的特征提取结果之间的相似度。第二等级损失函数可以表示等级二对应的处理网络所包括的第二特征提取网络和第三特征提取网络分别对输入的等级二增强图像的特征提取结果之间的相似度。
利用上述损失函数可以调节初始模型的参数，使得等级一对应的第一特征提取网络可以专注于提取等级一对应的增强图像的特征，同时等级二对应的第二特 征提取网络可以专注于提取等级一对应的增强图像和等级二对应的增强图像的共有特征，同时等级三对应的第三特征提取网络可以专注于提取等级一对应的增强图像、等级二对应的增强图像和等级三对应的增强图像的共有特征，从而有助于提升初始模型对较强增强等级的增强图像包含的有利于图像处理任务的特征的敏感性，同时提升对较强增强等级的增强图像包含的噪声的鲁棒性。
本公开的上述实施例提供的模型训练方法通过对不同数据增强的方法进行增强等级的划分，并在训练过程中，对不同增强等级对应的增强图像分别进行不同的处理，以充分考虑不同等级的数据增强方法形成的增强图像之间的依赖关系，同时为较高增强等级的增强图像设置相对较低增强等级的增强图像的独立处理过程，从而保证学习到较高增强等级的增强图像所包含的有利于图像处理任务的特征，而降低较高增强等级的增强图像所包含的不利于图像处理任务的特征对模型训练的影响。
此外，现有的模型训练方法中初始模型对不同增强等级的数据增强方法形成的增强图像进行无差别处理，不同数据增强方法对模型训练的影响是不稳定的。一些数据增强方法可能会提升一些网络结构的图像处理模型，但同时也会对另一些网络结构的图像处理模型带来负面影响。
针对这一情况，基于元学习或搜索的方法被提出，旨在为给定网络结构的图像处理模型或者指定数据集上的图像处理任务自动匹配最优的数据增强方法，但是这些方法的执行过程通常需要消耗大量的计算资源。
而与上述现有技术提出的为图像处理模型或图像处理任务自动匹配数据增强方法相反地，本公开的上述实施例提供的模型训练方法是通过初始模型的网络结构的设计来适应各种数据增强方法，避免了自动匹配数据增强方法而消耗大量计算资源的情况，从而降低模型训练成本。
进一步参考图5，其示出了图像处理方法的又一个实施例的流程500。该图像处理方法的流程500，包括以下步骤：
步骤501，获取待处理图像。
在本实施例中，待处理图像可以是任意的图像。图像处理方法的执行主体可以从本地或其他数据源获取待处理图像。
需要说明的是，图像处理方法的执行主体可以与上述图2对应实施例中描述 的模型训练方法的执行主体相同，也可以不同。
步骤502，将待处理图像输入至图像处理模型，得到图像处理结果。
在本实施例中，图像处理方法的执行主体可以将待处理图像输入至预先训练得到的图像处理模型中，得到图像处理结果。图像处理结果对应于图像处理模型对应的图像处理任务。例如，图像处理模型用于图像分类，则图像处理结果用于表示待处理图像所属类别。
其中，图像处理模型可以为如上述图2对应实施例中描述的模型训练方法训练完成的初始模型中最低增强等级对应的处理网络。作为示例，初始模型包括弱增强等级对应的处理网络和强增强等级对应的处理网络，此时，在初始模型训练完成之后，可以将训练完成的初始模型中弱增强等级对应的处理网络确定为图像处理网络，并且用于后续的图像处理。训练完成的初始模型中弱增强等级对应的处理网络包括弱增强等级对应的特征提取网络、强增强等级对应的特征提取网络和弱增强等级对应的输出网络。
关于初始模型的具体训练过程可以参考图2对应实施例中的相关说明，在此不再赘述。
本公开的上述实施例提供的图像处理方法利用训练完成的最低增强等级的处理网络作为图像处理模型以用于后续图像处理，从而提升图像处理效率。另外，最低增强等级的处理网络包括各种增强等级分别对应的特征提取网络和最低增强等级对应的输出网络，因此利用最低增强等级的处理网络进行图像处理可以从不同增强等级的角度分别提取待处理图像中有利于图像处理的特征，有助于提升图像处理结果的鲁棒性。
进一步参考图6，作为对上述各图所示方法的实现，本公开提供了模型训练装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例提供的模型训练装置600包括增强图像集获取单元601、模型获取单元602和训练单元603。其中，增强图像集获取单元601被配置成获取至少一个原始图像分别对应的增强图像集，以及获取每个增强图像集对应的图像处理结果，其中，每个增强图像集包括至少两种增强等级的增强图像；模型获取单元602被配置成获取初始模型，其中，初始模型包括分别对应于不同增 强等级的处理网络，每种增强等级对应的处理网络包括输出网络和该增强等级以上的各增强等级分别对应的特征提取网络，输出网络用于根据各特征提取网络输出的特征提取结果生成图像处理结果；训练单元603被配置成将增强图像集中的增强图像输入至初始模型，以及将输入的增强图像集对应的图像处理结果作为期望输出结果，利用预设的损失函数对初始模型进行训练。
在本实施例中，模型训练装置600中：增强图像集获取单元601、模型获取单元602和训练单元603的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201、步骤202和步骤203的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，初始模型中对应于同一增强等级的各特征提取网络共享网络参数。
在本实施例的一些可选的实现方式中，不同增强等级对应的处理网络所包括的特征提取网络输出的特征提取结果的尺度不同。
在本实施例的一些可选的实现方式中，损失函数包括等级损失函数，其中，等级损失函数用于表征每种增强等级对应的处理网络所包括的各特征提取网络的输出结果之间的相似度。
在本实施例的一些可选的实现方式中，损失函数包括各增强等级的处理网络分别对应的损失函数。
本公开的上述实施例提供的模型训练装置，通过增强图像集获取单元获取至少一个原始图像分别对应的增强图像集，以及获取每个增强图像集对应的图像处理结果，其中，每个增强图像集包括至少两种增强等级的增强图像；模型获取单元获取初始模型，其中，初始模型包括分别对应于不同增强等级的处理网络，每种增强等级对应的处理网络包括输出网络和该增强等级以上的各增强等级分别对应的特征提取网络，输出网络用于根据各特征提取网络输出的特征提取结果生成图像处理结果；训练单元将增强图像集中的增强图像输入至初始模型，以及将输入的增强图像集对应的图像处理结果作为期望输出结果，利用预设的损失函数对初始模型进行训练，实现对不同数据增强的方法进行增强等级的划分，并在训练过程中，对不同增强等级对应的增强图像分别进行不同的处理，以保证学习到较高增强等级的增强图像所包含的有利于图像处理任务的特征，而降低较高增强等级的增强图像所包含的不利于图像处理任务的特征对模型训练的影响。
进一步参考图7，作为对上述各图所示方法的实现，本公开提供了图像处理装置的一个实施例，该装置实施例与图5所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图7所示，本实施例提供的图像处理装置700包括待处理图像获取单元701和处理单元702。其中，待处理图像获取单元701被配置成获取待处理图像；处理单元702被配置成将待处理图像输入至图像处理模型，得到图像处理结果，其中，图像处理模型为训练完成的初始模型中最低增强等级对应的处理网络，初始模型利用如图2实施例所描述的方法进行训练。
在本实施例中，图像处理装置700中：待处理图像获取单元701和处理单元702的具体处理及其所带来的技术效果可分别参考图5对应实施例中的步骤501和步骤502的相关说明，在此不再赘述。
本公开的上述实施例提供的图像处理装置，通过待处理图像获取单元获取待处理图像；处理单元将待处理图像输入至图像处理模型，得到图像处理结果，其中，图像处理模型为训练完成的初始模型中最低增强等级对应的处理网络，从而可以从不同增强等级的角度分别提取待处理图像中有利于图像处理的特征，有助于提升图像处理结果的鲁棒性。
下面参考图8，其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器)800的结构示意图。图8示出的服务器仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图8所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有电子设备800操作所需的各种程序和数据。处理装置801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
通常，以下装置可以连接至I/O接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808；以及通信装置809。通信装置809可以允许电子设备800与其他设备 进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图8中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从ROM 802被安装。在该计算机程序被处理装置801执行时，执行本公开的实施例的方法中限定的上述功能。
需要说明的是，本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取至少一个原始 图像分别对应的增强图像集，以及获取每个增强图像集对应的图像处理结果，其中，每个增强图像集包括至少两种增强等级的增强图像；获取初始模型，其中，初始模型包括分别对应于不同增强等级的处理网络，每种增强等级对应的处理网络包括输出网络和该增强等级以上的各增强等级分别对应的特征提取网络，输出网络用于根据各特征提取网络输出的特征提取结果生成图像处理结果；将增强图像集中的增强图像输入至初始模型，以及将输入的增强图像集对应的图像处理结果作为期望输出结果，利用预设的损失函数对初始模型进行训练。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括增强图像集获取单元、模型获取单元和训练单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，增强图像集获 取单元还可以被描述为“获取至少一个原始图像分别对应的增强图像集，以及获取每个增强图像集对应的图像处理结果的单元，其中，每个增强图像集包括至少两种增强等级的增强图像”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (15)

  1. 一种模型训练方法，包括：
    获取至少一个原始图像分别对应的增强图像集，以及获取每个增强图像集对应的图像处理结果，其中，每个增强图像集包括至少两种增强等级的增强图像；
    获取初始模型，其中，所述初始模型包括分别对应于不同增强等级的处理网络，每种增强等级对应的处理网络包括输出网络和该增强等级以上的各增强等级分别对应的特征提取网络，输出网络用于根据各特征提取网络输出的特征提取结果生成图像处理结果；以及
    将增强图像集中的增强图像输入至所述初始模型，以及将输入的增强图像集对应的图像处理结果作为期望输出结果，利用预设的损失函数对所述初始模型进行训练。
  2. 根据权利要求1所述的方法，其中，不同增强等级对应的处理网络所包括的特征提取网络输出的特征提取结果的尺度不同。
  3. 根据权利要求2所述的方法，其中，所述初始模型中对应于同一增强等级的各特征提取网络输出的特征提取结果的尺度不同。
  4. 根据权利要求1-3任一项所述的方法，其中，所述损失函数包括等级损失函数，其中，等级损失函数用于表征每种增强等级对应的处理网络所包括的各特征提取网络的输出结果之间的相似度。
  5. 根据权利要求1-3任一项所述的方法，其中，所述损失函数包括各增强等级的处理网络分别对应的损失函数。
  6. 一种图像处理方法，包括：
    获取待处理图像；
    将所述待处理图像输入至图像处理模型，得到图像处理结果，其中，所述图像处理模型为训练完成的初始模型中最低增强等级对应的处理网络，所述初始模 型利用如权利要求1-5任一项所述的方法进行训练。
  7. 一种模型训练装置，包括：
    增强图像集获取单元，被配置成获取至少一个原始图像分别对应的增强图像集，以及获取每个增强图像集对应的图像处理结果，其中，每个增强图像集包括至少两种增强等级的增强图像；
    模型获取单元，被配置成获取初始模型，其中，所述初始模型包括分别对应于不同增强等级的处理网络，每种增强等级对应的处理网络包括输出网络和该增强等级以上的各增强等级分别对应的特征提取网络，输出网络用于根据各特征提取网络输出的特征提取结果生成图像处理结果；
    训练单元，被配置成将增强图像集中的增强图像输入至所述初始模型，以及将输入的增强图像集对应的图像处理结果作为期望输出结果，利用预设的损失函数对所述初始模型进行训练。
  8. 根据权利要求7所述的装置，其中，不同增强等级对应的处理网络所包括的特征提取网络输出的特征提取结果的尺度不同。
  9. 根据权利要求8所述的装置，其中，所述初始模型中对应于同一增强等级的各特征提取网络输出的特征提取结果的尺度不同。
  10. 根据权利要求8-9任一项所述的装置，其中，所述损失函数包括等级损失函数，其中，等级损失函数用于表征每种增强等级对应的处理网络所包括的各特征提取网络的输出结果之间的相似度。
  11. 根据权利要求8-9任一项所述的装置，其中，所述损失函数包括各增强等级的处理网络分别对应的损失函数。
  12. 一种图像处理装置，包括：
    待处理图像获取单元，被配置成获取待处理图像；
    处理单元，被配置成将所述待处理图像输入至图像处理模型，得到图像处理 结果，其中，所述图像处理模型为训练完成的初始模型中最低增强等级对应的处理网络，所述初始模型利用如权利要求1-5任一项所述的方法进行训练。
  13. 一种电子设备，包括：
    一个或多个处理器；
    存储装置，其上存储有一个或多个程序；
    当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的方法。
  14. 一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
  15. 一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
PCT/CN2022/094879 2021-07-27 2022-05-25 模型训练方法和装置 WO2023005386A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110848100.X 2021-07-27
CN202110848100.XA CN113505848B (zh) 2021-07-27 2021-07-27 模型训练方法和装置

Publications (1)

Publication Number Publication Date
WO2023005386A1 true WO2023005386A1 (zh) 2023-02-02

Family

ID=78014069

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/094879 WO2023005386A1 (zh) 2021-07-27 2022-05-25 模型训练方法和装置

Country Status (2)

Country Link
CN (1) CN113505848B (zh)
WO (1) WO2023005386A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385813A (zh) * 2023-06-07 2023-07-04 南京隼眼电子科技有限公司 Isar图像分类方法、装置及存储介质
CN116503614A (zh) * 2023-04-27 2023-07-28 杭州食方科技有限公司 餐盘形状特征提取网络训练方法和餐盘形状信息生成方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505848B (zh) * 2021-07-27 2023-09-26 京东科技控股股份有限公司 模型训练方法和装置
CN114511562B (zh) * 2022-04-19 2022-07-15 深圳市疾病预防控制中心（深圳市卫生检验中心、深圳市预防医学研究所） 基于大数据的慢性阻塞性肺炎风险预测系统、方法及设备
CN117058555A (zh) * 2023-06-29 2023-11-14 北京空间飞行器总体设计部 一种遥感卫星图像分级管理的方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080317358A1 (en) * 2007-06-25 2008-12-25 Xerox Corporation Class-based image enhancement system
CN109859113A (zh) * 2018-12-25 2019-06-07 北京奇艺世纪科技有限公司 模型生成方法、图像增强方法、装置及计算机可读存储介质
CN109859152A (zh) * 2018-12-25 2019-06-07 北京奇艺世纪科技有限公司 模型生成方法、图像增强方法、装置及计算机可读存储介质
CN109919869A (zh) * 2019-02-28 2019-06-21 腾讯科技（深圳）有限公司 一种图像增强方法、装置及存储介质
CN109934776A (zh) * 2018-12-25 2019-06-25 北京奇艺世纪科技有限公司 模型生成方法、视频增强方法、装置及计算机可读存储介质
CN112435198A (zh) * 2020-12-03 2021-03-02 西安交通大学 一种焊缝射线检测底片图像增强方法、存储介质及设备
CN112801918A (zh) * 2021-03-11 2021-05-14 苏州科达科技股份有限公司 图像增强模型的训练方法、图像增强方法及电子设备
CN113159300A (zh) * 2021-05-15 2021-07-23 南京逸智网络空间技术创新研究院有限公司 图像检测神经网络模型及其训练方法、图像检测方法
CN113505848A (zh) * 2021-07-27 2021-10-15 京东科技控股股份有限公司 模型训练方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10841514B2 (en) * 2018-03-20 2020-11-17 Endovigilant Inc Endoscopy video feature enhancement platform
CN108876745B (zh) * 2018-06-27 2020-09-01 厦门美图之家科技有限公司 图像处理方法及装置
CN109872276A (zh) * 2019-01-29 2019-06-11 北京字节跳动网络技术有限公司 用于生成图像超分辨率模型的方法和装置
WO2020239196A1 (en) * 2019-05-27 2020-12-03 Toyota Motor Europe System and method for training a generative adversarial model generating image samples of different brightness levels
WO2021102655A1 (zh) * 2019-11-25 2021-06-03 深圳市欢太科技有限公司 网络模型训练方法、图像属性识别方法、装置及电子设备
CN112257738A (zh) * 2020-07-31 2021-01-22 北京京东尚科信息技术有限公司 机器学习模型的训练方法、装置和图像的分类方法、装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080317358A1 (en) * 2007-06-25 2008-12-25 Xerox Corporation Class-based image enhancement system
CN109859113A (zh) * 2018-12-25 2019-06-07 北京奇艺世纪科技有限公司 模型生成方法、图像增强方法、装置及计算机可读存储介质
CN109859152A (zh) * 2018-12-25 2019-06-07 北京奇艺世纪科技有限公司 模型生成方法、图像增强方法、装置及计算机可读存储介质
CN109934776A (zh) * 2018-12-25 2019-06-25 北京奇艺世纪科技有限公司 模型生成方法、视频增强方法、装置及计算机可读存储介质
CN109919869A (zh) * 2019-02-28 2019-06-21 腾讯科技（深圳）有限公司 一种图像增强方法、装置及存储介质
CN112435198A (zh) * 2020-12-03 2021-03-02 西安交通大学 一种焊缝射线检测底片图像增强方法、存储介质及设备
CN112801918A (zh) * 2021-03-11 2021-05-14 苏州科达科技股份有限公司 图像增强模型的训练方法、图像增强方法及电子设备
CN113159300A (zh) * 2021-05-15 2021-07-23 南京逸智网络空间技术创新研究院有限公司 图像检测神经网络模型及其训练方法、图像检测方法
CN113505848A (zh) * 2021-07-27 2021-10-15 京东科技控股股份有限公司 模型训练方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503614A (zh) * 2023-04-27 2023-07-28 杭州食方科技有限公司 餐盘形状特征提取网络训练方法和餐盘形状信息生成方法
CN116385813A (zh) * 2023-06-07 2023-07-04 南京隼眼电子科技有限公司 Isar图像分类方法、装置及存储介质
CN116385813B (zh) * 2023-06-07 2023-08-29 南京隼眼电子科技有限公司 基于无监督对比学习的isar图像空间目标分类方法、装置及存储介质

Also Published As

Publication number Publication date
CN113505848B (zh) 2023-09-26
CN113505848A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
WO2023005386A1 (zh) 模型训练方法和装置
CN108351984B (zh) 硬件高效的深度卷积神经网络
CN109816589B (zh) 用于生成漫画风格转换模型的方法和装置
US9619735B1 (en) Pure convolutional neural network localization
CN111428010B (zh) 人机智能问答的方法和装置
WO2022012179A1 (zh) 生成特征提取网络的方法、装置、设备和计算机可读介质
JP2022177232A (ja) 画像処理方法、テキスト認識方法及び装置
CN113515942A (zh) 文本处理方法、装置、计算机设备及存储介质
CN113569740B (zh) 视频识别模型训练方法与装置、视频识别方法与装置
WO2022156434A1 (zh) 用于生成文本的方法和装置
WO2022161302A1 (zh) 动作识别方法、装置、设备、存储介质及计算机程序产品
US10558760B2 (en) Unsupervised template extraction
WO2023005169A1 (zh) 深度图像生成方法和装置
CN113468344B (zh) 实体关系抽取方法、装置、电子设备和计算机可读介质
US11803741B2 (en) Offline detector
CN112182255A (zh) 用于存储媒体文件和用于检索媒体文件的方法和装置
CN113553386A (zh) 嵌入表示模型训练方法、基于知识图谱的问答方法及装置
WO2021012691A1 (zh) 用于检索图像的方法和装置
CN117315758A (zh) 面部表情的检测方法、装置、电子设备及存储介质
CN112307738A (zh) 用于处理文本的方法和装置
CN116127925A (zh) 基于对文本进行破坏处理的文本数据增强方法及装置
CN114970470A (zh) 文案信息处理方法、装置、电子设备和计算机可读介质
CN111899747B (zh) 用于合成音频的方法和装置
CN111062995B (zh) 生成人脸图像的方法、装置、电子设备和计算机可读介质
CN111460214B (zh) 分类模型训练方法、音频分类方法、装置、介质及设备

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE