WO2021151311A1 - 一种组卷积数目搜索方法和装置 - Google Patents

一种组卷积数目搜索方法和装置 Download PDF

Info

Publication number
WO2021151311A1
WO2021151311A1 PCT/CN2020/121833 CN2020121833W WO2021151311A1 WO 2021151311 A1 WO2021151311 A1 WO 2021151311A1 CN 2020121833 W CN2020121833 W CN 2020121833W WO 2021151311 A1 WO2021151311 A1 WO 2021151311A1
Authority
WO
WIPO (PCT)
Prior art keywords
subnet
structures
population
preset
supernet
Prior art date
Application number
PCT/CN2020/121833
Other languages
English (en)
French (fr)
Inventor
魏萍
庄伯金
王少军
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021151311A1 publication Critical patent/WO2021151311A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Definitions

  • This application relates to the technical field of neural networks, and in particular to a group convolution number search method and a group convolution number search device.
  • convolutional neural networks have made major breakthroughs in computer vision, object detection, semantic segmentation and other fields.
  • the number of parameters involved in convolutional neural networks has become larger and larger, which limits its deployment on platforms with limited resources.
  • the neural network vgg16 has 130 million parameters and requires 300 Only one hundred million multiplication and addition operations can classify and analyze a single image with a size of 224x224. As a result, most platforms cannot provide reasonable computing space and storage space for neural networks.
  • the inventor realizes that, at present, the convolutional neural network is still manually configured into the application scenario.
  • the group convolution parameters When configuring the group convolution parameters, a lot of attempts are required, and the accuracy of the configuration result is low.
  • the application scenario When the application scenario is changed It is necessary to reconfigure its parameters, and the manual setting method is even more inefficient when facing thousands of layers of convolutional networks, which greatly reduces the deployment efficiency of convolutional neural networks.
  • the embodiments of the present application are proposed to provide a group convolution number search method and a corresponding group convolution number search device that overcome the above problems or at least partially solve the above problems.
  • an embodiment of the present application discloses a method for group convolution number search, which includes:
  • Model training is performed on multiple subnet structures in the population to obtain the best subnet with the highest verification accuracy.
  • An embodiment of the present application also provides a device for searching the number of group convolutions, including:
  • the building module is used to construct multiple subnet structures based on the preset supernet structure, and obtain the model parameters of each subnet structure;
  • the verification module is used to verify the parameters of the multiple subnet structures by using a cross and/or mutation verification method
  • a determining module configured to determine a population containing multiple sub-network structures that meet a preset accuracy condition
  • the training module is used to perform model training on the multiple subnet structures in the population to obtain the best subnet with the highest verification accuracy.
  • An embodiment of the present application also provides an electronic device, including a processor, a memory, and a computer program stored on the memory and capable of running on the processor.
  • a processor a memory
  • a computer program stored on the memory and capable of running on the processor.
  • Model training is performed on multiple subnet structures in the population to obtain the best subnet with the highest verification accuracy.
  • the embodiments of the present application also provide a computer-readable storage medium on which a computer program is stored, and the computer program implements the following method when executed by a processor:
  • Model training is performed on multiple subnet structures in the population to obtain the best subnet with the highest verification accuracy.
  • a suitable subnet can be selected under different deployment situations, which is simple to implement, has a wide range of applications, and has higher accuracy.
  • FIG. 1 is a flowchart of the steps of an embodiment of a method for searching the number of group convolutions according to the present application
  • FIG. 2 is a structural block diagram of an embodiment of a group convolution number search device according to the present application
  • Fig. 3 is a schematic diagram of the structure of a computer device of a group convolution number search method according to the present application.
  • the technical solution of this application can be applied to the fields of artificial intelligence, blockchain and/or big data technology, and can specifically involve neural network technology.
  • the data involved in this application such as model parameters, can be stored in a database, or can be stored in a blockchain, which is not limited in this application.
  • the group convolution number in the group convolution number search method in this embodiment indicates the subnet structure.
  • the convolution layer is fused with each selection layer of the supernet structure, and the convolution In the process, the convolutional layer can be grouped into multiple numbers.
  • the number of groups in the multi-layer series is the group convolution number, that is, the subnet structure corresponding to the supernet structure; according to the number of groups, the application
  • the accuracy of the method in actual detection is also different, that is, the number of group convolutions searched by this method is used to determine the configuration of the subnet and apply the configuration to the model, which can improve the accuracy of the model at the same time , Can also improve the accuracy of detection items.
  • This method is mainly used in computer vision, target detection, semantic segmentation and other fields.
  • FIG. 1 there is shown a step flow chart of an embodiment of a method for searching group convolution numbers according to the present application, which may specifically include the following steps:
  • S1 Construct multiple subnet structures based on a preset supernet structure, and obtain model parameters of each subnet structure;
  • S3 Determine a population that includes multiple sub-network structures that meet a preset accuracy condition
  • S4 Perform model training on multiple subnet structures in the population to obtain the best subnet with the highest verification accuracy.
  • the evolution learning method is used to search for multiple subnets that meet the conditions, and the multiple subnet structures searched are trained according to the weight of the supernet structure to obtain the best subnet through verification.
  • Net that is, the number of group convolutions that meet the conditions are obtained.
  • the conditions met here include the accuracy requirements for the model of the best subnet, the number of parameters, and the detection time requirements.
  • each subnet is assembled into a population, and the population is evolved generation by generation through crossover and mutation, until a population that satisfies the preset accuracy conditions is obtained.
  • the best subnet with the highest accuracy can be obtained by looking at each subnet structure in the population.
  • the population Model training is performed on multiple subnets in the subnet, and the parameters of the multiple subnet structures after retraining have been changed. It is still necessary to verify the multiple subnet structures that have been trained to obtain the most accurate subnet structure. .
  • the constructing multiple subnet structures based on the preset supernet structure and obtaining the model parameters of each subnet structure includes:
  • each selection layer includes a plurality of convolutional layers, and grouping the plurality of convolutional layers to form a variety of sampleable grouping numbers
  • the supernet structure is actually composed of multiple selection layers. Multiple convolutional layers are integrated into each selection layer, and the convolutional layers in each selection layer can be grouped into multiple groups to form multiple sampleable groups. Number, the number of groups in each selection layer constitutes the search space of the supernet structure.
  • One of the number of groups sampled in each selection layer is connected in series to form the subnet structure, wherein any number of groups in each selection layer can be repeatedly sampled to form multiple different subnet structures ;
  • the number of groups in each layer indicates the specific configuration of the model configured by the subnet structure in the actual application. Since the platform parameters carried by the model are not the same, it is necessary to search in multiple subnet structures, that is, the supernet structure. The best subnet structure suitable for the equipped platform.
  • the supernet structure is mainly used to construct multiple subnet structures and form a search space for the best subnet, which can be regarded as a collection of all subnet structures included.
  • Means supernet Represents the search space of the supernet, Indicates the weight of the supernet structure.
  • a Bernoulli sampling method is used to sample the number of each group, wherein the probability of each group number in each selection layer being sampled is equal.
  • the number of multiple groups formed in each layer of the supernet structure should be selected when forming the subnet organization, and the number of groups using the Bernoulli sampling method has the same probability of being selected when forming the subnet. ;
  • this embodiment is not limited to this method for uniform sample selection
  • the verification of multiple subnet structures using a cross/mutation verification method includes:
  • the initial population is iteratively generated to generate the next-generation population to obtain the final population containing the best subnet with the highest verification accuracy.
  • the subnet is identified by encoding the number of groups in each subnet structure, and then the crossover/mutation verification method is used to synchronize the preset crossover number, mutation number, and mutation probability for generation by generation.
  • Evolution the previous generation of the population iterates to the next generation, until the final population containing the best subnet with the highest verification accuracy is obtained, and the genetic algorithm of the population is combined with the concept of convolution to find the best subnet with the highest accuracy.
  • determining a population that includes a plurality of the subnet structures that meet a preset accuracy condition includes:
  • the next generation population relative to the previous generation population is continuously generated according to the preset number of iterations
  • next-generation population is continuously iterated, so that the population containing the most accurate subnet structure is finally obtained.
  • the performing model training on the multiple subnet structures in the population to obtain the best subnet with the highest verification accuracy includes:
  • the parameters of the multiple subnet structures after retraining have been changed, and the multiple subnet structures that have been trained still need to be verified again to obtain the most accurate subnet structure.
  • the verification method of crossover and/or mutation is again used to verify the parameters of the multiple subnet structures, and the best subnet with the highest verification accuracy is obtained.
  • the retraining the optimal subnet through the supernet structure to obtain the final subnet further includes:
  • the size of the convolution kernel is increased according to the number of groups.
  • the performance of the subnet structure can be improved by minor modification.
  • the size of the most commonly used convolution kernel is 3*3, and the number of groups is determined, and the number of convolution kernels in each group is also unchanged.
  • the model increases the receptive field, which can effectively improve the accuracy of the model. Therefore, for a convolutional layer with a grouping number of 2 n , different convolution kernels can be considered for each grouping. If divided into 4 groups, the first two are 3*3, and the last two are 5*5. Convolution kernel candidates are 3*3, 5*5, 7*7 and 9*9, and the convolution kernel can be selected according to specific constraints.
  • the present application also provides a group convolution number search device, including:
  • the construction module 100 is used to construct multiple subnet structures based on a preset supernet structure, and obtain model parameters of each subnet structure;
  • the verification module 200 is configured to verify multiple parameters of the subnet structure using a cross and/or mutation verification method
  • the determining module 300 is configured to determine a population containing multiple sub-network structures that meet a preset accuracy condition
  • the training module 400 is used to perform model training on a plurality of the subnet structures in the population to obtain the best subnet with the highest verification accuracy.
  • the construction module 100 includes:
  • each selection layer includes a plurality of convolutional layers, and grouping the plurality of convolutional layers to form a variety of sampleable grouping numbers
  • One of the number of groups sampled in each selection layer is connected in series to form the subnet structure, wherein any number of groups in each selection layer can be repeatedly sampled to form multiple different subnet structures ;
  • the verification module 200 includes:
  • the initial population is iteratively generated to generate the next-generation population, so as to obtain the final population containing the best subnet with the highest verification accuracy.
  • the determining module 300 includes:
  • the next generation population relative to the previous generation population is continuously generated according to the preset number of iterations
  • the training module 400 includes:
  • the verification method of crossover and/or mutation is again used to verify the parameters of the multiple subnet structures, and the best subnet with the highest verification accuracy is obtained.
  • the training module 400 further includes:
  • the size of the convolution kernel is increased according to the number of groups.
  • the description is relatively simple, and for related parts, please refer to the part of the description of the method embodiment.
  • a computer device (or electronic device) of a group convolution number search method of the present application including a memory and a computer program stored in the memory and capable of running on a processor.
  • the computer The above method can be realized when the program is executed by the processor.
  • the computer equipment may specifically include the following:
  • the above-mentioned computer device 12 is represented in the form of a general-purpose computing device.
  • the components of the computer device 12 may include, but are not limited to: one or more processors or processing units 16, a system memory 28, connecting different system components (including system memory 28 and processing unit 16) The bus 18.
  • the bus 18 represents one or more of several types of bus 18 structures, including a memory bus 18 or a memory controller, a peripheral bus 18, a graphics acceleration port, a processor, or a bureau that uses any of the bus 18 structures.
  • Domain bus 18 includes but are not limited to industry standard architecture (ISA) bus 18, microchannel architecture (MAC) bus 18, enhanced ISA bus 18, audio and video electronics standards association (VESA) local bus 18, and Peripheral Component Interconnect (PCI) bus 18.
  • ISA industry standard architecture
  • MAC microchannel architecture
  • VESA audio and video electronics standards association
  • PCI Peripheral Component Interconnect
  • the computer device 12 typically includes a variety of computer system readable media. These media can be any available media that can be accessed by the computer device 12, including volatile and nonvolatile media, removable and non-removable media.
  • the system memory 28 may include computer system readable media in the form of volatile memory, such as random access memory (RAM) 30 and/or cache memory 32.
  • the computer device 12 may further include other removable/non-removable, volatile/non-volatile computer system storage media.
  • the storage system 34 may be used to read and write non-removable, non-volatile magnetic media (commonly referred to as "hard drives").
  • a disk drive for reading and writing to removable non-volatile disks such as "floppy disks”
  • a removable non-volatile optical disk such as CD-ROM, DVD-ROM
  • other optical media read and write optical disc drives.
  • each drive can be connected to the bus 18 through one or more data medium interfaces.
  • the memory may include at least one program product, and the program product has a set (for example, at least one) program modules 42 that are configured to perform the functions of the various embodiments of the present application.
  • a program/utility tool 40 having a set of (at least one) program module 42 may be stored in, for example, a memory.
  • Such program module 42 includes, but is not limited to, an operating system, one or more application programs, and other program modules 42 and program data, each of these examples or some combination may include the realization of a network environment.
  • the program module 42 usually executes the functions and/or methods in the embodiments described in this application.
  • the computer device 12 can also communicate with one or more external devices 14 (such as keyboards, pointing devices, displays 24, cameras, etc.), and can also communicate with one or more devices that enable users to interact with the computer device 12, and/ Or communicate with any device (such as a network card, modem, etc.) that enables the computer device 12 to communicate with one or more other computing devices. This communication can be performed through an input/output (I/O) interface 22.
  • the computer device 12 may also communicate with one or more networks (such as a local area network (LAN)), a wide area network (WAN) and/or a public network (such as the Internet) through the network adapter 20. As shown in the figure, the network adapter 20 communicates with other modules of the computer device 12 through the bus 18.
  • LAN local area network
  • WAN wide area network
  • public network such as the Internet
  • the processing unit 16 executes various functional applications and data processing by running programs stored in the system memory 28, such as implementing the group convolution number search method provided in the embodiment of the present application.
  • the above-mentioned processing unit 16 executes the above-mentioned program, it realizes: constructing multiple sub-network structures based on the preset super-network structure, and obtaining the model parameters of each sub-network structure; Verify the parameters of the subnet structure; determine a population containing multiple subnet structures that meet the preset accuracy conditions; perform model training on multiple subnet structures in the population to obtain the best one with the highest verification accuracy Subnet.
  • the present application also provides a computer-readable storage medium on which a computer program is stored.
  • the program is executed by a processor, the group convolution number search method as provided in all embodiments of the present application is implemented:
  • the program when executed by the processor, it realizes: constructing multiple subnet structures based on the preset supernet structure, and obtaining the model parameters of each subnet structure; To verify the parameters of the network structure; determine a population containing multiple sub-network structures that meet preset accuracy conditions; perform model training on multiple sub-network structures in the population to obtain the best sub-network with the highest verification accuracy net.
  • the medium involved in this application such as a computer-readable storage medium, may be non-volatile or volatile.
  • the embodiments of the embodiments of the present application may be provided as methods, devices, or computer program products. Therefore, the embodiments of the present application may adopt the form of a complete hardware embodiment, a complete software embodiment, or an embodiment combining software and hardware. Moreover, the embodiments of the present application may adopt the form of computer program products implemented on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) containing computer-usable program codes.
  • computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
  • These computer program instructions can also be stored in a computer-readable memory that can guide a computer or other programmable data processing terminal equipment to work in a specific manner, so that the instructions stored in the computer-readable memory produce an article of manufacture including the instruction device.
  • the instruction device implements the functions specified in one process or multiple processes in the flowchart and/or one block or multiple blocks in the block diagram.
  • These computer program instructions can also be loaded on a computer or other programmable data processing terminal equipment, so that a series of operation steps are executed on the computer or other programmable terminal equipment to produce computer-implemented processing, so that the computer or other programmable terminal equipment
  • the instructions executed above provide steps for implementing functions specified in a flow or multiple flows in the flowchart and/or a block or multiple blocks in the block diagram.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及神经网络技术领域，特别是涉及一种组卷积数目搜索方法和一种组卷积数目搜索装置，其方法包括：基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；确定包含满足预设精度条件的多个所述子网结构的种群；对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网，可以在不同的部署情况下，选择其合适的子网，相较人工配置而言，本方法可以有效的减少了人工配置组卷积数目的时间，同时，通过修改子网的卷积核大小，重新训练子网，就可以进一步提高子网的精度，本方法实现简单，应用广泛，且精度更高。

Description

一种组卷积数目搜索方法和装置
本申请要求于2020年8月24日提交中国专利局、申请号为202010858667.0，发明名称为“一种组卷积数目搜索方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及神经网络技术领域，特别是涉及一种组卷积数目搜索方法和一种组卷积数目搜索装置。
背景技术
随着深度学习方法的发展，卷积神经网络在计算机视觉、目标检测、语义分割等领域都取得了重大突破。为获取更高的准确率，卷积神经网络所涉及的参数量变得越来越庞大，则限制其在资源有限的平台上进行部署，例如，神经网络vgg16，参数量达到1.3亿个，需要300亿个乘加操作才能对单张尺寸为224x224的图片进行分类分析，导致绝大多数的平台无法对神经网络提供合理的计算空间和存储空间。
且发明人意识到，目前依旧采用人工将卷积神经网络配置到应用场景中，在配置组卷积参数的时候，需要进行大量的尝试，且配置结果的准确率较低，当更换应用场景后则又需要重新对其参数进行配置，另外采用人工设定的方式在面对上千层卷积网络时就更显得低效，大大降低了卷积神经网络的部署效率。
发明内容
鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种组卷积数目搜索方法和相应的一种组卷积数目搜索装置。
为了解决上述问题，本申请实施例公开了一种组卷积数目搜索的方法，包括：
基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
确定包含满足预设精度条件的多个所述子网结构的种群；
对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
本申请实施例还提供了一种组卷积数目搜索装置，包括：
构建模块，用于基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
验证模块，用于采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
确定模块，用于确定包含满足预设精度条件的多个所述子网结构的种群；
训练模块，用于对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
本申请实施例还提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现以下方法：
基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
确定包含满足预设精度条件的多个所述子网结构的种群；
对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现以下方法：
基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
确定包含满足预设精度条件的多个所述子网结构的种群；
对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
本申请实施例通过训练好一个超网，就可以在不同的部署情况下，选择其合适的子网，实现简单，应用广泛，且精度更高。
附图说明
图1是本申请的一种组卷积数目搜索方法实施例的步骤流程图；
图2是本申请的一种组卷积数目搜索装置实施例的结构框图；
图3是本申请的一种组卷积数目搜索方法的计算机设备的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的技术方案可应用于人工智能、区块链和/或大数据技术领域，可具体涉及神经网络技术。可选的，本申请涉及的数据如模型参数等可存储于数据库中，或者可以存储于区块链中，本申请不做限定。
需要说明的，本实施例中的组卷积数目搜索方法中的组卷积数目指示子网结构，在本实施例中，将卷积层融合与超网结构的每层选择层中，卷积的过程中，卷积层可被分组为多种数目，多层的分组数目串联即为组卷积数目，也就是与超网结构相对应的子网结构；根据分组数目的不同，则应用本方法于实际检测中的准确度也不同，即通过本方法搜索得到的组卷积数目，以该卷积数目确定子网的配置情况并将该配置情况应用于模型中，得以提高模型精度的同时，还能提高检测事项的准确度。
本方法主要应用于计算机视觉、目标检测、语义分割等领域。
参照图1，示出了本申请的一种组卷积数目搜索方法实施例的步骤流程图，具体可以包括如下步骤：
S1，基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
S2，采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
S3，确定包含满足预设精度条件的多个所述子网结构的种群；
S4，对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
上述实施例中，在已训练好的超网结构中，通过演化学习方法，搜索满足条件多个子网，将搜索到的多个子网结构根据超网结构的权重进行训练后通过验证得到最佳子网，即得到满足条件的组卷积数目。这里所满足的条件包括对所得到最佳子网的模型达到的精度要求、参数数量要求以及检测时间要求等。
对于不同的应用平台，需要不同的模型参数，这就意味着需要通过在超网结构的搜索空间中为不同的应用平台适配相应的子网结构。而不同的子网结构的参数量是不同的，参数量越大的子网结构所占用的存储空间便越大，则会影响模型搭载在平台的参数运行的速度。
具体地，在超网结构中获取到多个子网结构以及模型参数后，将各个子网集合为一个种群，通过交叉、变异对该种群进行逐代演化，直至得到包含满足预设精度条件的多个所述子网结构的种群，其实在这一步，通过查看种群中的各个子网结构便可得到里面精度最高的最佳子网，但为了进一步搜索到精度更高的子网结构，对种群中的多个所述子网进行模型训练，而再次训练后的多个子网结构其参数得到了改变，固仍需对已训练的多个子网结构进行再次验证，以得到精度最高的子网结构。
在一实施例中，所述基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数，包括：
确定所述超网结构的选择层，其中，每个选择层包含多个卷积层，对多个所述卷积层进行分组，形成多种可采样的分组数目；
超网结构实则是有多个选择层构成的，将多个卷积层融入每个选择层中，而每个选择层中的卷积层可进行多种分组，进而形成多种可采样的分组数目，各个选择层中的分组数目构成超网结构的搜索空间。
将各个所述选择层中所采样的其中一种分组数目进行串联构成所述子网结构，其中，每个选择层中的任一分组数目可被重复采样，以构成多个不同的子网结构；
每层的分组数目则指示着由子网结构配置的模型在实际应用的具体配置情况，由于模型所搭载的平台参数要求不一样，则需要在多个子网结构中也就是超网结构中搜索与所搭载的平台相适配的最佳子网结构。
构建多个所述子网结构至所述超网结构收敛，得到各个所述子网结构的模型参数。
超网结构主要用于构建多个子网结构和对最佳子网形成搜索空间，可以看做是所包含的所有子网结构的集合。
获取各个所述子网结构的参数，以便于后续对各个子网结构的训练以及精度验证，同时，还要获取超网空间的权重以用于后续子网结构的训练，具体的，超网权重可记为：
Figure PCTCN2020121833-appb-000001
其中，
Figure PCTCN2020121833-appb-000002
表示超网，
Figure PCTCN2020121833-appb-000003
表示超网的搜索空间，
Figure PCTCN2020121833-appb-000004
表示超网结构的权重。
在一实施例中，采用伯努利采样方法对各个所述的分组数目进行采样，其中，各个所述选择层中的各个分组数目被采样的概率均等。
其中，超网结构中每层中所组成的多种分组数目在构成子网机构时，能应被选择，采用伯努利采样方法分组数目在构成子网时每一分组数目被选择的概率均等；当然，本实施例并不仅限于采用此方法进行均匀选样
在一实施例中，所述采用交叉/或变异的验证方法对多个所述子网结构进行验证，包括：
集合多个所述子网结构为初始化种群；
将预设的交叉数、变异数以及变异概率同步所述初始化种群；
对所述初始化种群进行迭代生成下一代种群，以得到包含验证精度最高的最佳子网的最终种群.
上述技术方案中，通过对各个子网结构中的分组数目进行编码对所述子网进行标识，然后通过交叉/或变异的验证方法，同步预设的交叉数、变异数以及变异概率进行逐代演化，以上一代种群迭代至下一代种群，直至得到包含验证精度最高的最佳子网的最终种群，以种群的遗传算法配合卷积概念来找到精度最高的最佳子网。
具体地，同步超网结构的权重，种群大小P，子网结构约束C，最大迭代次数T和验证数据集D val，设定交叉数目为n＝P/2，变异数目m＝P/2和变异概率prob＝p，找到满足条件的初始化种群P 0＝Initialize(P,C)。
在一实施例中，确定包含满足预设精度条件的多个所述子网结构的种群，包括：
基于初始化种群根据预设迭代次数不间断生成相对于上一代种群的下一代种群；
根据上述中的最大迭代次数进行下一代种群的不断迭代，使最后得到包含精度最高的子网结构的种群，具体的：
将所述上一代种群中的K个子网结构进行交叉得到M个子网结构、变异得到N个子网结构；
将M个子网结构和N个子网结构形成并集作为下一代种群。
在一实施例中，所述对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网，包括：
同步超网结构的权重参数对所述种群中的多个所述子网结构进行训练，以更新所述种群中的多个所述子网结构的模型参数；
再次训练后的多个子网结构其参数得到了改变，固仍需对已训练的多个子网结构进行再次验证，以得到精度最高的子网结构。
再次采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证，得到验证精度最高的最佳子网。
在一实施例中，所述通过所述超网结构对所述最佳子网进行再次训练，得到最终子网，还包括：
根据最终子网的各选择层的分组数目的采样信息，确定该分组数目下卷积层的卷积核尺寸大小；
根据所述分组数目增大所述卷积核的尺寸大小。
具体地，对于搜索到的最佳子网，即满足约束条件的组卷积数目配置，可以通过小幅修改提升该子网结构的性能。目前多使用的卷积核尺寸为3*3，确定好分组数目，每个分组的卷积核数目同样不变。但是，当采用更大的卷积核时，模型增大了感受野，进而可以有效的提高模型精度。因此，对于分组数为2 n的卷积层，可以考虑将各个分组采用不同的卷积核。如分为4组时，前2个为3*3，后两个为5*5。卷积核候选有3*3,5*5,7*7和9*9，可以根据具体的约束情况选择卷积核。
通过结合卷积层构建超网结构，就可以在不同的部署情况下，选择其合适的子网。而人工配置各层的组卷积数目，首先需要大量的尝试，且得到的配置结果不一定能满足应用场景。本方法实现简单，应用广泛，且精度更高。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
参阅图2，本申请还提供一种组卷积数目搜索装置，包括，
构建模块100，用于基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
验证模块200，用于采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
确定模块300，用于确定包含满足预设精度条件的多个所述子网结构的种群；
训练模块400，用于对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网.
在一实施例中，所述构建模块100，包括：
确定所述超网结构的选择层，其中，每个选择层包含多个卷积层，对多个所述卷积层进行分组，形成多种可采样的分组数目；
将各个所述选择层中所采样的其中一种分组数目进行串联构成所述子网结构，其中，每个选择层中的任一分组数目可被重复采样，以构成多个不同的子网结构；
构建多个所述子网结构至所述超网结构收敛，得到各个所述子网结构的模型参数。
在一实施例中，所述验证模块200，包括：
集合多个所述子网结构为初始化种群；
将预设的交叉数、变异数以及变异概率同步所述初始化种群；
对所述初始化种群进行迭代生成下一代种群，以得到包含验证精度最高的最佳子网的最终种群。
在一实施例中，所述确定模块300，包括：
基于初始化种群根据预设迭代次数不间断生成相对于上一代种群的下一代种群；
将所述上一代种群中的K个子网结构进行交叉得到M个子网结构、变异得到N个子网结构；
将M个子网结构和N个子网结构形成并集作为下一代种群。
在一实施例中，所述训练模块400，包括：
同步超网结构的权重参数对所述种群中的多个所述子网结构进行训练，以更新所述种群中的多个所述子网结构的模型参数；
再次采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证，得到验证精度最高的最佳子网。
在一实施例中，所述训练模块400，还包括：
根据最终子网的各选择层的分组数目的采样信息，确定该分组数目下卷积层的卷积核尺寸大小；
根据所述分组数目增大所述卷积核的尺寸大小。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
参照图3，示出了本申请的一种组卷积数目搜索方法的计算机设备(或者称为电子设备)，包括存储器及存储在存储器上并能够在处理器上运行的计算机程序，所述计算机程序被处理器执行时可实现上述方法。可选的，该计算机设备具体可以包括如下：
上述计算机设备12以通用计算设备的形式表现，计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线18结构中的一种或多种，包括存储器总线18或者存储器控制器，外围总线18，图形加速端口，处理器或者使用多种总线18结构中的任意总线18结构的局域总线18。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线18，微通道体系结构(MAC)总线18，增强型ISA总线18、音视频电子标准协会(VESA)局域总线18以及外围组件互连(PCI)总线18。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质界面与总线18相连。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块42，这些程序模块42被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其他程序模块42以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24、摄像头等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)界面22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN))，广域网(WAN)和/或公共网络(例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白，尽管图3中未示出，可以结合计算机设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元16、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统34等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本申请实施例所提供的组卷积数目搜索方法。
也即，上述处理单元16执行上述程序时实现：基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；确定包含满足预设精度条件的多个所述子网结构的种群；对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
在本申请实施例中，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有实施例提供的组卷积数目搜索方法：
也即，该程序被处理器执行时实现：基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；确定包含满足预设精度条件的多个所述子网结构的种群；对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
可选的，该程序被处理器执行时还可实现上述实施例中方法的其他步骤，这里不再赘述。进一步可选的，本申请涉及的介质如计算机可读存储介质可以是非易失性的，也可以是易失性的。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种组卷积数目搜索方法和装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (20)

  1. 一种组卷积数目搜索方法，其中，包括：
    基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
    采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
    确定包含满足预设精度条件的多个所述子网结构的种群；
    对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
  2. 根据权利要求1所述方法，其中，所述基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数，包括：
    确定所述超网结构的选择层，其中，每个选择层包含多个卷积层，对多个所述卷积层进行分组，形成多种可采样的分组数目；
    将各个所述选择层中所采样的其中一种分组数目进行串联构成所述子网结构，其中，每个选择层中的任一分组数目可被重复采样，以构成多个不同的子网结构；
    构建多个所述子网结构至所述超网结构收敛，得到各个所述子网结构的模型参数。
  3. 根据权利要求2所述的方法，其中，采用伯努利采样方法对各个所述的分组数目进行采样，其中，各个所述选择层中的各个分组数目被采样的概率均等。
  4. 根据权利要求1所述的方法，其中，所述采用交叉/或变异的验证方法对多个所述子网结构进行验证，包括：
    集合多个所述子网结构为初始化种群；
    将预设的交叉数、变异数以及变异概率同步所述初始化种群；
    对所述初始化种群进行迭代生成下一代种群，以得到包含验证精度最高的最佳子网的最终种群。
  5. 根据权利要求4所述的方法，其中，所述确定包含满足预设精度条件的多个所述子网结构的种群，包括：
    基于初始化种群根据预设迭代次数不间断生成相对于上一代种群的下一代种群；
    将所述上一代种群中的K个子网结构进行交叉得到M个子网结构、变异得到N个子网结构；
    将M个子网结构和N个子网结构形成并集作为下一代种群。
  6. 根据权利要求1所述的方法，其中，所述对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网，包括：
    同步超网结构的权重参数对所述种群中的多个所述子网结构进行训练，以更新所述种群中的多个所述子网结构的模型参数；
    再次采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证，得到验证精度最高的最佳子网。
  7. 根据权利要求2所述的方法，其中，所述通过所述超网结构对所述最佳子网进行再次训练，得到最终子网，还包括：
    根据最终子网的各选择层的分组数目的采样信息，确定该分组数目下卷积层的卷积核尺寸大小；
    根据所述分组数目增大所述卷积核的尺寸大小。
  8. 一种组卷积数目搜索装置，包括：
    构建模块，用于基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
    验证模块，用于采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
    确定模块，用于确定包含满足预设精度条件的多个所述子网结构的种群；
    训练模块，用于对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高 的最佳子网。
  9. 一种电子设备，其中，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现以下方法：
    基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
    采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
    确定包含满足预设精度条件的多个所述子网结构的种群；
    对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
  10. 根据权利要求9所述电子设备，其中，所述基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数时，具体实现：
    确定所述超网结构的选择层，其中，每个选择层包含多个卷积层，对多个所述卷积层进行分组，形成多种可采样的分组数目；
    将各个所述选择层中所采样的其中一种分组数目进行串联构成所述子网结构，其中，每个选择层中的任一分组数目可被重复采样，以构成多个不同的子网结构；
    构建多个所述子网结构至所述超网结构收敛，得到各个所述子网结构的模型参数。
  11. 根据权利要求9所述的电子设备，其中，所述采用交叉/或变异的验证方法对多个所述子网结构进行验证时，具体实现：
    集合多个所述子网结构为初始化种群；
    将预设的交叉数、变异数以及变异概率同步所述初始化种群；
    对所述初始化种群进行迭代生成下一代种群，以得到包含验证精度最高的最佳子网的最终种群。
  12. 根据权利要求11所述的电子设备，其中，所述确定包含满足预设精度条件的多个所述子网结构的种群时，具体实现：
    基于初始化种群根据预设迭代次数不间断生成相对于上一代种群的下一代种群；
    将所述上一代种群中的K个子网结构进行交叉得到M个子网结构、变异得到N个子网结构；
    将M个子网结构和N个子网结构形成并集作为下一代种群。
  13. 根据权利要求9所述的电子设备，其中，所述对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网时，具体实现：
    同步超网结构的权重参数对所述种群中的多个所述子网结构进行训练，以更新所述种群中的多个所述子网结构的模型参数；
    再次采用交叉和/或变异的验证电子设备对多个所述子网结构的参数进行验证，得到验证精度最高的最佳子网。
  14. 根据权利要求10所述的电子设备，其中，所述通过所述超网结构对所述最佳子网进行再次训练，得到最终子网，所述计算机程序被所述处理器执行时还用于实现：
    根据最终子网的各选择层的分组数目的采样信息，确定该分组数目下卷积层的卷积核尺寸大小；
    根据所述分组数目增大所述卷积核的尺寸大小。
  15. 一种计算机可读存储介质，其中，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现以下方法：
    基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
    采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
    确定包含满足预设精度条件的多个所述子网结构的种群；
    对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。
  16. 根据权利要求15所述计算机可读存储介质，其中，所述基于预设的超网结构中构 建多个子网结构，获取各个子网结构的模型参数时，具体实现：
    确定所述超网结构的选择层，其中，每个选择层包含多个卷积层，对多个所述卷积层进行分组，形成多种可采样的分组数目；
    将各个所述选择层中所采样的其中一种分组数目进行串联构成所述子网结构，其中，每个选择层中的任一分组数目可被重复采样，以构成多个不同的子网结构；
    构建多个所述子网结构至所述超网结构收敛，得到各个所述子网结构的模型参数。
  17. 根据权利要求15所述的计算机可读存储介质，其中，所述采用交叉/或变异的验证方法对多个所述子网结构进行验证时，具体实现：
    集合多个所述子网结构为初始化种群；
    将预设的交叉数、变异数以及变异概率同步所述初始化种群；
    对所述初始化种群进行迭代生成下一代种群，以得到包含验证精度最高的最佳子网的最终种群。
  18. 根据权利要求17所述的计算机可读存储介质，其中，所述确定包含满足预设精度条件的多个所述子网结构的种群时，具体实现：
    基于初始化种群根据预设迭代次数不间断生成相对于上一代种群的下一代种群；
    将所述上一代种群中的K个子网结构进行交叉得到M个子网结构、变异得到N个子网结构；
    将M个子网结构和N个子网结构形成并集作为下一代种群。
  19. 根据权利要求15所述的计算机可读存储介质，其中，所述对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网时，具体实现：
    同步超网结构的权重参数对所述种群中的多个所述子网结构进行训练，以更新所述种群中的多个所述子网结构的模型参数；
    再次采用交叉和/或变异的验证计算机可读存储介质对多个所述子网结构的参数进行验证，得到验证精度最高的最佳子网。
  20. 根据权利要求16所述的计算机可读存储介质，其中，所述通过所述超网结构对所述最佳子网进行再次训练，得到最终子网，所述计算机程序被所述处理器执行时还用于实现：
    根据最终子网的各选择层的分组数目的采样信息，确定该分组数目下卷积层的卷积核尺寸大小；
    根据所述分组数目增大所述卷积核的尺寸大小。
PCT/CN2020/121833 2020-08-24 2020-10-19 一种组卷积数目搜索方法和装置 WO2021151311A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010858667.0 2020-08-24
CN202010858667.0A CN112001485B (zh) 2020-08-24 2020-08-24 一种组卷积数目搜索方法和装置

Publications (1)

Publication Number Publication Date
WO2021151311A1 true WO2021151311A1 (zh) 2021-08-05

Family

ID=73470584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/121833 WO2021151311A1 (zh) 2020-08-24 2020-10-19 一种组卷积数目搜索方法和装置

Country Status (2)

Country Link
CN (1) CN112001485B (zh)
WO (1) WO2021151311A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537399A (zh) * 2021-08-11 2021-10-22 西安电子科技大学 多目标进化图卷积神经网络的极化sar图像分类方法及系统
CN115984638A (zh) * 2022-12-23 2023-04-18 苏州驾驶宝智能科技有限公司 一种基于神经架构搜索的稀疏无序3d点云特征提取方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115034368B (zh) * 2022-06-10 2023-09-29 小米汽车科技有限公司 车载模型训练方法、装置、电子设备、存储介质及芯片
WO2024065535A1 (en) * 2022-09-29 2024-04-04 Intel Corporation Methods, apparatus, and articles of manufacture to generate hardware-aware machine learning model architectures for multiple domains without training

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299142A (zh) * 2018-11-14 2019-02-01 中山大学 一种基于进化算法的卷积神经网络结构搜索方法及系统
US10452979B2 (en) * 2014-12-09 2019-10-22 Samsung Electronics Co., Ltd. Convolution neural network training apparatus and method thereof
CN110490320A (zh) * 2019-07-30 2019-11-22 西北工业大学 基于预测机制和遗传算法融合的深度神经网络结构优化方法
CN111414990A (zh) * 2020-02-20 2020-07-14 北京迈格威科技有限公司 卷积神经网络处理方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776668B2 (en) * 2017-12-14 2020-09-15 Robert Bosch Gmbh Effective building block design for deep convolutional neural networks using search
CN111144486B (zh) * 2019-12-27 2022-06-10 电子科技大学 基于卷积神经网络的心脏核磁共振图像关键点检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10452979B2 (en) * 2014-12-09 2019-10-22 Samsung Electronics Co., Ltd. Convolution neural network training apparatus and method thereof
CN109299142A (zh) * 2018-11-14 2019-02-01 中山大学 一种基于进化算法的卷积神经网络结构搜索方法及系统
CN110490320A (zh) * 2019-07-30 2019-11-22 西北工业大学 基于预测机制和遗传算法融合的深度神经网络结构优化方法
CN111414990A (zh) * 2020-02-20 2020-07-14 北京迈格威科技有限公司 卷积神经网络处理方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537399A (zh) * 2021-08-11 2021-10-22 西安电子科技大学 多目标进化图卷积神经网络的极化sar图像分类方法及系统
CN115984638A (zh) * 2022-12-23 2023-04-18 苏州驾驶宝智能科技有限公司 一种基于神经架构搜索的稀疏无序3d点云特征提取方法
CN115984638B (zh) * 2022-12-23 2024-01-16 苏州驾驶宝智能科技有限公司 一种基于神经架构搜索的稀疏无序3d点云特征提取方法

Also Published As

Publication number Publication date
CN112001485A (zh) 2020-11-27
CN112001485B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
WO2021151311A1 (zh) 一种组卷积数目搜索方法和装置
Liu et al. Clustering with outlier removal
CN112508085B (zh) 基于感知神经网络的社交网络链路预测方法
CN108647736B (zh) 一种基于感知损失和匹配注意力机制的图像分类方法
WO2022042123A1 (zh) 图像识别模型生成方法、装置、计算机设备和存储介质
WO2019118388A1 (en) Fast indexing with graphs and compact regression codes on online social networks
US20100299303A1 (en) Automatically Ranking Multimedia Objects Identified in Response to Search Queries
TWI751458B (zh) 神經網路搜索方法及裝置、處理器、電子設備和電腦可讀儲存媒體
EP3620982B1 (en) Sample processing method and device
WO2021208727A1 (zh) 基于人工智能的文本错误检测方法、装置、计算机设备
CN112789626A (zh) 可扩展和压缩的神经网络数据储存系统
CN111563192A (zh) 实体对齐方法、装置、电子设备及存储介质
CN115293919B (zh) 面向社交网络分布外泛化的图神经网络预测方法及系统
CN112307048B (zh) 语义匹配模型训练方法、匹配方法、装置、设备及存储介质
CN109145107B (zh) 基于卷积神经网络的主题提取方法、装置、介质和设备
CN1770161A (zh) 使用t－检验计算的k－均值聚类
US11354533B2 (en) Computer architecture for identifying data clusters using correlithm objects and machine learning in a correlithm object processing system
CN110796260A (zh) 一种基于类扩张学习的神经网络模型优化方法
WO2021253938A1 (zh) 一种神经网络的训练方法、视频识别方法及装置
WO2018101958A1 (en) Fuzzy input for autoencoders
CN111755024A (zh) 一种基于迁移学习的暴恐音频检测方法
CN111737461B (zh) 文本的处理方法、装置、电子设备及计算机可读存储介质
CN111324731B (zh) 对语料库的词语进行嵌入的计算机实施方法
WO2023174189A1 (zh) 图网络模型节点分类方法、装置、设备及存储介质
CN112364198A (zh) 一种跨模态哈希检索方法、终端设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20916862

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20916862

Country of ref document: EP

Kind code of ref document: A1