WO2023019996A1 - 图像特征的融合方法、装置、电子设备和存储介质 - Google Patents

图像特征的融合方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
WO2023019996A1
WO2023019996A1 PCT/CN2022/088397 CN2022088397W WO2023019996A1 WO 2023019996 A1 WO2023019996 A1 WO 2023019996A1 CN 2022088397 W CN2022088397 W CN 2022088397W WO 2023019996 A1 WO2023019996 A1 WO 2023019996A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
processing model
features
output
image
Prior art date
Application number
PCT/CN2022/088397
Other languages
English (en)
French (fr)
Inventor
李弼
彭楠
希滕
张刚
Original Assignee
北京百度网讯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京百度网讯科技有限公司 filed Critical 北京百度网讯科技有限公司
Publication of WO2023019996A1 publication Critical patent/WO2023019996A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Definitions

  • the present disclosure relates to the technical field of artificial intelligence, in particular to the technical field of computer vision and deep learning, and can be applied to scenarios such as image processing and image recognition. More specifically, the present disclosure provides an image feature fusion method, device, electronic equipment and storage medium.
  • Multi-model feature fusion refers to designing and training multiple models to solve the same problem, using all models for prediction in the deployment phase, obtaining multiple features, and then fusing the predicted multiple features into a final feature. Multi-model feature fusion can be applied to scenarios such as image processing and image recognition.
  • the present disclosure provides an image feature fusion method, device, equipment and storage medium.
  • a fusion method of image features comprising: inputting the image to be processed into the first image processing model among the N image processing models, and obtaining the output features of the first image processing model;
  • an electronic device comprising: at least one processor; and a memory communicatively connected to at least one processor; wherein, the memory stores instructions executable by at least one processor, and the instructions are processed by at least one processor The processor is executed, so that at least one processor can execute the method provided according to the present disclosure.
  • a non-transitory computer-readable storage medium storing computer instructions for causing a computer to execute the method according to the present disclosure.
  • a computer program product comprising a computer program which, when executed by a processor, implements the method provided according to the present disclosure.
  • FIG. 1 is a schematic diagram of an exemplary system architecture of a fusion method and device that can apply image features according to an embodiment of the present disclosure
  • FIG. 2 is a flowchart of a fusion method of image features according to an embodiment of the present disclosure
  • FIG. 3 is a flowchart of a fusion method of image features according to another embodiment of the present disclosure.
  • FIG. 4 is a schematic diagram of a model of a fusion method applying image features according to an embodiment of the present disclosure
  • Fig. 5 is a block diagram of an image feature fusion device according to an embodiment of the present disclosure.
  • Fig. 6 is a block diagram of an electronic device according to an image feature fusion method according to an embodiment of the present disclosure.
  • Applying multiple models for feature fusion requires the deployment of multiple models, and using the deployed multiple models for prediction requires high computing power.
  • multiple models are independent, independently process input data, independently generate their own output features, and then splice the output features of each image processing model to generate the final output features.
  • the output features of N image processing models are (a11, a12), (a21, a22, a23, a24), ..., (ai1, ai2, ..., aiq), ..., (aN1, aN2, ..., aNm), concatenate the output features of N image processing models to obtain the final output features (a11, a12, a21, a22, a23, a24, ..., ai1, ai2, ..., aiq, ... , aN1, aN2,..., aNm).
  • the output feature of the i-th image processing model is a q-dimensional vector
  • the output feature of the N-th image processing model is an m-dimensional vector, where m ⁇ 2 and q ⁇ 2.
  • N 3 output features of image processing models, namely (a11, a12), (a21, a22, a23, a24) and (a31, a32), for the 3 image processing models
  • the output features are spliced to obtain the final output features (a11, a12, a21, a22, a23, a24, a31, a32).
  • the dimensionality of features is proportional to the number of models, requiring higher storage capacity.
  • each model is calculated independently, and the total calculation amount is also proportional to the number of models, and the calculation amount is relatively large.
  • the equipment for computing and storage can be increased, and multiple models can be optimized to reduce computing or storage pressure.
  • Increasing the equipment used for computing and storage will greatly increase the cost and is not sustainable.
  • optimizing multiple models such as reducing the number of models, using multiple small models to reduce the amount of calculations, or using principal component analysis to reduce the dimension of the final output features, will reduce the effect of image recognition or image processing, and weaken many Improvement of image processing or image recognition effect brought by model fusion.
  • the principal component analysis method is a two-stage solution. It needs to train each model first, and then train the linear mapping matrix to reduce the feature dimension. The operation is not simple enough, which brings additional deployment costs.
  • user authorization or consent is obtained before obtaining or collecting user personal information.
  • FIG. 1 is an exemplary system architecture of a method and apparatus that can apply fusion of image features according to an embodiment of the present disclosure. It should be noted that, what is shown in FIG. 1 is only an example of the system architecture to which the embodiments of the present disclosure can be applied, so as to help those skilled in the art understand the technical content of the present disclosure, but it does not mean that the embodiments of the present disclosure cannot be used in other device, system, environment or scenario.
  • a system architecture 100 may include multiple terminal devices 101 , a network 102 and a server 103 .
  • the network 102 is used as a medium for providing a communication link between the terminal device 101 and the server 103 .
  • Network 102 may include various connection types, such as wired and/or wireless communication links, among others.
  • the user can use the terminal device 101 to interact with the server 103 through the network 102 to receive or send messages and the like.
  • the terminal device 101 may be various electronic devices, including but not limited to smart phones, tablet computers, laptop computers and the like.
  • the image feature fusion method provided by the embodiment of the present disclosure can generally be executed by the server 103 .
  • the image feature fusion device provided by the embodiments of the present disclosure can generally be set in the server 103 .
  • the image feature fusion method provided by the embodiments of the present disclosure may also be executed by a server or server cluster that is different from the server 103 and can communicate with the terminal device 101 and/or the server 103 .
  • the image feature fusion apparatus provided by the embodiments of the present disclosure may also be set in a server or a server cluster that is different from the server 103 and can communicate with the terminal device 101 and/or the server 103 .
  • Fig. 2 is a flowchart of a fusion method of image features according to an embodiment of the present disclosure.
  • the image feature fusion method 200 may include operation S210 to operation S230.
  • the image to be processed is input to a first image processing model among the N image processing models, and output features of the first image processing model are obtained.
  • the i+1 th image processing model among the above N image processing models shares the 1 st to i th shared layers with the i th image processing model. That is, the i+1th image processing model shares the output of the previous i image processing model.
  • the shared layer may include at least one processing layer.
  • the shared layer includes h convolutional layers, h ⁇ 1, then the first image processing model includes h convolutional layers, the i-th image processing model includes i*h convolutional layers, and the N-th image processing model Including N*h convolutional layers.
  • the processing layer may be a convolutional layer, a fully connected layer, a hidden layer, a pooling layer, etc., and may be used to process images or image features. This disclosure is not limited in this regard.
  • the shared layers may have the same structure, and the parameters among multiple shared layers may be different.
  • the shared layer includes 1 convolutional layer
  • the first image processing model includes the 1st convolutional layer
  • the 2nd image processing model includes 2 convolutional layers (the 1st convolutional layer and the 2nd convolutional layer layer).
  • the convolution kernel size and convolution kernel parameters of the second convolution layer and the first convolution layer can be the same or different.
  • the convolution kernel in the first convolution layer is a 3 ⁇ 3 convolution kernel
  • the convolution kernel in the second convolution layer is a 4 ⁇ 4 convolution kernel.
  • the convolution kernel in the first convolution layer is a 3 ⁇ 3 convolution kernel
  • the convolution kernel in the second convolution layer is also a 3 ⁇ 3 convolution kernel.
  • the output features of the first image processing model can be input into the second image processing model to obtain the output features of the second image processing module.
  • the output features of the N image processing models can be added to obtain the fusion feature.
  • the output features of N image processing models are (a11, a12, ..., a1k), (a21, a22, ..., a2k), ..., (ai1, ai2, ..., aik), ...
  • multiple models use a shared layer, which can greatly reduce the amount of calculation and storage, and reduce the deployment cost, which is a sustainable solution. Larger and more models can also be used for feature fusion to ensure recognition accuracy.
  • Fig. 3 is a flowchart of a fusion method of image features according to another embodiment of the present disclosure.
  • the image feature fusion method 300 can input the image to be processed to the first image processing model among the N image processing models, and obtain the output features of the first image processing model. Details will be described below with reference to the following operations S311 to S313.
  • operation S311 input the image to be processed to the first image processing model among the N image processing models to obtain initial features of the first image processing model.
  • the image to be processed is input to the first image processing model to obtain the initial features of the first image processing model.
  • the image to be processed is input into the first image processing model and processed by the first shared layer to obtain the initial features of the first image processing model.
  • the initial features of the above-mentioned first image processing model are processed into preset dimensions to obtain target features of the first image processing model.
  • the dimensionality of the target feature of the first image processing model is k-dimensional.
  • the attributes represented by the features of each dimension in the target features of the above-mentioned first image processing model are determined.
  • the target features of the first image processing model are (a11, a12, a13, ..., a1k), where a11 represents the height of the image, and a12 represents the color of the image.
  • each dimension of the target feature of the first image processing model is adjusted according to the above preset attribute arrangement sequence.
  • the target feature of the first image processing model is (a11, a12, ..., a1k), where a11 represents the height of the image, and a12 represents the color of the image.
  • the preset order of attributes is as follows: the feature of the first dimension represents the first attribute of the image (such as the height of the image), the feature of the second dimension represents the second attribute of the image (such as the color of the image), ... the th A feature of k dimensions represents the kth attribute of an image.
  • the output features of the first image processing model are (a11, a12, ..., a1k), and the attributes represented by a13 to a1k in the target features of the first image processing model conform to the predetermined order of attribute arrangement.
  • the output features of the jth image processing model are input to the j+1th image processing model to obtain the initial features of the j+1th image processing model.
  • the output features of the first image processing model are input to the second image processing model to obtain the initial features of the second image processing model.
  • the initial features of N image processing models can be obtained, such as the initial features of the first image processing model, the initial features of the second image processing model, ..., the initial features of the i-th image processing model, ... , the initial features of the Nth image processing model.
  • the dimensions of the N initial features can be the same or different.
  • the initial features of the j+1th image processing model are processed into the preset dimensions to obtain the target features of the j+1th image processing model.
  • the dimensions of the target features of the N image processing models are not smaller than the dimension of the initial features of the image processing model with the largest dimension among the initial features of the N image processing models.
  • the initial feature of the image processing model with the largest dimension is p-dimensional
  • the preset dimension is k-dimensional
  • k is greater than or equal to p.
  • the target features of the Nth image processing model are (aN1, aN2, aN3, . . . , aNk).
  • the attributes represented by the features of each dimension in the target features of the above j+1th image processing model are determined.
  • the target features of the Nth image processing model are (aN1, aN2, aN3, . . . , aNk), where aN2 represents the height of the image, and aN1 represents the color of the image.
  • each dimension of the target feature of the j+1th image processing model is adjusted according to the aforementioned preset attribute arrangement order.
  • the preset order of attributes is: the feature of the first dimension represents the first attribute of the image (such as the height of the image), the feature of the second dimension represents the second attribute of the image (such as the color of the image), ... ...a feature of the kth dimension represents the kth attribute of the image.
  • the output features of the Nth image processing model are (aN2, aN1, . . . aNk).
  • the attributes represented by the first dimension of the output features of other image processing models should be the same as those represented by a11 or aN2.
  • the attributes respectively represented by aN3 to aNk in the target feature of the Nth image processing model conform to a predetermined sequence of attribute arrangement.
  • Fig. 4 is a schematic diagram of a model of a fusion method applying image features according to another embodiment of the present disclosure.
  • the model includes operating the first image processing model, the second image processing model, ... the i-th image processing model, ... the N-th image processing model.
  • the first image processing model includes a first shared layer 401 .
  • the second image processing model includes a first shared layer 401 and a second shared layer 402 .
  • the input of the first shared layer 401 is an image 406 .
  • the output features of the first image processing model are generated based on the output of the first shared layer 401 .
  • the output feature of the first image processing model is used as the output of the first image processing model and the input of the second shared layer.
  • the output feature of the second image processing model is generated based on the output of the second shared layer 402 , and the output feature of the second image processing model is used as the output of the second image processing model and the input of the third shared layer.
  • the i-th image processing model includes the first shared layer 401 , the second shared layer 402 , ... the i-th shared layer 403 .
  • the output feature of the i-th image processing model is generated based on the output of the i-th shared layer 403, and the output feature of the i-th image processing model is used as the output of the i-th image processing model and the output of the i+1 shared layer enter.
  • the N-th image processing model includes the first shared layer 401 , the second shared layer 402 , ... the i-th shared layer 403 , ... the N-th shared layer 404 .
  • the output feature of the Nth image processing model is generated based on the output of the Nth shared layer 404, and the output feature of the Nth image processing model is used as the output of the Nth image processing model.
  • the output of the first shared layer 401 can be directly used as the output feature of the first image processing model
  • the output of the second shared layer 402 can be used as the output feature of the second image processing model
  • the output of the i-th shared layer 403 is used as the output feature of the i-th image processing model
  • the output of the N-th shared layer 404 is used as the output feature of the N-th image processing model.
  • the first shared layer 401 , the second shared layer 402 , ..., the i-th shared layer 403 , ..., the N-th shared layer 404 are respectively connected to the shared fully-connected layer.
  • the output of the first shared layer 401 is the initial features of the first image processing model.
  • the shared fully connected layer generates output features of the first image processing model according to the initial features of the first image processing model.
  • the output of the second shared layer 402 is the initial features of the second image processing model.
  • the shared fully connected layer generates output features of the second image processing model based on the initial features of the second image processing model.
  • the output of the i-th shared layer 403 is the initial features of the i-th image processing model.
  • the shared fully connected layer generates output features of the i-th image processing model according to the initial features of the i-th image processing model.
  • the output of the Nth shared layer 404 is the initial features of the Nth image processing model.
  • the shared fully connected layer generates output features of the Nth image processing model according to the initial features of the Nth image processing model.
  • Fig. 5 is a block diagram of an image feature fusion device according to an embodiment of the present disclosure.
  • the image feature fusion apparatus 500 may include a first obtaining module 510 , a second obtaining module 520 and a fusion module 530 .
  • the fusion module 530 is configured to fuse the obtained output features of the N image processing models to obtain fusion features.
  • the i+1 th image processing model among the above N image processing models shares the 1st to i th shared layers with the i th image processing model.
  • the above-mentioned fusion module includes: an addition sub-module, configured to add the output features of the above-mentioned N image processing models to obtain the above-mentioned fusion features.
  • the above-mentioned first obtaining module includes: a first obtaining sub-module, configured to input the above-mentioned image to be processed into the first image processing model among the N image processing models, and obtain the first image processing model Initial features; the first processing sub-module is used to process the initial features of the above-mentioned first image processing model into preset dimensions to obtain the target features of the first image processing model; and the first alignment sub-module is used to convert the above-mentioned The features of each attribute in the target features of the first image processing model are aligned according to the preset sequence of attributes to obtain the output features of the above first image processing model.
  • the second obtaining module includes: a second obtaining submodule, configured to input the output features of the jth image processing model into the j+1th image processing model to obtain the j+1th image processing model The initial features of the model; the second processing sub-module is used to process the initial features of the above j+1th image processing model into the above preset dimensions to obtain the target features of the j+1th image processing model; and the second alignment The sub-module is configured to align the features of each attribute in the target features of the j+1th image processing model above according to the preset attribute arrangement order, and obtain the output features of the j+1th image processing model above.
  • the above-mentioned first alignment submodule includes: a first determination unit, configured to determine the attributes represented by the features of each dimension in the target features of the above-mentioned first image processing model; and a first adjustment unit, configured to Each dimension of the target feature of the first image processing model is adjusted according to the arrangement order of the above-mentioned preset attributes;
  • the above-mentioned second alignment sub-module includes: a second determination unit, configured to determine the target of the above-mentioned j+1th image processing model The attribute represented by the feature of each dimension in the feature; and the second adjustment unit, configured to adjust each dimension of the target feature of the j+1th image processing model according to the above-mentioned preset attribute arrangement order.
  • the present disclosure also provides an electronic device, a readable storage medium, and a computer program product.
  • FIG. 6 shows a schematic block diagram of an example electronic device 600 that may be used to implement embodiments of the present disclosure.
  • Electronic device is intended to represent various forms of digital computers, such as laptops, desktops, workstations, personal digital assistants, servers, blade servers, mainframes, and other suitable computers.
  • Electronic devices may also represent various forms of mobile devices, such as personal digital processing, cellular telephones, smart phones, wearable devices, and other similar computing devices.
  • the components shown herein, their connections and relationships, and their functions, are by way of example only, and are not intended to limit implementations of the disclosure described and/or claimed herein.
  • the device 600 includes a computing unit 601 that can execute according to a computer program stored in a read-only memory (ROM) 602 or loaded from a storage unit 608 into a random-access memory (RAM) 603. Various appropriate actions and treatments. In the RAM 603, various programs and data necessary for the operation of the device 600 can also be stored.
  • the computing unit 601, ROM 602, and RAM 603 are connected to each other through a bus 604.
  • An input/output (I/O) interface 605 is also connected to the bus 604 .
  • the I/O interface 605 includes: an input unit 606, such as a keyboard, a mouse, etc.; an output unit 607, such as various types of displays, speakers, etc.; a storage unit 608, such as a magnetic disk, an optical disk, etc. ; and a communication unit 609, such as a network card, a modem, a wireless communication transceiver, and the like.
  • the communication unit 609 allows the device 600 to exchange information/data with other devices over a computer network such as the Internet and/or various telecommunication networks.
  • the computing unit 601 may be various general-purpose and/or special-purpose processing components having processing and computing capabilities. Some examples of computing units 601 include, but are not limited to, central processing units (CPUs), graphics processing units (GPUs), various dedicated artificial intelligence (AI) computing chips, various computing units that run machine learning model algorithms, digital signal processing processor (DSP), and any suitable processor, controller, microcontroller, etc.
  • the calculation unit 601 executes various methods and processes described above, such as the fusion method of image features.
  • the image feature fusion method may be implemented as a computer software program tangibly embodied on a machine-readable medium, such as the storage unit 608 .
  • part or all of the computer program may be loaded and/or installed on the device 600 via the ROM 602 and/or the communication unit 609.
  • the computer program When the computer program is loaded into the RAM 603 and executed by the computing unit 601, one or more steps of the image feature fusion method described above can be performed.
  • the calculation unit 601 may be configured in any other appropriate way (for example, by means of firmware) to perform the image feature fusion method.
  • Various implementations of the systems and techniques described above herein can be implemented in digital electronic circuit systems, integrated circuit systems, field programmable gate arrays (FPGAs), application specific integrated circuits (ASICs), application specific standard products (ASSPs), systems on chips Implemented in a system of systems (SOC), load programmable logic device (CPLD), computer hardware, firmware, software, and/or combinations thereof.
  • FPGAs field programmable gate arrays
  • ASICs application specific integrated circuits
  • ASSPs application specific standard products
  • SOC system of systems
  • CPLD load programmable logic device
  • computer hardware firmware, software, and/or combinations thereof.
  • programmable processor can be special-purpose or general-purpose programmable processor, can receive data and instruction from storage system, at least one input device, and at least one output device, and transmit data and instruction to this storage system, this at least one input device, and this at least one output device an output device.
  • Program codes for implementing the methods of the present disclosure may be written in any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general-purpose computer, a special purpose computer, or other programmable data processing devices, so that the program codes, when executed by the processor or controller, make the functions/functions specified in the flow diagrams and/or block diagrams Action is implemented.
  • the program code may execute entirely on the machine, partly on the machine, as a stand-alone software package partly on the machine and partly on a remote machine or entirely on the remote machine or server.
  • a machine-readable medium may be a tangible medium that may contain or store a program for use by or in conjunction with an instruction execution system, apparatus, or device.
  • a machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium.
  • a machine-readable medium may include, but is not limited to, electronic, magnetic, optical, electromagnetic, infrared, or semiconductor systems, apparatus, or devices, or any suitable combination of the foregoing.
  • machine-readable storage media would include one or more wire-based electrical connections, portable computer discs, hard drives, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), optical fiber, compact disk read only memory (CD-ROM), optical storage, magnetic storage, or any suitable combination of the foregoing.
  • RAM random access memory
  • ROM read only memory
  • EPROM or flash memory erasable programmable read only memory
  • CD-ROM compact disk read only memory
  • magnetic storage or any suitable combination of the foregoing.
  • the systems and techniques described herein can be implemented on a computer having a display device (e.g., a CRT (cathode ray tube) or LCD (liquid crystal display) monitor) for displaying information to the user. ); and a keyboard and pointing device (eg, a mouse or a trackball) through which a user can provide input to the computer.
  • a display device e.g., a CRT (cathode ray tube) or LCD (liquid crystal display) monitor
  • a keyboard and pointing device eg, a mouse or a trackball
  • Other kinds of devices can also be used to provide interaction with the user; for example, the feedback provided to the user can be any form of sensory feedback (e.g., visual feedback, auditory feedback, or tactile feedback); and can be in any form (including Acoustic input, speech input or, tactile input) to receive input from the user.
  • the systems and techniques described herein can be implemented in a computing system that includes back-end components (e.g., as a data server), or a computing system that includes middleware components (e.g., an application server), or a computing system that includes front-end components (e.g., as a a user computer having a graphical user interface or web browser through which a user can interact with embodiments of the systems and techniques described herein), or including such backend components, middleware components, Or any combination of front-end components in a computing system.
  • the components of the system can be interconnected by any form or medium of digital data communication, eg, a communication network. Examples of communication networks include: Local Area Network (LAN), Wide Area Network (WAN) and the Internet.
  • a computer system may include clients and servers.
  • Clients and servers are generally remote from each other and typically interact through a communication network.
  • the relationship of client and server arises by computer programs running on the respective computers and having a client-server relationship to each other.
  • the server can be a cloud server, a server of a distributed system, or a server combined with a blockchain.

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像特征的融合方法，涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术领域，可应用于图像处理、图像识别等场景。具体实现方案为：将待处理图像输入到N个图像处理模型中的第一个图像处理模型，得到第一个图像处理模型的输出特征；其中，上述N个图像处理模型是串行连接的，上述N个图像处理模型中的第i个模型包括第1个至第i个共享层，i＝1，……N，N为大于等于2的自然数；将第j个图像处理模型的输出特征输入到第j+1个图像处理模型，得到第j+1个图像处理模型的输出特征，j＝1，……N-1；以及对N个图像处理模型的输出特征进行融合，得到融合特征。本公开还提供了一种图像特征的融合装置、电子设备和存储介质。

Description

图像特征的融合方法、装置、电子设备和存储介质
本申请要求于2021年08月16日递交的中国专利申请No.202110940534.2的优先权，其内容一并在此作为参考。
技术领域
本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术领域，可应用于图像处理、图像识别等场景。更具体地，本公开提供了一种图像特征的融合方法、装置、电子设备和存储介质。
背景技术
多模型特征融合是指为解决同一个问题设计并训练多个模型，在部署阶段使用所有的模型进行预测，得到多个特征，然后将预测得到的多个特征融合出一个最终的特征。多模型特征融合可以应用于图像处理、图像识别等场景。
发明内容
本公开提供了一种图像特征的融合方法、装置、设备以及存储介质。
根据第一方面，提供了一种图像特征的融合方法，该方法包括：将待处理图像输入到N个图像处理模型中的第一个图像处理模型，得到第一个图像处理模型的输出特征；其中，上述N个图像处理模型是串行连接的，上述N个图像处理模型中的第i个模型包括第1个至第i个共享层，i＝1，……N，N为大于等于2的自然数；将第j个图像处理模型的输出特征输入到第j+1个图像处理模型，得到第j+1个图像处理模型的输出特征，j＝1，......N-1；以及对N个图像处理模型的输出特征进行融合，得到融合特征。
根据第二方面，提供了一种图像特征的融合装置，该装置包括：第一获得模块，用于将待处理图像输入到N个图像处理模型中的第一个图像处理模型，得到第一个图像处理模型的输出特征；其中，上述N个图像处理模型是串行连接的，上述N个图像处理模型中的第i个模型包括第1 个至第i个共享层，i＝1，……N，N为大于等于2的自然数；第二获得模块，用于将第j个图像处理模型的输出特征输入到第j+1个图像处理模型，得到第j+1个图像处理模型的输出特征，j＝1，......N-1；以及融合模块，用于对N个图像处理模型的输出特征进行融合，得到融合特征。
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
根据第五方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现根据本公开提供的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开的一个实施例的可以应用图像特征的融合方法和装置的示例性系统架构示意图；
图2是根据本公开的一个实施例的图像特征的融合方法的流程图；
图3是根据本公开的另一个实施例的图像特征的融合方法的流程图；
图4是根据本公开的一个实施例的应用图像特征的融合方法的模型的示意图；
图5是根据本公开的一个实施例的图像特征的融合装置的框图；
图6是根据本公开的一个实施例的图像特征的融合方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实 施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
应用多模型进行特征融合需要部署多个模型，并使用部署的多个模型进行预测，需要较高的计算能力。应用多模型对图像进行处理或识别的过程时，多个模型是独立的，独立处理输入数据，独立生成各自的输出特征，再将各个图像处理模型的输出特征拼接以产生最终的输出特征。
例如，N个图像处理模型的输出特征分别为(a11，a12)、(a21，a22，a23，a24)、……、(ai1，ai2，……，aiq)、……、(aN1，aN2，……，aNm)，将N个图像处理模型的输出特征进行拼接，得到最终的输出特征(a11，a12，a21，a22，a23，a24，……，ai1，ai2，……，aiq，……，aN1，aN2，……，aNm)。其中，第i个图像处理模型的输出特征为q维向量，第N个图像处理模型的输出特征为m维向量，m≥2，q≥2。在一个示例中，N＝3时，共有3个图像处理模型的输出特征，分别为(a11，a12)、(a21，a22，a23，a24)以及(a31，a32)，对3个图像处理模型的输出特征进行拼接，得到最终的输出特征(a11，a12，a21，a22，a23，a24，a31，a32)。可见，特征的维度与模型的数量呈正比，需要较高的存储能力。并且各个模型独立运算，总的运算量也与模型数量呈正比，运算量较大。
因此，为了使用多模型进行特征融合，可以增加用于计算和存储的设备，也可以优化多模型来减少计算或存储压力。增加用于计算和存储的设备，会大幅增加成本，不具有可持续性。此外，优化多模型，比如减少模型的数量、采用多个小模型来减少计算量或者使用主成分分析法来减小最终的输出特征的维度，会降低图像识别或图像处理的效果，减弱了多模型融合带来的图像处理或图像识别效果提升。另外，主成分分析法是一个两阶段方案，需要先训练各个模型，然后训练线性映射矩阵来减少特征维度，操作上不够简洁，带来了额外的部署成本。
应注意，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户授权或同意。
图1是根据本公开一个实施例的可以应用图像特征的融合的方法和装置的示例性系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括多个终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线和/或无线通信链路等等。
用户可以使用终端设备101通过网络102与服务器103进行交互，以接收或发送消息等。终端设备101可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机等等。
本公开实施例所提供的图像特征的融合方法一般可以由服务器103执行。相应地，本公开实施例所提供的图像特征的融合装置一般可以设置于服务器103中。本公开实施例所提供的图像特征的融合方法也可以由不同于服务器103且能够与终端设备101和/或服务器103通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像特征的融合装置也可以设置于不同于服务器103且能够与终端设备101和/或服务器103通信的服务器或服务器集群中。
图2是根据本公开的一个实施例的图像特征的融合方法的流程图。
如图2所示，该图像特征的融合方法200可以包括操作S210～操作S230。
在操作S210，将待处理图像输入到N个图像处理模型中的第一个图像处理模型，得到第一个图像处理模型的输出特征。
例如，上述N个图像处理模型是串行连接的，上述N个图像处理模型中的第i个模型包括第1个至第i个共享层，i＝1，……N，N为大于等于2的自然数。
又例如，上述N个图像处理模型中的第i+1个图像处理模型与第i个图像处理模型共用第1个至第i个共享层。即第i+1个图像处理模型共享 了前i个图像处理模型的输出。
在本公开实施例中，共享层可以包括至少一个处理层。
例如，共享层包括h个卷积层，h≥1，那么第一个图像处理模型包括h个卷积层，第i个图像处理模型包括i*h个卷积层，第N个图像处理模型包括N*h个卷积层。在一个示例中，共享层包括1个卷积层，即，h＝1，那么第一个图像处理模型包括1*1＝1个卷积层，第i个图像处理模型包括1*i＝i个卷积层，第N个图像处理模型包括1*N＝N个卷积层。
应该理解，处理层可以是卷积层、全连接层、隐含层、池化层等，可以用于对图像或图像特征进行处理。本公开不对此进行限制。
在本公开实施例中，共享层可以具有相同的结构，多个共享层之间的参数可以不同。
例如，共享层包括1个卷积层，第一个图像处理模型包括第1个卷积层，第2个图像处理模型包括2个卷积层(第1个卷积层和第2个卷积层)。第2个卷积层与第1个卷积层的卷积核大小和卷积核参数可以相同，也可以不同。在一个示例中，第1个卷积层中的卷积核为3×3的卷积核，第2个卷积层的卷积核为4×4的卷积核。在一个示例中，第1个卷积层中的卷积核为3×3的卷积核，第2个卷积层的卷积核也为3×3的卷积核。
在操作S220，将第j个图像处理模型的输出特征输入到第j+1个图像处理模型，得到第j+1个图像处理模型的输出特征，j＝1，......N-1。
例如，可以将第一个图像处理模型的输出特征输入到第2个图像处理模型，得到第2个图像处理模块的输出特征。
在操作S230，对N个图像处理模型的输出特征进行融合，得到融合特征。
在本公开实施例中，可以将N个图像处理模型的输出特征相加，得到融合特征。
例如，N个图像处理模型的输出特征分别为(a11，a12，……，a1k)、(a21，a22，……，a2k)、……、(ai1，ai2，……，aik)、……、(aN1，aN2，……，aNk)，进行相加，得到融合特征(a11+a21+……+ai1+……+aN1，a12+a22+……+ai2+……+aN2，……，a1k+a2k+……+aik+……+aNk)，其中第i个图像 处理模型的输出特征为k维向量，第N个图像处理模型的输出特征为k维向量，k≥2。在一个示例中，N＝3时，共有3个图像处理模型的输出特征，分别为(a11，a12)、(a21，a22)以及(a31，a32)，对3个图像处理模型的输出特征进行相加，得到融合特征(a11+a21+a31，a12+a22+a32)。由于特征相加是一个简单的后处理过程，因此相比主成分分析法减少了部署的难度。
通过本公开实施例，多个模型使用了共享层，可以大幅减少了计算量和存储量，减少了部署成本，是一个可持续的方案。也可以使用更大、更多的模型进行特征融合，保证了识别精度。
图3是根据本公开的另一个实施例的图像特征的融合方法的流程图。
如图3所示，该图像特征的融合方法300可以将待处理图像输入到N个图像处理模型中的第一个图像处理模型，得到第一个图像处理模型的输出特征。下面将参考下述操作S311～操作S313进行详细说明。
在操作S311，将上述待处理图像输入到N个图像处理模型中的第一个图像处理模型，得到第一个图像处理模型的初始特征。
在本公开实施例中，上述将待处理图像输入到第一个图像处理模型，得到第一个图像处理模型的初始特征。
例如，待处理图像输入第一图像处理模型中，经第1个共享层处理，得到第一个图像处理模型的初始特征。
在操作S312，将上述第一图像处理模型的初始特征处理为预设维度，得到第一个图像处理模型的目标特征。
例如，则第一个图像处理模型的目标特征的维数为k维。
在操作S313，将上述第一个图像处理模型的目标特征中各个属性的特征按照预设属性排列顺序进行对齐，得到上述第一个图像处理模型的输出特征。
在本公开实施例中，确定上述第一个图像处理模型的目标特征中各个维度的特征所表示的属性。
例如，第一个图像处理模型的目标特征为(a11，a12，a13，……，a1k)，其中，a11表示图像的高度，a12表示图像的色彩。
在本公开实施例中，按照上述预设属性排列顺序对第一个图像处理模 型的目标特征的各个维度进行调整。
例如，第一个图像处理模型的目标特征为(a11，a12，……，a1k)，其中，a11表示图像的高度，a12表示图像的色彩。预设属性排列顺序为：第一个维度的特征表示图像的第一个属性(比如图像的高度)，第二个维度的特征表示图像的第二个属性(比如图像的色彩)，……第k个维度的特征表示图像的第k个属性。调整后，第一个图像处理模型的输出特征为(a11，a12，……，a1k)，第一个图像处理模型的目标特征中的a13至a1k分别表示的属性符合预定属性排列顺序。
接下来，该图像特征的融合方法300可以将第j个图像处理模型的输出特征输入到第j+1个图像处理模型，得到第j+1个图像处理模型的输出特征，j＝1，......N-1。下面将参考下述操作S321～操作S323进行详细说明。
在操作S321，将第j个图像处理模型的输出特征输入到第j+1个图像处理模型，得到第j+1个图像处理模型的初始特征。
例如，j＝1时，第一个图像处理模型的输出特征输入到第二个图像处理模型，得到第二个图像处理模型的初始特征。
又例如，可以得到N个图像处理模型的初始特征，比如第一个图像处理模型的初始特征、第二个图像处理模型的初始特征、……、第i个图像处理模型的初始特征、……、第N个图像处理模型的初始特征。这N个初始特征的维度可以相同，也可以不同。
在操作S322，将上述第j+1个图像处理模型的初始特征处理为上述预设维度，得到第j+1个图像处理模型的目标特征。
在本公开实施例中，N个图像处理模型的目标特征的维数，不小于N个图像处理模型的初始特征中维数最大的图像处理模型的初始特征的维数。
例如，N个图像处理模型的初始特征中维数最大的图像处理模型的初始特征为p维，预设维度为k维，k大于等于p。
例如，第N个图像处理模型的目标特征为(aN1，aN2，aN3，……，aNk)。
在操作S323，将上述第j+1个图像处理模型的目标特征中各个属性的特征按照上述预设属性排列顺序进行对齐，得到上述第j+1个图像处理模 型的输出特征。
在本公开实施例中，确定上述第j+1个图像处理模型的目标特征中各个维度的特征所表示的属性。
例如，第N个图像处理模型的目标特征为(aN1，aN2，aN3，……，aNk)，其中，aN2表示图像的高度，aN1表示图像的色彩。
在本公开实施例中，按照上述预设属性排列顺序对第j+1个图像处理模型的目标特征的各个维度进行调整。
例如，预设属性排列顺序为：第一个维度的特征表示图像的第一个属性(比如图像的高度)，第二个维度的特征表示图像的第二个属性(比如图像的色彩)，……第k个维度的特征表示图像的第k个属性。调整后，第N个图像处理模型的输出特征为(aN2，aN1，……aNk)。调整后，其他图像处理模型的输出特征的第一个维度表示的属性应该与a11或aN2表示的属性相同。第N个图像处理模型的目标特征中的aN3至aNk分别表示的属性符合预定属性排列顺序。
图4是根据本公开的另一个实施例的应用图像特征的融合方法的模型的示意图。
如图4所示，该模型包括操作第一个图像处理模型、第二个图像处理模型、……第i个图像处理模型、……第N个图像处理模型。
其中，第一个图像处理模型包括第1个共享层401。第二个图像处理模型包括第1个共享层401和第2个共享层402。第1个共享层401的输入是图像406。第一个图像处理模型的输出特征是基于第1个共享层401的输出生成的。该第一个图像处理模型的输出特征作为第一个图像处理模型的输出以及第2个共享层的输入。第二个图像处理模型的输出特征是基于第2个共享层402的输出生成的，该第二个图像处理模型的输出特征作为第二个图像处理模型的输出以及第3个共享层的输入。
第i个图像处理模型包括第1个共享层401、第2个共享层402、……第i个共享层403。第i个共享层403的输入是第i-1个图像处理模型的输出特征。在一个示例中，i＝3。
第i个图像处理模型的输出特征是基于第i个共享层403的输出生成的，该第i个图像处理模型的输出特征作为第i个图像处理模型的输出以 及第i+1个共享层的输入。
第N个图像处理模型包括第1个共享层401、第2个共享层402、……第i个共享层403、……第N个共享层404。第N个共享层404的输入是第N-1个图像处理模型的输出特征。在一个示例中，N＝4。
第N个图像处理模型的输出特征是基于第N个共享层404的输出生成的，该第N个图像处理模型的输出特征作为第N个图像处理模型的输出。
将第一个图像处理模型的输出特征、第二个图像处理模型的输出特征、……第i个图像处理模型的输出特征、……第N个图像处理模型的输出特征输入融合层405，进行特征融合，得到融合特征。
在一些实施例中，可以直接将第1个共享层401的输出作为第一个图像处理模型的输出特征、第2个共享层402的输出作为第二个图像处理模型的输出特征、……、第i个共享层403的输出作为第i个图像处理模型的输出特征、……、第N个共享层404的输出作为第N个图像处理模型的输出特征。
在一些实施例中，第1个共享层401、第2个共享层402、……、第i个共享层403、……、第N个共享层404分别与共享全连接层连接。
第1个共享层401的输出是第一个图像处理模型的初始特征。该共享全连接层根据该第一个图像处理模型的初始特征生成第一个图像处理模型的输出特征。第2个共享层402的输出是第二个图像处理模型的初始特征。该共享全连接层根据该第二个图像处理模型的初始特征生成第二个图像处理模型的输出特征。……第i个共享层403的输出是第i个图像处理模型的初始特征。该共享全连接层根据该第i个图像处理模型的初始特征生成第i个图像处理模型的输出特征。……第N个共享层404的输出是第N个图像处理模型的初始特征。该共享全连接层根据该第N个图像处理模型的初始特征生成第N个图像处理模型的输出特征。
图5是根据本公开的一个实施例的图像特征的融合装置的框图。
如图5所示，该图像特征的融合装置500可以包括第一获得模块510、第二获得模块520以及融合模块530。
第一获得模块模块510，用于将待处理图像输入到N个图像处理模型 中的第一个图像处理模型，得到第一个图像处理模型的输出特征；其中，上述N个图像处理模型中是串行连接的，上述N个图像处理模型的第i个模型包括第1个至第i个共享层，i＝1，……N，N为大于等于2的自然数。
第二获得模块520，用于将第j个图像处理模型的输出特征输入到第j+1个图像处理模型，得到第j+1个图像处理模型的输出特征，j＝1，……N-1。
融合模块530，用于对得到的N个图像处理模型的输出特征进行融合，得到融合特征。
在一些实施例中，上述N个图像处理模型中的第i+1个图像处理模型与第i个图像处理模型共用第1个至第i个共享层。
在一些实施例中，上述融合模块包括：相加子模块，用于将上述N个图像处理模型的输出特征相加，得到上述融合特征。
在一些实施例中，上述第一获得模块包括：第一获得子模块，用于将上述待处理图像输入到N个图像处理模型中的第一个图像处理模型，得到第一个图像处理模型的初始特征；第一处理子模块，用于将上述第一个图像处理模型的初始特征处理为预设维度，得到第一个图像处理模型的目标特征；以及第一对齐子模块，用于将上述第一个图像处理模型的目标特征中各个属性的特征按照预设属性排列顺序进行对齐，得到上述第一个图像处理模型的输出特征。
在一些实施例中，上述第二获得模块包括：第二获得子模块，用于将第j个图像处理模型的输出特征输入到第j+1个图像处理模型，得到第j+1个图像处理模型的初始特征；第二处理子模块，用于将上述第j+1个图像处理模型的初始特征处理为上述预设维度，得到第j+1个图像处理模型的目标特征；以及第二对齐子模块，用于将上述第j+1个图像处理模型的目标特征中各个属性的特征按照上述预设属性排列顺序进行对齐，得到上述第j+1个图像处理模型的输出特征。
在一些实施例中，上述第一对齐子模块包括：第一确定单元，用于确定上述第一个图像处理模型的目标特征中各个维度的特征所表示的属性；以及第一调整单元，用于按照上述预设属性排列顺序对第一个图像处理 模型的目标特征的各个维度进行调整；上述第二对齐子模块包括：第二确定单元，用于确定上述第j+1个图像处理模型的目标特征中各个维度的特征所表示的属性；以及第二调整单元，用于按照上述预设属性排列顺序对第j+1个图像处理模型的目标特征的各个维度进行调整。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各 个方法和处理，例如图像特征的融合方法。例如，在一些实施例中，图像特征的融合方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的图像特征的融合方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像特征的融合方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任 何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案 所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

  1. 一种图像特征的融合方法，包括：
    将待处理图像输入到N个图像处理模型中的第一个图像处理模型，得到第一个图像处理模型的输出特征；其中，所述N个图像处理模型是串行连接的，所述N个图像处理模型中的第i个模型包括第1个至第i个共享层，i＝1，......N，N为大于等于2的自然数；
    将第j个图像处理模型的输出特征输入到第j+1个图像处理模型，得到第j+1个图像处理模型的输出特征，j＝1，......N-1；以及
    对N个图像处理模型的输出特征进行融合，得到融合特征。
  2. 根据权利要求1所述的方法，其中，所述N个图像处理模型中的第i+1个图像处理模型与第i个图像处理模型共用第1个至第i个共享层。
  3. 根据权利要求1所述的方法，其中，所述对N个图像处理模型的输出特征进行融合，得到融合特征包括：
    将所述N个图像处理模型的输出特征相加，得到所述融合特征。
  4. 根据权利要求1所述的方法，其中，所述将待处理图像输入到N个图像处理模型中的第一个图像处理模型，得到第一个图像处理模型的输出特征包括：
    将所述待处理图像输入到N个图像处理模型中的第一个图像处理模型，得到第一个图像处理模型的初始特征；
    将所述第一个图像处理模型的初始特征处理为预设维度，得到第一个图像处理模型的目标特征；以及
    将所述第一个图像处理模型的目标特征中各个属性的特征按照预设属性排列顺序进行对齐，得到所述第一个图像处理模型的输出特征。
  5. 根据权利要求4所述的方法，其中，所述将第j个图像处理模型的输出特征输入到第j+1个图像处理模型，得到第j+1个图像处理模型的输出特征包括：
    将第j个图像处理模型的输出特征输入到第j+1个图像处理模 型，得到第j+1个图像处理模型的初始特征；
    将所述第j+1个图像处理模型的初始特征处理为所述预设维度，得到第j+1个图像处理模型的目标特征；以及
    将所述第j+1个图像处理模型的目标特征中各个属性的特征按照所述预设属性排列顺序进行对齐，得到所述第j+1个图像处理模型的输出特征。
  6. 根据权利要求4所述的方法，其中，所述将所述第一个图像处理模型的目标特征中各个属性的特征按照预设属性排列顺序进行对齐包括：
    确定所述第一个图像处理模型的目标特征中各个维度的特征所表示的属性；以及
    按照所述预设属性排列顺序对第一个图像处理模型的目标特征的各个维度进行调整；
    所述将所述第j+1个图像处理模型的目标特征中各个属性的特征按照所述预设属性排列顺序进行对齐包括：
    确定所述第j+1个图像处理模型的目标特征中各个维度的特征所表示的属性；以及
    按照所述预设属性排列顺序对第j+1个图像处理模型的目标特征的各个维度进行调整。
  7. 一种图像特征的融合装置，包括：
    第一获得模块模块，用于将待处理图像输入到N个图像处理模型中的第一个图像处理模型，得到第一个图像处理模型的输出特征；其中，所述N个图像处理模型中是串行连接的，所述N个图像处理模型的第i个模型包括第1个至第i个共享层，i＝1，……N，N为大于等于2的自然数；
    第二获得模块，用于将第j个图像处理模型的输出特征输入到第j+1个图像处理模型，得到第j+1个图像处理模型的输出特征，j＝1，......N-1；以及
    融合模块，用于对N个图像处理模型的输出特征进行融合，得到融合特征。
  8. 根据权利要求7所述的装置，其中，所述N个图像处理模型中的第i+1个图像处理模型与第i个图像处理模型共用第1个至第i个共享层。
  9. 根据权利要求7所述的装置，其中，所述融合模块包括：
    相加子模块，用于将所述N个图像处理模型的输出特征相加，得到所述融合特征。
  10. 根据权利要求7所述的装置，其中，所述第一获得模块包括：
    第一获得子模块，用于将所述待处理图像输入到N个图像处理模型中的第一个图像处理模型，得到第一个图像处理模型的初始特征；
    第一处理子模块，用于将所述第一个图像处理模型的初始特征处理为预设维度，得到第一个图像处理模型的目标特征；以及
    第一对齐子模块，用于将所述第一个图像处理模型的目标特征中各个属性的特征按照预设属性排列顺序进行对齐，得到所述第一个图像处理模型的输出特征。
  11. 根据权利要求10所述的装置，其中，所述第二获得模块包括：
    第二获得子模块，用于将第j个图像处理模型的输出特征输入到第j+1个图像处理模型，得到第j+1个图像处理模型的初始特征；
    第二处理子模块，用于将所述第j+1个图像处理模型的初始特征处理为所述预设维度，得到第j+1个图像处理模型的目标特征；以及
    第二对齐子模块，用于将所述第j+1个图像处理模型的目标特征中各个属性的特征按照所述预设属性排列顺序进行对齐，得到所述第j+1个图像处理模型的输出特征。
  12. 根据权利要求10所述的装置，其中，所述第一对齐子模块包括：
    第一确定单元，用于确定所述第一个图像处理模型的目标特征中各个维度的特征所表示的属性；以及
    第一调整单元，用于按照所述预设属性排列顺序对第一个图像处理模型的目标特征的各个维度进行调整；
    所述第二对齐子模块包括：
    第二确定单元，用于确定所述第j+1个图像处理模型的目标特征中各个维度的特征所表示的属性；以及
    第二调整单元，用于按照所述预设属性排列顺序对第j+1个图像处理模型的目标特征的各个维度进行调整。
  13. 一种电子设备，包括：
    至少一个处理器；以及
    与所述至少一个处理器通信连接的存储器；其中，
    所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6中任一项所述的方法。
  14. 一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至6中任一项所述的方法。
  15. 一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至6中任一项所述的方法。
PCT/CN2022/088397 2021-08-16 2022-04-22 图像特征的融合方法、装置、电子设备和存储介质 WO2023019996A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110940534.2 2021-08-16
CN202110940534.2A CN113642654B (zh) 2021-08-16 2021-08-16 图像特征的融合方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
WO2023019996A1 true WO2023019996A1 (zh) 2023-02-23

Family

ID=78422257

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/088397 WO2023019996A1 (zh) 2021-08-16 2022-04-22 图像特征的融合方法、装置、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN113642654B (zh)
WO (1) WO2023019996A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642654B (zh) * 2021-08-16 2022-08-30 北京百度网讯科技有限公司 图像特征的融合方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10452960B1 (en) * 2018-10-01 2019-10-22 Texas Instruments Incorporated Image classification
CN111145175A (zh) * 2020-01-10 2020-05-12 惠州光弘科技股份有限公司 一种基于iForest模型验证的SMT焊点缺陷检测方法
CN111951165A (zh) * 2020-08-18 2020-11-17 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN112560874A (zh) * 2020-12-25 2021-03-26 北京百度网讯科技有限公司 图像识别模型的训练方法、装置、设备和介质
CN113139543A (zh) * 2021-04-28 2021-07-20 北京百度网讯科技有限公司 目标对象检测模型的训练方法、目标对象检测方法和设备
CN113642654A (zh) * 2021-08-16 2021-11-12 北京百度网讯科技有限公司 图像特征的融合方法、装置、电子设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7052811B2 (ja) * 2018-02-07 2022-04-12 ソニーグループ株式会社 画像処理装置、画像処理方法及び画像処理システム
CN108776787B (zh) * 2018-06-04 2020-09-29 京东数字科技控股有限公司 图像处理方法及装置、电子设备、存储介质
CN110309514B (zh) * 2019-07-09 2023-07-11 北京金山数字娱乐科技有限公司 一种语义识别方法及装置
CN111598818B (zh) * 2020-04-17 2023-04-28 北京百度网讯科技有限公司 人脸融合模型训练方法、装置及电子设备
CN112767247A (zh) * 2021-01-13 2021-05-07 京东方科技集团股份有限公司 图像超分辨率重建方法、模型蒸馏方法、装置及存储介质
CN113052056A (zh) * 2021-03-19 2021-06-29 华为技术有限公司 一种视频处理的方法以及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10452960B1 (en) * 2018-10-01 2019-10-22 Texas Instruments Incorporated Image classification
CN111145175A (zh) * 2020-01-10 2020-05-12 惠州光弘科技股份有限公司 一种基于iForest模型验证的SMT焊点缺陷检测方法
CN111951165A (zh) * 2020-08-18 2020-11-17 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN112560874A (zh) * 2020-12-25 2021-03-26 北京百度网讯科技有限公司 图像识别模型的训练方法、装置、设备和介质
CN113139543A (zh) * 2021-04-28 2021-07-20 北京百度网讯科技有限公司 目标对象检测模型的训练方法、目标对象检测方法和设备
CN113642654A (zh) * 2021-08-16 2021-11-12 北京百度网讯科技有限公司 图像特征的融合方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113642654B (zh) 2022-08-30
CN113642654A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
US20220383078A1 (en) Data processing method and related device
US20230010160A1 (en) Multimodal data processing
US20230103013A1 (en) Method for processing image, method for training face recognition model, apparatus and device
US20230229898A1 (en) Data processing method and related device
WO2022156561A1 (zh) 一种自然语言处理方法以及装置
US11604766B2 (en) Method, apparatus, device, storage medium and computer program product for labeling data
US20230079275A1 (en) Method and apparatus for training semantic segmentation model, and method and apparatus for performing semantic segmentation on video
US20230115984A1 (en) Method and apparatus for training model, method and apparatus for generating molecules
US20220398834A1 (en) Method and apparatus for transfer learning
US20220343636A1 (en) Method and apparatus for establishing image recognition model, device, and storage medium
US20240185086A1 (en) Model distillation method and related device
US20230206578A1 (en) Method for generating virtual character, electronic device and storage medium
CN116579407B (zh) 神经网络模型的压缩方法、训练方法、处理方法和装置
US20230215136A1 (en) Method for training multi-modal data matching degree calculation model, method for calculating multi-modal data matching degree, and related apparatuses
CN114020950A (zh) 图像检索模型的训练方法、装置、设备以及存储介质
US20230135109A1 (en) Method for processing signal, electronic device, and storage medium
WO2023019996A1 (zh) 图像特征的融合方法、装置、电子设备和存储介质
CN115690443A (zh) 特征提取模型训练方法、图像分类方法及相关装置
CN113344213A (zh) 知识蒸馏方法、装置、电子设备及计算机可读存储介质
CN112906368A (zh) 行业文本增量方法、相关装置及计算机程序产品
WO2023015942A1 (zh) 确定图像特征的方法、装置、电子设备和存储介质
CN114419327B (zh) 图像检测方法和图像检测模型的训练方法、装置
CN112784967B (zh) 信息处理方法、装置以及电子设备
CN114707638A (zh) 模型训练、对象识别方法及装置、设备、介质和产品
CN114943995A (zh) 人脸识别模型的训练方法、人脸识别方法及装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 18020396

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE