WO2019233421A1 - 图像处理方法及装置、电子设备、存储介质 - Google Patents

图像处理方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
WO2019233421A1
WO2019233421A1 PCT/CN2019/090013 CN2019090013W WO2019233421A1 WO 2019233421 A1 WO2019233421 A1 WO 2019233421A1 CN 2019090013 W CN2019090013 W CN 2019090013W WO 2019233421 A1 WO2019233421 A1 WO 2019233421A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
models
image
preset
feature vector
Prior art date
Application number
PCT/CN2019/090013
Other languages
English (en)
French (fr)
Inventor
杨硕
Original Assignee
京东数字科技控股有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东数字科技控股有限公司 filed Critical 京东数字科技控股有限公司
Publication of WO2019233421A1 publication Critical patent/WO2019233421A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the present disclosure relates to the technical field of machine learning, and in particular, to an image processing method, an image processing apparatus, an electronic device, and a computer-readable storage medium.
  • face recognition In the process of Internet transactions, in order to facilitate users to log in to websites or applications such as mobile phones, face recognition can be used to log in.
  • ⁇ When face recognition is performed in related technologies, artificially designed features such as SIFT, HOG and other features are generally extracted, or features extracted based on deep learning models.
  • features extracted based on a deep learning model it may also include feature fusion of different image features to obtain new features after fusion.
  • a simple model fusion method can be used to directly perform simple operations such as summing, multiplying, averaging, and taking the maximum and minimum, or transform the features and then fuse them into new features.
  • feature extraction and model fusion are two independent steps, that is, feature extraction is performed first, and then model fusion is performed.
  • the extracted features cannot be guaranteed to be optimal features; and the use of the same method to fuse different features does not guarantee that the new features after fusion can obtain the optimal results, which will affect the recognition
  • the accuracy of the results affects system security and stability.
  • An object of the present disclosure is to provide an image processing method and device, an electronic device, and a storage medium, so as to at least to some extent overcome the problem of low accuracy of image processing due to the limitations and defects of related technologies.
  • an image processing method including: performing feature extraction on a to-be-recognized image through a plurality of feature extraction models, obtaining a plurality of first feature vectors, and fusing the plurality of first feature vectors to obtain A second feature vector; matching the second feature vector with a preset feature vector of a plurality of reference images to determine one of the preset feature vectors as a target feature vector; determining a target feature vector through the target feature vector The recognition result of the recognition image.
  • performing feature extraction on a to-be-recognized image by using a plurality of feature extraction models to obtain a plurality of first feature vectors includes: comparing a plurality of initial features according to a sample image and an initial label of the sample image.
  • the model is trained to obtain a plurality of feature extraction models; and the plurality of feature extraction models are used to perform feature extraction on the to-be-recognized image to obtain a plurality of first feature vectors associated with each of the feature extraction models.
  • training a plurality of initial feature models according to a sample image and an initial label of the sample image to obtain a plurality of feature extraction models includes: according to the sample image and the sample image Train multiple convolutional neural network models to obtain multiple feature models; select one of the multiple feature models as the target model, and superimpose the other feature model in the multiple feature models to Performing joint training in the target model to obtain a preset model; using the preset model as the target model, and continuing to perform joint training with the remaining models in the multiple feature models until the multiple feature models Until all joint training is performed, a plurality of the target models are used as the plurality of feature extraction models.
  • training a plurality of convolutional neural network models according to the sample image and an initial label of the sample image to obtain a plurality of feature models includes:
  • the label updates weight parameters of each of the convolutional neural network models to obtain the plurality of feature models.
  • updating the weight parameter of each of the convolutional neural network models through the initial label and the prediction label includes: A label and the prediction label are calculated backward to update weight parameters of each of the convolutional neural network models.
  • one of the plurality of feature models is selected as a target model, and another feature model of the plurality of feature models is superimposed on the target model for joint training.
  • Obtaining the preset model includes: locking the weight parameter of the target model; adjusting the weight parameter of the another feature model to obtain the target weight parameter; and jointly adjusting the target weight parameter and the weight parameter of the target model To obtain the preset model.
  • performing feature extraction on the to-be-recognized image through the plurality of feature extraction models, and obtaining a plurality of first feature vectors associated with each of the feature extraction models includes: Each of the feature extraction models performs forward calculation on the image to be identified to obtain a plurality of first feature vectors of the image to be identified.
  • fusing the plurality of first feature vectors to obtain a second feature vector includes: performing fusion calculation on a plurality of the first feature vectors to obtain the second feature. vector.
  • matching the second feature vector with a plurality of preset feature vectors and determining one of the preset feature vectors as a target feature vector includes: calculating the Similarity between the second feature vector and a plurality of the preset feature vectors in the database; and determining the preset feature vector having a similarity with the second feature vector greater than a preset threshold as the target feature vector .
  • determining the preset feature vector whose similarity with the second feature vector is greater than a preset threshold as the target feature vector includes: calculating the second feature vector Euclidean distance from the preset feature vector; if the Euclidean distance is less than the preset distance, determining that the image to be identified is the same as a reference image in a database; and the preset feature corresponding to the reference image A vector is used as the target feature vector.
  • an image processing apparatus including: a feature extraction module configured to perform feature extraction on a to-be-recognized image through a plurality of feature extraction models, to obtain a plurality of first feature vectors, and A feature vector is fused to obtain a second feature vector; a matching control module is configured to match the second feature vector with a preset feature vector of a plurality of reference images to determine one of the preset feature vectors as Target feature vector; a recognition control module, configured to determine a recognition result of an image to be recognized through the target feature vector.
  • an electronic device including: a processor; and
  • the memory is configured to store executable instructions of the processor; wherein the processor is configured to execute the image processing method according to any one of the foregoing by executing the executable instructions.
  • a computer-readable storage medium having stored thereon a computer program that, when executed by a processor, implements the image processing method according to any one of the above.
  • an image processing apparatus In an image processing method, an image processing apparatus, an electronic device, and a computer-readable storage medium provided in exemplary embodiments of the present disclosure, on the one hand, feature extraction is performed on a to-be-recognized image through multiple feature extraction models, and the obtained multi- The first feature vector is fused to obtain the second feature vector, which can more accurately obtain the features of the image to be identified and improve the accuracy of feature extraction.
  • the first feature vector is used to match multiple preset feature vectors. Using one of a plurality of preset feature vectors as a target feature vector to identify the image to be recognized through the target feature vector can improve the accuracy of image processing and ensure system security and stability.
  • FIG. 1 schematically illustrates a system architecture diagram for implementing an image processing method in an exemplary embodiment of the present disclosure
  • FIG. 2 schematically illustrates an image processing method in an exemplary embodiment of the present disclosure
  • FIG. 4 schematically illustrates a block diagram of an image processing apparatus in an exemplary embodiment of the present disclosure
  • FIG. 5 schematically illustrates a block diagram of an electronic device in an exemplary embodiment of the present disclosure
  • FIG. 6 schematically illustrates a program product in an exemplary embodiment of the present disclosure.
  • the system architecture 100 may include terminal devices 101, 102, and 103, a network 104, and a server 105.
  • the network 104 is a medium for providing a communication link between the terminal devices 101, 102, 103 and the server 105.
  • the network 104 may include various connection types, such as wired, wireless communication links, or fiber optic cables, among others.
  • the user can use the terminal devices 101, 102, 103 to interact with the server 105 through the network 104 to receive or send request instructions and the like.
  • Various communication client applications can be installed on the terminal devices 101, 102, 103, such as image processing applications, shopping applications, web browser applications, search applications, instant messaging tools, email clients, social platform software, and so on.
  • the terminal devices 101, 102, 103 may be various electronic devices having a display screen and supporting web browsing, including, but not limited to, smart phones, tablet computers, laptop computers, and desktop computers.
  • the server 105 may be a server that provides various services, for example, a background management server that provides support for a shopping website browsed by the user using the terminal devices 101, 102, and 103 (for example only).
  • the background management server can analyze and process the received product information query request and other data, and feed back the processing results (such as target push information and product information-just examples) to the terminal device.
  • the image processing method provided by the embodiment of the present application is generally executed by the server 105, and accordingly, the image processing apparatus is generally disposed in the client 101.
  • the image processing method may include the following steps:
  • step S210 feature extraction is performed on the image to be identified through multiple feature extraction models to obtain multiple first feature vectors, and the multiple first feature vectors are fused to obtain a second feature vector;
  • step S220 matching the second feature vector with preset feature vectors of a plurality of reference images to determine one of the preset feature vectors as a target feature vector;
  • step S230 a recognition result of the image to be recognized is determined through the target feature vector.
  • feature extraction is performed on a to-be-recognized image through a plurality of feature extraction models, and a plurality of first feature vectors are obtained to obtain a second feature vector.
  • the features of the image to be identified are accurately obtained, and the accuracy of feature extraction is improved.
  • the first feature vector is matched with multiple preset feature vectors, and one of the multiple preset feature vectors is used as the target feature vector. Recognition of the image to be identified by the target feature vector can improve the accuracy of image processing and ensure system security and stability.
  • step S210 a plurality of feature extraction models are used for feature extraction to obtain a plurality of initial feature vectors, and the plurality of initial feature vectors are fused to obtain a first feature vector.
  • the image to be identified may be, for example, a face image, an animal image, or other images, and the size, color pixels, and the like of the image to be identified are not particularly limited.
  • the application scenario particles in this exemplary embodiment are as follows: When a user logs in to an application platform or website, he can use face recognition to log in, the camera of the terminal can collect the face image of the user to be logged in, and The face image is compared with the face images of all users who have registered the application platform and website to control user login. In this scenario, the face image of the user to be logged in may be used as the image to be identified. Before recognizing the image to be recognized, pre-processing may be performed on the image to be recognized.
  • the preprocessing process here may include a face image alignment process.
  • the face alignment process mainly includes face detection, face keypoint positioning, and then as much as possible, the detected face keypoints in all images coincide with the preset face keypoint positions, and finally the person is cut from the image Face area and adjust the resolution of the face area to a predetermined size, such as 224 ⁇ 224.
  • specific operations can be performed on the pre-processed to-be-recognized image.
  • Multiple feature extraction models refer to the trained final feature extraction model, which can be obtained by separately training multiple initial feature models.
  • the number of initial feature models can be set according to actual needs. Generally speaking, under a certain number, the more models, the more feature vectors are obtained, the more accurate the extracted features are, and the higher the final recognition rate is.
  • Each initial feature model can be trained by a suitable machine learning algorithm or other algorithms.
  • a neural network algorithm is used as an example.
  • each initial feature model can be a convolutional neural network model, and all convolutional neural network models can be multiple networks with the same structure and different weight parameters; or multiple networks with different structures and different weight parameters. The internet.
  • a plurality of trained feature extraction models may be used to extract the features of the image to be identified, and a plurality of different or the same first feature vectors may be obtained.
  • the feature extraction model 1 corresponds to the first feature vector f1
  • the feature extraction model 2 corresponds to the first feature vector f2, and so on.
  • a plurality of initial feature models can be trained according to a sample image and an initial label of the sample image to obtain a plurality of feature extraction models; and further, the features to be identified are respectively characterized by the plurality of feature extraction models. Extraction to obtain a plurality of first feature vectors associated with each of the feature extraction models.
  • X 1 to X n refer to a plurality of sample images
  • Y 1 to Y n refer to an initial label corresponding to each sample image.
  • the multiple convolutional neural network models may include, for example, a convolutional neural network N 1 to a convolutional neural network N x , and a plurality of sample images in the data set D and initial label corresponding to the sample images are sequentially input into the network N 1 to the network in turn N x to obtain the feature extraction model corresponding to each network.
  • the feature extraction model 1 is obtained by training the convolutional neural network N 1
  • the feature extraction model 2 is obtained by training the convolutional neural network N 2 .
  • training a plurality of initial feature models according to the sample image and the initial label of the sample image, and obtaining a plurality of feature extraction models includes the following steps.
  • the label trains multiple convolutional neural network models to obtain multiple feature models.
  • the sample image and the initial label may be first input to a plurality of the convolutional neural network models to obtain initial feature vectors corresponding to each of the convolutional neural network models; the initial feature vectors are classified to obtain Prediction labels; updating weight parameters of each of the convolutional neural network models through the initial labels and the prediction labels to obtain the plurality of feature models.
  • the sample images and the initial labels of the sample images can be input to multiple convolutional neural network models based on the target task, and multiple convolutional neural network models are trained, thereby obtaining multiple initial feature vectors.
  • the target task refers to the target loss function determined by the face recognition task.
  • the initial feature vector can be classified to obtain the predicted labels of the sample image.
  • the predicted labels may be the same as or different from the initial labels.
  • the initial label and the predicted label may be backward calculated in a convolutional neural network model to update weight parameters of each of the convolutional neural network models, thereby obtaining the multiple features. model.
  • the feature model refers to the model after the weight parameters of each convolutional neural network model are updated.
  • one of the plurality of feature models may be selected as a target model, and another feature model of the plurality of feature models is superimposed on the target model for joint training to obtain a preset model.
  • the plurality of feature models may include, for example, feature model 1, feature model 2, feature model 3, and feature model 4.
  • the feature model 1 is a model after the weight parameters are updated by the convolutional neural network model 1
  • the feature model 2 is a model after the weight parameters are updated by the convolutional neural network model 2
  • the feature model 3 is after the weight parameters are updated by the convolutional neural network model 3.
  • the model, feature model 4 is a model after the weight parameters are updated by the convolutional neural network model 4.
  • any one of multiple feature models can be used as the target model, and the target model is a trained feature extraction model.
  • feature model 1 can be used as the target model.
  • another feature model of the multiple feature models may be sequentially superimposed on the determined target model for joint training to obtain a preset model.
  • another feature model may be any one of feature model 2, feature model 3, and feature model 4.
  • the preset model refers to a new target model obtained by combining the determined target model and another feature model. That is, each time the number of iterations increases, the number of jointly trained models also increases, and the target model and the preset model are also updated according to the jointly trained models.
  • the feature model 2 may be first added to the target model for the first joint training to obtain a preset model.
  • the weight parameter of the target model When performing joint training to obtain a preset model, it is necessary to lock the weight parameter of the target model; adjust the weight parameter of the another feature model to obtain the target weight parameter; and the target weight parameter and the weight of the target model
  • the parameters are adjusted to obtain the preset model. That is, first keep the weight parameters of the target model unchanged, and only adjust the weight parameters of feature model 2 until convergence. In one embodiment, the weight parameters of the target model and the weight parameters of the adjusted feature model 2 can be continued. Jointly adjust until convergence to get the preset model.
  • the preset model may be used as the target model, and joint training with the remaining models in the multiple feature models is continued until all the multiple feature models are jointly trained. That is, on the basis of the target model, any one of the remaining models of the multiple feature models can be jointly trained with the target model until all the multiple feature models are jointly trained.
  • the preset model obtained from the first joint training is used as the new target model, and the feature model 3 in the remaining model is added to the new target model for the second joint training to obtain the preset model again.
  • the remaining models in the feature model are jointly trained in sequence until all the feature models have been jointly trained. In this way, multiple target models can be obtained, and these target models can be used as the final multiples.
  • Feature extraction model for image recognition is used as the target model, and joint training with the remaining models in the multiple feature models is continued until all the multiple feature models are jointly trained. That is, on the basis of the target model, any one of the remaining models of the multiple feature models can be jointly trained with the target model until all the multiple feature models are jointly trained.
  • the sample image X and its label Y in the data set D can be input into a convolutional neural network model N 1 , and the weight parameter of the model is ⁇ 1 , and X is in
  • the initial feature vector F1 is obtained by forward calculation in the network N 1.
  • a classification function c and a weight parameter ⁇ are required.
  • the initial feature vector F1 is obtained through the classification function c to obtain a predictive label. As shown in formula (1):
  • the updated target model that is, the convolutional neural network model N 1 after adjusting the weight parameters, combined with the feature fusion method ⁇ , adding and training the feature model 2, that is, the convolutional nerve after adjusting the weight parameters Network model N 2 .
  • the weight parameter ⁇ 1 of the completed target model is first fixed, and only the weight parameter ⁇ 2 of the network N 2 is adjusted, and then the two are adjusted together to obtain the current optimal weight parameter.
  • the network N 1 weight parameter is ⁇ 1
  • the network N 2 weight parameter is ⁇ 2
  • the classification function c is the weight parameter ⁇
  • the sample image X is performed in the network N 1
  • the initial feature vector F1 is obtained by forward calculation
  • the initial feature vector F2 is obtained by performing forward calculation on the sample image X in the network N 2 , which is shown in formula (3):
  • a plurality of initial feature vectors of the obtained sample image may be fused according to a feature fusion algorithm to obtain a prediction label.
  • the weight parameter ⁇ 1 of the fixed network N 1 is unchanged, and the gradients of ⁇ and ⁇ 2 are calculated.
  • the feature model N x + 1 is added for model training until the optimal result or the maximum number of feature extraction networks is reached.
  • the final process The structure is shown in FIG. 2, and multiple target models are obtained as the final multiple feature extraction models to perform feature extraction on the image to be identified.
  • the step in step S110 may be performed, that is, feature extraction is performed on the image to be identified through the multiple feature extraction models. Specifically, forward calculation may be performed on the image to be identified in the multiple feature extraction models.
  • a plurality of first feature vectors of the image to be identified such as f1, f2, ... fn
  • fusion algorithms such as multiplication, averaging, maximum and minimum can be used to fuse multiple first feature vectors to obtain a second feature vector.
  • the second feature vector can be regarded as the optimal feature vector of the image to be identified.
  • step S220 the second feature vector is matched with preset feature vectors of multiple reference images to determine one of the preset feature vectors as a target feature vector.
  • the face image of the user to be logged in can be used as the image to be identified, and the faces of all users who have registered the application platform or website The image is used as a reference image.
  • the obtained feature extraction model can be used to perform feature extraction on all reference images to obtain multiple preset feature vectors.
  • the second feature vector of the image to be identified may be matched with the preset feature vectors of multiple reference images, and the preset feature vector of the successfully matched reference image may be used as the target feature vector.
  • the specific matching process includes: calculating a similarity between the second feature vector and a plurality of the preset feature vectors in a database; and the preset feature whose similarity to the second feature vector is greater than a preset threshold A vector is determined as the target feature vector.
  • the similarity can be expressed by calculating Euclidean distance, and can also be expressed by cosine similarity and the like.
  • the specific value of the preset threshold can be set according to actual needs.
  • the preset feature vector corresponding to the successfully matched reference image may be used as the target feature vector.
  • step S230 a recognition result of the image to be recognized is determined through the target feature vector.
  • the image to be identified may be identified according to the target feature vector of the reference image, and the recognition result may be determined.
  • the second feature vector of the image to be identified is fa
  • the preset feature vector of the reference image B is fb
  • the preset distance is 1 unit length. If the Euclidean distance between fa and fb is less than 1 unit length, then It is considered that the image A to be identified belongs to the same person as the reference image B, and the user corresponding to the image A to be identified can successfully log in to the application platform through face recognition.
  • steps S210 to S230 in this exemplary embodiment the accuracy of image processing can be improved, thereby ensuring system security.
  • the image processing apparatus 400 may include:
  • the feature extraction module 401 may be configured to perform feature extraction on a to-be-recognized image through multiple feature extraction models to obtain multiple first feature vectors, and fuse the multiple first feature vectors to obtain a second feature vector;
  • the matching control module 402 may be configured to match the second feature vector with a preset feature vector of a plurality of reference images to determine one of the preset feature vectors as a target feature vector;
  • the recognition control module 403 may be configured to determine a recognition result of an image to be recognized through the target feature vector.
  • modules or units of the device for action execution are mentioned in the detailed description above, this division is not mandatory.
  • the features and functions of two or more modules or units described above may be embodied in one module or unit.
  • the features and functions of a module or unit described above can be further divided into multiple modules or units to be embodied.
  • an electronic device capable of implementing the above method is also provided.
  • FIG. 5 An electronic device 500 according to such an embodiment of the present disclosure is described below with reference to FIG. 5.
  • the electronic device 500 shown in FIG. 5 is only an example, and should not impose any limitation on the functions and scope of use of the embodiments of the present disclosure.
  • the electronic device 500 is expressed in the form of a general-purpose computing device.
  • the components of the electronic device 500 may include, but are not limited to, the at least one processing unit 510, the at least one storage unit 520, and a bus 530 connecting different system components (including the storage unit 520 and the processing unit 510).
  • the storage unit stores program code, and the program code can be executed by the processing unit 510, so that the processing unit 510 executes various exemplary embodiments according to the present disclosure described in the "exemplary method" section of the present specification.
  • the processing unit 510 may perform the steps shown in FIG. 2:
  • step S210 feature extraction is performed on a to-be-recognized image through a plurality of feature extraction models to obtain a plurality of first feature vectors, and the plurality of The first feature vector is fused to obtain a second feature vector.
  • the second feature vector is matched with preset feature vectors of multiple reference images to determine one of the preset feature vectors as
  • the target feature vector determines the recognition result of the image to be recognized through the target feature vector.
  • the storage unit 520 may include a readable medium in the form of a volatile storage unit, such as a random access storage unit (RAM) 5201 and / or a cache storage unit 5202, and may further include a read-only storage unit (ROM) 5203.
  • RAM random access storage unit
  • ROM read-only storage unit
  • the storage unit 520 may also include a program / utility tool 5204 having a set (at least one) of program modules 5205.
  • program modules 5205 include, but are not limited to, an operating system, one or more application programs, other program modules, and program data. Each or some combination of these examples may include an implementation of a network environment.
  • the bus 530 may be one or more of several types of bus structures, including a memory unit bus or a memory unit controller, a peripheral bus, a graphics acceleration port, a processing unit, or a local area using any bus structure in a variety of bus structures bus.
  • the electronic device 500 may also communicate with one or more external devices 600 (such as a keyboard, pointing device, Bluetooth device, etc.), and may also communicate with one or more devices that enable a user to interact with the electronic device 500, and / or with Any device (eg, router, modem, etc.) that enables the electronic device 500 to communicate with one or more other computing devices. This communication can be performed through an input / output (I / O) interface 550.
  • the electronic device 500 may also communicate with one or more networks (such as a local area network (LAN), a wide area network (WAN), and / or a public network, such as the Internet) through the network adapter 560. As shown, the network adapter 560 communicates with other modules of the electronic device 500 through the bus 530.
  • LAN local area network
  • WAN wide area network
  • public network such as the Internet
  • the technical solution according to the embodiment of the present disclosure may be embodied in the form of a software product, which may be stored in a non-volatile storage medium (which may be a CD-ROM, a U disk, a mobile hard disk, etc.) or on a network It includes several instructions to cause a computing device (which may be a personal computer, a server, a terminal device, or a network device, etc.) to execute a method according to an embodiment of the present disclosure.
  • a computing device which may be a personal computer, a server, a terminal device, or a network device, etc.
  • a computer-readable storage medium on which a program product capable of implementing the above-mentioned method of the present specification is stored.
  • aspects of the present disclosure may also be implemented in the form of a program product, which includes program code.
  • the program product runs on a terminal device, the program code is used to make the program product
  • the terminal device performs the steps according to various exemplary embodiments of the present disclosure described in the "exemplary method" section of the present specification.
  • a program product 700 for implementing the above method according to an embodiment of the present disclosure is described, which may adopt a portable compact disc read-only memory (CD-ROM) and include program code, and may be implemented in a terminal device. For example running on a personal computer.
  • the program product of the present disclosure is not limited thereto.
  • the readable storage medium may be any tangible medium containing or storing a program, and the program may be used by or in combination with an instruction execution system, apparatus, or device.
  • the program product may employ any combination of one or more readable media.
  • the readable medium may be a readable signal medium or a readable storage medium.
  • the readable storage medium may be, for example, but is not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any combination thereof. More specific examples (non-exhaustive list) of readable storage media include: electrical connections with one or more wires, portable disks, hard disks, random access memory (RAM), read-only memory (ROM), erasable Programmable read-only memory (EPROM or flash memory), optical fiber, portable compact disk read-only memory (CD-ROM), optical storage device, magnetic storage device, or any suitable combination of the foregoing.
  • the computer-readable signal medium may include a data signal carried in baseband or propagated as part of a carrier wave, which carries readable program code. Such a propagated data signal may take many forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • the readable signal medium may also be any readable medium other than a readable storage medium, and the readable medium may send, propagate, or transmit a program for use by or in combination with an instruction execution system, apparatus, or device.
  • the program code contained on the readable medium may be transmitted using any appropriate medium, including but not limited to wireless, wired, optical fiber cable, RF, etc., or any suitable combination of the foregoing.
  • the program code for performing the operations of the present disclosure may be written in any combination of one or more programming languages, which include object-oriented programming languages—such as Java, C ++, etc.—and also include conventional procedural Programming language—such as "C" or a similar programming language.
  • the program code can be executed entirely on the user computing device, partly on the user device, as an independent software package, partly on the user computing device, partly on the remote computing device, or entirely on the remote computing device or server On.
  • the remote computing device may be connected to a user computing device through any kind of network, including a local area network (LAN) or a wide area network (WAN), or it may be connected to an external computing device (e.g., provided by using an Internet service) (Commercially connected via the Internet).
  • LAN local area network
  • WAN wide area network
  • an external computing device e.g., provided by using an Internet service
  • feature extraction is performed on a plurality of feature extraction models, and a plurality of first feature vectors are obtained to obtain a second feature vector.
  • the features of the image to be identified can be obtained more accurately, and feature extraction is improved.
  • the accuracy of the image; the first feature vector is matched with a plurality of preset feature vectors, and one of the plurality of preset feature vectors is used as the target feature vector to identify the image to be recognized through the target feature vector, which can improve the accuracy of image processing Degree to ensure system security and stability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种图像处理方法及装置、电子设备、存储介质，涉及机器学习技术领域，该方法包括：通过多个特征提取模型对待识别图像进行特征提取，得到多个第一特征向量，并对所述多个第一特征向量进行融合得到第二特征向量；将所述第二特征向量与多个参考图像的预设特征向量进行匹配，以将所述预设特征向量其中之一确定为目标特征向量；通过所述目标特征向量确定待识别图像的识别结果。本公开可以提高图像处理的准确率。

Description

图像处理方法及装置、电子设备、存储介质 技术领域
本公开涉及机器学习技术领域，具体而言，涉及一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质。
背景技术
在互联网交易过程中，为了方便用户登录网站或者是手机APP等应用，可通过人脸识别方法进行登录。
相关技术中进行人脸识别时，一般提取的是人工设计的特征例如SIFT，HOG等特征，或者是基于深度学习模型提取的特征。基于深度学习模型提取特征时，还可包括对不同的图像特征进行特征融合得到融合后的新的特征。例如通过简单的模型融合方法直接将提取出的不同特征进行求和、相乘、求平均、取最大最小等简单运算，或者是将特征进行转换，然后再融合为新特征。
但是，在上述方法中，特征提取和模型融合为两个独立步骤，即首先进行特征提取，然后进行模型融合。其中，由于特征提取方法的限制，并不能保证提取到的特征是最优的特征；而且使用相同的方法融合不同的特征，并不能保证融合后的新特征能够得到最优结果，因此会影响识别结果的精准度，从而影响系统安全性和稳定性。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的相关技术的信息。
发明内容
本公开的目的在于提供一种图像处理方法及装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的图像处理准确率低的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种图像处理方法，包括：通过多个特征提取模型对待识别图像进行特征提取，得到多个第一特征向量，并对所述多个第一特征向量进行融合得到第二特征向量；将所述第二特征向量与多个参考图像的预设特征向量进行匹配，以将所述预设特征向量其中之一确定为目标特征向量；通过所述目标特征向量确定待识别图像的识别结果。
在本公开的一种示例性实施例中，通过多个特征提取模型对待识别图像进行特征提取，得到多个第一特征向量包括：根据样本图像以及所述样本图像的初始标签对多个初始特征模型进行训练，得到多个特征提取模型；通过所述多个特征提取模型分别对所述待识别图像进行特征提取，得到与各所述特征提取模型关联的多个第一特征向量。
在本公开的一种示例性实施例中，根据样本图像以及所述样本图像的初始标签对多个初始特征模型进行训练，得到多个特征提取模型包括：根据所述样本图像及所述样本图像的初始标签对多个卷积神经网络模型进行训练，得到多个特征模型；选择所述多个特征模型中的一个作为目标模型，并将所述多个特征模型中的另一特征模型叠加至所述目标模型中进行联合训练，得到预设模型；将所述预设模型作为所述目标模型，并继续与所述多个特征模型中的剩余模型进行联合训练，直至所述多个特征模型全部进行联合训练为止，并将多个所述目标模型作为所述多个特征提取模型。
在本公开的一种示例性实施例中，根据所述样本图像及所述样本图像的初始标签对多个卷积神经网络模型进行训练，得到多个特征模型包括：
将所述样本图像和所述初始标签输入多个所述卷积神经网络模型，得到多个初始特征向量；对所述初始特征向量进行分类，得到预测标签；通过所述初始标签和所述预测标签更新各所述卷积神经网络模型的权重参数，以得到所述多个特征模型。
在本公开的一种示例性实施例中，通过所述初始标签和所述预测标签更新各所述卷积神经网络模型的权重参数包括：在各所述卷积神经网络模型中对所述初始标签和所述预测标签进行后向计算，以更新各所述卷积神经网络模型的权重参数。
在本公开的一种示例性实施例中，选择所述多个特征模型中的一个作为目标模型，并将所述多个特征模型中的另一特征模型叠加至所述目标模型中进行联合训练，得到预设模型包括：锁定所述目标模型的权重参数；对所述另一特征模型的权重参数进行调整得到目标权重参数；对所述目标权重参数和所述目标模型的权重参数进行联合调整，得到所述预设模型。
在本公开的一种示例性实施例中，通过所述多个特征提取模型分别对所述待识别图像进行特征提取，得到与各所述特征提取模型关联的多个第一特征向量包括：在各所述特征提取模型中对所述待识别图像进行前向计算，得到所述待识别图像的多个第一特征向量。
在本公开的一种示例性实施例中，对所述多个第一特征向量进行融合得到第二特征向量包括：对多个所述第一特征向量进行融合计算，以得到所述第二特征向量。
在本公开的一种示例性实施例中，将所述第二特征向量与多个预设特征向量进行匹配，并将所述预设特征向量其中之一确定为目标特征向量包括：计算所述第二特征向量和数据库中多个所述预设特征向量之间的相似度；将与所述第二特征向量的相似度大于预设阈值的所述预设特征向量确定为所述目标特征向量。
在本公开的一种示例性实施例中，将与所述第二特征向量的相似度大于预设阈值的所述预设特征向量确定为所述目标特征向量包括：计算所述第二特征向量与所述预设特征向量之间的欧式距离；如果所述欧式距离小于预设距离，则确定所述待识别图像与数据库中的参考图像相同；将所述参考图像对应的所述预设特征向量作为所述目标特征向量。
根据本公开的一个方面，提供一种图像处理装置，包括：特征提取模块，设置为通过多个特征提取模型对待识别图像进行特征提取，得到多个第一特征向量，并对所述多个第 一特征向量进行融合得到第二特征向量；匹配控制模块，设置为将所述第二特征向量与多个参考图像的预设特征向量进行匹配，以将所述预设特征向量其中之一确定为目标特征向量；识别控制模块，设置为通过所述目标特征向量确定待识别图像的识别结果。
根据本公开的一个方面，提供一种电子设备，包括：处理器；以及
存储器，设置为存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的图像处理方法。
根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的图像处理方法。
本公开示例性实施例中提供的一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质中，一方面，通过多个特征提取模型对待识别图像进行特征提取，并对得到的多个第一特征向量进行融合得到第二特征向量，能够更准确地得到待识别图像的特征，提高了特征提取的精准度；另一方面，通过第一特征向量与多个预设特征向量进行匹配将多个预设特征向量之一作为目标特征向量，以通过目标特征向量对待识别图像进行识别处理，能够提高图像处理的精准度，保证系统安全性和稳定性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中用于实现图像处理方法的系统架构示意图；
图2示意性示出本公开示例性实施例中一种图像处理方法示意图；
图3示意性示出本公开示例性实施例中特征提取过程示意图；
图4示意性示出本公开示例性实施例中一种图像处理装置的框图；
图5示意性示出本公开示例性实施例中一种电子设备的框图；
图6示意性示出本公开示例性实施例中一种程序产品。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到， 可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本示例实施方式中首先提供了一种用于实现图像处理方法的系统架构，可以应用于各种通过人脸识别方式登录网站或者浏览页面的图像识别场景。参考图1所示，该系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送请求指令等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如图片处理应用、购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本申请实施例所提供的图像处理方法一般由服务器105执行，相应地，图像处理装置一般设置于客户端101中。
基于上述系统架构100，本示例中提供了一种图像处理方法，参考图2所示，该图像处理方法可以包括以下步骤：
在步骤S210中，通过多个特征提取模型对待识别图像进行特征提取，得到多个第一特征向量，并对所述多个第一特征向量进行融合得到第二特征向量；
在步骤S220中，将所述第二特征向量与多个参考图像的预设特征向量进行匹配，以将所述预设特征向量其中之一确定为目标特征向量；
在步骤S230中，通过所述目标特征向量确定待识别图像的识别结果。
在本示例性实施例中提供的图像处理方法中，一方面，通过多个特征提取模型对待识别图像进行特征提取，并对得到的多个第一特征向量进行融合得到第二特征向量，能够更准确地得到待识别图像的特征，提高了特征提取的精准度；另一方面，通过第一特征向量 与多个预设特征向量进行匹配将多个预设特征向量之一作为目标特征向量，以通过目标特征向量对待识别图像进行识别处理，能够提高图像处理的精准度，保证系统安全性和稳定性。
接下来，结合附图对本示例性实施例中的图像处理方法进行进一步解释说明。
在步骤S210中，通过多个特征提取模型对待识别图像进行特征提取，得到多个初始特征向量，并对所述多个初始特征向量进行融合得到第一特征向量。
本示例性实施例中，待识别图像例如可以为人脸图像、动物图像或者是其他图像等等，且对待识别图像的尺寸大小、颜色像素等不作特殊限定。本示例性实施例中的应用场景颗粒如：用户登录某一应用平台或者网站时，可使用人脸识别进行登录，终端的摄像头可采集待登录用户的人脸图像，并将待登录用户的人脸图像与已经注册了该应用平台、网站的所有用户的人脸图像进行对比，以控制用户登录。在该场景中，可将待登录用户的人脸图像作为待识别图像。在对待识别图像进行识别之前，可对待识别图像进行预处理。此处的预处理过程可包括人脸图像对齐过程。该人脸对齐过程主要包括人脸检测，人脸关键点定位，然后将所有图像中检测到的人脸关键点尽可能的和预设的人脸关键点位置重合，最后从图像中切割出人脸区域并将人脸区域的分辨率调整至预定大小，如224×224。接下来可对预处理后的待识别图像进行具体操作。
多个特征提取模型指的是训练好的最终的特征提取模型，具体可对多个初始特征模型分别进行训练得到。初始特征模型的数量可根据实际需求进行设置，一般而言，在一定数量下，模型数量越多，得到的特征向量越多，提取的特征越准确，得到的最终识别率也越高。
可通过合适的机器学习算法或其他算法对每个初始特征模型进行训练，此处以神经网络算法为例进行说明。具体而言，每个初始特征模型均可以为卷积神经网络模型，且所有卷积神经网络模型可以为结构相同，权重参数不同的多个网络；也可以为结构不同且权重参数不同的多个网络。
在本示例性实施例中，可通过多个训练好的特征提取模型分别提取待识别图像的特征，得到多个不同或者是相同的第一特征向量。例如，特征提取模型1对应第一特征向量f1，特征提取模型2对应第一特征向量f2等等。
具体来说，可根据样本图像以及所述样本图像的初始标签对多个初始特征模型进行训练，得到多个特征提取模型；进而通过所述多个特征提取模型分别对所述待识别图像进行特征提取，得到与各所述特征提取模型关联的多个第一特征向量。样本图像例如可以为现有的具有能够跟其他人区分开的标签的多个人脸图像，例如数据集D＝{(X 1,Y 1)，(X 2,Y 2)，…，(Xn,Yn)}中的多个人脸图像。其中X 1至X n指的是多个样本图像，Y 1至Y n指的是每个样本图像对应的初始标签。多个卷积神经网络模型例如可以包括卷积神经网络N 1至卷积神经网络N x，可将数据集D中的多个样本图像和样本图像对应的初始标签循环依次输入网络N 1至网络N x，以得到每个网络对应的特征提取模型，例如通过对卷积神经 网络N 1进行训练得到特征提取模型1，通过对卷积神经网络N 2进行训练得到特征提取模型2等。
具体而言，根据样本图像以及样本图像的初始标签对多个初始特征模型进行训练，得到多个特征提取模型的过程包括以下步骤：第一步，根据所述样本图像及所述样本图像的初始标签对多个卷积神经网络模型进行训练，得到多个特征模型。其中，首先可将所述样本图像和所述初始标签输入多个所述卷积神经网络模型，得到各所述卷积神经网络模型对应的初始特征向量；对所述初始特征向量进行分类，得到预测标签；通过所述初始标签和所述预测标签更新各所述卷积神经网络模型的权重参数，以得到所述多个特征模型。
本示例性实施例中，可基于目标任务将样本图像和样本图像的初始标签输入多个卷积神经网络模型，对多个卷积神经网络模型进行训练，由此可以得到多个初始特征向量。目标任务指的是由人脸识别任务确定的目标损失函数。接下来可对初始特征向量进行分类得到样本图像的预测标签，预测标签可与初始标签相同，也可以不同。在一实施例中，可在卷积神经网络模型中对所述初始标签和所述预测标签进行后向计算，以更新各所述卷积神经网络模型的权重参数，从而得到所述多个特征模型。其中，特征模型指的就是每一个卷积神经网络模型的权重参数更新之后的模型。
第二步，可选择所述多个特征模型中的一个作为目标模型，并将所述多个特征模型中的另一特征模型叠加至所述目标模型中进行联合训练，得到预设模型。也就是说，多个特征模型例如可包括特征模型1，特征模型2，特征模型3以及特征模型4。其中，特征模型1是卷积神经网络模型1更新权重参数后的模型，特征模型2是卷积神经网络模型2更新权重参数后的模型，特征模型3是卷积神经网络模型3更新权重参数后的模型，特征模型4是卷积神经网络模型4更新权重参数后的模型。可将多个特征模型中的任意一个作为目标模型，该目标模型即为一个训练好的特征提取模型，例如可将特征模型1作为目标模型。接下来，可以依次将多个特征模型中的另一特征模型叠加至确定的目标模型中进行联合训练，得到预设模型。其中，另一特征模型可以为特征模型2、特征模型3、特征模型4中的任意一个。预设模型指的是确定的目标模型以及另一特征模型联合训练得到的新的目标模型。也就是说，迭代次数每增加一次，联合训练的模型的数量也增加一个，目标模型以及预设模型也会根据联合训练的模型进行更新。例如，可先将特征模型2添加至目标模型进行第一次联合训练，得到预设模型。
在进行联合训练得到预设模型时，需要锁定所述目标模型的权重参数；对所述另一特征模型的权重参数进行调整得到目标权重参数；对所述目标权重参数和所述目标模型的权重参数进行调整，得到所述预设模型。也就是说，先保持目标模型的权重参数不变，只调整特征模型2的权重参数直至收敛，在一实施例中，可对目标模型的权重参数以及调整后的特征模型2的权重参数继续进行联合调整，直至收敛，得到预设模型。
第三步，可将所述预设模型作为所述目标模型，并继续与所述多个特征模型中的剩余模型进行联合训练，直至所述多个特征模型全部进行联合训练为止。也就是说，在目标模 型的基础上，可将多个特征模型的剩余模型中的任意一个与目标模型进行联合训练，直至多个特征模型全部进行联合训练为止。例如，将第一次联合训练得到的预设模型作为新的目标模型，将剩余模型中的特征模型3添加至新的目标模型进行第二次联合训练，重新得到预设模型。按照以上方法依次对特征模型中的剩余模型进行联合训练，直至所有的特征模型均进行过联合训练为止，如此一来，可得到多个目标模型，且均可以将这些目标模型作为最终的多个特征提取模型进行图像识别。
举例而言，根据第一步至第三步的步骤，可将数据集D中的样本图像X和其标签Y，输入卷积神经网络模型N 1，该模型的权重参数为θ 1，X在网络N 1中前向计算得到初始特征向量F1，此外还需要一个分类函数c以及权重参数γ，初始特征向量F1经过分类函数c得到预测标签
Figure PCTCN2019090013-appb-000001
如公式(1)所示：
Figure PCTCN2019090013-appb-000002
根据预设的损失函数L得到损失
Figure PCTCN2019090013-appb-000003
计算权重参数γ、权重参数θ 1、梯度
Figure PCTCN2019090013-appb-000004
和
Figure PCTCN2019090013-appb-000005
并对权重参数γ和θ 1进行更新，更新后的权重参数
Figure PCTCN2019090013-appb-000006
和
Figure PCTCN2019090013-appb-000007
如公式(2)所示：
Figure PCTCN2019090013-appb-000008
接下来，可在已更新的目标模型，即调整权重参数后的卷积神经网络模型N 1的基础上，结合特征融合方法Γ，添加并训练特征模型2，即调整权重参数后的卷积神经网络模型N 2。训练时首先固定已完成的目标模型的所有权重参数θ 1，只调整网络N 2的权重参数θ 2，然后再两者一起调整得到目前最优的权重参数。具体来说，迭代输入样本图像X和其标签Y，网络N 1权重参数为θ 1，网络N 2权重参数为θ 2，分类函数c，权重参数γ，对样本图像X在网络N 1中进行前向计算得到初始特征向量F1，对样本图像X在网络N 2中进行前向计算得到初始特征向量F2，即公式(3)所示：
Figure PCTCN2019090013-appb-000009
在一实施例中，可根据特征融合算法对得到的样本图像的多个初始特征向量进行融合，得到预测标签
Figure PCTCN2019090013-appb-000010
根据损失函数L得到损失
Figure PCTCN2019090013-appb-000011
接下来，可固定网络N 1的权重参数θ 1不变，计算γ，θ 2梯度
Figure PCTCN2019090013-appb-000012
和
Figure PCTCN2019090013-appb-000013
并将权重参数γ，θ 2更新为
Figure PCTCN2019090013-appb-000014
和
Figure PCTCN2019090013-appb-000015
直至收敛；然后同时更新参数γ，θ 1，θ 2，直至收敛。不断在更新权重参数后的网络N 1，N 2，……，N x的基础上，加入特征模型N x+1以进行模型训练，直至达到最优结果或者最大特征提取网络数量，最终的流程结构如图2所示，将得到多个目标模型作为最终的多个特征提取模型对待识别图像进行特征提取。
在确定多个特征提取模型之后，可执行步骤S110中的步骤，即通过多个特征提取模 型对待识别图像进行特征提取，具体可在多个特征提取模型中对所述待识别图像进行前向计算，得到所述待识别图像的多个第一特征向量例如f1,f2,…fn，并对所述多个第一特征向量进行融合得到第二特征向量。其中，可采用特征融合算法可包括对所有第一特征向量进行求和运算，得到第二特征向量，该第二特征向量可为融合特征向量f＝Γ(f 1,f 2,...,f x+1)。除此之外，还可采用相乘、求平均、取最大最小等其他融合算法对多个第一特征向量进行融合，得到第二特征向量。需要说明的是，可将第二特征向量看作是待识别图像的最优特征向量。通过对多个特征模型进行训练并对得到的多个第一特征向量进行融合，具有全局最优性，能够提高提取的特征向量的精准度，进而提高图像识别效果。
接下来，在步骤S220中，将所述第二特征向量与多个参考图像的预设特征向量进行匹配，以将所述预设特征向量其中之一确定为目标特征向量。
本示例性实施例中，用户使用人脸识别登录某一应用平台或者网站时，可将待登录用户的人脸图像作为待识别图像，将已经注册了该应用平台、网站的所有用户的人脸图像作为参考图像。同时可使用得到的特征提取模型对所有参考图像进行特征提取，得到多个预设特征向量。接下来，可将待识别图像的第二特征向量与多个参考图像的预设特征向量进行匹配计算，将匹配成功的参考图像的预设特征向量作为目标特征向量。
具体匹配过程包括：计算所述第二特征向量和数据库中多个所述预设特征向量之间的相似度；将与所述第二特征向量的相似度大于预设阈值的所述预设特征向量确定为所述目标特征向量。其中，相似度可通过计算欧式距离来表示，也可以用余弦相似度等来表示。预设阈值的具体数值可根据实际需求进行设置。
如果第二特征向量与预设特征向量之间的欧式距离小于预设距离，则确定所述待识别图像与数据库中的参考图像相同，二者属于同一个人，此时可确定待识别图像与参考图像配成功，则可将匹配成功的参考图像对应的预设特征向量作为目标特征向量。
在步骤S230中，通过所述目标特征向量确定待识别图像的识别结果。
在待识别图像与参考图像匹配成功后，可根据该参考图像的目标特征向量对待识别图像进行识别，并确定识别结果。例如，待识别图像A的第二特征向量为fa，参考图像B的预设特征向量为fb，预设距离为1个单位长度，如果fa与fb之间的欧式距离小于1个单位长度，则认为待识别图像A与参考图像B属于同一个人，则待识别图像A对应的用户可通过人脸识别方式成功登录应用平台。
通过本示例性实施例中的步骤S210至步骤S230，可提高图像处理的精准度，从而保障系统安全。
本公开还提供了一种图像处理装置。参考图4所示，该图像处理装置400可以包括：
特征提取模块401，可以设置为通过多个特征提取模型对待识别图像进行特征提取，得到多个第一特征向量，并对所述多个第一特征向量进行融合得到第二特征向量；
匹配控制模块402，可以设置为将所述第二特征向量与多个参考图像的预设特征向量 进行匹配，以将所述预设特征向量其中之一确定为目标特征向量；
识别控制模块403，可以设置为通过所述目标特征向量确定待识别图像的识别结果。
需要说明的是，上述图像处理装置中各模块的具体细节已经在对应的图像处理方法中进行了详细描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图5来描述根据本公开的这种实施方式的电子设备500。图5显示的电子设备500仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元510可以执行如图2中所示的步骤：在步骤S210中，通过多个特征提取模型对待识别图像进行特征提取，得到多个第一特征向量，并对所述多个第一特征向量进行融合得到第二特征向量；在步骤S220中，将所述第二特征向量与多个参考图像的预设特征向量进行匹配，以将所述预设特征向量其中之一确定为目标特征向量在步骤S230中，通过所述目标特征向量确定待识别图像的识别结果。
存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(ROM)5203。
存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备500也可以与一个或多个外部设备600(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且，电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器560通过总线530与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
参考图6所示，描述了根据本公开的实施方式的用于实现上述方法的程序产品700，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承 载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
工业实用性
本公开实施例通过多个特征提取模型对待识别图像进行特征提取，并对得到的多个第一特征向量进行融合得到第二特征向量，能够更准确地得到待识别图像的特征，提高了特征提取的精准度；通过第一特征向量与多个预设特征向量进行匹配将多个预设特征向量之一作为目标特征向量，以通过目标特征向量对待识别图像进行识别处理，能够提高图像处理的精准度，保证系统安全性和稳定性。

Claims (13)

  1. 一种图像处理方法，其中，包括：
    通过多个特征提取模型对待识别图像进行特征提取，得到多个第一特征向量，并对所述多个第一特征向量进行融合得到第二特征向量；
    将所述第二特征向量与多个参考图像的预设特征向量进行匹配，以将所述预设特征向量其中之一确定为目标特征向量；
    通过所述目标特征向量确定待识别图像的识别结果。
  2. 根据权利要求1所述的图像处理方法，其中，通过多个特征提取模型对待识别图像进行特征提取，得到多个第一特征向量包括：
    根据样本图像以及所述样本图像的初始标签对多个初始特征模型进行联合训练，得到多个特征提取模型；
    通过所述多个特征提取模型分别对所述待识别图像进行特征提取，得到与各所述特征提取模型关联的多个第一特征向量。
  3. 根据权利要求2所述的图像处理方法，其中，根据样本图像以及所述样本图像的初始标签对多个初始特征模型进行训练，得到多个特征提取模型包括：
    根据所述样本图像及所述样本图像的初始标签对多个卷积神经网络模型进行训练，得到多个特征模型；
    选择所述多个特征模型中的一个作为目标模型，并将所述多个特征模型中的另一特征模型叠加至所述目标模型中进行联合训练，得到预设模型；
    将所述预设模型作为所述目标模型，并继续与所述多个特征模型中的剩余模型进行联合训练，直至所述多个特征模型全部进行联合训练为止，并将多个所述目标模型作为所述多个特征提取模型。
  4. 根据权利要求3所述的图像处理方法，其中，根据所述样本图像及所述样本图像的初始标签对多个卷积神经网络模型进行训练，得到多个特征模型包括：
    将所述样本图像和所述初始标签输入多个所述卷积神经网络模型，得到多个初始特征向量；
    对所述多个初始特征向量进行分类，得到预测标签；
    通过所述初始标签和所述预测标签更新各所述卷积神经网络模型的权重参数，以得到所述多个特征模型。
  5. 根据权利要求4所述的图像处理方法，其中，通过所述初始标签和所述预测标签更新各所述卷积神经网络模型的权重参数包括：
    在各所述卷积神经网络模型中对所述初始标签和所述预测标签进行后向计算，以更新各所述卷积神经网络模型的权重参数。
  6. 根据权利要求3所述的图像处理方法，其中，选择所述多个特征模型中的一个作 为目标模型，并将所述多个特征模型中的另一特征模型叠加至所述目标模型中进行联合训练，得到预设模型包括：
    锁定所述目标模型的权重参数；
    对所述另一特征模型的权重参数进行调整得到目标权重参数；
    对所述目标权重参数和所述目标模型的权重参数进行联合调整，得到所述预设模型。
  7. 根据权利要求1所述的图像处理方法，其中，通过所述多个特征提取模型分别对所述待识别图像进行特征提取，得到与各所述特征提取模型关联的多个第一特征向量包括：
    在各所述特征提取模型中对所述待识别图像进行前向计算，得到所述待识别图像的多个第一特征向量。
  8. 根据权利要求1所述的图像处理方法，其中，对所述多个第一特征向量进行融合得到第二特征向量包括：
    对多个所述第一特征向量进行融合计算，以得到所述第二特征向量。
  9. 根据权利要求1所述的图像处理方法，其中，将所述第二特征向量与多个预设特征向量进行匹配，并将所述预设特征向量其中之一确定为目标特征向量包括：
    计算所述第二特征向量和数据库中多个所述预设特征向量之间的相似度；
    将与所述第二特征向量的相似度大于预设阈值的所述预设特征向量确定为所述目标特征向量。
  10. 根据权利要求9所述的图像处理方法，其中，将与所述第二特征向量的相似度大于预设阈值的所述预设特征向量确定为所述目标特征向量包括：
    计算所述第二特征向量与所述预设特征向量之间的欧式距离；
    如果所述欧式距离小于预设距离，则确定所述待识别图像与数据库中的参考图像相同；
    将所述参考图像对应的所述预设特征向量作为所述目标特征向量。
  11. 一种图像处理装置，其中，包括：
    特征提取模块，设置为通过多个特征提取模型对待识别图像进行特征提取，得到多个第一特征向量，并对所述多个第一特征向量进行融合得到第二特征向量；
    匹配控制模块，设置为将所述第二特征向量与多个参考图像的预设特征向量进行匹配，以将所述预设特征向量其中之一确定为目标特征向量；
    识别控制模块，设置为通过所述目标特征向量确定待识别图像的识别结果。
  12. 一种电子设备，其中，包括：
    处理器；以及
    存储器，设置为存储所述处理器的可执行指令；
    其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-10任意一项所述的图像处理方法。
  13. 一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-10任意一项所述的图像处理方法。
PCT/CN2019/090013 2018-06-04 2019-06-04 图像处理方法及装置、电子设备、存储介质 WO2019233421A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810565733.8 2018-06-04
CN201810565733.8A CN108776787B (zh) 2018-06-04 2018-06-04 图像处理方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
WO2019233421A1 true WO2019233421A1 (zh) 2019-12-12

Family

ID=64024559

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/090013 WO2019233421A1 (zh) 2018-06-04 2019-06-04 图像处理方法及装置、电子设备、存储介质

Country Status (2)

Country Link
CN (1) CN108776787B (zh)
WO (1) WO2019233421A1 (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191065A (zh) * 2019-12-18 2020-05-22 海尔优家智能科技（北京）有限公司 一种同源图像确定方法及装置
CN111209878A (zh) * 2020-01-10 2020-05-29 公安部户政管理研究中心 跨年龄人脸识别方法及装置
CN111368685A (zh) * 2020-02-27 2020-07-03 北京字节跳动网络技术有限公司 关键点的识别方法、装置、可读介质和电子设备
CN111382796A (zh) * 2020-03-09 2020-07-07 广东博智林机器人有限公司 图像特征的提取方法、装置、设备及存储介质
CN111460909A (zh) * 2020-03-09 2020-07-28 兰剑智能科技股份有限公司 基于视觉的货位管理方法和装置
CN111553436A (zh) * 2020-04-30 2020-08-18 上海鹰瞳医疗科技有限公司 训练数据生成方法、模型训练方法及设备
CN111582358A (zh) * 2020-04-30 2020-08-25 上海添玑网络服务有限公司 户型识别模型的训练方法及装置、户型判重的方法及装置
CN111611420A (zh) * 2020-05-26 2020-09-01 北京字节跳动网络技术有限公司 用于生成图像描述信息的方法和装置
CN111639653A (zh) * 2020-05-08 2020-09-08 浙江大华技术股份有限公司 一种误检图像确定方法、装置、设备和介质
CN111754518A (zh) * 2020-05-13 2020-10-09 北京迈格威科技有限公司 图像集合的扩充方法、装置及电子设备
CN111767461A (zh) * 2020-06-24 2020-10-13 北京奇艺世纪科技有限公司 数据处理方法及装置
CN111783609A (zh) * 2020-06-28 2020-10-16 北京百度网讯科技有限公司 行人再识别的方法、装置、设备和计算机可读存储介质
CN111797733A (zh) * 2020-06-22 2020-10-20 浙江大华技术股份有限公司 一种基于图像的行为识别方法、装置、设备和存储介质
CN112036507A (zh) * 2020-09-25 2020-12-04 北京小米松果电子有限公司 图像识别模型的训练方法、装置、存储介质和电子设备
CN112329916A (zh) * 2020-10-27 2021-02-05 上海眼控科技股份有限公司 模型训练方法、装置、计算机设备及存储介质
CN112434731A (zh) * 2020-11-16 2021-03-02 北京工业大学 图像识别方法、装置及可读存储介质
CN112464943A (zh) * 2020-11-25 2021-03-09 创新奇智(南京)科技有限公司 基于少样本的语义分割方法及装置、电子设备、存储介质
CN112529009A (zh) * 2020-12-07 2021-03-19 苏州中德双智科创发展有限公司 一种图像特征的挖掘方法、装置、存储介质及电子设备
CN112580666A (zh) * 2020-12-18 2021-03-30 北京百度网讯科技有限公司 图像特征的提取方法、训练方法、装置、电子设备及介质
CN112749691A (zh) * 2020-06-16 2021-05-04 腾讯科技（深圳）有限公司 图像处理方法及相关设备
CN112949488A (zh) * 2021-03-01 2021-06-11 北京京东振世信息技术有限公司 图片信息处理方法及装置、计算机存储介质、电子设备
CN113111776A (zh) * 2021-04-12 2021-07-13 京东数字科技控股股份有限公司 对抗样本的生成方法、装置、设备及存储介质
CN113177449A (zh) * 2021-04-20 2021-07-27 北京百度网讯科技有限公司 人脸识别的方法、装置、计算机设备及存储介质
CN113254683A (zh) * 2020-02-07 2021-08-13 阿里巴巴集团控股有限公司 数据处理方法及装置、标签识别方法及装置
CN113327195A (zh) * 2021-04-09 2021-08-31 中科创达软件股份有限公司 图像处理、图像处理模型训练、图像模式识别方法和装置
CN113344027A (zh) * 2021-05-10 2021-09-03 北京迈格威科技有限公司 一种图像中对象的检索方法、装置、设备和存储介质
CN113408802A (zh) * 2021-06-22 2021-09-17 南方电网数字电网研究院有限公司 能耗预测网络的训练、能耗预测方法、装置和计算机设备
CN113642654A (zh) * 2021-08-16 2021-11-12 北京百度网讯科技有限公司 图像特征的融合方法、装置、电子设备和存储介质
CN114463584A (zh) * 2022-01-29 2022-05-10 北京百度网讯科技有限公司 图像处理、模型训练方法、装置、设备、存储介质及程序
CN114550156A (zh) * 2022-02-18 2022-05-27 支付宝(杭州)信息技术有限公司 图像处理方法及装置
CN114757304A (zh) * 2022-06-10 2022-07-15 北京芯盾时代科技有限公司 一种数据识别方法、装置、设备及存储介质
CN114863162A (zh) * 2022-03-28 2022-08-05 北京百度网讯科技有限公司 对象分类方法、深度学习模型的训练方法、装置和设备
CN115578584A (zh) * 2022-09-30 2023-01-06 北京百度网讯科技有限公司 图像处理方法、图像处理模型的构建和训练方法
CN116415377A (zh) * 2023-06-12 2023-07-11 陕西空天信息技术有限公司 叶盘模型生成方法及装置、电子设备、存储介质
CN116433939A (zh) * 2023-04-18 2023-07-14 北京百度网讯科技有限公司 样本图像生成方法、训练方法、识别方法以及装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776787B (zh) * 2018-06-04 2020-09-29 京东数字科技控股有限公司 图像处理方法及装置、电子设备、存储介质
CN109754414A (zh) * 2018-12-27 2019-05-14 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110059924A (zh) * 2019-03-13 2019-07-26 平安城市建设科技(深圳)有限公司 合同条款的审查方法、装置、设备及计算机可读存储介质
CN109947971B (zh) * 2019-03-18 2023-04-18 Oppo广东移动通信有限公司 图像检索方法、装置、电子设备及存储介质
CN109977832B (zh) * 2019-03-19 2024-03-29 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
CN110188613A (zh) * 2019-04-28 2019-08-30 上海鹰瞳医疗科技有限公司 图像分类方法及设备
CN110458052B (zh) * 2019-07-25 2023-04-07 Oppo广东移动通信有限公司 基于增强现实的目标对象识别方法、装置、设备、介质
CN110659579B (zh) * 2019-08-23 2024-05-03 平安科技（深圳）有限公司 变质物品识别方法、装置、设备和介质
CN110728287A (zh) * 2019-10-10 2020-01-24 深圳铂石空间科技有限公司 图像识别方法及装置、电子设备、存储介质
WO2021078133A1 (en) * 2019-10-24 2021-04-29 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for image processing
CN110866908B (zh) * 2019-11-12 2021-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
CN111144294A (zh) * 2019-12-26 2020-05-12 上海眼控科技股份有限公司 目标识别方法、装置、计算机设备及可读存储介质
CN111310664B (zh) * 2020-02-18 2022-11-22 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111898658B (zh) * 2020-07-15 2023-03-24 北京字节跳动网络技术有限公司 图像分类方法、装置和电子设备
CN112101448B (zh) * 2020-09-10 2021-09-21 敬科(深圳)机器人科技有限公司 一种屏幕图像识别方法、设备、系统和可读存储介质
CN112712066B (zh) * 2021-01-19 2023-02-28 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN113065576A (zh) * 2021-02-26 2021-07-02 华为技术有限公司 一种特征提取的方法以及装置
CN113313086B (zh) * 2021-07-28 2021-10-29 长沙海信智能系统研究院有限公司 特征向量转换模型处理方法、装置、服务器及存储介质
CN114581924A (zh) * 2022-03-01 2022-06-03 苏州阿尔脉生物科技有限公司 化学反应流程图中元素的提取方法及装置
CN115757692A (zh) * 2022-10-20 2023-03-07 华为技术有限公司 一种数据处理方法及其装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022317A (zh) * 2016-06-27 2016-10-12 北京小米移动软件有限公司 人脸识别方法及装置
CN107194341A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 Maxout多卷积神经网络融合人脸识别方法和系统
CN107844781A (zh) * 2017-11-28 2018-03-27 腾讯科技（深圳）有限公司 人脸属性识别方法及装置、电子设备及存储介质
CN107871101A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 一种人脸检测方法及装置
KR20180037436A (ko) * 2016-10-04 2018-04-12 한화테크윈 주식회사 다중 크기 컨볼루션 블록 층을 이용한 얼굴 인식 장치
CN108776787A (zh) * 2018-06-04 2018-11-09 北京京东金融科技控股有限公司 图像处理方法及装置、电子设备、存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6826300B2 (en) * 2001-05-31 2004-11-30 George Mason University Feature based classification
CN106250812B (zh) * 2016-07-15 2019-08-20 汤一平 一种基于快速r-cnn深度神经网络的车型识别方法
CN107423690B (zh) * 2017-06-26 2020-11-13 广东工业大学 一种人脸识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022317A (zh) * 2016-06-27 2016-10-12 北京小米移动软件有限公司 人脸识别方法及装置
CN107871101A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 一种人脸检测方法及装置
KR20180037436A (ko) * 2016-10-04 2018-04-12 한화테크윈 주식회사 다중 크기 컨볼루션 블록 층을 이용한 얼굴 인식 장치
CN107194341A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 Maxout多卷积神经网络融合人脸识别方法和系统
CN107844781A (zh) * 2017-11-28 2018-03-27 腾讯科技（深圳）有限公司 人脸属性识别方法及装置、电子设备及存储介质
CN108776787A (zh) * 2018-06-04 2018-11-09 北京京东金融科技控股有限公司 图像处理方法及装置、电子设备、存储介质

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191065B (zh) * 2019-12-18 2023-10-31 海尔优家智能科技（北京）有限公司 一种同源图像确定方法及装置
CN111191065A (zh) * 2019-12-18 2020-05-22 海尔优家智能科技（北京）有限公司 一种同源图像确定方法及装置
CN111209878A (zh) * 2020-01-10 2020-05-29 公安部户政管理研究中心 跨年龄人脸识别方法及装置
CN113254683B (zh) * 2020-02-07 2024-04-16 阿里巴巴集团控股有限公司 数据处理方法及装置、标签识别方法及装置
CN113254683A (zh) * 2020-02-07 2021-08-13 阿里巴巴集团控股有限公司 数据处理方法及装置、标签识别方法及装置
CN111368685B (zh) * 2020-02-27 2023-09-29 北京字节跳动网络技术有限公司 关键点的识别方法、装置、可读介质和电子设备
CN111368685A (zh) * 2020-02-27 2020-07-03 北京字节跳动网络技术有限公司 关键点的识别方法、装置、可读介质和电子设备
CN111382796A (zh) * 2020-03-09 2020-07-07 广东博智林机器人有限公司 图像特征的提取方法、装置、设备及存储介质
CN111460909A (zh) * 2020-03-09 2020-07-28 兰剑智能科技股份有限公司 基于视觉的货位管理方法和装置
CN111582358A (zh) * 2020-04-30 2020-08-25 上海添玑网络服务有限公司 户型识别模型的训练方法及装置、户型判重的方法及装置
CN111553436A (zh) * 2020-04-30 2020-08-18 上海鹰瞳医疗科技有限公司 训练数据生成方法、模型训练方法及设备
CN111553436B (zh) * 2020-04-30 2024-03-22 上海鹰瞳医疗科技有限公司 训练数据生成方法、模型训练方法及设备
CN111582358B (zh) * 2020-04-30 2024-05-10 上海添玑网络服务有限公司 户型识别模型的训练方法及装置、户型判重的方法及装置
CN111639653A (zh) * 2020-05-08 2020-09-08 浙江大华技术股份有限公司 一种误检图像确定方法、装置、设备和介质
CN111639653B (zh) * 2020-05-08 2023-10-10 浙江大华技术股份有限公司 一种误检图像确定方法、装置、设备和介质
CN111754518A (zh) * 2020-05-13 2020-10-09 北京迈格威科技有限公司 图像集合的扩充方法、装置及电子设备
CN111754518B (zh) * 2020-05-13 2024-01-05 北京迈格威科技有限公司 图像集合的扩充方法、装置及电子设备
CN111611420B (zh) * 2020-05-26 2024-01-23 北京字节跳动网络技术有限公司 用于生成图像描述信息的方法和装置
CN111611420A (zh) * 2020-05-26 2020-09-01 北京字节跳动网络技术有限公司 用于生成图像描述信息的方法和装置
CN112749691A (zh) * 2020-06-16 2021-05-04 腾讯科技（深圳）有限公司 图像处理方法及相关设备
CN111797733A (zh) * 2020-06-22 2020-10-20 浙江大华技术股份有限公司 一种基于图像的行为识别方法、装置、设备和存储介质
CN111767461A (zh) * 2020-06-24 2020-10-13 北京奇艺世纪科技有限公司 数据处理方法及装置
CN111767461B (zh) * 2020-06-24 2024-02-06 北京奇艺世纪科技有限公司 数据处理方法及装置
CN111783609A (zh) * 2020-06-28 2020-10-16 北京百度网讯科技有限公司 行人再识别的方法、装置、设备和计算机可读存储介质
CN112036507A (zh) * 2020-09-25 2020-12-04 北京小米松果电子有限公司 图像识别模型的训练方法、装置、存储介质和电子设备
CN112036507B (zh) * 2020-09-25 2023-11-14 北京小米松果电子有限公司 图像识别模型的训练方法、装置、存储介质和电子设备
CN112329916A (zh) * 2020-10-27 2021-02-05 上海眼控科技股份有限公司 模型训练方法、装置、计算机设备及存储介质
CN112434731B (zh) * 2020-11-16 2024-05-24 北京工业大学 图像识别方法、装置及可读存储介质
CN112434731A (zh) * 2020-11-16 2021-03-02 北京工业大学 图像识别方法、装置及可读存储介质
CN112464943A (zh) * 2020-11-25 2021-03-09 创新奇智(南京)科技有限公司 基于少样本的语义分割方法及装置、电子设备、存储介质
CN112529009A (zh) * 2020-12-07 2021-03-19 苏州中德双智科创发展有限公司 一种图像特征的挖掘方法、装置、存储介质及电子设备
CN112529009B (zh) * 2020-12-07 2023-09-12 苏州律点信息科技有限公司 一种图像特征的挖掘方法、装置、存储介质及电子设备
CN112580666A (zh) * 2020-12-18 2021-03-30 北京百度网讯科技有限公司 图像特征的提取方法、训练方法、装置、电子设备及介质
CN112949488B (zh) * 2021-03-01 2023-09-01 北京京东振世信息技术有限公司 图片信息处理方法及装置、计算机存储介质、电子设备
CN112949488A (zh) * 2021-03-01 2021-06-11 北京京东振世信息技术有限公司 图片信息处理方法及装置、计算机存储介质、电子设备
CN113327195A (zh) * 2021-04-09 2021-08-31 中科创达软件股份有限公司 图像处理、图像处理模型训练、图像模式识别方法和装置
CN113111776A (zh) * 2021-04-12 2021-07-13 京东数字科技控股股份有限公司 对抗样本的生成方法、装置、设备及存储介质
CN113177449B (zh) * 2021-04-20 2024-02-02 北京百度网讯科技有限公司 人脸识别的方法、装置、计算机设备及存储介质
CN113177449A (zh) * 2021-04-20 2021-07-27 北京百度网讯科技有限公司 人脸识别的方法、装置、计算机设备及存储介质
CN113344027B (zh) * 2021-05-10 2024-04-23 北京迈格威科技有限公司 一种图像中对象的检索方法、装置、设备和存储介质
CN113344027A (zh) * 2021-05-10 2021-09-03 北京迈格威科技有限公司 一种图像中对象的检索方法、装置、设备和存储介质
CN113408802B (zh) * 2021-06-22 2022-11-25 南方电网数字电网研究院有限公司 能耗预测网络的训练、能耗预测方法、装置和计算机设备
CN113408802A (zh) * 2021-06-22 2021-09-17 南方电网数字电网研究院有限公司 能耗预测网络的训练、能耗预测方法、装置和计算机设备
CN113642654A (zh) * 2021-08-16 2021-11-12 北京百度网讯科技有限公司 图像特征的融合方法、装置、电子设备和存储介质
CN114463584A (zh) * 2022-01-29 2022-05-10 北京百度网讯科技有限公司 图像处理、模型训练方法、装置、设备、存储介质及程序
CN114463584B (zh) * 2022-01-29 2023-03-24 北京百度网讯科技有限公司 图像处理、模型训练方法、装置、设备、存储介质及程序
CN114550156A (zh) * 2022-02-18 2022-05-27 支付宝(杭州)信息技术有限公司 图像处理方法及装置
CN114863162A (zh) * 2022-03-28 2022-08-05 北京百度网讯科技有限公司 对象分类方法、深度学习模型的训练方法、装置和设备
CN114757304A (zh) * 2022-06-10 2022-07-15 北京芯盾时代科技有限公司 一种数据识别方法、装置、设备及存储介质
CN115578584A (zh) * 2022-09-30 2023-01-06 北京百度网讯科技有限公司 图像处理方法、图像处理模型的构建和训练方法
CN115578584B (zh) * 2022-09-30 2023-08-29 北京百度网讯科技有限公司 图像处理方法、图像处理模型的构建和训练方法
CN116433939B (zh) * 2023-04-18 2024-02-20 北京百度网讯科技有限公司 样本图像生成方法、训练方法、识别方法以及装置
CN116433939A (zh) * 2023-04-18 2023-07-14 北京百度网讯科技有限公司 样本图像生成方法、训练方法、识别方法以及装置
CN116415377B (zh) * 2023-06-12 2023-09-01 陕西空天信息技术有限公司 叶盘模型生成方法及装置、电子设备、存储介质
CN116415377A (zh) * 2023-06-12 2023-07-11 陕西空天信息技术有限公司 叶盘模型生成方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN108776787A (zh) 2018-11-09
CN108776787B (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
WO2019233421A1 (zh) 图像处理方法及装置、电子设备、存储介质
US11176423B2 (en) Edge-based adaptive machine learning for object recognition
US11914962B2 (en) Reduced training intent recognition techniques
US11727053B2 (en) Entity recognition from an image
US11625433B2 (en) Method and apparatus for searching video segment, device, and medium
CN109086834B (zh) 字符识别方法、装置、电子设备及存储介质
US20220417339A1 (en) Feature-based network embedding
US11429890B2 (en) Dynamic pattern recognition and data reconciliation
US11586838B2 (en) End-to-end fuzzy entity matching
CN113902956B (zh) 融合模型的训练方法、图像融合方法、装置、设备及介质
CN112507090A (zh) 用于输出信息的方法、装置、设备和存储介质
CN113657249B (zh) 训练方法、预测方法、装置、电子设备以及存储介质
CN111797204A (zh) 文本匹配方法、装置、计算机设备及存储介质
CN114187486A (zh) 模型训练方法及相关设备
US11593740B1 (en) Computing system for automated evaluation of process workflows
CN115457365A (zh) 一种模型的解释方法、装置、电子设备及存储介质
CN110516717B (zh) 用于生成图像识别模型的方法和装置
CN117854156B (zh) 一种特征提取模型的训练方法和相关装置
US20240193432A1 (en) Systems and methods for federated validation of models
US12001984B2 (en) Enhanced user selection for communication workflows using machine-learning techniques
WO2024007938A1 (zh) 一种多任务预测方法、装置、电子设备及存储介质
CN113781052A (zh) 一种反洗钱监控方法、装置、设备及存储介质
CN114926713A (zh) 样本图像数据生成方法、模型的训练方法和装置
CN117058739A (zh) 一种人脸聚类更新方法及装置
CN115905263A (zh) 向量数据库的更新方法及基于向量数据库的人脸识别方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19814190

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19814190

Country of ref document: EP

Kind code of ref document: A1