WO2021036309A1 - 图像识别方法、装置、计算机装置及存储介质 - Google Patents

图像识别方法、装置、计算机装置及存储介质 Download PDF

Info

Publication number
WO2021036309A1
WO2021036309A1 PCT/CN2020/086768 CN2020086768W WO2021036309A1 WO 2021036309 A1 WO2021036309 A1 WO 2021036309A1 CN 2020086768 W CN2020086768 W CN 2020086768W WO 2021036309 A1 WO2021036309 A1 WO 2021036309A1
Authority
WO
WIPO (PCT)
Prior art keywords
query
similarity
image
reference images
reference image
Prior art date
Application number
PCT/CN2020/086768
Other languages
English (en)
French (fr)
Inventor
刘利
Original Assignee
深圳壹账通智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳壹账通智能科技有限公司 filed Critical 深圳壹账通智能科技有限公司
Publication of WO2021036309A1 publication Critical patent/WO2021036309A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • This application relates to the field of artificial intelligence image recognition technology, and in particular to an image recognition method, device, computer device, and computer-readable storage medium.
  • the first aspect of the present application provides an image recognition method, the method includes: acquiring a query image and a plurality of reference images; forming a query-reference image pair between the query image and each reference image, and extracting each query-reference The similarity characteristics of image pairs; the query-reference image pair is used as a node to construct a complete graph, each reference image corresponds to a node; the similarity score between every two reference images in the multiple reference images is calculated, according to The similarity score between the two reference images determines the weights of the edges corresponding to the two reference images in the complete graph; the similarity feature of each query-reference image pair is mapped to a message feature through a message network ; Update the similarity feature of each query-reference image pair according to the message feature of each query-reference image pair and the weight of each edge in the complete graph; according to the updated similarity of each query-reference image pair The feature calculates the similarity score of each query-reference image pair; and determines an image matching the query image from the multiple
  • the second aspect of the present application provides an image recognition device, the device includes: an acquisition module for acquiring a query image and a plurality of reference images; an extraction module for combining the query image and each reference image into a query- The reference image pair extracts the similarity characteristics of each query-reference image pair; the construction module is used to construct a complete graph using the query-reference image pair as a node, and each reference image corresponds to a node; the first determination module uses To calculate the similarity score between each two reference images in the plurality of reference images, determine the value of the edge corresponding to the two reference images in the complete image according to the similarity score between the two reference images.
  • mapping module used to map the similarity characteristics of each query-reference image pair to message features through the message network
  • update module used to compare the message characteristics of each query-reference image pair with the complete image
  • the weight of each edge updates the similarity characteristics of each query-reference image pair
  • the calculation module is used to calculate the similarity score of each query-reference image pair according to the updated similarity characteristics of each query-reference image pair
  • the second determining module is used to determine an image matching the query image from the multiple reference images according to the similarity score of each query-reference image pair.
  • a third aspect of the present application provides a computer device, which includes: one or more processors; a memory; one or more computer programs, wherein the one or more computer programs are stored in the memory and configured To be executed by the one or more processors, the one or more computer programs are configured to execute an image recognition method, wherein the image recognition method includes the following steps: acquiring a query image and a plurality of reference images; The query image and each reference image are formed into a query-reference image pair, and the similarity characteristics of each query-reference image pair are extracted; a complete graph is constructed using the query-reference image pair as a node, and each reference image corresponds to one Node; calculate the similarity score between each two reference images in the multiple reference images, and determine the edges corresponding to the two reference images in the complete graph according to the similarity score between the two reference images The similarity feature of each query-reference image pair is mapped to a message feature through the message network; each query-reference image pair is updated according to the message feature of each query-reference image pair
  • a fourth aspect of the present application provides a computer-readable storage medium having a computer program stored on the computer-readable storage medium, and when the computer program is executed by a processor, an image recognition method is implemented, wherein the image recognition method
  • the method includes the following steps: acquiring a query image and a plurality of reference images; composing the query image and each reference image into a query-reference image pair, and extracting the similarity characteristics of each query-reference image pair; using the query-reference image To construct a complete graph for nodes, each reference image corresponds to a node; calculate the similarity score between every two reference images in the plurality of reference images, and determine the similarity score between the two reference images.
  • this application uses the similarity information between the reference images to update the similarity characteristics of the query-reference image pair to improve the accuracy of image recognition.
  • FIG. 1 is a flowchart of an image recognition method provided by an embodiment of the present application
  • Figure 2 is a functional block diagram of an image recognition device provided by an embodiment of the present application.
  • Fig. 3 is a schematic structural diagram of a computer device in a preferred embodiment of the application for implementing image recognition.
  • FIG. 1 is a flowchart of an image recognition method provided by an embodiment of the application.
  • the image recognition method is applied to a computer device to match a query image with a reference image. According to different needs, the order of the steps in the flowchart can be changed, and some steps can be omitted.
  • the query image is the image that needs to be recognized, and the reference image is the known image.
  • the method recognizes an image that contains the same content (for example, an object or a person) as the query image from a plurality of reference images.
  • the query image is an image containing unknown objects
  • the multiple reference images are images containing known objects.
  • the image contains a reference image of the same object.
  • the query image is an image containing an unknown person
  • the multiple reference images are images containing known persons
  • the method recognizes the same from the multiple reference images.
  • the query image contains images of the same person.
  • the query image can be received from an external device.
  • the monitoring image captured by the external camera is acquired, and the monitoring image captured by the external camera is used as the query image.
  • the computer device may include a camera, and the built-in camera of the computer device may be controlled to take an image, and the image taken by the built-in camera is used as the query image.
  • an image may be downloaded from the network, and the downloaded image may be used as the query image.
  • the multiple reference images can be obtained from a preset image library.
  • the multiple reference images may be obtained from a portrait database.
  • the query image and each reference image are formed into a query-reference image pair, and the similarity feature of each query-reference image pair is extracted.
  • the query image is paired with each reference image to form multiple query-reference image pairs.
  • a twin neural network based on the residual network can be used to extract the similarity features of each query-reference image pair.
  • said extracting the similarity features of each query-reference image pair includes:
  • the twin neural network based on the residual network is a two-piece neural network sharing weights, one of which takes the query image as input, and the other takes the reference image in the query-reference image pair as input enter.
  • the twin neural network is trained in advance using the query-reference sample image pair.
  • the query-reference sample image pair is an image pair composed of a query sample image and a reference sample image.
  • Each query-reference sample image pair has a label, which indicates whether the query sample image and the reference sample image in the query-reference sample image pair contain the same content. If the query sample image and the reference sample image contain the same content (for example, the same person), the label may be 1. If the query sample image and the reference sample image contain different content (for example, different people), the label may be zero.
  • the loss function can be:
  • D i is the i-th query - Similarity of reference sample image pair
  • F () denotes a linear classifier
  • y i denotes the i-th query - Label reference sample image pair.
  • a complete graph is a simple graph with an edge connected between each pair of nodes, that is, the nodes in the complete graph are connected in pairs.
  • each node of the complete graph represents a query-reference image pair
  • each edge of the complete graph corresponds to two reference images, representing the relationship between the two reference images.
  • the calculating the similarity score between every two reference images in the plurality of reference images includes:
  • the similarity score between the two reference images is determined according to the cluster centers of each region of the two reference images.
  • the two reference images may be divided into upper and lower regions or left and right regions. It is also possible to divide the two reference images into more than two regions each, for example into three regions or four regions each.
  • red component R i for the green component G i, for the blue component pixel number i of Bi relative RGB coordinates (x i, y i), which in, You can take the logarithm with e as the base, that is Or, it can be a logarithm based on other values, for example, a logarithm based on 10 is used.
  • GMM Global System for Mobile Imaging Model
  • Gaussian Mixture Model Gaussian Mixture Model
  • K-Means algorithm can be used to cluster the pixels in each area of the two reference images to obtain clusters of each area of the two reference images center.
  • the distance between the cluster centers of each region of the two reference images may be calculated, and the similarity between the two reference images may be determined according to the distance between the cluster centers of each region of the two reference images.
  • the weighted sum of the distances of the cluster centers of each region of the two reference images may be used as the similarity between the two reference images.
  • the distance between the cluster centers of each region of the two reference images may be Euclidean distance, Manhattan distance, Mahalanobis distance, and the like.
  • the two reference images may be input to the neural network to extract features, and the similarity score between the two reference images can be calculated according to the features of the two reference images.
  • the two reference images are input into the first deep residual network and the second deep residual network respectively, the overall characteristics of the two reference images are obtained from the first deep residual network, and the second The deep residual network obtains the local features of the two reference images, and calculates the similarity score between the two reference images according to the overall features and the local features of the two reference images.
  • the weights of the edges corresponding to the two reference images in the complete graph can be expressed as:
  • S(g i , g j ) is the similarity of reference images i and j.
  • every two reference images in the plurality of reference images may be formed into a reference image pair, the similarity feature of each reference image pair is extracted, and the similarity feature of each reference image pair is input into linear
  • the classifier obtains the similarity score of each reference image pair.
  • S15 Map the similarity features of each query-reference image pair to message features through the message network.
  • the message network is a kind of neural network.
  • the message network is composed of a fully connected layer, a batch normalization layer, and an activation layer.
  • mapping the similarity feature of each query-reference image pair to the message feature through the message network includes:
  • the fully connected layer of the message network classifies the similarity features of the query-reference image pair to obtain the classified similarity features
  • the batch normalization layer of the message network performs batch normalization processing on the classified similarity features to obtain the normalized similarity features
  • the activation layer of the message network converts the linear factors in the normalized similarity features into non-linear factors to obtain the message features of the query-reference image pair.
  • the fully connected layer of the message network classifies the similarity features of the query-reference image pair, so that the similarity features with high similarity enter the next layer of the message network, that is, the batch normalization layer .
  • the batch normalization layer in the message network uses the mean value and standard deviation of the small batch to continuously adjust the intermediate output of the message network, so that the value of the intermediate output of the entire message network at each layer is more stable.
  • the activation layer in the message network converts the linear factors in the similarity characteristics passed down from the previous layer (that is, the batch normalization layer) into a non-linear factor through an activation function, so as to solve the problem that the linear factor cannot solve.
  • two message networks may be used to map the similarity characteristics of each query-reference image pair to message characteristics. For example, after a message network composed of a fully connected layer, a batch normalization layer, and an activation layer, a message network composed of a fully connected layer, a batch normalization layer, and an activation layer is connected. Through the two-layer message network, more accurate in-depth feature information can be extracted.
  • the connection relationship updates the similarity characteristics of each query-reference image pair. For each node in the complete graph, the message characteristics of the query-reference image pair corresponding to the other nodes connected to the node are used as the input characteristics of the node, and the similarity characteristics of the query-reference image pair corresponding to the node are updated Is the weighted fusion of all input features with the original similarity features, namely
  • the similarity feature of the query-reference image pair can be updated iteratively as follows:
  • S17 Calculate the similarity score of each query-reference image pair according to the updated similarity feature of each query-reference image pair.
  • the updated similarity feature of each query-reference image pair may be input to the linear classifier to obtain the similarity score of each query-reference image pair.
  • S18 Determine an image matching the query image from the multiple reference images according to the similarity score of each query-reference image pair.
  • the determining an image matching the query image from the multiple reference images according to the similarity score of each query-reference image pair includes:
  • a reference image with a similarity score higher than a preset value among the multiple reference images is determined as an image matching the query image.
  • the reference image with the highest similarity score among the 20 reference images is determined as the image matching the query image, or the reference image with the similarity score higher than 0.9 among the 20 reference images It is determined as an image that matches the query image.
  • the image recognition method of the present application obtains a query image and multiple reference images; composes the query image and each reference image into a query-reference image pair, and extracts the similarity characteristics of each query-reference image pair;
  • the reference image pair constructs a complete graph of nodes, and each reference image corresponds to a node; the similarity score between every two reference images in the multiple reference images is calculated according to the similarity score between the two reference images Determine the weights of the edges corresponding to the two reference images in the complete graph; map the similarity features of each query-reference image pair to message features through the message network; according to the message features of each query-reference image pair Update the similarity feature of each query-reference image pair with the weight of each edge in the complete graph; calculate the similarity of each query-reference image pair according to the updated similarity feature of each query-reference image pair Score; according to the similarity score of each query-reference image pair, an image that matches the query image is determined from the multiple reference images.
  • This method uses the similarity information
  • FIG. 2 is a functional block diagram of an image recognition device provided in an embodiment of the application.
  • the image recognition device 20 includes an acquisition module 210, an extraction module 220, a construction module 230, a first determination module 240, a mapping module 250, an update module 260, a calculation module 270, and a second determination module 280.
  • the module referred to in this application refers to a series of computer program segments that can be executed by the processor of the computer device and can complete fixed functions, and are stored in the memory of the computer device.
  • the acquiring module 210 is used to acquire a query image and multiple reference images.
  • the query image is the image that needs to be recognized, and the reference image is the known image.
  • the method recognizes an image that contains the same content (for example, an object or a person) as the query image from a plurality of reference images.
  • the query image is an image containing unknown objects
  • the multiple reference images are images containing known objects.
  • the image contains a reference image of the same object.
  • the query image is an image containing an unknown person
  • the multiple reference images are images containing known persons
  • the method recognizes the same from the multiple reference images.
  • the query image contains images of the same person.
  • the query image can be received from an external device.
  • the monitoring image captured by the external camera is acquired, and the monitoring image captured by the external camera is used as the query image.
  • the computer device may include a camera, and the built-in camera of the computer device may be controlled to take an image, and the image taken by the built-in camera is used as the query image.
  • the image stored in advance by the computer device may be read, and the read image stored in advance may be used as the query image.
  • an image may be downloaded from the network, and the downloaded image may be used as the query image.
  • the multiple reference images can be obtained from a preset image library.
  • the multiple reference images may be obtained from a portrait database.
  • the extracting module 220 is configured to compose the query image and each reference image into a query-reference image pair, and extract the similarity features of each query-reference image pair.
  • the query image is paired with each reference image to form multiple query-reference image pairs.
  • a twin neural network based on the residual network can be used to extract the similarity features of each query-reference image pair.
  • the extraction module extracts the similarity characteristics of each query-reference image pair, specifically for:
  • the twin neural network based on the residual network is a two-piece neural network sharing weights, one of which takes the query image as input, and the other takes the reference image in the query-reference image pair as input enter.
  • the twin neural network is trained in advance using the query-reference sample image pair.
  • the query-reference sample image pair is an image pair composed of a query sample image and a reference sample image.
  • Each query-reference sample image pair has a label, which indicates whether the query sample image and the reference sample image in the query-reference sample image pair contain the same content. If the query sample image and the reference sample image contain the same content (for example, the same person), the label may be 1. If the query sample image and the reference sample image contain different content (for example, different people), the label may be zero.
  • the loss function can be:
  • D i is the i-th query - Similarity of reference sample image pair
  • F () denotes a linear classifier
  • y i denotes the i-th query - Label reference sample image pair.
  • the construction module 230 is configured to construct a complete graph using the query-reference image pair as nodes, and each reference image corresponds to a node.
  • a complete graph is a simple graph with an edge connected between each pair of nodes, that is, the nodes in the complete graph are connected in pairs.
  • each node of the complete graph represents a query-reference image pair
  • each edge of the complete graph corresponds to two reference images, representing the relationship between the two reference images.
  • the first determining module 240 is configured to calculate a similarity score between every two reference images in the plurality of reference images, and determine the complete image according to the similarity score between the two reference images. The weights of the edges corresponding to the two reference images.
  • the calculation module calculates the similarity score between every two reference images in the plurality of reference images, specifically for:
  • the similarity score between the two reference images is determined according to the cluster centers of each region of the two reference images.
  • the two reference images may be divided into upper and lower regions or left and right regions. It is also possible to divide the two reference images into more than two regions each, for example into three regions or four regions each.
  • red component R i for the green component G i, for the blue component pixel number i of Bi relative RGB coordinates (x i, y i), which in, You can take the logarithm with e as the base, that is Or, it can be a logarithm based on other values, for example, a logarithm based on 10 is used.
  • GMM Global System for Mobile Imaging Model
  • Gaussian Mixture Model Gaussian Mixture Model
  • K-Means algorithm can be used to cluster the pixels in each area of the two reference images to obtain clusters of each area of the two reference images center.
  • the distance between the cluster centers of each area of the two reference images may be calculated, and the similarity between the two reference images may be determined according to the distance between the cluster centers of each area of the two reference images.
  • the weighted sum of the distances of the cluster centers of each region of the two reference images may be used as the similarity between the two reference images.
  • the distance between the cluster centers of each region of the two reference images may be Euclidean distance, Manhattan distance, Mahalanobis distance, and the like.
  • the two reference images may be input to the neural network to extract features, and the similarity score between the two reference images can be calculated according to the features of the two reference images.
  • the two reference images are input into the first deep residual network and the second deep residual network respectively, the overall characteristics of the two reference images are obtained from the first deep residual network, and the second The deep residual network obtains the local features of the two reference images, and calculates the similarity score between the two reference images according to the overall features and the local features of the two reference images.
  • the weights of the edges corresponding to the two reference images in the complete graph can be expressed as:
  • S(g i , g j ) is the similarity of reference images i and j.
  • every two reference images in the plurality of reference images may be formed into a reference image pair, the similarity feature of each reference image pair is extracted, and the similarity feature of each reference image pair is input into linear
  • the classifier obtains the similarity score of each reference image pair.
  • reference may be made to the extraction module 220 to extract the similarity feature of each query-reference image pair.
  • the mapping module 250 is used to map the similarity feature of each query-reference image pair to the message feature through the message network.
  • the message network is a kind of neural network.
  • the message network is composed of a fully connected layer, a batch normalization layer, and an activation layer.
  • the mapping module maps the similarity feature of each query-reference image pair to the message feature through the message network, specifically for:
  • the fully connected layer of the message network classifies the similarity features of the query-reference image pair to obtain the classified similarity features
  • the batch normalization layer of the message network performs batch normalization processing on the classified similarity features to obtain the normalized similarity features
  • the activation layer of the message network converts the linear factors in the normalized similarity features into non-linear factors to obtain the message features of the query-reference image pair.
  • the fully connected layer of the message network classifies the similarity features of the query-reference image pair, so that the similarity features with high similarity enter the next layer of the message network, that is, the batch normalization layer .
  • the batch normalization layer in the message network uses the mean value and standard deviation of the small batch to continuously adjust the intermediate output of the message network, so that the value of the intermediate output of the entire message network at each layer is more stable.
  • the activation layer in the message network converts the linear factors in the similarity characteristics passed down from the previous layer (that is, the batch normalization layer) into a non-linear factor through an activation function, so as to solve the problem that the linear factor cannot solve.
  • two message networks may be used to map the similarity characteristics of each query-reference image pair to message characteristics. For example, after a message network composed of a fully connected layer, a batch normalization layer, and an activation layer, a message network composed of a fully connected layer, a batch normalization layer, and an activation layer is connected. Through the two-layer message network, more accurate in-depth feature information can be extracted.
  • the update module 260 is configured to update the similarity feature of each query-reference image pair according to the message feature of each query-reference image pair and the weight of each edge in the complete graph.
  • the connection relationship updates the similarity characteristics of each query-reference image pair. For each node in the complete graph, the message characteristics of the query-reference image pair corresponding to the other nodes connected to the node are used as the input characteristics of the node, and the similarity characteristics of the query-reference image pair corresponding to the node are updated Is the weighted fusion of all input features with the original similarity features, namely
  • the similarity feature of the query-reference image pair can be updated iteratively as follows:
  • the calculation module 270 is configured to calculate the similarity score of each query-reference image pair according to the updated similarity characteristics of each query-reference image pair.
  • the updated similarity feature of each query-reference image pair may be input to the linear classifier to obtain the similarity score of each query-reference image pair.
  • the second determining module 280 is configured to determine an image matching the query image from the multiple reference images according to the similarity score of each query-reference image pair.
  • the second determining module determines an image matching the query image from the multiple reference images according to the similarity score of each query-reference image pair, specifically for:
  • a reference image with a similarity score higher than a preset value among the multiple reference images is determined as an image matching the query image.
  • the reference image with the highest similarity score among the 20 reference images is determined as the image matching the query image, or the reference image with the similarity score higher than 0.9 among the 20 reference images It is determined as an image that matches the query image.
  • the image recognition device 20 of the present application obtains a query image and a plurality of reference images; composes the query image and each reference image into a query-reference image pair, and extracts the similarity characteristics of each query-reference image pair; -The reference image pair constructs a complete graph of nodes, each reference image corresponds to a node; the similarity score between every two reference images in the multiple reference images is calculated according to the similarity between the two reference images The score determines the weight of the edge corresponding to the two reference images in the complete graph; the similarity feature of each query-reference image pair is mapped to the message feature through the message network; according to the message of each query-reference image pair The feature and the weight of each edge in the complete graph update the similarity feature of each query-reference image pair; calculate the similarity of each query-reference image pair according to the updated similarity feature of each query-reference image pair Sex score; according to the similarity score of each query-reference image pair, an image that matches the query image is determined from the multiple reference
  • the above-mentioned integrated unit implemented in the form of a software function module may be stored in a computer-readable computer-readable storage medium.
  • the above-mentioned software function module is stored in a computer-readable storage medium, and includes several instructions to make a computer device (which can be a personal computer, a server, or a network device, etc.) or a processor to execute the methods described in the various embodiments of the present application. Some steps of the method described.
  • the computer device 3 includes at least one sending device 31, at least one memory 32, at least one processor 33, at least one receiving device 34, and at least one communication bus.
  • the communication bus is used to realize the connection and communication between these components.
  • the computer device 3 is a device that can automatically perform numerical calculation and/or information processing according to pre-set or stored instructions. Its hardware includes, but is not limited to, a microprocessor, an Application Specific Integrated Circuit (ASIC) ), programmable gate array (Field-Programmable Gate Array, FPGA), digital processor (Digital Signal Processor, DSP), embedded equipment, etc.
  • the computer device 3 may also include network equipment and/or user equipment.
  • the network device includes, but is not limited to, a single network server, a server group composed of multiple network servers, or a cloud composed of a large number of hosts or network servers based on Cloud Computing, where cloud computing is distributed computing One type, a super virtual computer composed of a group of loosely coupled computer sets.
  • the computer device 3 may be, but is not limited to, any electronic product that can interact with a user through a keyboard, a touch panel, or a voice control device, for example, a terminal such as a tablet computer, a smart phone, and a monitoring device.
  • the network where the computer device 3 is located includes, but is not limited to, the Internet, a wide area network, a metropolitan area network, a local area network, a virtual private network (Virtual Private Network, VPN), etc.
  • the receiving device 34 and the sending device 31 may be wired sending ports, or may be wireless devices, for example, including an antenna device, which is used for data communication with other devices.
  • the memory 32 is used to store program codes.
  • the memory 32 may be a storage device such as a memory stick, a TF card (Trans-flash Card), a smart media card (smart media card), a secure digital card (secure digital card), and a flash memory card (flash card).
  • TF card Trans-flash Card
  • smart media card smart media card
  • secure digital card secure digital card
  • flash memory card flash card
  • the processor 33 may include one or more microprocessors and digital processors.
  • the processor 33 can call the program code stored in the memory 32 to perform related functions.
  • the various modules described in FIG. 2 are program codes stored in the memory 32 and executed by the processor 33 to implement an image recognition method.
  • the processor 33 is also called a central processing unit (CPU, Central Processing Unit), which is a very large-scale integrated circuit, which is a computing core (Core) and a control core (Control Unit).
  • CPU Central Processing Unit
  • Core computing core
  • Control Unit Control Unit
  • the present application also proposes a storage medium storing computer-readable instructions.
  • the storage medium is a volatile storage medium or a non-volatile storage medium.
  • the computer-readable instructions are stored by one or more When the two processors are executed, one or more processors are caused to perform the following steps: obtain a query image and a plurality of reference images; compose a query-reference image pair from the query image and each reference image, and extract each query-reference image The pair of similarity features; the query-reference image pair is used as a node to construct a complete graph, and each reference image corresponds to a node; the similarity score between every two reference images in the multiple reference images is calculated according to the The similarity score between the two reference images determines the weights of the edges corresponding to the two reference images in the complete graph; the similarity feature of each query-reference image pair is mapped to a message feature through a message network; Update the similarity feature of each query-reference image pair according to the message feature of each query-reference image pair and

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种图像识别方法，包括：获取查询图像和多个参考图像；将查询图像与每个参考图像组成图像对，提取图像对的相似性特征；以图像对为节点构造完全图；计算每两个参考图像的相似性得分，根据每两个参考图像的相似性得分确定完全图中每两个参考图像对应的边的权值；将图像对的相似性特征通过消息网络映射为消息特征；根据消息特征与边的权值更新图像对的相似性特征；根据更新后的相似性特征计算图像对的相似性得分；根据相似性得分确定与查询图像匹配的参考图像。本申请还提供一种图像识别装置、计算机装置和计算机可读存储介质。本申请利用参考图像之间的相似性信息更新查询图像与参考图像的相似性特征，提高图像识别的准确度。

Description

图像识别方法、装置、计算机装置及存储介质
本申请要求于2019年8月26日提交中国专利局、申请号为201910792041.1，发明名称为“图像识别方法、装置、计算机装置及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能的图像识别技术领域，尤其涉及一种图像识别方法、装置、计算机装置及计算机可读存储介质。
背景技术
目前在将查询图像与参考图像进行匹配时，往往只考虑查询图像与参考图像之间的相似性，而忽略了参考图像之间的相似性。发明人发现如果查询图像与参考图像之间的相似性计算不佳，则影响图像匹配的准确度。
发明内容
鉴于以上内容，有必要提供一种图像识别方法、装置、计算机装置及计算机可读存储介质，利用参考图像之间的相似性信息进行图像识别，提高图像识别的准确度。
本申请的第一方面提供一种图像识别方法，所述方法包括：获取查询图像和多个参考图像；将所述查询图像与每个参考图像组成查询-参考图像对，提取每个查询-参考图像对的相似性特征；以所述查询-参考图像对为节点构造完全图，每个参考图像对应一个节点；计算所述多个参考图像中每两个参考图像之间的相似性得分，根据所述两个参考图像之间的相似性得分确定所述完全图中所述两个参考图像对应的边的权值；将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征；根据每个查询-参考图像对的消息特征与所述完全图中每条边的权值更新每个查询-参考图像对的相似性特征；根据每个查询-参考图像对更新后的相似性特征计算每个查询-参考图像对的相似性得分；根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图像。
本申请的第二方面提供一种图像识别装置，所述装置包括：获取模块，用于获取查询图像和多个参考图像；提取模块，用于将所述查询图像与每个参考图像组成查询-参考图像对，提取每个查询-参考图像对的相似性特征；构造模块，用于以所述查询-参考图像对为节点构造完全图，每个参考图像对应一个节点；第一确定模块，用于计算所述多个参考图像中每两个参考图像之间的相似性得分，根据所述两个参考图像之间的相似性得分确定所述完全图 中所述两个参考图像对应的边的权值；映射模块，用于将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征；更新模块，用于根据每个查询-参考图像对的消息特征与所述完全图中每条边的权值更新每个查询-参考图像对的相似性特征；计算模块，用于根据每个查询-参考图像对更新后的相似性特征计算每个查询-参考图像对的相似性得分；第二确定模块，用于根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图像。
本申请的第三方面提供一种计算机装置，其包括：一个或多个处理器；存储器；一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于执行一种图像识别方法，其中，所述图像识别方法包括以下步骤：获取查询图像和多个参考图像；将所述查询图像与每个参考图像组成查询-参考图像对，提取每个查询-参考图像对的相似性特征；以所述查询-参考图像对为节点构造完全图，每个参考图像对应一个节点；计算所述多个参考图像中每两个参考图像之间的相似性得分，根据所述两个参考图像之间的相似性得分确定所述完全图中所述两个参考图像对应的边的权值；将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征；根据每个查询-参考图像对的消息特征与所述完全图中每条边的权值更新每个查询-参考图像对的相似性特征；根据每个查询-参考图像对更新后的相似性特征计算每个查询-参考图像对的相似性得分；根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图像。
本申请的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现一种图像识别方法，其中，所述图像识别方法包括以下步骤：获取查询图像和多个参考图像；将所述查询图像与每个参考图像组成查询-参考图像对，提取每个查询-参考图像对的相似性特征；以所述查询-参考图像对为节点构造完全图，每个参考图像对应一个节点；计算所述多个参考图像中每两个参考图像之间的相似性得分，根据所述两个参考图像之间的相似性得分确定所述完全图中所述两个参考图像对应的边的权值；将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征；根据每个查询-参考图像对的消息特征与所述完全图中每条边的权值更新每个查询-参考图像对的相似性特征；根据每个查询-参考图像对更新后的相似性特征计算每个查询-参考图像对的相似性得分；根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图像。
由以上技术方案看出，本申请利用参考图像之间的相似性信息更新查询-参考图像对的相似性特征，提高图像识别的准确度。
附图说明
图1是本申请实施例提供的图像识别方法的流程图；
图2是本申请实施例提供的图像识别装置的功能模块图；
图3是本申请实现图像识别的较佳实施例的计算机装置的结构示意图。
具体实施方式
图1为本申请实施例提供的图像识别方法的流程图。所述图像识别方法应用于计算机装置中，用于将查询图像与参考图像进行匹配。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
S11，获取查询图像和多个参考图像。
查询图像是需要识别的图像，参考图像是已知的图像。所述方法从多个参考图像中识别出与查询图像包含相同内容(例如物体或人物)的图像。例如，当需要进行物体识别时，所述查询图像是包含未知物体的图像，所述多个参考图像是包含已知物体的图像，本方法从所述多个参考图像中识别出与所述查询图像包含相同物体的参考图像。又如，当需要进行人物识别时，所述查询图像是包含未知人物的图像，所述多个参考图像是包含已知人物的图像，本方法从所述多个参考图像中识别出与所述查询图像包含相同人物的图像。
可以从外部设备接收所述查询图像。例如，获取外部摄像头拍摄的监控图像，将外部摄像头拍摄的监控图像作为所述查询图像。
或者，所述计算机装置可以包括摄像头，可以控制所述计算机装置的内置摄像头拍摄图像，将所述内置摄像头拍摄的图像作为所述查询图像。
或者，可以读取所述计算机装置预先存储的图像，将读取的预先存储的图像作为所述查询图像。
或者，可以从网络中下载图像，将下载的图像作为所述查询图像。
可以从预设的图像库中获取所述多个参考图像。例如，在进行人物识别时，可以从人像库中获取所述多个参考图像。
S12，将所述查询图像与每个参考图像组成查询-参考图像对，提取每个查询-参考图像对的相似性特征。
本实施例中，将所述查询图像与每个参考图像进行配对，组成多个查询-参考图像对。
可以利用基于残差网络的孪生神经网络来提取每个查询-参考图像对的相似性特征。
优选地，所述提取每个查询-参考图像对的相似性特征包括：
将所述查询-参考图像对输入基于残差网络的孪生神经网络，得到所述查询图像的特征图和所述查询-参考图像对中的参考图像的特征图；
将所述查询图像的特征图与所述参考图像的特征图相减，得到第一特征图；
将所述第一特征图逐元素进行平方操作，得到第二特征图；
将所述第二特征图进行批量归一化处理，得到所述查询-参考图像对的相似性特征。
其中，所述基于残差网络的孪生神经网络是两个连体的共享权值的神经网络，其中一个以所述查询图像为输入，另外一个以所述查询-参考图像对中的参考图像为输入。
本实施例中，预先使用查询-参考样本图像对对所述孪生神经网络进行训练。查询-参考样本图像对是查询样本图像和参考样本图像组成的图像对。每个查询-参考样本图像对具有标签，表示查询-参考样本图像对中的查询样本图像与参考样本图像是否包含相同内容。若查询样本图像与参考样本图像包含相同内容(例如为同一人物)，所述标签可以为1。若查询样本图像与参考样本图像包含不同内容(例如为不同人物)，所述标签可以为0。
在对所述孪生神经网络进行训练时，提取查询-参考样本图像对的相似性特征，将查询-参考样本图像对的相似性特征输入线性分类器，得到查询-参考样本图像对的相似性得分，根据所述相似性得分与查询-参考样本图像对的标签计算损失函数，调整所述孪生神经网络的参数，使损失函数最小化。其中所述线性分类器可以是非线性作用函数，即sigmoid函数，公式为f(x)＝1/(1+e -x)。所述损失函数可以为:
Figure PCTCN2020086768-appb-000001
其中d i是第i个查询-参考样本图像对的相似性特征，F()表示线性分类器，y i表示第i个查询-参考样本图像对的标签。
S13，以所述查询-参考图像对为节点构造完全图，每个参考图像对应一个节点。
完全图是每对节点之间都连接有一条边的简单图，也就是完全图中的节点两两相连。
本实施例中，所述完全图的每个节点代表一个查询-参考图像对，所述完全图的每条边对应两个参考图像，代表两个参考图像之间的关系。
S14，计算所述多个参考图像中每两个参考图像之间的相似性得分，根据所述两个参考图像之间的相似性得分确定所述完全图中所述两个参考图像对应的边的权值。
在本实施例中，所述计算所述多个参考图像中每两个参考图像之间的相似性得分包括：
对所述两个参考图像按照同样的划分方法进行区域划分；
计算所述两个参考图像的每个区域的每个像素点的对数相对RGB坐标；
根据所述两个参考图像的每个区域的每个像素点的对数相对RGB坐标对所述两个参考图像的每个区域内的像素点进行聚类，得到所述两个参考图像的每个区域的聚类中心；
根据所述两个参考图像的每个区域的聚类中心确定所述两个参考图像之间的相似性得分。
可以将所述两个参考图像各自划分为上下两个区域或者左右两个区域。也可以将所述两个参考图像各自划分为多于两个区域，例如各自划分为三个区域或四个区域。
红色分量为R i、绿色分量为G i、蓝色分量为Bi的像素点i的对数相对RGB坐标为(x i,y i)，其
Figure PCTCN2020086768-appb-000002
中，
Figure PCTCN2020086768-appb-000003
可以取以e为底的对数，即
Figure PCTCN2020086768-appb-000004
Figure PCTCN2020086768-appb-000005
或者，可以取以其他值为底的对数，例如取以10为底的对数。
可以使用GMM(Gaussian Mixture Model，高斯混合模型)或K-Means算法对所述两个参考图像的每个区域内的像素点进行聚类，得到所述两个参考图像的每个区域的聚类中心。
可以计算所述两个参考图像的每个区域的聚类中心的距离，根据所述两个参考图像的每个区域的聚类中心的距离确定所述两个参考图像之间的相似度。可以将所述两个参考图像的每个区域的聚类中心的距离的加权和作为所述两个参考图像之间的相似度。所述两个参考图像的每个区域的聚类中心的距离可以是欧氏距离、曼哈顿距离、马氏距离等。
在另一实施例中，可以将所述两个参考图像分别输入神经网络提取特征，根据所述两个参考图像的特征计算所述两个参考图像之间的相似性得分。例如，将所述两个参考图像分别输入第一深度残差网络和第二深度残差网络，从所述第一深度残差网络得到所述两个参考图像的整体特征，从所述第二深度残差网络得到所述两个参考图像的局部特征，根据所述两个参考图像的整体特征和局部特征计算所述两个参考图像之间的相似性得分。
本实施例中，所述完全图中所述两个参考图像对应的边的权值可以表示为：
Figure PCTCN2020086768-appb-000006
其中，S(g i,g j)为参考图像i、j的相似度。
在另一实施例中，可以将所述多个参考图像中的每两个参考图像组成参考图像对，提取每个参考图像对的相似性特征，将每个参考图像对的相似性特征输入线性分类器，得到每个参考图像对的相似度得分。提取每个参考图像对的相似性特征可以参考S12。
S15，将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征。
消息网络是一种神经网络。在本实施例中，所述消息网络由全连接层、批量归一化层以及激活层构成。
第i个查询-参考图像对的相似性特征表示为d i，第i个查询-参考图像对的消息特征表示为t i，t i＝F(d i)，i＝1,2,…N(表示有N个参考图像)。
优选地，所述将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征包括：
所述消息网络的全连接层对所述查询-参考图像对的相似性特征进行分类，得到分类后的相似性特征；
所述消息网络的批量归一化层对所述分类后的相似性特征进行批量归一 化处理，得到归一化处理后的相似性特征；
所述消息网络的激活层将所述归一化处理后的相似性特征中的线性因素转换为非线性因素，得到所述查询-参考图像对的消息特征。
本实施例中，所述消息网络的全连接层对查询-参考图像对的相似性特征进行分类，使得相似度高的相似性特征进入所述消息网络的下一层，即批量归一化层。所述消息网络中的批量归一化层利用小批量上的均值和标准差，不断调整所述消息网络的中间输出，使得整个消息网络在各层的中间输出的数值更稳定。所述消息网络中的激活层通过激活函数将上一层(即批量归一化层)传递下来的相似性特征中的线性因素转换为非线性因素，解决线性因素不能解决的问题。
本实施例中，可以使用两个消息网络将每个查询-参考图像对的相似性特征映射为消息特征。例如，在由全连接层、批量归一化层以及激活层构成的消息网络之后再连接一个由全连接层、批量归一化层以及激活层构成的消息网络。通过两层消息网络可以提取出更加准确的深度特征信息。
S16，根据每个查询-参考图像对的消息特征与所述完全图中每条边的权值更新每个查询-参考图像对的相似性特征。
根据每个查询-参考图像对的消息特征与所述完全图中每条边的权值更新每个查询-参考图像对的相似性特征，就是根据所述完全图对每个节点与其他节点的连接关系对每个查询-参考图像对的相似性特征进行更新。对于所述完全图中的每个节点，以该节点相连的其他节点对应的查询-参考图像对的消息特征作为该节点的输入特征，将该节点对应的查询-参考图像对的相似性特征更新为所有输入特征与原来的相似性特征的加权融合，即
Figure PCTCN2020086768-appb-000007
其中
Figure PCTCN2020086768-appb-000008
表示更新后的第i个相似性特征，
Figure PCTCN2020086768-appb-000009
表示更新前的第i个相似性特征，
Figure PCTCN2020086768-appb-000010
表示来自节点j的消息特征，α表示平衡融合特征和原始特征的加权参数。
查询-参考图像对的相似性特征可以迭代更新如下：
Figure PCTCN2020086768-appb-000011
S17，根据每个查询-参考图像对更新后的相似性特征计算每个查询-参考图像对的相似性得分。
本实施例中，可以将每个查询-参考图像对更新后的相似性特征输入线性分类器，得到每个查询-参考图像对的相似性得分。
所述线性分类器可以是非线性作用函数，即sigmoid函数，公式为f(x)＝1/(1+e -x)。
S18，根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图像。
优选地，所述根据每个查询-参考图像对的相似性得分从所述多个参考图 像中确定与所述查询图像相匹配的图像包括：
将所述多个参考图像中相似性得分最高的参考图像确定为与所述查询图像相匹配的图像；或者
将所述多个参考图像中相似性得分高于预设值的参考图像确定为与所述查询图像相匹配的图像。
例如，有20个参考图像，将20个参考图像中相似性得分最高的参考图像确定为与所述查询图像相匹配的图像，或者，将20个参考图像中相似性得分高于0.9的参考图像确定为与所述查询图像相匹配的图像。
本申请的图像识别方法获取查询图像和多个参考图像；将所述查询图像与每个参考图像组成查询-参考图像对，提取每个查询-参考图像对的相似性特征；以所述查询-参考图像对为节点构造完全图，每个参考图像对应一个节点；计算所述多个参考图像中每两个参考图像之间的相似性得分，根据所述两个参考图像之间的相似性得分确定所述完全图中所述两个参考图像对应的边的权值；将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征；根据每个查询-参考图像对的消息特征与所述完全图中每条边的权值更新每个查询-参考图像对的相似性特征；根据每个查询-参考图像对更新后的相似性特征计算每个查询-参考图像对的相似性得分；根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图像。本方法利用参考图像之间的相似性信息更新查询-参考图像对的相似性特征，提高图像识别的准确度。
如图2所示，图2为本申请实施例提供一种图像识别装置的功能模块图。图像识别装置20包括获取模块210、提取模块220、构造模块230、第一确定模块240、映射模块250、更新模块260、计算模块270以及第二确定模块280。本申请所称的模块是指一种能够被计算机装置的处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在计算机装置的存储器中。
所述获取模块210，用于获取查询图像和多个参考图像。
查询图像是需要识别的图像，参考图像是已知的图像。所述方法从多个参考图像中识别出与查询图像包含相同内容(例如物体或人物)的图像。例如，当需要进行物体识别时，所述查询图像是包含未知物体的图像，所述多个参考图像是包含已知物体的图像，本方法从所述多个参考图像中识别出与所述查询图像包含相同物体的参考图像。又如，当需要进行人物识别时，所述查询图像是包含未知人物的图像，所述多个参考图像是包含已知人物的图像，本方法从所述多个参考图像中识别出与所述查询图像包含相同人物的图像。
可以从外部设备接收所述查询图像。例如，获取外部摄像头拍摄的监控图像，将外部摄像头拍摄的监控图像作为所述查询图像。
或者，所述计算机装置可以包括摄像头，可以控制所述计算机装置的内置摄像头拍摄图像，将所述内置摄像头拍摄的图像作为所述查询图像。
或者，可以读取所述计算机装置预先存储的图像，将读取的预先存储的 图像作为所述查询图像。
或者，可以从网络中下载图像，将下载的图像作为所述查询图像。
可以从预设的图像库中获取所述多个参考图像。例如，在进行人物识别时，可以从人像库中获取所述多个参考图像。
所述提取模块220，用于将所述查询图像与每个参考图像组成查询-参考图像对，提取每个查询-参考图像对的相似性特征。
本实施例中，将所述查询图像与每个参考图像进行配对，组成多个查询-参考图像对。
可以利用基于残差网络的孪生神经网络来提取每个查询-参考图像对的相似性特征。
优选地，所述提取模块提取每个查询-参考图像对的相似性特征，具体用于：
将所述查询-参考图像对输入基于残差网络的孪生神经网络，得到所述查询图像的特征图和所述查询-参考图像对中的参考图像的特征图；
将所述查询图像的特征图与所述参考图像的特征图相减，得到第一特征图；
将所述第一特征图逐元素进行平方操作，得到第二特征图；
将所述第二特征图进行批量归一化处理，得到所述查询-参考图像对的相似性特征。
其中，所述基于残差网络的孪生神经网络是两个连体的共享权值的神经网络，其中一个以所述查询图像为输入，另外一个以所述查询-参考图像对中的参考图像为输入。
本实施例中，预先使用查询-参考样本图像对对所述孪生神经网络进行训练。查询-参考样本图像对是查询样本图像和参考样本图像组成的图像对。每个查询-参考样本图像对具有标签，表示查询-参考样本图像对中的查询样本图像与参考样本图像是否包含相同内容。若查询样本图像与参考样本图像包含相同内容(例如为同一人物)，所述标签可以为1。若查询样本图像与参考样本图像包含不同内容(例如为不同人物)，所述标签可以为0。
在对所述孪生神经网络进行训练时，提取查询-参考样本图像对的相似性特征，将查询-参考样本图像对的相似性特征输入线性分类器，得到查询-参考样本图像对的相似性得分，根据所述相似性得分与查询-参考样本图像对的标签计算损失函数，调整所述孪生神经网络的参数，使损失函数最小化。其中所述线性分类器可以是非线性作用函数，即sigmoid函数，公式为f(x)＝1/(1+e -x)。所述损失函数可以为:
Figure PCTCN2020086768-appb-000012
其中d i是第i个查询-参考样本图像对的相似性特征，F()表示线性分类器，y i表示第i个查询-参考样本图像对的标签。
所述构造模块230，用于以所述查询-参考图像对为节点构造完全图，每个参考图像对应一个节点。
完全图是每对节点之间都连接有一条边的简单图，也就是完全图中的节点两两相连。
本实施例中，所述完全图的每个节点代表一个查询-参考图像对，所述完全图的每条边对应两个参考图像，代表两个参考图像之间的关系。
所述第一确定模块240，用于计算所述多个参考图像中每两个参考图像之间的相似性得分，根据所述两个参考图像之间的相似性得分确定所述完全图中所述两个参考图像对应的边的权值。
在本实施例中，所述计算模块计算所述多个参考图像中每两个参考图像之间的相似性得分，具体用于：
对所述两个参考图像按照同样的划分方法进行区域划分；
计算所述两个参考图像的每个区域的每个像素点的对数相对RGB坐标；
根据所述两个参考图像的每个区域的每个像素点的对数相对RGB坐标对所述两个参考图像的每个区域内的像素点进行聚类，得到所述两个参考图像的每个区域的聚类中心；
根据所述两个参考图像的每个区域的聚类中心确定所述两个参考图像之间的相似性得分。
可以将所述两个参考图像各自划分为上下两个区域或者左右两个区域。也可以将所述两个参考图像各自划分为多于两个区域，例如各自划分为三个区域或四个区域。
红色分量为R i、绿色分量为G i、蓝色分量为Bi的像素点i的对数相对RGB坐标为(x i,y i)，其
Figure PCTCN2020086768-appb-000013
中，
Figure PCTCN2020086768-appb-000014
可以取以e为底的对数，即
Figure PCTCN2020086768-appb-000015
Figure PCTCN2020086768-appb-000016
或者，可以取以其他值为底的对数，例如取以10为底的对数。
可以使用GMM(Gaussian Mixture Model，高斯混合模型)或K-Means算法对所述两个参考图像的每个区域内的像素点进行聚类，得到所述两个参考图像的每个区域的聚类中心。
可以计算所述两个参考图像的每个区域的聚类中心的距离,根据所述两个参考图像的每个区域的聚类中心的距离确定所述两个参考图像之间的相似度。可以将所述两个参考图像的每个区域的聚类中心的距离的加权和作为所述两个参考图像之间的相似度。所述两个参考图像的每个区域的聚类中心的距离可以是欧氏距离、曼哈顿距离、马氏距离等。
在另一实施例中，可以将所述两个参考图像分别输入神经网络提取特征，根据所述两个参考图像的特征计算所述两个参考图像之间的相似性得分。例如，将所述两个参考图像分别输入第一深度残差网络和第二深度残差网络，从所述第一深度残差网络得到所述两个参考图像的整体特征，从所述第二深度残差网络得到所述两个参考图像的局部特征，根据所述两个参考图像的整体特征和局部特征计算所述两个参考图像之间的相似性得分。
本实施例中，所述完全图中所述两个参考图像对应的边的权值可以表示为：
Figure PCTCN2020086768-appb-000017
其中，S(g i,g j)为参考图像i、j的相似度。
在另一实施例中，可以将所述多个参考图像中的每两个参考图像组成参考图像对，提取每个参考图像对的相似性特征，将每个参考图像对的相似性特征输入线性分类器，得到每个参考图像对的相似度得分。提取每个参考图像对的相似性特征可以参考提取模块220提取每个查询-参考图像对的相似性特征。
所述映射模块250，用于将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征。
消息网络是一种神经网络。在本实施例中，所述消息网络由全连接层、批量归一化层以及激活层构成。
第i个查询-参考图像对的相似性特征表示为d i，第i个查询-参考图像对的消息特征表示为t i，t i＝F(d i)，i＝1,2,…N(表示有N个参考图像)。
优选地，所述映射模块将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征，具体用于：
所述消息网络的全连接层对所述查询-参考图像对的相似性特征进行分类，得到分类后的相似性特征；
所述消息网络的批量归一化层对所述分类后的相似性特征进行批量归一化处理，得到归一化处理后的相似性特征；
所述消息网络的激活层将所述归一化处理后的相似性特征中的线性因素转换为非线性因素，得到所述查询-参考图像对的消息特征。
本实施例中，所述消息网络的全连接层对查询-参考图像对的相似性特征进行分类，使得相似度高的相似性特征进入所述消息网络的下一层，即批量归一化层。所述消息网络中的批量归一化层利用小批量上的均值和标准差，不断调整所述消息网络的中间输出，使得整个消息网络在各层的中间输出的数值更稳定。所述消息网络中的激活层通过激活函数将上一层(即批量归一化层)传递下来的相似性特征中的线性因素转换为非线性因素，解决线性因素不能解决的问题。
本实施例中，可以使用两个消息网络将每个查询-参考图像对的相似性特征映射为消息特征。例如，在由全连接层、批量归一化层以及激活层构成的消息网络之后再连接一个由全连接层、批量归一化层以及激活层构成的消息网络。通过两层消息网络可以提取出更加准确的深度特征信息。
所述更新模块260，用于根据每个查询-参考图像对的消息特征与所述完全图中每条边的权值更新每个查询-参考图像对的相似性特征。
根据每个查询-参考图像对的消息特征与所述完全图中每条边的权值更新每个查询-参考图像对的相似性特征，就是根据所述完全图对每个节点与其 他节点的连接关系对每个查询-参考图像对的相似性特征进行更新。对于所述完全图中的每个节点，以该节点相连的其他节点对应的查询-参考图像对的消息特征作为该节点的输入特征，将该节点对应的查询-参考图像对的相似性特征更新为所有输入特征与原来的相似性特征的加权融合，即
Figure PCTCN2020086768-appb-000018
其中
Figure PCTCN2020086768-appb-000019
表示更新后的第i个相似性特征，
Figure PCTCN2020086768-appb-000020
表示更新前的第i个相似性特征，
Figure PCTCN2020086768-appb-000021
表示来自节点j的消息特征，α表示平衡融合特征和原始特征的加权参数。
查询-参考图像对的相似性特征可以迭代更新如下：
Figure PCTCN2020086768-appb-000022
所述计算模块270，用于根据每个查询-参考图像对更新后的相似性特征计算每个查询-参考图像对的相似性得分。
本实施例中，可以将每个查询-参考图像对更新后的相似性特征输入线性分类器，得到每个查询-参考图像对的相似性得分。
所述线性分类器可以是非线性作用函数，即sigmoid函数，公式为f(x)＝1/(1+e -x)。
所述第二确定模块280，用于根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图像。
优选地，所述第二确定模块根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图像，具体用于：
将所述多个参考图像中相似性得分最高的参考图像确定为与所述查询图像相匹配的图像；或者
将所述多个参考图像中相似性得分高于预设值的参考图像确定为与所述查询图像相匹配的图像。
例如，有20个参考图像，将20个参考图像中相似性得分最高的参考图像确定为与所述查询图像相匹配的图像，或者，将20个参考图像中相似性得分高于0.9的参考图像确定为与所述查询图像相匹配的图像。
本申请的图像识别装置20获取查询图像和多个参考图像；将所述查询图像与每个参考图像组成查询-参考图像对，提取每个查询-参考图像对的相似性特征；以所述查询-参考图像对为节点构造完全图，每个参考图像对应一个节点；计算所述多个参考图像中每两个参考图像之间的相似性得分，根据所述两个参考图像之间的相似性得分确定所述完全图中所述两个参考图像对应的边的权值；将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征；根据每个查询-参考图像对的消息特征与所述完全图中每条边的权值更新每个查询-参考图像对的相似性特征；根据每个查询-参考图像对更新后的相似性特征计算每个查询-参考图像对的相似性得分；根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图 像。本申请的图像识别装置20利用参考图像之间的相似性信息更新查询-参考图像对的相似性特征，提高图像识别的准确度。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取计算机可读存储介质中。上述软件功能模块存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。
如图3所示，是本申请实现图像识别方法的较佳实施例的计算机装置3的结构示意图。在本实施例中，计算机装置3包括至少一个发送装置31、至少一个存储器32、至少一个处理器33、至少一个接收装置34以及至少一个通信总线。其中，所述通信总线用于实现这些组件之间的连接通信。
所述计算机装置3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述计算机装置3还可包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
所述计算机装置3可以是，但不限于任何一种可与用户通过键盘、触摸板或声控设备等方式进行人机交互的电子产品，例如，平板电脑、智能手机、监控设备等终端。
所述计算机装置3所处的网络包括，但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
其中，所述接收装置34和所述发送装置31可以是有线发送端口，也可以为无线设备，例如包括天线装置，用于与其他设备进行数据通信。
所述存储器32用于存储程序代码。所述存储器32可以是内存条、TF卡(Trans-flash Card)、智能媒体卡(smart media card)、安全数字卡(secure digital card)、快闪存储器卡(flash card)等储存设备。
所述处理器33可以包括一个或者多个微处理器、数字处理器。所述处理器33可调用存储器32中存储的程序代码以执行相关的功能。例如，图2中所述的各个模块是存储在所述存储器32中的程序代码，并由所述处理器33所执行，以实现一种图像识别方法。所述处理器33又称中央处理器(CPU，Central Processing Unit)，是一块超大规模的集成电路，是运算核心(Core)和控制核心(Control Unit)。
在一个实施例中，本申请还提出了一种存储有计算机可读指令的存储介质，所述存储介质为易失性存储介质或非易失性存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：获取 查询图像和多个参考图像；将所述查询图像与每个参考图像组成查询-参考图像对，提取每个查询-参考图像对的相似性特征；以所述查询-参考图像对为节点构造完全图，每个参考图像对应一个节点；计算所述多个参考图像中每两个参考图像之间的相似性得分，根据所述两个参考图像之间的相似性得分确定所述完全图中所述两个参考图像对应的边的权值；将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征；根据每个查询-参考图像对的消息特征与所述完全图中每条边的权值更新每个查询-参考图像对的相似性特征；根据每个查询-参考图像对更新后的相似性特征计算每个查询-参考图像对的相似性得分；根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图像。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (20)

  1. 一种图像识别方法，其中，所述方法包括：
    获取查询图像和多个参考图像；
    将所述查询图像与每个参考图像组成查询-参考图像对，提取每个查询-参考图像对的相似性特征；
    以所述查询-参考图像对为节点构造完全图，每个参考图像对应一个节点；
    计算所述多个参考图像中每两个参考图像之间的相似性得分，根据所述两个参考图像之间的相似性得分确定所述完全图中所述两个参考图像对应的边的权值；
    将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征；
    根据每个查询-参考图像对的消息特征与所述完全图中每条边的权值更新每个查询-参考图像对的相似性特征；
    根据每个查询-参考图像对更新后的相似性特征计算每个查询-参考图像对的相似性得分；
    根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图像。
  2. 如权利要求1所述的方法，其中，所述提取每个查询-参考图像对的相似性特征包括：
    将所述查询-参考图像对输入基于残差网络的孪生神经网络，得到所述查询图像的特征图和所述查询-参考图像对中的参考图像的特征图；
    将所述查询图像的特征图与所述参考图像的特征图相减，得到第一特征图；
    将所述第一特征图逐元素进行平方操作，得到第二特征图；
    将所述第二特征图进行批量归一化处理，得到所述查询-参考图像对的相似性特征。
  3. 如权利要求1所述的方法，其中，所述完全图中所述两个参考图像对应的边的权值为：
    Figure PCTCN2020086768-appb-100001
    其中S(g i,g j)为参考图像i、j的相似度。
  4. 如权利要求1所述的方法，其中，所述将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征包括：
    通过所述消息网络的全连接层对所述查询-参考图像对的相似性特征进行分类，得到分类后的相似性特征；
    通过所述消息网络的批量归一化层对所述分类后的相似性特征进行批量 归一化处理，得到归一化处理后的相似性特征；
    通过所述消息网络的激活层将所述归一化处理后的相似性特征中的线性因素转换为非线性因素，得到所述查询-参考图像对的消息特征。
  5. 如权利要求1所述的方法，其中，所述根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图像包括：
    将所述多个参考图像中相似性得分最高的参考图像确定为与所述查询图像相匹配的图像；或者
    将所述多个参考图像中相似性得分高于预设值的参考图像确定为与所述查询图像相匹配的图像。
  6. 如权利要求1-5中任一项所述的方法，其中，所述计算所述多个参考图像中每两个参考图像之间的相似性得分包括：
    对所述两个参考图像按照同样的划分方法进行区域划分；
    计算所述两个参考图像的每个区域的每个像素点的对数相对RGB坐标；
    根据所述两个参考图像的每个区域的每个像素点的对数相对RGB坐标对所述两个参考图像的每个区域内的像素点进行聚类，得到所述两个参考图像的每个区域的聚类中心；
    根据所述两个参考图像的每个区域的聚类中心确定所述两个参考图像之间的相似性得分。
  7. 如权利要求1-5中任一项所述的方法，其中，所述计算所述多个参考图像中每两个参考图像之间的相似性得分包括：
    将所述两个参考图像分别输入第一深度残差网络和第二深度残差网络，从所述第一深度残差网络得到所述两个参考图像的整体特征，从所述第二深度残差网络得到所述两个参考图像的局部特征；
    根据所述两个参考图像的整体特征和局部特征计算所述两个参考图像之间的相似性得分。
  8. 一种图像识别装置，其中，所述装置包括：
    获取模块，用于获取查询图像和多个参考图像；
    提取模块，用于将所述查询图像与每个参考图像组成查询-参考图像对，提取每个查询-参考图像对的相似性特征；
    构造模块，用于以所述查询-参考图像对为节点构造完全图，每个参考图像对应一个节点；
    第一确定模块，用于计算所述多个参考图像中每两个参考图像之间的相似性得分，根据所述两个参考图像之间的相似性得分确定所述完全图中所述两个参考图像对应的边的权值；
    映射模块，用于将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征；
    更新模块，用于根据每个查询-参考图像对的消息特征与所述完全图中每条边的权值更新每个查询-参考图像对的相似性特征；
    计算模块，用于根据每个查询-参考图像对更新后的相似性特征计算每个 查询-参考图像对的相似性得分；
    第二确定模块，用于根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图像。
  9. 一种计算机装置，其中，包括：
    一个或多个处理器；
    存储器；
    一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于执行一种图像识别方法；其中，所述图像识别方法包括以下步骤：
    获取查询图像和多个参考图像；
    将所述查询图像与每个参考图像组成查询-参考图像对，提取每个查询-参考图像对的相似性特征；
    以所述查询-参考图像对为节点构造完全图，每个参考图像对应一个节点；
    计算所述多个参考图像中每两个参考图像之间的相似性得分，根据所述两个参考图像之间的相似性得分确定所述完全图中所述两个参考图像对应的边的权值；
    将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征；
    根据每个查询-参考图像对的消息特征与所述完全图中每条边的权值更新每个查询-参考图像对的相似性特征；
    根据每个查询-参考图像对更新后的相似性特征计算每个查询-参考图像对的相似性得分；
    根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图像。
  10. 如权利要求9所述的计算机装置，其中，所述提取每个查询-参考图像对的相似性特征包括：
    将所述查询-参考图像对输入基于残差网络的孪生神经网络，得到所述查询图像的特征图和所述查询-参考图像对中的参考图像的特征图；
    将所述查询图像的特征图与所述参考图像的特征图相减，得到第一特征图；
    将所述第一特征图逐元素进行平方操作，得到第二特征图；
    将所述第二特征图进行批量归一化处理，得到所述查询-参考图像对的相似性特征。
  11. 如权利要求9所述的计算机装置，其中，所述完全图中所述两个参考图像对应的边的权值为：
    Figure PCTCN2020086768-appb-100002
    其中S(g i,g j)为参考图像i、j的相似度。
  12. 如权利要求9所述的计算机装置，其中，所述将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征包括：
    通过所述消息网络的全连接层对所述查询-参考图像对的相似性特征进行分类，得到分类后的相似性特征；
    通过所述消息网络的批量归一化层对所述分类后的相似性特征进行批量归一化处理，得到归一化处理后的相似性特征；
    通过所述消息网络的激活层将所述归一化处理后的相似性特征中的线性因素转换为非线性因素，得到所述查询-参考图像对的消息特征。
  13. 如权利要求9所述的计算机装置，其中，所述根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图像包括：
    将所述多个参考图像中相似性得分最高的参考图像确定为与所述查询图像相匹配的图像；或者
    将所述多个参考图像中相似性得分高于预设值的参考图像确定为与所述查询图像相匹配的图像。
  14. 如权利要求9-13中任一项所述的计算机装置，其中，所述计算所述多个参考图像中每两个参考图像之间的相似性得分包括：
    对所述两个参考图像按照同样的划分方法进行区域划分；
    计算所述两个参考图像的每个区域的每个像素点的对数相对RGB坐标；
    根据所述两个参考图像的每个区域的每个像素点的对数相对RGB坐标对所述两个参考图像的每个区域内的像素点进行聚类，得到所述两个参考图像的每个区域的聚类中心；
    根据所述两个参考图像的每个区域的聚类中心确定所述两个参考图像之间的相似性得分。
  15. 如权利要求9-13中任一项所述的计算机装置，其中，所述计算所述多个参考图像中每两个参考图像之间的相似性得分包括：
    将所述两个参考图像分别输入第一深度残差网络和第二深度残差网络，从所述第一深度残差网络得到所述两个参考图像的整体特征，从所述第二深度残差网络得到所述两个参考图像的局部特征；
    根据所述两个参考图像的整体特征和局部特征计算所述两个参考图像之间的相似性得分。
  16. 一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现一种图像识别方法，其中，所述图像识别方法包括以下步骤：
    获取查询图像和多个参考图像；
    将所述查询图像与每个参考图像组成查询-参考图像对，提取每个查询-参考图像对的相似性特征；
    以所述查询-参考图像对为节点构造完全图，每个参考图像对应一个节点；
    计算所述多个参考图像中每两个参考图像之间的相似性得分，根据所述 两个参考图像之间的相似性得分确定所述完全图中所述两个参考图像对应的边的权值；
    将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征；
    根据每个查询-参考图像对的消息特征与所述完全图中每条边的权值更新每个查询-参考图像对的相似性特征；
    根据每个查询-参考图像对更新后的相似性特征计算每个查询-参考图像对的相似性得分；
    根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图像。
  17. 如权利要求16所述的计算机可读存储介质，其中，所述提取每个查询-参考图像对的相似性特征包括：
    将所述查询-参考图像对输入基于残差网络的孪生神经网络，得到所述查询图像的特征图和所述查询-参考图像对中的参考图像的特征图；
    将所述查询图像的特征图与所述参考图像的特征图相减，得到第一特征图；
    将所述第一特征图逐元素进行平方操作，得到第二特征图；
    将所述第二特征图进行批量归一化处理，得到所述查询-参考图像对的相似性特征。
  18. 如权利要求16所述的计算机可读存储介质，其中，所述完全图中所述两个参考图像对应的边的权值为：
    Figure PCTCN2020086768-appb-100003
    其中S(g i,g j)为参考图像i、j的相似度。
  19. 如权利要求16所述的计算机可读存储介质，其中，所述将每个查询-参考图像对的相似性特征通过消息网络映射为消息特征包括：
    通过所述消息网络的全连接层对所述查询-参考图像对的相似性特征进行分类，得到分类后的相似性特征；
    通过所述消息网络的批量归一化层对所述分类后的相似性特征进行批量归一化处理，得到归一化处理后的相似性特征；
    通过所述消息网络的激活层将所述归一化处理后的相似性特征中的线性因素转换为非线性因素，得到所述查询-参考图像对的消息特征。
  20. 如权利要求16所述的计算机可读存储介质，其中，所述根据每个查询-参考图像对的相似性得分从所述多个参考图像中确定与所述查询图像相匹配的图像包括：
    将所述多个参考图像中相似性得分最高的参考图像确定为与所述查询图像相匹配的图像；或者
    将所述多个参考图像中相似性得分高于预设值的参考图像确定为与所述 查询图像相匹配的图像。
PCT/CN2020/086768 2019-08-26 2020-04-24 图像识别方法、装置、计算机装置及存储介质 WO2021036309A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910792041.1A CN110689046A (zh) 2019-08-26 2019-08-26 图像识别方法、装置、计算机装置及存储介质
CN201910792041.1 2019-08-26

Publications (1)

Publication Number Publication Date
WO2021036309A1 true WO2021036309A1 (zh) 2021-03-04

Family

ID=69108626

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/086768 WO2021036309A1 (zh) 2019-08-26 2020-04-24 图像识别方法、装置、计算机装置及存储介质

Country Status (2)

Country Link
CN (1) CN110689046A (zh)
WO (1) WO2021036309A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188805A (zh) * 2023-04-26 2023-05-30 青岛尘元科技信息有限公司 海量图像的图像内容分析方法、装置和图像信息网络

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689046A (zh) * 2019-08-26 2020-01-14 深圳壹账通智能科技有限公司 图像识别方法、装置、计算机装置及存储介质
CN111950493B (zh) * 2020-08-20 2024-03-08 华北电力大学 图像识别方法、装置、终端设备和可读存储介质
CN113850179A (zh) * 2020-10-27 2021-12-28 深圳市商汤科技有限公司 图像检测方法及相关模型的训练方法、装置、设备、介质
CN115482415A (zh) * 2022-09-21 2022-12-16 北京沃东天骏信息技术有限公司 模型训练方法、图像分类方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160196479A1 (en) * 2015-01-05 2016-07-07 Superfish Ltd. Image similarity as a function of weighted descriptor similarities derived from neural networks
CN107871143A (zh) * 2017-11-15 2018-04-03 深圳云天励飞技术有限公司 图像识别方法及装置、计算机装置和计算机可读存储介质
CN108985190A (zh) * 2018-06-28 2018-12-11 北京市商汤科技开发有限公司 目标识别方法和装置、电子设备、存储介质、程序产品
CN110689046A (zh) * 2019-08-26 2020-01-14 深圳壹账通智能科技有限公司 图像识别方法、装置、计算机装置及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8533162B2 (en) * 2009-08-18 2013-09-10 Osaka Prefecture University Public Corporation Method for detecting object
CN107895021B (zh) * 2017-11-15 2019-12-17 深圳云天励飞技术有限公司 图像识别方法及装置、计算机装置和计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160196479A1 (en) * 2015-01-05 2016-07-07 Superfish Ltd. Image similarity as a function of weighted descriptor similarities derived from neural networks
CN107871143A (zh) * 2017-11-15 2018-04-03 深圳云天励飞技术有限公司 图像识别方法及装置、计算机装置和计算机可读存储介质
CN108985190A (zh) * 2018-06-28 2018-12-11 北京市商汤科技开发有限公司 目标识别方法和装置、电子设备、存储介质、程序产品
CN110689046A (zh) * 2019-08-26 2020-01-14 深圳壹账通智能科技有限公司 图像识别方法、装置、计算机装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188805A (zh) * 2023-04-26 2023-05-30 青岛尘元科技信息有限公司 海量图像的图像内容分析方法、装置和图像信息网络
CN116188805B (zh) * 2023-04-26 2023-08-04 青岛尘元科技信息有限公司 海量图像的图像内容分析方法、装置和图像信息网络

Also Published As

Publication number Publication date
CN110689046A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
WO2021036309A1 (zh) 图像识别方法、装置、计算机装置及存储介质
US20230037908A1 (en) Machine learning model training method and device, and expression image classification method and device
WO2021139309A1 (zh) 人脸识别模型的训练方法、装置、设备及存储介质
US11417148B2 (en) Human face image classification method and apparatus, and server
WO2019119505A1 (zh) 人脸识别的方法和装置、计算机装置及存储介质
US20230334089A1 (en) Entity recognition from an image
WO2021057742A1 (zh) 定位方法及装置、设备、存储介质
US9122958B1 (en) Object recognition or detection based on verification tests
WO2022213465A1 (zh) 基于神经网络的图像识别方法、装置、电子设备及介质
WO2019153504A1 (zh) 一种群组创建的方法及其终端
CN109271930B (zh) 微表情识别方法、装置与存储介质
WO2020211387A1 (zh) 电子合同显示方法、装置、电子设备及计算机存储介质
US10210424B2 (en) Method and system for preprocessing images
US20230237771A1 (en) Self-supervised learning method and apparatus for image features, device, and storage medium
CN113657289B (zh) 阈值估计模型的训练方法、装置和电子设备
WO2021169257A1 (zh) 人脸识别
CN107871143B (zh) 图像识别方法及装置、计算机装置和计算机可读存储介质
WO2018205999A1 (zh) 一种数据处理方法及装置
WO2022088603A1 (zh) 一种物品识别方法、装置及存储介质
WO2020087922A1 (zh) 人脸属性识别方法、装置、计算机装置及存储介质
WO2016139964A1 (ja) 注目領域抽出装置および注目領域抽出方法
CN108492301A (zh) 一种场景分割方法、终端及存储介质
CN110489659A (zh) 数据匹配方法和装置
WO2023024413A1 (zh) 信息的匹配方法、装置、计算机设备及可读存储介质
EP4113376A1 (en) Image classification model training method and apparatus, computer device, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20858635

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 01.07.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20858635

Country of ref document: EP

Kind code of ref document: A1