WO2020052275A1 - 图像处理方法、装置、终端设备、服务器及系统 - Google Patents

图像处理方法、装置、终端设备、服务器及系统 Download PDF

Info

Publication number
WO2020052275A1
WO2020052275A1 PCT/CN2019/088432 CN2019088432W WO2020052275A1 WO 2020052275 A1 WO2020052275 A1 WO 2020052275A1 CN 2019088432 W CN2019088432 W CN 2019088432W WO 2020052275 A1 WO2020052275 A1 WO 2020052275A1
Authority
WO
WIPO (PCT)
Prior art keywords
human body
image
face
information
human
Prior art date
Application number
PCT/CN2019/088432
Other languages
English (en)
French (fr)
Inventor
吴春虎
陈前
Original Assignee
北京市商汤科技开发有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京市商汤科技开发有限公司 filed Critical 北京市商汤科技开发有限公司
Priority to JP2021508057A priority Critical patent/JP2021520015A/ja
Priority to KR1020207031431A priority patent/KR20200136034A/ko
Priority to SG11202010672YA priority patent/SG11202010672YA/en
Publication of WO2020052275A1 publication Critical patent/WO2020052275A1/zh
Priority to US17/080,211 priority patent/US20210049390A1/en
Priority to PH12020551800A priority patent/PH12020551800A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities

Definitions

  • Embodiments of the present application relate to computer technology, and in particular, to an image processing method, device, terminal device, server, and system.
  • tracking and recognition are performed by means of face tracking, and feature information is analyzed by performing feature matching analysis on faces in a frame captured by a camera.
  • the accuracy of the tracking and identification results obtained by using the related technology method is not high.
  • the embodiments of the present application provide a technical solution for image processing.
  • an image processing method including: processing a first image to obtain a first human face in the first image; and determining whether at least one human body corresponding to the first image exists in relation to the human body. A human body with a first face matching; and sending a first person recognition request message to the server according to the determined result.
  • the sending a first person recognition request message to the server according to a result of the determining includes: in response to the presence of at least one human body corresponding to the first image that matches the first face The first human body sends the first person recognition request message including image information of the first human body to the server, wherein the image information of the first human body is used by the server for person recognition.
  • the sending the first person recognition request message including image information of the first human body to the server includes: in response to the image quality of the first human body meeting quality requirements, The server sends the first person recognition request message including image information of the first human body.
  • the quality requirements include at least one of the following: face clarity requirements, face size requirements, face angle requirements, face detection confidence requirements, and human detection confidence levels, face integrity Claim.
  • the method further includes: in response to the image quality of the first human body not meeting quality requirements, sending the first person recognition request including image information of the first human face to the server A message, wherein the image information of the first human face is used by the server for person recognition.
  • the first person recognition request message further includes: tracking identification information of the first face or detection frame identification information of the first face.
  • the first person recognition request message further includes: identification information of the first face.
  • based on the result of the determination, that is, whether there is a human body matching the first human face it is determined whether or not to perform person recognition on the first human face based on the image information of the human body.
  • the image information of the first human body includes: an image of the first human body, and / or, the image information of the first human body includes: feature information of the image of the first human body, wherein The feature information of the image of the first human body includes at least one of body feature information and face feature information.
  • the method before sending the first person recognition request message including the image information of the first human body to the server, the method further includes: determining to replace the image information of the first human face with all The image information of the first human body is used to perform person recognition.
  • the sending a first person recognition request message to the server according to a result of the determining includes: in response to that at least one human body corresponding to the first image does not exist with the first human face
  • the matched human body sends a first person recognition request message including image information of the first face to the server, where the image information of the first face is used by the server for person recognition.
  • the determining whether a human body matching the first human face exists in at least one human body in the first image includes: according to at least one human face corresponding to the first image and the at least one human body.
  • a human body determining matching probability information of each candidate pair among the N candidate pairs, wherein the candidate pair includes one face of the at least one human face and one human body of the at least one human body, the at least A face includes the first face; determining a target matching result of the at least one face and the at least one human body according to matching probability information of each candidate pair of the N candidate pairs; based on the The target matching result determines whether a human body matching the first human face exists in at least one human body corresponding to the first image.
  • determining the matching probability information of each candidate pair in the N candidate pairs according to the at least one face and the at least one human body includes: based on a second human body included in the first candidate pair and The second face included in the first candidate pair determines the estimated position information and actual position information of the target object, wherein the N candidate pairs include the first candidate pair, and the target object is a part of a human body Determining the matching probability information of the first candidate pair based on the estimated position information of the target object and the actual position information of the target object.
  • the target object includes at least one of an ear and a human face.
  • determining the target matching result of the at least one face and the at least one human body according to the matching probability information of each candidate pair among the N candidate pairs includes: Matching probability information of each candidate pair in the candidate pair, determining matching probability information of each candidate matching result in at least one candidate matching result of the at least one face and the at least one human body, wherein the candidate matching result includes M candidate pairs of the N candidate pairs, each of the two candidate pairs of the m candidate pairs including a face and a human body, respectively, 1 ⁇ m ⁇ N; based on the at least one candidate matching result Matching probability information of each candidate matching result in the target matching result of the at least one face and the at least one human body is determined from the at least one candidate matching result.
  • the determining whether a human body matching the first face exists in at least one human body corresponding to the first image includes: at least a part of images in a video sequence to which the first image belongs. Performing human tracking to obtain a human tracking result, wherein the human tracking result includes human tracking information of at least one image in the video sequence; and the face tracking result based on at least a part of the image in the video sequence is the same as the human tracking result.
  • the human tracking information corresponding to the frame number of the first image determines whether at least one human body corresponding to the first image has a human body matching the first human face.
  • the method before the determining whether a human body matching the first face exists in at least one human body corresponding to the first image, the method further includes: performing a video on the video to which the first image belongs. At least a part of the images in the sequence are subjected to human tracking to obtain the human tracking result of the video sequence; based on the frame number of the first image, the human tracking of the first image is found from the face tracking results of the video sequence information.
  • the method before the determining whether a human body matching the first face exists in at least one human body corresponding to the first image, the method further includes: performing human body detection on the first image To obtain at least one human body corresponding to the first image.
  • the method further comprises: in response to the human tracking information of the first image not being found in the human tracking results of the video sequence, performing human detection on the first image to obtain the first An image corresponds to at least one human body.
  • the method further includes: in response to human tracking information corresponding to a frame number of the first image that does not exist in the human tracking result, at least one obtained from performing human detection on the first image It is determined in a human body whether there is a human body matching the first human face.
  • the processing the first image to obtain the first face in the first image includes: performing face tracking on the first image to obtain the first person in the first image. face.
  • the method further includes: performing human body tracking on the first image to obtain a third human body in the first image; and sending a second person recognition request message to the server, the second person
  • the identification request message includes image information of the third human body and tracking identification information of the third human body.
  • the method before the processing the first image to obtain the first face in the first image, the method further includes: selecting the first image from a preset number of consecutive images included in a video sequence. image.
  • the selecting the first image from a preset number of consecutive images included in a video sequence includes: based on a quality of a face included in the image, from the preset number included in the video sequence The first image is selected from the continuous images of.
  • an image processing method including: receiving a person recognition request message sent by a first terminal device, where the person recognition request message includes image information of a first human body; and based on the image information of the first human body To determine personal identification information of a person to which the first human body belongs.
  • the image information of the first human body includes: an image of the first human body; and / or, the image information of the first human body includes: feature information of the image of the first human body, wherein The feature information of the image of the first human body includes at least one of body feature information and face feature information.
  • determining the person identification information of a person to which the first human body belongs based on the image information of the first human body includes: obtaining the first human body based on the image information of the first human body. Contained image information of a first face; and based on the image information of the first face and a face template database, determining person identification information of a person to which the first human body belongs, wherein the face template database stores at least A human face template.
  • obtaining the image information of the first human face included in the first human body based on the image information of the first human body includes: obtaining the first human from the image of the first human body Images of faces.
  • determining the person identification information of the person to which the first human body belongs based on the image information of the first human face and a face template database includes: characterizing the image of the first human face Extraction processing to obtain feature information of the first face; determining whether a face template matching the feature information of the first face exists in the face template database; and obtaining the based on a result of the determination Person identification information of a person to which the first human body belongs.
  • the obtaining, based on a result of the determination, personal identification information of a person to which the first human body belongs includes: in response to the existence of feature information related to the first human face in the human face template database
  • the matched face template determines the person identification information corresponding to the matched face template as the person identification information of the person to which the first human body belongs.
  • the obtaining, based on a result of the determination, person identification information of a person to which the first human body belongs includes: in response to the feature that does not exist in the face template database and the first human face feature The information-matched face template determines the newly added person identification information as the person identification information of the person to which the first human body belongs.
  • the method further includes: adding the newly added person identification information and the first face information as a new face template to the face template database.
  • the person recognition request message further includes detection frame identification information or tracking identification information of a first face in the first human body.
  • determining the person identification information of a person to which the first human body belongs based on the image information of the first human body includes: determining the identity of the first human body based on the image information of the first human body. Human body identification information; based on the human body identification information of the first human body, determining human body identification information of a person to which the first human body belongs.
  • determining the body identification information of the first human body based on the image information of the first human body includes: performing feature extraction on the image of the first human body to obtain the first human body. Characteristic information; determining whether a human template matching the characteristic information of the first human exists in a human template database, wherein the human template database stores at least one human template; and obtaining the first human body based on a result of the determination Body identification information.
  • the obtaining human body identification information of the first human body based on a result of the determination includes: in response to the existence of a human body template matching the characteristic information of the first human body in the human body template database Determining the body identification information of the person to which the matched human template belongs as the body identification information of the first human body.
  • the obtaining human body identification information of the first human body based on a result of the determination includes: in response to the absence of a human body matching the characteristic information of the first human body in the human body template database The template determines the newly added human body identification information as the human body identification information of the first human body.
  • the method further includes: adding the newly added human body identification information and the information of the first human body as a new face template to the human template database.
  • the method further includes: associating the body identification information of the first human body and the person identification information of a person to which the first human body belongs with the body identification information of the person to which the first human body belongs. Relationships are added to the associated database.
  • the person identification request message further includes: tracking identification information or detection frame identification information of the first human body.
  • determining the person identification information of a person to which the first human body belongs based on the body identification information of the first human body includes: determining whether an association database matches the body identification of the first human body.
  • the association database wherein the association database is used to store at least one association relationship between body identification information and person identification information; and based on the determination result, obtain person identification information of the person to which the first human body belongs.
  • obtaining the personal identification information of the person to which the first human body belongs based on the determination result includes: in response to the existence of an association relationship matching the human body identification of the first human body in the association database Determining the person identification information in the matched association relationship as the person identification information of the person to which the first human body belongs.
  • the obtaining, based on the determination result, personal identification information of a person to which the first human body belongs includes: in response to the association database that there is no association matching the human identification of the first human body Relationship, determining the newly added person identification information as the person identification information of the person to which the first human body belongs.
  • the method further includes: sending personal identification information of a person to which the first human body belongs to a second terminal device.
  • the face recognition request message is obtained by performing face tracking on at least one image in a video sequence based on the first terminal device.
  • an image processing apparatus including: an acquisition module configured to process a first image to obtain a first face in the first image; and a first determination module configured to determine the first face Whether there is a human body matching the first face in at least one human body corresponding to the image; and the sending module is configured to send a first person recognition request message to the server according to the determined result.
  • an image processing apparatus including: a receiving module configured to receive a person identification request message sent by a first terminal device, where the person identification request message includes image information of a first human body; a determination module configured To determine person identification information of a person to which the first human body belongs based on the image information of the first human body.
  • a terminal device including: a memory configured to store program instructions; and a processor configured to call and execute the program instructions in the memory to perform the method steps described in the first aspect above.
  • a server including: a memory configured to store program instructions; and a processor configured to call and execute the program instructions in the memory to perform the method steps described in the second aspect above.
  • an image processing system including the terminal device according to the fifth aspect and the server according to the sixth aspect.
  • a readable storage medium stores a computer program, and the computer program is used for the method described in the first aspect or the second aspect above.
  • FIG. 1 is a schematic system architecture diagram of an embodiment of the present application
  • FIG. 2 is a schematic flowchart of an image processing method according to an embodiment of the present application.
  • FIG. 3 is another schematic flowchart of an image processing method according to an embodiment of the present application.
  • FIG. 4 is a schematic flowchart of another image processing method according to an embodiment of the present application.
  • FIG. 5 is another schematic flowchart of an image processing method according to an embodiment of the present application.
  • FIG. 6 is another schematic flowchart of an image processing method according to an embodiment of the present application.
  • FIG. 7 is a module structural diagram of an image processing apparatus according to an embodiment of the present application.
  • FIG. 8 is another structural block diagram of an image processing apparatus according to an embodiment of the present application.
  • FIG. 9 is another structural block diagram of an image processing apparatus according to an embodiment of the present application.
  • FIG. 10 is another structural block diagram of an image processing apparatus according to an embodiment of the present application.
  • FIG. 11 is another structural block diagram of an image processing apparatus according to an embodiment of the present application.
  • FIG. 12 is a module structural diagram of another image processing apparatus according to an embodiment of the present application.
  • FIG. 13 is another structural block diagram of another image processing apparatus according to an embodiment of the present application.
  • FIG. 14 is another structural block diagram of another image processing apparatus according to an embodiment of the present application.
  • FIG. 15 is another structural block diagram of another image processing apparatus according to an embodiment of the present application.
  • FIG. 16 is another structural block diagram of another image processing apparatus according to an embodiment of the present application.
  • FIG. 17 is another structural block diagram of another image processing apparatus according to an embodiment of the present application.
  • FIG. 18 is another structural block diagram of another image processing apparatus according to an embodiment of the present application.
  • FIG. 19 is a schematic block diagram of a terminal device according to an embodiment of the present application.
  • FIG. 20 is a schematic block diagram of a server according to an embodiment of the present application.
  • FIG. 21 is a schematic structural diagram of an image processing system according to an embodiment of the present application.
  • the embodiment of the present application proposes an image processing method.
  • the client matches the face and the human body, and sends a person recognition request message to the server according to the matching result. Since the face and the human body are matched at the same time, It can greatly improve the accuracy of the tracking and recognition results.
  • the server can also make the client perform accurate customer data analysis based on the matching result.
  • the method provided in the embodiment of the present application can be applied to various scenarios where people need to be tracked and identified.
  • the operator of a supermarket or retail store may need to track and identify the passenger flow in the supermarket or retail store to obtain information such as passenger flow statistics, customer identification, and number of customer visits. Information serves as an important reference for corporate management.
  • the identity information of specific persons can be determined by tracking and identifying people in these scenes.
  • FIG. 1 is a schematic system architecture diagram of an embodiment of the present application.
  • the architecture includes a first terminal device 11, a server 12, and a second terminal device 13.
  • a client runs on the first terminal device.
  • the first terminal device is deployed in the retail store and is connected to a camera set in the retail store to obtain video images captured by the camera and perform Tracking, matching, etc.
  • the client on the first terminal device is connected to the server.
  • the server performs identification processing after receiving data from the client on the first terminal device, and sends the processing result to the client on the second terminal device.
  • the client of the second terminal device may be a management system of an operator of a retail store, etc.
  • the client of the second terminal device may analyze the information sent by the server to obtain the above-mentioned passenger flow statistics, customer identification, and customer visits. Times and other information.
  • the image processing method provided in this embodiment of the present application is executed by the above-mentioned client or may be other terminal equipment, which is not limited in this embodiment of the present application.
  • the following description is made by using a client execution method as an example.
  • the method shown in FIG. 2 includes:
  • the first image may be one frame image in a video sequence captured by the camera in real time, or the first image may be a still image, and the specific implementation of the first image is not limited in this embodiment of the present application.
  • the camera performs shooting in real time to obtain a continuous video stream, and the camera may send the video stream to the client in real time or periodically.
  • the client decodes the video stream to get the video sequence.
  • the video sequence includes multiple frames of images.
  • the client can further process the multi-frame image or a part of the multi-frame image by using the method of the embodiment of the present application.
  • the video sequence or the first image may also be obtained in other manners, and the specific manner of acquisition is not limited in the embodiments of the present application.
  • the client may select the first image from a plurality of images included in the video sequence. For example, the client may select the first image from a preset number of consecutive images included in the video sequence, or the client may also select the first image from the video sequence based on a preset threshold.
  • the specific implementation of frame selection is not limited.
  • the client may select the first image from a plurality of images included in the video sequence based on a quality of a face included in the image.
  • the client may select a frame of the best quality from the Q (Q is an integer, for example, 10) consecutive images included in the video sequence as the first image.
  • Q is an integer, for example, 10.
  • the quality score of each image may be determined, and the image with the highest quality score may be used as the first image.
  • the quality score can be obtained based on one or more factors of the image.
  • the quality of the image can be determined based on one or any combination of face clarity, face angle, face size, and confidence in face detection. Score, or the quality score of the image can also be determined based on other factors.
  • the quality score of an image can be obtained in a variety of ways. For example, the quality score of an image can be determined based on a neural network, or the quality score of an image can be obtained based on other algorithms. Be limited.
  • the client may select, from the video sequence, an image whose quality score reaches a preset threshold as the first image.
  • the comprehensive quality score of the image can be determined, and whether the image is selected based on whether the comprehensive quality score reaches a preset threshold; or, the thresholds of various quality factors of the image can be set, such as face angle, person
  • Each of one or more of the face size and face sharpness sets a threshold value, and determines whether to select the image based on whether each quality factor reaches a corresponding threshold value.
  • a comprehensive quality score and a threshold corresponding to each quality factor may also be set, and the specific implementation thereof is not limited in this embodiment of the present application.
  • the client may perform face detection on the first image to obtain the first face.
  • the client may obtain the image of the first face and the identification information of the first face, such as the first Face detection frame identification.
  • the client may perform face tracking on the first image to obtain the first face in the first image.
  • the client may obtain the image of the first face and the first face. Tracking identification information.
  • the client may perform face tracking based on key points of the face. For example, the client may perform face detection on a second image located before the first image, obtain a face image, and perform key detection on the face image. Point detection to obtain position information of key points in the second image, wherein the interval between the second image and the first image may be lower than a preset value. Then, the client may determine the predicted position information of the key point in the first image based on the position information of the key point in the second image and the motion information of the first image relative to the second image, such as optical flow information, and based on the key Point the predicted position information in the first image to obtain an image of the first face.
  • face tracking may also be performed based on other methods, and the specific implementation of face tracking is not limited in the embodiments of the present application.
  • the client may also record the frame identifier of the image in which the first face is located.
  • information of at least one human body included in the first image may be obtained in multiple ways.
  • human body detection may be performed on the first image to obtain at least one human body in the first image.
  • an image of each human body and identification information of each human body may be obtained, for example, detection Box logo.
  • human body tracking may be performed on the first image to obtain at least one human body in the first image.
  • human body tracking may be performed on at least a part of an image of a video sequence to which the first image belongs to obtain a human body.
  • the tracking result wherein the human tracking result includes human tracking information of at least one image in the video sequence.
  • an image of each human body and tracking identification information of each human body can be obtained.
  • the client may further record the frame identifier of the image in which the human body is located, but the embodiment of the present application is not limited thereto.
  • the method before the determining whether a human body matching the first face exists in at least one human body corresponding to the first image, the method further includes: performing a video sequence to which the first image belongs. At least a part of the images are subjected to human tracking to obtain a human tracking result of the video sequence; based on the frame number of the first image, the human tracking information of the first image is found from the face tracking results of the video sequence .
  • the body tracking information corresponding to the frame number of the first human face may be found from a body tracking result of at least a part of the image of the video sequence. In one case, if there is human tracking information corresponding to the frame number of the first face in the human tracking result, the human tracking information corresponding to the frame number of the first image is used to find a match with the first face. human body. In another case, if there is no human tracking information corresponding to the frame number of the first face in the human tracking result, the human body detection may be performed on the first image, and the human body detection may be obtained by performing human body detection on the first image. It is determined whether there is a human body matching the first human face in at least one human body. In some other possible implementation manners, human body detection may be performed on the first image directly, and whether at least one human body obtained by performing human body detection on the first image determines whether a human body matching the first human face exists.
  • the embodiment of the present application does not limit the manner of obtaining at least one human body in the first image.
  • the result of the foregoing determination includes: the presence of a human body matching the first human face, or the absence of a human body matching the first human face.
  • the first person recognition request message further includes: identification information of the first face.
  • the client may send different first person recognition request messages to the server, that is, for different determination results, the information contained in the first person recognition request message may be different. For example, based on the determination result, that is, whether there is a human body matching the first human face, it is determined whether or not to perform person recognition on the first human face based on the image information of the human body. For another example, it may be determined whether the first person recognition request message includes image information of the first face based on the determination result.
  • the client matches a human face with a human body and sends a person recognition request message to the server according to the matching result, which is beneficial to improving the accuracy of the person recognition.
  • a camera is generally set at one or more locations. Due to factors such as light, occlusion, and face angle, people cannot be identified through the face, or the accuracy of the recognition Low, the embodiment of this application determines whether there is a human body matching the first face, and determines whether the first person recognition request message sent to the server contains image information of the first face based on the matching result, which is beneficial to improve Accuracy of people recognition.
  • the following describes how to send a first person recognition request message to the server according to the determined result.
  • the result of the above determination may include: a human body matching the first human face exists, or there is no human body matching the first human face.
  • the following describes the processing methods in these two cases.
  • the client may send a first person recognition request report including image information of the first human body to the server. Text.
  • the server may perform person recognition based on the image information of the first human body.
  • This application The embodiment does not limit this.
  • the image quality of the first human body may also be determined, and whether the first person recognition request message includes image information of the first human body may be determined based on the first image quality. As a way, it may be determined whether the image information of the first human body is included in the first person recognition request message by determining whether the image quality of the first human body meets a preset quality requirement.
  • the first task identification request message sent to the server includes image information of the first human body.
  • the server may perform person recognition based on the image information of the first human body.
  • the server may obtain image information of the first human face from the image information of the first human body, for example, intercept the image of the first human face from the image of the first human body, and perform person recognition based on the image information of the first human face,
  • the embodiments of the present application are not limited to this.
  • the first person recognition request message sent to the server does not include the image information of the first human body but includes only the image information of the first human face.
  • the image information of the first human face is used by the server for person recognition.
  • a person may be determined to perform a person based on the image information of the human body obtained through human detection or human tracking or the image information of the human face obtained through human face detection or facial tracking according to the actual situation of the image Recognition, for example, when the image quality of the human body is better, the person recognizes the image information by obtaining the face information from the image information of the human body, and when the image quality of the human body is poor, the person obtained by face detection or face tracking is used The image information of the face is used for person recognition, thereby avoiding the problem of low recognition accuracy caused by factors such as face angle and occlusion, and improving the accuracy of person recognition.
  • the quality requirements may be set according to actual conditions.
  • the above quality requirements may include one or any combination of the following requirements: face definition requirements, face size requirements, face angle requirements, face detection confidence requirements, and human detection confidence Degree, face integrity requirements.
  • the quality requirements include at least one of the following combinations: the confidence level of the human detection frame reaches a preset threshold, the integrity of the face meets certain requirements (such as including a complete human body), and the clarity of the face reaches a certain level Requirements, the face size meets specific requirements, and the face angle is in a specific range.
  • the server can obtain a good-quality face image from the human body image and perform human recognition based on the human face image, thereby improving the accuracy of human recognition.
  • the quality requirements may also include other types of parameter requirements, and the specific implementation thereof is not limited in the embodiments of the present application.
  • the message may further include an image of the first human face
  • the server may choose to use the image information of the first face or the image information of the first human body included in the message to perform the person identification, or combine the two to perform the person. It is recognized that this embodiment of the present application does not limit this.
  • the message may not include the image information of the first human face.
  • the first person recognition request message includes image information of the first human body and does not include image information of the first human face.
  • the server performs person recognition based on the image information of the first human body included in the message, but the embodiment of the present application is not limited thereto.
  • the first person recognition request message sent by the client to the server includes the image information of the first face described above.
  • the first person recognition request message corresponding to the first human face may include image information of the first human face, image information of the first human body, or image information of the first human body and image of the first human face.
  • the image information of the first human body includes: an image of the first human body.
  • the server may perform person recognition based on the image of the first human body.
  • the server obtains an image of the first face from the image of the first human body, and performs person recognition based on the image of the first human face and the face template; for example, based on the image of the first human body, the human body template, and the person- The human body association library is used for person recognition, and so on.
  • the embodiment of the present application does not limit the specific implementation of the server for performing the person recognition based on the image of the first human body.
  • the image information of the first human body includes: feature information of the image of the first human body, where, as a mode, the feature information of the image of the first human body may include human body characteristic information, or include Face feature information, or includes body feature information and face feature information.
  • the human body feature information of the image of the first human body is obtained by performing feature extraction on the image of the first human body, and the face feature information of the image of the first human body is obtained by characterizing the face region image in the image of the first human body. Extracted.
  • the image information of the first face includes: the image of the first face and / or feature information of the image of the first face, wherein the feature information of the image of the first face is The face image is obtained by feature extraction, which is not limited in the embodiment of the present application.
  • the first person recognition request message may further include identification information of the first face, such as tracking identification information or Check box identification information. After the server obtains the information, it can perform more accurate personal identification and / or further analysis and processing according to the information.
  • image information of the first human body refers to image information obtained by performing human detection or body tracking on an image.
  • image information of the first human face refers to Image information obtained by face detection or face tracking on an image.
  • image information of the first human face may also refer to image information of the human face obtained based on the image information of the human body in the message.
  • first person identification request message refers to a person identification request message requesting identification of a person obtained through face detection or face tracking
  • second person identification request message is Refers to a person recognition request message requesting recognition of a person obtained through human detection or human tracking.
  • the client may also perform human body detection or tracking on the first image, obtain the result of face detection or tracking, and send the result of human body detection or tracking to the server.
  • the client may perform human body tracking or detection on the first image, obtain a second human body in the first image, and send a second person recognition request message to the server.
  • the second person recognition request message includes Image information of the second human body and identification information of the second human body, wherein the image information of the second human body may include an image of the second human body and / or human feature information of the image of the second human body, which is not described in this embodiment of the present application. limited.
  • the server may perform person recognition based on the image information of the second human body.
  • FIG. 3 is another schematic flowchart of an image processing method according to an embodiment of the present application.
  • S301 Determine matching probability information of each candidate pair in the N candidate pairs according to at least one face and at least one human body in the first image, where the candidate pair includes one of the at least one face and the foregoing.
  • One of the at least one human body, and the at least one human face includes the first human face.
  • N is an integer greater than or equal to 1.
  • At least one human face may be obtained by performing face detection or tracking on the first image
  • at least one human body may be obtained by performing human body detection or tracking on the first image
  • each human face may be used as a reference to establish a candidate pair with at least one human body or part of each human body or part of human body.
  • each human body may be used as a reference to establish a candidate pair with each or part of the human faces in the at least one human face.
  • the matching probability information of the candidate pair is used to identify a matching degree between a face and a human body included in the candidate pair.
  • the matching probability information may include a matching probability. The greater the matching probability of the candidate pair is, the higher the matching degree between the face and the human body included in the candidate pair is.
  • the matching probability information may include a matching weight. The smaller the matching weight of the candidate pair is, the higher the matching degree between the face and the human body included in the candidate pair is, which is not limited in this embodiment of the present application.
  • the matching probability information of each candidate pair in the N candidate pairs can be obtained in various ways.
  • each of the N candidate pairs is obtained through a matching algorithm based on machine learning or other methods.
  • Matching probability information of each candidate pair For example, the face and human image information included in the candidate pair can be input to a neural network for processing, and the matching probability information of the candidate pair is output.
  • the specific implementation of the matching probability information is not limited.
  • each face-human pair that matches in at least one human body and at least one human face may be determined.
  • the target matching result may include a matching n1 face-body pair.
  • each face in the n1 face has a matching human body, where n1 may be smaller than n2.
  • the Part of the human body does not have a matching face; or, n1 is equal to n2.
  • the n1 face and the n2 face are matched one-to-one.
  • the target matching result may include a matching n2 human face-human pair, and n2 is less than n1.
  • each human body in the n2 human body has a matching human face, and some humans in the n1 human face There is no human body matching the face.
  • the target matching result may include a matched n3 human face-human pair, where n3 is smaller than n1 and n2.
  • the matching of a part of the human face in the n1 human face and a part of the human body in the n2 human body is achieved.
  • the embodiment of the present application does not limit the specific implementation of the target matching result.
  • the target matching result of the at least one human face and the at least one human body includes at least one matched human body and human face (ie, at least one matched human face-human body pair).
  • the first human face may be searched in the target matching result to determine whether there is a human body matching the first human face. In some embodiments, if there is a human body matching the first human face, information of the human body matching the first human face may be further obtained.
  • the matching probability information of the first candidate pair among the N candidate pairs may be determined in the following manner, where the first candidate pair may be any candidate pair among the N candidate pairs, and the first candidate pair includes the first candidate pair. Two faces and a second human body. Based on the second human body included in the first candidate pair and the second human face included in the first candidate pair, the estimated position information and the actual position information of the target object are determined, where the target object is a part of the human body. Then, based on the estimated position information of the target object and the actual position information of the target object, the matching probability information of the first candidate pair is determined.
  • the foregoing target object may be a part of a human body, such as ears, a face, or a certain organ of a human face, such as eyes, nose, or the like, or may be other parts of the human body.
  • the specific implementation is not limited.
  • the estimated position information of the target object may be determined based on one of the second human body and the second face, and the actual position information of the target object may be determined based on the other.
  • the distance between the actual positions can be used to determine the degree of matching between the second face and the second human body in the first candidate pair, but this is not limited in this embodiment of the present application.
  • the determination of the actual position information and the estimated position information of the target object may be performed simultaneously or in any order, which is not limited in the embodiment of the present application.
  • the target object is an ear.
  • the estimated position of the ear and the actual position can be obtained.
  • the matching probability information of the second human body and the second human face may be determined.
  • the actual position information of the ear is determined based on the second human body, and the estimated position information of the ear is determined based on the second human face.
  • the actual position information of the ear can be determined based on the second human body in various ways.
  • the second human body obtained by the client includes an image of the second human body.
  • keypoint detection may be performed on the image of the second human body to obtain position information of keypoints of the ears, where the actual position information of the ears is described above. Includes location information for key points of the ear.
  • the second human body obtained by the client includes position information of the second human body.
  • an image of the second human body may be obtained from the first image, and The image of the second human body performs key point detection to obtain the position information of the ear key point, or the client may determine the actual position information of the ear by other methods, which is not limited in the embodiment of the present application.
  • the position information of the above-mentioned key point of the ear may include the position information of the key point of at least one ear, that is, the position information of the key point of the left ear and / or the position information of the key point of the right ear.
  • detection of key points may be performed on the image of the second human body through a neural network.
  • an image of the second human body may be input into the keypoint detection model through a pre-trained keypoint detection model, and the keypoint detection model may output ear keypoint information in the second human body.
  • the keypoint information of the image of the second human body may also be obtained through other keypoint detection algorithms, which is not limited in the embodiment of the present application.
  • the client may determine the estimated position information of the ear based on the second human face in various ways.
  • the estimated position information of the ear is determined based on the position information of the face bounding box of the second face or the position information of the second face.
  • the estimated position information of the ear may be determined based on the position of the center point of the second human face and the size information of the second human face.
  • the size information of the second human face may include a height and a width of the second human face.
  • the estimated position information of the ear may be determined based on the position information of multiple vertices of the face bounding box of the second face.
  • the face bounding box of the second face may be obtained first, and based on the information of the face bounding box, the height and width of the face may be obtained.
  • the information of the face bounding box may include position information of the face bounding box, for example, including The coordinates of multiple vertices in the image, or the position of the center point, and the width and height of the face bounding box.
  • the height of the human face may be equal to the height of the human face bounding box
  • the width of the human face may be equal to the width of the human face bounding box, but this embodiment of the present application does not limit this.
  • the estimated position information of the ear may be determined by using a Gaussian distribution model, where the estimated position information of the ear may include an estimated left ear position and / or an estimated right ear position.
  • the estimated position of the ear is obtained by formula (1).
  • ⁇ x and ⁇ y are the estimated position parameters of the ear, which can be set manually or obtained through training. Is the position of the center point of the second face, F w is the width of the second face, and F h is the height of the second face.
  • the estimated position information of the ear can be determined through a neural network.
  • the image of the second human face can be input to a neural network for processing to obtain the estimated position information of the ear, but this embodiment of the present application does not limit this.
  • the client After determining the estimated position information and the actual position information of the ear, the client determines the first matching probability information of the first candidate pair based on the estimated position information of the ear and the actual position information of the ear.
  • a distance between a position corresponding to the actual position information of the ear and a position corresponding to the estimated position information of the ear may be calculated, and a probability density may be obtained according to the distance and model parameters in the Gaussian distribution model.
  • the probability density may be used as the matching probability of the first candidate pair, or the matching probability of the first candidate pair may be determined through the probability density, which is not limited in this embodiment of the present application.
  • the target object is a human face.
  • the estimated position information of the second face may be determined based on the second human body, and the first candidate may be determined based on the estimated position information of the second face and the actual position information of the second face.
  • Matching probability information for the pair In some embodiments, the estimated position information of the center point of the second human face may be determined based on the bounding box information of the second human body. And, based on the position information of the second human face, actual position information of a center point of the second human face is determined. Then, the matching probability information of the first candidate pair may be determined based on the estimated position information of the center point of the second face and the actual position information of the center point of the second face.
  • the client can determine the estimated position information of the center point of the second human face according to the position information of the second human body (that is, the position information of the bounding box of the human body) in various ways. As one way, the client may determine at least one of a vertex coordinate, a human height, and a human width of the human body bounding box according to the position information of the human body bounding box. Furthermore, the estimated position information of the center point of the second human face is determined based on at least one of the vertex coordinates, the human height, and the human width.
  • the estimated position of the center point of the second face can be determined by a Gaussian distribution model.
  • the estimated position of the center point of the second face is obtained by formula (2).
  • B x1 and B y1 are the vertex coordinates of the bounding box of the human body
  • ⁇ x and ⁇ y are the estimated position parameters of the center point of the second face, which can be preset or obtained through training
  • B w is the width of the human body
  • B h is the height of the human body.
  • face detection may be performed on the image of the second human body, and the estimated position information of the center point of the second human face may be determined based on the detection result, for example, the position information of the detected face detection frame Determine the estimated position information of the center point of the second face.
  • the estimated position information of the center point of the second human face can be determined by a neural network.
  • the image of the second human body can be input to a neural network for processing to obtain the estimated position information of the center point of the second human face, but this embodiment of the present application does not limit this.
  • the matching probability information of the first candidate pair may be determined based on this.
  • a two-dimensional Gaussian function may be established according to the estimated position of the center point of the first face and the actual position of the center point of the first face, so as to obtain a probability density, and use the probability density as The matching probability of the first candidate pair, or the probability density can be used to determine the matching probability of the first candidate pair, which is not limited in this embodiment of the present application.
  • one way of determining a target matching result of the at least one face and the at least one human body is: determining the at least one face and the above according to matching probability information of each candidate pair among the N candidate pairs. Matching probability information of each candidate matching result in at least one candidate matching result of at least one human body, wherein the candidate matching result includes m candidate pairs among the above N candidate pairs, and each two candidates of the m candidate pairs The included faces and human bodies are different, 1 ⁇ m ⁇ N; based on the matching probability information of each candidate matching result in the at least one candidate matching result, the at least one face is determined from the at least one candidate matching result. Matching results with the target of the at least one human body.
  • the above candidate matching result is a set of m candidate pairs, and the candidate pairs in the set are not repeated, that is, the faces included in each two candidate pairs of the m candidate pairs included in the candidate matching result.
  • the candidate matching result is a set of m human face-human body pairs that are assumed to match among the N candidate pairs.
  • the above-mentioned m may be equal to the number of the at least one human body or the at least one human face.
  • m It may be less than the number of at least one human body and less than the number of at least one face, but this embodiment of the present application does not limit this.
  • the sum of the matching probability of the m candidate pairs included in the candidate matching result may be used as the matching probability corresponding to the matching probability information of the candidate matching result.
  • a candidate matching result includes 3 candidate pairs, and each candidate pair has a matching probability, respectively, probability 1, probability 2 and probability 3. Then, the matching probability of the candidate matching result is the rate 1, The sum of rate 2 and probability 3.
  • the sum of the weighted matching probabilities of the m candidate pairs may be used as the matching probability of the candidate matching result.
  • the matching probability of the m candidate pairs may be processed in other ways to obtain the matching probability of the candidate matching result.
  • the matching probability of the candidate matching result is equal to the average value, the maximum value, or the minimum value of the matching probability of the m candidate pairs. Value, which is not limited in the embodiment of the present application.
  • the target matching result may be determined from the at least one candidate matching result based on the matching probability information of each candidate matching result.
  • the candidate matching result with the largest matching probability corresponding to the matching probability information in the at least one candidate matching result may be used as the target matching result.
  • the target matching result may be determined from the at least one candidate matching result in a preset threshold, which is not limited in this embodiment of the present application.
  • the overall matching situation of at least one face and at least one human body in the first image is determined, and then the human matching situation of the first face in at least one human face is determined according to the overall matching situation.
  • the matching result of all human faces and human bodies in the first image can be obtained at one time, and the image processing efficiency can be improved, especially in the case that analysis and processing are performed on at least a large part of the human face in the first image.
  • a human body matching the first face may be determined from the at least one human body according to the matching probability information of the first human face and each human body in at least one human body in the first image, but the present application The embodiment is not limited thereto.
  • the method before the determining whether a human body matching the first face exists in at least one human body corresponding to the first image, the method further includes: performing a video on the video to which the first image belongs. At least a part of the images in the sequence are subjected to human tracking to obtain the human tracking result of the video sequence; based on the frame number of the first image, the human tracking of the first image is found from the face tracking results of the video sequence information.
  • the method before the determining whether a human body matching the first face exists in at least one human body corresponding to the first image, the method further includes: performing human body detection on the first image To obtain at least one human body corresponding to the first image.
  • the method further comprises: in response to the human tracking information of the first image not being found in the human tracking results of the video sequence, performing human detection on the first image to obtain the first An image corresponds to at least one human body.
  • another image processing method provided by the embodiment of the present application is a server or other device capable of realizing person recognition.
  • the following describes the method as being performed by a server as an example.
  • the embodiments of the present application are not limited to this.
  • S401 Receive a person identification request message sent by a first terminal device, where the person identification request message includes image information of a first human body.
  • the first terminal device may be the terminal device in FIG. 1 described above, but the embodiment of the present application is not limited thereto.
  • the face recognition request message may be the first face recognition request message obtained based on face detection or tracking in the foregoing embodiment, or the second face recognition person obtained based on human detection or tracking in the foregoing embodiment.
  • the request message is not limited in this embodiment of the present application.
  • S402. Determine person identification information of a person to which the first human body belongs based on the image information of the first human body.
  • the server determines the person identification information based on the image information of the first human body included in the person identification request message.
  • one or more of the following three databases may be involved: a face template database, a human template database, and an associated database.
  • the face template database is used to store at least one face template.
  • the face template may include a face image or face feature information, and has personal identification information of the person to whom the face belongs, such as a person-id. You can uniquely identify a person.
  • the human body template database is used to store at least one human body template.
  • the human body template may include a human body image or human body characteristic information, and has personal identification information of the person to whom the human body belongs, such as a body identification (body-id or Re-Id). Uniquely identifies a human body.
  • the association database is used to store the correspondence between the first person-based identification information (such as a person's identification) based on the face and the second person's identification information (such as a person's identification) based on the human body, or the second person's identification information based on the human body It is called body identification information.
  • the association database is used to store the correspondence between the person identification information and the body identification information.
  • the associated database may include multiple records, and each record includes a human body identifier and the human body identifier and the corresponding person identifier.
  • any one or more of a face template, a human template, and an associated database may be manually entered, or obtained based on the manually entered information, for example, by performing feature extraction on a manually entered face image, or It is dynamically updated during the person recognition process, which is not limited in the embodiment of the present application.
  • FIG. 5 Another image processing method provided by an embodiment of the present application is shown in FIG. 5.
  • the person identification request message received by the server is a first person identification request message.
  • the server may perform face-based person recognition through S501 and S502, or perform body-based person recognition through S503, or combine face-based person recognition and human-based person recognition to obtain the final person recognition result.
  • the image information of the first human body includes an image of the first human body.
  • the server may obtain an image of the first human face from the image of the first human body.
  • the server may perform face detection on an image of the first human body to obtain an image of the first human face.
  • the server may obtain position information of the first human face, and obtain an image of the first human face from an image of the first human body based on the position information of the first human face.
  • the first face recognition request message includes the position information of the first face, or the first face recognition request message includes the key point information of the first face, and so on.
  • the specific implementation of a face image is not limited.
  • the image information of the first human body includes human feature information of the image of the first human body and / or face characteristic information of the image of the first human body.
  • the server may obtain facial feature information included in the image information of the first human body, but the embodiment of the present application is not limited thereto.
  • S502 Determine person identification information of the person to which the first human body belongs based on the image information of the first human face and a facial template database.
  • the server may determine whether a face template matching the image information of the first face exists in the face template database.
  • the image information of the first human face includes an image of the first human face.
  • the face template in the face template database includes face feature information
  • the server may perform feature extraction processing on the image of the first face to obtain the feature information of the first face, based on The similarity or distance between the feature information of the first face and the face feature information in at least one face template, and it is determined whether a face template matching the feature information of the first face exists in the face template database.
  • the face template in the face template database includes a face image
  • the server may determine based on the similarity between the image of the first face and at least one face template included in the face template database. Whether a face template matching the image of the first face exists in the face template database.
  • the image information of the first human face includes facial feature information of the image of the first human body
  • the server may determine the face template database based on the facial feature information of the first human body image. Whether there is a face template matching the image information of the first face in this embodiment, the embodiment of the present application does not limit the specific implementation of determining whether a face template matching the image information of the first face exists in the face template database. Then, the server may obtain person identification information of the person to which the first human body belongs based on a result of the foregoing determination, where, as an example, the person identification information of the person to which the first human body belongs includes a person identification.
  • the result of the above determination is that a face template matching the image information of the first face exists in the face template database.
  • the server identifies the person identification information corresponding to the matched face template. Person identification information determined as the person to which the first human body belongs.
  • each face template in the face template database corresponds to a human identity. Therefore, if a face template matching the image information of the first face exists in the face template database, it indicates that the first The person corresponding to a face is a person that has been recorded on the server.
  • the server may increase the appearance number of the character by one, or record information about the person ’s current appearance, such as time information, location information, corresponding camera information, and captured images. The application example does not limit this.
  • the server may add person identification information, such as adding Character identification, and determining the newly added character identification information as the character identification information of the person to which the first human body belongs.
  • the server may confirm that the person to which the first face belongs is a newly appearing person, and assign a new one to the newly appearing person. Personal identification information.
  • the newly added person identification information and the image information of the first face may be added to the face template database, where, as a kind of Manner, the newly added person identification information and the first face image information may be added to the face template database as a new record, thereby establishing the newly added person identification information and the first face image information Correspondence between.
  • the server may also add the image information of the first face to the face template database, and record the correspondence between the image information of the first face and the newly added person identification information.
  • S503. Determine person identification information of a person to which the first human body belongs based on image information of the first human body and a human template database.
  • the image information of the first human body includes an image of the first human body.
  • the human template in the human template database includes human feature information
  • the server may perform feature extraction processing on the image of the first human body to obtain the feature information of the first human body, based on the characteristics of the first human body.
  • the similarity or distance between the information and the human characteristic information in the at least one human template determines whether a human template matching the characteristic information of the first human exists in the human template database.
  • the human template in the human template database includes a human image
  • the server may determine whether the human template database exists based on the similarity between the image of the first human body and at least one human template included in the human template database. A human body template matching the image of the first human body.
  • the image information of the first human body includes human feature information of the image of the first human body
  • the server may determine whether the human template database exists in the human template database based on the human feature information of the image of the first human body.
  • the embodiment of the present application does not limit the specific implementation of determining whether a human template matching the image information of the first human body exists in the human template database.
  • the server may obtain the character identification information of the person to which the first human body belongs based on a result of the foregoing determination.
  • the character identification information of the person to which the first human body belongs includes a human body identifier.
  • the server determines the second person identification information corresponding to the matched human template. Character identification information of a person to which the first human body belongs.
  • the server may also query the associated database for the first person identification information corresponding to the second person identification information corresponding to the matched human template, and determine the first person identification information obtained as a result of the query to the person to which the first human body belongs. Character identification information.
  • each human body template in the human body template database corresponds to a human body identifier. Therefore, if there is a human body template in the human body template database that matches the image information of the first human body, it indicates that the first human body is a server-side The human body has been recorded. At this time, as a method, the server may increase the number of appearances of the human body by one, or record information about the current appearance of the human body, such as time information, location information, corresponding camera information, and captured images. The application example does not limit this.
  • the server may add the second person identification information or human body identification information. For example, a new human body identification is added, and the newly added second human body identification information is determined as the human body identification information of the person to which the first human body belongs. If there is no human template matching the characteristic information of the first human body in the human body template database, the server may confirm that the person to which the first human body belongs is a newly appearing person, and assign new person identification information to the newly appearing person.
  • the newly added second person identification information and the image information of the first human body may be added to the human body template database, where, as One way, the newly added person identification information and the above-mentioned first human body image information may be added as a new record to the human template database, thereby establishing the newly added second person identification information and the first human body image Correspondence between information.
  • the server may also add the image information of the first human body to the human template database, and record the correspondence between the image information of the first human body and the newly added second person identification information.
  • the server performs face-based person recognition and human-based person recognition, and obtains the first face-based person identification information (such as a person identification) and the human-based second person identification. After the information (such as human body identification), the correspondence between the first person identification information and the second person identification information is established, and the correspondence between the first person identification information and the second person identification information is added to the association database, but
  • the first person recognition request message may further include identification information of the first face in the first human body, such as detection frame identification information or tracking identification information.
  • the server may perform further identification, passenger flow analysis, etc. based on the detection frame information or tracking identification information of the first human face.
  • FIG. 6 Another image processing method provided by an embodiment of the present application is shown in FIG. 6.
  • the person identification request message received by the server is a second person identification request message.
  • S601. Determine body identification information (or second person identification information) of the first human body based on the image information of the first human body.
  • the server may determine the body identification information of the first human body or the second person identification information based on the image information of the first human body and the human template database.
  • S602. Determine the person identification information of the person to which the first human body belongs based on the body identification information (or the second person identification information) of the first human body.
  • the server may determine the human body identification information of the person to which the first human body belongs by determining whether there is a match in the association database with the human body identification information of the first human body. Association relationship, wherein the association database is used to store at least one association relationship between body identification information and person identification information. Based on the determination result, the character identification information of the person to which the first human body belongs is obtained.
  • the server may identify the person identification information (or the first person identification information) in the matched association relationship.
  • the person identification information determined as the person to which the first human body belongs is determined. If there is an association relationship with the human body identifier of the first human body in the association database, it indicates that the human body to which the first human body belongs is a person that has been saved on the server, and the server may determine the human body identity corresponding to the human body identifier of the first human body.
  • the corresponding character is the character to which the first human body belongs.
  • the server may confirm that the person to which the first human body belongs is a newly appeared person, and the newly appeared person may correspond to a newly added person identification information.
  • the server may send the character identification information of the person to which the first human body belongs to the second terminal device.
  • the second terminal device may be a certain person.
  • the terminal equipment owned by some merchants and the second terminal equipment may perform processing such as passenger flow statistics, customer identification, and customer visit counts based on the personal identification information of the person to which the first human body belongs, which is not limited in this embodiment of the present application.
  • the human face when the message received by the server includes only a human face, the human face may be identified and processed according to the facial template database.
  • the server may perform matching processing on the face with the face template in the face template database, and perform recognition according to the determined result.
  • the server may determine that the personal identification information of the person to which the face belongs is the personal identification information corresponding to the matched face template.
  • the server may add the feature information of the face to the face template database, and allocate the information of the person to which the face belongs. Character identification information.
  • the image processing apparatus includes: an acquisition module 701 configured to process a first image to obtain a first face in the first image; a first determination module 702, configured to determine whether a human body matching the first face exists in at least one human body corresponding to the first image; and a sending module 703 is configured to send a first person recognition request to a server according to a result of the determination. Message.
  • the sending module 703 is configured to: in response to the presence of a first human body matching the first human face in at least one human body corresponding to the first image, send to the server including the first human body The first person recognition request message of image information of the image information, wherein the image information of the first human body is used by the server for person recognition.
  • another image processing apparatus provided in this embodiment of the present application further includes: a second determining module 704 configured to respond to the presence of the first image in at least one human body corresponding to the first image.
  • the first human body matched with a face determines whether the first person recognition request message includes image information of the first human body according to the image quality of the first human body.
  • the sending module 703 is configured to: in response to the image quality of the first human body meeting quality requirements, send the first person recognition request message including the image information of the first human body to the server. .
  • the quality requirements include at least one of the following: face clarity requirements, face size requirements, face angle requirements, face detection confidence requirements, and human detection confidence levels, whether they include complete human face.
  • the sending module 703 is configured to: in response to that the image quality of the first human body does not meet the quality requirements, send the first person recognition request including the image information of the first human face to the server. A message, wherein the image information of the first human face is used by the server for person recognition.
  • the first person recognition request message further includes: tracking identification information of the first face or detection frame identification information of the first face.
  • the image information of the first human body includes: an image of the first human body, and / or, the image information of the first human body includes: feature information of the image of the first human body, wherein The feature information of the image of the first human body includes at least one of body feature information and face feature information.
  • another image processing apparatus provided in this embodiment of the present application further includes: a third determining module 705 configured to determine to replace the image information of the first human face with that of the first human body. Image information for person recognition.
  • the sending module 703 is further configured to: in response to that there is no human body matching the first face in at least one human body corresponding to the first image, send a server including the first human face to the server.
  • the first determination module 702 is configured to determine whether at least one human body in the first image has a human body matching the first human face.
  • the first determining module 702 is configured to determine matching probability information of each candidate pair of the N candidate pairs according to at least one face corresponding to the first image and the at least one human body, where: The candidate pair includes one of the at least one human face and one of the at least one human body, and the at least one human face includes the first human face; according to the N candidate pairs, The matching probability information of each candidate pair determines a target matching result of the at least one face and the at least one human body; and based on the target matching result, determining whether at least one human body corresponding to the first image exists in the target image. The first face matches the human body.
  • the first determining module 702 is configured to determine the estimated position information and the actual position information of the target object based on the second human body included in the first candidate pair and the second face included in the first candidate pair.
  • the N candidate pairs include the first candidate pair, and the target object is a part of a human body; and the first and second candidate pairs are determined based on the estimated position information of the target object and the actual position information of the target object. Matching probability information of a candidate pair.
  • the target object includes at least one of an ear and a human face.
  • the first determining module 702 is configured to determine at least one candidate matching result of the at least one face and the at least one human body according to the matching probability information of each candidate pair in the N candidate pairs.
  • Matching probability information of each candidate matching result in the candidate matching result wherein the candidate matching result includes m candidate pairs of the N candidate pairs, and faces included in each two candidate pairs of the m candidate pairs And the human body is different, 1 ⁇ m ⁇ N; based on the matching probability information of each candidate matching result in the at least one candidate matching result, determining the at least one face and the at least one from the at least one candidate matching result.
  • a human body's goal matching result is configured to determine at least one candidate matching result of the at least one face and the at least one human body according to the matching probability information of each candidate pair in the N candidate pairs.
  • the first determining module 702 is configured to perform human body tracking on at least a part of an image in a video sequence to which the first image belongs to obtain a human body tracking result, wherein the human body tracking result includes the video sequence Determining human tracking information of at least one image in the video sequence; based on human tracking information corresponding to the frame number of the first image in a face tracking result of at least a part of the images in the video sequence, determining at least one corresponding to the first image Whether a human body matches the first human face in a human body.
  • the first determining module 702 is configured to: in response to the human tracking information corresponding to the frame number of the first image that does not exist in the human tracking result, obtain the human tracking information by performing human detection on the first image It is determined whether there is a human body matching the first human face in at least one human body.
  • the device further includes a human body tracking module configured to perform human body tracking on at least a part of the video sequence to which the first image belongs to obtain a human body tracking result of the video sequence; tracking information search A module configured to find human tracking information of the first image from a face tracking result of the video sequence based on a frame number of the first image.
  • a human body tracking module configured to perform human body tracking on at least a part of the video sequence to which the first image belongs to obtain a human body tracking result of the video sequence
  • tracking information search A module configured to find human tracking information of the first image from a face tracking result of the video sequence based on a frame number of the first image.
  • the device further includes a human body detection module configured to perform human body detection on the first image to obtain at least one human body corresponding to the first image.
  • the device further includes a human body tracking module configured to perform human body tracking on at least a part of the video sequence to which the first image belongs to obtain a human body tracking result of the video sequence; a tracking information search module , Configured to find human tracking information of the first image from a face tracking result of the video sequence based on a frame number of the first image.
  • a human body tracking module configured to perform human body tracking on at least a part of the video sequence to which the first image belongs to obtain a human body tracking result of the video sequence
  • a tracking information search module Configured to find human tracking information of the first image from a face tracking result of the video sequence based on a frame number of the first image.
  • the apparatus further includes a human body detection module configured to perform human body detection on the first image in response to human body tracking information of the first image not being found in a human body tracking result of the video sequence. To obtain at least one human body corresponding to the first image.
  • the obtaining module 701 is configured to perform face tracking on a first image to obtain a first face in the first image.
  • the apparatus further includes a tracking module 706 configured to perform human body tracking on the first image to obtain a third one in the first image. human body.
  • the sending module 703 is further configured to send a second person recognition request message to the server, where the second person recognition request message includes image information of the third human body and tracking identification information of the third human body.
  • another image processing apparatus provided by the embodiment of the present application further includes: a selecting module 707 configured to select the first image from a preset number of consecutive images included in a video sequence.
  • the selection module 707 is configured to select the first image from a preset number of consecutive images included in the video sequence based on the quality of a face included in the image.
  • another image processing apparatus includes: a receiving module 1201 configured to receive a person identification request message sent by a first terminal device, where the person identification request message includes Image information of the first human body.
  • the determining module 1202 is configured to determine person identification information of a person to which the first human body belongs based on image information of the first human body.
  • the image information of the first human body includes: an image of the first human body; and / or, the image information of the first human body includes: feature information of the image of the first human body, wherein The feature information of the image of the first human body includes at least one of body feature information and face feature information.
  • the determining module 1202 includes a first determining unit 12021 configured to obtain the first human body based on the image information of the first human body. Image information of a first human face; a second determination unit 12022 configured to determine person identification information of a person to which the first human body belongs based on the image information of the first human face and a face template database, wherein the person The face template database stores at least one face template.
  • the first determining unit 12021 is configured to obtain an image of a first human face from an image of the first human body.
  • the second determining unit 12022 is configured to: perform feature extraction processing on the image of the first face to obtain the feature information of the first face; and determine whether there is an A face template matched by the feature information of the first human face; and based on the determination result, character identification information of the person to which the first human body belongs is obtained.
  • the second determining unit 12022 is configured to: in response to a face template matching the feature information of the first face in the face template database, corresponding the matched face template to The person identification information is determined as the person identification information of the person to which the first human body belongs.
  • the second determination unit 12022 is configured to: in response to the absence of a face template matching the feature information of the first face in the face template database, determine the newly added person identification information as Person identification information of a person to which the first human body belongs.
  • another image processing apparatus provided in this embodiment of the present application further includes a first adding module 1203 configured to add the newly added person identification information and the first face information (for example, The feature information of the first face is added as a new face template to the face template database.
  • the person recognition request message further includes detection frame identification information or tracking identification information of a first face in the first human body.
  • the determination module 1202 further includes a third determination unit 12023 configured to determine the first human body based on the image information of the first human body. Human body identification information; a fourth determination unit 12024 is configured to determine, based on the body identification information of the first human body, person identification information of a person to which the first human body belongs.
  • the third determining unit 12023 is configured to: perform feature extraction on the image of the first human body to obtain characteristic information of the first human body; and determine whether a human template database exists with the first human body. A human body template with matched feature information, wherein the human body template database stores at least one human body template; and based on the determined result, human body identification information of the first human body is obtained.
  • the third determining unit 12023 is configured to determine human body identification information corresponding to the matched human body template in response to the existence of a human body template matching the characteristic information of the first human body in the human body template database. Is human body identification information of the first human body.
  • the third determining unit 12023 is configured to: in response to the absence of a human template matching the characteristic information of the first human in the human template database, determine the newly added human identification information as the first A human body's body identification information.
  • another image processing apparatus provided in the embodiment of the present application further includes: a second adding module 1204 configured to use the newly added human body identification information and the information of the first human body as new A face template is added to the human template database.
  • An embodiment of the present application provides another image processing apparatus.
  • the apparatus further includes: a third adding module 1205 configured to identify the human body of the first human body and the human body of the first human body. An association relationship between the information and the body identification information of the person to which the first human body belongs is added to the association database.
  • the person recognition request message further includes: tracking identification information or detection frame identification information of the first human body.
  • the fourth determining unit 12024 is configured to determine whether there is an association relationship matching the human body identifier of the first human body in an association database, where the association database is used to store human body identification information and person identification information At least one association relationship therebetween; based on the determination result, person identification information of the person to which the first human body belongs is obtained.
  • the fourth determining unit 12024 is configured to: in response to an association relationship matching the human body identifier of the first human body in the association database, determine person identification information in the matched association relationship as Person identification information of a person to which the first human body belongs.
  • the fourth determining unit 12024 is configured to determine that the newly added person identification information is the first person response information in response to the absence of an association relationship matching the body identification of the first person in the association database. Personal identification information of the person to which the human body belongs.
  • another image processing apparatus provided in the embodiment of the present application further includes: a sending module 1206 configured to send, to a second terminal device, personal identification information of a person to which the first human body belongs.
  • the face recognition request message is obtained by performing face tracking on at least one image in a video sequence based on the first terminal device.
  • the terminal device provided in this embodiment of the present application includes a memory 1901 configured to store program instructions.
  • the processor 1902 is configured to call and execute the program instructions in the memory 1901 to execute the method steps performed by the client in the foregoing method embodiments.
  • the server provided in the embodiment of the present application includes a memory 2002 configured to store program instructions.
  • the processor 2001 is configured to call and execute the program instructions in the memory 2002 to execute the method steps performed by the server in the foregoing method embodiment.
  • the image processing system provided in the embodiment of the present application includes a camera 1800, a terminal device 1900, and a server 2000 that are communicatively connected.
  • the camera 1800 captures video images in real time and sends them to the terminal device 1900.
  • the terminal device performs processing such as tracking and matching according to the video images to obtain human body information and face information, and sends the information to the server 2000.
  • the recognition process is performed based on the received information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种图像处理方法、装置、终端设备、服务器及系统，该方法包括：对第一图像进行处理，得到所述第一图像中的第一人脸；确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体；根据所述确定的结果，向服务器发送第一人物识别请求报文。

Description

图像处理方法、装置、终端设备、服务器及系统
相关申请的交叉引用
本申请基于申请号为201811051583.5、申请日为2018年09月10日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此以全文引入的方式引入本申请。
技术领域
本申请实施例涉及计算机技术，尤其涉及一种图像处理方法、装置、终端设备、服务器及系统。
背景技术
出于实际需要，一些企业或组织等可能需要对公共场合下的人流进行跟踪识别，以用于到访次数统计、人物身份识别以及人物特征分析等。
相关技术中，通过人脸跟踪的方式进行跟踪识别，通过对相机捕获的画面中的人脸进行特征匹配分析，从而识别出人脸信息。但是，使用相关技术的方法所得到的跟踪识别结果的准确度不高。
发明内容
本申请实施例提供一种图像处理的技术方案。
第一方面，提供一种图像处理方法，包括：对第一图像进行处理，得到所述第一图像中的第一人脸；确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体；根据所述确定的结果，向服务器发送第一人物识别请求报文。
在一些实施例中，所述根据所述确定的结果，向服务器发送第一人物识别请求报文，包括：响应于所述第一图像对应的至少一个人体存在与所述第一人脸匹配的第一人体，向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请求报文，其中，所述第一人体的图像信息用于所述服务器进行人物识别。
在一些实施例中，还包括：响应于所述第一图像对应的至少一个人体中存在与所述第一人脸匹配的第一人体，根据所述第一人体的图像质量，确定所述第一人物识别请求报文是否包括所述第一人体的图像信息。
在一些实施例中，所述向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请求报文，包括：响应于所述第一人体的图像质量满足质量要求，向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请求报文。
在一些实施例中，所述质量要求包括下列中的至少一种：人脸清晰度要求、人脸大小要求、人脸角度要求、人脸检测置信度要求以及人体检测置信度、人脸完整度要求。
在一些实施例中，所述方法还包括：响应于所述第一人体的图像质量不满足质量要求，向所述服务器发送包括所述第一人脸的图像信息的所述第一人物识别请求报文，其 中，所述第一人脸的图像信息用于所述服务器进行人物识别。
在一些实施例中，所述第一人物识别请求报文还包括：所述第一人脸的跟踪标识信息或第一人脸的检测框标识信息。
在一些实施例中，所述第一人物识别请求报文还包括：所述第一人脸的标识信息。
在一些实施例中，基于所述确定的结果，即是否存在与第一人脸匹配的人体，确定是否基于人体的图像信息对第一人脸进行人物识别。
在一些实施例中，基于所述确定的结果，确定所述第一人物识别请求报文中是否包含第一人脸的图像信息。
在一些实施例中，所述第一人体的图像信息包括：所述第一人体的图像，和/或，所述第一人体的图像信息包括：所述第一人体的图像的特征信息，其中，所述第一人体的图像的特征信息包括人体特征信息和人脸特征信息中的至少一项。
在一些实施例中，在向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请求报文之前，还包括：确定将所述第一人脸的图像信息替换为所述第一人体的图像信息来进行人物识别。
在一些实施例中，所述根据所述确定的结果，向服务器发送第一人物识别请求报文，包括：响应于所述第一图像对应的至少一个人体中不存在与所述第一人脸匹配的人体，向服务器发送包括所述第一人脸的图像信息的第一人物识别请求报文，其中，所述第一人脸的图像信息用于所述服务器进行人物识别。
在一些实施例中，所述确定所述第一图像的至少一个人体中是否存在与所述第一人脸匹配的人体，包括：根据所述第一图像对应的至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，其中，所述候选对包括所述至少一个人脸中的一个人脸和所述至少一个人体中的一个人体，所述至少一个人脸中包括所述第一人脸；根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸和所述至少一个人体的目标匹配结果；基于所述目标匹配结果，确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体。
在一些实施例中，所述根据所述至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，包括：基于第一候选对包括的第二人体以及所述第一候选对包括的第二人脸，确定目标对象的预估位置信息和实际位置信息，其中，所述N个候选对包括所述第一候选对，所述目标对象为人体的一部分；基于所述目标对象的预估位置信息和所述目标对象的实际位置信息，确定所述第一候选对的匹配概率信息。
在一些实施例中，所述目标对象包括耳朵和人脸中的至少一种。
在一些实施例中，所述根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸和所述至少一个人体的目标匹配结果，包括：根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸与所述至少一个人体的至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，其中，所述候选匹配结果包括所述N个候选对中的m个候选对，所述m个候选对中的每两个候选对所包括的人脸以及人体分 别不同，1≤m≤N；基于所述至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，从所述至少一个候选匹配结果中确定所述至少一个人脸与所述至少一个人体的目标匹配结果。
在一些实施例中，所述确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体，包括：对所述第一图像所属的视频序列中的至少一部分图像进行人体跟踪，得到人体跟踪结果，其中，所述人体跟踪结果包括所述视频序列中的至少一个图像的人体跟踪信息；基于所述视频序列中的至少一部分图像的人脸跟踪结果中与所述第一图像的帧号对应的人体跟踪信息，确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体。
在一些实施例中，在所述确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体之前，所述方法还包括：对所述第一图像所属的视频序列中的至少一部分图像进行人体跟踪，得到所述视频序列的人体跟踪结果；基于所述第一图像的帧号，从所述视频序列的人脸跟踪结果中查找所述第一图像的人体跟踪信息。
在一些实施例中，在所述确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体之前，所述方法还包括：对所述第一图像进行人体检测，得到所述第一图像对应的至少一个人体。
在一些实施例中，所述方法还包括：响应于在所述视频序列的人体跟踪结果中未找到所述第一图像的人体跟踪信息，对所述第一图像进行人体检测，得到所述第一图像对应的至少一个人体。
在一些实施例中，所述方法还包括：响应于所述人体跟踪结果中不存在所述第一图像的帧号对应的人体跟踪信息，从通过对所述第一图像进行人体检测得到的至少一个人体中确定是否存在与所述第一人脸匹配的人体。
在一些实施例中，所述对第一图像进行处理，得到所述第一图像中的第一人脸，包括：对第一图像进行人脸跟踪，得到所述第一图像中的第一人脸。
在一些实施例中，所述方法还包括：对所述第一图像进行人体跟踪，得到所述第一图像中的第三人体；向服务器发送第二人物识别请求报文，所述第二人物识别请求报文中包括所述第三人体的图像信息以及所述第三人体的跟踪标识信息。
在一些实施例中，在所述对第一图像进行处理，得到所述第一图像中的第一人脸之前，还包括：从视频序列包括的预设数量的连续图像中选取所述第一图像。
在一些实施例中，所述从视频序列包括的预设数量的连续图像中选取所述第一图像，包括：基于图像中所包括的人脸的质量，从所述视频序列包括的预设数量的连续图像中选取所述第一图像。
第二方面，提供一种图像处理方法，包括：接收第一终端设备发送的人物识别请求报文，所述人物识别请求报文包括第一人体的图像信息；基于所述第一人体的图像信息，确定所述第一人体所属人物的人物标识信息。
在一些实施例中，所述第一人体的图像信息包括：所述第一人体的图像；和/或，所 述第一人体的图像信息包括：所述第一人体的图像的特征信息，其中，所述第一人体的图像的特征信息包括人体特征信息和人脸特征信息中的至少一项。
在一些实施例中，所述基于所述第一人体的图像信息，确定所述第一人体所属人物的人物标识信息，包括：基于所述第一人体的图像信息，得到所述第一人体中包含的第一人脸的图像信息；基于所述第一人脸的图像信息和人脸模板数据库，确定所述第一人体所属人物的人物标识信息，其中，所述人脸模板数据库中存储至少一个人脸模板。
在一些实施例中，所述基于所述第一人体的图像信息，得到所述第一人体中包含的第一人脸的图像信息，包括：从所述第一人体的图像中获取第一人脸的图像。
在一些实施例中，所述基于所述第一人脸的图像信息和人脸模板数据库，确定所述第一人体所属人物的人物标识信息，包括：对所述第一人脸的图像进行特征提取处理，得到所述第一人脸的特征信息；确定所述人脸模板数据库中是否存在与所述第一人脸的特征信息匹配的人脸模板；基于所述确定的结果，得到所述第一人体所属人物的人物标识信息。
在一些实施例中，所述基于所述确定的结果，得到所述第一人体所属人物的人物标识信息，包括：响应于所述人脸模板数据库中存在与所述第一人脸的特征信息匹配的人脸模板，将所述匹配的人脸模板对应的人物标识信息确定为所述第一人体所属人物的人物标识信息。
在一些实施例中，所述基于所述确定的结果，得到所述第一人体所属人物的人物标识信息，包括：响应于所述人脸模板数据库中不存在与所述第一人脸的特征信息匹配的人脸模板，将新增的人物标识信息确定为所述第一人体所属人物的人物标识信息。
在一些实施例中，所述方法还包括：将所述新增的人物标识信息以及所述第一人脸的信息作为新的人脸模板添加到所述人脸模板数据库。
在一些实施例中，所述人物识别请求报文还包括所述第一人体中的第一人脸的检测框标识信息或跟踪标识信息。
在一些实施例中，所述基于所述第一人体的图像信息，确定所述第一人体所属人物的人物标识信息，包括：基于所述第一人体的图像信息，确定所述第一人体的人体标识信息；基于所述第一人体的人体标识信息，确定所述第一人体所属人物的人物标识信息。
在一些实施例中，所述基于所述第一人体的图像信息，确定所述第一人体的人体标识信息，包括：对所述第一人体的图像进行特征提取，得到所述第一人体的特征信息；确定人体模板数据库中是否存在与所述第一人体的特征信息匹配的人体模板，其中，所述人体模板数据库存储至少一个人体模板；基于所述确定的结果，得到所述第一人体的人体标识信息。
在一些实施例中，所述基于所述确定的结果，得到所述第一人体的人体标识信息，包括：响应于所述人体模板数据库中存在与所述第一人体的特征信息匹配的人体模板，将所述匹配的人体模板所属人物的人体标识信息确定为所述第一人体的人体标识信息。
在一些实施例中，所述基于所述确定的结果，得到所述第一人体的人体标识信息， 包括：响应于所述人体模板数据库中不存在与所述第一人体的特征信息匹配的人体模板，将新增的人体标识信息确定为所述第一人体的人体标识信息。
在一些实施例中，所述方法还包括：将所述新增的人体标识信息以及所述第一人体的信息作为新的人脸模板添加到所述人体模板数据库。
在一些实施例中，所述方法还包括：将所述第一人体的人体标识信息以及所述第一人体所属人物的人物标识信息与所述第一人体所属人物的人体标识信息之间的关联关系添加到关联数据库。
在一些实施例中，所述人物识别请求报文还包括：所述第一人体的跟踪标识信息或检测框标识信息。
在一些实施例中，所述基于所述第一人体的人体标识信息，确定所述第一人体所属人物的人物标识信息，包括：确定关联数据库中是否存在与所述第一人体的人体标识匹配的关联关系，其中，所述关联数据库用于存储人体标识信息与人物标识信息之间的至少一个关联关系；基于所述确定结果，得到所述第一人体所属人物的人物标识信息。
在一些实施例中，所述基于所述确定结果，得到所述第一人体所属人物的人物标识信息，包括：响应于所述关联数据库中存在与所述第一人体的人体标识匹配的关联关系，将所述匹配的关联关系中的人物标识信息确定为所述第一人体所属人物的人物标识信息。
在一些实施例中，所述基于所述确定结果，得到所述第一人体所属人物的人物标识信息，包括：响应于所述关联数据库中不存在与所述第一人体的人体标识匹配的关联关系，将新增的人物标识信息确定为所述第一人体所属人物的人物标识信息。
在一些实施例中，所述方法还包括：向第二终端设备发送所述第一人体所属人物的人物标识信息。
在一些实施例中，所述人物识别请求报文是基于所述第一终端设备对视频序列中的至少一个图像进行人脸跟踪得到的。
第三方面，提供一种图像处理装置，包括：获取模块，配置为对第一图像进行处理，得到所述第一图像中的第一人脸；第一确定模块，配置为确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体；发送模块，配置为根据所述确定的结果，向服务器发送第一人物识别请求报文。
第四方面，提供一种图像处理装置，包括：接收模块，配置为接收第一终端设备发送的人物识别请求报文，所述人物识别请求报文包括第一人体的图像信息；确定模块，配置为基于所述第一人体的图像信息，确定所述第一人体所属人物的人物标识信息。
第五方面，提供一种终端设备，包括：存储器，配置为存储程序指令；处理器，配置为调用并执行所述存储器中的程序指令，执行上述第一方面所述的方法步骤。
第六方面，提供一种服务器，包括：存储器，配置为存储程序指令；处理器，配置为调用并执行所述存储器中的程序指令，执行上述第二方面所述的方法步骤。
第七方面，提供一种图像处理系统，包括上述第五方面所述的终端设备以及上述第 六方面所述的服务器。
第八方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序用于上述第一方面或者第二方面所述的方法。
本申请实施例所提供的技术方案中，通过获取图像中的第一人脸，确定图像对应的至少一个人体中是否存在与第一人脸匹配的人体，并基于确定的结果，向服务器发送人物识别请求报文，有利于提高人物识别的准确性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的示意性系统架构图；
图2为本申请实施例提供的图像处理方法的流程示意图；
图3为本申请实施例提供的图像处理方法的另一流程示意图；
图4为本申请实施例提供的图像处理方法的另一流程示意图；
图5为本申请实施例提供的图像处理方法的另一流程示意图；
图6为本申请实施例提供的图像处理方法的另一流程示意图；
图7为本申请实施例提供的图像处理装置的模块结构图；
图8为本申请实施例提供的图像处理装置的另一模块结构图；
图9为本申请实施例提供的图像处理装置的另一模块结构图；
图10为本申请实施例提供的图像处理装置的另一模块结构图；
图11为本申请实施例提供的图像处理装置的另一模块结构图；
图12为本申请实施例提供的另一图像处理装置的模块结构图；
图13为本申请实施例提供的另一图像处理装置的另一模块结构图；
图14为本申请实施例提供的另一图像处理装置的另一模块结构图；
图15为本申请实施例提供的另一图像处理装置的另一模块结构图；
图16为本申请实施例提供的另一图像处理装置的另一模块结构图；
图17为本申请实施例提供的另一图像处理装置的另一模块结构图；
图18为本申请实施例提供的另一图像处理装置的另一模块结构图；
图19为本申请实施例提供的终端设备的示意性框图；
图20为本申请实施例提供的服务器的示意性框图；
图21为本申请实施例提供的图像处理系统的架构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图， 对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中主要基于人脸信息进行人物的跟踪识别，但是实际环境中，人脸跟踪识别可能由于遮挡、拍摄角度等问题而导致漏检、检测质量不佳等结果，因此，所得到的跟踪识别结果准确度不高。本申请实施例基于上述问题，提出一种图像处理方法，客户端通过对人脸和人体进行匹配，并根据匹配结果向服务器发送人物识别请求报文，由于同时对人脸和人体进行匹配，因此可以使得跟踪识别结果的准确度得到极大提升，同时，匹配结果发送给服务器之后，还可以使得服务器根据该匹配结果进行准确的客户数据分析。
本申请实施例所提供的方法可以应用在各种需要进行人物跟踪识别的场景下。例如在超市、零售商店等场景下，超市或零售商店的经营者可能需要通过对超市或零售商店内的客流进行跟踪识别，以得到客流统计、顾客识别、顾客到访次数等信息，进而将这些信息作为企业管理时的重要参考信息。又例如在十字路口、火车站等公共场所监控场景下，可以通过对这些场景下进行人员跟踪识别，可以确定一些特定人员的身份信息等。
本申请以下实施例以零售商店场景为例说明本申请实施例的方案，但是显然，本申请实施例并不以此为限。
图1为本申请实施例的示意性系统架构图，如图1所示，该架构包括第一终端设备11、服务器12以及第二终端设备13。在零售商店场景下，该第一终端设备上运行有客户端，该第一终端设备部署在零售商店内，并且与设置在零售商店内的相机连接，获取相机所捕获到的视频图像，并进行跟踪、匹配等处理。该第一终端设备上的客户端与服务器连接，服务器从第一终端设备上的客户端接收到数据后进行识别处理，并将处理结果发送给第二终端设备的客户端。该第二终端设备的客户端可以是零售商店的运营者的管理系统等，该第二终端设备的客户端可以通过对服务器发送的信息进行分析，得到上述的客流统计、顾客识别、顾客到访次数等信息。
本申请以下实施例分别从上述客户端和服务器的角度对本申请实施例的方案进行说明。以下首先说明客户端的处理过程。本申请实施例提供的图像处理方法，如图2所示，该方法的执行主体为上述的客户端，或者也可以为其他终端设备，本申请实施例对此不做限定。为了便于理解，下面以客户端执行方法为例进行描述。图2所示的方法包括：
S201、对第一图像进行处理，得到该第一图像中的第一人脸。
其中，该第一图像可以是相机实时拍摄的视频序列中的其中一帧图像，或者该第一图像可以是静态图像，本申请实施例对第一图像的具体实现不作限定。
在一些实施例中，相机实时进行拍摄，得到连续的视频流，相机可以实时或定期将视频流发送到客户端。客户端对视频流进行解码，可以得到视频序列。该视频序列中包括多帧图像。客户端进而可以对该多帧图像或该多帧图像中的部分图像分别使用本申请 实施例的方法进行处理。
在一些实施例中，也可以通过其他方式获取视频序列或第一图像，本申请实施例对获取的具体方式不作限定。在一些实施例中，客户端可以从视频序列包括的多个图像中选取第一图像。例如，客户端可以从上述视频序列所包括的预设数量的连续图像中选取上述第一图像，或者，客户端也可以基于预设阈值从视频序列中选取第一图像，但本申请实施例对选帧的具体实现不做限定。
在一些实施例中，客户端可以基于图像中所包括的人脸的质量，从上述视频序列包括的多个图像中选取上述第一图像。示例性地，客户端可以从视频序列所包括的Q(Q为整数，例如10)帧连续图像中选择质量最好的一帧作为第一图像。例如，可以确定每个图像的质量分数，并将质量分数最高的图像作为第一图像。其中，质量分数可以基于图像的一种或多种因素获得，例如，可以基于人脸清晰度、人脸角度、人脸大小、人脸检测的置信度等一种或任意组合，确定图像的质量分数，或者也可以基于其他因素，确定图像的质量分数。此外，可以通过多种方式获得图像的质量分数，例如，可以基于神经网络确定图像的质量分数，或者基于其他算法得到图像的质量分数，本申请实施例对质量分数的获得方式和影响因素均不做限定。
再例如，客户端可以从视频序列中选择质量分数达到预设阈值的图像作为第一图像。其中，在一个例子中，可以确定图像的综合质量分数，并基于综合质量分数是否达到预设阈值来确定是否选取该图像；或者，可以设置图像的各个质量因素的阈值，例如人脸角度、人脸大小、人脸清晰度中的一项或任意多项中的每项设置阈值，并基于每个质量因素是否达到对应的阈值来确定是否选取该图像。或者，也可以设置综合质量分数和每个质量因素分别对应的阈值，本申请实施例对其具体实现不做限定。
作为一种可选方式，客户端可以对第一图像进行人脸检测，得到第一人脸，此时，客户端可以得到第一人脸的图像以及第一人脸的标识信息，例如第一人脸的检测框标识。或者，客户端可以对第一图像进行人脸跟踪，以得到第一图像中的第一人脸，此时，作为另一种方式，客户端可以得到第一人脸的图像以及第一人脸的跟踪标识信息。
在一些实施例中，客户端可以基于人脸关键点进行人脸跟踪，例如客户端可以对位于第一图像之前的第二图像进行人脸检测，得到人脸图像，并对人脸图像进行关键点检测，得到关键点在第二图像中的位置信息，其中，第二图像与第一图像之间的间隔可以低于预设数值。然后，客户端可以基于关键点在第二图像中的位置信息以及第一图像相对于第二图像的运动信息，例如光流信息，确定关键点在第一图像中的预测位置信息，并基于关键点在第一图像中的预测位置信息，获取第一人脸的图像。
在一些实施例中，也可以基于其他方式进行人脸跟踪，本申请实施例对人脸跟踪的具体实现不作限定。在一些实施例中，在通过人脸跟踪得到第一人脸之后，客户端还可以记录该第一人脸所在的图像的帧标识。
S202、确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体。
在一些实施例中，可以确定第一图像包括的至少一个人体中是否存在与第一人脸匹配的人体。
在本申请实施例中，可以通过多种方式得到第一图像包括的至少一个人体的信息。在一些实施例中，可以对第一图像进行人体检测，得到第一图像中的至少一个人体，此时，作为一种方式，可以得到每个人体的图像以及每个人体的标识信息，例如检测框标识。在另一些可能的实现方式中，可以对第一图像进行人体跟踪，得到第一图像中的至少一个人体，例如，可以对上述第一图像所属的视频序列的至少一部分图像进行人体跟踪，得到人体跟踪结果，其中，该人体跟踪结果包括该视频序列中的至少一个图像的人体跟踪信息。此时，作为另一种方式，可以得到每个人体的图像以及每个人体的跟踪标识信息。作为再一种方式，对于每一个人体，客户端还可以进一步记录该人体所在图像的帧标识，但本申请实施例不限于此。
在一些实施例中，在所述确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体之前，该方法还包括：对所述第一图像所属的视频序列中的至少一部分图像进行人体跟踪，得到所述视频序列的人体跟踪结果；基于所述第一图像的帧号，从所述视频序列的人脸跟踪结果中查找所述第一图像的人体跟踪信息。
在一些实施例中，可以从视频序列的至少一部分图像的人体跟踪结果中查找与上述第一人脸的帧号对应的人体跟踪信息。在一种情况下，如果人体跟踪结果中存在与上述第一人脸的帧号对应的人体跟踪信息，则从与第一图像的帧号对应的人体跟踪信息中查找与第一人脸匹配的人体。在另一种情况下，如果人体跟踪结果中不存在与上述第一人脸的帧号对应的人体跟踪信息，则可以对第一图像进行人体检测，并从通过对第一图像进行人体检测得到的至少一个人体中确定是否存在与第一人脸匹配的人体。在另一些可能的实现方式中，可以直接对第一图像进行人体检测，并从通过对第一图像进行人体检测得到的至少一个人体中确定是否存在与第一人脸匹配的人体。
本申请实施例对第一图像的至少一个人体的获得方式不作限定。
S203、根据上述确定的结果，向服务器发送第一人物识别请求报文。
在一些实施例中，上述确定的结果包括：存在与第一人脸匹配的人体，或者，不存在与第一人脸匹配的人体。
在一些实施例中，所述第一人物识别请求报文还包括：所述第一人脸的标识信息。
对于不同的确定结果，客户端可以向服务器发送不同的第一人物识别请求报文，即对于不同的确定结果，第一人物识别请求报文中的所包含的信息可以不同。例如，可以基于确定结果，即是否存在与第一人脸匹配的人体，确定是否基于人体的图像信息对第一人脸进行人物识别。再例如，可以基于确定结果，确定第一人物识别请求报文中是否包含第一人脸的图像信息。
本申请实施例中，客户端通过对人脸和人体进行匹配，并根据匹配结果向服务器发送人物识别请求报文，有利于提高人物识别的准确性。在一些实施例中，在目标区域的监控场景中，一般会在一个或多个位置设置摄像头，由于光线、遮挡、人脸角度等因素， 通过人脸无法进行人物识别，或者人物识别的准确性较低，本申请实施例通过确定是否存在与第一人脸匹配的人体，并基于匹配结果确定向服务器发送的第一人物识别请求报文中是否包含第一人脸的图像信息，有利于提高人物识别的准确性。
在上述实施例的基础上，下面描述如何根据确定的结果向服务器发送第一人物识别请求报文。如前所述，上述确定的结果可能包括：存在与第一人脸匹配的人体，或者，不存在与第一人脸匹配的人体。以下分别说明这两种情况下的处理方式。
1、存在与第一人脸匹配的人体
在一些实施例中，当存在与第一人脸匹配的人体(称该匹配的人体为第一人体)时，客户端可以向服务器发送包括该第一人体的图像信息的第一人物识别请求报文。
在一种可能的实现方式中，响应于存在与第一人脸匹配的人体，可以直接确定在第一人物识别请求报文中包括第一人体的图像信息。此时，作为一种方式，可以在第一人物识别请求报文中进一步包括第一人脸的图像信息，相应地，服务器在接收到该第一人物识别请求报文之后，可以基于第一人脸的图像信息和第一人体的图像信息进行人物识别。或者，第一人物识别请求报文可以不包括第一人脸的图像信息，相应地，服务器在接收到第一人物识别请求报文之后，可以基于第一人体的图像信息进行人物识别，本申请实施例对此不做限定。
在另一种可能的实现方式中，还可以通过判断第一人体的图像质量，并基于第一图像质量确定第一人物识别请求报文是否包括第一人体的图像信息。作为一种方式，可以通过判断第一人体的图像质量是否满足预设的质量要求，来确定是否在第一人物识别请求报文中包括第一人体的图像信息。
一种情况下，如果第一人体的图像质量满足质量要求，则向服务器发送的第一任务识别请求报文包括第一人体的图像信息。相应地，服务器可以基于第一人体的图像信息进行人物识别。例如，服务器可以从第一人体的图像信息中获取第一人脸的图像信息，例如从第一人体的图像中截取第一人脸的图像，并基于第一人脸的图像信息进行人物识别，但本申请实施例不限于此。
另一种情况下，如果第一人体的图像质量不满足质量要求，则向服务器发送的第一人物识别请求报文不包括第一人体的图像信息而包括仅上述第一人脸的图像信息，其中，所述第一人脸的图像信息用于所述服务器进行人物识别。
这样，在本申请实施例的技术方案中，可以根据图像的实际情况确定基于通过人体检测或人体跟踪得到的人体的图像信息或者通过人脸检测或人脸跟踪得到的人脸的图像信息进行人物识别，例如，在人体的图像质量较好时通过从人体的图像信息中获取人脸的图像信息来进行人物识别，而在人体的图像质量较差时利用人脸检测或人脸跟踪得到的人脸的图像信息进行人物识别，从而避免在进行人物识别时由于人脸角度、遮挡等因素而造成的识别准确度较低的问题，提高人物识别的准确性。
其中，在本申请实施例中，质量要求可以根据实际情况设置。在一种可能的实现方式中，上述质量要求可以包括以下要求中的一种或任意组合：人脸清晰度要求、人脸大 小要求、人脸角度要求、人脸检测置信度要求以及人体检测置信度、人脸完整度要求。
在一个例子中，质量要求包括下列组合中的至少一项：人体检测框的置信度达到预设阈值、人脸的完整度达到特定要求(例如包括完整的人体)、人脸的清晰度达到特定要求、人脸大小达到特定要求、人脸角度处于特定范围，这样，服务器可以从人体图像中获取质量较好的人脸图像并基于该人脸图像进行人物识别，提高人物识别的准确性。
作为一种方式，质量要求也可以包括其他类型的参数要求，本申请实施例对其具体实现不做限定。在本申请实施例中，如果通过上述任意途径确定向服务器发送的第一人物识别请求报文包括第一人体的图像信息，则在一个例子中，该报文可以进一步包括第一人脸的图像信息，此时，服务器在接收到第一人物识别请求报文之后，可以选择利用报文中包括的第一人脸的图像信息或者第一人体的图像信息进行人物识别，或者结合两者进行人物识别，本申请实施例对此不做限定。在另一个例子中，该报文可以不包括第一人脸的图像信息，相应地，在发送该报文前，可以确定将上述第一人脸的图像信息替换为上述第一人体的图像信息，从而在第一人物识别请求报文中包括第一人体的图像信息而不包括第一人脸的图像信息。相应地，服务器在接收到第一人物识别请求报文之后，基于报文中包括的第一人体的图像信息进行人物识别，但本申请实施例不限于此。
2、不存在与第一人脸匹配的人体
在一些实施例中，响应于不存在与第一人脸匹配的人体，客户端可以向服务器发送的第一人物识别请求报文包括上述第一人脸的图像信息。这样，与第一人脸对应的第一人物识别请求报文可以包括第一人脸的图像信息、第一人体的图像信息、或者第一人体的图像和第一人脸的图像信息。
在本申请实施例中，在一种可能的实现方式中，第一人体的图像信息包括：第一人体的图像。此时，服务器可以基于第一人体的图像进行人物识别。例如，服务器从第一人体的图像中获取第一人脸的图像，并基于第一人脸的图像和人脸模板来进行人物识别；再例如，基于第一人体的图像、人体模板和人物-人体关联库来进行人物识别，等等，本申请实施例对服务器基于第一人体的图像进行人物识别的具体实现不做限定。
在另一种可能的实现方式中，第一人体的图像信息包括：第一人体的图像的特征信息，其中，作为一种方式，第一人体的图像的特征信息可以包括人体特征信息，或者包括人脸特征信息，或者包括人体特征信息和人脸特征信息。其中，第一人体的图像的人体特征信息是通过对第一人体的图像进行特征提取得到，第一人体的图像的人脸特征信息是通过对第一人体的图像中的人脸区域图像进行特征提取得到。在一些实施例中，第一人脸的图像信息包括：第一人脸的图像和/或第一人脸的图像的特征信息，其中，第一人脸的图像的特征信息是通过对第一人脸的图像进行特征提取得到的，本申请实施例对此不做限定。作为一种实现方式，第一人物识别请求报文中除了包括第一人体的图像信息和/或第一人脸的图像信息外，还可以包括第一人脸的标识信息，例如跟踪标识信息或者检测框标识信息。服务器获取到这些信息后，可以根据这些信息进行更加准确的人物身份识别和/或进一步分析处理。
为了便于理解，术语“第一人体的图像信息”是指通过对图像进行人体检测或人体跟踪得到的图像信息，此外，在上述实施例中，术语“第一人脸的图像信息”是指通过对图像进行人脸检测或人脸跟踪得到的图像信息。而在以下实施例中，术语“第一人脸的图像信息”也可以指基于报文中的人体的图像信息得到的人脸的图像信息。
另外，应理解，术语“第一人物识别请求报文”是指请求对通过人脸检测或人脸跟踪获得的人物进行识别的人物识别请求报文，术语“第二人物识别请求报文”是指请求对通过人体检测或人体跟踪获得的人物进行识别的人物识别请求报文。此外，客户端还可以对第一图像进行人体检测或跟踪，得到人脸检测或跟踪的结果，并将人体检测或跟踪的结果发送给服务器。
在一个例子中，客户端可以对第一图像进行人体跟踪或检测，得到第一图像中的第二人体，并向服务器发送第二人物识别请求报文，该第二人物识别请求报文中包括第二人体的图像信息以及第二人体的标识信息，其中，第二人体的图像信息可以包括第二人体的图像和/或第二人体的图像的人体特征信息，本申请实施例对此不做限定。服务器在接收到第二人物识别请求报文之后，可以基于第二人体的图像信息进行人物识别。
图3为本申请实施例提供的图像处理方法的另一流程示意图。
S301、根据第一图像中的至少一个人脸和至少一个人体，确定N个候选对中每个候选对的匹配概率信息，其中，上述候选对包括上述至少一个人脸中的一个人脸和上述至少一个人体中的一个人体，上述至少一个人脸中包括上述第一人脸。其中，N为大于或等于1的整数。
在一些实施例中，可以通过对第一图像进行人脸检测或跟踪得到至少一个人脸，对第一图像进行人体检测或跟踪得到至少一个人体。
在得到至少一个第一人脸和至少一个第一人体之后，可以将至少一个人体和至少一个人脸中的任意人脸-人体组合作为候选对，得到N个候选对，即N＝(n1×n2)/2，其中，n1和n2分别为至少一个人脸的个数和至少一个人体的个数；或者，可以将至少一个人体和至少一个人脸中的部分人脸-人体组合作为候选对，得到N个候选对，本申请实施例对N个候选对的具体实现不做限定。
一种方式中，在得到上述至少一个人脸和上述至少一个人体后，可以以每个人脸为基准，建立其与至少一个人体中部分或每个人体或部分人体的候选对。另一种方式中，在得到上述至少一个人脸和上述至少一个人体后，可以以每个人体为基准，建立其与至少一个人脸中每个人脸或部分人脸的候选对。
在一些实施例中，候选对的匹配概率信息用于标识候选对中包括的人脸和人体的匹配程度。在一个例子中，匹配概率信息可以包括匹配概率，候选对的匹配概率越大则表明候选对中包括的人脸和人体的匹配程度越高。在另一个例子中，匹配概率信息可以包括匹配权值，候选对的匹配权值越小则表明候选对中包括的人脸和人体的匹配程度越高，本申请实施例对此不做限定。
在本申请实施例中，可以通过多种方式得到N个候选对中每个候选对的匹配概率信 息，在一个例子中，通过基于机器学习或其他方法的匹配算法，得到N个候选对中每个候选对的匹配概率信息，例如，可以将候选对中包括的人脸和人体的图像信息输入到神经网络进行处理，输出该候选对的匹配概率信息，但本申请实施例对得到候选对的匹配概率信息的具体实现不做限定。
S302、根据上述N个候选对中每个候选对的匹配概率信息，确定上述至少一个人脸和上述至少一个人体的目标匹配结果。
在一些实施例中，可以基于N个候选对中每个候选对的匹配概率信息，确定至少一个人体与至少一个人脸中匹配的各个人脸-人体对。例如，该目标匹配结果可以包括匹配的n1个人脸-人体对，此时，n1个人脸中的每个人脸均存在与其匹配的人体，其中，n1可以小于n2，此时，n2个人体中的部分人体不存在与其配对的人脸；或者，n1等于n2，此时，n1个人脸和n2个人体一一对应的匹配。再例如，该目标匹配结果可以包括匹配的n2个人脸-人体对，并且n2小于n1，此时，n2个人体中的每个人体均存在与其匹配的人脸，而n1个人脸中的部分人脸不存在与其匹配的人体。再例如，该目标匹配结果可以包括匹配的n3个人脸-人体对，其中，n3小于n1和n2，此时，实现了n1个人脸中的部分人脸和n2个人体中的部分人体的配对，本申请实施例对目标匹配结果的具体实现不做限定。
S303、基于上述目标匹配结果，确定上述第一图像的至少一个人体中是否存在与上述第一人脸匹配的人体。
在一些实施例中，该至少一个人脸和至少一个人体的目标匹配结果包括至少一对匹配的人体和人脸(即至少一个匹配的人脸-人体对)。相应地，可以在上述目标匹配结果中查找第一人脸，以确定是否存在与第一人脸匹配的人体。在一些实施例中，如果存在与第一人脸匹配的人体，可以进一步获取与第一人脸匹配的人体的信息。
一种方式中，可以通过以下方式确定N个候选对中的第一候选对的匹配概率信息，其中，该第一候选对可以为N个候选对中的任意候选对，第一候选对包括第二人脸和第二人体。基于第一候选对包括的第二人体以及该第一候选对包括的第二人脸，确定目标对象的预估位置信息和实际位置信息，其中，上述目标对象为人体的一部分。然后，基于上述目标对象的预估位置信息和上述目标对象的实际位置信息，确定上述第一候选对的匹配概率信息。
在一些实施例中，上述目标对象可以为人体的一部分，例如耳朵、人脸或人脸的某个器官，如眼睛、鼻子等，或者也可以为人体的其他部位，本申请实施例对目标对象的具体实现不做限定。在一种可能的实现方式中，可以基于第二人体和第二人脸中的其中一项确定目标对象的预估位置信息，而基于另一项确定目标对象的实际位置信息。这样，基于目标对象的预估位置信息和实际位置信息，例如通过比较目标对象的预估位置信息和实际位置信息，或者通过确定目标对象的预估位置信息对应的预估位置与实际位置信息对应的实际位置之间的距离，可以确定第一候选对中的第二人脸和第二人体的匹配程度，但本申请实施例对此不做限定。
在本申请实施例中，目标对象的实际位置信息和预估位置信息的确定可以同时执行或者以任意前后顺序执行，本申请实施例对此不做限定。在一个例子中，上述目标对象为耳朵，此时，基于第二人体和第二人脸，可以得出耳朵的预估位置以及实际位置，进而，根据预估位置和实际位置之间的差别，例如距离等，可以确定第二人体和第二人脸的匹配概率信息。
下面详细描述基于第二人体和第二人脸得出耳朵的预估位置和实际位置的一个示例。在一些实施例中，在S301中，基于上述第二人体，确定耳朵的实际位置信息，并且基于上述第二人脸，确定耳朵的预估位置信息。在本申请实施例中，可以通过多种方式基于第二人体确定耳朵的实际位置信息。在一个例子中，客户端得到的第二人体包括第二人体的图像，此时，可以对第二人体的图像进行关键点检测，得到耳朵关键点的位置信息，其中，上述耳朵的实际位置信息包括耳朵关键点的位置信息。在另一个例子中，客户端得到的第二人体包括第二人体的位置信息，此时，可以基于上述第二人体的位置信息，从上述第一图像中获取上述第二人体的图像，并对第二人体的图像进行关键点检测，得到耳朵关键点的位置信息，或者，客户端也可以通过其他方式确定耳朵的实际位置信息，本申请实施例对此不做限定。
在一些实施例中，上述耳朵关键点的位置信息可以包括至少一个耳朵的关键点的位置信息，即包括左耳关键点的位置信息和/或右耳关键点的位置信息，本申请实施例对此不做限定。在一些实施例中，可以通过神经网络对第二人体的图像进行关键点的检测。例如，可以通过预先训练好的关键点检测模型，将上述第二人体的图像输入到该关键点检测模型中，该关键点检测模型可以输出上述第二人体中的耳朵关键点信息。或者，也可以通过其他关键点检测算法，得到第二人体的图像的关键点信息，本申请实施例对此不做限定。在本申请实施例中，客户端可以通过多种方式基于上述第二人脸确定耳朵的预估位置信息。作为一种方式，基于第二人脸的人脸限定框的位置信息或者第二人脸的位置信息，确定耳朵的预估位置信息。在一种可能的实现方式中，可以基于上述第二人脸的中心点位置以及上述第二人脸的尺寸信息，确定耳朵的预估位置信息。
在一些实施例中，上述第二人脸的尺寸信息可以包括第二人脸的高度以及宽度等。
在另一种可能的实现方式中，可以基于第二人脸的人脸限定框的多个顶点的位置信息，确定耳朵的预估位置信息。在一些实施例中，可以首先获取第二人脸的人脸限定框，并基于该人脸限定框的信息，可以得到人脸的高度和宽度。例如，通过对第一图像的至少一部分进行人脸检测或人脸跟踪，得到第二人脸的人脸限定框，该人脸限定框的信息可以包括该人脸限定框的位置信息，例如包括多个顶点在图像中的坐标，或者包括中心点的位置以及人脸限定框的宽度和高度。在一个例子中，人脸的高度可以等于人脸限定框的高度，人脸的宽度可以等于人脸限定框的宽度，但本申请实施例对此不做限定。
在一种可能的实现方式中，可以通过高斯分布模型确定上述耳朵的预估位置信息，其中，该耳朵的预估位置信息可以包括预估左耳位置和/或预估右耳位置。
例如，耳朵的预估位置由公式(1)得到。
Figure PCTCN2019088432-appb-000001
其中，θ x和θ y为耳朵的预估位置参数，可以是人工设置的或者是通过训练得到的，
Figure PCTCN2019088432-appb-000002
为第二人脸的中心点位置，F w,为第二人脸的宽度，F h为第二人脸的高度。
在另一种可能的实现方式中，可以通过神经网络确定耳朵的预估位置信息。此时，可以将第二人脸的图像输入到神经网络进行处理，得到耳朵的预估位置信息，但本申请实施例对此不做限定。
客户端在确定耳朵的预估位置信息和实际位置信息之后，基于上述耳朵的预估位置信息和上述耳朵的实际位置信息确定第一候选对的第一匹配概率信息。
在一些实施例中，可以计算上述耳朵的实际位置信息对应的位置与上述耳朵的预估位置信息对应的位置之间的距离，并根据该距离以及上述高斯分布模型中的模型参数得到一个概率密度，该概率密度可以作为第一候选对的匹配概率，或者，通过该概率密度，可以确定第一候选对的匹配概率，本申请实施例对此不做限定。
在另一个例子中，上述目标对象为人脸。此时，作为一种方式，可以基于第二人体，确定第二人脸的预估位置信息，并基于第二人脸的预估位置信息和第二人脸的实际位置信息，确定第一候选对的匹配概率信息。在一些实施例中，可以基于上述第二人体的限定框信息，确定上述第二人脸的中心点的预估位置信息。并且，基于上述第二人脸的位置信息，确定上述第二人脸的中心点的实际位置信息。然后，可以基于第二人脸的中心点的预估位置信息和第二人脸的中心点的实际位置信息，确定第一候选对的匹配概率信息。
基于第二人脸的位置信息确定第二人脸的中心点的实际位置信息的过程可以参照上述实施例的描述，此处不再赘述。客户端可以通过多种方式根据第二人体的位置信息(即人体限定框的位置信息)确定第二人脸的中心点的预估位置信息。作为一种方式，客户端可以根据上述人体限定框的位置信息确定人体限定框的顶点坐标、人体高度和人体宽度中的至少一项。进而，根据上述顶点坐标、人体高度和人体宽度中的至少一项，确定第二人脸的中心点的预估位置信息。
在一个例子中，可以通过高斯分布模型确定第二人脸的中心点的预估位置。
例如，第二人脸的中心点的预估位置由公式(2)得到。
B x1+μ x*B w,B y1+μ y*B h               (2)；
其中，B x1和B y1为人体限定框的顶点坐标，μ x和μ y为第二人脸的中心点的预估位置参数，可以是预设的或者通过训练得到的，B w为人体宽度，B h为人体高度。
在另一个例子中，可以通过对第二人体的图像进行人脸检测，并基于检测结果确定第二人脸的中心点的预估位置信息，例如，将检测到的人脸检测框的位置信息确定第二人脸的中心点的预估位置信息。
在另一个例子中，可以通过神经网络确定第二人脸的中心点的预估位置信息。此时，可以将第二人体的图像输入到神经网络进行处理，得到第二人脸的中心点的预估位置信 息，但本申请实施例对此不做限定。
在得到第二人脸的中心点的预估位置信息和实际位置信息之后，可以基于此确定第一候选对的匹配概率信息。
在一些实施例中，可以根据上述第一人脸的中心点的预估位置和上述第一人脸的中心点的实际位置建立二维高斯函数，从而得到一个概率密度，并将该概率密度作为第一候选对的匹配概率，或者，通过该概率密度，可以确定第一候选对的匹配概率，本申请实施例对此不做限定。
在步骤S302中，确定上述至少一个人脸和上述至少一个人体的目标匹配结果的一种方式为：根据上述N个候选对中每个候选对的匹配概率信息，确定上述至少一个人脸与上述至少一个人体的至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，其中，该候选匹配结果包括上述N个候选对中的m个候选对，该m个候选对中的每两个候选对所包括的人脸以及人体分别不同，1≤m≤N；基于上述至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，从所述至少一个候选匹配结果中确定上述至少一个人脸与所述至少一个人体的目标匹配结果。
在一些实施例中，上述候选匹配结果为m个候选对的集合，该集合中的候选对不重复，即候选匹配结果所包括的m个候选对中的每两个候选对所包含的人脸以及人体均不同。也就是说，候选匹配结果为N个候选对中假设匹配的m个人脸-人体对的集合。
在一些实施例中，上述m可以等于上述至少一个人体或上述至少一个人脸的个数。或者，可以基于N个候选对中每个候选对的匹配概率信息，对N个候选对进行过滤处理，得到M个候选对，并基于M个候选对得到至少一个候选匹配结果，此时，m可以小于至少一个人体的个数且小于至少一个人脸的个数，但本申请实施例对此不做限定。
在一种可能的实现方式中，在确定候选匹配结果的匹配概率信息时，可以将候选匹配结果中包含的m个候选对的匹配概率之和作为该候选匹配结果的匹配概率信息对应的匹配概率。
示例性地，某一个候选匹配结果中包括3个候选对，每个候选对分别具有一个匹配概率，分别为概率1、概率2和概率3，则该候选匹配结果的匹配概率为该率1、该率2和概率3之和。
在另一种可能的实现方式中，可以将m个候选对的加权匹配概率之和作为该候选匹配结果的匹配概率。或者，也可以通过其他方式对m个候选对的匹配概率进行处理，得到候选匹配结果的匹配概率，例如，候选匹配结果的匹配概率等于m个候选对的匹配概率的平均值、最大值或最小值，本申请实施例对此不做限定。
在得到至少一个候选匹配结果中每个候选匹配结果的匹配概率信息之后，可以基于每个候选匹配结果的匹配概率信息，从至少一个候选匹配结果中确定目标匹配结果。作为一种方式，可以将上述至少一个候选匹配结果中匹配概率信息对应的匹配概率最大的候选匹配结果作为上述目标匹配结果。或者，可以通过预设阈值的方式从至少一个候选匹配结果中确定目标匹配结果，本申请实施例对此不做限定。
在图3所示的例子中，首先确定第一图像中的至少一个人脸和至少一个人体的整体匹配情况，然后依据整体的匹配情况确定至少一个人脸中的第一人脸的人体匹配情况，能够一次性得到第一图像中所有人脸和人体的匹配结果，能够提高图像处理效率，尤其是在需要对第一图像中的至少一大部分人脸进行分析处理的情况下。
在另一些可能的实现方式中，可以依据第一人脸与第一图像的至少一个人体中每个人体的匹配概率信息，从至少一个人体中确定与第一人脸匹配的人体，但本申请实施例不限于此。
在一些实施例中，在所述确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体之前，所述方法还包括：对所述第一图像所属的视频序列中的至少一部分图像进行人体跟踪，得到所述视频序列的人体跟踪结果；基于所述第一图像的帧号，从所述视频序列的人脸跟踪结果中查找所述第一图像的人体跟踪信息。
在一些实施例中，在所述确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体之前，所述方法还包括：对所述第一图像进行人体检测，得到所述第一图像对应的至少一个人体。
在一些实施例中，所述方法还包括：响应于在所述视频序列的人体跟踪结果中未找到所述第一图像的人体跟踪信息，对所述第一图像进行人体检测，得到所述第一图像对应的至少一个人体。
本申请实施例提供的另一图像处理方法，如图4所示，该方法的执行主体为服务器或其他能够实现人物识别的设备，为了便于理解，下面以该方法由服务器执行为例进行描述，但本申请实施例不限于此。
S401、接收第一终端设备发送的人物识别请求报文，该人物识别请求报文包括第一人体的图像信息。
在一种可能的实现方式中，该第一终端设备可以为上述图1中的终端设备，但本申请实施例不限于此。
在一些实施例中，人物识别请求报文可以为上述实施例中基于人脸检测或跟踪得到的第一人物识别请求报文，或者为上述实施例中基于人体检测或跟踪得到的第二人物识别请求报文，本申请实施例对此不做限定。
S402、基于上述第一人体的图像信息，确定上述第一人体所属人物的人物标识信息。
服务器基于人物识别请求报文中包括的第一人体的图像信息，确定人物标识信息。其中，在服务器进行人物识别的过程中，可能会涉及以下三个数据库中的一个或多个：人脸模板数据库、人体模板数据库以及关联数据库。
其中，人脸模板数据库用于保存至少一个人脸模板，人脸模板可以包括人脸图像或者人脸特征信息，并且具有所属人物的人物标识信息，例如人物标识(person-id)，该人物标识可以唯一性地标识一个人。人体模板数据库用于保存至少一个人体模板，人体模板可以包括人体图像或人体特征信息，并且具有所属人物的人物标识信息，例如人体标识(body-id或者Re-Id)，该人体标识可以用于唯一性地标识一个人体。
关联数据库用于保存基于人脸的第一人物标识信息(例如人物标识)与基于人体的第二人物标识信息(例如人体标识)之间的对应关系，或者，将基于人体的第二人物标识信息称为人体标识信息，此时，关联数据库用于保存人物标识信息与人体标识信息之间的对应关系。例如，关联数据库中可以包括多条记录，每条记录中包括一个人体标识以及该人体标识与对应的人物标识。
此外，人脸模板、人体模板和关联数据库中的任意一个或多个可以是人工录入的，或者是基于人工录入信息得到的，例如通过对人工录入的人脸图像进行特征提取得到的，或者是在人物识别过程中动态更新的，本申请实施例对此不做限定。
下面详细描述人物识别请求报文的不同内容情况下S402的具体实现。
本申请实施例提供的另一图像处理方法，如图5所示，其中，在该例子中，假设服务器接收到的人物识别请求报文为第一人物识别请求报文。此时，服务器可以通过S501和S502进行基于人脸的人物识别，或者，通过S503进行基于人体的人物识别，或者结合基于人脸的人物识别和基于人体的人物识别，得到最终的人物识别结果。
S501、基于上述第一人体的图像信息，得到上述第一人体中的第一人脸的图像信息。
在一些实施例中，上述第一人体的图像信息包括第一人体的图像。此时，服务器可以从第一人体的图像中获取第一人脸的图像。在一个例子中，服务器可以对第一人体的图像进行人脸检测，得到第一人脸的图像。或者，服务器可以获取第一人脸的位置信息，并基于第一人脸的位置信息，从第一人体的图像中获取第一人脸的图像。例如，第一人物识别请求报文中包括第一人脸的位置信息，或者，第一人物识别请求报文中包括第一人脸的关键点信息，等等，本申请实施例对服务器获取第一人脸的图像的具体实现不做限定。在一些实施例中，第一人体的图像信息包括第一人体的图像的人体特征信息和/或第一人体的图像的人脸特征信息。此时，服务器可以获取第一人体的图像信息中包括的人脸特征信息，但本申请实施例不限于此。
S502、基于上述第一人脸的图像信息和人脸模板数据库，确定上述第一人体所属人物的人物标识信息。在一些实施例中，服务器可以确定人脸模板数据库中是否存在与第一人脸的图像信息匹配的人脸模板。
在一种可能的实现方式中，第一人脸的图像信息包括第一人脸的图像。此时，在一个例子中，人脸模板数据库中的人脸模板包括人脸特征信息，则服务器可以对上述第一人脸的图像进行特征提取处理，得到上述第一人脸的特征信息，基于第一人脸的特征信息与至少一个人脸模板中的人脸特征信息之间的相似度或距离，确定上述人脸模板数据库中是否存在与上述第一人脸的特征信息匹配的人脸模板。在另一个例子中，人脸模板数据库中的人脸模板包括人脸图像，则服务器可以基于第一人脸的图像与人脸模板数据库中包括的至少一个人脸模板之间的相似度，确定人脸模板数据库中是否存在与第一人脸的图像匹配的人脸模板。
在另一种可能的实现方式中，第一人脸的图像信息包括第一人体的图像的人脸特征信息，相应地，服务器可以基于第一人体的图像的人脸特征信息确定人脸模板数据库中 是否存在与第一人脸的图像信息匹配的人脸模板，本申请实施例对确定人脸模板数据库中是否存在与第一人脸的图像信息匹配的人脸模板的具体实现不做限定。然后，服务器可以基于上述确定的结果，得到上述第一人体所属人物的人物标识信息，其中，作为一个例子，第一人体所属人物的人物标识信息包括人物标识。
作为一个例子，上述确定的结果为人脸模板数据库中存在与上述第一人脸的图像信息匹配的人脸模板，此时，作为一种方式，服务器将该匹配的人脸模板对应的人物标识信息确定为第一人体所属人物的人物标识信息。
在一些实施例中，人脸模板数据库中的每个人脸模板都对应一个人物身份标识，因此，如果人脸模板数据库中存在与第一人脸的图像信息匹配的人脸模板，则表明该第一人脸对应的人物为服务器端已经记录的人物。此时，作为一种方式，服务器可以将该人物的出现次数加一，或者记录该人物本次出现的信息，例如时间信息、地点信息、对应摄像头信息、采集图像等一种或多种，本申请实施例对此不做限定。
作为另一个例子，上述确定的结果为人脸模板数据库中不存在与上述第一人脸的图像信息匹配的人脸模板，此时，作为一种方式，服务器可以新增人物标识信息，例如新增人物标识，并将新增的人物标识信息确定为上述第一人体所属人物的人物标识信息。
如果人脸模板数据库中不存在与第一人脸的特征信息匹配的人脸模板，则服务器可以确认该第一人脸所属的人物为新出现的人物，并为该新出现的人物分配新增的人物标识信息。
在一些实施例中，服务器为该新出现的人物分配人物标识信息之后，可以将该新增的人物标识信息以及上述第一人脸的图像信息添加到上述人脸模板数据库，其中，作为一种方式，该新增的人物标识信息与上述第一人脸的图像信息可以作为一条新的记录加入到人脸模板数据库中，从而建立起该新增的人物标识信息与第一人脸的图像信息之间的对应关系。或者，服务器也可以将第一人脸的图像信息添加到人脸模板数据库，并记录第一人脸的图像信息与新增的人物标识信息之间的对应关系。
S503、基于第一人体的图像信息和人体模板数据库，确定所述第一人体所属人物的人物标识信息。
在一些实施例中，上述第一人体的图像信息包括第一人体的图像。此时，在一个例子中，人体模板数据库中的人体模板包括人体特征信息，则服务器可以对上述第一人体的图像进行特征提取处理，得到上述第一人体的特征信息，基于第一人体的特征信息与至少一个人体模板中的人体特征信息之间的相似度或距离，确定上述人体模板数据库中是否存在与上述第一人体的特征信息匹配的人体模板。
在另一个例子中，人体模板数据库中的人体模板包括人体图像，则服务器可以基于第一人体的图像与人体模板数据库中包括的至少一个人体模板之间的相似度，确定人体模板数据库中是否存在与第一人体的图像匹配的人体模板。
在另一种可能的实现方式中，第一人体的图像信息包括第一人体的图像的人体特征信息，相应地，服务器可以基于第一人体的图像的人体特征信息确定人体模板数据库中 是否存在与第一人体的图像信息匹配的人体模板，本申请实施例对确定人体模板数据库中是否存在与第一人体的图像信息匹配的人体模板的具体实现不做限定。
然后，服务器可以基于上述确定的结果，得到上述第一人体所属人物的人物标识信息，其中，作为一个例子，第一人体所属人物的人物标识信息包括人体标识。
作为一个例子，上述确定的结果为人体模板数据库中存在与上述第一人体的图像信息匹配的人体模板，此时，作为一种方式，服务器将该匹配的人体模板对应的第二人物标识信息确定为第一人体所属人物的人物标识信息。或者，服务器还可以在关联数据库中查询该匹配的人体模板对应的第二人物标识信息对应的第一人物标识信息，并将查询得到的该第一人物标识信息确定为该第一人体所属人物的人物标识信息。
在一些实施例中，人体模板数据库中的每个人体模板都对应一个人体标识，因此，如果人体模板数据库中存在与第一人体的图像信息匹配的人体模板，则表明该第一人体为服务器端已经记录的人体。此时，作为一种方式，服务器可以将该人体的出现次数加一，或者记录该人体本次出现的信息，例如时间信息、地点信息、对应摄像头信息、采集图像等一种或多种，本申请实施例对此不做限定。
作为另一个例子，上述确定的结果为人体模板数据库中不存在与上述第一人体的图像信息匹配的人体模板，此时，作为一种方式，服务器可以新增第二人物标识信息或人体标识信息，例如新增人体标识，并将新增的第二人物标识信息确定为上述第一人体所属人物的人物标识信息。如果人体模板数据库中不存在与第一人体的特征信息匹配的人体模板，则服务器可以确认该第一人体所属人物为新出现的人物，并为该新出现的人物分配新增的人物标识信息。
在一些实施例中，服务器为该新出现的人物分配第二人物标识信息之后，可以将该新增的第二人物标识信息以及上述第一人体的图像信息添加到上述人体模板数据库，其中，作为一种方式，该新增的人物标识信息与上述第一人体的图像信息可以作为一条新的记录加入到人体模板数据库中，从而建立起该新增的第二人物标识信息与第一人体的图像信息之间的对应关系。或者，服务器也可以将第一人体的图像信息添加到人体模板数据库，并记录第一人体的图像信息与新增的第二人物标识信息之间的对应关系。
在另一种可能的实现方式中，服务器进行基于人脸的人物识别和基于人体的人物识别，并且在得到基于人脸的第一人物标识信息(例如人物标识)和基于人体的第二人物标识信息(例如人体标识)之后，建立第一人物标识信息与第二人物标识信息之间的对应关系，并将第一人物标识信息与第二人物标识信息之间的对应关系添加到关联数据库，但本申请实施例不限于此。在一些实施例中，上述第一人物识别请求报文中还可以包括上述第一人体中的第一人脸的标识信息，例如检测框标识信息或跟踪标识信息。服务器可以根据第一人脸的检测框信息或跟踪标识信息，可以执行进一步的身份识别、客流分析等。
本申请实施例提供的另一图像处理方法，如图6所示，其中，该示例中假设服务器接收到的人物识别请求报文为第二人物识别请求报文。
S601、基于上述第一人体的图像信息，确定上述第一人体的人体标识信息(或第二人物标识信息)。在该方式中，服务器可以基于第一人体的图像信息和人体模板数据库来确定第一人体的人体标识信息或第二人物标识信息。S602、基于上述第一人体的人体标识信息(或第二人物标识信息)，确定上述第一人体所属人物的人物标识信息。
在一些实施例中，当确定出第一人体的人体标识信息后，服务器可以通过如下方式确定第一人体所属人物的人物标识信息：确定关联数据库中是否存在与上述第一人体的人体标识信息匹配的关联关系，其中，上述关联数据库用于存储人体标识信息与人物标识信息之间的至少一个关联关系。并基于上述确定的结果，得到上述第一人体所属人物的人物标识信息。
在一些实施例中，如果上述关联数据库中存在与上述第一人体的人体标识信息匹配的关联关系，则服务器可以将该匹配的关联关系中的人物标识信息(或称为第一人物标识信息)确定为上述第一人体所属人物的人物标识信息。如果关联数据库中存在与第一人体的人体标识匹配的关联关系，则说明该第一人体所属人物的人物为服务器上已经保存的人物，服务器可以确定第一人体的人体标识所对应的人物身份标识对应的人物为第一人体所属的人物。在一些实施例中，如果关联数据库中不存在与上述第一人体的人体标识信息匹配的关联关系，将新增的人物标识信息确定为所述第一人体所属人物的人物标识信息。如果关联数据库中不存在与第一人体的人体标识信息匹配的关联关系，则服务器可以确认该第一人体所属的人物为一个新出现的人物，该新出现的人物可以对应一个新增的人物标识信息。
针对上述各实施例，作为一种方式，当服务器确定出第一人体的人物标识信息后，可以向第二终端设备发送上述第一人体所属人物的人物标识信息，第二终端设备例如可以是某些商家所拥有的终端设备，第二终端设备可以基于第一人体所属人物的人物标识信息，进行客流统计、顾客识别、顾客到访次数统计等处理，本申请实施例对此不做限定。
另一实施例中，当服务器接收的报文中仅包括人脸时，可以根据上述人脸模板数据库对该人脸进行识别处理。在一些实施例中，服务器可以将该人脸与人脸模板数据库中的人脸模板进行匹配处理，并根据所述确定的结果进行识别。在一些实施例中，如果人脸模板数据库中存在与上述人脸匹配的人脸模板，则服务器可以确定该人脸所属人物的人物标识信息为该匹配的人脸模板所对应的人物标识信息。在一些实施例中，如果人脸模板数据库中不存在与上述人脸匹配的人脸模板，则服务器可以将上述人脸的特征信息增加到人脸模板数据库中，并分配该人脸所属人物的人物标识信息。
本申请实施例提供的图像处理装置，如图7所示，该装置包括：获取模块701，配置为对第一图像进行处理，得到所述第一图像中的第一人脸；第一确定模块702，用于确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体；发送模块703，配置为根据所述确定的结果，向服务器发送第一人物识别请求报文。
另一实施例中，发送模块703配置为：响应于所述第一图像对应的至少一个人体中 存在与所述第一人脸匹配的第一人体，向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请求报文，其中，所述第一人体的图像信息用于所述服务器进行人物识别。
本申请实施例提供的另一图像处理装置，如图8所示，该装置还包括：第二确定模块704，配置为响应于所述第一图像对应的至少一个人体中存在与所述第一人脸匹配的第一人体，根据所述第一人体的图像质量，确定所述第一人物识别请求报文是否包括所述第一人体的图像信息。
另一实施例中，发送模块703配置为：响应于所述第一人体的图像质量满足质量要求，向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请求报文。
另一实施例中，所述质量要求包括下列中的至少一种：人脸清晰度要求、人脸大小要求、人脸角度要求、人脸检测置信度要求以及人体检测置信度、是否包含完整的人脸。
另一实施例中，发送模块703配置为：响应于所述第一人体的图像质量不满足质量要求，向所述服务器发送包括所述第一人脸的图像信息的所述第一人物识别请求报文，其中，所述第一人脸的图像信息用于所述服务器进行人物识别。
另一实施例中，所述第一人物识别请求报文还包括：所述第一人脸的跟踪标识信息或第一人脸的检测框标识信息。另一实施例中，所述第一人体的图像信息包括：所述第一人体的图像，和/或，所述第一人体的图像信息包括：所述第一人体的图像的特征信息，其中，所述第一人体的图像的特征信息包括人体特征信息和人脸特征信息中的至少一项。
本申请实施例提供的另一图像处理装置，如图9所示，该装置还包括：第三确定模块705，配置为确定将所述第一人脸的图像信息替换为所述第一人体的图像信息来进行人物识别。
另一实施例中，发送模块703还配置为：响应于所述第一图像对应的至少一个人体中不存在与所述第一人脸匹配的人体，向服务器发送包括所述第一人脸的图像信息的第一人物识别请求报文，其中，所述第一人脸的图像信息用于所述服务器进行人物识别。
另一实施例中，第一确定模块702配置为：确定所述第一图像的至少一个人体中是否存在与所述第一人脸匹配的人体。
另一实施例中，第一确定模块702配置为：根据所述第一图像对应的至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，其中，所述候选对包括所述至少一个人脸中的一个人脸和所述至少一个人体中的一个人体，所述至少一个人脸中包括所述第一人脸；根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸和所述至少一个人体的目标匹配结果；基于所述目标匹配结果，确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体。
另一实施例中，第一确定模块702配置为：基于第一候选对包括的第二人体以及所述第一候选对包括的第二人脸，确定目标对象的预估位置信息和实际位置信息，其中，所述N个候选对包括所述第一候选对，所述目标对象为人体的一部分；基于所述目标对象的预估位置信息和所述目标对象的实际位置信息，确定所述第一候选对的匹配概率信 息。
另一实施例中，所述目标对象包括耳朵和人脸中的至少一种。
另一实施例中，第一确定模块702配置为：根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸与所述至少一个人体的至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，其中，所述候选匹配结果包括所述N个候选对中的m个候选对，所述m个候选对中的每两个候选对所包括的人脸以及人体分别不同，1≤m≤N；基于所述至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，从所述至少一个候选匹配结果中确定所述至少一个人脸与所述至少一个人体的目标匹配结果。
另一实施例中，第一确定模块702配置为：对所述第一图像所属的视频序列中的至少一部分图像进行人体跟踪，得到人体跟踪结果，其中，所述人体跟踪结果包括所述视频序列中的至少一个图像的人体跟踪信息；基于所述视频序列中的至少一部分图像的人脸跟踪结果中与所述第一图像的帧号对应的人体跟踪信息，确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体。另一实施例中，第一确定模块702配置为：响应于所述人体跟踪结果中不存在所述第一图像的帧号对应的人体跟踪信息，从通过对所述第一图像进行人体检测得到的至少一个人体中确定是否存在与所述第一人脸匹配的人体。
另一实施例中，该装置，还包括：人体跟踪模块，配置为对所述第一图像所属的视频序列中的至少一部分图像进行人体跟踪，得到所述视频序列的人体跟踪结果；跟踪信息查找模块，配置为基于所述第一图像的帧号，从所述视频序列的人脸跟踪结果中查找所述第一图像的人体跟踪信息。
另一实施例中，该装置还包括：检测人体模块，配置为对所述第一图像进行人体检测，得到所述第一图像对应的至少一个人体。
另一实施例中，该装置还包括：人体跟踪模块，配置为对所述第一图像所属的视频序列中的至少一部分图像进行人体跟踪，得到所述视频序列的人体跟踪结果；跟踪信息查找模块，配置为基于所述第一图像的帧号，从所述视频序列的人脸跟踪结果中查找所述第一图像的人体跟踪信息。
另一实施例中，该装置还包括：人体检测模块，配置为响应于在所述视频序列的人体跟踪结果中未找到所述第一图像的人体跟踪信息，对所述第一图像进行人体检测，得到所述第一图像对应的至少一个人体。
另一实施例中，获取模块701配置为：对第一图像进行人脸跟踪，得到所述第一图像中的第一人脸。
本申请实施例提供的另一图像处理装置，如图10所示，所述装置还包括：跟踪模块706，配置为对所述第一图像进行人体跟踪，得到所述第一图像中的第三人体。发送模块703还配置为，向服务器发送第二人物识别请求报文，所述第二人物识别请求报文中包括所述第三人体的图像信息以及所述第三人体的跟踪标识信息。
本申请实施例提供的另一图像处理装置，如图11所示，所述装置还包括：选取模 块707，配置为从视频序列包括的预设数量的连续图像中选取所述第一图像。另一实施例中，选取模块707配置为：基于图像中所包括的人脸的质量，从所述视频序列包括的预设数量的连续图像中选取所述第一图像。
本申请实施例提供的另一种图像处理装置，如图12所示，该装置包括：接收模块1201，配置为接收第一终端设备发送的人物识别请求报文，所述人物识别请求报文包括第一人体的图像信息。确定模块1202，配置为基于所述第一人体的图像信息，确定所述第一人体所属人物的人物标识信息。
另一实施例中，所述第一人体的图像信息包括：所述第一人体的图像；和/或，所述第一人体的图像信息包括：所述第一人体的图像的特征信息，其中，所述第一人体的图像的特征信息包括人体特征信息和人脸特征信息中的至少一项。
本申请实施例提供另一种图像处理装置，如图13所示，确定模块1202包括：第一确定单元12021，配置为基于所述第一人体的图像信息，得到所述第一人体中包含的第一人脸的图像信息；第二确定单元12022，配置为基于所述第一人脸的图像信息和人脸模板数据库，确定所述第一人体所属人物的人物标识信息，其中，所述人脸模板数据库中存储至少一个人脸模板。
另一实施例中，第一确定单元12021配置为：从所述第一人体的图像中获取第一人脸的图像。另一实施例中，第二确定单元12022配置为：对所述第一人脸的图像进行特征提取处理，得到所述第一人脸的特征信息；确定所述人脸模板数据库中是否存在与所述第一人脸的特征信息匹配的人脸模板；基于所述确定的结果，得到所述第一人体所属人物的人物标识信息。另一实施例中，第二确定单元12022配置为：响应于所述人脸模板数据库中存在与所述第一人脸的特征信息匹配的人脸模板，将所述匹配的人脸模板对应的人物标识信息确定为所述第一人体所属人物的人物标识信息。另一实施例中，第二确定单元12022配置为：响应于所述人脸模板数据库中不存在与所述第一人脸的特征信息匹配的人脸模板，将新增的人物标识信息确定为所述第一人体所属人物的人物标识信息。
本申请实施例提供的另一种图像处理装置，如图14所示，还包括：第一添加模块1203，配置为将所述新增的人物标识信息以及所述第一人脸的信息(例如第一人脸的特征信息)作为新的人脸模板添加到所述人脸模板数据库。另一实施例中，所述人物识别请求报文还包括所述第一人体中的第一人脸的检测框标识信息或跟踪标识信息。
本申请实施例提供的另一种图像处理装置，如图15所示，确定模块1202还包括：第三确定单元12023，配置为基于所述第一人体的图像信息，确定所述第一人体的人体标识信息；第四确定单元12024，配置为基于所述第一人体的人体标识信息，确定所述第一人体所属人物的人物标识信息。
另一实施例中，第三确定单元12023配置为：对所述第一人体的图像进行特征提取，得到所述第一人体的特征信息；确定人体模板数据库中是否存在与所述第一人体的特征信息匹配的人体模板，其中，所述人体模板数据库存储至少一个人体模板；基于所述确 定的结果，得到所述第一人体的人体标识信息。另一实施例中，第三确定单元12023配置为：响应于所述人体模板数据库中存在与所述第一人体的特征信息匹配的人体模板，将所述匹配的人体模板对应的人体标识信息确定为所述第一人体的人体标识信息。另一实施例中，第三确定单元12023配置为：响应于所述人体模板数据库中不存在与所述第一人体的特征信息匹配的人体模板，将新增的人体标识信息确定为所述第一人体的人体标识信息。
本申请实施例提供的另一种图像处理装置，如图16所示，还包括：第二添加模块1204，配置为将所述新增的人体标识信息以及所述第一人体的信息作为新的人脸模板添加到所述人体模板数据库。
本申请实施例提供另一种图像处理装置，如图17所示，还包括：第三添加模块1205，配置为将所述第一人体的人体标识信息以及所述第一人体所属人物的人物标识信息与所述第一人体所属人物的人体标识信息之间的关联关系添加到关联数据库。
另一实施例中，所述人物识别请求报文还包括：所述第一人体的跟踪标识信息或检测框标识信息。另一实施例中，第四确定单元12024配置为：确定关联数据库中是否存在与所述第一人体的人体标识匹配的关联关系，其中，所述关联数据库用于存储人体标识信息与人物标识信息之间的至少一个关联关系；基于所述确定结果，得到所述第一人体所属人物的人物标识信息。另一实施例中，第四确定单元12024配置为：响应于所述关联数据库中存在与所述第一人体的人体标识匹配的关联关系，将所述匹配的关联关系中的人物标识信息确定为所述第一人体所属人物的人物标识信息。另一实施例中，第四确定单元12024配置为：响应于所述关联数据库中不存在与所述第一人体的人体标识匹配的关联关系，将新增的人物标识信息确定为所述第一人体所属人物的人物标识信息。
本申请实施例提供的另一种图像处理装置，如图18所示，还包括：发送模块1206，配置为向第二终端设备发送所述第一人体所属人物的人物标识信息。另一实施例中，所述人物识别请求报文是基于所述第一终端设备对视频序列中的至少一个图像进行人脸跟踪得到的。
本申请实施例提供的终端设备，如图19所示，该终端设备1900包括：存储器1901，配置为存储程序指令。处理器1902，配置为调用并执行存储器1901中的程序指令，执行上述方法实施例中客户端所执行的方法步骤。
本申请实施例提供的服务器，如图20所示，该服务器2000包括：存储器2002，配置为存储程序指令。处理器2001，配置为调用并执行存储器2002中的程序指令，执行上述方法实施例中服务器所执行的方法步骤。
本申请实施例提供的图像处理系统，如图21所示，该系统2100包括通信连接的相机1800、终端设备1900和服务器2000。在实施过程中，由相机1800实时拍摄视频图像并发送给终端设备1900，终端设备根据视频图像进行跟踪、匹配等处理，得到人体信息和人脸信息，并将信息发送给服务器2000，进而，服务器根据接收到的信息进行识别处理。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (88)

  1. 一种图像处理方法，包括：
    对第一图像进行处理，得到所述第一图像中的第一人脸；
    确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体；
    根据所述确定的结果，向服务器发送第一人物识别请求报文。
  2. 根据权利要求1所述的方法，所述根据所述确定的结果，向服务器发送第一人物识别请求报文，包括：
    响应于所述第一图像对应的至少一个人体中存在与所述第一人脸匹配的第一人体，向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请求报文，其中，所述第一人体的图像信息用于所述服务器进行人物识别。
  3. 根据权利要求2所述的方法，还包括：响应于所述第一图像对应的至少一个人体中存在与所述第一人脸匹配的第一人体，根据所述第一人体的图像质量，确定所述第一人物识别请求报文是否包括所述第一人体的图像信息。
  4. 根据权利要求2或3所述的方法，所述向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请求报文，包括：响应于所述第一人体的图像质量满足质量要求，向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请求报文。
  5. 根据权利要求4所述的方法，所述质量要求包括下列中的至少一种：人脸清晰度要求、人脸大小要求、人脸角度要求、人脸检测置信度要求以及人体检测置信度、人脸完整度要求。
  6. 根据权利要求2至5中任一项所述的方法，还包括：响应于所述第一人体的图像质量不满足质量要求，向所述服务器发送包括所述第一人脸的图像信息的所述第一人物识别请求报文，其中，所述第一人脸的图像信息用于所述服务器进行人物识别。
  7. 根据权利要求2至6中任一项任一项所述的方法，所述第一人体的图像信息包括：所述第一人体的图像，和/或，
    所述第一人体的图像信息包括：所述第一人体的图像的特征信息，其中，所述第一人体的图像的特征信息包括人体特征信息和人脸特征信息中的至少一项。
  8. 根据权利要求2至7中任一项所述的方法，在向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请求报文之前，还包括：
    确定将所述第一人脸的图像信息替换为所述第一人体的图像信息来进行人物识别。
  9. 根据权利要求1至8中任一项所述的方法，所述第一人物识别请求报文还包括：所述第一人脸的标识信息。
  10. 根据权利要求1至9中任一项所述的方法，所述根据所述确定的结果，向服务器发送第一人物识别请求报文，包括：响应于所述第一图像对应的至少一个人体中不存在与所述第一人脸匹配的人体，向服务器发送包括所述第一人脸的图像信息的第一人物 识别请求报文，其中，所述第一人脸的图像信息用于所述服务器进行人物识别。
  11. 根据权利要求1至10中任一项所述的方法，所述确定所述第一图像的至少一个人体中是否存在与所述第一人脸匹配的人体，包括：
    根据所述第一图像对应的至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，其中，所述候选对包括所述至少一个人脸中的一个人脸和所述至少一个人体中的一个人体，所述至少一个人脸中包括所述第一人脸；
    根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸和所述至少一个人体的目标匹配结果；
    基于所述目标匹配结果，确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体。
  12. 根据权利要求11所述的方法，所述根据所述至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，包括：
    基于第一候选对包括的第二人体以及所述第一候选对包括的第二人脸，确定目标对象的预估位置信息和实际位置信息，其中，所述N个候选对包括所述第一候选对，所述目标对象为人体的一部分；
    基于所述目标对象的预估位置信息和所述目标对象的实际位置信息，确定所述第一候选对的匹配概率信息。
  13. 根据权利要求12所述的方法，所述目标对象包括耳朵和人脸中的至少一种。
  14. 根据权利要求11至13任一项所述的方法，所述根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸和所述至少一个人体的目标匹配结果，包括：
    根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸与所述至少一个人体的至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，其中，所述候选匹配结果包括所述N个候选对中的m个候选对，所述m个候选对中的每两个候选对所包括的人脸以及人体分别不同，1≤m≤N；
    基于所述至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，从所述至少一个候选匹配结果中确定所述至少一个人脸与所述至少一个人体的目标匹配结果。
  15. 根据权利要求1至14任一项所述的方法，在所述确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体之前，还包括：
    对所述第一图像进行人体检测，得到所述第一图像对应的至少一个人体。
  16. 根据权利要求1至15任一项所述的方法，在所述确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体之前，还包括：
    对所述第一图像所属的视频序列中的至少一部分图像进行人体跟踪，得到所述视频序列的人体跟踪结果；
    基于所述第一图像的帧号，从所述视频序列的人脸跟踪结果中查找所述第一图像的人体跟踪信息。
  17. 根据权利要求16所述的方法，还包括：
    响应于在所述视频序列的人体跟踪结果中未找到所述第一图像的人体跟踪信息，对所述第一图像进行人体检测，得到所述第一图像对应的至少一个人体。
  18. 根据权利要求1至17中任一项所述的方法，所述对第一图像进行处理，得到所述第一图像中的第一人脸，包括：
    对第一图像进行人脸跟踪，得到所述第一图像中的第一人脸。
  19. 根据权利要求1至18中任一项所述的方法，还包括：
    对所述第一图像进行人体跟踪，得到所述第一图像中的第三人体；
    向服务器发送第二人物识别请求报文，所述第二人物识别请求报文中包括所述第三人体的图像信息以及所述第三人体的跟踪标识信息。
  20. 根据权利要求1至19任一项所述的方法，在所述对第一图像进行处理，得到所述第一图像中的第一人脸之前，还包括：
    从视频序列包括的预设数量的连续图像中选取所述第一图像。
  21. 根据权利要求20所述的方法，所述从视频序列包括的预设数量的连续图像中选取所述第一图像，包括：基于图像中所包括的人脸的质量，从所述视频序列包括的预设数量的连续图像中选取所述第一图像。
  22. 一种图像处理方法，包括：
    接收第一终端设备发送的人物识别请求报文，所述人物识别请求报文包括第一人体的图像信息；
    基于所述第一人体的图像信息，确定所述第一人体所属人物的人物标识信息。
  23. 根据权利要求22所述的方法，所述第一人体的图像信息包括：所述第一人体的图像；和/或，
    所述第一人体的图像信息包括：所述第一人体的图像的特征信息，其中，所述第一人体的图像的特征信息包括人体特征信息和人脸特征信息中的至少一项。
  24. 根据权利要求22或23所述的方法，所述基于所述第一人体的图像信息，确定所述第一人体所属人物的人物标识信息，包括：
    基于所述第一人体的图像信息，得到所述第一人体中包含的第一人脸的图像信息；
    基于所述第一人脸的图像信息和人脸模板数据库，确定所述第一人体所属人物的人物标识信息，其中，所述人脸模板数据库中存储至少一个人脸模板。
  25. 根据权利要求24所述的方法，所述基于所述第一人体的图像信息，得到所述第一人体中包含的第一人脸的图像信息，包括：
    从所述第一人体的图像中获取第一人脸的图像。
  26. 根据权利要求24或25所述的方法，所述基于所述第一人脸的图像信息和人脸模板数据库，确定所述第一人体所属人物的人物标识信息，包括：
    对所述第一人脸的图像进行特征提取处理，得到所述第一人脸的特征信息；
    确定所述人脸模板数据库中是否存在与所述第一人脸的特征信息匹配的人脸模板；
    基于所述确定的结果，得到所述第一人体所属人物的人物标识信息。
  27. 根据权利要求26所述的方法，所述基于所述确定的结果，得到所述第一人体所属人物的人物标识信息，包括：响应于所述人脸模板数据库中存在与所述第一人脸的特征信息匹配的人脸模板，将所述匹配的人脸模板对应的人物标识信息确定为所述第一人体所属人物的人物标识信息。
  28. 根据权利要求26或27所述的方法，所述基于所述确定的结果，得到所述第一人体所属人物的人物标识信息，包括：响应于所述人脸模板数据库中不存在与所述第一人脸的特征信息匹配的人脸模板，将新增的人物标识信息确定为所述第一人体所属人物的人物标识信息。
  29. 根据权利要求28所述的方法，还包括：将所述新增的人物标识信息以及所述第一人脸的信息作为新的人脸模板添加到所述人脸模板数据库。
  30. 根据权利要求22至29任一项所述的方法，所述人物识别请求报文还包括所述第一人体中的第一人脸的检测框标识信息或跟踪标识信息。
  31. 根据权利要求22至30中任一项所述的方法，所述基于所述第一人体的图像信息，确定所述第一人体所属人物的人物标识信息，包括：
    基于所述第一人体的图像信息，确定所述第一人体的人体标识信息；
    基于所述第一人体的人体标识信息，确定所述第一人体所属人物的人物标识信息。
  32. 根据权利要求31所述的方法，所述基于所述第一人体的图像信息，确定所述第一人体的人体标识信息，包括：
    对所述第一人体的图像进行特征提取，得到所述第一人体的特征信息；
    确定人体模板数据库中是否存在与所述第一人体的特征信息匹配的人体模板，其中，所述人体模板数据库存储至少一个人体模板；
    基于所述确定的结果，得到所述第一人体的人体标识信息。
  33. 根据权利要求32所述的方法，所述基于所述确定的结果，得到所述第一人体的人体标识信息，包括：响应于所述人体模板数据库中存在与所述第一人体的特征信息匹配的人体模板，将所述匹配的人体模板对应的人体标识信息确定为所述第一人体的人体标识信息。
  34. 根据权利要求32或33所述的方法，所述基于所述确定的结果，得到所述第一人体的人体标识信息，包括：响应于所述人体模板数据库中不存在与所述第一人体的特征信息匹配的人体模板，将新增的人体标识信息确定为所述第一人体的人体标识信息。
  35. 根据权利要求34所述的方法，还包括：将所述新增的人体标识信息以及所述第一人体的信息作为新的人脸模板添加到所述人体模板数据库。
  36. 根据权利要求35所述的方法，还包括：将所述第一人体的人体标识信息以及所述第一人体所属人物的人物标识信息与所述第一人体所属人物的人体标识信息之间的关联关系添加到关联数据库。
  37. 根据权利要求31至36任一项所述的方法，所述人物识别请求报文还包括：所 述第一人体的跟踪标识信息或检测框标识信息。
  38. 根据权利要求31至37任一项所述的方法，所述基于所述第一人体的人体标识信息，确定所述第一人体所属人物的人物标识信息，包括：
    确定关联数据库中是否存在与所述第一人体的人体标识匹配的关联关系，其中，所述关联数据库用于存储人体标识信息与人物标识信息之间的至少一个关联关系；
    基于所述确定的结果，得到所述第一人体所属人物的人物标识信息。
  39. 根据权利要求38所述的方法，所述基于所述确定结果，得到所述第一人体所属人物的人物标识信息，包括：响应于所述关联数据库中存在与所述第一人体的人体标识匹配的关联关系，将所述匹配的关联关系中的人物标识信息确定为所述第一人体所属人物的人物标识信息。
  40. 根据权利要求38所述的方法，所述基于所述确定结果，得到所述第一人体所属人物的人物标识信息，包括：响应于所述关联数据库中不存在与所述第一人体的人体标识匹配的关联关系，将新增的人物标识信息确定为所述第一人体所属人物的人物标识信息。
  41. 根据权利要求31至40任一项所述的方法，还包括：向第二终端设备发送所述第一人体所属人物的人物标识信息。
  42. 根据权利要求22至41任一项所述的方法，所述人物识别请求报文是基于所述第一终端设备对视频序列中的至少一个图像进行人脸跟踪得到的。
  43. 一种图像处理装置，包括：
    获取模块，配置为对第一图像进行处理，得到所述第一图像中的第一人脸；
    第一确定模块，配置为确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体；
    发送模块，配置为根据所述确定的结果，向服务器发送第一人物识别请求报文。
  44. 根据权利要求43所述的装置，所述发送模块配置为：
    响应于所述第一图像对应的至少一个人体中存在与所述第一人脸匹配的第一人体，向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请求报文，其中，所述第一人体的图像信息用于所述服务器进行人物识别。
  45. 根据权利要求44所述的装置，还包括：第二确定模块，配置为响应于所述第一图像对应的至少一个人体中存在与所述第一人脸匹配的第一人体，根据所述第一人体的图像质量，确定所述第一人物识别请求报文是否包括所述第一人体的图像信息。
  46. 根据权利要求44或45所述的装置，所述发送模块配置为：响应于所述第一人体的图像质量满足质量要求，向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请求报文。
  47. 根据权利要求46所述的装置，所述质量要求包括下列中的至少一种：人脸清晰度要求、人脸大小要求、人脸角度要求、人脸检测置信度要求以及人体检测置信度、人脸完整度要求。
  48. 根据权利要求44至47任一项所述的装置，所述发送模块配置为：响应于所述第一人体的图像质量不满足质量要求，向所述服务器发送包括所述第一人脸的图像信息的所述第一人物识别请求报文，其中，所述第一人脸的图像信息用于所述服务器进行人物识别。
  49. 根据权利要求44至48任一项所述的装置，所述第一人体的图像信息包括：所述第一人体的图像，和/或，
    所述第一人体的图像信息包括：所述第一人体的图像的特征信息，其中，所述第一人体的图像的特征信息包括人体特征信息和人脸特征信息中的至少一项。
  50. 根据权利要求44至49任一项所述的装置，所述装置还包括：第二确定模块，配置为确定将所述第一人脸的图像信息替换为所述第一人体的图像信息来进行人物识别。
  51. 根据权利要求43至50中任一项所述的装置，所述第一人物识别请求报文还包括：所述第一人脸的标识信息。
  52. 根据权利要求43至50任一项所述的装置，所述发送模块配置为：响应于所述第一图像对应的至少一个人体中不存在与所述第一人脸匹配的人体，向服务器发送包括所述第一人脸的图像信息的第一人物识别请求报文，其中，所述第一人脸的图像信息用于所述服务器进行人物识别。
  53. 根据权利要求43至52任一项所述的装置，所述第一确定模块配置为：
    根据所述第一图像对应的至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，其中，所述候选对包括所述至少一个人脸中的一个人脸和所述至少一个人体中的一个人体，所述至少一个人脸中包括所述第一人脸；
    根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸和所述至少一个人体的目标匹配结果；
    基于所述目标匹配结果，确定所述第一图像对应的至少一个人体中是否存在与所述第一人脸匹配的人体。
  54. 根据权利要求53所述的装置，所述第一确定模块配置为：
    基于第一候选对包括的第二人体以及所述第一候选对包括的第二人脸，确定目标对象的预估位置信息和实际位置信息，其中，所述N个候选对包括所述第一候选对，所述目标对象为人体的一部分；
    基于所述目标对象的预估位置信息和所述目标对象的实际位置信息，确定所述第一候选对的匹配概率信息。
  55. 根据权利要求54所述的装置，所述目标对象包括耳朵和人脸中的至少一种。
  56. 根据权利要求53至55任一项所述的装置，所述第一确定模块配置为：
    根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸与所述至少一个人体的至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，其中，所述候选匹配结果包括所述N个候选对中的m个候选对，所述m个候选对中的每两个候 选对所包括的人脸以及人体分别不同，1≤m≤N；
    基于所述至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，从所述至少一个候选匹配结果中确定所述至少一个人脸与所述至少一个人体的目标匹配结果。
  57. 根据权利要求43至56任一项所述的装置，还包括：检测人体模块，配置为对所述第一图像进行人体检测，得到所述第一图像对应的至少一个人体。
  58. 根据权利要求43至57任一项所述的装置，还包括：
    人体跟踪模块，配置为对所述第一图像所属的视频序列中的至少一部分图像进行人体跟踪，得到所述视频序列的人体跟踪结果；
    跟踪信息查找模块，配置为基于所述第一图像的帧号，从所述视频序列的人脸跟踪结果中查找所述第一图像的人体跟踪信息。
  59. 根据权利要求58所述的装置，还包括：人体检测模块，配置为响应于在所述视频序列的人体跟踪结果中未找到所述第一图像的人体跟踪信息，对所述第一图像进行人体检测，得到所述第一图像对应的至少一个人体。
  60. 根据权利要求43至59任一项所述的装置，所述获取模块配置为：对第一图像进行人脸跟踪，得到所述第一图像中的第一人脸。
  61. 根据权利要求43至60任一项所述的装置，所述装置还包括：跟踪模块，配置为对所述第一图像进行人体跟踪，得到所述第一图像中的第三人体；所述发送模块还配置为，向服务器发送第二人物识别请求报文，所述第二人物识别请求报文中包括所述第三人体的图像信息以及所述第三人体的跟踪标识信息。
  62. 根据权利要求43至61任一项所述的装置，所述装置还包括：选取模块，配置为从视频序列包括的预设数量的连续图像中选取所述第一图像。
  63. 根据权利要求62所述的装置，所述选取模块配置为：基于图像中所包括的人脸的质量，从所述视频序列包括的预设数量的连续图像中选取所述第一图像。
  64. 一种图像处理装置，包括：
    接收模块，配置为接收第一终端设备发送的人物识别请求报文，所述人物识别请求报文包括第一人体的图像信息；
    确定模块，配置为基于所述第一人体的图像信息，确定所述第一人体所属人物的人物标识信息。
  65. 根据权利要求64所述的装置，所述第一人体的图像信息包括：所述第一人体的图像；和/或，
    所述第一人体的图像信息包括：所述第一人体的图像的特征信息，其中，所述第一人体的图像的特征信息包括人体特征信息和人脸特征信息中的至少一项。
  66. 根据权利要求65或64所述的装置，确定模块包括：
    第一确定单元，配置为基于所述第一人体的图像信息，得到所述第一人体中包含的第一人脸的图像信息；
    第二确定单元，配置为基于所述第一人脸的图像信息和人脸模板数据库，确定所述 第一人体所属人物的人物标识信息，其中，所述人脸模板数据库中存储至少一个人脸模板。
  67. 根据权利要求66所述的装置，第一确定单元配置为：从所述第一人体的图像中获取第一人脸的图像。
  68. 根据权利要求66或67所述的装置，第二确定单元配置为：
    对所述第一人脸的图像进行特征提取处理，得到所述第一人脸的特征信息；
    确定所述人脸模板数据库中是否存在与所述第一人脸的特征信息匹配的人脸模板；
    基于所述确定的结果，得到所述第一人体所属人物的人物标识信息。
  69. 根据权利要求68所述的装置，第二确定单元配置为：响应于所述人脸模板数据库中存在与所述第一人脸的特征信息匹配的人脸模板，将所述匹配的人脸模板对应的人物标识信息确定为所述第一人体所属人物的人物标识信息。
  70. 根据权利要求68或69所述的装置，第二确定单元配置为：响应于所述人脸模板数据库中不存在与所述第一人脸的特征信息匹配的人脸模板，将新增的人物标识信息确定为所述第一人体所属人物的人物标识信息。
  71. 根据权利要求70所述的装置，还包括：第一添加模块，配置为将所述新增的人物标识信息以及所述第一人脸的信息作为新的人脸模板添加到所述人脸模板数据库。
  72. 根据权利要求64至71任一项所述的装置，所述人物识别请求报文还包括所述第一人体中的第一人脸的检测框标识信息或跟踪标识信息。
  73. 根据权利要求64至72任一项所述的装置，确定模块还包括：
    第三确定单元，配置为基于所述第一人体的图像信息，确定所述第一人体的人体标识信息；
    第四确定单元，配置为基于所述第一人体的人体标识信息，确定所述第一人体所属人物的人物标识信息。
  74. 根据权利要求73所述的装置，第三确定单元配置为：
    对所述第一人体的图像进行特征提取，得到所述第一人体的特征信息；
    确定人体模板数据库中是否存在与所述第一人体的特征信息匹配的人体模板，其中，所述人体模板数据库存储至少一个人体模板；
    基于所述确定的结果，得到所述第一人体的人体标识信息。
  75. 根据权利要求74所述的装置，第三确定单元配置为：响应于所述人体模板数据库中存在与所述第一人体的特征信息匹配的人体模板，将所述匹配的人体模板对应的人体标识信息确定为所述第一人体的人体标识信息。
  76. 根据权利要求74所述的装置，第三确定单元配置为：响应于所述人体模板数据库中不存在与所述第一人体的特征信息匹配的人体模板，将新增的人体标识信息确定为所述第一人体的人体标识信息。
  77. 根据权利要求76所述的装置，还包括：第二添加模块，配置为将所述新增的人体标识信息以及所述第一人体的信息作为新的人脸模板添加到所述人体模板数据库。
  78. 根据权利要求77所述的装置，还包括：第二添加模块，配置为将所述第一人体的人体标识信息以及所述第一人体所属人物的人物标识信息与所述第一人体所属人物的人体标识信息之间的关联关系添加到关联数据库。
  79. 根据权利要求73至78任一项所述的装置，所述人物识别请求报文还包括：所述第一人体的跟踪标识信息或检测框标识信息。
  80. 根据权利要求73至79任一项所述的装置，第四确定单元配置为：
    确定关联数据库中是否存在与所述第一人体的人体标识匹配的关联关系，其中，所述关联数据库用于存储人体标识信息与人物标识信息之间的至少一个关联关系；
    基于所述确定结果，得到所述第一人体所属人物的人物标识信息。
  81. 根据权利要求80所述的装置，第四确定单元配置为：响应于所述关联数据库中存在与所述第一人体的人体标识匹配的关联关系，将所述匹配的关联关系中的人物标识信息确定为所述第一人体所属人物的人物标识信息。
  82. 根据权利要求80所述的装置，第四确定单元配置为：响应于所述关联数据库中不存在与所述第一人体的人体标识匹配的关联关系，将新增的人物标识信息确定为所述第一人体所属人物的人物标识信息。
  83. 根据权利要求73至82任一项所述的装置，还包括：发送模块，配置为向第二终端设备发送所述第一人体所属人物的人物标识信息。
  84. 根据权利要求73至83任一项所述的装置，所述人物识别请求报文是基于所述第一终端设备对视频序列中的至少一个图像进行人脸跟踪得到的。
  85. 一种终端设备，包括：存储器，配置为存储程序指令；处理器，配置为调用并执行所述存储器中的程序指令，执行权利要求1至21任一项所述的方法步骤。
  86. 一种服务器，包括：存储器，配置为存储程序指令；处理器，配置为调用并执行所述存储器中的程序指令，执行权利要求22至42任一项所述的方法步骤。
  87. 一种图像处理系统，包括权利要求85所述的终端设备以及权利要求86所述的服务器。
  88. 一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序配置为执行权利要求1至21任一项或者权利要求22至42任一项所述的方法。
PCT/CN2019/088432 2018-09-10 2019-05-24 图像处理方法、装置、终端设备、服务器及系统 WO2020052275A1 (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021508057A JP2021520015A (ja) 2018-09-10 2019-05-24 画像処理方法、装置、端末機器、サーバおよびシステム
KR1020207031431A KR20200136034A (ko) 2018-09-10 2019-05-24 이미지 처리 방법, 장치, 단말 기기, 서버 및 시스템
SG11202010672YA SG11202010672YA (en) 2018-09-10 2019-05-24 Image processing method and apparatus, terminal device, server and system
US17/080,211 US20210049390A1 (en) 2018-09-10 2020-10-26 Image processing method and apparatus, terminal device, server and system
PH12020551800A PH12020551800A1 (en) 2018-09-10 2020-10-28 Image processing method and apparatus, terminal device, server and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811051583.5 2018-09-10
CN201811051583.5A CN110889314B (zh) 2018-09-10 2018-09-10 图像处理方法、装置、电子设备、服务器及系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/080,211 Continuation US20210049390A1 (en) 2018-09-10 2020-10-26 Image processing method and apparatus, terminal device, server and system

Publications (1)

Publication Number Publication Date
WO2020052275A1 true WO2020052275A1 (zh) 2020-03-19

Family

ID=69745170

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/088432 WO2020052275A1 (zh) 2018-09-10 2019-05-24 图像处理方法、装置、终端设备、服务器及系统

Country Status (7)

Country Link
US (1) US20210049390A1 (zh)
JP (1) JP2021520015A (zh)
KR (1) KR20200136034A (zh)
CN (1) CN110889314B (zh)
PH (1) PH12020551800A1 (zh)
SG (1) SG11202010672YA (zh)
WO (1) WO2020052275A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114694184A (zh) * 2022-05-27 2022-07-01 电子科技大学 一种基于多模板特征更新的行人重识别方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967370B (zh) * 2020-08-12 2021-12-07 广州小鹏自动驾驶科技有限公司 一种交通灯识别的方法和装置
JP2023512359A (ja) * 2020-12-29 2023-03-27 商▲湯▼国▲際▼私人有限公司 関連対象検出方法、及び装置
CN112784760B (zh) * 2021-01-25 2024-04-12 北京百度网讯科技有限公司 人体行为识别方法、装置、设备以及存储介质
CN113283305B (zh) * 2021-04-29 2024-03-26 百度在线网络技术（北京）有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158679A (ja) * 2006-12-21 2008-07-10 Toshiba Corp 人物認証システムおよび人物認証方法
CN103210332A (zh) * 2011-04-18 2013-07-17 松下电器产业株式会社 摄像装置、摄像装置的对焦控制方法及集成电路
CN105426833A (zh) * 2015-11-13 2016-03-23 小米科技有限责任公司 用于游戏的图像识别方法及装置
CN106991395A (zh) * 2017-03-31 2017-07-28 联想(北京)有限公司 信息处理方法、装置及电子设备
CN107644204A (zh) * 2017-09-12 2018-01-30 南京凌深信息科技有限公司 一种用于安防系统的人体识别与跟踪方法
CN107680188A (zh) * 2017-09-30 2018-02-09 四川民工加网络科技有限公司 一种建筑工地基于图像识别的考勤登记方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012127630A1 (ja) * 2011-03-22 2012-09-27 富士通株式会社 生体認証システム、生体認証方法及び生体認証プログラム
JP5841030B2 (ja) * 2012-09-18 2016-01-06 ビッグローブ株式会社 辞書更新方法、辞書更新システム、及び辞書更新プログラム
JP6087615B2 (ja) * 2012-12-19 2017-03-01 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、および表示装置
JP6079440B2 (ja) * 2013-05-29 2017-02-15 富士通株式会社 認証装置、認証方法および認証プログラム
JP2015095164A (ja) * 2013-11-13 2015-05-18 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
CA3186147A1 (en) * 2014-08-28 2016-02-28 Kevin Alan Tussy Facial recognition authentication system including path parameters
CN106412491A (zh) * 2015-07-30 2017-02-15 中兴通讯股份有限公司 视频监控方法、装置及系统
JP2018088049A (ja) * 2016-11-28 2018-06-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN108230252B (zh) * 2017-01-24 2022-02-01 深圳市商汤科技有限公司 图像处理方法、装置以及电子设备
CN106845432B (zh) * 2017-02-07 2019-09-17 深圳市深网视界科技有限公司 一种人脸与人体共同检测的方法和设备
CN108280399A (zh) * 2017-12-27 2018-07-13 武汉普利商用机器有限公司 一种场景自适应人脸识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158679A (ja) * 2006-12-21 2008-07-10 Toshiba Corp 人物認証システムおよび人物認証方法
CN103210332A (zh) * 2011-04-18 2013-07-17 松下电器产业株式会社 摄像装置、摄像装置的对焦控制方法及集成电路
CN105426833A (zh) * 2015-11-13 2016-03-23 小米科技有限责任公司 用于游戏的图像识别方法及装置
CN106991395A (zh) * 2017-03-31 2017-07-28 联想(北京)有限公司 信息处理方法、装置及电子设备
CN107644204A (zh) * 2017-09-12 2018-01-30 南京凌深信息科技有限公司 一种用于安防系统的人体识别与跟踪方法
CN107680188A (zh) * 2017-09-30 2018-02-09 四川民工加网络科技有限公司 一种建筑工地基于图像识别的考勤登记方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114694184A (zh) * 2022-05-27 2022-07-01 电子科技大学 一种基于多模板特征更新的行人重识别方法及系统
CN114694184B (zh) * 2022-05-27 2022-10-14 电子科技大学 一种基于多模板特征更新的行人重识别方法及系统

Also Published As

Publication number Publication date
CN110889314A (zh) 2020-03-17
JP2021520015A (ja) 2021-08-12
KR20200136034A (ko) 2020-12-04
SG11202010672YA (en) 2020-11-27
US20210049390A1 (en) 2021-02-18
CN110889314B (zh) 2022-09-13
PH12020551800A1 (en) 2021-06-14

Similar Documents

Publication Publication Date Title
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
WO2020052275A1 (zh) 图像处理方法、装置、终端设备、服务器及系统
JP7317919B2 (ja) 外観検索のシステムおよび方法
US10402627B2 (en) Method and apparatus for determining identity identifier of face in face image, and terminal
JP4988770B2 (ja) モード間の関心領域画像オブジェクト区分
US11908238B2 (en) Methods and systems for facial point-of-recognition (POR) provisioning
JP6030240B2 (ja) 顔認識のための方法および装置
US11443551B2 (en) Facial recognitions based on contextual information
US10140508B2 (en) Method and apparatus for annotating a video stream comprising a sequence of frames
WO2019033574A1 (zh) 电子装置、动态视频人脸识别的方法、系统及存储介质
US8130285B2 (en) Automated searching for probable matches in a video surveillance system
US20120070041A1 (en) System And Method For Face Verification Using Video Sequence
CN110825765A (zh) 一种人脸识别的方法和装置
WO2019179295A1 (zh) 面部识别的方法和装置
US11126827B2 (en) Method and system for image identification
US20220147735A1 (en) Face-aware person re-identification system
KR102592551B1 (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
CN110889315B (zh) 图像处理方法、装置、电子设备及系统
CN109902681B (zh) 用户群体关系确定方法、装置、设备及存储介质
JP2021515321A (ja) メディア処理方法、その関連装置及びコンピュータプログラム
WO2020232697A1 (zh) 一种在线人脸聚类的方法及系统
CN112131984A (zh) 视频裁剪方法、电子设备和计算机可读存储介质
Barquero et al. Long-term face tracking for crowded video-surveillance scenarios
KR102088206B1 (ko) 이미지 기반의 객체 인식 방법 및 이러한 방법을 수행하는 장치
CN113642519A (zh) 一种人脸识别系统和人脸识别方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19858823

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508057

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20207031431

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19858823

Country of ref document: EP

Kind code of ref document: A1