WO2022068024A1 - 图像检索方法及装置、电子设备及存储介质 - Google Patents

图像检索方法及装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2022068024A1
WO2022068024A1 PCT/CN2020/130940 CN2020130940W WO2022068024A1 WO 2022068024 A1 WO2022068024 A1 WO 2022068024A1 CN 2020130940 W CN2020130940 W CN 2020130940W WO 2022068024 A1 WO2022068024 A1 WO 2022068024A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
retrieval
retrieved
database
information
Prior art date
Application number
PCT/CN2020/130940
Other languages
English (en)
French (fr)
Inventor
郑波
熊鹏
李蔚琳
张贵明
李嘉宾
Original Assignee
深圳市商汤科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市商汤科技有限公司 filed Critical 深圳市商汤科技有限公司
Publication of WO2022068024A1 publication Critical patent/WO2022068024A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Definitions

  • the present disclosure relates to the field of security technologies, and in particular, to an image retrieval method and device, an electronic device and a storage medium.
  • surveillance cameras are installed in more and more places.
  • the relevant personnel need to find the target object, they can use the target information of the target object to retrieve the images including the images collected by the surveillance cameras, and get Contains the image of the target object. Therefore, how to obtain more information about the target object from the images collected by the surveillance camera is of great significance.
  • the present disclosure provides an image retrieval method and device, an electronic device and a storage medium.
  • an image retrieval method comprising:
  • Retrieving the database using the information to be retrieved obtains at least one first image matching the information to be retrieved; the at least one first image includes at least one second image;
  • the at least one second image includes a third image; when the database is retrieved by using the at least one second image, an image matching the at least one second image is obtained.
  • the method further includes;
  • the retrieval of the database using the at least one second image to obtain at least one image matching the at least one second image includes:
  • the database is searched using the third image to obtain at least one fourth image containing the first search object.
  • the method further includes:
  • the at least one first image is displayed.
  • the method further includes:
  • a first association relationship between the information to be retrieved and the third image, and a second association relationship between the third image and the fourth image are displayed on the display page; the first association relationship Including: the third image is a child node of the information to be retrieved, and the second association relationship includes: the fourth image is a child node of the third image.
  • the method further includes:
  • a third association relationship between the fourth image and the first image is displayed on the display page, and the third association relationship includes that the fourth image is retrieved by using the first retrieval object as a retrieval basis .
  • the method further includes:
  • a fourth association relationship between the third image and the fifth image is displayed on the display page; the fourth association relationship includes: the fifth image is a child node of the third image.
  • the method further includes:
  • the fifth image is deleted from the child node of the third image, and the fourth image and the fourth image are displayed on the display page.
  • the second relationship In the case of receiving the restoration instruction for the fifth image, the fifth image is deleted from the child node of the third image, and the fourth image and the fourth image are displayed on the display page.
  • the retrieve the database using the third image to obtain at least one fourth image containing the first retrieval object including:
  • a sixth image containing the second retrieval object is obtained.
  • the method further includes:
  • the database is searched using the sixth image, and an image of an intimate object including the second search object is obtained as the result image.
  • the information to be retrieved includes an image to be retrieved.
  • an image retrieval device comprising:
  • an acquisition unit used to acquire the information to be retrieved
  • a retrieval unit configured to use the information to be retrieved to retrieve the database to obtain at least one first image matching the information to be retrieved; the at least one first image includes at least one second image;
  • the retrieval unit is configured to use the at least one second image to retrieve the database when a retrieval instruction for the at least one second image is received, to obtain the at least one second image At least one image that matches, as at least one result image.
  • the at least one second image includes a third image
  • the image retrieval device further includes:
  • a detection unit configured to perform retrieval object detection on the third image before using the at least one second image to retrieve the database to obtain at least one image matching the at least one second image processing to obtain at least one first retrieval object contained in the third image;
  • the retrieval unit is used for:
  • the database is searched using the third image to obtain at least one fourth image containing the first search object.
  • the image retrieval apparatus further includes:
  • the display unit is configured to, after the retrieval of the database using the information to be retrieved obtains at least one first image matching the information to be retrieved, after the at least one second image is received The at least one first image is displayed prior to the retrieval instruction.
  • the display unit is also used for:
  • a first association relationship between the information to be retrieved and the third image, and a second association relationship between the third image and the fourth image are displayed on the display page; the first association relationship Including: the third image is a child node of the information to be retrieved, and the second association relationship includes: the fourth image is a child node of the third image.
  • the display unit is also used for:
  • a third association relationship between the fourth image and the first image is displayed on the display page, and the third association relationship includes that the fourth image is retrieved by using the first retrieval object as a retrieval basis .
  • the image retrieval apparatus further includes:
  • a processing unit configured to delete the fourth image from the child nodes of the third image in the case of receiving an instruction to delete the fourth image, and perform deletion special effect processing on the fourth image, get the fifth image;
  • the display unit is further configured to display a fourth association relationship between the third image and the fifth image on the display page; the fourth association relationship includes: the fifth image is the Child node of the third image.
  • the display unit is also used for:
  • the fifth image is deleted from the child node of the third image, and the fourth image and the fourth image are displayed on the display page.
  • the second relationship In the case of receiving the restoration instruction for the fifth image, the fifth image is deleted from the child node of the third image, and the fourth image and the fourth image are displayed on the display page.
  • the Retrieval units are also used to:
  • a sixth image containing the second retrieval object is obtained.
  • the retrieval unit is further configured to perform an intimate object detection process on the sixth image to obtain an intimate object of the second retrieval object;
  • the retrieval unit is further configured to use the sixth image to retrieve the database, and obtain an image of an intimate object including the second retrieval object as the result image.
  • the information to be retrieved includes an image to be retrieved.
  • an electronic device characterized by comprising: a processor and a memory, wherein the memory is used to store computer program code, the computer program code includes computer instructions, and the processor executes the computer In the case of an instruction, the electronic device executes the method according to the above-mentioned first aspect and any possible implementation manner thereof.
  • another electronic device comprising: a processor, a sending device, an input device, an output device, and a memory, the memory is used to store computer program code, the computer program code includes computer instructions, in the When the processor executes the computer instructions, the electronic device executes the method according to the first aspect and any one of possible implementations thereof.
  • a computer-readable storage medium where a computer program is stored in the computer-readable storage medium, and the computer program includes program instructions that, when the program instructions are executed by a processor, cause all The processor executes the method as described above in the first aspect and any possible implementation manner thereof.
  • a computer program product includes a computer program or an instruction, and when the computer program or instruction is run on a computer, the computer is made to perform the above-mentioned first aspect and any of them.
  • FIG. 1 is a schematic flowchart of an image retrieval method according to an embodiment of the present disclosure
  • FIG. 2 is a schematic diagram of a relationship between information to be retrieved and a first image according to an embodiment of the present disclosure
  • FIG. 3 is a schematic structural diagram of an image retrieval apparatus according to an embodiment of the present disclosure.
  • FIG. 4 is a schematic diagram of a hardware structure of an image retrieval apparatus according to an embodiment of the present disclosure.
  • surveillance cameras In order to improve the ability of social security management and control and maintain a good social security environment, surveillance cameras have been installed in more and more places. When relevant personnel need to find the target object, they can use the target information of the target object to retrieve the video stream and video stream collected by the surveillance camera. / or image to get an image containing the target object.
  • the target information of the target object may be an image containing the person; the target information of the target object may also be the character attribute of the person (such as what color clothes to wear).
  • the target object is a vehicle, and the target information of the target object can be an image containing the vehicle; the target information of the target object can also be the vehicle attributes of the vehicle (such as what color vehicle, what brand of vehicle, what model of vehicle) .
  • the target object is an event, and the target information of the target object may be the number of people participating in the event (for example, if the event is a fight, the target information may be the number of people participating in the fight).
  • the target information of the target object Since the target information of the target object is limited, the number of images containing the target object retrieved using the target information is limited. Under the circumstance that the number of images containing the target object is limited, the information related to the target object obtained by the relevant persons from the images containing the target object is also less.
  • the embodiments of the present disclosure provide an image retrieval method, which can retrieve the image containing the target object based on the target information of the target object, and use the image containing the target object as the retrieval basis to collect the image data from the surveillance camera again. retrieved video streams and/or images to get more information about the target object.
  • the execution subject of the embodiment of the present disclosure is an image retrieval apparatus.
  • the optional image retrieval device can be one of the following: a server and a computer.
  • FIG. 1 is a schematic flowchart of an image retrieval method provided by an embodiment of the present disclosure.
  • the information to be retrieved includes image data and non-image data.
  • Image data includes pictures and video streams.
  • the non-image data includes data other than image data, and the non-image data includes at least one of the following: person attributes, vehicle attributes, object attributes, phone numbers, ID numbers, names, and ages.
  • the image retrieval apparatus receives the information to be retrieved input by the user through the input component.
  • the above input components include: keyboard, mouse, touch screen, touch pad, audio input and so on.
  • the image processing apparatus receives the information to be retrieved sent by the first terminal.
  • the first terminal may be any one of the following: a mobile phone, a computer, a tablet computer, a server, and a wearable device.
  • the image processing device and the surveillance camera have a communication connection, and the image retrieval device can receive at least one image sent by the surveillance camera as the information to be retrieved through the communication connection.
  • the surveillance camera is deployed on the road or indoors.
  • a communication connection is provided between the image processing device and the surveillance camera, and the image retrieval device can receive the video stream sent by the surveillance camera through the communication connection, and convert at least one image in the video stream to as the information to be retrieved.
  • the surveillance camera is deployed on the road or indoors.
  • the image processing apparatus may acquire at least one image through its own image acquisition component as the information to be retrieved, such as a camera, to directly acquire the image to be processed.
  • the above information retrieval database uses the above information retrieval database to obtain at least one first image matching the above information to be retrieved; the at least one first image includes at least one second image.
  • the database includes image data and non-image data.
  • the non-image data includes at least one of the following: person attribute, vehicle attribute, object attribute, phone number, certificate number, name, age.
  • the image retrieval device uses the image retrieval database to be retrieved to obtain at least one image matching the image to be retrieved, as At least one first image.
  • the database also includes feature data of the image data.
  • the image retrieval device obtains feature data of the image to be retrieved by performing feature extraction processing on the image to be retrieved. By comparing the feature data of the image to be retrieved with the feature data in the database, feature data matching the feature data of the image to be retrieved is obtained as the first intermediate feature data. The image corresponding to the first intermediate feature data is used as the first image.
  • the image retrieval apparatus uses the retrieval image retrieval database to obtain non-image data matching the data to be retrieved , as the first intermediate non-image data.
  • the image retrieval device further obtains an image having an index relationship with the first intermediate non-image data as the first image according to the index between the image data and the non-image data.
  • the database contains image a, and image a contains person b.
  • the database also includes the character attributes of character b.
  • the electronic device may establish an index between the character attribute of the character b and the image a.
  • the image retrieval device may determine the first intermediate non-image data from the database according to the index between the image data and the non-image data. Image data with an index relationship between intermediate non-image data is used as the first image.
  • the user can input a retrieval instruction that includes the target object as retrieval information to the image retrieval device, so that the image retrieval device retrieves and contains the target object from the database.
  • the image of the target object is matched to the image to get more information about the target object.
  • the at least one second image is at least one image including the target object in the at least one first image.
  • the image retrieval apparatus when receiving a retrieval instruction for at least one second image, uses at least one second image retrieval database to obtain at least one image matching the at least one second image , as at least one resulting image.
  • the at least one second image displayed by the image retrieval apparatus includes: image a, image b, and image c.
  • the police determine that image a contains suspect A, and image b contains suspect B.
  • the police can input a retrieval instruction to the image retrieval device, so that the image retrieval device uses the image a as the retrieval basis to retrieve the database, and obtains the image matching the image a (that is, the image containing the suspect A) as the result image;
  • the image retrieval device inputs a retrieval instruction, so that the image retrieval device uses image b as the retrieval basis to retrieve the database, and obtains an image matching image b (that is, the image containing suspect B) as the result image; the police can also send the image retrieval device to the image retrieval device.
  • the image retrieval device uses the image a and the image b as the retrieval basis to retrieve the database respectively, and obtains the image matching the image a (that is, the image containing the suspect A) and the image matching the image b (that is, containing the suspect). image of B).
  • An image containing suspect A and an image containing suspect B are taken as result images.
  • the image retrieval apparatus first obtains at least one first image by using the information retrieval database to be retrieved, and displays the at least one first image, so that the user can determine whether there is a target in the at least one first image. image of the object.
  • the user determines that there is an image containing the target object in the at least one first image
  • the user can input the image containing the target object as retrieval information to the image retrieval device to further retrieve the database to obtain more information about the target object.
  • the image retrieval device obtains at least one result image by using an image retrieval database including the target object when receiving a retrieval instruction for an image including the target object.
  • the at least one second image includes a third image
  • the image retrieval device is performing the retrieval of the database by using the at least one second image to obtain at least one image matching the at least one second image.
  • the image retrieval device Before the step of taking an image, the image retrieval device also performs the following steps:
  • the retrieval object includes at least one of the following: a person, a vehicle, an object, and an event.
  • the third image includes a person
  • the first retrieval object may be a person in the third image
  • the third image includes a bus
  • the first retrieval object may be a bus in the third image
  • the third image includes a bus Umbrella
  • the first retrieval object may be the umbrella in the third image
  • the third image includes a fight event
  • the first retrieval object may be a fight event.
  • the image retrieval apparatus determines that the third image includes a person, two vehicles, and a rear-end collision event by performing retrieval object detection processing on the third image.
  • the image retrieval device can take the person in the third image as the first retrieval object, the image retrieval device can also take any vehicle in the third image as the first retrieval object, and the image retrieval device can also take the third image as the first retrieval object.
  • the rear-end event in is the first retrieval object.
  • the retrieval object detection process may be implemented by a convolutional neural network.
  • the convolutional neural network By using multiple images with annotation information as training data, the convolutional neural network is trained, so that the trained convolutional neural network can complete the image retrieval object detection processing.
  • the annotation information of the images in the training data is the retrieval object.
  • the convolutional neural network extracts the characteristic data of the image from the image, and determines the retrieval object in the image according to the characteristic data.
  • the annotation information is used as the supervision information to supervise the results obtained by the convolutional neural network in the training process, and the parameters of the convolutional neural network are updated to complete the training of the convolutional neural network.
  • the image retrieval apparatus can use the trained convolutional neural network to process the third image to obtain the first retrieval object.
  • the retrieval object detection processing may be implemented by a retrieval object detection processing algorithm.
  • the above retrieval object detection processing can be implemented by one of the following algorithms: you only look once algorithm (YOLO), target detection algorithm (deformable part model, DMP), single image multi-target detection algorithm (single shot multiBox detector, SSD), Faster-RCNN algorithm, etc.
  • YOLO look once algorithm
  • DMP target detection algorithm
  • DMP single image multi-target detection algorithm
  • SSD single shot multiBox detector
  • Faster-RCNN algorithm etc.
  • the present disclosure does not limit the retrieval object detection algorithm for realizing retrieval object detection processing.
  • the image retrieval device After obtaining the first retrieval object, the image retrieval device performs the following steps in the process of using the at least one second image to retrieve the database to obtain at least one image matching the at least one second image:
  • the third image contains a person and a car.
  • the image retrieval apparatus uses the third image retrieval database to obtain an image including the person to be retrieved as the fourth image.
  • the image retrieval apparatus uses the third image retrieval database to obtain an image including the vehicle to be retrieved as the fourth image.
  • the image retrieval apparatus may use each retrieval object in the third image respectively during the process of using the third image to retrieve data to obtain at least one fourth image. image.
  • the third image contains a person and a car.
  • the image retrieval apparatus uses the third image retrieval database to obtain an image including the person to be retrieved as the fourth image.
  • the image retrieval device uses the third image retrieval database to obtain an image containing the person to be retrieved as the fourth image.
  • the image retrieval apparatus after performing step 102 and before performing step 103, the image retrieval apparatus further performs the following steps:
  • the image retrieval device displays the at least one first image for the user to confirm whether there is an image containing the target object in the at least one first image. For example, a robbery occurred in place A, and the surveillance at the crime scene captured images of the suspect.
  • the police in place A inputs the image into the server as the information to be retrieved, so that the server searches the database, wherein the database contains the video stream and/or image captured by the camera in place A.
  • the server obtains two first images, image a and image b, by retrieving the database.
  • the server displays image a and image b for police confirmation. After the police conduct research and judgment on image a and image b, it is determined that image a contains a suspect, that is, image a contains the target object.
  • the image retrieval apparatus may display the at least one first image as a child node of the information to be retrieved.
  • the information to be retrieved is an image, and there are two first images.
  • the two first images are child nodes of the information to be retrieved.
  • the image retrieval apparatus after obtaining the fourth image, the image retrieval apparatus further performs the following steps:
  • the first association relationship includes that the third image is a child node of the information to be retrieved, and the second association relationship includes that the fourth image is a child node of the third image.
  • the image retrieval device uses the retrieved image as the child node of the retrieval basis.
  • the third image is an image retrieved by the image retrieval device using the information to be retrieved from the database, that is, the information to be retrieved is the retrieval basis, and the third image is the retrieved image.
  • the fourth image is an image retrieved from the database by the image retrieval device using the information to be retrieved, that is, the third image is the retrieval basis, and the fourth image is the retrieved image.
  • the image retrieval apparatus can display the retrieval records in a visualized form by using the retrieved images as the sub-nodes of the retrieval basis, which is beneficial for the user to obtain the retrieval records more conveniently, and when searching for the target object , which connects the search clues in the form of the above visualization, which helps users to find the target object.
  • the image retrieval apparatus further performs the following steps:
  • the third association relationship includes that the fourth image is retrieved by using the first retrieval object as a retrieval basis.
  • the image retrieval device may also display a fourth image on the display page to retrieve the image based on the first retrieval object.
  • the image retrieval apparatus can obtain the face similarity set by comparing the fourth image with the image in the database. .
  • the image whose similarity in the face similarity concentration exceeds the face similarity threshold is used as the fourth image.
  • the image retrieval device can display on the display page, and the fourth image is obtained by comparing the face of the third image with the image in the database.
  • the image retrieval apparatus may obtain a vehicle similarity set by comparing the fourth image with the image in the database during the process of using the third image to retrieve the database. An image whose similarity in the vehicle similarity concentration exceeds the vehicle similarity threshold is taken as the fourth image.
  • the image retrieval device can be displayed on the display page, and the fourth image is obtained by comparing the third image with the images in the database.
  • the image retrieval apparatus obtains the retrieval basis of the fourth image by displaying on the display page, which is beneficial for the user to study and judge the retrieval record.
  • the image retrieval apparatus further performs the following steps:
  • the processing of deleting special effects includes at least one of the following: converting a color image into a grayscale image; adding a dashed border around the image so that the dashed border surrounds the image; adding deletion information (such as cross, deleted, etc.) to the image ).
  • the image retrieval device When receiving an instruction to delete the fourth image, the image retrieval device performs deletion special effect processing on the fourth image to obtain the fifth image.
  • the fourth association relationship includes that the fifth image is a child node of the third image.
  • the image retrieval device When receiving an instruction to delete the retrieved image, deletes the fourth image from the child nodes of the third image, and sets the fifth image as a child node of the third image.
  • the image retrieval apparatus replaces the fourth image with the fifth image in the display page.
  • the user may delete an image by mistake, and/or may consider an image unimportant and delete the image.
  • the retrieval records may be subsequently rearranged and the retrieved images are analyzed, information may be lost, and further clues for finding the target object may be interrupted.
  • the image retrieval apparatus when the image retrieval apparatus receives an instruction to delete the retrieved image, the image after deletion of the special effect processing will be retained in the display page. In this way, when the user subsequently rearranges the retrieval records and analyzes the retrieved images, the retrieved images can still be retrieved by deleting the images after the special effect processing.
  • the image retrieval apparatus further performs the following steps on the basis of performing step 7:
  • the restoration instruction is used to instruct the image retrieval apparatus to restore the image after the special effect processing is deleted to the image before the special effect deletion processing. Therefore, when the image retrieval device receives the restoration instruction for the fifth image, it deletes the fifth image from the child nodes of the third image, and uses the fourth image as a child node of the third image again, that is, when displaying The second association relationship is displayed on the page.
  • the image retrieval apparatus replaces the fifth image with the fourth image when receiving the restoration instruction for the fifth image.
  • the user can restore the image after the deletion of the special effect processing to the deleted image by inputting the restoration instruction for deleting the image after the special effect processing into the image retrieval device. Before effects processing.
  • the at least one first retrieval object includes a second retrieval object and a third retrieval object
  • the retrieval instruction includes using the second retrieval object as a retrieval basis.
  • the third image contains two first retrieval objects, Zhang San and Li Si.
  • the police confirm that Zhang San is a suspect the police can input an instruction carrying Zhang San as a retrieval basis as a retrieval instruction into the image retrieval device.
  • the third image contains two first retrieval objects, Zhang San and vehicle a.
  • the police confirms that vehicle a is the vehicle causing the accident the police can input the instruction carrying vehicle a as the retrieval basis as the retrieval instruction into the image retrieval device.
  • the image retrieval apparatus performs the following steps in the process of performing step 103:
  • the image retrieval apparatus performs feature extraction processing on the second image to obtain a feature vector of the second retrieval object.
  • the image retrieval device performs feature extraction processing on all images in the database to obtain feature vectors of objects in each image (hereinafter referred to as data feature vectors).
  • the feature vector of the second retrieval object is compared with each data feature vector to obtain a similarity set.
  • the image corresponding to the similarity whose similarity exceeds the first threshold is taken as the sixth image.
  • the second retrieval object is Zhang San in the second image.
  • the image retrieval apparatus obtains a feature vector of Zhang San by performing feature extraction processing on the second image, wherein the feature vector of Zhang San carries the identity information of Zhang San.
  • the image retrieval device separately performs feature extraction processing on each image in the database to obtain the feature vector of the person in each image.
  • the image retrieval apparatus determines that the similarity between the feature vector of person A and the feature vector of Zhang San exceeds the first threshold by comparing the feature vector of Zhang San with the feature vector of the person in each image. Since the person A belongs to the image b, the image retrieval apparatus determines that the image b is the sixth image.
  • the user can determine the second retrieval object from the second image, so that the image retrieval apparatus can perform targeted retrieval on the second retrieval object to obtain the sixth image as the result image.
  • the image retrieval apparatus further performs the following steps:
  • an intimate object refers to an object that is associated with a retrieval object.
  • the intimate object may be a companion of the second retrieval object; the intimate object may also be a person who has physical contact with the second retrieval object; the intimate object may also be a person who is in physical contact with the second retrieval object There is a person with eye contact between the objects; the intimate object may also be a vehicle that the second retrieval object rides; the intimate object may also be an object (such as an umbrella, a backpack, a suitcase) used by the second retrieval object.
  • the intimate object when the second retrieval object is a vehicle, the intimate object may be a person riding the vehicle; the intimate object may also be a person who has physical contact with the vehicle.
  • the intimate object when the second retrieval object is an event, the intimate object may be a person participating in the event; the intimate object may also be a person watching the event.
  • the image retrieval device performs an intimate object detection process by using the sixth image, and can determine the intimate object of the second retrieval object from the sixth image.
  • the processing of intimate object detection on the sixth image may be implemented by a convolutional neural network.
  • the convolutional neural network is trained by using the image with annotation information as the training data, so that the trained convolutional neural network can complete the object detection processing on the image.
  • the annotation information of the images in the training data is the retrieval object and the close objects of the retrieval object.
  • the training data contains image a, which contains person A, vehicle B, and person C.
  • the retrieval object can be person A, and the vehicle B is the intimate object of person A; the retrieval object can also be vehicle B, and the person A is the intimate object of vehicle B; the retrieval object can also be person A, and person C is a person A's intimate partner.
  • the image retrieval device uses the intimate object of the second retrieval object as the retrieval basis, selects the image containing the intimate object of the second retrieval object from the database, and retrieves the image of the intimate object of the second retrieval object from the database. Partial image as result image. In this way, more information related to the second retrieval object can be obtained through retrieval, that is, more information related to the target object can be obtained.
  • the image retrieval device can not only select images including Zhang San from the database, but also select images including vehicle a from the database. image.
  • Zhang San's information eg, whereabouts
  • Zhang San's information eg, whereabouts
  • the image retrieval device can not only select images containing Zhang San from the database, but also Images containing Li Si can also be selected from the database. In this way, the user can not only obtain Zhang San's information (eg, whereabouts) according to the image including Zhang San, but also obtain Zhang San's information (eg, whereabouts) according to the image including Li Si.
  • the image retrieval apparatus may use the mobile phone number to be retrieved to search the database to obtain the intimate number of the mobile phone number to be retrieved.
  • the image retrieval device searches the database using the intimate number, and obtains an image matching the intimate number as a result image.
  • the image retrieval apparatus searches the database by using the mobile phone number to be retrieved, and obtains the mobile phone number whose contact frequency with the mobile phone number to be retrieved exceeds the frequency threshold, as the intimate number of the mobile phone number to be retrieved.
  • the image retrieval device uses the intimate number to retrieve the database, obtains the ID card information bound to the intimate number, and uses the face image in the ID card information as the result image.
  • An image retrieval device or an intimate number retrieval database is used to obtain the ID card information bound by the intimate number, and the face image in the ID card information is used as a retrieval basis to retrieve the database, and an image containing the person in the face image is obtained, as the resulting image.
  • the image retrieval apparatus may use the bank account number to be retrieved to retrieve the database to obtain the intimate number of the bank account number to be retrieved.
  • the image retrieval device searches the database using the intimate number, and obtains an image matching the intimate number as a result image.
  • the image retrieval device retrieves the database by using the bank account number to be retrieved, and obtains the bank account number whose number of transfers with the bank account number to be retrieved exceeds the threshold of the number of times, as the intimate account number of the bank account number to be retrieved.
  • the image retrieval device uses the intimate account to retrieve the database, obtains the ID card information bound to the intimate account, and uses the face image in the ID card information as the result image.
  • the image retrieval device or the intimate account retrieval database is used to obtain the ID card information bound to the intimate account, and the face image in the ID card information is used as the retrieval basis to retrieve the database, and the image containing the person in the face image is obtained, as the resulting image.
  • surveillance cameras are installed in more and more places.
  • relevant personnel need to find the target person, they can use the target person's body image, face image, as well as clothing and decorations. and other features to determine the whereabouts of the target person from the video streams collected by cameras arranged in different positions.
  • the embodiments of the present disclosure also provide several possible application scenarios.
  • Scenario 1 A robbery case occurred in place A.
  • the suspect's character attributes were: a short-haired woman wearing a white top, black pants, and glasses.
  • the server can obtain video streams and/or images from the surveillance cameras in place A, and then build a database based on the obtained video streams and/or images.
  • the police in place A can input the suspect's character attributes as the information to be retrieved into the server, so that the server can retrieve images related to the suspect from the database (for example, including An image of the suspect, an image that includes the suspect's companions, an image that includes the vehicle the suspect is riding in).
  • the server selects the image related to the suspect from the database, and displays the part of the image.
  • the police can then obtain information such as the whereabouts of the suspect based on this part of the image.
  • Scenario 2 A hit-and-run case occurred in place B, and the surveillance at the scene of the accident collected images of the vehicle that caused the accident.
  • the server can obtain video streams and/or images from the surveillance cameras in place B, and then build a database based on the obtained video streams and/or images.
  • the police in place B are chasing the offending vehicle, they can input the image of the offending vehicle as the information to be retrieved into the server, so that the server can retrieve the database and select images related to the offending vehicle from the database (for example, including the offending vehicle). images, including images of people riding in the vehicle that caused the accident).
  • the server selects the image related to the accident vehicle from the database, and displays the part of the image.
  • the police can obtain information such as the whereabouts of the vehicle involved in the accident based on this part of the image.
  • Scenario 3 A fraud case occurs in place C.
  • the mobile phone number used by the fraudster (hereinafter referred to as the fraudulent mobile phone number) can be known.
  • the database in the server of the supervision center in C contains all the telephone numbers opened by the operator and the data related to the telephone numbers.
  • the police in place C can input the fraudulent mobile phone number as the information to be retrieved to the server, so that the server retrieves data related to the fraudulent number from the database.
  • the image retrieval device first uses the fraudulent mobile phone number to retrieve the database, and obtains ID card information bound to the fraudulent phone number, wherein the face image in the ID card information includes the object to be confirmed. Then, using the face image in the ID card information as the retrieval basis, the database is retrieved, and the image containing the object to be confirmed is obtained as the data related to the fraudulent number.
  • the image retrieval device first determines the mobile phone numbers whose contact frequency with the fraudulent mobile phone number exceeds the frequency threshold as the intimate number of the fraudulent mobile phone number.
  • the image retrieval device uses the face image in the ID card information as the retrieval basis to retrieve the database to obtain the image containing the intimate object to be confirmed as the data related to the fraudulent number.
  • the police can obtain the relevant information of the fraudsters, and then arrest the fraudsters based on the information.
  • the writing order of each step does not mean a strict execution order but constitutes any limitation on the implementation process, and the execution order of each step should be based on its function and possible intrinsic Logical OK.
  • FIG. 3 is a schematic structural diagram of an image retrieval provided by an embodiment of the present disclosure.
  • the image retrieval apparatus 1 includes: an acquisition part 11 , a retrieval part 12 , a detection part 13 , a display part 14 , and a processing part 15
  • the obtaining part 11 is configured to obtain the information to be retrieved
  • the retrieval part 12 is configured to use the to-be-retrieved information to retrieve the database to obtain at least one first image matching the to-be-retrieved information; the at least one first image includes at least one second image;
  • the retrieval part 12 is configured to retrieve the database using the at least one second image when a retrieval instruction for the at least one second image is received, and obtain a second image corresponding to the at least one second image. At least one image for which the image matches, as at least one result image.
  • the at least one second image includes a third image
  • the image retrieval device 1 further includes:
  • the detection part 13 is configured to search the third image before using the at least one second image to retrieve the database to obtain at least one image matching the at least one second image detecting and processing to obtain at least one first retrieval object contained in the third image;
  • the retrieval part 12 is configured as:
  • the database is searched using the third image to obtain at least one fourth image containing the first search object.
  • the image retrieval apparatus 1 further includes:
  • the display part 14 is configured to, after the retrieval of the database using the information to be retrieved to obtain at least one first image matching the information to be retrieved, after receiving the at least one second image for the at least one image
  • the at least one first image is displayed before the retrieval instruction.
  • the display portion 14 is further configured to:
  • a first association relationship between the information to be retrieved and the third image, and a second association relationship between the third image and the fourth image are displayed on the display page; the first association relationship Including: the third image is a child node of the information to be retrieved, and the second association relationship includes: the fourth image is a child node of the third image.
  • the display portion 14 is further configured to:
  • a third association relationship between the fourth image and the first image is displayed on the display page, and the third association relationship includes that the fourth image is retrieved by using the first retrieval object as a retrieval basis .
  • the image retrieval apparatus 1 further includes:
  • the processing part 15 is configured to delete the fourth image from the child nodes of the third image in the case of receiving an instruction to delete the fourth image, and perform deletion special effect processing on the fourth image , get the fifth image;
  • the display part 14 is further configured to display a fourth association relationship between the third image and the fifth image in the display page; the fourth association relationship includes: the fifth image is the child node of the third image.
  • the display portion 14 is further configured to:
  • the fifth image is deleted from the child node of the third image, and the fourth image and the fourth image are displayed on the display page.
  • the second relationship In the case of receiving the restoration instruction for the fifth image, the fifth image is deleted from the child node of the third image, and the fourth image and the fourth image are displayed on the display page.
  • the The retrieval section 12 is also configured to:
  • a sixth image containing the second retrieval object is obtained.
  • the retrieval part 12 is further configured to perform an intimate object detection process on the sixth image to obtain an intimate object of the second retrieval object;
  • the retrieval part 12 is further configured to use the sixth image to retrieve the database, and obtain an image of the intimate object including the second retrieval object as the result image.
  • the information to be retrieved includes an image to be retrieved.
  • the image retrieval apparatus first obtains at least one first image by using the information retrieval database to be retrieved, and displays the at least one first image, so that the user can determine whether there is a target in the at least one first image. image of the object.
  • the user determines that there is an image containing the target object in the at least one first image
  • the user can input the image containing the target object as retrieval information to the image retrieval device to further retrieve the database to obtain more information about the target object.
  • the image retrieval device obtains at least one result image by using an image retrieval database including the target object.
  • a "part" may be a part of a circuit, a part of a processor, a part of a program or software, etc., of course, a unit, a module or a non-modularity.
  • the functions or modules included in the apparatus provided in the embodiments of the present disclosure may be used to execute the methods described in the above method embodiments, and the implementation of the above method embodiments may refer to the descriptions of the above method embodiments. Repeat.
  • FIG. 4 is a schematic diagram of a hardware structure of an image retrieval apparatus according to an embodiment of the present disclosure.
  • the image retrieval device 2 includes a processor 21 , a memory 22 , an input device 23 , and an output device 24 .
  • the processor 21 , the memory 22 , the input device 23 , and the output device 24 are coupled through a connector, and the connector includes various types of interfaces, transmission lines, or buses, which are not limited in this embodiment of the present disclosure. It should be understood that, in various embodiments of the present disclosure, coupling refers to mutual connection in a specific manner, including direct connection or indirect connection through other devices, such as various interfaces, transmission lines, and buses.
  • the processor 21 may be one or more graphics processing units (graphics processing units, GPUs).
  • the GPU may be a single-core GPU or a multi-core GPU.
  • the processor 21 may be a processor group composed of multiple GPUs, and the multiple processors are coupled to each other through one or more buses.
  • the processor may also be another type of processor, etc., which is not limited in this embodiment of the present disclosure.
  • the memory 22 may be used to store computer program instructions, as well as various types of computer program code, including program code for implementing the disclosed aspects.
  • the memory includes, but is not limited to, random access memory (RAM), read-only memory (read-only memory, ROM), erasable programmable read-only memory (erasable programmable read only memory, EPROM) ), or a portable read-only memory (compact disc read-only memory, CD-ROM), which is used for related instructions and data.
  • RAM random access memory
  • ROM read-only memory
  • EPROM erasable programmable read only memory
  • CD-ROM compact disc read-only memory
  • the input device 23 is used for inputting data and/or signals
  • the output device 24 is used for outputting data and/or signals.
  • the input device 23 and the output device 24 may be independent devices or may be an integral device.
  • the memory 22 can be used not only to store related instructions, but also to store related data.
  • the memory 22 can be used to store the information to be retrieved obtained through the input device 23 , or the memory 22 can also be used to store the information to be retrieved.
  • Store at least one result image obtained by the processor 21 through the search, etc., and the data stored in the memory is not limited in this embodiment of the present disclosure.
  • FIG. 4 only shows a simplified design of an image retrieval apparatus.
  • the image retrieval apparatus may also include other necessary elements, including but not limited to any number of input/output devices, processors, memories, etc., and all image retrieval apparatuses that can implement the embodiments of the present disclosure are included in this disclosure. within the scope of public protection.
  • the disclosed system, apparatus and method may be implemented in other manners.
  • the apparatus embodiments described above are only illustrative.
  • the division of the units is only a logical function division. In actual implementation, there may be other division methods.
  • multiple units or components may be combined or Can be integrated into another system, or some features can be ignored, or not implemented.
  • the shown or discussed mutual coupling or direct coupling or communication connection may be through some interfaces, indirect coupling or communication connection of devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution in this embodiment.
  • each functional unit in each embodiment of the present disclosure may be integrated into one processing unit, or each unit may exist physically alone, or two or more units may be integrated into one unit.
  • the above-mentioned embodiments it may be implemented in whole or in part by software, hardware, firmware or any combination thereof.
  • software it can be implemented in whole or in part in the form of a computer program product.
  • the computer program product includes one or more computer instructions.
  • the computer may be a general purpose computer, special purpose computer, computer network, or other programmable device.
  • the computer instructions may be stored in or transmitted over a computer-readable storage medium.
  • the computer instructions can be sent from a website site, computer, server, or data center via wired (eg, coaxial cable, fiber optic, digital subscriber line (DSL)) or wireless (eg, infrared, wireless, microwave, etc.) another website site, computer, server or data center for transmission.
  • the computer-readable storage medium may be any available medium that can be accessed by a computer or a data storage device such as a server, data center, etc. that includes an integration of one or more available media.
  • the available media may be magnetic media (eg, floppy disks, hard disks, magnetic tapes), optical media (eg, digital versatile discs (DVDs)), or semiconductor media (eg, solid state disks (SSDs)) )Wait.
  • the process can be completed by instructing the relevant hardware by a computer program, and the program can be stored in a computer-readable storage medium.
  • the program When the program is executed , which may include the processes of the foregoing method embodiments.
  • the aforementioned storage medium includes: read-only memory (read-only memory, ROM) or random access memory (random access memory, RAM), magnetic disk or optical disk and other media that can store program codes.
  • At least one second image including the target object in the at least one first image can be retrieved by using the to-be-retrieved information retrieval database , to obtain at least one result image matching the second image, so that more information about the target object can be obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种图像检索方法及装置、电子设备及存储介质。该方法包括获取待检索信息（101）；使用上述待检索信息检索数据库，得到与上述待检索信息匹配的至少一张第一图像；至少一张第一图像包括至少一张第二图像（102）；在接收到针对至少一张第二图像的检索指令的情况下，使用上述至少一张第二图像检索上述数据库，得到与上述至少一张第二图像匹配的至少一张图像，作为至少一张结果图像（103）。

Description

图像检索方法及装置、电子设备及存储介质
相关申请的交叉引用
本公开基于申请号为202011050459.4、申请日为2020年09月29日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本公开作为参考。
技术领域
本公开涉及安防技术领域，尤其涉及一种图像检索方法及装置、电子设备及存储介质。
背景技术
为提高社会治安管控能力，维护良好社会治安环境，越来越多的地方布置了监控摄像头，相关人员在需要找寻目标对象时，可使用目标对象的目标信息检索包含监控摄像头采集到的图像，得到包含目标对象的图像。因此，如何从监控摄像头采集到的图像中获取更多关于目标对象的信息具有非常重要的意义。
发明内容
本公开提供一种图像检索方法及装置、电子设备及存储介质。
第一方面，提供了一种图像检索方法，所述方法包括：
获取待检索信息；
使用所述待检索信息检索数据库，得到与所述待检索信息匹配的至少一张第一图像；所述至少一张第一图像包括至少一张第二图像；
在接收到针对所述至少一张第二图像的检索指令的情况下，使用所述至少一张第二图像检索所述数据库，得到与所述至少一张第二图像匹配的至少一张图像，作为至少一张结果图像。
结合本公开任一实施方式，所述至少一张第二图像包括第三图像；在所述使用所述至少一张第二图像检索所述数据库，得到与所述至少一张第二图像匹配的至少一张图像之前，所述方法还包括；
对所述第三图像进行检索对象检测处理，得到所述第三图像中包含的至少一个第一检索对象；
所述使用所述至少一张第二图像检索所述数据库，得到与所述至少一张第二图像匹配的至少一张图像，包括：
使用所述第三图像检索所述数据库，得到包含所述第一检索对象的至少一张第四图像。
结合本公开任一实施方式，所述使用所述待检索信息检索数据库，得到与所述待检索信息匹配的至少一张第一图像之后，所述在接收到针对所述至 少一张第二图像的检索指令之前，所述方法还包括：
显示所述至少一张第一图像。
结合本公开任一实施方式，所述方法还包括：
在显示页面中显示所述待检索信息和所述第三图像之间的第一关联关系，以及所述第三图像和所述第四图像之间的第二关联关系；所述第一关联关系包括：所述第三图像为所述待检索信息的子节点，所述第二关联关系包括：所述第四图像为所述第三图像的子节点。
结合本公开任一实施方式，所述方法还包括：
在所述显示页面中显示所述第四图像和所述第一图像之间的第三关联关系，所述第三关联关系包括所述第四图像以所述第一检索对象为检索依据检索得到。
结合本公开任一实施方式，所述方法还包括：
在接收到删除所述第四图像的指令的情况下，从所述第三图像的子节点中将所述第四图像删除，并对所述第四图像进行删除特效处理，得到第五图像；
在所述显示页面中显示所述第三图像和所述第五图像之间的第四关联关系；所述第四关联关系包括：所述第五图像为所述第三图像的子节点。
结合本公开任一实施方式，所述方法还包括：
在接收到针对所述第五图像的恢复指令的情况下，从所述第三图像的子节点中将所述第五图像删除，并在所述显示页面中显示所述第四图像以及所述第二关联关系。
结合本公开任一实施方式，在所述至少一个第一检索对象包括第二检索对象和第三检索对象，且所述检索指令包括将所述第二检索对象作为检索依据的情况下，所述使用所述第三图像检索所述数据库，得到包含所述第一检索对象的至少一张第四图像，包括：
使用所述第三图像检索数据库，得到包含所述第二检索对象的第六图像。
结合本公开任一实施方式，所述方法还包括：
对所述第六图像进行亲密对象检测处理，得到所述第二检索对象的亲密对象；
使用所述第六图像检索所述数据库，得到包含所述第二检索对象的亲密对象的图像，作为所述结果图像。
结合本公开任一实施方式，所述待检索信息包括待检索图像。
第二方面，提供了一种图像检索装置，所述图像检索装置包括：
获取单元，用于获取待检索信息；
检索单元，用于使用所述待检索信息检索数据库，得到与所述待检索信息匹配的至少一张第一图像；所述至少一张第一图像包括至少一张第二图像；
所述检索单元，用于在接收到针对所述至少一张第二图像的检索指令的情况下，使用所述至少一张第二图像检索所述数据库，得到与所述至少一张第二图像匹配的至少一张图像，作为至少一张结果图像。
结合本公开任一实施方式，所述至少一张第二图像包括第三图像；
所述图像检索装置还包括：
检测单元，用于在所述使用所述至少一张第二图像检索所述数据库，得到与所述至少一张第二图像匹配的至少一张图像之前，对所述第三图像进行检索对象检测处理，得到所述第三图像中包含的至少一个第一检索对象；
所述检索单元，用于：
使用所述第三图像检索所述数据库，得到包含所述第一检索对象的至少一张第四图像。
结合本公开任一实施方式，所述图像检索装置还包括：
显示单元，用于在所述使用所述待检索信息检索数据库，得到与所述待检索信息匹配的至少一张第一图像之后，在所述在接收到针对所述至少一张第二图像的检索指令之前，显示所述至少一张第一图像。
结合本公开任一实施方式，所述显示单元还用于：
在显示页面中显示所述待检索信息和所述第三图像之间的第一关联关系，以及所述第三图像和所述第四图像之间的第二关联关系；所述第一关联关系包括：所述第三图像为所述待检索信息的子节点，所述第二关联关系包括：所述第四图像为所述第三图像的子节点。
结合本公开任一实施方式，所述显示单元还用于：
在所述显示页面中显示所述第四图像和所述第一图像之间的第三关联关系，所述第三关联关系包括所述第四图像以所述第一检索对象为检索依据检索得到。
结合本公开任一实施方式，所述图像检索装置还包括：
处理单元，用于在接收到删除所述第四图像的指令的情况下，从所述第三图像的子节点中将所述第四图像删除，并对所述第四图像进行删除特效处理，得到第五图像；
所述显示单元，还用于在所述显示页面中显示所述第三图像和所述第五图像之间的第四关联关系；所述第四关联关系包括：所述第五图像为所述第三图像的子节点。
结合本公开任一实施方式，所述显示单元还用于：
在接收到针对所述第五图像的恢复指令的情况下，从所述第三图像的子节点中将所述第五图像删除，并在所述显示页面中显示所述第四图像以及所述第二关联关系。
结合本公开任一实施方式，在所述至少一个第一检索对象包括第二检索对象和第三检索对象，且所述检索指令包括将所述第二检索对象作为检索依据的情况下，所述检索单元还用于：
使用所述第三图像检索数据库，得到包含所述第二检索对象的第六图像。
结合本公开任一实施方式，所述检索单元还用于，对所述第六图像进行亲密对象检测处理，得到所述第二检索对象的亲密对象；
所述检索单元，还用于使用所述第六图像检索所述数据库，得到包含所 述第二检索对象的亲密对象的图像，作为所述结果图像。
结合本公开任一实施方式，所述待检索信息包括待检索图像。
第三方面，提供了一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第四方面，提供了另一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
第六方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
为了更清楚地说明本公开实施例或背景技术中的技术方案，下面将对本公开实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本公开实施例提供的一种图像检索方法的流程示意图；
图2为本公开实施例提供的一种待检索信息和第一图像之间的关系的示意图；
图3为本公开实施例提供的一种图像检索装置的结构示意图；
图4为本公开实施例提供的一种图像检索装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等 是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本公开的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为提高社会治安管控能力，维护良好社会治安环境，越来越多的地方布置了监控摄像头，相关人员在需要找寻目标对象时，可使用目标对象的目标信息检索包含监控摄像头采集到的视频流和/或图像，得到包含目标对象的图像。
例如，目标对象为人，目标对象的目标信息可以是包含人的图像；目标对象的目标信息还可以是人的人物属性(如穿什么颜色的衣服)。又例如，目标对象为车辆，目标对象的目标信息可以是包含车辆的图像；目标对象的目标信息还可以是车辆的车辆属性(如穿什么颜色的车辆、什么品牌的车辆、什么型号的车辆)。再例如，目标对象为事件，目标对象的目标信息可以是参与事件的人数(如事件为打架斗殴，目标信息可以是参与打架斗殴的人数)。
由于目标对象的目标信息具有局限性，使用目标信息检索到的包含目标对象的图像的数量有限。在包含目标对象的图像的数量有限的情况下，相关人员从包含目标对象的图像中获知的与目标对象相关的信息也就较少。
基于此，本公开实施例提供了一种图像检索方法，可在使用目标对象的目标信息检索得到包含目标对象的图像的基础上，以包含目标对象的图像为检索依据，再次对监控摄像头采集到的视频流和/或图像进行检索，以得到更多关于目标对象的信息。
下面结合本公开实施例中的附图对本公开实施例进行描述。本公开实施例的执行主体为图像检索装置。可选的图像检索装置可以是以下中的一种：服务器、计算机。
请参阅图1，图1是本公开实施例提供的一种图像检索方法的流程示意图。
101、获取待检索信息。
本公开实施例中，待检索信息包括图像数据和非图像数据。图像数据包括图片和视频流。非图像数据包括除图像数据之外的数据，非图像数据包括以下至少一种：人物属性、车辆属性、物体属性、电话号码、证件号码、姓名、年龄。
在一种获取待检索信息的实现方式中，图像检索装置接收用户通过输入组件输入的待检索信息。上述输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。
在另一种获取待检索信息的实现方式中，图像处理装置接收第一终端发送的待检索信息。可选的，第一终端可以是以下任意一种：手机、计算机、平板电脑、服务器、可穿戴设备。
在又一种获取待检索信息的实现方式中，图像处理装置与监控摄像头之间具有通信连接，图像检索装置可通过该通信连接接收监控摄像头发送的至少一张图像作为待检索信息。可选的，该监控摄像头部署于公路或室内。
在又一种获取待检索信息的实现方式中，图像处理装置与监控摄像头之间具有通信连接，图像检索装置可通过该通信连接接收监控摄像头发送的视频流，将视频流中的至少一张图像作为待检索信息。可选的，该监控摄像头部署于公路或室内。
在又一种获取待检索信息的实现方式中，图像处理装置可以通过自身的图像采集组件获取至少一张图像，作为待检索信息，例如摄像头，直接采集得到待处理图像。
102、使用上述待检索信息检索数据库，得到与上述待检索信息匹配的至少一张第一图像；至少一张第一图像包括至少一张第二图像。
本公开实施例中，数据库包括图像数据和非图像数据。其中，非图像数据包括以下至少一种：人物属性、车辆属性、物体属性、电话号码、证件号码、姓名、年龄。
在待检索信息包括图像数据(下文将待检索信息中的图像数据称为待检索图像)的情况下，图像检索装置使用待检索图像检索数据库，得到与待检索图像匹配的至少一张图像，作为至少一张第一图像。
在一种可能实现的方式中，数据库中还包括图像数据的特征数据。图像检索装置通过对待检索图像进行特征提取处理，得到待检索图像的特征数据。通过将待检索图像的特征数据与数据库中的特征数据进行比对，得到与待检索图像的特征数据匹配的特征数据，作为第一中间特征数据。将第一中间特征数据所对应的图像作为第一图像。
在本公开的一些实施例中，图像数据与非图像数据之间存在索引。这样，在待检索信息包括非图像数据(下文将待检索信息中的非图像数据称为待检索数据)的情况下，图像检索装置使用检索图像检索数据库，得到与待检索数据匹配的非图像数据，作为第一中间非图像数据。图像检索装置进而依据 图像数据与非图像数据之间的索引，得到与第一中间非图像数据之间具有索引关系的图像，作为第一图像。
例如，数据库包含图像a，图像a包含人物b。此时，数据库中还包含人物b的人物属性。电子设备在建立数据库的过程中，可在人物b的人物属性与图像a之间建立索引。在图像检索装置使用待检索信息检索数据库，得到与待检索信息匹配的第一中间非图像数据的情况下，图像检索装置可依据图像数据与非图像数据之间的索引，从数据库中确定与第一中间非图像数据之间具有索引关系的图像数据，作为第一图像。
用户在确定至少一张第一图像中存在包含目标对象的图像的情况下，可向图像检索装置输入将该包含目标对象作为检索信息的检索指令，以使图像检索装置从数据库中检索得到与包含目标对象的图像匹配的图像，以获得更多与目标对象相关的信息。
本公开实施例中，至少一张第二图像为至少一张第一图像中包含目标对象的至少一张图像。
103、在接收到针对至少一张第二图像的检索指令的情况下，使用上述至少一张第二图像检索上述数据库，得到与上述至少一张第二图像匹配的至少一张图像，作为至少一张结果图像。
本公开实施例中，图像检索装置在接收到针对至少一张第二图像的检索指令的情况下，使用至少一张第二图像检索数据库，得到与至少一张第二图像匹配的至少一张图像，作为至少一张结果图像。
例如，图像检索装置显示的至少一张第二图像包括：图像a、图像b和图像c。警方在对至少一张第二图像进行研判后确定，图像a包含嫌疑犯A、图像b包含嫌疑犯B。警方可向图像检索装置输入检索指令，以使图像检索装置将图像a作为检索依据对数据库进行检索，得到与图像a匹配的图像(即包含嫌疑犯A的图像)，作为结果图像；警方也可向图像检索装置输入检索指令，以使图像检索装置将图像b作为检索依据对数据库进行检索，得到与图像b匹配的图像(即包含嫌疑犯B的图像)，作为结果图像；警方还可向图像检索装置输入检索指令，以使图像检索装置将图像a和图像b分别作为检索依据对数据库进行检索，得到与图像a匹配的图像(即包含嫌疑犯A的图像)和与图像b匹配的图像(即包含嫌疑犯B的图像)。将包含嫌疑犯A的图像和包含嫌疑犯B的图像作为结果图像。
本公开实施例中，图像检索装置首先使用待检索信息检索数据库得到至少一张第一图像，并将至少一张第一图像进行显示，以供用户确定至少一张第一图像中是否存在包含目标对象的图像。用户在确定至少一张第一图像中存在包含目标对象的图像的情况下，可向图像检索装置输入将该包含目标对象的图像作为检索信息进一步检索数据库，以获得更多关于目标对象的信息。图像检索装置在接收到针对包含目标对象的图像的检索指令的情况下，使用 包含目标对象的图像检索数据库，得到至少一张结果图像。
在本公开的一些实施例中，至少一张第二图像包括第三图像，图像检索装置在执行使用上述至少一张第二图像检索上述数据库，得到与上述至少一张第二图像匹配的至少一张图像的步骤之前，图像检索装置还执行以下步骤：
1、对上述第三图像进行检索对象检测处理，得到上述第三图像中包含的至少一个第一检索对象。
本公开实施例中，检索对象(包括上述第一检索对象和下文将要提到的第二检索对象)包括以下至少一个：人物、车辆、物体、事件。例如，第三图像包括人物，第一检索对象可以是第三图像中的人物；第三图像包括一辆公交车，第一检索对象可以是第三图像中的公交车；第三图像包括一把雨伞，第一检索对象可以是第三图像中的雨伞；第三图像包括打架斗殴事件，第一检索对象可以是打架斗殴事件。
本公开实施例中，通过对第三图像进行检索对象检测处理，可确定第三图像中是否包含检索对象。在第三图像中包含检索对象的情况下，将第三图像包含的检索对象作为第一检索对象。例如，图像检索装置通过对第三图像进行检索对象检测处理，确定第三图像包含一个人、两辆车以及追尾事件。此时，图像检索装置可将第三图像中的人作为第一检索对象，图像检索装置也可将第三图像中的任意一辆车作为第一检索对象，图像检索装置还可将第三图像中的追尾事件作为第一检索对象。
在一种可能实现的方式中，检索对象检测处理可通过卷积神经网络实现。通过将多张带有标注信息的图像作为训练数据，对卷积神经网络进行训练，使训练后的卷积神经网络可完成对图像的检索对象检测处理。训练数据中的图像的标注信息为检索对象。在使用训练数据对卷积神经网络进行训练的过程中，卷积神经网络从图像中提取出图像的特征数据，并依据特征数据确定图像中的检索对象。以标注信息为监督信息监督卷积神经网络在训练过程中得到的结果，并更新卷积神经网络的参数，完成对卷积神经网络的训练。这样，图像检索装置可使用训练后的卷积神经网络对第三图像进行处理，得到第一检索对象。
在另一种可能实现的方式中，检索对象检测处理可通过检索对象检测处理算法实现。可选的，上述检索对象检测处理可通过以下算法中的一种实现：只需一眼算法(you only look once，YOLO)、目标检测算法(deformable part model，DMP)、单张图像多目标检测算法(single shot multiBox detector，SSD)、Faster-RCNN算法等等，本公开对实现检索对象检测处理的检索对象检测算法不做限定。
在得到第一检索对象后，图像检索装置在执行使用上述至少一张第二图像检索上述数据库，得到与上述至少一张第二图像匹配的至少一张图像的过程中执行以下步骤：
2、使用上述第三图像检索上述数据库，得到包含上述第一检索对象的至少一张第四图像。
例如，第三图像包含一个人和一辆车。在第一检索对象为第三图像中的人(下文称为待检索人物)的情况下，图像检索装置使用第三图像检索数据库，得到包含待检索人物的图像，作为第四图像。在第一检索对象为第三图像中的车辆(下文称为待检索车辆)的情况下，图像检索装置使用第三图像检索数据库，得到包含待检索车辆的图像，作为第四图像。
应理解，在第三图像包含至少两个检索对象的情况下，图像检索装置可在使用第三图像检索数据的过程中，分别使用第三图像中的每个检索对象，得到至少一张第四图像。
例如，第三图像包含一个人和一辆车。在将第三图像中的人(下文称为待检索人物)作为第一检索对象的情况下，图像检索装置使用第三图像检索数据库，得到包含待检索人物的图像，作为第四图像。在将第三图像中的车辆(下文称为待检索车辆)作为第一检索对象的情况下，图像检索装置使用第三图像检索数据库，得到包含待检索人物的图像，作为第四图像。
在本公开的一些实施例中，图像检索装置在执行步骤102之后，在执行步骤103之前，还执行以下步骤：
3、显示上述至少一张第一图像。
图像检索装置在得到至少一张第一图像后，将至少一张第一图像进行显示，以供用户确认至少一张第一图像是否存在包含目标对象的图像。例如，A地发生抢劫案，案发现场的监控采集到了嫌疑犯的图像。A地的警方将该图像作为待检索信息输入至服务器，以使服务器对数据库进行检索，其中，数据库包含A地摄像头采集到的视频流和/或图像。服务器通过对数据库进行检索，得到图像a和图像b两张第一图像。服务器显示图像a和图像b，以供警方确认。警方在对图像a和图像b进行研判后，确定图像a中包含嫌疑犯，即图像a包含目标对象。
在本公开的一些实施例中，图像检索装置在显示至少一张第一图像的过程中，可将至少一张第一图像作为待检索信息的子节点进行显示。例如，如图2所示，待检索信息为图像，第一图像有两张。两张第一图像为待检索信息的子节点。
在本公开的一些实施例中，在得到第四图像后，图像检索装置还执行以下步骤：
4、在显示页面中显示所述待检索信息和所述第三图像之间的第一关联关系，以及所述第三图像和所述第四图像之间的第二关联关系。
本公开实施例中，第一关联关系包括第三图像为待检索信息的子节点，第二关联关系包括第四图像为第三图像的子节点。
在本步骤中，图像检索装置将检索得到的图像作为检索依据的子节点。其中，第三图像为图像检索装置使用待检索信息对数据库检索得到的图像，即待检索信息为检索依据，第三图像为检索得到的图像。第四图像为图像检索装置使用待检索信息对数据库检索得到的图像，即第三图像为检索依据，第四图像为检索得到的图像。
本公开实施例中，图像检索装置通过将检索得到的图像作为检索依据的子节点，可将检索记录以可视化的形式显示，这样，有利于用户更便捷的获取检索记录，以及在找寻目标对象时，以上述可视化的形式将找寻线索串联起来，有助于用户找寻目标对象。
在本公开的一些实施例中，图像检索装置还执行以下步骤：
5、在上述显示页面中显示上述第四图像和上述第一图像之间的第三关联关系。
本公开实施例中，第三关联关系包括第四图像以第一检索对象为检索依据检索得到。
图像检索装置在执行步骤4的基础上，还可在显示页面中显示第四图像以第一检索对象为检索依据检索得到。例如，在第一检索对象为人物的情况下，图像检索装置在使用第三图像检索数据库的过程中，可通过将第四图像与数据库中的图像进行人脸比对，得到人脸相似度集。将人脸相似度集中相似度超过人脸相似度阈值的图像作为第四图像。此时，图像检索装置可在显示页面中显示，第四图像通过将第三图像与数据库中的图像进行人脸比对得到。
又例如，在第一检索对象为车辆的情况下，图像检索装置在使用第三图像检索数据库的过程中，可通过将第四图像与数据库中的图像进行车辆比对，得到车辆相似度集。将车辆相似度集中相似度超过车辆相似度阈值的图像作为第四图像。此时，图像检索装置可在显示页面中显示，第四图像通过将第三图像与数据库中的图像进行车辆比对得到。
本公开实施例中，图像检索装置通过在显示页面中显示得到第四图像的检索依据，有利于用户对检索记录进行研判。
在本公开的一些实施例中，图像检索装置在执行前述步骤的前提下，还执行以下步骤：
6、在接收到删除上述第四图像的指令的情况下，从上述第三图像的子节点中将上述第四图像删除，并对上述第四图像进行删除特效处理，得到第五图像。
本公开实施例中，删除特效处理包括以下至少一种：将彩色图像转换为灰度图像；在图像周围添加虚线边框，使虚线边框包围住图像；在图像中添加删除信息(如叉、已删除)。
图像检索装置在接收到删除第四图像的指令的情况下，对第四图像进行删除特效处理，得到第五图像。
7、在上述显示页面中显示上述第三图像和上述第五图像之间的第四关联关系。
本公开实施例中，第四关联关系包括第五图像为第三图像的子节点。图像检索装置在接收到删除检索得到的图像的指令的情况下，从第三图像的子节点中将第四图像删除，并将第五图像作为第三图像的子节点。在一种可能实现的方式中，图像检索装置在显示页面中使用第五图像替换第四图像。
用户在查看检索记录以及检索得到的图像的过程中，可能会出现将某一张图像误删除的操作，和/或，可能出现认为某张图像不重要并将该图像删除的操作。这样，在后续重新整理检索记录以及分析检索得到的图像时，可能导致信息的丢失，进而导致找寻目标对象的线索中断。
因此，在本公开实施例中，图像检索装置在接收到删除检索得到的图像的指令的情况下，会在显示页面中保留删除特效处理后的图像。这样，用户在后续重新整理检索记录以及分析检索得到的图像时，仍能通过删除特效处理后的图像找回检索得到的图像。
在本公开的一些实施例中，图像检索装置在执行步骤7的基础上还执行以下步骤：
8、在接收到针对上述第五图像的恢复指令的情况下，从上述第三图像的子节点中将上述第五图像删除，并在上述显示页面中显示上述第四图像以及上述第二关联关系。
本公开实施例中，恢复指令用于指示图像检索装置将删除特效处理后的图像恢复至删除特效处理前。因此，图像检索装置在接收到针对第五图像的恢复指令的情况下，从第三图像的子节点中将第五图像删除，并将第四图像重新作为第三图像的子节点，即在显示页面中显示第二关联关系。
在一种可能实现的方式中，图像检索装置在接收到针对第五图像的恢复指令的情况下，使用第四图像替换掉第五图像。
在本公开实施例中，用户在确定检索记录中的图像被误删的情况下，可通过向图像检索装置输入针对删除特效处理后的图像的恢复指令，将删除特效处理后的图像恢复至删除特效处理前。
在本公开的一些实施例中，至少一个第一检索对象包括第二检索对象和第三检索对象，检索指令包括将第二检索对象作为检索依据。例如，第三图像包含张三和李四两个第一检索对象，警方在确认张三为嫌疑犯的情况下，可将携带将张三作为检索依据的指令作为检索指令输入图像检索装置。又例如，第三图像包含张三和车辆a两个第一检索对象，警方在确认车辆a为肇事车辆的情况下，可将携带将车辆a作为检索依据的指令作为检索指令输入图像检索装置。
在检索指令包括将第二图像中的对象作为第二检索对象的情况下，图像检索装置在执行步骤103的过程中执行以下步骤：
9、使用上述第三图像检索数据库，得到包含上述第二检索对象的第六图像。
在一种可能实现的方式中，图像检索装置对第二图像进行特征提取处理，得到第二检索对象的特征向量。图像检索装置对数据库中所有图像进行特征提取处理，得到每张图像中对象的特征向量(下文称为数据特征向量)。将第二检索对象的特征向量分别与每个数据特征向量进行比对，得到相似度集。将相似度集中超过第一阈值的相似度对应的图像，作为第六图像。
例如，假设第二检索对象为第二图像中的张三。图像检索装置通过对第二图像进行特征提取处理，得到张三的特征向量，其中，张三的特征向量携带张三的身份信息。图像检索装置分别对数据库中每张图像进行特征提取处理，得到每张图像中的人物的特征向量。图像检索装置通过将张三的特征向量与每张图像中人物的特征向量进行比对，确定人物A的特征向量与张三的特征向量之间的相似度超过第一阈值。由于人物A属于图像b，图像检索装置确定图像b为第六图像。
在本公开实施例中，用户可通过从第二图像中确定第二检索对象，以使图像检索装置对第二检索对象进行针对性的检索得到第六图像，作为结果图像。
在本公开的一些实施例中，图像检索装置还执行以下步骤：
10、对上述第六图像进行亲密对象检测处理，得到上述第二检索对象的亲密对象。
本公开实施例中，亲密对象指与检索对象存在关联的对象。例如，在第二检索对象为人物的情况下，亲密对象可以是第二检索对象的同行人；亲密对象也可以是与第二检索对象产生肢体接触的人物；亲密对象还可以是与第二检索对象之间存在眼神交流的人物；亲密对象还可以是第二检索对象乘坐的车辆；亲密对象还可以是第二检索对象所使用的物体(如雨伞、背包、行李箱)。
又例如，在第二检索对象为车辆的情况下，亲密对象可以是乘坐该车辆的人物；亲密对象也可以是与该车辆产生肢体接触的人物。
再例如，在第二检索对象为事件的情况下，亲密对象可以是参与该事件的人物；亲密对象也可以是围观该事件的人物。
图像检索装置通过第六图像进行亲密对象检测处理，可从第六图像中确定，第二检索对象的亲密对象。在一种可能实现的方式中，对第六图像进行亲密对象检测处理可通过卷积神经网络实现。通过将带有标注信息的图像作为训练数据，对卷积神经网络进行训练，使训练后的卷积神经网络可完成对图像的物体检测处理。训练数据中的图像的标注信息为检索对象和检索对象 的亲密对象。
例如，训练数据包含图像a，图像a包含人物A、车辆B、人物C。在标注信息中，检索对象可以是人物A，车辆B为人物A的亲密对象；检索对象也可以是车辆B，人物A为车辆B的亲密对象；检索对象还可以是人物A，人物C为人物A的亲密对象。
11、使用上述第六图像检索上述数据库，得到包含上述检索对象的亲密对象的图像，作为上述结果图像。
在本步骤中，图像检索装置在使用第六图像检索数据库的过程中，以第二检索对象的亲密对象为检索依据，从数据库中选取出包含第二检索对象的亲密对象的图像，并将该部分图像作为结果图像。这样，可通过检索获得更多与第二检索对象相关的信息，即获得更多与目标对象相关的信息。
例如，在第二检索对象为张三、张三的亲密对象为车辆a的情况下，图像检索装置不仅可从数据库中选取出包含张三的图像，还可从数据库中选取出包含车辆a的图像。这样，用户不仅可依据包含张三的图像获得张三的信息(如行踪)，还可依据包含车辆a的图像获得张三的信息(如行踪)。
又例如，在第二检索对象为张三、张三的亲密对象为李四(李四为张三的同行人)的情况下，图像检索装置不仅可从数据库中选取出包含张三的图像，还可从数据库中选取出包含李四的图像。这样，用户不仅可依据包含张三的图像获得张三的信息(如行踪)，还可依据包含李四的图像获得张三的信息(如行踪)。
在本公开的一些实施例中，在待检索信息包含待检索手机号码的情况下，图像检索装置可使用待检索手机号码对数据库进行检索，得到待检索手机号码的亲密号码。图像检索装置使用该亲密号码对数据库进行检索，得到与该亲密号码匹配的图像，作为结果图像。
例如，图像检索装置通过使用待检索手机号码对数据库进行检索，得到与待检索手机号码联系频率超过频率阈值的手机号码，作为待检索手机号码的亲密号码。图像检索装置使用亲密号码检索数据库，得到亲密号码绑定的身份证信息，并将身份证信息中的人脸图像作为结果图像。图像检索装置或使用亲密号码检索数据库，得到亲密号码绑定的身份证信息，并将身份证信息中的人脸图像作为检索依据对数据库进行检索，得到包含该人脸图像中的人物的图像，作为结果图像。
在本公开的一些实施例中，在待检索信息包含待检索银行账号的情况下，图像检索装置可使用待检索银行账号对数据库进行检索，得到待检索银行账号的亲密号码。图像检索装置使用该亲密号码对数据库进行检索，得到与该亲密号码匹配的图像，作为结果图像。
例如，图像检索装置通过使用待检索银行账号对数据库进行检索，得到与待检索银行账号转账次数超过次数阈值的银行账号，作为待检索银行账号 的亲密账号。图像检索装置使用亲密账号检索数据库，得到亲密账号绑定的身份证信息，并将身份证信息中的人脸图像作为结果图像。图像检索装置或使用亲密账号检索数据库，得到亲密账号绑定的身份证信息，并将身份证信息中的人脸图像作为检索依据对数据库进行检索，得到包含该人脸图像中的人物的图像，作为结果图像。
为提高社会治安管控能力，维护良好社会治安环境，越来越多的地方布置了监控摄像头，相关人员在需要找寻目标人物时，可根据该目标人物的人体图像，人脸图像，以及穿着、装饰等特征从布置在不同位置的摄像头采集的视频流中确定该目标人物的行踪。基于本公开实施例提供的技术方案，本公开实施例还提供了几种可能的应用场景。
场景1：A地发生抢劫案，依据案发当时的目击证人提供的信息可知，嫌疑人的人物属性为：身穿白色上衣、黑色裤子，且戴眼镜的短发女人。A地的监控摄像头与监管中心的服务器之间具有通信连接。服务器通过该通信连接可从A地的监控摄像头获取视频流和/或图像，进而可基于获取到的视频流和/或图像，构建数据库。A地的警方在抓捕嫌疑人时，可将嫌疑人的人物属性作为待检索信息输入至服务器，以使服务器通过对数据库进行检索，从数据库中选取出与嫌疑人有关的图像(如，包含嫌疑人的图像、包含嫌疑人的同行人的图像、包含嫌疑人乘坐的车辆的图像)。在服务器从数据库中选取出与嫌疑人有关的图像，并将该部分图像进行显示。警方进而可依据该部分图像获知嫌疑人的行踪等信息。
场景2：B地发生肇事逃逸案件，肇事现场的监控采集到了肇事车辆的图像。B地的监控摄像头与监管中心的服务器之间具有通信连接。服务器通过该通信连接可从B地的监控摄像头获取视频流和/或图像，进而可基于获取到的视频流和/或图像，构建数据库。B地的警方在追寻肇事车辆时，可将肇事车辆的图像作为待检索信息输入至服务器，以使服务器通过对数据库进行检索，从数据库中选取出与肇事车辆有关的图像(如，包含肇事车辆的图像、包含乘坐肇事车辆的人物的图像)。在服务器从数据库中选取出与肇事车辆有关的图像，并该部分图像进行展示后。警方可依据该部分图像获知肇事车辆的行踪等信息。
场景3：C地发生诈骗案，依据运营商提供的信息可知诈骗犯在实施诈骗时所使用的手机号码(下文称为诈骗手机号码)。C地监管中心的服务器中的数据库包含运营商所开通的所有电话号码，以及与电话号码相关的数据。此外，C地的监控摄像头与监管中心的服务器之间具有通信连接，数据库还包括C地监控摄像头采集到的视频流和/或图像。
C地的警方在抓捕诈骗犯时，可将诈骗手机号码作为待检索信息输入至服务器，以使服务器从数据库检索得到与诈骗号码相关的数据。如，图像检索装置先使用诈骗手机号码检索数据库，得到与该诈骗手机号码绑定的身份证信息，其中，该身份证信息中的人脸图像包含待确认对象。再将身份证信 息中的人脸图像作为检索依据，对数据库进行检索，得到包含待确认对象的图像，作为与诈骗号码相关的数据。又如，图像检索装置首先确定与诈骗手机号码联络频率超过频率阈值的手机号码，作为诈骗手机号码的亲密号码。使用该亲密号码检索数据库，得到与该亲密号码绑定的身份证信息，其中，该身份证信息中的人脸图像包含待确认亲密对象。图像检索装置再将该身份证信息中的人脸图像作为检索依据，对数据库进行检索，得到包含待确认亲密对象的图像，作为与诈骗号码相关的数据。
警方依据服务器展示的与诈骗号码相关的数据，可获知诈骗犯的相关信息，进而依据该信息对诈骗犯实施抓捕。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本公开实施例的方法，下面提供了本公开实施例的装置。
请参阅图3，图3为本公开实施例提供的一种图像检索的结构示意图，该图像检索装置1包括：获取部分11、检索部分12、检测部分13、显示部分14、处理部分15
获取部分11，配置为获取待检索信息；
检索部分12，配置为使用所述待检索信息检索数据库，得到与所述待检索信息匹配的至少一张第一图像；所述至少一张第一图像包括至少一张第二图像；
所述检索部分12，配置为在接收到针对所述至少一张第二图像的检索指令的情况下，使用所述至少一张第二图像检索所述数据库，得到与所述至少一张第二图像匹配的至少一张图像，作为至少一张结果图像。
在本公开的一些实施例中，所述至少一张第二图像包括第三图像；
所述图像检索装置1还包括：
检测部分13，配置为在所述使用所述至少一张第二图像检索所述数据库，得到与所述至少一张第二图像匹配的至少一张图像之前，对所述第三图像进行检索对象检测处理，得到所述第三图像中包含的至少一个第一检索对象；
所述检索部分12，配置为：
使用所述第三图像检索所述数据库，得到包含所述第一检索对象的至少一张第四图像。
在本公开的一些实施例中，所述图像检索装置1还包括：
显示部分14，配置为在所述使用所述待检索信息检索数据库，得到与所述待检索信息匹配的至少一张第一图像之后，在所述在接收到针对所述至少一张第二图像的检索指令之前，显示所述至少一张第一图像。
在本公开的一些实施例中，所述显示部分14还配置为：
在显示页面中显示所述待检索信息和所述第三图像之间的第一关联关系，以及所述第三图像和所述第四图像之间的第二关联关系；所述第一关联关系包括：所述第三图像为所述待检索信息的子节点，所述第二关联关系包括：所述第四图像为所述第三图像的子节点。
在本公开的一些实施例中，所述显示部分14还配置为：
在所述显示页面中显示所述第四图像和所述第一图像之间的第三关联关系，所述第三关联关系包括所述第四图像以所述第一检索对象为检索依据检索得到。
在本公开的一些实施例中，所述图像检索装置1还包括：
处理部分15，配置为在接收到删除所述第四图像的指令的情况下，从所述第三图像的子节点中将所述第四图像删除，并对所述第四图像进行删除特效处理，得到第五图像；
所述显示部分14，还配置为在所述显示页面中显示所述第三图像和所述第五图像之间的第四关联关系；所述第四关联关系包括：所述第五图像为所述第三图像的子节点。
在本公开的一些实施例中，所述显示部分14还配置为：
在接收到针对所述第五图像的恢复指令的情况下，从所述第三图像的子节点中将所述第五图像删除，并在所述显示页面中显示所述第四图像以及所述第二关联关系。
在本公开的一些实施例中，在所述至少一个第一检索对象包括第二检索对象和第三检索对象，且所述检索指令包括将所述第二检索对象作为检索依据的情况下，所述检索部分12还配置为：
使用所述第三图像检索数据库，得到包含所述第二检索对象的第六图像。
在本公开的一些实施例中，所述检索部分12还配置为，对所述第六图像进行亲密对象检测处理，得到所述第二检索对象的亲密对象；
所述检索部分12，还用于使用所述第六图像检索所述数据库，得到包含所述第二检索对象的亲密对象的图像，作为所述结果图像。
在本公开的一些实施例中，所述待检索信息包括待检索图像。
本公开实施例中，图像检索装置首先使用待检索信息检索数据库得到至少一张第一图像，并将至少一张第一图像进行显示，以供用户确定至少一张第一图像中是否存在包含目标对象的图像。用户在确定至少一张第一图像中存在包含目标对象的图像的情况下，可向图像检索装置输入将该包含目标对象的图像作为检索信息进一步检索数据库，以获得更多关于目标对象的信息。图像检索装置在接收到针对包含目标对象的图像的检索指令的情况下，使用包含目标对象的图像检索数据库，得到至少一张结果图像。
在本公开实施例以及其他的实施例中，“部分”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是单元，还可以是模块也可以是非模块化的。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
图4为本公开实施例提供的一种图像检索装置的硬件结构示意图。该图像检索装置2包括处理器21，存储器22，输入装置23，输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本公开实施例对此不作限定。应当理解，本公开的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。
处理器21可以是一个或多个图形处理器(graphics processing unit，GPU)，在处理器21是一个GPU的情况下，该GPU可以是单核GPU，也可以是多核GPU。可选的，处理器21可以是多个GPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本公开实施例不作限定。
存储器22可用于存储计算机程序指令，以及用于执行本公开方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。
输入装置23用于输入数据和/或信号，以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件，也可以是一个整体的器件。
可理解，本公开实施例中，存储器22不仅可用于存储相关指令，还可用于存储相关数据，如该存储器22可用于存储通过输入装置23获取的待检索信息，又或者该存储器22还可用于存储通过处理器21搜索得到的至少一张结果图像等等，本公开实施例对于该存储器中所存储的数据不作限定。
可以理解的是，图4仅仅示出了一种图像检索装置的简化设计。在实际应用中，图像检索装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本公开实施例的图像检索装置都在本公开的保护范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结 合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本公开各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatile disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存储存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。
工业实用性
本公开实施例中，由于使用待检索信息检索数据库，得到与待检索信息匹配的至少一张第一图像后，能够对至少一张第一图像中包含目标对象的至少一张第二图像进行检索，得到与第二图像匹配的至少一张结果图像，从而能够获取关于目标对象的更多信息。

Claims (14)

  1. 一种图像检索方法，所述方法包括：
    获取待检索信息；
    使用所述待检索信息检索数据库，得到与所述待检索信息匹配的至少一张第一图像；所述至少一张第一图像包括至少一张第二图像；
    在接收到针对所述至少一张第二图像的检索指令的情况下，使用所述至少一张第二图像检索所述数据库，得到与所述至少一张第二图像匹配的至少一张图像，作为至少一张结果图像。
  2. 根据权利要求1所述的方法，其中，所述至少一张第二图像包括第三图像；
    在所述使用所述至少一张第二图像检索所述数据库，得到与所述至少一张第二图像匹配的至少一张图像之前，所述方法还包括；
    对所述第三图像进行检索对象检测处理，得到所述第三图像中包含的至少一个第一检索对象；
    所述使用所述至少一张第二图像检索所述数据库，得到与所述至少一张第二图像匹配的至少一张图像，包括：
    使用所述第三图像检索所述数据库，得到包含所述第一检索对象的至少一张第四图像。
  3. 根据权利要求2所述的方法，其中，所述使用所述待检索信息检索数据库，得到与所述待检索信息匹配的至少一张第一图像之后，所述在接收到针对所述至少一张第二图像的检索指令之前，所述方法还包括：
    显示所述至少一张第一图像。
  4. 根据权利要求3所述的方法，其中，所述方法还包括：
    在显示页面中显示所述待检索信息和所述第三图像之间的第一关联关系，以及所述第三图像和所述第四图像之间的第二关联关系；所述第一关联关系 包括：所述第三图像为所述待检索信息的子节点，所述第二关联关系包括：所述第四图像为所述第三图像的子节点。
  5. 根据权利要求4所述的方法，其中，所述方法还包括：
    在所述显示页面中显示所述第四图像和所述第一图像之间的第三关联关系，所述第三关联关系包括所述第四图像以所述第一检索对象为检索依据检索得到。
  6. 根据权利要求4或5所述的方法，其中，所述方法还包括：
    在接收到删除所述第四图像的指令的情况下，从所述第三图像的子节点中将所述第四图像删除，并对所述第四图像进行删除特效处理，得到第五图像；
    在所述显示页面中显示所述第三图像和所述第五图像之间的第四关联关系；所述第四关联关系包括：所述第五图像为所述第三图像的子节点。
  7. 根据权利要求6所述的方法，其中，所述方法还包括：
    在接收到针对所述第五图像的恢复指令的情况下，从所述第三图像的子节点中将所述第五图像删除，并在所述显示页面中显示所述第四图像以及所述第二关联关系。
  8. 根据权利要求2至7中任意一项所述的方法，其中，
    在所述至少一个第一检索对象包括第二检索对象和第三检索对象，且所述检索指令包括将所述第二检索对象作为检索依据的情况下，所述使用所述第三图像检索所述数据库，得到包含所述第一检索对象的至少一张第四图像，包括：
    使用所述第三图像检索数据库，得到包含所述第二检索对象的第六图像。
  9. 根据权利要求8所述的方法，其中，所述方法还包括：
    对所述第六图像进行亲密对象检测处理，得到所述第二检索对象的亲密对象；
    使用所述第六图像检索所述数据库，得到包含所述第二检索对象的亲密 对象的图像，作为所述结果图像。
  10. 根据权利要求1至9中任意一项所述的方法，其特征在于，所述待检索信息包括待检索图像。
  11. 一种图像检索装置，所述图像检索装置包括：
    获取部分，配置为获取待检索信息；
    检索部分，配置为使用所述待检索信息检索数据库，得到与所述待检索信息匹配的至少一张第一图像；所述至少一张第一图像包括至少一张第二图像；
    所述检索部分，配置为在接收到针对所述至少一张第二图像的检索指令的情况下，使用所述至少一张第二图像检索所述数据库，得到与所述至少一张第二图像匹配的至少一张图像，作为至少一张结果图像。
  12. 一种电子设备，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如权利要求1至10中任一项所述的方法。
  13. 一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行权利要求1至10中任意一项所述的方法。
  14. 一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行权利要求1至10中任意一项所述的方法。
PCT/CN2020/130940 2020-09-29 2020-11-23 图像检索方法及装置、电子设备及存储介质 WO2022068024A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011050459.4A CN112632300A (zh) 2020-09-29 2020-09-29 图像检索方法及装置、电子设备及存储介质
CN202011050459.4 2020-09-29

Publications (1)

Publication Number Publication Date
WO2022068024A1 true WO2022068024A1 (zh) 2022-04-07

Family

ID=75302735

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/130940 WO2022068024A1 (zh) 2020-09-29 2020-11-23 图像检索方法及装置、电子设备及存储介质

Country Status (3)

Country Link
CN (1) CN112632300A (zh)
TW (1) TW202213123A (zh)
WO (1) WO2022068024A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477568A (zh) * 2009-02-12 2009-07-08 清华大学 一种结构化数据和非结构化数据综合检索的方法
CN106033443A (zh) * 2015-03-16 2016-10-19 北京大学 一种车辆检索中的扩展查询方法及装置
US20190005327A1 (en) * 2017-06-30 2019-01-03 International Business Machines Corporation Object storage and retrieval based upon context

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108228696B (zh) * 2017-08-31 2021-03-23 深圳市商汤科技有限公司 人脸图像检索方法和系统、拍摄装置、计算机存储介质
CN110134810A (zh) * 2019-05-14 2019-08-16 深圳市商汤科技有限公司 检索图像的方法及装置
CN110442742A (zh) * 2019-07-31 2019-11-12 深圳市商汤科技有限公司 检索图像的方法及装置、处理器、电子设备及存储介质
CN111209331B (zh) * 2020-01-06 2023-06-16 北京旷视科技有限公司 目标对象的检索方法、装置及电子设备
CN111563174A (zh) * 2020-05-13 2020-08-21 深圳市商汤科技有限公司 图像处理方法、图像处理装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477568A (zh) * 2009-02-12 2009-07-08 清华大学 一种结构化数据和非结构化数据综合检索的方法
CN106033443A (zh) * 2015-03-16 2016-10-19 北京大学 一种车辆检索中的扩展查询方法及装置
US20190005327A1 (en) * 2017-06-30 2019-01-03 International Business Machines Corporation Object storage and retrieval based upon context

Also Published As

Publication number Publication date
TW202213123A (zh) 2022-04-01
CN112632300A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
WO2021093375A1 (zh) 检测同行人的方法及装置、系统、电子设备和存储介质
CN110263613A (zh) 监控视频处理方法及装置
CN110442742A (zh) 检索图像的方法及装置、处理器、电子设备及存储介质
CN105745601A (zh) 眼睛跟踪
CN108897996B (zh) 标识信息关联方法及装置、电子设备及存储介质
WO2022062396A1 (zh) 图像处理方法及装置、电子设备及存储介质
WO2021180004A1 (zh) 视频分析方法、视频分析的管理方法及相关设备
WO2023024787A1 (zh) 图像处理方法及装置、电子设备、计算机可读存储介质及计算机程序产品
WO2022198823A1 (zh) 数据处理方法、装置、电子设备、计算机可读存储介质及程序
WO2021247443A1 (en) Identifying objects within images from different sources
CN110688952B (zh) 视频解析方法及装置
CN112419639A (zh) 一种视频信息的获取方法及装置
WO2018068664A1 (zh) 网络信息识别方法和装置
CN114924950A (zh) 测试方法、电子设备和计算机可读介质
WO2022068024A1 (zh) 图像检索方法及装置、电子设备及存储介质
CN113518075A (zh) 网络诈骗预警方法、装置、电子设备、及存储介质
CN112419637B (zh) 安防图像数据的处理方法及装置
WO2023005662A1 (zh) 图像处理方法及装置、电子设备、程序产品及计算机可读存储介质
CN109670105B (zh) 搜索方法及移动终端
WO2023024473A1 (zh) 活体检测方法及装置、电子设备、计算机可读存储介质和计算机程序产品
CN112992152B (zh) 一种单兵声纹识别系统、方法、存储介质及电子设备
WO2023273151A1 (zh) 巡更监测方法及装置、电子设备及计算机可读存储介质
CN113283410B (zh) 基于数据关联分析的人脸增强识别方法、装置和设备
WO2022021711A1 (zh) 布控方法及装置、电子设备及存储介质
CN114780612A (zh) 一种基于主题事件的时间关联挖掘目标人员的系统及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20956043

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 030723)

122 Ep: pct application non-entry in european phase

Ref document number: 20956043

Country of ref document: EP

Kind code of ref document: A1