WO2023009059A1 - 图像的标注方法、分类方法和机器学习模型的训练方法 - Google Patents

图像的标注方法、分类方法和机器学习模型的训练方法 Download PDF

Info

Publication number
WO2023009059A1
WO2023009059A1 PCT/SG2022/050331 SG2022050331W WO2023009059A1 WO 2023009059 A1 WO2023009059 A1 WO 2023009059A1 SG 2022050331 W SG2022050331 W SG 2022050331W WO 2023009059 A1 WO2023009059 A1 WO 2023009059A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
category
labeling
learning model
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/SG2022/050331
Other languages
English (en)
French (fr)
Inventor
孙敬娜
陈培滨
曾伟宏
王旭
桑燊
刘晶
黎振邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lemon Inc Cayman Island
Original Assignee
Lemon Inc Cayman Island
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lemon Inc Cayman Island filed Critical Lemon Inc Cayman Island
Publication of WO2023009059A1 publication Critical patent/WO2023009059A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Definitions

  • Image labeling method, classification method and machine learning model training method Cross-references to related applications This application is based on the application with CN application number 202110862466.2 and the application date is July 29, 2021, and claims its priority.
  • the disclosure content of the CN application is hereby incorporated into the present application as a whole.
  • Technical Field The present disclosure relates to the field of computer technology, and in particular to an image labeling method, an image classification method, a machine learning model training method, an image labeling device, an image classification device, a machine learning model training device, electronic equipment and Non-volatile computer readable storage medium.
  • an image tagging method including: generating an image tag vector for each image to be tagged according to multiple attributes used for image tagging and multiple tags corresponding to each attribute; According to the vector similarity between each image label vector and the category label vector of each image category, mark the image category to which each image to be labeled belongs, and the category label vector is generated according to multiple labels corresponding to each attribute.
  • a training method of a machine learning model is provided, including: using the image tagging method described in any embodiment, tagging the images in the training image set; using the tagged training A collection of images to train a machine learning model for image classification.
  • an image classification method including: using machine learning The model processes the image to be classified, and determines the image category to which the image to be classified belongs, and the machine learning model is trained using the training method of the machine learning model described in any embodiment.
  • an image tagging device including: a generating unit, configured to generate each tag to be tagged according to a variety of attributes used for image tagging and multiple tags corresponding to each attribute The image label vector of the image; the labeling unit is used to mark the image category to which each image to be labeled belongs according to the vector similarity between each image label vector and the category label vector of each image category, and the category label vector is based on each attribute Corresponding multiple labels are generated.
  • a machine learning model training device including: a labeling unit, configured to label images in the training image set by using the image labeling method described in any one embodiment;
  • the training unit is configured to use the labeled training image set to train a machine learning model for image classification.
  • an image classification device including: a processor, configured to use a machine learning model to process an image to be classified, and determine an image category to which the image to be classified belongs, and the machine learning model uses any The training method of the machine learning model described in one embodiment is used for training.
  • an electronic device including: a memory; and a processor coupled to the memory, the processor is configured to execute the instructions described in the present disclosure based on instructions stored in the memory.
  • a non-volatile computer-readable storage medium on which a computer program is stored, and when the program is executed by a processor, the image annotation of any embodiment described in the present disclosure is performed. methods, methods for training machine learning models, or methods for classifying images.
  • a computer program including: instructions, which, when executed by a processor, cause the processor to execute the image labeling method and machine learning model in any one of the above embodiments training method or image classification method.
  • a computer program product is provided, including instructions, which, when executed by a processor, cause the processor to perform the image labeling method and machine learning according to any of the above-mentioned embodiments.
  • the training method of the model or the classification method of the image will become clear through the following detailed description of exemplary embodiments of the present disclosure with reference to the accompanying drawings. Description of drawings Preferred embodiments of the present disclosure are described below with reference to the accompanying drawings.
  • FIG. 1 shows a flow chart of some embodiments of the image labeling method of the present disclosure
  • FIG. 2 shows a flow chart of other embodiments of the image labeling method of the present disclosure
  • FIG. 3 shows the present disclosure
  • FIG. 4 shows a block diagram of some embodiments of an image labeling device of the present disclosure
  • FIG. 5 shows some embodiments of a training device of a machine learning model of the present disclosure
  • Figure 6 shows a block diagram of some embodiments of the image classification apparatus of the present disclosure
  • Figure 7 shows a block diagram of some embodiments of the electronic device of the present disclosure
  • Figure 8 shows other implementations of the electronic device of the present disclosure Example block diagram.
  • method embodiments may include additional steps and/or omit performing illustrated steps.
  • the scope of the present disclosure is not limited in this respect. Unless specifically stated otherwise, the relative arrangement of components and steps, numerical expressions and numerical values set forth in these embodiments should be interpreted as merely exemplary and not limiting the scope of the present disclosure.
  • the term "comprising” and its variants used in the present disclosure mean an open term including at least the following elements/features but not excluding other elements/features, ie "including but not limited to”.
  • the term “comprising” used in this disclosure And its variants mean at least including the following elements/features, but not excluding other elements/features, that is, “including but not limited to”. Thus, including is synonymous with comprising.
  • the present disclosure can be obtained from a storage device, such as an internal memory or an external storage device.
  • a camera assembly can be mobilized to take pictures.
  • the acquired image may be a captured image, or a frame of an image in a captured video, and is not particularly limited thereto.
  • an image may refer to any one of various images, such as a color image, a grayscale image, and the like. It should be noted that in the context of this description, the type of image is not specifically limited.
  • the image may be any appropriate image, such as an original image obtained by a camera, or an image that has undergone specific processing on the original image, such as preliminary filtering, anti-aliasing, color adjustment, contrast adjustment, normalization, and so on.
  • the preprocessing operation may also include other types of preprocessing operations known in the art, which will not be described in detail here.
  • labelers cannot remember the huge categories and label them accurately. For example, 45 categories of hairstyles are marked, because there may only be differences in hair length or curls between categories, making it difficult to label hairstyle tasks. Therefore, labeling tasks involving small differences and huge categories is a very difficult task.
  • the technical solution of the present disclosure uses the underlying attributes of related categories to calculate the similarity between the picture and each target category according to the underlying attributes; each picture can be matched with the most similar category; finally, according to the similarity between the labeled sample and the current category, it is judged whether it belongs to the target category.
  • the technical solution of the present disclosure it is possible to quickly process the labeling task with a large number of categories and ambiguity between categories similar to the hairstyle 45 classification problem, and improves the labeling quality and labeling efficiency.
  • the technical solutions of the present disclosure can be realized through the following embodiments. Fig.
  • an image label vector for each image to be labeled is generated according to various attributes used for image labeling and multiple labels corresponding to each attribute.
  • various attributes for image annotation are independent of each other. Multiple tags corresponding to each attribute can cover all attribute categories corresponding to the attribute. The attributes are independent of each other, which can avoid labeling difficulties caused by blurred boundaries between types, thereby improving the accuracy of labeling.
  • multiple attributes for image labeling are determined according to feature information of the object to be labeled, and the image category is the category of the object to be labeled in each image to be labelled.
  • the feature information is at least one item of physical features or facial features of the object to be labeled.
  • Physical features may include body shape features, human body structural features, etc.; facial features may include human tissue features such as hair, skin, facial features, and face shape.
  • the computer uses a preset model to determine attributes and labels corresponding to the classification task according to the requirements of the classification task.
  • multiple underlying attributes are extracted for the feature information to be labeled of the object in the image. These underlying attributes of feature information may cover various attributes related to this feature information.
  • the object in the image is a person, and the feature information may be various attributes related to the person such as hair, beard, and hat.
  • the object in the image is a person
  • the feature information is a hairstyle
  • the underlying attributes can include hair length, hair curl, whether there are bangs, bangs orientation, the number of braids, etc.
  • each underlying attribute of feature information can fully describe the specific state of the feature information.
  • underlying attributes such as hair length, hair curl, whether there are bangs, bang orientation, and the number of braids can describe a specific hairstyle.
  • the label of an attribute may indicate various states corresponding to the attribute. For example, tags corresponding to hair length include long, short, and medium; hair curls may include large, small, and medium.
  • the expressions corresponding to the bangs orientation may include left, right, front, and none.
  • the label "None" can ensure that the orientation of bangs is independent of whether there are bangs or not.
  • the method for determining attributes and labels in the above embodiment has multiple advantages: For the case where the number of labeling categories involved in the labeling task is relatively large, the combination of these limited number of underlying attributes can be used to represent different labeling categories, thereby improving labeling efficiency; In view of the fact that there are many small differences between label categories, which make it difficult to distinguish, the discrimination degree of independent underlying attributes is single (for example, the difference between different labels of hair length is only the length of the hair, and the curl of the head degree, etc.), thereby reducing the labeling burden and improving labeling efficiency.
  • the label corresponding to each image to be labeled is determined according to the feature information of each image to be labeled, so as to generate an image label vector corresponding to each image to be labeled.
  • the computer can determine the labels through image processing algorithms or neural networks. For example, using the labels of the two attributes of hair length and hair curl, an image label vector of the image to be labeled is generated. According to the feature information of the person in the image, it can be determined that the hair length of the person in the image is long and the hair curl is large; an image label vector can be generated according to the two labels of length and large.
  • the tags of these bottom attributes can be sorted according to the tag similarity between the tags.
  • the tags of hair length can be sorted in order from long to short: long corresponds to serial number 1, Medium corresponds to serial number 2, and short corresponds to serial number 3.
  • the tags of hair curl can be sorted in descending order: large corresponds to serial number 1, medium corresponds to serial number 2, and small corresponds to serial number 3.
  • an image label vector of the image to be labeled is generated.
  • the feature information of the person in the image it can be determined that the hair length of the person in the image is long and the hair curl is large; an image label vector can be generated according to the two labels of length and large. In this case, it can be determined that the image label vector of the image is (1, 1).
  • the tag similarity between tags may be determined according to classification requirements, and the tags may be sorted. For example, for the attribute of bangs orientation, according to the classification requirements, it is determined that the similarity between left and right is greater than that between left and front, and the tags of bangs orientation are sorted: left corresponds to serial number 1, right corresponds to serial number 2, and front corresponds to serial number 3.
  • step 120 according to the vector similarity between each image label vector and the category label vector of each image category, mark the image category to which each image to be labeled belongs, and the category label vector is based on the multiple attributes corresponding to each attribute Label generation.
  • each sample image after labeling each sample image with bottom-level attributes, each sample image has an image label vector composed of labels with multiple bottom-level attributes; the category that needs to be finally determined for the labeling task is also labeled with bottom-level attributes, so that each A category label vector consisting of labels for each category that also has multiple underlying attributes.
  • use these category label vectors to generate a matching library; calculate the vector distance (such as Euclidean distance, etc.) between each sample image and each category label vector in the matching library as the vector similarity.
  • the category label vector is generated according to the sequence number corresponding to each label. For example, using the labels of the two attributes of hair length and hair curl, a category label vector is generated.
  • the hair length corresponding to category A is long and the hair curl is medium, and the category label vector of category A can be generated according to the two labels of long and medium; the hair length corresponding to category B is short and the hair is curly The degree is small, and the category label vector of category B can be generated according to the short and small labels.
  • the category label vector a of category A is (1, 2)
  • the category label vector b of category B is (3, 3)
  • the image label vector of the image to be labeled is (1, 1)
  • the computer can determine by calculation that the distance between it and the category label vector a is relatively small, thereby determining that the image to be labeled belongs to category A.
  • a computer can be used to perform edge detection, region segmentation, etc.
  • FIG. 2 shows a flowchart of other embodiments of the image labeling method of the present disclosure. As shown in Fig.
  • image labeling can be performed through the following steps.
  • step 210 multiple underlying attributes are extracted for the feature information to be marked of the object in the image.
  • These underlying attributes of feature information may cover various attributes related to this feature information.
  • the object in the image is a person
  • the feature information is a hairstyle
  • the underlying attributes can include hair length, hair curl, whether there are bangs, bangs orientation, the number of braids, etc.
  • step 220 after the bottom attributes of this labeling task are determined, the tags of these bottom attributes can be sorted according to the tag similarity between the tags.
  • the tags of hair length can be sorted in order from long to short: long corresponds to serial number 1, Medium corresponds to serial number 2, and short corresponds to serial number 3.
  • step 230 after labeling each sample image with bottom-level attributes, each sample image has an image label vector composed of multiple bottom-level attribute labels.
  • step 240 the bottom-level attribute label is also performed on the category that needs to be finally determined in the labeling task, so that each category also has a category label vector composed of multiple bottom-level attribute labels.
  • Fig. 3 shows a flowchart of some embodiments of the training method of the machine learning model of the present disclosure. As shown in FIG. 3, in step 310, the images in the training image set are marked by using the image marking method in any one of the above embodiments.
  • a machine learning model for image classification is trained using the labeled training image set.
  • the image to be classified is processed by using a trained machine learning model to determine the image category to which the image to be classified belongs.
  • FIG. 4 shows a block diagram of some embodiments of the image labeling apparatus of the present disclosure.
  • the image tagging device 4 includes a generation unit 41 and a tagging unit 42 .
  • the generating unit 41 generates an image label vector for each image to be labeled according to various attributes used for image labeling and multiple labels corresponding to each attribute.
  • the labeling unit 42 labels the image category to which each image to be labeled belongs according to the vector similarity between each image label vector and the category label vector of each image category.
  • the tagging device 4 further includes: a detection unit 43, configured to detect whether the tagging result of each image to be tagged is correct according to the image similarity between each image to be tagged and a reference image of the image category to which it belongs .
  • the detection unit 43 detects whether the tagging result of each image to be tagged is correct according to the image similarity between the target to be tagged in each image to be tagged and the reference target in the reference image of the image category to which it belongs.
  • the generation unit 41 sorts multiple tags corresponding to each attribute according to the tag similarity between tags, and determines the serial number corresponding to each tag; generates the image tag vector and category according to the serial number corresponding to each tag label vector. The closer the ranking of tags, the greater the tag similarity between them.
  • the generation unit 41 determines the label corresponding to each image to be labeled according to the feature information of each image to be labeled, so as to generate an image label vector corresponding to each image to be labeled.
  • various attributes for image annotation are independent of each other.
  • multiple tags corresponding to each attribute can cover all attribute categories corresponding to the attribute.
  • FIG. 5 shows a block diagram of some embodiments of a training apparatus for a machine learning model of the present disclosure.
  • the machine learning model training device 5 includes: a labeling unit 51, configured to label the images in the training image set by using the image labeling method in any of the above embodiments; a training unit 42, used to A machine learning model for image classification is trained using the labeled training image set.
  • the image classification device 6 includes: a processor 61, configured to use a machine learning model to process the image to be classified, and determine the image category to which the image to be classified belongs.
  • the machine learning model is trained using the machine learning model training method in any one of the above embodiments. It should be noted that the above-mentioned units are only logical modules divided according to the specific functions they implement, and are not used to limit specific implementation methods. For example, they can be implemented in software, hardware, or a combination of software and hardware.
  • each of the above units may be implemented as an independent physical entity, or may also be implemented by a single entity (for example, a processor (CPU or DSP, etc.), an integrated circuit, etc.).
  • the above-mentioned units are shown with dotted lines in the drawings to indicate that these units may not actually exist, and the operations/functions realized by them may be realized by the processing circuit itself.
  • the device may also include a memory, which may store various information generated during operation of the device, each unit included in the device, programs and data used for operation, data to be sent by the communication unit, etc. .
  • the memory can be volatile memory and/or non-volatile memory.
  • the memory may include but not limited to random access memory (RAM), dynamic random access memory (DRAM), static random access memory (SRAM), read only memory (ROM), and flash memory.
  • the memory may also be located external to the device.
  • the device may also include a communication unit, which can be used to communicate with other devices.
  • the communication unit may be implemented in an appropriate manner known in the art, for example, including communication components such as an antenna array and/or a radio frequency link, various types of interfaces, a communication unit, and the like. It will not be described in detail here.
  • the device may further include other components not shown, such as a radio frequency link, a baseband processing unit, a network interface, a processor, a controller, and the like.
  • Figure 7 shows a block diagram of some embodiments of an electronic device of the present disclosure.
  • the electronic device 7 may be various types of devices, for example, it may include but not Limited to mobile terminals such as mobile phones, notebook computers, digital broadcast receivers, PDAs (Personal Digital Assistants), PADs (Tablet Computers), PMPs (Portable Multimedia Players), vehicle-mounted terminals (such as vehicle-mounted navigation terminals), etc., and such as digital Stationary terminals for TVs, desktop computers, etc.
  • the electronic device 7 may include a display panel for displaying data and/or execution results utilized in the solution according to the present disclosure.
  • the display panel can be in various shapes, such as a rectangular panel, an oval panel, or a polygonal panel.
  • the display panel can be not only a flat panel, but also a curved panel, or even a spherical panel.
  • the electronic device 7 of this embodiment includes: a memory 71 and a processor 72 coupled to the memory 71 .
  • the components of the electronic device 7 shown in FIG. 7 are only exemplary rather than limiting, and the electronic device 7 may also have other components according to actual application requirements.
  • Processor 72 may control other components in electronic device 7 to perform desired functions.
  • memory 71 is used to store one or more computer readable instructions.
  • the processor 72 When the processor 72 is used to execute computer-readable instructions, the computer-readable instructions are executed by the processor 72 to implement the method according to any of the foregoing embodiments.
  • the processor 72 and the memory 71 may communicate with each other directly or indirectly.
  • the processor 72 and the memory 71 may communicate through a network.
  • the network may include a wireless network, a wired network, and/or any combination of a wireless network and a wired network.
  • the processor 72 and the memory 71 may also communicate with each other through the system bus, which is not limited in the present disclosure.
  • the processor 72 may be embodied as various appropriate processors, processing devices, etc., such as a central processing unit (CPU), a graphics processing unit (Graphics Processing Unit, GPU), a network processor (NP), etc.; it may also be a digital Signal Processor (DSP), Application Specific Integrated Circuit (ASIC), Field Programmable Gate Array (FPGA) or other Programmable Logic Devices, Discrete Gate or Transistor Logic Devices, Discrete Hardware Components.
  • the central processing unit (CPU) can be X86 or ARM architecture, etc.
  • memory 71 may include any combination of various forms of computer-readable storage media, such as volatile memory and/or non-volatile memory.
  • the memory 71 may include, for example, a system memory, and the system memory stores, for example, an operating system, an application program, a boot loader (Boot Loader), a database, and other programs.
  • Various application programs, various data, and the like can also be stored in the storage medium.
  • when various operations/processing according to the present disclosure are implemented by software and/or firmware, they can be transferred from a storage medium or a network to a computer system with a dedicated hardware structure, such as shown in FIG. 8
  • the computer system of the electronic device 800 shown is installed with programs constituting the software. When various programs are installed on the computer system, it can perform various functions, including functions such as those described above.
  • FIG. 8 shows a block diagram of other embodiments of the electronic device of the present disclosure.
  • a central processing unit (CPU) 801 executes various kinds of processing according to a program stored in a read only memory (ROM) 802 or a program loaded from a storage section 808 to a random access memory (RAM) 803 .
  • ROM read only memory
  • RAM random access memory
  • the central processing unit is only exemplary, and it may also be other types of processors, such as the various processors mentioned above.
  • the ROM 802, RAM 803, and storage portion 808 may be various forms of computer-readable storage media, as described below. It should be noted that although the ROM 802, the RAM 803 and the storage device 808 are shown separately in FIG. 8, one or more of them may be combined or located in the same or different memories or storage modules.
  • the CPU 801 , ROM 802 , and RAM 803 are connected to each other via a bus 804 .
  • the input/output interface 805 is also connected to the bus 804 .
  • the following components are connected to the input/output interface 805: an input part 806, such as a touch screen, touch pad, keyboard, mouse, image sensor, microphone, accelerometer, gyroscope, etc.; an output part 807, including a display, such as a cathode ray tube (CRT ), a liquid crystal display (LCD), a speaker, a vibrator, etc.; a storage part 808, including a hard disk, a magnetic tape, etc.; and a communication part 809, including a network interface card such as a LAN card, a modem, and the like.
  • the communication section 809 allows communication processing to be performed via a network such as the Internet. It is easy to understand that although it is shown in FIG. 8 that each device or module in the electronic device 800 communicates through the bus 804, they may also communicate through a network or other methods, where the network may include a wireless network, a wired network , and/or any combination of wireless and wired networks.
  • a driver 810 is also connected to the input/output interface 805 as needed.
  • a removable medium 811 such as a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, etc. is mounted on the drive 810 as needed, so that a computer program read therefrom is installed into the storage section 808 as needed.
  • the processes described above with reference to the flowcharts may be implemented as computer software programs.
  • the embodiments of the present disclosure include a computer program product, which includes a computer program carried on a computer-readable medium, where the computer program includes program code for executing the method shown in the flowchart.
  • the computer program may be downloaded and installed from a network via communication means 809 , or from storage means 8808 , or from ROM 802 .
  • a computer-readable medium may be a tangible medium, which may A program contained or stored for use by or in conjunction with an instruction execution system, device or device.
  • a computer readable medium may be a computer readable signal medium or a computer readable storage medium or any combination of the two.
  • a computer-readable storage medium may be, for example, but not limited to: an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, device, or device, or any combination thereof.
  • Computer readable storage media may include, but are not limited to: electrical connections with one or more conductors, portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), erasable Programmable read-only memory (EPROM or flash memory), optical fiber, portable compact disk read-only memory (CD-ROM), optical storage device, magnetic storage device, or any suitable combination of the above.
  • a computer-readable storage medium may be any tangible medium containing or storing a program, and the program may be used by or in combination with an instruction execution system, device, or device.
  • a computer-readable signal medium may include a data signal propagated in a baseband or as part of a carrier wave, in which computer-readable program codes are carried.
  • the propagated data signal may take various forms, including but not limited to electromagnetic signal, optical signal, or any suitable combination of the above.
  • the computer-readable signal medium may also be any computer-readable medium other than the computer-readable storage medium, and the computer-readable signal medium may send, propagate or transmit a program for use by or in combination with an instruction execution system, apparatus or device .
  • the program code contained on the computer readable medium may be transmitted by any appropriate medium, including but not limited to: electric wire, optical cable, RF (radio frequency), etc., or any suitable combination of the above.
  • the above-mentioned computer-readable medium may be included in the above-mentioned electronic device; or it may exist independently without being assembled into the electronic device.
  • a computer program including: instructions, and when executed by a processor, the instructions cause the processor to execute the method in any one of the above embodiments.
  • instructions may be embodied as computer program code.
  • a computer program is also provided, including: instructions, which, when executed by a processor, cause the processor to execute the image labeling method and the training of the machine learning model in any one of the above embodiments method or image classification method.
  • a computer program product is also provided, including instructions, which, when executed by a processor, cause the processor to execute the image labeling method and the machine learning model according to any one of the above embodiments. The training method or image classification method.
  • the computer program codes for performing the operations of the present disclosure may be written in one or more programming languages or a combination thereof, the above-mentioned programming languages include but not limited to object-oriented programming languages, Such as Java, Smalltalk, C++, also includes conventional procedural programming languages, such as the "C" language or similar programming languages.
  • the program code can be executed entirely on the user's computer, partly in the on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer, or entirely on the remote computer or server.
  • the remote computer may be connected to the user computer via any kind of network, including a local area network (LAN) or a wide area network (WAN), or may be connected to an external computer (such as through an Internet service provider). Internet connection).
  • LAN local area network
  • WAN wide area network
  • Internet connection an external computer (such as through an Internet service provider). Internet connection).
  • each block in the block diagrams and/or flowcharts, and combinations of blocks in the block diagrams and/or flowcharts can be implemented by a dedicated hardware-based system that performs specified functions or operations , or may be implemented by a combination of special purpose hardware and computer instructions.
  • the modules, components or units involved in the embodiments described in the present disclosure may be implemented by software or by hardware. Wherein, the name of a module, component or unit does not constitute a limitation on the module, component or unit itself under certain circumstances.
  • the functions described herein above may be performed at least in part by one or more hardware logic components.
  • exemplary hardware logic components that may be used include: Field Programmable Gate Array (FPGA), Application Specific Integrated Circuit (ASIC), Application Specific Standard Product (ASSP), System on Chip (SOC), Complex Programmable Logical device (CPLD) and so on.
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • ASSP Application Specific Standard Product
  • SOC System on Chip
  • CPLD Complex Programmable Logical device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种图像的标注方法、分类方法和机器学习模型的训练方法，涉及计算机技术领域。该标注方法包括：根据多种用于图像标注的属性以及每一种属性对应的多个标签，生成每一个待标注图像的图像标签向量；根据每一个图像标签向量与每一个图像类别的类别标签向量的向量相似度，标注每一个待标注图像属于的图像类别，类别标签向量根据每一种属性对应的多个标签生成。

Description

图像 的 标注 方 法 、 分类方 法 和机 器 学习 模 型的 训练 方 法 相关申请的交叉引用 本申请是以 CN申请号为 202110862466.2， 申请日为 2021年 7月 29日的申请为 基础， 并主张其优先权， 该 CN申请的公开内容在此作为整 体引入本申请中。 技术领域 本公开涉及计算机 技术领域， 特别涉及一种图像的标注方法 、 图像的分类方法、 机器学习模 型的训练方法、 图像的标注装置、 图像的分类装置、 机器学习模型的训练 装置、 电子设备和非易失性计算机可读存储介质。 背景技术 神经网络的训练依赖大量 的已标注数据， 标注数据的质量也会大大影响神经 网络 的效果。 在相关技术中， 对于类别数较少和类别较明确的分 类任务， 可以采用多种方式提 升标注准确率 。 例如， 可以采用多人标注投票制、 多轮标注投票制等。 发明内容 提供该发明内容部分 以便以简要的形式介绍构思 ， 这些构思将在后面的具体实施 方式部分被 详细描述。 该发明内容部分并不旨在标识要求保护 的技术方案的关键特征 或必要特征 ， 也不旨在用于限制所要求的保护的技术方案的范 围。 根据本公开的一些实施例 ， 提供了一种图像的标注方法， 包括： 根据多种用于图 像标注的属 性以及每一种属性对应 的多个标签， 生成每一个待标注图像的图像标签向 量； 根据每一个图像标签向量与每一个 图像类别的类别标签 向量的向量相似度， 标注 每一个待标注 图像属于的图像类别 ， 类别标签向量根据每一种属性对应的多个标签生 成。 根据本公开的另一些实施 例， 提供了一种机器学习模型的训练方法， 包括： 通过 任一个实施例 所述的图像的标注方法 ， 对训练图像集合中的图像进行标注； 利用标注 后的训练 图像集合， 训练用于图像分类的机器学习模型。 根据本公开的又一些实施 例， 提供了一种图像的分类方法， 包括： 利用机器学习 模型处理待 分类图像， 确定待分类图像属于的图像类别， 机器学习模型利用任一个实 施例所述 的机器学习模型的训练方法进 行训练。 根据本公开的再一些实施 例， 提供了一种图像的标注装置， 包括： 生成单元， 用 于根据多种 用于图像标注的属性以及每 一种属性对应的多个标签 ， 生成每一个待标注 图像的图像标 签向量； 标注单元， 用于根据每一个图像标签向量与每一个图像类别的 类别标签 向量的向量相似度， 标注每一个待标注图像属于的 图像类别， 类别标签向量 根据每一种 属性对应的多个标签生成 。 根据本公开的再一些实施 例， 提供了一种机器学习模型的训练装置， 包括： 标注 单元， 用于通过任一个实施例所述 的图像的标注方法， 对训练图像集合中的图像进行 标注； 训练单元， 用于利用标注后的训练图像集合， 训练用于图像分类的机器学习模 型。 根据本公开的再一些实施 例， 提供了一种图像的分类装置， 包括： 处理器， 用于 利用机器学 习模型处理待分类图像 ， 确定待分类图像属于的图像类别， 所述机器学习 模型利用任 一个实施例所述的机器学 习模型的训练方法进行训练 。 根据本公开的再一些实施 例， 提供一种电子设备， 包括： 存储器； 和耦接至存储 器的处理器 ， 所述处理器被配置为基于存储在所述存储器中的指 令， 执行本公开中所 述的任一 实施例的图像的标注 方法、 机器学习模型的训练方法或者图像 的分类方法。 根据本公开的一些实施例 ， 提供一种非易失性计算机可读存储介质， 其上存储有 计算机程序 ， 该程序被处理器执行时执行本公开中所述的任一实施 例的图像的标注方 法、 机器学习模型的训练方法或者 图像的分类方法。 根据本公开的再一些实施 例， 提供了一种计算机程序， 包括： 指令， 所述指令当 由处理器执 行时使所述处理器执行上述 任一个实施例中的图像 的标注方法、 机器学习 模型的训练方 法或者图像的分类方法 。 根据本公开的再一些实施 例， 提供了一种计算机程序产品， 包括指令， 所述指令 当由处理器执 行时使所述处理器执行根 据上述任一个实施例 中的图像的标注方法、 机 器学习模型 的训练方法或者图像的分类 方法。 通过以下参照附图对本 公开的示例性实施例的详细 描述， 本公开的其它特征、 方 面及其优点将 会变得清楚。 附图说明 下面参照附图说明本公 开的优选实施例。 此处所说明的附图用来提供对本公 开的 进一步理解 ， 各附图连同下面的具体描述一起包含在本说明书 中并形成说明书的一部 分， 用于解释本公开。 应当理解的是， 下面描述中的附图仅仅涉及本公开的一些实施 例， 而非对本公开构成限制。 在附图中： 图 1示出本公开的图像的标注方 法的一些实施例的流程 图； 图 2示出本公开的图像的标注方 法的另一些实施例的流程 图； 图 3示出本公开的机器学习模 型的训练方法的一些实施例 的流程图； 图 4示出本公开的图像的标注装 置的一些实施例的框图 ； 图 5示出本公开的机器学习模 型的训练装置的一些实施例 的框图； 图 6示出本公开的图像的分类装 置的一些实施例的框图 ； 图 7示出本公开的电子设备 的一些实施例的框图； 图 8示出本公开的电子设备 的另一些实施例的框图。 应当明白， 为了便于描述， 附图中所示出的各个部分的尺寸并不一定是按照 实际 的比例关系 绘制的。 在各附图中使用了相同或相似的附图标记来 表示相同或者相似的 部件。 因此， 一旦某一项在一个附图中被定义， 则在随后的附图中可能不再对其进行 进一步讨论 。 具体实施方式 下面将结合本公开实施 例中的附图， 对本公开实施例中的技术方案进行清 楚、 完 整地描述 ， 但是显然， 所描述的实施例仅仅是本公开一部分实施例， 而不是全部的实 施例。 以下对实施例的描述实际上也仅仅是说明性的， 决不作为对本公开及其应用或 使用的任何 限制。 应当理解的是， 本公开可以通过各种形式来实现， 而且不应该被解 释为限于这 里阐述的实施例。 应当理解， 本公开的方法实施方式中记 载的各个步骤可 以按照不同的顺序执行 ， 和 /或并行执行。此外，方法实施方式可以包括附加的步骤和 /或省略执行示出的步骤。 本公开的范 围在此方面不受限制。 除非另外具体说明， 否则在这些实施例中阐述的部 件和步骤 的相对布置、 数字表达式和数值应被解释为仅仅是示例 性的， 不限制本公开 的范围 。 本公开中使用的术语 “包括”及其变型意指至少 包括后面的元件 /特征、 但不排除 其他元件 /特征的开放性术语， 即 “包括但不限于”。此外，本公开使用的术语“包含” 及其变型 意指至少包含后面的元 件 /特征、 但不排除其他元件 /特征的开放性术语， 即 “包含但不限于” 。 因此， 包括与包含是同义的。 术语 “基于”意指 “至少部分地基 于” 。 整个说明书中所称 “一个实施例”、 “一些实施例”或 “实施例”意味着 与实施 例结合描述 的特定的特征、 结构或特性被包括在本 发明的至少一个实施例 中。 例如， 术语 “一个实施例”表示 “至少一个实施例” ； 术语 “另一实施例”表示 “至少一个 另外的实施例” ； 术语 “一些实施例”表示 “至少一些实施例” 。 而且， 短语 “在一 个实施例 中” 、 “在一些实施例中”或 “在实施例中” 在整个说明书中各个地方 的出 现不一定全 都指的是同一个实施例 ， 但是也可以指同一个实施例。 需要注意， 本公开中提及的 “第一” 、 “第二”等概念仅 用于对不同的装置、 模 块或单元进 行区分， 并非用于限定这些装置、 模块或单元所执行的功能的顺序或者相 互依存关系 。 除非另有指定， 否则 “第一”、 “第二”等概念并非意 图暗示如此描述 的对象必须 按时间上、 空间上、 排名上的给定顺序或任何其他方式的给定顺序。 需要注意， 本公开中提及的 “一个” 、 “多个” 的修饰是示意性而非限制性的， 本领域技术 人员应当理解， 除非在上下文另有明确指出， 否则应该理解为“ 一个或多 个” 。 本公开实施方式 中的多个装置之 间所交互的消息 或者信息的名称 仅用于说明性 的目的， 而并不是用于对这些消息或信 息的范围进行限制。 下面结合附图对本公开 的实施例进行详细说明 ， 但是本公开并不限于这些具体的 实施例。 下面这些具体实施例可以相互 结合， 对于相同或者相似的概念或过程可能在 某些实施例 不再赘述。 此外， 在一个或多个实施例中， 特定的特征、 结构或特性可以 由本领域 的普通技术人员从本公开将清 楚的任何合适的方式组合 。 应理解， 本公开对于如何获得待应用 /待处理的图像也不做限制。在本公开的一个 实施例中 ， 可以从存储装置， 例如内部存储器或者外部存储装置获取， 在本公开的另 — 个实施例中， 可以调动摄影组件来拍摄。 需要说明的是， 所获取的图像可以是一张 采集到的 图像， 也可以是采集到的视频中的一帧图像， 并不特别局限于此。 在本公开的上下文中 ， 图像可指的是多种图像中的任一种， 诸如彩色图像、 灰度 图像等。 应指出， 在本说明书的上下文中， 图像的类型未被具体限制。 此外， 图像可 以是任何适 当的图像， 例如由摄像装置获得的原始图像， 或者已对原始图像进行过特 定处理的 图像， 例如初步过滤、 去混叠、 颜色调整、 对比度调整、 规范化等等。 应指 出， 预处理操作还可以包括本领域 己知的其它类型的预处理操作 ， 这里将不再详细描 述 。 如前所述， 对于类别数目较多且类别之间存在连续 变化或者模糊状态的分类任 务， 标注人员无法 记住庞大的类别并且准确 标注的。例如， 发型的 45类标注， 由于类别之 间可能仅存在 头发长度的差异或者卷 曲程度的差异， 导致发型任务难以标注。 所以， 包含细小的差异和庞大的类别的标注任务是 十分艰难的任务。 针对上述技术问题，为了快速处理类 别庞大、类别之间存在模糊状态的标 注任务， 本公开的技 术方案利用相关类别的底层 属性， 根据底层属性计算图片与各个目标类别 的相似度 ； 每一张图片都可以匹配上与其最相似的类别； 最后根据标注样本和目前类 别的相似性来 判断是否属于目标类别 。 根据本公开的技术方案可 以快速处理类似于发型 45 分类问题的类别数庞大、 类 别之间存在模 糊的标注任务， 提升了标注质量和标注效率。 例如， 可以通过如下的实 施例实现本 公开的技术方案。 图 1示出本公开的图像的标注方 法的一些实施例的流程 图。 如图 1所示， 在步骤 110中， 根据多种用于图像标注的属性以及每一种属性对应 的多个标签 ， 生成每一个待标注图像的图像标签向量。 在一些实施例中， 多种用于图像标注的属性之间相 互独立。 每一种属性对应的多 个标签能够覆 盖该属性对应的全部属性 类别。 属性之间相互独立， 能够避免类型之间 界限模糊造 成的标注困难， 从而提髙标注的准确性。 在一些实施例中， 多种用于图像标注的属性根据待 标注对象的特征信息确定 ， 图 像类别为各 待标注图像中待标注对象 的类别。 例如， 特征信息为待标注对象的形体特征或面貌特 征中的至少一项。 形体特征可 以包括体型特 征、 人体结构特征等； 面貌特征可以包括毛发、 皮肤、 五官、 脸型等人 体组织特征 。 例如， 计算机根据分类任务的需要， 利用预设的模型确定与分类任务相应 的属性 和标签。 在一些实施例中 ， 针对图像中对象的所要标注的特征信息 ， 提取多个底层属性。 特征信息 的这些底层属性可以涵盖与这个 特征信息相关的各种属 性。 例如， 图像中的对象为人， 特征信息可以为头发、 胡子、 帽子等与人相关的各种 属性。 例如， 针对发型标注任务， 图像中的对象为人， 特征信息为发型， 底层属性可以 包括头发长度 、 头发卷曲度、 是否有刘海、 刘海朝向、 辫子的数目等。 在一些实施例中， 特征信息的各底层属性可以完备 地描述该特征信息的具体 状态。 例如， 对于发型标注任务， 头发长度、 头发卷曲度、 是否有刘海、 刘海朝向、 辫子的 数目等底层 属性能够描述一个具体 的发型。 在一些实施例中， 属性的标签可以表示该属性对应 的各种状态。 例如， 头发长度 对应的标签包 括长、 短、 中； 头发卷曲度可以包括大、 小、 中。 在一些实施例中， 刘海朝向对应的表情可以包括左 、 右、 前、 无。 “无”这一标 签， 可以保证刘海朝向相对于是否有刘海 是相互独立的。 上述实施例中确定属性和 标签的方法具有多个优势 ： 针对标注任务涉及的标注 类别数量比较庞大的情况 ， 可以利用这些数量有限的底 层属性的组合 表征不同的标注类别 ， 从而提髙标注效率； 针对标注类别之间存在较 多细小差异， 导致难以区分的情况， 相互独立的底层属 性的区分度 是单一的 （如头发长度的不同标签之间的区别仅在于头发长度是多少， 与 头的卷 曲度等无关） ， 从而减轻了标注负担， 提升了标注效率。 在一些实施例中， 根据每一个待标注图像的特征信 息， 确定每一个待标注图像对 应的标签 ， 以生成每一个待标注图像对应的图像标签向量。 例如， 计算机可以通过图 像处理算法 或神经网络等方式确定标签 。 例如， 利用头发长度、 头发卷曲度两个属性的标签， 生成待标注图像的图像标签 向量。 根据该图像中人的特征信息 ， 可以确定该图像中人的头发长度为长， 头发卷曲 度为大； 可以根据长和大两个标签， 生成图像标签向量。 在一些实施例中， 根据标签之间的标签相似度， 对每一种属性相应的多个标签 进 行排序， 确定各标签对应的序号， 排序越接近的标签之间的标签相 似度越大； 根据各 标签对应 的序号， 生成图像标签向量类别标签向量。 在一些实施例中， 确定了此次标注任务的各底层属 性后， 可以按照标签之间的标 签相似度对这 些底层属性的各标签进行 排序。 在一些实施例中， 对于头发长度这一属性， 由于长与中的相似度大于长与短 的相 似度， 可以按照从长到短的顺序， 对头发长度的标签进行排序 ： 长对应序号 1， 中对 应序号 2， 短对应序号 3。 基于类似的理由， 对于头发卷曲度这一属性， 由于大与中的相似度大于大与小的 相似度， 可以按照从大到小的顺序 ， 对头发卷曲度的标签进行排序： 大对应序号 1， 中对应序号 2， 小对应序号 3。 例如， 利用头发长度、 头发卷曲度两个属性的标签， 生成待标注图像的图像标签 向量。 根据该图像中人的特征信息 ， 可以确定该图像中人的头发长度为长， 头发卷曲 度为大； 可以根据长和大两个标签， 生成图像标签向量。 在这种情况下， 可以确定该图像的图像标签向量为 （1， 1） 。 在一些实施例中， 可以根据分类需求确定标签之 间的标签相似度， 对标签进行排 序。 例如， 对于刘海朝向这一属性， 根据分类需求确定左与右的相似度大于左与前的 相似度， 对刘海朝向的标签进行排序 ： 左对应序号 1， 右对应序号 2, 前对应序号 3。 在步骤 120中， 根据每一个图像标签向量与每一个图像类别的类别 标签向量的向 量相似度 ， 标注每一个待标注图像属于的图像类别， 类别标签向量根据所述每一种属 性对应的多个 标签生成。 在一些实施例中， 对各样本图像进行底层属性标注 后， 每个样本图像都具有多个 底层属性 的标签组成的图像标签向量 ； 对标注任务最终需要确定的类别也进行底层属 性标注， 使得每个类别也具有多个底层 属性的标签组成的类别标 签向量。 例如， 利用这些类别标签向量生成匹配库； 计算每一个样本图像与匹配库 中各类 别标签向量 的向量距离 （如欧几里得距离等） 作为向量相似度。 在一些实施例中， 根据各标签对应的序号， 生成类别标签向量。 例如， 利用头发长度、 头发卷曲度两个属性的标签， 生成类别标签向量。 根据分 类需求， 可以确定： 类别 A对应的头发长度为长， 头发卷曲度为中， 可以根据长和中 两个标签， 生成类别 A的类别标签向量； 类别 B对应的头发长度为短， 头发卷曲度为 小， 可以根据短和小两个标签， 生成类别 B的类别标签向量。 在这种情况下， 可以确定类别 A的类别标签向量 a为（1， 2） ， 类别 B的类别标 签向量 b为 （3, 3） ; 待标注图像的图像标签向量为 （1， 1） ， 计算机可以通过计算 确定其与类别 标签向量 a的距离较小， 从而确定待标注图像属于类别 A。 在一些实施例中， 根据每一个待标注图像与其属于 的图像类别的参考图像之 间的 图像相似度 ， 检测每一个待标注图像的标注结果是否正确。 例如， 根据每一个待标注图像中待标注目标与其属 于的图像类别的参考图像 中参 考目标之 间的图像相似度， 检测每一个待标注图像的标注结果是 否正确。 例如， 可以利用计算机对待标注图像和参考图像进 行边缘检测、 区域分割等图像 处理， 确定出待标注目标在两幅图像 中所在的图像区域； 再通过图像特征对比 （如目 标所在区域 的大小、 灰度分布、 形状信息等对比） 处理， 确定图像区域之间的图像相 似度，从而确定标注结果 是否正确；也可以利用神经网络确定两幅 图像的图像相似度。 例如， 将每一个图像样本与匹配库中最相似的类型 的参考图片拼接在一起 ； 根据 拼接在一起 的两张图片的各属性是否一致 ， 检测每一个待标注图像的标注结果是否正 确。 图 2示出本公开的图像的标注方 法的另一些实施例的流程 图。 如图 2所示， 为了处理类别数目较大且类别间存在一定模 糊度的标注任务， 可以 通过如下步骤 进行图像标注。 在步骤 210中， 针对图像中对象的所要标注的特征信息， 提取多个底层属性。 特 征信息的这 些底层属性可以涵盖与这个特 征信息相关的各种属性 。 例如， 针对发型标注任务， 图像中的对象为人， 特征信息为发型， 底层属性可以 包括头发长度 、 头发卷曲度、 是否有刘海、 刘海朝向、 辫子的数目等。 这种确定属性和标签的方 法具有多个优势： 针对标注任务涉及的标注 类别数量比较庞大的情况 ， 可以利用这些数量有限的底 层属性的组合 表征不同的标注类别 ， 从而提高标注效率； 针对标注类别之间存在较 多细小差异， 导致难以区分的情况， 相互独立的底层属 性的区分度 是单一的 （如头发长度的不同标签之间的区别仅在于头发长度是多少， 与 头的卷 曲度等无关） ， 从而减轻了标注负担， 提升了标注效率。 在步骤 220中， 确定了此次标注任务的各底层属性后， 可以按照标签之间的标签 相似度对这 些底层属性的各标签进行排 序。 在一些实施例中， 对于头发长度这一属性， 由于长与中的相似度大于长与短 的相 似度， 可以按照从长到短的顺序， 对头发长度的标签进行排序 ： 长对应序号 1， 中对 应序号 2， 短对应序号 3。 在步骤 230中， 对各样本图像进行底层属性标注后， 每个样本图像都具有多个底 层属性的标签 组成的图像标签向量 。 在步骤 240中， 对标注任务最终需要确定的类别也进行底层属性标注 ， 使得每个 类别也具有 多个底层属性的标签组成 的类别标签向量。 例如， 利用这些类别标签向量 生成匹配库 ； 在步骤 250中， 计算每一个样本图像与匹配库中各类别标签向量 的向量距离 （如 欧几里得距 离等） 作为向量相似度。 在步骤 260中， 将每一个图像样本与匹配库中最相似的类型的参考 图片拼接在一 起； 根据拼接在一起的两张图片的各属 性是否一致， 检测每一个待标注图像的标注结 果是否正确 。 图 3示出本公开的机器学习模型 的训练方法的一些实施例 的流程图。 如图 3所示， 在步骤 310中， 通过上述任一个实施例中的图像的标注方法， 对训 练图像集合 中的图像进行标注。 在步骤 320中，利用标注后的训练图像集合，训练用于图像分类的机器学习模型。 在一些实施例中， 利用训练好的机器学习模型处理 待分类图像， 确定待分类图像 属于的图像类 别。 图 4示出本公开的图像的标注装置 的一些实施例的框图 。 如图 4所示， 图像的标注装置 4包括生成单元 41、 标注单元 42。 生成单元 41 根据多种用于图像标注的属性以及每一种属性对应 的多个标签， 生 成每一个待标 注图像的图像标签向量 。 标注单元 42根据每一个图像标签向量与 每一个图像类别的类别标 签向量的向量 相似度， 标注每一个待标注图像属于 的图像类别。 类别标签向量根据每一种属性对应 的多个标签 生成。 在一些实施例中， 标注装置 4还包括： 检测单元 43, 用于根据每一个待标注图像 与其属于 的图像类别的参考图像之 间的图像相似度， 检测每一个待标注图像的标注结 果是否正确 。 例如， 检测单元 43根据每一个待标注 图像中待标注目标与其属于 的图像类别的 参考图像 中参考目标之间的图像相似度 ， 检测每一个待标注图像的标注结果是否正确。 在一些实施例中，生成单元 41根据标签之间的标签相似度，对每一种属性相应的 多个标签进 行排序， 确定各标签对应的序号； 根据各标签对应的序号生成图像标签向 量和类别标签 向量。 排序越接近的标签之间的标签相似度越大 。 在一些实施例中，生成单元 41根据每一个待标注图像的特征信息，确定每一个待 标注图像对应 的标签， 以生成每一个待标注图像对应的图像标签 向量。 在一些实施例中， 多种用于图像标注的属性之 间相互独立。 在一些实施例中， 每一种属性对应的多个标签能够 覆盖该属性对应的全部属性 类 别。 在一些实施例中， 多种用于图像标注的属性根据待 标注对象的特征信息确定 ， 图 像类别为各 待标注图像中待标注对象 的类别。 例如， 特征信息为待标注对象的形体特 征或面貌特 征中的至少一项。 图 5示出本公开的机器学习模 型的训练装置的一些实施例 的框图。 如图 5所示， 机器学习模型的训练装置 5包括： 标注单元 51， 用于通过上述任一 个实施例 中的图像的标注方法， 对训练图像集合中的图像进行标注 ； 训练单元 42, 用 于利用标注 后的训练图像集合， 训练用于图像分类的机器学 习模型。 图 6示出本公开的图像的分类装 置的一些实施例的框图 。 如图 6所示， 图像的分类装置 6包括： 处理器 61， 用于利用机器学习模型处理待 分类图像 ， 确定待分类图像属于的图像类别。 机器学习模型利用上述任一个实施例中 的机器学 习模型的训练方法进行训练 。 应注意， 上述各个单元仅是根据其所实现的具体 功能划分的逻辑模块， 而不是用 于限制具体 的实现方式， 例如可以以软件、 硬件或者软硬件结合的方式来实现。 在实 际实现时 ， 上述各个单元可被实现为独立的物理实 体， 或者也可由单个实体 （例如， 处理器 （CPU或 DSP等）、 集成电路等）来实现。此外， 上述各个单元在附图中用虚 线示出指示 这些单元可以并不实际存在 ，而它们所实现的操作 /功能可由处理电路本身 来实现 。 此外， 尽管未示出， 该设备也可以包括存储器， 其可以存储由设备、 设备所包含 的各个单元 在操作中产生的各种信息 、 用于操作的程序和数据、 将由通信单元发送的 数据等 。存储器可以是易失性存储器和 /或非易失性存储器。例如， 存储器可以包括但 不限于随机 存储存储器 （RAM） 、 动态随机存储存储器（DRAM） 、 静态随机存取存 储器 （SRAM） 、 只读存储器（ROM） 、 闪存存储器。 当然， 存储器可也位于该设备 之外。 可选地， 尽管未示出， 但是该设备也可以包括通信单元， 其可用于与其它装置 进行通信 。 在一个示例中， 通信单元可以被按照本领域已知的适当方式来实现， 例如 包括天线 阵列和 /或射频链路等通信部件， 各种类型的接口、 通信单元等等。 这里将不 再详细描述 。 此外， 设备还可以包括未示出的其它部件， 诸如射频链路、 基带处理单 元、 网络接口、 处理器、 控制器等。 这里将不再详细描述。 本公开的一些实施例还 提供一种电子设备。 图 7示出本公开的电子设备 的一些实施例的框图。 例如， 在一些实施例中， 电子设备 7可以为各种类型的设备， 例如可以包括但不 限于诸如移 动电话、 笔记本电脑、 数字广播接收器、 PDA (个人数字助理)、 PAD (平板 电脑)、 PMP (便携式多媒体播放器)、 车载终端 (例如车载导航终端)等等的移动终端以 及诸如数字 TV、台式计算机等等的固定终端。例如， 电子设备 7可以包括显示面板， 以用于显示 根据本公开的方案中所利 用的数据和 /或执行结果。例如， 显示面板可以为 各种形状 ， 例如矩形面板、 椭圆形面板或多边形面板等。 另外， 显示面板不仅可以为 平面面板 ， 也可以为曲面面板， 甚至球面面板。 如图 7所示， 该实施例的电子设备 7包括： 存储器 71以及耦接至该存储器 71的 处理器 72。 应当注意， 图 7所示的电子设备 7的组件只是示例性的， 而非限制性的， 根据实际应 用需要， 该电子设备 7还可以具有其他组件 。 处理器 72可以控制电子设 备 7中的其它组件以执行期望的功能。 在一些实施例中， 存储器 71用于存储一个或多个计算机可读 指令。 处理器 72用 于运行计算机 可读指令时， 计算机可读指令被处理器 72 运行时实现根据上述任一实 施例所述 的方法。 关于该方法的各个步骤的具体实现以及相关解 释内容可以参见上述 的实施例 ， 重复之处在此不作赘述。 例如， 处理器 72和存储器 71之间可以直接或间接地互相通信。 例如， 处理器 72 和存储器 71可以通过网络进行通信。 网络可以包括无线网络、 有线网络、 和 /或无线 网络和有线 网络的任意组合。 处理器 72和存储器 71之间也可以通过系统总线实现相 互通信 ， 本公开对此不作限制。 例如， 处理器 72 可以体现为各种适当的处理器、 处理装置等， 诸如中央处理器 (CPU)、 图形处理器 (Graphics Processing Unit， GPU)、 网络处理器 (NP)等； 还可以是 数字信号 处理器 (DSP)、 专用集成电路 (ASIC)、 现场可编程门阵列 (FPGA)或者其他可 编程逻辑器 件、分立门或者晶体管逻辑器件、分立硬件组件 。中央处理元 (CPU)可以为 X86 或 ARM 架构等。例如， 存储器 71可以包括各种形式的计算机可读存储介质的任 意组合 ， 例如易失性存储器和 /或非易失性存储器。 存储器 71例如可以包括系统存储 器， 系统存储器例如存储有操作系统 、 应用程序、 引导装载程序 (Boot Loader) 、 数 据库以及其 他程序等。 在存储介质中还可以存储各种应用程序 和各种数据等。 另外，根据本公开的一些实施例，根据本公开的各 种操作 /处理在通过软件和 /或固 件实现 的情况下， 可从存储介质或网络向具有专用硬件结构的计 算机系统， 例如图 8 所示的 电子设备 800的计算机系统安装构成该软件 的程序， 该计算机系统在安装有各 种程序时 ， 能够执行各种功能， 包括诸如前文所述的功能等等。 图 8示出本公开的电子设备 的另一些实施例的框图。 在图 8中， 中央处理单元 （CPU） 801根据只读存储器 （ROM） 802中存储的程 序或从存储 部分 808 加载到随机存取存储器 （RAM） 803 的程序执行各种处理。 在 RAM 803中， 也根据需要存储当 CPU 801执行各种处理等时所需的数据。 中央处理 单元仅仅 是示例性的， 其也可以是其它类型的处理 器， 诸如前文所述的各种处理器。 ROM 802、 RAM 803和存储部分 808可以是各种形式的计算机可读存储介质， 如下文 所述。 需要注意的是， 虽然图 8中分别示出了 ROM 802、 RAM 803和存储装置 808， 但是它们 中的一个或多个可以合并或 者位于相同或不同的存储器 或存储模块中。
CPU 801、 ROM 802和 RAM 803经由总线 804彼此连接。 输入 /输出接口 805也 连接到总线 804。 下述部件连接到输入 /输出接口 805: 输入部分 806, 诸如触摸屏、触摸板、键盘、 鼠标、 图像传感器、 麦克风、 加速度计、 陀螺仪等； 输出部分 807, 包括显示器， 比如 阴极射线管 （CRT） 、 液晶显示器 （LCD） , 扬声器， 振动器等； 存储部分 808, 包 括硬盘， 磁带等； 和通信部分 809, 包括网络接口卡比如 LAN卡、 调制解调器等。 通 信部分 809允许经由网络比如因特网执行通信处理。 容易理解的是， 虽然图 8中示出 电子设备 800中的各个装置或模块是通过总线 804来通信的， 但它们也可以通过网络 或其它方式 进行通信， 其中， 网络可以包括无线网络、 有线网络、 和 /或无线网络和有 线网络的任 意组合。 根据需要， 驱动器 810也连接到输入 /输出接口 805。 可拆卸介质 811 比如磁盘、 光盘、 磁光盘、 半导体存储器等等根据需要被安装在驱动器 810上， 使得从中读出的 计算机程序 根据需要被安装到存储部 分 808中。 在通过软件实现上述系 列处理的情况下， 可以从网络比如因特网或存储介质 比如 可拆卸介质 811安装构成软件的程序。 根据本公开的实施例 ， 上文参考流程图描述的过程可以被实现为计算机软件 程序。 例如， 本公开的实施例包括一种计算机 程序产品， 其包括承载在计算机可读介质上的 计算机程序 ， 该计算机程序包含用于执行流程图所示的方法 的程序代码。 在这样的实 施例中， 该计算机程序可以通过通信装 置 809从网络上被下载和安装， 或者从存储装 置 8808被安装， 或者从 ROM 802被安装。 在该计算机程序被 CPU 801执行时， 执行 本公开实施 例的方法中限定的上述功 能。 需要说明的是， 在本公开的上下文中， 计算机可读介质可以是有形的介质 ， 其可 以包含或存 储以供指令执行系统、 装置或设备使用或与指令执行 系统、 装置或设备结 合地使用 的程序。 计算机可读介质可以是计算机可读信号介质或 者计算机可读存储介 质或者是上 述两者的任意组合。计算机可读存储介 质例如可以是，但不限于： 电、磁、 光、 电磁、 红外线、 或半导体的系统、 装置或器件， 或者任意以上的组合。 计算机可 读存储介质 的更具体的例子可以包括但 不限于： 具有一个或多个导线的电连接、 便携 式计算机磁 盘、 硬盘、 随机访问存储器 (RAM)、 只读存储器 (ROM)、 可擦式可编程只 读存储器 (EPROM 或闪存)、 光纤、 便携式紧凑磁盘只读存储器 (CD-ROM)、 光存储器 件、 磁存储器件、 或者上述的任意合适的组合。 在本公开中， 计算机可读存储介质可 以是任何包 含或存储程序的有形介质 ， 该程序可以被指令执行系统、 装置或者器件使 用或者与其 结合使用。 而在本公开中， 计算机可读信号介质可以包括在基带中或者作 为载波一部 分传播的数据信号， 其中承载了计算机可读的程序代 码。 这种传播的数据 信号可 以采用多种形式， 包括但不限于电磁信号 、 光信号或上述的任意合适的组合。 计算机可读 信号介质还可以是计算机 可读存储介质以外的任何计 算机可读介质， 该计 算机可读信 号介质可以发送、 传播或者传输用于由指令执行系 统、 装置或者器件使用 或者与其结 合使用的程序。 计算机可读介质上包含的程序代码可 以用任何适当的介质 传输， 包括但不限于： 电线、 光缆、 RF (射频)等等， 或者上述的任意合适的组合。 上述计算机可读介质可 以是上述电子设备中所包含 的； 也可以是单独存在， 而未 装配入该 电子设备中。 在一些实施例中， 还提供了一种计算机程序， 包括： 指令， 指令当由处理器执行 时使处理 器执行上述任一个实 施例的方法。 例如， 指令可以体现为计算机程序代码。 在一些实施例中， 还提供了一种计算机程序， 包括： 指令， 所述指令当由处理器 执行时使所 述处理器执行上述任一个 实施例中的图像的标注方法 、 机器学习模型的训 练方法或者 图像的分类方法。 在一些实施例中， 还提供了一种计算机程序产 品， 包括指令， 所述指令当由处理 器执行时使 所述处理器执行根据上述 任一个实施例中的图像 的标注方法、 机器学习模 型的训练方 法或者图像的分类方法 。 在本公开的实施例中 ， 可以以一种或多种程序设计语言或其组合来编写用于 执行 本公开的操 作的计算机程序代码， 上述程序设计语言包括但不 限于面向对象的程序设 计语言， 诸如 Java、 Smalltalk, C++， 还包括常规的过程式程序设计语言， 诸如 “C” 语言或类似 的程序设计语言。 程序代码可以完全地在用户计算机 上执行、 部分地在用 户计算机上 执行、 作为一个独立的软件包执行、 部分在用户计算机上部分在远程计算 机上执行 、 或者完全在远程计算机或服务器上执行。 在涉及远程计算机的情形中， 远 程计算机 可以通过任意种类 的网络 (， 包括局域网 (LAN)或广域网 (WAN))连接到用户 计算机 ，或者，可以连接到外部计算机 (例如利用因特网服务提供商来通过因特网连接)。 附图中的流程图和框 图， 图示了按照本公开各种实施例的系统、 方法和计算机程 序产品 的可能实现的体系架构、 功能和操作。 在这点上， 流程图或框图中的每个方框 可以代表一 个模块、 程序段、 或代码的一部分， 该模块、 程序段、 或代码的一部分包 含一个或 多个用于实现规定的逻辑功 能的可执行指令。 也应当注意， 在有些作为替换 的实现 中， 方框中所标注的功能也可以以不同于附图中所标注 的顺序发生。 例如， 两 个接连地表 示的方框实际上可以基本 并行地执行， 它们有时也可以按相反的顺序执行， 这依所涉及 的功能而定。 也要注意的是， 框图和 /或流程图中的每个方框、 以及框图和 /或流程图中的方框的组合 ，可以用执行规定的功能或操作的专用 的基于硬件的系统来 实现， 或者可以用专用硬件与计算机 指令的组合来实现。 描述于本公开实施 例中所涉及到的模块 、 部件或单元可以通过软件的方式实现 ， 也可以通过 硬件的方式来实现。 其中， 模块、 部件或单元的名称在某种情况下并不构 成对该模块 、 部件或单元本身的限定。 本文中以上描述的功 能可以至少部分地由一个或 多个硬件逻辑部件来执行 。 例如, 非限制性地 ， 可以使用的示例性的硬件逻辑部件包括： 现场可编程门阵列 (FPGA)、专 用集成 电路 (ASIC)、 专用标准产品 (ASSP)、 片上系统 (SOC)、 复杂可编程逻辑设备 (CPLD)等等。 以上描述仅为本公开 的一些实施例以及对所运用 技术原理的说明。 本领域技术人 员应当理解 ， 本公开中所涉及的公开范围， 并不限于上述技术特征的特定组合而成的 技术方案 ， 同时也应涵盖在不脱离上述公开构思的情况下， 由上述技术特征或其等同 特征进行任 意组合而形成的其它技术 方案。例如上述特征与本公开中公开的 (但不限于) 具有类似功 能的技术特征进行互相 替换而形成的技术方案 。 在本文提供的描述 中， 阐述了许多特定细节。 然而， 理解的是， 可以在没有这些 特定细节 的情况下实施本发 明的实施例。 在其他情况下， 为了不模糊该描述的理解， 没有对众所 周知的方法、 结构和技术进行详细展示。 此外， 虽然采用特定次序描绘了各操作， 但是这不应当理解为要求这些操作 以所 示出的特 定次序或以顺序次序执行来 执行。 在一定环境下， 多任务和并行处理可能是 有利的。 同样地， 虽然在上面论述中包含了若干具体实现细节， 但是这些不应当被解 释为对本公开 的范围的限制。 在单独的实施例的上下文中描述 的某些特征还可以组合 地实现在单个 实施例中。 相反地， 在单个实施例的上下文中描述的各种特征也可以单 独地或 以任何合适的子组合的方式实现在 多个实施例中。 虽然已经通过示例对本 公开的一些特定实施例进行 了详细说明， 但是本领域的技 术人员应该 理解， 以上示例仅是为了进行说明， 而不是为了限制本公开的范围。 本领 域的技术人 员应该理解， 可在不脱离本公开的范围和精神的情况 下， 对以上实施例进 行修改。 本公开的范围由所附权利要求 来限定。

Claims

权 利 要 求
1. 一种图像的标注方法， 包括： 根据多种用于图像标注 的属性以及每一种属性对应 的多个标签， 生成每一个待标 注图像的 图像标签向量； 根据每一个图像标签 向量与每一个图像类别的类别 标签向量的向量相似度 ， 标注 所述每一个 待标注图像属于的图像类别 ， 所述类别标签向量根据所述每一种属性对应 的多个标签 生成。
2. 根据权利要求 1所述的标注方法， 还包括： 根据标签之间的标签相似 度， 对每一种属性相应的多个标签进行排序， 确定各标 签对应的序 号， 排序越接近的标签之间的标签相似度越大， 所述图像标签向量和所述 类别标签 向量根据所述各标签对应 的序号生成。
3. 根据权利要求 1所述的标注方法， 其中， 所述根据多种用于图像标注的属性以 及每一种属 性对应的多个标签， 生成每一个待标注图像的图像标 签向量包括： 根据每一个待标注图像 的特征信息， 确定每一个待标注图像对应的标签， 以生成 每一个待标注 图像对应的图像标签 向量。
4. 根据权利要求 1所述的标注方法， 其中， 所述多种用于图像标注的属性之间相 互独立。
5. 根据权利要求 1所述的标注方法， 其中， 所述每一种属性对应的多个标签能够 覆盖该属性对 应的全部属性类别。
6. 根据权利要求 1-5任一项所述的标注方法， 其中， 所述多种用于图像标注的属 性根据待标注 对象的特征信息确定， 所述图像类别为各待标注 图像中待标注对象的类 别。
7. 根据权利要求 6所述的标注方法， 其中， 所述特征信息为待标注对象的形体特 征或面貌特 征中的至少一项。
8. 根据权利要求 1-5任一项所述的标注方法， 还包括： 根据每一个待标注图像 与其属于的图像类别的参考 图像之间的图像相似度 ， 检测 每一个待标注 图像的标注结果是否正确 。
9. 根据权利要求 8所述的标注方法， 其中， 所述根据每一个待标注图像与其属于 的图像类别 的参考图像之间的图像相似 度， 检测每一个待标注图像的标注结果是否正 确包括： 根据每一个待标 注图像中待标注 目标与其属于 的图像类别的参考 图像中参考 目 标之间的 图像相似度， 检测每一个待标注图像的标注结果是否正 确。
10. —种机器学习模型的训练方法 ， 包括： 通过权利要求 1-9任一项所述的图像的标注方法， 对训练图像集合中的图像进行 标注； 利用标注后的训练图像集 合， 训练用于图像分类的机器学习模型。
11. 一种图像的分类方法， 包括： 利用机器学习模型处理 待分类图像， 确定待分类图像属于的图像类别， 所述机器 学习模型利 用权利要求 10所述的机器学习模型 的训练方法进行训练。
12. —种图像的标注装置， 包括： 生成单元， 用于根据多种用于图像标注 的属性以及每一种属 性对应的多个标签 ， 生成每一个 待标注图像的图像标签 向量； 标注单元， 用于根据每一个图像标签向量与每一个 图像类别的类别标签向量 的向 量相似度 ， 标注所述每一个待标注图像属于的图像类别， 所述类别标签向量根据所述 每一种属性对 应的多个标签生成。
13. 根据权利要求 12所述的标注装置， 还包括： 检测单元， 用于根据每一个待标注图像与其属于 的图像类别的参考图像之 间的图 像相似度 ， 检测每一个待标注图像的标注结果是否正确。
14. 一种机器学习模型的训练装置， 包括： 标注单元， 用于通过权利要求 1-9任一项所述的图像的标注方法 ， 对训练图像集 合中的图像进 行标注； 训练单元，用于利用标注后的训练 图像集合，训练用于图像分类的机器学 习模型。
15. —种图像的分类装置， 包括： 处理器， 用于利用机器学习模型处理待分类图像 ， 确定待分类图像属于的图像类 别， 所述机器学习模型利用权利要求 10所述的机器学习模型的训练方法进行 训练。
16. 一种电子设备， 包括： 存储器； 和 耦接至所述存储器的处理 器， 所述处理器被配置为基于存储在所述存储器 中的指 令， 执行权利要求 1-9任一项所述的图像的标注方法、权利要求 10所述的机器学习模 型的训练方法 或者权利要求 11所述的图像的分类方法。
17. —种非易失性计算机可读 存储介质， 其上存储有计算机程序， 该程序被处理 器执行时实 现权利要求 1-9任一项所述的图像的标注方法、权利要求 10所述的机器学 习模型的训 练方法或者权利要求 11所述的图像的分类方法。
18. —种计算机程序， 包括： 指令， 所述指令当由处理器执行时使所述处理器执 行根据权利要求 1-9任一项所 述的图像 的标注方法、 权利要求 10所述的机器学习模型的训练方法或 者权利要求 11 所述的图像 的分类方法。
19.一种计算机程序产品， 包括指令， 所述指令当由处理器执行时使所述处理器执 行根据权利 要求 1-9任一项所述的图像的标注方法、权利要求 10所述的机器学习模型 的训练方法 或者权利要求 11所述的图像的分类方法。
PCT/SG2022/050331 2021-07-29 2022-05-18 图像的标注方法、分类方法和机器学习模型的训练方法 Ceased WO2023009059A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110862466.2A CN115700831A (zh) 2021-07-29 2021-07-29 图像的标注方法、分类方法和机器学习模型的训练方法
CN202110862466.2 2021-07-29

Publications (1)

Publication Number Publication Date
WO2023009059A1 true WO2023009059A1 (zh) 2023-02-02

Family

ID=85037942

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/SG2022/050331 Ceased WO2023009059A1 (zh) 2021-07-29 2022-05-18 图像的标注方法、分类方法和机器学习模型的训练方法

Country Status (3)

Country Link
US (1) US20230030740A1 (zh)
CN (1) CN115700831A (zh)
WO (1) WO2023009059A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070172099A1 (en) * 2006-01-13 2007-07-26 Samsung Electronics Co., Ltd. Scalable face recognition method and apparatus based on complementary features of face image
CN104966099A (zh) * 2015-06-15 2015-10-07 北京航空航天大学 一种基于人脚图像的脚型分类方法
CN106503727A (zh) * 2016-09-30 2017-03-15 西安电子科技大学 一种高光谱图像分类的方法及装置
CN108629373A (zh) * 2018-05-07 2018-10-09 苏州大学 一种图像分类方法、系统、设备及计算机可读存储介质
CN112784861A (zh) * 2019-11-07 2021-05-11 北京沃东天骏信息技术有限公司 相似度的确定方法、装置、电子设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189880B2 (en) * 2007-05-29 2012-05-29 Microsoft Corporation Interactive photo annotation based on face clustering
CN109766904A (zh) * 2015-07-27 2019-05-17 蚌埠医学院 医学领域图像语义相似度矩阵的改进算法
CN109934306A (zh) * 2019-04-04 2019-06-25 西南石油大学 基于随机游走的多标签属性值划分方法和装置
CN110110611A (zh) * 2019-04-16 2019-08-09 深圳壹账通智能科技有限公司 人像属性模型构建方法、装置、计算机设备和存储介质
CN111444388B (zh) * 2020-03-30 2023-06-30 杭州小影创新科技股份有限公司 一种基于随机游走的视频标签排序方法
CN112765382A (zh) * 2021-01-20 2021-05-07 上海依图网络科技有限公司 图像搜索方法及其装置、介质和电子设备
CN113065355B (zh) * 2021-05-12 2022-08-26 清华大学 专业百科命名实体识别方法、系统及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070172099A1 (en) * 2006-01-13 2007-07-26 Samsung Electronics Co., Ltd. Scalable face recognition method and apparatus based on complementary features of face image
CN104966099A (zh) * 2015-06-15 2015-10-07 北京航空航天大学 一种基于人脚图像的脚型分类方法
CN106503727A (zh) * 2016-09-30 2017-03-15 西安电子科技大学 一种高光谱图像分类的方法及装置
CN108629373A (zh) * 2018-05-07 2018-10-09 苏州大学 一种图像分类方法、系统、设备及计算机可读存储介质
CN112784861A (zh) * 2019-11-07 2021-05-11 北京沃东天骏信息技术有限公司 相似度的确定方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
US20230030740A1 (en) 2023-02-02
CN115700831A (zh) 2023-02-07

Similar Documents

Publication Publication Date Title
US11436739B2 (en) Method, apparatus, and storage medium for processing video image
US9349076B1 (en) Template-based target object detection in an image
CN108416310B (zh) 用于生成信息的方法和装置
US20180204061A1 (en) Vision intelligence management for electronic devices
WO2019147413A1 (en) Face synthesis
US11928183B2 (en) Image processing method, image processing device and computer readable medium, for acquiring image sample data for training an attribute recognition model
CN110175657B (zh) 一种图像多标签标记方法、装置、设备及可读存储介质
CN111783626B (zh) 图像识别方法、装置、电子设备及存储介质
WO2020024484A1 (zh) 用于输出数据的方法和装置
WO2020062493A1 (zh) 图像处理方法和装置
US20230035995A1 (en) Method, apparatus and storage medium for object attribute classification model training
WO2019080702A1 (zh) 图像处理方法和装置
CN111753618B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
WO2021203882A1 (zh) 姿态检测及视频处理方法、装置、电子设备和存储介质
WO2020244151A1 (zh) 图像处理方法、装置、终端及存储介质
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device
WO2023142927A1 (zh) 用于获得推荐解释的方法、设备和计算机可读介质
CN116802683A (zh) 图像的处理方法和系统
CN113762303A (zh) 图像分类方法、装置、电子设备及存储介质
CN113361384B (zh) 人脸识别模型压缩方法、设备、介质及计算机程序产品
CN108446658A (zh) 用于识别人脸图像的方法和装置
CN111124863A (zh) 智能设备性能测试方法、装置及智能设备
CN111291902A (zh) 后门样本的检测方法、装置和电子设备
WO2023009058A1 (zh) 图像属性分类方法、装置、电子设备、介质和程序产品
CN110765917A (zh) 适用于人脸识别模型训练的主动学习方法、装置、终端、介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22849989

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22849989

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 22849989

Country of ref document: EP

Kind code of ref document: A1