WO2023029348A1 - 基于人工智能的图像实例标注方法及相关设备 - Google Patents

基于人工智能的图像实例标注方法及相关设备 Download PDF

Info

Publication number
WO2023029348A1
WO2023029348A1 PCT/CN2022/071328 CN2022071328W WO2023029348A1 WO 2023029348 A1 WO2023029348 A1 WO 2023029348A1 CN 2022071328 W CN2022071328 W CN 2022071328W WO 2023029348 A1 WO2023029348 A1 WO 2023029348A1
Authority
WO
WIPO (PCT)
Prior art keywords
instance
label
score
detection frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2022/071328
Other languages
English (en)
French (fr)
Inventor
王俊
高鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2023029348A1 publication Critical patent/WO2023029348A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Definitions

  • the present application relates to the technical field of artificial intelligence, in particular to an artificial intelligence-based image instance labeling method, device, electronic equipment, and storage medium.
  • the training data set is a data set with rich label information, and collecting and labeling such a training data set usually requires a huge human cost.
  • image instance segmentation has a higher degree of difficulty, and a large amount of labeled training data is required to truly realize the instance segmentation function.
  • the number of available labeled samples is often insufficient relative to the training scale, or the cost of obtaining samples is too high.
  • annotators with relevant professional knowledge such as doctors
  • the annotation cost of annotators is too high, or the image annotation or judgment cycle is too long, these problems may cause the instance segmentation model to fail. Unable to train effectively.
  • an artificial intelligence-based image instance annotation method which can reduce the number of instances in manually annotated images and improve the accuracy of instances in images annotated by models.
  • the first aspect of the present application provides an artificial intelligence-based image instance labeling method, the method comprising:
  • An instance label of the target image is obtained based on the first label and the second label.
  • the second aspect of the present application provides an artificial intelligence-based image instance labeling device, the device comprising:
  • An instance recognition module used to call a preset instance segmentation model to identify the amount of information of each instance in the target image
  • An instance acquiring module configured to acquire a first information amount higher than a preset information amount threshold and a first instance corresponding to the first information amount from the target image, except for the first instance in the target image
  • the instance of is the second instance
  • a first labeling module configured to manually label the first label of the first instance in the target image
  • a second labeling module configured to pseudo-label the second label of the second instance in the target image based on a semi-supervised learning method
  • a label determining module configured to obtain an instance label of the target image based on the first label and the second label.
  • a third aspect of the present application provides an electronic device, the electronic device includes a processor, and the processor is configured to implement the artificial intelligence-based image instance labeling method when executing a computer program stored in a memory.
  • An instance label of the target image is obtained based on the first label and the second label.
  • the fourth aspect of the present application provides a computer-readable storage medium, where a computer program is stored on the computer-readable storage medium, and when the computer program is executed by a processor, the artificial intelligence-based image instance labeling method is implemented:
  • An instance label of the target image is obtained based on the first label and the second label.
  • the artificial intelligence-based image instance labeling method, device, electronic equipment, and storage medium described in this application identify the amount of information of each instance in the target image by calling the preset instance segmentation model, so as to extract the information from the target image Obtain the first information amount higher than the preset information amount threshold, the first instance corresponding to the first information amount, and the second instance other than the first instance, and then manually mark the first label of the first instance, and the manually marked instance
  • the accuracy of the label is high. Since the second instance has low information content, it is easy to be recognized and labeled by the model.
  • the second label of the second instance is pseudo-labeled based on the semi-supervised learning method, and the labeling efficiency is high.
  • the application can be applied in the field of digital medical treatment, and the examples in medical images are marked. This application only needs to manually label a small number of instances in a target image, instead of labeling all instances in the entire target image, so as to obtain instance labels with high accuracy while reducing the workload of instance labeling.
  • FIG. 1 is a flow chart of an artificial intelligence-based image instance labeling method provided in Embodiment 1 of the present application.
  • FIG. 2 is a schematic diagram of a target image and two corresponding perturbed images provided by an embodiment of the present application.
  • Fig. 3 is a schematic diagram of a first instance of a target image provided by an embodiment of the present application.
  • Fig. 4 is a schematic diagram of a second example of the target image provided by the embodiment of the present application.
  • FIG. 5 is a structural diagram of an artificial intelligence-based image instance tagging device provided in Embodiment 2 of the present application.
  • FIG. 6 is a schematic structural diagram of an electronic device provided in Embodiment 3 of the present application.
  • the artificial intelligence-based image instance tagging method provided in the embodiment of the present application is executed by electronic equipment, and accordingly, the artificial intelligence-based image instance tagging apparatus runs in the electronic device.
  • instances in an image may be marked based on artificial intelligence technology.
  • artificial intelligence is a theory, method, technology and application system that uses digital computers or machines controlled by digital computers to simulate, extend and expand human intelligence, perceive the environment, acquire knowledge and use knowledge to obtain the best results. .
  • Artificial intelligence basic technologies generally include technologies such as sensors, dedicated artificial intelligence chips, cloud computing, distributed storage, big data processing technology, operation/interaction systems, and mechatronics.
  • Artificial intelligence software technology mainly includes computer vision technology, robotics technology, biometrics technology, speech processing technology, natural language processing technology, and machine learning/deep learning.
  • FIG. 1 is a flow chart of an artificial intelligence-based image instance labeling method provided in Embodiment 1 of the present application.
  • the artificial intelligence-based image instance labeling method specifically includes the following steps. According to different requirements, the order of the steps in the flow chart can be changed, and some can be omitted.
  • S11 call the preset instance segmentation model to identify the amount of information of each instance in the target image.
  • the preset instance segmentation model may be a pre-trained machine learning model, which is used to identify instances in the image, so as to obtain the amount of information of the instances.
  • Instances refer to target objects in target images, e.g., pedestrians, cars, bicycles, buildings, etc.
  • the target image refers to the image that needs to be labeled with instances.
  • a target image can contain multiple instances, for example, it can contain dozens of instances. Different types of instances have different recognition difficulties. Therefore, it is necessary to consider whether it is necessary to All instances in the target image are manually annotated. Although all instances in the target image can be manually labeled, the accuracy of manual labeling is higher, but the cost of manual labeling is relatively high, and the efficiency is low. In fact, the number of images completed by manual labeling is limited. of.
  • by identifying the amount of information of the instances in the target image it is determined which instances in the target image are to be marked manually and which entities are to be marked by the instance tagging model according to the amount of information.
  • the artificial intelligence-based image instance labeling method can be applied to a medical scene.
  • the target image is a medical image
  • the instances in the target image are multiple organs.
  • Medical images refer to internal tissues obtained non-invasively for medical treatment or medical research, such as images of the stomach, abdomen, heart, knees, brain, such as computed tomography (CT), magnetic resonance Imaging (Magnetic Resonance Imaging, MRI), ultrasound (ultrasonic, US), X-ray images, EEG, and optical photography images generated by medical instruments.
  • the calling the preset instance segmentation model to identify the amount of information of each instance in the target image includes:
  • the information amount of the corresponding instance is calculated according to the class label score and the corresponding detection frame score and the contour mask score.
  • image enhancement can be achieved through image transformation.
  • the purpose of image enhancement is to increase the amount of image data and enrich the diversity of images, thereby improving the generalization ability of the model.
  • image disturbance may be introduced in a transformation manner, for example, adding noise (Noise) to the image to introduce image disturbance.
  • Image noise is the signal that is disturbed by random signals during image acquisition or transmission, which hinders people's understanding and analysis of images. The introduction of noise increases the difficulty of model identification.
  • the top image in Figure 2 is the target image
  • the middle image is Gaussian noise added to the target image
  • the bottom image is the target image Added salt and pepper noise (pepper noise) on the basis of .
  • the image obtained by adding Gaussian noise on the target image is used as the first perturbed image
  • the image obtained by adding salt and pepper noise on the target image is used as the second perturbed image.
  • Input the image (for example, the target image, the first disturbance image, the second disturbance image) into the instance segmentation model, and the instance segmentation model can output the category label of the instance belonging to a certain category in the image, and use the detection frame to frame the instance in the image
  • the position of , and the instance contour mask of the instance can be trained on the basis of the Faster R-CNN model, and the specific training process will not be described in detail. Investigate the consistency of the model's prediction of the target in the sample. If the prediction result changes little before and after the transformation, it means that the target is easier to predict and has less information. If there is a large difference in the prediction result of the target before and after the transformation, then This local target is the target that the model is more likely to confuse, and it should be actively selected for priority labeling.
  • the class label, instance detection frame and instance contour mask After invoking the preset instance segmentation model to identify the class label, instance detection frame and instance contour mask of each instance in the target image, the first perturbed image and the second perturbed image, the class label, instance detection frame and The instance contour mask is calculated to obtain the class label score, the detection frame score and the contour mask score of the instance, so that the information amount of the corresponding instance is calculated according to the class label score and the corresponding detection frame score and the contour mask score, Further, the first instance and the second instance in the target image are determined according to the amount of information of the instances.
  • the calculating the category label score of each instance based on the first category label, the second category label and the third category label includes:
  • the mean value is used as the category label score of the corresponding instance.
  • the category label score is used to evaluate whether the prediction of the instance segmentation model on the perturbed first and second perturbed images is consistent with the prediction on the target image.
  • the class probability predicted by the instance segmentation model is 0.9
  • the class probability predicted by the instance segmentation model is 0.9
  • the class predicted by the instance segmentation model is A probability of 0.89 indicates that the instance segmentation model has a high prediction consistency for this instance.
  • the class probability predicted by the instance segmentation model is 0.9, in the first perturbed image, the class probability predicted by the instance segmentation model is 0.4, and in the second perturbed image, the class predicted by the instance segmentation model is A probability of 0.7 indicates that the prediction consistency of the instance segmentation model for this instance is low.
  • the calculating the detection frame score of each instance based on the detection frame of the first instance, the detection frame of the second instance, and the detection frame of the third instance includes:
  • the corresponding detection frame score of the instance is calculated based on the first intersection and union ratio and the second intersection and union ratio according to a preset first calculation model.
  • the detection box score is used to evaluate whether the prediction of the instance segmentation model on the perturbed first and second perturbed images is consistent with the prediction on the target image.
  • intersection-over-union ratio represents the degree of overlap between two instance detection frames.
  • the smaller the intersection and union ratio IOU the smaller the overlapping area and the smaller the overlapping degree between the two instance detection frames.
  • the greater the IOU the more similar the prediction of the instance segmentation model is to the target image and the perturbed image corresponding to the IOU, that is, the higher the prediction consistency.
  • the smaller the IOU the less similar the prediction of the instance segmentation model is to the target image and the perturbed image corresponding to the IOU, that is, the lower the prediction consistency.
  • instance L2 is an instance with high information content.
  • the calculating the contour mask score of each instance based on the contour mask of the first instance, the contour mask of the second instance and the contour mask of the third instance includes:
  • a contour mask score corresponding to the instance is calculated based on the first Jaccard distance and the second Jaccard distance according to a preset second calculation model.
  • the instance contour mask is similar to the instance detection box, and is also used to evaluate whether the prediction of the instance segmentation model for the perturbed first and second perturbed images is consistent with the prediction of the target image.
  • Jaccard distance is used to describe the dissimilarity between two contour masks.
  • the larger the Jaccard distance the less overlapping area and lower similarity between two contour masks.
  • the smaller the Jaccard distance the more overlapping areas and higher similarity between two contour masks.
  • the larger the Jaccard distance the less similar the prediction of the instance segmentation model is to the target image and the disturbance image corresponding to the Jaccard distance, that is, the lower the prediction consistency.
  • the smaller the Jaccard distance the more similar the prediction of the instance segmentation model is to the target image and the perturbed image corresponding to the Jaccard distance, that is, the higher the prediction consistency.
  • the calculation of the information amount of the corresponding instance according to the category label score and the corresponding detection frame score and the contour mask score includes:
  • the final score is determined as the informativeness of the instance.
  • the average of the class label score, detection box score, and contour mask of each instance can also be calculated as the final score of the instance.
  • the final score is used to indicate whether the prediction of the instance segmentation model on the first disturbed image and the second disturbed image is consistent with the prediction on the target image.
  • the lower the final score it indicates that the prediction of the instance segmentation model on the first perturbed image and the second perturbed image is inconsistent with the prediction on the target image.
  • the performance of the first disturbed image and the second disturbed image is more unstable.
  • the higher the final score it indicates that the prediction of the instance segmentation model for the first perturbed image and the second perturbed image is consistent with the prediction of the target image, which means that even after the target image is perturbed, the target image and the perturbed image obtained by the instance segmentation model are The performance of the first perturbed image and the second perturbed image is still very stable.
  • the preset information volume threshold is a preset critical value used to indicate the level of information volume.
  • the instance is regarded as the first instance, and when the information volume of a certain instance is lower than the preset information volume threshold, the instance is regarded as the second instance.
  • the first instance refers to a set of multiple instances with an information amount higher than a preset information amount threshold, such as the area enclosed by an ellipse in the target image as shown in FIG. 3 .
  • the second instance refers to a collection of multiple instances whose information volume is lower than the preset information volume threshold, such as the area framed by an irregular figure in the target image as shown in FIG. 4 .
  • the first instance and the second instance completely constitute the set of instances in the image. That is, a certain instance in the target image is either the first instance or the second instance.
  • the prediction consistency of the instance segmentation model for the target image and the first disturbance image and the second disturbance image is low, so it should be done manually Annotation of instances, such as multiple pedestrians with obvious occlusion.
  • the first instance in the target image can be identified, and the first instance can be manually annotated by an expert with rich annotation experience, thereby improving the accuracy rate of the annotation of the first instance.
  • the instance segmentation of the medical image needs to identify multiple instance individuals in the image, and accurately outline multiple lesion areas for intelligent auxiliary diagnosis. Therefore, the instance labeling difficulty index of the medical image Higher, by manually labeling these high-information (difficult to label) instances, the accuracy will be greatly improved.
  • the second instance is an instance in the target image that is lower than the preset information threshold, the prediction consistency of the instance segmentation model for the target image and the first disturbed image and the second disturbed image is relatively high, so the difficulty of labeling is small. Pseudo-annotation of instances by supervised learning can improve the efficiency of labeling target images.
  • the semi-supervised learning method refers to the instance labeling model obtained through the joint training of the labeled sample set and the unlabeled sample set, and instance labeling of the new unlabeled image through the instance labeling model.
  • the instance label output by the instance labeling model is compared with In terms of instance labels that are artificially labeled, they are called pseudo-labels.
  • the instances in the target image are divided into the first instance and the second instance.
  • the instance label of the first instance is the first label
  • the instance label of the second instance is the second label. Therefore, after obtaining the first label and the second label, the target Labels for all instances in the image have been obtained.
  • the method also includes:
  • the annotated image marked with the instance label may refer to an image used to train the instance label model.
  • the target images marked with the instance labels can be added to the real instance labels.
  • Annotated images are used as a training set, so that the instance labeling model is updated based on the training set.
  • the test set includes test images and the real instance labels of each test image, and the test images in the test set are input into the updated instance labeling model, and the test instance labels of the test images are predicted by the updated instance labeling model.
  • the test instance label is the same as the corresponding real instance label, it indicates that the updated instance annotation model is successfully tested on the test image.
  • the test instance label is not the same as the corresponding real instance label, it indicates that the updated instance labeling model fails to test the test image. Calculate the ratio of the number of successful tests to the number of test images in the test set, and use the ratio as the test accuracy of the instance tagging model, and end the training of the instance tagging model when the test accuracy meets a preset accuracy threshold.
  • the number of images with instance labels is greatly increased by using the target images with instance labels, and the instance labeling model can be updated and trained, thereby improving the performance of the instance labeling model.
  • This application marks a small number of instances in the image instead of all instances. For example, instances with occlusion in some areas in the target image are instances with high information content.
  • instances with occlusion in some areas in the target image are instances with high information content.
  • the other instances of other instances have low information content, no manual labeling is required, and the cost of manual labeling is saved. Since the instances with low information content are easier to identify, semi-supervised learning and labeling can improve the accuracy of instance labeling.
  • the labeling efficiency of the instance is improved.
  • This application only needs to manually label a small number of instances in a target image, instead of labeling all instances in the entire target image, so as to obtain instance labels with high accuracy while reducing the workload of instance labeling.
  • This application is suitable for images with complex layouts and mutual occlusion in different areas. Applying this application to the field of intelligent auxiliary recognition of medical images can simultaneously perform region delineation and quantitative evaluation of different target locations and key organ instances, especially for image regions that may be occluded from each other, this application can perform instance segmentation more effectively.
  • FIG. 5 is a structural diagram of an artificial intelligence-based image instance tagging device provided in Embodiment 2 of the present application.
  • the artificial intelligence-based image instance labeling device 50 may include a plurality of functional modules composed of computer program segments.
  • the computer program of each program segment in the image instance tagging device 50 based on artificial intelligence can be stored in the memory of the electronic device, and executed by at least one processor to execute (see Figure 1 for details) based on artificial intelligence.
  • a feature for image instance annotation may include a plurality of functional modules composed of computer program segments.
  • the artificial intelligence-based image instance tagging device 50 can be divided into multiple functional modules according to the functions it performs.
  • the functional modules may include: an instance identification module 501 , an instance acquisition module 502 , a first labeling module 503 , a second labeling module 504 , a label determination module 505 and a model training module 506 .
  • the module referred to in this application refers to a series of computer program segments that can be executed by at least one processor and can complete fixed functions, and are stored in a memory. In this embodiment, the functions of each module will be described in detail in subsequent embodiments.
  • the instance identification module 501 is configured to call a preset instance segmentation model to identify the amount of information of each instance in the target image.
  • the preset instance segmentation model may be a pre-trained machine learning model, which is used to identify instances in the image, so as to obtain the amount of information of the instances.
  • Instances refer to target objects in target images, e.g., pedestrians, cars, bicycles, buildings, etc.
  • the target image refers to the image that needs to be labeled with instances.
  • a target image can contain multiple instances, for example, it can contain dozens of instances. Different types of instances have different recognition difficulties. Therefore, it is necessary to consider whether it is necessary to All instances in the target image are manually annotated. Although all instances in the target image can be manually labeled, the accuracy of manual labeling is higher, but the cost of manual labeling is relatively high, and the efficiency is low. In fact, the number of images completed by manual labeling is limited. of.
  • by identifying the amount of information of the instances in the target image it is determined which instances in the target image are to be marked manually and which entities are to be marked by the instance tagging model according to the amount of information.
  • the artificial intelligence-based image instance labeling method can be applied to a medical scene.
  • the target image is a medical image
  • the instances in the target image are multiple organs.
  • Medical images refer to internal tissues obtained non-invasively for medical treatment or medical research, such as images of the stomach, abdomen, heart, knees, brain, such as computed tomography (CT), magnetic resonance Imaging (Magnetic Resonance Imaging, MRI), ultrasound (ultrasonic, US), X-ray images, EEG, and optical photography images generated by medical instruments.
  • the instance identification module 501 calls a preset instance segmentation model to identify the amount of information of each instance in the target image, including:
  • the information amount of the corresponding instance is calculated according to the class label score and the corresponding detection frame score and the contour mask score.
  • image enhancement can be achieved through image transformation.
  • the purpose of image enhancement is to increase the amount of image data and enrich the diversity of images, thereby improving the generalization ability of the model.
  • image disturbance may be introduced in a transformation manner, for example, adding noise (Noise) to the image to introduce image disturbance.
  • Image noise is the signal that is disturbed by random signals during image acquisition or transmission, which hinders people's understanding and analysis of images. The introduction of noise increases the difficulty of model identification.
  • the top image in Figure 2 is the target image
  • the middle image is Gaussian noise added to the target image
  • the bottom image is the target image Added salt and pepper noise (pepper noise) on the basis of .
  • the image obtained by adding Gaussian noise on the target image is used as the first perturbed image
  • the image obtained by adding salt and pepper noise on the target image is used as the second perturbed image.
  • Input the image (for example, the target image, the first disturbance image, the second disturbance image) into the instance segmentation model, and the instance segmentation model can output the category label of the instance belonging to a certain category in the image, and use the detection frame to frame the instance in the image
  • the position of , and the instance contour mask of the instance can be trained on the basis of the Faster R-CNN model, and the specific training process will not be described in detail. Investigate the consistency of the model's prediction of the target in the sample. If the prediction result changes little before and after the transformation, it means that the target is easier to predict and has less information. If there is a large difference in the prediction result of the target before and after the transformation, then This local target is the target that the model is more likely to confuse, and it should be actively selected for priority labeling.
  • the class label, instance detection frame and instance contour mask After invoking the preset instance segmentation model to identify the class label, instance detection frame and instance contour mask of each instance in the target image, the first perturbed image and the second perturbed image, the class label, instance detection frame and The instance contour mask is calculated to obtain the class label score, the detection frame score and the contour mask score of the instance, so that the information amount of the corresponding instance is calculated according to the class label score and the corresponding detection frame score and the contour mask score, Further, the first instance and the second instance in the target image are determined according to the amount of information of the instances.
  • the calculating the category label score of each instance based on the first category label, the second category label and the third category label includes:
  • the mean value is used as the category label score of the corresponding instance.
  • the category label score is used to evaluate whether the prediction of the instance segmentation model on the perturbed first and second perturbed images is consistent with the prediction on the target image.
  • the class probability predicted by the instance segmentation model is 0.9
  • the class probability predicted by the instance segmentation model is 0.9
  • the class predicted by the instance segmentation model is A probability of 0.89 indicates that the instance segmentation model has a high prediction consistency for this instance.
  • the class probability predicted by the instance segmentation model is 0.9, in the first perturbed image, the class probability predicted by the instance segmentation model is 0.4, and in the second perturbed image, the class predicted by the instance segmentation model is A probability of 0.7 indicates that the prediction consistency of the instance segmentation model for this instance is low.
  • the calculating the detection frame score of each instance based on the detection frame of the first instance, the detection frame of the second instance, and the detection frame of the third instance includes:
  • the corresponding detection frame score of the instance is calculated based on the first intersection and union ratio and the second intersection and union ratio according to a preset first calculation model.
  • the detection box score is used to evaluate whether the prediction of the instance segmentation model on the perturbed first and second perturbed images is consistent with the prediction on the target image.
  • intersection-over-union ratio represents the degree of overlap between two instance detection frames.
  • the smaller the intersection and union ratio IOU the smaller the overlapping area and the smaller the overlapping degree between the two instance detection frames.
  • the greater the IOU the more similar the prediction of the instance segmentation model is to the target image and the perturbed image corresponding to the IOU, that is, the higher the prediction consistency.
  • the smaller the IOU the less similar the prediction of the instance segmentation model is to the target image and the perturbed image corresponding to the IOU, that is, the lower the prediction consistency.
  • instance L2 is an instance with high information content.
  • the calculating the contour mask score of each instance based on the contour mask of the first instance, the contour mask of the second instance and the contour mask of the third instance includes:
  • a contour mask score corresponding to the instance is calculated based on the first Jaccard distance and the second Jaccard distance according to a preset second calculation model.
  • the instance contour mask is similar to the instance detection box, and is also used to evaluate whether the prediction of the instance segmentation model for the perturbed first and second perturbed images is consistent with the prediction of the target image.
  • Jaccard distance is used to describe the dissimilarity between two contour masks.
  • the larger the Jaccard distance the less overlapping area and lower similarity between two contour masks.
  • the smaller the Jaccard distance the more overlapping areas and higher similarity between two contour masks.
  • the larger the Jaccard distance the less similar the prediction of the instance segmentation model is to the target image and the disturbance image corresponding to the Jaccard distance, that is, the lower the prediction consistency.
  • the smaller the Jaccard distance the more similar the prediction of the instance segmentation model is to the target image and the perturbed image corresponding to the Jaccard distance, that is, the higher the prediction consistency.
  • the calculation of the information amount of the corresponding instance according to the category label score and the corresponding detection frame score and the contour mask score includes:
  • the final score is determined as the informativeness of the instance.
  • the average of the class label score, detection box score, and contour mask of each instance can also be calculated as the final score of the instance.
  • the final score is used to indicate whether the prediction of the instance segmentation model on the first disturbed image and the second disturbed image is consistent with the prediction on the target image.
  • the lower the final score it indicates that the prediction of the instance segmentation model on the first perturbed image and the second perturbed image is inconsistent with the prediction on the target image.
  • the performance of the first disturbed image and the second disturbed image is more unstable.
  • the higher the final score it indicates that the prediction of the instance segmentation model for the first perturbed image and the second perturbed image is consistent with the prediction of the target image, which means that even after the target image is perturbed, the target image and the perturbed image obtained by the instance segmentation model are The performance of the first perturbed image and the second perturbed image is still very stable.
  • the instance obtaining module 502 is configured to obtain a first information amount higher than a preset information amount threshold and a first instance corresponding to the first information amount from the target image, except for the first instance in the target image An instance other than one instance is a second instance.
  • the preset information volume threshold is a preset critical value used to indicate the level of information volume.
  • the instance is regarded as the first instance, and when the information volume of a certain instance is lower than the preset information volume threshold, the instance is regarded as the second instance.
  • the first instance refers to a set of multiple instances with an information amount higher than a preset information amount threshold, such as the area enclosed by an ellipse in the target image as shown in FIG. 3 .
  • the second instance refers to a collection of multiple instances whose information volume is lower than the preset information volume threshold, such as the area framed by an irregular figure in the target image as shown in FIG. 4 .
  • the first instance and the second instance completely constitute the set of instances in the image. That is, a certain instance in the target image is either the first instance or the second instance.
  • the first labeling module 503 is configured to manually label the first label of the first instance in the target image.
  • the prediction consistency of the instance segmentation model for the target image and the first disturbance image and the second disturbance image is low, so it should be done manually Annotation of instances, such as multiple pedestrians with obvious occlusion.
  • the first instance in the target image can be identified, and the first instance can be manually annotated by an expert with rich annotation experience, thereby improving the accuracy rate of the annotation of the first instance.
  • the instance segmentation of the medical image needs to identify multiple instance individuals in the image, and accurately outline multiple lesion areas for intelligent auxiliary diagnosis. Therefore, the instance labeling difficulty index of the medical image Higher, by manually labeling these high-information (difficult to label) instances, the accuracy will be greatly improved.
  • the second labeling module 504 is configured to pseudo-label the second label of the second instance in the target image based on a semi-supervised learning method.
  • the second instance is an instance in the target image that is lower than the preset information threshold, the prediction consistency of the instance segmentation model for the target image and the first disturbed image and the second disturbed image is relatively high, so the difficulty of labeling is small. Pseudo-annotation of instances by supervised learning can improve the efficiency of labeling target images.
  • the semi-supervised learning method refers to the instance labeling model obtained through the joint training of the labeled sample set and the unlabeled sample set, and instance labeling of the new unlabeled image through the instance labeling model.
  • the instance label output by the instance labeling model is compared with In terms of instance labels that are artificially labeled, they are called pseudo-labels.
  • the label determining module 505 is configured to obtain an instance label of the target image based on the first label and the second label.
  • the instances in the target image are divided into the first instance and the second instance.
  • the instance label of the first instance is the first label
  • the instance label of the second instance is the second label. Therefore, after obtaining the first label and the second label, the target Labels for all instances in the image have been obtained.
  • model training module 506 is configured to:
  • the annotated image marked with the instance label may refer to an image used to train the instance label model.
  • the target images marked with the instance labels can be added to the real instance labels.
  • Annotated images are used as a training set, so that the instance labeling model is updated based on the training set.
  • the test set includes test images and the real instance labels of each test image, and the test images in the test set are input into the updated instance labeling model, and the test instance labels of the test images are predicted by the updated instance labeling model.
  • the test instance label is the same as the corresponding real instance label, it indicates that the updated instance annotation model is successfully tested on the test image.
  • the test instance label is not the same as the corresponding real instance label, it indicates that the updated instance labeling model fails to test the test image. Calculate the ratio of the number of successful tests to the number of test images in the test set, and use the ratio as the test accuracy of the instance tagging model, and end the training of the instance tagging model when the test accuracy meets a preset accuracy threshold.
  • the number of images with instance labels is greatly increased by using the target images with instance labels, and the instance labeling model can be updated and trained, thereby improving the performance of the instance labeling model.
  • This application marks a small number of instances in the image instead of all instances. For example, instances with occlusion in some areas in the target image are instances with high information content.
  • instances with occlusion in some areas in the target image are instances with high information content.
  • the other instances of other instances have low information content, no manual labeling is required, and the cost of manual labeling is saved. Since the instances with low information content are easier to identify, semi-supervised learning and labeling can improve the accuracy of instance labeling.
  • the labeling efficiency of the instance is improved.
  • This application only needs to manually label a small number of instances in a target image, instead of labeling all instances in the entire target image, so as to obtain instance labels with high accuracy while reducing the workload of instance labeling.
  • This application is suitable for images with complex layouts and mutual occlusion in different areas. Applying this application to the field of intelligent auxiliary recognition of medical images can simultaneously perform region delineation and quantitative evaluation of different target locations and key organ instances, especially for image regions that may be occluded from each other, this application can perform instance segmentation more effectively.
  • This embodiment provides a computer-readable storage medium, on which a computer program is stored.
  • the steps in the above-mentioned embodiment of the method for tagging an image instance based on artificial intelligence are implemented, for example, 1 shows S11-S15:
  • modules 501-505 in FIG. 5 are realized, such as modules 501-505 in FIG. 5:
  • the instance recognition module 501 is used to call a preset instance segmentation model to identify the amount of information of each instance in the target image;
  • the instance obtaining module 502 is configured to obtain a first information amount higher than a preset information amount threshold and a first instance corresponding to the first information amount from the target image, except for the first instance in the target image an instance other than an instance is a second instance;
  • the first labeling module 503 is configured to manually label the first label of the first instance in the target image
  • the second labeling module 504 is configured to pseudo-label the second label of the second instance in the target image based on a semi-supervised learning method
  • the label determining module 505 is configured to obtain an instance label of the target image based on the first label and the second label.
  • the electronic device 6 includes a memory 61 , at least one processor 62 , at least one communication bus 63 and a transceiver 64 .
  • the structure of the electronic device shown in Figure 6 does not constitute a limitation of the embodiment of the present application, it can be a bus structure or a star structure, and the electronic device 6 can also include a ratio diagram more or less other hardware or software, or a different arrangement of components.
  • the electronic device 6 is a device that can automatically perform numerical calculation and/or information processing according to preset or stored instructions, and its hardware includes but is not limited to microprocessors, application-specific integrated circuits, Programmable gate arrays, digital processors and embedded devices, etc.
  • the electronic device 6 may also include a client device, which includes but is not limited to any electronic product that can interact with the client through a keyboard, mouse, remote control, touch pad or voice control device, for example, Personal computers, tablets, smartphones, digital cameras, etc.
  • the electronic device 6 is only an example, and other existing or future electronic products that can be adapted to this application should also be included in the scope of protection of this application, and are included here by reference .
  • a computer program is stored in the memory 61, and when the computer program is executed by the at least one processor 62, all or part of the steps in the above-mentioned method for tagging image instances based on artificial intelligence are implemented.
  • Described memory 61 comprises volatile and nonvolatile memory, such as Random Access Memory (Random Access Memory, RAM), Read-Only Memory (Read-Only Memory, ROM), Programmable Read-Only Memory (Programmable Read-Only Memory, PROM), erasable programmable read-only memory (Erasable Programmable Read-Only Memory, EPROM), one-time programmable read-only memory (One-time Programmable Read-Only Memory, OTPROM), electronic erasable rewritable only Read-only memory (Electrically-Erasable Programmable Read-Only Memory, EEPROM), read-only CD-ROM (Compact Disc Read-Only Memory, CD-ROM) or other optical disk storage, disk storage, tape storage, or can be used to
  • the computer-readable storage medium may be non-volatile or volatile. Further, the computer-readable storage medium may mainly include a program storage area and a data storage area, wherein the program storage area may store an operating system, an application program required by at least one function, etc.; The data created using the node, etc.
  • Blockchain essentially a decentralized database, is a series of data blocks associated with each other using cryptographic methods. Each data block contains a batch of network transaction information, which is used to verify its Validity of information (anti-counterfeiting) and generation of the next block.
  • the blockchain can include the underlying platform of the blockchain, the platform product service layer, and the application service layer.
  • the at least one processor 62 is the control core (Control Unit) of the electronic device 6, and uses various interfaces and lines to connect the various components of the entire electronic device 6, by running or executing the The programs or modules in the memory 61 and call the data stored in the memory 61 to execute various functions of the electronic device 6 and process data.
  • the at least one processor 62 executes the computer program stored in the memory, it realizes all or part of the steps of the artificial intelligence-based image instance labeling method described in the embodiment of the present application; or realizes the artificial intelligence-based image instance labeling method. Label all or part of the functionality of the device.
  • the at least one processor 62 may be composed of an integrated circuit, for example, may be composed of a single packaged integrated circuit, or may be composed of multiple integrated circuits with the same function or different functions, including one or more central processing units (Central Processing unit, CPU), microprocessor, digital processing chip, graphics processor and a combination of various control chips, etc.
  • CPU central processing unit
  • microprocessor microprocessor
  • digital processing chip graphics processor
  • graphics processor a combination of various control chips, etc.
  • the at least one communication bus 63 is configured to implement communication between the memory 61 and the at least one processor 62 and the like.
  • the electronic device 6 can also include a power supply (such as a battery) for supplying power to each component.
  • the power supply can be logically connected to the at least one processor 62 through a power management device, thereby realizing Manage functions such as charging, discharging, and power management.
  • the power supply may also include one or more DC or AC power supplies, recharging devices, power failure detection circuits, power converters or inverters, power status indicators and other arbitrary components.
  • the electronic device 6 may also include various sensors, Bluetooth modules, Wi-Fi modules, etc., which will not be repeated here.
  • the above-mentioned integrated units implemented in the form of software function modules can be stored in a computer-readable storage medium.
  • the above-mentioned software function modules are stored in a storage medium, and include several instructions to make a computer device (which may be a personal computer, electronic device, or network device, etc.) or a processor (processor) execute the methods described in various embodiments of the present application part.
  • the modules described as separate components may or may not be physically separated, and the components displayed as modules may or may not be physical units, and may be located in one place or distributed to multiple network units. Part or all of the modules can be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • each functional module in each embodiment of the present application may be integrated into one processing unit, each unit may exist separately physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated units can be implemented in the form of hardware, or in the form of hardware plus software function modules.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术领域，提供一种基于人工智能的图像实例标注方法及相关设备，通过调用预设实例分割模型识别目标图像中每个实例的信息量，从而从目标图像中获取高于预设信息量阈值的第一信息量、第一信息量对应的第一实例及除第一实例外的第二实例，进而通过人工标注第一实例的第一标签，人工标注的实例标签的准确度高，由于第二实例的信息量低，容易被模型识别和标注，则基于半监督学习方式伪标注第二实例的第二标签，标注效率高，基于所述第一标签和所述第二标签得到目标图像的实例标签。本申请可以应用于数字医疗领域，对医学图像中的实例进行标注。

Description

基于人工智能的图像实例标注方法及相关设备
本申请要求于2021年08月30日提交中国专利局、申请号为202111005698.2，发明名称为“基于人工智能的图像实例标注方法及相关设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能技术领域，具体涉及一种基于人工智能的图像实例标注方法、装置、电子设备及存储介质。
背景技术
随着深度学习的不断发展，计算机视觉取得了越来越大的成功，而这要归功于大型训练数据集的支持。训练数据集是带有丰富标注信息的数据集，收集并标注这样的训练数据集通常需要庞大的人力成本。
发明人意识到，与图像分类技术相比，图像实例分割难度系数更高，必须要大量具有标注的训练数据才能真正实现实例分割功能。但是，可获取的有标注样本数量相对于训练规模来说往往不足，或者获取样本的代价过高。在很多情况下，具备相关专业知识的标注人员(如医生)稀缺或难以抽出时间，或者标注人员的标注成本过高，再或者图像的标注或判断周期过长，这些问题都可能导致实例分割模型无法有效训练。
因此，如何能够得到大量的用于图像实例分割模型训练的样本成为了本领域技术人员的一个研究热点。
发明内容
鉴于以上内容，有必要提出一种基于人工智能的图像实例标注方法、装置、电子设备及存储介质，能够减少人工标注图像中实例的数量，并提高模型标注图像中实例的准确度。
本申请的第一方面提供一种基于人工智能的图像实例标注方法，所述方法包括：
调用预设实例分割模型识别目标图像中每个实例的信息量；
从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例；
通过人工标注所述目标图像中的所述第一实例的第一标签；
基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签；
基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
本申请的第二方面提供一种基于人工智能的图像实例标注装置，所述装置包括：
实例识别模块，用于调用预设实例分割模型识别目标图像中每个实例的信息量；
实例获取模块，用于从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例；
第一标注模块，用于通过人工标注所述目标图像中的所述第一实例的第一标签；
第二标注模块，用于基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签；
标签确定模块，用于基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
本申请的第三方面提供一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述基于人工智能的图像实例标注方法。
调用预设实例分割模型识别目标图像中每个实例的信息量；
从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例；
通过人工标注所述目标图像中的所述第一实例的第一标签；
基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签；
基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
本申请的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于人工智能的图像实例标注方法：
调用预设实例分割模型识别目标图像中每个实例的信息量；
从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例；
通过人工标注所述目标图像中的所述第一实例的第一标签；
基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签；
基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
综上所述，本申请所述的基于人工智能的图像实例标注方法、装置、电子设备及存储介质，通过调用预设实例分割模型识别目标图像中每个实例的信息量，从而从目标图像中获取高于预设信息量阈值的第一信息量、第一信息量对应的第一实例及除第一实例外的第二实例，进而通过人工标注第一实例的第一标签，人工标注的实例标签的准确度高，由于第二实例的信息量低，容易被模型识别和标注，则基于半监督学习方式伪标注第二实例的第二标签，标注效率高，基于所述第一标签和所述第二标签得到目标图像的实例标签。本申请可以应用于数字医疗领域，对医学图像中的实例进行标注。本申请只需要人工标注一张目标图像中的少量实例，而不是对全整个目标图像中的实例都进行标注，在减小实例标注工作量的同时得到准确度较高的实例标签。
附图说明
图1是本申请实施例一提供的基于人工智能的图像实例标注方法的流程图。
图2是本申请实施例提供的目标图像及对应的两个扰动图像的示意图。
图3是本申请实施例提供的目标图像中的第一实例的示意图。
图4是本申请实施例提供的目标图像中的第二实例的示意图。
图5是本申请实施例二提供的基于人工智能的图像实例标注装置的结构图。
图6是本申请实施例三提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述在一个可选的实施方式中实施例的目的，不是旨在于限制本申请。
本申请实施例提供的基于人工智能的图像实例标注方法由电子设备执行，相应地，基于人工智能的图像实例标注装置运行于电子设备中。
本申请实施例可以基于人工智能技术对图像中的实例进行标注。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
实施例一
图1是本申请实施例一提供的基于人工智能的图像实例标注方法的流程图。所述基于人工智能的图像实例标注方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可 以改变，某些可以省略。
S11，调用预设实例分割模型识别目标图像中每个实例的信息量。
预设实例分割模型可以为预先训练得到的机器学习模型，用于对图像中的实例进行识别，从而获得实例的信息量。实例是指目标图像中的目标对象，例如，行人，汽车，自行车，建筑物等。
目标图像是指需要进行实例标注的图像，一张目标图像中可以包含多个实例，例如，可以包含几十个实例，不同类别的实例的识别难度各异，因此，需要考虑是否需要对这张目标图像中的所有实例均进行人工标注。虽然可以通过人工的方式对目标图像中的所有实例均进行人工标注，人工标注准确度更高，但是人工标注成本较大，且效率较低，事实上通过人工标注完成的图像的数量是受到限制的。本实施例通过识别目标图像中的实例的信息量，根据信息量确定目标图像中哪些实例进行人工标注，哪些实体通过实例标注模型进行标注。
在一些实施例中，基于人工智能的图像实例标注方法可以应用于医学场景中，当应用于医学场景时，所述目标图像则为医学图像，所述目标图像中的实例则为多个器官。医学图像是指为了医疗或医学研究，以非侵入方式取得的内部组织，例如，胃部、腹部、心脏、膝盖、脑部的影像，比如，电子计算机断层扫描(Computed Tomography，CT)、磁共振成像(Magnetic Resonance Imaging，MRI)、超声(ultrasonic，US)、X光图像、脑电图以及光学摄影等由医学仪器生成的图像。
在一个可选的实施方式中，所述调用预设实例分割模型识别目标图像中每个实例的信息量包括：
对所述目标图像进行第一扰动得到第一扰动图像，并对所述目标图像进行第二扰动得到第二扰动图像；
调用所述预设实例分割模型识别所述目标图像中每个实例的第一类别标签、第一实例检测框及第一实例轮廓掩码；
调用所述预设实例分割模型识别所述第一扰动图像中每个实例的第二类别标签、第二实例检测框及第二实例轮廓掩码；
调用所述预设实例分割模型识别所述第二扰动图像中每个实例的第三类别标签、第三实例检测框及第三实例轮廓掩码；
基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分；
基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分；
基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分；
根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量。
一般而言，通过图像变换可以实现图像增强，图像增强的目的是为了增加图像的数据量、丰富图像的多样性，从而提高模型的泛化能力。该可选的实施方式中，可以采用变换的方式引入图像扰动，例如，对图像添加噪声(Noise)来引入图像扰动。图像噪声是图像在获取或传输过程中受到随机信号干扰，妨碍人们对图像理解及分析的信号。噪声的引入给模型识别提高了难度。
如图2所示，图2中最上面的一张图像为目标图像，中间的一张图像为在目标图像的基础上添加了高斯噪声(gaussian noise)，最下面的一张图像为在目标图像的基础上添加了椒盐噪声(pepper noise)。将在目标图像上添加高斯噪声得到的图像作为第一扰动图像，将在目标图像上添加椒盐噪声得到的图像作为第二扰动图像。
将图像(例如，目标图像，第一扰动图像，第二扰动图像)输入实例分割模型中，即可通过实例分割模型输出图像中实例属于某个类别的类别标签，并用检测框框出实例在图像中 的位置，及实例的实例轮廓掩码。本实施例的实例分割模型可在Faster R-CNN模型的基础上训练得到，具体训练过程不做详细阐述。考察模型对样本中的目标预测的一致性，如果变换前后预测结果变化较小，说明该目标较容易预测和信息量较少，如果变换前后，该目标的预测结果出现了较大的差异，则该局部目标是模型较容易混淆的目标，应该主动选择它来优先进行标注。
在调用所述预设实例分割模型识别目标图像、第一扰动图像及第二扰动图像中每个实例的类别标签、实例检测框及实例轮廓掩码之后，即可根据类别标签、实例检测框及实例轮廓掩码计算得到实例的类别标签得分、检测框得分及轮廓掩码得分，从而根据类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算得到对应的实例的信息量，进而根据实例的信息量确定目标图像中的第一实例和第二实例。
在一个可选的实施方式中，所述基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分包括：
获取所述第一类别标签对应的第一预测概率、所述第二类别标签的第二预测概率及所述第三类别标签的第三预测概率；
计算所述第一预测概率及对应的所述第二预测概率、所述第三预测概率的概率均值；
将所述均值作为对应的实例的类别标签得分。
类别标签得分用于评价实例分割模型对扰动后的第一扰动图像和第二扰动图像的预测是否与对目标图像的预测一致。
对于某个实例，在目标图像中，实例分割模型预测的类别概率为0.9，在第一扰动图像中，实例分割模型预测的类别概率为0.9，在第二扰动图像中，实例分割模型预测的类别概率为0.89，则表明实例分割模型对于该实例的预测一致性较高。
对于另一个实例，在目标图像中，实例分割模型预测的类别概率为0.9，在第一扰动图像中，实例分割模型预测的类别概率为0.4，在第二扰动图像中，实例分割模型预测的类别概率为0.7，则表明实例分割模型对于该实例的预测一致性较低。
从类别标签得分的维度而言，实例的预测概率越小，概率均值越小，实例的类别标签得分越低，则实例的信息量越高，对模型来说，更混淆的局部实例，是更加困难和更应该学习的实例。对于高信息量的较难识别的实例，对扰动图像的预测中存在模型易混淆的低预测概率的实例，进行人工标注后加入模型训练，则模型以后对此类实例便有比较好的判断能力，进而提升模型的精度和泛化性。在一个可选的实施方式中，所述基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分包括：
计算所述第一实例检测框与对应的所述第二实例检测框的第一交并比；
计算所述第一实例检测框与对应的所述第三实例检测框的第二交并比；
根据预设第一计算模型基于所述第一交并比及所述第二交并比计算得到对应的所述实例的检测框得分。
检测框得分用于评价实例分割模型对扰动后的第一扰动图像和第二扰动图像的预测是否与对目标图像的预测一致。
交并比IOU表示了两个实例检测框的重叠度，交并比IOU越大，两个实例检测框之间的重叠区域越多、重叠度越大。交并比IOU越小，两个实例检测框之间的重叠区域越少、重叠度越小。该可选的实施例中，交并比IOU越大，则表明实例分割模型对目标图像与对应该交并比IOU的扰动图像的预测越相似，即预测一致性越高。交并比IOU越小，则表明实例分割模型对目标图像与对应该交并比IOU的扰动图像的预测越不相似，即预测一致性越低。
交并比IOU的计算过程为现有技术，本申请不做详细阐述。
预设第二计算模型可以为：T2＝(1-IOU1)*(1-IOU2)，其中，T2表示实例的轮廓掩码得分，IOU1表示第一交并比，IOU2表示第二交并比。
例如，假设实例L1，目标图像与第一扰动图像的第一交并比为0.9，目标图像与第二扰 动图像的第二交并比为0.9，则实例L1的检测框得分＝(1-0.9)*(1-0.9)＝0.01。可见，实例L1为低信息量的实例。
又如，假设实例L2，目标图像与第一扰动图像的第一交并比为0.4，目标图像与第二扰动图像的第二交并比为0.3，则实例L1的检测框得分＝(1-0.4)*(1-0.3)＝0.42。可见，实例L2为高信息量的实例。
从交并比IOU的维度而言，实例的交并比IOU越大，实例的检测框得分越低，则实例的信息量越高，对模型来说，是更加困难和更应该学习的实例。对于高信息量的较难识别的实例，对扰动图像的预测中存在模型易混淆的低IOU的重叠检测框，即目标图像稍微做小幅变化之后，模型的预测的方差变大，比低信息量或者容易识别的实例的预测一致性更低，因此相较于容易识别的实例来说，高信息量的实例的标注价值更高。对高信息量的实例进行人工标注后加入模型训练，则模型以后对此类实例便有比较好的判断能力，进而提升模型的精度和泛化性。
在一个可选的实施方式中，所述基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分包括：
计算所述第一实例轮廓掩码与对应的所述第二实例轮廓掩码的第一Jaccard距离；
计算所述第一实例轮廓掩码与对应的所述第三实例轮廓掩码的第二Jaccard距离；
根据预设第二计算模型基于所述第一Jaccard距离及所述第二Jaccard距离计算得到对应的所述实例的轮廓掩码得分。
实例轮廓掩码类似于实例检测框，也是用于评价实例分割模型对扰动后的第一扰动图像和第二扰动图像的预测是否与对目标图像的预测一致。
Jaccard距离用于描述两个轮廓掩码之间的不相似度。Jaccard距离越大，两个轮廓掩码之间的重叠区域越少、相似度越低。Jaccard距离越小，两个轮廓掩码之间的重叠区域越多、相似度越高。该可选的实施例中，Jaccard距离越大，则表明实例分割模型对目标图像与对应该Jaccard距离的扰动图像的预测越不相似，即预测一致性越低。Jaccard距离越小，则表明实例分割模型对目标图像与该对应Jaccard距离的扰动图像的预测越相似，即预测一致性越高。
Jaccard距离的计算过程为现有技术，不再详细介绍。
预设第二计算模型可以为：T3＝D1*D2，其中，T3表示实例的轮廓掩码得分，D1表示第一Jaccard距离，D2表示第二Jaccard距离。
在一个可选的实施方式中，所述根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量包括：
计算所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分的乘积，得到对应的实例的最终得分；
将所述最终得分确定为所述实例的信息量。
在得到目标图像中的每个实例的类别标签得分、检测框得分、轮廓掩码得分之后，将类别标签得分、检测框得分、轮廓掩码得分三者相乘，得到对应的实例的最终得分，作为实例的信息量。
在其他实施例中，还可以计算每个实例的类别标签得分、检测框得分、轮廓掩码的均值，作为实例的最终得分。或者，计算计算每个实例的类别标签得分、检测框得分、轮廓掩码的和值，作为实例的最终得分。本申请不做任何限制。
最终得分用以表示实例分割模型对第一扰动图像及对第二扰动图像的预测与对目标图像的预测是否是一致的。最终得分越低，表明实例分割模型对第一扰动图像及对第二扰动图像的预测与对目标图像的预测不一致，说明对目标图像进行扰动后，通过实例分割模型对目标图像及扰动后得到的第一扰动图像及第二扰动图像的表现越不稳定。最终得分越高，表明实例分割模型对第一扰动图像及对第二扰动图像的预测与对目标图像的预测一致，说明即使对目标图像进行扰动后，通过实例分割模型对目标图像及扰动后得到的第一扰动图像及第二扰动图像的表现仍然是非常稳定的。
S12，从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例。
其中，预设信息量阈值为预先设置的用以表示信息量高低的临界值。
最终得分越低，一致性就越低，则对应的实例的信息量越高；最终得分越高，一致性就越高，则对应的实例的信息量越低。当某个实例的信息量高于预设信息量阈值时，则将该实例作为第一实例，当某个实例的信息量低于预设信息量阈值时，则该将实例作为第二实例。
应当理解的是，第一实例是指信息量高于预设信息量阈值的多个实例的集合，如图3所示目标图像中椭圆形框住的区域。第二实例是指信息量低于预设信息量阈值的多个实例的集合，如图4所示目标图像中不规则图形框住的区域。第一实例和第二实例完整的构成了图像中实例的集合。即，目标图像中的某个实例要么为第一实例，要么为第二实例。
S13，通过人工标注所述目标图像中的所述第一实例的第一标签。
由于第一实例是目标图像中高于预设信息量阈值的实例，实例分割模型对目标图像和对第一扰动图像及第二扰动图像的预测的一致性较低，因而更应该通过人工的方式进行实例的标注，比如遮挡明显的多个行人。
可以将目标图像中的第一实例标识出来，由标注经验丰富的专家对第一实例进行人工标注，从而提高对第一实例的标注准确率。
尤其是对于目标图像为医学图像而言，医学图像的实例分割需要识别图像中的多个实例个体，并准确地勾画出多个病变区域，用于智能辅助诊断，因此医学图像的实例标注难度指数更高，通过将这些信息量高(标注难度大)的实例进行人工标注，准确度将会大大提升。
S14，基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签。
由于第二实例是目标图像中低于预设信息量阈值的实例，实例分割模型对目标图像和对第一扰动图像及第二扰动图像的预测的一致性较高，因而标注难度小，通过半监督学习方式进行实例的伪标注，能够提高对目标图像的标注效率。
半监督学习方法是指通过已标注的样本集和未标注的样本集共同训练得到实例标注模型，通过实例标注模型对新的未标注的图像进行实例标注，实例标注模型输出的实例标签相较于人工标签的实例标签而言，称之为伪标签。
S15，基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
目标图像中的实例分为第一实例和第二实例，第一实例的实例标签为第一标签，第二实例的实例标签为第二标签，因而在得到第一标签和第二标签之后，目标图像中所有实例的标签已经得到。
在一个可选的实施方式中，所述方法还包括：
将已标注有实例标签的标注图像与多个所述目标图像作为训练集；
基于所述训练集训练所述实例标注模型；
基于测试集评估所述实例标注模型的精度，并在所述精度满足预设精度阈值时，结束所述实例标注模型的训练。
其中，已标注有实例标签的标注图像可以是指用来训练实例标签模型的图像。
在使用本申请实施例所述的基于人工智能的图像实例标注方法对多个目标图像进行实例标注，得到实例标签后，即可将标注有实例标签的目标图像加入到已标注有真实实例标签的标注图像中，作为训练集，从而基于训练集对实例标注模型进行更新。
测试集中包括测试图像及每个测试图像的真实实例标签，将测试集中的测试图像输入更新后的实例标注模型中，通过更新后的实例标注模型预测测试图像的测试实例标签。当测试实例标签与对应的真实实例标签相同，则表明更新后的实例标注模型对测试图像测试成功。当测试实例标签与对应的真实实例标签不相同，则表明更新后的实例标注模型对测试图像测试失败。计算测试成功的数量与测试集中测试图像的数量的比值，比值作为实例标注模型的测试精度，并在所述测试精度满足预设精度阈值时，结束所述实例标注模型的训练。
该可选的实施例中，利用已获得实例标签的目标图像，使具有实例标注的图像的数量得 到极大地增加，能够对实例标注模型进行更新训练，从而提升实例标注模型的性能。
本申请通过标注图像中的少量实例而非全部实例，例如，目标图像中部分区域有遮挡的实例为高信息量的实例，通过人工主动标注，人工标注的实例标签的准确度高，目标图像中的其他实例信息量较低，不用人工标注，节省人工标注的成本，由于低信息量的实例为较容易识别的实例，因而通过半监督学习标注，在保证了实例标注准确度的基础上，提升了实例的标注效率。本申请只需要人工标注一张目标图像中的少量实例，而不是对全整个目标图像中的实例都进行标注，在减小实例标注工作量的同时得到准确度较高的实例标签。
本申请适用于具有复杂布局，不同区域存在相互遮挡的图像中。将本申请应用于医疗影像智能辅助识别领域，可同时进行不同目标位置、关键器官实例的区域勾画及量化评估，尤其对于可能相互遮挡的图像区域，本申请能够更有效进行实例分割。
实施例二
图5是本申请实施例二提供的基于人工智能的图像实例标注装置的结构图。
在一些实施例中，所述基于人工智能的图像实例标注装置50可以包括多个由计算机程序段所组成的功能模块。所述基于人工智能的图像实例标注装置50中的各个程序段的计算机程序可以存储于电子设备的存储器中，并由至少一个处理器所执行，以执行(详见图1描述)基于人工智能的图像实例标注的功能。
本实施例中，所述基于人工智能的图像实例标注装置50根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：实例识别模块501、实例获取模块502、第一标注模块503、第二标注模块504、标签确定模块505及模型训练模块506。本申请所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
所述实例识别模块501，用于调用预设实例分割模型识别目标图像中每个实例的信息量。
预设实例分割模型可以为预先训练得到的机器学习模型，用于对图像中的实例进行识别，从而获得实例的信息量。实例是指目标图像中的目标对象，例如，行人，汽车，自行车，建筑物等。
目标图像是指需要进行实例标注的图像，一张目标图像中可以包含多个实例，例如，可以包含几十个实例，不同类别的实例的识别难度各异，因此，需要考虑是否需要对这张目标图像中的所有实例均进行人工标注。虽然可以通过人工的方式对目标图像中的所有实例均进行人工标注，人工标注准确度更高，但是人工标注成本较大，且效率较低，事实上通过人工标注完成的图像的数量是受到限制的。本实施例通过识别目标图像中的实例的信息量，根据信息量确定目标图像中哪些实例进行人工标注，哪些实体通过实例标注模型进行标注。
在一些实施例中，基于人工智能的图像实例标注方法可以应用于医学场景中，当应用于医学场景时，所述目标图像则为医学图像，所述目标图像中的实例则为多个器官。医学图像是指为了医疗或医学研究，以非侵入方式取得的内部组织，例如，胃部、腹部、心脏、膝盖、脑部的影像，比如，电子计算机断层扫描(Computed Tomography，CT)、磁共振成像(Magnetic Resonance Imaging，MRI)、超声(ultrasonic，US)、X光图像、脑电图以及光学摄影等由医学仪器生成的图像。
在一个可选的实施方式中，所述实例识别模块501调用预设实例分割模型识别目标图像中每个实例的信息量包括：
对所述目标图像进行第一扰动得到第一扰动图像，并对所述目标图像进行第二扰动得到第二扰动图像；
调用所述预设实例分割模型识别所述目标图像中每个实例的第一类别标签、第一实例检测框及第一实例轮廓掩码；
调用所述预设实例分割模型识别所述第一扰动图像中每个实例的第二类别标签、第二实例检测框及第二实例轮廓掩码；
调用所述预设实例分割模型识别所述第二扰动图像中每个实例的第三类别标签、第三实例检测框及第三实例轮廓掩码；
基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分；
基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分；
基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分；
根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量。
一般而言，通过图像变换可以实现图像增强，图像增强的目的是为了增加图像的数据量、丰富图像的多样性，从而提高模型的泛化能力。该可选的实施方式中，可以采用变换的方式引入图像扰动，例如，对图像添加噪声(Noise)来引入图像扰动。图像噪声是图像在获取或传输过程中受到随机信号干扰，妨碍人们对图像理解及分析的信号。噪声的引入给模型识别提高了难度。
如图2所示，图2中最上面的一张图像为目标图像，中间的一张图像为在目标图像的基础上添加了高斯噪声(gaussian noise)，最下面的一张图像为在目标图像的基础上添加了椒盐噪声(pepper noise)。将在目标图像上添加高斯噪声得到的图像作为第一扰动图像，将在目标图像上添加椒盐噪声得到的图像作为第二扰动图像。
将图像(例如，目标图像，第一扰动图像，第二扰动图像)输入实例分割模型中，即可通过实例分割模型输出图像中实例属于某个类别的类别标签，并用检测框框出实例在图像中的位置，及实例的实例轮廓掩码。本实施例的实例分割模型可在Faster R-CNN模型的基础上训练得到，具体训练过程不做详细阐述。考察模型对样本中的目标预测的一致性，如果变换前后预测结果变化较小，说明该目标较容易预测和信息量较少，如果变换前后，该目标的预测结果出现了较大的差异，则该局部目标是模型较容易混淆的目标，应该主动选择它来优先进行标注。
在调用所述预设实例分割模型识别目标图像、第一扰动图像及第二扰动图像中每个实例的类别标签、实例检测框及实例轮廓掩码之后，即可根据类别标签、实例检测框及实例轮廓掩码计算得到实例的类别标签得分、检测框得分及轮廓掩码得分，从而根据类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算得到对应的实例的信息量，进而根据实例的信息量确定目标图像中的第一实例和第二实例。
在一个可选的实施方式中，所述基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分包括：
获取所述第一类别标签对应的第一预测概率、所述第二类别标签的第二预测概率及所述第三类别标签的第三预测概率；
计算所述第一预测概率及对应的所述第二预测概率、所述第三预测概率的概率均值；
将所述均值作为对应的实例的类别标签得分。
类别标签得分用于评价实例分割模型对扰动后的第一扰动图像和第二扰动图像的预测是否与对目标图像的预测一致。
对于某个实例，在目标图像中，实例分割模型预测的类别概率为0.9，在第一扰动图像中，实例分割模型预测的类别概率为0.9，在第二扰动图像中，实例分割模型预测的类别概率为0.89，则表明实例分割模型对于该实例的预测一致性较高。
对于另一个实例，在目标图像中，实例分割模型预测的类别概率为0.9，在第一扰动图像中，实例分割模型预测的类别概率为0.4，在第二扰动图像中，实例分割模型预测的类别概率为0.7，则表明实例分割模型对于该实例的预测一致性较低。
从类别标签得分的维度而言，实例的预测概率越小，概率均值越小，实例的类别标签得 分越低，则实例的信息量越高，对模型来说，更混淆的局部实例，是更加困难和更应该学习的实例。对于高信息量的较难识别的实例，对扰动图像的预测中存在模型易混淆的低预测概率的实例，进行人工标注后加入模型训练，则模型以后对此类实例便有比较好的判断能力，进而提升模型的精度和泛化性。在一个可选的实施方式中，所述基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分包括：
计算所述第一实例检测框与对应的所述第二实例检测框的第一交并比；
计算所述第一实例检测框与对应的所述第三实例检测框的第二交并比；
根据预设第一计算模型基于所述第一交并比及所述第二交并比计算得到对应的所述实例的检测框得分。
检测框得分用于评价实例分割模型对扰动后的第一扰动图像和第二扰动图像的预测是否与对目标图像的预测一致。
交并比IOU表示了两个实例检测框的重叠度，交并比IOU越大，两个实例检测框之间的重叠区域越多、重叠度越大。交并比IOU越小，两个实例检测框之间的重叠区域越少、重叠度越小。该可选的实施例中，交并比IOU越大，则表明实例分割模型对目标图像与对应该交并比IOU的扰动图像的预测越相似，即预测一致性越高。交并比IOU越小，则表明实例分割模型对目标图像与对应该交并比IOU的扰动图像的预测越不相似，即预测一致性越低。
交并比IOU的计算过程为现有技术，本申请不做详细阐述。
预设第二计算模型可以为：T2＝(1-IOU1)*(1-IOU2)，其中，T2表示实例的轮廓掩码得分，IOU1表示第一交并比，IOU2表示第二交并比。
例如，假设实例L1，目标图像与第一扰动图像的第一交并比为0.9，目标图像与第二扰动图像的第二交并比为0.9，则实例L1的检测框得分＝(1-0.9)*(1-0.9)＝0.01。可见，实例L1为低信息量的实例。
又如，假设实例L2，目标图像与第一扰动图像的第一交并比为0.4，目标图像与第二扰动图像的第二交并比为0.3，则实例L1的检测框得分＝(1-0.4)*(1-0.3)＝0.42。可见，实例L2为高信息量的实例。
从交并比IOU的维度而言，实例的交并比IOU越大，实例的检测框得分越低，则实例的信息量越高，对模型来说，是更加困难和更应该学习的实例。对于高信息量的较难识别的实例，对扰动图像的预测中存在模型易混淆的低IOU的重叠检测框，即目标图像稍微做小幅变化之后，模型的预测的方差变大，比低信息量或者容易识别的实例的预测一致性更低，因此相较于容易识别的实例来说，高信息量的实例的标注价值更高。对高信息量的实例进行人工标注后加入模型训练，则模型以后对此类实例便有比较好的判断能力，进而提升模型的精度和泛化性。
在一个可选的实施方式中，所述基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分包括：
计算所述第一实例轮廓掩码与对应的所述第二实例轮廓掩码的第一Jaccard距离；
计算所述第一实例轮廓掩码与对应的所述第三实例轮廓掩码的第二Jaccard距离；
根据预设第二计算模型基于所述第一Jaccard距离及所述第二Jaccard距离计算得到对应的所述实例的轮廓掩码得分。
实例轮廓掩码类似于实例检测框，也是用于评价实例分割模型对扰动后的第一扰动图像和第二扰动图像的预测是否与对目标图像的预测一致。
Jaccard距离用于描述两个轮廓掩码之间的不相似度。Jaccard距离越大，两个轮廓掩码之间的重叠区域越少、相似度越低。Jaccard距离越小，两个轮廓掩码之间的重叠区域越多、相似度越高。该可选的实施例中，Jaccard距离越大，则表明实例分割模型对目标图像与对应该Jaccard距离的扰动图像的预测越不相似，即预测一致性越低。Jaccard距离越小，则表明实例分割模型对目标图像与该对应Jaccard距离的扰动图像的预测越相似，即预测一致性越高。
Jaccard距离的计算过程为现有技术，不再详细介绍。
预设第二计算模型可以为：T3＝D1*D2，其中，T3表示实例的轮廓掩码得分，D1表示第一Jaccard距离，D2表示第二Jaccard距离。
在一个可选的实施方式中，所述根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量包括：
计算所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分的乘积，得到对应的实例的最终得分；
将所述最终得分确定为所述实例的信息量。
在得到目标图像中的每个实例的类别标签得分、检测框得分、轮廓掩码得分之后，将类别标签得分、检测框得分、轮廓掩码得分三者相乘，得到对应的实例的最终得分，作为实例的信息量。
在其他实施例中，还可以计算每个实例的类别标签得分、检测框得分、轮廓掩码的均值，作为实例的最终得分。或者，计算计算每个实例的类别标签得分、检测框得分、轮廓掩码的和值，作为实例的最终得分。本申请不做任何限制。
最终得分用以表示实例分割模型对第一扰动图像及对第二扰动图像的预测与对目标图像的预测是否是一致的。最终得分越低，表明实例分割模型对第一扰动图像及对第二扰动图像的预测与对目标图像的预测不一致，说明对目标图像进行扰动后，通过实例分割模型对目标图像及扰动后得到的第一扰动图像及第二扰动图像的表现越不稳定。最终得分越高，表明实例分割模型对第一扰动图像及对第二扰动图像的预测与对目标图像的预测一致，说明即使对目标图像进行扰动后，通过实例分割模型对目标图像及扰动后得到的第一扰动图像及第二扰动图像的表现仍然是非常稳定的。
所述实例获取模块502，用于从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例。
其中，预设信息量阈值为预先设置的用以表示信息量高低的临界值。
最终得分越低，一致性就越低，则对应的实例的信息量越高；最终得分越高，一致性就越高，则对应的实例的信息量越低。当某个实例的信息量高于预设信息量阈值时，则将该实例作为第一实例，当某个实例的信息量低于预设信息量阈值时，则该将实例作为第二实例。
应当理解的是，第一实例是指信息量高于预设信息量阈值的多个实例的集合，如图3所示目标图像中椭圆形框住的区域。第二实例是指信息量低于预设信息量阈值的多个实例的集合，如图4所示目标图像中不规则图形框住的区域。第一实例和第二实例完整的构成了图像中实例的集合。即，目标图像中的某个实例要么为第一实例，要么为第二实例。
所述第一标注模块503，用于通过人工标注所述目标图像中的所述第一实例的第一标签。
由于第一实例是目标图像中高于预设信息量阈值的实例，实例分割模型对目标图像和对第一扰动图像及第二扰动图像的预测的一致性较低，因而更应该通过人工的方式进行实例的标注，比如遮挡明显的多个行人。
可以将目标图像中的第一实例标识出来，由标注经验丰富的专家对第一实例进行人工标注，从而提高对第一实例的标注准确率。
尤其是对于目标图像为医学图像而言，医学图像的实例分割需要识别图像中的多个实例个体，并准确地勾画出多个病变区域，用于智能辅助诊断，因此医学图像的实例标注难度指数更高，通过将这些信息量高(标注难度大)的实例进行人工标注，准确度将会大大提升。
所述第二标注模块504，用于基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签。
由于第二实例是目标图像中低于预设信息量阈值的实例，实例分割模型对目标图像和对第一扰动图像及第二扰动图像的预测的一致性较高，因而标注难度小，通过半监督学习方式进行实例的伪标注，能够提高对目标图像的标注效率。
半监督学习方法是指通过已标注的样本集和未标注的样本集共同训练得到实例标注模 型，通过实例标注模型对新的未标注的图像进行实例标注，实例标注模型输出的实例标签相较于人工标签的实例标签而言，称之为伪标签。
所述标签确定模块505，用于基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
目标图像中的实例分为第一实例和第二实例，第一实例的实例标签为第一标签，第二实例的实例标签为第二标签，因而在得到第一标签和第二标签之后，目标图像中所有实例的标签已经得到。
在一个可选的实施方式中，所述模型训练模块506，用于：
将已标注有实例标签的标注图像与多个所述目标图像作为训练集；
基于所述训练集训练所述实例标注模型；
基于测试集评估所述实例标注模型的精度，并在所述精度满足预设精度阈值时，结束所述实例标注模型的训练。
其中，已标注有实例标签的标注图像可以是指用来训练实例标签模型的图像。
在使用本申请实施例所述的基于人工智能的图像实例标注方法对多个目标图像进行实例标注，得到实例标签后，即可将标注有实例标签的目标图像加入到已标注有真实实例标签的标注图像中，作为训练集，从而基于训练集对实例标注模型进行更新。
测试集中包括测试图像及每个测试图像的真实实例标签，将测试集中的测试图像输入更新后的实例标注模型中，通过更新后的实例标注模型预测测试图像的测试实例标签。当测试实例标签与对应的真实实例标签相同，则表明更新后的实例标注模型对测试图像测试成功。当测试实例标签与对应的真实实例标签不相同，则表明更新后的实例标注模型对测试图像测试失败。计算测试成功的数量与测试集中测试图像的数量的比值，比值作为实例标注模型的测试精度，并在所述测试精度满足预设精度阈值时，结束所述实例标注模型的训练。
该可选的实施例中，利用已获得实例标签的目标图像，使具有实例标注的图像的数量得到极大地增加，能够对实例标注模型进行更新训练，从而提升实例标注模型的性能。
本申请通过标注图像中的少量实例而非全部实例，例如，目标图像中部分区域有遮挡的实例为高信息量的实例，通过人工主动标注，人工标注的实例标签的准确度高，目标图像中的其他实例信息量较低，不用人工标注，节省人工标注的成本，由于低信息量的实例为较容易识别的实例，因而通过半监督学习标注，在保证了实例标注准确度的基础上，提升了实例的标注效率。本申请只需要人工标注一张目标图像中的少量实例，而不是对全整个目标图像中的实例都进行标注，在减小实例标注工作量的同时得到准确度较高的实例标签。
本申请适用于具有复杂布局，不同区域存在相互遮挡的图像中。将本申请应用于医疗影像智能辅助识别领域，可同时进行不同目标位置、关键器官实例的区域勾画及量化评估，尤其对于可能相互遮挡的图像区域，本申请能够更有效进行实例分割。
实施例三
本实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述基于人工智能的图像实例标注方法实施例中的步骤，例如图1所示的S11-S15：
S11，调用预设实例分割模型识别目标图像中每个实例的信息量；
S12，从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例；
S13，通过人工标注所述目标图像中的所述第一实例的第一标签；
S14，基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签；
S15，基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
或者，该计算机程序被处理器执行时实现上述装置实施例中各模块/单元的功能，例如图5中的模块501-505：
所述实例识别模块501，用于调用预设实例分割模型识别目标图像中每个实例的信息量；
所述实例获取模块502，用于从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例；
所述第一标注模块503，用于通过人工标注所述目标图像中的所述第一实例的第一标签；
所述第二标注模块504，用于基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签；
所述标签确定模块505，用于基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
实施例四
参阅图6所示，为本申请实施例三提供的电子设备的结构示意图。在本申请较佳实施例中，所述电子设备6包括存储器61、至少一个处理器62、至少一条通信总线63及收发器64。
本领域技术人员应该了解，图6示出的电子设备的结构并不构成本申请实施例的限定，既可以是总线型结构，也可以是星形结构，所述电子设备6还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述电子设备6是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述电子设备6还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是，所述电子设备6仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器61中存储有计算机程序，所述计算机程序被所述至少一个处理器62执行时实现如所述的基于人工智能的图像实例标注方法中的全部或者部分步骤。所述存储器61包括易失性和非易失性存储器，例如随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的存储介质。所述计算机可读存储介质可以是非易失性，也可以是易失性的。进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在一些实施例中，所述至少一个处理器62是所述电子设备6的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备6的各个部件，通过运行或执行存储在所述存储器61内的程序或者模块，以及调用存储在所述存储器61内的数据，以执行电子设备6的各种功能和处理数据。例如，所述至少一个处理器62执行所述存储器中存储的计算机程序时实现本申 请实施例中所述的基于人工智能的图像实例标注方法的全部或者部分步骤；或者实现基于人工智能的图像实例标注装置的全部或者部分功能。所述至少一个处理器62可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。
在一些实施例中，所述至少一条通信总线63被设置为实现所述存储器61以及所述至少一个处理器62等之间的连接通信。
尽管未示出，所述电子设备6还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器62逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备6还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。说明书中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (22)

  1. 一种基于人工智能的图像实例标注方法，其中，所述方法包括：
    调用预设实例分割模型识别目标图像中每个实例的信息量；
    从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例；
    通过人工标注所述目标图像中的所述第一实例的第一标签；
    基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签；
    基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
  2. 如权利要求1所述的基于人工智能的图像实例标注方法，其中，所述调用预设实例分割模型识别目标图像中每个实例的信息量包括：
    对所述目标图像进行第一扰动得到第一扰动图像，并对所述目标图像进行第二扰动得到第二扰动图像；
    调用所述预设实例分割模型识别所述目标图像中每个实例的第一类别标签、第一实例检测框及第一实例轮廓掩码；
    调用所述预设实例分割模型识别所述第一扰动图像中每个实例的第二类别标签、第二实例检测框及第二实例轮廓掩码；
    调用所述预设实例分割模型识别所述第二扰动图像中每个实例的第三类别标签、第三实例检测框及第三实例轮廓掩码；
    基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分；
    基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分；
    基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分；
    根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量。
  3. 如权利要求2所述的基于人工智能的图像实例标注方法，其中，所述基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分包括：
    获取所述第一类别标签对应的第一预测概率、所述第二类别标签的第二预测概率及所述第三类别标签的第三预测概率；
    计算所述第一预测概率及对应的所述第二预测概率、所述第三预测概率的概率均值；
    将所述均值作为对应的实例的类别标签得分。
  4. 如权利要求2所述的基于人工智能的图像实例标注方法，其中，所述基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分包括：
    计算所述第一实例检测框与对应的所述第二实例检测框的第一交并比；
    计算所述第一实例检测框与对应的所述第三实例检测框的第二交并比；
    根据预设第一计算模型基于所述第一交并比及所述第二交并比计算得到对应的所述实例的检测框得分。
  5. 如权利要求2所述的基于人工智能的图像实例标注方法，其中，所述基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分包括：
    计算所述第一实例轮廓掩码与对应的所述第二实例轮廓掩码的第一Jaccard距离；
    计算所述第一实例轮廓掩码与对应的所述第三实例轮廓掩码的第二Jaccard距离；
    根据预设第二计算模型基于所述第一Jaccard距离及所述第二Jaccard距离计算得到对应的所述实例的轮廓掩码得分。
  6. 如权利要求2至5中任意一项所述的基于人工智能的图像实例标注方法，其中，所述 根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量包括：
    计算所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分的乘积，得到对应的实例的最终得分；
    将所述最终得分确定为所述实例的信息量。
  7. 如权利要求6所述的基于人工智能的图像实例标注方法，其中，所述方法还包括：
    将已标注有实例标签的标注图像与多个所述目标图像作为训练集；
    基于所述训练集训练所述实例标注模型；
    基于测试集评估所述实例标注模型的精度，并在所述精度满足预设精度阈值时，结束所述实例标注模型的训练。
  8. 一种基于人工智能的图像实例标注装置，其中，所述装置包括：
    实例识别模块，用于调用预设实例分割模型识别目标图像中每个实例的信息量；
    实例获取模块，用于从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例；
    第一标注模块，用于通过人工标注所述目标图像中的所述第一实例的第一标签；
    第二标注模块，用于基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签；
    标签确定模块，用于基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
  9. 一种电子设备，其中，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机可读指令以实现以下步骤：
    调用预设实例分割模型识别目标图像中每个实例的信息量；
    从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例；
    通过人工标注所述目标图像中的所述第一实例的第一标签；
    基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签；
    基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
  10. 如权利要求9所述的电子设备，其中，所述处理器执行所述计算机可读指令以实现调用预设实例分割模型识别目标图像中每个实例的信息量时，具体包括：
    对所述目标图像进行第一扰动得到第一扰动图像，并对所述目标图像进行第二扰动得到第二扰动图像；
    调用所述预设实例分割模型识别所述目标图像中每个实例的第一类别标签、第一实例检测框及第一实例轮廓掩码；
    调用所述预设实例分割模型识别所述第一扰动图像中每个实例的第二类别标签、第二实例检测框及第二实例轮廓掩码；
    调用所述预设实例分割模型识别所述第二扰动图像中每个实例的第三类别标签、第三实例检测框及第三实例轮廓掩码；
    基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分；
    基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分；
    基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分；
    根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量。
  11. 如权利要求10所述的电子设备，其中，所述处理器执行所述计算机可读指令以实现基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得 分时，具体包括：
    获取所述第一类别标签对应的第一预测概率、所述第二类别标签的第二预测概率及所述第三类别标签的第三预测概率；
    计算所述第一预测概率及对应的所述第二预测概率、所述第三预测概率的概率均值；
    将所述均值作为对应的实例的类别标签得分。
  12. 如权利要求10所述的电子设备，其中，所述处理器执行所述计算机可读指令以实现基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分时，具体包括：
    计算所述第一实例检测框与对应的所述第二实例检测框的第一交并比；
    计算所述第一实例检测框与对应的所述第三实例检测框的第二交并比；
    根据预设第一计算模型基于所述第一交并比及所述第二交并比计算得到对应的所述实例的检测框得分。
  13. 如权利要求10所述的电子设备，其中，所述处理器执行所述计算机可读指令以实现基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分时，具体包括：
    计算所述第一实例轮廓掩码与对应的所述第二实例轮廓掩码的第一Jaccard距离；
    计算所述第一实例轮廓掩码与对应的所述第三实例轮廓掩码的第二Jaccard距离；
    根据预设第二计算模型基于所述第一Jaccard距离及所述第二Jaccard距离计算得到对应的所述实例的轮廓掩码得分。
  14. 如权利要求10至13中任意一项所述的电子设备，其中，所述处理器执行所述计算机可读指令以实现根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量时，具体包括：
    计算所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分的乘积，得到对应的实例的最终得分；
    将所述最终得分确定为所述实例的信息量。
  15. 如权利要求14所述的电子设备，其中，所述处理器执行所述计算机可读指令还用以实现以下步骤：
    将已标注有实例标签的标注图像与多个所述目标图像作为训练集；
    基于所述训练集训练所述实例标注模型；
    基于测试集评估所述实例标注模型的精度，并在所述精度满足预设精度阈值时，结束所述实例标注模型的训练。
  16. 一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中，所述计算机程序被处理器执行时实现以下步骤：
    调用预设实例分割模型识别目标图像中每个实例的信息量；
    从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例；
    通过人工标注所述目标图像中的所述第一实例的第一标签；
    基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签；
    基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
  17. 如权利要求16所述的计算机可读存储介质，其中，所述计算机可读指令被所述处理器执行以实现调用预设实例分割模型识别目标图像中每个实例的信息量时，具体包括：
    对所述目标图像进行第一扰动得到第一扰动图像，并对所述目标图像进行第二扰动得到第二扰动图像；
    调用所述预设实例分割模型识别所述目标图像中每个实例的第一类别标签、第一实例检测框及第一实例轮廓掩码；
    调用所述预设实例分割模型识别所述第一扰动图像中每个实例的第二类别标签、第二实 例检测框及第二实例轮廓掩码；
    调用所述预设实例分割模型识别所述第二扰动图像中每个实例的第三类别标签、第三实例检测框及第三实例轮廓掩码；
    基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分；
    基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分；
    基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分；
    根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量。
  18. 如权利要求17所述的计算机可读存储介质，其中，所述计算机可读指令被所述处理器执行以实现基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分时，具体包括：
    获取所述第一类别标签对应的第一预测概率、所述第二类别标签的第二预测概率及所述第三类别标签的第三预测概率；
    计算所述第一预测概率及对应的所述第二预测概率、所述第三预测概率的概率均值；
    将所述均值作为对应的实例的类别标签得分。
  19. 如权利要求17所述的计算机可读存储介质，其中，所述计算机可读指令被所述处理器执行以实现基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分时，具体包括：
    计算所述第一实例检测框与对应的所述第二实例检测框的第一交并比；
    计算所述第一实例检测框与对应的所述第三实例检测框的第二交并比；
    根据预设第一计算模型基于所述第一交并比及所述第二交并比计算得到对应的所述实例的检测框得分。
  20. 如权利要求17所述的计算机可读存储介质，其中，所述计算机可读指令被所述处理器执行以实现基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分时，具体包括：
    计算所述第一实例轮廓掩码与对应的所述第二实例轮廓掩码的第一Jaccard距离；
    计算所述第一实例轮廓掩码与对应的所述第三实例轮廓掩码的第二Jaccard距离；
    根据预设第二计算模型基于所述第一Jaccard距离及所述第二Jaccard距离计算得到对应的所述实例的轮廓掩码得分。
  21. 如权利要求17至20中任意一项所述的计算机可读存储介质，其中，所述计算机可读指令被所述处理器执行以实现根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量时，具体包括：
    计算所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分的乘积，得到对应的实例的最终得分；
    将所述最终得分确定为所述实例的信息量。
  22. 如权利要求21所述的计算机可读存储介质，其中，所述计算机可读指令被所述处理器执行还用以实现以下步骤：
    将已标注有实例标签的标注图像与多个所述目标图像作为训练集；
    基于所述训练集训练所述实例标注模型；
    基于测试集评估所述实例标注模型的精度，并在所述精度满足预设精度阈值时，结束所述实例标注模型的训练。
PCT/CN2022/071328 2021-08-30 2022-01-11 基于人工智能的图像实例标注方法及相关设备 Ceased WO2023029348A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111005698.2 2021-08-30
CN202111005698.2A CN113705687B (zh) 2021-08-30 2021-08-30 基于人工智能的图像实例标注方法及相关设备

Publications (1)

Publication Number Publication Date
WO2023029348A1 true WO2023029348A1 (zh) 2023-03-09

Family

ID=78656924

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/071328 Ceased WO2023029348A1 (zh) 2021-08-30 2022-01-11 基于人工智能的图像实例标注方法及相关设备

Country Status (2)

Country Link
CN (1) CN113705687B (zh)
WO (1) WO2023029348A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363144A (zh) * 2023-03-31 2023-06-30 南京大学 一种基于扰动协同训练的半监督医学图像分割方法
CN117853428A (zh) * 2023-12-22 2024-04-09 北京市农林科学院信息技术研究中心 养殖种群数量标注方法、装置、电子设备及存储介质
CN120451691A (zh) * 2025-07-14 2025-08-08 哪吒智慧科技(上海)股份有限公司 一种集装箱锁杆弯曲度测量与分类方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705687B (zh) * 2021-08-30 2023-03-24 平安科技（深圳）有限公司 基于人工智能的图像实例标注方法及相关设备
CN117011626A (zh) * 2022-04-30 2023-11-07 上海禾赛科技有限公司 目标检测方法、系统、网络的训练方法及计算机可读介质
CN115861602A (zh) * 2022-12-22 2023-03-28 杭州海康威视数字技术股份有限公司 一种图像标注方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163634A (zh) * 2020-10-14 2021-01-01 平安科技（深圳）有限公司 实例分割模型样本筛选方法、装置、计算机设备及介质
US20210241034A1 (en) * 2020-01-31 2021-08-05 Element Al Inc. Method of and system for generating training images for instance segmentation machine learning algorithm
CN113239950A (zh) * 2021-01-13 2021-08-10 深延科技(北京)有限公司 标注方法、装置、电子设备及存储介质
CN113705687A (zh) * 2021-08-30 2021-11-26 平安科技（深圳）有限公司 基于人工智能的图像实例标注方法及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210241034A1 (en) * 2020-01-31 2021-08-05 Element Al Inc. Method of and system for generating training images for instance segmentation machine learning algorithm
CN112163634A (zh) * 2020-10-14 2021-01-01 平安科技（深圳）有限公司 实例分割模型样本筛选方法、装置、计算机设备及介质
CN113239950A (zh) * 2021-01-13 2021-08-10 深延科技(北京)有限公司 标注方法、装置、电子设备及存储介质
CN113705687A (zh) * 2021-08-30 2021-11-26 平安科技（深圳）有限公司 基于人工智能的图像实例标注方法及相关设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363144A (zh) * 2023-03-31 2023-06-30 南京大学 一种基于扰动协同训练的半监督医学图像分割方法
CN117853428A (zh) * 2023-12-22 2024-04-09 北京市农林科学院信息技术研究中心 养殖种群数量标注方法、装置、电子设备及存储介质
CN120451691A (zh) * 2025-07-14 2025-08-08 哪吒智慧科技(上海)股份有限公司 一种集装箱锁杆弯曲度测量与分类方法及装置

Also Published As

Publication number Publication date
CN113705687B (zh) 2023-03-24
CN113705687A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
WO2023029348A1 (zh) 基于人工智能的图像实例标注方法及相关设备
JP7143008B2 (ja) 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム
CN113436155B (zh) 基于深度学习的超声臂丛神经图像识别方法
WO2022247007A1 (zh) 医学图像分级方法、装置、电子设备及可读存储介质
CN113656706A (zh) 基于多模态深度学习模型的信息推送方法及装置
CN111967540B (zh) 基于ct数据库的颌面部骨折的识别方法、装置及终端设备
CN112884060A (zh) 图像标注方法、装置、电子设备及存储介质
CN117237351B (zh) 一种超声图像分析方法以及相关装置
CN121120725A (zh) 一种多模态医学影像数据智能处理系统
CN113724830A (zh) 基于人工智能的用药风险检测方法及相关设备
CN114334169B (zh) 医疗对象的类别决策方法、装置、电子设备及存储介质
Mason et al. Lung ultrasound segmentation and adaptation between COVID-19 and community-acquired pneumonia
CN111967539B (zh) 基于cbct数据库的颌面部骨折的识别方法、装置及终端设备
Umans et al. Artificial intelligence in imaging in the first trimester of pregnancy: a systematic review
CN113393445A (zh) 乳腺癌影像确定方法及系统
CN117334299A (zh) 一种多模态中医虚实功能态辨识方法与相关装置
CN112037237A (zh) 一种图像处理方法、装置、计算机设备及介质
CN120706515A (zh) 医学多模态知识图谱构建方法、系统、电子设备及存储介质
Liu et al. Detection of fetal facial anatomy in standard ultrasonographic sections based on real‐time target detection network
Karthick et al. A computing assisted test method in healthcare industry using artificial intelligence
CN120221011A (zh) 急诊预检分诊方法、装置、电子设备及存储介质
Kadir et al. Partial image active annotation (PIAA): an efficient active learning technique using edge information in limited data scenarios
Guo et al. The gap in the thickness: estimating effectiveness of pulmonary nodule detection in thick-and thin-section CT images with 3D deep neural networks
CN114283114B (zh) 图像处理方法、装置、设备及存储介质
CN114582469A (zh) 医疗影像分类方法、装置、设备及存储介质

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22862499

Country of ref document: EP

Kind code of ref document: A1