WO2021042549A1 - 图像mask的过滤方法、装置、系统及存储介质 - Google Patents
图像mask的过滤方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- WO2021042549A1 WO2021042549A1 PCT/CN2019/117811 CN2019117811W WO2021042549A1 WO 2021042549 A1 WO2021042549 A1 WO 2021042549A1 CN 2019117811 W CN2019117811 W CN 2019117811W WO 2021042549 A1 WO2021042549 A1 WO 2021042549A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- data
- mask
- sample
- labeled data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000012545 processing Methods 0.000 claims abstract description 61
- 238000002372 labelling Methods 0.000 claims abstract description 13
- 238000013434 data augmentation Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims description 59
- 230000003321 amplification Effects 0.000 claims description 50
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 50
- 238000001914 filtration Methods 0.000 claims description 48
- 238000013519 translation Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000011426 transformation method Methods 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Definitions
- This application relates to the field of image processing technology, and in particular to a filtering method, device, system and computer-readable storage medium for an image mask.
- mask In image processing technology, mask (mask, also called “mask”) refers to the extraction and labeling of parts that need to be processed in a two-dimensional image.
- annotators determine the position of an object in a two-dimensional image based on personal experience and some existing rules, and use existing annotation tools. By dragging the mouse on the two-dimensional image, the outline of the object is marked with the bounding box, and the object in the two-dimensional image is marked.
- the main disadvantages are slow marking speed and low work efficiency.
- This application provides an image mask filtering method, device, system, and computer-readable storage medium.
- the main purpose of the method is to perform data amplification processing on the labeled data, and use the mask model and consistency index formulas to obtain The marked data has higher reliability and consistency, which is conducive to improving the speed and performance of model convergence.
- this application provides a method for filtering an image mask, the method including:
- the second sample image and the third sample image are predicted by using the model of the first generated mask, and the mask of the second sample image and the mask of the third sample image are obtained respectively.
- the mask of the third sample image is output.
- the present application also provides an electronic device that includes a memory, a processor, and an image mask filtering program stored in the memory and running on the processor, and the processor executes The filtering procedure of the image mask implements the steps of the above-mentioned filtering method of the image mask.
- this application also provides an image mask filtering system, including:
- the acquisition unit is used to acquire the marked data in the sample
- the data amplification unit is used to perform data amplification processing on the marked data to obtain the first amplification data
- a model training unit configured to perform model training on the labeled data and the first amplified data to obtain a model of the first generated mask
- the prediction unit is configured to perform prediction processing on the second sample image corresponding to the pre-amplified unlabeled data and the third sample image corresponding to the unlabeled data by using the model for generating the first mask, and respectively obtain the mask of the second sample image And the mask of the third sample image;
- the consistency index calculation unit is configured to calculate the consistency index of the mask of the second sample image and the mask of the third sample image by using the consistency index formula of the mask;
- the output mask unit is configured to output the mask of the third sample image when the consistency index is within the range of a preset index threshold.
- the present application also provides a computer non-volatile readable storage medium, the computer non-volatile readable storage medium includes an image mask filtering program, and the image mask filtering program is executed by a processor When, implement any step in the filtering method of the image mask as described above.
- the filtering method, device, system and computer readable storage medium of the image mask proposed in this application adopt technical means such as data amplification processing on the labeled data, using the mask model and the consistency index formula, etc. It saves the time of manual labeling and reduces the cost of manual labeling, and provides a new method for mask labeling. Compared with the existing method, the label produced by this application has higher reliability and consistency, which is beneficial to improve the speed of model convergence and performance.
- FIG. 1 is a flowchart of an image mask filtering method according to an embodiment of the application
- FIG. 2 is a schematic diagram of an application environment of an image mask filtering method according to an embodiment of the application
- FIG. 3 is a schematic diagram of the module structure of an image mask filtering program according to an embodiment of the application.
- FIG. 4 is a block diagram of the logical structure of an image mask filtering system according to an embodiment of the application.
- FIG. 1 shows a flow of a preferred embodiment of the method for filtering an image mask according to an embodiment of the present application.
- the method for filtering an image mask provided by the present application includes: step S10-step S60.
- Step S10 Obtain the labeled data in the sample.
- the labeled data in the sample can be manually labeled data.
- a small amount of data in the sample can be labeled.
- automatic labeling tools can also be used to label a small part of the sample.
- Data is annotated.
- the annotated data is used as part of the model data set of the first generation mask for subsequent training, it has a greater impact on the accuracy of subsequent sample annotations. Therefore, it is preferable to manually perform a small amount of data annotation After marking, the marked data is stored, and the processor obtains the marked data from the sample.
- Step S20 Perform data amplification processing on the labeled data to obtain first amplified data.
- the processor After the processor obtains the labeled data in the sample, it performs data amplification processing on the labeled data to obtain larger labeled data, that is, the first amplification data.
- the processor creates the first amplification database in the memory.
- the obtained first amplification data is stored in the first amplification database.
- the method of performing data augmentation processing on the labeled data is one or a combination of any of multi-angle rotation, flip transformation, zoom transformation, translation transformation, scale transformation, contrast transformation, noise disturbance, and color change.
- multi-angle rotation refers to randomly rotating an image at a certain angle; changing the orientation of the image content; that is, rotating the image corresponding to the labeled data at multiple angles to obtain amplified images at different angles. Both can be represented by image data.
- the amplified images at different angles can be obtained through multi-angle rotation, and the image data corresponding to each angle image can be obtained through the obtained amplified images at different angles.
- the step of performing data augmentation processing on the labeled data by the method of multi-angle rotation includes:
- the flipping transformation refers to flipping the image along the horizontal or vertical direction; that is, flipping the image corresponding to the marked data along the horizontal or vertical direction, thereby obtaining the flipped amplified image, and using the obtained flipped expansion
- the augmented image acquires the image data corresponding to each inverted augmented image.
- the steps of performing data amplification processing on the labeled data by the method of flipping transformation include:
- the image data corresponding to the flipped image is obtained, and the amplified labeled data is obtained.
- the zoom transformation refers to zooming in or out of the image according to a certain ratio; that is, the image corresponding to the marked data is zoomed in or out according to the preset ratio, so as to obtain the enlarged or reduced enlarged image.
- the steps of performing data augmentation processing on the labeled data through the method of scaling and transforming include:
- the image corresponding to the annotated data is enlarged or reduced according to a preset ratio to obtain a zoomed image
- the image data corresponding to the zoomed image is acquired, and the amplified labeled data is obtained.
- the translation transformation refers to the translation of the image in a certain way on the image plane; random or artificially defined methods can be used to specify the translation range and step length, and translate in the horizontal or vertical direction to change the position of the image content. That is, the image corresponding to the labeled data is translated in the horizontal or vertical direction to obtain the amplified image with the position of the image content changed, and then the amplified image corresponding to the translational transformation is obtained through the amplified image after the translation transformation. data.
- the step of performing data augmentation processing on the labeled data by the translation transformation method includes:
- the image data corresponding to the translation image is obtained, and the amplified labeled data is obtained.
- the scale transformation refers to the image enlargement or reduction according to the pre-specified scale factor; or referring to the SIFT feature extraction idea, the pre-specified scale factor is used to filter the image to construct the scale space; the size or blur degree of the image content is changed, through
- the above-mentioned scale conversion method performs scale conversion on the image corresponding to the labeled data, obtains the scale-converted amplified image, and then obtains the scale-converted amplified image data corresponding to the scale-converted amplified image.
- the step of performing data amplification processing on the labeled data by the method of scale transformation includes:
- the image corresponding to the labeled data is enlarged or reduced according to the pre-specified scale factor to obtain a scale-transformed image
- the image data corresponding to the scale-transformed image is obtained, and the amplified labeled data is obtained.
- the contrast transformation refers to changing the saturation S and V brightness components in the HSV color space of the image, keeping the hue H unchanged; performing exponential calculations on the S and V components of each pixel (the exponent factor is between 0.25 and 4) , Increase the illumination change, perform contrast conversion on the image corresponding to the labeled data through the above-mentioned contrast conversion method, obtain the amplified image after the contrast conversion, and then obtain the corresponding contrast converted image through the amplified image after the contrast conversion Amplify image data.
- the steps of performing data amplification processing on the labeled data by the method of contrast transformation include:
- the image data corresponding to the contrast change image is obtained, and the amplified labeled data is obtained.
- noise disturbance refers to random disturbance of each pixel RGB of the image
- the commonly used noise modes are salt and pepper noise and Gaussian noise. Randomly perturb each pixel RGB of the image corresponding to the labeled data by noise disturbance to obtain the amplified image after noise disturbance, and then obtain the corresponding amplified image after noise disturbance by the amplified image after noise disturbance. Increase image data.
- the steps of performing data amplification processing on the labeled data by noise disturbance method include:
- the color change refers to the change of the color of the image.
- the steps of performing data amplification processing on the labeled data by the method of color change include:
- the image data corresponding to the color transformation image is acquired, and the amplified labeled data is obtained.
- step S30 the original image, the labeled data, and the first amplified data are used for model training to obtain a model of the first generated mask.
- the processor obtains the labeled data and the first amplified data amplified from the labeled data, uses the two data together as a data training set for model training, and obtains the first generated mask model through model training.
- the model of the first generated mask can be used in subsequent image prediction processing.
- Step S40 Perform prediction processing on the second sample image and the third sample image by using the model of the first generated mask, and obtain the mask of the second sample image and the mask of the third sample image respectively, where the second sample image is the same as the pre-expanded mask.
- the image corresponding to the increased unlabeled data, and the third sample image is the image corresponding to the unamplified unlabeled data.
- the processor When the processor obtains the labeled data in the sample, it also obtains the unlabeled data from the sample, and performs data amplification processing on the unlabeled data.
- the data amplification processing on the unlabeled data is the same as the above-mentioned comparison.
- the method of amplifying the labeled data is the same, and you can also choose one or any combination of multi-angle rotation, flip transformation, zoom transformation, translation transformation, scale transformation, contrast transformation, noise disturbance, and color change.
- step S50 the consistency index of the mask of the second sample image and the mask of the third sample image are calculated by using the consistency index formula of the mask.
- the processor obtains the mask of the second sample image and the mask of the third sample image, and uses the consistency index formula of the mask to calculate the consistency index of the mask of the second sample image and the mask of the third sample image.
- the consistency index formula of the mask is the Dice coefficient formula, and the formula is as follows:
- A is the mask of the third sample image
- B is the mask of the second sample image
- the value of s ranges from 0 to 1. If the mask of the second sample image is exactly the same as the mask of the third sample image, then s is 1, and the larger the s, the higher the consistency of the two masks.
- the consistency index formula of the mask is the Jaccard distance formula, and the formula is as follows:
- A is the mask of the third sample image
- B is the mask of the second sample image.
- J(A, B) Jaccard distance
- Step S60 when the consistency index is within the range of the preset index threshold, output the mask of the third sample image.
- the processor compares the obtained consistency index with the preset index threshold, and when the consistency index of the mask of the second sample image and the mask of the third sample image are within the preset index threshold, it outputs the first The mask of the three sample images.
- the index threshold is set in advance according to the adopted mask consistency index formula and actual specific requirements.
- a threshold range can be set. Take the above Dice coefficient formula as an example, if the mask consistency index formula is used Is the Dice coefficient formula, then the consistency threshold can be set between 0.5 and 1 according to the requirements for label consistency, then when the s value calculated by the Dice coefficient formula is any value between 0.5 and 1, processing The device controls the mask output of the third sample image.
- the method of filtering the image mask also includes:
- the fourth sample image and the fifth sample image are predicted using the model of the second generated mask, and the mask of the fourth sample image and the mask of the fifth sample image are obtained respectively, where the fourth sample image is the same as the pre-amplified sample An image corresponding to the remaining unlabeled data in the sample, and the fifth sample image is an image corresponding to the remaining unamplified unlabeled data in the sample;
- the mask of the fifth sample image is output.
- the second data augmentation processing method is one or a combination of any of multiple angle rotation, flip transformation, zoom transformation, translation transformation, scale transformation, contrast transformation, noise disturbance, and color change.
- FIG. 2 it is a schematic diagram of the application environment of the preferred embodiment of the filtering method of the image mask of this application.
- the electronic device 1 may be a terminal device with arithmetic function, such as a server, a smart phone, a tablet computer, a portable computer, a desktop computer, and the like.
- the electronic device 1 includes a processor 12, a memory 11, a network interface 13, and a communication bus 14.
- the memory 11 includes at least one type of readable storage medium.
- the at least one type of readable storage medium may be a non-volatile storage medium such as flash memory, hard disk, multimedia card, card-type memory 11, and the like.
- the readable storage medium may be an internal storage unit of the electronic device 1, for example, the hard disk of the electronic device 1.
- the readable storage medium may also be the external memory 11 of the electronic device 1, such as a plug-in hard disk, a smart media card (SMC), and a secure digital (Secure Digital) equipped on the electronic device 1. , SD) card, flash card (Flash Card), etc.
- the readable storage medium of the memory 11 is generally used to store the filtering program 10 of the image mask installed in the electronic device 1, the first amplification database, the amplified unlabeled database, and the like.
- the memory 11 can also be used to temporarily store data that has been output or will be output.
- the processor 12 may be a central processing unit (CPU), a microprocessor, or other data processing chip, which is used to run the program code or processing data stored in the memory 11, for example, the image mask is executed. Filtering program 10 and so on.
- CPU central processing unit
- microprocessor or other data processing chip, which is used to run the program code or processing data stored in the memory 11, for example, the image mask is executed. Filtering program 10 and so on.
- the network interface 13 may optionally include a standard wired interface and a wireless interface (such as a WI-FI interface), and is generally used to establish a communication connection between the electronic device 1 and other electronic devices.
- a standard wired interface and a wireless interface such as a WI-FI interface
- the communication bus 14 is used to realize the connection and communication between the above-mentioned components.
- FIG. 2 only shows the electronic device 1 with components 11-14, but it should be understood that it is not required to implement all the illustrated components, and more or fewer components may be implemented instead.
- the memory 11 which is a computer storage medium, may include an operating system and an image mask filter program 10; the processor 12 executes the image mask filter program 10 stored in the memory 11.
- the steps of the filtering method of the image mask in Embodiment 1 are shown in Fig. 1 for example.
- the processor 12 implements the functions of the modules/units in the foregoing device embodiments when executing the image mask filtering method.
- the image mask filtering program 10 shown in FIG. 3 can be divided into: acquisition module 110, data amplification Module 120, model training module 130, prediction module 140, consistency index calculation module 150, output mask module 160.
- modules 110-160 are all similar to the above, and will not be described in detail here. Illustratively, for example, where:
- the obtaining module 110 is used to obtain the marked data in the sample.
- the data amplification module 120 is configured to perform data amplification processing on the labeled data to obtain first amplification data.
- the model training module 130 is configured to perform model training on the labeled data and the first amplified data to obtain a model of the first generated mask.
- the prediction module 140 is configured to use the model of the first generated mask to perform prediction processing on the second sample image corresponding to the pre-amplified unlabeled data and the third sample image corresponding to the unlabeled data, and respectively obtain the mask and the first sample image of the second sample image.
- the mask of the three sample images are configured to use the model of the first generated mask to perform prediction processing on the second sample image corresponding to the pre-amplified unlabeled data and the third sample image corresponding to the unlabeled data, and respectively obtain the mask and the first sample image of the second sample image. The mask of the three sample images.
- the consistency index calculation module 150 is used to calculate the consistency index of the mask of the second sample image and the mask of the third sample image.
- the output mask module 160 is configured to output the mask of the third sample image when the consistency index is within the range of the preset index threshold.
- Figure 4 shows the logical structure of the image mask filtering system according to the best embodiment of the application.
- the present application provides an image mask filtering system 300, including: an acquisition unit 310, a data amplification unit 320, a model training unit 330, a prediction unit 340, a consistency index calculation unit 350, and an output mask unit 360 .
- the implementation functions of the acquisition unit 310, the data amplification unit 320, the model training unit 330, the prediction unit 340, the consistency index calculation unit 350, and the output mask unit 360 correspond to the steps of the image mask filtering method in the embodiment one-to-one. To avoid repetition, this embodiment will not go into details one by one.
- the obtaining unit 310 is configured to obtain the marked data in the sample.
- the data amplification unit 320 is configured to perform data amplification processing on the marked data to obtain first amplification data.
- the model training unit 330 is configured to perform model training on the labeled data and the first amplified data to obtain a model of the first generated mask.
- the prediction unit 340 is configured to perform prediction processing on the second sample image corresponding to the pre-amplified unlabeled data and the third sample image corresponding to the unlabeled data by using the model of the first generated mask, and respectively obtain the mask and the third sample image of the second sample image.
- the mask of the third sample image is configured to perform prediction processing on the second sample image corresponding to the pre-amplified unlabeled data and the third sample image corresponding to the unlabeled data by using the model of the first generated mask, and respectively obtain the mask and the third sample image of the second sample image. The mask of the third sample image.
- the consistency index calculation unit 350 is configured to use the consistency index formula of the mask to calculate the consistency index of the mask of the second sample image and the mask of the third sample image.
- the output mask unit 360 is configured to output the mask of the third sample image when the consistency index is within the range of the preset index threshold.
- the data amplification unit 320 includes: a multi-angle rotation module 321, a flip transformation module 322, a zoom transformation module 323, a translation transformation module 324, a scale transformation module 325, a contrast transformation module 326, a noise disturbance module 327, and a color change module 328 .
- the multi-angle rotation module 321 is configured to rotate the image corresponding to the annotated data according to a preset angle to obtain pictures with different angles, obtain image data corresponding to the pictures with different angles, and obtain amplified annotated data.
- the inversion transformation module 322 is used for inverting the image corresponding to the annotated data in the horizontal direction or the vertical direction to obtain the inverted image, obtaining image data corresponding to the inverted image, and obtaining the amplified annotated data.
- the zoom transformation module 323 is used to enlarge or reduce the image corresponding to the labeled data according to a preset ratio to obtain a zoomed image, obtain image data corresponding to the zoomed image, and obtain the amplified labeled data.
- the translation transformation module 324 is configured to perform translation processing on the image corresponding to the annotated data according to a preset translation range to obtain a translation image, obtain image data corresponding to the translation image, and obtain amplified annotated data.
- the scale transformation module 325 is configured to enlarge or reduce the image corresponding to the annotated data according to a pre-designated scale factor to obtain a scale-transformed image, obtain image data corresponding to the scale-transformed image, and obtain amplified annotated data.
- the contrast conversion module 326 is configured to perform contrast conversion processing on the image corresponding to the marked data to obtain a contrast change image, obtain the image data corresponding to the contrast change image, and obtain the amplified marked data.
- the noise perturbation module 327 is configured to randomly perturb each pixel of the image corresponding to the labeled data to obtain a noise perturbed image, obtain image data corresponding to the noise perturbed image, and obtain amplified labeled data.
- the color change module 328 is configured to perform color conversion processing on the image corresponding to the annotated data to obtain a color conversion image, obtain image data corresponding to the color conversion image, and obtain amplified annotated data.
- the embodiment of the present application also proposes a computer-readable storage medium, the computer-readable storage medium includes a filtering program of an image mask, and the filtering program of the image mask is executed by a processor to realize the filtering of the image mask in Embodiment 1.
- Method in order to avoid repetition, I will not repeat it here.
- the computer program when executed by the processor, the function of each module/unit in the filtering system of the image mask in Embodiment 4 is realized, and in order to avoid repetition, it is not repeated here.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及图像处理技术领域，本申请提供一种图像mask的过滤方法、装置、系统及计算机可读存储介质，其中的方法包括：获取样本中已标注数据；对已标注数据进行数据扩增处理，获取第一扩增数据；将原始图像、已标注数据和第一扩增数据用于模型训练，得到第一生成mask的模型；利用第一生成mask的模型对第二样本图像和第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask；利用mask的一致性指数公式计算出第二样本图像的mask和第三样本图像的mask的一致性指数；当一致性指数在预设的指数阈值的范围内时，输出第三样本图像的mask。本申请确保生成图像标注的可靠性和一致性，为mask标注提供新方法。
Description
本申请要求申请号为201910832168.1，申请日为2019年9月04日，发明创造名称为“图像mask的过滤方法、装置及存储介质”的专利申请的优先权。
本申请涉及图像处理技术领域，尤其涉及一种图像mask的过滤方法、装置、系统及计算机可读存储介质。
在图像处理技术中，mask(掩膜，也称作“掩模”)是指对二维图像中的需要进行处理的部分的提取和标注，近年来，随着图像处理技术和深度学习技术的迅速发展，图像自动标注越来越受到标注人员的青睐，传统的图像标注方式，由标注人员根据个人经验和一些已有规则自行判断物体在二维图像中的位置，利用已有的标注工具，在二维图像上通过拖动鼠标，用边界框标出物体的轮廓，对二维图像中的物体进行标注，其缺点主要是标注速度慢，工作效率低。
申请人意识到，目前在图像数据自动标注的研究上，比较流行的方法还有多视角协调训练、主动样本挖掘框架等，这些方法通常是从无标签数据中选择分类器或检测器认为置信度可能高的结果作为其标注信息并加入训练集，反复迭代，最终完成所有样本的标注。其缺点主要是仅通过置信度这一条件去区分标注信息的好与坏，不能很大程度上杜绝置信度高的错误标注出现,其自动生成的标注信息的可靠性、准确性及一致性无法保证，并且容易使得模型的迭代训练过程出现错误的不断累加，导致模型产生的结果不可靠。
发明内容
本申请提供一种图像mask的过滤方法、装置、系统及计算机可读存储介质，其主要目的在于通过对已标注数据进行数据扩增处理，利用mask的模型及一致性指数公式等技术手段，得到的标注数据具有更高的可靠性和一致性， 有利于提升模型收敛的速度及性能。
第一方面，本申请提供一种图像mask的过滤方法，该方法包括：
获取样本中已标注数据；
对所述已标注数据进行数据扩增处理，获取第一扩增数据；
将原始图像、所述已标注数据和所述第一扩增数据用于模型训练，得到第一生成mask的模型；
利用所述第一生成mask的模型对第二样本图像和第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask，其中，所述第二样本图像为与预先扩增的未标注数据对应的图像，所述第三样本图像为与未扩增的未标注数据对应的图像；
利用mask的一致性指数公式计算出所述第二样本图像的mask和所述第三样本图像的mask的一致性指数；
当所述一致性指数在预设的指数阈值的范围内时，输出所述第三样本图像的mask。
第二方面，本申请还提供一种电子装置，该电子装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的图像mask的过滤程序，所述处理器执行所述图像mask的过滤程序时实现如上述图像mask的过滤方法的步骤。
第三方面，本申请还提供一种图像mask的过滤系统，包括：
获取单元，用于获取样本中已标注数据；
数据扩增单元，用于对已标注数据进行数据扩增处理，获取第一扩增数据；
模型训练单元，用于对所述已标注数据和所述第一扩增数据进行模型训练，得到第一生成mask的模型；
预测单元，用于利用所述第一生成mask的模型对预先扩增的未标注数据对应的第二样本图像和未标注数据对应的第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask；
一致性指数计算单元，用于利用mask的一致性指数公式计算出所述第二样本图像的mask和所述第三样本图像的mask的一致性指数；
输出mask单元，用于当所述一致性指数在预设的指数阈值的范围内时， 输出所述第三样本图像的mask。
第四方面，本申请还提供一种计算机非易失性可读存储介质，所述计算机非易失性可读存储介质中包括图像mask的过滤程序，所述图像mask的过滤程序被处理器执行时，实现如上所述的图像mask的过滤方法中的任意步骤。
从上面的技术方案可知，本申请提出的图像mask的过滤方法、装置、系统及计算机可读存储介质，通过对已标注数据进行数据扩增处理、利用mask的模型及一致性指数公式等技术手段，节约人工标注的时间及减少人工标注的成本，为mask标注提供新方法；相对现有的方法，本申请所生产的标注具有更高的可靠性和一致性，有利于提升模型收敛的速度及性能。
为了实现上述以及相关目的，本申请的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本申请的某些示例性方面。然而，这些方面指示的仅仅是可使用本申请的原理的各种方式中的一些方式。此外，本申请旨在包括所有这些方面以及它们的等同物。
图1为本申请实施例的图像mask的过滤方法流程图；
图2为本申请实施例的图像mask的过滤方法的应用环境示意图；
图3为本申请实施例的图像mask的过滤程序的模块结构示意图；
图4为本申请实施例的图像mask的过滤系统逻辑结构框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。
以下将结合附图对本申请的具体实施例进行详细描述。
实施例1
为了说明本申请提供的图像mask的过滤方法，图1示出了根据本申请实施例的图像mask的过滤方法较佳实施例的流程。
如图1所示，本申请提供的图像mask的过滤方法包括：步骤S10-步骤S60。
步骤S10，获取样本中已标注数据。
具体地，样本中已标注数据可以是通过人工完成的标注数据，为了减少人工的工作量，可以对样本中的少量数据进行标注，当然，也可以采用自动标注工具等方式对样本中的小部分数据进行标注，但是，由于该已标注的数据用于作为后续训练第一生成mask的模型数据集中的一部分，对后续样本标注的准确性有较大的影响，所以，优选由人工进行少量数据标注，标注好之后，将已标注数据进行储存，由处理器从样本中获取该已标注数据。
步骤S20，对已标注数据进行数据扩增处理，获取第一扩增数据。
处理器获取到样本中已标注数据后，对该已标注数据进行数据扩增处理，从而获取更大的已标注数据，即第一扩增数据，处理器在存储器内创建第一扩增数据库，将获得的第一扩增数据储存在第一扩增数据库内。
具体地，对已标注数据进行数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
其中，多角度旋转是指随机旋转图像的一定角度；改变图像内容的朝向；也就是，将已标注的数据对应的图像进行多角度的旋转，从而获取不同角度下的扩增图像，每个图像均可以用图像数据来进行表示，通过多角度旋转可以获取不同角度下的扩增图像，通过获取的不同角度下的扩增图像获取每个角度图像所对应的图像数据。
具体地，通过多角度旋转的方法对已标注数据进行数据扩增处理的步骤包括：
将已标注数据对应的图像按照预设角度旋转，得到不同角度图片；
获取不同角度图片对应的图像数据，得到扩增后的已标注数据。
其中，翻转变换是指沿着水平或者垂直方向翻转图像；也就是将已标注的数据对应的图像沿着水平或者垂直方向翻转图像，从而获取翻转后的扩增 图像，通过获取的翻转后的扩增图像获取每个翻转后的扩增图像所对应的图像数据。
具体地，通过翻转变换的方法对已标注数据进行数据扩增处理的步骤包括：
将已标注数据对应的图像沿着水平方向或者垂直方向翻转，得到翻转后的图像；
获取翻转后的图像对应的图像数据，得到扩增后的已标注数据。
其中，缩放变换是指按照一定的比例放大或者缩小图像；也就是将已标注的数据对应的图像按照预先设定的比例放大或者缩小，从而获取放大或者缩小的扩增图像，通过获取的缩放后的扩增图像获取缩放后的扩增图像所对应的图像数据。
具体地，通过缩放变换的方法对已标注数据进行数据扩增处理的步骤包括：
将已标注数据对应的图像按照预设比例放大或者缩小，得到缩放图像；
获取缩放图像对应的图像数据，得到扩增后的已标注数据。
其中，平移变换是指在图像平面上对图像以一定方式进行平移；可以采用随机或人为定义的方式指定平移范围和平移步长，沿水平或竖直方向进行平移，改变图像内容的位置。也就是将已标注的数据对应的图像沿水平或竖直方向进行平移，获取图像内容位置改变的扩增图像，然后通过平移变换后的扩增图像获取与其相对应的平移变换后的扩增图像数据。
具体地，通过平移变换的方法对已标注数据进行数据扩增处理的步骤包括：
将已标注数据对应的图像按照预设平移范围进行平移处理，得到平移图像；
获取平移图像对应的图像数据，得到扩增后的已标注数据。
其中，尺度变换是指对图像按照预先指定的尺度因子,进行放大或缩小；或者参照SIFT特征提取思想,利用预先指定的尺度因子对图像滤波构造尺度空间；改变图像内容的大小或模糊程度，通过上述的尺度变换方式对已标注的数据对应的图像进行尺度变换，获取尺度变换后的扩增图像，然后通过尺度变换后的扩增图像获取与其相对应的尺度变换后的扩增图像数据。
具体地，通过尺度变换的方法对已标注数据进行数据扩增处理的步骤包括：
将已标注数据对应的图像按照预先指定的尺度因子,进行放大或缩小处理，得到尺度变换图像；
获取尺度变换图像对应的图像数据，得到扩增后的已标注数据。
其中，对比度变换是指在图像的HSV颜色空间，改变饱和度S和V亮度分量，保持色调H不变；对每个像素的S和V分量进行指数运算(指数因子在0.25到4之间)，增加光照变化，通过上述的对比度变换方法对已标注的数据对应的图像进行对比度变换，获取对比度变换后的扩增图像，然后通过对比度变换后的扩增图像获取与其相对应的对比度变换后的扩增图像数据。
具体地，通过对比度变换的方法对已标注数据进行数据扩增处理的步骤包括：
将已标注数据对应的图像进行对比度变换处理，得到对比度变化图像；
获取对比度变化图像对应的图像数据，得到扩增后的已标注数据。
其中，噪声扰动是指对图像的每个像素RGB进行随机扰动，常用的噪声模式是椒盐噪声和高斯噪声。通过噪声扰动的方式对已标注的数据对应的图像的每个像素RGB进行随机扰动，获取噪声扰动后的扩增图像，然后通过噪声扰动后的扩增图像获取与其相对应的噪声扰动后的扩增图像数据。
具体地，通过噪声扰动的方法对已标注数据进行数据扩增处理的步骤包括：
将已标注数据对应的图像的每个像素进行随机扰动，得到噪声扰动图像；
获取噪声扰动图像对应的图像数据，得到扩增后的已标注数据。
其中，颜色变化是指对图像的颜色的改变，通过改变已标注的数据对应的图像的颜色，获取颜色变化后的扩增图像，然后通过颜色变化后的扩增图像获取与其相对应的颜色变化后的扩增图像数据。
具体地，通过颜色变化的方法对已标注数据进行数据扩增处理的步骤包括：
将已标注数据对应的图像进行颜色变换处理，得到颜色变换图像；
获取颜色变换图像对应的图像数据，得到扩增后的已标注数据。
通过上述所列举的方法对已标注数据进行数据扩增处理，可以选择上述 方法中的一种，也可以选择上述方法中的几种，当然，也可以选择上述扩增图像数据方法之外的方法，只要能够达到扩增已标注数据的目的便可。
步骤S30，将原始图像、已标注数据和第一扩增数据用于模型训练，得到第一生成mask的模型。
具体地，处理器获取已标注数据以及由已标注数据扩增得到的第一扩增数据，将两个数据一同作为数据训练集，用于模型训练，通过模型训练得到第一生成mask的模型。其中，第一生成mask的模型可用于后续的对图像的预测处理中。
步骤S40，利用第一生成mask的模型对第二样本图像和第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask，其中，第二样本图像为与预先扩增的未标注数据对应的图像，第三样本图像为与未扩增的未标注数据对应的图像。
处理器在获取样本中已标注数据的同时，也从样本中获取未标注的数据，并且对未标注的数据进行数据扩增处理，其中，对未标注的数据进行数据扩增处理与上述的对已标注数据扩增处理的方法相同，也可以选择多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
利用第一生成mask的模型对与预先扩增的未标注数据对应的第二样本图像进行预测处理，获取第二样本图像的mask；利用第一生成mask的模型对与未扩增的未标注数据对应的第三样本图像进行预测处理，获取第三样本图像的mask。
步骤S50，利用mask的一致性指数公式计算出第二样本图像的mask和第三样本图像的mask的一致性指数。
处理器获取到第二样本图像的mask和第三样本图像的mask，利用mask的一致性指数公式计算出第二样本图像的mask和第三样本图像的mask的一致性指数。
具体地，作为本申请的一个优选实施例，mask的一致性指数公式为Dice系数公式，公式如下：
其中，A为第三样本图像的mask，B为第二样本图像的mask，s的取值范围为0～1之间，如果第二样本图像的mask和第三样本图像的mask完全一致，那么s就为1，s越大说明两个mask的一致性越高。
作为本申请的一个优选实施例，mask的一致性指数公式为Jaccard距离公式，公式如下：
其中，A为第三样本图像的mask，B为第二样本图像的mask。J(A，B)(Jaccard距离)越大，两个mask的一致性越低。
步骤S60，当一致性指数在预设的指数阈值的范围内时，输出第三样本图像的mask。
处理器将获取的一致性指数与预设的指数阈值进行比对，当第二样本图像的mask和第三样本图像的mask的一致性指数在预先设定的指数阈值的范围内时，输出第三样本图像的mask。
其中，指数阈值为预先根据采用的mask的一致性指数公式以及实际的具体要求来进行设定，可以设定一个阈值范围，以上述的Dice系数公式为例，如果采用的mask的一致性指数公式为Dice系数公式，那么可以根据对标注一致性的要求设定一致性的阈值在0.5～1之间，那么通过Dice系数公式计算出的s值为0.5～1之间的任一值时，处理器控制输出第三样本图像的mask自。
在对样本较大的图像数据进行标注时，可以通过将上述方法反复迭代后生成完所有的样本标注，作为本申请的一个优选方案，输出第三样本图像的mask后，图像mask的过滤的方法还包括：
判断样本的mask是否全部输出，如果没有全部输出，则，
将第三样本图像的mask与已标注数据一同作为样本新的已标注数据；
对新的已标注数据进行第二数据扩增处理，获取第二扩增数据；
将第二扩增数据和所述新的已标注数据用于模型训练，得到第二生成mask的模型；
利用第二生成mask的模型对第四样本图像和第五样本图像进行预测处理，分别获取第四样本图像的mask和第五样本图像的mask，其中，第四样 本图像为与预先扩增的样本中剩余未标注数据对应的图像，第五样本图像为与所述样本中剩余未扩增的未标注数据对应的图像；
利用mask的一致性指数公式计算出第四样本图像的mask和第五样本图像的mask的一致性指数；
当第四样本图像的mask和第五样本图像的mask的一致性指数在预设的指数阈值范围内时，输出第五样本图像的mask。
其中，第二数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
实施例2
本申请提供的图像mask的过滤方法，应用于一种电子装置1。参照图2所示，为本申请图像mask的过滤方法较佳实施例的应用环境示意图。
在本实施例中，电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
该电子装置1包括：处理器12、存储器11、网络接口13及通信总线14。
存储器11包括至少一种类型的可读存储介质。该至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子装置1的内部存储单元，例如该电子装置1的硬盘。在另一些实施例中，可读存储介质也可以是电子装置1的外部存储器11，例如电子装置1上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。
在本实施例中，存储器11的可读存储介质通常用于存储安装于电子装置1的图像mask的过滤程序10、第一扩增数据库、扩增的未标注数据库等。存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行图像mask的过滤程序10等。
网络接口13可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子装置1与其他电子设备之间建立通信连接。
通信总线14用于实现上述这些组件之间的连接通信。
图2仅示出了具有组件11-14的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
在图2所示的装置实施例中，作为一种计算机存储介质的存储器11中可以包括操作系统以及图像mask的过滤程序10；处理器12执行存储器11中存储的图像mask的过滤程序10时实现实施例1中图像mask的过滤方法的各个步骤，例如图1所示。或者，处理器12执行图像mask的过滤方法时实现上述各装置实施例中各模块/单元的功能，例如图3所示的图像mask的过滤程序10可以被分割为：获取模块110、数据扩增模块120、模型训练模块130、预测模块140、一致性指数计算模块150、输出mask模块160。
所述模块110-160所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如其中：
获取模块110用于获取样本中已标注数据。
数据扩增模块120用于对已标注数据进行数据扩增处理，获取第一扩增数据。
模型训练模块130用于对已标注数据和第一扩增数据进行模型训练，得到第一生成mask的模型。
预测模块140用于利用第一生成mask的模型对预先扩增的未标注数据对应的第二样本图像和未标注数据对应的第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask。
一致性指数计算模块150用于计算出第二样本图像的mask和第三样本图像的mask的一致性指数。
输出mask模块160用于当一致性指数在预设的指数阈值的范围内时，输出第三样本图像的mask。
实施例3
与上述方法相对应，本申请还提供一种图像mask的过滤系统，图4示出了根据本申请最佳实施例的图像mask的过滤系统逻辑结构.
如图4所示，本申请提供一种图像mask的过滤系统300，包括：获取单元310、数据扩增单元320、模型训练单元330、预测单元340、一致性指数计算单元350、输出mask单元360。其中，获取单元310、数据扩增单元320、 模型训练单元330、预测单元340、一致性指数计算单元350、输出mask单元360的实现功能与实施例中图像mask的过滤方法的步骤一一对应，为避免赘述，本实施例不一一详述。
获取单元310，用于获取样本中已标注数据。
数据扩增单元320，用于对已标注数据进行数据扩增处理，获取第一扩增数据。
模型训练单元330，用于对已标注数据和第一扩增数据进行模型训练，得到第一生成mask的模型。
预测单元340，用于利用第一生成mask的模型对预先扩增的未标注数据对应的第二样本图像和未标注数据对应的第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask。
一致性指数计算单元350，用于利用mask的一致性指数公式计算出第二样本图像的mask和第三样本图像的mask的一致性指数。
输出mask单元360，用于当一致性指数在预设的指数阈值的范围内时，输出第三样本图像的mask。
优选地，数据扩增单元320包括：多角度旋转模块321、翻转变换模块322、缩放变换模块323、平移变换模块324、尺度变换模块325、对比度变换模块326、噪声扰动模块327、颜色变化模块328。
多角度旋转模块321，用于将已标注数据对应的图像按照预设角度旋转，得到不同角度图片，获取不同角度图片对应的图像数据，得到扩增后的已标注数据。
翻转变换模块322，用于将已标注数据对应的图像沿着水平方向或者垂直方向翻转，得到翻转后的图像，获取翻转后的图像对应的图像数据，得到扩增后的已标注数据。
缩放变换模块323，用于将已标注数据对应的图像按照预设比例放大或者缩小，得到缩放图像，获取缩放图像对应的图像数据，得到扩增后的已标注数据。
平移变换模块324，用于将已标注数据对应的图像按照预设平移范围进行平移处理，得到平移图像，获取平移图像对应的图像数据，得到扩增后的已标注数据。
尺度变换模块325，用于将已标注数据对应的图像按照预先指定的尺度因子,进行放大或缩小处理，得到尺度变换图像，获取尺度变换图像对应的图像数据，得到扩增后的已标注数据。
对比度变换模块326，用于将已标注数据对应的图像进行对比度变换处理，得到对比度变化图像，获取对比度变化图像对应的图像数据，得到扩增后的已标注数据。
噪声扰动模块327，用于将已标注数据对应的图像的每个像素进行随机扰动，得到噪声扰动图像，获取噪声扰动图像对应的图像数据，得到扩增后的已标注数据。
颜色变化模块328，用于将已标注数据对应的图像进行颜色变换处理，得到颜色变换图像，获取颜色变换图像对应的图像数据，得到扩增后的已标注数据。
实施例4
本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括图像mask的过滤程序，所述图像mask的过滤程序被处理器执行时实现实施例1中图像mask的过滤方法，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现实施例4中图像mask的过滤系统中各模块/单元的功能，为避免重复，这里不再赘述。
本申请之计算机可读存储介质的具体实施方式与上述图像mask的过滤方法、电子装置、系统的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质 上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (20)
- 一种图像mask的过滤方法，应用于电子装置，其特征在于，所述方法包括：获取样本中已标注数据；对所述已标注数据进行数据扩增处理，获取第一扩增数据；将原始图像、所述已标注数据和所述第一扩增数据用于模型训练，得到第一生成mask的模型；利用所述第一生成mask的模型对第二样本图像和第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask，其中，所述第二样本图像为与预先扩增的未标注数据对应的图像，所述第三样本图像为与未扩增的未标注数据对应的图像；利用mask的一致性指数公式计算出所述第二样本图像的mask和所述第三样本图像的mask的一致性指数；当所述一致性指数在预设的指数阈值的范围内时，输出所述第三样本图像的mask。
- 根据权利要求1所述的图像mask的过滤方法，其特征在于，对已标注数据进行数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
- 根据权利要求1所述的图像mask的过滤方法，其特征在于，所述mask的一致性指数公式为Dice系数公式，公式如下：
其中，A为第三样本图像的mask，B为第二样本图像的mask，s的取值范围为0～1之间。 - 根据权利要求1所述的图像mask的过滤方法，其特征在于，所述mask的一致性指数公式为Jaccard距离公式，公式如下：
其中，A为第三样本图像的mask，B为第二样本图像的mask。 - 根据权利要求1所述的图像mask的过滤方法，其特征在于，在输出所述第三样本图像的mask后，图像mask的过滤方法还包括：判断所述样本的mask是否全部输出，如果没有全部输出，则，将所述第三样本图像的mask与所述已标注数据一同作为样本新的已标注数据；对所述新的已标注数据进行第二数据扩增处理，获取第二扩增数据；将所述第二扩增数据和所述新的已标注数据用于模型训练，得到第二生成mask的模型；利用所述第二生成mask的模型对第四样本图像和第五样本图像进行预测处理，分别获取第四样本图像的mask和第五样本图像的mask，其中，所述第四样本图像为与预先扩增的样本中剩余未标注数据对应的图像，所述第五样本图像为与所述样本中剩余未扩增的未标注数据对应的图像；利用mask的一致性指数公式计算出第四样本图像的mask和第五样本图像的mask的一致性指数；当所述第四样本图像的mask和所述第五样本图像的mask的一致性指数在所述预设的指数阈值范围内时，输出所述第五样本图像的mask。
- 根据权利要求5所述的图像mask的过滤方法，其特征在于，所述第二数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
- 根据权利要求1所述的图像mask的过滤方法，其特征在于，所述样本中已标注数据为人工标注数据或者通过自动标注工具标注后得到的数据。
- 根据权利要求2所述的图像mask的过滤方法，其特征在于，通过多角度旋转的方法对已标注数据进行数据扩增处理的步骤包括：将所述已标注数据对应的图像按照预设角度旋转，得到不同角度图片；获取所述不同角度图片对应的图像数据，得到扩增后的已标注数据。
- 根据权利要求2所述的图像mask的过滤方法，其特征在于，通过翻转变换的方法对已标注数据进行数据扩增处理的步骤包括：将所述已标注数据对应的图像沿着水平方向或者垂直方向翻转，得到翻转后的图像；获取所述翻转后的图像对应的图像数据，得到扩增后的已标注数据。
- 根据权利要求2所述的图像mask的过滤方法，其特征在于，通过缩放变换的方法对已标注数据进行数据扩增处理的步骤包括：将所述已标注数据对应的图像按照预设比例放大或者缩小，得到缩放图像；获取所述缩放图像对应的图像数据，得到扩增后的已标注数据。
- 根据权利要求2所述的图像mask的过滤方法，其特征在于，通过平移变换的方法对已标注数据进行数据扩增处理的步骤包括：将所述已标注数据对应的图像按照预设平移范围进行平移处理，得到平移图像；获取所述平移图像对应的图像数据，得到扩增后的已标注数据。
- 根据权利要求2所述的图像mask的过滤方法，其特征在于，通过尺度变换的方法对已标注数据进行数据扩增处理的步骤包括：将所述已标注数据对应的图像按照预先指定的尺度因子,进行放大或缩小处理，得到尺度变换图像；获取所述尺度变换图像对应的图像数据，得到扩增后的已标注数据。
- 根据权利要求2所述的图像mask的过滤方法，其特征在于，通过对比度变换的方法对已标注数据进行数据扩增处理的步骤包括：将所述已标注数据对应的图像进行对比度变换处理，得到对比度变化图像；获取所述对比度变化图像对应的图像数据，得到扩增后的已标注数据。
- 根据权利要求2所述的图像mask的过滤方法，其特征在于，通过噪声扰动的方法对已标注数据进行数据扩增处理的步骤包括：将所述已标注数据对应的图像的每个像素进行随机扰动，得到噪声扰动图像；获取所述噪声扰动图像对应的图像数据，得到扩增后的已标注数据。
- 根据权利要求2所述的图像mask的过滤方法，其特征在于，通过颜色变化的方法对已标注数据进行数据扩增处理的步骤包括：将所述已标注数据对应的图像进行颜色变换处理，得到颜色变换图像；获取所述颜色变换图像对应的图像数据，得到扩增后的已标注数据。
- 一种电子装置，该电子装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的图像mask的过滤程序，其特征在于，所述处理器执行所述图像mask的过滤程序时实现如权利要求1至15任一项所述的图像mask的过滤方法的步骤。
- 根据权利要求16所述的电子装置，其特征在于，对已标注数据进行数据扩增处理的方法为多角度旋转、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变化中的一种或任意几种的组合。
- 一种图像mask的过滤系统，其特征在于，包括：获取单元，用于获取样本中已标注数据；数据扩增单元，用于对所述已标注数据进行数据扩增处理，获取第一扩增数据；模型训练单元，用于对所述已标注数据和所述第一扩增数据进行模型训练，得到第一生成mask的模型；预测单元，用于利用所述第一生成mask的模型对预先扩增的未标注数据对应的第二样本图像和未标注数据对应的第三样本图像进行预测处理，分别获取第二样本图像的mask和第三样本图像的mask；一致性指数计算单元，用于利用mask的一致性指数公式计算出所述第二样本图像的mask和所述第三样本图像的mask的一致性指数；输出mask单元，用于当所述一致性指数在预设的指数阈值的范围内时，输出所述第三样本图像的mask。
- 根据权利要求18所述的图像mask的过滤系统，其特征在于，所述数据扩增单元包括：多角度旋转模块，用于将所述已标注数据对应的图像按照预设角度旋转，得到不同角度图片，获取所述不同角度图片对应的图像数据，得到扩增后的已标注数据；翻转变换模块，用于将所述已标注数据对应的图像沿着水平方向或者垂直方向翻转，得到翻转后的图像，获取所述翻转后的图像对应的图像数据，得到扩增后的已标注数据；缩放变换模块，用于将所述已标注数据对应的图像按照预设比例放大或者缩小，得到缩放图像，获取所述缩放图像对应的图像数据，得到扩增后的 已标注数据；平移变换模块，用于将所述已标注数据对应的图像按照预设平移范围进行平移处理，得到平移图像，获取所述平移图像对应的图像数据，得到扩增后的已标注数据；尺度变换模块，用于将所述已标注数据对应的图像按照预先指定的尺度因子,进行放大或缩小处理，得到尺度变换图像，获取所述尺度变换图像对应的图像数据，得到扩增后的已标注数据；对比度变换模块，用于将所述已标注数据对应的图像进行对比度变换处理，得到对比度变化图像，获取所述对比度变化图像对应的图像数据，得到扩增后的已标注数据；噪声扰动模块，用于将所述已标注数据对应的图像的每个像素进行随机扰动，得到噪声扰动图像，获取所述噪声扰动图像对应的图像数据，得到扩增后的已标注数据；颜色变化模块，用于将所述已标注数据对应的图像进行颜色变换处理，得到颜色变换图像，获取所述颜色变换图像对应的图像数据，得到扩增后的已标注数据。
- 一种计算机非易失性可读存储介质，其特征在于，所述计算机非易失性可读存储介质中包括图像mask的过滤程序，所述图像mask的过滤程序被处理器执行时，实现如权利要求1至15中任一项所述的图像mask的过滤方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910832168.1A CN110717060B (zh) | 2019-09-04 | 2019-09-04 | 图像mask的过滤方法、装置及存储介质 |
| CN201910832168.1 | 2019-09-04 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021042549A1 true WO2021042549A1 (zh) | 2021-03-11 |
Family
ID=69209652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2019/117811 WO2021042549A1 (zh) | 2019-09-04 | 2019-11-13 | 图像mask的过滤方法、装置、系统及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110717060B (zh) |
| WO (1) | WO2021042549A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113705691A (zh) * | 2021-08-30 | 2021-11-26 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的图像标注校验方法、装置、设备及介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968028A (zh) * | 2020-08-14 | 2020-11-20 | 北京字节跳动网络技术有限公司 | 图像生成方法、装置、设备和计算机可读介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101959000A (zh) * | 2009-12-31 | 2011-01-26 | 四川虹欧显示器件有限公司 | 图像数据处理的方法和装置 |
| CN109461167A (zh) * | 2018-11-02 | 2019-03-12 | Oppo广东移动通信有限公司 | 图像处理模型的训练方法、抠图方法、装置、介质及终端 |
| CN110008997A (zh) * | 2019-03-06 | 2019-07-12 | 平安科技（深圳）有限公司 | 图像纹理相似度识别方法、装置及计算机可读存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10535141B2 (en) * | 2018-02-06 | 2020-01-14 | Google Llc | Differentiable jaccard loss approximation for training an artificial neural network |
| CN108764241A (zh) * | 2018-04-20 | 2018-11-06 | 平安科技（深圳）有限公司 | 分割股骨近端的方法、装置、计算机设备和存储介质 |
| CN109035212A (zh) * | 2018-07-05 | 2018-12-18 | 清影医疗科技（深圳）有限公司 | 一种肺部ct影像特殊组织的标记方法 |
| CN109346159B (zh) * | 2018-11-13 | 2024-02-13 | 平安科技（深圳）有限公司 | 病例图像分类方法、装置、计算机设备及存储介质 |
| CN109754403A (zh) * | 2018-11-29 | 2019-05-14 | 中国科学院深圳先进技术研究院 | 一种ct图像内的肿瘤自动分割方法及系统 |
| CN109740463A (zh) * | 2018-12-21 | 2019-05-10 | 沈阳建筑大学 | 一种车载环境下的目标检测方法 |
| CN109741346B (zh) * | 2018-12-30 | 2020-12-08 | 上海联影智能医疗科技有限公司 | 感兴趣区域提取方法、装置、设备及存储介质 |
| CN109902672A (zh) * | 2019-01-17 | 2019-06-18 | 平安科技（深圳）有限公司 | 图像标注方法及装置、存储介质、计算机设备 |
| CN110070552B (zh) * | 2019-05-07 | 2021-09-07 | 西南石油大学 | 一种基于语义分割的岩石图像孔隙类型识别方法 |
| CN110110661A (zh) * | 2019-05-07 | 2019-08-09 | 西南石油大学 | 一种基于unet分割的岩石图像孔隙类型识别方法 |
-
2019
- 2019-09-04 CN CN201910832168.1A patent/CN110717060B/zh active Active
- 2019-11-13 WO PCT/CN2019/117811 patent/WO2021042549A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101959000A (zh) * | 2009-12-31 | 2011-01-26 | 四川虹欧显示器件有限公司 | 图像数据处理的方法和装置 |
| CN109461167A (zh) * | 2018-11-02 | 2019-03-12 | Oppo广东移动通信有限公司 | 图像处理模型的训练方法、抠图方法、装置、介质及终端 |
| CN110008997A (zh) * | 2019-03-06 | 2019-07-12 | 平安科技（深圳）有限公司 | 图像纹理相似度识别方法、装置及计算机可读存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113705691A (zh) * | 2021-08-30 | 2021-11-26 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的图像标注校验方法、装置、设备及介质 |
| CN113705691B (zh) * | 2021-08-30 | 2024-04-09 | 深圳平安智慧医健科技有限公司 | 基于人工智能的图像标注校验方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110717060A (zh) | 2020-01-21 |
| CN110717060B (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348294B (zh) | Pdf文档中图表的定位方法、装置及计算机设备 | |
| US10803554B2 (en) | Image processing method and device | |
| WO2021114832A1 (zh) | 样本图像数据增强方法、装置、电子设备及存储介质 | |
| US8971591B2 (en) | 3D image estimation for 2D image recognition | |
| JP6507472B2 (ja) | 処理方法、処理システム及びコンピュータプログラム | |
| WO2021051867A1 (zh) | 资产信息识别方法、装置、计算机设备及存储介质 | |
| US20130238968A1 (en) | Automatic Creation of a Table and Query Tools | |
| WO2020253508A1 (zh) | 异常细胞检测方法、装置及计算机可读存储介质 | |
| KR102232845B1 (ko) | 디지털 이미지 프리젠테이션 | |
| WO2019218388A1 (zh) | 一种事件数据流的处理方法及计算设备 | |
| JP2019117577A (ja) | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 | |
| WO2021042549A1 (zh) | 图像mask的过滤方法、装置、系统及存储介质 | |
| WO2021184847A1 (zh) | 一种遮挡车牌字符识别方法、装置、存储介质和智能设备 | |
| Zhang et al. | Semantic photo retargeting under noisy image labels | |
| WO2022002262A1 (zh) | 基于计算机视觉的字符序列识别方法、装置、设备和介质 | |
| CN113673519B (zh) | 基于文字检测模型的文字识别方法及其相关设备 | |
| WO2022105569A1 (zh) | 页面方向识别方法、装置、设备及计算机可读存储介质 | |
| WO2021168703A1 (zh) | 字符处理及字符识别方法、存储介质和终端设备 | |
| US20240160616A1 (en) | Text-based machine learning extraction of table data from a read-only document | |
| WO2021179751A1 (zh) | 图像处理方法和系统 | |
| WO2021190664A1 (zh) | 基于关键点定位的多人脸检测方法、系统及存储介质 | |
| WO2020228171A1 (zh) | 数据增强方法、装置及计算机可读存储介质 | |
| WO2021051562A1 (zh) | 人脸特征点定位方法、装置、计算设备和存储介质 | |
| CN112395834B (zh) | 基于图片输入的脑图生成方法、装置、设备及存储介质 | |
| US20230072445A1 (en) | Self-supervised video representation learning by exploring spatiotemporal continuity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19944230 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19944230 Country of ref document: EP Kind code of ref document: A1 |