WO2020253296A1 - 图像分割模型的训练方法、图像分割方法、介质及终端 - Google Patents

图像分割模型的训练方法、图像分割方法、介质及终端 Download PDF

Info

Publication number
WO2020253296A1
WO2020253296A1 PCT/CN2020/080702 CN2020080702W WO2020253296A1 WO 2020253296 A1 WO2020253296 A1 WO 2020253296A1 CN 2020080702 W CN2020080702 W CN 2020080702W WO 2020253296 A1 WO2020253296 A1 WO 2020253296A1
Authority
WO
WIPO (PCT)
Prior art keywords
image segmentation
image
training
pixel
segmentation model
Prior art date
Application number
PCT/CN2020/080702
Other languages
English (en)
French (fr)
Inventor
薛凯文
赖长明
徐永泽
Original Assignee
深圳Tcl新技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳Tcl新技术有限公司 filed Critical 深圳Tcl新技术有限公司
Publication of WO2020253296A1 publication Critical patent/WO2020253296A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present disclosure relates to the field of image processing technology, and in particular to an image segmentation model training method, image segmentation method, medium and terminal.
  • Image segmentation is a classic computer vision task with a wide range of applications.
  • Image segmentation of medical images can help doctors perform diagnosis and treatment, and image search based on image segmentation can help users search for unknown target objects. These are examples of image segmentation applications.
  • the technical problem to be solved by the present disclosure is to provide an image segmentation model training method, image segmentation method, medium and terminal in view of the above-mentioned defects of the prior art, aiming to solve the problem of inaccurate image segmentation in the prior art.
  • a method for training an image segmentation model includes:
  • the evaluation result is fed back to the image segmentation algorithm for model training to obtain a trained image segmentation model.
  • the training data set adopts ADE20K
  • the image segmentation algorithm adopts a baseline algorithm
  • the baseline algorithm adopts the PSPnet algorithm.
  • the step of using a preset image segmentation algorithm to traverse the pixel labels of the images in the training data set, find and output the edge data of the images includes:
  • the 48 connected areas of each pixel are taken as the adjacent areas of the pixels to obtain the edge data of the image.
  • the obtaining the edge data of the image includes:
  • the construction of the loss function includes:
  • N is the number of samples or images for algorithm training
  • i refers to each image in the training data set
  • ⁇ is the regularization coefficient
  • It is the L2 regularization term, where j is the network training parameter, M is the total number of network training parameters, and L mix1 is the loss function;
  • x refers to the abscissa position of the image
  • y refers to the ordinate position of the image
  • w refers to the width of the image
  • h refers to the height of the image
  • p (x, y) labeli is the pixel to be judged
  • the I function is the indicator function
  • im refers to the imfeature function
  • ⁇ is the balance factor
  • the construction of the loss function further includes:
  • the falsely detected edge data represents pixels that were originally not edges but were detected as edges and/or pixels that were originally edges but were detected as not edges.
  • the introducing penalty item specifically includes:
  • the introduction of different penalty items for different misdetection situations includes:
  • the edge data output by the baseline algorithm is traversed to obtain pixels that are not edges but are detected as edges, and the first penalty item is introduced to construct Introducing the loss function of the first penalty term;
  • the edge data output by the baseline algorithm is traversed to obtain pixels that were originally edges but were not detected as edges, and the second penalty term is introduced to construct the introduction The loss function of the second penalty term.
  • ⁇ is the penalty term balance factor.
  • An image segmentation method which includes:
  • the image to be segmented is input into a preset image segmentation model for segmentation to obtain a segmented image, wherein the image segmentation model is trained by any one of the image segmentation model training methods described above Image segmentation model.
  • a storage medium having a plurality of instructions stored thereon, wherein the instructions are suitable for being loaded and executed by a processor, so as to implement the training method of any one of the above-mentioned image segmentation models or the above-mentioned image segmentation Method steps.
  • An intelligent terminal comprising: a processor and a storage medium communicatively connected with the processor, wherein the storage medium is suitable for storing a plurality of instructions; the processor is suitable for calling the instructions in the storage medium to execute The training method of the image segmentation model described in any one of the above or the steps of the image segmentation method described above.
  • the beneficial effects of the present disclosure evaluates the edge data of the image by constructing a loss function, and trains the network model of the image segmentation algorithm according to the evaluation result, which can improve the existing algorithm and obtain a more accurate image segmentation model.
  • FIG. 1 is a flowchart of Embodiment 1 of the training method of an image segmentation model provided by the present disclosure.
  • Fig. 2 is a flowchart of the second embodiment of the training method of the image segmentation model provided by the present disclosure.
  • Fig. 3 is a flow chart of obtaining image edge data in the second embodiment.
  • Fig. 4 is a schematic diagram of an adjacent area of the present disclosure.
  • Fig. 5 is a schematic diagram of output edge data of the present disclosure.
  • Fig. 6 is a schematic diagram of edge data error detection in the existing model.
  • Figure 7 is the second schematic diagram of edge data misdetection in the existing model.
  • FIG. 8 is a schematic flowchart of a preferred embodiment of the image segmentation method provided by the present disclosure.
  • Fig. 9 is a functional schematic diagram of the smart terminal provided by the present disclosure.
  • the training method of an image segmentation model provided by the present disclosure can be applied to a terminal.
  • the terminal can be, but is not limited to, various personal computers, notebook computers, mobile phones, tablet computers, vehicle-mounted computers, and portable wearable devices.
  • the terminal of the present disclosure uses a multi-core processor.
  • the processor of the terminal may be at least one of a central processing unit (Central Processing Unit, CPU), a graphics processing unit (Graphics Processing Unit, GPU), a video processing unit (Video Processing Unit, VPU), and the like.
  • the first embodiment provides a method for training an image segmentation model, as shown in FIG. 1 specifically, including the following steps:
  • Step S100 Construct a training data set, the training data set including images with pixel labels;
  • Step S200 Use a preset image segmentation algorithm to traverse the pixel labels of the image in the training data set, find and output the edge data of the image;
  • Step S300 Construct a loss function, use the loss function to evaluate the edge data of the image, and output the evaluation result;
  • Step S400 Feed the evaluation result back to the image segmentation algorithm for model training, and use the trained model to segment the image.
  • a training data set needs to be constructed first, and the training data set includes images with pixel labels.
  • this embodiment uses the ADE20K dataset (ADE20K dataset, a dataset released by MIT that can be used for scene perception, analysis, segmentation, multi-object recognition, and semantic understanding) as the training dataset.
  • the ADE20K dataset covers categories Broad, the number of categories is about 3000 categories.
  • there are many data sets to choose from, and those skilled in the art can also choose other data sets as training data sets, and predefine pixel labels in the images in the data set, so that the training data set includes bands An image with pixel tags.
  • the preset image segmentation algorithm in this embodiment is the baseline algorithm.
  • the baseline algorithm preferably uses the PSPnet (Pyramid Scene Parsing Network) algorithm.
  • the PSPnet algorithm is in the ADE20K-150 (select 150 from the original 3000 categories).
  • the class is more commonly used, a sub-data set composed of a large amount of data)
  • the accuracy of the image segmentation model constructed on the data set is higher.
  • there are many algorithms that can be used to construct an image segmentation model and those skilled in the art can also choose other algorithms as the image segmentation algorithm, and the present disclosure does not specifically limit this.
  • step S200 includes:
  • S130 Use the 48 connected area of each pixel as the adjacent area of the pixel to obtain edge data of the image.
  • a pixel label indicating the characteristics of a pixel is defined in advance.
  • the characteristics of the pixel can be various elements such as RGB value, grayscale, and transparency of the pixel.
  • RGB value, grayscale When the RGB value, grayscale, When the transparency or other various elements are similar, the labels of the two pixels are the same, that is, the pixel labels can be used to determine whether the pixels have the same characteristics.
  • those skilled in the art can make different specific definitions of the pixel tags according to the actual situation, and finally only need to realize the effect of judging whether the pixel characteristics are consistent through the tags.
  • the adjacent area of the pixel is also defined, and the 48 connected area of the pixel is regarded as the adjacent area of the pixel.
  • the 48 connected area of the pixel refers to the area within the range of 7*7 with a pixel as the center, as shown in the figure As shown in 4, the hollow pixel area in Fig. 4 is the 48 connected area of the solid pixel in the middle.
  • the second embodiment obtains the edge data of the image on the basis of the above two definitions.
  • the acquiring edge data includes:
  • S131 Obtain an adjacent area of a pixel point, and define the pixel point as a target pixel point;
  • S132 Determine whether there is a pixel point in the adjacent area that is different from the pixel label of the target pixel point;
  • the training data set in this embodiment includes images with pixel labels, all the pixels on the image are traversed, and each pixel is judged whether it is an edge pixel, and all the edge pixels are obtained. The collection of the image edge data is obtained.
  • each pixel When judging whether each pixel is an edge pixel, first obtain the adjacent area of the target pixel (as shown in Figure 4), and obtain the target pixel and the pixel label of the pixel in the adjacent area.
  • the pixel label indicates the characteristic of the pixel, and when the pixel label is inconsistent, it indicates that the characteristic of the corresponding pixel is inconsistent.
  • the target pixel is defined as an edge pixel. After traversing all the pixels and making judgments, all the edge pixels on the image can be obtained, and the collection of all the edge pixels can form the edge data of the image, as shown in Figure 5.
  • the adjacent area is defined as the 48 connected area of the target pixel, but the present disclosure is not limited to the 48 connected area as the adjacent area. In other embodiments, 24 connected areas, 8 connected areas, etc. can be selected. Other connected regions are used as adjacent regions of an image segmentation method based on edge data provided by the present disclosure.
  • the third embodiment provides an embodiment of the step S200.
  • a loss function is constructed to evaluate the edge data.
  • the loss function is constructed as follows:
  • x refers to the abscissa position of the image
  • y refers to the ordinate position of the image
  • w refers to the width of the image
  • h refers to the height of the image
  • p (x, y) labeli is the probability that the pixel is judged to be the correct labeli
  • the I function is the indicator function
  • im refers to the imfeature function
  • ⁇ is the balance factor.
  • a suitable value can be obtained by cross-validation.
  • the edge data output result of a group of pictures is generally used to evaluate the loss function. Therefore, in this embodiment, in order to prevent excessive Fit, improve the accuracy of evaluation, introduce L2 regularization, and construct a loss function with regularization coefficients.
  • the specific formula is as follows:
  • N is the batch size of algorithm training (batch size, here can be understood as the number of samples or the number of images), i refers to each image in the training data set, ⁇ is the regularization coefficient, It is the L2 regularization term, where j is the network training parameter, and M is the total number of network training parameters.
  • the evaluation result of the edge data using the loss function is fed back to the image segmentation algorithm.
  • the network model learns the quality of the image segmentation effect made by the image segmentation algorithm according to the evaluation result, and then according to the evaluation As a result, the network model of the image segmentation algorithm is improved, that is, model training is performed to obtain a more accurate image segmentation model for image segmentation, and then the obtained image segmentation model is used to segment the image to obtain more accurate image segmentation results.
  • the fourth embodiment provides a solution to the problem that there are pixels in the edge data that are not originally edges but are detected as edges.
  • the edge data output by the baseline algorithm is first traversed to obtain pixels that are not originally edges but are detected as edges, and the first penalty term L fp is introduced to these pixel data.
  • the specific formula is as follows:
  • ⁇ is the penalty term balance factor
  • the error can be reflected by the loss function (6). Then, the evaluation results obtained by (6) are fed back to the original image segmentation algorithm to make The original image segmentation algorithm learns the error of pixels that are not originally edges but are detected as edges, and then trains a more accurate image segmentation model.
  • the fifth embodiment provides a solution to the problem that the edge data is originally an edge but is not detected as an edge.
  • the edge data output by the baseline algorithm is first traversed to obtain pixels that are originally edges but not detected as edges, and a second penalty term L fn is introduced to these pixel data.
  • the specific formula is as follows:
  • ⁇ is the penalty term balance factor.
  • Embodiment 4 Combining Embodiment 4 and Embodiment 5, it can be seen that the spirit of introducing penalty items in this disclosure is to introduce corresponding penalty items according to different false detection results, so that the final loss function can make corresponding evaluations for all false detection results In this way, the more accurate the information fed back to the image segmentation algorithm, the more effective the model training performed.
  • the image segmentation method based on edge data proposed in the present disclosure does not make major changes to the topic structure of the network model, but only appropriately modifies the loss function of the model, and adjusts the loss function according to the loss result.
  • the image segmentation algorithm is evaluated and the original network model is trained.
  • the training method of the image segmentation model proposed in the present disclosure can directly use the existing segmentation algorithm to improve its network model without major changes to the framework, so that the image segmentation model can more accurately The image is segmented.
  • the present disclosure also provides an image segmentation method.
  • the image segmentation method includes the following steps:
  • Step 10 Obtain the image to be segmented
  • Step 20 Input the image to be segmented into a preset image segmentation model for segmentation, so as to obtain a segmented image.
  • the image segmentation model in this embodiment is an image segmentation model trained based on the training method of the image segmentation model of the foregoing embodiment, because the image segmentation model evaluates the edge data of the image by constructing a loss function, and according to The evaluation result trains the network model of the image segmentation algorithm and realizes the improvement of the existing algorithm. Therefore, the image segmentation model can be used for more accurate segmentation.
  • the present disclosure also provides an intelligent terminal, the principle block diagram of which may be as shown in FIG. 9.
  • the intelligent terminal includes a processor, a memory, a network interface, a display screen, and a temperature sensor connected through a system bus.
  • the processor of the smart terminal is used to provide calculation and control capabilities.
  • the memory of the smart terminal includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system and a computer program.
  • the internal memory provides an environment for the operation of the operating system and computer programs in the non-volatile storage medium.
  • the network interface of the smart terminal is used to communicate with an external terminal through a network connection.
  • the computer program is executed by the processor to realize an image segmentation method based on edge data.
  • the display screen of the smart terminal may be a liquid crystal display screen or an electronic ink display screen, and the temperature sensor of the smart terminal is preset inside the smart terminal for detecting the current operating temperature of the internal device.
  • FIG. 9 is only a block diagram of part of the structure related to the solution of the present disclosure, and does not constitute a limitation on the smart terminal to which the solution of the present disclosure is applied.
  • the specific smart terminal It may include more or fewer components than shown in the figures, or combine certain components, or have a different component arrangement.
  • an intelligent terminal which includes a memory and a processor, and a computer program is stored in the memory, and the processor can implement at least the following steps when executing the computer program:
  • Construct the training data set use the preset image segmentation algorithm to traverse the pixel labels of the images in the training data set, find the edge data of the image and output it;
  • the evaluation result is fed back to the image segmentation algorithm for model training, and the trained model is used to segment the image.
  • the processor may also implement the following steps when executing the computer program: using ADE20K as the training data set, the image segmentation algorithm using a baseline algorithm, and the baseline algorithm using the PSPnet algorithm.
  • the processor may also implement the following steps when executing the computer program: predefine pixel labels, the pixel labels are used to indicate the characteristics of the pixels; traverse each pixel on the image to obtain each pixel The pixel label of the point; the 48 connected area of each pixel is used as the adjacent area of the pixel to obtain the edge data of the image.
  • the processor may also implement the following steps when executing the computer program: obtaining an adjacent area of a pixel, and defining the pixel as a target pixel;
  • the processor may also implement the following steps when executing the computer program: Introduce L2 regularization to construct a loss function with regularization coefficients.
  • the processor may also implement the following steps when executing the computer program: traverse the edge data of all images to determine whether there is falsely detected edge data; for the falsely detected edge data, introduce a penalty item to construct A loss function with a penalty term, wherein the falsely detected edge data represents pixels that were originally not edges but were detected as edges and/or pixels that were originally edges but were detected as not edges.
  • the processor may also implement the following steps when executing the computer program: for different misdetection situations, different penalty items are introduced.
  • the image segmentation model trained by the above-mentioned image segmentation model training method can also be used to accurately segment the image.
  • Non-volatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Channel (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.
  • the present disclosure discloses an image segmentation model training method, an image segmentation method, a medium, and a terminal.
  • the method includes: constructing a training data set, the training data set includes images with pixel labels; using preset images
  • the segmentation algorithm traverses the pixel labels of the image in the training data set, finds the edge data of the image and outputs it; constructs a loss function, uses the loss function to evaluate the edge data of the image, and outputs the evaluation result; feedback the evaluation result to the image segmentation Model training is performed in the algorithm to obtain a trained image segmentation model.
  • the present disclosure evaluates the edge data of the image by constructing a loss function, and trains the network model of the image segmentation algorithm according to the evaluation result, which can improve the existing algorithm and obtain an image segmentation model with higher accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开公开了图像分割模型的训练方法、图像分割方法、介质及终端，方法包括：构建训练数据集，所述训练数据集包括带有像素标签的图像；使用预设的图像分割算法遍历训练数据集中图像的像素标签，查找到图像的边缘数据并输出；构建损失函数，利用所述损失函数对图像的边缘数据进行评价，输出评价结果；将评价结果反馈至所述图像分割算法中进行模型训练，以得到训练后的图像分割模型。本公开通过构建损失函数对图像的边缘数据进行评价，并根据评价结果训练图像分割算法的网络模型，可以实现对现有的算法进行改进，获得准确性更高的图像分割模型。

Description

图像分割模型的训练方法、图像分割方法、介质及终端
优先权
所述PCT专利申请要求申请日为2019年06月19日，申请号为201910533665.1的中国专利优先权，本专利申请结合了上述专利的技术方案。
技术领域
本公开涉及图像处理技术领域，尤其涉及的是一种图像分割模型的训练方法、图像分割方法、介质及终端。
背景技术
图像分割是经典的计算机视觉任务，拥有广泛的应用。医学图像的图像分割可以帮助医生进行诊断治疗，基于图像分割的图片搜索可以帮助用户对未知的目标物体进行搜索等都是图像分割的应用例子。
传统的图像分割技术，主要有基于像素、边缘、区域的图像分割等，近年来由于深度学习的发展，涌现出了一批基于深度网络的图像分割算法。得益于大数据、关键算法的突破、计算硬件的提升，基于深度网络的图像分割算法相较于传统的算法准确率有大幅度的提升。
虽然深度网络的出现很大程度上提升了图像分割的准确性，但是现有的基于深度网络的图像分割技术仍然存在分割不准确的问题。因此，现有技术还有待于改进和发展。
发明内容
本公开要解决的技术问题在于，针对现有技术的上述缺陷，提供一种图像分割模型的训练方法、图像分割方法、介质及终端，旨在解决现有技术中图像分割不准确的问题。
本公开解决技术问题所采用的技术方案如下：
一种图像分割模型的训练方法，其中，所述方法包括：
构建训练数据集，所述训练数据集包括带有像素标签的图像；
使用图像分割算法遍历训练数据集中图像的像素标签，查找到图像的边缘数 据并输出；
构建损失函数，利用所述损失函数对图像的边缘数据进行评价，输出评价结果；
将评价结果反馈至所述图像分割算法中进行模型训练，以得到训练后的图像分割模型。
所述的图像分割模型的训练方法，其中，所述训练数据集采用ADE20K，所述图像分割算法采用基线算法，所述基线算法采用PSPnet算法。
所述的图像分割模型的训练方法，其中，所述使用预设的图像分割算法遍历训练数据集中图像的像素标签，查找到图像的边缘数据并输出，包括：
获取预先定义像素标签，所述像素标签用于标示像素点的特性；
遍历训练数据集中图像上的每个像素点，获取每个像素点的像素标签；
以每一个像素点的48连通区域作为像素的邻接区域，获取图像的边缘数据。
所述的图像分割模型的训练方法，其中，所述获取图像的边缘数据，包括：
获取一个像素点的邻接区域，定义所述像素点为目标像素点；
判断所述邻接区域内是否存在与所述目标像素点的像素标签不同的像素点；
若存在任何一个不同像素标签的像素点，则判断所述目标像素点为边缘像素点；
获取所有的边缘像素点，所有的边缘像素点的集合即为图像的边缘数据。
所述的图像分割模型的训练方法，其中，所述构建损失函数包括：
引入L2正则化，构建具有正则化系数的损失函数。
所述的图像分割模型的训练方法，其中，所述具有正则化系数的损失函数L edges_attention的公式为：
Figure PCTCN2020080702-appb-000001
其中，N是算法训练的样本数或者图像数，i指的是训练数据集中的各个图像，λ是正则化系数，
Figure PCTCN2020080702-appb-000002
即为L2正则化项，其中，j是网络训练参数，M是网络训练参数的总数，L mix1是损失函数；
Figure PCTCN2020080702-appb-000003
其中，x指的是图像的横坐标位置，y指的是图像的纵坐标位置，w指的是图像的宽度，h指的是图像的高度，p (x,y)labeli是像素点被判断为正确的labeli的概率，I函数是指示函数，im指的是imfeature函数，α是平衡因子；
Figure PCTCN2020080702-appb-000004
Figure PCTCN2020080702-appb-000005
所述的图像分割模型的训练方法，其中，所述构建损失函数还包括：
遍历所有图像的边缘数据，判断是否存在误检测的边缘数据；
对于误检测的边缘数据，引入惩罚项，构建带有惩罚项的损失函数。
所述的图像分割模型的训练方法，其中，所述误检测的边缘数据表示的是原本不是边缘却被检测出是边缘的像素点和/或原本是边缘却被检测出不是边缘的像素点。
所述的图像分割模型的训练方法，其中，所述引入惩罚项具体包括：
针对不同的误检测情况，引入不同的惩罚项。
所述的图像分割模型的训练方法，其中，所述针对不同的误检测情况，引入不同的惩罚项包括：
当边缘数据中存在原本不是边缘却被检测出是边缘的像素点时，则遍历基线算法输出的边缘数据，获取原本不是边缘却被检测出是边缘的像素点，并引入第一惩罚项，构建引入所述第一惩罚项的损失函数；
当边缘数据中存在原本是边缘而没有检测为边缘的像素点时，则遍历基线算法输出的边缘数据，获取原本是边缘却没有被检测为边缘的像素点，并引入第二惩罚项，构建引入所述第二惩罚项的损失函数。
所述的图像分割模型的训练方法，其中，所述构建引入所述第一惩罚项的损失函数为：
Figure PCTCN2020080702-appb-000006
其中，L fp为所述第一惩罚项，
Figure PCTCN2020080702-appb-000007
β是惩罚项平衡因子，outim指的是out＝im()，即输出imfeature函数。
所述的图像分割模型的训练方法，其中，所述构建引入所述第二惩罚项的损失函数为：
Figure PCTCN2020080702-appb-000008
其中，L fn为所述第二惩罚项，
Figure PCTCN2020080702-appb-000009
其中，γ为惩罚项平衡因子。
一种图像分割方法，其中，包括：
获取分割的图像；
将所述待分割的图像输入预设的图像分割模型中进行分割，以得到分割后的图像，其中，所述图像分割模型为上述任一项所述的图像分割模型的训练方法所训练得到的图像分割模型。
一种存储介质，其上存储有多条指令，其中，所述指令适于由处理器加载并执行，以执行实现上述任一项所述的图像分割模型的训练方法或者上述所述的图 像分割方法的步骤。
一种智能终端，包括：处理器、与处理器通信连接的存储介质，其中，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述任一项所述的图像分割模型的训练方法或者上述所述的图像分割方法的步骤。
本公开的有益效果：本公开通过构建损失函数对图像的边缘数据进行评价，并根据评价结果训练图像分割算法的网络模型，可以实现对现有的算法进行改进，获得准确性更高的图像分割模型。
附图说明
图1是本公开提供的图像分割模型的训练方法的实施例一的流程图。
图2是本公开提供的图像分割模型的训练方法的实施例二的流程图。
图3是实施例二中获取图像边沿数据的流程图。
图4是本公开的邻接区域的示意图。
图5是本公开的输出边缘数据的示意图。
图6是现有模型中边缘数据误检测的示意图一。
图7是现有模型中边缘数据误检测的示意图二。
图8是本公开提供的图像分割方法的较佳实施例的流程示意图。
图9是本公开提供的智能终端的功能原理图。
具体实施方式
为使本公开的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本公开进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。
本公开提供的一种图像分割模型的训练方法，可以应用于终端中。其中，终端可以但不限于是各种个人计算机、笔记本电脑、手机、平板电脑、车载电脑和便携式可穿戴设备。本公开的终端采用多核处理器。其中，终端的处理器可以为中央处理器(Central Processing Unit，CPU)，图形处理器(Graphics Processing Unit，GPU)、视频处理单元(Video Processing Unit，VPU)等中的至少一种。
为了解决现有技术中基于深度网络算法的图像分割技术中分割图像的边缘不准确的问题，实施例一提供一种图像分割模型的训练方法，具体如图1中所示，包括如下步骤：
步骤S100、构建训练数据集，所述训练数据集包括带有像素标签的图像；
步骤S200、使用预设的图像分割算法遍历训练数据集中图像的像素标签，查找到图像的边缘数据并输出；
步骤S300、构建损失函数，利用所述损失函数对图像的边缘数据进行评价，输出评价结果；
步骤S400、将评价结果反馈至所述图像分割算法中进行模型训练，并使用训练后的模型对图像进行分割。
具体实施时，本实施例中首先需要构建训练数据集，该训练数据集中包括带有像素标签的图像。优选地，本实施例采用ADE20K数据集(ADE20K dataset，MIT发布的一款数据集，可用于场景感知、解析、分割、多物体识别和语义理解)作为训练数据集，所述ADE20K数据集涵盖类别广泛，类别数大约有3000类。当然，在本领域中，可供选择的数据集非常多，本领域技术人员也可以选择其他的数据集作为训练数据集，并且在数据集中图像中预先定义像素标签，以使训练数据集包括带有像素标签的图像。
对应地，本实施例中预设的图像分割算法为基线算法，所述基线算法优选用PSPnet(Pyramid Scene Parsing Network)算法，所述PSPnet算法在ADE20K-150(从原有的3000类中选择150类较常用，数据量较多的构成的一个子数据集)数据集上构建的图像分割模型的准确率是较高的。当然，在本领域中，可用于构建图像分割模型的算法很多，本领域技术人员也可以选择其他的算法作为图像分割算法，本公开对此不做具体的限定。
下面请参考图2，图2表示的是所述实施例一中的步骤S200的一个实施例二，在实施例二中，步骤S200包括：
S110、获取预先定义像素标签，所述像素标签用于标示像素点的特性；
S120、遍历图像上的每个像素点，获取每个像素点的像素标签；
S130、以每一个像素点的48连通区域作为像素的邻接区域，获取图像的边缘数据。
具体实施时，预先定义标示像素点的特性的像素标签，所述像素点的特性可以为像素点的RGB值、灰度、透明度等各种元素，当两个像素点的RGB值、灰度、透明度或者其他的各种元素较相近时，这两个像素点的标签一致，也就是说，通过像素标签可以判断像素点是否有一样的特性。当然，本领域技术人员可以根据实际情况对像素标签进行不同的具体定义，最终只需要实现通过标签判断像素点特性是否一致的效果即可。
实施例二中还定义像素点的邻接区域，将像素点的48连通区域作为像素的邻接区域，像素点的48连通区域是指以一个像素点为中心，7*7范围内的区域，如图4所示，图4中空心的像素点区域即为中间实心的像素点的48连通区域。
实施例二在上述两个定义的基础上获取图像的边缘数据。
具体地，如图3所示，所述获取边缘数据包括：
S131、获取一个像素点的邻接区域，定义所述像素点为目标像素点；
S132、判断所述邻接区域内是否存在与所述目标像素点的像素标签不同的像素点；
S133、若所述邻接区域内存在任何一个不同像素标签的像素点，则判断所述目标像素点为边缘像素点；
S134、获取所有的边缘像素点，所有的边缘像素点的集合即为图像的边缘数据。
也就是说，由于本实施例中的训练数据集中包括带有像素标签的图像，因此遍历图像上所有的像素点，对每个像素点进行是否为边缘像素点的判断，获取所有的边缘像素点的集合，即获取了图像的边缘数据。
在对每个像素点进行是否为边缘像素点的判断时，首先获取这个目标像素点的邻接区域(如图4所示)，并获取目标像素点以及邻接区域内的像素点的像素标签，由上文所述，像素标签标示像素点的特性，像素标签不一致时表明对应像素点的特性不一致。那么，在本实施例中，只要在邻接区域内存在像素标签与目标像素点的像素标签不同的像素点，就说明在这个邻接区域内，发生了像素点的特性变化，这个特性变化标识了这个像素点的邻接区域内的图像发生了变化，那么定义目标像素点为边缘像素点。遍历所有的像素点并进行判断后，就可以获取图像上所有的边缘像素点，所有的边缘像素点的集合就可以形成图像的边缘数据， 如图5所示。
当然，实施例二中定义了邻接区域为目标像素点的48连通区域，但是本公开并不限定于48连通区域为邻接区域，在其他的实施例中，可以选择24连通区域、8连通区域等其他连通区域作为本公开提供的一种基于边缘数据的图像分割方法的邻接区域。
实施例三提供了所述步骤S200的一个实施例，在实施例三中，步骤S200，构建损失函数对所述边缘数据进行评价中构建损失函数(loss function)为：
定义loss function为L mix1：
Figure PCTCN2020080702-appb-000010
在公式(1)中，x指的是图像的横坐标位置，y指的是图像的纵坐标位置。w指的是图像的宽度，h指的是图像的高度。p (x,y)labeli是该像素点被判断为正确的labeli的概率，I函数是指示函数，im指的是imfeature函数，α是平衡因子，可以通过交叉验证的方法取得一个合适值。其他的项的定义如下：
Figure PCTCN2020080702-appb-000011
Figure PCTCN2020080702-appb-000012
进一步地，为了节省时间，有效利用GPU(Graphics Processing Unit，图形处理器)，一般采用一组图片的边缘数据输出结果，对其运用损失函数进行评价，因此，在本实施例中，为了防止过拟合，提高评价的准确率，引入L2正则化，构建具有正则化系数的损失函数。具体公式如下：
Figure PCTCN2020080702-appb-000013
在公式(4)中，N是算法训练的batch size(批大小，在这里可以理解为样 本数或者图像数)，i指的是训练数据集中的各个图像，λ是正则化系数，
Figure PCTCN2020080702-appb-000014
即为L2正则化项，其中，j是网络训练参数，M是网络训练参数的总数。
这样，得到一个加入边缘信息的损失函数公式，利用所述损失函数公式对图像分割算法输出的边缘数据进行评价。
在实施例一的S300中，将利用损失函数对边缘数据做出的评价结果反馈至图像分割算法，的网络模型根据评价结果学习到图像分割算法做出的图像分割效果的好坏，进而根据评价结果进行图像分割算法的网络模型的完善，也就是进行模型训练，得到图像分割更准确的图像分割模型，后续利用得到的图像分割模型对图像进行分割，以获得更准确的图像分割结果。
在现有的图像分割技术中，经常出现分割不准确的情况，例如：相似类型的物体分割出现混淆，比如图6所示的相似物体混淆的情况，以及图7所示的尺寸小的物体分割效果差的情况。上述问题实际上是边缘数据误检测的问题，即原本不是边缘而被检测出是边缘和/或原本是边缘而被检测出不是边缘的问题。例如，图6最左边为原始图片，中间为正确的分割结果，最右为现有模型的输出结果，图6所示的现有模型的输出结果中摩天高楼的分割结果和大楼的分割相掺杂，实际上是摩天大楼和大楼之间本来是边缘而被检测出不是边缘，摩天大楼的表面没有分割边缘，却检测出了边缘；图7最左边为原始图片，中间为正确的分割结果，最右为现有模型的输出结果，图7所示的现有模型的输出结果中小尺寸枕头没有被分割出来，实际上是小尺寸枕头的边缘没有被检测出来，为了解决上述问题，在其他的实施例中，遍历所有的边缘数据，对于误检测的边缘数据，引入惩罚项，构建带有惩罚项的损失函数对边缘数据进行评价，进而更好地对基线算法进行模型训练。
实施例四提供了针对边缘数据中存在原本不是边缘却被检测出是边缘的像素点的问题的解决方案。
在实施例四中，首先遍历基线算法输出的边缘数据，获取原本不是边缘却被 检测出是边缘的像素点，对这些像素点数据引入第一惩罚项L fp，具体公式如下：
Figure PCTCN2020080702-appb-000015
那么，加入了第一惩罚项的损失函数为：
Figure PCTCN2020080702-appb-000016
其中，β是惩罚项平衡因子，outim指的是out＝im()，即输出imfeature函数。
由此可见，针对原本不是边缘却被检测出是边缘的像素点，其错误可以通过损失函数(6)反映出来，那么，利用(6)得出的评价结果反馈至原图像分割算法，可以使得原图像分割算法学习到原本不是边缘却被检测出边缘的像素点的错误，进而训练出更加准确的图像分割模型。
实施例五提供了针对边缘数据中存在原本是边缘而没有检测为边缘的问题的解决方案。
在实施例五中，首先遍历基线算法输出的边缘数据，获取原本是边缘却没有被检测为边缘的像素点，对这些像素点数据引入第二惩罚项L fn，具体公式如下：
Figure PCTCN2020080702-appb-000017
那么，加入了第二惩罚项的损失函数为：
Figure PCTCN2020080702-appb-000018
其中，γ为惩罚项平衡因子。
由此可见，针对原本是边缘却没有被检测出是边缘的像素点，其错误可以通 过损失函数(8)反映出来，那么，利用(8)得出的评价结果反馈至原图像分割算法，可以使得原图像分割算法学习到原本是边缘却没有被检测出是边缘的像素点的错误，进而训练出更加准确的图像分割模型。
结合实施例四与实施例五可以看出，本公开引入惩罚项的精神在于根据不同的误检测结果，引入相应的惩罚项，使得最终的损失函数可以对所有的误检测结果做出对应的评价，这样，反馈至图像分割算法的信息就越准确，进行的模型训练就越有效。
同时，可以看出，本公开提出的基于边缘数据的图像分割方法，对于网络模型的主题结构不做大的改动，只是对模型的loss function(损失函数)进行适当的修改，根据loss的结果对图像分割算法进行评价，训练原始的网络模型。也就是说，本公开提出的图像分割模型的训练方法，可以直接利用现有的分割算法，在不进行框架的大改动的基础上对其网络模型进行改进，使得图像分割模型可以更准确地对图像进行分割。
基于上述实施例，本公开还提供一种图像分割方法，具体如图8中所示，该图像分割方法包括一下步骤：
步骤10、获取待分割的图像；
步骤20、将所述待分割的图像输入预设的图像分割模型中进行分割，以得到分割后的图像。
其中，本实施例中的图像分割模型是基于上述实施例的图像分割模型的训练方法所训练得到的图像分割模型，由于该图像分割模型是通过构建损失函数对图像的边缘数据进行评价，并根据评价结果训练图像分割算法的网络模型，且实现对现有的算法进行改进，因此通过使用该图像分割模型能够对进行更加准确地分割。
基于上述实施例，本公开还提供了一种智能终端，其原理框图可以如图9所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该 计算机程序被处理器执行时以实现一种基于边缘数据的图像分割方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的温度传感器是预先在智能终端内部设置，用于检测内部设备的当前运行温度。
本领域技术人员可以理解，图9中示出的原理框图，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时至少可以实现以下步骤：
构建训练数据集，使用预设的图像分割算法遍历训练数据集中图像的像素标签，查找到图像的边缘数据并输出；
构建损失函数，利用所述损失函数对图像的边缘数据进行评价，输出评价结果；
将评价结果反馈至所述图像分割算法中进行模型训练，并使用训练后的模型对图像进行分割。
在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤：采用ADE20K作为所述训练数据集，所述所述图像分割算法采用基线算法，所述基线算法采用PSPnet算法。
在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤：预先定义像素标签，所述像素标签用于标示像素点的特性；遍历图像上的每个像素点，获取每个像素点的像素标签；以每一个像素点的48连通区域作为像素的邻接区域，获取图像的边缘数据。
在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤：获取一个像素点的邻接区域，定义所述像素点为目标像素点；
判断所述邻接区域内是否存在与所述目标像素点的像素标签不同的像素点；
若存在任何一个不同像素标签的像素点，则判断所述目标像素点为边缘像素点；
获取所有的边缘像素点，所有的边缘像素点的集合即为图像的边缘数据。
在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤： 引入L2正则化，构建具有正则化系数的损失函数。
在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤：遍历所有图像的所述边缘数据，判断是否存在误检测的边缘数据；对于误检测的边缘数据，引入惩罚项，构建带有惩罚项的损失函数，其中，所述误检测的边缘数据表示的是原本不是边缘却被检测出是边缘的像素点和/或原本是边缘却被检测出不是边缘的像素点。
在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤：针对不同的误检测情况，引入不同的惩罚项。
在其中一个实施例中，该处理器执行计算机程序时还可以实现利用上述的图像分割模型的训练方法所训练出的图像分割模型来对图像进行精确分割。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本公开所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本公开公开了图像分割模型的训练方法、图像分割方法、介质及终端，方法包括：构建训练数据集，所述训练数据集包括带有像素标签的图像；使用预设的图像分割算法遍历训练数据集中图像的像素标签，查找到图像的边缘数据并输出；构建损失函数，利用所述损失函数对图像的边缘数据进行评价，输出评价结果；将评价结果反馈至所述图像分割算法中进行模型训练，以得到训练后的图像分割模型。本公开通过构建损失函数对图像的边缘数据进行评价，并根 据评价结果训练图像分割算法的网络模型，可以实现对现有的算法进行改进，获得准确性更高的图像分割模型。
应当理解的是，本公开的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本公开所附权利要求的保护范围。

Claims (15)

  1. 一种图像分割模型的训练方法，其中，所述方法包括：
    构建训练数据集，所述训练数据集包括带有像素标签的图像；
    使用预设的图像分割算法遍历训练数据集中图像的像素标签，查找到图像的边缘数据并输出；
    构建损失函数，利用所述损失函数对图像的边缘数据进行评价，输出评价结果；
    将评价结果反馈至所述图像分割算法中进行模型训练，以得到训练后的图像分割模型。
  2. 根据权利要求1所述的图像分割模型的训练方法，其中，所述训练数据集采用ADE20K，所述图像分割算法采用基线算法，所述基线算法采用PSPnet算法。
  3. 根据权利要求1所述的图像分割模型的训练方法，其中，所述使用预设的图像分割算法遍历训练数据集中图像的像素标签，查找到图像的边缘数据并输出，包括：
    获取预先定义像素标签，所述像素标签用于标示像素点的特性；
    遍历训练数据集中图像上的每个像素点，获取每个像素点的像素标签；
    以每一个像素点的48连通区域作为像素的邻接区域，获取图像的边缘数据。
  4. 根据权利要求3所述的图像分割模型的训练方法，其中，所述获取图像的边缘数据，包括：
    获取一个像素点的邻接区域，定义所述像素点为目标像素点；
    判断所述邻接区域内是否存在与所述目标像素点的像素标签不同的像素点；
    若存在任何一个不同像素标签的像素点，则判断所述目标像素点为边缘像素点；
    获取所有的边缘像素点，所有的边缘像素点的集合即为图像的边缘数据。
  5. 根据权利要求1所述的图像分割模型的训练方法，其中，所述构建损失函数包括：
    引入L2正则化，构建具有正则化系数的损失函数。
  6. 根据权利要求5所述的图像分割模型的训练方法，其中，所述具有正则化系数的损失函数L edges_attention的公式为：
    Figure PCTCN2020080702-appb-100001
    其中，N是算法训练的样本数或者图像数，i指的是训练数据集中的各个图像，λ是正则化系数，
    Figure PCTCN2020080702-appb-100002
    即为L2正则化项，其中，j是网络训练参数，M是网络训练参数的总数，L mix1是损失函数；
    Figure PCTCN2020080702-appb-100003
    其中，x指的是图像的横坐标位置，y指的是图像的纵坐标位置，w指的是图像的宽度，h指的是图像的高度，
    Figure PCTCN2020080702-appb-100004
    是像素点被判断为正确的labeli的概率，I函数是指示函数，im指的是imfeature函数，α是平衡因子；
    Figure PCTCN2020080702-appb-100005
    Figure PCTCN2020080702-appb-100006
  7. 根据权利要求6所述的图像分割模型的训练方法，其中，所述构建损失函数还包括：
    遍历所有图像的边缘数据，判断是否存在误检测的边缘数据；
    对于误检测的边缘数据，引入惩罚项，构建带有惩罚项的损失函数。
  8. 根据权利要求7所述的图像分割模型的训练方法，其中，所述误检测的边缘数据表示的是原本不是边缘却被检测出是边缘的像素点和/或原本是边缘却被检测出不是边缘的像素点。
  9. 根据权利要求8所述的图像分割模型的训练方法，其中，所述引入惩罚项 具体包括：
    针对不同的误检测情况，引入不同的惩罚项。
  10. 根据权利要求9所述的图像分割模型的训练方法，其中，所述针对不同的误检测情况，引入不同的惩罚项包括：
    当边缘数据中存在原本不是边缘却被检测出是边缘的像素点时，则遍历基线算法输出的边缘数据，获取原本不是边缘却被检测出是边缘的像素点，并引入第一惩罚项，构建引入所述第一惩罚项的损失函数；
    当边缘数据中存在原本是边缘而没有检测为边缘的像素点时，则遍历基线算法输出的边缘数据，获取原本是边缘却没有被检测为边缘的像素点，并引入第二惩罚项，构建引入所述第二惩罚项的损失函数。
  11. 根据权利要求10所述的图像分割模型的训练方法，其中，所述构建引入所述第一惩罚项的损失函数为：
    Figure PCTCN2020080702-appb-100007
    其中，L fp为所述第一惩罚项，
    Figure PCTCN2020080702-appb-100008
    β是惩罚项平衡因子，outim指的是out＝im()，即输出imfeature函数。
  12. 根据权利要求11所述的图像分割模型的训练方法，其中，所述构建引入所述第二惩罚项的损失函数为：
    Figure PCTCN2020080702-appb-100009
    其中，L fn为所述第二惩罚项，
    Figure PCTCN2020080702-appb-100010
    其中，γ为惩罚项平衡因子。
  13. 一种图像分割方法，其中，包括：
    获取待分割的图像；
    将所述待分割的图像输入预设的图像分割模型中进行分割，以得到分割后的图像，其中，所述图像分割模型为上述权利要求1-12任一项所述的图像分割模型的训练方法所训练得到的图像分割模型。
  14. 一种存储介质，其上存储有多条指令，其中，所述指令适于由处理器加载并执行，以执行实现上述权利要求1-12任一项所述的图像分割模型的训练方法或者上述权利要求13所述的图像分割方法的步骤。
  15. 一种智能终端，包括：处理器、与处理器通信连接的存储介质，其中，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-12任一项所述的图像分割模型的训练方法或者上述权利要求13所述的图像分割方法的步骤。
PCT/CN2020/080702 2019-06-19 2020-03-23 图像分割模型的训练方法、图像分割方法、介质及终端 WO2020253296A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910533665.1A CN112116596A (zh) 2019-06-19 2019-06-19 图像分割模型的训练方法、图像分割方法、介质及终端
CN201910533665.1 2019-06-19

Publications (1)

Publication Number Publication Date
WO2020253296A1 true WO2020253296A1 (zh) 2020-12-24

Family

ID=73795707

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/080702 WO2020253296A1 (zh) 2019-06-19 2020-03-23 图像分割模型的训练方法、图像分割方法、介质及终端

Country Status (2)

Country Link
CN (1) CN112116596A (zh)
WO (1) WO2020253296A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836754A (zh) * 2021-02-05 2021-05-25 方玉明 一种面向图像描述模型泛化能力评估方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550129B (zh) * 2022-01-26 2023-07-18 江苏联合职业技术学院苏州工业园区分院 一种基于数据集的机器学习模型处理方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109325954A (zh) * 2018-09-18 2019-02-12 北京旷视科技有限公司 图像分割方法、装置及电子设备
CN109344833A (zh) * 2018-09-04 2019-02-15 中国科学院深圳先进技术研究院 医学图像分割方法、分割系统及计算机可读存储介质
CN109410211A (zh) * 2017-08-18 2019-03-01 北京猎户星空科技有限公司 一种图像中目标物体的分割方法及装置
CN110782468A (zh) * 2019-10-25 2020-02-11 北京达佳互联信息技术有限公司 图像分割模型的训练方法及装置及图像分割方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10055659B2 (en) * 2015-05-04 2018-08-21 King Fahd University Of Petroleum And Minerals Systems and associated methods for arabic handwriting using synthetic extension concatenation and synthesis
CN107153842A (zh) * 2017-04-27 2017-09-12 西安交通大学 基于边缘分割的风机叶片保护膜损伤检测方法
US10410353B2 (en) * 2017-05-18 2019-09-10 Mitsubishi Electric Research Laboratories, Inc. Multi-label semantic boundary detection system
CN108876804B (zh) * 2017-10-12 2021-07-09 北京旷视科技有限公司 抠像模型训练和图像抠像方法、装置和系统及存储介质
CN108537292B (zh) * 2018-04-10 2020-07-31 上海白泽网络科技有限公司 语义分割网络训练方法、图像语义分割方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410211A (zh) * 2017-08-18 2019-03-01 北京猎户星空科技有限公司 一种图像中目标物体的分割方法及装置
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109344833A (zh) * 2018-09-04 2019-02-15 中国科学院深圳先进技术研究院 医学图像分割方法、分割系统及计算机可读存储介质
CN109325954A (zh) * 2018-09-18 2019-02-12 北京旷视科技有限公司 图像分割方法、装置及电子设备
CN110782468A (zh) * 2019-10-25 2020-02-11 北京达佳互联信息技术有限公司 图像分割模型的训练方法及装置及图像分割方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836754A (zh) * 2021-02-05 2021-05-25 方玉明 一种面向图像描述模型泛化能力评估方法

Also Published As

Publication number Publication date
CN112116596A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
US10366313B2 (en) Activation layers for deep learning networks
CN108304775B (zh) 遥感图像识别方法、装置、存储介质以及电子设备
CN110163842B (zh) 建筑裂缝检测方法、装置、计算机设备和存储介质
US9014467B2 (en) Image processing method and image processing device
WO2020199477A1 (zh) 基于多模型融合的图像标注方法、装置、计算机设备及存储介质
CN111080628A (zh) 图像篡改检测方法、装置、计算机设备和存储介质
Magnier et al. A review of supervised edge detection evaluation methods and an objective comparison of filtering gradient computations using hysteresis thresholds
CN109308488B (zh) 乳腺超声图像处理装置、方法、计算机设备及存储介质
WO2020253296A1 (zh) 图像分割模型的训练方法、图像分割方法、介质及终端
WO2020151340A1 (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN111862187B (zh) 基于神经网络的杯盘比确定方法、装置、设备及存储介质
US20220366259A1 (en) Method, apparatus and system for training a neural network, and storage medium storing instructions
CN112767354A (zh) 基于图像分割的缺陷检测方法、装置、设备及存储介质
WO2022257314A1 (zh) 图像检测方法和相关训练方法及相关装置、设备及介质
CN113706481A (zh) 精子质量检测方法、装置、计算机设备和存储介质
Ma et al. Generating region proposals for histopathological whole slide image retrieval
CN114565035A (zh) 一种舌象分析方法、终端设备及存储介质
CN115861715A (zh) 基于知识表示增强的图像目标关系识别算法
CN109615620B (zh) 图像压缩度识别方法、装置、设备及计算机可读存储介质
US20140086487A1 (en) Estimating the clutter of digital images
Chen et al. Saliency modeling via outlier detection
Mu et al. Finding autofocus region in low contrast surveillance images using CNN-based saliency algorithm
CN113593707B (zh) 胃早癌模型训练方法、装置、计算机设备及存储介质
Le et al. Image aesthetic assessment based on image classification and region segmentation
Wu et al. Pneumonia detection based on RSNA dataset and anchor-free deep learning detector

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20827411

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20827411

Country of ref document: EP

Kind code of ref document: A1