WO2021104060A1 - 图像分割方法、装置及终端设备 - Google Patents

图像分割方法、装置及终端设备 Download PDF

Info

Publication number
WO2021104060A1
WO2021104060A1 PCT/CN2020/128848 CN2020128848W WO2021104060A1 WO 2021104060 A1 WO2021104060 A1 WO 2021104060A1 CN 2020128848 W CN2020128848 W CN 2020128848W WO 2021104060 A1 WO2021104060 A1 WO 2021104060A1
Authority
WO
WIPO (PCT)
Prior art keywords
convolutional layer
layer
convolutional
image
scale
Prior art date
Application number
PCT/CN2020/128848
Other languages
English (en)
French (fr)
Inventor
司伟鑫
李才子
王琼
王平安
Original Assignee
中国科学院深圳先进技术研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院深圳先进技术研究院 filed Critical 中国科学院深圳先进技术研究院
Publication of WO2021104060A1 publication Critical patent/WO2021104060A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Definitions

  • an image segmentation method including:
  • the output results of the adjacent convolutional layers in the previous convolutional layer are convolved, and the current feature is The image is up-sampled and merged with the previous feature image.
  • the multi-layer convolutional layer includes convolutional layers of multiple scales, the convolutional layer of each scale includes multiple convolutional layers, and the convolutional layers of each scale The number of convolutional layers is different;
  • the corresponding input of each image to be divided into each convolutional layer in the first convolutional layer includes:
  • each image to be segmented is input to the corresponding convolutional layer.
  • the number of convolutional layers included in the first convolutional layer to the i-th convolutional layer of the multi-layer convolutional layer is the same, and the i+1th convolutional layer
  • the number of convolutional layers included in the convolutional layer to the nth convolutional layer decreases sequentially, and the number of convolutional layers included in the i-th convolutional layer is greater than that in the i+1th convolutional layer
  • the number of convolutional layers, n is the number of layers of the multi-layer convolutional layer.
  • each convolutional layer of the current convolutional layer is connected to the convolutional layer of the previous convolutional layer, and is:
  • the convolutional layer of the current scale of the current convolutional layer is respectively connected to the convolutional layer of the current scale in the previous convolutional layer and the convolutional layer of the scale adjacent to the current scale.
  • the generating a preset number of first to-be-divided images based on the target to-be-divided image includes:
  • the plurality of second to-be-divided images and the target to-be-divided image are used as the preset number of first to-be-divided images.
  • the compressing the target to-be-divided image to generate multiple second to-be-divided images of different resolutions includes:
  • the target to-be-divided image is compressed by a bilinear interpolation method to generate a plurality of second to-be-divided images of different resolutions.
  • an image segmentation device including:
  • An image conversion module for acquiring a target image to be divided, and generating a preset number of first images to be divided based on the target image to be divided; wherein the resolution of each of the first images to be divided is different;
  • the convolution processing module is configured to perform convolution processing on each of the first to-be-divided images through a multi-layer convolution layer; wherein, each convolution layer in the multi-layer convolution layer includes a plurality of phases connected in series The convolutional layer of, and each convolutional layer of the current convolutional layer is connected to the convolutional layer of the previous convolutional layer;
  • the segmentation module is configured to perform image segmentation according to the output result of the convolution processing.
  • an embodiment of the present application provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the computer program implements the process described in any of the first aspects. Image segmentation method.
  • a target image to be segmented is acquired, a plurality of first images to be segmented with different resolutions are generated based on the above target image to be segmented, and each first image to be segmented is convolved through a multi-layer convolution layer, and according to Image segmentation is performed on the output result of the convolution processing. Since each convolutional layer of the above-mentioned multi-layer convolutional layer includes multiple convolutional layers connected in series, and each convolutional layer of the current convolutional layer is different from the previous layer.
  • the convolutional layer connection in the convolutional layer can transfer the semantic features contained in the low-resolution feature map of the target image to be segmented to the high-resolution feature, thereby improving the semantic information of the high-resolution feature and improving the accuracy of image segmentation degree.
  • FIG. 1 is a schematic diagram of an application environment of an image segmentation method provided by an embodiment of the present application
  • FIG. 2 is a schematic flowchart of an image segmentation method provided by an embodiment of the present application.
  • FIG. 3 is a schematic flowchart of an image segmentation method provided by an embodiment of the present application.
  • FIG. 4 is a schematic diagram of a parallel mechanism between convolutional layers of a neural network provided by an embodiment of the present application
  • FIG. 5 is a schematic diagram of a serial mechanism between convolutional layers of a neural network provided by an embodiment of the present application
  • FIG. 6 is a schematic structural diagram of a multi-layer convolutional layer provided by an embodiment of the present application.
  • FIG. 7 is a schematic structural diagram of an image segmentation device provided by an embodiment of the present application.
  • FIG. 8 is a schematic structural diagram of a terminal device provided by an embodiment of the present application.
  • FIG. 9 is a schematic structural diagram of a computer to which the image segmentation method provided by an embodiment of the present application is applicable.
  • the term “if” can be construed as “when” or “once” or “in response to determination” or “in response to detecting ".
  • the phrase “if determined” or “if detected [described condition or event]” can be construed as meaning “once determined” or “in response to determination” or “once detected [described condition or event]” depending on the context ]” or “in response to detection of [condition or event described]”.
  • the output convolutional layer is Represents the nth convolutional layer of the i+1th layer
  • the input convolutional layers are Respectively represent the nth convolutional layer of the i-th layer and the convolutional layers of two adjacent scales
  • ⁇ represents the splicing operation
  • the function F(.) represents a set of operations, such as convolution, batch normalization, and activation.
  • the three input convolutional layers contain features of different scales, and the large-scale feature maps will be downsampled to the output convolutional layer
  • the small-scale feature map will be upsampled to the output convolutional layer
  • the two sampled convolutional layers are then spliced with the input convolutional layer of the same output scale with the channel as the axis, and then the spliced convolutional layer is subjected to 3*3 convolution, batch normalization layer and ReLU activation operation, up-sampling and down-sampling operations respectively use nearest neighbor interpolation and maximum pooling.
  • the output convolutional layer is equivalent to extracting feature information of different scales. It should be noted that when there are no larger-scale adjacent convolutional layers or small-scale adjacent convolutional layers, there are only two input convolutional layers.
  • a parallel cross multiscale pyramid feature input unit comprises a pyramid P i and output characteristics pyramid P i + 1,
  • Figure 4 shows the relationship between P i that is connected and P i + 1, on each of the two scales are pyramid
  • a parallel cross-scale fusion unit which is equivalent to that for the output pyramid, the convolutional layer at each scale has the ability to receive information from the corresponding-scale convolutional layer of the input pyramid and all adjacent layers.
  • the parallel cross-scale fusion pyramid can greatly enhance the multi-scale feature fusion ability from the shallow feature layer to the deep feature layer;
  • the number of convolutional layers included in the first convolutional layer to the i-th convolutional layer of the multi-layer convolutional layer is the same, and the number of convolutional layers from the i+1th convolutional layer to the nth convolutional layer is the same.
  • the number of convolutional layers included decreases sequentially, where the number of convolutional layers included in the i-th convolutional layer is greater than the number of convolutional layers included in the i+1th convolutional layer, and n is all Describe the number of layers of the multi-layer convolutional layer.
  • the multi-layer convolutional layer is composed of convolutional layers of 5 scales, and the convolutional layer of each row corresponds to the same scale, which can be scale 1, scale 2, scale 3, scale 4, and scale 5 from top to bottom.
  • scale 1 can be scale 1, scale 2, scale 3, scale 4, and scale 5 from top to bottom.
  • scale 2 can be scale 1, scale 2, scale 3, scale 4, and scale 5 from top to bottom.
  • it is not limited to 5 scales, and is only an exemplary description.
  • the above-mentioned series-parallel multi-scale fusion pyramid network is essentially a mesh semantic segmentation network composed of convolutional layers of different resolutions.
  • the parallel connection and serial connection of the pyramids constitute the horizontal and vertical paths of the information transmission of the mesh segmentation network. All semantic features are fused to the high-resolution convolutional layer.
  • the continuous high-resolution convolutional layer ensures that low-level contour features and high-level semantic features will not be lost due to pooling in the forward calculation of convolution.
  • the entire network A relatively complete mapping from the input layer to the output layer is formed.
  • each first to-be-divided image is correspondingly input to each convolutional layer in the first convolutional layer.
  • each image to be segmented is input to the corresponding convolutional layer.
  • the input image can be scaled to 1/2, 1/4, 1/8, and 1/16 respectively by bilinear interpolation, and then combined with the input image to form five
  • the first image to be segmented with one resolution constitutes the input pyramid.
  • the order from top to bottom is the first image to be divided 1, the first image to be divided 2, the first image to be divided 3, the first image to be divided 4, and the first image to be divided 5. The resolution of each image is reduced accordingly.
  • step 1022 for each convolutional layer in the first convolutional layer, convolution processing is performed on the first image to be segmented, and the current feature map is up-sampled and then merged with the previous feature map.
  • the convolutional layer corresponding to scale 1 in the first convolutional layer performs convolution processing on the first image to be segmented 1
  • the convolutional layer corresponding to scale 2 in the first convolutional layer performs convolution processing on the first image to be segmented 2.
  • Perform convolution processing The convolutional layer corresponding to scale 3 in the first convolutional layer performs convolution processing on the first image 3 to be segmented
  • the convolutional layer corresponding to scale 4 in the first convolutional layer performs convolution processing on the first to be segmented.
  • Image 4 is subjected to convolution processing
  • the convolutional layer corresponding to scale 5 in the first layer of convolutional layer performs convolution processing on the first image 5 to be segmented.
  • the low-resolution feature map in the scale 5 convolutional layer is up-sampled and sent to the scale 4 convolutional layer for splicing and fusion with the high-resolution feature in the scale 4 convolutional layer; it should be noted that here
  • the low-resolution feature map and the high-resolution feature map of are relative terms, and do not limit the specific value of the resolution.
  • the low-resolution feature map in the scale 3 convolutional layer is up-sampled and sent to the scale 2 convolutional layer for splicing and fusion with the high-resolution feature in the scale 2 convolutional layer; it should be noted that the low-resolution feature map here
  • the resolution feature map and the high resolution feature map are relative terms and do not limit the specific value of the resolution.
  • the output results of the scale 2 convolutional layer volume of the 1 layer convolutional layer, the scale 3 convolutional layer and the scale 4 convolutional layer are convolved, and the convolutional layer corresponding to the scale 4 is the scale of the i-1th convolutional layer
  • the output results of the 3 convolutional layer volume, the scale 4 convolutional layer and the scale 5 convolutional layer are processed by convolution.
  • the convolutional layer corresponding to the scale 5 corresponds to the scale 4 convolutional layer and the scale 5 of the i-1th convolutional layer.
  • the output result of the convolution layer is subjected to convolution processing.
  • the low-resolution feature map in the scale 5 convolutional layer is up-sampled and sent to the scale 4 convolutional layer for splicing and fusion with the high-resolution feature in the scale 4 convolutional layer; it should be noted that here
  • the low-resolution feature map and the high-resolution feature map of are relative terms, and do not limit the specific value of the resolution.
  • the low-resolution feature map in the scale 3 convolutional layer is up-sampled and sent to the scale 2 convolutional layer for splicing and fusion with the high-resolution feature in the scale 2 convolutional layer; it should be noted that the low-resolution feature map here
  • the resolution feature map and the high resolution feature map are relative terms and do not limit the specific value of the resolution.
  • the low-resolution feature map in the scale 2 convolutional layer is up-sampled and sent to the scale 1 convolutional layer for splicing and fusion with the high-resolution feature in the scale 1 convolutional layer. It should be noted that the low-resolution feature map and the high-resolution feature map here are relative terms and do not limit the specific value of the resolution.
  • step 103 image segmentation is performed according to the output result of the convolution processing.
  • a target image to be segmented is acquired, a plurality of first images to be segmented with different resolutions are generated based on the target image to be segmented, and each first image to be segmented is convolved through a multi-layer convolution layer, and the Image segmentation is performed on the output result of the convolution processing. Since each convolutional layer of the above-mentioned multi-layer convolutional layer includes multiple convolutional layers connected in series, and each convolutional layer of the current convolutional layer is different from the previous layer.
  • the convolutional layer connection in the convolutional layer can transfer the semantic features contained in the low-resolution feature map of the target image to be segmented to the high-resolution feature, thereby improving the semantic information of the high-resolution feature and improving the accuracy of image segmentation degree.
  • the experimental network of the first group of experiments only contains a parallel multi-scale fusion mechanism. According to the number of layers of the cascaded pyramid, the five groups of experiments are PP-Net-1, PP-Net-4, PP-Net-7, PP-Net- 10. PP-Net-13. Table 1 shows the diastolic and systolic Dice similarity of the experimental network in this section on the left and right ventricles and myocardium.
  • the second set of experiments adds a serial mechanism based on the parallel multi-scale feature fusion pyramid to verify the effectiveness of transferring the information of low-resolution feature maps to high-resolution feature maps in a single feature pyramid.
  • the experiment is in the first Based on the group experiment, the experimental results are shown in Table 2, no matter what the number of pyramid layers, increasing the number of cascades can further improve the overall segmentation effect on the basis of parallel feature fusion. The improvement is more obvious in the segmentation of the right ventricle. The right ventricle occupies a smaller proportion of pixels in the image, and fewer right ventricular related features are extracted.
  • the continuous serial feature fusion mechanism can give the overall feature information of the network. The interaction brought about a great improvement and also proved the effectiveness of the network structure in this section.
  • online testing will be used to verify the effectiveness of the series-parallel multi-scale feature fusion pyramid.
  • the online test does not disclose the label of the data set, so the test of the network performance is more convincing.
  • the online test will show the comparison of the Dice similarity coefficient and the Hausdorff distance with other algorithms.
  • the online test network of the embodiment of this application uses SPP-Net- 13. Table 3 shows the comparison between the experimental results of the embodiments of this application and the top five in the competition list.
  • FIG. 7 shows a structural block diagram of an image segmentation device provided in an embodiment of the present application. For ease of description, only the parts related to the embodiment of the present application are shown.
  • the image segmentation device in the embodiment of the present application may include an image conversion module 201, a convolution processing module 202, and a segmentation module 203.
  • the segmentation module 203 is configured to perform image segmentation according to the output result of the convolution processing.
  • the performing convolution processing on each of the first to-be-divided images through a multi-layer convolution layer includes:
  • convolution processing is performed on the first image to be segmented, and the current feature map is up-sampled and then spliced and fused with the previous feature map;
  • the output results of the adjacent convolutional layers in the previous convolutional layer are convolved, and the current feature is The image is up-sampled and merged with the previous feature image.
  • each image to be segmented is input to the corresponding convolutional layer.
  • the number of convolutional layers included in the first convolutional layer to the i-th convolutional layer of the multi-layer convolutional layer is the same, and the i+1th convolutional layer to the nth convolutional layer
  • the number of convolutional layers included in the layer convolutional layer decreases sequentially, where the number of convolutional layers included in the i-th convolutional layer is greater than the number of convolutional layers included in the i+1th convolutional layer Number, n is the number of layers of the multi-layer convolutional layer.
  • the target to-be-divided image is compressed by a bilinear interpolation method to generate a plurality of second to-be-divided images of different resolutions.
  • the terminal device 300 may include: at least one processor 310, a memory 320, and is stored in the memory 320 and can be stored on the at least one processor 310.
  • a running computer program when the processor 310 executes the computer program, the steps in any of the foregoing method embodiments, such as steps S101 to S103 in the embodiment shown in FIG. 2, are implemented.
  • the processor 310 executes the computer program, the functions of the modules/units in the foregoing device embodiments, for example, the functions of the modules 201 to 203 shown in FIG. 7 are realized.
  • the computer program may be divided into one or more modules/units, and the one or more modules/units are stored in the memory 320 and executed by the processor 310 to complete the application.
  • the one or more modules/units may be a series of computer program segments capable of completing specific functions, and the program segments are used to describe the execution process of the computer program in the terminal device 300.
  • FIG. 8 is only an example of a terminal device, and does not constitute a limitation on the terminal device. It may include more or less components than those shown in the figure, or a combination of certain components, or different components, such as Input and output equipment, network access equipment, bus, etc.
  • the memory 320 may be an internal storage unit of the terminal device, or an external storage device of the terminal device, such as a plug-in hard disk, a smart media card (SMC), a secure digital (SD) card, and a flash memory card. (Flash Card) and so on.
  • the memory 320 is used to store the computer program and other programs and data required by the terminal device.
  • the memory 320 can also be used to temporarily store data that has been output or will be output.
  • the bus can be an Industry Standard Architecture (ISA) bus, Peripheral Component (PCI) bus, or Extended Industry Standard Architecture (EISA) bus, etc.
  • ISA Industry Standard Architecture
  • PCI Peripheral Component
  • EISA Extended Industry Standard Architecture
  • the bus can be divided into address bus, data bus, control bus and so on.
  • the buses in the drawings of this application are not limited to only one bus or one type of bus.
  • the image segmentation method provided in the embodiments of this application can be applied to terminal devices such as computers, tablets, notebooks, netbooks, personal digital assistants (PDAs), etc.
  • terminal devices such as computers, tablets, notebooks, netbooks, personal digital assistants (PDAs), etc.
  • PDAs personal digital assistants
  • the embodiments of this application do not impose any restrictions on the specific types of terminal devices. .
  • the communication circuit 410 can be used for receiving and sending signals during the process of sending and receiving information or talking. In particular, after receiving the image sample sent by the image acquisition device, it is processed by the processor 470; in addition, the image acquisition instruction is sent to the image acquisition device.
  • the communication circuit includes, but is not limited to, an antenna, at least one amplifier, a transceiver, a coupler, a low noise amplifier (LNA), a duplexer, and the like.
  • the communication circuit 410 may also communicate with the network and other devices through wireless communication.
  • the above-mentioned wireless communication can use any communication standard or protocol, including but not limited to Global System of Mobile Communication (GSM), General Packet Radio Service (GPRS), Code Division Multiple Access (Code Division) Multiple Access (CDMA), Wideband Code Division Multiple Access (WCDMA), Long Term Evolution (LTE)), Email, Short Messaging Service (SMS), etc.
  • GSM Global System of Mobile Communication
  • GPRS General Packet Radio Service
  • CDMA Code Division Multiple Access
  • WCDMA Wideband Code Division Multiple Access
  • LTE Long Term Evolution
  • Email Short Messaging Service
  • the memory 420 may be used to store software programs and modules.
  • the processor 470 executes various functional applications and data processing of the computer by running the software programs and modules stored in the memory 420.
  • the memory 420 may mainly include a program storage area and a data storage area.
  • the program storage area may store an operating system, an application program required by at least one function (such as a sound playback function, an image playback function, etc.), etc.; Data created by the use of the computer (such as audio data, phone book, etc.), etc.
  • the memory 420 may include a high-speed random access memory, and may also include a non-volatile memory, such as at least one magnetic disk storage device, a flash memory device, or other volatile solid-state storage devices.
  • the touch detection device detects the user's touch position, and detects the signal brought by the touch operation, and transmits the signal to the touch controller; the touch controller receives the touch information from the touch detection device, converts it into contact coordinates, and then sends it To the processor 470, and can receive and execute the commands sent by the processor 470.
  • the touch panel 431 can be implemented in multiple types such as resistive, capacitive, infrared, and surface acoustic wave.
  • the input unit 430 may also include other input devices 432.
  • the other input devices 432 may include, but are not limited to, one or more of a physical keyboard, function keys (such as volume control buttons, switch buttons, etc.), trackball, mouse, and joystick.
  • the display unit 440 may be used to display information input by the user or information provided to the user and various menus of the computer.
  • the display unit 440 may include a display panel 441.
  • the display panel 441 may be configured in the form of a liquid crystal display (LCD), an organic light-emitting diode (OLED), etc.
  • the touch panel 431 can cover the display panel 441. When the touch panel 431 detects a touch operation on or near it, it transmits it to the processor 470 to determine the type of the touch event, and then the processor 470 determines the type of the touch event. The type provides corresponding visual output on the display panel 441.
  • the touch panel 431 and the display panel 441 are used as two independent components to realize the input and input functions of the computer, in some embodiments, the touch panel 431 and the display panel 441 can be integrated. Realize the computer's input and output functions.
  • the audio circuit 450 may provide an audio interface between the user and the computer.
  • the audio circuit 450 can transmit the electric signal after the conversion of the received audio data to the speaker, which is converted into a sound signal for output by the speaker; on the other hand, the microphone converts the collected sound signal into an electric signal, which is converted into an electric signal after being received by the audio circuit 450
  • the audio data is processed by the audio data output processor 470, and then sent to, for example, another computer through the communication circuit 410, or the audio data is output to the memory 420 for further processing.
  • WiFi is a short-distance wireless transmission technology.
  • the computer can help users send and receive emails, browse web pages, and access streaming media through the WiFi module 460. It provides users with wireless broadband Internet access.
  • FIG. 9 shows the WiFi module 460, it is understandable that it is not a necessary component of the computer and can be omitted as needed without changing the essence of the invention.
  • the computer also includes a power source 480 (such as a battery) for supplying power to various components.
  • a power source 480 such as a battery
  • the power source 480 may be logically connected to the processor 470 through a power management system, so that functions such as charging, discharging, and power consumption management can be managed through the power management system.
  • the embodiments of the present application also provide a computer-readable storage medium, the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the steps in each embodiment of the above-mentioned image segmentation method can be realized.
  • the embodiments of the present application provide a computer program product.
  • the steps in each embodiment of the above-mentioned image segmentation method can be realized when the mobile terminal is executed.
  • the integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable storage medium.
  • the computer program can be stored in a computer-readable storage medium.
  • the computer program can be stored in a computer-readable storage medium.
  • the steps of the foregoing method embodiments can be implemented.
  • the computer program includes computer program code, and the computer program code may be in the form of source code, object code, executable file, or some intermediate form.
  • the computer-readable medium may at least include: any entity or device capable of carrying the computer program code to the photographing device/terminal device, recording medium, computer memory, read-only memory (ROM, Read-Only Memory), and random access memory (RAM, Random Access Memory), electric carrier signal, telecommunications signal and software distribution medium.
  • ROM read-only memory
  • RAM random access memory
  • electric carrier signal telecommunications signal and software distribution medium.
  • U disk mobile hard disk, floppy disk or CD-ROM, etc.
  • computer-readable media cannot be electrical carrier signals and telecommunication signals.
  • the disclosed apparatus/network equipment and method may be implemented in other ways.
  • the device/network device embodiments described above are merely illustrative.
  • the division of the modules or units is only a logical function division, and there may be other divisions in actual implementation, such as multiple units.
  • components can be combined or integrated into another system, or some features can be omitted or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

图像处理技术领域，提供了图像分割方法、装置及终端设备，该图像分割方法包括：获取目标待分割图像，基于所述目标待分割图像生成预设个数的第一待分割图像(101)；通过多层卷积层对各个所述第一待分割图像进行卷积处理(102)；根据所述卷积处理的输出结果进行图像分割(103)。能够提高图像分割的精确度。

Description

图像分割方法、装置及终端设备 技术领域
本申请属于图像处理技术领域，尤其涉及图像分割方法、装置及终端设备。
背景技术
关于神经网络系统在图像分割的研究已经取得了较多的研究成果，但是在多数情况下，人类能够轻易地在一系列的空间尺度上提取一幅图像的不同信息，从而得到包括小区域到大区域的图像细节和特征，而对于计算机设备来说则是一个比较有挑战性的任务。而且神经网络训练需要大量参数参与运算，过程繁琐，因此导致使用神经网络去做图像分割成本高，精度不佳。
发明内容
为克服相关技术中存在的至少一个问题，本申请实施例提供了图像分割方法、装置及终端设备。
本申请是通过如下技术方案实现的：
第一方面，本申请实施例提供了一种图像分割方法，包括：
获取目标待分割图像，基于所述目标待分割图像生成预设个数的第一待分割图像；其中，各个所述第一待分割图像的分辨率不同；
通过多层卷积层对各个所述第一待分割图像进行卷积处理；其中，所述多层卷积层中的每一层卷积层包括多个相串接的卷积层，且当前层卷积层的各个卷积层分别与上一层卷积层中的卷积层连接；
根据所述卷积处理的输出结果进行图像分割。
在第一方面的一种可能的实现方式中，所述通过多层卷积层对各个所述第一待分割图像进行卷积处理，包括：
将各个第一待分割图像对应输入到第一层卷积层中的各个卷积层；
对于第一层卷积层中的各个卷积层，分别对所述第一待分割图像进行卷积处理，并对当前特征图进行上采样后与上一特征图进行拼接融合；
对于除第一层卷积层之外的其他层卷积层中的各个卷积层，分别对上一层卷积层中相邻的卷积层的输出结果进行卷积处理，并对当前特征图进行上采样后与上一特征图进行拼接融合。
在第一方面的一种可能的实现方式中，所述多层卷积层包括多个尺度的卷积层，每一尺度的卷积层包括多个卷积层，且各尺度的卷积层的卷积层个数不同；
所述将各个待分割图像对应输入到第一层卷积层中的各个卷积层，包括：
按照分辨率的由高到低与各个尺度所包含的卷积层个数的由大到小的对应关系，将各个待分割图像输入到对应的卷积层。
在第一方面的一种可能的实现方式中，所述多层卷积层的第一层卷积层至第i层卷积层所包含的卷积层的个数相同，第i+1层卷积层至第n层卷积层所包含的卷积层的个数依次减少，其中，第i层卷积层所包含的卷积层的个数大于第i+1层卷积层所包含的卷积层的个数，n为 所述多层卷积层的层数。
在第一方面的一种可能的实现方式中，所述当前层卷积层的各个卷积层分别与上一层卷积层中的卷积层连接，为：
当前层卷积层的当前尺度的卷积层分别与上一层卷积层中的所述当前尺度的卷积层和与所述当前尺度相邻的尺度的卷积层均连接。
在第一方面的一种可能的实现方式中，所述基于所述目标待分割图像生成预设个数的第一待分割图像，包括：
对所述目标待分割图像进行压缩，生成多个不同分辨率的第二待分割图像；
将所述多个第二待分割图像和所述目标待分割图像作为所述预设个数的第一待分割图像。
在第一方面的一种可能的实现方式中，所述对所述目标待分割图像进行压缩，生成多个不同分辨率的第二待分割图像，包括：
通过双线性插值法对所述目标待分割图像进行压缩，生成多个不同分辨率的第二待分割图像。
第二方面，本申请实施例提供了一种图像分割装置，包括：
图像转换模块，用于获取目标待分割图像，基于所述目标待分割图像生成预设个数的第一待分割图像；其中，各个所述第一待分割图像的分辨率不同；
卷积处理模块，用于通过多层卷积层对各个所述第一待分割图像进行卷积处理；其中，所述多层卷积层中的每一层卷积层包括多个相串接的卷积层，且当前层卷积层的各个卷积层分别与上一层卷积层中的卷积层连接；
分割模块，用于根据所述卷积处理的输出结果进行图像分割。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的图像分割方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的图像分割方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的图像分割方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：
本申请实施例，获取目标待分割图像，基于上述目标待分割图像生成多个分辨率不同的第一待分割图像，通过多层卷积层对各个第一待分割图像进行卷积处理，并根据卷积处理的输出结果进行图像分割，由于上述多层卷积层的每层卷积层包括多个相串接的卷积层，且当前层卷积层的各个卷积层分别与上一层卷积层中的卷积层连接，能够将目标待分割图像的低分辨率特征图中所包含的语义特征向高分辨率特征传递，从而提升高分辨率特征的语义信息，提高图像分割的精确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的图像分割方法的应用环境示意图；
图2是本申请一实施例提供的图像分割方法的流程示意图；
图3是本申请一实施例提供的图像分割方法的流程示意图；
图4是本申请一实施例提供的神经网络的各卷积层之间的并行机制示意图；
图5是本申请一实施例提供的神经网络的各卷积层之间的串行机制示意图；
图6是本申请实施例提供的多层卷积层的结构示意图；
图7是本申请实施例提供的图像分割装置的结构示意图；
图8是本申请实施例提供的终端设备的结构示意图；
图9是本申请实施例提供的图像分割方法所适用的计算机的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
提高神经网络的多尺度表达能力是提高心脏MRI图像多组织分割的重要途径。目前在计算机视觉领域，图像金字塔以多种形式和方法被广泛应用于计算机视觉任务中。虽然关于神经网络系统在图像分割的研究已经取得了较多的研究成果，但是在多数情况下，人类能够轻易地在一系列的空间尺度上提取一幅图像的不同信息，从而得到包括小区域到大区域的图像细节和 特征，而对于计算机设备来说则是一个比较有挑战性的任务。而且神经网络训练需要大量参数参与运算，过程繁琐，因此导致使用神经网络去做图像分割成本高，精度不佳。
基于上述问题，本申请实施例提供了图像分割方法、装置及终端设备，能够将神经网络中不同尺度的特征图串联起来，从而能够持续性地充分融合不同尺度的特征信息，而且还能够对金字塔内部不同分辨率的特征信息进行融合以增强金字塔内部较小感受野卷积层的语义信息，更有利于高分辨率特征下的预测，提升分割结果精细程度。
具体地，获取目标待分割图像，基于该目标待分割图像生成预设个数的不同分辨率的第一待分割图像，然后通过多层卷积层对各个第一待分割图像进行卷积处理，其中，多层卷积层中的每一层卷积层包括多个相串接的卷积层，且当前层卷积层的各个卷积层分别与上一层卷积层中的卷积层连接，并根据卷积处理的输出结果进行图像分割，从而能够使得不同尺度的特征图串联起来，能够持续性地充分融合不同尺度的特征信息。
举例说明，本申请实施例可以应用到如图1所示的示例性场景中，在该场景中，磁共振扫描设备10对人体的某个部位进行扫描，得到该部位的扫描图像进行分割，例如可以为心脏图像，并将该扫描图像发送给图像分割设备20。图像分割设备20获取到该扫描图像后，将该扫描图像作为目标待分割图像，基于该扫描图像生成多个分辨率不同的第一待分割图像，并通过神经网络的多层卷积层对各个第一待分割图像进行卷积处理；其中，所述多层卷积层中的每一层卷积层包括多个相串接的卷积层，且当前层卷积层的各个卷积层分别与上一层卷积层中的卷积层连接；最后根据上述卷积处理的输出结果进行图像分割。
需要说明的是，上述应用场景作为示例性说明吗，并不用于限定本申请实施例实施时的应用场景，事实上，本申请实施例也可以应用于其它应用场景中。比如，在另一些示例性应用场景中，也可以是由医务人员挑选目标待分割图像发送给图像分割设备等。
为了使本技术领域的人员更好地理解本发明方案，下面将结合图1，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图2是本申请一实施例提供的图像分割方法的示意性流程图，参照图1，对该图像分割方法的详述如下：
在步骤101中，获取目标待分割图像，基于所述目标待分割图像生成预设个数的第一待分割图像。
其中，各个所述第一待分割图像的分辨率不同。
参见图3，一些实施例中，所述基于所述目标待分割图像生成预设个数的第一待分割图像，可以包括以下不足后：
在步骤1011中，对所述目标待分割图像进行压缩，生成多个不同分辨率的第二待分割图像。
其中，可以按照多个预设比例，将目标待分割图像压缩成对应比例大小的图像，进而得到多个不同分辨率的第二待分割图像。
示例性的，可以按照神经网络卷积层的尺度确定第二待分割图像的个数。例如，神经网络卷积层的尺度为5，则可以将目标待分割图像压缩成5个第二待分割图像，其中压缩比例可以为(0,1]之间的数值。需要说明的是，在压缩比例为1时，得到的第二待分割图像即为目标待 分割图像本身。
在步骤1012中，将所述多个第二待分割图像和所述目标待分割图像作为所述预设个数的第一待分割图像。
示例性的，可以通过双线性插值法对所述目标待分割图像进行压缩，生成多个不同分辨率的第二待分割图像。例如，在神经网络卷积层的尺度为5的情况下，可以通过双线性插值法将输入的目标待分割图像分别缩放至1/2、1/4、1/8、1/16，缩放生成的4个图像再加上目标待分割图像本身，构成5个第二待分割图像。
当然，其他实施例中，也可以不采用目标待分割图像本身，而全部采用(0,1)之间压缩比例生成的第二待分割图像，本申请实施例对此不予限定。
在步骤102中，通过多层卷积层对各个所述第一待分割图像进行卷积处理。
其中，所述多层卷积层中的每一层卷积层包括多个相串接的卷积层，且当前层卷积层的各个卷积层分别与上一层卷积层中的卷积层连接。示例性的，当前层卷积层的当前尺度的卷积层可以分别与上一层卷积层中的所述当前尺度的卷积层和与所述当前尺度相邻的尺度的卷积层均连接。
为便于理解上述图像分割方法，先介绍本申请实施例中用到的网络结构。
一、并行多尺度交叉融合金字塔
传统的U-Net结构通过逐次地对输入图像进行卷积和池化来提取图像不同层级的特征，再通过连续地反卷积操作将深层具有强语义的特征图逐次恢复至原图像尺寸大小，在恢复尺寸的过程中，跨连接操作对于增强恢复路径上的卷积层的特征表达能力起到非常大的作用，使收缩路径上的具有良好轮廓特征的卷积层与扩展路径上的强语义卷积层相互融合，最终完成逐像素的分类识别。然而U-Net结构对于心脏MRI图像的分割还存在着不足之处。U-Net的跨连接机制只针对相同尺度的卷积层之间，这样的特征融合能力并不充分，在分割目标的基端和顶端，尤其是顶端部位，左右心室和心肌的目标通常都比较小，因此U-Net在这些位置的分割能力还存在着较明显的缺陷。另外，U-Net在高分辨率卷积层到低分辨率卷积层的过程中，特征图数目以2倍的比率增加，造成模型的参数量较大，给计算资源带来一定的负担。
为了避免U-Net的收缩与扩展的结构设计在多尺度信息融合方面的缺陷以及为了降低分割模型的参数量，进一步提高图像的多组织分割能力，例如心脏MRI图像的多组织分割能力，本申请实施例中提出了并行交叉尺度神经网络结构。
其中，并行交叉尺度神经网络结构的核心是每个尺度上的卷积层特征的相互融合，增强神经网络卷积层之间的多尺度信息交流。一个并行多尺度融合单元如公式(1)所示：
Figure PCTCN2020128848-appb-000001
在一个并行多尺度融合单元内，假设输出卷积层为
Figure PCTCN2020128848-appb-000002
表示第i+1层第n个卷积层，输入卷积层分别是
Figure PCTCN2020128848-appb-000003
分别表示第i层的第n个卷积层和相邻的两个尺度的卷 积层，ο表示拼接操作，函数F(.)代表一组操作，例如可以包括卷积、批归一化和激活。三个输入卷积层包含不同尺度的特征，大尺度的特征图会被下采样至输出卷积层
Figure PCTCN2020128848-appb-000004
的维度，小尺度的特征图会被上采样至输出卷积层
Figure PCTCN2020128848-appb-000005
的维度，两种采样后的卷积层再以通道为轴与和输出尺度相同的输入卷积层相拼接，接着对拼接后的卷积层进行3*3卷积、批归一化层和ReLU激活操作，上采样和下采样操作分别采用最近邻插值和最大池化，进行多尺度特征融合之后，输出卷积层相当于提取了不同尺度的特征信息。需要注意的是，当
Figure PCTCN2020128848-appb-000006
没有较大尺度的相邻卷积层或者小尺度的相邻卷积层时，输入卷积层只有两个。
一个并行多尺度交叉金字塔单元中包含一个输入特征金字塔P i和输出特征金字塔P i+1，图4显示了P i和P i+1之间的连接关系，两个金字塔的每一个尺度上都存在一个并行交叉尺度融合单元，相当于对于输出金字塔而言，每一个尺度上的卷积层都有从输入金字塔的相应尺度卷积层及其所有相邻层那里接受信息的能力。
本实施例中，上述并行多尺度融合金字塔对于语义分割的优势包括三点：
1)相对于传统的编码解码结构，并行交叉尺度融合金字塔能够极大增强浅层特征层到深层特征层的多尺度特征融合能力；
2)持续应用特征金字塔能够指数级地增大神经网络的感受野，更有利于像素级的分类；
3)同分辨率的卷积层能够直接进行交互，能够减小池化再上采样带来的信息损失。
二、串行多尺度融合金字塔
源于不同尺度特征图之间有效的交流能力，并行交叉尺度融合金字塔能够整合不同尺度的语义特征。然而对于图4中所示，虽然不同的金字塔之间有了多尺度的融合，但是在金字塔内部并没有足够的多尺度融合，为了进一步充分提升多尺度信息交流的能力，本申请实施例在图4的基础上，又构建了串行机制地多尺度融合金字塔，如图5中粗实线箭头即为串行机制示意图，在一个金字塔的内部，将低分辨率特征图逐个进行上采样与高分辨率特征图进行拼接融合，相当于将低分辨率特征图中所包含的语义特征向高分辨率特征传递，进一步提升高分辨率特征的语义信息。
基于上述并行多尺度交叉融合金字塔和串行多尺度融合金字塔的思想，本申请实施例中构建了串并联多尺度融合金字塔网络，网络结构如图6所示。
需要说明的是，图6中仅示出了卷积层，每一个卷积层后都施加批归一化层和ReLU激活层，为了更简洁，批归一化层和ReLU激活层被隐含在卷积操作内。
如图6所示，该多层卷积层可以包括n层卷积层，具体位置第1层卷积层、第2层卷积层、……、第i层卷积层、第i+1层卷积层、……、第m层卷积层。
其中，所述多层卷积层的第1层卷积层至第i层卷积层所包含的卷积层的个数相同，第i+1层卷积层至第n层卷积层所包含的卷积层的个数依次减少，其中，第i层卷积层所包含的卷积层的个数大于第i+1层卷积层所包含的卷积层的个数，n为所述多层卷积层的层数。
该多层卷积层可以包括多个尺度的卷积层，每一尺度的卷积层包括多个卷积层，且各尺 度的卷积层的卷积层个数不同。例如，图6中该多层卷积层由5个尺度的卷积层构成，每一行的卷积层对应同一个尺度，从上到下可以依次为尺度1、尺度2、尺度3、尺度4和尺度5，当然其他实施中并不限于5个尺度，仅为示例性说明。其中，尺度1对应的卷积层的个数最多，尺度2、尺度3、尺度4和尺度5对应的卷积层的个数依此减少。
该多层卷积层由5个尺度的卷积层构成，每一行的卷积层对应同一个尺度，从上到下可以依次为尺度1、尺度2、尺度3、尺度4和尺度5。当然其他实施中并不限于5个尺度，仅为示例性说明。
具体地，该多层卷积层可以分为级联金字塔型的卷积层和收缩金字塔型的卷积层。对于级联金字塔型的卷积层，由第1层卷积层至第i层卷积层构成，每层卷积层的各个卷积层之间相串接，第k层卷积层中的尺度n对应的卷积层与第k-1层卷积层中的尺度n、尺度n+1和尺度n-1对应的卷积层连接，其中，k≥2，2≤n≤4。对于第k层卷积层中的尺度1对应的卷积层，与第k-1层卷积层中的尺度1、尺度2对应的卷积层连接；对于第k层卷积层中的尺度5对应的卷积层，与第k-1层卷积层中的尺度4、尺度5对应的卷积层连接。
对于收缩金字塔型的卷积层，由第i+1层卷积层至第m层卷积层构成，第i+1层卷积层至第m层卷积层对应的卷积层个数依次减少，且均少于级联金字塔型的各层卷积层中的卷积层个数5。例如，第i+1层卷积层包括4个卷积层，第m层卷积层包括1个卷积层。需要说明的是，图6中收缩金字塔型的卷积层仅以4层卷积层为例进行说明，但并不以此为限，具体可以根据实际需要进行设置。
对于收缩金字塔型的卷积层，每层卷积层的各个卷积层之间相串接。对于第i+1层卷积层，尺度为n卷积层与第i层卷积层中的尺度n、尺度n+1和尺度n-1对应的卷积层连接，其中，2≤n≤3；尺度1对应的卷积层，与第i层卷积层中的尺度1、尺度2对应的卷积层连接；对于第i+1层卷积层中的尺度4对应的卷积层，与第i层卷积层中的尺度3、尺度4对应的卷积层连接。
对于收缩金字塔型的卷积层中其他各层卷积层的结构可参见图6，在此不再详细描述。
其中，收缩金字塔型的卷积层，每层卷积层抛弃一个最低分辨率的卷积层，直至最后输出层(第m层卷积层)只有一个最高分辨率卷积层为止，收缩金字塔逐次减少低分辨率卷积层，既起到了抛弃冗余卷积层，又保证了对于输出层特征信息的完备性。
上述串并联多尺度融合金字塔网络，本质上是由不同分辨率的卷积层构成的网格式语义分割网络，金字塔的并行连接和串行连接构成网格式分割网络信息传递的水平路径和垂直路径，所有的语义特征均向高分辨率的卷积层融合，连续的高分辨率卷积层保证了低级轮廓特征和高级语义特征在卷积的前向计算中不会因为池化而丢失，整个网络形成了较为完整的从输入层到输出层的映射。
参见图3，一些实施例中，步骤102可以通过以下过程实现：
在步骤1021中，将各个第一待分割图像对应输入到第一层卷积层中的各个卷积层。
所述将各个待分割图像对应输入到第一层卷积层中的各个卷积层，包括：
按照分辨率的由高到低与各个尺度所包含的卷积层个数的由大到小的对应关系，将各个待分割图像输入到对应的卷积层。
示例性的，参见图6，对于第一待分割图像，可以通过双线性插值法将输入图像分别缩放至1/2、1/4、1/8、1/16，再与输入图像组成五种分辨率的第一待分割图像，构成输入金字塔。 如图6所示，由上到下的顺序依此为第一待分割图像1、第一待分割图像2、第一待分割图像3、第一待分割图像4和第一待分割图像5，各图像的分辨率依此减小。
在步骤1022中，对于第一层卷积层中的各个卷积层，分别对所述第一待分割图像进行卷积处理，并对当前特征图进行上采样后与上一特征图进行拼接融合。
其中，可以将第一待分割图像1输入到第1层卷积层中尺度1对应的卷积层，将第一待分割图像2输入到第1层卷积层中尺度2对应的卷积层，将第一待分割图像3输入到第1层卷积层中尺度3对应的卷积层，将第一待分割图像4输入到第1层卷积层中尺度4对应的卷积层，将第一待分割图像5输入到第1层卷积层中尺度5对应的卷积层。
具体地，第1层卷积层中尺度1对应的卷积层对第一待分割图像1进行卷积处理，第1层卷积层中尺度2对应的卷积层对第一待分割图像2进行卷积处理，第1层卷积层中尺度3对应的卷积层对第一待分割图像3进行卷积处理，第1层卷积层中尺度4对应的卷积层对第一待分割图像4进行卷积处理，第1层卷积层中尺度5对应的卷积层对第一待分割图像5进行卷积处理。
另外，对尺度5卷积层中的低分辨率特征图进行上采样后发送给尺度4卷积层，与尺度4卷积层中的高分辨率特征度进行拼接融合；需要说明的是，这里的低分辨率特征图和高分辨率特征图是相对而言的，并不限定分辨率的具体数值。
对尺度4卷积层中的低分辨率特征图进行上采样后发送给尺度3卷积层，与尺度3卷积层中的高分辨率特征度进行拼接融合；需要说明的是，这里的低分辨率特征图和高分辨率特征图是相对而言的，并不限定分辨率的具体数值。
对尺度3卷积层中的低分辨率特征图进行上采样后发送给尺度2卷积层，与尺度2卷积层中的高分辨率特征度进行拼接融合；需要说明的是，这里的低分辨率特征图和高分辨率特征图是相对而言的，并不限定分辨率的具体数值。
对尺度2卷积层中的低分辨率特征图进行上采样后发送给尺度1卷积层，与尺度1卷积层中的高分辨率特征度进行拼接融合。需要说明的是，这里的低分辨率特征图和高分辨率特征图是相对而言的，并不限定分辨率的具体数值。
本实施例中，上述对当前特征图进行上采样后与上一特征图进行拼接融合，具体可以为：对当前尺度卷积层提取的特征信息进行上采样后，与上一尺度卷积层提取的特征信息图进行拼接融合。
在步骤1023中，对于除第一层卷积层之外的其他层卷积层中的各个卷积层，分别对上一层卷积层中相邻的卷积层的输出结果进行卷积处理，并对当前特征图进行上采样后与上一特征图进行拼接融合。
例如，对于第i层卷积层，尺度1对应的卷积层对第i-1层卷积层的尺度1卷积层和尺度2卷积层的输出结果进行卷积处理，尺度2对应的卷积层对第i-1层卷积层的尺度1卷积层卷、尺度2卷积层和尺度3卷积层的输出结果进行卷积处理，尺度3对应的卷积层对第i-1层卷积层的尺度2卷积层卷、尺度3卷积层和尺度4卷积层的输出结果进行卷积处理，尺度4对应的卷积层对第i-1层卷积层的尺度3卷积层卷、尺度4卷积层和尺度5卷积层的输出结果进行卷积处理，尺度5对应的卷积层对第i-1层卷积层的尺度4卷积层和尺度5卷积层的输出结果进行卷积处理。
另外，对尺度5卷积层中的低分辨率特征图进行上采样后发送给尺度4卷积层，与尺度 4卷积层中的高分辨率特征度进行拼接融合；需要说明的是，这里的低分辨率特征图和高分辨率特征图是相对而言的，并不限定分辨率的具体数值。
对尺度4卷积层中的低分辨率特征图进行上采样后发送给尺度3卷积层，与尺度3卷积层中的高分辨率特征度进行拼接融合；需要说明的是，这里的低分辨率特征图和高分辨率特征图是相对而言的，并不限定分辨率的具体数值。
对尺度3卷积层中的低分辨率特征图进行上采样后发送给尺度2卷积层，与尺度2卷积层中的高分辨率特征度进行拼接融合；需要说明的是，这里的低分辨率特征图和高分辨率特征图是相对而言的，并不限定分辨率的具体数值。
对尺度2卷积层中的低分辨率特征图进行上采样后发送给尺度1卷积层，与尺度1卷积层中的高分辨率特征度进行拼接融合。需要说明的是，这里的低分辨率特征图和高分辨率特征图是相对而言的，并不限定分辨率的具体数值。
在步骤103中，根据所述卷积处理的输出结果进行图像分割。
其中，在通过上述多层卷积层对目标待分割图像进行卷积处理后，根据卷积处理的输出结果进行图像分割，得到图像分割结果。
上述图像分割方法，获取目标待分割图像，基于上述目标待分割图像生成多个分辨率不同的第一待分割图像，通过多层卷积层对各个第一待分割图像进行卷积处理，并根据卷积处理的输出结果进行图像分割，由于上述多层卷积层的每层卷积层包括多个相串接的卷积层，且当前层卷积层的各个卷积层分别与上一层卷积层中的卷积层连接，能够将目标待分割图像的低分辨率特征图中所包含的语义特征向高分辨率特征传递，从而提升高分辨率特征的语义信息，提高图像分割的精确度。
以下对上述图像分割方法进行实验验证。
设置两组实验，每组5个对比子项，分别用来验证串行特征金字塔和并行特征金字塔对分割结果的贡献，两组实验的5个对比子项分别设置级联金字塔的层数N为1、4、7、10、13，以便突出不同层数金字塔对分割结果的影响。
首先，验证并行多尺度交叉融合金字塔(PP-Net)的性能以及确定金字塔层数。第一组实验的实验网络只包含并行多尺度融合机制，根据级联金字塔的层数，五组实验分别为PP-Net-1、PP-Net-4、PP-Net-7、PP-Net-10、PP-Net-13。表1显示了本小节实验网络在左右心室和心肌上舒张期和收缩期的Dice相似度。可以看出无论舒张期还是收缩期，Dice相似性系数在大多数情况下都会随着金字塔层数的增长而增长，金字塔的并行特征融合能够对精度的增加带来一定的帮助。本实验的各个网络结构之间，参数量大致相差约9万，也就是使用并行多尺度融合金字塔能够实现在参数量增长幅度有限的情况下，带来分割精度的提高。
表1 并联多尺度特征融合金字塔实验结果
Figure PCTCN2020128848-appb-000007
Figure PCTCN2020128848-appb-000008
第二组实验在并行多尺度特征融合金字塔的基础上，增加串行机制，以验证在单个特征金字塔内将低分辨率特征图的信息想高分辨率特征图传递的有效性，实验在第一组实验的基础上进行，实验结果对比如表2中所示可以看出，无论金字塔的层数是多少，增加级联次数能够在并行特征融合的基础上进一步提升整体分割效果。在对右心室的分割中提升幅度更为明显，右心室在图像中所占的像素比例本身较小，提取的右心室相关特征较少，持续的串行特征融合机制能够给网络整体的特征信息交互带来极大地提升，也证明了本节网络结构的有效性。
表2 串并联多尺度特征融合金字塔实验结果
Figure PCTCN2020128848-appb-000009
最后将采用线上测试方式验证串并联多尺度特征融合金字塔的有效性。线上测试没有公开数据集的标签，因此对网络性能的测试更具有说服力，在线测试将展示Dice相似度系数和Hausdorff距离与其它算法的比较，本申请实施例在线测试网络采用SPP-Net-13，表3显示了本申请实施例的实验结果与竞赛榜前五名的对比。
表3 在线测试结果对比
Figure PCTCN2020128848-appb-000010
Figure PCTCN2020128848-appb-000011
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的图像分割方法，图7示出了本申请实施例提供的图像分割装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参见图7，本申请实施例中的图像分割装置可以包括图像转换模块201、卷积处理模块202和分割模块203。
其中，图像生成模块201，用于获取目标待分割图像，基于所述目标待分割图像生成预设个数的第一待分割图像；其中，各个所述第一待分割图像的分辨率不同；
卷积处理模块202，用于通过多层卷积层对各个所述第一待分割图像进行卷积处理；其中，所述多层卷积层中的每一层卷积层包括多个相串接的卷积层，且当前层卷积层的各个卷积层分别与上一层卷积层中的卷积层连接；
分割模块203，用于根据所述卷积处理的输出结果进行图像分割。
可选的，卷积处理模块202具体可以用于：
所述通过多层卷积层对各个所述第一待分割图像进行卷积处理，包括：
将各个第一待分割图像对应输入到第一层卷积层中的各个卷积层；
对于第一层卷积层中的各个卷积层，分别对所述第一待分割图像进行卷积处理，并对当前特征图进行上采样后与上一特征图进行拼接融合；
对于除第一层卷积层之外的其他层卷积层中的各个卷积层，分别对上一层卷积层中相邻的卷积层的输出结果进行卷积处理，并对当前特征图进行上采样后与上一特征图进行拼接融合。
可选的，所述多层卷积层包括多个尺度的卷积层，每一尺度的卷积层包括多个卷积层，且各尺度的卷积层的卷积层个数不同；
所述将各个待分割图像对应输入到第一层卷积层中的各个卷积层，包括：
按照分辨率的由高到低与各个尺度所包含的卷积层个数的由大到小的对应关系，将各个待分割图像输入到对应的卷积层。
作为一种可实施方式，所述多层卷积层的第一层卷积层至第i层卷积层所包含的卷积层的个数相同，第i+1层卷积层至第n层卷积层所包含的卷积层的个数依次减少，其中，第i层 卷积层所包含的卷积层的个数大于第i+1层卷积层所包含的卷积层的个数，n为所述多层卷积层的层数。
可选的，所述当前层卷积层的各个卷积层分别与上一层卷积层中的卷积层连接，为：
当前层卷积层的当前尺度的卷积层分别与上一层卷积层中的所述当前尺度的卷积层和与所述当前尺度相邻的尺度的卷积层均连接。
可选的，图像生成模块201具体可以用于：
对所述目标待分割图像进行压缩，生成多个不同分辨率的第二待分割图像；
将所述多个第二待分割图像和所述目标待分割图像作为所述预设个数的第一待分割图像。
示例性的，所述对所述目标待分割图像进行压缩，生成多个不同分辨率的第二待分割图像，包括：
通过双线性插值法对所述目标待分割图像进行压缩，生成多个不同分辨率的第二待分割图像。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种终端设备，参见图8，该终端设备300可以包括：至少一个处理器310、存储器320以及存储在所述存储器320中并可在所述至少一个处理器310上运行的计算机程序，所述处理器310执行所述计算机程序时实现上述任意各个方法实施例中的步骤，例如图2所示实施例中的步骤S101至步骤S103。或者，处理器310执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块201至203的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器320中，并由处理器310执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序段，该程序段用于描述计算机程序在终端设备300中的执行过程。
本领域技术人员可以理解，图8仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如输入输出设备、网络接入设备、总线等。
处理器310可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理 器或者该处理器也可以是任何常规的处理器等。
存储器320可以是终端设备的内部存储单元，也可以是终端设备的外部存储设备，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。所述存储器320用于存储所述计算机程序以及终端设备所需的其他程序和数据。所述存储器320还可以用于暂时地存储已经输出或者将要输出的数据。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请实施例提供的图像分割方法可以应用于计算机、平板电脑、笔记本电脑、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
以所述终端设备为计算机为例。图9示出的是与本申请实施例提供的计算机的部分结构的框图。参考图9，计算机包括：通信电路410、存储器420、输入单元430、显示单元440、音频电路450、无线保真(wireless fidelity，WiFi)模块460、处理器470以及电源480等部件。本领域技术人员可以理解，图8中示出的计算机结构并不构成对计算机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图9对计算机的各个构成部件进行具体的介绍：
通信电路410可用于收发信息或通话过程中，信号的接收和发送，特别地，将图像采集设备发送的图像样本接收后，给处理器470处理；另外，将图像采集指令发送给图像采集设备。通常，通信电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，通信电路410还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE))、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器420可用于存储软件程序以及模块，处理器470通过运行存储在存储器420的软件程序以及模块，从而执行计算机的各种功能应用以及数据处理。存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元430可用于接收输入的数字或字符信息，以及产生与计算机的用户设置以及功能控制有关的键信号输入。具体地，输入单元430可包括触控面板431以及其他输入设备432。触控面板431，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板431上或在触控面板431附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板431可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给 触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器470，并能接收处理器470发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板431。除了触控面板431，输入单元430还可以包括其他输入设备432。具体地，其他输入设备432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元440可用于显示由用户输入的信息或提供给用户的信息以及计算机的各种菜单。显示单元440可包括显示面板441，可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板441。进一步的，触控面板431可覆盖显示面板441，当触控面板431检测到在其上或附近的触摸操作后，传送给处理器470以确定触摸事件的类型，随后处理器470根据触摸事件的类型在显示面板441上提供相应的视觉输出。虽然在图9中，触控面板431与显示面板441是作为两个独立的部件来实现计算机的输入和输入功能，但是在某些实施例中，可以将触控面板431与显示面板441集成而实现计算机的输入和输出功能。
音频电路450可提供用户与计算机之间的音频接口。音频电路450可将接收到的音频数据转换后的电信号，传输到扬声器由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路450接收后转换为音频数据，再将音频数据输出处理器470处理后，经通信电路410以发送给比如另一计算机，或者将音频数据输出至存储器420以便进一步处理。
WiFi属于短距离无线传输技术，计算机通过WiFi模块460可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块460，但是可以理解的是，其并不属于计算机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器470是计算机的控制中心，利用各种接口和线路连接整个计算机的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以及调用存储在存储器420内的数据，执行计算机的各种功能和处理数据，从而对计算机进行整体监控。可选的，处理器470可包括一个或多个处理单元；优选的，处理器470可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器470中。
计算机还包括给各个部件供电的电源480(比如电池)，优选的，电源480可以通过电源管理系统与处理器470逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述图像分割方法各个实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述图像分割方法各个实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其 中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

  1. 一种图像分割方法，其特征在于，包括：
    获取目标待分割图像，基于所述目标待分割图像生成预设个数的第一待分割图像；其中，各个所述第一待分割图像的分辨率不同；
    通过多层卷积层对各个所述第一待分割图像进行卷积处理；其中，所述多层卷积层中的每一层卷积层包括多个相串接的卷积层，且当前层卷积层的各个卷积层分别与上一层卷积层中的卷积层连接；
    根据所述卷积处理的输出结果进行图像分割。
  2. 如权利要求1所述的图像分割方法，其特征在于，所述通过多层卷积层对各个所述第一待分割图像进行卷积处理，包括：
    将各个第一待分割图像对应输入到第一层卷积层中的各个卷积层；
    对于第一层卷积层中的各个卷积层，分别对所述第一待分割图像进行卷积处理，并对当前特征图进行上采样后与上一特征图进行拼接融合；
    对于除第一层卷积层之外的其他层卷积层中的各个卷积层，分别对上一层卷积层中相邻的卷积层的输出结果进行卷积处理，并对当前特征图进行上采样后与上一特征图进行拼接融合。
  3. 如权利要求2所述的图像分割方法，其特征在于，所述多层卷积层包括多个尺度的卷积层，每一尺度的卷积层包括多个卷积层，且各尺度的卷积层的卷积层个数不同；
    所述将各个待分割图像对应输入到第一层卷积层中的各个卷积层，包括：
    按照分辨率的由高到低与各个尺度所包含的卷积层个数的由大到小的对应关系，将各个待分割图像输入到对应的卷积层。
  4. 如权利要求3所述的图像分割方法，其特征在于，所述多层卷积层的第一层卷积层至第i层卷积层所包含的卷积层的个数相同，第i+1层卷积层至第n层卷积层所包含的卷积层的个数依次减少，其中，第i层卷积层所包含的卷积层的个数大于第i+1层卷积层所包含的卷积层的个数，n为所述多层卷积层的层数。
  5. 如权利要求3所述的图像分割方法，其特征在于，所述当前层卷积层的各个卷积层分别与上一层卷积层中的卷积层连接，为：
    当前层卷积层的当前尺度的卷积层分别与上一层卷积层中的所述当前尺度的卷积层和与所述当前尺度相邻的尺度的卷积层均连接。
  6. 如权利要求1所述的图像分割方法，其特征在于，所述基于所述目标待分割图像生成 预设个数的第一待分割图像，包括：
    对所述目标待分割图像进行压缩，生成多个不同分辨率的第二待分割图像；
    将所述多个第二待分割图像和所述目标待分割图像作为所述预设个数的第一待分割图像。
  7. 如权利要求6所述的图像分割方法，其特征在于，所述对所述目标待分割图像进行压缩，生成多个不同分辨率的第二待分割图像，包括：
    通过双线性插值法对所述目标待分割图像进行压缩，生成多个不同分辨率的第二待分割图像。
  8. 一种图像分割装置，其特征在于，包括：
    图像转换模块，用于获取目标待分割图像，基于所述目标待分割图像生成预设个数的第一待分割图像；其中，各个所述第一待分割图像的分辨率不同；
    卷积处理模块，用于通过多层卷积层对各个所述第一待分割图像进行卷积处理；其中，所述多层卷积层中的每一层卷积层包括多个相串接的卷积层，且当前层卷积层的各个卷积层分别与上一层卷积层中的卷积层连接；
    分割模块，用于根据所述卷积处理的输出结果进行图像分割。
  9. 一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
  10. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
PCT/CN2020/128848 2019-11-26 2020-11-13 图像分割方法、装置及终端设备 WO2021104060A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911172254.0 2019-11-26
CN201911172254.0A CN111028237B (zh) 2019-11-26 2019-11-26 图像分割方法、装置及终端设备

Publications (1)

Publication Number Publication Date
WO2021104060A1 true WO2021104060A1 (zh) 2021-06-03

Family

ID=70202133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/128848 WO2021104060A1 (zh) 2019-11-26 2020-11-13 图像分割方法、装置及终端设备

Country Status (2)

Country Link
CN (1) CN111028237B (zh)
WO (1) WO2021104060A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505834A (zh) * 2021-07-13 2021-10-15 阿波罗智能技术(北京)有限公司 训练检测模型、确定图像更新信息和更新高精地图的方法
CN113591859A (zh) * 2021-06-23 2021-11-02 北京旷视科技有限公司 图像分割方法、装置、设备及介质
CN115439938A (zh) * 2022-09-09 2022-12-06 湖南智警公共安全技术研究院有限公司 一种防分裂的人脸档案数据归并处理方法及系统
CN116703729A (zh) * 2023-08-09 2023-09-05 荣耀终端有限公司 一种图像处理方法、终端、存储介质及程序产品

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028237B (zh) * 2019-11-26 2023-06-06 中国科学院深圳先进技术研究院 图像分割方法、装置及终端设备
US20230267616A1 (en) * 2020-09-02 2023-08-24 Singapore Health Services Pte Ltd Image segmentation system and method
CN114612374A (zh) * 2020-12-09 2022-06-10 中国科学院深圳先进技术研究院 基于特征金字塔的图像检测模型的训练方法、介质和设备
CN117011550B (zh) * 2023-10-08 2024-01-30 超创数能科技有限公司 一种电子显微镜照片中的杂质识别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN109118459A (zh) * 2017-06-23 2019-01-01 南开大学 图像显著性物体检测方法和装置
CN111028237A (zh) * 2019-11-26 2020-04-17 中国科学院深圳先进技术研究院 图像分割方法、装置及终端设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784654B (zh) * 2016-08-26 2020-09-25 杭州海康威视数字技术股份有限公司 图像分割方法、装置及全卷积网络系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN109118459A (zh) * 2017-06-23 2019-01-01 南开大学 图像显著性物体检测方法和装置
CN111028237A (zh) * 2019-11-26 2020-04-17 中国科学院深圳先进技术研究院 图像分割方法、装置及终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EMMANUEL MAGGIORI; YULIYA TARABALKA; GUILLAUME CHARPIAT; PIERRE ALLIEZ: "High-resolution image classification with convolutional networks", 2017 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM (IGARSS), 23 July 2017 (2017-07-23), pages 5157 - 5160, XP033275629, ISSN: 2153-7003 *
ZUO WANGXIA; ZHOU FUQIANG; LI ZUOXIN; WANG LIN: "Multi-Resolution CNN and Knowledge Transfer for Candidate Classification in Lung Nodule Detection", IEEE ACCESS, vol. 7, 7 March 2019 (2019-03-07), pages 32510 - 32521, XP011716105, DOI: 10.1109/ACCESS.2019.2903587 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591859A (zh) * 2021-06-23 2021-11-02 北京旷视科技有限公司 图像分割方法、装置、设备及介质
CN113505834A (zh) * 2021-07-13 2021-10-15 阿波罗智能技术(北京)有限公司 训练检测模型、确定图像更新信息和更新高精地图的方法
CN115439938A (zh) * 2022-09-09 2022-12-06 湖南智警公共安全技术研究院有限公司 一种防分裂的人脸档案数据归并处理方法及系统
CN115439938B (zh) * 2022-09-09 2023-09-19 湖南智警公共安全技术研究院有限公司 一种防分裂的人脸档案数据归并处理方法及系统
CN116703729A (zh) * 2023-08-09 2023-09-05 荣耀终端有限公司 一种图像处理方法、终端、存储介质及程序产品
CN116703729B (zh) * 2023-08-09 2023-12-19 荣耀终端有限公司 一种图像处理方法、终端、存储介质及程序产品

Also Published As

Publication number Publication date
CN111028237A (zh) 2020-04-17
CN111028237B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
WO2021104060A1 (zh) 图像分割方法、装置及终端设备
WO2021104058A1 (zh) 图像分割方法、装置及终端设备
WO2021036695A1 (zh) 一种待标注图像确定的方法、模型训练的方法及装置
WO2021196873A1 (zh) 车牌字符识别方法、装置、电子设备和存储介质
JP2022508790A (ja) 画像領域位置決め方法、モデル訓練方法及び関連装置
WO2020125498A1 (zh) 心脏磁共振图像分割方法、装置、终端设备及存储介质
WO2021104089A1 (zh) 图像配准方法、装置及终端设备
US20200279358A1 (en) Method, device, and system for testing an image
JP2020523711A (ja) 医療報告書の生成方法および装置
WO2018113512A1 (zh) 图像处理方法以及相关装置
WO2021169126A1 (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN110930342A (zh) 一种基于彩色图引导的深度图超分辨率重建网络构建方法
US20220253977A1 (en) Method and device of super-resolution reconstruction, computer device and storage medium
WO2023202285A1 (zh) 图像处理方法、装置、计算机设备及存储介质
CN111832666A (zh) 医疗影像数据扩增方法、装置、介质及电子设备
CN112991180A (zh) 图像拼接方法、装置、设备以及存储介质
WO2021147276A1 (zh) 数据处理方法、装置及芯片、电子设备、存储介质
CN111340213B (zh) 神经网络的训练方法、电子设备、存储介质
US20220058824A1 (en) Method and apparatus for image labeling, electronic device, storage medium, and computer program
CN113052246B (zh) 用于训练分类模型及图像分类的方法和相关装置
CN110399827A (zh) 一种基于卷积神经网络的手写体数字识别方法
CN112053287A (zh) 图像超分辨率方法、装置及设备
WO2023109086A1 (zh) 文字识别方法、装置、设备及存储介质
CN110717405A (zh) 人脸特征点定位方法、装置、介质及电子设备
CN116246110A (zh) 基于改进胶囊网络的图像分类方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20892413

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20892413

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20892413

Country of ref document: EP

Kind code of ref document: A1