TWI755853B - 圖像處理方法、電子設備和電腦可讀儲存介質 - Google Patents

圖像處理方法、電子設備和電腦可讀儲存介質 Download PDF

Info

Publication number
TWI755853B
TWI755853B TW109131394A TW109131394A TWI755853B TW I755853 B TWI755853 B TW I755853B TW 109131394 A TW109131394 A TW 109131394A TW 109131394 A TW109131394 A TW 109131394A TW I755853 B TWI755853 B TW I755853B
Authority
TW
Taiwan
Prior art keywords
segmentation
image
target
network
feature map
Prior art date
Application number
TW109131394A
Other languages
English (en)
Other versions
TW202112299A (zh
Inventor
袁璟
趙亮
Original Assignee
大陸商上海商湯智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商上海商湯智能科技有限公司 filed Critical 大陸商上海商湯智能科技有限公司
Publication of TW202112299A publication Critical patent/TW202112299A/zh
Application granted granted Critical
Publication of TWI755853B publication Critical patent/TWI755853B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本發明關於一種圖像處理方法、電子設備和電腦可讀儲存介質，所述方法包括：對待處理圖像進行第一分割處理，確定所述待處理圖像中的至少一個目標圖像區域；對所述至少一個目標圖像區域進行第二分割處理，確定所述至少一個目標圖像區域中目標的第一分割結果；對所述第一分割結果及所述待處理圖像進行融合及分割處理，確定所述待處理圖像中目標的第二分割結果。

Description

圖像處理方法、電子設備和電腦可讀儲存介質
本發明實施例關於電腦技術領域，關於但不限於一種圖像處理方法、電子設備和電腦可讀儲存介質。
在圖像處理技術領域，對感興趣區域或目的地區域進行分割，是進行圖像分析和目標識別的基礎。例如，在醫學圖像中通過分割，清晰地識別一個或多個器官或組織之間的邊界。準確地分割醫學圖像對於許多臨床應用而言是至關重要的。
本發明實施例提出了一種圖像處理方法、電子設備和電腦可讀儲存介質。
本發明實施例提供了一種圖像處理方法，包括：對待處理圖像進行第一分割處理，確定所述待處理圖像中的至少一個目標圖像區域；對所述至少一個目標圖像區域進行第二分割處理，確定所述至少一個目標圖像區域中目標的第一分割結果；對所述第一分割結果及所述待處理圖像進行融合及分割處理，確定所述待處理圖像中目標的第二分割結果。
可見，在本發明實施例中，能夠對待處理圖像進行分割以確定圖像中的目標圖像區域，對目標圖像區域再次分割以確定目標的第一分割結果，對第一分割結果融合並分割以確定待處理圖像第二分割結果，從而通過多次分割提高待處理圖像中目標的分割結果的準確性。
在本發明的一些實施例中，對所述第一分割結果及所述待處理圖像進行融合及分割處理，確定所述待處理圖像中目標的第二分割結果，包括：對各個第一分割結果進行融合，得到融合結果；根據所述待處理圖像，對所述融合結果進行第三分割處理，得到所述待處理圖像的第二分割結果。
這樣，由於可以在得到各個目標圖像區域中目標的第一分割結果後，可對各個第一分割結果進行融合處理，得到融合結果；再將融合結果與原始的待處理圖像輸入到融合分割網路中進行進一步的分割處理，從而從完整的圖像上完善分割效果，可以提高分割精度。
在本發明的一些實施例中，對待處理圖像進行第一分割處理，確定所述待處理圖像中的至少一個目標圖像區域，包括：對所述待處理圖像進行特徵提取，得到所述待處理圖像的特徵圖；對所述特徵圖進行分割，確定所述特徵圖中的目標的邊界框；根據所述特徵圖中的目標的邊界框，從所述待處理圖像中確定出至少一個目標圖像區域。
可以看出，本發明實施例可以提取待處理圖像的特徵，然後可通過特徵圖分割，得到特徵圖中的多個目標的邊界框，從而，可以確定出待處理圖像中的目標圖像區域，通過確定目標圖像區域，可以確定待處理圖像的目標大致位置區域，即，可以實現待處理圖像的粗略分割。
在本發明的一些實施例中，對所述至少一個目標圖像區域分別進行第二分割處理，確定所述至少一個目標圖像區域中目標的第一分割結果，包括：對至少一個目標圖像區域進行特徵提取，得到所述至少一個目標圖像區域的第一特徵圖；對所述第一特徵圖進行N級下採樣，得到N級的第二特徵圖，N為大於或等於1的整數；對第N級的第二特徵圖進行N級上採樣，得到N級的第三特徵圖；對第N級的第三特徵圖進行分類，得到所述至少一個目標圖像區域中目標的第一分割結果。
這樣，對於任意一個目標圖像區域，可通過卷積和下採樣處理得到目標圖像區域的特徵，以降低目標圖像區域的解析度，減少處理的資料量；進一步地，由於可以在各個目標圖像區域的基礎上進行處理，可得到各個目標圖像區域的第一分割結果，也就是說，可以實現各個目標圖像區域的精細分割。
在本發明的一些實施例中，對第N級的第二特徵圖進行N級上採樣，得到N級的第三特徵圖，包括：在i依次取1至N的情況下，基於注意力機制，將第i級上採樣得到的第三特徵圖與第N-i級的第二特徵圖連接，得到第i級的第三特徵圖，N為下採樣和上採樣的級數，i為整數。
這樣，通過採用注意力機制，可以擴展特徵圖之間的跨越連接，更好地實現特徵圖之間的資訊傳遞。
在本發明的一些實施例中，所述待處理圖像包括三維的膝蓋圖像，所述第二分割結果包括膝蓋軟骨的分割結果，所述膝蓋軟骨包括股骨軟骨、脛骨軟骨及髕骨軟骨中的至少一種。
可以看出，在本發明實施例中，能夠對三維的膝蓋圖像進行分割以確定膝蓋圖像中的股骨軟骨圖像區域、脛骨軟骨圖像區域或髕骨軟骨圖像區域，然後，再對股骨軟骨圖像區域、脛骨軟骨圖像區域及髕骨軟骨圖像區域再次分割以確定第一分割結果，對第一分割結果融合並分割以確定膝蓋圖像的第二分割結果，從而通過多次分割提高膝蓋圖像中股骨軟骨、脛骨軟骨或髕骨軟骨的分割結果的準確性。
在本發明的一些實施例中，所述方法通過神經網路實現，所述方法還包括：根據預設的訓練集訓練所述神經網路，所述訓練集包括多個樣本圖像以及各樣本圖像的標注分割結果。
可以看出，本發明實施例可以根據樣本圖像和樣本圖像的標注分割結果訓練用於圖像分割的神經網路。
在本發明的一些實施例中，所述神經網路包括第一分割網路、至少一個第二分割網路以及融合分割網路，所述根據預設的訓練集訓練所述神經網路，包括：將樣本圖像輸入所述第一分割網路中，輸出所述樣本圖像中各目標的各樣本圖像區域；將各個樣本圖像區域分別輸入與各目標對應的第二分割網路中，輸出各個樣本圖像區域中目標的第一分割結果；將各個樣本圖像區域中目標的第一分割結果以及所述樣本圖像輸入融合分割網路中，輸出所述樣本圖像中目標的第二分割結果；根據多個樣本圖像的第二分割結果以及標注分割結果，確定所述第一分割網路、所述第二分割網路及所述融合分割網路的網路損失；根據所述網路損失，調整所述神經網路的網路參數。
這樣，可以實現第一分割網路、第二分割網路以及融合分割網路的訓練過程，得到高精度的神經網路。
本發明實施例還提供了一種圖像處理裝置，包括：第一分割模組，配置為對待處理圖像進行第一分割處理，確定所述待處理圖像中的至少一個目標圖像區域；第二分割模組，配置為對所述至少一個目標圖像區域進行第二分割處理，確定所述至少一個目標圖像區域中目標的第一分割結果；融合及分割模組，配置為對所述第一分割結果及所述待處理圖像進行融合及分割處理，確定所述待處理圖像中目標的第二分割結果。
可見，在本發明實施例中，能夠對待處理圖像進行分割以確定圖像中的目標圖像區域，對目標圖像區域再次分割以確定目標的第一分割結果，對第一分割結果融合並分割以確定待處理圖像第二分割結果，從而通過多次分割提高待處理圖像中目標的分割結果的準確性。
在本發明的一些實施例中，所述融合及分割模組包括：融合子模組，配置為對各個第一分割結果進行融合，得到融合結果；分割子模組，配置為根據所述待處理圖像，對所述融合結果進行第三分割處理，得到所述待處理圖像的第二分割結果。
這樣，由於可以在得到各個目標圖像區域中目標的第一分割結果後，可對各個第一分割結果進行融合處理，得到融合結果；再將融合結果與原始的待處理圖像輸入到融合分割網路中進行進一步的分割處理，從而從完整的圖像上完善分割效果，可以提高分割精度。
在本發明的一些實施例中，所述第一分割模組包括：第一提取子模組，配置為對所述待處理圖像進行特徵提取，得到所述待處理圖像的特徵圖；第一分割子模組，配置為對所述特徵圖進行分割，確定所述特徵圖中的目標的邊界框；確定子模組，配置為根據所述特徵圖中的目標的邊界框，從所述待處理圖像中確定出至少一個目標圖像區域。
可以看出，本發明實施例可以提取待處理圖像的特徵，然後可通過特徵圖分割，得到特徵圖中的多個目標的邊界框，從而，可以確定出待處理圖像中的目標圖像區域，通過確定目標圖像區域，可以確定待處理圖像的目標大致位置區域，即，可以實現待處理圖像的粗略分割。
在本發明的一些實施例中，所述第二分割模組包括：第二提取子模組，配置為對至少一個目標圖像區域進行特徵提取，得到所述至少一個目標圖像區域的第一特徵圖；下採樣子模組，配置為對所述第一特徵圖進行N級下採樣，得到N級的第二特徵圖，N為大於或等於1的整數；上採樣子模組，配置為對第N級的第二特徵圖進行N級上採樣，得到N級的第三特徵圖；分類子模組，配置為對第N級的第三特徵圖進行分類，得到所述至少一個目標圖像區域中目標的第一分割結果。
這樣，對於任意一個目標圖像區域，可通過卷積和下採樣處理得到目標圖像區域的特徵，以降低目標圖像區域的解析度，減少處理的資料量；進一步地，由於可以在各個目標圖像區域的基礎上進行處理，可得到各個目標圖像區域的第一分割結果，也就是說，可以實現各個目標圖像區域的精細分割。
在本發明的一些實施例中，所述上採樣子模組包括：連接子模組，配置為在i依次取1至N的情況下，基於注意力機制，將第i級上採樣得到的第三特徵圖與第N-i級的第二特徵圖連接，得到第i級的第三特徵圖，N為下採樣和上採樣的級數，i為整數。
這樣，通過採用注意力機制，可以擴展特徵圖之間的跨越連接，更好地實現特徵圖之間的資訊傳遞。
在本發明的一些實施例中，所述待處理圖像包括三維的膝蓋圖像，所述第二分割結果包括膝蓋軟骨的分割結果，所述膝蓋軟骨包括股骨軟骨、脛骨軟骨及髕骨軟骨中的至少一種。
可以看出，在本發明實施例中，能夠對三維的膝蓋圖像進行分割以確定膝蓋圖像中的股骨軟骨圖像區域、脛骨軟骨圖像區域或髕骨軟骨圖像區域，然後，再對股骨軟骨圖像區域、脛骨軟骨圖像區域及髕骨軟骨圖像區域再次分割以確定第一分割結果，對第一分割結果融合並分割以確定膝蓋圖像的第二分割結果，從而通過多次分割提高膝蓋圖像中股骨軟骨、脛骨軟骨或髕骨軟骨的分割結果的準確性。
在本發明的一些實施例中，所述裝置通過神經網路實現，所述裝置還包括：訓練模組，配置為根據預設的訓練集訓練所述神經網路，所述訓練集包括多個樣本圖像以及各樣本圖像的標注分割結果。
可以看出，本發明實施例可以根據樣本圖像和樣本圖像的標注分割結果訓練用於圖像分割的神經網路。
在本發明的一些實施例中，所述神經網路包括第一分割網路、至少一個第二分割網路以及融合分割網路，所述訓練模組包括：區域確定子模組，配置為將樣本圖像輸入所述第一分割網路中，輸出所述樣本圖像中各目標的各樣本圖像區域；第二分割子模組，配置為將各個樣本圖像區域分別輸入與各目標對應的第二分割網路中，輸出各個樣本圖像區域中目標的第一分割結果；第三分割子模組，配置為將各個樣本圖像區域中目標的第一分割結果以及所述樣本圖像輸入融合分割網路中，輸出所述樣本圖像中目標的第二分割結果；損失確定子模組，配置為根據多個樣本圖像的第二分割結果以及標注分割結果，確定所述第一分割網路、所述第二分割網路及所述融合分割網路的網路損失；參數調整子模組，配置為根據所述網路損失，調整所述神經網路的網路參數。
這樣，可以實現第一分割網路、第二分割網路以及融合分割網路的訓練過程，得到高精度的神經網路。
本發明實施例還提供了一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行上述任意一種圖像處理方法。
本發明實施例還提供了一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述任意一種圖像處理方法。
本發明實施例還提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行上述任意一種圖像處理方法。
在本發明實施例中，能夠對待處理圖像進行分割以確定圖像中的目標圖像區域，對目標圖像區域再次分割以確定目標的第一分割結果，對第一分割結果融合並分割以確定待處理圖像第二分割結果，從而通過多次分割提高待處理圖像中目標的分割結果的準確性。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。根據下面參考附圖對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
以下將參考附圖詳細說明本發明的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的組件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本發明，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、組件和電路未作詳細描述，以便於凸顯本發明的主旨。
關節炎是一種退化性關節疾病，在手部、臀部和膝關節部易於發生，並且，膝關節部最容易發生。因此，有必要對關節炎進行臨床分析和診斷，膝關節區域由關節骨、軟骨和半月板等重要組織組成。這些組織有複雜的結構，並且這些組織的圖像的對比度可能不高。然而，由於膝關節軟骨具有非常複雜的組織結構和不清楚的組織邊界，如何實現膝關節軟骨的準確分割，是亟待解決的技術問題。
在相關技術中，可以採用多種方法來評估膝關節結構，在第一個示例中，可以獲取膝關節的磁共振檢查（Magnetic Resonance，MR）資料，基於膝關節的MR資料得到軟骨形態學結果（如軟骨厚度，軟骨表面積），軟骨形態學結果可以幫助確定膝關節炎的症狀和結構嚴重程度；在第二個示例中，可以通過基於軟骨面罩之間的幾何關係演變半定量評分方法來研究磁共振骨關節炎膝關節評分（MRI Osteoarthritis Knee Score ，MOAKS）；在第三個示例中，三維軟骨標籤也是膝關節廣泛定量測量的潛在標準，膝關節軟骨標記可以説明計算關節間隙變窄的寬度和匯出的距離圖，因而，被認為是評估膝關節關節炎結構變化的參考。
在前述記載的應用場景的基礎上，本發明實施例提出了一種圖像處理方法；圖1為本發明實施例提供的圖像處理方法的流程示意圖，如圖1所示，所述圖像處理方法包括： 步驟S11：對待處理圖像進行第一分割處理，確定所述待處理圖像中的至少一個目標圖像區域。 步驟S12：對所述至少一個目標圖像區域分別進行第二分割處理，確定所述至少一個目標圖像區域中目標的第一分割結果。 步驟S13：對所述第一分割結果及所述待處理圖像進行融合及分割處理，確定所述待處理圖像中目標的第二分割結果。
在本發明的一些實施例中，所述圖像處理方法可以由圖像處理裝置執行，圖像處理裝置可以為使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等，所述方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。或者，可通過伺服器執行該方法。
在本發明的一些實施例中，待處理圖像可以為三維圖像資料，例如三維的膝蓋圖像，三維的膝蓋圖像可以包括膝蓋橫截面方向的多個切片圖像。待處理圖像中的目標可包括膝蓋軟骨，膝蓋軟骨可以包括股骨軟骨（Femoral Cartilage，FC）、脛骨軟骨（Tibial Cartilage，TC）及髕骨軟骨（Patellar Cartilage，PC）中的至少一種。可通過圖像採集設備對被測物件（例如患者）的膝蓋區域進行掃描，從而獲得待處理圖像；圖像採集設備可以是如電子電腦斷層掃描（Computed Tomography，CT）設備、MR設備等。應當理解，待處理圖像也可以是其他區域或其他類型的圖像，本發明對待處理圖像區域、類型及具體獲取方式不作限制。
圖2a為本發明實施例提供的三維核磁共振膝關節資料的矢狀切片示意圖，圖2b為本發明實施例提供的三維核磁共振膝關節資料的冠狀切片示意圖，圖2c為本發明實施例提供的三維核磁共振膝關節圖像的軟骨形狀示意圖；如圖2a、圖2b及圖2c所示，膝蓋區域包括股骨（（Femoral Bone，FB）、脛骨（Tibial Bone，TB）及髕骨（Patellar Bone，PB），FC、TC及PC分別覆FB、TB及PB，並連接膝關節。
在本發明的一些實施例中，為了捕獲寬範圍和薄的軟骨結構以進一步評估膝關節炎，通常以大尺寸（數百萬個體素）和高解析度掃描磁共振資料，例如，圖2a、圖2b及圖2c中的每個圖為從公共骨關節炎計畫（Osteoarthritis Initiative，OAI）資料庫的三維磁共振膝關節資料，解析度為0.365mm×0.365mm×0.7mm，像素尺寸為384×384×160；上述圖2a、圖2b及圖2c所示的具有高像素解析度的三維磁共振資料可以顯示詳細的大器官形狀、結構和強度資訊， 具有較大像素尺寸的三維磁共振膝關節資料有利於捕獲膝關節區域中所有關鍵的軟骨和半月板組織，便於基於三維的處理和臨床度量分析。
在本發明的一些實施例中，可對待處理圖像進行第一分割處理，以便定位待處理圖像中的目標（例如膝蓋區域的各個軟骨）。在對待處理圖像進行第一分割處理之前，可以對待處理圖像進行預處理，例如統一待處理圖像的物理空間（Spacing）解析度、像素值的取值範圍等。通過這種方式，可實現統一圖像尺寸，加速網路收斂等效果。本發明對預處理的具體內容及處理方式不作限制。
在本發明的一些實施例中，可在步驟S11中對三維的待處理圖像進行第一分割（也即粗略分割）處理，確定出待處理圖像中由三維邊界框所限定的感興趣區域（ROI）的位置，進而根據三維邊界框從待處理圖像中截取出至少一個目標圖像區域。回應於從待處理圖像中截取出多個目標圖像區域的情況，各個目標圖像區域可對應於不同類別的目標，例如在目標為膝蓋軟骨的情況下，各個目標圖像區域可分別對應於股骨軟骨、脛骨軟骨及髕骨軟骨的圖像區域。本發明對目標的具體類別不作限制。
在本發明的一些實施例中，可通過第一分割網路對待處理圖像進行第一分割，第一分割網路可例如採用VNet的編碼-解碼結構（也即多級下採樣+多級上採樣），或採用快速的區域卷積神經網路（Fast Region-based Convolutional Neural Network，Fast RCNN）等，以便檢測出三維邊界框，本發明對第一分割網路的網路結構不作限制。
在本發明的一些實施例中，在得到待處理圖像中的至少一個目標圖像區域後，可在步驟S12中對至少一個目標圖像區域進行第二分割（也即精細分割）處理，得到至少一個目標圖像區域中目標的第一分割結果。可通過與各個目標對應的第二分割網路分別對各個目標圖像區域進行分割，得到各個目標圖像區域的第一分割結果。例如，在目標為膝蓋軟骨（包括股骨軟骨、脛骨軟骨及髕骨軟骨）的情況下，可以設置與股骨軟骨、脛骨軟骨及髕骨軟骨分別對應的三個第二分割網路。各個第二分割網路可例如採用VNet的編碼-解碼結構，本發明對各個第二分割網路的具體網路結構不作限制。
在本發明的一些實施例中，在確定出多個第一分割結果的情況下，可以在步驟S13中對各個目標圖像區域的第一分割結果進行融合，得到融合結果；再根據待處理圖像對融合結果進行第三分割處理，得到待處理圖像中目標的第二分割結果。這樣，由於可在多個目標融合的整體結果的基礎上進一步分割處理，因而可以提高分割精度。
根據本發明實施例的圖像處理方法，能夠對待處理圖像進行分割以確定圖像中的目標圖像區域，對目標圖像區域再次分割以確定目標的第一分割結果，對第一分割結果融合並分割以確定待處理圖像第二分割結果，從而通過多次分割提高待處理圖像中目標的分割結果的準確性。
圖3為本發明實施例提供的實現圖像處理方法的網路架構示意圖，如圖3所示，以待處理圖像為3D的膝蓋圖像31為例對本發明的應用場景進行說明。3D的膝蓋圖像31為上述待處理圖像，可將3D的膝蓋圖像31輸入至圖像處理裝置30中，圖像處理裝置30可以按照上述實施例記載的圖像處理方法對3D的膝蓋圖像31進行處理，生成並輸出膝蓋軟骨分割結果35。
在本發明的一些實施例中，可以將3D的膝蓋圖像31輸入第一分割網路32中進行粗略軟骨分割，得到各個膝蓋軟骨的感興趣區域ROI的三維邊界框，並從3D的膝蓋圖像31中截取出各個膝蓋軟骨的圖像區域，包括FC、TC及PC的圖像區域。
本發明的一些實施例中，可將各個膝蓋軟骨的圖像區域分別輸入對應的第二分割網路33中進行精細軟骨分割，得到各個膝蓋軟骨的精細分割結果，也即各個膝蓋軟骨的精確位置。然後，將各個膝蓋軟骨的精細分割結果進行融合疊加，將融合結果及膝蓋圖像均輸入融合分割網路34中處理，得到最終的膝蓋軟骨分割結果35；這裡，融合分割網路34用於根據3D的膝蓋圖像對融合結果進行第三分割處理。可見，由於可在股骨軟骨、脛骨軟骨及髕骨軟骨的分割結果融合的基礎上，基於膝蓋圖像進一步分割處理，因而能夠實現膝蓋軟骨的準確分割。
在本發明的一些實施例中，可在步驟S11中對待處理圖像進行粗略分割。步驟S11可包括： 對所述待處理圖像進行特徵提取，得到所述待處理圖像的特徵圖； 對所述特徵圖進行分割，確定所述特徵圖中的目標的邊界框； 根據所述特徵圖中的目標的邊界框，從所述待處理圖像中確定出至少一個目標圖像區域。
舉例來說，待處理圖像可以為高解析度的三維圖像資料。可通過第一分割網路的卷積層或下採樣層提取待處理圖像的特徵，以降低待處理圖像的解析度，減少處理的資料量。然後，可通過第一分割網路的第一分割子網路對得到的特徵圖進行分割，得到特徵圖中的多個目標的邊界框，該第一分割子網路可包括多個下採樣層和多個上採樣層（或多個卷積層-反卷積層）、多個殘差層、啟動層、歸一化層等。本發明對第一分割子網路的具體結構不作限制。
在本發明的一些實施例中，可以根據各個目標的邊界框，可從原始的待處理圖像中分割出各個目標在待處理圖像中的圖像區域，得到至少一個目標圖像區域。
圖4為本發明實施例提供的第一分割處理的示意圖，如圖4所示，可通過第一分割網路的卷積層或下採樣層（未示出），對高解析度的待處理圖像41進行特徵提取，得到特徵圖42。例如待處理圖像41的解析度為0.365mm×0.365mm×0.7mm，像素尺寸為384×384×160，經處理後，特徵圖42的解析度為0.73mm×0.73mm×0.7mm，像素尺寸為192×192×160。這樣，可減少處理的資料量。
在本發明的一些實施例中，可通過第一分割子網路43對特徵圖進行分割，該第一分割子網路43為編碼-解碼結構，編碼部分包括3個殘差塊及下採樣層，以獲得不同規模的特徵圖，例如獲得的各特徵圖的通道數為8、16、32；解碼部分包括3個殘差塊及上採樣層，以恢復特徵圖的規模到原始輸入的大小，例如恢復到通道數為4的特徵圖。其中，殘差塊可包括多個卷積層、全連接層等，殘差塊中卷積層的濾波器（filter）尺寸為3，步長為1，補零為1；下採樣層包括濾波器尺寸為2，步長為2的卷積層；上採樣層包括濾波器尺寸為2，步長為2的反卷積層。本發明對殘差塊的結構，上採樣層和下採樣層的數量及濾波器參數不作限制。
在本發明的一些實施例中，可將通道數為4的特徵圖42輸入編碼部分的第一個殘差塊中，將輸出的殘差結果輸入下採樣層中，得到通道數為8的特徵圖；再將該通道數為8的特徵圖輸入下一個殘差塊中，輸出的殘差結果輸入下一個下採樣層中，得到通道數為16的特徵圖，以此類推，可得到通道數為32的特徵圖。然後，將通道數為32的特徵圖輸入解碼部分的第一個殘差塊中，將輸出的殘差結果輸入上採樣層中，得到通道數為16的特徵圖，以此類推，可得到通道數為4的特徵圖。
在本發明的一些實施例中，可通過第一分割子網路43的啟動層（PReLU）和批量歸一化層對該通道數為4的特徵圖進行啟動及批歸一化，輸出歸一化後的特徵圖44，並可確定出特徵圖44中多個目標的邊界框，參見圖4中的三個虛線框。這些邊界框所限定的區域即為目標的ROI。
在本發明的一些實施例中，根據多個目標的邊界框，可對待處理圖像41進行截取，得到邊界框所限定的目標圖像區域（參見圖4中的FC圖像區域451、TC圖像區域452及PC圖像區域453）。各個目標圖像區域的解析度與待處理圖像41的解析度相同，從而避免損失圖像中的資訊。
可以看出，通過圖4所示的圖像分割方式，可確定出待處理圖像中的目標圖像區域，實現待處理圖像的粗略分割。
在本發明的一些實施例中，可在步驟S12中分別對待處理圖像的各個目標圖像區域進行精細分割。其中，步驟S12可包括： 對至少一個目標圖像區域進行特徵提取，得到所述至少一個目標圖像區域的第一特徵圖； 對所述第一特徵圖進行N級下採樣，得到N級的第二特徵圖，N為大於或等於1的整數； 對第N級的第二特徵圖進行N級上採樣，得到N級的第三特徵圖； 對第N級的第三特徵圖進行分類，得到所述至少一個目標圖像區域中目標的第一分割結果。
舉例來說，在存在多個目標圖像區域的情況下，可以根據各個目標圖像區域對應的目標類別，通過對應的各個第二分割網路分別對各個目標圖像區域進行精細分割。例如，在目標為膝蓋軟骨的情況下，可設置與股骨軟骨、脛骨軟骨及髕骨軟骨分別對應的三個第二分割網路。
這樣，對於任意一個目標圖像區域，可通過相應的第二分割網路的卷積層或下採樣層提取目標圖像區域的特徵，以降低目標圖像區域的解析度，減少處理的資料量。經處理後，得到該目標圖像區域的第一特徵圖，例如通道數為4的特徵圖。
在本發明的一些實施例中，可通過相應的第二分割網路的N個下採樣層（N為大於或等於1的整數）對第一特徵圖進行N級下採樣，依次降低特徵圖的規模，得到各級的第二特徵圖，例如通道數為8、16、32的三級第二特徵圖；通過N個上採樣層對第N級的第二特徵圖進行N級上採樣，依次還原特徵圖的規模，得到各級的第三特徵圖，例如通道數為16、8、4的三級第三特徵圖。
在本發明的一些實施例中，可通過第二分割網路的sigmoid層對第N級的第三特徵圖進行啟動，將第N級的第三特徵圖收縮到單通道，實現對該第N級的第三特徵圖中屬於目標的位置（例如稱為前景區域）與不屬於目標的位置（例如稱為背景區域）的分類，例如前景區域中特徵點的值接近1，背景區域中特徵點的值接近0。這樣，可得到該目標圖像區域中目標的第一分割結果。
通過這種方式，對各個目標圖像區域分別進行處理，可得到各個目標圖像區域的第一分割結果，實現各個目標圖像區域的精細分割。
圖5為本發明實施例中第一分割處理後的後續分割過程的示意圖，如圖5所示，可設置有FC的第二分割網路511、TC的第二分割網路512以及PC的第二分割網路513。通過各個第二分割網路的卷積層或下採樣層（未示出），對高解析度的各個目標圖像區域（也即圖5中的FC圖像區域451、TC圖像區域452及PC圖像區域453）分別進行特徵提取，得到各個第一特徵圖，也即FC、TC及PC的第一特徵圖。然後，將各個第一特徵圖分別輸入對應的第二分割網路的編碼-解碼結構中進行分割。
在本發明實施例中，各個第二分割網路的編碼部分包括2個殘差塊及下採樣層，以獲得不同規模的第二特徵圖，例如獲得的各第二特徵圖的通道數為8、16；各個第二分割網路的解碼部分包括2個殘差塊及上採樣層，以恢復特徵圖的規模到原始輸入的大小，例如恢復到通道數為4的第三特徵圖。其中，殘差塊可包括多個卷積層、全連接層等，殘差塊中卷積層的濾波器（filter）尺寸為3，步長為1，補零為1；下採樣層包括濾波器尺寸為2，步長為2的卷積層；上採樣層包括濾波器尺寸為2，步長為2的反卷積層。這樣，能夠平衡神經元的感受野，並降低圖形處理器（Graphics Processing Unit，GPU）的記憶體消耗，例如，可以基於記憶體資源有限（例如為12GB）的GPU實現本發明實施例的圖像處理方法。
應當理解，本領域技術人員可根據實際情況設定第二分割網路的編碼-解碼結構，本發明對第二分割網路的殘差塊的結構，上採樣層和下採樣層的數量及濾波器參數不作限制。
在本發明的一些實施例中，可將通道數為4的第一特徵圖輸入編碼部分的第一個殘差塊中，將輸出的殘差結果輸入下採樣層中，得到通道數為8的第一級第二特徵圖；再將該通道數為8的特徵圖輸入下一個殘差塊中，輸出的殘差結果輸入下一個下採樣層中，得到通道數為16的第二級第二特徵圖。然後，將通道數為16的第二級第二特徵圖輸入解碼部分的第一個殘差塊中，將輸出的殘差結果輸入上採樣層中，得到通道數為8的第一級第三特徵圖；再將該通道數為8的特徵圖輸入下一個殘差塊中，輸出的殘差結果輸入下一個上採樣層中，得到通道數為4的第二級第三特徵圖。
在本發明的一些實施例中，可通過各個第二分割網路的sigmoid層將通道數為4的第二級第三特徵圖收縮到單通道，從而得到各個目標圖像區域中目標的第一分割結果，也即圖5中的FC分割結果521、TC分割結果522及PC分割結果523。
在本發明的一些實施例中，對第N級的第二特徵圖進行N級上採樣，得到N級的第三特徵圖的步驟可包括： 在i依次取1至N的情況下，基於注意力機制，將第i級上採樣得到的第三特徵圖與第N-i級的第二特徵圖連接（即跨越連接），得到第i級的第三特徵圖，N為下採樣和上採樣的級數，i為整數。
舉例來說，為了提高分割處理的效果，可採用注意力機制來擴展特徵圖之間的跨越連接，更好地實現特徵圖之間的資訊傳遞。對於第i級上採樣得到的第三特徵圖（1≤i≤N），可將其與對應的第N-i級的第二特徵圖進行連接，將連接結果作為第i級的第三特徵圖；在i=N時，可將第N級上採樣得到的特徵圖與第一特徵圖連接。本發明對N的取值不作限制。
圖6為本發明實施例提供的特徵圖連接的一個示意圖，如圖6所示，在下採樣和上採樣的級數N=5的情況下，可對第一特徵圖61（通道數為4）進行下採樣，得到第1級的第二特徵圖621（通道數為8）；經過各級下採樣，可得到第5級的第二特徵圖622（通道數為128）。
在本發明的一些實施例中，可對第二特徵圖622進行5級上採樣，得到各個第三特徵圖。在上採樣的級數i=1時，第1級上採樣得到的第三特徵圖可與第4級的第二特徵圖（通道數為64）連接，得到第1級的第三特徵圖631（通道數為64）；類似地，i=2時，第2級上採樣得到的第三特徵圖可與第3級的第二特徵圖（通道數為32）連接；i=3時，第3級上採樣得到的第三特徵圖可與第2級的第二特徵圖（通道數為16）連接；i=4時，第4級上採樣得到的第三特徵圖可與第1級的第二特徵圖（通道數為8）連接；i=5時，第5級上採樣得到的第三特徵圖可與第一特徵圖（通道數為4）連接，得到第5級的第三特徵圖632。
如圖5所示，在下採樣和上採樣的級數N=2的情況下，第一級上採樣得到的第三特徵圖（通道數為8）可與通道數為8的第一級第二特徵圖連接；第二級上採樣得到第三特徵圖（通道數為4）可與通道數為4的第一特徵圖連接。
圖7為本發明實施例提供的特徵圖連接的另一個示意圖，如圖7所示，對於任意一個第二分割網路，該第二分割網路的第二級第二特徵圖（通道數為16）表示為Ih ，對該第二特徵圖進行第一級上採樣得到的第三特徵圖（通道數為8）表示為
Figure 02_image001
，第一級的第二特徵圖（通道數為8）表示為Il ，可基於注意力機制對第一級上採樣得到的第三特徵圖
Figure 02_image001
與第一級的第二特徵圖Il 通過
Figure 02_image003
⊙
Figure 02_image005
進行連接（對應圖7中的虛線圓圈部分），得到連接後的第一級的第三特徵圖。其中，
Figure 02_image007
表示沿通道維度的連接，
Figure 02_image009
表示第一級第二特徵圖Il 的注意力權重；⊙可表示逐個元素相乘。其中，
Figure 02_image009
可以通過公式（1）表示：
Figure 02_image011
（1）
在公式（1）中，
Figure 02_image013
和
Figure 02_image015
分別表示對Il 和
Figure 02_image001
進行卷積，例如卷積的濾波器尺寸為1，步長為1；
Figure 02_image017
表示對卷積後的求和結果進行啟動，啟動函數例如為ReLU啟動函數；m 表示對啟動結果進行卷積，例如卷積的濾波器尺寸為1，步長為1。
這樣，本發明實施例，通過使用注意力機制可以更好地實現特徵圖之間的資訊傳遞，提高目標圖像區域的分割效果，並且可以利用多解析度上下文來捕獲精細細節。
在本發明的一些實施例中，步驟S13可包括：對各個第一分割結果進行融合，得到融合結果；根據所述待處理圖像，對所述融合結果進行第三分割，得到所述待處理圖像的第二分割結果。
舉例來說，在得到各個目標圖像區域中目標的第一分割結果後，可對各個第一分割結果進行融合處理，得到融合結果；再將融合結果與原始的待處理圖像輸入到融合分割網路中進行進一步的分割處理，從而從完整的圖像上完善分割效果。
如圖5所示，可對股骨軟骨FC分割結果521、脛骨軟骨TC分割結果522及髕骨軟骨PC分割結果523進行融合，得到融合結果53。該融合結果53已排除背景通道，僅保留三種軟骨的通道。
如圖5所示，可設計有融合分割網路54，該融合分割網路54為編碼-解碼結構的神經網路。可將融合結果53（其包括三個軟骨通道）和原始的待處理圖像41（其包括一個通道）作為四通道的圖像資料，輸入融合分割網路54中處理。
在本發明的一些實施例中，融合分割網路54的編碼部分包括1個殘差塊及下採樣層，解碼部分包括1個殘差塊及上採樣層。其中，殘差塊可包括多個卷積層、全連接層等，殘差塊中卷積層的濾波器（filter）尺寸為3，步長為1，補零為1；下採樣層包括濾波器尺寸為2，步長為2的卷積層；上採樣層包括濾波器尺寸為2，步長為2的反卷積層。本發明對殘差塊的結構，上採樣層和下採樣層的濾波器參數，以及殘差塊、上採樣層和下採樣層的數量均不作限制。
在本發明的一些實施例中，可將四通道的圖像資料輸入編碼部分的殘差塊中，將輸出的殘差結果輸入下採樣層中，得到通道數為8的特徵圖；將通道數為8的特徵圖輸入解碼部分的殘差塊中，將輸出的殘差結果輸入上採樣層中，得到通道數為4特徵圖；然後，對通道數為4特徵圖進行啟動，得到單通道的特徵圖，作為最終的第二分割結果55。
通過這種方式，能夠進一步從完整的軟骨結構上完善分割效果。
在本發明的一些實施例中，本發明實施例的圖像處理方法可以通過神經網路實現，神經網路至少包括第一分割網路、至少一個第二分割網路以及融合分割網路。該在應用該神經網路之前，可對該神經網路進行訓練。
其中，對該神經網路進行訓練的方法可以包括：根據預設的訓練集訓練所述神經網路，所述訓練集包括多個樣本圖像以及各樣本圖像的標注分割結果。
舉例來說，可預先設定訓練集，來訓練根據本發明實施例的神經網路。該訓練集中可包括多個樣本圖像（也即三維的膝蓋圖像），並標注出樣本圖像中各個膝蓋軟骨（也即FC、TC及PC）的位置，作為各個樣本圖像的標注分割結果。
在訓練過程中，可將樣本圖像輸入神經網路中處理，輸出樣本圖像的第二分割結果；並根據樣本圖像的第二分割結果及標注分割結果確定神經網路的網路損失；進而根據網路損失調整神經網路的網路參數。經多次調整後，在滿足預設條件（例如網路收斂）的情況下，可得到訓練後的神經網路。
可以看出，本發明實施例可以根據樣本圖像和樣本圖像的標注分割結果訓練用於圖像分割的神經網路。
在本發明的一些實施例中，根據預設的訓練集訓練所述神經網路的步驟可包括： 將樣本圖像輸入所述第一分割網路中，輸出所述樣本圖像中各目標的各樣本圖像區域； 將各個樣本圖像區域分別輸入與各目標對應的第二分割網路中，輸出各個樣本圖像區域中目標的第一分割結果； 將各個樣本圖像區域中目標的第一分割結果以及所述樣本圖像輸入融合分割網路中，輸出所述樣本圖像中目標的第二分割結果； 根據多個樣本圖像的第二分割結果以及標注分割結果，確定所述第一分割網路、所述第二分割網路及所述融合分割網路的網路損失； 根據所述網路損失，調整所述神經網路的網路參數。
舉例來說，可將樣本圖像輸入第一分割網路中進行粗略分割，得到樣本圖像中目標的樣本圖像區域，也即FC、TC及PC的圖像區域；將各個樣本圖像區域分別輸入與各目標對應的第二分割網路中進行精細分割，得到各個樣本圖像區域中目標的第一分割結果；再將各個第一分割結果進行融合，將得到的融合結果與樣本圖像同時輸入到融合分割網路中，從完整的軟骨結構上進一步完善分割效果，得到樣本圖像中目標的第二分割結果。
在本發明的一些實施例中，可將多個樣本圖像分別輸入神經網路中處理，得到多個樣本圖像的第二分割結果。根據多個樣本圖像的第二分割結果以及標注分割結果，可確定出第一分割網路、第二分割網路及融合分割網路的網路損失。神經網路的總體損失可表示為公式（2）：
Figure 02_image019
（2）
在公式（2）中，xj 可表示第j個樣本圖像；yj 可表示第j個樣本圖像標籤；xj,c 表示第j個樣本圖像的圖像區域；y j,c 表示第j個樣本圖像的區域標籤；c 分別為f 、t 和p 中的一個；f 、t 和p 分別表示FC、TC及PC；
Figure 02_image021
表示第一分割網路的網路損失；
Figure 02_image023
表示各個第二分割網路的網路損失；
Figure 02_image025
可表示融合分割網路的網路損失。其中，各個網路的損失可以根據實際應用場景設置，在一個示例中，各個網路的網路損失可例如為多級交叉熵損失函數；在另一個示例中，在訓練上述神經網路時，還可以設置鑒別器，鑒別器用於對樣本圖像中目標的第二分割結果進行鑒別，鑒別器與融合分割網路組成對抗性網路，相應地，融合分割網路的網路損失可以包括對抗損失，對抗損失可以根據鑒別器對第二分割結果的鑒別結果得出，本公開實施例中，基於對抗損失得出神經網路的損失，可以將來自對抗性網路的訓練誤差（利用對抗損失體現）反向傳播到各個目標對應的第二分割網路，以實現形狀和空間約束的聯合學習，從而，根據神經網路的損失訓練神經網路，可以使訓練完成的神經網路，能夠基於不同軟骨之間的形狀和空間關係，準確地實現不同軟骨圖像的分割。
需要說明的是，上述記載的內容僅僅是對各級神經網路的損失函數進行了舉例性說明，本發明對此不作限制。
在本發明的一些實施例中，在得到神經網路的總體損失後，可根據網路損失調整神經網路的網路參數。經多次調整後，在滿足預設條件（例如網路收斂）的情況下，可得到訓練後的神經網路。
這樣，可以實現第一分割網路、第二分割網路以及融合分割網路的訓練過程，得到高精度的神經網路。
在本發明的一些實施例中，表1示出了5種不同方法對應的膝蓋軟骨分割的指標，其中，P2表示基於對抗性網路訓練神經網路，利用訓練的神經網路並採用圖3至圖7所示的網路框架進行圖像處理的方法；P1表示訓練神經網路時未採用對抗性網路，但利用訓練的神經網路並採用圖3至圖7所示的網路框架進行圖像處理的方法；D1表示在P2對應的方法的基礎上，用DenseASPP網路結構替換殘差塊和基於注意力機制的跨越連接的網路結構得出的圖像處理方法；D2表示在P2對應的方法的基礎上，用DenseASPP網路結構替換圖6所示的基於注意力機制的跨越連接的網路結構中最深層的網路結構得出的圖像處理方法，最深層的網路結構表示實現第1級上採樣得到的第三特徵圖可與第4級的第二特徵圖（通道數為64）連接的網路結構；C0表示由圖4所示的第一分割子網路43對圖像進行分割處理的方法，通過C0得出的分割結果為粗略的分割結果。
在表1中示出了FC、TC及PC分割的評估指標，在表1中還示出了所有軟骨分割的評估指標，這裡所有軟骨的分割處理表示將FC、TC及PC作為整體統一分割出來，並與背景部分形成區別的分割方法。
在表1中，可以用三個圖像分割評估指標來對比幾種圖像處理方法的效果，這三個圖像分割評估指標分別是戴斯相似性係數（Dice Similarity Coefficient，DSC）、體素重疊誤差（Volumetric Overlap Error，VOE）和平均表面距離（Average surface distance，ASD）；DSC指標反映了採用神經網路得出的圖像分割結果與圖像分割的標記結果（真實分割結果）的相似度；VOE和ASD反映了採用神經網路得出的圖像分割結果與圖像分割的標記結果的差異，DSC越高，則說明採用神經網路得出的圖像分割結果越接近真實情況，VOE或ASD越低，則說明說明採用神經網路得出的圖像分割結果與真實情況的差異越小。
在表1中，指標數值所在的儲存格分為兩行，其中，第一行表示多個採樣點的指標平均值，第二行表示多個採樣點的指標的標準差；例如，採用D1的方法進行分割時，FC的DSC的指標分為兩行，分別為0.862和0.024，其中，0.862表示平均值，0.024表示標準差。
通過表1可以看出，P2分別與P1、D1、D2和C0進行對比，DSC最高，VOE和ASD最低，因而，與P1、D1、D2和C0相比，採用P2得出的圖像分割結果更符合真實情況。 表1 採用不同方法得出的膝蓋軟骨分割的評估指標對比表
  FC TC PC 所有軟骨 分割結果
DSC VOE ASD DSC VOE ASD DSC VOE ASD DSC VOE ASD
D1 0.862 0.024 24.15 3.621 0.103 0.042 0.869 0.034 22.93 5.184 0.104 0.061 0.844 0.052 26.65 7.429 0.107 0.049 0.866 0.023 23.59 3.475 0.095 0.026
D2 0.832 0.025 28.64 3.618 0.131 0.059 0.879 0.038 21.38 5.972 0.088 0.055 0.861 0.040 23.69 6.027 0.091 0.051 0.851 0.023 25.94 3.393 0.111 0.036
C0 0.814 0.029 31.30 4.155 0.205 0.095 0.806 0.033 32.42 4.577 0.199 0.055 0.771 0.132 35.74 14.56 0.350 0.129 0.809 0.031 31.99 4.350 0.213 0.095
P1 0.868 0.023 23.19 3.514 0.108 0.067 0.854 0.029 25.17 4.173 0.126 0.059 0.824 0.104 28.78 12.45 0.201 0.439 0.862 0.023 24.24 3.457 0.110 0.048
P2 0.900 0.037 18.82 6.006 0.074 0.041 0.889 0.038 19.81 6.072 0.082 0.051 0.880 0.043 21.19 6.594 0.075 0.038 0.893 0.034 19.19 5.434 0.073 0.034
根據本發明實施例的圖像處理方法，通過粗略分割以確定待處理圖像中的目標（例如膝關節軟骨）的ROI；應用多個平行的分割主體來準確標記其各自感興趣區域中的軟骨，然後通過融合層融合三個軟骨，再通過融合學習進行端到端的分割，不需要複雜的後續處理步驟，保證使用原始高解析度感興趣區域進行精細分割，並緩解樣本不平衡的問題，從而實現了待處理圖像中的多個目標的準確分割。
在相關技術中，在膝關節炎的診斷程式中，放射科醫師需要逐片檢查三維醫學圖像以檢測關節退變的線索並手動測量相應的定量參數，然而，難以在視覺上確定膝關節炎的症狀，因為不同個體的放射照相表示可能變化很大；因而，在膝關節炎研究中，相關技術提出了膝關節軟骨和半月板分割的自動化實現方法；在第一個示例中，可以從多平面二維深度卷積神經網路（Deep Convolution Neural Network，DCNN）學習聯合目標函數，進而提出脛骨軟骨分類器；但是為了提出脛骨軟骨分類器所使用的2.5維度特徵學習策略可能不足以用於器官/組織分割的三維空間中的綜合資訊表示；在第二個示例中，可以利用骨骼和軟骨上多圖配准產生的空間先驗知識，建立軟骨分類的聯合決策；在第三個示例中，也可以使用二維完全卷積網路（FCN）訓練組織概率預測器，以驅動基於三維可變形單面網格的軟骨重建。雖然這些方法具有良好的準確性，但結果可能對形狀和空間參數的設置較為敏感。
根據本發明實施例的圖像處理方法，融合層不僅能夠融合來自多個主體的各個軟骨，還能夠通過反向傳播從融合網路到每個主體的訓練損失，該多主體學習框架可以在每個感興趣區域中獲得細細微性分割並確保不同軟骨之間的空間約束，從而實現形狀和空間約束的聯合學習，即對形狀和空間參數的設置不敏感。該方法能夠滿足GPU資源的限制，可以對具有挑戰性的資料進行流暢的訓練。此外，該方法使用注意機制優化跨越連接，可以更好地利用多解析度上下文功能來捕獲精細細節，進一步提高了精度。
本發明實施例的圖像處理方法，能夠應用於基於人工智慧的膝關節炎診斷、評估和手術計畫系統等應用場景中。例如，醫師可通過該方法有效地獲得準確的軟骨分割，以分析膝關節疾病；研究人員可通過該方法處理大量資料，用於大規模分析骨關節炎等；有助於膝蓋手術計畫。本發明對具體的應用場景不作限制。
可以理解，本發明提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
此外，本發明還提供了圖像處理裝置、電子設備、電腦可讀儲存介質、程式，上述均可用來實現本發明提供的任一種圖像處理方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖8為本發明實施例提供的圖像處理裝置的結構示意圖，如圖8所示，所述圖像處理裝置包括： 第一分割模組71，配置為對待處理圖像進行第一分割處理，確定所述待處理圖像中的至少一個目標圖像區域； 第二分割模組72，配置為對所述至少一個目標圖像區域進行第二分割處理，確定所述至少一個目標圖像區域中目標的第一分割結果； 融合及分割模組73，配置為對所述第一分割結果及所述待處理圖像進行融合及分割處理，確定所述待處理圖像中目標的第二分割結果。
在本發明的一些實施例中，所述融合及分割模組包括：融合子模組，配置為對各個第一分割結果進行融合，得到融合結果；分割子模組，配置為根據所述待處理圖像，對所述融合結果進行第三分割處理，得到所述待處理圖像的第二分割結果。
在本發明的一些實施例中，所述第一分割模組包括：第一提取子模組，配置為對所述待處理圖像進行特徵提取，得到所述待處理圖像的特徵圖；第一分割子模組，配置為對所述特徵圖進行分割，確定所述特徵圖中的目標的邊界框；確定子模組，配置為根據所述特徵圖中的目標的邊界框，從所述待處理圖像中確定出至少一個目標圖像區域。
在本發明的一些實施例中，所述第二分割模組包括：第二提取子模組，配置為對至少一個目標圖像區域進行特徵提取，得到所述至少一個目標圖像區域的第一特徵圖；下採樣子模組，配置為對所述第一特徵圖進行N級下採樣，得到N級的第二特徵圖，N為大於或等於1的整數；上採樣子模組，配置為對第N級的第二特徵圖進行N級上採樣，得到N級的第三特徵圖；分類子模組，配置為對第N級的第三特徵圖進行分類，得到所述至少一個目標圖像區域中目標的第一分割結果。
在本發明的一些實施例中，所述上採樣子模組包括：連接子模組，配置為在i依次取1至N的情況下，基於注意力機制，將第i級上採樣得到的第三特徵圖與第N-i級的第二特徵圖連接，得到第i級的第三特徵圖，N為下採樣和上採樣的級數，i為整數。
在本發明的一些實施例中，所述待處理圖像包括三維的膝蓋圖像，所述第二分割結果包括膝蓋軟骨的分割結果，所述膝蓋軟骨包括股骨軟骨、脛骨軟骨及髕骨軟骨中的至少一種。
在本發明的一些實施例中，所述裝置通過神經網路實現，所述裝置還包括：訓練模組，配置為根據預設的訓練集訓練所述神經網路，所述訓練集包括多個樣本圖像以及各樣本圖像的標注分割結果。
在本發明的一些實施例中，所述神經網路包括第一分割網路、至少一個第二分割網路以及融合分割網路，所述訓練模組包括：區域確定子模組，配置為將樣本圖像輸入所述第一分割網路中，輸出所述樣本圖像中各目標的各樣本圖像區域；第二分割子模組，配置為將各個樣本圖像區域分別輸入與各目標對應的第二分割網路中，輸出各個樣本圖像區域中目標的第一分割結果；第三分割子模組，配置為將各個樣本圖像區域中目標的第一分割結果以及所述樣本圖像輸入融合分割網路中，輸出所述樣本圖像中目標的第二分割結果；損失確定子模組，配置為根據多個樣本圖像的第二分割結果以及標注分割結果，確定所述第一分割網路、所述第二分割網路及所述融合分割網路的網路損失；參數調整子模組，配置為根據所述網路損失，調整所述神經網路的網路參數。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本發明實施例還提出一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述任意一種圖像處理方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本發明實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行上述任意一種圖像處理方法。
電子設備可以為終端、伺服器或其它形態的設備。
本發明實施例還提出一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行上述任意一種圖像處理方法。
圖9為本發明實施例的一個電子設備的結構示意圖，如圖9所示，電子設備800可以是行動電話、電腦、數位廣播終端、消息收發設備、遊戲控制台、平板設備、醫療設備、健身設備、個人數位助理等終端。
參照圖9，電子設備800可以包括以下一個或多個組件：第一處理組件802，第一記憶體804，第一電源組件806，多媒體組件808，音頻組件810，第一輸入/輸出（Input Output，I/ O）的介面812，感測器組件814，以及通信組件816。
第一處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，資料通信，相機操作和記錄操作相關聯的操作。第一處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，第一處理組件802可以包括一個或多個模組，便於第一處理組件802和其他組件之間的交互。例如，第一處理組件802可以包括多媒體模組，以方便多媒體組件808和第一處理組件802之間的交互。
第一記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人資料，電話簿資料，消息，圖片，視頻等。第一記憶體804可以由任何類型的易失性或非易失性存放裝置或者它們的組合實現，如靜態隨機存取記憶體（Static Random-Access Memory，SRAM），電可擦除可程式設計唯讀記憶體（Electrically Erasable Programmable Read Only Memory，EEPROM），可擦除可程式設計唯讀記憶體（Electrical Programmable Read Only Memory ，EPROM），可程式設計唯讀記憶體（Programmable Read-Only Memory，PROM），唯讀記憶體（Read-Only Memory，ROM），磁記憶體，快閃記憶體，磁片或光碟。
第一電源組件806為電子設備800的各種組件提供電力。第一電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器（Liquid Crystal Display，LCD）和觸摸面板（Touch Pad，TP）。如果螢幕包括觸摸面板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝像頭和/或後置攝像頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝像頭和/或後置攝像頭可以接收外部的多媒體資料。每個前置攝像頭和後置攝像頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號。例如，音頻組件810包括一個麥克風（MIC），當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在第一記憶體804或經由通信組件816發送。在一些實施例中，音頻組件810還包括一個揚聲器，用於輸出音頻信號。
第一輸入/輸出介面812為第一處理組件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如互補金屬氧化物半導體（Complementary Metal Oxide Semiconductor，CMOS）或電荷耦合器件（Charge Coupled Device，CCD）圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，所述通信組件816還包括近場通信（Near Field Communication，NFC）模組，以促進短程通信。例如，在NFC模組可基於射頻識別（Radio Frequency Identification，RFID）技術，紅外資料協會（Infrared Data Association，IrDA）技術，超寬頻（Ultra Wide Band，UWB）技術，藍牙（Bluetooth，BT）技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路（Application Specific Integrated Circuit，ASIC）、數位訊號處理器（Digital Signal Processor，DSP）、數位信號處理設備（Digital Signal Process，DSPD）、可程式設計邏輯器件（Programmable Logic Device，PLD）、現場可程式設計閘陣列（Field Programmable Gate Array，FPGA）、控制器、微控制器、微處理器或其他電子組件實現，用於執行上述任意一種圖像處理方法。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的第一記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述任意一種圖像處理方法。
圖10為本發明實施例的另一個電子設備的結構示意圖，如圖10所示，電子設備1900可以被提供為一伺服器。參照圖10，電子設備1900包括第二處理組件1922，其進一步包括一個或多個處理器，以及由第二記憶體1932所代表的記憶體資源，用於儲存可由第二處理組件1922的執行的指令，例如應用程式。第二記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，第二處理組件1922被配置為執行指令，以執行上述任意一種圖像處理方法。
電子設備1900還可以包括一個第二電源組件1926被配置為執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置為將電子設備1900連接到網路，和第二輸入輸出（I/O）介面1958。電子設備1900可以操作基於儲存在第二記憶體1932的作業系統，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或類似。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的第二記憶體1932，上述電腦程式指令可由電子設備1900的第二處理組件1922執行以完成上述方法。
本發明實施例可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是但不限於電存放裝置、磁存放裝置、光存放裝置、電磁存放裝置、半導體存放裝置或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子（非窮舉的列表）包括：可擕式電腦盤、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可擦式可程式設計唯讀記憶體（EPROM或快閃記憶體）、靜態隨機存取記憶體（SRAM）、可擕式壓縮磁碟唯讀記憶體（CD-ROM）、數位多功能盤（Digital Video Disc，DVD）、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波（例如，通過光纖電纜的光脈衝）、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本發明實施例操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括物件導向的程式設計語言—諸如Smalltalk、C++等，以及常規的過程式程式設計語言—諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路—包括局域網（Local Area Network，LAN）或廣域網路（Wide Area Network，WAN）—連接到使用者電腦，或者，可以連接到外部電腦（例如利用網際網路服務提供者來通過網際網路連接）。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、FPGA或可程式設計邏輯陣列（Programmable Logic Array，PLA），該電子電路可以執行電腦可讀程式指令，從而實現本發明實施例的各個方面。
這裡參照根據本發明實施例的方法、裝置（系統）和電腦程式產品的流程圖和/或框圖描述了本發明實施例的各個方面。應當理解，流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作。
附圖中的流程圖和框圖顯示了根據本發明的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方框中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方框實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中技術的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
工業實用性 本發明關於一種圖像處理方法及裝置、電子設備和儲存介質，所述方法包括：對待處理圖像進行第一分割處理，確定所述待處理圖像中的至少一個目標圖像區域；對所述至少一個目標圖像區域進行第二分割處理，確定所述至少一個目標圖像區域中目標的第一分割結果；對所述第一分割結果及所述待處理圖像進行融合及分割處理，確定所述待處理圖像中目標的第二分割結果。本發明實施例可提高圖像中目標分割的準確性。
30:圖像處理裝置 31:膝蓋圖像 32:第一分割網路 33:第二分割網路 34:融合分割網路 35:膝蓋軟骨分割結果 41:待處理圖像 42:特徵圖 43:第一分割子網路 44:特徵圖 451:FC圖像區域 452:TC圖像區域 453:PC圖像區域 511:FC的第二分割網路 512:TC的第二分割網路 513:PC的第二分割網路 521:FC分割結果PC分割結果 522:TC分割結果 523:PC分割結果 53:融合結果 54:融合分割網路 55:第二分割結果 61:第一特徵圖 621:第二特徵圖 622:第二特徵圖 631:第三特徵圖 632:第三特徵圖 71:第一分割模組 72:第二分割模組 73:融合及分割模組 800:電子設備 802:第一處理組件 804:第一記憶體 806:第一電源組件 808:多媒體組件 810:音頻組件 812:第一輸入/輸出介面 814:感測器組件 816:通信組件 820:處理器 1900:電子設備 1922:第二處理組件 1926:第二電源組件 1932:第二記憶體 1950:網路介面 1958:第二輸入輸出介面 S11,S12,S13:步驟
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明實施例的技術方案。 圖1為本發明實施例提供的圖像處理方法的流程示意圖； 圖2a為本發明實施例提供的三維核磁共振膝關節資料的矢狀切片示意圖； 圖2b為本發明實施例提供的三維核磁共振膝關節資料的冠狀切片示意圖； 圖2c為本發明實施例提供的三維核磁共振膝關節圖像的軟骨形狀示意圖； 圖3為本發明實施例提供的實現圖像處理方法的網路架構示意圖； 圖4為本發明實施例提供的第一分割處理的示意圖； 圖5為本發明實施例中第一分割處理後的後續分割過程的示意圖； 圖6為本發明實施例提供的特徵圖連接的一個示意圖； 圖7為本發明實施例提供的特徵圖連接的另一個示意圖； 圖8為本發明實施例提供的圖像處理裝置的結構示意圖； 圖9為本發明實施例提供的一種電子設備的結構示意圖； 圖10為本發明實施例提供的另一種電子設備的結構示意圖。
S11,S12,S13:步驟

Claims (10)

  1. 一種圖像處理方法，包括：對待處理圖像進行第一分割處理，確定所述待處理圖像中的至少一個目標圖像區域，其中，所述待處理圖像為經掃描獲得的三維圖像數據；對所述至少一個目標圖像區域進行第二分割處理，確定所述至少一個目標圖像區域中目標的第一分割結果；對所述第一分割結果及所述待處理圖像進行融合及分割處理，確定所述待處理圖像中目標的第二分割結果。
  2. 根據請求項1所述的方法，其中，所述對所述第一分割結果及所述待處理圖像進行融合及分割處理，確定所述待處理圖像中目標的第二分割結果，包括：對各個第一分割結果進行融合，得到融合結果；根據所述待處理圖像，對所述融合結果進行第三分割處理，得到所述待處理圖像的第二分割結果。
  3. 根據請求項1或2所述的方法，其中，所述對待處理圖像進行第一分割處理，確定所述待處理圖像中的至少一個目標圖像區域，包括：對所述待處理圖像進行特徵提取，得到所述待處理圖像的特徵圖；對所述特徵圖進行分割，確定所述特徵圖中的目標的邊界框；根據所述特徵圖中的目標的邊界框，從所述待處理圖像中確定出至少一個目標圖像區域。
  4. 根據請求項1或2所述的方法，其中，所述對所述至少一個目標圖像區域分別進行第二分割處理，確定所述至少一個目標圖像區域中目標的第一分割結果，包括：對所述至少一個目標圖像區域進行特徵提取，得到所述至少一個目標圖像區域的第一特徵圖；對所述第一特徵圖進行N級下採樣，得到N級的第二特徵圖，N為大於或等於1的整數；對第N級的第二特徵圖進行N級上採樣，得到N級的第三特徵圖；對第N級的第三特徵圖進行分類，得到所述至少一個目標圖像區域中目標的第一分割結果。
  5. 根據請求項4中所述的方法，其中，所述對第N級的第二特徵圖進行N級上採樣，得到N級的第三特徵圖，包括：在i依次取1至N的情況下，基於注意力機制，將第i級上採樣得到的第三特徵圖與第N-i級的第二特徵圖連接，得到第i級的第三特徵圖，N為下採樣和上採樣的級數，i為整數。
  6. 根據請求項1或2所述的方法，其中，所述待處理圖像包括三維的膝蓋圖像，所述第二分割結果包括膝蓋軟骨的分割結果，所述膝蓋軟骨包括股骨軟骨、脛骨軟骨及髕骨軟骨中的至少一種。
  7. 根據請求項1或2所述的方法，其中，所述 方法通過神經網路實現，所述方法還包括：根據預設的訓練集訓練所述神經網路，所述訓練集包括多個樣本圖像以及各樣本圖像的標注分割結果。
  8. 根據請求項7所述的方法，其中，所述神經網路包括第一分割網路、至少一個第二分割網路以及融合分割網路；所述根據預設的訓練集訓練所述神經網路，包括：將樣本圖像輸入所述第一分割網路中，輸出所述樣本圖像中各目標的各樣本圖像區域；將所述各個樣本圖像區域分別輸入與各目標對應的第二分割網路中，輸出各個樣本圖像區域中目標的第一分割結果；將所述各個樣本圖像區域中目標的第一分割結果以及所述樣本圖像輸入融合分割網路中，輸出所述樣本圖像中目標的第二分割結果；根據所述多個樣本圖像的第二分割結果以及標注分割結果，確定所述第一分割網路、所述第二分割網路及所述融合分割網路的網路損失；根據所述網路損失，調整所述神經網路的網路參數。
  9. 一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行請求項1至8中任意一項所述的方法。
  10. 一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至8中任意一項所述的方法。
TW109131394A 2019-09-20 2020-09-11 圖像處理方法、電子設備和電腦可讀儲存介質 TWI755853B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910895227.X 2019-09-20
CN201910895227.XA CN110675409A (zh) 2019-09-20 2019-09-20 图像处理方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
TW202112299A TW202112299A (zh) 2021-04-01
TWI755853B true TWI755853B (zh) 2022-02-21

Family

ID=69077288

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109131394A TWI755853B (zh) 2019-09-20 2020-09-11 圖像處理方法、電子設備和電腦可讀儲存介質

Country Status (5)

Country Link
US (1) US20220198775A1 (zh)
JP (1) JP2022533404A (zh)
CN (1) CN110675409A (zh)
TW (1) TWI755853B (zh)
WO (1) WO2021051965A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675409A (zh) * 2019-09-20 2020-01-10 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111275721B (zh) * 2020-02-14 2021-06-08 推想医疗科技股份有限公司 一种图像分割方法、装置、电子设备及存储介质
CN111311609B (zh) * 2020-02-14 2021-07-02 推想医疗科技股份有限公司 一种图像分割方法、装置、电子设备及存储介质
CN111414963B (zh) * 2020-03-19 2024-05-17 北京市商汤科技开发有限公司 图像处理方法、装置、设备和存储介质
CN111445493B (zh) * 2020-03-27 2024-04-12 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111583264B (zh) * 2020-05-06 2024-02-27 上海联影智能医疗科技有限公司 图像分割网络的训练方法、图像分割方法和存储介质
CN111739025B (zh) * 2020-05-08 2024-03-19 北京迈格威科技有限公司 一种图像处理方法、装置、终端及存储介质
CN111583283B (zh) * 2020-05-20 2023-06-20 抖音视界有限公司 图像分割方法、装置、电子设备及介质
CN113515981A (zh) * 2020-05-22 2021-10-19 阿里巴巴集团控股有限公司 识别方法、装置、设备和存储介质
CN112184635A (zh) * 2020-09-10 2021-01-05 上海商汤智能科技有限公司 目标检测方法、装置、存储介质及设备
CN115439797A (zh) * 2020-10-29 2022-12-06 上海高仙自动化科技发展有限公司 机器人的巡检清洁方法、装置、机器人和存储介质
CN112561868B (zh) * 2020-12-09 2021-12-07 深圳大学 一种基于多视角级联深度学习网络的脑血管分割方法
KR20220161839A (ko) * 2021-05-31 2022-12-07 한국전자기술연구원 Gan 구조를 활용한 영상 영역 분할 방법 및 시스템
CN113538394B (zh) * 2021-07-26 2023-08-08 泰康保险集团股份有限公司 一种图像分割方法、装置、电子设备及存储介质
CN113642233B (zh) * 2021-07-29 2023-12-29 太原理工大学 一种通信机制优化的群体智能协同方法
CN115934306A (zh) * 2021-08-08 2023-04-07 联发科技股份有限公司 一种电子设备、生成输出数据的方法及机器可读存储介质
CN113837980A (zh) * 2021-10-12 2021-12-24 Oppo广东移动通信有限公司 分辨率的调整方法、装置、电子设备及存储介质
CN113910269B (zh) * 2021-10-27 2022-12-20 因格(苏州)智能技术有限公司 一种机器人总控系统
CN117115458A (zh) * 2023-04-24 2023-11-24 苏州梅曼智能科技有限公司 一种基于对抗互补UNet的工业图像特征提取方法
CN116934708A (zh) * 2023-07-20 2023-10-24 北京长木谷医疗科技股份有限公司 胫骨平台内外侧低点计算方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201347731A (zh) * 2012-05-31 2013-12-01 Univ Nat Yunlin Sci & Tech 結合ｉｃｐ及ｋｄ－ｔｒｅｅ對位演算法的磁共振膝蓋軟骨測量方法
CN108109170A (zh) * 2017-12-18 2018-06-01 上海联影医疗科技有限公司 医学图像扫描方法及医学影像设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006023354A1 (en) * 2004-08-18 2006-03-02 Virtualscopics, Llc Use of multiple pulse sequences for 3d discrimination of sub-structures of the knee
US8345976B2 (en) * 2010-08-06 2013-01-01 Sony Corporation Systems and methods for segmenting digital images
US9858675B2 (en) * 2016-02-11 2018-01-02 Adobe Systems Incorporated Object segmentation, including sky segmentation
CN106934397B (zh) * 2017-03-13 2020-09-01 北京市商汤科技开发有限公司 图像处理方法、装置及电子设备
CN109166107A (zh) * 2018-04-28 2019-01-08 北京市商汤科技开发有限公司 一种医学图像分割方法及装置、电子设备和存储介质
CN109993726B (zh) * 2019-02-21 2021-02-19 上海联影智能医疗科技有限公司 医学图像的检测方法、装置、设备和存储介质
CN109829920B (zh) * 2019-02-25 2021-06-15 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110033005A (zh) * 2019-04-08 2019-07-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110135428B (zh) * 2019-04-11 2021-06-04 北京航空航天大学 图像分割处理方法和装置
CN110197491B (zh) * 2019-05-17 2021-08-17 上海联影智能医疗科技有限公司 图像分割方法、装置、设备和存储介质
CN110675409A (zh) * 2019-09-20 2020-01-10 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201347731A (zh) * 2012-05-31 2013-12-01 Univ Nat Yunlin Sci & Tech 結合ｉｃｐ及ｋｄ－ｔｒｅｅ對位演算法的磁共振膝蓋軟骨測量方法
CN108109170A (zh) * 2017-12-18 2018-06-01 上海联影医疗科技有限公司 医学图像扫描方法及医学影像设备

Also Published As

Publication number Publication date
TW202112299A (zh) 2021-04-01
US20220198775A1 (en) 2022-06-23
CN110675409A (zh) 2020-01-10
WO2021051965A1 (zh) 2021-03-25
JP2022533404A (ja) 2022-07-22

Similar Documents

Publication Publication Date Title
TWI755853B (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
TWI770754B (zh) 神經網路訓練方法及電子設備和儲存介質
CN110111313B (zh) 基于深度学习的医学图像检测方法及相关设备
WO2022151755A1 (zh) 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序
TWI754375B (zh) 圖像處理方法、電子設備、電腦可讀儲存介質
JP7297081B2 (ja) 画像分類方法、画像分類装置、医療用電子機器、画像分類機器、及びコンピュータプログラム
CN112767329B (zh) 图像处理方法及装置、电子设备
WO2020211293A1 (zh) 一种图像分割方法及装置、电子设备和存储介质
Kou et al. Microaneurysms segmentation with a U-Net based on recurrent residual convolutional neural network
Uhm et al. Deep learning for end-to-end kidney cancer diagnosis on multi-phase abdominal computed tomography
WO2020134238A1 (zh) 活体检测方法、装置以及存储介质
JP2022535219A (ja) 画像分割方法及び装置、電子機器並びに記憶媒体
CN113222038B (zh) 基于核磁图像的乳腺病灶分类和定位方法及装置
CN114820584B (zh) 肺部病灶定位装置
WO2021259390A2 (zh) 一种冠脉钙化斑块检测方法及装置
Yang et al. AX-Unet: A deep learning framework for image segmentation to assist pancreatic tumor diagnosis
TWI765386B (zh) 神經網路訓練及圖像分割方法、電子設備和電腦儲存介質
JP2022548453A (ja) 画像分割方法及び装置、電子デバイス並びに記憶媒体
Mahmood et al. Adversarial U-net with spectral normalization for histopathology image segmentation using synthetic data
Nishikawa et al. Pathologic image classification of flat urothelial lesions using pathologic criteria-based deep learning
He et al. Automatic microscopic cell counting by use of unsupervised adversarial domain adaptation and supervised density regression
Zaman et al. Patch-wise 3D segmentation quality assessment combining reconstruction and regression networks
Cifci et al. Deep learning algorithms for diagnosis of breast cancer with maximum likelihood estimation
Yang et al. Deep learning for breast cancer classification with mammography
Schumacher et al. Weakly supervised pancreas segmentation based on class activation maps