TW202118440A - 神經網路訓練及圖像分割方法、電子設備和電腦儲存介質 - Google Patents

神經網路訓練及圖像分割方法、電子設備和電腦儲存介質 Download PDF

Info

Publication number
TW202118440A
TW202118440A TW109137157A TW109137157A TW202118440A TW 202118440 A TW202118440 A TW 202118440A TW 109137157 A TW109137157 A TW 109137157A TW 109137157 A TW109137157 A TW 109137157A TW 202118440 A TW202118440 A TW 202118440A
Authority
TW
Taiwan
Prior art keywords
image
neural network
feature
classification result
pixels
Prior art date
Application number
TW109137157A
Other languages
English (en)
Other versions
TWI765386B (zh
Inventor
趙亮
劉暢
謝帥寧
Original Assignee
大陸商上海商湯智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商上海商湯智能科技有限公司 filed Critical 大陸商上海商湯智能科技有限公司
Publication of TW202118440A publication Critical patent/TW202118440A/zh
Application granted granted Critical
Publication of TWI765386B publication Critical patent/TWI765386B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本發明關於一種神經網路訓練及圖像的分割方法、電子設備和電腦儲存介質。所述方法包括：通過第一神經網路提取第一圖像的第一特徵和第二圖像的第二特徵；通過所述第一神經網路融合所述第一特徵和所述第二特徵，得到第三特徵；通過所述第一神經網路根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第一分類結果；根據所述第一分類結果，以及所述重合的像素對應的標注資料，訓練所述第一神經網路。

Description

神經網路訓練及圖像分割方法、電子設備和電腦儲存介質
本發明關於電腦技術領域，關於但不限於一種神經網路訓練及圖像的分割方法、電子設備和電腦儲存介質。
圖像分割是把圖像分成若干個特定的、具有獨特性質的區域並提出感興趣目標的技術和過程。圖像分割是由圖像處理到圖像分析的關鍵步驟。如何提高圖像分割的準確性，是亟待解決的問題。
本發明實施例提供了一種神經網路訓練及圖像的分割方法、電子設備和電腦儲存介質。
本發明實施例提供了一種神經網路的訓練方法，包括： 通過第一神經網路提取第一圖像的第一特徵和第二圖像的第二特徵； 通過所述第一神經網路融合所述第一特徵和所述第二特徵，得到第三特徵； 通過所述第一神經網路根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第一分類結果； 根據所述第一分類結果，以及所述重合的像素對應的標注資料，訓練所述第一神經網路。
可以看出，通過第一神經網路提取第一圖像的第一特徵和第二圖像的第二特徵，通過所述第一神經網路融合所述第一特徵和所述第二特徵，得到第三特徵，通過所述第一神經網路根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第一分類結果，根據所述第一分類結果，以及所述重合的像素對應的標注資料，訓練所述第一神經網路，由此訓練得到的第一神經網路能夠結合兩個圖像對兩個圖像中重合的像素進行分割，從而能夠提高圖像分割的準確性。
在本發明的一些實施例中，所述方法還包括： 通過第二神經網路確定所述第一圖像中的像素的第二分類結果； 根據所述第二分類結果，以及所述第一圖像對應的標注資料，訓練所述第二神經網路。
如此，第二神經網路可以用於逐層確定圖像的分割結果，由此能夠克服圖像的層間解析度較低的問題，獲得更精準的分割結果。
在本發明的一些實施例中，所述方法還包括： 通過訓練後的所述第一神經網路確定所述第一圖像和所述第二圖像中重合的像素的第三分類結果； 通過訓練後的所述第二神經網路確定所述第一圖像中的像素的第四分類結果； 根據所述第三分類結果和所述第四分類結果，訓練所述第二神經網路。
如此，可以以訓練後的第一神經網路輸出的重合像素的分類結果作為監督，對第二神經網路進行訓練，由此能夠進一步提高分割精度，且能提高第二神經網路的泛化能力。
在本發明的一些實施例中，所述第一圖像與所述第二圖像為掃描圖像，所述第一圖像與所述第二圖像的掃描平面不同。
如此，由於可以採用不同掃描平面掃描得到的第一圖像和第二圖像訓練第一神經網路，由此能夠充分利用圖像中的三維空間資訊，能夠在一定程度上克服圖像的層間解析度較低的問題，從而有助於在三維空間中進行更準確的圖像分割。
在本發明的一些實施例中，所述第一圖像為橫斷位的圖像，所述第二圖像為冠狀位的圖像或者矢狀位的圖像。
由於橫斷位的圖像的解析度相對較高，因此，採用橫斷位的圖像訓練第二神經網路，能夠獲得較準確的分割結果。
在本發明的一些實施例中，所述第一圖像和所述第二圖像均為磁共振成像（Magnetic Resonance Imaging，MRI）圖像。
可見，通過採用MRI圖像，能夠反映物件的解剖細節、組織密度和腫瘤定位等組織結構資訊。
在本發明的一些實施例中，所述第一神經網路包括第一子網路、第二子網路和第三子網路，其中，所述第一子網路用於提取所述第一圖像的第一特徵，所述第二子網路用於提取第二圖像的第二特徵，所述第三子網路用於融合所述第一特徵和所述第二特徵，得到第三特徵，並根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第一分類結果。
可見，本發明實施例能夠對第一圖像和第二圖像分別進行特徵提取，且能夠結合第一圖像和第二圖像的特徵確定兩個圖像中重合的像素的分類結果，從而實現更準確的圖像分割。
在本發明的一些實施例中，所述第一子網路為去除最後兩層的U-Net。
可以看出，通過採用去除最後兩層的U-Net作為第一子網路的結構，由此第一子網路在對圖像進行特徵提取時，能夠利用圖像的不同尺度的特徵，且能夠將第一子網路在較淺層提取的特徵與第一子網路在較深層提取的特徵進行融合，從而充分整合並利用多尺度的資訊。
在本發明的一些實施例中，所述第二子網路為去除最後兩層的U-Net。
可以看出，通過採用去除最後兩層的U-Net作為第二子網路的結構，由此第二子網路在對圖像進行特徵提取時，能夠利用圖像的不同尺度的特徵，且能夠將第二子網路在較淺層提取的特徵與第二子網路在較深層提取的特徵進行融合，從而充分整合並利用多尺度的資訊。
在本發明的一些實施例中，所述第三子網路為多層感知器。
可以看出，通過採用多層感知器作為第三子網路的結構，由此有助於進一步提升第一神經網路的性能。
在本發明的一些實施例中，所述第二神經網路為U-Net。
可以看出，通過採用U-Net作為第二神經網路的結構，由此第二神經網路在對圖像進行特徵提取時，能夠利用圖像的不同尺度的特徵，且能夠將第二神經網路在較淺層提取的特徵與第二神經網路在較深層提取的特徵進行融合，從而充分整合並利用多尺度的資訊。
在本發明的一些實施例中，分類結果包括像素屬於腫瘤區域的概率和像素屬於非腫瘤區域的概率中的一項或兩項。
如此，能夠提高在圖像中進行腫瘤邊界的分割的準確度。
本發明實施例還提供了一種神經網路的訓練方法，包括： 通過第一神經網路確定第一圖像和第二圖像中重合的像素的第三分類結果； 通過第二神經網路確定所述第一圖像中的像素的第四分類結果； 根據所述第三分類結果和所述第四分類結果，訓練所述第二神經網路。
通過上述方式，可以以訓練後的第一神經網路輸出的重合像素的分類結果作為監督，對第二神經網路進行訓練，由此能夠進一步提高分割精度，且能提高第二神經網路的泛化能力。
在本發明的一些實施例中，所述通過第一神經網路確定第一圖像和第二圖像中重合的像素的第三分類結果，包括： 提取所述第一圖像的第一特徵和所述第二圖像的第二特徵； 融合所述第一特徵和所述第二特徵，得到第三特徵； 根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第三分類結果。
可以看出，本發明實施例能夠結合兩個圖像對兩個圖像中重合的像素進行分割，從而能夠提高圖像分割的準確性。
在本發明的一些實施例中，還包括： 根據所述第三分類結果，以及所述重合的像素對應的標注資料，訓練所述第一神經網路。
由此訓練得到的第一神經網路能夠結合兩個圖像對兩個圖像中重合的像素進行分割，從而能夠提高圖像分割的準確性。
在本發明的一些實施例中，還包括： 確定所述第一圖像中的像素的第二分類結果； 根據所述第二分類結果，以及所述第一圖像對應的標注資料，訓練所述第二神經網路。
如此，第二神經網路可以用於逐層確定圖像的分割結果，由此能夠克服圖像的層間解析度較低的問題，獲得更精準的分割結果。
本發明實施例還提供了一種圖像的分割方法，包括： 根據所述神經網路的訓練方法獲得訓練後的所述第二神經網路； 將第三圖像輸入訓練後所述第二神經網路中，經由訓練後的所述第二神經網路輸出所述第三圖像中的像素的第五分類結果。
可見，所述圖像分割方法通過將第三圖像輸入訓練後的第二神經網路中，經由訓練後的第二神經網路輸出第三圖像中的像素的第五分類結果，由此能夠自動對圖像進行分割，節省圖像分割時間，並能提高圖像分割的準確性。
在本發明的一些實施例中，所述方法還包括： 對所述第三圖像對應的第四圖像進行骨骼分割，得到所述第四圖像對應的骨骼分割結果。
如此，根據所述第四圖像對應的骨骼分割結果，能夠確定所述第四圖像中的骨骼邊界。
在本發明的一些實施例中，所述方法還包括： 確定所述第三圖像和所述第四圖像中的像素的對應關係； 根據所述對應關係，融合所述第五分類結果和所述骨骼分割結果，得到融合結果。
如此，通過根據所述第三圖像和所述第四圖像中的像素的對應關係，融合所述第五分類結果和所述骨骼分割結果，得到融合結果，由此能夠幫助醫生在手術規劃和植入物設計時瞭解骨腫瘤在骨盆中的位置。
在本發明的一些實施例中，所述第三圖像為MRI圖像，所述第四圖像為電子電腦斷層掃描（Computed Tomography，CT）圖像。
可見，通過採用不同類型的圖像，能夠充分結合不同類型的圖像中的資訊，從而能夠更好地幫助醫生在手術規劃和植入物設計時瞭解骨腫瘤在骨盆中的位置。
本發明實施例還提供了一種神經網路的訓練裝置，包括： 第一提取模組，配置為通過第一神經網路提取第一圖像的第一特徵和第二圖像的第二特徵； 第一融合模組，配置為通過所述第一神經網路融合所述第一特徵和所述第二特徵，得到第三特徵； 第一確定模組，配置為通過所述第一神經網路根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第一分類結果； 第一訓練模組，配置為根據所述第一分類結果，以及所述重合的像素對應的標注資料，訓練所述第一神經網路。
可以看出，通過第一神經網路提取第一圖像的第一特徵和第二圖像的第二特徵，通過所述第一神經網路融合所述第一特徵和所述第二特徵，得到第三特徵，通過所述第一神經網路根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第一分類結果，根據所述第一分類結果，以及所述重合的像素對應的標注資料，訓練所述第一神經網路，由此訓練得到的第一神經網路能夠結合兩個圖像對兩個圖像中重合的像素進行分割，從而能夠提高圖像分割的準確性。
在本發明的一些實施例中，所述裝置還包括： 第二確定模組，配置為通過第二神經網路確定所述第一圖像中的像素的第二分類結果； 第二訓練模組，配置為根據所述第二分類結果，以及所述第一圖像對應的標注資料，訓練所述第二神經網路。
如此，第二神經網路可以用於逐層確定圖像的分割結果，由此能夠克服圖像的層間解析度較低的問題，獲得更精準的分割結果。
在本發明的一些實施例中，所述裝置還包括： 第三確定模組，配置為通過訓練後的所述第一神經網路確定所述第一圖像和所述第二圖像中重合的像素的第三分類結果； 第四確定模組，配置為通過訓練後的所述第二神經網路確定所述第一圖像中的像素的第四分類結果； 第三訓練模組，配置為根據所述第三分類結果和所述第四分類結果，訓練所述第二神經網路。
如此，可以以訓練後的第一神經網路輸出的重合像素的分類結果作為監督，對第二神經網路進行訓練，由此能夠進一步提高分割精度，且能提高第二神經網路的泛化能力。
在本發明的一些實施例中，所述第一圖像與所述第二圖像為掃描圖像，所述第一圖像與所述第二圖像的掃描平面不同。
如此，由於可以採用不同掃描平面掃描得到的第一圖像和第二圖像訓練第一神經網路，由此能夠充分利用圖像中的三維空間資訊，能夠在一定程度上克服圖像的層間解析度較低的問題，從而有助於在三維空間中進行更準確的圖像分割。
在本發明的一些實施例中，所述第一圖像為橫斷位的圖像，所述第二圖像為冠狀位的圖像或者矢狀位的圖像。
由於橫斷位的圖像的解析度相對較高，因此，採用橫斷位的圖像訓練第二神經網路，能夠獲得較準確的分割結果。
在本發明的一些實施例中，所述第一圖像和所述第二圖像均為MRI圖像。
可見，通過採用MRI圖像，能夠反映物件的解剖細節、組織密度和腫瘤定位等組織結構資訊。
在本發明的一些實施例中，所述第一神經網路包括第一子網路、第二子網路和第三子網路，其中，所述第一子網路用於提取所述第一圖像的第一特徵，所述第二子網路用於提取第二圖像的第二特徵，所述第三子網路用於融合所述第一特徵和所述第二特徵，得到第三特徵，並根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第一分類結果。
可見，本發明實施例能夠對第一圖像和第二圖像分別進行特徵提取，且能夠結合第一圖像和第二圖像的特徵確定兩個圖像中重合的像素的分類結果，從而實現更準確的圖像分割。
在本發明的一些實施例中，所述第一子網路為去除最後兩層的U-Net。
可以看出，通過採用去除最後兩層的U-Net作為第一子網路的結構，由此第一子網路在對圖像進行特徵提取時，能夠利用圖像的不同尺度的特徵，且能夠將第一子網路在較淺層提取的特徵與第一子網路在較深層提取的特徵進行融合，從而充分整合並利用多尺度的資訊。
在本發明的一些實施例中，所述第二子網路為去除最後兩層的U-Net。
可以看出，通過採用去除最後兩層的U-Net作為第二子網路的結構，由此第二子網路在對圖像進行特徵提取時，能夠利用圖像的不同尺度的特徵，且能夠將第二子網路在較淺層提取的特徵與第二子網路在較深層提取的特徵進行融合，從而充分整合並利用多尺度的資訊。
在本發明的一些實施例中，所述第三子網路為多層感知器。
可以看出，通過採用多層感知器作為第三子網路的結構，由此有助於進一步提升第一神經網路的性能。
在本發明的一些實施例中，所述第二神經網路為U-Net。
可以看出，通過採用U-Net作為第二神經網路的結構，由此第二神經網路在對圖像進行特徵提取時，能夠利用圖像的不同尺度的特徵，且能夠將第二神經網路在較淺層提取的特徵與第二神經網路在較深層提取的特徵進行融合，從而充分整合並利用多尺度的資訊。
在本發明的一些實施例中，分類結果包括像素屬於腫瘤區域的概率和像素屬於非腫瘤區域的概率中的一項或兩項。
如此，能夠提高在圖像中進行腫瘤邊界的分割的準確度。
本發明實施例還提供了一種神經網路的訓練裝置，包括： 第六確定模組，配置為通過第一神經網路確定第一圖像和第二圖像中重合的像素的第三分類結果； 第七確定模組，配置為通過第二神經網路確定所述第一圖像中的像素的第四分類結果； 第四訓練模組，配置為根據所述第三分類結果和所述第四分類結果，訓練所述第二神經網路。
通過上述方式，可以以訓練後的第一神經網路輸出的重合像素的分類結果作為監督，對第二神經網路進行訓練，由此能夠進一步提高分割精度，且能提高第二神經網路的泛化能力。
在本發明的一些實施例中，所述通過第一神經網路確定第一圖像和第二圖像中重合的像素的第三分類結果，包括： 第二提取模組，配置為提取所述第一圖像的第一特徵和所述第二圖像的第二特徵； 第三融合模組，配置為融合所述第一特徵和所述第二特徵，得到第三特徵； 第八確定模組，配置為根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第三分類結果。
可以看出，本發明實施例能夠結合兩個圖像對兩個圖像中重合的像素進行分割，從而能夠提高圖像分割的準確性。
在本發明的一些實施例中，還包括： 第五訓練模組，配置為根據所述第三分類結果，以及所述重合的像素對應的標注資料，訓練所述第一神經網路。
由此訓練得到的第一神經網路能夠結合兩個圖像對兩個圖像中重合的像素進行分割，從而能夠提高圖像分割的準確性。
在本發明的一些實施例中，還包括： 第九確定模組，配置為確定所述第一圖像中的像素的第二分類結果； 第六訓練模組，配置為根據所述第二分類結果，以及所述第一圖像對應的標注資料，訓練所述第二神經網路。
如此，第二神經網路可以用於逐層確定圖像的分割結果，由此能夠克服圖像的層間解析度較低的問題，獲得更精準的分割結果。
本發明實施例還提供了一種圖像的分割裝置，包括： 獲得模組，配置為根據所述神經網路的訓練裝置獲得訓練後的所述第二神經網路； 輸出模組，配置為將第三圖像輸入訓練後所述第二神經網路中，經由訓練後的所述第二神經網路輸出所述第三圖像中的像素的第五分類結果。
可見，通過將第三圖像輸入訓練後的第二神經網路中，經由訓練後的第二神經網路輸出第三圖像中的像素的第五分類結果，由此能夠自動對圖像進行分割，節省圖像分割時間，並能提高圖像分割的準確性。
在本發明的一些實施例中，所述裝置還包括： 骨骼分割模組，配置為對所述第三圖像對應的第四圖像進行骨骼分割，得到所述第四圖像對應的骨骼分割結果。
如此，根據所述第四圖像對應的骨骼分割結果，能夠確定所述第四圖像中的骨骼邊界。
在本發明的一些實施例中，所述裝置還包括： 第五確定模組，配置為確定所述第三圖像和所述第四圖像中的像素的對應關係； 第二融合模組，配置為根據所述對應關係，融合所述第五分類結果和所述骨骼分割結果，得到融合結果。
如此，通過根據所述第三圖像和所述第四圖像中的像素的對應關係，融合所述第五分類結果和所述骨骼分割結果，得到融合結果，由此能夠幫助醫生在手術規劃和植入物設計時瞭解骨腫瘤在骨盆中的位置。
在本發明的一些實施例中，所述第三圖像為MRI圖像，所述第四圖像為CT圖像。
可見，通過採用不同類型的圖像，能夠充分結合不同類型的圖像中的資訊，從而能夠更好地幫助醫生在手術規劃和植入物設計時瞭解骨腫瘤在骨盆中的位置。
本發明實施例還提供了一種電子設備，包括：一個或多個處理器；配置為儲存可執行指令的記憶體；其中，所述一個或多個處理器被配置為調用所述記憶體儲存的可執行指令，以執行上述任意一種方法。
本發明實施例還提供了一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述任意一種方法。
本發明實施例還提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現上述任意一種方法。
在本發明實施例中，通過第一神經網路提取第一圖像的第一特徵和第二圖像的第二特徵，通過所述第一神經網路融合所述第一特徵和所述第二特徵，得到第三特徵，通過所述第一神經網路根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第一分類結果，根據所述第一分類結果，以及所述重合的像素對應的標注資料，訓練所述第一神經網路，由此訓練得到的第一神經網路能夠結合兩個圖像對兩個圖像中重合的像素進行分割，從而能夠提高圖像分割的準確性。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。
以下將參考附圖詳細說明本發明的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的組件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本發明，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、組件和電路未作詳細描述，以便於凸顯本發明的主旨。
在相關技術中，惡性骨腫瘤是一種致死率極高的疾病；目前臨床對惡性骨腫瘤的主流治療方式之一就是保肢切除手術。由於骨盆結構複雜，且包含諸多其他組織器官，對位於骨盆的骨腫瘤實施保肢切除手術難度極大；保肢切除手術的復發率以及術後恢復效果均受切除邊界的影響，因此在MRI圖像中確定骨腫瘤邊界，是術前規劃中極為重要的關鍵步驟；但是，人工勾畫腫瘤邊界需要醫生具備豐富的經驗，且耗時很長，這一問題的存在很大程度上制約了保肢切除手術的推廣。
針對上述技術問題，本發明實施例提出了一種神經網路訓練及圖像的分割方法、裝置、電子設備、電腦儲存介質和電腦程式。
圖1為本發明實施例提供的一種神經網路的訓練方法的流程圖。所述神經網路的訓練方法的執行主體可以是神經網路的訓練裝置。例如，神經網路的訓練裝置可以是終端設備或伺服器或其它處理設備。其中，終端設備可以是使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備或者可穿戴設備等。在本發明的一些實施例中，所述神經網路的訓練方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
在本發明的一些實施例中，第一神經網路和第二神經網路可以用於自動分割圖像中的腫瘤區域，即，第一神經網路和第二神經網路可以用於確定圖像中的腫瘤所在區域。在本發明的一些實施例中，第一神經網路和第二神經網路還可以用於自動分割圖像中的其他感興趣區域。
在本發明的一些實施例中，第一神經網路和第二神經網路可以用於自動分割圖像中的骨腫瘤區域，即，第一神經網路和第二神經網路可以用於確定圖像中的骨腫瘤所在區域。在一個示例中，第一神經網路和第二神經網路可以用於自動分割骨盆中的骨腫瘤區域。在其它示例中，第一神經網路和第二神經網路還可以用於自動分割其他部位的骨腫瘤區域。
如圖1所示，所述神經網路的訓練方法包括步驟S11至步驟S14。
步驟S11：通過第一神經網路提取第一圖像的第一特徵和第二圖像的第二特徵。
在本發明實施例中，第一圖像和第二圖像可以是對同一物件掃描得到的圖像。例如，物件可以為人體。例如，第一圖像和第二圖像可以是同一台機器連續掃描得到的，在掃描過程中，物件幾乎沒有發生移動。
在本發明的一些實施例中，所述第一圖像與所述第二圖像為掃描圖像，所述第一圖像與所述第二圖像的掃描平面不同。
本發明實施例中，掃描平面可以為橫斷面、冠狀面或者矢狀面。其中，掃描平面為橫斷面的圖像可以稱為橫斷位的圖像，掃描平面為冠狀面的圖像可以稱為冠狀位的圖像，掃描平面為矢狀面的圖像可以稱為矢狀位的圖像。
在其它示例中，第一圖像和第二圖像的掃描平面可以不限於橫斷面、冠狀面和矢狀面，只要第一圖像與第二圖像的掃描平面不同即可。
可以看出，本發明實施例可以採用不同掃描平面掃描得到的第一圖像和第二圖像訓練第一神經網路，由此能夠充分利用圖像中的三維空間資訊，能夠在一定程度上克服圖像的層間解析度較低的問題，從而有助於在三維空間中進行更準確的圖像分割。
在本發明的一些實施例中，第一圖像和第二圖像可以為逐層掃描得到的三維圖像，其中，每一層為二維切片。
在本發明的一些實施例中，所述第一圖像和所述第二圖像均為MRI圖像。
可以看出，通過採用MRI圖像，能夠反映物件的解剖細節、組織密度和腫瘤定位等組織結構資訊。
在本發明的一些實施例中，第一圖像和第二圖像可以為三維MRI圖像。三維MRI圖像是逐層掃描的，可以視為一系列二維切片的堆疊。三維MRI圖像在掃描平面上的解析度一般較高，稱為層內解析度（in-plane spacing）。三維MRI圖像在堆疊方向上的解析度一般較低，稱為層間解析度或者層厚（slice thickness）。
步驟S12：通過所述第一神經網路融合所述第一特徵和所述第二特徵，得到第三特徵。
在本發明的一些實施例中，通過所述第一神經網路融合所述第一特徵和所述第二特徵，可以為：通過所述第一神經網路對所述第一特徵和所述第二特徵進行連接處理。例如，連接處理可以為concat處理。
步驟S13：通過所述第一神經網路根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第一分類結果。
在本發明的一些實施例中，可以根據所述第一圖像的像素和所述第二圖像的像素在世界坐標系中的座標，確定第一圖像和第二圖像中重合的像素。
在本發明的一些實施例中，分類結果包括像素屬於腫瘤區域的概率和像素屬於非腫瘤區域的概率中的一項或兩項。根據分類結果可以確定圖像中的腫瘤邊界。這裡，分類結果可以為本發明實施例中的第一分類結果、第二分類結果、第三分類結果、第四分類結果和第五分類結果中的一項或多項。
在本發明的一些實施例中，分類結果包括像素屬於骨腫瘤區域的概率和像素屬於非骨腫瘤區域的概率中的一項或兩項。根據分類結果可以確定圖像中的骨腫瘤邊界。這裡，分類結果可以為本發明實施例中的第一分類結果、第二分類結果、第三分類結果、第四分類結果和第五分類結果中的一項或多項。
圖2為本發明實施例提供的神經網路的訓練方法中第一神經網路的示意圖，如圖2所示，所述第一神經網路包括第一子網路201、第二子網路202和第三子網路203，其中，所述第一子網路201用於提取所述第一圖像204的第一特徵，所述第二子網路202用於提取第二圖像205的第二特徵，所述第三子網路203用於融合所述第一特徵和所述第二特徵，得到第三特徵，並根據所述第三特徵，確定所述第一圖像204和所述第二圖像205中重合的像素的第一分類結果。
本發明實施例中，第一神經網路可以稱為雙模型雙路偽三維神經網路（dual modal dual path pseudo 3-dimension neural network）；第一圖像204和第二圖像205的掃描平面不同，因而，第一神經網路可以充分利用不同掃描平面的圖像，實現骨盆骨腫瘤的準確分割。
在本發明的一些實施例中，所述第一子網路201為端到端的編碼器-解碼器結構。
在本發明的一些實施例中，所述第一子網路201為去除最後兩層的U-Net。
可以看出，通過採用去除最後兩層的U-Net作為第一子網路201的結構，由此第一子網路201在對圖像進行特徵提取時，能夠利用圖像的不同尺度的特徵，且能夠將第一子網路201在較淺層提取的特徵與第一子網路201在較深層提取的特徵進行融合，從而充分整合並利用多尺度的資訊。
在本發明的一些實施例中，所述第二子網路202為端到端的編碼器-解碼器結構。
在本發明的一些實施例中，所述第二子網路202為去除最後兩層的U-Net。
本發明實施例中，通過採用去除最後兩層的U-Net作為第二子網路202的結構，由此第二子網路202在對圖像進行特徵提取時，能夠利用圖像的不同尺度的特徵，且能夠將第二子網路202在較淺層提取的特徵與第二子網路202在較深層提取的特徵進行融合，從而充分整合並利用多尺度的資訊。
在本發明的一些實施例中，所述第三子網路203為多層感知器。
本發明實施例中，通過採用多層感知器作為第三子網路203的結構，由此有助於進一步提升第一神經網路的性能。
參照圖2，第一子網路201和第二子網路202均為去除最後兩層的U-Net，下面以第一子網路201為例進行說明。第一子網路201包括編碼器和解碼器，其中，編碼器用於編碼處理第一圖像204，解碼器用於解碼修復圖像細節和空間維度，從而提取出第一圖像204的第一特徵。
編碼器可以包括多個編碼塊，每個編碼塊可以包含多個卷積層、一個批量歸一化（Batch Normalization，BN）層和一個啟動層；每個編碼塊可以進行輸入資料進行下採樣，將輸入資料的大小減半，其中，第一個編碼塊的輸入資料為第一圖像204，其它編碼塊的輸入資料為上一個編碼塊輸出的特徵圖，第一個編碼塊、第二個編碼塊、第三個編碼塊、第四個編碼塊和第五個編碼塊對應的通道數分別為64、128、256、512和1024。
解碼器可以包括多個解碼塊，每個解碼塊可以包含多個卷積層、一個BN層和一個啟動層；每個解碼塊可以進行輸入的特徵圖進行上採樣，將特徵圖的大小加倍；第一個解碼塊、第二個解碼塊、第三個解碼塊、第四個解碼塊對應的通道數分別為512、256、128和64。
在第一子網路201中，可以採用具有跳躍連接的網路結構，將通道數相同的編碼塊和解碼塊進行連接；在最後一個解碼塊（第五個解碼塊）中，可以利用一個1×1卷積層將第四個解碼塊輸出的特徵圖映射到一維空間，得到特徵向量。
在第三子網路203中，可以將第一子網路201輸出的第一特徵與第二子網路202輸出的第二特徵進行合併，得到第三特徵；然後，可以通過多層感知器，確定第一圖像204和第二圖像205中重合的像素的第一分類結果。
步驟S14：根據所述第一分類結果，以及所述重合的像素對應的標注資料，訓練所述第一神經網路。
在本發明實施例中，標注資料可以是人為標注的資料，例如可以是醫生標注的資料。醫生在可以在第一圖像和第二圖像的二維切片上逐層進行標注。根據每層二維切片的標注結果，可以整合成三維標注資料。
在本發明的一些實施例中，可以採用戴斯相似性係數確定所述第一分類結果與所述重合的像素對應的標注資料之間的差異，從而根據差異訓練所述第一神經網路。例如，可以採用反向傳播更新第一神經網路的參數。
在本發明的一些實施例中，所述方法還包括：通過第二神經網路確定所述第一圖像中的像素的第二分類結果；根據所述第二分類結果，以及所述第一圖像對應的標注資料，訓練所述第二神經網路。
本發明實施例中，第一圖像可以為三維圖像，第二神經網路可以用於確定第一圖像的二維切片的像素的第二分類結果。例如，第二神經網路可以用於逐層確定第一圖像的各個二維切片的各個像素的第二分類結果。根據第一圖像的二維切片的像素的第二分類結果與第一圖像的二維切片對應的標注資料之間的差異，可以訓練第二神經網路。例如，可以採用反向傳播更新第二神經網路的參數。其中，第一圖像的二維切片的像素的第二分類結果與第一圖像的二維切片對應的標注資料之間的差異，可以採用戴斯相似性係數確定，該實現方式對此不作限定。
可以看出，本發明實施例中，第二神經網路可以用於逐層確定圖像的分割結果，由此能夠克服圖像的層間解析度較低的問題，獲得更精準的分割結果。
在本發明的一些實施例中，所述方法還包括：通過訓練後的所述第一神經網路確定所述第一圖像和所述第二圖像中重合的像素的第三分類結果；通過訓練後的所述第二神經網路確定所述第一圖像中的像素的第四分類結果；根據所述第三分類結果和所述第四分類結果，訓練所述第二神經網路。
可以看出，本發明實施例中，可以以訓練後的第一神經網路輸出的重合像素的分類結果作為監督，對第二神經網路進行訓練，由此能夠進一步提高分割精度，且能提高第二神經網路的泛化能力；也就是說，可以以訓練後的第一神經網路輸出的重合像素的分類結果作為監督，對第二神經網路的參數進行微調（fine tune），從而優化了第二神經網路的圖像分割性能；例如，可以根據所述第三分類結果和所述第四分類結果，對第二神經網路的最後兩層的參數進行更新。
在本發明的一些實施例中，所述第一圖像為橫斷位的圖像，所述第二圖像為冠狀位的圖像或者矢狀位的圖像。由於橫斷位的圖像的解析度相對較高，因此，採用橫斷位的圖像訓練第二神經網路，能夠獲得較準確的分割結果。
需要說明的是，儘管以所述第一圖像為橫斷位的圖像，所述第二圖像為冠狀位的圖像或者矢狀位的圖像作為示例介紹了第一圖像和第二圖像如上，但本領域技術人員能夠理解，本發明應不限於此，本領域技術人員可以根據實際應用場景需求選擇第一圖像和第二圖像的類型，只要第一圖像與第二圖像的掃描平面不同即可。
在本發明的一些實施例中，所述第二神經網路為U-Net。
可以看出，通過採用U-Net作為第二神經網路的結構，由此第二神經網路在對圖像進行特徵提取時，能夠利用圖像的不同尺度的特徵，且能夠將第二神經網路在較淺層提取的特徵與第二神經網路在較深層提取的特徵進行融合，從而充分整合並利用多尺度的資訊。
在本發明的一些實施例中，在訓練第一神經網路和/或第二神經網路的過程中，可以採用早停止策略，一旦網路性能不再提高，則停止訓練，由此能夠防止過擬合。
本發明實施例還提供了另一種神經網路的訓練方法，該另一種神經網路的訓練方法包括：通過第一神經網路確定第一圖像和第二圖像中重合的像素的第三分類結果；通過第二神經網路確定所述第一圖像中的像素的第四分類結果； 根據所述第三分類結果和所述第四分類結果，訓練所述第二神經網路。
通過上述方式，可以以訓練後的第一神經網路輸出的重合像素的分類結果作為監督，對第二神經網路進行訓練，由此能夠進一步提高分割精度，且能提高第二神經網路的泛化能力。
在本發明的一些實施例中，所述通過第一神經網路確定第一圖像和第二圖像中重合的像素的第三分類結果，包括：提取所述第一圖像的第一特徵和所述第二圖像的第二特徵；融合所述第一特徵和所述第二特徵，得到第三特徵；根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第三分類結果。
可以看出，本發明實施例中，能夠結合兩個圖像對兩個圖像中重合的像素進行分割，從而能夠提高圖像分割的準確性。
在本發明的一些實施例中，還可以根據所述第三分類結果，以及所述重合的像素對應的標注資料，訓練所述第一神經網路。
由此訓練得到的第一神經網路能夠結合兩個圖像對兩個圖像中重合的像素進行分割，從而能夠提高圖像分割的準確性。
在本發明的一些實施例中，還可以確定所述第一圖像中的像素的第二分類結果；根據所述第二分類結果，以及所述第一圖像對應的標注資料，訓練所述第二神經網路。
可以看出，本發明實施例中，第二神經網路可以用於逐層確定圖像的分割結果，由此能夠克服圖像的層間解析度較低的問題，獲得更精準的分割結果。
本發明實施例還提供了一種圖像的分割方法，圖像分割方法可以由圖像的分割裝置執行，圖像的分割裝置可以是UE、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理、手持設備、計算設備、車載設備或者可穿戴設備等。在本發明的一些實施例中，所述圖像的分割方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
本發明實施例中，所述圖像的分割方法可以包括：根據所述神經網路的訓練方法獲得訓練後的所述第二神經網路；將第三圖像輸入訓練後所述第二神經網路中，經由訓練後的所述第二神經網路輸出所述第三圖像中的像素的第五分類結果。
在本發明實施例中，第三圖像可以為三維圖像，第二神經網路可以用於逐層確定第三圖像的各個二維切片的各個像素的第二分類結果。
本發明實施例提供的圖像分割方法通過將第三圖像輸入訓練後的第二神經網路中，經由訓練後的第二神經網路輸出第三圖像中的像素的第五分類結果，由此能夠自動對圖像進行分割，節省圖像分割時間，並能提高圖像分割的準確性。
本發明實施例提供的圖像的分割方法可以用於在實施保肢切除手術前確定腫瘤的邊界，例如，可以用於在實施保肢切除手術前確定骨盆的骨腫瘤的邊界。在相關技術中，需要經驗豐富的醫生人工勾畫骨腫瘤的邊界。本發明實施例通過自動確定圖像中的骨腫瘤區域，由此能夠節省醫生的時間，大大減少骨腫瘤分割所耗費的時間，提升保肢切除手術術前規劃的效率。
在本發明的一些實施例中，根據訓練後的第二神經網路輸出的所述第三圖像中的像素的第五分類結果，可以確定所述第三圖像中的骨腫瘤區域。圖3A為本發明實施例提供的圖像的分割方法中骨盆骨腫瘤區域的示意圖。
在本發明的一些實施例中，所述圖像的分割方法還包括：對所述第三圖像對應的第四圖像進行骨骼分割，得到所述第四圖像對應的骨骼分割結果。在該實現方式中，第三圖像和第四圖像是對同一物件掃描得到的圖像。
可以看出，本發明實施例中，可以根據所述第四圖像對應的骨骼分割結果，可以確定所述第四圖像中的骨骼邊界。
在本發明的一些實施例中，所述圖像的分割方法還包括：確定所述第三圖像和所述第四圖像中的像素的對應關係；根據所述對應關係，融合所述第五分類結果和所述骨骼分割結果，得到融合結果。
可以看出，通過根據所述第三圖像和所述第四圖像中的像素的對應關係，融合所述第五分類結果和所述骨骼分割結果，得到融合結果，由此能夠幫助醫生在手術規劃和植入物設計時瞭解骨腫瘤在骨盆中的位置。
本發明實施例中，可以通過相關演算法對所述第三圖像和所述第四圖像進行配準，來確定所述第三圖像和所述第四圖像中的像素的對應關係。
在本發明的一些實施例中，可以根據所述對應關係，將所述第五分類結果覆蓋在所述骨骼分割結果上，得到融合結果。
在本發明的一些實施例中，在所述融合所述第五分類結果和所述骨骼分割結果之前，還可以由醫生對所述第五分類結果進行手工修正，以進一步提高骨腫瘤分割的準確性。
在本發明的一些實施例中，所述第三圖像為MRI圖像，所述第四圖像為CT圖像。
在該實現方式中，通過採用不同類型的圖像，能夠充分結合不同類型的圖像中的資訊，從而能夠更好地幫助醫生在手術規劃和植入物設計時瞭解骨腫瘤在骨盆中的位置。
下面結合附圖對本發明的應用場景進行說明。圖3B為本發明實施例的一個應用場景的示意圖，如圖3B所示，骨盆區域的MRI圖像300為上述第三圖像，可以將第三圖像輸入至上述301中，可以得到第五分類結果；在本發明的一些實施例中，第五分類結果可以包括骨盆的骨腫瘤區域。需要說明的是，圖3B所示的場景僅僅是本發明實施例的一個示例性場景，本發明對具體的應用場景不作限制。
圖3C為本發明實施例中針對骨盆骨腫瘤的處理流程示意圖，如圖3C所示，該處理流程可以包括如下。：
步驟A1：獲取待處理圖像。 這裡，待處理圖像可以包括患者的骨盆區域的MRI圖像和骨盆區域的CT圖像，本發明實施例中，可以通過核磁共振檢查和CT檢查，得到骨盆區域的MRI圖像和骨盆區域的CT圖像。
步驟A2：醫生診斷。 本發明實施例中，醫生可以根據待處理圖像進行診斷，然後可以執行步驟A3。
步驟A3：判斷是否存在保肢手術的可能，如果是，則執行步驟A5，如果否，則執行步驟A4。 本發明實施例，醫生可以根據診斷結果判斷是否存在保肢手術的可能。
步驟A4：結束流程。 本發明實施例中，如果醫生判斷不存在保肢手術的可能，則可以結束流程，在這種情況下，醫生可以按照其它的治療方式對患者進行治療。
步驟A5：骨盆骨腫瘤區域自動分割。 本發明實施例中，可以參照圖3B將骨盆區域的MRI圖像300輸入至上述圖像的分割裝置301中，從而實現骨盆骨腫瘤區域自動分割，確定骨盆的骨腫瘤區域。
步驟A6：手工修正。 本發明實施例中，醫生可以對骨盆骨腫瘤區域的分割結果進行手動修正，得到修正後的骨盆骨腫瘤區域。
步驟A7：骨盆骨骼分割。 本發明實施例中，骨盆區域的CT圖像為上述第四圖像，如此，可以將骨盆區域的CT圖像進行骨骼分割，得到骨盆區域的CT圖像對應的骨骼分割結果。
步驟A8：CT-MR （Computed Tomography- Magnetic Resonance）配準。 本發明實施例中，可以對骨盆區域的MRI圖像和骨盆區域的CT圖像進行配準，來確定骨盆區域的MRI圖像和骨盆區域的CT圖像中像素的對應關係。
步驟A9：腫瘤分割結果與骨骼分割結果融合。 本發明實施例中，可以根據步驟A8確定的上述對應關係，融合骨盆骨腫瘤區域的分割結果和骨盆區域的CT圖像對應的骨骼分割結果，得到融合結果。
步驟A10：骨盆-骨腫瘤模型三維（3-Dimension，3D）列印。 本發明實施例中，可以根據融合結果，進行骨盆-骨腫瘤模型3D列印。
步驟A11：術前規劃。 本發明實施例中，醫生可以根據列印的骨盆-骨腫瘤模型，進行術前規劃。
步驟A12：設計植入假體與手術導板。 本發明實施例中，醫生在進行術前規劃後，可以設計植入假體與手術導板。
步驟A13：植入假體與手術導板的3D列印。 本發明實施例中，醫生可以在設計植入假體與手術導板後，進行植入假體與手術導板的3D列印。
可以理解，本發明提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
此外，本發明還提供了神經網路的訓練裝置、圖像的分割裝置、電子設備、電腦可讀儲存介質、程式，上述均可用來實現本發明提供的任一種神經網路的訓練方法或者圖像的分割方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖4為本發明實施例提供的一種神經網路的訓練裝置的結構示意圖，如圖4所示，所述神經網路的訓練裝置包括：第一提取模組41，配置為通過第一神經網路提取第一圖像的第一特徵和第二圖像的第二特徵；第一融合模組42，配置為通過所述第一神經網路融合所述第一特徵和所述第二特徵，得到第三特徵；第一確定模組43，配置為通過所述第一神經網路根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第一分類結果；第一訓練模組44，配置為根據所述第一分類結果，以及所述重合的像素對應的標注資料，訓練所述第一神經網路。
在本發明的一些實施例中，所述裝置還包括：第二確定模組，配置為通過第二神經網路確定所述第一圖像中的像素的第二分類結果；第二訓練模組，配置為根據所述第二分類結果，以及所述第一圖像對應的標注資料，訓練所述第二神經網路。
在本發明的一些實施例中，所述裝置還包括：第三確定模組，配置為通過訓練後的所述第一神經網路確定所述第一圖像和所述第二圖像中重合的像素的第三分類結果；第四確定模組，配置為通過訓練後的所述第二神經網路確定所述第一圖像中的像素的第四分類結果；第三訓練模組，配置為根據所述第三分類結果和所述第四分類結果，訓練所述第二神經網路。
在本發明的一些實施例中，所述第一圖像與所述第二圖像為掃描圖像，所述第一圖像與所述第二圖像的掃描平面不同。
在本發明的一些實施例中，所述第一圖像為橫斷位的圖像，所述第二圖像為冠狀位的圖像或者矢狀位的圖像。
在本發明的一些實施例中，所述第一圖像和所述第二圖像均為MRI圖像。
在本發明的一些實施例中，所述第一神經網路包括第一子網路、第二子網路和第三子網路，其中，所述第一子網路用於提取所述第一圖像的第一特徵，所述第二子網路用於提取第二圖像的第二特徵，所述第三子網路用於融合所述第一特徵和所述第二特徵，得到第三特徵，並根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第一分類結果。
在本發明的一些實施例中，所述第一子網路為去除最後兩層的U-Net。
在本發明的一些實施例中，所述第二子網路為去除最後兩層的U-Net。
在本發明的一些實施例中，所述第三子網路為多層感知器。
在本發明的一些實施例中，所述第二神經網路為U-Net。
在本發明的一些實施例中，分類結果包括像素屬於腫瘤區域的概率和像素屬於非腫瘤區域的概率中的一項或兩項。
本發明實施例還提供了另一種神經網路的訓練裝置，包括：第六確定模組，配置為通過第一神經網路確定第一圖像和第二圖像中重合的像素的第三分類結果；第七確定模組，配置為通過第二神經網路確定所述第一圖像中的像素的第四分類結果； 第四訓練模組，配置為根據所述第三分類結果和所述第四分類結果，訓練所述第二神經網路。
在本發明的一些實施例中，所述通過第一神經網路確定第一圖像和第二圖像中重合的像素的第三分類結果，包括：第二提取模組，配置為提取所述第一圖像的第一特徵和所述第二圖像的第二特徵；第三融合模組，配置為融合所述第一特徵和所述第二特徵，得到第三特徵；第八確定模組，配置為根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第三分類結果。
在本發明的一些實施例中，上述另一種神經網路的訓練裝置還包括：第五訓練模組，配置為根據所述第三分類結果，以及所述重合的像素對應的標注資料，訓練所述第一神經網路。
在本發明的一些實施例中，上述另一種神經網路的訓練裝置還包括：第九確定模組，配置為確定所述第一圖像中的像素的第二分類結果；第六訓練模組，配置為根據所述第二分類結果，以及所述第一圖像對應的標注資料，訓練所述第二神經網路。
本發明實施例還提供了一種圖像的分割裝置，包括：獲得模組，配置為根據所述神經網路的訓練裝置獲得訓練後的所述第二神經網路；輸出模組，配置為將第三圖像輸入訓練後所述第二神經網路中，經由訓練後的所述第二神經網路輸出所述第三圖像中的像素的第五分類結果。
在本發明的一些實施例中，所述圖像的分割裝置還包括：骨骼分割模組，配置為對所述第三圖像對應的第四圖像進行骨骼分割，得到所述第四圖像對應的骨骼分割結果。
在本發明的一些實施例中，所述圖像的分割裝置還包括：第五確定模組，配置為確定所述第三圖像和所述第四圖像中的像素的對應關係；第二融合模組，配置為根據所述對應關係，融合所述第五分類結果和所述骨骼分割結果，得到融合結果。
在本發明的一些實施例中，所述第三圖像為MRI圖像，所述第四圖像為CT圖像。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本發明實施例還提供一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。其中，所述電腦可讀儲存介質可以是非易失性電腦可讀儲存介質，或者可以是易失性電腦可讀儲存介質。
本發明實施例還提供了一種電腦程式產品，包括電腦可讀代碼，當電腦可讀代碼在設備上運行時，設備中的處理器執行用於實現上述任意一種方法的指令。
本發明實施例還提供了另一種電腦程式產品，配置為儲存電腦可讀指令，指令被執行時使得電腦執行上述任意一種方法的操作。
本發明實施例還提供一種電子設備，包括：一個或多個處理器；配置為儲存可執行指令的記憶體；其中，所述一個或多個處理器被配置為調用所述記憶體儲存的可執行指令，以執行上述任意一種方法。
電子設備可以為終端、伺服器或其它形態的設備。
本發明實施例還提出一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行上述任意一種方法。
圖5為本發明實施例提供的一種電子設備的結構示意圖，例如，電子設備800可以是行動電話、電腦、數位廣播終端、消息收發設備、遊戲控制台、平板設備、醫療設備、健身設備、個人數位助理等終端。
參照圖5，電子設備800可以包括以下一個或多個組件：第一處理組件802，第一記憶體804，第一電源組件806，多媒體組件808，音頻組件810，第一輸入/輸出（Input Output，I/ O）介面812，感測器組件814，以及通信組件816。
第一處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，資料通信，相機操作和記錄操作相關聯的操作。第一處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，第一處理組件802可以包括一個或多個模組，便於第一處理組件802和其他組件之間的交互。例如，第一處理組件802可以包括多媒體模組，以方便多媒體組件808和第一處理組件802之間的交互。
第一記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人資料，電話簿資料，消息，圖片，視頻等。第一記憶體804可以由任何類型的易失性或非易失性存放裝置或者它們的組合實現，如靜態隨機存取記憶體（Static Random-Access Memory，SRAM），電可擦除可程式設計唯讀記憶體（Electrically Erasable Programmable Read Only Memory，EEPROM），可擦除可程式設計唯讀記憶體（Electrical Programmable Read Only Memory，EPROM），可程式設計唯讀記憶體（Programmable Read-Only Memory ，PROM），唯讀記憶體（Read-Only Memory，ROM），磁記憶體，快閃記憶體，磁片或光碟。
第一電源組件806為電子設備800的各種組件提供電力。第一電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器（Liquid Crystal Display，LCD）和觸摸面板（Touch Pad，TP）。如果螢幕包括觸摸面板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影頭和/或後置攝影頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝影頭和/或後置攝影頭可以接收外部的多媒體資料。每個前置攝影頭和後置攝影頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號。例如，音頻組件810包括一個麥克風（MIC），當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在第一記憶體804或經由通信組件816發送。在一些實施例中，音頻組件810還包括一個揚聲器，用於輸出音頻信號。
第一輸入/輸出介面812為第一處理組件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如互補金屬氧化物半導體（Complementary Metal Oxide Semiconductor，CMOS）或電荷耦合器件（Charge Coupled Device，CCD）圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如Wi-Fi、2G、3G、4G/LTE、5G或它們的組合。在一個示例性實施例中，通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，所述通信組件816還包括近場通信（Near Field Communication，NFC）模組，以促進短程通信。例如，在NFC模組可基於射頻識別（Radio Frequency Identification，RFID）技術，紅外資料協會（Infrared Data Association，IrDA）技術，超寬頻（Ultra Wide Band，UWB）技術，藍牙（Bluetooth，BT）技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路（Application Specific Integrated Circuit，ASIC）、數位訊號處理器（Digital Signal Processor，DSP）、數位信號處理設備（Digital Signal Processing Device，DSPD）、可程式設計邏輯器件（Programmable Logic Device，PLD）、現場可程式設計閘陣列（Field Programmable Gate Array，FPGA）、控制器、微控制器、微處理器或其他電子組件實現，用於執行上述任意一種方法。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的第一記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述任意一種方法。
圖6為本發明實施例提供的另一種電子設備的結構示意圖，例如，電子設備1900可以被提供為一伺服器。參照圖6，電子設備1900包括第二處理組件1922，其進一步包括一個或多個處理器，以及由第二記憶體1932所代表的記憶體資源，用於儲存可由第二處理組件1922的執行的指令，例如應用程式。第二記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，第二處理組件1922被配置為執行指令，以執行上述方法。
電子設備1900還可以包括一個第二電源組件1926被配置為執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置為將電子設備1900連接到網路，和第二輸入輸出（I/O）介面1958。電子設備1900可以操作基於儲存在第二記憶體1932的作業系統，例如Windows Server®，Mac OS X®，Unix®，Linux®，FreeBSD®或類似。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的第二記憶體1932，上述電腦程式指令可由電子設備1900的第二處理組件1922執行以完成上述任意一種方法。
本發明實施例可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是(但不限於)電存放裝置、磁存放裝置、光存放裝置、電磁存放裝置、半導體存放裝置或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子（非窮舉的列表）包括：可擕式電腦盤、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可擦式可程式設計唯讀記憶體（EPROM或快閃記憶體）、靜態隨機存取記憶體（SRAM）、可擕式壓縮磁碟唯讀記憶體（CD-ROM）、數位多功能盤（Digital Video Disc，DVD）、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波（例如，通過光纖電纜的光脈衝）、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本發明實施例操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括物件導向的程式設計語言—諸如Smalltalk、C++等，以及常規的過程式程式設計語言—諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路—包括局域網（Local Area Network，LAN）或廣域網路（Wide Area Network，WAN）—連接到使用者電腦，或者，可以連接到外部電腦（例如利用網際網路服務提供者來通過網際網路連接）。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列（FPGA）或可程式設計邏輯陣列（Programmable Logic Array，PLA），該電子電路可以執行電腦可讀程式指令，從而實現本發明的各個方面。
這裡參照根據本發明實施例的方法、裝置（系統）和電腦程式產品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
該電腦程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式產品具體體現為電腦儲存介質，在另一個可選實施例中，電腦程式產品具體體現為軟體產品，例如軟體發展包(Software Development Kit，SDK)等等。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
工業實用性 本發明實施例提出了一種神經網路訓練及圖像的分割方法、電子設備和電腦儲存介質。所述方法包括：通過第一神經網路提取第一圖像的第一特徵和第二圖像的第二特徵；通過所述第一神經網路融合所述第一特徵和所述第二特徵，得到第三特徵；通過所述第一神經網路根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第一分類結果；根據所述第一分類結果，以及所述重合的像素對應的標注資料，訓練所述第一神經網路。本發明實施例能夠提高圖像分割的準確性。
201:第一子網路 202:第二子網路 203:第三子網路 204:第一圖像 205:第二圖像 300:骨盆區域的MRI圖像 301:圖像的分割裝置 41:第一提取模組 42:第一融合模組 43:第一確定模組 44:第一訓練模組 800:電子設備 802:第一處理組件 804:第一記憶體 806:第一電源組件 808:多媒體組件 810:音頻組件 812:第一輸入/輸出介面 814:感測器組件 816:通信組件 820:處理器 1900:電子設備 1922:第二處理組件 1926:第二電源組件 1932:第二記憶體 1950:網路介面 1958:第二輸入/輸出介面 S11~S14:步驟 A1~A13:步驟
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明實施例的技術方案。 圖1為本發明實施例提供的一種神經網路的訓練方法的流程圖； 圖2為本發明實施例提供的神經網路的訓練方法中第一神經網路的示意圖； 圖3A為本發明實施例提供的圖像的分割方法中骨盆骨腫瘤區域的示意圖； 圖3B為本發明實施例的一個應用場景的示意圖； 圖3C為本發明實施例中針對骨盆骨腫瘤的處理流程示意圖； 圖4為本發明實施例提供的一種神經網路的訓練裝置的結構示意圖； 圖5為本發明實施例提供的一種電子設備的結構示意圖； 圖6為本發明實施例提供的另一種電子設備的結構示意圖。
S11~S14:步驟

Claims (22)

  1. 一種神經網路的訓練方法，包括： 通過第一神經網路提取第一圖像的第一特徵和第二圖像的第二特徵； 通過所述第一神經網路融合所述第一特徵和所述第二特徵，得到第三特徵； 通過所述第一神經網路根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第一分類結果； 根據所述第一分類結果，以及所述重合的像素對應的標注資料，訓練所述第一神經網路。
  2. 根據請求項1所述的方法，還包括： 通過第二神經網路確定所述第一圖像中的像素的第二分類結果； 根據所述第二分類結果，以及所述第一圖像對應的標注資料，訓練所述第二神經網路。
  3. 根據請求項2所述的方法，還包括： 通過訓練後的所述第一神經網路確定所述第一圖像和所述第二圖像中重合的像素的第三分類結果； 通過訓練後的所述第二神經網路確定所述第一圖像中的像素的第四分類結果； 根據所述第三分類結果和所述第四分類結果，訓練所述第二神經網路。
  4. 根據請求項1至3中任意一項所述的方法，其中，所述第一圖像與所述第二圖像為掃描圖像，所述第一圖像與所述第二圖像的掃描平面不同。
  5. 根據請求項4所述的方法，其中，所述第一圖像為橫斷位的圖像，所述第二圖像為冠狀位的圖像或者矢狀位的圖像。
  6. 根據請求項1至3中任意一項所述的方法，其中，所述第一圖像和所述第二圖像均為磁共振成像MRI圖像。
  7. 根據請求項1至3中任意一項所述的方法，其中，所述第一神經網路包括第一子網路、第二子網路和第三子網路，其中，所述第一子網路用於提取所述第一圖像的第一特徵，所述第二子網路用於提取第二圖像的第二特徵，所述第三子網路用於融合所述第一特徵和所述第二特徵，得到第三特徵，並根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第一分類結果。
  8. 根據請求項7所述的方法，其中，所述第一子網路為去除最後兩層的U-Net。
  9. 根據請求項7所述的方法，其中，所述第二子網路為去除最後兩層的U-Net。
  10. 根據請求項7所述的方法，其中，所述第三子網路為多層感知器。
  11. 根據請求項2或3所述的方法，其中，所述第二神經網路為U-Net。
  12. 根據請求項1至3中任意一項所述的方法，其中，分類結果包括像素屬於腫瘤區域的概率和像素屬於非腫瘤區域的概率中的一項或兩項。
  13. 一種神經網路的訓練方法，包括： 通過第一神經網路確定第一圖像和第二圖像中重合的像素的第三分類結果； 通過第二神經網路確定所述第一圖像中的像素的第四分類結果； 根據所述第三分類結果和所述第四分類結果，訓練所述第二神經網路。
  14. 根據請求項13所述的方法，其中，所述通過第一神經網路確定第一圖像和第二圖像中重合的像素的第三分類結果，包括： 提取所述第一圖像的第一特徵和所述第二圖像的第二特徵； 融合所述第一特徵和所述第二特徵，得到第三特徵； 根據所述第三特徵，確定所述第一圖像和所述第二圖像中重合的像素的第三分類結果。
  15. 根據請求項13或14所述的方法，還包括： 根據所述第三分類結果，以及所述重合的像素對應的標注資料，訓練所述第一神經網路。
  16. 根據請求項13或14所述的方法，還包括： 確定所述第一圖像中的像素的第二分類結果； 根據所述第二分類結果，以及所述第一圖像對應的標注資料，訓練所述第二神經網路。
  17. 一種圖像的分割方法，包括： 根據請求項2至16中任意一項所述的方法獲得訓練後的所述第二神經網路； 將第三圖像輸入訓練後所述第二神經網路中，經由訓練後的所述第二神經網路輸出所述第三圖像中的像素的第五分類結果。
  18. 根據請求項17所述的方法，還包括： 對所述第三圖像對應的第四圖像進行骨骼分割，得到所述第四圖像對應的骨骼分割結果。
  19. 根據請求項18所述的方法，還包括： 確定所述第三圖像和所述第四圖像中的像素的對應關係； 根據所述對應關係，融合所述第五分類結果和所述骨骼分割結果，得到融合結果。
  20. 根據請求項18或19所述的方法，其中，所述第三圖像為MRI圖像，所述第四圖像為電子電腦斷層掃描CT圖像。
  21. 一種電子設備，包括： 一個或多個處理器； 配置為儲存可執行指令的記憶體； 其中，所述一個或多個處理器被配置為調用所述記憶體儲存的可執行指令，以執行請求項1至20中任意一項所述的方法。
  22. 一種電腦可讀儲存介質，其上儲存有電腦程式指令，其中，所述電腦程式指令被處理器執行時實現請求項1至20中任意一項所述的方法。
TW109137157A 2019-10-31 2020-10-26 神經網路訓練及圖像分割方法、電子設備和電腦儲存介質 TWI765386B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911063105.0A CN110852325B (zh) 2019-10-31 2019-10-31 图像的分割方法及装置、电子设备和存储介质
CN201911063105.0 2019-10-31

Publications (2)

Publication Number Publication Date
TW202118440A true TW202118440A (zh) 2021-05-16
TWI765386B TWI765386B (zh) 2022-05-21

Family

ID=69599494

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109137157A TWI765386B (zh) 2019-10-31 2020-10-26 神經網路訓練及圖像分割方法、電子設備和電腦儲存介質

Country Status (6)

Country Link
US (1) US20220245933A1 (zh)
JP (1) JP2022518583A (zh)
KR (1) KR20210096655A (zh)
CN (1) CN110852325B (zh)
TW (1) TWI765386B (zh)
WO (1) WO2021082517A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852325B (zh) * 2019-10-31 2023-03-31 上海商汤智能科技有限公司 图像的分割方法及装置、电子设备和存储介质
CN113781636B (zh) * 2021-09-14 2023-06-20 杭州柳叶刀机器人有限公司 盆骨建模方法与系统、存储介质、计算机程序产品
CN116206331B (zh) * 2023-01-29 2024-05-31 阿里巴巴（中国）有限公司 图像处理方法、计算机可读存储介质以及计算机设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295691B2 (en) * 2002-05-15 2007-11-13 Ge Medical Systems Global Technology Company, Llc Computer aided diagnosis of an image set
EP3273387B1 (en) * 2016-07-19 2024-05-15 Siemens Healthineers AG Medical image segmentation with a multi-task neural network system
WO2018048507A1 (en) * 2016-09-06 2018-03-15 Han Xiao Neural network for generating synthetic medical images
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
US10410353B2 (en) * 2017-05-18 2019-09-10 Mitsubishi Electric Research Laboratories, Inc. Multi-label semantic boundary detection system
CN107784319A (zh) * 2017-09-26 2018-03-09 天津大学 一种基于增强卷积神经网络的病理图像分类方法
JP2019067078A (ja) * 2017-09-29 2019-04-25 国立大学法人 筑波大学 画像処理方法、及び画像処理プログラム
CN111200973B (zh) * 2017-10-11 2023-12-22 皇家飞利浦有限公司 基于智能超声的生育力监测
CN107944375A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法及装置、计算设备
US11551362B2 (en) * 2018-01-10 2023-01-10 Institut De Recherche Sur Les Cancers De I Automatic segmentation process of a 3D medical image by several neural networks through structured convolution according to the geometry of the 3D medical image
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109359666B (zh) * 2018-09-07 2021-05-28 佳都科技集团股份有限公司 一种基于多特征融合神经网络的车型识别方法及处理终端
CN110110617B (zh) * 2019-04-22 2021-04-20 腾讯科技（深圳）有限公司 医学影像分割方法、装置、电子设备和存储介质
CN110276408B (zh) * 2019-06-27 2022-11-22 腾讯科技（深圳）有限公司 3d图像的分类方法、装置、设备及存储介质
TWI707299B (zh) * 2019-10-18 2020-10-11 汎思數據股份有限公司 光學檢測二次圖像分類方法
CN110852325B (zh) * 2019-10-31 2023-03-31 上海商汤智能科技有限公司 图像的分割方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
TWI765386B (zh) 2022-05-21
KR20210096655A (ko) 2021-08-05
US20220245933A1 (en) 2022-08-04
CN110852325B (zh) 2023-03-31
WO2021082517A1 (zh) 2021-05-06
CN110852325A (zh) 2020-02-28
JP2022518583A (ja) 2022-03-15

Similar Documents

Publication Publication Date Title
CN109829920B (zh) 图像处理方法及装置、电子设备和存储介质
WO2021147257A1 (zh) 网络训练、图像处理方法及装置、电子设备和存储介质
TWI754375B (zh) 圖像處理方法、電子設備、電腦可讀儲存介質
WO2021051965A1 (zh) 图像处理方法及装置、电子设备、存储介质和计算机程序
TWI765386B (zh) 神經網路訓練及圖像分割方法、電子設備和電腦儲存介質
TWI755175B (zh) 圖像分割方法、電子設備和儲存介質
JP2022502739A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
CN111899268B (zh) 图像分割方法及装置、电子设备和存储介质
WO2021057174A1 (zh) 图像处理方法及装置、电子设备、存储介质和计算机程序
JP2022515722A (ja) 画像セグメンテーション方法及び装置、電子機器並びに記憶媒体
WO2021259391A2 (zh) 图像处理方法及装置、电子设备和存储介质
TW202203153A (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
CN113222038B (zh) 基于核磁图像的乳腺病灶分类和定位方法及装置
TWI767614B (zh) 圖像處理方法及電子設備、電腦可讀儲存介質
WO2021103554A1 (zh) 图像定位的交互显示方法、装置、电子设备和存储介质
CN112070763A (zh) 一种图像数据处理方法及装置、电子设备和存储介质
CN110033005A (zh) 图像处理方法及装置、电子设备和存储介质
WO2021259390A2 (zh) 一种冠脉钙化斑块检测方法及装置
CN112116575A (zh) 一种图像处理方法及装置、电子设备和存储介质
JP2022548453A (ja) 画像分割方法及び装置、電子デバイス並びに記憶媒体
CN112613447A (zh) 关键点检测方法及装置、电子设备和存储介质
WO2022012038A1 (zh) 图像处理方法及装置、电子设备、存储介质和程序产品
CN113553460B (zh) 影像检索方法及装置、电子设备和存储介质
CN113298157A (zh) 病灶匹配方法及装置、电子设备和存储介质