TWI713054B

TWI713054B - 圖像分割方法及裝置、電子設備和儲存媒體

Info

Publication number: TWI713054B
Application number: TW108137871A
Authority: TW
Inventors: 趙培澤; 劉星龍; 黃寧
Original assignee: 大陸商北京市商湯科技開發有限公司
Priority date: 2019-04-18
Filing date: 2019-10-21
Publication date: 2020-12-11
Also published as: CN110060262A; JP2022515722A; WO2020211293A1; KR20210107667A; TW202040587A

Abstract

一種圖像分割方法及裝置、電子設備和儲存媒體，其中，該圖像分割方法包含：根據一肺部圖像中的一肺葉數據和一肺裂數據得到一肺葉分割網路、根據該肺葉分割網路確定該肺部圖像中的一目標肺葉所在的位置，以實現全自動的肺葉分割方法，而達到減少對肺葉的位置定位的時間並提高定位準確度。

Description

圖像分割方法及裝置、電子設備和儲存媒體

本發明涉及計算機視覺技術領域，尤其涉及一種圖像分割方法及裝置、電子設備和儲存媒體。

在臨床診斷中，呼吸科醫生經常依據被感染的肺葉來做出疾病嚴重性評估和制定治療手段，而放射科醫生則會在遇到肺部疾病或病變時尋找臨近切片才能確定發病肺葉，此類病灶定位通常會由於肺部裂隙不可見的原因而造成診斷失誤，如何確定肺葉位置以及時對病灶進行定位，是要目前需要解決的問題，然而，現有技術中未存在有效的解決方案。

因此，本發明之第一目的，即在提供一種解決上述問題的圖像分割方法。

於是，本發明圖像分割方法包含：根據一肺部圖像中的一肺葉數據和一肺裂數據得到一肺葉分割網路。根據該肺葉分割網路，確定該肺部圖像中的一目標肺葉所在的位置。

較佳地，該根據該肺部圖像中的該肺葉數據和該肺裂數據得到該肺葉分割網路，進一步包括：將該肺裂數據用於使包含該肺葉數據的該肺葉分割網路訓練中，得到一訓練後的肺葉分割網路。較佳地，該根據該肺葉分割網路，確定該肺部圖像中的該目標肺葉所在的位置，進一步包括：根據訓練後的肺葉分割網路，確定該肺部圖像中的該目標肺葉所在的位置。較佳地，將該肺裂數據用於使包含該肺葉數據的該肺葉分割網路訓練中，得到該訓練後的肺葉分割網路，進一步包括：根據該肺裂數據和該肺葉數據相結合所得到的一混合損失函數，進行一損失函數的反向傳播。通過該損失函數的反向傳播使該肺葉分割網路訓練中，得到該訓練後的肺葉分割網路。較佳地，該根據該肺裂數據和該肺葉數據相結合所得到的一混合損失函數，進行該損失函數的反向傳播之前，還包括：根據該肺葉數據得到一第一損失函數和一第二損失函數。根據該肺裂數據得到一第三損失函數。根據該第一損失函數、該第二損失函數和該第三損失函數得到該混合損失函數。較佳地，該將該肺裂數據用於使包含該肺葉數據的該肺葉分割網路訓練中之前，還包括：將該肺部圖像輸入該肺葉分割網路中，對該肺部圖像進行多層級的下取樣處理和對應的上取樣處理，得到多個分別對應多個不同層級的下取樣處理結果和上取樣處理結果。將一同一層級的下取樣處理結果和上取樣處理結果進行跳躍連接處理，直至對所有層級處理結束，得到一對應不同分辨率和多尺度大小的多層輸出結果。較佳地，該多層輸出結果包括一用於標示該肺裂數據的第一體素數據，和/或一用於標示該肺葉數據的第二體素數據，該圖像分割方法還包括：將該第一體素數據和/或該第二體素數據作為一用於訓練該肺葉分割網路的訓練數據。較佳地，該將該同一層級的下取樣處理結果和上取樣處理結果進行跳躍連接處理，進一步包括：將該同一層級的下取樣處理結果和上取樣處理結果中同一尺度的特徵進行融合，得到一跳躍處理結果。

本發明之第二目的，即在提供一種圖像分割裝置，包含一用於根據一肺部圖像中的一肺葉數據和一肺裂數據得到一肺葉分割網路的分割網路獲得單元與一用於根據該肺葉分割網路，確定該肺部圖像中的一目標肺葉所在的位置的位置確定單元。

本發明之第三目的，即在提供一種電子設備，包含：一處理器；一用於儲存該處理器可執行指令的儲存器；其中，該處理器用於執行請求項1至7中任一項的圖像分割方法

本發明之第三目的，即在提供一種用於儲存一計算機程序指令的儲存媒體，該計算機程序指令被一處理器執行時執行請求項1至7中任一項的圖像分割方法。

本發明之功效在於：由於該肺葉分割網路不依賴人工定位，而是根據肺葉數據和肺裂數據訓練得到的自動化分割網路，因此，基於全自動的肺葉分割方法以肺葉分割網路能準確的確定肺葉位置，同時達到減少對肺葉的病灶位置定位的時間。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。另外，為了更好的說明本發明，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。

在臨床診斷中，一方面，可以通過人眼識別來確定肺葉的位置。呼吸科醫生經常依據被感染的肺葉來做出疾病嚴重性評估和制定治療手段。另一方面，可以通過影像學方法來確定肺葉的位置。放射科醫生會在遇到肺部疾病或病變時尋找臨近切片才能確定發病肺葉。此類病灶定位通常會由於肺部裂隙不可見的原因而造成診斷失誤。相關技術中，在進行肺葉分割時，需要依賴預先的氣管和血管來分割，或是需要用戶的交互從而優化分割結果，即需要依賴醫生的人工操作來予以識別和優化，因此，不僅得到的肺葉分割結果較差，而且分割速度很慢。

綜上所述，無論是採用人眼識別，還是使用影像學方法來確定肺葉的位置，都面臨著以下問題：1、大多數肺裂是不完整的，經常無法延伸到肺部邊緣，相關研究已經確認了肺裂的不完整是常見現象；2、肺葉邊緣的視覺特徵會由於病理學因素影響而產生變化，這些視覺特徵包括厚度、位置和形狀；3、肺部存在其他裂隙（如副裂和奇裂）可能被誤識為大小肺裂。

構建一種可靠且全自動化的肺葉分割網路來確定肺葉的位置，對肺部疾病的診斷、評估和量化有著重要的意義。全自動的肺葉分割方法，還會幫助醫生們減少病灶定位的時間並提高定位準確度。

如圖1所示，本發明圖像分割方法之一實施例的流程圖，該圖像分割方法由一圖像分割裝置執行，例如，圖像分割裝置可以由終端設備或服務器或其它處理設備執行，其中，終端設備可以為用戶設備（UE，User Equipment）、移動設備、蜂窩電話、無繩電話、個人數字處理（PDA，Personal Digital Assistant）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該圖像分割方法可以通過處理器調用存儲器中存儲的計算機可讀指令的方式來實現。如圖1所示，該圖像分割方法的流程包括：

步驟S101：根據肺部圖像中的肺葉數據和肺裂數據得到肺葉分割網路。

肺部圖像可以是醫院拍一電腦斷層成像（Computed Tomography，以下簡稱CT）的圖像，該肺葉數據和肺裂數據可以是手工標注的肺葉和肺裂數據，根據該手工標注的肺葉和肺裂數據來使肺葉分割網路進行訓練，得到訓練後的肺葉分割網路。

需要指出的是，在肺葉分割的任務中，需要提高分割精度，降低假陽性，區分不同肺葉位置。由於成像和自然生理原因，部分CT影像中可能沒有可見的肺裂，視覺上無法區分不同的肺葉，會產生誤分割的可能。為此，在輸入數據中加入手動標注的肺裂進行網絡訓練，通過這種方式，可以提高了分割準確度。輸入肺葉分割網路的訓練數據，不僅包括肺葉數據，還包括肺裂數據。將肺裂數據用於包含肺葉數據的肺葉分割網路訓練中，而不是只依賴肺葉數據本身，由於該肺裂數據，是用於標示肺葉的邊界信息，因此，將該肺裂數據輔助於肺葉分割網路進行訓練中，強化了肺葉分割網路對肺葉邊界的特徵提取，使採用該訓練後的肺葉分割網路能更精確的進行圖像分割，以從肺部圖像中確定出肺葉的位置。

步驟S102、根據肺葉分割網路，確定肺部圖像中目標肺葉所在的位置。

根據該手工標注的肺葉和肺裂數據來使肺葉分割網路進行訓練，得到訓練後的肺葉分割網路後，可根據訓練後的肺葉分割網路，確定肺部圖像中目標肺葉所在的位置。就目標肺葉而言，人類的肺被分成五個肺葉，其中右肺有三個肺葉，為右上肺葉（RUL，right upper lobe）、右中肺葉（RML，right middle lobe）和右下肺葉（RLL，right lower lobe），分別被小肺裂和大肺裂所分隔。而左肺有兩個肺葉，為左上肺葉（LUL，left upper lobe）和左下肺葉（LLL，left lower lobe），被大肺裂所分隔。這五個肺葉分別功能性獨立，而且有各自的支氣管和血管系統。根據該訓練後的肺葉分割網路，可以確定肺部圖像中這五個肺葉在肺部圖像中所在的位置。

如圖2所示，是本實施例的圖像分割方法的另一流程圖，該圖像分割方法由一圖像分割裝置執行，例如，圖像分割裝置可以由終端設備或服務器或其它處理設備執行，其中，終端設備可以為用戶設備（UE，User Equipment）、移動設備、蜂窩電話、無繩電話、個人數字處理（PDA，Personal Digital Assistant）、手持設備、計算設備、車載設備、可穿戴設備等。在本實施例中，該圖像分割方法可以通過處理器調用儲存器中儲存的計算機可讀指令的方式來實現。如圖2所示的圖像分割方法包括：

步驟S201、根據肺裂數據和肺葉數據相結合所得到的混合損失函數，進行損失函數的反向傳播。

步驟S202、通過損失函數的反向傳播對肺葉分割網路進行訓練，得到訓練後的肺葉分割網路。

本實施例可以採用肺葉Dice加肺葉和肺裂Cross Entropy相結合的混合損失函數作為該損失函數，通過該損失函數的反向傳播來訓練肺葉分割網路中的各個參數，即對該肺葉分割網路進行參數調整最佳化。

本實施例可以根據肺裂數據和肺葉數據相結合所得到的混合損失函數，進行損失函數的反向傳播之前，根據肺葉數據得到第一損失函數（如D_lobe）和第二損失函數（如〖H(p,q)〗_lobe）。根據肺裂數據得到第三損失函數（如〖H(p,q)〗_fissure）。根據該第一損失函數、該第二損失函數和該第三損失函數得到該混合損失函數。如何計算混合損失函數具體的運算過程在後文中將具體闡述。

通過步驟S201到步驟S202，可以根據手工標注的肺葉數據和肺裂數據得到訓練後的肺葉分割網路。由於該肺裂數據是用於標示肺葉的邊界信息，因此，將該肺裂數據輔助於肺葉分割網路訓練中，強化了肺葉分割網路對肺葉邊界的特徵提取，使採用該訓練後的肺葉分割網路能更精確的進行圖像分割，以從肺部圖像中確定出肺葉的位置。換言之，在肺葉以外，使用手動標注的肺裂作為輸入肺葉分割網路進行訓練，加強了肺葉分割網路模型對肺裂位置的敏感度，提高在肺葉分界處的關注度。可以提高不同肺葉邊界處的分割效果，減少邊界模糊。

步驟S203、根據訓練後的肺葉分割網路，確定肺部圖像中目標肺葉所在的位置。

根據該手工標注的肺葉和肺裂數據來訓練肺葉分割網路，得到訓練後的肺葉分割網路後，可根據訓練後的肺葉分割網路，確定肺部圖像中目標肺葉所在的位置。就目標肺葉而言，人類的肺被分成五個肺葉，其中右肺有三個肺葉，為右上肺葉（RUL，right upper lobe）、右中肺葉（RML，right middle lobe）和右下肺葉（RLL，right lower lobe），分別被小肺裂和大肺裂所分隔。而左肺有兩個肺葉，為左上肺葉（LUL，left upper lobe）和左下肺葉（LLL，left lower lobe），被大肺裂所分隔。這五個肺葉分別功能性獨立，而且有各自的支氣管和血管系統。根據該訓練後的肺葉分割網路，可以確定肺部圖像中這五個肺葉在肺部圖像中所在的位置。

如圖3所示，是圖像分割方法的一流程圖，該圖像分割方法由一圖像分割裝置執行，例如，圖像分割裝置可以由終端設備或服務器或其它處理設備執行，其中，終端設備可以為用戶設備（UE，User Equipment）、移動設備、蜂窩電話、無繩電話、個人數字處理（PDA，Personal Digital Assistant）、手持設備、計算設備、車載設備、可穿戴設備等。該圖像分割方法可以通過處理器執行儲存器（如記憶體）中儲存的計算機可讀指令的方式來實現。如圖3所示的圖像分割方法包括以下流程：

步驟S301、將肺部圖像輸入肺葉分割網路中，對肺部圖像進行多層級的下取樣處理和對應的上取樣處理，得到多個分別對應多個不同層級的下取樣處理結果和上取樣處理結果。

取樣是採集模擬信號的樣本，取樣是將時間上、幅值上都連續的信號，在取樣脈衝的作用下，轉換成時間、幅值上離散的信號。取樣又稱為波形的離散化過程。其中，下取樣：是對於一個樣值序列，間隔幾個樣值來取樣一次，得到的新序列為原序列的下取樣。縮小圖像（或稱為下取樣或降取樣）的主要目的有兩個：1、使得圖像符合顯示區域的大小；2、生成對應圖像的縮略圖。上取樣：是下取樣的逆過程。上取樣的實質是內插或差值。圖像放大幾乎都是採用內插值方法，即在原有圖像像素的基礎上在像素點之間採用合適的插值算法插入新的元素。放大圖像（或稱為上取樣或圖像插值）的主要目的是放大原圖像，從而可以顯示在更高分辨率的顯示設備上。需要指出的是，上取樣和下取樣都是對數字信號的重新採集，重新採集的采樣率與原來獲得該數字信號（比如從模擬信號取樣而來）的采樣率比較，大於原信號的，稱為上取樣；小於原信號的，稱為下取樣。

本發明一可能實現方式中，多次下取樣和對應的上取樣及跳躍連接可以為：輸入一張肺部圖像的CT，對該CT進行第一層下取樣，得到第一下取樣結果，對第一下取樣結果進行第二層下取樣，得到第二下取樣結果，依次，進行多層級的下取樣（本發明不限於四層下取樣）。以四層下取樣為例，對第二下取樣結果進行第三層下取樣，得到第三下取樣結果，對第三下取樣結果進行第四層下取樣，得到第四下取樣結果，下取樣結束後，對下取樣最底層的第四下取樣結果（本發明中的第四次下取樣之後的結果），進行第一次上取樣，得到第一上取樣結果，對第一上取樣結果進行第二次上取樣，得到第二上取樣結果，對第二上取樣結果進行第三次上取樣，得到第三上取樣結果，對第三上取樣結果進行第四次上取樣，得到第四上取樣結果。

跳躍連接是針對同一層級，比如，對於第一層，下取樣“第一下取樣結果”與上取樣“第三上取樣結果”對應，因此，將第一下取樣結果和第三上取樣結果進行跳躍連接。

步驟S302、將同一層級的下取樣處理結果和上取樣處理結果進行跳躍連接處理，直至對所有層級處理結束，得到對應不同分辨率和多尺度大小的多層輸出結果。

本實施例中，將同一層級的下取樣處理結果和上取樣處理結果中同一尺度的特徵進行融合，得到跳躍處理結果。通過融合同一尺度的卷積特徵，提高分割精度。

該多層輸出結果包括：用於標示該肺裂數據的第一體素數據，和/或用於標示該肺葉數據的第二體素數據。

步驟S303、將用於標示肺裂數據的第一體素數據和用於標示肺葉數據的第二體素數據作為訓練數據所得到的混合損失函數，進行損失函數的反向傳播，通過損失函數的反向傳播對肺葉分割網路進行訓練，得到訓練後的肺葉分割網路。

本實施例中，還可以在該訓練數據輸入肺葉分割網路前進行下取樣，以減小數據量，用有限的計算資源分割整個肺部，在保證完整數據輸入的前提下，使用更為完備的網絡模型。通過在該訓練數據輸入肺葉分割網路前進行下取樣，可以加快對數據的處理速度，將分割速度控制在2秒以內。

步驟S304、根據訓練後的肺葉分割網路，確定肺部圖像中目標肺葉所在的位置。

本發明中，對於肺裂和肺葉分割處理流程，輸入的肺部圖像CT是一樣的，採用的網路都是同一個網路，不同流程得到不同的數據，都可以採用上述步驟S301-步驟S302的處理流程。肺裂和肺葉分割處理流程二者的處理模式是相同的，其處理中的不同之處在於：對於肺裂數據，可以是用於標示肺裂數據的第一體素數據；對於肺葉數據，可以是用於標示肺葉數據的第二體素數據。也就是說，根據多層輸出結果可以得到最終處理結果，從該最終處理結果中所提取並用於訓練的數據是兩種，一種是針對肺裂的第一體素數據，另一種是針對肺葉的第二體素數據。肺裂和肺葉分割處理流程可以是同時進行的。

就體素而言，對於一副圖像，如果該圖像為2D圖像，則該圖像可以描述為由多個像素構成，像素是二維的；如果該圖像為3D圖像，則該圖像可以描述為由多個體素所構成，體素是三維的，在3D圖像中，體積分為均勻間隔的行和列，涵蓋所有三個不同的方向（上下、左右，內外）。這將3D空間劃分成立方體，也稱為體素（體積元素或體積像素）。每個體素由三維坐標和該坐標處的顏色定義。

該肺葉分割網路為端到端的3D分割網絡（或稱為基於VNet的3D卷積神經網絡）。為了實現更精確的分割，本實施例採用端到端的3D分割網絡結構，對肺部進行整體分割，提高了在空間上的感知能力，可以提取更多的空間信息，從而提高各肺葉的分割結果。右中肺葉因其形狀和位置多變，預測準確度不高，採用3D分割網絡可以對該右中肺葉區域進行精准分割。由於通過混合損失函數的反向傳播來訓練該網絡結構，是一種深度學習模型，與相關技術相比不需要醫生在分割結果上進行額外的工作，即無需醫生的交互和修改才能得到較為準確的肺葉分割結果，而是利用該網絡結構進行全自動的肺葉分割，在保證分割精度的同時減少醫生的工作量，提高分割的處理效率。

首先將肺部圖像輸入肺葉分割網路中，對肺部圖像進行多層級的下取樣處理和對應的上取樣處理，將同一層級的下取樣處理結果和上取樣處理結果進行跳躍連接處理，直至對所有層級處理結束，得到對應不同分辨率和多尺度大小的多層輸出結果。將同一層級的下取樣處理結果和上取樣處理結果中同一尺度的特徵進行融合，得到跳躍處理結果，通過融合同一尺度的卷積特徵的方式來提高分割精度。然後，將肺裂數據和肺葉數據用於網絡訓練，根據肺裂數據和肺葉數據相結合所得到的混合損失函數進行損失函數的反向傳播，實現對肺葉分割網路的訓練。通過這種訓練方式所得到的肺葉分割網路，可以提高分割準確度。使採用該訓練後的肺葉分割網路能更精確的進行圖像分割，以從肺部圖像中確定出肺葉的位置，從而根據肺葉的位置，可以及時對病灶進行定位。

應用例：

該肺葉分割網路的訓練過程包含以下兩個流程，肺葉整體的分割和肺裂的分割流程。對於肺裂和肺葉分割處理流程，輸入的肺部圖像CT是一樣的，採用的網路都是同一個網路。圖4為根據本發明的訓練過程示意圖。如圖4所示，基於端到端3D結構的肺葉分割網路，分別進行肺葉分割和肺裂分割工作，肺部圖像111為肺葉分割網路的輸入數據，肺部圖像111可以為3維CT數據，通過上取樣、對應的下取樣及同層的跳躍連接，可以得到肺葉分割網路的輸出數據，輸出數據包括兩種：肺葉數據112和肺裂數據113。然後根據肺裂數據113和肺葉數據112訓練該肺葉分割網路。肺葉分割和肺裂分割工作具體可分為以下兩個部分。

一、肺葉分割

基於端到端3D結構的肺葉分割網路，如圖4所示，肺葉分割網路的輸入為肺部3維CT數據，在肺葉分割網路中進行多次下取樣和對應的上取樣過程以及跳躍連接，產生不同分辨率和多尺度大小的多層輸出，將這些多尺度輸出結合在一起就得到了最終分割結果。其中，輸入的原始數據是z×x×y的單通道灰度圖像，經過數據預處理之後進入3D分割網絡，而輸出則為z×x×y尺寸的6通道張量，分別代表每個體素位置屬於哪個肺葉或是背景。其中每個跳躍連接都是將網絡中下取樣與其相對應的上取樣相融合，這樣的級聯合成了該數據的3D概率分佈圖。

二、肺裂分割

基於端到端3D結構的肺葉分割網路，如圖4所示，為了提取肺部邊界的信息，使用肺裂作為目標結果進行訓練。利用端到端3D結構進行多尺度的卷積特徵融合。為了充分利用肺葉分割網路中的局部信息，在肺葉分割網路中採用多柵卷積的網絡結構代替相關技術中的卷積塊，肺葉分割網路中用四尺度代替了相關技術的單尺度網絡，以增強特徵融合效果。多柵卷積的網絡結構在每個卷積層之前將不同尺度的特徵圖進行級聯，降低了傳統FCN、U-Net等網絡結構由於降取樣造成的特徵損失。將多柵網絡用於3D分割，通過融合不同尺度的卷積特徵，提高分割精度，在提取肺裂位置信息時有更準確的預測效果。網絡的輸入與肺葉分割相同，是z×x×y的單通道灰度圖像，輸出為4通道3D數據（其中3通道為人體內3條肺裂的位置信息，1通道為背景信息）。

訓練過程中，本發明採用肺葉Dice加肺葉和肺裂Cross Entropy相結合的混合損失作為損失函數對網絡進行參數調優。其中Dice損失函數的表達式如公式（1）所示。

(1)

其中，V表示3D圖像中的所有體素點，pi為i體素點被預測為目標類的概率，即預測為目標肺葉的概率；li為該體素點的實際標簽。採用多Dice的加權以修正邊界，肺葉訓練時的Dice損失函數如公式（2）所示。

(2)

其中，

表示五個肺葉分別的Dice，α是可調節係數，用來標定各肺葉在分割任務中的權重對整體分割的影響。

Cross Entropy損失函數的表達式如公式（3）所示：

(3)

其中 p(x)為預測正確的概率， q(x)為預測錯誤的概率。

最後的損失函數採用公式（4）計算得到：

(4)

其中D _lobe為肺葉訓練時的Dice損失函數，H(p,q) _lobe為肺葉訓練時的Cross Entropy損失函數， H(p,q) _fissure為肺裂訓練時的Cross Entropy損失函數，β ₁、β ₂、β ₃是各個損失函數的權重，決定各部分訓練結果對最終分割結果對影響。

本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。

本發明提及的上述各個實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。

此外，本發明還提供了圖像分割裝置、電子設備、儲存媒體、程序，上述均可用來實現本發明提供的任一種圖像分割方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。

如圖5所示，本發明圖像分割裝置之一實施例包括一用於根據肺部圖像中的肺葉數據和肺裂數據得到肺葉分割網路的分割網路獲得單元31與一用於根據該肺葉分割網路，確定該肺部圖像中目標肺葉所在的位置的位置確定單元32。

分割網路獲得單元31更進一步用於將該肺裂數據輸入到包含該肺葉數據的肺葉分割網路以進行訓練，得到訓練後的肺葉分割網路。位置確定單元32更可進一步用於根據該訓練後的肺葉分割網路，確定該肺部圖像中目標肺葉所在的位置。

該分割網路獲得單元31更進一步用於：根據該肺裂數據和該肺葉數據相結合所得到的混合損失函數，進行損失函數的反向傳播，通過該損失函數的反向傳播使該肺葉分割網路訓練中，得到訓練後的肺葉分割網路。

圖像分割裝置還包括一混合損失函數確定單元、一數據處理單元與一數據確定單元（圖未示），該混合損失函數確定單元用於：根據該肺葉數據得到第一損失函數和第二損失函數；根據該肺裂數據得到第三損失函數；根據該第一損失函數、該第二損失函數和該第三損失函數得到該混合損失函數。

該數據處理單元用於：將該肺部圖像輸入該肺葉分割網路中，對該肺部圖像進行多層級的下取樣處理和對應的上取樣處理，得到對應不同層級的下取樣處理結果和上取樣處理結果；將同一層級的下取樣處理結果和上取樣處理結果進行跳躍連接處理，直至對所有層級處理結束，得到對應不同分辨率和多尺度大小的多層輸出結果。其中，該多層輸出結果包括：用於標示該肺裂數據的第一體素數據，和/或用於標示該肺葉數據的第二體素數據；所述裝置還包括：數據確定單元，用於：將所述第一體素數據和/或該第二體素數據作為用於訓練該肺葉分割網路的訓練數據。

數據處理單元進一步用於：將所述同一層級的下取樣處理結果和上取樣處理結果中同一尺度的特徵進行融合，得到跳躍處理結果。

在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模塊可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。

本發明實施例還提出一種儲存媒體，其上存儲有計算機程序指令，所述計算機程序指令被處理器執行時實現上述方法。儲存媒體可以是一非揮發性記憶體（Non-Volatile Memory，簡稱NVM）硬碟、光碟與磁帶。非揮發性記憶體包括唯讀記憶體和快閃記憶體，指當電流關掉後，所儲存的資料不會消失的電腦記憶體。

本發明電子設備之一實施例，包括一處理器與一儲存器，該儲存器用於儲存一該處理器可執行的指令。其中，該處理器用於執行上述圖像分割方法。電子設備可以被提供為終端、服務器或其它形態的設備。

如圖6所示，是一種電子設備800的方塊圖。例如，電子設備800可以是移動電話，計算機，數字廣播終端，消息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數字助理等終端。

參照圖6，電子設備800可以包括以下一個或多個組件：處理組件802，儲存器804，電源組件806，多媒體組件808，音頻組件810，輸入/輸出（I/ O）的接口812，傳感器組件814，以及通信組件816。

處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，數據通信，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模塊，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模塊，以方便多媒體組件808和處理組件802之間的交互。

儲存器804用於存儲各種類型的數據以支持在電子設備800的操作。這些數據的示例包括用於在電子設備800上操作的任何應用程序或方法的指令，連絡人數據，電話簿數據，消息，圖片，視頻等。儲存器804可以由任何類型的易失性或非易失性存儲設備或者它們的組合實現，如靜態隨機存取記憶體（SRAM）、電可擦除可編程唯讀記憶體（EEPROM）、可擦除可編程唯讀記憶體（EPROM）、可編程唯讀存儲器（PROM）、唯讀記憶體（ROM），磁存儲器、快閃存儲器、磁盤或光盤。

電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。

多媒體組件808包括在所述電子設備800和用戶之間的提供一個輸出接口的屏幕。在一些實施例中，屏幕可以包括液晶顯示器（LCD）和觸摸面板（TP）。如果屏幕包括觸摸面板，屏幕可以被實現為觸摸屏，以接收來自用戶的輸入信號。觸摸面板包括一個或多個觸摸傳感器以感測觸摸、滑動和觸摸面板上的手勢。觸摸傳感器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝像頭和/或後置攝像頭。當電子設備800處於操作模式，如拍攝模式或視頻模式時，前置攝像頭和/或後置攝像頭可以接收外部的多媒體數據。每個前置攝像頭和後置攝像頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。

音頻組件810用於輸出和/或輸入音頻信號。例如，音頻組件810包括一個麥克風（MIC），當電子設備800處於操作模式，如呼叫模式、記錄模式和語音識別模式時，麥克風用於接收外部音頻信號。所接收的音頻信號可以被進一步存儲在儲存器804或經由通信組件816發送。在一些實施例中，音頻組件810還包括一個揚聲器，用於輸出音頻信號。

I/O接口812為處理組件802和外圍接口模塊之間提供接口，上述外圍接口模塊可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。

傳感器組件814包括一個或多個傳感器，用於為電子設備800提供各個方面的狀態評估。例如，傳感器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件為電子設備800的顯示器和小鍵盤，傳感器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，用戶與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。傳感器組件814可以包括接近傳感器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。傳感器組件814還可以包括光傳感器，如CMOS或CCD圖像傳感器，用於在成像應用中使用。在一些實施例中，該傳感器組件814還可以包括加速度傳感器，陀螺儀傳感器，磁傳感器，壓力傳感器或溫度傳感器。

通信組件816用於便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網絡，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通信組件816經由廣播信道接收來自外部廣播管理系統的廣播信號或廣播相關信息。在一個示例性實施例中，所述通信組件816還包括近場通信（NFC）模塊，以促進短程通信。例如，在NFC模塊可基於射頻識別（RFID）技術，紅外數據協會（IrDA）技術，超寬帶（UWB）技術，藍牙（BT）技術和其他技術來實現。

在示例性實施例中，電子設備800可以被一個或多個應用專用集成電路（ASIC）、數字信號處理器（DSP）、數字信號處理設備（DSPD）、可編程邏輯器件（PLD）、現場可編程門陣列（FPGA）、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述圖像分割方法。

在上述實施例中，還提供了一種非易失性儲存媒體，例如一用於儲存計算機程序指令的儲存器804，計算機程序指令可由電子設備800的處理器820執行以完成上述圖像分割方法。

圖7是一種電子設備900之另一實施例的方塊圖。例如，電子設備900可以被提供為一服務器。參照圖7，電子設備900包括處理組件922與一儲存器932，處理組件922包括一個或多個處理器，儲存器932用於儲存可由處理組件922的執行的指令，例如應用程序。儲存器932中存儲的應用程序可以包括一個或一個以上的每一個對應於一組指令的模塊。此外，處理組件922用於執行指令，以執行上述圖像分割方法。

電子設備900還可以包括一個電源組件926用於執行電子設備900的電源管理，一個有線或無線網路接口950用於將電子設備900連接到網絡，和一個輸入輸出（I/O）接口958。電子設備900可以操作基於儲存在儲存器932的操作系統，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或類似。

在示例性實施例中，還提供了一種非易失性儲存媒體，例如包括計算機程序指令的儲存器932，該計算機程序指令可由電子設備900的處理組件922執行以完成上述圖像分割方法。

本發明可以是系統、方法和/或計算機程序產品。計算機程序產品可以包括儲存媒體，其上載有用於使處理器實現本發明的各個方面的計算機可讀程序指令。

儲存媒體可以是可以保持和存儲由指令執行設備使用的指令的有形設備。儲存媒體例如可以是――但不限於――電存儲設備、磁存儲設備、光存儲設備、電磁存儲設備、半導體存儲設備或者上述的任意合適的組合。儲存媒體的更具體的例子（非窮舉的列表）包括：便攜式計算機盤、硬盤、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可擦式可編程唯讀記憶體（EPROM或閃存）、靜態隨機存取記憶體（SRAM）、便攜式壓縮盤唯讀記憶體（CD-ROM）、數字多功能盤（DVD）、記憶棒、軟盤、機械編碼設備、例如其上存儲有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的儲存媒體不被解釋為瞬時信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波（例如，通過光纖電纜的光脈衝）、或者通過電線傳輸的電信號。

這裡所描述的計算機可讀程序指令可以從儲存媒體下載到各個計算/處理設備，或者通過網絡、例如因特網、局域網、廣域網和/或無線網下載到外部計算機或外部存儲設備。網絡可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、網關計算機和/或邊緣服務器。每個計算/處理設備中的網路適配卡或者網路接口從網絡接收計算機可讀程序指令，並轉發該計算機可讀程序指令，以供存儲在各個計算/處理設備中的儲存媒體中。

用於執行本發明操作的計算機程序指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置數據、或者以一種或多種編程語言的任意組合編寫的源代碼或目標代碼，所述編程語言包括面向對象的編程語言—諸如Smalltalk、C++等，以及常規的過程式編程語言—諸如“C”語言或類似的編程語言。計算機可讀程序指令可以完全地在用戶計算機上執行、部分地在用戶計算機上執行、作為一個獨立的軟件包執行、部分在用戶計算機上部分在遠程計算機上執行、或者完全在遠程計算機或服務器上執行。在涉及遠程計算機的情形中，遠程計算機可以通過任意種類的網絡—包括局域網(LAN)或廣域網(WAN)—連接到用戶計算機，或者，可以連接到外部計算機（例如利用因特網服務提供商來通過因特網連接）。在一些實施例中，通過利用計算機可讀程序指令的狀態信息來個性化定制電子電路，例如可編程邏輯電路、現場可編程門陣列（FPGA）或可編程邏輯陣列（PLA），該電子電路可以執行計算機可讀程序指令，從而實現本發明的各個方面。

這裡參照根據本發明實施例的方法、裝置（系統）和計算機程序產品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解，流程圖和/或方塊圖的每個方框以及流程圖和/或方塊圖中各方框的組合，都可以由計算機可讀程序指令實現。

這些計算機可讀程序指令可以提供給通用計算機、專用計算機或其它可編程數據處理裝置的處理器，從而生產出一種機器，使得這些指令在通過計算機或其它可編程數據處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作的裝置。也可以把這些計算機可讀程序指令存儲在儲存媒體中，這些指令使得計算機、可編程數據處理裝置和/或其他設備以特定方式工作，從而，存儲有指令的計算機可讀介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作的各個方面的指令。

也可以把計算機可讀程序指令加載到計算機、其它可編程數據處理裝置、或其它設備上，使得在計算機、其它可編程數據處理裝置或其它設備上執行一系列操作步驟，以產生計算機實現的過程，從而使得在計算機、其它可編程數據處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作。

附圖中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和計算機程序產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方框可以代表一個模塊、程序段或指令的一部分，所述模塊、程序段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方框中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方框實際上可以基本並行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方框、以及方塊圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基於硬件的系統來實現，或者可以用專用硬件與計算機指令的組合來實現。

在不違背邏輯的情況下，本申請不同實施例之間可以相互結合，不同實施例描述有所側重，為側重描述的部分可以參見其他實施例的記載。以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中技術的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。

綜上所述，本發明裝置，故確實能達成本發明之目的。惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

S101··· 得到肺葉分割網路的步驟 S102··· 確定目標肺葉所在位置的步驟 S201··· 進行一損失函數的反向傳播的步驟 S202··· 得到該訓練後的肺葉分割網路的步驟 S203··· 確定該目標肺葉所在的位置的步驟 S301··· 多層級的下取樣處理和對應的上取樣處理的步驟 S302··· 跳躍連接處理的步驟 S303··· 訓練數據的步驟 S304··· 確定目標肺葉所在的位置的步驟 31······· 分割網路獲得單元 32······· 位置確定單元 802····· 處理組件 804····· 儲存器 806····· 電源組件 808····· 多媒體組件 810····· 音頻組件 812····· 輸入/輸出的接口 814····· 傳感器組件 816····· 通信組件 820····· 處理器 922····· 處理組件 932····· 儲存器 926····· 電源組件 950····· 網路接口 958····· 輸入輸出接口

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是本發明圖像分割方法之一實施例的一流程圖；圖2是該圖像分割方法的另一流程圖；圖3是該圖像分割方法的另一流程圖；圖4是該實施例的訓練過程的一流程圖；圖5是本發明圖像分割裝置的一方塊圖；圖6是本發明電子設備的一方塊圖；及圖7是本發明電子設備的另一方塊圖。

S101··· 得到肺葉分割網路的步驟 S102··· 確定目標肺葉所在位置的步驟

Claims

一種圖像分割方法，包含：根據一肺部圖像中的一肺葉數據和一肺裂數據，對一肺葉分割網路訓練，得到一訓練後的肺葉分割網路；根據該訓練後的肺葉分割網路，確定一肺部圖像中的一目標肺葉所在的位置。
如請求項1所述的圖像分割方法，其中，該根據一肺部圖像中的一肺葉數據和一肺裂數據，對一肺葉分割網路訓練，得到一訓練後的肺葉分割網路，進一步包括：將該肺裂數據用於使包含該肺葉數據的該肺葉分割網路訓練中，得到該訓練後的肺葉分割網路。
如請求項2所述的圖像分割方法，其中，將該肺裂數據用於使包含該肺葉數據的該肺葉分割網路訓練中，得到該訓練後的肺葉分割網路，進一步包括：根據該肺裂數據和該肺葉數據相結合所得到的一混合損失函數，進行一損失函數的反向傳播；通過該損失函數的反向傳播使該肺葉分割網路訓練中，得到該訓練後的肺葉分割網路。
如請求項3所述的圖像分割方法，其中，根據該肺裂數據和該肺葉數據相結合所得到的一混合損失函數，進行該損失函數的反向傳播之前，還包括：根據該肺葉數據得到一第一損失函數和一第二損失函數；根據該肺裂數據得到一第三損失函數；根據該第一損失函數、該第二損失函數和該第三損失函數得到該混合損失函數。
如請求項2所述的圖像分割方法，其中，將該肺裂數據用於使包含該肺葉數據的該肺葉分割網路訓練中之前，還包括：將該肺部圖像輸入該肺葉分割網路中，對該肺部圖像進行多層級的下取樣處理和對應的上取樣處理，得到多個分別對應多個不同層級的下取樣處理結果和上取樣處理結果；將一同一層級的下取樣處理結果和上取樣處理結果進行跳躍連接處理，直至對所有層級處理結束，得到一對應不同分辨率和多尺度大小的多層輸出結果。
如請求項5所述的圖像分割方法，其中，該多層輸出結果包括一用於標示該肺裂數據的第一體素數據，和/或一用於標示該肺葉數據的第二體素數據，該圖像分割方法還包括以下步驟：將該第一體素數據和/或該第二體素數據作為一用於訓練該肺葉分割網路的訓練數據。
如請求項5所述的圖像分割方法，其中，將該同一層級的下取樣處理結果和上取樣處理結果進行跳躍連接處理，進一步包括：將該同一層級的下取樣處理結果和上取樣處理結果中同一尺度的特徵進行融合，得到一跳躍處理結果。
一種圖像分割裝置，包含：一分割網路獲得單元，用於根據一肺部圖像中的一肺葉數據和一肺裂數據，對一肺葉分割網路訓練，得到一訓練後的肺葉分割網路；一位置確定單元，用於根據該訓練後的肺葉分割網路，確定一肺部圖像中的一目標肺葉所在的位置。
一種電子設備，包含：一處理器；一用於儲存該處理器可執行指令的儲存器；其中，該處理器用於執行請求項1至7中任一項的圖像分割方法。
一種儲存媒體，用於儲存一計算機程序指令，該計算機程序指令被一處理器執行時執行請求項1至7中任一項的圖像分割方法。