TWI767614B

TWI767614B - 圖像處理方法及電子設備、電腦可讀儲存介質

Info

Publication number: TWI767614B
Application number: TW110109421A
Authority: TW
Inventors: 張宏; 張靖陽; 夏清
Original assignee: 大陸商上海商湯智能科技有限公司
Priority date: 2020-07-16
Filing date: 2021-03-16
Publication date: 2022-06-11
Also published as: JP2022543531A; TW202203854A; WO2022011984A1; CN111798498A; KR20220016212A

Abstract

本發明實施例關於一種圖像處理方法及電子設備、電腦可讀儲存介質。所述方法包括：獲取第一圖像中目標對象的第一分割結果；獲取第二圖像中目標對象的第二分割結果；根據所述第一分割結果與所述第二分割結果，得到所述第一圖像與所述第二圖像之間的變形場，其中，所述變形場包括所述目標對象在所述第一圖像與所述第二圖像之間的每個圖元點的位置變換關係。

Description

圖像處理方法及電子設備、電腦可讀儲存介質

本發明關於圖像處理技術領域，尤其關於一種圖像處理方法及電子設備、電腦可讀儲存介質。

冠心病已經成為世界上死亡率最高的疾病之一，常見的治療方案是經皮冠狀動脈介入手術。經皮冠狀動脈介入手術是在術中X光的引導下，利用導管擴張血管狹窄部分以到達治療的目的。但是在手術過程中，心臟冠脈的X光圖像內顯示的血管會隨著造影劑的消散變得不可見，這給醫生帶來了很大的挑戰，手術的成功率也依賴醫生的實際經驗。

手術前拍攝的電子電腦斷層掃描血管造影(CT Angiography，CTA)圖像能很好地展現血管結構，但是由於不能術中即時拍攝，因此無法在手術過程中給予醫生指導。

本發明實施例提出了一種圖像處理方法及電子設備、電腦可讀儲存介質。

根據本發明實施例的一方面，提供了一種圖像處理方法，包括：獲取第一圖像中目標對象的第一分割結果；獲取第二圖像中目標對象的第二分割結果；根據所述第一分割結果與所述第二分割結果，得到所述第一圖像與所述第二圖像之間的變形場，其中，所述變形場包括所述目標對象在所述第一圖像與所述第二圖像之間的每個圖元點的位置變換關係。

通過上述過程，可以確定目標對象在第一圖像與第二圖像之間每個圖元點的位置變換關係。利用該位置變換關係，可以將第一圖像和第二圖像之間目標對象的圖像資訊融合到同一座標系，從而可以同時利用第一圖像與第二圖像包含的目標對象的圖像資訊，對目標對象後續需要執行的操作提供全面的指導；而且，由於該位置變換關係為目標對象每個圖元點所對應的變換關係，因此，第一圖像與第二圖像之間目標對象的資訊融合可以具有更高的精度。

在一種可能的實現方式中，所述根據所述第一分割結果與所述第二分割結果，得到所述第一圖像與所述第二圖像之間的變形場，包括：將所述第一分割結果與所述第二分割結果輸入至第一神經網路，得到所述第一圖像與所述第二圖像的變形場。

通過上述過程，一方面可以利用神經網路，實現端到端的變形場預測，與逐圖元點確定位置變換關係相比，可以大大縮短變形場的獲取時間，提高變形場的獲取效率，繼而有效提升整個圖像處理過程以及後續圖像配准過程的效率；另一方面，通過神經網路獲取的變形場，可以包含第一圖像與第二圖像之間每個圖元點的位置變換關係，可以最大化變形場的自由度，提升了變形場的精度和準確率，從而提高整個圖像處理過程以及後續進行圖像配准過程的精度。

在一種可能的實現方式中，所述第一圖像包括三維圖像，所述第二圖像包括二維圖像；所述根據所述第一分割結果與所述第二分割結果，得到所述第一圖像與所述第二圖像之間的變形場，包括：根據所述第二圖像的採集資訊，將所述第一分割結果轉換為二維的第三分割結果；將所述第三分割結果與所述第二分割結果輸入至第一神經網路，得到所述第一圖像與所述第二圖像之間的變形場。

通過上述過程，可以利用二維的第二圖像的採集資訊，將第一圖像的第一分割結果投影至二維平面，從而根據兩個二維的分割結果來獲取第一圖像和第二圖像之間的變形場，從而使得得到的變形場可以更加準確地反應出目標對象在第一圖像與第二圖像之間的變換關係，提升圖像處理的精度和效果。

在一種可能的實現方式中，所述方法還包括：根據所述變形場，對所述第一圖像與所述第二圖像進行配准，得到配准結果。

通過上述過程，可以利用得到的變形場，靈活地將第一圖像中包含的目標對象資訊與第二圖像中包含的目標對象資訊統一融合到一個座標系下，從而對將執行的基於目標對象的操作提供全面有效的指導。

在一種可能的實現方式中，所述方法還包括：根據所述變形場，獲取所述第一神經網路的誤差損失；根據所述誤差損失，對所述第一神經網路進行訓練。

在本發明實施例中，通過根據變形場獲取第一神經網路的誤差損失，繼而根據誤差損失對第一神經網路進行訓練，可以直接利用第一神經網路的兩個輸入圖像之間的變換關係對第一神經網路進行訓練，無需額外的訓練圖像或是標注資料等，在保障第一神經網路的訓練精度的同時，降低了訓練難度和成本。

在一種可能的實現方式中，所述根據所述變形場，獲取所述第一神經網路的誤差損失，包括：根據所述變形場，對所述第一分割結果進行配准，得到配准後的第一分割結果，將所述配准後的第一分割結果與所述第二分割結果之間的誤差作為所述第一神經網路的誤差損失；或者，根據所述變形場，對所述第二分割結果進行配准，得到配准後的第二分割結果，將所述配准後的第二分割結果與所述第一分割結果之間的誤差作為所述第一神經網路的誤差損失；根據所述變形場，對所述第一分割結果進行配准，得到配准後的第一分割結果，將所述配准後的第一分割結果與所述第二圖像之間的誤差作為所述第一神經網路的誤差損失；或者，根據所述變形場，對所述第二分割結果進行配准，得到配准後的第二分割結果，將所述配准後的第二分割結果與所述第一圖像之間的誤差作為所述第一神經網路的誤差損失。

通過上述第一神經網路誤差損失的獲取過程，可以根據實際情況，靈活選擇合適的方式來確定第一神經網路的誤差損失，提升第一神經網路訓練的靈活性和便捷性。

在一種可能的實現方式中，所述獲取第一圖像中目標對象的第一分割結果，包括：將所述第一圖像輸入至第二神經網路，得到所述第一圖像中所述目標對象的第一分割結果，其中，所述第二神經網路通過包含目標對象標注的第一訓練圖像進行訓練；或者，將所述第一圖像輸入至第一神經網路，得到所述第一圖像中所述目標對象的第一分割結果，其中，所述第一神經網路還用於根據所述第一分割結果與所述第二分割結果，得到所述第一圖像與所述第二圖像之間的變形場。

通過第二神經網路或第一神經網路對第一圖像中的目標對象進行分割，得到第一分割結果，可以有效提高第一分割結果的獲取效率。同時，由於第二神經網路或第一神經網路可以通過包含目標對象標注的第一訓練圖像訓練所獲得，因此，基於第二神經網路或第一神經網路得到的第一分割結果，可以具有較高精度的分割效果。通過第一神經網路對第一圖像中的目標對象進行分割，得到第一分割結果，並進一步通過第一神經網路來得到第一圖像與第二圖像之間的變形場。通過上述過程，可以在提升第一分割結果的分割效果的基礎上，進一步提升獲取的變形場的精度，而且可以通過第一神經網路直接實現第一圖像端到變形場端的獲取過程。

在一種可能的實現方式中，所述獲取第二圖像中目標對象的第二分割結果，包括：將所述第二圖像輸入至第三神經網路，得到所述第二圖像中所述目標對象的第二分割結果，其中，所述第三神經網路通過包含目標對象標注的第二訓練圖像進行訓練；或者，將所述第二圖像輸入至第一神經網路，得到所述第二圖像中所述目標對象的第二分割結果，其中，所述第一神經網路還用於根據所述第一分割結果與所述第二分割結果，得到所述第一圖像與所述第二圖像之間的變形場。

通過第三神經網路或第一神經網路對第二圖像中的目標對象進行分割，得到第二分割結果，可以有效提高第二分割結果的獲取效率。同時，由於第三神經網路或第一神經網路可以通過包含目標對象標注的第二訓練圖像訓練所獲得，因此，基於第三神經網路或第一神經網路得到的第二分割結果，可以具有較高精度的分割效果。通過第一神經網路對第二圖像中的目標對象進行分割，得到第二分割結果，並通過第一神經網路來得到第一圖像與第二圖像之間的變形場。通過上述過程，可以在提升第二分割結果的分割效果的基礎上，進一步提升獲取的變形場的精度，而且可以通過第一神經網路直接實現第二圖像端到變形場端的獲取過程，還可以通過第一神經網路直接實現第一圖像與第二圖像這兩個圖像端到變形場端的獲取過程。

在一種可能的實現方式中，所述第一圖像包括電子電腦斷層掃描血管造影CTA圖像，所述第二圖像包括X光圖像，所述目標對象包括冠狀動脈對象。

在第一圖像包括CTA圖像，第二圖像包括X光圖像，目標對象包括冠狀動脈的情況下，利用本發明實施例提出的圖像處理方法，可以有效預測CTA圖像與X光圖像之間的變形場，從而將冠狀動脈手術的兩個模態資料統一到同一個座標系下，補償冠狀動脈手術中X光圖像上看不到的冠狀動脈血管，為冠狀動脈手術提供更好的指導，降低醫生的手術複雜程度，提高手術成功率。

根據本發明實施例的一方面，提供了一種圖像處理裝置，包括：第一分割模組，配置為獲取第一圖像中目標對象的第一分割結果；第二分割模組，配置為獲取第二圖像中目標對象的第二分割結果；變形場獲取模組，配置為根據所述第一分割結果與所述第二分割結果，得到所述第一圖像與所述第二圖像之間的變形場，其中，所述變形場包括所述目標對象在所述第一圖像與所述第二圖像之間的每個圖元點的位置變換關係。

根據本發明實施例的一方面，提供了一種電子設備，包括：處理器；配置為儲存所述處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行上述圖像處理方法。

根據本發明實施例的一方面，提供了一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述圖像處理方法。

根據本發明實施例的一方面，提供了一種電腦程式產品，該程式產品儲存有一條或多條程式指令，所述程式指令被處理器載入並執行以實現上述圖像處理方法。

在本發明實施例中，通過分別獲取目標對象在第一圖像與第二圖像中的第一分割結果和第二分割結果，從而根據第一分割結果與第二分割結果，來得到第一圖像中與第二圖像之間的變形場。通過上述過程，可以確定目標對象在第一圖像與第二圖像之間每個圖元點的位置變換關係，利用該位置變換關係，可以將第一圖像和第二圖像之間目標對象的圖像資訊融合到同一座標系，從而可以同時利用第一圖像與第二圖像包含的目標對象的圖像資訊，對目標對象後續需要執行的操作提供全面的指導；而且，由於該位置變換關係為目標對象每個圖元點所對應的變換關係，因此，第一圖像與第二圖像之間目標對象的資訊融合可以具有更高的精度。

應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明實施例。

根據下面參考附圖對示例性實施例的詳細說明，本發明實施例的其它特徵及方面將變得清楚。

201:CTA圖像

202:X光圖像

203:CTA圖像中的血管束

204:X光圖像中的血管束

205:投影血管束

206:初始配准神經網路

207:預測變形場

208:空間變換網路

209:形變後的血管束

210:損失函數

30:圖像處理裝置

31:第一分割模組

32:第二分割模組

33:變形場獲取模組

800:電子設備

802:處理組件

804:記憶體

806:電源組件

808:多媒體組件

810:音頻組件

812:輸入/輸出介面

814:感測器組件

816:通信組件

820:處理器

1900:電子設備

1922:處理組件

1926:電源組件

1932:記憶體

1950:網路介面

1958:輸入輸出介面

S11~S13:步驟

此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。

圖1示出根據本發明一實施例的圖像處理方法的流程圖。

圖2示出根據本發明一應用示例中配准神經網路訓練過程的示意圖。

圖3示出根據本發明一實施例的圖像處理裝置的方塊圖。

圖4示出根據本發明實施例的一種電子設備的方塊圖。

圖5示出根據本發明實施例的一種電子設備的方塊圖。

以下將參考附圖詳細說明本發明實施例的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的組件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。

在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。

本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。

另外，為了更好地說明本發明實施例，在下文的具體實施方式中給出了眾多的實現細節。本領域技術人員應當理解，沒有某些細節，本發明實施例同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、組件和電路未作詳細描述，以便於凸顯本發明實施例的主旨。

圖1示出根據本發明一實施例的圖像處理方法的流程圖，該方法可以應用於圖像處理裝置，圖像處理裝置可以為終端設備、伺服器或者其他處理設備等。其中，終端設備可以為使用者設備(User Equipment，UE)、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理(Personal Digital Assistant，PDA)、手持設備、計算設備、車載設備、可穿戴設備等。

在一些可能的實現方式中，該圖像處理方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。

如圖1所示，所述圖像處理方法可以包括：

步驟S11，獲取第一圖像中目標對象的第一分割結果。

步驟S12，獲取第二圖像中目標對象的第二分割結果。

步驟S13，根據第一分割結果與第二分割結果，得到第一圖像與第二圖像之間的變形場，其中，變形場包括目標對象在第一圖像與第二圖像之間的每個圖元點的位置變換關係。

其中，目標對象可以是任何需要在兩個圖像之間進行配准的對象。其實現形式可以根據本發明實施例中提出的圖像處理方法的實際應用場景靈活決定。

本發明實施例提出的圖像處理方法可以根據實際需求靈活應用於各種場景。舉例來說，在一種可能的實現方式中，本發明實施例提出的方法，可以應用於手術過程中，比如，可以用於對手術前拍攝的圖像和手術過程中拍攝的圖像進行配准，或是將手術前拍攝的圖像和手術後拍攝的圖像進行配准等，在這種情況下，目標對象的實現形式可以隨著手術所對象導向的不同而靈活發生變化。在一個示例中，本發明實施例提出的方法可以應用於心臟冠脈的手術，比如經皮冠狀動脈介入手術等，在這種情況下，目標對象可以是冠狀動脈對象等。

在一種可能的實現方式中，本發明實施例提出的方法，也可以應用於其他場景，舉例來說，可以應用於對病人的疾病診斷過程中，比如，可以用於對病人在某段時間內拍攝的多個病灶圖像相互之間進行配准等，在這種情況下，目標對象的實現形式可以隨著所監控的病灶的位置不同而靈活發生變化。在一個示例中，本發明實施例提出的方法可以應用於對病人心臟的狀況進行監控，在這種情況下，目標對象可以是心臟對象等。

為了便於描述，後續各公開實施例均以圖像處理方法用於心臟冠脈的手術，目標對象為冠狀動脈對象為例進行描述，圖像處理方法應用於其他場景，目標對象為其他對象的情況，可以根據後續各公開實施例進行靈活擴展，不再一一展開。

第一圖像和第二圖像的實現形式同樣可以根據圖像處理方法的應用場景所靈活決定，在一種可能的實現方式中，在圖像處理方法用於心臟冠脈手術的情況下，第一圖像和第二圖像可以是心臟冠脈手術前、手術中或手術後等不同時間段所拍攝的圖像，實際如何選擇不局限於下述公開實施例。比如，第一圖像可以是手術前所拍攝的圖像，第二圖像可以是手術過程中所拍攝的圖像。在一種可能的實現方式中，第一圖像與第二圖像也可以是具有不同屬性或類型的圖像，比如，第一圖像可以是三維圖像，第二圖像可以是二維圖像等。

上述第一圖像和第二圖像的各種不同可能的實現形式也可以相互之間靈活組合，舉例來說，在一種可能的實現方式中，第一圖像可以包括手術前所拍攝的三維CTA圖像，第二圖像可以包括手術過程中所拍攝的X光圖像，目標對象可以包括冠狀動脈對象。在第一圖像包括CTA 圖像，第二圖像包括X光圖像，目標對象包括冠狀動脈的情況下，利用本發明實施例提出的圖像處理方法，可以有效預測CTA圖像與X光圖像之間的變形場，從而將冠狀動脈手術的兩個模態資料統一到同一個座標系下，補償冠狀動脈手術中X光圖像上看不到的冠狀動脈血管，為冠狀動脈手術提供更好的指導，降低醫生的手術複雜程度，提高手術成功率。

由於第一圖像和第二圖像的實現形式不受限定，相應地，第一圖像與第二圖像的數量在本發明實施例中不做限制，可以根據實際情況靈活選擇，不局限於下述公開實施例。在一種可能的實現方式中，第二圖像可以包括多個X光圖像，即可以實現CTA圖像與多個X光圖像之間的配准。在一個示例中，這多個X光圖像可以是冠狀動脈手術過程中，對冠狀動脈對象所即時拍攝的多張X光圖像，通過將CTA圖像與手術過程中拍攝的多張X光圖像進行配准，可以實現冠狀動脈手術中的即時圖像配准，從而在手術過程中更好地即時顯示出血管的位置，給醫生的手術過程提供即時準確的指導和輔助。

在確定了第一圖像、第二圖像與目標對象以後，可以分別通過步驟S11和步驟S12，來從第一圖像中獲取目標對象的第一分割結果，以及從第二圖像中獲取目標對象的第二分割結果。其中，第一分割結果和第二分割結果中的“第一”與“第二”等編號僅用於區分其為從不同圖像中所得到的分割結果，並不對分割結果的實現形式進行限定，實際上，第一分割結果和第二分割結果的實現形式由其對應的被分割的圖像以及目標對象的實現形式所靈活決定。步驟S11和步驟S12的實現形式不受限定，可以詳見下述各公開實施例，在此先不做展開。需要注意的是，本發明實施例中，步驟S11與步驟S12的實現順序不受限定，步驟S11和步驟S12既可以根據需求按一定的順序先後執行，也可以同時執行。

在得到了第一分割結果與第二分割結果以後，可以通過步驟S13，基於第一分割結果與第二分割結果來確定第一圖像和第二圖像之間的變形場，其中，變形場可以反應第一圖像和第二圖像之間每個圖元點的位置變換關係。步驟S13的實現形式可以根據實際情況靈活選擇，詳見後續各公開實施例，在此先不做展開。

如上述公開實施例所述，從第一圖像中獲取目標對象的第一分割結果的方式不受限定。在一種可能的實現方式中，可以通過應用於圖像中的任意血管分割演算法，來從第一圖像中得到第一分割結果。在一種可能的實現方式中，步驟S11可以包括：將第一圖像輸入至第二神經網路，得到第一圖像中目標對象的第一分割結果，其中，第二神經網路通過包含目標對象標注的第一訓練圖像進行訓練。或者，將第一圖像輸入至第一神經網路，得到第一圖像中目標對象的第一分割結果，其中，第一神經網路還用於根據第一分割結果與第二分割結果，得到第一圖像與第二圖像之間的變形場。

通過上述公開實施例可以看出，在一種可能的實現方式中，可以通過具有分割功能的第二神經網路，對第一圖像中的目標對象進行分割，從而得到第一分割結果。其中，第二神經網路的實現形式可以根據實際情況靈活決定，不局限於下述公開實施例。在一種可能的實現方式中，可以通過卷積神經網路(U-Net)來作為第二神經網路。訓練該第二神經網路的第一訓練圖像也可以根據第一圖像的實際情況靈活選擇，在一種可能的實現方式中，在第一圖像包括CTA圖像的情況下，第一訓練圖像可以是包含逐圖元血管標注的CTA圖像。

通過上述公開實施例還可以看出，在一種可能的實現方式中，還可以通過具有分割功能的第一神經網路，對第一圖像中的目標對象進行分割，從而得到第一分割結果。其中，基於上述公開實施例可以看出，第一神經網路除了可以用於對第一圖像中的目標對象進行分割以外，還可以具有變形場獲取功能，即可以用於根據第一分割結果與第二分割結果來得到第一圖像與第二圖像之間的變形場。在這種情況下，第一神經網路可以通過輸入第一圖像和第二分割結果，來依次獲取第一圖像的第一分割結果，以及根據第一分割結果和第二分割結果來得到第一圖像和第二圖像之間的變形場。

在第一神經網路可以用於對第一圖像中的目標對象進行分割，以及獲取第一圖像與第二圖像之間的變形場的情況下，第一神經網路既可以像上述第二神經網路一樣，通過包含目標對象標注的第一訓練圖像進行訓練，還可以根據第一分割結果和第二分割結果進行訓練，其中，第一分割結果可以為第一訓練圖像中的目標對象標注，因此，在一種可能的實現方式中，第一神經網路可以通過包含目標對象標注的第一訓練圖像和第二分割結果進行訓練。

在其他一些實施例中，第一神經網路的實現形式和訓練過程同樣也可以根據實際情況靈活選擇，詳見後續各公開實施例，在此不進行展開。

通過第二神經網路或第一神經網路對第一圖像中的目標對象進行分割，得到第一分割結果，可以有效提高第一分割結果的獲取效率，同時，由於第二神經網路或第一神經網路可以通過包含目標對象標注的第一訓練圖像訓練所獲得，因此，基於第二神經網路或第一神經網路得到的第一分割結果，可以具有較高精度的分割效果。

在其他一些實施例中，通過第一神經網路對第一圖像中的目標對象進行分割，得到第一分割結果，並進一步通過第一神經網路來得到第一圖像與第二圖像之間的變形場，通過上述過程，可以在提升第一分割結果的分割效果的基礎上，進一步提升獲取的變形場的精度，而且可以通過第一神經網路直接實現第一圖像端到變形場端的獲取過程。

同理，從第二圖像中獲取目標對象的第而分割結果的方式也不受限定。在一種可能的實現方式中，也可以利用應用於圖像中的任意血管分割演算法，來從第二圖像中得到第二分割結果。在一種可能的實現方式中，步驟S12可以包括：將第二圖像輸入至第三神經網路，得到第二圖像中目標對象的第二分割結果，其中，第三神經網路通過包含目標對象標注的第二訓練圖像進行訓練。或者，將第二圖像輸入至第一神經網路，得到第二圖像中目標對象的第二分割結果，其中，第一神經網路還用於根據第一分割結果與所述第二分割結果，得到第一圖像與第二圖像之間的變形場。

通過上述公開實施例可以看出，在一種可能的實現方式中，可以通過具有分割功能的第三神經網路，對第二圖像中的目標對象進行分割，從而得到第二分割結果。其中，第三神經網路的實現形式可以根據實際情況靈活決定，不局限於下述公開實施例。在一種可能的實現方式中，也可以通過U-Net網路來作為第三神經網路。訓練該第三神經網路的第二訓練圖像也可以根據第二圖像的實際情況靈活選擇，在一種可能的實現方式中，在第二圖像包括X光圖像的情況下，第一訓練圖像可以是包含逐圖元血管標注的X光圖像。

通過上述公開實施例還可以看出，在一種可能的實現方式中，還可以通過具有分割功能的第一神經網路，對第二圖像中的目標對象進行分割，從而得到第二分割結果。其中，基於上述公開實施例可以看出，第一神經網路除了可以用於對第二圖像中的目標對象進行分割以外，還可以具有變形場獲取功能，即可以用於根據第一分割結果與第二分割結果來得到第一圖像與第二圖像之間的變形場。在這種情況下，第一神經網路可以通過輸入第二圖像和第一分割結果，來依次獲取第二圖像的第二分割結果，以及根據第二分割結果和第一分割結果來得到第一圖像和第二圖像之間的變形場。

如上述公開實施例所述，第一神經網路也可以用於對第一圖像中的目標對象進行分割，因此在一種可能的實現方式中，第一神經網路可以同時包含對第一圖像進行分割、對第二圖像進行分割以及變形場獲取這三種功能，在這種情況下，第一神經網路可以通過輸入第一圖像和第二圖像，來分別獲取第一圖像的第一分割結果以及第二圖像的第二分割結果，並根據第一分割結果和第二分割結果來得到第一圖像和第二圖像之間的變形場。

在第一神經網路可以用於對第二圖像中的目標對象進行分割，以及獲取第一圖像與第二圖像之間的變形場的情況下，第一神經網路可以既可以像上述第三神經網路一樣，通過包含目標對象標注的第二訓練圖像進行訓練，還可以根據第一分割結果和第二分割結果進行訓練，其中，第二分割結果可以為第二訓練圖像中的目標對象標注，因此，在一種可能的實現方式中，第一神經網路可以通過包含目標對象標注的第二訓練圖像和第一分割結果進行訓練，在其他一些實施例中，在第一神經網路既可以對第一圖像進行分割，又可以對第二圖像進行分割，以及獲取變形場的情況下，第一神經網路可以通過包含目標對象標注的第一訓練圖像和包含目標對象標注的第二訓練圖像同時進行訓練。

需要注意的是，本發明實施例中的第一神經網路、第二神經網路和第三神經網路中的“第一”、“第二”與“第三”等標號，僅用於區分具有不同功能的神經網路，不對神經網路的實現形式所進行限定，在本發明實施例中，第一神經網路、第二神經網路與第三神經網路的實現形式可以相同，也可以不同。

通過第三神經網路或第一神經網路對第二圖像中的目標對象進行分割，得到第二分割結果，可以有效提高第二分割結果的獲取效率，同時，由於第三神經網路或第一神經網路可以通過包含目標對象標注的第二訓練圖像訓練所獲得，因此，基於第三神經網路或第一神經網路得到的第二分割結果，可以具有較高精度的分割效果。

在其他一些實施例中，通過第一神經網路對第二圖像中的目標對象進行分割，得到第二分割結果，並進一步通過第一神經網路來得到第一圖像與第二圖像之間的變形場，通過上述過程，可以在提升第二分割結果的分割效果的基礎上，進一步提升獲取的變形場的精度，而且可以通過第一神經網路直接實現第二圖像端到變形場端的獲取過程，還可以通過第一神經網路直接實現第一圖像與第二圖像這兩個圖像端，到變形場端的獲取過程。

在得到了第一分割結果和第二分割結果以後，可以通過步驟S13來獲取第一圖像與第二圖像之間的變形場。在一種可能的實現方式中，步驟S13可以包括：將第一分割結果與第二分割結果輸入至第一神經網路，得到第一圖像與第二圖像的變形場。

通過上述公開實施例可以看出，在一種可能的實現方式中，可以通過具有變形場獲取功能的第一神經網路，對第一分割結果和第二分割結果之間的圖元點位置變換關係進行提取，從而得到第一分割結果與第二分割結果之間的變形場。在一種可能的實現方式中，可以直接將這一第一分割結果與第二分割結果之間的變形場作為第一圖像與第二圖像之間的變形場；在一種可能的實現方式中，也可以根據第一圖像與第一分割結果之間的關係，以及第二圖像與第二分割結果之間的關係，將這一變形場對應轉換為兩個圖像之間的變換關係，從而得到第一圖像與第二圖像之間的變形場。

其中，第一神經網路的實現形式可以根據實際情況靈活決定，不局限於下述公開實施例。在一種可能的實現方式中，可以通過U-Net網路來作為第一神經網路。如何訓練第一神經網路，使得其可以根據輸入的第一分割結果和第二分割結果來確定變形場，其訓練過程可以參見下述各公開實施例，在此先不做展開。

通過第一神經網路來對第一分割結果和第二分割結果進行處理，從而得到第一圖像與第二圖像之間的變形場，通過上述過程，一方面可以利用神經網路，實現端到端的變形場預測，與逐圖元點確定位置變換關係相比，可以大大縮短變形場的獲取時間，提高變形場的獲取效率，繼而有效提升整個圖像處理過程以及後續圖像配准過程的效率；另一方面，通過神經網路獲取的變形場，可以包含第一圖像與第二圖像之間每個圖元點的位置變換關係，可以最大化變形場的自由度，提升了變形場的精度和準確率，從而提高整個圖像處理過程以及後續進行圖像配准過程的精度。

如上述各公開實施例所述，第一圖像與第二圖像可能具有不同的屬性，在一種可能的實現方式中，第一圖像可以包括三維圖像，第二圖像可以包括二維圖像，在這種情況下，根據第一分割結果和第二分割結果獲取第一圖像與第二圖像之間的變形場的過程可以靈活發生變化。因此，在一種可能的實現方式中，步驟S13可以包括：步驟S131，根據第二圖像的採集資訊，將第一分割結果轉換為二維的第三分割結果；步驟S132，將第三分割結果與第二分割結果輸入至第一神經網路，得到第一圖像與第二圖像之間的變形場。

如上述公開實施例所述，由於第一圖像包括三維圖像，第二圖像包括二維圖像，因此，相應的，從第一圖像中獲取的第一分割結果可以為三維的分割結果，而第二圖像中獲取的第二分割結果則可以為二維的分割結果，將第一分割結果轉換為二維的分割結果，可以便於後續獲取三維的第一圖像與二維的第二圖像之間的變形場，因此，在一種可能的實現方式中，可以通過步驟S131，來根據第二圖像的採集資訊，將第一分割結果轉換為二維的第三分割結果。

其中，第二圖像的採集資訊，可以是第二圖像採集過程中，與第二圖像的採集角度或採集方式所相關的任意資訊，其實現形式可以根據實際情況靈活決定，不局限於下述公開實施例。在一種可能的實現方式中，在第二圖像為X光圖像的情況下，採集資訊可以包括第二圖像的醫學數位成像和通信(Digital Imaging and Communications in Medicine，DICOM)的標頭檔資訊，通過讀取DICOM標頭檔資訊，可以確定X光圖像拍攝的角度。

根據採集資訊將第一分割結果轉換為二維的第三分割結果的方式同樣不受限定，可以根據採集資訊的實際情況所靈活確定。在一種可能的實現方式中，在採集資訊可以包括DICOM的標頭檔資訊的情況下，可以根據DICOM標頭檔資訊確定第二圖像的拍攝角度，並根據該拍攝角度，對第一分割結果進行投影，得到第三分割結果。其中對第一分割結果進行投影的方式不作限定，在一個示例中，可以通過光線投影演算法來得到投影後的第三分割結果。

在得到了二維的第三分割結果後，可以通過步驟S132，將第三分割結果與第二分割結果輸入至第一神經網路，得到第一圖像與第二圖像之間的變形場。其中，第一神經網路以及第一神經網路對第三分割結果和第二分割結果的處理方式，可以參見上述公開實施例中第一神經網路對第一分割結果和第二分割結果的處理方式，在此不再贅述。

需要注意的是，在本發明實施例中，將第一分割結果處理為第三分割結果後，再基於第三分割結果和第二分割結果通過第一神經網路所得到的變形場，為第三分割結果和第二分割結果之間的變形場，在一種可能的實現方式中，可以將這一變形場直接作為第一圖像與第二圖像之間的變形場；在一種可能的實現方式中，也可以根據第一圖像變換至第三分割結果，以及第二圖像變換至第二分割結果之間的對應關係，對這一變形場進行進一步處理，來得到第一圖像與第二圖像之間直接的變形場。隨著變形場實現形式的不同，後續利用此變形場對第一圖像和第二圖像所執行處理的操作，也可以相應發生變化。

在一種可能的實現方式中，將第一分割結果轉換為第三分割結果的過程，也可以通過第一神經網路來實現，在這種情況下，第一神經網路可以直接將第一分割結果和第二分割結果作為輸入，在神經網路內部依次進行第一分割結果到第三分割結果的轉換，以及根據第三分割結果和第二分割結果來得到第一圖像與第二圖像之間的變形場。

在第一圖像包括三維圖像，第二圖像包括二維圖像的情況下，通過根據第二圖像的採集資訊，將第一分割結果轉換為二維的第三分割結果，從而將第三分割結果與第二分割結果輸入至第一神經網路，得到第一圖像與第二圖像之間的變形場，通過上述過程，可以利用二維的第二圖像的採集資訊，將第一圖像的第一分割結果投影至二維平面，從而根據兩個二維的分割結果來獲取第一圖像和第二圖像之間的變形場，從而使得得到的變形場可以更加準確地反應出目標對象在第一圖像與第二圖像之間的變換關係，提升圖像處理的精度和效果。

在獲取了第一圖像與第二圖像之間的變形場以後，可以利用該變形場，對第一圖像和第二圖像進行相應處理，比如上述公開實施例中所提到的配准等。因此，在一種可能的實現方式中，本發明實施例提出的方法還可以包括：根據變形場，對第一圖像與所述第二圖像進行配准，得到配准結果。

如上述各公開實施例所述，變形場可以反應目標對象在第一圖像與第二圖像之間每個圖元的位置變換關係，因此，可以通過變形場將第一圖像中的目標對象和第二圖像中的目標對象變換到同一座標系下，從而實現第一圖像與第二圖像之間的配准，來得到配准結果。

配准的過程，其實現方式可以根據變形場的實際情況靈活決定。如上述公開實施例所述，在一種可能的實現方式中，變形場可以為分割結果之間的變形場，比如第一分割結果與第二分割結果之間的變形場，或是第三分割結果或是第二分割結果之間的變形場等，在這種情況下，對第一圖像和第二圖像進行配准的過程，可以是對相應的分割結果根據變形場進行形變的過程，即利用變形場將第一分割結果變換到第二分割結果的座標系、利用變形場將第三分割結果變換到第二分割結果的座標系、利用變形場將第二分割結果變換到第一分割結果的座標系或是利用變形場將第二分割結果變換到第三分割結果的座標系等。

在一種可能的實現方式中，變形場也可以在分割結果的變形場的基礎上通過進一步處理所得到的圖像之間的變形場，即第一圖像和第二圖像之間直接的變形場，在這種情況下，對第一圖像和第二圖像進行配准的過程，可以是直接對第一圖像或第二圖像進行處理所進行形變的過程，即利用變形場將第一圖像變換到第二圖像的座標系，或是利用變形場將第二圖像變換到第一圖像的座標系等。

在一種可能的實現方式中，配准過程也可以不局限於圖像或是分割結果所在的座標系，比如可以利用變形場，將第一圖像和第二圖像均配准至某一預設的座標系中，或是將第一分割結果和第二分割結果均配准至某一預設的座標系中等等。

實際的配准方式，在本發明實施例中也不做限制，不局限於下述公開實施例。在一個示例中，可以通過空間變換網路(Spatial Transformer Networks，STN)，對待配准的圖像進行相比，來得到配准結果。

通過根據變形場，對第一圖像和第二圖像進行配准，得到配准結果，可以利用得到的變形場，靈活地將第一圖像中包含的目標對象資訊與第二圖像中包含的目標對象資訊統一與融合到一個座標系下，從而對將執行的基於目標對象的操作提供全面有效的指導。

如上述各公開實施例所述，在一種可能的實現方式中，可以利用第一神經網路來獲取變形場。為了使得獲取的變形場更為準確，可以對第一神經網路進行訓練使其具有更高的精度。即本發明實施例提出的圖像處理方法，還可以用於第一神經網路的訓練過程，在這種情況下，在一種可能的實現方式中，本發明實施例提出的圖像處理方法可以包括：

步驟S11，獲取第一圖像中目標對象的第一分割結果。

步驟S12，獲取第二圖像中目標對象的第二分割結果。

步驟S13，根據第一分割結果與第二分割結果，得到第一圖像與第二圖像之間的變形場。

步驟S14，根據變形場，獲取第一神經網路的誤差損失。

步驟S15，根據誤差損失，對第一神經網路進行訓練。

其中，步驟S11至步驟S13的實現過程可以參考上述各公開實施例，在此不再贅述。第一神經網路可以為未經訓練的神經網路，也可以為經過訓練，但未完全完成訓練的神經網路。

在得到變形場以後，可以根據變形場，來獲取第一神經網路的誤差損失。該誤差損失的獲取方式可以根據實際情況靈活選擇。在一種可能的實現方式中，步驟S14可以包括：步驟S141，根據變形場，對第一分割結果進行配准，得到配准後的第一分割結果，將配准後的第一分割結果與第二分割結果之間的誤差作為第一神經網路的誤差損失。或者，步驟S142，根據變形場，對第二分割結果進行配准，得到配准後的第二分割結果，將配准後的第二分割結果與第一分割結果之間的誤差作為第一神經網路的誤差損失。或者，步驟S143，根據變形場，對第一分割結果進行配准，得到配准後的第一分割結果，將配准後的第一分割結果與第二圖像之間的誤差作為第一神經網路的誤差損失。或者，步驟S144，根據變形場，對第二分割結果進行配准，得到配准後的第二分割結果，將配准後的第二分割結果與第一圖像之間的誤差作為第一神經網路的誤差損失。

由於變形場可以反應第一分割結果和第二分割之間的變換關係，因此可以利用第一神經網路輸出的變形場，對第一分割結果進行配准，來得到配准後的第一分割結果，若變形場完全準確，則配准後的第一分割結果與第二分割結果將一致，因此，通過配准後的第一分割結果與第二分割結果之間的誤差，則可以確定第一神經網路輸出的變形場的誤差，將其作為第一神經網路的誤差損失對第一神經網路進行訓練，可以提高訓練後得到的第一神經網路的精度。

同理，也可以利用變形場來對第二分割結果進行配准，從而利用配准後的第二分割結果與第一分割結果之間的誤差，來確定第一神經網路輸出的變形場的誤差，繼而確定第一神經網路的誤差損失。

在一種可能的實現方式中，由於獲取第一神經網路的誤差損失可以配置為對第一神經網路的訓練過程中，而訓練過程中，輸入至第一神經網路的第一分割結果可能以標注的形式位於第一圖像上，同理第二分割結果也可能以標注的形式位於第二圖像上。因此，在這種情況下，也可以將配准後的第一分割結果與第二分割結果所在的第二圖像之間的誤差，或是配准後的第二分割結果與第一分割結果所在的第一圖像之間的誤差，來作為第一神經網路的誤差。

由於上述公開實施例中已經提到，變形場可以是第一分割結果和第二分割結果之間的變形場，也可以是第三分割結果和第二分割結果之間的變形場，或是第一圖像與第二圖像之間的變形場等，因此，隨著變形場所指向的對象的不同，所確定的誤差可以靈活發生變化，比如，在變形場為第三分割結果與第二分割結果之間的變形場的情況下，可以利用變形場對第三分割結果進行配准，得到配准後的第三分割結果，再根據配准後的第三分割結果與第二分割結果的誤差確定第一神經網路的誤差損失等，其餘的實現形式可以根據上述各公開實施例靈活擴展，在此不再一一列舉。配准的方式可以參考上述各公開實施例，在此不再贅述。

計算不同對象之間的誤差的方式可以根據實際情況靈活選擇，不局限於下述公開實施例。在一個示例中，可以利用均方誤差(Mean Squared Error，MSE)或歸一化互相關(Normalized Cross Correlation，NCC)等損失函數的計算方式，來確定不同對象之間的誤差。

在獲取第一神經網路的誤差損失後，可以通過步驟S15對第一神經網路進行訓練，訓練的方式可以根據實際情況靈活決定，不局限於下述公開實施例。在一種可能的實現方式中，可以根據第一神經網路的誤差損失，利用反向傳播的方法，更新第一神經網路中的各項網路參數等。

術前CTA圖像可以很好地展現三維血管結構，但是由於不能在術中即時拍攝CTA圖像，因此需要將術前 CTA和術中X光圖像進行配准來融合到同一個座標系下給醫生提供更好的指導，降低醫生的手術複雜程度，提高手術成功率。

相關技術中的冠狀動脈配准方法是將配准問題看成最優化問題，定義一個相似度來度量兩個血管之間的距離，反覆運算優化該距離去尋找一個最優的變換矩陣。另一種方案則把最近反覆運算點方法從點集擴展到曲線，提出了一種反覆運算最近曲線演算法用於曲線結構的配准。還有一種相干點漂移的概率統計精配准方案，把兩個點集的配准定義為一個概率密度估計問題。上述方案使用最近反覆運算點或相干點漂移都需要反覆運算優化，往往很難滿足術中即時性的要求。同時方案中使用B樣條或薄板樣條等形變，不能很好的滿足複雜的血管形變，使得配准的準確率低。

深度學習技術在電腦視覺領域取得了巨大的成績，也為醫學圖像配准提供了新的解決方案。一種方案中訓練一個全卷積神經網路，使用“自我監督”對3D大腦MR圖像進行非剛性配准；另一種方案利用歸一化互相關來訓練一個全卷積神經網路預測變形場，來配准4D心臟MR圖像；又一種方案利用卷積神經網路和空間變換網路對T1加權大腦MR圖像進行配准；再一種方案利用卷積神經網路和空間變換網路對T1加權大腦MR圖像進行配准；還有一種方案利用一種基於遷移學習的方法分別對X-ray和心臟序列圖像進行了配准。儘管上述的配准方法取得了很大的成功，但是都很難滿足多模態多維度的配准問題。

本發明實施例提出了一種端到端的冠狀動脈配准方法。本發明實施例首先對術前CTA圖像的血管束和術中X光圖像的血管束進行分割，利用光線投影法將兩個不同模態和維度的資料統一到一個座標系下，然後輸入到一個U-Net網路中直接預測變形場。本發明實施例的方法可以端到端的預測變形場，在保證配准精度的同時滿足術中即時性的要求。

本發明實施例提出了一種圖像處理方法，這一處理方法可以對冠狀動脈的術前CTA圖像和術中X光圖像進行即時配准，該圖像處理的過程可以為：利用三維卷積神經網路3D U-Net網路(即上述公開實施例中的第二神經網路)對術前CTA圖像(即上述公開實施例中的第一圖像)進行分割，提取CTA圖像中的血管束(即上述公開實施例中的第一分割結果)；利用U-Net網路(即上述公開實施例中的第三神經網路)對術中X光圖像(即上述公開實施例中的第二圖像)進行分割，提取X光圖像中的血管束(即上述公開實施例中的第二分割結果)；讀取X光圖像中DICOM的標頭檔資訊(即上述公開實施例中的採集資訊)，利用光線投影演算法，對CTA圖像中的血管束生成數位重建放射圖像，得到二維的血管投影圖(即上述公開實施例中的第三分割結果)；將二維的血管投影圖和X光圖像中的血管束輸入到配准神經網路(即上述公開實施例中的第一神經網路)中，輸出對應的變形場；該過程使用的配准神經網路為深度學習網路，可以直接端到端地預測變形場，大大提高了即時性；同時該過程預測每個圖元點的位移，最大化了變形場的自由度，提高了配准精度。

利用輸出的變形場，可以對二維的血管投影圖或X光圖像中的血管束進行變換，完成配准過程。

在一些實施例中，由於上述配准過程需要利用到3D U-Net網路、U-Net網路以及配准神經網路，因此，本發明應用示例還提出一種圖像處理方法，可以對上述各神經網路進行訓練：對術前CTA圖像進行逐圖元的血管標注得到對應的標籤，利用術前CTA圖像的原圖與對應的標籤(即上述公開實施例中的包含目標對象標注的第一訓練圖像)，訓練用於CTA血管分割的3D U-Net網路；對術中X光圖像進行逐圖元的血管標注得到對應的標籤，利用術中X光圖像的原圖與對應的標籤(即上述公開實施例中的包含目標對象標注的第二訓練圖像)，訓練用於X光血管分割的U-Net網路。

圖2示出根據本發明一應用示例中配准神經網路訓練過程的示意圖，如圖2所示，該訓練過程可以為：利用訓練好的3D U-Net網路和U-Net網路分別對術前CTA圖像201和術中X光圖像202進行分割，得到CTA圖像中的血管束203和X光圖像中的血管束204；讀取X光圖像中的DICOM標頭檔資訊，確定術中X光圖像的拍攝角度，利用光線投影演算法對CTA圖像中的血管束203進行投影，得到投影血管束205；將投影血管束205和X光圖像中的血管束204輸入到未訓練的初始配准神經網路206(可以為U-Net網路)中，輸出一個和輸入圖像(投影血管束或X光圖像中的血管束)大小相同的預測變形場207，該預測變形場包含每個圖元的位移；利用空間變換網路208，對投影血管束根據預測變形場進行形變，得到形變後的血管束209；計算形變後的血管束209和X光圖像中的血管束205之間的損失函數210，計算方式可以採用均方誤差或者歸一化互相關等，再使用反向傳播演算法更新配准神經網路的參數，完成配准神經網路的訓練過程。

通過上述過程，本發明實施例可以得到一個端到端的冠狀動脈配准網路，通過輸入術前CTA圖像和術中X光圖像，網路可以直接預測變形場，完成配准任務：將術前CTA圖像和術中X光圖像利用已訓練好的U-Net進行分割，得到X光圖像的血管束；讀取DICOM標頭檔資訊，利用術前CTA血管束生成投影血管束；將投影血管束和投影血管束輸入到配准網路中，得到變形場。

本發明實施例可以無需反覆運算優化相似性度量函數來尋找術前CTA圖像和術中X光圖像之間的最優變換關係，而是通過一個深度學習網路即配准神經網路，直接實現端到端的變形場預測。經過實驗驗證，在中央處理器(Central Processing Unit，CPU)上進行上述配准過程，可以在1秒鐘以內獲得變形場，大大提高了配准過程的即時性。同時，由於預測的變形場包含了血管束中每個圖元點的位移，最大化形變的自由度，相對於基於B樣條或者是薄板樣條等變換方式來說，本發明應用示例提出的配准方法可以大大提高配准的精度。

在實際應用過程中，放射科醫生在得到術前CTA圖像和術中X光圖像後，可以利用本發明應用示例提出的方法進行快速準確的配准，將兩個模態的資料統一到同一個座標系下，補償術中X光圖像上看不到的冠狀動脈血管的問題。同時，由於本發明應用示例可以對術前CTA圖像和術中X光圖像包含的冠狀動脈進行即時配准，可以使得術中X光圖像較好地顯示出導管的位置，使得醫生在手術過程中對導管行進的方向有一個更好的判斷。

需要說明的是，本發明實施例的圖像處理方法不限於應用在上述心臟冠脈圖像的處理中，可以應用於任意的圖像處理，本發明實施例對此不作限定。

可以理解，本發明實施例提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明實施例不再贅述。本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的執行順序應當以其功能和可能的內在邏輯確定。

此外，本發明實施例還提供了圖像處理裝置、電子設備、電腦可讀儲存介質、程式，上述均可用來實現本發明實施例提供的任一種圖像處理方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。

圖3示出根據本發明實施例的圖像處理裝置的方塊圖。該圖像處理裝置可以為終端設備、伺服器或者其他處理設備等。其中，終端設備可以為使用者設備(User Equipment，UE)、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理(Personal Digital Assistant，PDA)、手持設備、計算設備、車載設備、可穿戴設備等。

在一些可能的實現方式中，該圖像處理裝置可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。

如圖3所示，所述圖像處理裝置30可以包括：

第一分割模組31，配置為獲取第一圖像中目標對象的第一分割結果。

第二分割模組32，配置為獲取第二圖像中目標對象的第二分割結果。

變形場獲取模組33，配置為根據第一分割結果與第二分割結果，得到第一圖像與第二圖像之間的變形場，其中，變形場包括目標對象在第一圖像與第二圖像之間的每個圖元點的位置變換關係。

在一種可能的實現方式中，變形場獲取模組配置為將第一分割結果與第二分割結果輸入至第一神經網路，得到第一圖像與第二圖像的變形場。

在一種可能的實現方式中，第一圖像包括三維圖像，第二圖像包括二維圖像；變形場獲取模組配置為根據第二圖像的採集資訊，將第一分割結果轉換為二維的第三分割結果；將第三分割結果與第二分割結果輸入至第一神經網路，得到第一圖像與第二圖像之間的變形場。

在一種可能的實現方式中，圖像處理裝置30還包括：配准模組，配置為根據變形場，對第一圖像與第二圖像進行配准，得到配准結果。

在一種可能的實現方式中，圖像處理裝置30還包括：誤差獲取模組，配置為根據變形場，獲取第一神經網路的誤差損失；訓練模組，配置為根據誤差損失，對第一神經網路進行訓練。

在一種可能的實現方式中，誤差獲取模組配置為根據變形場，對第一分割結果進行配准，得到配准後的第一分割結果，將配准後的第一分割結果與第二分割結果之間的誤差作為第一神經網路的誤差損失；或者，根據變形場，對第二分割結果進行配准，得到配准後的第二分割結果，將配准後的第二分割結果與第一分割結果之間的誤差作為第一神經網路的誤差損失；根據變形場，對第一分割結果進行配准，得到配准後的第一分割結果，將配准後的第一分割結果與第二圖像之間的誤差作為第一神經網路的誤差損失；或者，根據變形場，對第二分割結果進行配准，得到配准後的第二分割結果，將配准後的第二分割結果與第一圖像之間的誤差作為第一神經網路的誤差損失。

在一種可能的實現方式中，第一分割模組配置為將第一圖像輸入至第二神經網路，得到第一圖像中目標對象的第一分割結果，其中，第二神經網路通過包含目標對象標注的第一訓練圖像進行訓練；或者，將第一圖像輸入至第一神經網路，得到第一圖像中目標對象的第一分割結果，其中，第一神經網路還用於根據第一分割結果與第二分割結果，得到第一圖像與第二圖像之間的變形場。

在一種可能的實現方式中，第二分割模組配置為將第二圖像輸入至第三神經網路，得到第二圖像中目標對象的第二分割結果，其中，第三神經網路通過包含目標對象標注的第二訓練圖像進行訓練；或者，將第二圖像輸入至第一神經網路，得到第二圖像中目標對象的第二分割結果，其中，第一神經網路還用於根據第一分割結果與第二分割結果，得到第一圖像與第二圖像之間的變形場。

在一種可能的實現方式中，第一圖像包括電子電腦斷層掃描血管造影CTA圖像，第二圖像包括X光圖像，目標對象包括冠狀動脈對象。

本發明實施例還提出一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述圖像處理方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。

本發明實施例還提出一種電子設備，包括：處理器；配置為儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行上述方法。

本發明實施例還提供了一種電腦程式產品，包括電腦可讀代碼，當電腦可讀代碼在設備上運行時，設備中的處理器執行用於實現如上任一實施例提供的圖像處理方法的指令。

本發明實施例還提供了另一種電腦程式產品，用於儲存電腦可讀指令，指令被執行時使得電腦執行上述任一實施例提供的圖像處理方法的操作。

電子設備可以被提供為終端、伺服器或其它形態的設備。

圖4示出根據本發明實施例的一種電子設備800的方塊圖。例如，電子設備800可以是行動電話、電腦、數位廣播終端、消息收發設備、遊戲控制台、平板設備、醫療設備、健身設備和個人數位助理等終端。

參照圖4，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音頻組件810，輸入/輸出(Input/Output，I/O)的介面812，感測器組件814，以及通信組件816。

處理組件802通常控制電子設備800的整體操作，諸如與顯示、電話呼叫、資料通信、相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。

記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人資料，電話簿資料，消息，圖片，視頻等。記憶體804可以由任何類型的易失性或非易失性存放裝置或者它們的組合實現，如靜態隨機存取記憶體(Static Random-Access Memory，SRAM)、電可擦除可程式設計唯讀記憶體(Electrically Erasable Programmable Read-Only Memory，EEPROM)、可擦除可程式設計唯讀記憶體(Erasable Programmable Read-Only Memory，EPROM)、可程式設計唯讀記憶體(Programmable Read-Only Memory，PROM)，唯讀記憶體(Read Only Memory，ROM)、磁記憶體、快閃記憶體、磁片或光碟。

電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。

多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器(Liquid Crystal Display，LCD)和觸摸面板(TouchPanel，TP)。如果螢幕包括觸摸面板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影頭和/或後置攝影頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝影頭和/或後置攝影頭可以接收外部的多媒體資料。每個前置攝影頭和後置攝影頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。

音頻組件810被配置為輸出和/或輸入音頻信號。例如，音頻組件810包括一個麥克風(Microphone，MIC)，當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在記憶體804或經由通信組件816發送。在一些實施例中，音頻組件810還包括一個揚聲器，用於輸出音頻信號。

I/O介面812為處理組件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤、點擊輪、按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。

感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態和組件的相對定位。例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變、使用者與電子設備800接觸的存在或不存在、電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如互補金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor，CMOS)或電荷耦合器件(Charge Coupled Device，CCD)圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器、陀螺儀感測器、磁感測器、壓力感測器或溫度感測器。

通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如無線保真(Wireless Fidelity，Wi-Fi)、第二代移動通信技術(The 2nd Generation，2G)或第三代移動通信技術(The 3nd Generation，3G)或它們的組合。在一個示例性實施例中，通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，所述通信組件816還包括近場通信(Near Field Communication，NFC)模組，以促進短程通信。例如，在NFC模組可基於射頻識別(Radio Frequency Identification，RFID)技術、紅外資料協會(Infrared Data Association，IrDA)技術、超寬頻(Ultra Wide Band，UWB)技術、藍牙(Blue Tooth，BT)技術和其他技術來實現。

在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路(Application Specific Integrated Circuit，ASIC)、數位訊號處理器(Digital Signal Processor，DSP)、數位信號處理設備(Digital Signal Processing Device，DSPD)、可程式設計邏輯器件(Programmable Logic Device，PLD)、現場可程式設計閘陣列(Field Programmable Gate Array，FPGA)、控制器、微控制器、微處理器或其他電子組件實現，用於執行上述方法。

在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。

圖5示出根據本發明實施例的一種電子設備1900的方塊圖。例如，電子設備1900可以被提供為一伺服器。參照圖5，電子設備1900包括處理組件1922，可以包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置為執行指令，以執行上述方法。

電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置為將電子設備1900連接到網路，和一個I/O介面1958。電子設備1900可以操作基於儲存在記憶體1932的作業系統，例如Windows ServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM或類似系統。

在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。

本發明實施例可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本發明實施例的各個方面的電腦可讀程式指令。

電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是但不限於電存放裝置、磁存放裝置、光存放裝置、電磁存放裝置、半導體存放裝置或者上述的任意合適的組合。電腦可讀儲存介質可以包括：可擕式電腦盤、硬碟、隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體、可擦式可程式設計唯讀記憶體(EPROM或快閃記憶體)、靜態隨機存取記憶體、可擕式壓縮磁碟唯讀記憶體(Compact Disc Read-Only Memory，CD-ROM)、數位多功能盤(Digital Video Disc，DVD)、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脈衝)、或者通過電線傳輸的電信號。

這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。

用於執行本發明實施例操作的電腦程式指令可以是彙編指令、指令集架構(Industry Standard Architecture，ISA)指令、機器指令、機器相關指令、偽代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括對象導向的程式設計語言-諸如Smalltalk、C++等，以及常規的過程式程式設計語言例如C語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路包括局域網(Local Area Network，LAN)或廣域網路(Wide Area Network，WAN)連接到使用者電腦，或者，可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列或可程式設計邏輯陣列，該電子電路可以執行電腦可讀程式指令，從而實現本發明實施例的各個方面。

這裡參照根據本發明實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本發明實施例的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。

這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。

也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。

附圖中的流程圖和方塊圖顯示了根據本發明實施例的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。

該電腦程式產品可以通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式產品可以體現為電腦儲存介質，在另一個可選實施例中，電腦程式產品可以體現為軟體產品，例如軟體發展包(Software Development Kit，SDK)等等。

以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。

工業實用性

本發明實施例涉及一種圖像處理方法及裝置、電子設備、儲存介質和程式產品。所述方法包括：獲取第一圖像中目標對象的第一分割結果；獲取第二圖像中目標對象的第二分割結果；根據所述第一分割結果與所述第二分割結果，得到所述第一圖像與所述第二圖像之間的變形場，其中，所述變形場包括所述目標對象在所述第一圖像與所述第二圖像之間的每個圖元點的位置變換關係。通過上述過程，可以使得第一圖像與第二圖像之間目標對象的資訊融合可以具有更高的精度。

S11~S13:步驟

Claims

一種圖像處理方法，包括：獲取第一圖像中目標對象的第一分割結果；獲取第二圖像中所述目標對象的第二分割結果；根據所述第一分割結果與所述第二分割結果，得到所述第一圖像與所述第二圖像之間的變形場，其中，所述變形場包括所述目標對象在所述第一圖像與所述第二圖像之間的每個圖元點的位置變換關係。
根據請求項1所述的方法，其中，所述根據所述第一分割結果與所述第二分割結果，得到所述第一圖像與所述第二圖像之間的變形場，包括：將所述第一分割結果與所述第二分割結果輸入至第一神經網路，得到所述第一圖像與所述第二圖像之間的變形場。
根據請求項1所述的方法，其中，所述第一圖像包括三維圖像，所述第二圖像包括二維圖像；所述根據所述第一分割結果與所述第二分割結果，得到所述第一圖像與所述第二圖像之間的變形場，包括：根據所述第二圖像的採集資訊，將所述第一分割結果轉換為二維的第三分割結果；將所述第三分割結果與所述第二分割結果輸入至第一神經網路，得到所述第一圖像與所述第二圖像之間的變形場。
根據請求項2或3中所述的方法，其中，所述方法還包括：根據所述變形場，對所述第一圖像與所述第二圖像進行配准，得到配准結果。
根據請求項2或3所述的方法，其中，所述方法還包括：根據所述變形場，獲取所述第一神經網路的誤差損失；根據所述誤差損失，對所述第一神經網路進行訓練。
根據請求項5所述的方法，其中，所述根據所述變形場，獲取所述第一神經網路的誤差損失，包括：根據所述變形場，對所述第一分割結果進行配准，得到配准後的第一分割結果，將所述配准後的第一分割結果與所述第二分割結果之間的誤差作為所述第一神經網路的誤差損失；或者，根據所述變形場，對所述第二分割結果進行配准，得到配准後的第二分割結果，將所述配准後的第二分割結果與所述第一分割結果之間的誤差作為所述第一神經網路的誤差損失；或者，根據所述變形場，對所述第一分割結果進行配准，得到配准後的第一分割結果，將所述配准後的第一分割結果與所述第二圖像之間的誤差作為所述第一神經網路的誤差損失；或者，根據所述變形場，對所述第二分割結果進行配准，得到配准後的第二分割結果，將所述配准後的第二分割結果與所述第一圖像之間的誤差作為所述第一神經網路的誤差損失。
根據請求項2或3所述的方法，其中，所述獲取第一圖像中目標對象的第一分割結果，包括：將所述第一圖像輸入至第二神經網路，得到所述第一圖像中所述目標對象的第一分割結果，其中，所述第二神經網路通過包含目標對象標注的第一訓練圖像進行訓練；或者，將所述第一圖像輸入至所述第一神經網路，得到所述第一圖像中所述目標對象的第一分割結果，其中，所述第一神經網路還用於根據所述第一分割結果與所述第二分割結果，得到所述第一圖像與所述第二圖像之間的變形場。
根據請求項2或3所述的方法，其中，所述獲取第二圖像中目標對象的第二分割結果，包括：將所述第二圖像輸入至第三神經網路，得到所述第二圖像中所述目標對象的第二分割結果，其中，所述第三神經網路通過包含目標對象標注的第二訓練圖像進行訓練；或者，將所述第二圖像輸入至所述第一神經網路，得到所述第二圖像中所述目標對象的第二分割結果，其中，所述第一神經網路還用於根據所述第一分割結果與所述第二分割結果，得到所述第一圖像與所述第二圖像之間的變形場。
根據請求項1至3中任一項所述的方法，其中，所述第一圖像包括CTA圖像，所述第二圖像包括X光圖像，所述目標對象包括冠狀動脈對象。
一種電子設備，包括：處理器；配置為儲存所述處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行請求項1至9中任一項所述的方法。
一種電腦可讀儲存介質，所述儲存介質中儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至9中任一項所述的方法。