TWI785588B - 圖像配準方法及其相關的模型訓練方法、設備和電腦可讀儲存媒體 - Google Patents

圖像配準方法及其相關的模型訓練方法、設備和電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI785588B
TWI785588B TW110115866A TW110115866A TWI785588B TW I785588 B TWI785588 B TW I785588B TW 110115866 A TW110115866 A TW 110115866A TW 110115866 A TW110115866 A TW 110115866A TW I785588 B TWI785588 B TW I785588B
Authority
TW
Taiwan
Prior art keywords
image
feature
dimensional
virtual
real
Prior art date
Application number
TW110115866A
Other languages
English (en)
Other versions
TW202145146A (zh
Inventor
謝帥寧
趙亮
黃寧
張少霆
王聰
蔡宗遠
Original Assignee
中國商上海商湯智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中國商上海商湯智能科技有限公司 filed Critical 中國商上海商湯智能科技有限公司
Publication of TW202145146A publication Critical patent/TW202145146A/zh
Application granted granted Critical
Publication of TWI785588B publication Critical patent/TWI785588B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本揭露實施例提供了圖像配準方法及其相關的模型訓練方法、設備和電腦可讀儲存媒體。該方法包括：獲取真實二維圖像和參考二維圖像，利用圖像配準模型的虛擬圖像特徵提取網路對參考二維圖像進行特徵提取，得到第一虛擬特徵圖；其中，圖像配準模型已利用虛擬圖像進行預訓練，且虛擬圖像特徵提取網路參與預訓練，虛擬圖像是基於虛擬目標生成的；利用圖像配準模型的真實圖像特徵提取網路對真實二維圖像進行特徵提取，得到第一真實特徵圖；其中，真實圖像特徵提取網路未參與預訓練；利用第一真實特徵圖和第一虛擬特徵圖之間的差異，調整真實圖像特徵提取網路的網路參數。

Description

圖像配準方法及其相關的模型訓練方法、設備和電腦可讀儲存媒體
本揭露基於申請號為202010477508.6、申請日為2020年05月29日的中國專利申請提出，並要求該中國專利申請的優先權，該中國專利申請的全部內容在此以全文引入的方式引入本揭露。本揭露涉及影像處理技術領域，特別是涉及一種圖像配準方法及其相關的模型訓練方法、設備和電腦可讀儲存媒體。
圖像配準就是將不同時間、不同感測器（成像設備）或不同條件下（攝像位置和角度等）獲取的兩幅或多幅圖像進行匹配過程。醫學圖像配準是指對於一幅醫學圖像尋求一種（或一系列）空間變換，使它與另一幅醫學圖像上的對應點達到空間上的一致。
利用神經網路來對圖像進行配準展示出了巨大的潛力且應用前景廣泛。目前，訓練用於配準的神經網路模型樣本都是經過手動配準的真實圖像。但是因為手動配準真實圖像需要較長的時間，且受限於真實環境下的成像條件，導致可以用於訓練的樣本圖像較少，且價格高昂，從而利用真實圖像來訓練的神經網路模型的應用受到一定的限制。
本揭露實施例提供一種圖像配準方法及其相關的模型訓練方法、設備和電腦可讀儲存媒體。
本揭露實施例第一方面提供一種圖像配準模型的訓練方法。該方法包括：獲取真實二維圖像和參考二維圖像，其中，真實二維圖像為利用成像元件對真實目標進行成像得到的，參考二維圖像中的真實目標所在位置與真實二維圖像匹配；利用圖像配準模型的虛擬圖像特徵提取網路對參考二維圖像進行特徵提取，得到第一虛擬特徵圖；其中，圖像配準模型已利用虛擬圖像進行預訓練，且虛擬圖像特徵提取網路參與預訓練，虛擬圖像是基於虛擬目標生成的；利用圖像配準模型的真實圖像特徵提取網路對真實二維圖像進行特徵提取，得到第一真實特徵圖；其中，真實圖像特徵提取網路未參與預訓練；利用第一真實特徵圖和第一虛擬特徵圖之間的差異，調整真實圖像特徵提取網路的網路參數。
因此，先利用虛擬圖像資料對前期的圖像配準模型進行預訓練，並將真實圖像特徵提取網路加入經預訓練的圖像配準模型中，利用真實圖像資料以及經預訓練的圖像配準模型中的虛擬圖像特徵提取網路來調整真實圖像特徵提取網路的網路參數，以實現真實圖像資料的訓練遷移，以得到最終的圖像配準模型，由於圖像配準模型前期先利用虛擬圖像資料進行預訓練，可減少訓練時所需的真實樣本圖像資料，即降低訓練成本，而且，後期再利用真實圖像資料以及經預訓練的圖像配準模型針對真實圖像特徵提取網路進行訓練，即實現利用虛擬圖像資料的結果來監督真實資料訓練，進而提高圖像配準模型的訓練效果，使得真實圖像特徵提取網路能夠用於後續的訓練，使得圖像配準模型能夠更加容易應用於真實環境中。
其中，上述的獲取參考二維圖像，包括：利用真實二維圖像與真實三維圖像之間的實際配準結果，生成真實目標所在位置與真實二維圖像一致的參考二維圖像。因此，透過生成真實目標所在位置與真實二維圖像一致的參考二維圖像，可以利用參考二維圖像和真實二維圖像在後續的訓練中。
其中，上述的圖像配準模型還包括參與預訓練的投影圖像特徵提取網路和位置預測網路；上述的在利用第一真實特徵圖和第一虛擬特徵圖之間的差異，調整真實圖像特徵提取網路的網路參數之後，方法還包括：利用調整後的真實圖像特徵提取網路對真實二維圖像進行特徵提取，得到第二真實特徵圖；利用真實二維圖像的第一投影模型參數對真實三維圖像進行投影，得到第一投影圖像，並獲取真實目標上的特徵點在第一投影圖像的第一實際二維位置；利用投影圖像特徵提取網路對第一投影圖像進行特徵提取，得到第一投影特徵圖；利用位置預測網路，在第一投影特徵圖上確定與第一實際二維位置對應的第一投影特徵位置，在第二真實特徵圖中查找出與第一投影特徵圖上的第一投影特徵位置對應的真實特徵位置，利用真實特徵位置得到真實目標上的特徵點在真實二維圖像上的第一預測二維位置；利用第一預測二維位置，獲得真實二維圖像與真實三維圖像的預測配準結果；利用實際配準結果和預測配準結果之間的差異，調整真實圖像特徵提取網路、投影圖像特徵提取網路和位置預測網路中的至少一個網路的網路參數。因此，透過利用經過虛擬圖像訓練的虛擬圖像特徵提取網路、投影圖像特徵提取網路和位置預測網路，來與真實圖像特徵提取網路共同訓練，實現了利用虛擬資料的結果監督真實資料訓練，提高了訓練的效果，也使得經過真實資料訓練的圖像配準模型能夠更加容易應用於真實環境中。另外，對經過預訓練的圖像配準模型，再利用真實二維圖像對圖像配準模型進行進一步地訓練，可以減少訓練需要的大量的真實二維圖像，使得訓練圖像配準模型的成本得以降低，也就更加容易開展相關的訓練。
其中，上述的利用實際配準結果和預測配準結果之間的差異，調整真實圖像特徵提取網路的網路參數，包括：利用第二真實特徵圖和第一虛擬特徵圖之間的差異、實際配準結果和預測配準結果之間的差異，調整真實圖像特徵提取網路的網路參數。因此，透過進一步地利用第二真實特徵圖和第一虛擬特徵圖之間的差異、實際配準結果和預測配準結果之間的差異，調整真實圖像特徵提取網路的網路參數，以此來提高訓練效果。
其中，上述的方法還包括以下步驟，以對圖像配準模型進行預訓練：獲取至少一組虛擬二維圖像和第二投影圖像，以及獲取虛擬目標上的特徵點分別在虛擬二維圖像的第二實際二維位置和在第二投影圖像的第三實際二維位置，其中，虛擬二維圖像是對虛擬目標進行模擬成像得到的，第二投影圖像是對虛擬目標進行模擬投影得到的；將每組虛擬二維圖像、第二投影圖像以及第三實際二維位置輸入至圖像配準模型，以得到虛擬目標上的特徵點在虛擬二維圖像的第二預測二維位置；基於第二實際二維位置和第二預測二維位置，對圖像配準模型的網路參數進行調整。因此，透過利用虛擬圖像來對圖像配準模型進行預訓練，由於虛擬圖像的獲取成本較低，可以降低訓練成本。並且，虛擬圖像可以大批量的生成，因此可以提供大量的訓練資料，因而可以提高訓練的效果。另外，透過先利用虛擬圖像對圖像配準模型進行預訓練，再利用真實圖像來訓練，可以提高訓練的效果，使得經過真實圖像訓練後的圖像配準模型可以更好的對真實圖像進行配準。
其中，上述的將每組虛擬二維圖像、第二投影圖像以及第三實際二維位置輸入至圖像配準模型，以得到虛擬目標上的特徵點在虛擬二維圖像的第二預測二維位置，包括：利用圖像配準模型的投影圖像特徵提取網路對第二投影圖像進行特徵提取，得到第二投影特徵圖；利用虛擬圖像特徵提取網路對虛擬二維圖像進行特徵提取，得到第二虛擬特徵圖；利用圖像配準模型的位置預測網路，在第二投影特徵圖上確定與第三實際二維位置對應的第二投影特徵位置，在第二虛擬特徵圖中查找出與第二投影特徵圖上的第二投影特徵位置對應的虛擬特徵位置，利用虛擬特徵位置得到第二預測二維位置。因此，透過投影圖像特徵提取網路和虛擬圖像特徵提取網路分別得到第二投影特徵圖和第二虛擬特徵圖，相比於採用同一特徵提取網路對虛擬圖像和投影圖像進行特徵提取，該兩個特徵提取網路經訓練後，能夠實現對每種圖像的特徵提取更加準確。
其中，上述的基於第二實際二維位置和第二預測二維位置，對圖像配準模型的網路參數進行調整，包括：基於第二實際二維位置和第二預測二維位置，對虛擬圖像特徵提取網路、投影圖像特徵提取網路和位置預測網路的網路參數進行調整。因此，透過對虛擬圖像特徵提取網路、投影圖像特徵提取網路和位置預測網路的網路參數進行調整，可以提高圖像配準模型的訓練效果。
其中，上述的在所述第二真實特徵圖中查找出與所述第一投影特徵圖上的所述第一投影特徵位置對應的真實特徵位置，包括：在所述第一投影特徵圖中查找出位於所述第一投影特徵位置的第一特徵資訊；在所述第二真實特徵圖中，搜索出與所述第一特徵資訊之間的相似度滿足預設相似條件的第二特徵資訊；獲取所述第二特徵資訊在所述第二真實特徵圖中的真實特徵位置。因此，透過特徵資訊查找對應的特徵點，可以根據特徵資訊種類和類型來對訓練結果進行調整，有利於訓練效果的提高。
其中，上述的在所述第二虛擬特徵圖中查找出與所述第二投影特徵圖上的所述第二投影特徵位置對應的虛擬特徵位置，包括：在所述第二投影特徵圖中查找出位於所述第二投影特徵位置的第一特徵資訊；在所述第二虛擬特徵圖中，搜索出與所述第一特徵資訊之間的相似度滿足預設相似條件的第二特徵資訊；獲取所述第二特徵資訊在所述第二虛擬特徵圖中的虛擬特徵位置。因此，透過特徵資訊查找對應的特徵點，可以根據特徵資訊種類和類型來對訓練結果進行調整，有利於訓練效果的提高。
其中，上述的每組虛擬二維圖像和第二投影圖像包含利用同一第二投影模型參數對預設位元姿下的虛擬目標進行模擬成像得到的虛擬二維圖像，以及利用同一第二投影模型參數對參考位元姿下的虛擬目標進行模擬投影得到的第二投影圖像；其中，不同組虛擬二維圖像和第二投影圖像所對應的第二投影模型參數和/或預設位姿不同。因此，透過生成可以實現對同一目標進行多個視角或多個位置下的配準的訓練，使得圖像配準模型可以針對同一目標不同視角、位置的圖像進行配準，提高了訓練效果，以及圖像配準模型的適用性。
其中，上述的方法還包括以下步驟，以對圖像配準模型進行預訓練：利用對應同一預設位姿的多個虛擬二維圖像的第二預測二維位置，確定特徵點的預測三維位置；利用特徵點的預測三維位置與實際三維位置之間的差異，對圖像配準模型的網路參數進行調整。因此，透過利用預測三維位置與實際三維位置之間的差異來對圖像配準模型的網路參數進行調整，可以進一步地提高訓練效果。
其中，上述的獲取每組虛擬二維圖像和第二投影圖像，包括：以同一第二投影模型參數對處於預設位元姿的虛擬目標進行模擬成像，得到虛擬二維圖像，並記錄第二投影模型參數以及預設位元姿的虛擬目標相對於參考位元姿的剛體變換參數；以同一第二投影模型參數對處於參考位元姿的虛擬目標進行模擬投影，得到第二投影圖像；獲取虛擬目標上的特徵點分別在虛擬二維圖像的第二實際二維位置和在第二投影圖像的第三實際二維位置，包括：確定處於參考位元姿的虛擬目標上的至少一個特徵點；利用虛擬二維圖像對應的第二投影模型參數以及剛體變換參數，確定特徵點在虛擬二維圖像上的第二實際二維位置；以及，利用第二投影圖像對應的第二投影模型參數，確定特徵點在第二投影圖像上的第三實際二維位置。透過記錄獲取虛擬二維圖像和第二投影圖像時的投影模型參數和預設位元姿相對於參考位姿的剛體變換參數，在後續訓練圖像配準模型時，能夠將這些參數作為對比的依據，來對圖像配準模型的網路參數進行調整，進而提高圖像配準模型的訓練效果。
其中，上述的確定處於參考位元姿的虛擬目標上的至少一個特徵點，包括：在處於參考位元姿的虛擬目標上，隨機選取至少一個特徵點；或者；辨識第二投影圖像中對應虛擬目標的目的地區域，在目的地區域的內部或邊緣上選擇至少一個投影點，並利用第二投影圖像的第二投影模型參數，將至少一個投影點投影至三維空間中，以得到虛擬目標上的至少一個特徵點。透過確定特徵點，可以利用特徵點來輔助進行配準訓練，便於訓練的開展和體改訓練效果。另外，透過在虛擬目標的內部或邊緣上選取特徵點，使得特徵點在後續進行配準訓練時，容易查找，以此得以提高圖像配準模型的訓練效率。
本揭露實施例第二方面提供一種圖像配準方法。該配準方法包括：獲取分別對目標進行成像得到的二維圖像和三維圖像；利用二維圖像的投影模型參數對三維圖像進行投影，得到投影圖像；利用圖像配準模型對二維圖像和投影圖像進行處理，得到目標上的特徵點在二維圖像上的二維位置；利用二維位置，獲得二維圖像與三維圖像之間的配準結果；其中，圖像配準模型是由上述第一方面提供的圖像配準模型的方法訓練得到的。因此，透過利用由上述第一方面提供的圖像配準模型的方法訓練得到的圖像配準模型，就能夠對由目標進行成像得到的二維圖像和三維圖像進行配準，並且配準的結果更準確。
其中，上述的利用二維位置，獲得二維圖像與三維圖像之間的配準結果，包括：利用投影模型參數將二維位置投影至三維空間，得到真實目標上的特徵點的第一三維位置；獲取真實目標上的特徵點在三維圖像上的第二三維位置；利用第一三維位置和第二三維位置，獲得三維圖像相對於二維圖像的剛體變換參數。因此，透過利用真實目標上的特徵點的第一三維位置和第二三維位置，能夠獲得三維圖像相對於二維圖像的剛體變換參數，使得上述的圖像配準方法能夠應用於圖像配準。
本揭露實施例第三方面提供一種圖像配準模型的訓練裝置，該裝置包括第一獲取模組，配置為獲取真實二維圖像和參考二維圖像，其中，真實二維圖像為利用成像元件對真實目標進行成像得到的，參考二維圖像中的真實目標所在位置與真實二維圖像匹配；第一特徵提取模組，配置為利用圖像配準模型的虛擬圖像特徵提取網路對參考二維圖像進行特徵提取，得到第一虛擬特徵圖；其中，圖像配準模型已利用虛擬圖像進行預訓練，且虛擬圖像特徵提取網路參與預訓練，虛擬圖像是基於虛擬目標生成的；第二特徵提取模組，配置為利用圖像配準模型的真實圖像特徵提取網路對真實二維圖像進行特徵提取，得到第一真實特徵圖；其中，真實圖像特徵提取網路未參與預訓練；調整模組，配置為利用第一真實特徵圖和第一虛擬特徵圖之間的差異，調整真實圖像特徵提取網路的網路參數。因此，透過上述圖像配準模型的訓練裝置，透過利用經過虛擬圖像進行預訓練的圖像配準模型，能夠根據第一真實特徵圖和第一虛擬特徵圖之間的差異來調整真實圖像特徵提取網路的網路參數，使得由真實圖像特徵提取網路得到的第一真實特徵圖與第一虛擬特徵圖能夠對應起來。以此可以實現利用虛擬資料的結果來監督真實資料訓練，進而提高圖像配準模型訓練裝置的訓練效果，使得圖像配準模型的訓練裝置能夠用於後續的訓練，並且更加容易應用於真實環境中。
本揭露實施例第四方面提供一種圖像配準裝置。該裝置包括第二獲取模組，配置為獲取分別對目標進行成像得到的二維圖像和三維圖像；投影模組，配置為利用二維圖像的投影模型參數對三維圖像進行投影，得到投影圖像；預測模組，配置為利用圖像配準模型對二維圖像和投影圖像進行處理，得到目標上的特徵點在二維圖像上的二維位置；配準模組，配置為利用二維位置，獲得二維圖像與三維圖像之間的配準結果；其中，圖像配準模型是由上述第三方面描述的裝置訓練得到的。因此，透過利用經過虛擬圖像進行預訓練的圖像配準模型，使得由真實圖像特徵提取網路得到的第一真實特徵圖與第一虛擬特徵圖能夠對應起來。以此可以實現利用虛擬資料的結果來監督真實資料訓練，進而提高圖像配準模型訓練裝置的訓練效果，使得圖像配準模型的訓練裝置能夠用於後續的訓練，並且更加容易應用於真實環境中。
本揭露實施例第五方面提供一種圖像配準設備。該設備包括：相互耦接的處理器和記憶體，其中，處理器用於執行記憶體儲存的電腦程式以執行上述第一方面描述的圖像配準模型的訓練方法，或者上述第二方面描述的圖像配準方法。
本揭露實施例第六方面提供一種電腦可讀儲存媒體。該媒體儲存有能夠被處理器運行的電腦程式，電腦程式用於實現上述第一方面或第二方面描述的方法。
本揭露實施例第七方面提供一種電腦程式產品。該程式產品儲存有一條或多條程式指令，所述程式指令被處理器載入並執行以實現所述第一方面或第二方面描述的方法。
本揭露實施例透過利用經過虛擬圖像進行預訓練的圖像配準模型，能夠根據第一真實特徵圖和第一虛擬特徵圖之間的差異來調整真實圖像特徵提取網路的網路參數，使得由真實圖像特徵提取網路得到的第一真實特徵圖與第一虛擬特徵圖能夠對應起來。以此可以實現利用虛擬資料的結果來監督真實資料訓練，進而提高圖像配準模型訓練裝置的訓練效果，使得圖像配準模型的訓練裝置能夠用於後續的訓練，並且更加容易應用於真實環境中。
下面結合本揭露實施例中的附圖，對本揭露實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本揭露實施例一部分實施例，而不是全部實施例。基於本揭露實施例中的實施例，本領域普通技術人員在沒有做出進步性的勞動前提下所獲得的所有其他實施例，都屬於本揭露實施例保護的範圍。
參閱第1圖，第1圖是本揭露實施例圖像配準模型的訓練方法的流程示意圖。
步驟S10：獲取真實二維圖像和參考二維圖像，其中，真實二維圖像為利用成像元件對真實目標進行成像得到的，參考二維圖像中的真實目標所在位置與真實二維圖像匹配。
在本揭露實施例中，為實現圖像配準模型的訓練，可先利用虛擬圖像對前期的圖像配準模型進行預訓練，其中，該前期的圖像配準模型包括虛擬圖像特徵提取網路，該虛擬圖像特徵提取網路用於對虛擬二維圖像進行特徵提取。經上述預訓練後，將真實圖像特徵提取網路加入經預訓練的圖像配準模型中，以進一步對真實圖像特徵提取網路進行訓練，獲得最終的圖像配準模型。為實現真實圖像特徵提取網路的訓練，可利用真實圖像資料以及經預訓練的虛擬圖像特徵提取網路執行本揭露實施例方法，以調整真實圖像特徵提取網路的網路參數。
真實二維圖像為利用成像元件對真實目標進行成像得到的。真實目標例如是真實環境下的杯子、人體的骨頭等等。成像元件例如為相機、X光機、CT（Computed Tomography，電子電腦斷層掃描）等具備成像功能的設備。
參考二維圖像中的真實目標所在位置與真實二維圖像匹配，可以是參考二維圖像中的真實目標的位置與真實二維圖像中的真實目標所在位置相同，或者是參考二維圖像中的真實目標與真實二維圖像對應的三維的真實目標的剛體變換參數是已知的。位置相同可以理解為真實目標在真實二維圖像和參考二維圖像中，角度、形狀和大小等完全一致。參考二維圖像對應的真實目標與真實二維圖像對應的真實目標的剛體變換參數已知，可以理解為參考二維圖像對應的真實目標與真實二維圖像對應的真實目標相比，其空間變換的過程是已知的。例如真實二維圖像對應的真實目標可以利用已知的剛體變換參數，得到與參考二維圖像對應的真實目標位置一致的真實目標。
參考二維圖像可以是對真實目標的真實三維圖像進行處理得到。例如，利用真實二維圖像與真實三維圖像之間的實際配準結果，生成真實目標所在位置與真實二維圖像一致的參考二維圖像。當然，該參考二維圖像也可以是對真實目標進行再次成像得到的。就真實三維圖像而言，可以是利用可以拍攝三維圖像的成像元件對真實目標拍攝得到的，例如是CT拍攝得到的，或是3D掃描器掃描得到的。當然，三維圖像也可以是針對真實目標，進行3D建模等形式得到的。
真實二維圖像與真實三維圖像的實際配準結果，即表示拍攝真實二維圖像時的真實目標與真實三維圖像之間的剛體變換參數是已知的。由於得到的真實三維圖像的位元姿可能與拍攝真實二維圖像時真實目標的位元姿存在著剛體變換，因此可以利用實際配準結果，調整真實三維圖像的位元姿，使得真實三維圖像的位元姿與拍攝真實二維圖像時真實目標的位元姿一致。位元姿是真實目標的擺放姿態，如橫著放、豎著放或是斜著放等。
在此基礎上，就可以得到真實目標在參考二維圖像上的位置與在真實二維圖像中的位置一致的參考二維圖像。位置一致可以理解為真實目標在真實二維圖像和參考二維圖像中，角度、形狀和大小等完全一致。生成參考二維圖像的方法例如是透過投影的方法。投影的方式可以是模擬成像等方式。在對三維圖像進行投影時，投影模型參數即為拍攝真實二維圖像時的投影模型參數。由於都是基於同樣的三維圖像的位元姿以及相同的投影模型參數，因此就可以得到對三維圖像進行投影得到真實目標所在位置與真實二維圖像一致的參考二維圖像。
因此，透過生成真實目標所在位置與真實二維圖像一致的參考二維圖像，可以在後續的訓練中利用參考二維圖像和真實二維圖像。
步驟S11：利用圖像配準模型的虛擬圖像特徵提取網路對參考二維圖像進行特徵提取，得到第一虛擬特徵圖；其中，圖像配準模型已利用虛擬圖像進行預訓練，且虛擬圖像特徵提取網路參與預訓練，虛擬圖像是基於虛擬目標生成的。
圖像配準模型可以是用於對圖像進行配準的神經網路模型，例如，可以是全卷積的神經網路，也可以是卷積的神經網路。圖像配準模型可以包括多個神經網路，可以根據需要進行調整。
圖像配準模型包括虛擬圖像特徵提取網路，該虛擬圖像特徵提取網路為神經網路，例如是卷積神經網路。虛擬圖像特徵提取網路的結構不受限制，只要能夠進行特徵提取即可。
虛擬圖像是基於虛擬目標生成的。該虛擬圖像可包括虛擬二維圖像。虛擬目標可以是人為模擬生成的一個目標，模擬的可以是真實環境中存在的任何物體，例如是杯子、或是人體各部位的骨頭等等。虛擬圖像模擬生成的方式例如是透過模擬投影的方式。由於真實環境中的物體總是與其他物體有連接關係或是在某方向上重疊的可能，例如人體的骨頭，總是與人體的其他骨頭或是與其他肌肉組織連接或在某一方向上重疊。因此，在對虛擬目標進行模擬成像時，可以對其他物體也進行模擬成像，使得生成的虛擬圖像可以更加貼近於在真實環境中生成的圖像。透過生成虛擬目標，使得圖像配準模型可以針對真實環境中存在的物體的進行訓練，提高了圖像配準模型的應用性。
圖像配準模型已利用虛擬圖像進行預訓練，即表示圖像配準模型已經利用虛擬圖像進行過配準訓練，例如是利用多組虛擬圖像作為訓練資料，對虛擬圖像進行配準，調整圖像配準模型的網路參數。虛擬圖像特徵提取網路參與預訓練，即表示圖像配準模型對虛擬圖像進行配準，調整圖像配準模型的網路參數時，也會對虛擬圖像特徵提取網路的網路參數進行調整。經過預訓練的圖像配準模型可以用於虛擬圖像的配準。
因此，本步驟的圖像配準模型已經針對虛擬圖像進行預訓練。在此基礎上，再利用圖像配準模型的虛擬圖像特徵提取網路對參考二維圖像進行特徵提取，以得到第一虛擬特徵圖。虛擬圖像特徵提取網路輸出的結果中，可以包括提取到的特徵資訊，特徵資訊例如是特徵向量，如128維的特徵向量。
在利用真實二維圖像對圖像配準模型進行配準訓練時，利用經過虛擬圖像進行預訓練的圖像配準模型，使得圖像配準模型的網路參數可以經過預先調整，以此可以加快利用真實二維圖像進行訓練的進度，提高訓練的效率。同時，虛擬二維圖像可以基於虛擬目標生成，因此可以生成大量的虛擬二維圖像作為訓練資料，大量的訓練資料也能提高訓練的效果。另外，虛擬圖像的獲取成本相比於真實二維圖像較低，利用虛擬圖像對圖像配準模型進行預訓練，可以減少需要的真實二維圖像，降低了訓練成本。
步驟S12：利用圖像配準模型的真實圖像特徵提取網路對真實二維圖像進行特徵提取，得到第一真實特徵圖；其中，真實圖像特徵提取網路未參與預訓練。
在本揭露實施例中，圖像配準模型還包括真實圖像特徵提取網路，用於對真實二維圖像進行特徵提取，真實圖像特徵提取網路輸出的結果定義為第一真實特徵圖。真實圖像特徵提取網路輸出的結果中，可以包括提取到的特徵資訊，特徵資訊例如是特徵向量，如128維的特徵向量。另外，真實圖像特徵提取網路未參與預訓練，表示真實圖像特徵提取網路沒有經過利用虛擬圖像進行預訓練的過程。
真實圖像特徵提取網路未參與預訓練，使得在後續對真實圖像特徵提取網路進行訓練時，都是利用真實二維圖像進行的，以此可以提高真實圖像特徵提取網路對真實二維圖像的特徵提取效果。
可以理解的，上述步驟S11和步驟S12在執行時不分先後順序。在實際執行時，可以根據需要對執行順序進行調整。
步驟S13：利用第一真實特徵圖和第一虛擬特徵圖之間的差異，調整真實圖像特徵提取網路的網路參數。
在得到第一真實特徵圖和第一虛擬特徵圖以後，就可以利用這兩個特徵圖來比較真實圖像特徵提取網路與虛擬圖像特徵提取網路在特徵提取方面的差異，並根據差異來對真實圖像特徵提取網路的網路參數進行調整。差異可以是提取的特徵資訊的類型、特徵資訊的維度等等。
在一個實施場景中，真實圖像特徵提取網路輸出的第一真實特徵圖與虛擬圖像特徵提取網路輸出的第一虛擬特徵圖在尺寸上保持一致。若兩個特徵圖的尺寸不一致，則可以對真實圖像特徵提取網路的網路參數進行調整，使得這兩個特徵圖可以保持一致。
在一個實施場景中，第一真實特徵圖與第一虛擬特徵圖的特徵資訊在類型上保持一致或是具有較高的相似度。例如，當第一虛擬特徵圖的特徵資訊是特徵向量時，則第一真實特徵圖也會包含有特徵向量資訊。當第一虛擬特徵圖的特徵資訊是256維的特徵向量時，則第一真實特徵圖的特徵資訊的也是256維的，或是接近256維如254維等。
因為虛擬圖像特徵提取網路已經經過預訓練，且透過根據第一真實特徵圖和第一虛擬特徵圖之間的差異來調整真實圖像特徵提取網路的網路參數，使得由真實圖像特徵提取網路得到的第一真實特徵圖與第一虛擬特徵圖能夠對應起來。以此可以實現利用虛擬資料的結果來監督真實資料訓練，進而提高圖像配準模型的訓練效果，使得真實圖像特徵提取網路能夠用於後續的訓練，使得圖像配準模型能夠更加容易應用於真實環境中。在對真實圖像特徵提取網路的網路參數進行調整後，意味著圖像特徵提取網路已經滿足後續訓練的要求，可以繼續進行圖像配準模型的訓練。
請參閱第2圖，第2圖是本揭露實施例圖像配準模型的訓練方法的流程示意圖。該實施例是在上述圖1的基礎上，對圖像配準模型的繼續訓練過程，本揭露實施例包括以下步驟：
步驟S20：獲取真實二維圖像和參考二維圖像，其中，真實二維圖像為利用成像元件對真實目標進行成像得到的，參考二維圖像中的真實目標所在位置與真實二維圖像匹配。
步驟S21：利用圖像配準模型的虛擬圖像特徵提取網路對參考二維圖像進行特徵提取，得到第一虛擬特徵圖；其中，圖像配準模型已利用虛擬圖像進行預訓練，且虛擬圖像特徵提取網路參與預訓練，虛擬圖像是基於虛擬目標生成的。
步驟S22：利用圖像配準模型的真實圖像特徵提取網路對真實二維圖像進行特徵提取，得到第一真實特徵圖；其中，真實圖像特徵提取網路未參與預訓練。
步驟S23：利用第一真實特徵圖和第一虛擬特徵圖之間的差異，調整真實圖像特徵提取網路的網路參數。
上述步驟S20至S23分別與上述步驟S10至S13一一對應，詳情請參見上述步驟S10至S13，此處不再贅述。
在本揭露實施例中，圖像配準模型還包括參與預訓練的投影圖像特徵提取網路和位置預測網路。投影圖像特徵提取網路可以用於對投影圖像進行特徵提取；位置預測網路可以根據各個特徵提取網路提取的特徵圖像，來確定特徵點在各個特徵圖上的位置資訊。
投影圖像特徵提取網路和位置預測網路經過預訓練，即表示這兩個網路已經利用了虛擬圖像進行預訓練，對其相應的網路參數進行了調整，其中，投影圖像特徵提取網路輸出的第一投影特徵圖的與虛擬圖像特徵提取網路輸出的第一虛擬特徵圖在尺寸和特徵資訊的類型上相同或具有較高的相似度。基於此，第二真實特徵圖也是與第一投影特徵圖在尺寸和特徵資訊的類型上相同或具有較高的相似度。位置預測網路經過預訓練，表示位置預測網路可以根據虛擬特徵圖上特徵點的位置，來查找對應的點。
為了利用實現利用虛擬資料監督真實資料的訓練，以提高對真實資料的訓練效果，本揭露實施例利用上述經過預訓練的投影圖像特徵提取網路和位置預測網路對真實圖像特徵提取網路繼續訓練。
步驟S24：利用調整後的真實圖像特徵提取網路對真實二維圖像進行特徵提取，得到第二真實特徵圖。
在步驟S23中，已經對真實圖像特徵提取網路調整了參數，利用調整後的真實圖像特徵提取網路對真實二維圖像進行特徵提取，輸出的結果定義為第二真實特徵圖。此時的第二真實特徵圖與第一虛擬特徵圖在尺寸和特徵資訊方面保持一致或是具有極高的相似度。
步驟S25：利用真實二維圖像的第一投影模型參數對真實三維圖像進行投影，得到第一投影圖像，並獲取真實目標上的特徵點在第一投影圖像的第一實際二維位置。
利用成像元件對真實目標進行成像得到的真實二維圖像，其對應的投影模型參數定義為第一投影模型參數。為了得到不同位姿下的多組真實二維圖形，並利用這些真實二維圖像來進行訓練，可以利用真實二維圖像的第一投影模型參數對真實三維圖像進行投影，得到的圖像定義為第一投影圖像。投影的方式例如是模擬投影的方式。
在得到第一投影圖像以後，就可以透過在第一投影圖像上選擇特徵點，利用特徵點的位置資訊，來對圖像配準模型開展訓練。由於三維圖像是由真實目標得到的，因此可以在真實目標上選擇特徵點，該特徵點可以理解為真實目標上的任意點，可以透過分析目標位置而確定，或者是人工指定，或者是由圖像配準模型自行確認。或是在第一投影圖像確定特徵點，再確定特徵點在真實目標上的位置。
獲取第一實際二維位置例如可以先確定特徵點在三維圖像上的實際三維位置，再根據投影模型參數，得到特徵點在第一投影圖像的第一實際二維位置。可以對三維圖像建立三維坐標系，以此可以得到特徵點在三維圖像上的實際三維位置的三維座標。對應的，得到的第一實際二維位置即為二維座標，例如是某一像素點的位置(2,2)。或者是先在第一投影圖像上確定特徵點的第一實際二維位置，再利用第一投影模型參數換算得到特徵點在三維圖像上的實際三維位置。
步驟S26：利用投影圖像特徵提取網路對第一投影圖像進行特徵提取，得到第一投影特徵圖。
在得到第一投影圖像以後，就可以利用投影圖像特徵提取網路對第一投影圖像進行特徵提取，以此可以得到第一投影特徵圖。
投影圖像特徵提取網路為神經網路，例如是卷積神經網路。投影圖像特徵提取網路的結構不受限制，只要能夠進行特徵提取即可。在利用投影圖像特徵提取網路對第一投影圖像進行特徵提取時，可以設置該網路輸出的結果定義為第一投影特徵圖。在第一投影特徵圖中，對應於第一投影特徵圖上的每個像素點，都會包含對應的特徵資訊。特徵資訊例如是特徵向量，如128維的特徵向量。
步驟S27：利用位置預測網路，在第一投影特徵圖上確定與第一實際二維位置對應的第一投影特徵位置，在第二真實特徵圖中查找出與第一投影特徵圖上的第一投影特徵位置對應的真實特徵位置，利用真實特徵位置得到真實目標上的特徵點在真實二維圖像上的第一預測二維位置。
在獲取了特徵點在第一投影圖像的第一實際二維位置後，可以利用位置預測網路在第一投影特徵圖上確定與特徵點的在第一投影圖像上的第一實際二維位置對應的第一投影特徵位置。
對於由特徵提取網路（包括上述的虛擬圖像特徵提取網路、真實圖像特徵提取網路和投影圖像特徵提取網路）輸出的特徵圖而言，由於特徵圖只經過特徵提取的操作，因此，特徵圖上的位置是與用於提取特徵的圖像的位置具有對應關係的。例如，虛擬二維圖像和第一虛擬特徵圖、真實二維圖像和第一真實特徵圖、真實二維圖像和第二真實特徵圖、第一投影圖像和第一投影特徵圖的位置都是具有對應關係的。例如，特徵圖上的每一個像素點都是與用於提取特徵的圖像上的像素點具有對應關係。這種位置的對應關係可以根據特徵圖的尺寸與用於提取特徵的圖像的尺寸比例關係確定。
以第一投影圖像和第一投影特徵圖為例，第一投影特徵圖的尺寸可以與第一投影圖像的尺寸成整數比例關係。例如，輸入的第一投影圖像的尺寸為256*256個像素點，那麼輸出的第一投影特徵圖的尺寸就可以為256*256個像素點，或是128*128個像素點，或是512*512個像素點。在此情況下，若第一投影特徵圖與第一投影圖像的尺寸大小一致，同為256*256個像素點時，那麼當特徵點在第一投影圖像上的第三實際二維位置為某一像素點的位置（1, 1）時，則對應的在第二投影特徵圖上的第二投影特徵位置也是（1, 1）。當第二投影特徵圖的尺寸是512*512個像素點時，對應的在第二投影特徵圖上的第二投影特徵位置是（1, 1）、（1, 2）、（2, 1）或（2, 2）中的至少一個，或是將這四個像素點進行運算，以得到的一個新的像素點，並以此新的像素點的位置作為特徵點在第二投影特徵圖的第二投影特徵位置。運算的方法例如是插值運算。
因此，在確定了特徵點在第一投影圖像上的第一實際二維位置以後，位置預測網路就可以根據第一投影圖像和第一投影特徵圖的位置的對應關係，來確定特徵點在第一投影特徵圖的第一投影特徵位置。例如，當第一投影圖像和第一投影特徵圖的尺寸是一樣大小時，特徵點在第一投影圖像上的第一實際二維位置是像素點（5, 5），則特徵點在第一投影特徵圖的第一投影特徵位置也是像素點（5, 5）。
確定特徵點在第一投影特徵圖的第一投影特徵位置後，位置預測網路就可以在第二真實特徵圖中查找出與第一投影特徵圖上的第一投影特徵位置對應的真實特徵位置。並由真實特徵位置得到真實二維圖像上的第一預測二維位置。第一預測二維位置即為特徵點在真實二維圖像上的預測位置。
可以理解的，步驟25和步驟S26的執行順序不受限制，可以根據實際需要進行調整。
本步驟描述的「在第二真實特徵圖中查找出與第一投影特徵圖上的第一投影特徵位置對應的真實特徵位置」，可以由以下的步驟實現：
步驟S271：在第一投影特徵圖中查找出位於第一投影特徵位置的第一特徵資訊。
位置預測網路可以根據特徵點在第一投影特徵圖中的第一投影特徵位置，確定該位置對應的第一特徵資訊。例如，當投影特徵位置（第一投影特徵位置）為像素點（1, 1）的位置時，則第一特徵資訊即為像素點（1, 1）對應的特徵資訊。特徵資訊可以是特徵向量。
步驟S272：在第二真實特徵圖中，搜索出與第一特徵資訊之間的相似度滿足預設相似條件的第二特徵資訊。
在查找出特徵點在第一投影特徵圖上的第一特徵資訊後，位置預測網路就可以根據第一特徵資訊搜索出第二真實特徵圖中與第一特徵資訊的相似度滿足預設相似條件的第二特徵資訊。
當第一特徵資訊是特徵向量時，則位置預測網路可以根據該特徵向量，在第二真實特徵圖中搜索出滿足預設相似條件的第二特徵資訊，第二特徵資訊也為特徵向量。預設相似條件可以人為設定，例如相似度為90%~95%即表示查找的結果可以接受。當然，預設相似條件可以是根據應用的場景進行設定，此處不作限制。在一個場景中，預設相似條件可以是相似度最高所對應的第二特徵資訊。
步驟S273：獲取第二特徵資訊在第二真實特徵圖中的真實特徵位置。
因為特徵圖中每一個位置都有對應的特徵資訊，因此，當搜索出第二特徵資訊時，就可以根據第二特徵資訊查找出其在第二真實特徵圖中對應的真實特徵位置。
位置預測網路經過預訓練後，可以根據虛擬圖像的特徵圖上的特徵點的位置來查找對應的特徵點。此時，進一步地利用真實圖像的特徵圖來訓練位置預測網路在真實圖像的特徵圖上尋找對應的特徵點，可以實現使用虛擬資料的結果來監督真實資料的訓練，提高訓練的效果，使得圖像配準模型能夠更加容易應用於真實環境中。
在確定特徵點在第二真實特徵圖中的真實特徵位置以後，位置預測網路就可以根據第二真實特徵圖與真實二維圖像的位置對應關係，得到特徵點在真實二維圖像上的第一預測二維位置。
步驟S28：利用第一預測二維位置，獲得真實二維圖像與真實三維圖像的預測配準結果。
在得到第一預測二維位置以後，即表示由位置預測網路得到了特徵點在真實二維圖像的預測位置。在此基礎上，根據拍攝真實二維圖像時的第一投影模型參數，經過換算得到特徵點在拍攝真實二維圖像時的真實目標上的預測真實三維位置。另外，根據步驟S25的描述可知，特徵點在與第一投影圖像中真實目標對應的真實三維圖像上的實際三維位置也是已知的。因此，可以根據特徵點在真實三維圖像上的實際三維位置和得到的預測真實三維位置進行計算，進而得到拍攝真實二維圖像時的真實目標與真實三維圖像之間的預測剛體變換參數，也就得到了拍攝真實二維圖像時的真實目標位元姿調整為真實三維圖像的空間變換過程，得到的預測剛體變換參數即為預測配準結果。
步驟S29：利用實際配準結果和預測配準結果之間的差異，調整真實圖像特徵提取網路、投影圖像特徵提取網路和位置預測網路中的至少一個網路的網路參數。
在得到預測配準結果以後，就可以利用預測配準結果與實際配準結果進行比較，再根據比較的差異，來判斷相關網路的效果。例如，可以預測配準結果與實際配準結果得到相關的損失值，進而根據損失值的大小來調整網路參數。
可以利用虛擬圖像對投影圖像特徵提取網路和位置預測網路進行預訓練。基於此，為了使得位置預測網路可以根據真實圖像特徵提取網路提取的特徵資訊和投影圖像特徵提取網路提取的特徵資訊，得到較好的預測結果，可以利用實際配準結果和預測配準結果之間的差異，作為參考的因素，來調整真實圖像特徵提取網路的網路參數。
另外，在步驟S23中雖然已經利用第一真實特徵圖和第一虛擬特徵圖之間的差異，來調整真實圖像特徵提取網路的網路參數，為了使得真實圖像特徵提取網路提取的特徵圖能夠與第一虛擬特徵圖之間的差異更小，或是使得真實圖像特徵提取網路提取的特徵圖能夠與位置預測網路配合地更好，此時可以進一步利用第二真實特徵圖和第一虛擬特徵圖之間的差異、實際配準結果和預測配準結果之間的差異，調整真實圖像特徵提取網路的網路參數，以此來提高訓練效果。
另外，預測配準結果與實際配準結果的差異，也反映了位置預測網路的預測的準確度。而位置預測網路的預測的準確度除了和真實圖像特徵提取網路有關之外，同樣也和投影圖像特徵提取網路和預測位置網路有關。因此，可以根據預測配準結果與實際配準結果的差異，調整投影圖像特徵提取網路和位置預測網路的網路參數，以此來提高位置預測網路的預測準確度。例如根據預測配準結果與實際配準結果之間的損失值來調整各個網路的網路參數。
可以理解的，上述對真實圖像特徵提取網路的網路參數進行調整和對投影圖像特徵提取網路和預測位置網路的網路參數進行調整，可以同時進行，也可以分開進行，也可以只對真實圖像特徵提取網路的網路參數進行調整，或是只對投影圖像特徵提取網路和預測位置網路的網路參數進行調整，只要能夠提高位置預測網路的預測的準確度，調整網路參數方面不受限制。
在一個可能的實施場景中，為了訓練得到穩定、可用的圖像配準模型，可以在調整圖像配準模型的各個網路的網路參數之後，重新執行上述步驟S27及以後的各個步驟，或是重新執行本揭露實施例描述的方法，從而不斷執行對第一預測二維位置的查找、損失值計算及網路參數調整過程，直至符合要求。這裡符合要求可以是損失值小於一個預設損失閾值，且損失值不再減小。
本揭露實施例透過利用經過虛擬圖像訓練的虛擬圖像特徵提取網路、投影圖像特徵提取網路和位置預測網路，來與真實圖像特徵提取網路共同訓練，實現了利用虛擬資料的結果監督真實資料訓練，提高了訓練的效果，也使得經過真實資料訓練的圖像配準模型能夠更加容易應用於真實環境中。另外，對經過預訓練的圖像配準模型，再利用真實二維圖像對圖像配準模型進行進一步訓練，可以減少訓練需要的大量真實二維圖像，使得訓練圖像配準模型的成本得以降低，也就更加容易開展相關的訓練。
參閱第3圖，第3圖是本揭露實施例圖像配準模型的訓練方法的第一流程示意圖。本揭露實施例是關於上述兩個實施例提及的對圖像配準模型進行預訓練的過程，包括以下步驟：
步驟31：獲取至少一組虛擬二維圖像和第二投影圖像，以及獲取虛擬目標上的特徵點分別在虛擬二維圖像的第二實際二維位置和在第二投影圖像的第三實際二維位置，其中，虛擬二維圖像是對虛擬目標進行模擬成像得到的，第二投影圖像是對虛擬目標進行模擬投影得到的。
在本揭露實施例，虛擬二維圖像是對虛擬目標進行模擬成像得到的，第二投影圖像是對虛擬目標進行模擬投影得到的。虛擬目標可以是人為設置的一個目標，可以是真實環境中存在的任何物體，例如是杯子、或是人體各部位的骨頭等等。由於真實環境中的物體總是與其他物體有連接關係或是在某方向上重疊的可能，例如人體的骨頭，總是與人體的其他骨頭或是與其他肌肉組織連接或在某一方向上重疊，因此，在對虛擬目標進行模擬成像時，可以對其他物體也進行模擬成像，使得生成的虛擬二維圖像可以更加貼近於在真實環境中生成的圖像。透過在虛擬環境中生成虛擬目標，使得圖像配準模型可以針對真實環境中存在的物體的進行訓練，提高了圖像配準模型的應用性。模擬成像的方式可以是模擬真實環境中利用三維物體生成二維圖像的過程，如利用X光機生成X光圖像的過程。在虛擬環境中，可以利用光線追蹤的方法，透過一個點光源對模擬對物體進行投影後得到，也即模擬成像的方法包括模擬投影。
另外，在本揭露實施例中，第二投影圖像是虛擬目標進行模擬投影得到的。第二投影圖像可以只包括虛擬目標本身，也就是僅對虛擬目標進行模擬投影，生成只有虛擬目標的第二投影圖像。透過生成僅包含虛擬目標的第二投影圖像，可以使得圖像配準模型針對性的對虛擬目標進行相關的操作，排除其他物體的影響。例如是在後續的特徵提取過程中，僅對虛擬目標進行特徵提取，保證了提取出的特徵資訊都是有效的特徵資訊。模擬投影可以是透過電腦模擬對三維物體投影生成二維圖像的過程，可以利用光線追蹤等方法實現。
由於虛擬二維圖像和第二投影圖像是在虛擬環境中生成的，而在虛擬環境中，該虛擬環境下的各種參數都是已知的，例如是生成虛擬二維圖像和第二投影圖像時對應的投影模型參數。因此，在人為設置的各種參數的情況下，虛擬二維圖像和第二投影圖像這兩種圖像的配準的結果都是已知的，精確的，即生成的虛擬二維圖像和第二投影圖像都是經過自動配準標注的。在虛擬二維圖像和第二投影圖像已經配準的情況下，即意味著虛擬二維圖像上的位置資訊可以與第二投影圖像上的位置資訊對應。例如，當一個點同時出現在虛擬二維圖像和第二投影圖像上時，該點在虛擬二維圖像和第二投影圖像的位置資訊都是已知的。利用經過配準的虛擬圖像來訓練圖像配準模型，可以使得圖像配準模型的配準結果更加準確。
由於虛擬目標和第二投影圖像都可以透過模擬對三維物體投影生成二維圖像的過程，在模擬的過程中，投影模型參數和虛擬目標的位元姿會影響生成的二維圖像。因此，對於這兩個參數，可以進行相應的設置。虛擬目標的位元姿即是虛擬物體的位置和姿態，如虛擬物體在虛擬環境下所處的位置，或是虛擬物體的擺放姿態，如橫著放，豎著放或是斜著放等等。投影模型參數則是在模擬投影的過程中，涉及到的各種參數，如點光源的位置，點光源的角度，點光源距離虛擬目標的距離等等。
在一個可能的實施場景中，每組虛擬二維圖像和第二投影圖像包含利用同一第二投影模型參數對處於預設位元姿下的虛擬目標進行模擬成像得到的虛擬二維圖像，以及利用同一第二投影模型參數對處於參考位元姿下的虛擬目標進行模擬投影得到的第二投影圖像。在生成虛擬二維圖像時，可以預先設置好第二投影模型參數，再根據設置好的投影模型參數，就能夠獲得虛擬二維圖像。或者預先生成虛擬二維圖像，再記錄下對應的第二投影模型參數。也就是說，同一組的虛擬二維圖像和第二投影圖像的第二投影模型參數是相同的。區別的是，在獲得第二投影圖像時，定義此時的虛擬目標的位元姿為參考位姿，而在獲得虛擬二維圖像時的虛擬物體的位元姿為預設位姿。參考位姿可以與預設位姿相同，即虛擬物體沒有任何變化。參考位姿也可以與預設位姿不相同，即預設位元姿下的虛擬目標相對參考位元姿下的虛擬目標，在虛擬空間上，可以進行旋轉、平移或反轉的操作。參考位姿可以是人為指定的一個初始位姿，即預設位姿都是參考位姿經過平移或旋轉後得到的。可以理解的，不同組的虛擬二維圖像和第二投影圖像所對應的第二投影模型參數和/或預設位姿不同。
透過生成多組由不同投影模型參數和/或預設位姿生成的虛擬二維圖像和第二投影圖像來訓練圖像配準模型，使得經過訓練後的圖像配準模型能夠對由不同拍攝視角和不同位元姿下得到的圖像進行配準，提高了圖像配準模型的應用性和配準的準確性。
參閱第4圖，第4圖是本揭露實施例圖像配準模型的訓練方法的第二流程示意圖。本步驟中描述的「獲取每組虛擬二維圖像和第二投影圖像」，可以包括以下步驟：
步驟S311：以同一第二投影模型參數對處於預設位元姿的虛擬目標進行模擬成像，得到虛擬二維圖像，並記錄第二投影模型參數以及預設位元姿的虛擬目標相對於參考位元姿的剛體變換參數。
預設位姿和參考位姿可以是人為設定的在虛擬的三維空間中的虛擬目標的位置及姿態。而且虛擬目標從參考位元姿調整為預設位姿也是可以預先設定的。也即虛擬目標從參考位元姿調整為預設位姿的剛體變換過程，是已知的。也就是說能夠獲取預設位元姿的虛擬目標相對於參考位元姿的剛體變換參數。對處於預設位元姿下的虛擬目標，根據設置好的第二投影模型參數，進行模擬成像就可以得到虛擬二維圖像。
因為後續對圖像配準模型的訓練時，需要用到該設置好的第二投影模型參數以及虛擬目標從參考位元姿調整為預設位姿的剛體變換參數，因此可以在獲得虛擬二維圖像時，同時記錄對應的投影模型參數以及剛體變換參數。
透過記錄獲取虛擬二維圖像和第二投影圖像時的投影模型參數和相對於參考位姿的剛體變換參數，在後續訓練模型時，能夠將這些參數作為對比的依據，來對圖像特徵模型的網路參數進行，進而提高圖像配準模型的訓練效果。
步驟S312：以同一第二投影模型參數對處於參考位元姿的虛擬目標進行模擬投影，得到第二投影圖像。
在獲得虛擬二維圖像以後，可以進一步利用與獲得虛擬二維圖像相同的第二投影模型參數，來對虛擬目標進行模擬投影，以獲得第二投影圖像。在虛擬環境下，可以生成許多組的虛擬二維圖像和第二投影圖像。對於不同組的虛擬二維圖像和第二投影圖像而言，它們的投影模型參數、預設位元姿可以都不相同，也可以是部分不同。投影模型參數不同可以是僅改變了投影模型參數的其中一個參數，如點光源的角度（即拍攝角度），也可以是多個或全部參數都進行改變。預設位姿不同即是不同組的虛擬二維圖像對應的虛擬目標物體相比較，存在平移、旋轉或反轉的剛體變換。透過生成多組由不同投影模型參數、預設位元姿的虛擬二維圖像和第二投影圖像來訓練圖像配準模型，使得經過訓練後的圖像配準模型能夠對由不同拍攝視角和不同位元姿下得到的圖像進行配準，提高了圖像配準模型的應用性和配準的準確性。
在一個的實施場景中，上述的虛擬二維圖像可以為模擬X射線圖像，第二投影圖像為數位重建放射影像（Digitally Reconstructured Radiograph，DRR）圖像。在該實施場景下，上述提及的圖像配準模型可以用於醫療領域的圖像配準。並且，透過確定虛擬二維圖像為模擬X射線圖像，第二投影圖像為數位重建放射影像圖像，使得訓練後的圖像配準模型可以針對X射線圖像和數位重建放射影像圖像進行配準，提高了圖像配準模型對此類圖像配準的訓練效果。
透過記錄獲取虛擬二維圖像和第二投影圖像時的投影模型參數和預設位元姿相對於參考位姿的剛體變換參數，在後續訓練圖像配準模型時，能夠將這些參數作為對比的依據，來對圖像配準模型的網路參數進行調整，進而提高圖像配準模型的訓練效果。
在獲得虛擬二維圖像和第二投影圖像以後，可以透過選擇特徵點的方法，利用特徵點的位置資訊，來對圖像配準模型開展訓練。例如，可以在虛擬目標上確定至少一個特徵點，因為虛擬目標在虛擬環境下的各種參數都是已知的，且生成虛擬二維圖像和第二投影圖像的第二投影模型參數，以及它們之間剛體變換參數也是已知的，因此就可以確定特徵點在虛擬二維圖像的第二實際二維位置以及在第二投影圖像的第三實際二維位置。第二實際二維位置和第三實際二維位置可以是二維座標。
對於特徵點而言，特徵點可以為虛擬二維圖像和第二投影圖像上的像素點，那麼特徵點的在虛擬二維圖像和第二投影圖像上的第二實際二維位置和第三實際二維位置即可以是像素點的位置，如像素點（1, 1）、像素點（10, 10）等等。
在一些可能的實施例中，可以在虛擬環境中建立三維坐標系，以此確定特徵點的三維座標，再透過第二投影模型參數和對應的剛體變換參數，計算得到第二實際二維位置和第三實際二維位置。
參閱第5圖，第5圖是本揭露實施例圖像配準模型的訓練方法的第三流程示意圖。在一個可能的實施方式中，獲取虛擬目標上的特徵點分別在虛擬二維圖像的第二實際二維位置和在第二投影圖像的第三實際二維位置，可以透過以下的步驟實現：
步驟S313：確定處於參考位元姿的虛擬目標上的至少一個特徵點。
在虛擬目標上選取至少一個特徵點時，可以在處於參考位元姿下的虛擬目標上選取。因為預設位姿的剛體變換參數是以參考位姿為初始位置得到的，因此透過在處於參考位元姿下的虛擬目標上選取特徵點，可以簡化後續計算的步驟，以提高圖像配準模型的計算速度。
在一個可能的實施場景中，可以隨機選擇至少一個特徵點。特徵點可以位於虛擬目標的內部，也可以是位於虛擬目標的邊緣。特徵點可以理解為虛擬目標上的任意點。該特徵點可以透過分析虛擬目標位置而確定，或者是人工指定，或者是由圖像配準模型自行確認。
在一個可能的實施場景中，可以首先辨識第二投影圖像中對應虛擬目標的目的地區域，以確定虛擬目標在第二投影圖像中的位置分佈。再在目的地區域的內部或邊緣上選擇至少一個投影點，選擇的投影點即是虛擬目標上的點。並利用第二投影圖像的第二投影模型參數，將至少一個投影點投影至三維空間中，以得到虛擬目標上的至少一個特徵點。透過利用第二投影圖像的第二投影模型參數，就可以將得到投影點在三維空間中虛擬目標上的點，將得到的點作為特徵點。透過在第二投影圖像上的虛擬目標的位置分佈中，選擇投影點來確定特徵點，可以保證虛擬目標上的特徵點一定會在第二投影圖像上，使得後續的圖像配準模型訓練可以繼續進行。
另外，透過在虛擬目標的內部或邊緣上選取特徵點，使得特徵點在後續進行配準訓練時，容易查找，以此得以提高圖像配準模型的訓練效率。
步驟S314：利用虛擬二維圖像對應的投影模型參數以及剛體變換參數，確定特徵點在虛擬二維圖像上的第二實際二維位置；以及，利用第二投影圖像對應的投影模型參數，確定特徵點在第二投影圖像上的第三實際二維位置。
在處於參考位元姿的虛擬目標上的確定至少一個特徵點後，就可以根據第二投影圖像對應的第二投影模型參數，計算得到特徵點在第二投影圖像上的第三實際二維位置。當在虛擬環境中建立三維坐標系以後，第三實際二維位置可以透過利用特徵點在三維座標和第二投影模型參數，計算得到。
因為，預設位姿相對於參考位姿，還存在著剛體變換，因此在計算第二實際二維位置時，除了需要對應的投影模型參數，還需要對應的剛體變換參數，以此可以得到特徵點在虛擬二維圖像上的第二實際二維位置。第二實際二維位置可以透過利用特徵點在參考位元姿的位置，預設位姿相對於參考位姿的剛體變換參數和第二投影模型參數計算得到。
透過確定特徵點，在後續對圖像配準模型進行訓練時，就能夠以特徵點的位置資訊作為比較的依據，以此提高圖像配準模型的訓練效果。
步驟S32：將每組虛擬二維圖像、第二投影圖像以及第三實際二維位置輸入至圖像配準模型，以得到虛擬目標上的特徵點在虛擬二維圖像的第二預測二維位置。
在得到虛擬二維圖像、第二投影圖像以及第三實際二維位置以後，就可以利用圖像配準模型來獲得虛擬目標上的特徵點在虛擬二維圖像的第二預測二維位置。可以理解的，由於第二預測二維位置是由圖像配準模型進行預測（即利用神經網路計算）得到的，預測的結果可能會不準確。在後續的訓練過程中，就可以針對第二預測二維位置來對圖像配準模型做相關的網路參數調整。
參閱第6圖，第6圖是本揭露實施例圖像配準模型的訓練方法的第四流程示意圖。步驟S32描述的「將每組虛擬二維圖像、第二投影圖像以及第三實際二維位置輸入至圖像配準模型，以得到虛擬目標上的特徵點在虛擬二維圖像的第二預測二維位置」，可以透過以下步驟實現：
步驟S321：利用圖像配準模型的投影圖像特徵提取網路對第二投影圖像進行特徵提取，得到第二投影特徵圖。
在利用投影圖像特徵提取網路對第二投影圖像進行特徵提取時，定義該網路輸出的結果為第二投影特徵圖。在第二投影特徵圖中，對應於第二投影特徵圖上的每個像素點，都會包含對應的特徵資訊。特徵資訊例如是特徵向量，如128維的特徵向量。
步驟S322：利用虛擬圖像特徵提取網路對虛擬二維圖像進行特徵提取，得到第二虛擬特徵圖。
該步驟中，虛擬圖像特徵提取網路的輸出的圖像定義為第二虛擬特徵圖。在第二虛擬特徵圖中，對應於第二虛擬特徵圖上的每個像素點，也會包含對應的特徵資訊。特徵資訊例如是特徵向量，如128維的特徵向量。
在一個可能的實施場景中，虛擬二維圖像和第二投影圖像，以及第二投影特徵圖和第二虛擬特徵圖的尺寸大小相同。以此可以直接透過特徵點在虛擬二維圖像和第二投影圖像的像素點位置來分別確定特徵點在第二投影特徵圖和第二虛擬特徵圖的位置。
透過投影圖像特徵提取網路和虛擬圖像特徵提取網路分別得到第二投影特徵圖和第二虛擬特徵圖，相比於採用同一特徵提取網路對虛擬圖像和投影圖像進行特徵提取，該兩個特徵提取網路經訓練後，能夠實現對每種圖像的特徵提取更加準確。
可以理解的，步驟S321和步驟322的執行順序不受限制，可以根據實際需要進行調整。
步驟S323：利用圖像配準模型的位置預測網路，在第二投影特徵圖上確定與第三實際二維位置對應的第二投影特徵位置，在第二虛擬特徵圖中查找出與第二投影特徵圖上的第二投影特徵位置對應的虛擬特徵位置，利用虛擬特徵位置得到第二預測二維位置。
基於上述提及的特徵圖的位置資訊與用於提取特徵的圖像的位置資訊的對應關係，位置預測網路就可以利用第三實際二維位置確定其在第二投影特徵圖上的第二投影特徵位置。進而由位置預測網路查找出在第二虛擬特徵圖中與第二投影特徵位置對應的虛擬特徵位置，並由虛擬特徵位置得到虛擬二維圖像上的第二預測二維位置。第二預測二維位置即為特徵點在虛擬二維圖像上的預測位置。
該步驟描述的「在第二虛擬特徵圖中查找出與第二投影特徵圖上的第二投影特徵位置對應的虛擬特徵位置」可以透過以下的步驟實現：
步驟S3231：在投影特徵圖中查找出位於投影特徵位置的第一特徵資訊。
該步驟下的投影特徵圖即為第二投影特徵圖。該步驟的投影特徵位置即為第二投影特徵位置。
因為神經網路查找虛擬特徵位置是利用特徵資訊來進行查找的。因此，可以首先在第二投影特徵圖上確定特徵點在該圖上的第二投影特徵位置，即該步驟的投影特徵位置，然後根據該投影特徵位置就可以獲得其對應的特徵資訊。
例如，當特徵點在第二投影特徵圖上的投影特徵位置為某一像素點的位置（1，1）時，則該投影特徵位置的像素點的特徵資訊即為第一特徵資訊。同樣的，第一特徵資訊可以是n維的特徵向量。
步驟S3232：在虛擬特徵圖中，搜索出與第一特徵資訊間的相似度滿足預設相似條件的第二特徵資訊。
該步驟下的虛擬特徵圖即為第二虛擬特徵圖。在查找出特徵點在第二投影特徵圖上的第一特徵資訊時，位置預測網路就可以根據第一特徵資訊搜索出第二虛擬特徵圖中與第一特徵資訊間的相似度滿足預設相似條件的第二特徵資訊。
當第一特徵資訊是特徵向量時，則位置預測網路可以根據該特徵向量，在第二虛擬特徵圖中搜索出滿足預設相似條件的第二特徵資訊，第二特徵資訊同樣也為特徵向量。預設相似條件可以人為設定，例如相似度為90%至95%即表示查找的結果可以接受。當然，預設相似條件可以是根據應用的場景進行設定，此處不作限制。在一個場景中，預設相似條件可以是相似度最高所對應的第二特徵資訊。
步驟S3233：獲取第二特徵資訊在虛擬特徵圖中的虛擬特徵位置。
因為特徵圖中每一個位置都有對應的特徵資訊，因此，當搜索出第二特徵資訊時，就可以根據第二特徵資訊查找出其在第二虛擬特徵圖中對應的虛擬特徵位置。
步驟S33：基於第二實際二維位置和第二預測二維位置，對圖像配準模型的網路參數進行調整。
當由位置預測網路得到第二預測二維位置以後，就可以根據第二預測二維位置和第二實際二維位置進行比較，來判斷位置預測網路預測得到的第二預測二維位置是否滿足要求，進而對圖像配準模型的網路參數進行調整。
在第二預測二維位置與第二實際二維位置相比，二者的差異能夠滿足要求的情況下，可以認為位置預測網路預測的結果可以接受。例如是二者相比損失值符合要求，即認為結果可以接受。
基於此，為了能夠將圖像配準模型訓練得符合要求，就需要將第二實際二維位置和第二預測二維位置二者進行比較。可以理解的，虛擬圖像特徵提取網路和投影圖像特徵提取網路提取出的特徵資訊，會直接影響到位置預測網路利用特徵資訊搜索出第二特徵資訊及其對應的位置，因此，在訓練的過程中，基於比較的結果，有必要對虛擬圖像特徵提取網路、投影圖像特徵提取網路提和位置預測網路的網路參數進行調整。使得三個網路可以相互配合，最終使得第二預測二維位置與第二實際二維位置相比，能夠滿足要求。當然，在一些場景中，也可以是只對三個網路中的部分網路的網路參數進行調整，例如是只對投影圖像特徵提取網路和位置預測網路的參數進行調整。
為了使得對圖像配準模型的訓練效果更好，除了利用第二實際二維位置和第二預測二維位置二者進行比較之後，還可以進一步地利用由第二實際二維位置得到的實際三維位置以及由第二預測二維位置得到的預測三維位置來進行比較，並根據二者之間的差異來對圖像配準模型的網路參數進行調整。
在一個可能的實施場景中，可以利用對應同一預設位姿的多個虛擬二維圖像的第二預測二維位置，確定特徵點的預測三維位置。在得到虛擬二維圖像上的第二預測二維位置後，就能得到其對應的預測三維位置。如上述對步驟S31的描述，虛擬二維圖像是虛擬目標處於預設位元姿下得到的，故由第二預測二維位置得到的預測三維位置即為虛擬二維圖像對應的虛擬目標處於預設位元姿下的預測三維位置。當然，處於預設位元姿下的虛擬目標，得到的多個虛擬二維圖像可以是對應多個投影模型參數下得到的，在投影模型參數改變的情況下，其對應的預測三維位置也會相應改變。
在得到特徵點的預測三維位置以後，就可以利用特徵點的預測三維位置與實際三維位置之間的差異，對圖像配準模型的網路參數進行調整。由於在生成第二投影圖像與生成虛擬二維圖像的投影模型參數均是第二投影模型參數，且第二投影圖像是在虛擬目標處於參考位元姿下得到的。因此可以根據第二實際二維位置和第二投影模型參數得到特徵點在參考位元姿下的實際三維位置。在得到實際三維位置以後，就可以將其與預測三維位置進行比較，然後根據二者之間的差異，例如是損失值，來對圖像配準模型的網路參數進行調整。因此，透過利用預測三維位置與實際三維位置之間的差異來對圖像配準模型的網路參數進行調整，可以進一步地提高訓練效果。
在本揭露實施例中，圖像配準模型包括虛擬圖像特徵提取網路、投影圖像特徵提取網路提和位置預測網路三個神經網路，在調整圖像配準模型的網路參數時，即對這三個網路的網路參數進行調整。
在一個可能的實施場景中，為了訓練得到穩定、可用的圖像配準模型，可以在調整圖像配準模型的網路參數之後，重新執行上述步驟S32至S33或是重複執行本揭露實施例描述的方法，從而不斷執行對第二預測二維位置的查找，以及圖像配準模型的損失值計算，及其網路參數調整過程，直至符合要求。符合要求可以是損失值小於一個預設損失閾值，且損失值不再減小。
因此，透過利用虛擬圖像來對圖像配準模型進行預訓練，由於虛擬圖像的獲取成本較低，可以降低訓練成本。並且，虛擬圖像可以大批量的生成，因此可以提供大量的訓練資料，因而可以提高訓練的效果。另外，透過先利用虛擬圖像對圖像配準模型進行預訓練，再利用真實圖像來訓練，可以提高訓練的效果，使得經過真實圖像訓練後的圖像配準模型可以更好的對真實圖像進行配準。
在一個可能的實施場景中，上述的參考二維圖像和真實二維圖像可以為X射線圖像，第一投影圖像為數位重建放射影像圖像，第二投影圖像也可以為數位重建放射影像圖像。在該實施場景下，上述提及的圖像配準模型可以用於醫療領域的圖像配準。並且，透過確定參考二維圖像和真實二維圖像為X射線圖像，第一投影圖像為數位重建放射影像圖像，使得訓練後的圖像配準模型可以針對X射線圖像和數位重建放射影像圖像進行配準，提高了圖像配準模型對此類圖像配準的訓練效果。
在另外一個揭露實施例中，上述的真實圖像特徵提取網路可以直接由上述的虛擬圖像特徵提取網路得到，也即將虛擬圖像特徵提取網路作為真實圖像特徵提取網路。在該揭露實施例下，圖像配準模型包括虛擬圖像特徵提取網路（真實圖像特徵提取網路）、投影圖像特徵提取網路和位置預測網路。在該揭露實施例中，透過直接將虛擬圖像特徵提取網路作為真實圖像特徵提取網路，減少神經網路的數量，簡化了圖像配準模型訓練的過程，使得圖像配準模型的訓練更加容易開展，使得圖像配準模型可以更加容易應用於真實環境中。
參閱第7A圖，第7A圖是本揭露實施例圖像配準方法實施例的流程示意圖。在進行圖像配準時，可以利用由上述實施例描述的訓練方法訓練得到的圖像配準模型來配準。該圖像配準方法可以包括以下步驟：
步驟S71a：獲取分別對真實目標進行成像得到的二維圖像和三維圖像。
在圖像配準時需要對至少兩幅圖像進行配準。在本揭露實施例中，可以首先對真實目標進行成像，以得到二維圖像和三維圖像。真實目標可以是真實環境中各種物體，如杯子、人體內的骨頭等等。對目標進行成像，即利用各種成像手段，如利用照相機、X光機、3D掃描器等來對真實目標進行成像，以獲得關於真實目標的二維圖像和三維圖像。
二維圖像例如是由攝影機進行成像後得到的二維圖片，或是由X光機進行成像後得到的X光圖像。三維圖像例如是由3D掃描器掃描得到的三維圖像，或是由CT得到的三維圖像。
步驟S72a：利用二維圖像的投影模型參數對三維圖像進行投影，得到投影圖像。
在獲得二維圖像時，還可以同時獲得在對真實目標進行成像以獲得二維圖像時的投影模型參數。得到對真實目標進行成像以獲得二維圖像時的投影模型參數後，就可以根據該投影模型參數，對由真實目標得到的三維圖像進行投影，以獲得投影圖像。投影的方式可以利用電腦根據投影模型參數進行模擬投影。
在一個可能的實施場景中，投影圖像和二維圖像的尺寸可以相同，例如同為256*256個像素點。
步驟S73a：利用圖像配準模型對二維圖像和投影圖像進行處理，得到真實目標上的特徵點在二維圖像上的二維位置。
出於配準的需要，可以透過確定真實目標上的特徵點的方法，來輔助進行配準。在一個可能的實施場景中，可以在投影圖像上選擇特徵點，特徵點可以選擇位於上述目標在投影圖像上的區域內部或是邊緣，以便於後續查找特徵點，以提高配準效率。在投影圖像上確定了特徵點以後，就可以確定特徵點在投影圖像上的實際二維位置。在另一個可能的實施場景中，也可以在三維圖像上選擇特徵點，以此可以確定特徵點在三維圖像上的位置，再根據在對真實目標進行成像以獲得二維圖像時的投影模型參數，得到特徵點在投影圖像上的實際二維位置。例如，可以在三維圖像所處的虛擬環境中建立三維坐標系，以此可以確定特徵點的三維座標。再透過投影模型參數，可以計算得到特徵點在投影圖像上的二維座標，該二維座標即是特徵點在投影圖像上的實際二維位置。對於二維圖像和投影圖像而言，特徵點在這兩個圖像的位置也可以用特徵點對應的像素點的位置來表示。例如，特徵點對應的像素點的位置是（2, 2），則特徵點在二維圖像和投影圖像的位置也為（2, 2）。
圖像配準模型對二維圖像和投影圖像進行處理，得到真實目標上的特徵點在二維圖像上的二維位置。可以包括以下步驟：
步驟S731a：圖像配準模型分別對二維圖像和投影圖像進行特徵提取，以得到二維圖像特徵圖和投影圖像特徵圖，確定實際二維位置在投影圖像特徵圖上的投影特徵位置。
根據上述關於圖像配準模型的訓練方法的實施例的描述可知，圖像配準模型包括真實圖像特徵提取網路和投影圖像特徵提取網路。因此，可以利用真實圖像特徵提取網路對二維圖像進行特徵提取，以得到二維圖像特徵圖；利用投影圖像特徵提取網路對投影圖像進行特徵提取，以得到投影圖像特徵圖。這兩個特徵圖中的像素點都可以包含特徵資訊，特徵資訊例如是特徵向量。
由於二維圖像特徵圖是由真實圖像特徵提取網路對二維圖像進行特徵提取得到的，投影圖像特徵圖是由投影圖像特徵提取網路對投影圖像進行特徵提取得到的。因此，特徵圖上的位置是與二維圖像或投影圖像上的位置具有對應關係的。關於該對應關係的描述，可以參閱步驟S113的相關描述，此處不再贅述。
根據上述的對應關係，就可以根據特徵點在投影圖像上的實際二維位置，確定特徵點在投影圖像上的投影特徵位置。
步驟S732a：在投影圖像特徵圖中查找出位於投影特徵位置的第一特徵資訊，在二維圖像特徵圖搜索出與第一特徵資訊間的相似度滿足預設要求的第二特徵資訊。
該步驟可以參閱步驟S271和步驟S272。不同的是，步驟S271和步驟S272下的第二投影特徵圖替換為該步驟下的投影圖像特徵圖，第二投影特徵位置替換為投影特徵位置，第二虛擬特徵圖替換為二維圖像特徵圖。
步驟S733a：獲取第二特徵資訊在二維圖像特徵圖的預測特徵位置，利用預測特徵位置得到二維位置。
該步驟可以參閱步驟S1133。不同的是，步驟S1133的虛擬特徵位置替換為該步驟的預測特徵位置，第二預測二維位置替換為二維位置。
步驟S74a：利用二維位置，獲得二維圖像與三維圖像之間的配準結果。
在得到特徵點在二維圖像上的二維位置以後，便可以根據該二維位置進行相關的運算，以獲得二維圖像與三維圖像之間的配準結果。該步驟可以由以下幾個步驟實現：
步驟S741a：利用投影模型參數將二維位置投影至三維空間，得到特徵點的第一三維位置。
利用投影模型參數將二維位置投影至三維空間，得到特徵點的第一三維位置，即是利用特徵點在二維圖像上的二維位置，和利用對目標進行成像以獲得二維圖像時的投影模型參數，進行相關的計算後，得到特徵點在拍攝二維圖像時的目標上的三維位置。計算的方法屬於本領域的通用方法，此處不再贅述。
步驟S742a：獲取真實目標上的特徵點在三維圖像上的第二三維位置。
根據上述步驟S63的描述，特徵點在投影圖像上的實際二維位置，在選擇特徵點時，已經確定了，即特徵點在投影圖像上的實際二維位置是已知的。基於該實際二維位置，可以利用對真實目標進行成像以獲得二維圖像時的投影模型參數，得到特徵點在三維圖像上的實際三維位置。
步驟S743a：利用第一三維位置和第二三維位置，獲得三維圖像相對於二維圖像的剛體變換參數。
在得到特徵點在拍攝二維圖像時的目標上的三維位置，以及特徵點在三維圖像上的實際三維位置，就可以根據這兩個位置進行計算，得到特徵點在拍攝二維圖像時的目標與三維圖像的剛體變換參數。即可以得到二維圖像與三維圖像之間的配準結果。
透過上述的圖像配準方法，可以對由目標進行成像得到的二維圖像和三維圖像進行配準，使得二維圖像上的點能夠與三維圖像的點對應起來，在醫療領域、工業領域等有著巨大的應用前景。
二維-三維圖像剛體配準可在生物力學分析、手術導航等方面提供説明，其目的是確定三維圖像（如CT圖像）中目的地區域在空間中的位置及姿態，使之與其在一張或多張二維圖像（如X射線圖像）上的成像對齊。
目前基於最佳化反覆運算的配準方法執行時間較長，無法滿足即時性的需求；基於深度學習的配準方法運行速度快，但現有方法無法滿足二維圖像數量不固定和拍攝視角不固定情況下的配準，並需要大量的訓練資料進行訓練，否則方法會失效。由於手動配準圖像耗時較長且不精確，導致獲得真實應用環境中、經過配準的大量二維-三維圖像很困難，影響了即時配準方法的進一步應用。也就是說，相關技術中存在以下問題：基於最佳化方法的配準方法速度慢；針對特定視角訓練配準模型，無法處理任意視角的情況；訓練資料少時方法失效。
本揭露實施例使用兩個神經網路，分別提取真實二維圖像和配準輔助二維圖像（如DRR圖像）特徵，解決二維圖像數量和拍攝視角不固定的情況。同時使用與真實二維圖像外觀接近的虛擬二維圖像訓練配準網路，由於虛擬二維圖像可無限生成且配準標注精確，該步驟可得到結果較好的配準模型。然後根據真實二維圖像和虛擬二維圖像的對應關係，訓練可用於真實二維圖像的配準模型
本揭露實施例提供的配準網路的訓練方法，包括兩個階段：第一階段虛擬二維圖像訓練配準網路和第二階段真實二維圖像訓練遷移。第7B圖是本揭露實施例圖像配準方法實施例的邏輯流程圖，如第7B圖所示，第一階段透過以下步驟S71b至S73b實施，第二階段透過以下步驟S74b和S75b實施。
步驟S71b：透過模擬三維圖像中目標在空間中的不同位置和姿態，生成虛擬二維圖像。
首先使用如光線追蹤的方法，透過模擬三維圖像中目標在空間中的不同位置及姿態，生成大量與真實二維圖像相似的虛擬二維圖像。同時記錄三維圖像在三維空間中的剛體變換參數及投影模型參數。
步驟S72b：根據三維圖像在空間中的初始位置及投影模型參數，生成DRR圖像。
生成的DRR圖像用於輔助配準。根據DRR圖像上待配準目標的成像，選取三維圖像待配準目標內部或邊緣的多個特徵點並記錄其在三維圖像中的位置，使得特徵點經投影後在DRR圖像上都有成像。根據投影模型、三維圖像在空間中的位置和姿態，可得到特徵點在DRR圖像及虛擬二維圖像上的位置。
步驟S73b：透過分別對虛擬二維圖像和DRR圖像進行特徵提取，確定DRR圖像中特徵點在虛擬二維圖像上的特徵點投影座標。
分別透過虛擬二維圖像特徵提取網路和DDR圖像特徵提取網路，提取虛擬二維圖像的特徵圖和DDR圖像的特徵圖。如第7C圖所示，將多張DRR圖像71c輸入到DRR圖像特徵提取網路72c，網路最頂層輸出與DRR尺寸一致、特徵維數與虛擬X射線的特徵維數一致的特徵圖；將多張虛擬X射線圖像74c輸入到虛擬X射線特徵提取網路75c，網路最頂層輸出與虛擬圖像尺寸一致、含多維特徵的特徵圖；根據特徵點在DRR圖像上的位置，提取特徵圖中對應位置的特徵向量，與虛擬X射線的特徵向量進行比較，得到特徵點在虛擬X射線圖像上的視角1特徵點投影座標73c。進而將多視角圖像按照該步驟得到特徵點在多個視角虛擬X射線圖像上的位置。
根據特徵點網路預測二維投影座標和真值差異、特徵點網路預測三維座標和真值差異，反向傳播訓練虛擬X射線特徵提取網路和DRR圖像特徵提取網路。
步驟S74b：根據投影模型參數和虛擬二維圖像上的特徵點投影座標，確定虛擬二維圖像和DDR圖像的配準結果。
根據投影模型參數，由虛擬二維圖像上的特徵點投影座標得到特徵點的三維座標。根據特徵點集在初始位置的三維座標和由虛擬二維圖像得到的三維座標，計算得到從初始位置到真實位置的剛體變換參數，即虛擬二維圖像和DDR圖像的配準結果。
步驟S75b：根據配準結果，訓練真實二維圖像特徵提取網路。
先使用虛擬資料訓練，然後使用虛擬資料的結果監督真實資料訓練。在訓練中，保留步驟S73b訓練得到的網路參數，並建立真實二維圖像特徵提取網路。根據已知配準結果，可以生成待配準目標位置與真實二維圖像完全一致的虛擬二維圖像。
如第7D圖所示，以真實X射線圖像特徵提取網路的訓練過程為例，將真實X射線圖像72d輸入真實X射線圖像特徵提取網路75d；其對應的虛擬X射線圖像73d輸入步驟S73b中形成的虛擬X射線圖像特徵提取網路77d；計算兩個網路中間層輸出的差異，反向傳播進行真實X射線圖像特徵提取網路75d的訓練。訓練數輪後，使用特徵誤差78d和配準誤差76d一起訓練真實X射線圖像特徵提取網路75d，同時利用DRR圖像71d訓練DRR圖像特徵提取網路74d。
本揭露實施例實現一種二維-三維圖像配準方法，該方法可實現三維圖像與數張非固定視角的二維圖像的快速配準。採用深度學習技術進行二維-三維圖像配準，速度快。
本揭露實施例提出一種配準網路的訓練方法，該方法可提高配準網路在訓練資料較少時的配準精度，可在訓練資料量少的情況下應用，緩解基於深度學習的配準方法在小資料上應用困難的問題。
本揭露實施例中提供的網格結構對真實圖像和配準輔助圖像分別處理，單個網路處理所有視角的情況，可適用於任意角度拍攝的二維圖像。
本揭露實施例可應用於手術導航。受試者手術前拍攝膝關節CT圖像，術中即時拍攝X射線圖像，拍攝時儀器的擺放位置及拍攝角度可非固定，可透過本技術將CT圖像與X射線圖像進行快速配準，非入侵式的獲得受試者骨骼的位置姿態並進行重建，融入手術導航系統中實現擴增實境的顯示。
參閱第8圖，第8圖是本揭露實施例圖像配準模型的訓練裝置實施例的框架示意圖。該訓練裝置80包括：第一獲取模組81、第一特徵提取模組82、第二特徵提取模組83和第一調整模組84。
第一獲取模組81，配置為獲取真實二維圖像和參考二維圖像，其中，真實二維圖像為利用成像元件對真實目標進行成像得到的，參考二維圖像中的真實目標所在位置與真實二維圖像匹配。第一特徵提取模組82，配置為利用圖像配準模型的虛擬圖像特徵提取網路對參考二維圖像進行特徵提取，得到第一虛擬特徵圖；其中，圖像配準模型已利用虛擬圖像進行預訓練，且虛擬圖像特徵提取網路參與預訓練，虛擬圖像是基於虛擬目標生成的。第二特徵提取模組83，配置為利用圖像配準模型的真實圖像特徵提取網路對真實二維圖像進行特徵提取，得到第一真實特徵圖；其中，真實圖像特徵提取網路未參與預訓練。第一調整模組84，配置為利用第一真實特徵圖和第一虛擬特徵圖之間的差異，調整真實圖像特徵提取網路的網路參數。
第一獲取模組81配置為執行獲取參考二維圖像，包括：利用真實二維圖像與真實三維圖像之間的實際配準結果，生成真實目標所在位置與真實二維圖像一致的參考二維圖像。
訓練裝置80還包括第三特徵提取預測模組和第二調整模組。在第一調整模組84執行利用第一真實特徵圖和第一虛擬特徵圖之間的差異，調整真實圖像特徵提取網路的網路參數之後，第三特徵提取預測模組配置為執行利用調整後的真實圖像特徵提取網路對真實二維圖像進行特徵提取，得到第二真實特徵圖；利用真實二維圖像的第一投影模型參數對真實三維圖像進行投影，得到第一投影圖像，並獲取真實目標上的特徵點在第一投影圖像的第一實際二維位置；利用投影圖像特徵提取網路對第一投影圖像進行特徵提取，得到第一投影特徵圖；利用位置預測網路，在第一投影特徵圖上確定與第一實際二維位置對應的第一投影特徵位置，在第二真實特徵圖中查找出與第一投影特徵圖上的第一投影特徵位置對應的真實特徵位置，利用真實特徵位置得到真實目標上的特徵點在真實二維圖像上的第一預測二維位置；利用第一預測二維位置，獲得真實二維圖像與真實三維圖像的預測配準結果。第二調整模組配置為執行利用實際配準結果和預測配準結果之間的差異，調整真實圖像特徵提取網路、投影圖像特徵提取網路和位置預測網路中的至少一個網路的網路參數。
第二調整模組配置為執行利用實際配準結果和預測配準結果之間的差異，調整真實圖像特徵提取網路的網路參數，包括：利用第二真實特徵圖和第一虛擬特徵圖之間的差異、實際配準結果和預測配準結果之間的差異，調整真實圖像特徵提取網路的網路參數。
訓練裝置80還包括預訓練模組。預訓練模組配置為執行以下步驟，以對圖像配準模型進行預訓練：獲取至少一組虛擬二維圖像和第二投影圖像，以及獲取虛擬目標上的特徵點分別在虛擬二維圖像的第二實際二維位置和在第二投影圖像的第三實際二維位置，其中，虛擬二維圖像是對虛擬目標進行模擬成像得到的，第二投影圖像是對虛擬目標進行模擬投影得到的；將每組虛擬二維圖像、第二投影圖像以及第三實際二維位置輸入至圖像配準模型，以得到虛擬目標上的特徵點在虛擬二維圖像的第二預測二維位置；基於第二實際二維位置和第二預測二維位置，對圖像配準模型的網路參數進行調整。
預訓練模組配置為執行將每組虛擬二維圖像、第二投影圖像以及第三實際二維位置輸入至圖像配準模型，以得到虛擬目標上的特徵點在虛擬二維圖像的第二預測二維位置，包括：利用圖像配準模型的投影圖像特徵提取網路對第二投影圖像進行特徵提取，得到第二投影特徵圖；利用虛擬圖像特徵提取網路對虛擬二維圖像進行特徵提取，得到第二虛擬特徵圖；利用圖像配準模型的位置預測網路，在第二投影特徵圖上確定與第三實際二維位置對應的第二投影特徵位置，在第二虛擬特徵圖中查找出與第二投影特徵圖上的第二投影特徵位置對應的虛擬特徵位置，利用虛擬特徵位置得到第二預測二維位置。預訓練模組配置為執行基於第二實際二維位置和第二預測二維位置，對圖像配準模型的網路參數進行調整，包括：基於第二實際二維位置和第二預測二維位置，對虛擬圖像特徵提取網路、投影圖像特徵提取網路和位置預測網路的網路參數進行調整。
第三特徵提取預測模組配置為執行在第二真實特徵圖中查找出與第一投影特徵圖上的第一投影特徵位置對應的真實特徵位置，包括：在投影特徵圖中查找出位於投影特徵位置的第一特徵資訊；在虛擬特徵圖或真實特徵圖中，搜索出與第一特徵資訊間的相似度滿足預設相似條件的第二特徵資訊；獲取第二特徵資訊在虛擬特徵圖中的虛擬特徵位置或在真實特徵圖中的真實特徵位置。
預訓練模組配置為執行在第二虛擬特徵圖中查找出與第二投影特徵圖上的第二投影特徵位置對應的虛擬特徵位置，包括：在投影特徵圖中查找出位於投影特徵位置的第一特徵資訊；在虛擬特徵圖或真實特徵圖中，搜索出與第一特徵資訊間的相似度滿足預設相似條件的第二特徵資訊；獲取第二特徵資訊在虛擬特徵圖中的虛擬特徵位置或在真實特徵圖中的真實特徵位置。
每組虛擬二維圖像和第二投影圖像包含利用同一第二投影模型參數對預設位元姿下的虛擬目標進行模擬成像得到的虛擬二維圖像，以及利用同一第二投影模型參數對參考位元姿下的虛擬目標進行模擬投影得到的第二投影圖像；其中，不同組虛擬二維圖像和第二投影圖像所對應的第二投影模型參數和/或預設位姿不同。
預訓練模組配置為執行以下步驟，以對圖像配準模型進行預訓練：利用對應同一預設位姿的多個虛擬二維圖像的第二預測二維位置，確定特徵點的預測三維位置；利用特徵點的預測三維位置與實際三維位置之間的差異，對圖像配準模型的網路參數進行調整。
預訓練模組配置為執行獲取每組虛擬二維圖像和第二投影圖像，包括：以同一第二投影模型參數對處於預設位元姿的虛擬目標進行模擬成像，得到虛擬二維圖像，並記錄第二投影模型參數以及預設位元姿的虛擬目標相對於參考位元姿的剛體變換參數；以同一第二投影模型參數對處於參考位元姿的虛擬目標進行模擬投影，得到第二投影圖像。預訓練模組配置為執行獲取虛擬目標上的特徵點分別在虛擬二維圖像的第二實際二維位置和在第二投影圖像的第三實際二維位置，包括：確定處於參考位元姿的虛擬目標上的至少一個特徵點；利用虛擬二維圖像對應的第二投影模型參數以及剛體變換參數，確定特徵點在虛擬二維圖像上的第二實際二維位置；以及，利用第二投影圖像對應的第二投影模型參數，確定特徵點在第二投影圖像上的第三實際二維位置。
預訓練模組配置為執行確定處於參考位元姿的虛擬目標上的至少一個特徵點，包括：在處於參考位元姿的虛擬目標上，隨機選取至少一個特徵點；或者；辨識第二投影圖像中對應虛擬目標的目的地區域，在目的地區域的內部或邊緣上選擇至少一個投影點，並利用第二投影圖像的第二投影模型參數，將至少一個投影點投影至三維空間中，以得到虛擬目標上的至少一個特徵點。
參閱第9圖，第9圖是本揭露實施例圖像配準裝置實施例的框架示意圖。該圖像配準裝置90包括：第二獲取模組91、投影模組92、預測模組93和配準模組94。第二獲取模組91，配置為獲取分別對目標進行成像得到的二維圖像和三維圖像；投影模組92配置為利用二維圖像的投影模型參數對三維圖像進行投影，得到投影圖像；預測模組93配置為利用圖像配準模型對二維圖像和投影圖像進行處理，得到目標上的特徵點在二維圖像上的二維位置；配準模組94配置為利用二維位置，獲得二維圖像與三維圖像之間的配準結果；其中，圖像配準模型是由上述圖像配準模型的訓練裝置的訓練得到的。
在本揭露的一些實施例中，上述的配準模組94還可以配置為利用投影模型參數將二維位置投影至三維空間，得到特徵點的第一三維位置。上述的配準模組94還可以配置為獲取真實目標上的特徵點在三維圖像上的第二三維位置。上述的配準模組94還可以配置為利用第一三維位置和第二三維位置，輸出二維圖像相對於三維圖像之間的配準結果。
參閱第10圖，第10圖為本揭露實施例圖像配準設備實施例的結構示意框圖。該圖像配準設備包括處理器101以及與處理器耦接的記憶體102。處理器101配置為執行記憶體102儲存的電腦程式，以執行上述的圖像配準模型的訓練方法，或者是圖像配準方法。
參閱第11圖，第11圖為本揭露實施例儲存裝置實施方式的框架示意圖。該儲存裝置110儲存有電腦程式，電腦程式被處理器執行時可實現上述任一實施例中增益調整方法的步驟。該電腦可讀儲存媒體儲存裝置可以為U盤、移動硬碟、唯讀記憶體（ROM，Read Only Memory）、隨機存取記憶體（RAM，Random Access Memory）、磁碟或者光碟等可以儲存電腦程式的媒體，或者也可以為儲存有該電腦程式的伺服器，該伺服器可將儲存的電腦程式發送給其他設備運行，或者也可以自運行該儲存的電腦程式。
本揭露實施例還提供了一種電腦程式產品，所述電腦程式產品儲存有程式指令，所述程式指令由處理器載入並執行上述目標資料更新方法實施例中的步驟。
可以理解的，在本揭露實施例提供的實施例中，所有的實施例都是不衝突的，即是可以相互結合的。在本揭露實施例所提供的幾個實施例中，應該理解到，所揭露的方法和裝置，可以透過其它的方式實現。例如，以上所描述的裝置實施方式僅僅是示意性的，例如，模組或單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是透過一些介面，裝置或單元的間接耦合或通訊連接，可以是電性、機械或其它的形式。
作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施方式方案的目的。另外，在本揭露實施例各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。
集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存媒體中。基於這樣的理解，本揭露實施例的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒體中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）或處理器（processor）執行本揭露實施例各個實施方式方法的全部或部分步驟。而前述的儲存媒體包括：U盤、移動硬碟、唯讀記憶體、隨機存取記憶體、磁碟或者光碟等各種可以儲存程式碼的媒體。 工業實用性
本揭露實施例獲取真實二維圖像和參考二維圖像，利用圖像配準模型的虛擬圖像特徵提取網路對參考二維圖像進行特徵提取，得到第一虛擬特徵圖；其中，圖像配準模型已利用虛擬圖像進行預訓練，且虛擬圖像特徵提取網路參與預訓練，虛擬圖像是基於虛擬目標生成的；利用圖像配準模型的真實圖像特徵提取網路對真實二維圖像進行特徵提取，得到第一真實特徵圖；其中，真實圖像特徵提取網路未參與預訓練；利用第一真實特徵圖和第一虛擬特徵圖之間的差異，調整真實圖像特徵提取網路的網路參數。透過該方法，提高了圖像配準模型的訓練效果且降低了訓練成本。
S10~S13:步驟 S20~S29:步驟 S31~S33:步驟 S311~S314:步驟 S321~S323:步驟 S71a~S74a:步驟 S71b~S75b:步驟 71c:DRR圖像 72c:DRR圖像特徵提取網路 73c:視角1~n特徵點投影座標 74c:虛擬X射線圖像 75c:虛擬X射線特徵提取網路 71d:DRR圖像 72d:真實X射線圖像 73d:虛擬X射線圖像 74d:DRR圖像特徵提取網路 75d:真實X射線圖像特徵提取網路 76d:配準誤差 77d:虛擬X射線圖像特徵提取網路 78d:特徵誤差 80:訓練裝置 81:第一獲取模組 82:第一特徵提取模組 83:第二特徵提取模組 84:第一調整模組 90:圖像配準裝置 91:第二獲取模組 92:投影模組 93:預測模組 94:配準模組 101:處理器 102:記憶體 110:儲存裝置
為了更清楚地說明本揭露實施例中的技術方案，下面將對實施例描述中所需要的附圖作簡單的介紹，顯而易見地，下面描述的附圖僅僅是本揭露實施例的一些實施例，對於本領域普通技術人員來說，在不付出進步性勞動的前提下，還可以根據這些附圖獲得其他的附圖。其中：
第1圖是本揭露實施例圖像配準模型的訓練方法的流程示意圖； 第2圖是本揭露實施例圖像配準模型的訓練方法的流程示意圖； 第3圖是本揭露實施例圖像配準模型的訓練方法的第一流程示意圖； 第4圖是本揭露實施例圖像配準模型的訓練方法的第二流程示意圖； 第5圖是本揭露實施例圖像配準模型的訓練方法的第三流程示意圖； 第6圖是本揭露實施例圖像配準模型的訓練方法的第四流程示意圖； 第7A圖是本揭露實施例圖像配準方法實施例的流程示意圖； 第7B圖是本揭露實施例圖像配準方法實施例的邏輯流程圖； 第7C圖是本揭露實施例確定虛擬二維圖像上的特徵點投影座標的示意圖； 第7D圖是本揭露實施例提供的真實X射線圖像特徵提取網路的訓練過程示意圖； 第8圖是本揭露實施例圖像配準模型的訓練裝置實施例的框架示意圖； 第9圖是本揭露實施例圖像配準裝置實施例的框架示意圖； 第10圖是本揭露實施例圖像配準設備實施例的結構示意框圖； 第11圖是本揭露實施例儲存裝置實施方式的框架示意圖。
S10~S13:步驟

Claims (16)

  1. 一種圖像配準模型的訓練方法，包括：獲取真實二維圖像和參考二維圖像，其中，真實二維圖像為利用成像元件對真實目標進行成像得到的，所述參考二維圖像中的真實目標所在位置與所述真實二維圖像匹配；利用所述圖像配準模型的虛擬圖像特徵提取網路對所述參考二維圖像進行特徵提取，得到第一虛擬特徵圖；其中，所述圖像配準模型已利用虛擬圖像進行預訓練，且所述虛擬圖像特徵提取網路參與所述預訓練，所述虛擬圖像是基於虛擬目標生成的，所述虛擬目標是人為模擬所述真實目標生成的；利用所述圖像配準模型的真實圖像特徵提取網路對所述真實二維圖像進行特徵提取，得到第一真實特徵圖；其中，所述真實圖像特徵提取網路未參與所述預訓練；利用所述第一真實特徵圖和所述第一虛擬特徵圖之間的差異，調整所述真實圖像特徵提取網路的網路參數。
  2. 根據請求項1所述的方法，其中，所述獲取參考二維圖像，包括：利用所述真實二維圖像與真實三維圖像之間的實際配準結果，生成所述真實目標所在位置與所述真實二維圖像一致的參考二維圖像。
  3. 根據請求項2所述的方法，其中，所述圖像配準模型還包括參與所述預訓練的投影圖像特徵提取網路和位置預測網路；在所述利用所述第一真實特徵圖和所述第一虛擬特徵圖之間的差異，調整所述真實圖像特徵提取網路的網路參數之後，所述方法還包括：利用調整後的所述真實圖像特徵提取網路對所述真實二維圖像進行特徵提取，得到第二真實特徵圖；
    利用所述真實二維圖像的第一投影模型參數對真實三維圖像進行投影，得到第一投影圖像，並獲取所述真實目標上的特徵點在所述第一投影圖像的第一實際二維位置；利用所述投影圖像特徵提取網路對所述第一投影圖像進行特徵提取，得到第一投影特徵圖；利用所述位置預測網路，在所述第一投影特徵圖上確定與所述第一實際二維位置對應的第一投影特徵位置，在所述第二真實特徵圖中查找出與所述第一投影特徵圖上的所述第一投影特徵位置對應的真實特徵位置，利用所述真實特徵位置得到所述真實目標上的特徵點在所述真實二維圖像上的第一預測二維位置；利用所述第一預測二維位置，獲得所述真實二維圖像與所述真實三維圖像的預測配準結果；利用所述實際配準結果和所述預測配準結果之間的差異，調整所述真實圖像特徵提取網路、投影圖像特徵提取網路和位置預測網路中的至少一個網路的網路參數。
  4. 根據請求項3所述的方法，其中，所述利用所述實際配準結果和所述預測配準結果之間的差異，調整所述真實圖像特徵提取網路的網路參數，包括：利用所述第二真實特徵圖和所述第一虛擬特徵圖之間的差異、所述實際配準結果和所述預測配準結果之間的差異，調整所述真實圖像特徵提取網路的網路參數。
  5. 根據請求項1至4任一項所述的方法，其中，所述方法還包括以下步驟，以對所述圖像配準模型進行預訓練：獲取至少一組虛擬二維圖像和第二投影圖像，以及獲取所述虛擬目標上的 特徵點分別在所述虛擬二維圖像的第二實際二維位置和在所述第二投影圖像的第三實際二維位置，其中，所述虛擬二維圖像是對所述虛擬目標進行模擬成像得到的，所述第二投影圖像是對所述虛擬目標進行模擬投影得到的；將每組所述虛擬二維圖像、所述第二投影圖像以及所述第三實際二維位置輸入至所述圖像配準模型，以得到所述虛擬目標上的特徵點在所述虛擬二維圖像的第二預測二維位置；基於所述第二實際二維位置和所述第二預測二維位置，對所述圖像配準模型的網路參數進行調整。
  6. 根據請求項5所述的方法，其中，所述將每組所述虛擬二維圖像、所述第二投影圖像以及所述第三實際二維位置輸入至所述圖像配準模型，以得到所述虛擬目標上的特徵點在所述虛擬二維圖像的第二預測二維位置，包括：利用所述圖像配準模型的投影圖像特徵提取網路對所述第二投影圖像進行特徵提取，得到第二投影特徵圖；利用所述虛擬圖像特徵提取網路對所述虛擬二維圖像進行特徵提取，得到第二虛擬特徵圖；利用所述圖像配準模型的位置預測網路，在所述第二投影特徵圖上確定與所述第三實際二維位置對應的第二投影特徵位置，在所述第二虛擬特徵圖中查找出與所述第二投影特徵圖上的所述第二投影特徵位置對應的虛擬特徵位置，利用所述虛擬特徵位置得到所述第二預測二維位置；所述基於所述第二實際二維位置和所述第二預測二維位置，對所述圖像配準模型的網路參數進行調整，包括：基於所述第二實際二維位置和所述第二預測二維位置，對所述虛擬圖像特徵提取網路、所述投影圖像特徵提取網路和所述位置預測網路的網路參數進行 調整。
  7. 根據請求項3所述的方法，其中，所述在所述第二真實特徵圖中查找出與所述第一投影特徵圖上的所述第一投影特徵位置對應的真實特徵位置，包括：在所述第一投影特徵圖中查找出位於所述第一投影特徵位置的第一特徵資訊；在所述第二真實特徵圖中，搜索出與所述第一特徵資訊之間的相似度滿足預設相似條件的第二特徵資訊；獲取所述第二特徵資訊在所述第二真實特徵圖中的真實特徵位置。
  8. 根據請求項6所述的方法，其中，所述在所述第二虛擬特徵圖中查找出與所述第二投影特徵圖上的所述第二投影特徵位置對應的虛擬特徵位置，包括：在所述第二投影特徵圖中查找出位於所述第二投影特徵位置的第一特徵資訊；在所述第二虛擬特徵圖中，搜索出與所述第一特徵資訊之間的相似度滿足預設相似條件的第二特徵資訊；獲取所述第二特徵資訊在所述第二虛擬特徵圖中的虛擬特徵位置。
  9. 根據請求項5所述的方法，其中，每組所述虛擬二維圖像和所述第二投影圖像包含利用同一第二投影模型參數對預設位元姿下的所述虛擬目標進行模擬成像得到的虛擬二維圖像，以及利用同一所述第二投影模型參數對參考位元姿下的所述虛擬目標進行模擬投影得到的第二投影圖像；其中，不同組所述虛擬二維圖像和所述第二投影圖像所對應的所述第二投影模型參數和/或所述預設位姿不同。
  10. 根據請求項9所述的方法，其中，所述方法還包括以下步驟， 以對所述圖像配準模型進行預訓練：利用對應同一所述預設位姿的多個虛擬二維圖像的第二預測二維位置，確定所述虛擬目標上的特徵點的預測三維位置；利用所述虛擬目標上的特徵點的預測三維位置與實際三維位置之間的差異，對所述圖像配準模型的網路參數進行調整。
  11. 根據請求項9所述的方法，其中，獲取每組所述虛擬二維圖像和第二投影圖像，包括：以同一所述第二投影模型參數對處於預設位元姿的所述虛擬目標進行模擬成像，得到所述虛擬二維圖像，並記錄所述第二投影模型參數以及所述預設位元姿的虛擬目標相對於參考位元姿的剛體變換參數；以同一所述第二投影模型參數對處於所述參考位姿的所述虛擬目標進行模擬投影，得到所述第二投影圖像；所述獲取所述虛擬目標上的特徵點分別在所述虛擬二維圖像的第二實際二維位置和在所述第二投影圖像的第三實際二維位置，包括：確定處於所述參考位姿的所述虛擬目標上的至少一個特徵點；利用所述虛擬二維圖像對應的所述第二投影模型參數以及所述剛體變換參數，確定每一所述特徵點在所述虛擬二維圖像上的第二實際二維位置；以及，利用所述第二投影圖像對應的所述第二投影模型參數，確定每一所述特徵點在所述第二投影圖像上的第三實際二維位置。
  12. 根據請求項11所述的方法，其中，所述確定處於所述參考位姿的所述虛擬目標上的至少一個特徵點，包括：在所述處於所述參考位元姿的虛擬目標上，隨機選取至少一個特徵點；或者；辨識所述第二投影圖像中對應所述虛擬目標的目的地區域，在所述目的地 區域的內部或邊緣上選擇至少一個投影點，並利用所述第二投影圖像的所述第二投影模型參數，將所述至少一個投影點投影至三維空間中，以得到所述虛擬目標上的至少一個特徵點。
  13. 一種圖像配準方法，包括：獲取分別對真實目標進行成像得到的二維圖像和三維圖像；利用所述二維圖像的投影模型參數對所述三維圖像進行投影，得到投影圖像；利用圖像配準模型對所述二維圖像和所述投影圖像進行處理，得到所述真實目標上的特徵點在所述二維圖像上的二維位置；利用所述二維位置，獲得所述二維圖像與所述三維圖像之間的配準結果；其中，所述圖像配準模型是由請求項1至4任一項方法訓練得到的。
  14. 根據請求項13所述的方法，其中，所述利用所述二維位置，獲得所述二維圖像與所述三維圖像之間的配準結果，包括：利用所述投影模型參數將所述二維位置投影至三維空間，得到所述真實目標上的特徵點的第一三維位置；獲取所述真實目標上的特徵點在所述三維圖像上的第二三維位置；利用所述第一三維位置和所述第二三維位置，獲得所述二維圖像相對於所述三維圖像之間的配準結果。
  15. 一種圖像配準設備，包括相互耦接的處理器和記憶體，其中，所述處理器用於執行所述記憶體儲存的電腦程式以執行請求項1至12任一項所述的圖像配準模型的訓練方法，或者執行請求項13或14所述的圖像配準方法。
  16. 一種電腦可讀儲存媒體，儲存有能夠被處理器運行的電腦程式，所述電腦程式用於實現如請求項1至12中任一項所述方法，或實現如請求項 13或14所述方法。
TW110115866A 2020-05-29 2021-05-03 圖像配準方法及其相關的模型訓練方法、設備和電腦可讀儲存媒體 TWI785588B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010477508.6 2020-05-29
CN202010477508.6A CN111640145B (zh) 2020-05-29 2020-05-29 图像配准方法及其相关的模型训练方法、设备、装置

Publications (2)

Publication Number Publication Date
TW202145146A TW202145146A (zh) 2021-12-01
TWI785588B true TWI785588B (zh) 2022-12-01

Family

ID=72332237

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110115866A TWI785588B (zh) 2020-05-29 2021-05-03 圖像配準方法及其相關的模型訓練方法、設備和電腦可讀儲存媒體

Country Status (5)

Country Link
JP (1) JP7241933B2 (zh)
KR (1) KR102450931B1 (zh)
CN (1) CN111640145B (zh)
TW (1) TWI785588B (zh)
WO (1) WO2021238171A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640145B (zh) * 2020-05-29 2022-03-29 上海商汤智能科技有限公司 图像配准方法及其相关的模型训练方法、设备、装置
CN114187337B (zh) * 2021-12-07 2022-08-23 推想医疗科技股份有限公司 图像配准方法、分割方法、装置、电子设备以及存储介质
CN114453981B (zh) * 2022-04-12 2022-07-19 北京精雕科技集团有限公司 工件找正方法及装置
JP7376201B1 (ja) 2023-09-13 2023-11-08 アキュイティー株式会社 情報処理システム、情報処理方法及びプログラム
CN117132507B (zh) * 2023-10-23 2023-12-22 光轮智能(北京)科技有限公司 图像增强方法、图像处理方法、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202004679A (zh) * 2018-05-21 2020-01-16 國立清華大學 影像特徵提取方法及包含其顯著物體預測方法
CN110838139A (zh) * 2019-11-04 2020-02-25 上海联影智能医疗科技有限公司 图像配准模型的训练方法、图像配准方法和计算机设备
CN111127538A (zh) * 2019-12-17 2020-05-08 武汉大学 一种基于卷积循环编码-解码结构的多视影像三维重建方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305235B1 (en) * 2007-12-21 2016-04-05 Cognex Corporation System and method for identifying and locating instances of a shape under large variations in linear degrees of freedom and/or stroke widths
KR102294734B1 (ko) 2014-09-30 2021-08-30 삼성전자주식회사 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치
CN107025650B (zh) * 2017-04-20 2019-10-29 中北大学 一种基于多层p样条和稀疏编码的医学图像配准方法
US10482575B2 (en) * 2017-09-28 2019-11-19 Intel Corporation Super-resolution apparatus and method for virtual and mixed reality
CN110197190B (zh) 2018-02-27 2022-11-01 北京猎户星空科技有限公司 模型训练和物体的定位方法及装置
JP7245256B2 (ja) 2018-03-02 2023-03-23 コーニンクレッカ フィリップス エヌ ヴェ 画像レジストレーションの認定
KR20190116606A (ko) * 2018-04-04 2019-10-15 (주)온넷시스템즈코리아 하이브리드 이미지 정합 장치
US10943346B2 (en) * 2018-05-21 2021-03-09 Corista, LLC Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning
CN109377520B (zh) * 2018-08-27 2021-05-04 西安电子科技大学 基于半监督循环gan的心脏图像配准系统及方法
CN111640145B (zh) * 2020-05-29 2022-03-29 上海商汤智能科技有限公司 图像配准方法及其相关的模型训练方法、设备、装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202004679A (zh) * 2018-05-21 2020-01-16 國立清華大學 影像特徵提取方法及包含其顯著物體預測方法
CN110838139A (zh) * 2019-11-04 2020-02-25 上海联影智能医疗科技有限公司 图像配准模型的训练方法、图像配准方法和计算机设备
CN111127538A (zh) * 2019-12-17 2020-05-08 武汉大学 一种基于卷积循环编码-解码结构的多视影像三维重建方法

Also Published As

Publication number Publication date
TW202145146A (zh) 2021-12-01
WO2021238171A1 (zh) 2021-12-02
KR102450931B1 (ko) 2022-10-06
JP7241933B2 (ja) 2023-03-17
CN111640145A (zh) 2020-09-08
JP2022534123A (ja) 2022-07-27
CN111640145B (zh) 2022-03-29
KR20220006654A (ko) 2022-01-17

Similar Documents

Publication Publication Date Title
TWI785588B (zh) 圖像配準方法及其相關的模型訓練方法、設備和電腦可讀儲存媒體
CN109636831B (zh) 一种估计三维人体姿态及手部信息的方法
JP7209333B2 (ja) 関節位置の取得方法及び装置、動作の取得方法及び装置
JP5833189B2 (ja) 被写体の三次元表現を生成する方法およびシステム
CN106780619B (zh) 一种基于Kinect深度相机的人体尺寸测量方法
US20240085211A1 (en) System, methods, device and apparatuses for preforming simultaneous localization and mapping
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
CN112767538A (zh) 三维重建及相关交互、测量方法和相关装置、设备
CN108926355A (zh) 用于站立对象的x射线系统和方法
Barandiaran et al. Real-time optical markerless tracking for augmented reality applications
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
JP2021527877A (ja) ３次元人体姿勢情報の検出方法および装置、電子機器、記憶媒体
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
JP5555207B2 (ja) ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
JP7427188B2 (ja) ３ｄポーズ取得方法及び装置
JP7164045B2 (ja) 骨格認識方法、骨格認識プログラムおよび骨格認識システム
US20200057778A1 (en) Depth image pose search with a bootstrapped-created database
JP2014085933A (ja) ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
CN109613974B (zh) 一种大场景下的ar家居体验方法
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
JP2003061936A (ja) 動立体モデル生成装置及び方法
JP5503510B2 (ja) 姿勢推定装置および姿勢推定プログラム
Bianchi et al. High-fidelity visuo-haptic interaction with virtual objects in multi-modal AR systems