TWI754195B - 圖像處理方法及其裝置、電子設備及電腦可讀儲存媒體 - Google Patents
圖像處理方法及其裝置、電子設備及電腦可讀儲存媒體 Download PDFInfo
- Publication number
- TWI754195B TWI754195B TW108146193A TW108146193A TWI754195B TW I754195 B TWI754195 B TW I754195B TW 108146193 A TW108146193 A TW 108146193A TW 108146193 A TW108146193 A TW 108146193A TW I754195 B TWI754195 B TW I754195B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- preset
- registered
- reference image
- neural network
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000003062 neural network model Methods 0.000 claims abstract description 90
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims description 67
- 230000006870 function Effects 0.000 claims description 28
- 238000010606 normalization Methods 0.000 claims description 23
- 238000007781 pre-processing Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013497 data interchange Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 description 25
- 210000000056 organ Anatomy 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000000844 transformation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06T3/14—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Abstract
本發明提供了一種圖像處理方法、裝置、電子設備及電腦可讀儲存媒體，其中方法包括：獲取待配準圖像和用於配準的參考圖像；將所述待配準圖像和所述參考圖像輸入預設神經網路模型，所述預設神經網路模型訓練中衡量相似度的目標函數包括預設待配準圖像和預設參考圖像的相關係數損失；基於所述預設神經網路模型將所述待配準圖像向所述參考圖像配準，獲得配準結果，可以提高圖像配準的精確度和實時性。
Description
本發明涉及電腦視覺技術領域，具體涉及圖像處理方法及其裝置、電子設備及電腦可讀儲存媒體。
圖像配準是將不同的獲取時間、不同感測器、不同條件下的同一場景或者同一目標的兩幅或者多幅圖像進行配準的過程，被廣泛應用於醫學圖像處理過程中。醫學圖像配準是醫學圖像處理領域中一項重要技術，對臨床診斷和治療起著越來越重要的作用。
本發明提供了圖像處理方法及其裝置、電子設備及電腦可讀儲存媒體。
本發明第一方面提供一種圖像處理方法，包括：
獲取待配準圖像和用於配準的參考圖像；
將所述待配準圖像和所述參考圖像輸入預設神經網路模型，所述預設神經網路模型訓練中衡量相似度的目標函數包括預設待配準圖像和預設參考圖像的相關係數損失；
基於所述預設神經網路模型將所述待配準圖像向所述參考圖像配準，獲得配準結果。
在一種可選的實施方式中，所述獲取待配準圖像和用於配準的參考圖像之前，所述方法還包括：
獲取原始待配準圖像和原始參考圖像，對所述原始待配準圖像和所述原始參考圖像進行圖像歸一化處理，獲得滿足目標參數的待配準圖像和參考圖像。
在一種可選的實施方式中，所述對所述原始待配準圖像和所述原始參考圖像進行圖像歸一化處理，獲得滿足目標參數的所述待配準圖像和所述參考圖像包括：
將所述原始待配準圖像轉換爲預設灰度值範圍內和預設圖像尺寸的待配準圖像；
將所述原始參考圖像轉換爲所述預設灰度值範圍內和所述預設圖像尺寸的參考圖像。
在一種可選的實施方式中，所述預設神經網路模型的訓練過程包括：
獲取所述預設待配準圖像和所述預設參考圖像，將所述預設待配準圖像和所述預設參考圖像輸入所述預設神經網路模型生成形變場；
基於所述形變場將所述預設待配準圖像向所述預設參考圖像配準，獲得配準後圖像；
獲得所述配準後圖像和所述預設參考圖像的相關係數損失；
基於所述相關係數損失對所述預設神經網路模型進行參數更新，獲得訓練後的預設神經網路模型。
在一種可選的實施方式中，所述獲取所述預設待配準圖像和所述預設參考圖像之後，所述方法還包括：
對所述預設待配準圖像和所述預設參考圖像進行圖像歸一化處理，獲得滿足預設訓練參數的預設待配準圖像和預設參考圖像；
所述將所述預設待配準圖像和所述預設參考圖像輸入所述預設神經網路模型生成形變場包括：
將所述滿足預設訓練參數的預設待配準圖像和預設參考圖像輸入所述預設神經網路模型生成形變場。
在一種可選的實施方式中，所述方法還包括：
將所述預設待配準圖像的尺寸和所述預設參考圖像的尺寸轉換爲預設圖像尺寸；
所述對所述預設待配準圖像和所述預設參考圖像進行圖像歸一化處理，獲得滿足預設訓練參數的預設待配準圖像和預設參考圖像包括：
根據目標窗寬對所述轉換後的預設待配準圖像和預設參考圖像進行處理，獲得處理後的預設待配準圖像和預設參考圖像。
在一種可選的實施方式中，所述根據目標窗寬對所述轉換後的預設待配準圖像和預設參考圖像進行處理之前，所述方法還包括：
獲取所述預設待配準圖像的目標類別標籤，根據預設類別標籤與預設窗寬的對應關係，確定所述目標類別標籤對應的所述目標窗寬。
在一種可選的實施方式中，所述方法還包括：
基於預設優化器對所述預設神經網路模型進行預設學習率和預設閾值次數的參數更新。
本發明第二方面提供一種圖像處理裝置，包括：獲取模組和配準模組，其中：
所述獲取模組，用於獲取待配準圖像和用於配準的參考圖像；
所述配準模組，用於將所述待配準圖像和所述參考圖像輸入預設神經網路模型，所述預設神經網路模型訓練中衡量相似度的目標函數包括預設待配準圖像和預設參考圖像的相關係數損失；
所述配準模組，還用於基於所述預設神經網路模型將所述待配準圖像向所述參考圖像配準，獲得配準結果。
在一種可選的實施方式中，所述圖像處理裝置還包括：
預處理模組，用於獲取原始待配準圖像和原始參考圖像，對所述原始待配準圖像和所述原始參考圖像進行圖像歸一化處理，獲得滿足目標參數的所述待配準圖像和所述參考圖像。
在一種可選的實施方式中，所述預處理模組具體用於：
將所述原始待配準圖像轉換爲預設灰度值範圍內和預設圖像尺寸的待配準圖像；
將所述原始參考圖像轉換爲所述預設灰度值範圍內和所述預設圖像尺寸的參考圖像。
在一種可選的實施方式中，所述配準模組包括配準單元和更新單元，其中：
所述配準單元用於，獲取所述預設待配準圖像和所述預設參考圖像，將所述預設待配準圖像和所述預設參考圖像輸入所述預設神經網路模型生成形變場；
所述配準單元還用於，基於所述形變場將所述預設待配準圖像向所述預設參考圖像配準，獲得配準後圖像；
所述更新單元用於，獲得所述配準後圖像和所述預設參考圖像的相關係數損失；以及用於基於所述相關係數損失對所述預設神經網路模型進行參數更新，獲得訓練後的預設神經網路模型。
在一種可選的實施方式中，所述預處理模組還用於：
對所述預設待配準圖像和所述預設參考圖像進行圖像歸一化處理，獲得滿足預設訓練參數的預設待配準圖像和預設參考圖像；
所述配準單元具體用於，將所述滿足預設訓練參數的預設待配準圖像和預設參考圖像輸入所述預設神經網路模型生成形變場。
在一種可選的實施方式中，所述預處理模組具體用於：
將所述預設待配準圖像的尺寸和所述預設參考圖像的尺寸轉換爲預設圖像尺寸；
根據目標窗寬對所述轉換後的預設待配準圖像和預設參考圖像進行處理，獲得處理後的預設待配準圖像和預設參考圖像。
在一種可選的實施方式中，所述預處理模組還具體用於：
在所述根據預設窗寬對所述轉換後的預設待配準圖像和預設參考圖像進行處理之前，獲取所述預設待配準圖像的目標類別標籤，根據預設類別標籤與預設窗寬的對應關係，確定所述目標類別標籤對應的所述目標窗寬。
在一種可選的實施方式中，所述更新單元還用於：
基於預設優化器對所述預設神經網路模型進行預設學習率和預設閾值次數的參數更新。
本發明第三方面提供一種電子設備，包括處理器以及記憶體，所述記憶體用於儲存一個或多個程式，所述一個或多個程式被配置成由所述處理器執行，所述程式包括用於執行如本發明第一方面任一方法中所描述的部分或全部步驟。
本發明第四方面提供一種電腦可讀儲存媒體，所述電腦可讀儲存媒體用於儲存電子數據交換的電腦程式，其中，所述電腦程式使得電腦執行如本發明第一方面任一方法中所描述的部分或全部步驟。
本發明第五方面提供一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現如上所述的方法。
本發明通過獲取待配準圖像和用於配準的參考圖像，將上述待配準圖像和上述參考圖像輸入預設神經網路模型，上述預設神經網路模型訓練中衡量相似度的目標函數包括預設待配準圖像和預設參考圖像的相關係數損失，基於上述預設神經網路模型將上述待配準圖像向上述參考圖像配準，獲得配準結果，可以提高圖像配準的精確度和實時性。
爲了使本技術領域的人員更好地理解本發明方案，下面將結合本發明中的附圖，對本發明中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
本發明的說明書和請求項及上述附圖中的術語“第一”、“第二”等是用於區別不同對象，而不是用於描述特定順序。此外，術語“包括”和“具有”以及它們任何變形，意圖在於覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統、産品或設備沒有限定於已列出的步驟或單元，而是可選地還包括沒有列出的步驟或單元，或可選地還包括對於這些過程、方法、産品或設備固有的其他步驟或單元。
在本文中提及“實施例”意味著，結合實施例描述的特定特徵、結構或特性可以包含在本發明的至少一個實施例中。在說明書中的各個位置出現該短語並不一定均是指相同的實施例，也不是與其它實施例互斥的獨立的或備選的實施例。本領域技術人員顯性地和隱性地理解的是，本文所描述的實施例可以與其它實施例相結合。
本發明所涉及到的圖像處理裝置可以允許多個其他終端設備進行訪問。上述圖像處理裝置可以爲電子設備，包括終端設備，具體實現中，上述終端設備包括但不限於諸如具有觸控敏感表面（例如，觸控螢幕顯示器和/或觸控板）的行動電話、筆記型電腦或平板電腦之類的其它便攜式設備。還應當理解的是，在某些實施例中，所述設備並非便攜式通訊設備，而是具有觸控敏感表面（例如，觸控螢幕顯示器和/或觸控板）的桌上型電腦。
本發明中的深度學習的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現數據的分布式特徵表示。
深度學習是機器學習中一種基於對數據進行表徵學習的方法。觀測值（例如一幅圖像）可以使用多種方式來表示，如每個像素點强度值的向量，或者更抽象地表示成一系列邊、特定形狀的區域等。而使用某些特定的表示方法更容易從實例中學習任務（例如，人臉辨識或面部表情辨識）。深度學習的好處是用非監督式或半監督式的特徵學習和分層特徵提取高效算法來替代手工獲取特徵。深度學習是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。
下面對本發明進行詳細介紹。
請參閱圖1，圖1是本發明提供的一種圖像處理的流程示意圖，如圖1所示，該圖像處理方法可以由上述圖像處理裝置執行，包括如下步驟：
101、獲取待配準圖像和用於配準的參考圖像。
圖像配準是將不同的獲取時間、不同感測器、不同條件下的同一場景或者同一目標的兩幅或者多幅圖像進行配準的過程，被廣泛應用於醫學圖像處理過程中。醫學圖像配準是醫學圖像處理領域中一項重要技術，對臨床診斷和治療起著越來越重要的作用。現代醫學通常需要將多個模態或者多個時間點獲得的醫學圖像進行綜合分析，那麽在進行分析之前就需要將幾副圖像進行配準工作。
本發明中提到的待配準圖像（moving）和用於配準的參考圖像（fixed）均可以爲通過各種醫學圖像設備獲得的醫學圖像，尤其可以是可形變的器官的圖像，比如肺部CT，其中待配準圖像和用於配準的參考圖像一般爲同一器官在不同時間點或不同條件下採集的圖像，經過配準後可以獲得配準結果圖像（moved）。
由於需要進行配準的醫學圖像可能具有多樣性，在圖像中可以體現爲圖像灰度值、圖像尺寸等特徵的多樣性。可選的，在步驟101之前，可以獲取原始待配準圖像和原始參考圖像，對所述原始待配準圖像和所述原始參考圖像進行圖像歸一化處理，獲得滿足目標參數的待配準圖像和參考圖像。
上述目標參數可以理解爲描述圖像特徵的參數，即用於使上述原始圖像數據呈統一風格的規定參數。例如，上述目標參數可以包括：用於描述圖像解析度、圖像灰度、圖像大小等特徵的參數。
上述原始待配準圖像可以爲通過各種醫學圖像設備獲得的醫學圖像，尤其可以是可形變的器官的圖像，具有多樣性，在圖像中可以體現爲圖像灰度值、圖像尺寸等特徵的多樣性。在進行配準前可以對原始待配準圖像和原始參考圖像做一些基本的預處理，也可以僅對上述原始待配準圖像進行預處理。其中可以包括上述圖像歸一化處理。圖像預處理的主要目的是消除圖像中無關的訊息，恢復有用的真實訊息，增强有關訊息的可檢測性和最大限度地簡化數據，從而改進特徵抽取、圖像分割、匹配和辨識的可靠性。
本發明中的圖像歸一化是指對圖像進行一系列標準的處理變換，使之變換爲一固定標準形式的過程，該標準圖像稱作歸一化圖像。圖像歸一化可以利用圖像的不變矩尋找一組參數使其能夠消除其他變換函數對圖像變換的影響，將待處理的原始圖像轉換成相應的唯一標準形式，該標準形式圖像對平移、旋轉、縮放等仿射變換具有不變特性。因此，通過上述圖像歸一化處理可以獲得統一風格的圖像，提高後續處理的穩定性和準確度。
可選的，上述待配準圖像和參考圖像也可以是通過算法提取出的掩膜（mask）或者特徵點。其中掩膜可以理解爲一種圖像濾鏡的模板，圖像掩膜可以理解爲用選定的圖像、圖形或物體，對處理的圖像（全部或局部）進行遮擋，來控制圖像處理的區域或處理過程。數字圖像處理中掩模一般爲二維矩陣數組，有時也用多值圖像，可以用於結構特徵提取。
在提取特徵或mask後，可以減少圖像處理中的干擾，使得配準結果更準確。
具體的，可以將上述原始待配準圖像轉換爲預設灰度值範圍內和預設圖像尺寸的待配準圖像；
將上述原始參考圖像轉換爲上述預設灰度值範圍內和上述預設圖像尺寸的參考圖像。
本發明中的圖像處理裝置可以儲存有上述預設灰度值範圍和上述預設圖像尺寸。可以通過simple ITK 軟體做重採樣（resample）的操作來使得上述待配準圖像和上述參考圖像的位置和解析度基本保持一致。ITK是一個開源的跨平臺系統，爲開發人員提供了一整套用於圖像分析的軟體工具。
上述預設圖像尺寸可以爲長寬高：416 x 416 x 80，可以通過剪切或者填充（補零）的操作來使得上述待配準圖像和上述參考圖像的圖像尺寸一致爲416 x 416 x 80。
通過對原始圖像數據進行預處理，可以降低其多樣性，神經網路模型能夠給出更穩定的判斷。
對於在不同時間或/和不同條件下獲取的兩幅醫學圖像1和2配準，就是尋找一個映射關係P，使圖像1上的每一個點在圖像2上都有唯一的點與之相對應。 並且這兩點應對應同一解剖位置。映射關係 P表現爲一組連續的空間變換。常用的空間幾何變換有剛體變換( Rigid body transformation )、 仿射變換( Affine transformation)、投影變換 ( Projective transformation)和非線性變換 ( Nonlinear transformation)。
其中，剛性變換是指物體內部任意兩點間的距離及平行關係保持不變。仿射變換是一種最爲簡單的非剛性變換，它是一種保持平行性，但不保角的、距離發生變化的變換。而在許多重要的臨床應用中，就經常需要應用可形變的圖像配準方法，比如在研究腹部以及胸部臟器的圖像配準時，由於生理運動或者患者移動造成內部器官和組織的位置、尺寸和形態發生改變，就需要可形變變換來補償圖像變形。
在本發明中，上述預處理還可以包括上述剛性變換，即先進行圖像的剛性變換，在根據本發明中的方法實現上圖像配準。
在圖像處理領域，只有物體的位置(平移變換)和朝向(旋轉變換)發生改變，而形狀不變，得到的變換稱爲上述剛性變換。
102、將上述待配準圖像和上述參考圖像輸入預設神經網路模型，上述預設神經網路模型訓練中衡量相似度的目標函數包括預設待配準圖像和預設參考圖像的相關係數損失。
本發明中，圖像處理裝置中可以儲存有上述預設神經網路模型，該預設神經網路模型可以預先訓練獲得。
上述預設神經網路模型可以是基於相關係數損失進行訓練獲得，具體可以基於預設待配準圖像和預設參考圖像的相關係數損失作爲衡量相似度的目標函數進行訓練獲得。
本發明中提到的相關係數是最早由統計學家卡爾·皮爾遜設計的統計指標，是研究變量之間線性相關程度的量，一般用字母 r 表示。由於研究對象的不同，相關係數有多種定義方式，較爲常用的是皮爾遜相關係數。
一般相關係數是按積差方法計算，同樣以兩變量與各自平均值的離差爲基礎，通過兩個離差相乘來反映兩變量之間相關程度；著重研究線性的單相關係數。需要說明的是，皮爾遜相關係數並不是唯一的相關係數，但是爲常見的相關係數，本發明中的相關係數可以爲皮爾遜相關係數。
具體的，在預設神經網路模型中可以通過特徵提取配準後圖像和預設參考圖像的特徵圖，利用特徵圖之間的互相關係數，得到上述相關係數損失。
上述相關係數損失可以基於以下公式（1）獲得：
其中，F可以表示上述預設參考圖像，
可以表示上述配準後圖像。
可以表示神經網路代表的非線性關係。加上三角符號的
、
分別表示配準後圖像的均值和預設參考圖像的參數均值。比如表示預設參考圖像的參數均值，那麽上述減法
則可以理解爲上述預設參考圖像的每個像素值減掉參數均值，以此類推。
上述預設神經網路模型的訓練過程可以包括：
獲取上述預設待配準圖像和上述預設參考圖像，將上述預設待配準圖像和上述預設參考圖像輸入上述預設神經網路模型生成形變場；
基於上述形變場將上述預設待配準圖像向上述預設參考圖像配準，獲得配準後圖像；
獲得上述配準後圖像和上述預設參考圖像的相關係數損失；
基於上述相關係數損失對上述預設神經網路模型進行參數更新，獲得訓練後的預設神經網路模型。
具體的，上述形變場使用的損失函數可以包括L2損失函數，使預設神經網路模型學習到合適的形變場使moved圖像和fixed圖像更相似。
103、基於上述預設神經網路模型將上述待配準圖像向上述參考圖像配準，獲得配準結果。
圖像配準一般是首先對兩幅圖像進行特徵提取得到特徵點；再通過進行相似性度量找到匹配的特徵點對；然後通過匹配的特徵點對得到圖像空間坐標變換參數；最後由坐標變換參數進行圖像配準。
本發明中的預設神經網路模型的卷積層可以爲3D卷積，通過上述預設神經網路模型生成形變場（deformable field），然後通過3D的空間轉換層將需要形變的待配準圖像進行可形變的變換，獲得配準後的上述配準結果，即包括生成的配準結果圖像（moved）。
其中，上述預設神經網路模型中，使用L2損失和相關係數作爲損失函數，可以在使上述形變場平滑的同時達到先進的配準精確度。
現有的方法是利用有監督深度學習來做配準，基本沒有金標準，必須利用的、傳統配準方法來獲得標記，處理時間較長，且限制了配準精確度。並且利用傳統方法做配準需要計算每個像素點的變換關係，計算量巨大，消耗時間也很大。
根據類別未知（沒有被標記）的訓練樣本解決模式辨識中的各種問題，稱之爲無監督學習。本發明使用基於無監督深度學習的神經網路來進行圖像配準，可用於任何會發生形變的臟器的配準中。本發明可以利用GPU執行上述方法在幾秒內得到配準結果，更加高效。
本發明通過獲取待配準圖像和用於配準的參考圖像，將上述待配準圖像和上述參考圖像輸入預設神經網路模型，上述預設神經網路模型訓練中衡量相似度的目標函數包括預設待配準圖像和預設參考圖像的相關係數損失，基於上述預設神經網路模型將上述待配準圖像向上述參考圖像配準，獲得配準結果，可以提高圖像配準的精確度和實時性。
請參閱圖2，圖2是本發明提供的另一種圖像處理方法的流程示意圖，具體爲一種預設神經網路的訓練方法的流程示意圖，圖2是在圖1的基礎上進一步最佳化得到的。執行本發明步驟的主體可以爲一種圖像處理裝置，可以是與圖1所示實施例的方法中相同或者不同的圖像處理裝置。如圖2所示，該圖像處理方法包括如下步驟：
201、獲取預設待配準圖像和預設參考圖像，將上述預設待配準圖像和上述預設參考圖像輸入上述預設神經網路模型生成形變場。
其中，與圖1所示實施例中類似的，上述預設待配準圖像（moving）和上述預設參考圖像（fixed），均可以爲通過各種醫學圖像設備獲得的醫學圖像，尤其可以是可形變的器官的圖像，比如肺部CT，其中待配準圖像和用於配準的參考圖像一般爲同一器官在不同時間點或不同條件下採集的圖像。“預設”一詞是爲了區別於圖1所示實施例中的待配準圖像和參考圖像區別，這裏的預設待配準圖像和預設參考圖像主要作爲該預設神經網路模型的輸入，用於進行該預設神經網路模型的訓練。
由於需要進行配準的醫學圖像可能具有多樣性，在圖像中可以體現爲圖像灰度值、圖像尺寸等特徵的多樣性。可選的，上述獲取上述預設待配準圖像和上述預設參考圖像之後，上述方法也可以包括：
對上述預設待配準圖像和上述預設參考圖像進行圖像歸一化處理，獲得滿足預設訓練參數的預設待配準圖像和預設參考圖像；
其中，上述將上述預設待配準圖像和上述預設參考圖像輸入上述預設神經網路模型生成形變場包括：
將上述滿足預設訓練參數的預設待配準圖像和預設參考圖像輸入上述預設神經網路模型生成形變場。
上述預設訓練參數可以包括預設灰度值範圍和預設圖像尺寸（如416 x 416 x 80）。上述圖像歸一化處理的過程可以參考圖1所示實施例的步驟101中的具體描述。可選的，首先在配準前進行的預處理可以包括剛體變換。具體可以通過simple ITK 軟體做重採樣的操作來使得預設待配準圖像和預設參考圖像的位置和解析度基本保持一致。爲了後續訓練過程的方便操作，可以對圖像進行預定大小的裁剪或者填充。假設預先設定的輸入圖像的圖像尺寸長寬高爲416 x 416 x 80，就需要通過剪切或者填充（補零）的操作來使得預設待配準圖像和預設參考圖像的圖像尺寸一致爲416 x 416 x 80。
可選的，可以根據目標窗寬對上述轉換後的預設待配準圖像和預設參考圖像進行處理，獲得處理後的預設待配準圖像和預設參考圖像。
因爲不同的器官組織在CT上的表現是不一樣的，也就是對應的灰度級別可能不同。所謂的窗寬(windowing)就是指用韓森費爾德(發明者)單位(Hounsfield Unit，HU)所得的數據來計算出影像的過程，不同的放射强度(Raiodensity)對應到256種不同程度的灰階值，這些不同的灰階值可以依CT值的不同範圍來重新定義衰減值，假設CT範圍的中心值不變，定義的範圍一變窄後，我們稱爲窄窗位(Narrow Window)，比較細部的小變化就可以分辨出來了，在影像處理的觀念上稱爲對比壓縮。
爲了肺部CT中的重要訊息，可以預先設置目標窗寬，比如通過目標窗寬爲[-1200，600]對預設待配準圖像和預設參考圖像歸一化到[0，1]，即對於原圖像中大於600的設爲1，小於-1200的設爲0。
本發明中不同組織在CT上可以設置公認的窗寬、窗位，是爲了更好地提取重要的訊息。這裏的[-1200，600]的具體值-1200，600代表的是窗位，範圍大小爲1800，即窗寬。上述圖像歸一化處理是爲了方便後續的損失計算不造成梯度爆炸。
本發明提出一種歸一化層來提升訓練的穩定性和收斂性。可以假設特徵圖大小爲N x C x D x H x W，其中N指的是batch size：每批數據量的大小，C是通道數，D是深度，H和W分別爲特徵圖的高和寬；可選的，上述H、W、D也可以分別爲表示特徵圖的長、寬、高的參數，在不同的應用中可以是其他圖像參數來描述特徵圖。本發明可以通過計算C x D x H x W的最小值和最大值，來對每個圖像數據做歸一化處理操作。
可選的，上述根據預設窗寬對上述轉換後的預設待配準圖像和預設參考圖像進行處理之前，上述方法還包括：
獲取上述預設待配準圖像的目標類別標籤，根據預設類別標籤與預設窗寬的對應關係，確定上述目標類別標籤對應的上述目標窗寬。
具體的，圖像處理裝置可以儲存有至少一個預設窗寬和至少一個預設類別標籤，以及儲存有上述預設類別標籤與預設窗寬的對應關係，輸入的預設待配準圖像可以攜帶目標類別標籤，或者用戶可以通過操作圖像處理裝置選取該預設待配準圖像的目標類別標籤，圖像處理裝置可以在上述預設類別標籤中查找到上述目標類別標籤，根據上述預設類別標籤與預設窗寬的對應關係，在上述預設窗寬中確定上述目標類別標籤對應的目標窗寬，再根據該目標窗寬對上述轉換後的預設待配準圖像和預設參考圖像進行處理。
通過上述步驟，圖像處理裝置可以快速靈活地選取不同的預設待配準圖像處理使用的窗寬，便於進行後續的配準處理。
202、基於上述形變場將上述預設待配準圖像向上述預設參考圖像配準，獲得配準後圖像。
其中，由於L2具有光滑的性質，對於形變場的梯度可以使用L2損失函數。
將預處理過後的預設待配準圖像和預設參考圖像輸入到待訓練的神經網路中生成形變場（deformable field），再基於上述形變場和上述預設待配準圖像向上述預設參考圖像配準，即利用該形變場和預設參考圖像生成形變後的配準結果圖像（moved）。
上述配準後圖像即爲預設待配準圖像經過預設神經網路模型向預設參考圖像初步配準後的中間圖像，這個過程可以理解爲多次執行，即可以重複執行步驟202和步驟203以不斷訓練和最佳化該預設神經網路模型。
203、獲得上述配準後圖像和上述預設參考圖像的相關係數損失，基於上述相關係數損失對上述預設神經網路模型進行參數更新，獲得訓練後的預設神經網路模型。
本發明中，通過相關係數損失作爲配準後的圖像和參考圖像的相似度評估標準，即可以重複執行步驟202和步驟203，不斷對上述預設神經網路模型的參數進行更新，來指導完成網路的訓練。
可選的，可以基於預設優化器對所述預設神經網路模型進行預設學習率和預設閾值次數的參數更新。
上述更新時涉及的預設閾值次數，指的是神經網路訓練中的時期（epoch）。一個時期可以理解爲所有訓練樣本的一個正向傳遞和一個反向傳遞。
優化器中使用的算法一般有自適應梯度優化算法(Adaptive Gradient，AdaGrad)，它能夠對每個不同的參數調整不同的學習率，對頻繁變化的參數以更小的步長進行更新，而稀疏的參數以更大的步長進行更新；以及RMSProp算法，結合梯度平方的指數移動平均數來調節學習率的變化，能夠在不穩定（Non-Stationary）的目標函數情況下進行很好地收斂。
具體的，上述預設優化器可以採用ADAM的優化器，結合AdaGrad和RMSProp兩種優化算法的優點。對梯度的一階矩估計（First Moment Estimation，即梯度的均值）和二階矩估計（SecondMoment Estimation，即梯度的未中心化的方差）進行綜合考慮，計算出更新步長。
圖像處理裝置或者上述預設優化器中可以儲存上述預設閾值次數和預設學習率來控制更新。比如學習率0.001，預設閾值次數300 epoch。以及可以設置學習率的調整規則，以該學習率的調整規則調整參數更新的學習率，比如可以設置分別在40、120和200 epoch時學習率減半。
在獲得上述訓練後的預設神經網路模型之後，圖像處理裝置可以執行圖1所示實施例中的部分或全部方法，即可以基於上述預設神經網路模型將待配準圖像向參考圖像配準，獲得配準結果。
一般而言，大多數技術使用互訊息的配準方法，需要估計聯合分布密度。而非參數化方法估計互訊息（比如使用直方圖），不僅計算量大並且不支持反向傳播，無法應用到神經網路中。本發明採用局部窗口的相關係數作爲相似度度量損失，訓練後的預設神經網路模型的可用於圖像配準，尤其是任何會發生形變的臟器的醫學圖像配準中，可以對於不同時間點的隨訪圖像進行形變配準，配準效率高、結果更加準確。
一般在某些手術中需要在術前或者手術期間進行不同質量和速度的各種掃描，獲得醫學圖像，但通常需要做完各種掃描之後才可以進行醫學圖像配準，這是不滿足手術中的實時需求的，所以一般需要通過額外的時間對手術的結果進行判定，如果配準後發現手術結果不夠理想，可能需要進行後續的手術治療，對於醫生和病人來說都會帶來時間上的浪費，耽誤治療。而基於本發明的預設神經網路模型進行配準，可以應用於手術中實時的醫學圖像配準，比如在做腫瘤切除手術中進行實時配準來判斷腫瘤是否完全切除，提高了時效性。
本發明通過獲取預設待配準圖像和預設參考圖像，將上述預設待配準圖像和上述預設參考圖像輸入上述預設神經網路模型生成形變場，基於上述形變場將上述預設待配準圖像向上述預設參考圖像配準，獲得配準後圖像，獲得上述配準後圖像和上述預設參考圖像的相關係數損失，基於上述相關係數損失對上述預設神經網路模型進行參數更新，獲得訓練後的預設神經網路模型，可以應用於可形變配準，提高圖像配準的精確度和實時性。
上述主要從方法側執行過程的角度對本發明的方案進行了介紹。可以理解的是，圖像處理裝置爲了實現上述功能，其包含了執行各個功能相應的硬體結構和/或軟體模組。本領域技術人員應該很容易意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，本發明能夠以硬體或硬體和電腦軟體的結合形式來實現。某個功能究竟以硬體還是電腦軟體驅動硬體的方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對特定的應用使用不同方法來實現所描述的功能，但是這種實現不應認爲超出本發明的範圍。
本發明可以根據上述方法示例對圖像處理裝置進行功能模組的劃分，例如，可以對應各個功能劃分各個功能模組，也可以將兩個或兩個以上的功能集成在一個處理模組中。上述集成的模組既可以採用硬體的形式實現，也可以採用軟體功能模組的形式實現。需要說明的是，本發明中對模組的劃分是示意性的，僅僅爲一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
請參閱圖3，圖3是本發明提供的一種圖像處理裝置的結構示意圖。如圖3所示，該圖像處理裝置300包括：獲取模組310和配準模組320，其中：
上述獲取模組310，用於獲取待配準圖像和用於配準的參考圖像；
上述配準模組320，用於將上述待配準圖像和上述參考圖像輸入預設神經網路模型，上述預設神經網路模型訓練中衡量相似度的目標函數包括預設待配準圖像和預設參考圖像的相關係數損失；
上述配準模組320，還用於基於上述預設神經網路模型將上述待配準圖像向上述參考圖像配準，獲得配準結果。
可選的，上述圖像處理裝置300還包括：預處理模組330，用於獲取原始待配準圖像和原始參考圖像，對上述原始待配準圖像和上述原始參考圖像進行圖像歸一化處理，獲得滿足目標參數的上述待配準圖像和上述參考圖像。
可選的，上述預處理模組330具體用於：
將上述原始待配準圖像轉換爲預設灰度值範圍內和預設圖像尺寸的待配準圖像；
將上述原始參考圖像轉換爲上述預設灰度值範圍內和上述預設圖像尺寸的參考圖像。
可選的，上述配準模組320包括配準單元321和更新單元322，其中：
上述配準單元321用於，獲取上述預設待配準圖像和上述預設參考圖像，將上述預設待配準圖像和上述預設參考圖像輸入上述預設神經網路模型生成形變場；
上述配準單元321還用於，基於上述形變場將上述預設待配準圖像向上述預設參考圖像配準，獲得配準後圖像；
上述更新單元322用於，獲得上述配準後圖像和上述預設參考圖像的相關係數損失；以及用於基於上述相關係數損失對上述預設神經網路模型進行參數更新，獲得訓練後的預設神經網路模型。
可選的，上述預處理模組330還用於：
對上述預設待配準圖像和上述預設參考圖像進行圖像歸一化處理，獲得滿足預設訓練參數的預設待配準圖像和預設參考圖像；
上述配準單元321具體用於，將上述滿足預設訓練參數的預設待配準圖像和預設參考圖像輸入上述預設神經網路模型生成形變場。
可選的，上述預處理模組330具體用於：
將上述預設待配準圖像的尺寸和上述預設參考圖像的尺寸轉換爲預設圖像尺寸；
根據目標窗寬對上述轉換後的預設待配準圖像和預設參考圖像進行處理，獲得處理後的預設待配準圖像和預設參考圖像。
可選的，上述預處理模組330還具體用於：
在上述根據預設窗寬對上述轉換後的預設待配準圖像和預設參考圖像進行處理之前，獲取上述預設待配準圖像的目標類別標籤，根據預設類別標籤與預設窗寬的對應關係，確定上述目標類別標籤對應的上述目標窗寬。
可選的，上述更新單元322還用於：
基於預設優化器對上述預設神經網路模型進行預設學習率和預設閾值次數的參數更新。
圖3所示的實施例中的圖像處理裝置300可以執行圖1和/或圖2所示實施例中的部分或全部方法。
實施圖3所示的圖像處理裝置300，圖像處理裝置300可以獲取待配準圖像和用於配準的參考圖像，將上述待配準圖像和上述參考圖像輸入預設神經網路模型，上述預設神經網路模型訓練中衡量相似度的目標函數包括預設待配準圖像和預設參考圖像的相關係數損失，基於上述預設神經網路模型將上述待配準圖像向上述參考圖像配準，獲得配準結果，可以提高圖像配準的精確度和實時性。
請參閱圖4，圖4是本發明提供的一種電子設備的結構示意圖。如圖4所示，該電子設備400包括處理器401和記憶體402，其中，電子設備400還可以包括總線403，處理器401和記憶體402可以通過總線403相互連接，總線403可以是外設部件互連標準（Peripheral Component Interconnect，簡稱PCI）總線或擴展工業標準結構（Extended Industry Standard Architecture，簡稱EISA）總線等。總線403可以分爲地址總線、數據總線、控制總線等。爲便於表示，圖4中僅用一條粗線表示，但並不表示僅有一根總線或一種類型的總線。其中，電子設備400還可以包括輸入輸出設備404，輸入輸出設備404可以包括顯示螢幕，例如液晶顯示螢幕。記憶體402用於儲存包含指令的一個或多個程式；處理器401用於調用儲存在記憶體402中的指令執行上述圖1和圖2實施例中提到的部分或全部方法步驟。上述處理器401可以對應實現圖3中的電子設備300中的各模組的功能。
實施圖4所示的電子設備400，電子設備400可以獲取待配準圖像和用於配準的參考圖像，將上述待配準圖像和上述參考圖像輸入預設神經網路模型，上述預設神經網路模型訓練中衡量相似度的目標函數包括預設待配準圖像和預設參考圖像的相關係數損失，基於上述預設神經網路模型將上述待配準圖像向上述參考圖像配準，獲得配準結果，可以提高圖像配準的精確度和實時性。
本發明還提供一種電腦可讀儲存媒體，其中，該電腦可讀儲存媒體儲存用於電子數據交換的電腦程式，該電腦程式使得電腦執行如上述方法實施例中記載的任何一種圖像處理方法的部分或全部步驟。
本發明還提供一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行如上述方法實施例中記載的任何一種圖像處理方法的部分或全部步驟。
需要說明的是，對於前述的各方法實施例，爲了簡單描述，故將其都表述爲一系列的動作組合，但是本領域技術人員應該知悉，本發明並不受所描述的動作順序的限制，因爲依據本發明，某些步驟可以採用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬優選實施例，所涉及的動作和模組並不一定是本發明所必須的。
在上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關描述。
在本申請所提供的幾個實施例中，應該理解到，所揭露的裝置，可通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如所述模組（或單元）的劃分，僅僅爲一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個模組或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是通過一些介面，裝置或模組的間接耦合或通訊連接，可以是電性或其它的形式。
所述作爲分離部件說明的模組可以是或者也可以不是物理上分開的，作爲模組顯示的部件可以是或者也可以不是物理模組，即可以位於一個地方，或者也可以分布到多個網路模組上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能模組可以集成在一個處理模組中，也可以是各個模組單獨物理存在，也可以兩個或兩個以上模組集成在一個模組中。上述集成的模組既可以採用硬體的形式實現，也可以採用軟體功能模組的形式實現。
所述集成的模組如果以軟體功能模組的形式實現並作爲獨立的産品銷售或使用時，可以儲存在一個電腦可讀取記憶體中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體産品的形式體現出來，該電腦軟體産品儲存在一個記憶體中，包括若干指令用以使得一台電腦設備（可爲個人電腦、伺服器或者網路設備等）執行本發明各個實施例所述方法的全部或部分步驟。而前述的記憶體包括：隨身碟、唯讀記憶體（Read-Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）、行動硬碟、磁碟或者光碟等各種可以儲存程式代碼的媒體。
本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程式來指令相關的硬體來完成，該程式可以儲存於一電腦可讀記憶體中，記憶體可以包括：隨身碟、唯讀記憶體、隨機存取器、磁碟或光碟等。
以上對本發明進行了詳細介紹，本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本發明的方法及其核心思想；同時，對於本領域的一般技術人員，依據本發明的思想，在具體實施方式及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解爲對本發明的限制。
300:圖像處理裝置
310:獲取模組
320:配準模組
321:配準單元
322:更新單元
330:預處理模組
400:電子設備
401:處理器
402:記憶體
404:輸入輸出設備
爲了更清楚地說明本發明或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹：
圖1是本發明提供的一種圖像處理方法的流程示意圖；
圖2是本發明提供的一種預設神經網路模型訓練方法的流程示意圖；
圖3是本發明提供的一種圖像處理裝置的結構示意圖；
圖4是本發明提供的一種電子設備的結構示意圖。
Claims (7)
- 一種圖像處理方法，其中，所述方法包括：獲取待配準圖像和用於配準的參考圖像；將所述待配準圖像和所述參考圖像輸入預設神經網路模型，所述預設神經網路模型訓練中衡量相似度的目標函數包括預設待配準圖像和預設參考圖像的相關係數損失；基於所述預設神經網路模型將所述待配準圖像向所述參考圖像配準，獲得配準結果；其中，所述預設神經網路模型的訓練過程包括：獲取所述預設待配準圖像和所述預設參考圖像，將所述預設待配準圖像和所述預設參考圖像輸入所述預設神經網路模型生成形變場；基於所述形變場將所述預設待配準圖像向所述預設參考圖像配準，獲得配準後圖像；獲得所述配準後圖像和所述預設參考圖像的相關係數損失；基於所述相關係數損失對所述預設神經網路模型進行參數更新，獲得訓練後的預設神經網路模型；其中，所述獲取所述預設待配準圖像和所述預設參考圖像之後，所述方法還包括：對所述預設待配準圖像和所述預設參考圖像進行圖像歸一化處理，獲得滿足預設訓練參數的預設待配準圖像和預設參考圖像； 所述將所述預設待配準圖像和所述預設參考圖像輸入所述預設神經網路模型生成形變場包括：將所述滿足預設訓練參數的預設待配準圖像和預設參考圖像輸入所述預設神經網路模型生成形變場；其中，所述方法還包括：將所述預設待配準圖像的尺寸和所述預設參考圖像的尺寸轉換為預設圖像尺寸，獲得轉換後的預設待配準圖像和預設參考圖像；獲取所述預設待配準圖像的目標類別標籤，根據預設類別標籤與預設窗寬的對應關係，確定所述目標類別標籤對應的所述目標窗寬；所述對所述預設待配準圖像和所述預設參考圖像進行圖像歸一化處理，獲得滿足預設訓練參數的預設待配準圖像和預設參考圖像包括：根據所述目標窗寬對所述轉換後的預設待配準圖像和預設參考圖像進行處理，獲得處理後的預設待配準圖像和預設參考圖像。
- 如請求項1所述的圖像處理方法，其中，所述獲取待配準圖像和用於配準的參考圖像之前，所述方法還包括：獲取原始待配準圖像和原始參考圖像，對所述原始待配準圖像和所述原始參考圖像進行圖像歸一化處理，獲得滿足目標參數的所述待配準圖像和所述參考圖像。
- 如請求項2所述的圖像處理方法，其中，所述對所述原始待配準圖像和所述原始參考圖像進行圖像歸一化處理，獲 得滿足目標參數的所述待配準圖像和所述參考圖像包括：將所述原始待配準圖像轉換為預設灰度值範圍內和預設圖像尺寸的待配準圖像；將所述原始參考圖像轉換為所述預設灰度值範圍內和所述預設圖像尺寸的參考圖像。
- 如請求項1所述的圖像處理方法，其中，所述方法還包括：基於預設優化器對所述預設神經網路模型進行預設學習率和預設閾值次數的參數更新。
- 一種圖像處理裝置，其中，包括：獲取模組和配準模組，其中：所述獲取模組，用於獲取待配準圖像和用於配準的參考圖像；所述配準模組，用於將所述待配準圖像和所述參考圖像輸入預設神經網路模型，所述預設神經網路模型訓練中衡量相似度的目標函數包括預設待配準圖像和預設參考圖像的相關係數損失；所述配準模組，還用於基於所述預設神經網路模型將所述待配準圖像向所述參考圖像配準，獲得配準結果所述配準模組包括配準單元和更新單元，其中：所述配準單元用於，獲取所述預設待配準圖像和所述預設參考圖像，將所述預設待配準圖像和所述預設參考圖像輸入所述預設神經網路模型生成形變場；所述配準單元還用於，基於所述形變場將所述預設待配準圖像向所述預設參考圖像配準，獲得配準後圖像； 所述更新單元用於，獲得所述配準後圖像和所述預設參考圖像的相關係數損失；以及用於基於所述相關係數損失對所述預設神經網路模型進行參數更新，獲得訓練後的預設神經網路模型；所述圖像處理裝置還包括：預處理模組，用於獲取原始待配準圖像和原始參考圖像，對所述原始待配準圖像和所述原始參考圖像進行圖像歸一化處理，獲得滿足目標參數的所述待配準圖像和所述參考圖像；所述配準單元具體用於，將所述滿足預設訓練參數的預設待配準圖像和預設參考圖像輸入所述預設神經網路模型生成形變場；所述預處理模組具體用於：將所述預設待配準圖像的尺寸和所述預設參考圖像的尺寸轉換為預設圖像尺寸；獲取所述預設待配準圖像的目標類別標籤，根據預設類別標籤與預設窗寬的對應關係，確定所述目標類別標籤對應的所述目標窗寬；根據目標窗寬對所述轉換後的預設待配準圖像和預設參考圖像進行處理，獲得處理後的預設待配準圖像和預設參考圖像。
- 一種電子設備，其中，包括處理器以及記憶體，所述記憶體用於儲存一個或多個程式，所述一個或多個程式被配置成由所述處理器執行，所述程式包括用於執行如請求項1-4其中任一項所述的方法。
- 一種電腦可讀儲存媒體，其中，所述電腦可讀儲存媒體用 於儲存電子數據交換的電腦程式，其中，所述電腦程式使得電腦執行如請求項1-4其中任一項所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811614468.4 | 2018-12-27 | ||
| CN201811614468.4A CN109754414A (zh) | 2018-12-27 | 2018-12-27 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202025137A TW202025137A (zh) | 2020-07-01 |
| TWI754195B true TWI754195B (zh) | 2022-02-01 |
Family
ID=66404078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108146193A TWI754195B (zh) | 2018-12-27 | 2019-12-17 | 圖像處理方法及其裝置、電子設備及電腦可讀儲存媒體 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20210192758A1 (zh) |
| JP (1) | JP2021530061A (zh) |
| KR (1) | KR20210021039A (zh) |
| CN (2) | CN109754414A (zh) |
| SG (1) | SG11202102267XA (zh) |
| TW (1) | TWI754195B (zh) |
| WO (1) | WO2020134769A1 (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109754414A (zh) * | 2018-12-27 | 2019-05-14 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110782421B (zh) * | 2019-09-19 | 2023-09-26 | 平安科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN110766729B (zh) * | 2019-10-16 | 2023-05-16 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111047629B (zh) * | 2019-11-04 | 2022-04-26 | 中国科学院深圳先进技术研究院 | 多模态图像配准的方法、装置、电子设备及存储介质 |
| CN111191675B (zh) * | 2019-12-03 | 2023-10-24 | 深圳市华尊科技股份有限公司 | 行人属性识别模型实现方法及相关装置 |
| CN110992411B (zh) * | 2019-12-04 | 2023-05-02 | 图玛深维医疗科技(北京)有限公司 | 图像配准模型的训练方法和装置 |
| US11348259B2 (en) * | 2020-05-23 | 2022-05-31 | Ping An Technology (Shenzhen) Co., Ltd. | Device and method for alignment of multi-modal clinical images using joint synthesis, segmentation, and registration |
| CN111951311A (zh) * | 2020-07-27 | 2020-11-17 | 上海联影智能医疗科技有限公司 | 图像配准方法、计算机设备和存储介质 |
| CN112070781B (zh) * | 2020-08-13 | 2024-01-30 | 沈阳东软智能医疗科技研究院有限公司 | 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备 |
| CN114205642B (zh) * | 2020-08-31 | 2024-04-26 | 北京金山云网络技术有限公司 | 一种视频图像的处理方法和装置 |
| CN111932533B (zh) * | 2020-09-22 | 2021-04-27 | 平安科技（深圳）有限公司 | Ct图像椎骨定位方法、装置、设备及介质 |
| CN112307934B (zh) * | 2020-10-27 | 2021-11-09 | 深圳市商汤科技有限公司 | 图像检测方法及相关模型的训练方法、装置、设备、介质 |
| CN112348819A (zh) * | 2020-10-30 | 2021-02-09 | 上海商汤智能科技有限公司 | 模型训练方法、图像处理及配准方法以及相关装置、设备 |
| CN112560778B (zh) * | 2020-12-25 | 2022-05-27 | 万里云医疗信息科技（北京）有限公司 | Dr图像身体部位识别方法、装置、设备及可读存储介质 |
| CN113570499B (zh) * | 2021-07-21 | 2022-07-05 | 此刻启动(北京)智能科技有限公司 | 一种自适应图像调色方法、系统、存储介质及电子设备 |
| US20230052401A1 (en) * | 2021-08-13 | 2023-02-16 | International Business Machines Corporation | Deformable registration of medical images |
| CN113538539B (zh) * | 2021-08-20 | 2023-09-22 | 浙江大学 | 基于布谷鸟搜索算法的肝脏ct图像配准方法及计算机可读存储介质 |
| CN114155376A (zh) * | 2021-11-05 | 2022-03-08 | 苏州微创畅行机器人有限公司 | 目标特征点提取方法、装置、计算机设备和存储介质 |
| CN114511599B (zh) * | 2022-01-20 | 2022-09-20 | 推想医疗科技股份有限公司 | 模型训练方法及其装置、医学图像配准方法及其装置 |
| KR102603177B1 (ko) * | 2022-06-03 | 2023-11-17 | 주식회사 브라이토닉스이미징 | 영상 공간 정규화와 이를 이용한 정량화 시스템 및 그 방법 |
| CN115393402B (zh) * | 2022-08-24 | 2023-04-18 | 北京医智影科技有限公司 | 图像配准网络模型的训练方法、图像配准方法及设备 |
| CN115908515B (zh) * | 2022-11-11 | 2024-02-13 | 北京百度网讯科技有限公司 | 影像配准方法、影像配准模型的训练方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201005568A (en) * | 2008-03-31 | 2010-02-01 | Tokyo Electron Ltd | Multi-layer/multi-input/multi-output (MLMIMO) models and method for using |
| CN103810699A (zh) * | 2013-12-24 | 2014-05-21 | 西安电子科技大学 | 基于无监督深度神经网络的sar图像变化检测方法 |
| CN108596961A (zh) * | 2018-04-17 | 2018-09-28 | 浙江工业大学 | 基于三维卷积神经网络的点云配准方法 |
| CN108921100A (zh) * | 2018-07-04 | 2018-11-30 | 武汉高德智感科技有限公司 | 一种基于可见光图像与红外图像融合的人脸识别方法及系统 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103714547B (zh) * | 2013-12-30 | 2017-03-22 | 北京理工大学 | 一种结合边缘区域和互相关的图像配准方法 |
| KR102294734B1 (ko) * | 2014-09-30 | 2021-08-30 | 삼성전자주식회사 | 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치 |
| US10235606B2 (en) * | 2015-07-22 | 2019-03-19 | Siemens Healthcare Gmbh | Method and system for convolutional neural network regression based 2D/3D image registration |
| CN108960014B (zh) * | 2017-05-23 | 2021-05-11 | 北京旷视科技有限公司 | 图像处理方法、装置和系统及存储介质 |
| CN107578453B (zh) * | 2017-10-18 | 2019-11-01 | 北京旷视科技有限公司 | 压缩图像处理方法、装置、电子设备及计算机可读介质 |
| CN108345903B (zh) * | 2018-01-25 | 2019-06-28 | 中南大学湘雅二医院 | 一种基于模态距离约束的多模态融合图像分类方法 |
| CN108335322B (zh) * | 2018-02-01 | 2021-02-12 | 深圳市商汤科技有限公司 | 深度估计方法和装置、电子设备、程序和介质 |
| CN108416802B (zh) * | 2018-03-05 | 2020-09-18 | 华中科技大学 | 一种基于深度学习的多模医学图像非刚性配准方法及系统 |
| CN108629753A (zh) * | 2018-05-22 | 2018-10-09 | 广州洪森科技有限公司 | 一种基于循环神经网络的人脸图像恢复方法及装置 |
| CN108776787B (zh) * | 2018-06-04 | 2020-09-29 | 京东数字科技控股有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN108960300B (zh) * | 2018-06-20 | 2021-03-02 | 北京工业大学 | 一种基于深度神经网络的城市土地利用信息分析方法 |
| CN109754414A (zh) * | 2018-12-27 | 2019-05-14 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
-
2018
- 2018-12-27 CN CN201811614468.4A patent/CN109754414A/zh active Pending
- 2018-12-27 CN CN202010071526.4A patent/CN111210467A/zh active Pending
-
2019
- 2019-11-22 WO PCT/CN2019/120329 patent/WO2020134769A1/zh active Application Filing
- 2019-11-22 SG SG11202102267XA patent/SG11202102267XA/en unknown
- 2019-11-22 KR KR1020217001183A patent/KR20210021039A/ko unknown
- 2019-11-22 JP JP2021501292A patent/JP2021530061A/ja active Pending
- 2019-12-17 TW TW108146193A patent/TWI754195B/zh not_active IP Right Cessation
-
2021
- 2021-03-08 US US17/194,790 patent/US20210192758A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201005568A (en) * | 2008-03-31 | 2010-02-01 | Tokyo Electron Ltd | Multi-layer/multi-input/multi-output (MLMIMO) models and method for using |
| CN103810699A (zh) * | 2013-12-24 | 2014-05-21 | 西安电子科技大学 | 基于无监督深度神经网络的sar图像变化检测方法 |
| CN108596961A (zh) * | 2018-04-17 | 2018-09-28 | 浙江工业大学 | 基于三维卷积神经网络的点云配准方法 |
| CN108921100A (zh) * | 2018-07-04 | 2018-11-30 | 武汉高德智感科技有限公司 | 一种基于可见光图像与红外图像融合的人脸识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109754414A (zh) | 2019-05-14 |
| US20210192758A1 (en) | 2021-06-24 |
| CN111210467A (zh) | 2020-05-29 |
| KR20210021039A (ko) | 2021-02-24 |
| SG11202102267XA (en) | 2021-04-29 |
| TW202025137A (zh) | 2020-07-01 |
| JP2021530061A (ja) | 2021-11-04 |
| WO2020134769A1 (zh) | 2020-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI754195B (zh) | 圖像處理方法及其裝置、電子設備及電腦可讀儲存媒體 | |
| WO2020125221A1 (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| US10706333B2 (en) | Medical image analysis method, medical image analysis system and storage medium | |
| Maier et al. | A gentle introduction to deep learning in medical image processing | |
| WO2020215984A1 (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
| Pishchulin et al. | Building statistical shape spaces for 3d human modeling | |
| JP7391846B2 (ja) | ディープニューラルネットワークを使用したコンピュータ支援診断 | |
| US9561004B2 (en) | Automated 3-D orthopedic assessments | |
| CN106462963B (zh) | 用于自适应放射治疗中自动勾画轮廓的系统和方法 | |
| CN109767460A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| US10121273B2 (en) | Real-time reconstruction of the human body and automated avatar synthesis | |
| WO2021136368A1 (zh) | 钼靶图像中胸大肌区域自动检测方法及装置 | |
| Shen et al. | Mass image synthesis in mammogram with contextual information based on GANs | |
| US20230169727A1 (en) | Generative Nonlinear Human Shape Models | |
| WO2022213654A1 (zh) | 一种超声图像的分割方法、装置、终端设备和存储介质 | |
| CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
| Claes | A robust statistical surface registration framework using implicit function representations-application in craniofacial reconstruction | |
| Nakao et al. | Image-to-graph convolutional network for deformable shape reconstruction from a single projection image | |
| Zhang et al. | MinimalGAN: diverse medical image synthesis for data augmentation using minimal training data | |
| US20230124674A1 (en) | Deep learning for optical coherence tomography segmentation | |
| Ruiz et al. | Weighted regularized statistical shape space projection for breast 3D model reconstruction | |
| Danilov et al. | Use of semi-synthetic data for catheter segmentation improvement | |
| KR102426925B1 (ko) | 3d 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법 및 프로그램 | |
| Rickmann et al. | Vertex Correspondence in Cortical Surface Reconstruction | |
| Zontak et al. | Speeding up 3D speckle tracking using PatchMatch |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |