TW202044198A - 一種圖像處理方法、裝置、電子設備及電腦可讀儲存媒介 - Google Patents

一種圖像處理方法、裝置、電子設備及電腦可讀儲存媒介 Download PDF

Info

Publication number
TW202044198A
TW202044198A TW108146264A TW108146264A TW202044198A TW 202044198 A TW202044198 A TW 202044198A TW 108146264 A TW108146264 A TW 108146264A TW 108146264 A TW108146264 A TW 108146264A TW 202044198 A TW202044198 A TW 202044198A
Authority
TW
Taiwan
Prior art keywords
image
preset
registered
reference image
registration
Prior art date
Application number
TW108146264A
Other languages
English (en)
Inventor
宋濤
Original Assignee
大陸商上海商湯智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商上海商湯智能科技有限公司 filed Critical 大陸商上海商湯智能科技有限公司
Publication of TW202044198A publication Critical patent/TW202044198A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公開實施例公開了一種圖像處理方法、裝置、電子設備及電腦可讀儲存媒介，其中圖像處理方法包括：獲取待配準圖像和用於配準的參考圖像；將所述待配準圖像和所述參考圖像輸入預設神經網路模型，所述預設神經網路模型基於預設待配準圖像和預設參考圖像的相互資訊損失進行訓練獲得；基於所述預設神經網路模型將所述待配準圖像向所述參考圖像配準，獲得配準結果，可以提高圖像配準的精度和即時性。

Description

一種圖像處理方法、裝置、電子設備及電腦可讀儲存媒介
本發明涉及電腦視覺技術領域，具體涉及一種圖像處理方法、裝置、電子設備及電腦可讀儲存媒介。
圖像配準是將不同的獲取時間、不同感測器、不同條件下的同一場景或者同一目標的兩幅或者多幅圖像進行配準的過程，被廣泛應用於醫學圖像處理過程中。醫學圖像配準是醫學圖像處理領域中一項重要技術，對臨床診斷和治療起著越來越重要的作用。
現代醫學通常需要將多個模態或者多個時間點獲得的醫學圖像進行綜合分析，那麼在進行分析之前就需要將幾副圖像進行配準工作。傳統的可形變配準方法是通過不斷計算每個像素點的一個對應關係，通過相似性度量函數來計算配準後的圖像與參考圖像的相似度並且不斷的反覆運算的一個過程，直到達到一個合適的結果。
本公開實施例提供了一種圖像處理技術方案。
本公開實施例第一方面提供一種圖像處理方法，包括：
獲取待配準圖像和用於配準的參考圖像；將所述待配準圖像和所述參考圖像輸入預設神經網路模型，所述預設神經網路模型基於預設待配準圖像和預設參考圖像的相互資訊損失進行訓練獲得；基於所述預設神經網路模型將所述待配準圖像向所述參考圖像配準，獲得配準結果。
在一種可選的實施方式中，所述獲取待配準圖像和用於配準的參考圖像之前，所述方法還包括：獲取原始待配準圖像和原始參考圖像，對所述原始待配準圖像和所述原始參考圖像進行圖像標準化處理，獲得滿足目標參數的所述待配準圖像和所述參考圖像。這樣，消除圖像中無關的資訊，恢復有用的真實資訊，增強有關資訊的可檢測性和最大限度地簡化資料，從而改進特徵抽取、圖像分割、匹配和識別的可靠性。
在一種可選的實施方式中，所述對所述原始待配準圖像和所述原始參考圖像進行圖像標準化處理，獲得滿足目標參數的所述待配準圖像和所述參考圖像包括：將所述原始待配準圖像轉換為預設灰階值範圍內和預設圖像尺寸的待配準圖像；以及，將所述原始參考圖像轉換為所述預設灰階值範圍內和所述預設圖像尺寸的參考圖像。這樣，可以使後續的圖像處理過程更加準確和穩定。
在一種可選的實施方式中，所述預設神經網路模型包括配準模型和相互資訊估計網路模型，所述預設神經網路模型的訓練過程包括：獲取所述預設待配準圖像和所述預設參考圖像，將所述預設待配準圖像和所述預設參考圖像輸入所述配準模型生成形變場；在基於所述形變場和所述預設待配準圖像向所述預設參考圖像配準的過程中，通過所述相互資訊估計網路模型對配準後圖像和所述預設參考圖像的相互資訊進行估計，獲得相互資訊損失；基於所述相互資訊損失對所述配準模型和所述相互資訊估計網路模型進行參數更新，獲得訓練後的預設神經網路模型。如此，基於該預設神經網路模型將待配準圖像向參考圖像配準，獲得配準結果，可以提高圖像配準的精度和即時性。
在一種可選的實施方式中，所述通過所述相互資訊估計網路模型對配準後圖像和所述預設參考圖像的相互資訊進行估計，獲得相互資訊損失包括：通過所述相互資訊估計網路模型，基於配準後圖像和所述預設參考圖像獲得聯合機率分佈和邊緣機率分佈；根據所述聯合機率分佈參數和所述邊緣機率分佈參數計算獲得所述相互資訊損失。如此，可以提升生成模型的對抗訓練，突破監督學習分類任務的瓶頸。
在一種可選的實施方式中，所述基於所述相互資訊損失對所述配準模型和所述相互資訊估計網路模型進行參數更新，獲得訓練後的預設神經網路模型包括：基於所述相互資訊損失對所述配準模型進行第一閾值次數的參數更新，基於所述相互資訊損失對所述相互資訊估計網路模型進行第二閾值次數的參數更新，獲得所述訓練後的預設神經網路模型。如此，不斷對上述配準模型和相互資訊估計網路模型的參數進行更新，來指導完成兩個網路的訓練。
在一種可選的實施方式中，所述方法還包括：基於預設優化器對所述預設神經網路模型進行預設學習率和第三閾值次數的參數更新。這樣可以獲得最後的訓練後的預設神經網路模型。
在一種可選的實施方式中，所述獲取所述預設待配準圖像和所述預設參考圖像之後，所述方法還包括：對所述預設待配準圖像和所述預設參考圖像進行圖像標準化處理，獲得滿足預設訓練參數的所述預設待配準圖像和所述預設參考圖像；所述將所述預設待配準圖像和所述預設參考圖像輸入所述配準模型生成形變場包括：將所述滿足預設訓練參數的所述預設待配準圖像和所述預設參考圖像輸入所述配準模型生成所述形變場。
這裡，標準化處理是為了方便後續的損失計算不造成梯度爆炸。
本公開實施例第二方面提供一種圖像處理裝置，包括：獲取模組和配準模組，其中：所述獲取模組，用於獲取待配準圖像和用於配準的參考圖像；所述配準模組，用於將所述待配準圖像和所述參考圖像輸入預設神經網路模型，所述預設神經網路模型基於預設待配準圖像和預設參考圖像的相互資訊損失進行訓練獲得；所述配準模組，還用於基於所述預設神經網路模型將所述待配準圖像向所述參考圖像配準，獲得配準結果。
在一種可選的實施方式中，所述圖像處理裝置還包括：預處理模組，用於獲取原始待配準圖像和原始參考圖像，對所述原始待配準圖像和所述原始參考圖像進行圖像標準化處理，獲得滿足目標參數的所述待配準圖像和所述參考圖像。
在一種可選的實施方式中，所述預處理模組具體用於：將所述原始待配準圖像轉換為預設灰階值範圍內和預設圖像尺寸的待配準圖像；以及，將所述原始參考圖像轉換為所述預設灰階值範圍內和所述預設圖像尺寸的參考圖像。
在一種可選的實施方式中，所述預設神經網路模型包括配準模型和相互資訊估計網路模型，所述配準模組包括配準單元、相互資訊估計單元和更新單元，其中：所述配準單元用於，獲取所述預設待配準圖像和所述預設參考圖像，將所述預設待配準圖像和所述預設參考圖像輸入所述配準模型生成形變場；所述相互資訊估計單元用於，在所述配準模組基於所述形變場和所述預設待配準圖像向所述預設參考圖像配準的過程中，通過所述相互資訊估計網路模型對配準後圖像和所述預設參考圖像的相互資訊進行估計，獲得相互資訊損失；所述更新單元用於，基於所述相互資訊損失對所述配準模型和所述相互資訊估計網路模型進行參數更新，獲得訓練後的預設神經網路模型。
在一種可選的實施方式中，所述相互資訊估計單元具體用於：通過所述相互資訊估計網路模型，基於配準後圖像和所述預設參考圖像獲得聯合機率分佈和邊緣機率分佈；根據所述聯合機率分佈參數和所述邊緣機率分佈參數計算獲得所述相互資訊損失。
在一種可選的實施方式中，所述更新單元具體用於：基於所述相互資訊損失對所述配準模型進行第一閾值次數的參數更新，基於所述相互資訊損失對所述相互資訊估計網路模型進行第二閾值次數的參數更新，獲得所述訓練後的預設神經網路模型。
在一種可選的實施方式中，所述更新單元還用於，基於預設優化器對所述預設神經網路模型進行預設學習率和第三閾值次數的參數更新。
在一種可選的實施方式中，所述預處理模組還用於：在獲取所述預設待配準圖像和所述預設參考圖像之後，對所述預設待配準圖像和所述預設參考圖像進行圖像標準化處理，獲得滿足預設訓練參數的所述預設待配準圖像和所述預設參考圖像；所述配準模組還用於，將所述滿足預設訓練參數的所述預設待配準圖像和所述預設參考圖像輸入所述配準模型生成形變場。
本公開實施例第三方面提供一種電子設備，包括處理器以及儲存器，所述儲存器用於儲存一個或多個程式，所述一個或多個程式被配置成由所述處理器執行，所述程式包括用於執行如本公開實施例第一方面任一方法中所描述的部分或全部步驟。
本公開實施例第四方面提供一種電腦可讀儲存媒介，所述電腦可讀儲存媒介用於儲存電子資料交換的電腦程式，其中，所述電腦程式使得電腦執行如本公開實施例第一方面任一方法中所描述的部分或全部步驟。
本公開實施例第五方面提供了一種電腦程式，其中，所述電腦程式包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現本公開實施例第一方面任一方法中所描述的部分或全部步驟。
本公開實施例通過獲取待配準圖像和用於配準的參考圖像，將待配準圖像和參考圖像輸入預設神經網路模型，該預設神經網路模型基於預設神經網路模型基於預設待配準圖像和預設參考圖像的相互資訊損失進行訓練獲得，基於該預設神經網路模型將待配準圖像向參考圖像配準，獲得配準結果，可以提高圖像配準的精度和即時性。
為了使本技術領域的人員更好地理解本公開方案，下面將結合本公開實施例中的圖式，對本公開實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本公開一部分實施例，而不是全部的實施例。基於本公開中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本公開保護的範圍。
本公開的說明書和申請專利範圍及上述圖式中的術語“第一”、“第二”等是用於區別不同物件，而不是用於描述特定順序。此外，術語“包括”和“具有”以及它們任何變形，意圖在於覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統、產品或設備沒有限定於已列出的步驟或單元，而是可選地還包括沒有列出的步驟或單元，或可選地還包括對於這些過程、方法、產品或設備固有的其他步驟或單元。
在本文中提及“實施例”意味著，結合實施例描述的特定特徵、結構或特性可以包含在本公開的至少一個實施例中。在說明書中的各個位置出現該短語並不一定均是指相同的實施例，也不是與其它實施例互斥的獨立的或備選的實施例。本領域技術人員顯式地和隱式地理解的是，本文所描述的實施例可以與其它實施例相結合。
本公開實施例所涉及到的圖像處理裝置可以允許多個其他終端設備進行訪問。上述圖像處理裝置可以為電子設備，包括終端設備，具體實現中，上述終端設備包括但不限於諸如具有觸摸敏感表面（例如，觸控式螢幕顯示器和/或觸控板）的行動電話、筆記型電腦或平板電腦之類的其它可擕式設備。還應當理解的是，在某些實施例中，所述設備並非可擕式通信設備，而是具有觸摸敏感表面（例如，觸控式螢幕顯示器和/或觸控板）的桌上型電腦。
本公開實施例中的深度學習的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現資料的分散式特徵表示。
深度學習是機器學習中一種基於對資料進行表徵學習的方法。觀測值（例如一幅圖像）可以使用多種方式來表示，如每個像素點強度值的向量，或者更抽象地表示成一系列邊、特定形狀的區域等。而使用某些特定的表示方法更容易從實例中學習任務（例如，人臉識別或面部表情識別）。深度學習的好處是用非監督式或半監督式的特徵學習和分層特徵提取高效演算法來替代手工獲取特徵。深度學習是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，它模仿人腦的機制來解釋資料，例如圖像，聲音和文本。
下面對本公開實施例進行詳細介紹。
請參閱圖1，圖1是本公開實施例公開的一種圖像處理的流程示意圖，如圖1所示，該圖像處理方法可以由上述圖像處理裝置執行，包括如下步驟：
101、獲取待配準圖像和用於配準的參考圖像。
圖像配準是將不同的獲取時間、不同感測器、不同條件下的同一場景或者同一目標的兩幅或者多幅圖像進行配準的過程，被廣泛應用於醫學圖像處理過程中。醫學圖像配準是醫學圖像處理領域中一項重要技術，對臨床診斷和治療起著越來越重要的作用。現代醫學通常需要將多個模態或者多個時間點獲得的醫學圖像進行綜合分析，所以在進行分析之前就需要將幾副圖像進行配準工作。
本公開實施例中提到的待配準圖像（moving）和用於配準的參考圖像（fixed）均可以為通過至少一種醫學圖像設備獲得的醫學圖像，尤其針對一些可能會出現形變的器官的圖像，比如肺部CT，其中待配準圖像和用於配準的參考圖像一般為同一器官在不同時間點或不同條件下採集的圖像。
由於需要進行配準的醫學圖像可能具有多樣性，在圖像中可以體現為圖像灰階值、圖像尺寸等特徵的多樣性。可選的，在步驟101之前，可以獲取原始待配準圖像和原始參考圖像，對所述原始待配準圖像和所述原始參考圖像進行圖像標準化處理，獲得滿足目標參數的上述待配準圖像和上述參考圖像。
上述目標參數可以理解為描述圖像特徵的參數，即用於使上述原始圖像資料呈統一風格的規定參數。例如，上述目標參數可以包括：用於描述圖像解析度、圖像灰階、圖像大小等特徵的參數。
上述原始待配準圖像可以為通過至少一種醫學圖像設備獲得的醫學圖像，尤其可以是可形變的器官的圖像，具有多樣性，在圖像中可以體現為圖像灰階值、圖像尺寸等特徵的多樣性。在進行配準前可以對原始待配準圖像和原始參考圖像做一些基本的預處理，也可以僅對上述原始待配準圖像進行預處理。其中可以包括上述圖像標準化處理。圖像預處理的主要目的是消除圖像中無關的資訊，恢復有用的真實資訊，增強有關資訊的可檢測性和最大限度地簡化資料，從而改進特徵抽取、圖像分割、匹配和識別的可靠性。
本公開實施例中的圖像標準化是指對圖像進行一系列標準的處理變換，使之變換為一固定標準形式的過程，該標準圖像稱作標準化圖像。圖像標準化可以利用圖像的不變矩尋找一組參數使其能夠消除其他變換函數對圖像變換的影響，將待處理的原始圖像轉換成相應的唯一標準形式，該標準形式圖像對平移、旋轉、縮放等仿射變換具有不變特性。因此，通過上述圖像標準化處理可以獲得統一風格的圖像，提高後續處理的穩定性和準確度。
具體的，可以將上述原始待配準圖像轉換為預設灰階值範圍內和預設圖像尺寸的待配準圖像；將上述原始參考圖像轉換為上述預設灰階值範圍內和上述預設圖像尺寸的參考圖像。
其中，上述轉換主要是為了獲得風格一致的待配準圖像和參考圖像，即可以理解為將上述原始待配準圖像和原始參考圖像轉換至相同的灰階值範圍內和相同的圖像尺寸，也可以僅轉換至相同的圖像尺寸或者相同的灰階值範圍內，可以使後續的圖像處理過程更加準確和穩定。
本公開實施例中的圖像處理裝置可以存儲有上述預設灰階值範圍和上述預設圖像尺寸。可以通過simple ITK 軟體做重採樣（resample）的操作來使得需要上述待配準圖像和上述參考圖像的位置和解析度基本保持一致。ITK是一個開源的跨平臺系統，為開發人員提供了一整套用於圖像分析的軟體工具。
上述預設圖像尺寸可以為長寬高：416×416×80，可以通過剪切或者填充（補零）的操作來使得上述待配準圖像和上述參考圖像的圖像尺寸一致為416×416×80。
通過對原始圖像資料進行預處理，可以降低其多樣性，神經網路模型能夠給出更穩定的判斷。
對於在不同時間或/和不同條件下獲取的兩幅醫學圖像1和2配準，就是尋找一個映射關係P，使圖像1上的每一個點在圖像2上都有唯一的點與之相對應。 並且這兩點應對應同一解剖位置。映射關係 P表現為一組連續的空間變換。常用的空間幾何變換有剛體變換( Rigid body transformation )、 仿射變換( Affine transformation)、投影變換 ( Projective transformation)和非線性變換 ( Nonlinear transformation)。
其中，剛性變換是指物體內部任意兩點間的距離及平行關係保持不變。仿射變換是一種最為簡單的非剛性變換，它一種保持平行性，但不保角的、距離發生變化的變換。而在許多重要的臨床應用中，就經常需要應用可形變的圖像配準方法，比如在研究腹部以及胸部臟器的圖像配準時，由於生理運動或者患者移動造成內部器官和組織的位置、尺寸和形態發生改變，就需要可形變變換來補償圖像變形。
在本公開實施例中，上述預處理還可以包括上述剛性變換，即先進行圖像的剛性變換，再根據本公開實施例中的方法實現上圖像配準。
在圖像處理領域，只有物體的位置(平移變換)和朝向(旋轉變換)發生改變，而形狀不變，得到的變換稱為上述剛性變換。
102、將上述待配準圖像和上述參考圖像輸入預設神經網路模型，上述預設神經網路模型基於預設待配準圖像和預設參考圖像的相互資訊損失進行訓練獲得。
本公開實施例中，圖像處理裝置中可以儲存有上述預設神經網路模型，該預設神經網路模型可以預先訓練獲得。
上述預設神經網路模型可以是基於神經元估計相互資訊的方式進行訓練獲得，具體可以基於預設待配準圖像和預設參考圖像的相互資訊損失進行訓練獲得。
上述預設神經網路模型可以包括配準模型和相互資訊估計網路模型，上述預設神經網路模型的訓練過程可以包括：
獲取上述預設待配準圖像和上述預設參考圖像，將上述預設待配準圖像和上述預設參考圖像輸入上述配準模型生成形變場；
在基於上述形變場和上述預設待配準圖像向上述預設參考圖像配準的過程中，通過上述相互資訊估計網路模型對上述預設待配準圖像和上述預設參考圖像的相互資訊進行估計，獲得相互資訊損失；
基於上述相互資訊損失對上述配準模型和上述相互資訊估計網路模型進行參數更新，獲得訓練後的預設神經網路模型。
舉例來說，可以基於神經網路梯度下降演算法對高維度連續隨機變數間的相互資訊進行估計。比如MINE（mutual information neural estimaiton）演算法，在維度上和樣本大小上是線性可測量的，可使用反向傳播演算法訓練。MINE演算法可以最大或者最小化相互資訊，提升生成模型的對抗訓練，突破監督學習分類任務的瓶頸。
103、基於上述預設神經網路模型將上述待配準圖像向上述參考圖像配準，獲得配準結果。
圖像配準一般是首先對兩幅圖像進行特徵提取得到特徵點；再通過進行相似性度量找到匹配的特徵點對；然後通過匹配的特徵點對得到圖像空間座標變換參數；最後由座標變換參數進行圖像配準。
本公開實施例中的預設神經網路模型的卷積層可以為3D卷積，通過上述預設神經網路模型生成形變場（deformable field），然後通過3D的空間轉換層將需要形變的待配準圖像進行可形變的變換，獲得配準後的上述配準結果，即包括生成的配準結果圖像（moved）。
其中，上述預設神經網路模型中，為了保證形變場的平滑性採用了L2損失函數對形變場的梯度進行約束。通過一個神經網路來估計相互資訊作為損失函數來評價配準後的圖像與參考圖像之間的相似度來指導網路的訓練。
現有的方法是利用有監督深度學習來做配準，必須利用傳統配準方法來獲得標記，處理時間較長，且限制了配準精度。並且利用傳統方法做配準需要計算每個像素點的變換關係，計算量巨大，消耗時間也很大。
根據類別未知（沒有被標記）的訓練樣本解決模式識別中的一種或多種問題，稱之為無監督學習。本公開實施例使用基於無監督深度學習的神經網路來進行圖像配準，可用於任何會發生形變的臟器的配準中。本公開實施例可以利用GPU執行上述方法在幾秒內得到配準結果，更加高效。
本公開實施例通過獲取待配準圖像和用於配準的參考圖像，將待配準圖像和參考圖像輸入預設神經網路模型，該預設神經網路模型基於預設待配準圖像和預設參考圖像的相互資訊損失進行訓練獲得，基於該預設神經網路模型將待配準圖像向參考圖像配準，獲得配準結果，可以提高圖像配準的精度和即時性。
請參閱圖2，圖2是本公開實施例公開的另一種圖像處理方法的流程示意圖，具體為一種預設神經網路的訓練方法的流程示意圖，圖2是在圖1的基礎上進一步優化得到的。執行本公開實施例步驟的主體可以為一種圖像處理裝置，可以是與圖1所示實施例的方法中相同或者不同的圖像處理裝置。如圖2所示，該圖像處理方法包括如下步驟：
201、獲取預設待配準圖像和預設參考圖像，將上述預設待配準圖像和上述預設參考圖像輸入上述配準模型生成形變場。
其中，與圖1所示實施例中類似的，上述預設待配準圖像（moving）和上述預設參考圖像（fixed），均可以為通過各種醫學圖像設備獲得的醫學圖像，尤其可以是可形變的器官的圖像，比如肺部CT，其中待配準圖像和用於配準的參考圖像一般為同一器官在不同時間點或不同條件下採集的圖像。這裡“預設”一詞是為了區別於圖1所示實施例中的待配準圖像和參考圖像區別，這裡的預設待配準圖像和預設參考圖像主要作為該預設神經網路模型的輸入，用於進行該預設神經網路模型的訓練。
由於需要進行配準的醫學圖像可能具有多樣性，在圖像中可以體現為圖像灰階值、圖像尺寸等特徵的多樣性。可選的，上述獲取上述預設待配準圖像和上述預設參考圖像之後，上述方法也可以包括：
對上述預設待配準圖像和上述預設參考圖像進行圖像標準化處理，獲得滿足預設訓練參數的上述預設待配準圖像和上述預設參考圖像；
其中，上述將上述預設待配準圖像和上述預設參考圖像輸入上述配準模型生成形變場包括：
將上述滿足預設訓練參數的上述預設待配準圖像和上述預設參考圖像輸入上述配準模型生成形變場。
上述預設訓練參數可以包括預設灰階值範圍和預設圖像尺寸（如416×416×80）。上述圖像標準化處理的過程可以參考圖1所示實施例的步驟101中的具體描述。可選的，首先在配準前進行的預處理可以包括剛體變換和資料標準化。具體可以通過simple ITK 軟體做重採樣的操作來使得預設待配準圖像和預設參考圖像的位置和解析度基本保持一致。為了後續訓練過程的方便操作，可以對圖像進行預定大小的裁剪或者填充。假設預先設定的輸入圖像的圖像尺寸長寬高為416 x 416 x 80，就需要通過剪切或者填充（補零）的操作來使得預設待配準圖像和預設參考圖像的圖像尺寸一致為416×416×80。為了肺部CT中的重要資訊，可以通過窗寬為[-1200，600]對預設待配準圖像和預設參考圖像標準化到[0，1]，即對於原圖像中大於600的設為1，小於-1200的設為0。
因為不同的器官組織在CT上的表現是不一樣的，也就是對應的灰階級別可能不同。所謂的窗寬(windowing)就是指用韓森費爾德(發明者)單位(Hounsfield Unit，HU)所得的資料來計算出影像的過程，不同的放射強度(Raiodensity)對應到256種不同程度的灰階值，這些不同的灰階值可以依CT值的不同範圍來重新定義衰減值，假設CT範圍的中心值不變，定義的範圍一變窄後，我們稱為窄窗位(Narrow Window)，比較細部的小變化就可以分辨出來了，在影像處理的觀念上稱為對比壓縮。
本公開實施例中不同組織在CT上可以設置公認的窗寬、窗位，是為了更好地提取重要的資訊。這裡的[-1200，600]的具體值-1200，600代表的是窗位，範圍大小為1800，即窗寬。上述圖像標準化處理是為了方便後續的損失計算不造成梯度爆炸。
其中，可以選用L2損失函數，L2損失函數的特性是比較平滑，這裡為了應對形變場的梯度的變化較大而造成突變，產生褶皺和空洞的情況，而梯度是通過臨近像素點的差值來表示，即是為了使得相鄰像素點不要變化太大，造成較大的形變。
將預處理過後的預設待配準圖像和預設參考圖像輸入到待訓練的神經網路中生成形變場（deformable field），再基於上述形變場和上述預設待配準圖像向上述預設參考圖像配準，即利用該形變場和預設參考圖像生成形變後的配準結果圖像（moved）。
202、在基於上述形變場和上述預設待配準圖像向上述預設參考圖像配準的過程中，通過相互資訊估計網路模型對配準後圖像和上述預設參考圖像的相互資訊進行估計，獲得相互資訊損失。
本公開實施例中的預設神經網路模型可以包括相互資訊估計網路模型和配準模型。配準後圖像即為預設待配準圖像本次經過該配準網路向預設參考圖像配準後的圖像。在一個實現方式中，可以通過上述相互資訊估計網路模型，基於上述配準後圖像和上述預設參考圖像獲得聯合機率分佈和邊緣機率分佈；再根據上述聯合概率分佈參數和上述邊緣概率分佈參數計算獲得相互資訊損失。
舉例來說，可以基於神經網路梯度下降演算法對高維度連續隨機變數間的相互資訊進行估計。比如MINE（mutual information neural estimaiton）演算法，在維度上和樣本大小上是線性可測量的，可使用反向傳播演算法訓練。MINE演算法可以最大或者最小化相互資訊，提升生成模型的對抗訓練，突破監督學習分類任務的瓶頸，可以基於以下相互資訊計算公式（1）計算所述相互資訊損失：
Figure 02_image001
公式(1)
其中，X，Z可以理解為兩個輸入圖像（配準後圖像和預設參考圖像），這裡X，Z可以理解為解空間，解空間是指齊次線性方程組的解的集合構成一個向量空間，也就是一個集合，上述計算相互資訊損失的參數屬於上述兩個輸入圖像的解空間；
Figure 02_image003
可以表示數學期望；PXZ 為聯合機率分佈， PX 與PZ 為邊緣機率分佈；θ為上述相互資訊估計網路的初始化參數；n為正整數，可以表示樣本數量。
其中，訓練中相互資訊越大，表示配準的結果越準確。公式裡面的sup為最小上界，訓練中不斷增大這個最小上界就是最大化相互資訊。上述T可以理解為上述相互資訊估計網路模型（包括其參數），結合這個公式可以估計相互資訊，所以這裡的T也是有參數需要更新的。這個公式和T共同組成相互資訊損失。
203、基於上述相互資訊損失對上述配準模型和上述相互資訊估計網路模型進行參數更新，獲得訓練後的預設神經網路模型。
本公開實施例中，通過神經元估計相互資訊作為配準後的圖像和參考圖像的相似度評估標準，即可以重複執行步驟202和步驟203，不斷對上述配準模型和相互資訊估計網路模型的參數進行更新，來指導完成兩個網路的訓練。
可選的，可以基於上述相互資訊損失對上述配準模型進行第一閾值次數的參數更新，基於上述相互資訊損失對上述相互資訊估計網路模型進行第二閾值次數的參數更新，獲得上述訓練後的預設神經網路模型。
圖像處理裝置中可以存儲有上述第一閾值次數和第二閾值次數，其中，上述第一閾值次數和第二閾值次數可以不同，上述第一閾值次數可以大於上述第二閾值次數。
上述更新時涉及的第一閾值次數和第二閾值次數，指的是神經網路訓練中的時期（epoch）。一個時期可以理解為至少一個訓練樣本的一個正向傳遞和一個反向傳遞。
舉例來說，上述配準模型和相互資訊估計網路模型可以進行獨立的參數更新，舉例來講，第一閾值次數為120，第二閾值次數為50，即可以在前50個epoch相互資訊估計網路模型和配準模型一起更新，50個epoch之後凍住相互資訊估計網路模型的網路參數，只更新配準模型，直到配準模型的120個epoch更新完成。
可選的，還可以基於預設優化器對上述預設神經網路模型進行預設學習率和第三閾值次數的參數更新，以獲得最後的訓練後的預設神經網路模型。
優化器中使用的演算法一般有自我調整梯度優化演算法(Adaptive Gradient，AdaGrad)，它可以對每個不同的參數調整不同的學習率，對頻繁變化的參數以更小的步長進行更新，而稀疏的參數以更大的步長進行更新；以及RMSProp演算法，結合梯度平方的指數移動平均數來調節學習率的變化，能夠在不穩定（Non-Stationary）的目標函數情況下進行很好地收斂。
其中，上述預設優化器可以採用ADAM的優化器，結合AdaGrad和RMSProp兩種優化演算法的優點。對梯度的一階矩估計（First Moment Estimation，即梯度的平均值）和二階矩估計（SecondMoment Estimation，即梯度的未中心化的變異數）進行綜合考慮，計算出更新步長。
上述第三閾值次數與前述第一閾值次數和第二閾值次數一樣，指的是epoch。圖像處理裝置或者上述預設優化器中可以儲存上述第三閾值次數和預設學習率來控制更新。比如學習率0.001，第三閾值次數300epoch。以及可以設置學習率的調整規則，以該學習率的調整規則調整參數更新的學習率，比如可以設置分別在40、120和200 epoch時學習率減半。
在獲得上述訓練後的預設神經網路模型之後，圖像處理裝置可以執行圖1所示實施例中的部分或全部方法，即可以基於上述預設神經網路模型將待配準圖像向參考圖像配準，獲得配準結果。
一般而言，大多數技術使用非參數化方法估計相互資訊（比如使用長條圖），不僅計算量大並且不支援反向傳播，無法應用到神經網路中。本公開實施例採用神經元估計相互資訊來衡量圖像的相似性損失，訓練後的預設神經網路模型的可用於圖像配準，尤其是任何會發生形變的臟器的醫學圖像配準中，可以對於不同時間點的隨訪圖像進行形變配準，配準效率高、結果更加準確。
一般在某些手術中需要在術前或者手術期間進行不同品質和速度的一種或多種掃描，獲得醫學圖像，但通常需要做完一種或多種掃描之後才可以進行醫學圖像配準，這是不滿足手術中的即時需求的，所以一般需要通過額外的時間對手術的結果進行判定，如果配準後發現手術結果不夠理想，可能需要進行後續的手術治療，對於醫生和病人來說都會帶來時間上的浪費，耽誤治療。而基於本公開實施例的預設神經網路模型進行配準，可以應用於手術中即時的醫學圖像配準，比如在做腫瘤切除手術中進行即時配準來判斷腫瘤是否完全切除，提高了時效性。
本公開實施例通過獲取預設待配準圖像和預設參考圖像，將上述預設待配準圖像和上述預設參考圖像輸入上述配準模型生成形變場，在基於上述形變場和上述預設待配準圖像向上述預設參考圖像配準的過程中，通過相互資訊估計網路模型對配準後圖像和上述預設參考圖像的相互資訊進行估計，獲得相互資訊損失，基於上述相互資訊損失對上述配準模型和上述相互資訊估計網路模型進行參數更新，獲得訓練後的預設神經網路模型，可以應用於可形變配準，提高圖像配準的精度和即時性。
上述主要從方法側執行過程的角度對本公開實施例的方案進行了介紹。可以理解的是，圖像處理裝置為了實現上述功能，其包含了執行各個功能相應的硬體結構和/或軟體模組。本領域技術人員應該很容易意識到，結合本文中所公開的實施例描述的各示例的單元及演算法步驟，本公開能夠以硬體或硬體和電腦軟體的結合形式來實現。某個功能究竟以硬體還是電腦軟體驅動硬體的方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對特定的應用使用不同方法來實現所描述的功能，但是這種實現不應認為超出本公開的範圍。
本公開實施例可以根據上述方法示例對圖像處理裝置進行功能模組的劃分，例如，可以對應各個功能劃分各個功能模組，也可以將兩個或兩個以上的功能集成在一個處理模組中。上述集成的模組既可以採用硬體的形式實現，也可以採用軟體功能模組的形式實現。需要說明的是，本公開實施例中對模組的劃分是示意性的，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
請參閱圖3，圖3是本公開實施例公開的一種圖像處理裝置的結構示意圖。如圖3所示，該圖像處理裝置300包括：獲取模組310和配準模組320，其中：上述獲取模組310，用於獲取待配準圖像和用於配準的參考圖像；上述配準模組320，用於將上述待配準圖像和上述參考圖像輸入預設神經網路模型，上述預設神經網路模型基於預設待配準圖像和預設參考圖像的相互資訊損失進行訓練獲得；上述配準模組320，還用於基於上述預設神經網路模型將上述待配準圖像向上述參考圖像配準，獲得配準結果。
可選的，上述圖像處理裝置300還包括：預處理模組330，用於獲取原始待配準圖像和原始參考圖像，對上述原始待配準圖像和上述原始參考圖像進行圖像標準化處理，獲得滿足目標參數的上述待配準圖像和上述參考圖像。
可選的，上述預處理模組330具體用於：將上述原始待配準圖像轉換為預設灰階值範圍內和預設圖像尺寸的待配準圖像；將上述原始參考圖像轉換為上述預設灰階值範圍內和上述預設圖像尺寸的參考圖像。
可選的，上述預設神經網路模型包括配準模型和相互資訊估計網路模型，上述配準模組320包括配準單元321、相互資訊估計單元322和更新單元323，其中：上述配準單元321用於，獲取上述預設待配準圖像和上述預設參考圖像，將上述預設待配準圖像和上述預設參考圖像輸入上述配準模型生成形變場；上述相互資訊估計單元322用於，在上述配準模組基於上述形變場和上述預設待配準圖像向上述預設參考圖像配準的過程中，通過上述相互資訊估計網路模型對配準後圖像和上述預設參考圖像的相互資訊進行估計，獲得相互資訊損失；上述更新單元323用於，基於上述相互資訊損失對上述配準模型和上述相互資訊估計網路模型進行參數更新，獲得訓練後的預設神經網路模型。
可選的，上述相互資訊估計單元322具體用於：通過上述相互資訊估計網路模型，基於配準後圖像和上述預設參考圖像獲得聯合機率分佈和邊緣機率分佈；根據上述聯合機率分佈參數和上述邊緣機率分佈參數計算獲得上述相互資訊損失。
可選的，上述更新單元323具體用於：基於上述相互資訊損失對上述配準模型進行第一閾值次數的參數更新，基於上述相互資訊損失對上述相互資訊估計網路模型進行第二閾值次數的參數更新，獲得上述訓練後的預設神經網路模型。
可選的，上述更新單元323還用於，基於預設優化器對上述預設神經網路模型進行預設學習率和第三閾值次數的參數更新。
可選的，上述預處理模組330還用於：對上述預設待配準圖像和上述預設參考圖像進行圖像標準化處理，獲得滿足預設訓練參數的上述預設待配準圖像和上述預設參考圖像；上述配準模組還用於，將上述滿足預設訓練參數的上述預設待配準圖像和上述預設參考圖像輸入上述配準模型生成形變場。
圖3所示的實施例中的圖像處理裝置300可以執行圖1和/或圖2所示實施例中的部分或全部方法。
實施圖3所示的圖像處理裝置300，圖像處理裝置300可以獲取待配準圖像和用於配準的參考圖像，將待配準圖像和參考圖像輸入預設神經網路模型，該預設神經網路模型基於預設神經網路模型基於預設待配準圖像和預設參考圖像的相互資訊損失進行訓練獲得，基於該預設神經網路模型將待配準圖像向參考圖像配準，獲得配準結果，可以提高圖像配準的精度和即時性。
在一些實施例中，本公開實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
請參閱圖4，圖4是本公開實施例公開的一種電子設備的結構示意圖。如圖4所示，該電子設備400包括處理器401和記憶體402，其中，電子設備400還可以包括匯流排403，處理器401和記憶體402可以通過匯流排403相互連接，匯流排403可以是外設部件互連標準（Peripheral Component Interconnect，簡稱PCI）匯流排或延伸工業標準架構（Extended Industry Standard Architecture，簡稱EISA）匯流排等。匯流排403可以分為位址匯流排、資料匯流排、控制匯流排等。為便於表示，圖4中僅用一條粗線表示，但並不表示僅有一根匯流排或一種類型的匯流排。其中，電子設備400還可以包括輸入輸出設備404，輸入輸出設備404可以包括顯示幕，例如液晶顯示幕。記憶體402用於儲存包含指令的一個或多個程式；處理器401用於調用儲存在記憶體402中的指令執行上述圖1和圖2實施例中提到的部分或全部方法步驟。上述處理器401可以對應實現圖3中的圖像處理裝置300中的各模組的功能。
實施圖4所示的電子設備400，電子設備400可以獲取待配準圖像和用於配準的參考圖像，將待配準圖像和參考圖像輸入預設神經網路模型，該預設神經網路模型基於預設神經網路模型基於預設待配準圖像和預設參考圖像的相互資訊損失進行訓練獲得，基於該預設神經網路模型將待配準圖像向參考圖像配準，獲得配準結果，可以提高圖像配準的精度和即時性。
本公開實施例還提供一種電腦可讀儲存媒介，其中，該電腦可讀儲存媒介儲存用於電子資料交換的電腦程式，該電腦程式使得電腦執行如上述方法實施例中記載的任何一種圖像處理方法的部分或全部步驟。
本公開實施例還提供了一種電腦程式產品，包括電腦可讀代碼，當電腦可讀代碼在設備上運行時，設備中的處理器執行用於實現如上任一實施例提供的圖像處理方法的指令。
需要說明的是，對於前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本公開並不受所描述的動作順序的限制，因為依據本公開，某些步驟可以採用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬於可選實施例，所涉及的動作和模組並不一定是本公開所必須的。
在上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關描述。
在本公開所提供的幾個實施例中，應該理解到，所揭露的裝置，可通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如所述模組（或單元）的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個模組或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或模組的間接耦合或通信連接，可以是電性或其它的形式。
所述作為分離部件說明的模組可以是或者也可以不是物理上分開的，作為模組顯示的部件可以是或者也可以不是物理模組，即可以位於一個地方，或者也可以分佈到多個網路模組上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。
另外，在本公開各個實施例中的各功能模組可以集成在一個處理模組中，也可以是各個模組單獨物理存在，也可以兩個或兩個以上模組集成在一個模組中。上述集成的模組既可以採用硬體的形式實現，也可以採用軟體功能模組的形式實現。
所述集成的模組如果以軟體功能模組的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存器中。基於這樣的理解，本公開的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存器中，包括若干指令用以使得一台電腦設備（可為個人電腦、伺服器或者網路設備等）執行本公開各個實施例所述方法的全部或部分步驟。而前述的儲存器包括：USB隨身碟、唯讀儲存器（Read-Only Memory，ROM）、隨機存取儲存器（Random Access Memory，RAM）、行動硬碟、磁碟或者光碟等各種可以儲存程式碼的媒介。
本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程式來指令相關的硬體來完成，該程式可以儲存於一電腦可讀儲存器中，儲存器可以包括：快閃記憶體、唯讀儲存器、隨機存取器、磁片或光碟等。
以上對本公開實施例進行了詳細介紹，本文中應用了具體個例對本公開的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本公開的方法及其核心思想；同時，對於本領域的一般技術人員，依據本公開的思想，在具體實施方式及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本公開的限制。
101~103:流程步驟 201~203 :流程步驟 300:圖像處理裝置 310:獲取模組 320:配準模組 321:配準單元 322:相互資訊估計單元 323:更新單元 330:預處理模組 400:電子設備 401:處理器 402:記憶體 403:輸入輸出設備
為了更清楚地說明本公開實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的圖式作簡單地介紹。 圖1是本公開實施例公開的一種圖像處理方法的流程示意圖； 圖2是本公開實施例公開的一種預設神經網路的訓練方法的流程示意圖； 圖3是本公開實施例公開的一種圖像處理裝置的結構示意圖； 圖4是本公開實施例公開的另一種圖像處理裝置的結構示意圖。
101~103:流程步驟

Claims (11)

  1. 一種圖像處理方法，其中，所述方法包括： 獲取待配準圖像和用於配準的參考圖像； 將所述待配準圖像和所述參考圖像輸入預設神經網路模型，所述預設神經網路模型基於預設待配準圖像和預設參考圖像的相互資訊損失進行訓練獲得； 基於所述預設神經網路模型將所述待配準圖像向所述參考圖像配準，獲得配準結果。
  2. 根據請求項1所述的圖像處理方法，其中，所述獲取待配準圖像和用於配準的參考圖像之前，所述方法還包括： 獲取原始待配準圖像和原始參考圖像，對所述原始待配準圖像和所述原始參考圖像進行圖像標準化處理，獲得滿足目標參數的所述待配準圖像和所述參考圖像。
  3. 根據請求項2所述的圖像處理方法，其中，所述對所述原始待配準圖像和所述原始參考圖像進行圖像標準化處理，獲得滿足目標參數的所述待配準圖像和所述參考圖像包括： 將所述原始待配準圖像轉換為預設灰階值範圍內和預設圖像尺寸的待配準圖像；以及， 將所述原始參考圖像轉換為所述預設灰階值範圍內和所述預設圖像尺寸的參考圖像。
  4. 根據請求項1-3任一項所述的圖像處理方法，其中，所述預設神經網路模型包括配準模型和相互資訊估計網路模型，所述預設神經網路模型的訓練過程包括： 獲取所述預設待配準圖像和所述預設參考圖像，將所述預設待配準圖像和所述預設參考圖像輸入所述配準模型生成形變場； 在基於所述形變場和所述預設待配準圖像向所述預設參考圖像配準的過程中，通過所述相互資訊估計網路模型對配準後圖像和所述預設參考圖像的相互資訊進行估計，獲得相互資訊損失； 基於所述相互資訊損失對所述配準模型和所述相互資訊估計網路模型進行參數更新，獲得訓練後的預設神經網路模型。
  5. 根據請求項4所述的圖像處理方法，其中，所述通過所述相互資訊估計網路模型對配準後圖像和所述預設參考圖像的相互資訊進行估計，獲得相互資訊損失包括： 通過所述相互資訊估計網路模型，基於配準後圖像和所述預設參考圖像獲得聯合機率分佈和邊緣機率分佈； 根據所述聯合機率分佈參數和所述邊緣機率分佈參數計算獲得所述相互資訊損失。
  6. 根據請求項4所述的圖像處理方法，其中，所述基於所述相互資訊損失對所述配準模型和所述相互資訊估計網路模型進行參數更新，獲得訓練後的預設神經網路模型包括： 基於所述相互資訊損失對所述配準模型進行第一閾值次數的參數更新，基於所述相互資訊損失對所述相互資訊估計網路模型進行第二閾值次數的參數更新，獲得所述訓練後的預設神經網路模型。
  7. 根據請求項6所述的圖像處理方法，其中，所述方法還包括： 基於預設優化器對所述預設神經網路模型進行預設學習率和第三閾值次數的參數更新。
  8. 根據請求項4所述的圖像處理方法，其中，所述獲取所述預設待配準圖像和所述預設參考圖像之後，所述方法還包括： 對所述預設待配準圖像和所述預設參考圖像進行圖像標準化處理，獲得滿足預設訓練參數的所述預設待配準圖像和所述預設參考圖像； 所述將所述預設待配準圖像和所述預設參考圖像輸入所述配準模型生成形變場包括： 將所述滿足預設訓練參數的所述預設待配準圖像和所述預設參考圖像輸入所述配準模型生成所述形變場。
  9. 一種圖像處理裝置，包括：獲取模組和配準模組，其中： 所述獲取模組，用於獲取待配準圖像和用於配準的參考圖像； 所述配準模組，用於將所述待配準圖像和所述參考圖像輸入預設神經網路模型，所述預設神經網路模型基於預設待配準圖像和預設參考圖像的相互資訊損失進行訓練獲得； 所述配準模組，還用於基於所述預設神經網路模型將所述待配準圖像向所述參考圖像配準，獲得配準結果。
  10. 一種電子設備，其中，包括處理器以及儲存器，所述儲存器用於儲存一個或多個程式，所述一個或多個程式被配置成由所述處理器執行，所述程式包括用於執行如請求項1-8任一項所述的方法。
  11. 一種電腦可讀儲存媒介，其中，所述電腦可讀儲存媒介用於儲存電子資料交換的電腦程式，其中，所述電腦程式使得電腦執行如請求項1-8任一項所述的方法。
TW108146264A 2018-12-19 2019-12-17 一種圖像處理方法、裝置、電子設備及電腦可讀儲存媒介 TW202044198A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811559600.6 2018-12-19
CN201811559600.6A CN109741379A (zh) 2018-12-19 2018-12-19 图像处理方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
TW202044198A true TW202044198A (zh) 2020-12-01

Family

ID=66360763

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108146264A TW202044198A (zh) 2018-12-19 2019-12-17 一種圖像處理方法、裝置、電子設備及電腦可讀儲存媒介

Country Status (7)

Country Link
US (1) US20210209775A1 (zh)
JP (1) JP2022505498A (zh)
KR (1) KR20210048523A (zh)
CN (2) CN111292362A (zh)
SG (1) SG11202102960XA (zh)
TW (1) TW202044198A (zh)
WO (1) WO2020125221A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292362A (zh) * 2018-12-19 2020-06-16 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110660020B (zh) * 2019-08-15 2024-02-09 天津中科智能识别产业技术研究院有限公司 一种基于融合互信息的对抗生成网络的图像超分辨率方法
CN110782421B (zh) * 2019-09-19 2023-09-26 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN111161332A (zh) * 2019-12-30 2020-05-15 上海研境医疗科技有限公司 同源病理影像配准预处理方法、装置、设备及存储介质
CN113724300A (zh) * 2020-05-25 2021-11-30 北京达佳互联信息技术有限公司 图像配准方法、装置、电子设备及存储介质
CN111724421B (zh) * 2020-06-29 2024-01-09 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN111738365B (zh) * 2020-08-06 2020-12-18 腾讯科技（深圳）有限公司 图像分类模型训练方法、装置、计算机设备及存储介质
CN112258563A (zh) * 2020-09-23 2021-01-22 成都旷视金智科技有限公司 图像对齐方法、装置、电子设备及存储介质
CN112348819A (zh) * 2020-10-30 2021-02-09 上海商汤智能科技有限公司 模型训练方法、图像处理及配准方法以及相关装置、设备
CN112529949B (zh) * 2020-12-08 2024-09-06 北京安德医智科技有限公司 一种基于t2图像生成dwi图像的方法及系统
CN112598028B (zh) * 2020-12-10 2022-06-07 上海鹰瞳医疗科技有限公司 眼底图像配准模型训练方法、眼底图像配准方法和装置
CN113112534B (zh) * 2021-04-20 2022-10-18 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113706450A (zh) * 2021-05-18 2021-11-26 腾讯科技（深圳）有限公司 图像配准方法、装置、设备及可读存储介质
CN113255894B (zh) * 2021-06-02 2022-12-06 华南农业大学 Bp神经网络模型的训练方法、病虫害检测方法及电子设备
CN113516697B (zh) * 2021-07-19 2024-02-02 北京世纪好未来教育科技有限公司 图像配准的方法、装置、电子设备及计算机可读存储介质
CN113808175B (zh) * 2021-08-31 2023-03-10 数坤(北京)网络科技股份有限公司 一种图像配准方法、装置、设备及可读存储介质
CN113936173A (zh) 2021-10-08 2022-01-14 上海交通大学 一种最大化互信息的图像分类方法、设备、介质及系统
CN114693642B (zh) * 2022-03-30 2023-03-24 北京医准智能科技有限公司 一种结节匹配方法、装置、电子设备及存储介质
CN115423853A (zh) * 2022-07-29 2022-12-02 荣耀终端有限公司 一种图像配准方法和设备
CN115393402B (zh) * 2022-08-24 2023-04-18 北京医智影科技有限公司 图像配准网络模型的训练方法、图像配准方法及设备
CN116309751B (zh) * 2023-03-15 2023-12-19 浙江医准智能科技有限公司 影像处理方法、装置、电子设备及介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100470587C (zh) * 2007-01-26 2009-03-18 清华大学 一种医学图像中腹部器官分割方法
JP2012235796A (ja) * 2009-09-17 2012-12-06 Sharp Corp 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置
CN102208109B (zh) * 2011-06-23 2012-08-22 南京林业大学 X射线图像和激光图像的异源图像配准方法
JP5706389B2 (ja) * 2011-12-20 2015-04-22 富士フイルム株式会社 画像処理装置および画像処理方法、並びに、画像処理プログラム
JP6037790B2 (ja) * 2012-11-12 2016-12-07 三菱電機株式会社 目標類識別装置及び目標類識別方法
US9922272B2 (en) * 2014-09-25 2018-03-20 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
KR102294734B1 (ko) * 2014-09-30 2021-08-30 삼성전자주식회사 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US10575774B2 (en) * 2017-02-27 2020-03-03 Case Western Reserve University Predicting immunotherapy response in non-small cell lung cancer with serial radiomics
CN107292872A (zh) * 2017-06-16 2017-10-24 艾松涛 图像处理方法/系统、计算机可读存储介质及电子设备
CN107886508B (zh) * 2017-11-23 2021-11-23 上海联影医疗科技股份有限公司 差分减影方法和医学图像处理方法及系统
CN108846829B (zh) * 2018-05-23 2021-03-23 平安科技（深圳）有限公司 病变部位识别装置、计算机装置及可读存储介质
CN109035316B (zh) * 2018-08-28 2020-12-18 北京安德医智科技有限公司 核磁共振图像序列的配准方法及设备
CN111292362A (zh) * 2018-12-19 2020-06-16 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
KR20210048523A (ko) 2021-05-03
US20210209775A1 (en) 2021-07-08
CN111292362A (zh) 2020-06-16
JP2022505498A (ja) 2022-01-14
SG11202102960XA (en) 2021-04-29
WO2020125221A1 (zh) 2020-06-25
CN109741379A (zh) 2019-05-10

Similar Documents

Publication Publication Date Title
TW202044198A (zh) 一種圖像處理方法、裝置、電子設備及電腦可讀儲存媒介
TWI754195B (zh) 圖像處理方法及其裝置、電子設備及電腦可讀儲存媒體
CN108898606B (zh) 医学图像的自动分割方法、系统、设备及存储介质
Pishchulin et al. Building statistical shape spaces for 3d human modeling
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
CN109767460A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110348515B (zh) 图像分类方法、图像分类模型训练方法及装置
US10121273B2 (en) Real-time reconstruction of the human body and automated avatar synthesis
CN106462963B (zh) 用于自适应放射治疗中自动勾画轮廓的系统和方法
TWI742408B (zh) 一種圖像處理方法、電子設備及儲存介質
WO2021136368A1 (zh) 钼靶图像中胸大肌区域自动检测方法及装置
WO2022213654A1 (zh) 一种超声图像的分割方法、装置、终端设备和存储介质
JP2022517769A (ja) 三次元ターゲット検出及びモデルの訓練方法、装置、機器、記憶媒体及びコンピュータプログラム
CN112750531A (zh) 一种中医自动化望诊系统、方法、设备和介质
US11935246B2 (en) Systems and methods for image segmentation
CN110517249A (zh) 超声弹性图像的成像方法、装置、设备及介质
Oguz et al. Combining deep learning and multi-atlas label fusion for automated placenta segmentation from 3DUS
de Souza et al. Predicting body measures from 2D images using Convolutional Neural Networks
Xie et al. [Retracted] Artificial Intelligence‐Based Feature Analysis of Ultrasound Images of Liver Fibrosis
Danilov et al. Use of semi-synthetic data for catheter segmentation improvement
Komaritzan et al. Inside humans: Creating a simple layered anatomical model from human surface scans
WO2021231320A1 (en) Motion learning without labels
Guigui et al. Parallel transport, a central tool in geometric statistics for computational anatomy: Application to cardiac motion modeling
WO2022198866A1 (zh) 图像处理方法、装置、计算机设备及介质
Ahn et al. Ventricle tracking in transesophageal echocardiography (TEE) images during cardiopulmonary resuscitation (CPR) using deep learning and monogenic filtering