TW202203153A - 圖像處理方法、電子設備和電腦可讀儲存介質 - Google Patents

圖像處理方法、電子設備和電腦可讀儲存介質 Download PDF

Info

Publication number
TW202203153A
TW202203153A TW110116123A TW110116123A TW202203153A TW 202203153 A TW202203153 A TW 202203153A TW 110116123 A TW110116123 A TW 110116123A TW 110116123 A TW110116123 A TW 110116123A TW 202203153 A TW202203153 A TW 202203153A
Authority
TW
Taiwan
Prior art keywords
target
key point
heat map
image
point
Prior art date
Application number
TW110116123A
Other languages
English (en)
Inventor
顧宇俊
袁璟
趙亮
黃寧
Original Assignee
大陸商上海商湯智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商上海商湯智能科技有限公司 filed Critical 大陸商上海商湯智能科技有限公司
Publication of TW202203153A publication Critical patent/TW202203153A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本發明實施例關於一種圖像處理方法、電子設備和電腦可讀儲存介質。所述方法包括：獲取目標圖像的目標關鍵點；對所述目標圖像中的目標對像進行分割，得到所述目標對像的分割結果；獲取所述目標對像的處理類型；根據所述目標關鍵點、所述分割結果以及所述處理類型，確定所述目標對像的至少一個處理參數。

Description

圖像處理方法、電子設備和電腦可讀儲存介質
本發明關於圖像處理技術領域，尤其關於一種圖像處理方法、電子設備和電腦可讀儲存介質。
隨著患有膝關節疾病的人越來越多，將膝關節受力力線轉移到中央甚至稍偏外側的部分，從而減少內側間室的壓力，避免或延緩關節置換的脛骨高位截骨術越發重要。脛骨高位截骨中的一個重要環節在於確定脛骨截骨的位置，脛骨截骨位置的準確性將大大影響脛骨高位截骨的效果。
本發明實施例提出了一種圖像處理技術方案。
根據本發明實施例的一方面，提供了一種圖像處理方法，包括： 獲取目標圖像的目標關鍵點；對所述目標圖像中的目標對像進行分割，得到所述目標對像的分割結果；獲取所述目標對像的處理類型；根據所述目標關鍵點、所述分割結果以及所述處理類型，確定所述目標對像的至少一個處理參數。
在一種可能的實現方式中，所述獲取目標圖像的目標關鍵點，包括：對所述目標圖像進行關鍵點檢測，得到至少兩個包含置信度的目標關鍵點。
通過對目標圖像進行關鍵點檢測，得到至少兩個包含置信度的目標關鍵點。可以在獲取目標關鍵點的同時，確定這些目標關鍵點是否準確，在因某些原因（如圖像品質過差、目標關鍵點不存在等）無法精確預測目標關鍵點的情況下，可以基於置信度對一些準確率較低的目標關鍵點進行排除或是額外處理補全，從而提升目標關鍵點的準確性，繼而提升後續得到的處理參數的準確性。
在一種可能的實現方式中，所述獲取目標圖像的目標關鍵點，包括：對所述目標圖像進行關鍵點檢測，得到至少兩個目標關鍵點分別對應的熱度圖；獲取至少兩個所述熱度圖對應的所述目標關鍵點的座標以及置信度。
通過上述過程，可以通過得到目標關鍵點對應的熱度圖的形式來同時確定目標關鍵點的座標和置信度，處理過程簡單直觀，提升了獲取目標關鍵點的精度和效率，從而提升圖像處理整體過程的精度和效率。
在一種可能的實現方式中，所述獲取目標圖像的目標關鍵點，包括：對所述目標圖像進行關鍵點檢測，得到至少兩個目標關鍵點分別對應的第一熱度圖和第二熱度圖，其中，所述第一熱度圖對應的所述目標關鍵點的回應範圍大於所述第二熱度圖對應的所述目標關鍵點的回應範圍；從所述第一熱度圖中確定第一關鍵點，根據所述第一熱度圖，得到所述第一關鍵點的第一置信度；根據所述第一置信度，從所述第二熱度圖中確定第二關鍵點，結合所述第二熱度圖，得到所述第二關鍵點的第二置信度；根據所述第二置信度，將所述第一關鍵點或所述第二關鍵點確定為所述目標圖像中的目標關鍵點，並得到與所述目標關鍵點對應的置信度。
通過分別得到與目標關鍵點對應的第一熱度圖和第二熱度圖，並從第一熱度圖中確定第一關鍵點及對應的第一置信度，從第二熱度圖中確定第二關鍵點及對應的置信度，通過上述過程，可以有效地利用具有較粗糙定位結果的第一熱度圖和具有較精細定位結果的第二熱度圖，綜合確定目標圖像中目標關鍵點的位置和置信度，提升了目標圖像中目標關鍵點定位預測的準確性和穩定性，繼而提升了後續圖像處理結果的準確度和穩定性。
在一種可能的實現方式中，所述根據所述第一置信度，從所述第二熱度圖中確定第二關鍵點，結合所述第二熱度圖，得到所述第二關鍵點的第二置信度，包括：在所述第一置信度大於第一置信度閾值的情況下，根據所述第一關鍵點在所述第一熱度圖中的位置確定回應區域，從所述第二熱度圖的所述回應區域內中確定第二關鍵點，根據所述第二熱度圖的所述回應區域，得到所述第二關鍵點的第二置信度；在所述第一置信度不大於所述第一置信度閾值的情況下，從所述第二熱度圖中確定第二關鍵點，根據所述第二熱度圖，得到所述第二關鍵點的第二置信度。
通過上述過程，在第一置信度大於第一置信度閾值，即第一熱度圖中確定的第一關鍵點的位置比較準確的情況下，由於目標圖像中的目標關鍵點在回應區域內的可能性比較大，直接在第二熱度圖的回應區域中來確定第二關鍵點，一方面可以減小計算的資料量，另一方面也可以使得確定的第二關鍵點具有較高的置信度；而在第一置信度不大於第一置信度閾值，即第一熱度圖中確定第一關鍵點的位置準確的較低的情況下，由於第一熱度圖和第二熱度圖之間相互獨立，直接根據第二熱度圖來確定第二關鍵點，可以仍得到具有較高置信度的目標關鍵點。從而大大提升了最終得到的目標關鍵點的準確程度，繼而提升了圖像處理的精度。
在一種可能的實現方式中，所述根據所述第二置信度，將所述第一關鍵點或所述第二關鍵點確定為所述目標圖像中的目標關鍵點，並得到與所述目標關鍵點對應的置信度，包括：在所述第二置信度大於第二置信度閾值的情況下，將所述第二關鍵點確定為所述目標圖像中的目標關鍵點，將所述第二置信度作為與所述目標關鍵點對應的置信度；在所述第二置信度不大於所述第二置信度閾值的情況下，將所述第一關鍵點確定為所述目標圖像中的目標關鍵點，將所述第一置信度作為與所述目標關鍵點對應的置信度。
上述過程進一步基於第二置信度與第二置信度閾值的比較情況，來選定將第一關鍵點還是第二關鍵點作為目標圖像的目標關鍵點，並確定目標圖像中目標關鍵點的置信度。從而提升了目標圖像中目標關鍵點定位預測的準確性和穩定性，繼而提升了後續圖像處理結果的準確度和穩定性。
在一種可能的實現方式中，所述對所述目標圖像進行關鍵點檢測，包括：將所述目標圖像輸入至第一神經網路進行關鍵點檢測。
通過將目標圖像輸入至第一神經網路進行關鍵點檢測，可以通過神經網路實現關鍵點的檢測過程，從而有效提升關鍵點檢測的穩定性、效率和精度，繼而提升圖像處理的穩定性、效率和精度。同時，由於神經網路可以根據關鍵點檢測的實際情況靈活調整結構和實現方式，因此，可以提升關鍵點檢測的靈活性，繼而提升圖像處理方法實現的靈活性。
在一種可能的實現方式中，所述第一神經網路通過包含目標關鍵點位置標注的訓練圖像進行訓練，所述訓練包括：根據所述目標關鍵點位置標注，生成與所述目標關鍵點位置對應的目標熱度圖；將所述訓練圖像輸入至第一神經網路，得到所述第一神經網路輸出的熱度圖；根據所述輸出的熱度圖與所述目標熱度圖，確定所述第一神經網路的損失函數；根據所述損失函數，調整所述第一神經網路的至少一個參數。
利用目標熱度圖，對第一神經網路輸出的熱度圖進行監督，來確定第一神經網路的損失函數，並基於損失函數調整第一神經網路的至少一個參數，可以使得第一神經網路生成的熱度圖儘量接近目標熱度圖，從而使得訓練後的第一神經網路具有較高的精度。繼而提升基於此訓練後的第一神經網路獲得的目標關鍵點的精度，從而提升圖像處理的精度。
在一種可能的實現方式中，所述獲取所述目標對像的處理類型，包括：根據所述目標關鍵點，確定所述目標對像的處理類型。
通過目標關鍵點確定目標對像的處理類型，從而使得目標對像的處理類型的獲取方式可以根據目標對像以及應用場景的不同也靈活的產生變化。
在一種可能的實現方式中，所述目標關鍵點為至少兩個，所述至少一個處理參數包括第一處理參數和第二處理參數，所述根據所述目標關鍵點、所述分割結果以及所述處理類型，確定所述目標對像的至少一個處理參數，包括：根據所述處理類型，確定所述目標對像待獲取的第一處理參數和第二處理參數；根據至少兩個所述目標關鍵點以及所述分割結果，獲取所述第一處理參數；根據至少三個所述目標關鍵點，結合所述第一處理參數，獲取所述第二處理參數。
上述第一處理參數可以是基於目標關鍵點以及分割結果首先獲得的處理參數，第二處理參數可以是在確定了第一處理參數後，結合目標關鍵點可以進一步獲取的處理參數，從而實現了隨著處理類型的不同，獲取不同的處理參數，繼而提升圖像處理方法實現的準確性和靈活性。
在一種可能的實現方式中，所述目標圖像包括經過預處理的圖像，所述預處理包括圖像標準化和/或圖像增強。
通過圖像標準化和/或圖像增強來得到經過預處理的圖像作為目標圖像，可以便於後續對具有統一規格且具有較好圖像效果的目標圖像進行目標關鍵點獲取和分割，增加目標關鍵點獲取和分割的實現便捷程度，也可以增加獲取目標關鍵點的精度和分割精度，繼而增加圖像處理的實現便捷性和精度。
在一種可能的實現方式中，所述目標對像包括脛骨對像；所述處理類型包括：內側閉合式、外側閉合式、內側開放式或外側開放式；所述至少一個處理參數包括進刀點、合頁點、目標力線、處理角度以及處理距離中的一個或多個。
這樣，在目標對像為脛骨對像的情況下，隨著處理類型是在內側還是外側的不同，所需要獲取的第一處理參數中進刀點的確定標準與位置可能隨之發生變化；隨著處理類型是閉合式還是開放式的不同，所需要獲取的第二處理參數可能包含的是閉合角度或開放角度、閉合距離或開放距離等。從而根據實際的應用場景靈活選擇處理類型和對應的處理參數，使得後續的圖像處理結果具有更好的處理效果。
根據本發明實施例的一方面，提供了一種圖像處理裝置，包括：目標關鍵點獲取模組，配置為獲取目標圖像的目標關鍵點；分割模組，配置為對所述目標圖像中的目標對像進行分割，得到所述目標對像的分割結果；處理類型獲取模組，配置為獲取所述目標對像的處理類型；處理參數確定模組，配置為根據所述目標關鍵點、所述分割結果以及所述處理類型，確定所述目標對像的至少一個處理參數。
根據本發明實施例的一方面，提供了一種電子設備，包括：處理器；配置為儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行上述圖像處理方法。
根據本發明實施例的一方面，提供了一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述圖像處理方法。
根據本發明實施例的一方面，提供了一種電腦程式產品，包括電腦可讀代碼，在所述電腦可讀代碼在電子設備中運行的情況下，所述電子設備中的處理器執行上述圖像處理方法。
在本發明實施例中，通過獲取目標圖像的目標關鍵點和目標對像的處理類型，並對目標圖像中的目標對像進行分割，得到目標對像的分割結果，從而根據目標關鍵點、分割結果以及處理類型來確定目標對像的至少一個處理參數。通過上述過程，可以利用分割結果所表明的目標對像在目標圖像中的位置，與獲取的目標關鍵點進行結合，來得到在當前的處理類型下，針對目標對像更為準確的處理參數，大大提升了圖像處理的精度和準確性。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明實施例。
根據下面參考附圖對示例性實施例的詳細說明，本發明實施例的其它特徵及方面將變得清楚。
以下將參考附圖詳細說明本發明實施例的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞“示例性”意為用作例子、實施例或說明性。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯對像的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本發明實施例，在下文的具體實施方式中給出了眾多的實現細節。本領域技術人員應當理解，沒有某些細節，本發明實施例同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明實施例的主旨。
圖1示出根據本發明一實施例的圖像處理方法的流程圖，該方法可以應用於圖像處理裝置，圖像處理裝置可以為終端設備、伺服器或者其他處理設備等。其中，終端設備可以為使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該圖像處理方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。如圖1所示，所述圖像處理方法可以包括： 步驟S11，獲取目標圖像的目標關鍵點。 步驟S12，對目標圖像中的目標對像進行分割，得到目標對像的分割結果。 步驟S13，獲取目標對像的處理類型。 步驟S14，根據目標關鍵點、分割結果以及處理類型，確定目標對像的至少一個處理參數。
其中，目標圖像可以是包含有目標對像的任意形式的圖像，其實現方式可以根據目標對像的實際情況靈活決定。
目標對像可以是具有處理需求的任意對像，其實現形式可以根據本發明實施例提出的圖像處理方法的實際應用場景所靈活決定。在一種可能的實現方式中，本發明實施例提出的方法可以應用於手術規劃過程中，則目標對像可以是手術對像，比如人體的某些部位、器官或是組織等，目標圖像則可以是包含手術對像的醫學圖像，比如X光片、電腦體層攝影（CT，Computed Tomography）圖像或是磁共振成像（MRI，Magnetic Resonance Imaging）等。在一個示例中，本發明實施例提出的圖像處理方法可以應用於脛骨高位截骨的手術規劃過程中，則目標對像可以是需要執行高位截骨的部位，即脛骨對像（可以是左脛骨也可以是右脛骨，根據脛骨截骨的實際需求確定）等，目標圖像則可以是包含有這些對像的醫學圖像，比如全身X光片、下肢X光片或是脛骨部位的X光片等。
圖2示出根據本發明一實施例的脛骨高位截骨的原理示意圖，如圖2所示，針對膝關節骨關節炎的治療，有4個階段：內側應力集中階段21、脛骨近端截骨階段22、力線向外側轉移階段23和內側壓力緩解階段24，可以看出，脛骨高位截骨可以在內側的軟骨出現嚴重磨損之前，將膝關節受力力線轉移到中央甚至稍偏外側的部分，從而減少內側間室的壓力，避免或延緩膝關節的置換。即脛骨高位截骨可能需要依據人體整個下肢處於站立位元的受力狀態來確定處理參數。因此，在本發明各公開實施例均以目標對像為脛骨對像，目標圖像為下肢X光片為例對圖像處理過程進行闡述，目標對像為其他對像或是目標圖像為其他形式圖像的情形可以參考後續各公開實施例進行靈活擴展，不再一一列舉。
目標圖像的目標關鍵點的數量和實現形式同樣可以根據目標對像的實現形式以及圖像處理方法的應用場景靈活決定。需要注意的是，由於圖像處理方法的應用場景不同，因此目標圖像中的目標關鍵點，可以包含在目標對像內，也可以位於目標對像以外，根據實際情況決定即可，在此不做限制。在一種可能的實現方式中，在目標對像為脛骨對像且圖像處理方法應用於輔助進行脛骨截骨的情況下，由於上述公開實施例已提到，脛骨截骨可能需要考慮到人體下肢整體的受力狀態來確定處理參數，因此獲取的目標關鍵點可以既包含屬於目標對像的目標關鍵點，也包含位於目標對像以外的目標關鍵點。在一種可能的實現方式中，目標關鍵點可以包含有股骨頭中心點、踝關節中心點（可以定義為踝關節間隙內側端點與踝關節間隙外側端點的中點）、膝關節中心點（可以定義為脛骨平台內側端點與脛骨平台外側端點的中點）、脛骨平台內側端點以及脛骨平台外側端點，在一種可能的實現方式中，目標關鍵點可以在包含有上述各目標關鍵點的基礎上，額外包含有股骨大轉子尖點、股骨內側髁點、股骨外側髁點、踝關節間隙內側端點以及踝關節間隙外側端點中的一個或多個等。在實施過程中如何獲取目標圖像的目標關鍵點，其實現形式可以根據實際情況靈活決定，在此先不做展開，詳見後續各公開實施例。
目標對像的分割結果在本發明實施例中不做限制，可以根據分割的實際實現形式靈活決定，在此先不做展開，詳見下述各公開實施例。需要注意的是，在本發明實施例中，步驟S11與步驟S12相互獨立，二者的實現順序不受限制。即可以先獲取目標圖像的目標關鍵點，再對目標圖像中的目標對像進行分割；也可以先對目標對像進行分割再獲取目標圖像的目標關鍵點；或是同時獲取目標圖像的目標關鍵點並對目標對像進行分割等，根據實際情況靈活選擇即可。
除了通過步驟S11獲取目標圖像的目標關鍵點以及通過步驟S12獲取目標對像的分割結果以外，在本發明實施例中，還可以通過步驟S13獲取目標對像的處理類型。對於一些目標對像來說，其在對應的應用場景中可能存在多種處理方式，隨著處理方式的不同，需要確定的目標對像的處理參數自然也會發生變化，因此可以通過獲取目標對像的實際處理類型來明確最終要確定的處理參數。目標對像的處理類型可以根據目標對像以及目標對像的應用場景所共同靈活確定，圖3示出根據本發明一實施例的脛骨對像的處理類型示意圖，從圖3中可以看出，在一個示例中，在目標對像為脛骨對像且圖像處理方法應用於輔助進行脛骨截骨的情況下，如圖3所示，脛骨對像的處理類型可以包括有內側閉合式31、外側閉合式32、內側開放式33或外側開放式34等。在實施過程中如何獲取目標對像的處理方式，其實現形式可以根據實際情況靈活決定，詳見下述各公開實施例，在此先不做展開。
在得到了目標圖像的目標關鍵點、目標對像的分割結果以及目標對像的處理類型以後，可以根據目標關鍵點、分割結果以及處理類型，通過步驟S14來確定目標對像的至少一個處理參數。其中，目標對像的處理參數的數量以及實現形式同樣可以根據目標對像的實現形式以及圖像處理方法的應用場景靈活決定。
圖4示出根據本發明一實施例的脛骨高位截骨的X光片示意圖，其中(a)部分為包含雙腿的下肢全長X光片，(b)部分為脛骨高位截骨術前的單腿下肢全長X光片，(c)部分為脛骨高位截骨術後的單腿下肢全長X光片，其中股骨頭中心41與踝關節中心42之間的連線段為下肢力線。從圖4中可以看出，脛骨高位截骨可以通過對脛骨進行截骨，對下肢力線進行矯正實現。由於需要對脛骨進行截骨，需要考慮到截骨的位置以及截骨的長度等。因此，在一種可能的實現方式中，在目標對像為脛骨對像且圖像處理方法應用於輔助進行脛骨截骨的情況下，目標對像的處理參數可以包括有進刀點、合頁點、目標力線、處理角度以及處理距離中的一個或多個等。其中，目標力線可以是上述公開實施例中下肢力線的目標位置所對應的線段，比如可以是踝關節矯正後的目標點與股骨頭中心點之間的連線線段等；處理角度可以是脛骨截骨中的手術角度，處理角度可以隨著處理類型的不同而發生變化，比如處理類型為內側閉合式或外側閉合式的情況下，處理角度可以為閉合的角度，處理類型為內側開放式或外側開放式的情況下，處理角度可以為開放的角度；同樣地，處理距離可以是脛骨截骨中的截骨距離，其也可以隨著處理類型被劃分為閉合距離或開放距離等。
在實施過程中如何根據目標關鍵點、分割結果與處理類型，來確定上述一個或多個處理參數，其確定過程可以根據實際情況靈活決定，詳見下述各公開實施例，在此先不做展開。
在本發明實施例中，通過獲取目標圖像的目標關鍵點和目標對像的處理類型，並對目標圖像中的目標對像進行分割，得到目標對像的分割結果，從而根據目標關鍵點、分割結果以及處理類型來確定目標對像的至少一個處理參數。通過上述過程，可以利用分割結果所表明的目標對像在目標圖像中的位置，與獲取的目標關鍵點進行結合，來得到在當前的處理類型下，針對目標對像更為準確的處理參數，大大提升了圖像處理的精度和準確性。
如上述公開實施例所述，步驟S11中獲取目標圖像目標關鍵點的方式可以根據實際情況靈活決定。在一種可能的實現方式中，步驟S11可以包括：對目標圖像進行關鍵點檢測，得到至少兩個包含置信度的目標關鍵點。
其中，如上述各公開實施例所述，目標關鍵點的數量可以根據實際情況靈活決定，在一種可能的實現方式中，在目標對像為脛骨的情況下，目標關鍵點可以至少包含有股骨頭中心點、踝關節中心點、膝關節中心點、脛骨平台內側端點以及脛骨平台外側端點。
對目標圖像進行目標關鍵點檢測的方式可以根據實際情況靈活決定，詳見下述各公開實施例，在此先不做展開。由於不同的目標關鍵點檢測可能會產生不同的檢測結果，即得到的目標關鍵點可能不是完全準確，因此，可以通過置信度來反應得到的目標關鍵點的準確程度。在實施過程中如何確定目標關鍵點的置信度，其確定方式可以靈活決定。在一種可能的實現方式中，可以直接根據檢測到的各目標關鍵點的相對位置來確定每個目標關鍵點的置信度，從而直接通過對目標圖像進行目標關鍵點檢測來得到包含置信度的目標關鍵點。在一種可能的實現方式中，也可以通過其他方式來確定目標關鍵點的置信度，詳見下述各公開實施例，在此先不做展開。
通過對目標圖像進行關鍵點檢測，得到至少兩個包含置信度的目標關鍵點。可以在獲取目標關鍵點的同時，確定這些目標關鍵點是否準確，在因某些原因（如圖像品質過差、目標關鍵點不存在等）無法精確預測目標關鍵點的情況下，可以基於置信度對一些準確率較低的目標關鍵點進行排除或是額外處理補全，從而提升目標關鍵點的準確性，繼而提升後續得到的處理參數的準確性。
對目標關鍵點進行額外處理補全的方式可以根據實際情況靈活決定，在本發明實施例中不做限制。在一種可能的實現方式中，可以通過缺失值補全方法來補全這些目標關鍵點，即利用置信度較高的目標關鍵點進行推測，來確定置信度較低的目標關鍵點的特徵向量，繼而確定置信度較低的目標關鍵點位置。
在一種可能的實現方式中，步驟S11可以包括：對目標圖像進行關鍵點檢測，得到至少兩個目標關鍵點分別對應的熱度圖；獲取至少兩個熱度圖對應的目標關鍵點的座標以及置信度。
其中，熱度圖可以是目標關鍵點的回應熱度圖。在一種可能的實現方式中，熱度圖的大小可以與目標圖像一致。在熱度圖中，距離目標關鍵點的位置越近的圖元點，可以具有更高的回應值，從而可以通過熱度圖中各圖元點的回應值來確定目標關鍵點在目標圖像中的位置。對目標圖像進行關鍵點檢測來得到熱度圖的方式可以根據實際情況靈活決定，詳見下述各公開實施例，在此不做展開。
如上述各公開實施例所述，目標關鍵點的數量可以為一個也可以為多個，因此，相應地，熱度圖的數量也可以根據實際情況靈活決定。在一種可能的實現方式中，可以分別根據每一個目標關鍵點得到對應的熱度圖，即每個目標關鍵點分別對應一個熱度圖；在一種可能的實現方式中，也可以根據所有目標關鍵點來得到對應的熱度圖，即一個熱度圖中包含所有目標關鍵點。後續各公開實施例均以每個目標關鍵點分別對應一個熱度圖的實現過程來進行說明，一個熱度圖中包含所有目標關鍵點的實現過程可以參考後續各公開實施例進行相應擴展，不再贅述。
在每個目標關鍵點分別對應一個熱度圖的情況下，如何根據熱度圖來確定對應目標關鍵點的座標的方式可以根據實際情況靈活決定，不局限於下述各公開實施例。
在一種可能的實現方式中，可以將熱度圖中具有最高回應值的圖元點作為目標關鍵點，則該具有最高回應值的圖元點在熱度圖中的座標，即可以作為目標關鍵點在目標圖像中的座標。在一種可能的實現方式中，也可以首先基於熱度圖來確定熱度圖中的高回應區域，高回應區域的確定方式可以根據實際情況靈活設定，比如可以遍歷熱度圖中的每個圖元點，將回應值高於某一設定閾值的圖元點均作為高回應區域中的圖元點，從而在熱度圖中確定出高回應區域。在確定了熱度圖的高回應區域後，可以進一步將高回應區域的重心作為目標關鍵點，則該高回應區域的重心在熱度圖中的座標，即可以作為目標關鍵點在目標圖像中的座標。
在另一種可能的實現方式中，在得到目標關鍵點座標的同時，還可以得到目標關鍵點的置信度。置信度的定義可以參考上述各公開實施例，得到目標關鍵點的置信度的方式也可以如上述各公開實施例所述靈活決定。由於本發明實施例可以通過得到目標關鍵點對應的熱度圖的形式來確定目標關鍵點的座標，因此在一種可能的實現方式中，可以進一步利用熱度圖來確定目標關鍵點的置信度。在實施過程中如何根據熱度圖來確定目標關鍵點的置信度，其實現形式也可以根據實際情況靈活決定，不局限於下述各公開實施例。
在一種可能的實現方式中，根據熱度圖確定目標關鍵點的置信度的過程可以包括：根據目標關鍵點的回應值，從熱度圖中選定至少一個包含目標關鍵點的區域；根據目標關鍵點的回應值，結合至少一個包含目標關鍵點的區域的區域參數，確定目標關鍵點的置信度。
其中，從熱度圖中選定的包含目標關鍵點的區域的選定方式可以根據實際情況靈活設定。在一種可能的實現方式中，可以將目標關鍵點的回應值記為m ，由於熱度圖中越接近目標關鍵點的圖元點回應值越高，因此可以通過遍歷熱度圖，選定其中回應值大於ai *m 的圖元點，則這些圖元點構成的區域自然可以包含有目標關鍵點。通過更改ai 的值，可以得到多個不同的包含目標關鍵點的區域，ai 的值與選定的包含目標關鍵點的區域的數量可以根據實際情況靈活決定，不局限於下述各公開實施例。在一個示例中，可以選定四個包含目標關鍵點的區域，則這四個包含目標關鍵點的區域可以分別對應四個ai 的值，分別記為a0 、a1 、a2 和a3 ，在一個示例中，這四個ai 的值可以設定為：a0 = 0.8;a1 = 0.6;a2 = 0.4;a3 = 0.2。
在得到了這些包含目標關鍵點的區域後，可以確定這些區域的區域參數，並根據確定的區域參數與目標關鍵點的回應值來確定目標關鍵點的置信度。包含目標關鍵點的區域的區域參數，其實現形式可以根據實際情況靈活決定。在一種可能的實現方式中，區域參數可以是區域的周長ci ，在一種可能的實現方式中，區域參數也可以是區域的面積si 。在一種可能的實現方式中，區域參數也可以是根據區域的周長與面積共同確定的參數，如si /ci 2 。
隨著區域參數實現形式的不同，確定目標關鍵點置信度的方式也可以靈活發生變化，在一個示例中，在區域參數為根據區域的周長與面積所共同確定的參數的情況下，目標關鍵點的置信度的計算方式可以為如下公式（1）：
Figure 02_image001
（1）； 其中，Confidence 為目標關鍵點的置信度，
Figure 02_image003
為圓周率，m 為目標關鍵點的回應值，M 為預設的目標關鍵點的目標回應值，si 為包含目標關鍵點的區域的面積，ci 為包含目標關鍵點的區域的周長。
通過上述公開實施例可以看出，在一種可能的實現方式中，可以通過多個包含有目標關鍵點的區域的區域參數來確定目標關鍵點的置信度。在一種可能的實現方式中，也可以通過其他的方式來確定目標關鍵點的置信度。在一種可能的實現方式中，根據熱度圖確定目標關鍵點的置信度的過程可以包括：根據目標關鍵點的座標，生成與目標關鍵點位置對應的目標熱度圖；對與目標關鍵點對應的熱度圖進行歸一化，得到第一概率分佈；對目標熱度圖進行歸一化，得到第二概率分佈；將第一概率分佈與第二概率分佈的相關係數，作為目標關鍵點的置信度。
其中，與目標關鍵點對應的熱度圖即通過對目標圖像進行關鍵點檢測所得到的熱度圖，而目標熱度圖則是根據目標關鍵點座標所生成的熱度圖，即根據該熱度圖中確定的目標關鍵點座標，可以反向再生成一個熱度圖作為目標熱度圖。根據目標關鍵點座標生成目標熱度圖的方式可以根據實際情況靈活決定，不局限於下述公開實施例。在一種可能的實現方式中，可以通過目標關鍵點座標，結合二維高斯函數，生成目標熱度圖，二維高斯函數的實現形式可以根據實際情況靈活決定，在一個示例中，根據目標關鍵點座標生成的目標熱度圖的方式可以通過如下公式（2）：
Figure 02_image005
（2）； 其中，f(x, y) 為目標熱度圖對應的二維高斯分佈函數，x 為目標熱度圖中圖元點的橫坐標，y 為目標熱度圖中圖元點的縱坐標，M 為預設的目標關鍵點的目標回應值，x0 為目標關鍵點的橫坐標，y0 為目標關鍵點的縱坐標，e 為自然常數，
Figure 02_image007
為預設的目標關鍵點的回應範圍。
在得到了目標熱度圖後，可以分別對熱度圖和目標熱度圖進行歸一化，來得到熱度圖的第一概率分佈以及目標熱度圖的第二概率分佈，並將第一概率分別和第二概率分佈之間的相關係數，來作為目標關鍵點的置信度。
通過對目標圖像進行關鍵點檢測，得到至少兩個目標關鍵點分別對應的熱度圖，繼而獲取至少兩個熱度圖對應的目標關鍵點的座標以及置信度，通過上述過程，可以基於熱度圖同時獲取目標關鍵點的座標和置信度，處理過程簡單直觀，提升了獲取目標關鍵點的精度和效率，從而提升圖像處理整體過程的精度和效率。
在一種可能的實現方式中，步驟S11可以包括： 步驟S111，對目標圖像進行關鍵點檢測，得到至少兩個目標關鍵點分別對應的第一熱度圖和第二熱度圖，其中，第一熱度圖對應的目標關鍵點的回應範圍大於第二熱度圖對應的目標關鍵點的回應範圍； 步驟S112，從第一熱度圖中確定第一關鍵點，根據第一熱度圖，得到第一關鍵點的第一置信度； 步驟S113，根據第一置信度，從第二熱度圖中確定第二關鍵點，結合第二熱度圖，得到第二關鍵點的第二置信度； 步驟S114，根據第二置信度，將第一關鍵點或第二關鍵點確定為目標圖像中的目標關鍵點，並得到與目標關鍵點對應的置信度。
其中，第一熱度圖和第二熱度圖可以是通過對目標圖像進行關鍵點檢測生成的與目標關鍵點對應的兩個熱度圖。如上述各公開實施例所述，目標關鍵點的數量可以為多個，因此，在一種可能的實現方式中，可以針對每個目標關鍵點，分別生成與該目標關鍵點對應的第一熱度圖和第二熱度圖，從而對每個目標關鍵點，可以分別基於其對應的兩個熱度圖來確定該目標關鍵點的位置與置信度。在一種可能的實現方式中，也可以選取其中部分目標關鍵點，然後基於選取的這些目標關鍵點分別生成與該目標關鍵點對應的第一熱度圖和第二熱度圖。在一種可能的實現方式中，也可以針對所有目標關鍵點生成總體的第一熱度圖和第二熱度圖，即第一熱度圖和第二熱度圖包含所有目標關鍵點的回應位置，從而基於這兩個總體的第一熱度圖和第二熱度圖來確定每個或部分目標關鍵點的位置與置信度。後續各公開實施例均以每個目標關鍵點分別生成與該目標關鍵點對應的第一熱度圖和第二熱度圖為例進行說明，其餘的情況可以參考後續各公開實施例進行擴展，不再贅述。
如上述公開實施例所述，在一種可能的實現方式中，第一熱度圖對應的目標關鍵點的回應範圍大於第二熱度圖對應的目標關鍵點的回應範圍，即在第一熱度圖與第二熱度圖對應同一目標關鍵點的情況下，第一熱度圖表明的目標關鍵點可能所在的位置範圍要大於第二熱度圖所表明的位置範圍。圖5示出根據本發明一實施例的第一熱度圖和第二熱度圖的示意圖，其中(a)部分為第一熱度圖，(b)部分為第二熱度圖，可以看出，第一熱度圖和第二熱度圖都可以表明目標關鍵點51位於所在熱度圖的中間偏右的位置，但是第一熱度圖圈定的目標關鍵點的範圍要大於第二熱度圖圈定的目標關鍵點的範圍，即第一熱度圖可以對目標關鍵點進行較為粗糙的定位，而第二熱度圖可以對目標關鍵點進行較為精細的定位。
第一關鍵點可以是根據第一熱度圖所確定的目標關鍵點，其置信度可以記為第一置信度。第二關鍵點則可以是根據第二熱度圖所確定的目標關鍵點，其置信度可以記為第二置信度。對於同一目標關鍵點所分別生成的第一熱度圖和第二熱度圖來說，其確定的第一關鍵點和第二關鍵點均對應目標圖像中的同一目標關鍵點，不過由於其分別基於第一熱度圖和第二熱度圖來生成，第一關鍵點和第二關鍵點的座標，以及對應的置信度，可能會有一些差異。因此，可以進一步基於第一關鍵點和第二關鍵點的位置和置信度，來最終得到目標圖像中目標關鍵點的位置和置信度。
通過分別得到與目標關鍵點對應的第一熱度圖和第二熱度圖，並從第一熱度圖中確定第一關鍵點及對應的第一置信度，從第二熱度圖中確定第二關鍵點及對應的置信度，通過上述過程，可以有效地利用具有較粗糙定位結果的第一熱度圖和具有較精細定位結果的第二熱度圖，綜合確定目標圖像中目標關鍵點的位置和置信度，提升了目標圖像中目標關鍵點定位預測的準確性和穩定性，繼而提升了後續圖像處理結果的準確度和穩定性。
在一些實施方式中，步驟S112中基於第一熱度圖來得到包含第一置信度的第一關鍵點的方式可以參考上述公開實施例中基於熱度圖確定目標關鍵點的座標及置信度的方式，在此不再贅述。在確定了第一關鍵點和第一置信度後，可以基於第一置信度，通過步驟S113來從第二熱度圖中確定第二關鍵點並得到第二置信度。步驟S113的實現方式可以根據實際情況靈活決定，在一種可能的實現方式中，步驟S113可以包括： 在第一置信度大於第一置信度閾值的情況下，根據第一關鍵點在第一熱度圖中的位置確定回應區域，從第二熱度圖的回應區域中確定第二關鍵點，根據第二熱度圖的回應區域，得到第二關鍵點的第二置信度；在第一置信度不大於第一置信度閾值的情況下，從第二熱度圖中確定第二關鍵點，根據第二熱度圖，得到第二關鍵點的第二置信度。
通過上述公開實施例可以看出，在一種可能的實現方式中，可以基於第一置信度與第一置信度閾值的比較情況，來以不同的方式在第二熱度圖中確定第二關鍵點及對應的第二置信度。其中，第一置信度閾值的取值在本發明實施例中不做限制，可以根據實際情況靈活決定，在一個示例中，可以將第一置信度閾值設置為0.5。
在第一置信度大於第一置信度閾值的情況下，可以表明第一熱度圖中確定的第一關鍵點的位置比較準確，因此，可以進一步根據第一熱度圖中表明的第一關鍵點的位置，來確定回應區域，繼而在第二熱度圖中，根據回應區域的位置來確定第二關鍵點，並得到第二關鍵點的第二置信度。
其中，回應區域可以是根據第一熱度圖中第一關鍵點位置所圈定的一個預設範圍，這一預設範圍的大小可以根據實際情況靈活決定，在本發明實施例不做限定。由於第一熱度圖與第二熱度圖是針對同一關鍵點的熱度圖，因此回應區域在第一熱度圖與第二熱度圖中的位置是一致的，即第一熱度圖的回應區域可以直接對應到第二熱度圖中。在一種可能的實現方式中，可以將第二熱度圖中位於回應區域以外的圖元點的回應值均設置為0，從而僅保留第二熱度圖中的回應區域，而將其餘區域進行排除。
在將回應區域對應到第二熱度圖後，可以基於第二熱度圖的回應區域來確定第二關鍵點，並根據第二熱度圖的回應區域，得到第二關鍵點的第二置信度。在實施中得到第二關鍵點和第二置信度的方式同樣可以參考上述各公開實施例，在此不再贅述。
在第一置信度不大於第一置信度閾值的情況下，可以表明第一熱度圖中確定的第一關鍵點的位置準確度較低。此時，可以不考慮第一熱度圖的對應結果，直接根據第二熱度圖來確定第二關鍵點和第二置信度，根據第二熱度圖確定第二關鍵點和第二置信度的方式同樣可以參考上述各公開實施例，在此不再贅述。
通過在第一置信度大於第一置信度閾值的情況下根據第一關鍵點的位置確定回應區域，繼而根據第二熱度圖的回應區域來確定第二關鍵點和第二置信度，在第一置信度不大於第一置信度閾值的情況下直接根據第二熱度圖來確定第二關鍵點和第二置信度。通過上述過程，在第一置信度大於第一置信度閾值，即第一熱度圖中確定的第一關鍵點的位置比較準確的情況下，由於目標圖像中的目標關鍵點在回應區域內的可能性比較大，直接在第二熱度圖的回應區域中來確定第二關鍵點，一方面可以減小計算的資料量，另一方面也可以使得確定的第二關鍵點具有較高的置信度。而在第一置信度不大於第一置信度閾值，即第一熱度圖中確定第一關鍵點的位置準確的較低的情況下，由於第一熱度圖和第二熱度圖之間相互獨立，直接根據第二熱度圖來確定第二關鍵點，可以仍得到具有較高置信度的目標關鍵點。從而大大提升了最終得到的目標關鍵點的準確程度，繼而提升了圖像處理的精度。
在一種可能的實現方式中，步驟S113也可以具有其他的實現方式，比如不考慮第一置信度的大小，而是直接根據第二熱度圖得到第二關鍵點和第二置信度。
在分別得到了第一關鍵點和對應的第一置信度，以及第二關鍵點和對應的第二置信度以後，可以通過步驟S114，即根據第二置信度，來將第一關鍵點或第二關鍵點確定為目標圖像中的目標關鍵點，並得到與目標關鍵點對應的置信度。步驟S114的實現方式也可以根據實際情況靈活決定，在一種可能的實現方式中，步驟S114可以包括：在第二置信度大於第二置信度閾值的情況下，將第二關鍵點確定為目標圖像中的目標關鍵點，將第二置信度作為與目標關鍵點對應的置信度；在第二置信度不大於第二置信度閾值的情況下，將第一關鍵點確定為目標圖像中的目標關鍵點，將第一置信度作為與目標關鍵點對應的置信度。
通過上述公開實施例可以看出，在一種可能的實現方式中，可以基於第二置信度與第二置信度閾值的比較情況，來選定將第一關鍵點還是第二關鍵點作為目標圖像的目標關鍵點。其中，第二置信度閾值的取值在本發明實施例中不做限制，可以根據實際情況靈活決定，在一個示例中，可以將第二置信度閾值設置為0.5；在一個示例中，也可以將第一置信度的值設置為第二置信度閾值。
在第二置信度大於第二置信度閾值的情況下，可以表明第二熱度圖中確定的第二關鍵點的位置比較準確，因此，可以將第二關鍵點作為目標圖像的目標關鍵點，將第二關鍵點的第二置信度作為目標圖像中目標關鍵點的置信度。在第二置信度不大於第二閾值的情況下，則可以表明第二熱度圖確定的第二關鍵點的準確率較低，在這種情況下，可以選擇將第一關鍵點作為目標圖像的目標關鍵點，將第一關鍵點的第一置信度作為目標圖像中目標關鍵點的置信度。
由於第一熱度圖可以對目標關鍵點進行較為粗糙的定位，第二熱度圖可以對目標關鍵點進行較為精細的定位，因此，通過上述過程，可以在對目標關鍵點進行較為精細的定位的結果比較準確的情況下，選用精細的定位結果確定目標關鍵點，在精細的定位結果準確度較低的情況下選擇較為粗糙的定位結果確定目標關鍵點，從而可以盡可能地提升最終得到的目標關鍵點的準確性，繼而提升圖像處理的精度。
在一些可能的實施例中，無論是上述何種實現步驟S11的方式，均可以通過對目標圖像進行關鍵點檢測的方式來得到目標關鍵點或目標關鍵點的熱度圖。在一些實施方式中，對目標圖像進行關鍵點檢測的方式可以根據實際情況靈活決定，在一種可能的實現方式中，可以通過特定的關鍵點檢測演算法或是關鍵點熱度圖生成演算法來實現，在一種可能的實現方式中，也可以通過神經網路來實現目標關鍵點的檢測。因此，在一種可能的實現方式中，對目標圖像進行關鍵點檢測，可以包括：將目標圖像輸入至第一神經網路進行關鍵點檢測。
其中，第一神經網路可以是具有關鍵點檢測功能的網路，其實際實現功能可以根據步驟S11的實現方式的不同而靈活發生變化，比如在一種可能的實現方式中，第一神經網路可以直接根據目標圖像生成目標關鍵點座標和目標關鍵點置信度；在一種可能的實現方式中，第一神經網路也可以根據目標圖像生成多個分別與每個目標關鍵點對應的熱度圖，通過對第一神經網路生成的熱度圖進行後處理得到目標關鍵點座標和置信度；在一種可能的實現方式中，第一神經網路也可以根據目標圖像生成多個分別與每個目標關鍵點對應的第一熱度圖和第二熱度圖，通過對第一熱度圖和第二熱度圖進行後處理得到目標關鍵點的座標和置信度等。
第一神經網路的實現形式也可以根據其功能和實際情況靈活決定，不局限於下述公開實施例。在一種可能的實現方式中，第一神經網路可以通過一個包含編碼器、解碼器以及跳躍連結結構的Unet神經網路來實現。在一種可能的實現方式中，第一神經網路也可以通過其他的神經網路模型如Vnet等來實現。
通過將目標圖像輸入至第一神經網路進行關鍵點檢測，可以通過神經網路實現關鍵點的檢測過程，從而有效提升關鍵點檢測的穩定性、效率和精度，繼而提升圖像處理的穩定性、效率和精度。同時，由於神經網路可以根據關鍵點檢測的實際情況靈活調整結構和實現方式，因此，可以提升關鍵點檢測的靈活性，繼而提升圖像處理方法實現的靈活性。
隨著第一神經網路實現功能與實現形式的不同，第一神經網路的訓練方式也可以靈活發生變化。在一種可能的實現方式中，在第一神經網路可以實現根據目標圖像生成多個分別與每個目標關鍵點對應的熱度圖這一功能的情況下，第一神經網路可以通過包含目標關鍵點位置標注的訓練圖像進行訓練，訓練過程可以包括：根據目標關鍵點位置標注，生成與目標關鍵點位置對應的目標熱度圖；將訓練圖像輸入至第一神經網路，得到第一神經網路輸出的熱度圖；根據輸出的熱度圖與目標熱度圖，確定第一神經網路的損失函數；根據損失函數，調整第一神經網路的至少一個參數。
其中，目標關鍵點位置標注可以表明訓練圖像中目標關鍵點的實際位置，通過目標關鍵點位置標注生成的目標熱度圖，則可以準確地反應目標關鍵點的回應情況。根據目標關鍵點位置標注生成目標熱度圖的方式可以參考上述公開實施例中根據目標關鍵點座標生成的目標熱度圖的過程，在此不再贅述。
在得到目標熱度圖後，可以根據目標熱度圖和第一神經網路基於訓練圖像輸出的熱度圖，來確定第一神經網路的損失函數。確定第一神經網路的損失函數的方式可以根據實際情況靈活選擇，不局限於下述公開實施例。在一個示例中，可以通過均方誤差損失函數，來得到第一神經網路的損失函數。在得到了第一神經網路的損失函數後，可以根據損失函數調整第一神經網路的至少一個參數，調整參數的方式同樣靈活，不局限於下述實施例，在一個示例中，可以通過反向傳播及隨機梯度下降法來反向調整第一神經網路的參數。
利用目標熱度圖，對第一神經網路輸出的熱度圖進行監督，來確定第一神經網路的損失函數，並基於損失函數調整第一神經網路的至少一個參數，可以使得第一神經網路生成的熱度圖儘量接近目標熱度圖，從而使得訓練後的第一神經網路具有較高的精度。繼而提升基於此訓練後的第一神經網路獲得的目標關鍵點的精度，從而提升圖像處理的精度。
在第一神經網路實現的功能發生變化的情況下，第一神經網路的訓練過程也將發生變化，可以根據上述各公開實施例靈活擴展，在此不再一一贅述。需要注意的是，在第一神經網路可以實現根據目標圖像生成第一熱度圖和第二熱度圖這一功能的情況下，其訓練過程中根據目標關鍵點位置標注生成的目標熱度圖可以為第一目標熱度圖和第二目標熱度圖，第一目標熱度圖和第二目標熱度圖均可以通過上述公開實施例提到的二維高斯函數進行生成。在一個示例中，可以通過調整
Figure 02_image007
的值，使得第一熱度圖中目標關鍵點的回應範圍大於第二熱度圖中目標關鍵點的回應範圍，即在一個示例中，第一目標熱度圖的生成函數內
Figure 02_image007
的值可以大於第二目標熱度圖的生成函數內
Figure 02_image007
的值，其餘參數值則可以均保持相同。
步驟S12中對目標圖像中的目標對像進行分割，得到目標對像的分割結果的實現方式也可以根據實際情況靈活決定，不局限於下述各公開實施例。在一種可能的實現方式中，可以通過基於圖元灰度值的方法對目標對像進行分割；在一種可能的實現方式中，可以通過基於水準集、主動輪廓模型或區域生長的方法來對目標對像進行分割等。在一種可能的實現方式中，也可以通過具有分割功能的神經網路來實現目標對像的分割，因此，在一個示例中，步驟S12可以包括：將目標圖像輸入至第二神經網路進行目標對像分割，得到目標對像的分割結果。
其中，第二神經網路可以是具有目標對像預測分割功能的神經網路，其實現形式可以根據實際情況靈活決定，不局限於下述公開實施例。在一種可能的實現方式中，第二神經網路可以採用名稱為Tiramisu的全卷積神經網路進行實現，Tiramisu神經網路具有降採樣路徑、升採樣路徑和跳躍連接，並採用DenseNet結構中的密集連接塊（Dense Block）作為卷積塊，可以具有更好的特徵複用效果，得到更魯棒的特徵，其中，密集連接塊中包含級聯卷積層，且每一個卷積層的輸入將與其輸出合併作為下一個卷積層的輸入。
第二神經網路的訓練方式可以根據實際情況靈活決定，不局限於下述公開實施例。在一種可能的實現方式中，可以通過交叉熵損失函數對第二神經網路生成的分割結果進行監督，並使用反向傳播及隨機梯度下降法訓練，使第二神經網路生成的分割結果儘量接近人工標注的股骨分割標準。
通過將目標圖像輸入至第二神經網路，得到目標對像的分割結果，可以有效提升目標對像的分割精度和魯棒性，繼而提升圖像處理的精度和魯棒性。
如上述各公開實施例所述，在一種可能的實現方式中，目標對像可以為脛骨對像等在人體中具有兩側結構的對像，因此，在對目標對像進行分割後，可能得到的是左脛骨與右脛骨的總體分割結果，出於後續圖像處理的需要，還可以對得到的分割結果進一步進行後處理，來將左右兩個分割結果進行切分。對分割結果進行後處理的方式可以根據實際情況靈活決定，在一種可能的實現方式中，可以根據第二神經網路生成的脛骨分割結果計算連通域，保留面積最大的兩個連通域，將重心在左側的連通域作為左側脛骨分割結果，將重心在右側的連通域作為右側脛骨分割結果。
在一種可能的實現方式中，第二神經網路也可以直接實現左右脛骨的分割功能，即將目標圖像輸入第二神經網路後，第二神經網路可以自動識別其中的左側脛骨對像或右側脛骨對像，並分別對左側脛骨對像和右側脛骨對像進行分割，從而分別輸出左側脛骨分割結果和右側脛骨分割結果。
除了獲取目標對像的目標關鍵點以及目標對像的分割結果以外，還可以通過步驟S13獲取目標對像的處理類型。目標對像處理類型的獲取方式可以根據實際情況靈活決定，在一種可能的實現方式中，步驟S13可以包括：根據目標關鍵點，確定目標對像的處理類型。
上述公開實施例已經提到，目標對像的處理類型可以根據目標對像以及目標對像的應用場景所共同靈活確定，因此相應地，目標對像的處理類型的獲取方式可以根據目標對像以及應用場景的不同也靈活的產生變化。
在一種可能的實現方式中，在目標對像為脛骨對像且圖像處理方法應用於輔助進行脛骨截骨的情況下，可以根據目標對像的實際狀態來確定目標對像的處理類型。上述公開實施例已經提到，脛骨高位截骨需要考慮到人體下肢整體的受力狀態，因此脛骨高位截骨類型的選擇，也需要考慮到人體下肢當前的受力狀態或受力情況，在一種可能的實現方式中，可以通過目標關鍵點來確定人體下肢當前的受力狀態，繼而確定合適的處理類型。
如何根據目標關鍵點確定目標對像的處理類型，其實現過程可以根據實際情況靈活決定。在一種可能的實現方式中，可以根據目標關鍵點位置計算出與處理類型相關的計算參數，並將這些計算參數回饋到人機交互介面中，相關人員可以根據人機交互介面中回饋的計算參數通過經驗確定處理類型，並通過人機交互介面將選定的處理類型傳遞至圖像處理裝置中，從而實現處理類型的獲取。在一種可能的實現方式中，可以根據目標關鍵點位置計算出與處理類型相關的計算參數，並基於計算參數直接進一步計算確定處理類型。在一種可能的實現方式中，也可以根據目標關鍵點進行計算從而部分確定處理類型，比如排除掉部分不可能實現的處理類型，舉例來說，在確定脛骨高位截骨的處理類型的情況下，在通過目標關鍵點確定人體下肢為膝內翻（如O形腿）的情況下，則可以確定處理類型不會為內側閉合式與外側開放式，在這種情況下，處理類型還可以包括有內側開放式與外側閉合式，甚至還可以包含有其他的手術方式，比如內側開放式股骨遠端截骨或外側閉合式股骨遠端截骨等；在一些可能的實施例中，在排除掉部分處理類型以後，還可以將剩餘可選擇的處理類型，通過上述公開實施例提出的方式回饋到人機交互介面，從而根據相關人員的選擇，來最終獲取處理類型。在一種可能的實現方式中，還可以通過包含目標關鍵點與處理類型標注的訓練圖像，訓練得到一個具有確定處理類型功能的神經網路，將獲取了目標關鍵點的目標圖像輸入至該神經網路中，可以輸出與該目標圖像對應的處理類型等。
在通過上述任意公開實施例得到目標關鍵點以及目標對像的分割結果後，可以通過步驟S13根據至少一個目標關鍵點，結合分割結果，確定目標對像的至少一個處理參數。其中，步驟S13的實現方式，可以根據目標對像以及需要確定的處理參數的實際情況靈活決定，不局限於下述各公開實施例。在一種可能的實現方式中，目標關鍵點可以為多個，至少一個處理參數可以包括第一處理參數和第二處理參數，步驟S13可以包括： 步驟S131，根據處理類型，確定目標對像待獲取的第一處理參數以及第二處理參數； 步驟S132，根據至少兩個目標關鍵點以及分割結果，獲取第一處理參數； 步驟S133，根據至少三個目標關鍵點，結合第一處理參數，獲取第二處理參數。
其中，第一處理參數可以是基於目標關鍵點以及分割結果首先獲得的處理參數，可能包含哪些參數可以根據實際情況靈活決定。在目標對像為脛骨對像圖像處理方法應用於輔助進行脛骨截骨的情況下，由於進刀點與合頁點可以首先根據目標關鍵點和分割結果所確定，因此在一種可能的實現方式中，第一處理參數可以包括合頁點和/或進刀點，在一些可能的實施例中，由於合頁點和進刀點二者的連線可以構成截骨線，因此基於合頁點和進刀點可以直接確定截骨線的長度，因此，在一種可能的實現方式中，第一處理參數可以包含合頁點、進刀點以及截骨線長度中的一個或多個。
第二處理參數可以是在確定了第一處理參數後，結合目標關鍵點可以進一步獲取的處理參數，可能包含哪些參數也可以根據實際情況靈活決定。在目標對像為脛骨對像圖像處理方法應用於輔助進行脛骨截骨的情況下，在確定了合頁點與進刀點以後，還可以基於確定的結果，結合目標關鍵點的檢測結果，來進一步確定脛骨截骨的目標力線。在一種可能的實現方式中，第二處理參數可以包括目標力線；在確定了脛骨截骨的目標力線後，根據已經獲得的各類目標關鍵點，還可以進一步得出開放或閉合的角度，以及開放或閉合的距離等。在一種可能的實現方式中，第二處理參數可以包括目標力線、處理角度以及處理距離中的一個或多個。
如上述各公開實施例所述，隨著處理類型的不同，需要獲取的處理參數的類型可能靈活發生變化。在一種可能的實現方式中，在通過步驟S132確定第一處理參數以及根據步驟S133確定第二處理參數之前，可以首先通過步驟S131確定需要獲取哪些第一處理參數和第二處理參數。舉例來說，由於處理類型可以包括內側閉合式、外側閉合式、內側開放式以及外側開放式。在一個示例中，隨著處理類型是在內側還是外側的不同，所需要獲取的第一處理參數中進刀點的確定標準與位置可能隨之發生變化；在一個示例中，隨著處理類型是閉合式還是開放式的不同，所需要獲取的第二處理參數可能包含的是閉合角度或開放角度、閉合距離或開放距離等。在一種可能的實現方式中，在處理類型為內側閉合式的情況下，第一處理參數可能會發生變化，在一個示例中，內側閉合式下的進刀點需要根據合頁點和閉合角度所共同確定，在這種情況下，第一處理參數可以僅包含合頁點，而進刀點則作為第二處理參數進行獲取。
後續各公開實施例均以處理類型為內側開放式為例進行說明，在其餘處理類型下，S13中各步驟的實現方式可以參考後續各公開實施例進行靈活擴展，不再一一舉例說明。
在目標對像為其他對像，圖像處理方法應用於輔助其他類型的手術過程的情況下，步驟S13的實現形式也可以靈活發生變化，比如可以直接根據分割結果和目標關鍵點來得到所有的處理參數；或是先根據分割結果得到部分處理參數，再根據得到的部分處理參數，結合目標關鍵點獲得其餘的處理參數；或是先根據目標關鍵點得到部分處理參數，再根據得到的部分處理參數，結合分割結果得到其餘的處理參數等，其實現過程可以基於目標對像的實際情況，參考下述各公開實施例來靈活擴展變化，不再一一贅述。
步驟S132的實現過程可以根據目標對像的實際情況靈活決定，不局限於下述公開實施例，在一種可能的實現方式中，步驟S132可以包括：根據目標關鍵點確定第一處理參數的所屬範圍；將第一處理參數的所屬範圍與分割結果結合，得到第一處理參數。
通過上述公開實施例可以看出，在一種可能的實現方式中，在獲取第一處理參數的過程中，可以首先基於目標關鍵點確定第一處理參數的大致範圍，再基於分割結果對目標對像位置的限制，將其與確定的大致範圍結合，從而得到第一處理參數。
如上述各公開實施例所述，在目標對像為脛骨對像圖像處理方法應用於輔助進行脛骨截骨的情況下，第一處理參數可以包含有合頁點和/或進刀點，因此在一種可能的實現方式中，可以先根據目標關鍵點確定合頁點與進刀點的所屬範圍，再根據分割結果結合確定的所屬範圍，得到合頁點與進刀點的實際位置。圖6示出根據本發明一實施例的獲取處理參數的示意圖，在一個示例中，在處理類型為內側開放式的情況下，確定合頁點的實現過程可以為：將獲取的脛骨平台外側端點下方10毫米（mm）這一範圍作為合頁點的所屬範圍，再在這一所屬範圍中，找到其與分割結果中脛骨外側輪廓的交點，並基於這一交點向脛骨內側移動10mm，得到第一處理參數中的合頁點，如圖6所示合頁點64為左側脛骨近端線段的左端點。在一個示例中，在處理類型為內側開放式的情況下，確定進刀點的實現過程可以為：將獲取的脛骨平台內側端點下方15mm這一範圍作為進刀點的所屬範圍，再在這一所屬範圍中，找到其與分割結果中脛骨內側輪廓的交點，將這一交點作為第一處理參數中的進刀點，如圖6所示進刀點67為左側脛骨近端線段的右端點。在一個示例中，在確定了合頁點與進刀點後，還可以連接合頁點與進刀點，將連接的線段作為截骨線，即圖6中左側脛骨近端的連接線段。
在得到了包含合頁點與進刀點的第一處理參數後，可以根據目標關鍵點和第一處理參數，通過步驟S133進一步確定第二處理參數。步驟S133的實現過程同樣可以根據目標對像的實際情況靈活決定，不局限於下述公開實施例，在一種可能的實現方式中，步驟S133可以包括：將第一處理參數與至少三個目標關鍵點進行結合，得到目標力線；根據目標力線，結合第一處理參數和至少一個目標關鍵點，得到處理角度和/或處理距離。
如上述各公開實施例所述，目標力線可以是上述公開實施例中下肢力線的目標位置。在一些實施方式中，目標力線如何獲取，可以根據脛骨截骨手術的矯正目的不同而靈活決定。舉例來說，在一種可能的實現方式中，脛骨截骨手術的矯正目的可能為矯正後的下肢力線（即目標力線）通過膝關節中心點，在一種可能的實現方式中，脛骨手術的矯正目的也可能為矯正後的下肢力線通過藤澤點等。其中，藤澤點可以為脛骨內側端點與脛骨外側端點連線的線段中，從脛骨內側端點起長度占連線線段62%的點。圖7示出根據本發明一實施例的藤澤點示意圖，從圖7中可以看出，其中箭頭指向的位置即藤澤點的位置。後續各公開實施例均以目標力線通過膝關節中心點為例進行說明，目標力線通過藤澤點的實現方式可以參考後續各公開實施例進行擴展，不再贅述。
如圖6所示，在一個示例中，在目標力線為通過膝關節中心點的情況下，根據第一處理參數與至少三個目標關鍵點結合，得到目標力線的實現過程可以為：從股骨頭中心點61向脛骨平台內側端點62與脛骨平台外側端點63的中點即膝關節中心點作射線，並以合頁點64為圓心，合頁點64與踝關節間隙內側端點65與踝關節間隙外側端點66的中心即踝關節中心點的距離為半徑作弧線，則該弧線與上述射線遠端的交點可以作為踝關節中心點的矯正目標，踝關節中心點的矯正目標與股骨頭中心點61的連線線段構成目標力線。
在確定了目標力線後，則可以進一步得到開放角度和開放距離。在一個示例中，開放角度可以為從合頁點向踝關節中心點的射線，以及從合頁點向踝關節中心點的矯正目標的射線，這兩個射線所形成的夾角，開放距離可以為以開放角度為頂角，腰長為截骨線長度的等腰三角形的底邊長度，圖8示出根據本發明一實施例的第二處理參數示意圖，如圖8所示，在左側截骨線以下的脛骨整體圖像繞合頁點81旋轉上述開放角度的情況下，下肢力線可以經過膝關節中心，即達到了目標力線的位置。
在一種可能的實現方式中，在處理類型為內側閉合式的情況下，開放角度可以變為閉合角度，從而可以基於在脛骨內側輪廓上，與合頁點形成頂角為閉合角度的等腰三角形的兩點來確定進刀點。
通過上述過程，可以利用分割結果，並進一步借助獲取的目標關鍵點自動得到脛骨高位截骨術的進刀點、合頁點、開放（或閉合）角度以及開放（或閉合）距離等，從而實現自動化程度更高的圖像處理過程，用以對脛骨截骨進行輔助，提升醫工交互效率。
除了上述過程以外，本發明實施例提出的圖像處理方法，在獲取目標關鍵點和/或分割結果之前，還可以包括圖像預處理的步驟，即在一種可能的實現方式中，目標圖像可以包括經過預處理的圖像，其中，預處理可以包括圖像標準化和/或圖像增強。
上述公開實施例已經提出，目標圖像可以是包含目標對像的醫學圖像，比如全身X光片、下肢X光片或是脛骨部位的X光片等。對於不同設備拍攝出的醫學圖像來說，其可能存在一些差異，比如有些醫學圖像採用白色背景黑色前景，有些醫學圖像則採用白色前景黑色背景，不同設備拍攝的醫學圖像其圖元間距可能存在差異等。因此，為了便於對這些醫學圖像統一進行目標關鍵點獲取或是分割，在一種可能的實現方式中，可以對醫學圖像進行圖像標準化，來得到經過預處理的目標圖像。在一種可能的實現方式中，為了使得後續得到的圖像處理結果具有較好的處理效果，還可以對醫學圖像進行圖像增強。
圖像標準化的實現方式可以根據實際情況靈活決定，不局限於下述各公開實施例。在一種可能的實現方式中，圖像標準化可以包括背景標準化、圖元間距標準化以及圖元值歸一化中的一個或多個。背景標準化的方式可以將圖像的背景設定為同一顏色，設定為何種顏色不受限制，在一個示例中，可以將醫學圖像的背景均設置為黑色，前景均設置為白色等。圖元間距標準化的方式可以為將醫學圖像中的圖元間距均設置為規定值，規定值的取值可以根據實際情況靈活設定，在一個示例中，可以將圖元間距均設置為（0.68mm, 0.68mm）。圖元值歸一化可以將圖像中圖元值均歸一化某一數值範圍內，比如[0, 1]之間等，其中歸一化的方式不受限定，在一個示例中，可以先對醫學圖像中的圖元點圖元值從小到大進行排序，將其中位於3%位置的圖元值設定為最低圖元值，位於99%位置的圖元值設定為最高圖元值，然後將低於最低圖元值的圖元點的值更改為最低圖元值，高於最高圖元值的圖元點的值更高為最高圖元值，在完成圖元值更改後再將圖元值歸一化到[0, 1]之間，從而完成圖元值歸一化。
圖像增強的方式也可以根據實際情況靈活決定，不局限於下述實施例，在一個示例中，可以通過限制對比度自我調整長條圖均衡化演算法（CLAHE，Contrast Limited Adaptive Histogram Equalization）來增強醫學圖像的局部對比度，從而實現圖像增強。
通過圖像標準化和/或圖像增強來得到經過預處理的圖像作為目標圖像，可以便於後續對具有統一規格且具有較好圖像效果的目標圖像進行目標關鍵點獲取和分割，增加目標關鍵點獲取和分割的實現便捷程度，也可以增加獲取目標關鍵點的精度和分割精度，繼而增加圖像處理的實現便捷性和精度。
脛骨高位截骨術是一種治療早期膝關節骨關節炎的有效手段，它可以保留原有的關節，通過矯正膝關節負重力線、阻止軟骨的進一步磨損、增加關節穩定性、緩解疼痛、改善膝關節功能，從而避免或盡可能的推遲關節置換。其中，脛骨截骨位置的準確性將大大影響脛骨高位截骨的效果。
相關技術中的手術規劃方法通常採用手工標注的方法來進行關鍵點定位，手術規劃流程複雜；關鍵點自動定位方法難以兼具高穩定性和高精確性，且並不給出關鍵點的預測置信度，存在關鍵點因某些原因（如圖像品質過差、關鍵點不存在等）無法被精確預測時演算法給出過大偏差的錯誤預測的問題。同時該方法需要手動設置進刀點、合頁點，才能進行後續的開放（閉合）角度、開放（閉合）距離的計算，醫工交互效率不高。
本發明應用示例提出一種圖像處理方法，一方面利用深度學習模型自動定位下肢全長X線片中的關鍵點，並且該模型能夠同時利用粗定位熱度圖和細定位熱度圖進行定位預測，兼具高穩定性和高精確性，且能夠給出關鍵點的預測置信度；另一方面利用深度學習模型自動預測下肢全長X線片中的脛骨分割，並進一步借助脛骨平台外側端點和內側端點推薦脛骨高位截骨術的進刀點、合頁點、開放（閉合）角度、開放（閉合）距離。本發明實施例提出了一種圖像處理方法，這一處理方法可以基於下肢X光片來確定脛骨截骨過程中的截骨位置，該圖像處理的過程可以為： 第一步，下肢X光片中目標關鍵點的自動定位。圖9示出目標關鍵點自動定位的流程，從圖9中可以看出，本發明應用示例可以實現下肢X光片中左側和右側的股骨頭中心、大轉子尖、股骨內側髁、股骨外側髁、脛骨平台內側端點、脛骨平台外側端點、踝關節間隙內側端點、踝關節間隙外側端點、膝關節中心、踝關節中心，共10*2=20種目標關鍵點的自動定位（左右各10種目標關鍵點）。其中其中膝關節中心點可以定義為脛骨平台內側端點和脛骨平台外側端點的中點，踝關節中心點可以定義為踝關節間隙內側端點和踝關節間隙外側端點的中點，在一個示例中，可以先基於定義定位各中心點左右兩側的端點，再通過計算定位的兩個端點的中點來得到上述中心點；在一個示例中，也可以直接定位上述中心點的位置。為實現後續脛骨截骨各處理參數的確定，所預測的目標關鍵點應至少包含股骨頭中心點、踝關節中心點、膝關節中心點、脛骨平台內側端點以及脛骨平台外側端點等。
在一些實施方式中，目標關鍵點的定位過程可以分為以下幾個步驟。
首先對輸入圖像91依次按以下步驟進行圖像預處理92：將X光圖像統一處理為背景為黑色，前景為白色；統一圖像的圖元間距為(0.68mm, 0.68mm)；將圖元數值歸一化，先將低於第3百分位數和高於第99百分位數的值分別置為第3百分位數、第99百分位數，再將數值歸一化到[0, 1]之間；再利用CLAHE方法增強圖像的局部對比度。
然後將預處理後的圖像輸入全卷積神經網路93（即上述公開實施例中的第一神經網路），在本發明應用示例中，可以採用一個含編碼器-解碼器及跳躍連結結構的Unet網路，來針對每一種目標關鍵點分別生成粗定位熱度圖（即上述公開實施例中的第一熱度圖）和細定位熱度圖（即上述公開實施例中的第二熱度圖）。
在第一神經網路的訓練階段，可以根據每幅輸入的訓練圖像中每個目標關鍵點位置的真實值（即標注值），來計算該目標關鍵點對應的粗定位目標熱度圖及細定位目標熱度圖，再通過均方誤差損失函數對第一神經網路生成的熱度圖94進行監督，使用反向傳播及隨機梯度下降法訓練，使第一神經網路生成的熱度圖儘量接近前述目標熱度圖。粗定位目標熱度圖和細定位目標熱度圖可以均以上述公式（2）所示的二維高斯函數的形式進行表示。如上述公開實施例中的圖5所示，第一熱度圖即粗定位目標熱度圖中
Figure 02_image010
的值較細定位熱度圖中更大，因此在更大的範圍上有高回應值。實現方案中的目標熱度圖也可以由有類似性質（越靠近目標關鍵點的位置上有越大的回應值，粗定位熱度圖較細定位熱度圖在更大的範圍上有高回應值）的函數來實現，不局限於本應用示例提出的形式。
在生成粗定位熱度圖和細定位熱度圖後，可以對其進行後處理95，來得到目標關鍵點的定位結果96，其中，對粗定位熱度圖和細定位熱度圖的後處理總體可以分為以下步驟。
首先進行粗定位座標（即上述公開實施例中的第一關鍵點的座標）和粗定位置信度（即上述公開實施例中的第一置信度）的計算，在本發明應用示例中，可以將粗定位熱度圖上最大值的座標作為粗定位座標；然後計算粗定位熱度圖上數值大於最大值的ai 倍率的區域（即上述公開實施例中的包含目標關鍵點的區域）的周長ci 和面積si ，在本發明應用示例中，可以選用4個ai 取值，分別記為：a0 = 0.8;a1 = 0.6;a2 = 0.4;a3 = 0.2。則粗定位置信度可以通過上述公式（1）計算。
然後進行細定位座標（即上述公開實施例中第二關鍵點的座標）和細定位置信度（即上述公開實施例中的第二置信度）的計算，在本發明應用示例中，若粗定位置信度大於0.5，可以認為粗定位基本準確，則可以保留細定位熱度圖上粗定位座標附近一定範圍（即上述公開實施例中的回應區域）內的回應值，並將細定位熱度圖中超出回應區域範圍的值設置為0，從而使得細定位座標總在粗定位座標附近；若粗定位置信度小於等於0.5，則保留原有的細定位熱度圖。然後通過與粗定位熱度圖中類似的方法，根據處理後或原有的細定位熱度圖，計算細定位座標和細定位置信度。
在分別完成了粗定位熱度圖和細定位熱度圖的相關計算後，可以選定最終目標關鍵點的預測結果，實現過程可以為：在細定位置信度大於0.5或細定位置信度大於粗定位置信度的情況下，選用細定位座標及細定位置信度作為最終輸出的目標關鍵點定位座標和置信度；否則選用粗定位座標及粗定位置信度作為最終輸出的目標關鍵點定位座標和置信度。
在本發明應用示例中，粗、細定位座標和細定位置信度的具體計算方法也可以採用其他的計算方式，例如可根據熱度圖上高回應區域的重心確定熱度圖中的定位座標，或是可以根據預測熱度圖與定位座標對應的目標熱度圖的相關係數來計算置信度等。
第二步，下肢X光片中脛骨的自動分割。圖10示出自動分割的流程，從圖10中可以看出，本發明應用示例中，脛骨自動分割的過程可以通過下述步驟來實現：
首先對輸入圖像101進行圖像預處理102：本發明應用示例中，可以採用與前述目標關鍵點自動定位過程相同的圖像預處理步驟，在此不再贅述。
然後將預處理後的圖像輸入預測脛骨分割的全卷積神經網路103（即上述公開實施例中的第二神經網路）。本發明應用示例中，可以採用一種名為Tiramisu的全卷積神經網路來進行股骨分割，該Tiramisu網路與Unet網路類似，具有降採樣路徑、升採樣路徑和跳躍連接。同時該Tiramisu網路結構使用了DenseNet結構中的密集連接塊替換了由級聯卷積層組成的卷積塊，從而實現更好的特徵複用，並得到更魯棒的特徵。密集連接塊中不但包含了級聯卷積層，且每一個卷積層的輸入將與其輸出合併作為下一個卷積層的輸入。
在第二神經網路的訓練階段，可以通過交叉熵損失函數對第二神經網路生成的脛骨分割結果134進行監督，使用反向傳播及隨機梯度下降法訓練，使第二神經網路生成的分割結果儘量接近人工標注的脛骨分割標準。本發明應用示例中，第二神經網路可以實現雙側脛骨分割預測，在一種可能的實現方式中，也可以通過第二神經網路直接實現左側脛骨分割預測和/或右側脛骨分割預測。
在得到上述脛骨分割結果104後，可以對脛骨分割結果進行後處理105，對分割結果後處理的過程可以為：對第二神經網路生成的脛骨分割結果計算連通域，保留其中最大的兩個連通域，將其中重心在左側的連通域作為左側脛骨分割結果106，將其中重心在右側的連通域作為右側脛骨分割結果107；取出這兩個連通域的邊界，分別作為左側脛骨輪廓和右側脛骨輪廓。
第三步，基於目標關鍵點位置和脛骨輪廓，確定脛骨截骨的各項處理參數。
本發明應用示例以獲取內側開放式的脛骨高位截骨的各項處理參數為例進行說明。
首先，可以利用目標關鍵點和脛骨輪廓以及進刀點、合頁點間的幾何位置關係獲取進刀點與合頁點。在一些實施方式中：在脛骨外側輪廓上獲取脛骨平台外側端點下方10mm的點，該點再向脛骨內側10mm處的點即可以作為合頁點；在脛骨內側輪廓上找到脛骨平台內側端點下方15mm的點即可以作為進刀點，合頁點與進刀點的連線段即截骨線。如上述公開實施例中的圖6所示，左側脛骨近端線段為截骨線，其左側端點為合頁點64，其右側端點為進刀點67。
接著可以根據脛骨高位截骨的矯正目標來確定目標力線（下肢力線可以為股骨頭中心與踝關節中心的連線段，目標力線可以為下肢力線的矯正目標）。例如在矯正目標為目標力線經過膝關節中心的情況下，可以從股骨頭中心向膝關節中心作射線，以合頁點為圓心、合頁點與踝關節中心的距離為半徑作弧線，則該弧線與射線遠端的交點可以作為踝關節中心矯正目標，踝關節中心矯正目標與股骨頭中心的連線段可以作為目標力線。
在確定了目標力線後，可以進一步確定開放角度和開放距離。其中，開放角度可以為從合頁點向踝關節中心點的射線，與從合頁點向踝關節中心矯正目標點的射線所形成的夾角。開放距離可以為開放角度為頂角，腰長等於截骨線長度的等腰三角形的底邊長度。
在一些可能的實施例中，本發明應用示例中脛骨高位截骨術的處理類型可以從內側開放式被替換為內側閉合式、外側開放式或外側閉合式，則開放角度、進刀點、合頁點的推薦方法可以相應發生變化，例如處理類型為內側閉合式的情況下，可以用閉合角度代替開放角度，進刀點的位置可以通過，在脛骨內側輪廓上與合頁點形成頂角為閉合角度的等腰三角形的兩點這種方式所確定。本發明應用示例中的矯正目標也可以靈活變化，在一個示例中，矯正目標可以變為目標力線經過上述公開實施例中提出的藤澤點，則目標力線及踝關節中心矯正目標的計算方法可以相應地發生變化。
通過上述公開應用示例，可以利用第一神經網路自動定位下肢X線片中的目標關鍵點，減少了手工標注目標關鍵點的過程，從而簡化手術規劃流程、提升醫工交互效率；第一神經網路能夠同時利用粗定位熱度圖和細定位熱度圖進行目標關鍵點的定位預測，兼具高穩定性和高精確性；同時能夠給出各目標關鍵點預測的置信度，從而盡可能減少目標關鍵點因某些原因（如圖像品質過差、目標關鍵點不存在等）無法被精確預測時得到過大偏差的錯誤預測結果的情況，同時便於後續使用缺失值補全方法對預測失敗的目標關鍵點進行補全。
同時，本發明應用示例可以利用第二神經網路自動實現下肢X線片中的脛骨分割，並進一步借助脛骨平台外側端點和內側端點自動確定脛骨高位截骨術的進刀點、合頁點、開放（閉合）角度、開放（閉合）距離。從而實現自動化高、精確度高的脛骨高位截骨中各項處理參數的預測，簡化手術規劃流程、提升醫工交互效率。
本發明應用示例能夠對下肢全長X線片提供高穩定性、高準確度、高一致性的關鍵點自動定位，解決了傳統閱片流程中醫生手動標注關鍵點費時費力的問題以及初級醫師的標注一致性可能較差的問題；本方案能夠對下肢全長X線片自動進行脛骨分割，並根據醫師選定的脛骨高位截骨術種類及矯正目標，利用關鍵點及脛骨輪廓自動推薦進刀點、合頁點、開放或閉合角度、開放或閉合距離，免去醫師手工通過複雜的作圖、幾何運算、測量來進行手術規劃的步驟，自動化程度高。總體上，本發明應用示例能夠簡化脛骨高位截骨術的手術規劃流程，提升醫工交互效率。
需要說明的是，本發明實施例的圖像處理方法不限於應用在上述下肢X光片圖像的處理中，也不限於僅確定脛骨截骨的位置，可以應用於任意的圖像處理，以及任意相關處理參數的確定過程中，本發明實施例對此不作限定。
可以理解，本發明實施例提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明實施例不再贅述。本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的執行順序應當以其功能和可能的內在邏輯確定。
此外，本發明實施例還提供了圖像處理裝置、電子設備、電腦可讀儲存介質、程式產品，上述均可用來實現本發明實施例提供的任一種圖像處理方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖11示出根據本發明實施例的圖像處理裝置的方塊圖。該圖像處理裝置可以為終端設備、伺服器或者其他處理設備等。其中，終端設備可以為使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該圖像處理裝置可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。如圖11所示，所述圖像處理裝置110可以包括：目標關鍵點獲取模組111，配置為獲取目標圖像的目標關鍵點；分割模組112，配置為對目標圖像中的目標對像進行分割，得到目標對像的分割結果；處理類型獲取模組113，配置為獲取目標對像的處理類型；處理參數確定模組114，配置為根據目標關鍵點、分割結果以及處理類型，確定目標對像的至少一個處理參數。
在一種可能的實現方式中，目標關鍵點獲取模組111配置為：對目標圖像進行關鍵點檢測，得到至少兩個包含置信度的目標關鍵點。
在一種可能的實現方式中，目標關鍵點獲取模組111配置為：對目標圖像進行關鍵點檢測，得到至少兩個目標關鍵點分別對應的熱度圖；獲取至少兩個熱度圖對應的目標關鍵點的座標以及置信度。
在一種可能的實現方式中，目標關鍵點獲取模組111配置為：對目標圖像進行關鍵點檢測，得到至少兩個目標關鍵點分別對應的第一熱度圖和第二熱度圖，其中，第一熱度圖對應的目標關鍵點的回應範圍大於第二熱度圖對應的目標關鍵點的回應範圍；從第一熱度圖中確定第一關鍵點，根據第一熱度圖，得到第一關鍵點的第一置信度；根據第一置信度，從第二熱度圖中確定第二關鍵點，結合第二熱度圖，得到第二關鍵點的第二置信度；根據第二置信度，將第一關鍵點或第二關鍵點確定為目標圖像中的目標關鍵點，並得到與目標關鍵點對應的置信度。
在一種可能的實現方式中，目標關鍵點獲取模組111進一步配置為：在第一置信度大於第一置信度閾值的情況下，根據第一關鍵點在第一熱度圖中的位置確定回應區域，從第二熱度圖的回應區域內中確定第二關鍵點，根據第二熱度圖的回應區域，得到第二關鍵點的第二置信度；在第一置信度不大於第一置信度閾值的情況下，從第二熱度圖中確定第二關鍵點，根據第二熱度圖，得到第二關鍵點的第二置信度。
在一種可能的實現方式中，目標關鍵點獲取模組111進一步配置為：在第二置信度大於第二置信度閾值的情況下，將第二關鍵點確定為目標圖像中的目標關鍵點，將第二置信度作為與目標關鍵點對應的置信度；在第二置信度不大於第二置信度閾值的情況下，將第一關鍵點確定為目標圖像中的目標關鍵點，將第一置信度作為與目標關鍵點對應的置信度。
在一種可能的實現方式中，目標關鍵點獲取模組111配置為：將目標圖像輸入至第一神經網路進行關鍵點檢測。
在一種可能的實現方式中，第一神經網路通過包含目標關鍵點位置標注的訓練圖像進行訓練，訓練包括：根據目標關鍵點位置標注，生成與目標關鍵點位置對應的目標熱度圖；將訓練圖像輸入至第一神經網路，得到第一神經網路輸出的熱度圖；根據輸出的熱度圖與目標熱度圖，確定第一神經網路的損失函數；根據損失函數，調整第一神經網路的至少一個參數。
在一種可能的實現方式中，處理類型獲取模組113配置為：根據目標關鍵點，確定目標對像的處理類型。
在一種可能的實現方式中，目標關鍵點為至少兩個，至少一個處理參數包括第一處理參數和第二處理參數，處理參數確定模組114配置為：根據處理類型，確定目標對像待獲取的第一處理參數和第二處理參數；根據至少兩個目標關鍵點以及分割結果，獲取第一處理參數；根據至少三個目標關鍵點，結合第一處理參數，獲取第二處理參數。
在一種可能的實現方式中，目標圖像包括經過預處理的圖像，預處理包括圖像標準化和/或圖像增強。
在一種可能的實現方式中，目標對像包括脛骨對像；處理類型包括：內側閉合式、外側閉合式、內側開放式或外側開放式；至少一個處理參數包括進刀點、合頁點、目標力線、處理角度以及處理距離中的一個或多個。
本發明實施例還提出一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本發明實施例還提出一種電子設備，包括：處理器；配置為儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行上述方法。電子設備可以被提供為終端、伺服器或其它形態的設備。
本發明實施例還提供了一種電腦程式產品，包括電腦可讀代碼，當電腦可讀代碼在設備上運行時，設備中的處理器執行用於實現如上任一實施例提供的圖像處理方法的指令。
本發明實施例還提供了另一種電腦程式產品，配置為儲存電腦可讀指令，指令被執行時使得電腦執行上述任一實施例提供的圖像處理方法的操作。
圖12示出根據本發明實施例的一種電子設備800的方塊圖。例如，電子設備800可以是行動電話、電腦、數位廣播終端、消息收發設備、遊戲控制台、平板設備、醫療設備、健身設備和個人數位助理等終端。參照圖12，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音頻組件810，輸入/輸出（Input/Output，I/O）的介面812，感測器組件814，以及通信組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示、電話呼叫、資料通信、相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括配置為在電子設備800上操作的任何應用程式或方法的指令，連絡人資料，電話簿資料，消息，圖片，視頻等。記憶體804可以由任何類型的易失性或非易失性存放裝置或者它們的組合實現，如靜態隨機存取記憶體（SRAM，Static Random-Access Memory），電可擦除可程式設計唯讀記憶體（EEPROM，Electrically Erasable Programmable Read-Only Memory），可擦除可程式設計唯讀記憶體（EPROM，Erasable Programmable Read-Only Memory），可程式設計唯讀記憶體（PROM，Programmable Read-Only Memory），唯讀記憶體（ROM，Read Only Memory），磁記憶體，快閃記憶體，磁片或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器（LCD，Liquid Crystal Display）和觸摸面板（TP，TouchPanel）。在螢幕包括觸摸面板的情況下，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影頭和/或後置攝影頭。在電子設備800處於操作模式，如拍攝模式或視訊模式的情況下，前置攝影頭和/或後置攝影頭可以接收外部的多媒體資料。每個前置攝影頭和後置攝影頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號。例如，音頻組件810包括一個麥克風（MIC，Microphone），在電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式的情況下，麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在記憶體804或經由通信組件816發送。在一些實施例中，音頻組件810還包括一個揚聲器，用於輸出音頻信號。
I/O介面812為處理組件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤、點擊輪、按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態和組件的相對定位，例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如互補金屬氧化物半導體（CMOS，Complementary Metal-Oxide-Semiconductor）或電荷耦合器件（CCD，Charge Coupled Device，）圖像感測器，配置為在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器、陀螺儀感測器、磁感測器、壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如無線保真（Wi-Fi，Wireless Fidelity）、第二代移動通信技術（2G，The 2nd Generation，）或第三代移動通信技術（3G，The 3nd Generation，）或它們的組合。在一個示例性實施例中，通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，所述通信組件816還包括近場通信（NFC，Near Field Communication）模組，以促進短程通信。例如，在NFC模組可基於射頻識別（RFID，Radio Frequency Identification）技術，紅外資料協會（IrDA，Infrared Data Association）技術，超寬頻（UWB，Ultra Wide Band）技術，藍牙（BT，Blue Tooth）技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路（ASIC，Application Specific Integrated Circuit）、數位訊號處理器（DSP，Digital Signal Processor）、數位信號處理設備（DSPD，Digital Signal Processing Device）、可程式設計邏輯器件（PLD，Programmable Logic Device）、現場可程式設計閘陣列（FPGA，Field Programmable Gate Array）、控制器、微控制器、微處理器或其他電子組件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖13示出根據本發明實施例的一種電子設備1900的方塊圖。例如，電子設備1900可以被提供為一伺服器。參照圖13，電子設備1900包括處理組件1922，可以包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置為執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置為將電子設備1900連接到網路，和一個I/O介面1958。電子設備1900可以操作基於儲存在記憶體1932的作業系統，例如Windows ServerTM 、Mac OS XTM 、UnixTM、LinuxTM 、FreeBSDTM 或類似系統。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本發明實施例可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本發明實施例的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是但不限於電存放裝置、磁存放裝置、光存放裝置、電磁存放裝置、半導體存放裝置或者上述的任意合適的組合。電腦可讀儲存介質可以包括：可擕式電腦盤、硬碟、隨機存取記憶體（RAM，Random Access Memory）、唯讀記憶體、可擦式可程式設計唯讀記憶體（EPROM或快閃記憶體）、靜態隨機存取記憶體（SRAM）、可擕式壓縮磁碟唯讀記憶體（CD-ROM，Compact Disc Read-Only Memory）、數位多功能盤（DVD，Digital Video Disc）、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波（例如，通過光纖電纜的光脈衝）、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構（ISA，Industry Standard Architecture）指令、機器指令、機器相關指令、偽代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括對像導向的程式設計語言—諸如Smalltalk、C++等，以及常規的過程式程式設計語言例如C語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路—包括局域網（LAN，Local Area Network）或廣域網路（WAN，Wide Area Network）連接到使用者電腦，或者，可以連接到外部電腦（例如利用網際網路服務提供者來通過網際網路連接）。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列或可程式設計邏輯陣列，該電子電路可以執行電腦可讀程式指令，從而實現本發明實施例的各個方面。
這裡參照根據本發明實施例的方法、裝置（系統）和電腦程式產品的流程圖和/或方塊圖描述了本發明實施例的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本發明實施例的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
該電腦程式產品可以通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式產品可以體現為電腦儲存介質，在另一個可選實施例中，電腦程式產品具體體現為軟體產品，例如軟體發展包（SDK，Software Development Kit）等等。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
工業實用性 本發明實施例涉及一種圖像處理方法、電子設備和電腦可讀儲存介質。所述方法包括：獲取目標圖像的目標關鍵點；對所述目標圖像中的目標對像進行分割，得到所述目標對像的分割結果；獲取所述目標對像的處理類型；根據所述目標關鍵點、所述分割結果以及所述處理類型，確定所述目標對像的至少一個處理參數。通過上述過程，可以提升圖像處理的精度和準確性。
21:內側應力集中階段 22:脛骨近端截骨階段 23:力線向外側轉移階段 24:內側壓力緩解階段 31:內側閉合式 32:外側閉合式 33:內側開放式 34:外側開放式 41:股骨頭中心 42:踝關節中心 51:目標關鍵點 61:股骨頭中心點 62:脛骨平台內側端點 63:脛骨平台外側端點 64:合頁點 65:踝關節間隙內側端點 66:踝關節間隙外側端點 67:進刀點 81:合頁點 91:輸入圖像 92:圖像預處理 93:全卷積神經網路 94:熱度圖 95:後處理 96:目標關鍵點的定位結果 101:輸入圖像 102:圖像預處理 103:全卷積神經網路 104:脛骨分割結果 105:後處理 106:左側脛骨分割結果 107:右側脛骨分割結果 110:圖像處理裝置 111:目標關鍵點獲取模組 112:分割模組 113:處理類型獲取模組 114:處理參數確定模組 800:電子設備 802:處理組件 804:記憶體 806:電源組件 808:多媒體組件 810:音頻組件 812:輸入/輸出介面 814:感測器組件 816:通信組件 820:處理器 1900:電子設備 1922:處理組件 1926:電源組件 1932:記憶體 1950:網路介面 1958:輸入輸出介面 S11~S14:步驟
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明實施例的實施例，並與說明書一起用於說明本發明實施例的技術方案。 圖1示出根據本發明一實施例的圖像處理方法的流程圖。 圖2示出根據本發明一實施例的脛骨高位截骨的原理示意圖。 圖3示出根據本發明一實施例的脛骨對像的處理類型示意圖。 圖4示出根據本發明一實施例的脛骨高位截骨的X光片示意圖。 圖5示出根據本發明一實施例的第一熱度圖和第二熱度圖的示意圖。 圖6示出根據本發明一實施例的獲取處理參數的示意圖。 圖7示出根據本發明一實施例的藤澤點示意圖。 圖8示出根據本發明一實施例的第二處理參數示意圖。 圖9示出根據本發明一應用示例中目標關鍵點的自動定位示意圖。 圖10示出根據本發明一應用示例中脛骨的自動分割示意圖。 圖11示出根據本發明一實施例的圖像處理裝置的方塊圖。 圖12示出根據本發明實施例的一種電子設備的方塊圖。 圖13示出根據本發明實施例的一種電子設備的方塊圖。
S11~S14:步驟

Claims (14)

  1. 一種圖像處理方法，包括：獲取目標圖像的目標關鍵點；對所述目標圖像中的目標對像進行分割，得到所述目標對像的分割結果；獲取所述目標對像的處理類型；根據所述目標關鍵點、所述分割結果以及所述處理類型，確定所述目標對像的至少一個處理參數。
  2. 根據請求項1所述的方法，其中，所述獲取目標圖像的目標關鍵點，包括： 對所述目標圖像進行關鍵點檢測，得到至少兩個包含置信度的目標關鍵點。
  3. 根據請求項1所述的方法，其中，所述獲取目標圖像的目標關鍵點，包括： 對所述目標圖像進行關鍵點檢測，得到至少兩個目標關鍵點分別對應的熱度圖； 獲取至少兩個所述熱度圖對應的所述目標關鍵點的座標以及置信度。
  4. 根據請求項1所述的方法，其中，所述獲取目標圖像的目標關鍵點，包括： 對所述目標圖像進行關鍵點檢測，得到至少兩個目標關鍵點分別對應的第一熱度圖和第二熱度圖，其中，所述第一熱度圖對應的所述目標關鍵點的回應範圍大於所述第二熱度圖對應的所述目標關鍵點的回應範圍；從所述第一熱度圖中確定第一關鍵點，根據所述第一熱度圖，得到所述第一關鍵點的第一置信度；根據所述第一置信度，從所述第二熱度圖中確定第二關鍵點，結合所述第二熱度圖，得到所述第二關鍵點的第二置信度；根據所述第二置信度，將所述第一關鍵點或所述第二關鍵點確定為所述目標圖像中的目標關鍵點，並得到與所述目標關鍵點對應的置信度。
  5. 根據請求項4所述的方法，其中，所述根據所述第一置信度，從所述第二熱度圖中確定第二關鍵點，結合所述第二熱度圖，得到所述第二關鍵點的第二置信度，包括： 在所述第一置信度大於第一置信度閾值的情況下，根據所述第一關鍵點在所述第一熱度圖中的位置確定回應區域，從所述第二熱度圖的所述回應區域內中確定第二關鍵點，根據所述第二熱度圖的所述回應區域，得到所述第二關鍵點的第二置信度； 在所述第一置信度不大於所述第一置信度閾值的情況下，從所述第二熱度圖中確定第二關鍵點，根據所述第二熱度圖，得到所述第二關鍵點的第二置信度。
  6. 根據請求項4或5所述的方法，其中，所述根據所述第二置信度，將所述第一關鍵點或所述第二關鍵點確定為所述目標圖像中的目標關鍵點，並得到與所述目標關鍵點對應的置信度，包括： 在所述第二置信度大於第二置信度閾值的情況下，將所述第二關鍵點確定為所述目標圖像中的目標關鍵點，將所述第二置信度作為與所述目標關鍵點對應的置信度； 在所述第二置信度不大於所述第二置信度閾值的情況下，將所述第一關鍵點確定為所述目標圖像中的目標關鍵點，將所述第一置信度作為與所述目標關鍵點對應的置信度。
  7. 根據請求項2至5中任一項所述的方法，其中，所述對所述目標圖像進行關鍵點檢測，包括：將所述目標圖像輸入至第一神經網路進行關鍵點檢測。
  8. 根據請求項7所述的方法，其中，所述第一神經網路通過包含目標關鍵點位置標注的訓練圖像進行訓練，所述訓練包括：根據所述目標關鍵點位置標注，生成與所述目標關鍵點位置對應的目標熱度圖；將所述訓練圖像輸入至所述第一神經網路，得到所述第一神經網路輸出的熱度圖；根據所述輸出的熱度圖與所述目標熱度圖，確定所述第一神經網路的損失函數；根據所述損失函數，調整所述第一神經網路的至少一個參數。
  9. 根據請求項1至5中任一項所述的方法，其中，所述獲取所述目標對像的處理類型，包括：根據所述目標關鍵點，確定所述目標對像的處理類型。
  10. 根據請求項1至5中任一項所述的方法，其中，所述目標關鍵點為至少兩個，所述至少一個處理參數包括第一處理參數和第二處理參數，所述根據所述目標關鍵點、所述分割結果以及所述處理類型，確定所述目標對像的至少一個處理參數，包括： 根據所述處理類型，確定所述目標對像待獲取的第一處理參數和第二處理參數； 根據至少兩個所述目標關鍵點以及所述分割結果，獲取所述第一處理參數； 根據至少三個所述目標關鍵點，結合所述第一處理參數，獲取所述第二處理參數。
  11. 根據請求項1至5中任一項所述的方法，其中，所述目標圖像包括經過預處理的圖像，所述預處理包括圖像標準化和/或圖像增強。
  12. 根據請求項1至5中任一項所述的方法，其中，所述目標對像包括脛骨對像；所述處理類型包括：內側閉合式、外側閉合式、內側開放式或外側開放式；所述至少一個處理參數包括進刀點、合頁點、目標力線、處理角度以及處理距離中的一個或多個。
  13. 一種電子設備，包括：處理器；配置為儲存所述處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行請求項1至12中任一項所述的方法。
  14. 一種電腦可讀儲存介質，所述儲存介質上儲存有電腦程式指令，其中，所述電腦程式指令被處理器執行時實現請求項1至12中任一項所述的方法。
TW110116123A 2020-07-07 2021-05-04 圖像處理方法、電子設備和電腦可讀儲存介質 TW202203153A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010646714.5 2020-07-07
CN202010646714.5A CN111768399A (zh) 2020-07-07 2020-07-07 图像处理方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
TW202203153A true TW202203153A (zh) 2022-01-16

Family

ID=72724799

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110116123A TW202203153A (zh) 2020-07-07 2021-05-04 圖像處理方法、電子設備和電腦可讀儲存介質

Country Status (5)

Country Link
JP (1) JP2022542780A (zh)
KR (1) KR20220013404A (zh)
CN (1) CN111768399A (zh)
TW (1) TW202203153A (zh)
WO (1) WO2022007342A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018834A (zh) * 2022-08-08 2022-09-06 山东光岳九州半导体科技有限公司 一种半导体晶片图像对准方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768399A (zh) * 2020-07-07 2020-10-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112348892A (zh) * 2020-10-29 2021-02-09 上海商汤智能科技有限公司 点定位方法及相关装置、设备
CN113610102A (zh) * 2021-06-23 2021-11-05 浙江大华技术股份有限公司 分割网络的训练及目标分割方法、相关设备
KR102395664B1 (ko) * 2022-01-26 2022-05-09 주식회사 몰팩바이오 Hsv 색 공간과 clahe를 이용한 병리 슬라이드 이미지 색감 표준화 방법 및 장치
CN115131301B (zh) * 2022-06-15 2023-04-18 北京长木谷医疗科技有限公司 基于深度学习的智能识别骨关节炎的方法及系统
CN115225710B (zh) * 2022-06-17 2024-06-07 中国电信股份有限公司 数据包的传输方法、装置、电子设备及存储介质
CN115187821B (zh) * 2022-07-05 2024-03-22 阿波罗智能技术(北京)有限公司 验证模型转换前后正确性的方法、相关装置及程序产品
CN115908385A (zh) * 2022-12-22 2023-04-04 上海媒智科技有限公司 一种基于深度学习的橡胶管缺陷检测方法和系统
CN116327357A (zh) * 2023-03-09 2023-06-27 天津市天津医院 基于深度学习的膝关节模拟手术自动规划方法及系统
CN117152287B (zh) * 2023-08-31 2024-10-18 北京百度网讯科技有限公司 图像编辑方法、装置、设备、介质及产品
CN117058149B (zh) * 2023-10-12 2024-01-02 中南大学 一种用于训练识别骨关节炎的医学影像测量模型的方法
CN117830570B (zh) * 2023-12-29 2024-10-29 武汉爱尔眼科洪山医院有限公司 基于机器学习的icl植入方法、系统、设备及可读存储介质
CN117975569A (zh) * 2024-02-29 2024-05-03 欧亚高科数字技术有限公司 一种虚拟仿真的麻醉师动作捕捉方法
CN118655831A (zh) * 2024-08-14 2024-09-17 宝鸡核力材料科技有限公司 一种钛合金金属加工过程中的工艺参数调节方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7157765B2 (ja) * 2017-05-09 2022-10-20 ハートフロー， インコーポレイテッド 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法
CN108205655B (zh) * 2017-11-07 2020-08-11 北京市商汤科技开发有限公司 一种关键点预测方法、装置、电子设备及存储介质
CN110533639B (zh) * 2019-08-02 2022-04-15 杭州依图医疗技术有限公司 一种关键点定位方法及装置
CN111768400A (zh) * 2020-07-07 2020-10-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111768399A (zh) * 2020-07-07 2020-10-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018834A (zh) * 2022-08-08 2022-09-06 山东光岳九州半导体科技有限公司 一种半导体晶片图像对准方法
CN115018834B (zh) * 2022-08-08 2022-10-25 山东光岳九州半导体科技有限公司 一种半导体晶片图像对准方法

Also Published As

Publication number Publication date
JP2022542780A (ja) 2022-10-07
WO2022007342A1 (zh) 2022-01-13
KR20220013404A (ko) 2022-02-04
CN111768399A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
TW202203153A (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
TWI755853B (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
TWI770754B (zh) 神經網路訓練方法及電子設備和儲存介質
WO2022151755A1 (zh) 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序
WO2021147257A1 (zh) 网络训练、图像处理方法及装置、电子设备和存储介质
TWI755175B (zh) 圖像分割方法、電子設備和儲存介質
CN112767329B (zh) 图像处理方法及装置、电子设备
TW202209254A (zh) 圖像分割方法、電子設備和電腦可讀儲存介質
CN107833219B (zh) 图像识别方法及装置
WO2021057174A1 (zh) 图像处理方法及装置、电子设备、存储介质和计算机程序
CN113222038B (zh) 基于核磁图像的乳腺病灶分类和定位方法及装置
CN109791692A (zh) 使用来自感兴趣区域的不同视角的多个图像进行计算机辅助检测以提高检测准确度
TWI767614B (zh) 圖像處理方法及電子設備、電腦可讀儲存介質
CN111768400A (zh) 图像处理方法及装置、电子设备和存储介质
WO2021259391A2 (zh) 图像处理方法及装置、电子设备和存储介质
TWI765386B (zh) 神經網路訓練及圖像分割方法、電子設備和電腦儲存介質
WO2022156235A1 (zh) 神经网络训练和图像处理方法及装置、电子设备及存储介质
CN114820584B (zh) 肺部病灶定位装置
WO2022125930A1 (en) Self-supervised machine learning for medical image analysis
JP2022548453A (ja) 画像分割方法及び装置、電子デバイス並びに記憶媒体
US20220301718A1 (en) System, Device, and Method of Determining Anisomelia or Leg Length Discrepancy (LLD) of a Subject by Using Image Analysis and Machine Learning
CN111723859A (zh) 一种基于弱标签的目标定位方法及系统
Yang et al. Disparity refinement framework for learning-based stereo matching methods in cross-domain setting for laparoscopic images
Hu et al. Homographic patch feature transform: a robustness registration for gastroscopic surgery
Khan et al. Transformative Deep Neural Network Approaches in Kidney Ultrasound Segmentation: Empirical Validation with an Annotated Dataset