TWI772932B - 圖像處理及神經網路訓練方法、電子設備和電腦儲存介質 - Google Patents

圖像處理及神經網路訓練方法、電子設備和電腦儲存介質 Download PDF

Info

Publication number
TWI772932B
TWI772932B TW109136759A TW109136759A TWI772932B TW I772932 B TWI772932 B TW I772932B TW 109136759 A TW109136759 A TW 109136759A TW 109136759 A TW109136759 A TW 109136759A TW I772932 B TWI772932 B TW I772932B
Authority
TW
Taiwan
Prior art keywords
pixel point
branch
tracked
pixel
tracking
Prior art date
Application number
TW109136759A
Other languages
English (en)
Other versions
TW202119357A (zh
Inventor
李卓威
夏清
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202119357A publication Critical patent/TW202119357A/zh
Application granted granted Critical
Publication of TWI772932B publication Critical patent/TWI772932B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本發明實施例提出了一種圖像處理及神經網路訓練方法、電子設備和電腦儲存介質，圖像處理方法包括：獲取待處理圖像；基於所述待處理圖像的待追蹤目標上當前的像素點，確定出所述待追蹤目標上至少一個待選的像素點； 基於所述當前的像素點與所述至少一個待選的像素點，結合預設的待追蹤目標的真值，得到所述至少一個待選的像素點的評價值；根據所述至少一個待選的像素點的評價值，對所述當前的像素點進行追蹤，得到當前的像素點的下一像素點。

Description

圖像處理及神經網路訓練方法、電子設備和電腦儲存介質
本發明關於圖像分析技術，關於但不限於一種圖像處理及神經網路訓練方法、電子設備和電腦儲存介質。
在相關技術中，針對待追蹤目標如血管樹，進行像素點的提取有助於對待追蹤目標進行進一步研究，例如，針對心臟冠脈、顱腦血管等較為複雜的血管，如何進行血管圖像像素點的提取，逐漸稱為研究的熱點；然而，在相關技術中，如何實現對待追蹤目標的像素點追蹤和提取，是亟待解決的技術問題。
本發明實施例期望提供一種圖像處理及神經網路訓練方法、電子設備和電腦儲存介質。
本發明實施例提供了一種圖像處理方法，所述方法包括： 獲取待處理圖像； 基於所述待處理圖像的待追蹤目標上當前的像素點，確定出所述待追蹤目標上至少一個待選的像素點； 基於所述當前的像素點與所述至少一個待選的像素點，結合預設的待追蹤目標的真值，得到所述至少一個待選的像素點的評價值； 根據所述至少一個待選的像素點的評價值，對所述當前的像素點進行追蹤，得到所述當前的像素點的下一像素點。
可以看出，本發明實施例中，針對待追蹤目標，可以根據待選的像素點的評價值，從當前像素點確定出下一個像素點，即，能夠準確地實現對待追蹤目標的像素點追蹤和提取。
在本發明的一些實施例中，上述圖像處理方法還包括：在基於所述待處理圖像的待追蹤目標上當前的像素點，確定出所述待追蹤目標上至少一個待選的像素點之前，判斷所述當前的像素點是否位於所述待追蹤目標上多個分支之間的交叉點，若是，則選擇所述多個分支中的一個支路，從選擇的所述支路上的像素中選擇所述待選的像素點。
可以看出，通過判斷當前像素點是否位於待追蹤目標上各分支之間的交叉點，可以實現各個支路的像素點追蹤，也就是說，在待追蹤目標具有分支時，本發明實施例可以實現對待追蹤目標的支路的像素點追蹤。
在本發明的一些實施例中，所述選擇所述多個分支中的一個支路，包括： 基於所述當前的像素點和所述多個支路的像素點，結合所述預設的待追蹤目標的真值，得到所述多個支路中每個支路的評價值； 根據所述多個支路中每個支路的評價值，從所述多個支路中選擇一個支路。
可以看出，本發明實施例中，針對待追蹤目標的交叉點，可以根據多個支路的評價值，從多個支路中選擇一個支路，即，能夠準確且合理地選擇交叉點的支路。
在本發明的一些實施例中，所述根據所述多個支路中每個支路的評價值，從所述多個支路中選擇一個支路，包括：
在所述多個支路中，選擇評價值最高的一個支路。
可以看出，選擇的支路為評價值最高的支路，而支路的評價值是根據待追蹤目標的真值得出的，因而，選擇的支路更加準確。
在本發明的一些實施例中，上述圖像處理方法還包括： 回應於對選擇的支路的像素點進行追蹤，且確定滿足預設的支路追蹤停止條件的情況， 針對未完成像素點追蹤的交叉點，重新選擇一個未進行像素點追蹤的支路，對選擇的支路進行像素點追蹤；所述未完成像素點追蹤的交叉點具有未進行像素點追蹤的支路； 回應於不存在未完成像素點追蹤的交叉點的情況，確定各個交叉點的各個支路的像素點追蹤完成。
可以看出，通過對各個交叉點的各個支路進行像素點追蹤，可以實現對整個待追蹤目標的像素點追蹤任務。
在本發明的一些實施例中，所述重新選擇一個未進行像素點追蹤的支路，包括： 基於所述未完成像素點追蹤的交叉點和所述交叉點的各個未進行像素點追蹤的支路的像素點，結合預設的待追蹤目標的真值，得到所述各個未進行像素點追蹤的支路的評價值； 根據所述各個未進行像素點追蹤的支路的評價值，從所述各個未進行像素點追蹤的支路中選擇一個支路。
可以看出，本發明實施例中，針對待追蹤目標的為進行像素點追蹤的交叉點，可以根據未進行像素點追蹤的各個支路的評價值，從各個未進行像素點追蹤的支路中選擇一個支路，即，能夠準確且合理地選擇交叉點的支路。
在本發明的一些實施例中，所述根據所述各個未進行像素點追蹤的支路的評價值，從所述各個未進行像素點追蹤的支路中選擇一個支路，包括： 在所述各個未進行像素點追蹤的支路中，選擇評價值最高的一個支路。
可以看出，選擇的支路為未進行像素點追蹤的各個支路中評價值最高的支路，而支路的評價值是根據待追蹤目標的真值得出的，因而，選擇的支路更加準確。
在本發明的一些實施例中，所述預設的支路追蹤停止條件包括以下至少之一： 追蹤到的下一個像素點處於預先確定的待追蹤目標的末端； 追蹤到的下一個像素點的空間熵值大於預設空間熵值； 連續N次得到的追蹤路線夾角大於設定角度閾值，每次得到追蹤路線夾角表示相鄰兩次得到的追蹤路線的夾角，每次得到的追蹤路線表示相鄰兩次追蹤到的像素點之間的連線；N為大於或等於2的整數。
待追蹤目標的末端可以預先標注，在追蹤到的下一個像素點處於預先確定的待追蹤目標的末端時，說明對應的支路無需再進行像素點追蹤，此時可以停止對相應支路進行像素點追蹤，可以提高像素點追蹤的準確性；像素點的空間熵值可以表示像素點的不穩定性，像素點的空間熵值越高，說明像素點的不穩定性越高，在當前支路不合適繼續進行像素點追蹤，此時，可以跳轉到交叉點繼續進行像素點追蹤，可以提高像素點追蹤的準確性；連續N次得到的追蹤路線夾角大於設定角度閾值時，說明最近幾次得到的追蹤路線的振盪幅度較大，因而，追蹤到的像素點的準確性較低，此時，通過停止對相應支路進行像素點追蹤，可以提高像素點追蹤的準確性。
在本發明的一些實施例中，所述根據所述至少一個待選的像素點的評價值，對所述當前的像素點進行追蹤，得到所述當前的像素點的下一像素點，包括： 從所述至少一個待選的像素點，選擇評價值最高的像素點；將選擇的所述評價值最高的像素點確定為所述當前像素點的下一個像素點。
可以看出，下一個像素點為待選的像素點中評價值最高的像素點，而像素點的評價值是根據待追蹤目標的真值得出的，因而，得出的下一個像素點更加準確。
在本發明的一些實施例中，所述待追蹤目標為血管樹。
可以看出，本發明實施例中，針對血管樹，可以根據待選的像素點的評價值，從當前像素點確定出下一個像素點，即，能夠準確地實現對血管樹的像素點追蹤和提取。
本發明實施例還提供了一種神經網路訓練方法，包括： 獲取樣本圖像； 將所述樣本圖像輸入至初始神經網路，利用所述初始神經網路執行以下步驟：基於所述待處理圖像的待追蹤目標上當前的像素點，確定出所述待追蹤目標上至少一個待選的像素點； 基於所述當前的像素點與所述至少一個待選的像素點，結合預設的待追蹤目標的真值，得到所述至少一個待選的像素點的評價值；根據所述至少一個待選的像素點的評價值，對所述當前的像素點進行追蹤，得到所述當前的像素點的下一像素點； 根據追蹤得到的各個像素點和預設的待追蹤目標的真值，調整所述初始神經網路的網路參數值； 重複執行上述步驟，直至基於網路參數值調整後的初始神經網路得到的各個像素點滿足預設的精度需求，得到訓練完成的神經網路。
可以看出，在本發明實施例中，在對神經網路進行訓練時，針對待追蹤目標，可以根據待選的像素點的評價值，從當前像素點確定出下一個像素點，即，能夠準確地實現對待追蹤目標的像素點追蹤和提取，如此，可以使得訓練完成的神經網路準確地實現對待追蹤目標的像素點追蹤和提取。
本發明實施例還提供了一種圖像處理裝置，所述裝置包括：第一獲取模組和第一處理模組；其中： 第一獲取模組，配置為獲取待處理圖像； 第一處理模組，配置為基於所述待處理圖像的待追蹤目標上當前的像素點，確定出所述待追蹤目標上至少一個待選的像素點；基於所述當前的像素點與所述至少一個待選的像素點，結合預設的待追蹤目標真值，得到所述至少一個待選的像素點的評價值；根據所述至少一個待選的像素點的評價值，對所述當前的像素點進行追蹤，得到所述當前的像素點的下一像素點。
可以看出，本發明實施例中，針對待追蹤目標，可以根據待選的像素點的評價值，從當前像素點確定出下一個像素點，即，能夠準確地實現對待追蹤目標的像素點追蹤和提取。
在本發明的一些實施例中，所述第一處理模組，還配置為在基於所述待處理圖像的待追蹤目標上當前的像素點，確定出所述待追蹤目標上至少一個待選的像素點之前，判斷所述當前的像素點是否位於所述待追蹤目標上多個分支之間的交叉點，若是，則選擇所述多個分支中的一個支路，從選擇的所述支路上的像素中選擇所述待選的像素點。
可以看出，通過判斷當前像素點是否位於待追蹤目標上各分支之間的交叉點，可以實現各個支路的像素點追蹤，也就是說，在待追蹤目標具有分支時，本發明實施例可以實現對待追蹤目標的支路的像素點追蹤。
在本發明的一些實施例中，所述第一處理模組，配置為基於所述當前的像素點和所述多個支路的像素點，結合所述預設的待追蹤目標的真值，得到所述多個支路中每個支路的評價值；根據所述多個支路中每個支路的評價值，從所述多個支路中選擇一個支路。
可以看出，本發明實施例中，針對待追蹤目標的交叉點，可以根據多個支路的評價值，從多個支路中選擇一個支路，即，能夠準確且合理地選擇交叉點的支路。
在本發明的一些實施例中，所述第一處理模組，配置為在所述多個支路中，選擇評價值最高的一個支路。
可以看出，選擇的支路為評價值最高的支路，而支路的評價值是根據待追蹤目標的真值得出的，因而，選擇的支路更加準確。
在本發明的一些實施例中，所述第一處理模組，還配置為： 回應於對選擇的支路的像素點進行追蹤，且確定滿足預設的支路追蹤停止條件的情況， 針對未完成像素點追蹤的交叉點，重新選擇一個未進行像素點追蹤的支路；對選擇的支路進行像素點追蹤；所述未完成像素點追蹤的交叉點具有未進行像素點追蹤的支路； 回應於不存在未完成像素點追蹤的交叉點的情況，確定各個交叉點的各個支路的像素點追蹤完成。
可以看出，通過對各個交叉點的各個支路進行像素點追蹤，可以實現對整個待追蹤目標的像素點追蹤任務。
在本發明的一些實施例中，所述第一處理模組，配置為基於所述未完成像素點追蹤的交叉點和所述交叉點的各個未進行像素點追蹤的支路的像素點，結合預設的待追蹤目標的真值，得到所述各個未進行像素點追蹤的支路的評價值；根據所述各個未進行像素點追蹤的支路的評價值，從所述各個未進行像素點追蹤的支路中選擇一個支路。
可以看出，本發明實施例中，針對待追蹤目標的為進行像素點追蹤的交叉點，可以根據未進行像素點追蹤的各個支路的評價值，從各個未進行像素點追蹤的支路中選擇一個支路，即，能夠準確且合理地選擇交叉點的支路。
在本發明的一些實施例中，所述第一處理模組，配置為在所述各個未進行像素點追蹤的支路中，選擇評價值最高的一個支路。
可以看出，選擇的支路為未進行像素點追蹤的各個支路中評價值最高的支路，而支路的評價值是根據待追蹤目標的真值得出的，因而，選擇的支路更加準確。
在本發明的一些實施例中，所述預設的支路追蹤停止條件包括以下至少之一： 追蹤到的下一個像素點處於預先確定的待追蹤目標的末端； 追蹤到的下一個像素點的空間熵值大於預設空間熵值； 連續N次得到的追蹤路線夾角大於設定角度閾值，每次得到追蹤路線夾角表示相鄰兩次得到的追蹤路線的夾角，每次得到的追蹤路線表示相鄰兩次追蹤到的像素點之間的連線；N為大於或等於2的整數。
待追蹤目標的末端可以預先標注，在追蹤到的下一個像素點處於預先確定的待追蹤目標的末端時，說明對應的支路無需再進行像素點追蹤，此時可以停止對相應支路進行像素點追蹤，可以提高像素點追蹤的準確性；像素點的空間熵值可以表示像素點的不穩定性，像素點的空間熵值越高，說明像素點的不穩定性越高，在當前支路不合適繼續進行像素點追蹤，此時，可以跳轉到交叉點繼續進行像素點追蹤，可以提高像素點追蹤的準確性；連續N次得到的追蹤路線夾角大於設定角度閾值時，說明最近幾次得到的追蹤路線的振盪幅度較大，因而，追蹤到的像素點的準確性較低，此時，通過停止對相應支路進行像素點追蹤，可以提高像素點追蹤的準確性。
在本發明的一些實施例中，所述第一處理模組，配置為從所述至少一個待選的像素點，選擇評價值最高的像素點；將選擇的所述評價值最高的像素點確定為所述當前像素點的下一個像素點。
可以看出，下一個像素點為待選的像素點中評價值最高的像素點，而像素點的評價值是根據待追蹤目標的真值得出的，因而，得出的下一個像素點更加準確。
在本發明的一些實施例中，所述待追蹤目標為血管樹。
可以看出，本發明實施例中，針對血管樹，可以根據待選的像素點的評價值，從當前像素點確定出下一個像素點，即，能夠準確地實現對血管樹的像素點追蹤和提取。
本發明實施例還提供了一種神經網路訓練裝置，所述裝置包括：第二獲取模組、第二處理模組、調整模組和第三處理模組；其中： 第二獲取模組，配置為獲取樣本圖像； 第二處理模組，配置為將所述樣本圖像輸入至未經訓練的初始神經網路，利用所述初始神經網路執行以下步驟：基於所述待處理圖像的待追蹤目標上當前的像素點，確定出所述待追蹤目標上至少一個待選的像素點； 基於所述當前的像素點與所述至少一個待選的像素點，結合預設的待追蹤目標的真值，得到所述至少一個待選的像素點的評價值；根據所述至少一個待選的像素點的評價值，對所述當前的像素點進行追蹤，得到所述當前的像素點的下一像素點； 調整模組，配置為根據追蹤得到的各個像素點和預設的待追蹤目標的真值，調整所述初始神經網路的網路參數值； 第三處理模組，配置為重複執行上述獲取所述樣本圖像、利用所述初始神經網路對所述樣本圖像進行處理、以及調整所述初始神經網路的網路參數值的步驟，直至基於網路參數值調整後的初始神經網路得到的各個像素點滿足預設的精度需求，得到訓練完成的神經網路。
本發明實施例還提供了一種電子設備，包括處理器和配置為儲存能夠在處理器上運行的電腦程式的記憶體；其中： 所述處理器配置為運行所述電腦程式時，執行上述任意一種圖像處理方法或上述任意一種神經網路訓練方法。
本發明實施例還提供了一種電腦儲存介質，其上儲存有電腦程式，該電腦程式被處理器執行時實現上述任意一種圖像處理方法或上述任意一種神經網路訓練方法。
本發明實施例還提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現上述任意一種圖像處理方法或上述任意一種神經網路訓練方法。
本發明實施例提出的圖像處理及神經網路訓練方法、裝置、電子設備、電腦儲存介質和電腦程式中，獲取待處理圖像；基於所述待處理圖像的血管樹上當前的像素點，確定出所述血管樹上至少一個待選的像素點； 基於所述當前的像素點與所述至少一個待選的像素點，結合預設的血管樹真值，得到所述至少一個待選的像素點的評價值；根據所述至少一個待選的像素點的評價值，對所述當前的像素點進行追蹤，得到當前的像素點的下一像素點。如此，本發明實施例中，針對待追蹤目標，可以根據待選的像素點的評價值，從當前像素點確定出下一個像素點，即，能夠準確地實現對待追蹤目標的像素點追蹤和提取。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。
以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所提供的實施例僅僅用以解釋本發明，並不用於限定本發明。另外，以下所提供的實施例是用於實施本發明的部分實施例，而非提供實施本發明的全部實施例，在不衝突的情況下，本發明實施例記載的技術方案可以任意組合的方式實施。
需要說明的是，在本發明實施例中，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的方法或者裝置不僅包括所明確記載的要素，而且還包括沒有明確列出的其他要素，或者是還包括為實施方法或者裝置所固有的要素。在沒有更多限制的情況下，由語句“包括一個......”限定的要素，並不排除在包括該要素的方法或者裝置中還存在另外的相關要素(例如方法中的步驟或者裝置中的單元，例如的單元可以是部分電路、部分處理器、部分程式或軟體等等)。
本文中術語“和/或”，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
例如，本發明實施例提供的圖像處理及神經網路訓練方法包含了一系列的步驟，但是本發明實施例提供的圖像處理及神經網路訓練方法不限於所記載的步驟，同樣地，本發明實施例提供的圖像處理及神經網路訓練裝置包括了一系列模組，但是本發明實施例提供的裝置不限於包括所明確記載的模組，還可以包括為獲取相關資訊、或基於資訊進行處理時所需要設置的模組。
本發明實施例可以應用於終端和伺服器組成的電腦系統中，並可以與眾多其它通用或專用計算系統環境或配置一起操作。這裡，終端可以是瘦客戶機、厚客戶機、手持或膝上設備、基於微處理器的系統、機上盒、可程式設計消費電子產品、網路個人電腦、小型電腦系統，等等，伺服器可以是伺服器電腦系統小型電腦系統、大型電腦系統和包括上述任何系統的分散式雲計算技術環境，等等。
終端、伺服器等電子設備可以在由電腦系統執行的電腦系統可執行指令(諸如程式模組)的一般語境下描述。通常，程式模組可以包括常式、程式、目的程式、元件、邏輯、資料結構等等，它們執行特定的任務或者實現特定的抽象資料類型。電腦系統/伺服器可以在分散式雲計算環境中實施，分散式雲計算環境中，任務是由通過通信網路連結的遠端處理設備執行的。在分散式雲計算環境中，程式模組可以位於包括存放裝置的本地或遠端計算系統儲存介質上。
在相關技術中，隨著深度學習以及強化學習研究的深入及推廣，兩者結合產生的深度強化學習（Deep Reinforcement Learning，DRL）方法近些年在人工智慧、機器人領域等取得重要成果；示例性地，可以採用DRL方法對血管中心線進行提取，具體地，可以將血管中心線提取任務構造成順序決策模型從而使用DRL模型進行訓練學習，但是上述血管中心線的提取方法僅限於單根血管的簡單結構模型，無法處理類似於心臟冠脈、顱腦血管等更為複雜的樹狀結構。
針對上述技術問題，在本發明的一些實施例中，提出了一種圖像處理方法。
圖1A為本發明實施例的圖像處理方法的流程圖，如圖1A所示，該流程可以包括如下步驟。
步驟101：獲取待處理圖像。
本發明實施例中，待處理圖像可以是包括待追蹤目標的圖像，待追蹤目標可以包括多個分支。在本發明的一些實施例中，待追蹤目標為血管樹，血管樹表示具有樹狀結構的血管，樹狀血管至少包含一個分叉點；在本發明的一些實施例中，樹狀血管可以是心臟冠狀動脈、顱腦血管等；待處理圖像可以是三維醫學圖像或其它含有樹狀血管的圖像，在本發明的一些實施例中，可以基於心臟冠狀動脈造影，得到包括心臟冠狀動脈的三維圖像。
步驟102：基於待處理圖像的待追蹤目標上當前的像素點，確定出待追蹤目標上至少一個待選的像素點。
這裡，待追蹤目標上當前的像素點可以是待追蹤目標的任意一個像素點，在本發明的一些實施例中，在待追蹤目標為血管樹的情況下，血管樹上當前的像素點可以表示血管樹的任意一點，在本發明的一些實施例中，血管樹上當前的像素點可以是血管樹中心線上的像素點或血管樹上的其它像素點，本發明實施例對此並不進行限定。
本發明實施例中，待追蹤目標上至少一個待選的像素點可以是與當前的像素點相鄰的像素點，因而，在確定待處理圖像的待追蹤目標上當前的像素點後，可以根據像素點的位置官司，確定出待追蹤目標上至少一個待選的像素點。
在本發明的一些實施例中，可以根據預先獲取的待追蹤目標的結構資訊，確定當前像素點所在的局部的像素點連線趨勢，然後，可以結合待追蹤目標的具備形狀和尺寸資訊，計算出至少一個待選的像素點。
步驟103：基於當前的像素點與至少一個待選的像素點，結合預設的待追蹤目標的真值，得到至少一個待選的像素點的評價值。
這裡，預設的待追蹤目標的真值可以表示預先標注的待追蹤目標上的像素點連線，像素點連線可以表示待追蹤目標的路徑結構資訊。在實際應用中，可以針對待追蹤目標，通過人工手動的方式標注出表示待追蹤目標路徑的像素點連線；在本發明的一些實施例中，在待追蹤目標為血管樹時，可以標注出血管樹的中心線，將標注出的血管樹的中心線作為血管樹的真值；需要說明的是，上述僅僅是對待追蹤目標的真值進行了示例性說明，本發明實施例並不局限於此。
本發明實施例中，待選的像素點的評價值可以表示待選的像素點作為當前的像素點的下一個像素點的適合程度，在實際實施時，可以根據預設的待追蹤目標的真值，判斷每個待選的像素點作為下一個像素點的適合程度，待選的像素點作為下一個像素點的適合程度越高，則待選的像素點的評價值越高；在本發明的一些實施例中，可以確定待選的像素點作為下一個像素點時，當前像素點到下一個像素點的連線與預設的待追蹤目標的真值的匹配程度，匹配程度越高，則待選的像素點的評價值越高。
步驟104：根據至少一個待選的像素點的評價值，對當前的像素點進行追蹤，得到下一像素點。
對於本步驟的實現方式，示例性地，可以從至少一個待選的像素點，選擇評價值最高的像素點；將選擇的評價值最高的像素點確定為下一個像素點。
可以看出，下一個像素點為待選的像素點中評價值最高的像素點，而像素點的評價值是根據待追蹤目標的真值得出的，因而，得出的下一個像素點更加準確。
在實際應用中，當前像素點是不斷變化的，在本發明的一些實施例中，可以從待追蹤目標的起始點開始，對像素點進行追蹤；即，將待追蹤目標的起始點作為當前像素點，通過像素點追蹤得到下一個像素點；然後將追蹤得到的像素點作為當前像素點繼續進行像素點追蹤；如此，通過重複執行步驟102至步驟104，可以提取出待追蹤目標的像素點連線。
本發明實施例中，待追蹤目標的起始點可以預先確定，待追蹤目標的起始點可以是待追蹤目標的入口的像素點或待追蹤目標的其它像素點；在本發明的一些實施例中，在待追蹤目標為血管樹時，血管樹的起始點可以是血管樹入口的像素點的其它像素點，在一個具體的示例中，血管樹為心臟冠狀動脈時，血管樹的起始點可以是心臟冠狀動脈的入口的像素點。
在本發明的一些實施例中，在待追蹤目標為血管樹，且血管樹的起始點可以是血管樹入口的中心點時，通過上述像素點追蹤過程，可以提取血管樹的中心線。
在實際應用中，可以根據使用者輸入的待追蹤目標的起始點的位置資訊，確定待追蹤目標的起始點，也可以利用訓練完成的確定待追蹤目標的起始點的神經網路，對待處理圖像進行處理，得到待追蹤目標的起始點的位置。本發明實施例中，並不對用於確定待追蹤目標的起始點的神經網路的網路結構進行限定。
在實際應用中，步驟101至步驟104可以基於圖像處理裝置的處理器實現，上述圖像處理裝置可以是使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等；上述處理器可以為特定用途積體電路（Application Specific Integrated Circuit ，ASIC）、數位訊號處理器（Digital Signal Processor，DSP）、數位信號處理裝置（Digital Signal Processing Device，DSPD）、可程式設計邏輯裝置（Programmable Logic Device，PLD）、現場可程式設計閘陣列（Field Programmable Gate Array ，FPGA）、中央處理器（Central Processing Unit，CPU）、控制器、微控制器、微處理器中的至少一種。可以理解地，對於不同的電子設備，用於實現上述處理器功能的電子器件還可以為其它，本發明實施例不作具體限定。
可以看出，本發明實施例中，針對待追蹤目標，可以根據待選的像素點的評價值，從當前像素點確定出下一個像素點，即，能夠準確地實現對待追蹤目標的像素點追蹤和提取。
在本發明的一些實施例中，在基於所述待處理圖像的待追蹤目標上當前的像素點，確定出所述待追蹤目標上至少一個待選的像素點之前，還可以判斷當前的像素點是否位於待追蹤目標上多個分支之間的交叉點，如果當前的像素點位於待追蹤目標上多個分支之間的交叉點，則選擇多個分支的一個支路，從選擇的所述支路上的像素中選擇待選的像素點，即，對選擇的支路的像素點進行追蹤，在本發明的一些實施例中，在選擇多個分支的一個支路後，可以針對選擇的支路，執行步驟102至步驟104，實現對選擇的支路的像素點追蹤。如果當前的像素點不位於待追蹤目標上多個分支之間的交叉點，則直接執行步驟102至步驟104，確定出當前像素點的下一個像素點作為當前像素點。
在本發明的一些實施例中，可以基於二分類神經網路判斷當前的像素點是否位於待追蹤目標上多個分支之間的交叉點。本發明實施例中，並不對二分類神經網路的網路結構進行限定，只要二分類神經網路能夠判斷當前的像素點是否位於待追蹤目標上多個分支之間的交叉點即可；例如，二分類神經網路的網路結構可以是卷積神經網路（Convolutional Neural Networks，CNN）等。
可以看出，通過判斷當前的像素點是否位於待追蹤目標上多個分支之間的交叉點，可以實現多個支路的像素點追蹤，也就是說，在待追蹤目標具有分支時，本發明實施例可以實現對待追蹤目標的支路的像素點追蹤。
可以理解地，在初始時，每個交叉點對應的各個分支均沒有進行像素點追蹤，因而，可以在各個分支的支路中，任意選擇交叉點的一個支路。
對於選擇多個分支的一個支路的實現方式，示例性地，可以基於當前的像素點和多個支路的像素點，結合預設的待追蹤目標的真值，得到多個支路中每個支路的評價值；根據多個支路中每個支路的評價值，從多個支路中選擇一個支路。
在實際實施時，可以在上述多個支路中，各自確定出待選的下一個像素點，進而，可以將下一個像素點的評價值作為對應的支路的評價值。
可以看出，本發明實施例中，針對待追蹤目標的交叉點，可以根據多個支路的評價值，從多個支路中選擇一個支路，即，能夠準確且合理地選擇交叉點的支路。
對於根據所述多個支路中每個支路的評價值，從所述多個支路中選擇一個支路的實現方式，示例性地，可以在上述多個支路中，選擇評價值最高的一個支路。
可以看出，選擇的支路為評價值最高的支路，而支路的評價值是根據待追蹤目標的真值得出的，因而，選擇的支路更加準確。
在本發明的一些實施例中，回應於對選擇的支路的像素點進行追蹤，且確定滿足預設的支路追蹤停止條件的情況， 針對未完成像素點追蹤的交叉點，重新選擇一個未進行像素點追蹤的支路；對選擇的支路進行像素點追蹤；所述未完成像素點追蹤的交叉點具有未進行像素點追蹤的支路；回應於不存在未完成像素點追蹤的交叉點的情況，確定各個交叉點的各個支路的像素點追蹤完成。
在實際實施時，在確定當前的像素點位於所述待追蹤目標上各分支之間的交叉點時，可以將交叉點加入跳轉列表，用於實現待追蹤目標的像素點追蹤過程的像素點跳轉。
在本發明的一些實施例中，在對選擇的支路的像素點進行追蹤，且確定滿足預設的支路追蹤停止條件的情況下，可以在跳轉列表中選擇一個交叉點，然後判斷選擇的交叉點是否存在對應的未進行像素點追蹤的支路，如果存在，則針對該選擇的交叉點，重新選擇一個未進行像素點追蹤的支路，對選擇的支路進行像素點追蹤；如果不存在，則可以將該交叉點從跳轉列表中刪除。
在跳轉列表中不存在交叉點時，說明不存在未完成像素點追蹤的交叉點，即各個交叉點的各個支路的像素點追蹤完成。
可以看出，通過對各個交叉點的各個支路進行像素點追蹤，可以實現對整個待追蹤目標的像素點追蹤任務。
對於重新選擇一個未進行像素點追蹤的支路的實現方式，示例性地，可以基於未完成像素點追蹤的交叉點和交叉點的各個未進行像素點追蹤的支路的像素點，結合預設的待追蹤目標的真值，得到各個未進行像素點追蹤的支路的評價值；根據各個未進行像素點追蹤的支路的評價值，從各個未進行像素點追蹤的支路中選擇一個支路。
在實際實施時，可以在交叉點對應的各個未進行像素點追蹤的支路中，各自確定出待選的下一個像素點，進而，可以將下一個像素點的評價值作為對應的支路的評價值。
可以看出，本發明實施例中，針對待追蹤目標的為進行像素點追蹤的交叉點，可以根據未進行像素點追蹤的各個支路的評價值，從各個未進行像素點追蹤的支路中選擇一個支路，即，能夠準確且合理地選擇交叉點的支路。
對於根據各個未進行像素點追蹤的支路的評價值，從各個未進行像素點追蹤的支路中選擇一個支路的實現方式，示例性地，可以在各個未進行像素點追蹤的支路中，選擇評價值最高的一個支路。
可以看出，選擇的支路為未進行像素點追蹤的各個支路中評價值最高的支路，而支路的評價值是根據待追蹤目標的真值得出的，因而，選擇的支路更加準確。
在本發明的一些實施例中，預設的支路追蹤停止條件可以包括以下至少之一： 追蹤到的下一個像素點處於預先確定的待追蹤目標的末端； 追蹤到的下一個像素點的空間熵值大於預設空間熵值； 或者，連續N次得到的追蹤路線夾角大於設定角度閾值，每次得到追蹤路線夾角表示相鄰兩次得到的追蹤路線的夾角，每次得到的追蹤路線表示相鄰兩次追蹤到的像素點之間的連線；N為大於或等於2的整數。
這裡，N為第一神經網路的超參數；設定角度閾值可以根據實際應用需求預先設置，例如，設定角度閾值大於10度。待追蹤目標的末端可以預先標注，在追蹤到的下一個像素點處於預先確定的待追蹤目標的末端時，說明對應的支路無需再進行像素點追蹤，此時可以停止對相應支路進行像素點追蹤，可以提高像素點追蹤的準確性；像素點的空間熵值可以表示像素點的不穩定性，像素點的空間熵值越高，說明像素點的不穩定性越高，在當前支路不合適繼續進行像素點追蹤，此時，可以跳轉到交叉點繼續進行像素點追蹤，可以提高像素點追蹤的準確性；連續N次得到的追蹤路線夾角大於設定角度閾值時，說明最近幾次得到的追蹤路線的振盪幅度較大，因而，追蹤到的像素點的準確性較低，此時，通過停止對相應支路進行像素點追蹤，可以提高像素點追蹤的準確性。
本發明實施例中，可以實現對待追蹤目標的主路和支路的追蹤，待追蹤目標的主路可以表示從待追蹤目標的起始點至追蹤到的第一個交叉點的路線；在對待追蹤目標的主路或每個支路進行像素點追蹤的情況下，還可以採用DRL方法進行像素點追蹤。
在本發明的一些實施例中，可以利用具有DQN框架的神經網路對待追蹤目標的主路或每個支路進行像素點追蹤；例如，在DQN框架使用的演算法可以包括以下至少一種：Double-DQN、Dueling-DQN、prioritized memory replay、noisy layer；在確定下一個像素點後，可以根據下一個像素點的評價值，更新具有DQN框架的神經網路的網路參數。
本發明實施例中，並不對具有DQN框架的神經網路的網路結構進行限定，例如，具有DQN框架的神經網路包括用於特徵降採樣的三層卷積層和兩層全連接層。
在本發明的一些實施例中，上述用於確定待追蹤目標的起始點的神經網路、二分類神經網路或具有DQN框架的神經網路可以採用淺層神經網路或深層神經網路，在上述用於確定待追蹤目標的起始點的神經網路、二分類神經網路或具有DQN框架的神經網路採用淺層神經網路的情況下，可以提高神經網路處理資料的速度和效率。
綜上，可以看出，本發明實施例中，只需確定待追蹤目標的起始點，便可以利用上述圖像處理方法完成整個待追蹤目標的像素點追蹤任務；進一步地，在利用確定待追蹤目標的起始點的神經網路確定待追蹤目標的起始點的情況下，本發明實施例可以自動地針對獲取的待處理圖像，完成整個待追蹤目標的像素點追蹤任務。
在本發明的一些實施例中，在得到包含心臟冠狀動脈的待處理圖像後，根據上述圖像處理方法，僅需要5秒便可以直接從待處理圖像中提取出單個心臟冠狀動脈的中心線，提取出的單個心臟冠狀動脈的中心線的用途包括但不限於：血管命名、結構展示等。
圖1B為本發明實施例的一個應用場景的示意圖，如圖1B所示，心臟冠脈的血管圖21為上述待處理圖像，這裡，可以將心臟冠脈的血管圖21輸入至圖像處理裝置22中；在圖像處理裝置22中，通過前述實施例記載的圖像處理方法進行處理，可以實現對心臟冠脈的血管圖的像素點的追蹤和提取。需要說明的是，圖1B所示的場景僅僅是本發明實施例的一個示例性場景，本發明對具體的應用場景不作限制。
在前述記載的內容的基礎上，本發明實施例還提出了一種神經網路訓練方法，圖2為本發明實施例的神經網路訓練方法的流程圖，如圖2所示，該流程可以包括如下步驟。
步驟201：獲取樣本圖像。
本發明實施例中，樣本圖像可以是包括待追蹤目標的圖像。
步驟202：將樣本圖像輸入至初始神經網路，利用初始神經網路執行以下步驟：基於樣本圖像的待追蹤目標上當前的像素點，確定出待追蹤目標上至少一個待選的像素點； 基於當前的像素點與至少一個待選的像素點，結合預設的待追蹤目標真值，得到至少一個待選的像素點的評價值；根據至少一個待選的像素點的評價值，對當前的像素點進行追蹤，得到當前的像素點的下一像素點。
本發明實施例中，初始神經網路執行的步驟的實現方式已經在前述記載的內容中作出說明，這裡不再贅述。
步驟203：根據追蹤得到的各個像素點和預設的待追蹤目標的真值，調整初始神經網路的網路參數值。
對於本步驟的實現方式，示例性地，可以根據追蹤得到的各個像素點心線和預設的待追蹤目標的真值，得出初始神經網路的損失；根據上述初始神經網路的損失，調整初始神經網路的網路參數值；在本發明的一些實施例中，以降低初始神經網路的損失為目標，調整初始神經網路的網路參數值。
在實際應用中，可以在標注平臺標注出待追蹤目標的真值，以用於神經網路的訓練。
步驟204：判斷基於網路參數值調整後的初始神經網路得到的各個像素點是否滿足預設的精度需求，如果否，則重新執行步驟201至步驟204；如果是，則執行步驟205。
本發明實施例中，預設的精度需求可以根據初始神經網路的損失確定；例如，預設的精度需求可以是：初始神經網路的損失小於設定損失。在實際應用中，設定損失可以根據實際應用需求預先設置。
步驟205：將網路參數值調整後的初始神經網路作為訓練完成的神經網路。
本發明實施例中，可以利用訓練完成的神經網路直接對待處理圖像進行處理，即，可以追蹤到待處理圖像中待追蹤目標的各個像素點，即，可以通過端到端的訓練，得到用於針對待追蹤目標追蹤像素點的神經網路，可攜性強。
在實際應用中，步驟201至步驟205可以利用電子設備中的處理器實現，上述處理器可以為ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微處理器中的至少一種。
可以看出，在本發明實施例中，在對神經網路進行訓練時，針對待追蹤目標，可以根據待選的像素點的評價值，從當前像素點確定出下一個像素點，即，能夠準確地實現對待追蹤目標的像素點追蹤和提取，如此，可以使得訓練完成的神經網路準確地實現對待追蹤目標的像素點追蹤和提取。
在本發明的一些實施例中，還可以利用初始神經網路執行以下步驟：在基於樣本圖像的待追蹤目標上當前的像素點，確定出所述待追蹤目標上至少一個待選的像素點之前，還可以判斷當前的像素點是否位於待追蹤目標上多個分支之間的交叉點，如果當前的像素點位於待追蹤目標上多個分支之間的交叉點，則選擇多個分支的一個支路，從選擇的所述支路上的像素中選擇所述待選的像素點，即，對選擇的支路的像素點進行追蹤，具體地，在選擇多個分支的一個支路後，可以針對選擇的支路，執行步驟102至步驟104，實現對選擇的支路的像素點追蹤。如果當前的像素點不位於待追蹤目標上多個分支之間的交叉點，則直接執行步驟102至步驟104，確定出當前像素點的下一個像素點作為當前像素點。
在本發明的一些實施例中，還可以利用初始神經網路執行以下步驟：回應於對選擇的支路的像素點進行追蹤，且確定滿足預設的支路追蹤停止條件的情況， 針對未完成像素點追蹤的交叉點，重新選擇一個未進行像素點追蹤的支路；對選擇的支路進行像素點追蹤；所述未完成像素點追蹤的交叉點具有未進行像素點追蹤的支路；回應於不存在未完成像素點追蹤的交叉點的情況，確定各個交叉點的各個支路的像素點追蹤完成。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
在前述實施例提出的圖像處理方法的基礎上，本發明實施例還提出了一種圖像處理裝置。
圖3為本發明實施例的圖像處理裝置的組成結構示意圖，如圖3所示，該裝置可以包括第一獲取模組301和第一處理模組302；其中： 第一獲取模組301，配置為獲取待處理圖像； 第一處理模組302，配置為基於所述待處理圖像的待追蹤目標上當前的像素點，確定出所述待追蹤目標上至少一個待選的像素點；基於所述當前的像素點與所述至少一個待選的像素點，結合預設的待追蹤目標真值，得到所述至少一個待選的像素點的評價值；根據所述至少一個待選的像素點的評價值，對所述當前的像素點進行追蹤，得到當前的像素點的下一像素點。
在本發明的一些實施例中，第一處理模組302，還配置為在基於所述待處理圖像的待追蹤目標上當前的像素點，確定出所述待追蹤目標上至少一個待選的像素點之前，判斷所述當前的像素點是否位於所述待追蹤目標上多個分支之間的交叉點，若是，則選擇所述多個分支中的一個支路，從選擇的所述支路上的像素中選擇所述待選的像素點。
在本發明的一些實施例中，第一處理模組302，配置為基於所述當前的像素點和所述多個支路的像素點，結合所述預設的待追蹤目標的真值，得到所述多個支路中每個支路的評價值；根據所述多個支路中每個支路的評價值，從所述多個支路中選擇一個支路。
在本發明的一些實施例中，第一處理模組302，配置為在所述多個支路中，選擇評價值最高的一個支路。
在本發明的一些實施例中，第一處理模組302還配置為： 回應於對選擇的支路的像素點進行追蹤，且確定滿足預設的支路追蹤停止條件的情況， 針對未完成像素點追蹤的交叉點，重新選擇一個未進行像素點追蹤的支路；對選擇的支路進行像素點追蹤；所述未完成像素點追蹤的交叉點具有未進行像素點追蹤的支路； 回應於不存在未完成像素點追蹤的交叉點的情況，確定各個交叉點的各個支路的像素點追蹤完成。
在本發明的一些實施例中，第一處理模組302，配置為基於所述未完成像素點追蹤的交叉點和所述交叉點的各個未進行像素點追蹤的支路的像素點，結合預設的待追蹤目標的真值，得到所述各個未進行像素點追蹤的支路的評價值；根據所述各個未進行像素點追蹤的支路的評價值，從所述各個未進行像素點追蹤的支路中選擇一個支路。
在本發明的一些實施例中，第一處理模組302，配置為在所述各個未進行像素點追蹤的支路中，選擇評價值最高的一個支路。
在本發明的一些實施例中，所述預設的支路追蹤停止條件包括以下至少之一： 追蹤到的下一個像素點處於預先確定的待追蹤目標的末端； 追蹤到的下一個像素點的空間熵值大於預設空間熵值； 連續N次得到的追蹤路線夾角大於設定角度閾值，每次得到追蹤路線夾角表示相鄰兩次得到的追蹤路線的夾角，每次得到的追蹤路線表示相鄰兩次追蹤到的像素點之間的連線；N為大於或等於2的整數。
待追蹤目標的末端可以預先標注，在追蹤到的下一個像素點處於預先確定的待追蹤目標的末端時，說明對應的支路無需再進行像素點追蹤，此時可以停止對相應支路進行像素點追蹤，可以提高像素點追蹤的準確性；像素點的空間熵值可以表示像素點的不穩定性，像素點的空間熵值越高，說明像素點的不穩定性越高，在當前支路不合適繼續進行像素點追蹤，此時，可以跳轉到交叉點繼續進行像素點追蹤，可以提高像素點追蹤的準確性；連續N次得到的追蹤路線夾角大於設定角度閾值時，說明最近幾次得到的追蹤路線的振盪幅度較大，因而，追蹤到的像素點的準確性較低，此時，通過停止對相應支路進行像素點追蹤，可以提高像素點追蹤的準確性。
在本發明的一些實施例中，第一處理模組302，配置為從所述至少一個待選的像素點，選擇評價值最高的像素點；將選擇的所述評價值最高的像素點確定為所述當前像素點的下一個像素點。
在本發明的一些實施例中，待追蹤目標為血管樹。
上述第一獲取模組301和第一處理模組302均可由位於電子設備中的處理器實現，上述處理器為ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微處理器中的至少一種。
在前述實施例提出的神經網路訓練方法的基礎上，本發明實施例還提出了一種神經網路訓練裝置。
圖4為本發明實施例的神經網路訓練裝置的組成結構示意圖，如圖4所示，該裝置可以包括第二獲取模組401、第二處理模組402、調整模組403和第三處理模組404；其中： 第二獲取模組401，配置為獲取樣本圖像； 第二處理模組402，配置為將所述樣本圖像輸入至初始神經網路，利用所述初始神經網路執行以下步驟：基於所述樣本圖像的待追蹤目標上當前的像素點，確定出所述待追蹤目標上至少一個待選的像素點； 基於所述當前的像素點與所述至少一個待選的像素點，結合預設的待追蹤目標的真值，得到所述至少一個待選的像素點的評價值；根據所述至少一個待選的像素點的評價值，對所述當前的像素點進行追蹤，得到當前像素點的下一像素點； 調整模組403，配置為根據追蹤得到的各個像素點和預設的待追蹤目標的真值，調整所述初始神經網路的網路參數值； 第三處理模組404，配置為重複執行上述獲取所述樣本圖像、利用所述初始神經網路對所述樣本圖像進行處理、以及調整所述初始神經網路的網路參數值的步驟，直至基於網路參數值調整後的初始神經網路得到的各個像素點滿足預設的精度需求，得到訓練完成的神經網路。
上述第二獲取模組401、第二處理模組402、調整模組403和第三處理模組404均可由位於電子設備中的處理器實現，上述處理器為ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微處理器中的至少一種。
另外，在本實施例中的各功能模組可以集成在一個處理部分中，也可以是各個部分單獨物理存在，也可以兩個或兩個以上部分集成在一個部分中。上述集成的部分既可以採用硬體的形式實現，也可以採用軟體功能模組的形式實現。
所述集成的單元如果以軟體功能模組的形式實現並非作為獨立的產品進行銷售或使用時，可以儲存在一個電腦可讀取儲存介質中，基於這樣的理解，本實施例的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）或處理器（processor）執行本實施例所述方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體（Read Only Memory ，ROM）、隨機存取記憶體（Random Access Memory，RAM）、磁碟或者光碟等各種可以儲存程式碼的介質。
具體來講，本實施例中的一種圖像處理方法或一種神經網路訓練方法對應的電腦程式指令可以被儲存在光碟，硬碟，U盤等儲存介質上，當儲存介質中的與一種圖像處理方法或一種神經網路訓練方法對應的電腦程式指令被一電子設備讀取或被執行時，實現前述實施例的任意一種圖像處理方法或任意一種神經網路訓練方法。
基於前述實施例相同的技術構思，本發明實施例還提出了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現前述實施例的任意一種圖像處理方法或任意一種神經網路訓練方法。
基於前述實施例相同的技術構思，參見圖5，其示出了本發明實施例提供的一種電子設備，可以包括：記憶體501和處理器502；其中： 所述記憶體501，配置為儲存電腦程式和資料； 所述處理器502，配置為執行所述記憶體中儲存的電腦程式，以實現前述實施例的任意一種圖像處理方法或任意一種神經網路訓練方法。
在實際應用中，上述記憶體501可以是易失性記憶體（volatile memory），例如RAM；或者非易失性記憶體（non-volatile memory），例如ROM，快閃記憶體（flash memory），硬碟（Hard Disk Drive，HDD）或固態硬碟（Solid-State Drive，SSD）；或者上述種類的記憶體的組合，並向處理器502提供指令和資料。
上述處理器502可以為ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微處理器中的至少一種。可以理解地，對於不同的增強現實雲平臺，用於實現上述處理器功能的電子器件還可以為其它，本發明實施例不作具體限定。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述
上文對各個實施例的描述傾向於強調各個實施例之間的不同之處，其相同或相似之處可以互相參考，為了簡潔，本文不再贅述
本發明所提供的各方法實施例中所揭露的方法，在不衝突的情況下可以任意組合，得到新的方法實施例。
本發明所提供的各產品實施例中所揭露的特徵，在不衝突的情況下可以任意組合，得到新的產品實施例。
本發明所提供的各方法或設備實施例中所揭露的特徵，在不衝突的情況下可以任意組合，得到新的方法實施例或設備實施例。
通過以上的實施方式的描述，本領域的技術人員可以清楚地瞭解到上述實施例方法可借助軟體加必需的通用硬體平臺的方式來實現，當然也可以通過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質（如ROM/RAM、磁碟、光碟）中，包括若干指令用以使得一台終端（可以是手機，電腦，伺服器，空調器，或者網路設備等）執行本發明各個實施例所述的方法。
上面結合附圖對本發明的實施例進行了描述，但是本發明並不局限於上述的具體實施方式，上述的具體實施方式僅僅是示意性的，而不是限制性的，本領域的普通技術人員在本發明的啟示下，在不脫離本發明宗旨和情求項所保護的範圍情況下，還可做出很多形式，這些均屬於本發明的保護之內。
工業實用性 本發明實施例提出了一種圖像處理及神經網路訓練方法、裝置、電子設備和電腦儲存介質，該圖像處理方法包括：獲取待處理圖像；基於所述待處理圖像的待追蹤目標上當前的像素點，確定出所述待追蹤目標上至少一個待選的像素點； 基於所述當前的像素點與所述至少一個待選的像素點，結合預設的待追蹤目標的真值，得到所述至少一個待選的像素點的評價值；根據所述至少一個待選的像素點的評價值，對所述當前的像素點進行追蹤，得到當前的像素點的下一像素點。如此，本發明實施例中，針對待追蹤目標，可以根據待選的像素點的評價值，從當前像素點確定出下一個像素點，即，能夠準確地實現對待追蹤目標的像素點追蹤和提取。
21:心臟冠脈的血管圖 22:圖像處理裝置 301:第一獲取模組 302:第一處理模組 401:第二獲取模組 402:第二處理模組 403:調整模組 404:第三處理模組 501:記憶體 502:處理器 101~104:步驟 201~205:步驟
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明實施例的技術方案。 圖1A為本發明實施例的圖像處理方法的流程圖； 圖1B為本發明實施例的一個應用場景的示意圖； 圖2為本發明實施例的神經網路訓練方法的流程圖； 圖3為本發明實施例的圖像處理裝置的組成結構示意圖； 圖4為本發明實施例的神經網路訓練裝置的組成結構示意圖； 圖5為本發明實施例的電子設備的結構示意圖。
101~104:步驟

Claims (11)

  1. 一種圖像處理方法，包括：獲取待處理圖像；判斷所述待處理圖像的待追蹤目標上當前的像素點是否位於所述待追蹤目標上多個分支之間的交叉點，若是，則選擇所述多個分支中的一個支路，從選擇的所述支路上選擇至少一個待選的像素點；基於所述當前的像素點與所述至少一個待選的像素點，結合預設的待追蹤目標的真值，得到所述至少一個待選的像素點的評價值；根據所述至少一個待選的像素點的評價值，對所述當前的像素點進行追蹤，得到所述當前的像素點的下一像素點；回應於對選擇的所述支路上的像素點的追蹤滿足預設的支路追蹤停止條件的情況，針對未完成像素點追蹤的交叉點，重新選擇一個未進行像素點追蹤的支路，對重新選擇的支路進行像素點追蹤；所述未完成像素點追蹤的交叉點具有未進行像素點追蹤的支路；回應於不存在未完成像素點追蹤的交叉點的情況，確定各個交叉點的各個支路的像素點追蹤完成。
  2. 根據請求項1所述的圖像處理方法，其中，所述選擇所述多個分支中的一個支路，包括：基於所述當前的像素點和所述多個支路的像素點，結合所述預設的待追蹤目標的真值，得到所述多個支路中每個 支路的評價值；根據所述多個支路中每個支路的評價值，從所述多個支路中選擇一個支路。
  3. 根據請求項2所述的圖像處理方法，其中，所述根據所述多個支路中每個支路的評價值，從所述多個支路中選擇一個支路，包括：在所述多個支路中，選擇評價值最高的一個支路。
  4. 根據請求項1所述的圖像處理方法，其中，所述重新選擇一個未進行像素點追蹤的支路，包括：基於所述未完成像素點追蹤的交叉點和所述交叉點的各個未進行像素點追蹤的支路的像素點，結合預設的待追蹤目標的真值，得到所述各個未進行像素點追蹤的支路的評價值；根據所述各個未進行像素點追蹤的支路的評價值，從所述各個未進行像素點追蹤的支路中選擇一個支路。
  5. 根據請求項4所述的圖像處理方法，其中，所述根據所述各個未進行像素點追蹤的支路的評價值，從所述各個未進行像素點追蹤的支路中選擇一個支路，包括：在所述各個未進行像素點追蹤的支路中，選擇評價值最高的一個支路。
  6. 根據請求項1所述的圖像處理方法，其中，所述預設的支路追蹤停止條件包括以下至少之一：追蹤到的下一個像素點處於預先確定的待追蹤目標的末 端；追蹤到的下一個像素點的空間熵值大於預設空間熵值；連續N次得到的追蹤路線夾角大於設定角度閾值，每次得到追蹤路線夾角表示相鄰兩次得到的追蹤路線的夾角，每次得到的追蹤路線表示相鄰兩次追蹤到的像素點之間的連線；N為大於或等於2的整數。
  7. 根據請求項1至3中任意一項所述的圖像處理方法，其中，所述根據所述至少一個待選的像素點的評價值，對所述當前的像素點進行追蹤，得到所述當前的像素點的下一像素點，包括：從所述至少一個待選的像素點，選擇評價值最高的像素點；將選擇的所述評價值最高的像素點確定為所述當前像素點的下一個像素點。
  8. 根據請求項1至3任一項所述的圖像處理方法，其中，所述待追蹤目標為血管樹。
  9. 一種神經網路訓練方法，包括：獲取樣本圖像；將所述樣本圖像輸入至初始神經網路，利用所述初始神經網路執行以下步驟：判斷所述待處理圖像的待追蹤目標上當前的像素點是否位於所述待追蹤目標上多個分支之間的交叉點，若是，則選擇所述多個分支中的一個支路，從選擇的所述支路上選擇至少一個待選的像素點；基於所述當前的像素點與所述至少一個待選的像素點，結合預設的待追蹤目標的真值，得到所述至少一個待選的像素點的評 價值；根據所述至少一個待選的像素點的評價值，對所述當前的像素點進行追蹤，得到所述當前的像素點的下一像素點；回應於對選擇的所述支路上的像素點的追蹤滿足預設的支路追蹤停止條件的情況，針對未完成像素點追蹤的交叉點，重新選擇一個未進行像素點追蹤的支路，對重新選擇的支路進行像素點追蹤；所述未完成像素點追蹤的交叉點具有未進行像素點追蹤的支路；回應於不存在未完成像素點追蹤的交叉點的情況，確定各個交叉點的各個支路的像素點追蹤完成；根據追蹤得到的各個像素點和預設的待追蹤目標的真值，調整所述初始神經網路的網路參數值，直至基於網路參數值調整後的初始神經網路得到的各個像素點滿足預設的精度需求。
  10. 一種電子設備，包括處理器和配置為儲存能夠在處理器上運行的電腦程式的記憶體；其中：所述處理器配置為運行所述電腦程式時，執行請求項1至8任一項所述的圖像處理方法或請求項9所述的神經網路訓練方法。
  11. 一種電腦儲存介質，其上儲存有電腦程式，該電腦程式被處理器執行時實現請求項1至8任一項所述的圖像處理方法或請求項9所述的神經網路訓練方法。
TW109136759A 2019-10-31 2020-10-22 圖像處理及神經網路訓練方法、電子設備和電腦儲存介質 TWI772932B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911050567.9 2019-10-31
CN201911050567.9A CN110796653B (zh) 2019-10-31 2019-10-31 图像处理及神经网络训练方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
TW202119357A TW202119357A (zh) 2021-05-16
TWI772932B true TWI772932B (zh) 2022-08-01

Family

ID=69442281

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109136759A TWI772932B (zh) 2019-10-31 2020-10-22 圖像處理及神經網路訓練方法、電子設備和電腦儲存介質

Country Status (5)

Country Link
US (1) US20220237806A1 (zh)
JP (1) JP2022516196A (zh)
CN (1) CN110796653B (zh)
TW (1) TWI772932B (zh)
WO (1) WO2021082544A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796653B (zh) * 2019-10-31 2022-08-30 北京市商汤科技开发有限公司 图像处理及神经网络训练方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317761B2 (en) * 2010-12-09 2016-04-19 Nanyang Technological University Method and an apparatus for determining vein patterns from a colour image
TWI572186B (zh) * 2015-12-04 2017-02-21 國立雲林科技大學 內視鏡影像鏡面反射去除之自適應修補方法
CN109035194A (zh) * 2018-02-22 2018-12-18 青岛海信医疗设备股份有限公司 一种血管提取方法及装置
CN109360209A (zh) * 2018-09-30 2019-02-19 语坤（北京）网络科技有限公司 一种冠状血管分割方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187224A (ja) * 2008-02-05 2009-08-20 Fuji Xerox Co Ltd 情報処理装置及び情報処理プログラム
JP5391229B2 (ja) * 2011-04-27 2014-01-15 富士フイルム株式会社 木構造抽出装置および方法ならびにプログラム
JP6036224B2 (ja) * 2012-11-29 2016-11-30 日本電気株式会社 順序制御システム、順序制御方法、順序制御プログラム、及び、メッセージ管理システム
CN103284760B (zh) * 2013-06-08 2015-04-08 哈尔滨工程大学 一种基于导管路径的扩展超声血管成像方法及装置
JP6358590B2 (ja) * 2013-08-09 2018-07-18 富士通株式会社 血管データ生成装置、血管データ生成方法、および血管データ生成プログラム
US9521988B2 (en) * 2015-02-17 2016-12-20 Siemens Healthcare Gmbh Vessel tree tracking in angiography videos
CN106340021B (zh) * 2016-08-18 2020-11-27 上海联影医疗科技股份有限公司 血管提取方法
CN107203741B (zh) * 2017-05-03 2021-05-18 上海联影医疗科技股份有限公司 血管提取方法、装置及其系统
CN106296698B (zh) * 2016-08-15 2019-03-29 成都通甲优博科技有限责任公司 一种基于立体视觉的闪电三维定位方法
CN107067409A (zh) * 2017-05-09 2017-08-18 上海联影医疗科技有限公司 一种血管分离方法及系统
CN107563983B (zh) * 2017-09-28 2020-09-01 上海联影医疗科技有限公司 图像处理方法以及医学成像设备
CN110796653B (zh) * 2019-10-31 2022-08-30 北京市商汤科技开发有限公司 图像处理及神经网络训练方法、装置、设备和介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317761B2 (en) * 2010-12-09 2016-04-19 Nanyang Technological University Method and an apparatus for determining vein patterns from a colour image
TWI572186B (zh) * 2015-12-04 2017-02-21 國立雲林科技大學 內視鏡影像鏡面反射去除之自適應修補方法
CN109035194A (zh) * 2018-02-22 2018-12-18 青岛海信医疗设备股份有限公司 一种血管提取方法及装置
CN109360209A (zh) * 2018-09-30 2019-02-19 语坤（北京）网络科技有限公司 一种冠状血管分割方法及系统

Also Published As

Publication number Publication date
JP2022516196A (ja) 2022-02-24
TW202119357A (zh) 2021-05-16
CN110796653B (zh) 2022-08-30
CN110796653A (zh) 2020-02-14
WO2021082544A1 (zh) 2021-05-06
US20220237806A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
CN109214343B (zh) 用于生成人脸关键点检测模型的方法和装置
CN109492128B (zh) 用于生成模型的方法和装置
CN111164601A (zh) 情感识别方法、智能装置和计算机可读存储介质
CN109658445A (zh) 网络训练方法、增量建图方法、定位方法、装置及设备
CN112862874B (zh) 点云数据匹配方法、装置、电子设备及计算机存储介质
CN110555428B (zh) 行人重识别方法、装置、服务器以及存储介质
CN111914878B (zh) 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质
CN110210564B (zh) 相似户型检测方法及装置
KR102189811B1 (ko) 멀티 홉 이웃을 이용한 컨볼루션 학습 기반의 지식 그래프 완성 방법 및 장치
US20220207741A1 (en) Methods, devices, apparatuses and storage media of detecting correlated objects invovled in images
WO2021036028A1 (zh) 图像特征提取及网络的训练方法、装置和设备
CN113705589A (zh) 数据处理方法、装置及设备
TWI772932B (zh) 圖像處理及神經網路訓練方法、電子設備和電腦儲存介質
CN111405314B (zh) 一种信息处理方法、装置、设备及存储介质
JP2021039758A (ja) 画像間の類似度を利用した類似領域強調方法およびシステム
WO2019174392A1 (zh) 针对rpc信息的向量处理
Wang et al. Grasp detection via visual rotation object detection and point cloud spatial feature scoring
CN110728359A (zh) 搜索模型结构的方法、装置、设备和存储介质
CN115830342A (zh) 检测框的确定方法、装置、存储介质及电子装置
CN115409070A (zh) 离散数据序列临界点的确定方法、装置以及设备
CN111968030B (zh) 信息生成方法、装置、电子设备和计算机可读介质
TW202303451A (zh) 指甲識別方法、裝置、設備及儲存媒體
CN113642510A (zh) 目标检测方法、装置、设备和计算机可读介质
KR20220136884A (ko) 포인트 클라우드 완성 네트워크 생성 및 포인트 클라우드 데이터 처리
CN116226674B (zh) 一种框架梁的布置模型训练方法、布置方法及装置