TWI754375B - 圖像處理方法、電子設備、電腦可讀儲存介質 - Google Patents

圖像處理方法、電子設備、電腦可讀儲存介質 Download PDF

Info

Publication number
TWI754375B
TWI754375B TW109131174A TW109131174A TWI754375B TW I754375 B TWI754375 B TW I754375B TW 109131174 A TW109131174 A TW 109131174A TW 109131174 A TW109131174 A TW 109131174A TW I754375 B TWI754375 B TW I754375B
Authority
TW
Taiwan
Prior art keywords
image
segmentation
target
processed
core
Prior art date
Application number
TW109131174A
Other languages
English (en)
Other versions
TW202110387A (zh
Inventor
吳宇
袁璟
趙亮
Original Assignee
大陸商上海商湯智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商上海商湯智能科技有限公司 filed Critical 大陸商上海商湯智能科技有限公司
Publication of TW202110387A publication Critical patent/TW202110387A/zh
Application granted granted Critical
Publication of TWI754375B publication Critical patent/TWI754375B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20156—Automatic seed setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本發明關於一種圖像處理方法、電子設備、電腦可讀儲存介質，所述方法包括：對待處理圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域；根據所述目標的分割區域的中心點位置，確定目標所在的圖像區域；對各目標所在的圖像區域進行第二分割處理，確定所述待處理圖像中目標的分割結果。

Description

圖像處理方法、電子設備、電腦可讀儲存介質
本發明實施例關於電腦技術領域，關於但不限於一種圖像處理方法、電子設備、電腦可讀儲存介質。
在圖像處理技術領域，對感興趣區域或目標區域進行分割，是進行圖像分析和目標識別的基礎。例如，在醫學圖像中通過分割，清晰地識別一個或多個器官或組織之間的邊界。準確地分割醫學圖像對於許多臨床應用而言是至關重要的。
本發明實施例提出了一種圖像處理方法、電子設備、電腦可讀儲存介質。
本發明實施例提供了一種圖像處理方法，包括：對待處理圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域；根據所述目標的分割區域的中心點位置，確定目標所在的圖像區域；對各目標所在的圖像區域進行 第二分割處理，確定所述待處理圖像中目標的分割結果。
可以看出，本發明實施例能夠通過第一次分割確定目標的區域以對目標進行定位，通過各區域的中心點確定出各目標的感興趣區域，進而對感興趣區域進行第二次分割確定各目標的分割結果，從而提高了分割的準確性及強健性。
在本發明的一些實施例中，所述待處理圖像中目標的分割區域包括第一目標的核心分割區域，所述第一目標為所述目標中屬於第一類別的目標，所述對待處理圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域，包括：通過核心分割網路對所述待處理圖像進行核心分割處理，確定第一目標的核心分割區域。
可以看出，本發明實施例可以對待處理圖像進行核心分割處理，可以得到目標的核心分割區域，有利於在目標的核心分割區域的基礎上準確確定目標所在圖像區域。
在本發明的一些實施例中，所述目標的分割結果包括所述第一目標的分割結果，所述對各目標所在的圖像區域進行第二分割處理，確定所述待處理圖像中目標的分割結果，包括：通過第一實例分割網路分別對所述第一目標所在的圖像區域進行實例分割處理，確定所述第一目標的分割結果。
通過這種方式，可實現各個目標的實例分割，提高目標實例分割的準確性。
在本發明的一些實施例中，所述待處理圖像中目標的分割區域包括第二目標的分割結果，所述第二目標為所述目標中屬於第二類別的目標，所述對待處理圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域，包括：通過第二實例分割網路對所述待處理圖像進行實例分割，確定所述第二目標的分割結果。
通過這種方式，可實現特定目標的實例分割，提高實例分割的準確性。
在本發明的一些實施例中，所述方法還包括：對所述第一目標的分割結果及所述第二目標的分割結果進行融合，確定所述待處理圖像中目標的融合分割結果。
通過這種方式，通過對第一目標和第二目標的分割結果進行融合，可以得到更準確的目標分割結果。
在本發明的一些實施例中，所述待處理圖像包括三維(3-Dimension，3D)椎體圖像，所述3D椎體圖像包括椎體橫截面方向的多個切片圖像，所述通過核心分割網路對所述待處理圖像進行核心分割處理，確定第一目標的核心分割區域，包括：通過所述核心分割網路對目標切片圖像組進行核心分割處理，得到所述第一目標在目標切片圖像上的核心分割區域，所述目標切片圖像組包括目標切片圖像及與所述目標切片圖像相鄰的2N個切片圖像，所述目標切片圖像為所述多個切片圖像中的任意一個，N為正整數；根據所述多個切片圖像的核心分割區域，確定所述第一目標的核心分割區域。
通過這種方式，可實現待處理圖像的核心分割，從而實現各節椎體核心的檢測與定位。
在本發明的一些實施例中，所述根據所述多個切片圖像上的核心分割區域，確定所述第一目標的核心分割區域，包括：根據所述多個切片圖像的核心分割區域，分別確定多個3D核心分割區域；對所述多個3D核心分割區域進行優化處理，得到所述第一目標的核心分割區域。
可以看出，經核心分割後，可得到多個椎體的核心即多個核心分割區域，從而實現各節椎體的定位。
在本發明的一些實施例中，所述方法還包括：根據所述待處理圖像中目標的分割區域，確定各個分割區域的中心點位置。
通過這種方式，能夠確定目標的分割區域的中心點位置。
在本發明的一些實施例中，所述方法還包括：根據所述待處理圖像中目標的分割區域，確定目標的分割區域的初始中心點位置；對目標的分割區域的初始中心點位置進行優化，確定各個分割區域的中心點位置。
可以看出，在確定各個初始中心點位置後，可對各個初始中心點位置進行優化，從而得到更準確的各個分割區域的中心點位置。
在本發明的一些實施例中，所述對待處理圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域，包括：對待處理圖像進行重採樣及像素值縮小處理，得到 處理後的第一圖像；對所述第一圖像進行中心裁切，得到裁切後的第二圖像；對所述第二圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域。
可以看出，通過對待處理圖像進行重採樣，統一待處理圖像的物理空間(Spacing)解析度，有利於統一圖像的尺寸；通過像素值縮小處理和中心裁切處理，有利於減少待處理的資料量。
在本發明的一些實施例中，所述根據所述目標的分割區域的中心點位置，確定目標所在的圖像區域，包括：對於任意一個目標，根據所述目標的中心點位置以及與所述目標的中心點位置相鄰的至少一個中心點位置，確定所述目標所在的圖像區域。
通過這種方式，可確定各個目標所在的圖像區域，實現了目標的準確定位。
在本發明的一些實施例中，所述方法還包括：根據預設的訓練集，訓練神經網路，所述神經網路包括核心分割網路、第一實例分割網路及第二實例分割網路中的至少一種，所述訓練集包括已標注的多個樣本圖像。
通過這種方式，可以實現核心分割網路、第一實例分割網路及第二實例分割網路中至少一種網路的訓練過程，得到高精度的神經網路。
在本發明的一些實施例中，第一類別包括頸椎椎體、脊椎椎體、腰椎椎體及胸椎椎體中的至少一種；第二類別包括尾椎椎體。
通過這種方式，能夠對椎體進行定位以確定每節椎體的區域，針對每節椎體的區域可以進行椎體的實例分割，對幾何性質與其他椎體不同的尾椎單獨分割，並將實例分割結果融合，從而提高了分割的準確性及強健性。
本發明實施例還提供了一種圖像處理裝置，包括：第一分割模組，配置為對待處理圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域；區域確定模組，配置為根據所述目標的分割區域的中心點位置，確定目標所在的圖像區域；第二分割模組，配置為對各目標所在的圖像區域進行第二分割處理，確定所述待處理圖像中目標的分割結果。
可以看出，本發明實施例能夠通過第一次分割確定目標的區域以對目標進行定位，通過各區域的中心點確定出各目標的感興趣區域，進而對感興趣區域進行第二次分割確定各目標的分割結果，從而提高了分割的準確性及強健性。
在本發明的一些實施例中，所述待處理圖像中目標的分割區域包括第一目標的核心分割區域，所述第一目標為所述目標中屬於第一類別的目標，所述第一分割模組包括：核心分割子模組，配置為通過核心分割網路對所述待處理圖像進行核心分割處理，確定第一目標的核心分割區域。
可以看出，本發明實施例可以對待處理圖像進行核心分割處理，可以得到目標的核心分割區域，有利於在目 標的核心分割區域的基礎上準確確定目標所在圖像區域。
在本發明的一些實施例中，所述目標的分割結果包括所述第一目標的分割結果，所述第二分割模組包括：第一實例分割子模組，配置為通過第一實例分割網路分別對所述第一目標所在的圖像區域進行實例分割處理，確定所述第一目標的分割結果。
通過這種方式，可實現各個目標的實例分割，提高目標實例分割的準確性。
在本發明的一些實施例中，所述待處理圖像中目標的分割區域包括第二目標的分割結果，所述第二目標為所述目標中屬於第二類別的目標，所述第一分割模組包括：第二實例分割子模組，配置為通過第二實例分割網路對所述待處理圖像進行實例分割，確定所述第二目標的分割結果。
通過這種方式，可實現特定目標的實例分割，提高實例分割的準確性。
在本發明的一些實施例中，所述裝置還包括：融合模組，配置為對所述第一目標的分割結果及所述第二目標的分割結果進行融合，確定所述待處理圖像中目標的融合分割結果。
通過這種方式，通過對第一目標和第二目標的分割結果進行融合，可以得到更準確的目標分割結果。
在本發明的一些實施例中，所述待處理圖像包括 3D椎體圖像，所述3D椎體圖像包括椎體橫截面方向的多個切片圖像，所述核心分割子模組，包括：切片分割子模組，配置為通過所述核心分割網路對目標切片圖像組進行核心分割處理，得到所述第一目標在目標切片圖像上的核心分割區域，所述目標切片圖像組包括目標切片圖像及與所述目標切片圖像相鄰的2N個切片圖像，所述目標切片圖像為所述多個切片圖像中的任意一個，N為正整數；核心區域確定子模組，配置為根據所述多個切片圖像的核心分割區域，確定所述第一目標的核心分割區域。
通過這種方式，可實現待處理圖像的核心分割，從而實現各節椎體核心的檢測與定位。
在本發明的一些實施例中，所述核心區域確定子模組，配置為：根據所述多個切片圖像的核心分割區域，分別確定多個3D核心分割區域；對所述多個3D核心分割區域進行優化處理，得到所述第一目標的核心分割區域。
可以看出，經核心分割後，可得到多個椎體的核心即多個核心分割區域，從而實現各節椎體的定位。
在本發明的一些實施例中，所述裝置還包括：第一中心確定模組，配置為根據所述待處理圖像中目標的分割區域，確定各個分割區域的中心點位置。
通過這種方式，能夠確定目標的分割區域的中心點位置。
在本發明的一些實施例中，所述裝置還包括：第二中心確定模組，配置為根據所述待處理圖像中目標的分割 區域，確定目標的分割區域的初始中心點位置；第三中心確定模組，配置為對目標的分割區域的初始中心點位置進行優化，確定各個分割區域的中心點位置。
可以看出，在確定各個初始中心點位置後，可對各個初始中心點位置進行優化，從而得到更準確的各個分割區域的中心點位置。
在本發明的一些實施例中，所述第一分割模組包括：調整子模組，配置為對待處理圖像進行重採樣及像素值縮小處理，得到處理後的第一圖像；裁切子模組，配置為對所述第一圖像進行中心裁切，得到裁切後的第二圖像；分割子模組，配置為對所述第二圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域。
可以看出，通過對待處理圖像進行重採樣，統一待處理圖像的物理空間(Spacing)解析度，有利於統一圖像的尺寸；通過像素值縮小處理和中心裁切處理，有利於減少待處理的資料量。
在本發明的一些實施例中，所述區域確定模組包括：圖像區域確定子模組，配置為對於任意一個目標，根據所述目標的中心點位置以及與所述目標的中心點位置相鄰的至少一個中心點位置，確定所述目標所在的圖像區域。
通過這種方式，可確定各個目標所在的圖像區域，實現了目標的準確定位。
在本發明的一些實施例中，所述裝置還包括：訓練模組，配置為根據預設的訓練集，訓練神經網路，所述神 經網路包括核心分割網路、第一實例分割網路及第二實例分割網路中的至少一種，所述訓練集包括已標注的多個樣本圖像。
通過這種方式，可以實現核心分割網路、第一實例分割網路及第二實例分割網路中至少一種網路的訓練過程，得到高精度的神經網路。
在本發明的一些實施例中，第一類別包括頸椎椎體、脊椎椎體、腰椎椎體及胸椎椎體中的至少一種；第二類別包括尾椎椎體。
通過這種方式，能夠對椎體進行定位以確定每節椎體的區域，針對每節椎體的區域可以進行椎體的實例分割，對幾何性質與其他椎體不同的尾椎單獨分割，並將實例分割結果融合，從而提高了分割的準確性及強健性。
本發明實施例還提供了一種電子設備，包括：處理器；配置為儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行上述任意一種圖像處理方法。
本發明實施例還提供了一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述任意一種圖像處理方法。
本發明實施例還提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現上述任意一種圖像處理方法。
在本發明實施例中，能夠通過第一次分割確定目標的區域以對目標進行定位，通過各區域的中心點確定出各目標的感興趣區域，進而對感興趣區域進行第二次分割確定各目標的分割結果，從而提高了分割的準確性及強健性。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。
根據下面參考附圖對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
200:脊椎椎體的CT圖像
201:圖像處理裝置
800:原始圖像資料
801:獲取腰椎核心
802:計算椎體邊界框
803:腰椎實例分割
804:尾椎分割
805:腰椎實例與尾椎融合
806:椎體實例分割結果
61:第一分割模組
62:區域確定模組
63:第二分割模組
800:電子設備
802:第一處理組件
804:第一記憶體
806:第一電源組件
808:多媒體組件
810:音頻組件
812:第一輸入/輸出介面
814:感測器組件
816:通信組件
820:處理器
1900:電子設備
1922:第二處理組件
1926:第二電源組件
1932:第二記憶體
1950:網路介面
1958:第二輸入輸出(I/O)介面
S11,S12,S13:步驟
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明實施例的技術方案。
圖1為本發明實施例提供的圖像處理方法的流程示意圖；圖2為本發明實施例的一個應用場景的示意圖；圖3a為本發明實施例提供的圖像處理方法的核心分割的一個示意圖；圖3b為本發明實施例提供的圖像處理方法的核心分割的另一個示意圖；圖4a為本發明實施例提供的圖像處理方法的存在漏分割的核心分割的示意圖； 圖4b為本發明實施例提供的圖像處理方法的存在過分割的核心分割的示意圖；圖5為本發明實施例提供的圖像處理方法中目標分割區域的中心點的示意圖；圖6a為本發明實施例提供的圖像處理方法中存在誤分割的一個分割區域示意圖；圖6b為本發明實施例中針對圖6a所示的誤分割情況進行修正後的分割區域示意圖；圖7a為本發明實施例提供的圖像處理方法中存在誤分割的另一個分割區域示意圖；圖7b為本發明實施例中針對圖7a所示的誤分割情況進行修正後的分割區域示意圖；圖8為本發明實施例提供的圖像處理方法的處理過程的示意圖；圖9為本發明實施例提供的圖像處理裝置的結構示意圖；圖10為本發明實施例的一個電子設備的結構示意圖；圖11為本發明實施例的另一個電子設備的結構示意圖。
椎骨的定位和分割是椎骨疾病的診斷和治療中的關鍵步驟，例如椎骨滑動，椎間盤/椎骨變性和椎管狹窄；椎骨分割也是脊柱側凸和骨質疏鬆症等脊柱病變診斷的 預處理步驟；大多數電腦輔助診斷系統都基於醫生進行的手動分割，手動分割的缺點在於耗時長並且結果是不可再現的；因此，構建通過電腦實現的用於脊柱診斷和治療的系統需要椎骨結構的自動定位、檢測和分割。
在相關技術中，如何準確地分割醫學圖像如人體脊椎圖像是亟待解決的技術問題，針對上述問題，提出本發明實施例的技術方案。
以下將參考附圖詳細說明本發明的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的組件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好的說明本發明實施例，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明實施例同樣可以實施。 在一些實例中，對於本領域技術人員熟知的方法、手段、組件和電路未作詳細描述，以便於凸顯本發明實施例的主旨。
圖1為本發明實施例提供的圖像處理方法的流程示意圖，如圖1所示，所述圖像處理方法包括：步驟S11：對待處理圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域；步驟S12：根據所述目標的分割區域的中心點位置，確定目標所在的圖像區域；步驟S13：對各目標所在的圖像區域進行第二分割處理，確定所述待處理圖像中目標的分割結果。
在本發明的一些實施例中，所述圖像處理方法可以由圖像處理裝置執行，圖像處理裝置可以是使用者設備(User Equipment，UE)、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理(Personal Digital Assistant，PDA)、手持設備、計算設備、車載設備、可穿戴設備等，所述方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。或者，可通過伺服器執行該方法。
在本發明的一些實施例中，待處理圖像可以為三維圖像資料，例如3D椎體圖像，包括椎體橫截面方向的多個切片圖像。其中，椎體的類別可包括頸椎、脊椎、腰椎、尾椎及胸椎等。可通過圖像採集設備例如電子電腦斷層掃描(Computed Tomography，CT)機對被測物件(例 如患者)的身體進行掃描，從而獲得待處理圖像。應當理解，待處理圖像也可以是其他區域或其他類型的圖像，本發明對待處理圖像區域、類型及具體獲取方式不作限制。
本發明實施例的圖像處理方法，能夠應用於脊椎類疾病的輔助診斷、椎體3D列印等應用場景中；圖2為本發明實施例的一個應用場景的示意圖，如圖2所示，脊椎椎體的CT圖像200為上述待處理圖像，可以將待處理圖像輸入至上述圖像處理裝置201中，在圖像處理裝置201中，通過前述實施例記載的圖像處理方法進行處理，可以得到脊椎椎體的CT圖像中各個椎骨的分割結果，例如，目標為單個椎骨的情況下，可以得到單個椎骨的分割結果，進而可以確定單個椎骨的形狀和狀況；對脊椎椎體的CT圖像的分割處理，還可以幫助早期診斷、手術規劃和定位脊柱病變，如退行性疾病、變形、創傷、腫瘤和骨折等。需要說明的是，圖2所示的場景僅僅是本發明實施例的一個示例性場景，本發明對具體的應用場景不作限制。
在本發明的一些實施例中，可對待處理圖像進行分割，以便定位待處理圖像中的目標(例如脊椎椎體)。在分割之前，可以對待處理圖像進行預處理，以便統一待處理圖像的物理空間(Spacing)解析度、像素值的取值範圍等；通過這種方式，可以統一圖像的尺寸並減少待處理的資料量。本發明對預處理的具體內容及處理方式不作限制；例如，預處理方式可以是重新縮放(rescale)待處理圖像中像素值的範圍、對圖像進行中心裁切(central crop)等。
在本發明的一些實施例中，可在步驟S11中對預處理後的待處理圖像進行第一次分割，對於待處理圖像中的每個切片圖像，可以取該切片圖像以及與該切片圖像上下相鄰的各N個切片圖像(N為正整數)，也即2N+1個切片圖像。將2N+1個切片圖像輸入對應的分割網路中處理，可得到該切片圖像的分割區域。這樣，分別對待處理圖像中的各個切片圖像進行處理，可得到多個切片圖像的分割區域，進而可確定出待處理圖像中目標的分割區域。其中，分割網路可包括卷積神經網路，本發明對分割網路的網路結構不作限制。
在本發明的一些實施例中，可通過對應的分割網路對不同類別的目標進行分割，也即，將預處理後的待處理圖像分別輸入對應不同類別的目標的分割網路中進行分割，得到針對不同類別的目標的分割區域。
在本發明的一些實施例中，待處理圖像中的目標可包括屬於第一類別的第一目標和/或屬於第二類別的第二目標。第一類別包括頸椎椎體、脊椎椎體、腰椎椎體及胸椎椎體中的至少一種；第二類別包括尾椎椎體。對於頸椎、脊椎、腰椎或胸椎等第一目標，第一分割處理可以為核心(core)分割，分割後得到各節椎體的核心分割區域，實現各節椎體的定位；對於第二目標(例如尾椎)，由於其特徵與其他目標的差異較大，因此可直接進行實例分割，得到分割區域。本發明實施例中，核心分割可以表示用於 分割核心區域的分割處理過程。
在本發明的一些實施例中，對於第一類別的目標，可在確定核心分割區域後再次分割。在步驟S12中，可根據目標的核心分割區域的中心點位置，確定目標所在的圖像區域，也即確定目標的邊界框(bounding box)以及邊界框所限定的感興趣區域(Region Of Interest，ROI)，以便進行進一步的分割處理。例如，可將與當前目標的分割區域的中心點上下相鄰的兩個中心點所在的橫截面作為邊界，從而限定當前的目標的邊界框。本發明對圖像區域的具體確定方式不作限制。
在本發明的一些實施例中，可在步驟S13中對各目標所在的圖像區域進行第二分割處理，得到各個第一目標的分割結果。該第二分割處理可例如為實例分割處理，經處理後，可得到所述待處理圖像中的各個目標的實例分割結果，也即第一類別的各個目標的實例分割區域。
根據本發明的實施例，能夠通過第一次分割確定目標的核心區域以對目標進行定位，通過各核心區域的中心點確定出各目標的感興趣區域，進而對感興趣區域進行第二次分割確定各目標的實例分割結果，從而實現了目標的實例分割，提高了分割的準確性及強健性。
在本發明的一些實施例中，步驟S11可包括：對待處理圖像進行重採樣及像素值縮小處理，得到處理後的第一圖像；對所述第一圖像進行中心裁切，得到裁切後的第二圖 像；對所述第二圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域。
舉例來說，在對待處理圖像進行分割之前，可以對待處理圖像進行預處理。可對待處理圖像進行重採樣，統一待處理圖像的物理空間解析度。例如，對於脊椎椎體的分割，可將待處理圖像的空間解析度調整為0.8*0.8*1.25mm3；對於尾椎椎體的分割，可將待處理圖像的空間解析度調整為0.4*0.4*1.25mm3。本發明對重採樣的具體方式及重採樣後的待處理圖像的空間解析度不作限制。
在本發明的一些實施例中，可對重採樣後的待處理圖像進行像素值縮小，得到處理後的第一圖像。例如，可將重採樣後的待處理圖像的像素值截斷至[-1024,inf]，再進行重新縮放，例如縮放比例(rescale times)為1/1024。其中，inf表示不對像素值的上限進行截斷。經像素值縮小後，得到的第一圖像的像素值均調整為[-1,inf]。這樣，可縮小圖像數值範圍，加速模型收斂。
在本發明的一些實施例中，可對第一圖像進行中心裁切，得到裁切後的第二圖像。例如，對於脊椎椎體的分割，可以以第一圖像的中心為基準位置，將第一圖像的各個切片圖像裁切為192*192的圖像，不足192*192的位置的像素值填充為-1；對於尾椎椎體的分割，可以以第一圖像的中心為基準位置，將第一圖像的各個切片圖像裁 切為512*512的圖像，不足512*512的位置的像素值填充為-1。應當理解，本領域技術人員可根據實際情況設定針對不同類型的目標的裁切尺寸，本發明對此不作限制。
在本發明的一些實施例中，在預處理後，可對預處理得到的第二圖像進行第一分割處理，確定待處理圖像中的目標的分割區域。
通過這種方式，可以統一圖像的尺寸並減少待處理的資料量。
在本發明的一些實施例中，所述待處理圖像中目標的分割區域包括第一目標的核心分割區域，所述第一目標為所述目標中屬於第一類別的目標，相應地，步驟S11可包括：通過核心分割網路對所述待處理圖像進行核心分割處理，確定第一目標的核心分割區域。
舉例來說，對於頸椎、脊椎、腰椎或胸椎等屬於第一類別的目標(也即第一目標)，第一分割處理可以為核心分割，分割後得到各節椎體的核心分割區域，實現各節椎體的定位。其中，可預先設置有核心分割網路，以便對預處理後的待處理圖像進行核心分割。該核心分割網路可例如為卷積神經網路，例如採用基於UNet的2.5D分割網路模型，包括殘差編碼網路(例如Resnet34)、基於注意力機制(Attention)的模組以及解碼網路(Decoder)等。本發明對核心分割網路的網路結構不作限制。
可以看出，本發明實施例可以對待處理圖像進行核心分割處理，可以得到目標的核心分割區域，有利於在目標的核心分割區域的基礎上準確確定目標所在圖像區域。
在本發明的一些實施例中，所述待處理圖像包括3D椎體圖像，所述3D椎體圖像包括椎體橫截面方向的多個切片圖像，所述通過核心分割網路對所述待處理圖像進行核心分割處理，確定第一目標的核心分割區域的步驟，包括：通過所述核心分割網路對目標切片圖像組進行核心分割處理，得到第一目標在目標切片圖像上的核心分割區域，所述目標切片圖像組包括目標切片圖像及與所述目標切片圖像相鄰的2N個切片圖像，所述目標切片圖像為所述多個切片圖像中的任意一個，N為正整數；根據所述多個切片圖像的核心分割區域，確定所述第一目標的核心分割區域。
舉例來說，對於待處理圖像中的任意一個切片圖像(以下稱為目標切片圖像，例如192*192的橫截面切片圖像)，可以取該目標切片圖像以及與該目標切片圖像上下相鄰的各N個切片圖像(也即2N+1個切片圖像)，組成目標切片圖像組。將目標切片圖像組的2N+1個切片圖像輸入核心分割網路中處理，得到該目標切片圖像的核心分割區域。N可例如取值為4，即選取與每個切片圖像上 下相鄰4個切片圖像，一共9個切片圖像。如果目標切片圖像的上面相鄰或下面相鄰的切片圖像的數量均大於或等於N，則直接進行選取，例如目標切片圖像的編號為6，可選取編號為2、3、4、5、6、7、8、9、10的9個相鄰的切片圖像；如果目標切片圖像的上面相鄰或下面相鄰的切片圖像的數量小於N，則可採用對稱填充的方式進行補全，例如目標切片圖像的編號為3，其上面相鄰的圖像數量為2個，該情況下，可對上面相鄰的圖像進行對稱填充，即選取編號為3、2、1、2、3、4、5、6、7的9個相鄰的切片圖像。本發明對N的取值及具體的圖像補全方式不作限制。
在本發明的一些實施例中，可分別對待處理圖像中的各個切片圖像進行處理，得到多個切片圖像的核心分割區域。對多個切片圖像的核心分割區域尋找連通域，可確定出待處理圖像中的第一目標的核心分割區域。
通過這種方式，可實現待處理圖像的核心分割，從而實現各節椎體核心的檢測與定位。
在本發明的一些實施例中，所述根據所述多個切片圖像上的核心分割區域，確定所述第一目標的核心分割區域的步驟，包括：根據所述多個切片圖像的核心分割區域，分別確定多個3D核心分割區域；對所述多個3D核心分割區域進行優化處理，得到所述第一目標的核心分割區域。
舉例來說，對於三維的椎體圖像，可以對椎體圖像的多個切片圖像的平面核心分割區域進行疊加，並尋找疊加後的核心分割區域中的連通域，每個連通域對應一個三維的椎體核心，從而得到多個3D核心分割區域。然後，對多個3D核心分割區域進行優化，去除連通域的體積小於或等於預設體積閾值的雜質區域，從而得到各個第一目標的核心分割區域。本發明對預設體積閾值的具體取值不作限制。通過這種方式，可提高椎體核心分割的準確性。
圖3a為本發明實施例提供的圖像處理方法的核心分割的一個示意圖，圖3b為本發明實施例提供的圖像處理方法的核心分割的另一個示意圖，如圖3a和圖3b所示，經核心分割後，可得到多個椎體的核心(即多個核心分割區域)，從而實現各節椎體的定位。
在本發明的一些實施例中，所述方法還包括：根據所述待處理圖像中目標的分割區域，確定各個分割區域的中心點位置。
本發明實施例中，對待處理圖像進行第一分割處理後，待處理圖像中的目標的分割區域可以包括至少一個分割區域；在待處理圖像中的目標的分割區域包括多個分割區域的情況下，可以確定各個分割區域的中心點位置，各個分割區域可以表示待處理圖像中的目標的分割區域。
舉例來說，在確定待處理圖像中的目標的分割區域後，可確定各個分割區域的幾何中心所在的位置，也即中心點位置。可採用各種數學計算方式確定中心點位置，本 發明對此不作限制。通過這種方式，能夠確定目標的分割區域的中心點位置。
在本發明的一些實施例中，所述方法還包括：根據所述待處理圖像中的目標的分割區域，確定各個分割區域的初始中心點位置；對目標的分割區域的初始中心點位置進行優化，確定各個分割區域的中心點位置。
舉例來說，在確定待處理圖像中的目標的分割區域後，可確定各個分割區域的幾何中心所在的位置，將該位置作為初始中心點位置。可採用各種數學計算方式確定初始中心點位置，本發明對此不作限制。
在本發明的一些實施例中，在確定各個初始中心點位置後，可對各個初始中心點位置進行合法性檢查，以便檢查出漏分割和/或過分割的情況並進行優化。
圖4a為本發明實施例提供的圖像處理方法的存在漏分割的核心分割的示意圖，圖4b為本發明實施例提供的圖像處理方法的存在過分割的核心分割的示意圖，如圖4a所示，漏分割一個椎體核心，也即在椎體的位置未分割出椎體核心；如圖4b所示，存在過分割的椎體核心，也即在一節椎體中分割出兩個核心。
針對圖4a和圖4b所示的漏分割和過分割的情況，可以對目標的分割區域的初始中心點位置進行優化，從而最終確定各個分割區域的中心點位置。
在本發明的一些實施例中，對於對各個初始中心點 位置進行合法性檢查以及優化的實現方式，可以針對各個初始中心點位置，計算兩兩相鄰幾何中心對(即相鄰的初始中心點位置)的距離d，以及平均距離dm，並設定鄰近閾值(neighbor threshold，NT)和全域閾值(global threshold，GT)作為參考。可自上向下或自下向上遍歷各個幾何中心對，對於M個幾何中心對中的第i個幾何中心對(1
Figure 109131174-A0305-02-0026-1
i
Figure 109131174-A0305-02-0026-2
M)，如果di/dm>GT或di/di-1>NT，則可認為第i個幾何中心對之間的距離過大，判定第i個幾何中心對之間存在漏分割(如圖4a所示)，di/表示第i個幾何中心對的距離。在該情況下，可增加該幾何中心對之間的中心點為新的幾何中心(即新的中心點位置)，實現中心點位置的優化。
在本發明的一些實施例中，對於對各個初始中心點位置進行合法性檢查以及優化的實現方式，可以針對各個初始中心點位置，對於第i個幾何中心對，如果di/dm<1/GT或di/di-1<1/NT，則可認為第i個幾何中心對之間的距離過小，判定第i個幾何中心對之間存在過分割(如圖4b所示)。在該情況下，可將該幾何中心對之間的中點做為新的幾何中心，並刪除該幾何中心對，實現中心點位置的優化。
在本發明的一些實施例中，對於各個幾何中心對中未出現上述情況的幾何中心對，可保留這些幾何中心對對應的中心點，不進行處理。其中，鄰近閾值NT和全域閾值GT的取值可例如分別為1.5和1.8。應當理解，本領 域技術人員可根據實際情況設定鄰近閾值NT和全域閾值GT，本發明對此不作限制。
圖5為本發明實施例提供的圖像處理方法中目標分割區域的中心點的示意圖。如圖5所示，在待處理圖像包括3D椎體圖像的情況下，經過目標分割區域的中心點位置的確定和優化後，可確定各個椎體核心的中心點位置(也即椎體實例幾何中心)，以便在後續步驟中處理，得到由椎體實例邊界框限定的圖像區域。通過這種方式，能夠提高處理精度。
在本發明的一些實施例中，步驟S12中根據各個目標的分割區域的中心點位置，確定各個目標所在的圖像區域，也即由邊界框所限定的感興趣區域ROI。其中，步驟S12可包括：對於任意一個目標，根據所述目標的中心點位置以及與所述目標的中心點位置相鄰的至少一個中心點位置，確定所述目標所在的圖像區域。
舉例來說，可分別對屬於第一類別的各個目標(也即各個第一目標)進行處理。對於K個第一目標中的任意一個目標Vk(1
Figure 109131174-A0305-02-0027-3
k
Figure 109131174-A0305-02-0027-4
K，例如從下向上排序)，可設定該目標的中心點位置為C(Vk)。在1<k<K時，可取其上下相鄰的兩個中心點位置C(Vk+1)和C(Vk-1)所在橫截面作為該目標的邊界，從而確定該目標Vk的邊界框所限定的感興趣區域ROI，也即選取C(Vk+1)-C(Vk-1)+1個連續的橫截面切片圖像作為目標Vk的ROI。
在本發明的一些實施例中，對於最頂層的目標VK，其上方相鄰的中心點缺失，可以取其下方相鄰的中心點C(VK-1)相對於VK的中心點C(VK)的對稱邊界，也即向上擴展距離C(VK)-C(VK-1)。可將該位置所在橫截面作為目標VK的上邊界，中心點C(VK-1)所在橫截面作為該目標VK的下邊界，從而確定該目標VK的邊界框所限定的感興趣區域ROI，也即選取2*(C(VK)-C(VK-1))+1個連續的橫截面切片圖像作為目標VK的ROI。
在本發明的一些實施例中，對於最底層的目標V1，其下方相鄰的中心點缺失，可以取其上方相鄰的中心點C(V2)相對於V1的中心點C(V1)的對稱邊界，也即向下擴展距離C(V2)-C(V1)。可將該位置所在橫截面作為該目標V1的下邊界，中心點C(V2)所在橫截面作為該目標V1的上邊界，從而確定該目標V1的邊界框所限定的感興趣區域ROI，也即選取2*(C(V2)-C(V1))+1個連續的橫截面切片圖像作為目標V1的ROI。如圖5所示，經處理後，可確定各個第一目標所在的圖像區域，也即由邊界框所限定的感興趣區域ROI。
在本發明的一些實施例中，在各個第一目標的類別為脊椎椎體的情況下，為了應對棘突較長的異常情況，可將各個第一目標的邊界框下邊界再向下擴張，例如0.15*椎體邊界長度的一半，即0.15*(C(Vk+1)-C(Vk-1))/2。應當理解，本領域技術人員可根據實際情況設定向下 擴張的邊界長度，本發明對此不作限制。
通過這種方式，可確定各個目標的邊界框，從而確定邊界框所限定的感興趣區域ROI，實現了椎體的準確定位。
在本發明的一些實施例中，所述目標的分割結果包括所述第一目標的分割結果，步驟S13可包括：通過第一實例分割網路分別對所述第一目標所在的圖像區域進行實例分割處理，確定所述第一目標的分割結果。
舉例來說，可預先設置有第一實例分割網路，以便對各個第一目標所在的圖像區域(也即感興趣區域ROI)進行實例分割。該第一實例分割網路可例如為卷積神經網路，例如採用基於VNet的3D分割網路模型等。本發明對第一實例分割網路的網路結構不作限制。
在本發明的一些實施例中，對於任一個ROI中的切片圖像(例如192*192的橫截面切片圖像)，可以取該切片圖像以及與該切片圖像上下相鄰的各N個切片圖像(也即2N+1個切片圖像)，組成切片圖像組。將該切片圖像組的2N+1個切片圖像輸入第一實例分割網路中處理，得到該切片圖像的實例分割區域。N可例如取值為4，即選取與每個切片圖像上下相鄰4個切片圖像，一共9個切片圖像。對於上面相鄰或下面相鄰的切片圖像的數量小於N的情況，可採用對稱填充的方式進行補全，此處不再重複描述。本發明對N的具體取值及圖像補全方式不作限制。
在本發明的一些實施例中，可分別對各個ROI中的多個切圖像分別進行處理，得到各個ROI的多個切片圖像的實例分割區域。對多個切片圖像的平面實例分割區域進行疊加，並尋找疊加後的3D實例分割區域中的連通域，每個連通域對應一個3D實例分割區域。然後，對多個3D實例分割區域進行優化，去除連通域的體積小於或等於預設體積閾值的雜質區域，從而得到一個或多個第一目標的實例分割區域，並可將一個或多個第一目標的實例分割區域作為第一目標的分割結果。本發明對預設體積閾值的具體取值不作限制。
通過這種方式，可實現各個椎體目標的實例分割，提高椎體實例分割的準確性。
在本發明的一些實施例中，所述待處理圖像中目標的分割區域包括第二目標的分割結果，所述第二目標為所述目標中屬於第二類別的目標，步驟S11可包括：通過第二實例分割網路對待處理圖像進行實例分割，確定所述第二目標的分割結果。
舉例來說，第二目標的類別可例如包括尾椎椎體。由於尾椎椎體的特徵與其他目標的差異較大，因此可直接進行實例分割，得到分割結果。可預先設置有第二實例分割網路，以便對預處理後的待處理圖像進行實例分割。該第二實例分割網路可例如為卷積神經網路，例如採用基於UNet的2.5D分割網路模型，包括殘差編碼網路(例如Resnet34)、空洞卷積池化金字塔(Atrous Spatial Pyramid Pooling，ASPP)模組，基於注意力機制的模組以及解碼網路等。本發明對第二實例分割網路的網路結構不作限制。
在本發明的一些實施例中，對於尾椎椎體的分割，可通過重採樣將待處理圖像的空間解析度調整為0.4*0.4*1.25mm3；再將重採樣後的圖像的像素值縮小為[-1,inf]；然後，以第一圖像的中心為基準位置，將第一圖像的各個切片圖像裁切為512*512的圖像，不足512*512的位置的像素值填充為-1。這樣，可以得到預處理後的圖像。
在本發明的一些實施例中，對於預處理後的圖像中的任意一個切片圖像，可以取該切片圖像以及與該切片圖像上下相鄰的各N個切片圖像(也即2N+1個切片圖像)，組成切片圖像組。將切片圖像組的2N+1個切片圖像輸入第二實例分割網路中處理，得到該切片圖像的實例分割區域。N可例如取值為4，即選取與每個切片圖像上下相鄰4個切片圖像，一共9個切片圖像。對於上面相鄰或下面相鄰的切片圖像的數量小於N的情況，可採用對稱填充的方式進行補全，此處不再重複描述。本發明對N的具體取值及圖像補全方式不作限制。
在本發明的一些實施例中，可分別對各個切片圖像進行處理，得到多個切片圖像的實例分割區域。對多個切片圖像的平面實例分割區域進行疊加，並尋找疊加後的3D實例分割區域中的連通域，每個連通域對應一個3D 實例分割區域。然後，對3D實例分割區域進行優化，去除連通域的體積小於或等於預設體積閾值的雜質區域，從而得到第二目標的實例分割區域，並可將該實例分割區域作為第二目標的分割結果。本發明對預設體積閾值的具體取值不作限制。
通過這種方式，可實現特定椎體目標的實例分割，提高椎體實例分割的準確性。
在本發明的一些實施例中，所述方法還包括：對所述第一目標的分割結果及所述第二目標的分割結果進行融合，確定所述待處理圖像中目標的融合分割結果。
舉例來說，在前述步驟中，分別獲得了第一目標(類別例如為腰椎椎體)和第二目標(類別例如為尾椎椎體)的實例分割結果。然而，這兩個實例分割結果之間可能存在一定的重疊區域。例如，腰椎椎體的核心分割可能存在過分割，導致尾椎的一部分被誤分割為腰椎；或者尾椎椎體的實例分割可能存在過分割，導致腰椎的一部分被誤分割為尾椎。
圖6a為本發明實施例提供的圖像處理方法中存在誤分割的一個分割區域示意圖，如圖6a所示，腰椎椎體的核心分割中將靠近腰椎的尾椎骶骨核心部分誤分割為腰椎；圖6b為本發明實施例中針對圖6a所示的誤分割情況進行修正後的分割區域示意圖，如圖6b所示，本發明實施例中，可以通過對第一目標的分割結果及所述第二目 標的分割結果進行融合，解決圖6a中將尾椎的骶骨誤分為腰椎的問題。
圖7a為本發明實施例提供的圖像處理方法中存在誤分割的另一個分割區域示意圖，如圖7a所示，尾椎椎體的實例分割中將腰椎誤識別為尾椎；圖7b為本發明實施例中針對圖7a所示的誤分割情況進行修正後的分割區域示意圖，如圖7b所示，本發明實施例中，可以通過對第一目標的分割結果及所述第二目標的分割結果進行融合，解圖7a中將腰椎誤分類為尾椎的問題。
對於對第一目標的分割結果及所述第二目標的分割結果進行融合的實現方式，下面進行示例性說明。
在本發明的一些實施例中，可對第一目標和第二目標的實例分割結果進行融合，確定兩者的重疊部分的歸屬。對於第一目標(例如腰椎椎體)的多個實例分割區域，可分別計算每個第一目標的實例分割區域與第二目標的實例分割區域E之間的交並比(Intersection over union，IOU)。對於任意一個第一目標的實例分割區域Wj(1
Figure 109131174-A0305-02-0033-5
j
Figure 109131174-A0305-02-0033-6
J，J為第一目標的實例分割區的數量)，其與第二目標的實例分割區域E之間的交並比為IOU(Wj，E)。
在本發明的一些實施例中，可預先設定閾值T，如果交並比IOU(Wj，E)>T，則該實例分割區域Wj為第二目標(即尾椎椎體)的誤分割結果，應該屬於尾椎椎體，如圖6b所示，可將該實例分割區域Wj併入第二目標的實例分割區域E，從而解決了將尾椎椎體誤分割為腰 椎椎體的問題。
在本發明的一些實施例中，如果0<交並比IOU(Wj，E)<T，則第二目標的實例分割區域E存在過分割，應該屬於腰椎椎體，如圖7b所示，可將實例分割區域E併入實例分割區域Wj，從而解決了將腰椎椎體誤分割為尾椎椎體的問題。
在本發明的一些實施例中，如果交並比IOU(Wj，E)=0，則不對實例分割區域Wj和實例分割區域E進行處理。其中，T可例如取值為0.2。應當理解，本領域技術人員可根據實際情況設定閾值T的取值，本發明對此不作限制。通過這種方式，可以得到更準確的椎體分割結果。通過這種方式，能夠進一步提高分割的效果。
圖8為本發明實施例提供的圖像處理方法的處理過程的示意圖。下面以椎骨的定位及分割為例，對根據本發明實施例的圖像處理方法的處理過程進行說明。如圖8所示，可對原始圖像資料(也即3D椎體圖像)分別進行腰椎分割和尾椎分割。
參照圖8，一方面，對於預處理後的原始圖像資料800(例如192*192的多個切片圖像或512*512的多個切片圖像)，可以依次執行步驟801至步驟803。
步驟801：獲取腰椎核心。
這裡，可以將原始圖像資料800輸入核心分割網路801中進行核心分割，獲取各個腰椎核心(如圖3a所示)。
步驟802：計算椎體邊界框。
這裡，可以針對獲取的各個腰椎核心，分別計算各個腰椎核心的幾何中心位置，進而計算出各個腰椎核心對應的椎體邊界框。
步驟803：腰椎實例分割。
這裡，可以將各個椎體邊界框限定的感興趣區域分別輸入第一實例分割網路中進行腰椎實例分割，可得到腰椎實例分割結果。
另一方面，對於預處理後的原始圖像資料800，可以執行步驟804。
步驟804：尾椎分割。
這裡，將預處理後的原始圖像資料輸入第二實例分割網路中進行尾椎分割，得到尾椎實例分割結果。
在本發明的一些實施例中，可以基於深度學習架構，從原始圖像資料提取特徵，從而實現後續的核心分割處理，基於深度學習架構，能夠從原始圖像中學習最優的特徵表示，有利於提升核心分割的準確性；在本發明的一些實施例中，參照圖8，在執行步驟803和步驟804之後，可以執行步驟805。
步驟805：將腰椎實例(即腰椎實例分割結果)與尾椎(即尾椎實例分割結果)融合，可得到最終的椎體實例分割結果806(如圖6b和圖7b所示)。
通過這種方式，能夠對椎體進行定位以確定每節椎體的邊界框，通過邊界框截取感興趣區域ROI以實現椎體的實例分割，對幾何性質與其他椎體不同的尾椎單獨分 割，並將實例分割結果融合，從而提高了分割的準確性及強健性。
在本發明的一些實施例中，在應用或部署上述神經網路之前，可對各個神經網路進行訓練。本發明實施例中，神經網路的訓練方法還包括：根據預設的訓練集，訓練神經網路，所述神經網路包括核心分割網路、第一實例分割網路及第二實例分割網路中的至少一種，所述訓練集包括已標注的多個樣本圖像。
舉例來說，可預先設定訓練集，來訓練上述的核心分割網路、第一實例分割網路及第二實例分割網路這三個神經網路。
在本發明的一些實施例中，對於核心分割網路，可先標注出樣本圖像(也即3D椎體圖像)中的各個椎體(如圖6b所示)，然後可通過半徑為1的球狀結構元素腐蝕，直至核心體積/椎體體積<=0.15，從而確定樣本圖像的核心標注資訊(如圖3a所示)。本發明對核心體積與椎體體積的比值閾值不作限制。
在本發明的一些實施例中，可根據樣本圖像及其核心標注資訊，對核心分割網路進行訓練。可例如通過交叉熵損失函數(cross entropy)及相似性損失函數(dice)監督核心分割網路的訓練過程，經訓練後，可得到滿足需求的核心分割網路。
在本發明的一些實施例中，對於第一實例分割網路，可根據樣本圖像的核心標注資訊計算椎體的幾何中心；以 當前椎體的相鄰的上一椎體幾何中心為上界，以相鄰的下麵一椎體幾何中心向下擴張0.15*椎體厚度(即椎體邊界框上下邊界差值的一半)後為下界，以上下邊界在z軸上截取連續的橫斷面切片作為當前椎體的ROI。在實際測試過程中，根據核心分割網路的分割結果計算得到的椎體幾何中心往往相對於真實的幾何中心有所偏移，為了增強模型強健性，可對椎體的上下界做一定的隨機擾動。擾動取值範圍為[-0.1*椎體厚度，0.1*椎體厚度]。
在本發明的一些實施例中，可以將各個ROI分別輸入第一實例分割網路中處理，並根據處理結果與樣本圖像的標注資訊(也即標注出的各個椎體)對第一實例分割網路進行訓練。可例如通過交叉熵損失函數(cross entropy)及相似性損失函數(dice)監督第一實例分割網路的訓練過程，經訓練後，可得到滿足需求的第一實例分割網路。
在本發明的一些實施例中，對於第二實例分割網路，可標注出樣本圖像中的尾椎椎體，根據樣本圖像及其尾椎標注資訊，對第二實例分割網路進行訓練。可例如通過交叉熵損失函數及相似性損失函數監督第二實例分割網路的訓練過程，經訓練後，可得到滿足需求的第二實例分割網路。
在本發明的一些實施例中，可對各個神經網路分別進行訓練，也可對各個神經網路進行聯合訓練，本發明對訓練方式及訓練的具體過程不作限制。
通過這種方式，可以實現核心分割網路、第一實例分割網路及第二實例分割網路的訓練過程，得到高精度的神經網路。
根據本發明實施例的圖像處理方法，能夠實現椎體的檢測與定位，確定每節椎體的邊界框，通過邊界框截取ROI實現椎體的實例分割，對尾椎單獨分割並進行實例分割結果的融合，從而實現了全種類椎體(包含尾椎，腰椎，胸椎和頸椎)的實例分割，對椎體數量和掃描部位強健性強，並且耗時短，滿足即時要求。
可以理解，本發明提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
此外，本發明還提供了圖像處理裝置、電子設備、電腦可讀儲存介質、程式，上述均可用來實現本發明提供的任一種圖像處理方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖9為本發明實施例提供的圖像處理裝置的結構示意圖，如圖9所示，所述圖像處理裝置包括：第一分割模組61，配置為對待處理圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域；區域確定模組62，配置為根據所述目標的分割區域的中心點位置，確定目標所在的圖像區域；第二分割模組63，配置為對各目標所 在的圖像區域進行第二分割處理，確定所述待處理圖像中目標的分割結果。
在本發明的一些實施例中，所述待處理圖像中目標的分割區域包括第一目標的核心分割區域，所述第一目標為所述目標中屬於第一類別的目標，所述第一分割模組包括：核心分割子模組，配置為通過核心分割網路對所述待處理圖像進行核心分割處理，確定第一目標的核心分割區域。
在本發明的一些實施例中，所述目標的分割結果包括所述第一目標的分割結果，所述第二分割模組包括：第一實例分割子模組，配置為通過第一實例分割網路分別對所述第一目標所在的圖像區域進行實例分割處理，確定所述第一目標的分割結果。
在一種可能的實現方式中，所述待處理圖像中目標的分割區域包括第二目標的分割結果，所述第二目標為所述目標中屬於第二類別的目標，所述第一分割模組包括：第二實例分割子模組，配置為通過第二實例分割網路對所述待處理圖像進行實例分割，確定所述第二目標的分割結果。
在本發明的一些實施例中，所述裝置還包括：融合模組，配置為對所述第一目標的分割結果及所述第二目標的分割結果進行融合，確定所述待處理圖像中目標的融合分割結果。
在本發明的一些實施例中，所述待處理圖像包括 3D椎體圖像，所述3D椎體圖像包括椎體橫截面方向的多個切片圖像，所述核心分割子模組，包括：切片分割子模組，配置為通過所述核心分割網路對目標切片圖像組進行核心分割處理，得到所述第一目標在目標切片圖像上的核心分割區域，所述目標切片圖像組包括目標切片圖像及與所述目標切片圖像相鄰的2N個切片圖像，所述目標切片圖像為所述多個切片圖像中的任意一個，N為正整數；核心區域確定子模組，配置為根據所述多個切片圖像的核心分割區域，確定所述第一目標的核心分割區域。
在本發明的一些實施例中，所述核心區域確定子模組，配置為：根據所述多個切片圖像的核心分割區域，分別確定多個3D核心分割區域；對所述多個3D核心分割區域進行優化處理，得到所述第一目標的核心分割區域。
在本發明的一些實施例中，所述裝置還包括：第一中心確定模組，配置為根據所述待處理圖像中目標的分割區域，確定各個分割區域的中心點位置。
在本發明的一些實施例中，所述裝置還包括：第二中心確定模組，配置為根據所述待處理圖像中目標的分割區域，確定目標的分割區域的初始中心點位置；第三中心確定模組，配置為對目標的分割區域的初始中心點位置進行優化，確定各個分割區域的中心點位置。
在本發明的一些實施例中，所述第一分割模組包括：調整子模組，配置為對待處理圖像進行重採樣及像素值縮小處理，得到處理後的第一圖像；裁切子模組，配置為對 所述第一圖像進行中心裁切，得到裁切後的第二圖像；分割子模組，配置為對所述第二圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域。
在本發明的一些實施例中，所述區域確定模組包括：圖像區域確定子模組，配置為對於任意一個目標，根據所述目標的中心點位置以及與所述目標的中心點位置相鄰的至少一個中心點位置，確定所述目標所在的圖像區域。
在本發明的一些實施例中，所述裝置還包括：訓練模組，配置為根據預設的訓練集，訓練神經網路，所述神經網路包括核心分割網路、第一實例分割網路及第二實例分割網路中的至少一種，所述訓練集包括已標注的多個樣本圖像。
在本發明的一些實施例中，第一類別包括頸椎椎體、脊椎椎體、腰椎椎體及胸椎椎體中的至少一種；第二類別包括尾椎椎體。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本發明實施例還提出一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述任意一種圖像處理方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本發明實施例還提出一種電子設備，包括：處理器； 用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行上述任意一種圖像處理方法。
電子設備可以為終端、伺服器或其它形態的設備。
本發明實施例還提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現上述任意一種圖像處理方法。
圖10為本發明實施例提供的一種電子設備800的結構示意圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，消息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖10，電子設備800可以包括以下一個或多個組件：第一處理組件802，第一記憶體804，第一電源組件806，多媒體組件808，音頻組件810，第一輸入/輸出(Input Output，I/O)的介面812，感測器組件814，以及通信組件816。
第一處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，資料通信，相機操作和記錄操作相關聯的操作。第一處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，第一處理組件802可以包括一個或多個模組，便於第一處理組件802和其他組件之間的交互。例如，第一處理組件802可以包括多媒體模組，以方便多媒 體組件808和第一處理組件802之間的交互。
第一記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人資料，電話簿資料，消息，圖片，視頻等。第一記憶體804可以由任何類型的易失性或非易失性存放裝置或者它們的組合實現，如靜態隨機存取記憶體(Static Random-Access Memory，SRAM)，電可擦除可程式設計唯讀記憶體(Electrically Erasable Programmable Read Only Memory，EEPROM)，可擦除可程式設計唯讀記憶體(Electrical Programmable Read Only Memory，EPROM)，可程式設計唯讀記憶體(Programmable Read-Only Memory，PROM)，唯讀記憶體(Read-Only Memory，ROM)，磁記憶體，快閃記憶體，磁片或光碟。
第一電源組件806為電子設備800的各種組件提供電力。第一電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器(Liquid Crystal Display，LCD)和觸摸面板(Touch Pad，TP)。如果螢幕包括觸摸面板，螢幕可以被實現為觸控式螢幕，以接收來自使 用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影頭和/或後置攝影頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝影頭和/或後置攝影頭可以接收外部的多媒體資料。每個前置攝影頭和後置攝影頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號。例如，音頻組件810包括一個麥克風(MIC)，當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在第一記憶體804或經由通信組件816發送。在一些實施例中，音頻組件810還包括一個揚聲器，用於輸出音頻信號。
第一輸入/輸出介面812為第一處理組件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件為電子設備800的顯示器和小 鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如互補金屬氧化物半導體(Complementary Metal Oxide Semiconductor，CMOS)或電荷耦合器件(Charge Coupled Device，CCD)圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，所述通信組件816還包括近場通信(Near Field Communication，NFC)模組，以促進短程通信。例如，在NFC模組可基於射頻識別((Radio Frequency Identification，RFID)技術，紅外資料協會(Infrared Data Association，IrDA)技術，超寬頻(Ultra Wide Band，UWB)技術，藍牙(Bluetooth，BT)技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路(Application Specific Integrated Circuit，ASIC)、數位訊號處理器(Digital Signal Processor，DSP)、數位信號處理設備(Digital Signal Process，DSPD)、可程式設計邏輯器件(Programmable Logic Device，PLD)、現場可程式設計閘陣列(Field Programmable Gate Array，FPGA)、控制器、微控制器、微處理器或其他電子組件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的第一記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖11為本發明實施例提供的另一種電子設備1900的結構示意圖。例如，電子設備1900可以被提供為一伺服器。參照圖11，電子設備1900包括第二處理組件1922，其進一步包括一個或多個處理器，以及由第二記憶體1932所代表的記憶體資源，用於儲存可由第二處理組件1922的執行的指令，例如應用程式。第二記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，第二處理組件1922被配置為執行指令，以執行上述方法。
電子設備1900還可以包括一個第二電源組件1926被配置為執行電子設備1900的電源管理，一個有 線或無線網路介面1950被配置為將電子設備1900連接到網路，和一個第二輸入輸出(I/O)介面1958。電子設備1900可以操作基於儲存在第二記憶體1932的作業系統，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或類似。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的第二記憶體1932，上述電腦程式指令可由電子設備1900的第二處理組件1922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是(但不限於)電存放裝置、磁存放裝置、光存放裝置、電磁存放裝置、半導體存放裝置或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子(非窮舉的列表)包括：可擕式電腦盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦式可程式設計唯讀記憶體(EPROM或快閃記憶體)、靜態隨機存取記憶體(SRAM)、可擕式壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能盤(Digital Video Disc，DVD)、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所 使用的電腦可讀儲存介質不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脈衝)、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本發明實施例操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括物件導向的程式設計語言-諸如Smalltalk、C++等，以及常規的過程式程式設計語言-諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦 可以通過任意種類的網路-包括局域網(Local Area Network，LAN)或(Wide Area Network，WAN)-連接到使用者電腦，或者，可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、FPGA或可程式設計邏輯陣列(Programmable Logic Array，PLA)，該電子電路可以執行電腦可讀程式指令，從而實現本發明的各個方面。
這裡參照根據本發明實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本發明實施例的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯 而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中技術的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
工業實用性
本發明關於一種圖像處理方法、電子設備、電腦可讀儲存介質，所述方法包括：對待處理圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域；根據所述目標的分割區域的中心點位置，確定目標所在的圖像區域；對各目標所在的圖像區域進行第二分割處理，確定所述待處理圖像中目標的分割結果。本發明實施例可實現目標的實例分割，提高分割的準確性及強健性。
S11,S12,S13:步驟

Claims (15)

  1. 一種圖像處理方法，包括： 對待處理圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域； 根據所述目標的分割區域的中心點位置，確定目標所在的圖像區域； 對各目標所在的圖像區域進行第二分割處理，確定所述待處理圖像中目標的分割結果。
  2. 根據請求項1所述的方法，其中，所述待處理圖像中目標的分割區域包括第一目標的核心分割區域，所述第一目標為所述目標中屬於第一類別的目標； 所述對待處理圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域，包括： 通過核心分割網路對所述待處理圖像進行核心分割處理，確定第一目標的核心分割區域。
  3. 根據請求項2所述的方法，其中，所述目標的分割結果包括所述第一目標的分割結果； 所述對各目標所在的圖像區域進行第二分割處理，確定所述待處理圖像中目標的分割結果，包括： 通過第一實例分割網路分別對所述第一目標所在的圖像區域進行實例分割處理，確定所述第一目標的分割結果。
  4. 根據請求項3所述的方法，其中，所述待處理圖像中目標的分割區域包括第二目標的分割結果，所述第二目標為所述目標中屬於第二類別的目標： 所述對待處理圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域，還包括： 通過第二實例分割網路對所述待處理圖像進行實例分割，確定所述第二目標的分割結果。
  5. 根據請求項4所述的方法，還包括： 對所述第一目標的分割結果及所述第二目標的分割結果進行融合，確定所述待處理圖像中目標的融合分割結果。
  6. 根據請求項2至5中任意一項所述的方法，其中，所述待處理圖像包括3D椎體圖像，所述3D椎體圖像包括椎體橫截面方向的多個切片圖像； 所述通過核心分割網路對所述待處理圖像進行核心分割處理，確定第一目標的核心分割區域，包括： 通過所述核心分割網路對目標切片圖像組進行核心分割處理，得到所述第一目標在目標切片圖像上的核心分割區域，所述目標切片圖像組包括目標切片圖像及與所述目標切片圖像相鄰的2N個切片圖像，所述目標切片圖像為所述多個切片圖像中的任意一個，N為正整數； 根據所述多個切片圖像的核心分割區域，確定所述第一目標的核心分割區域。
  7. 根據請求項6所述的方法，其中，所述根據所述多個切片圖像上的核心分割區域，確定所述第一目標的核心分割區域，包括： 根據所述多個切片圖像的核心分割區域，分別確定多個3D核心分割區域； 對所述多個3D核心分割區域進行優化處理，得到所述第一目標的核心分割區域。
  8. 根據請求項1至5中任意一項所述的方法，還包括： 根據所述待處理圖像中目標的分割區域，確定各個分割區域的中心點位置。
  9. 根據請求項1至5中任意一項所述的方法，還包括： 根據所述待處理圖像中目標的分割區域，確定目標的分割區域的初始中心點位置； 對目標的分割區域的初始中心點位置進行優化，確定各個分割區域的中心點位置。
  10. 根據請求項1至5中任意一項所述的方法，其中，所述對待處理圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域，包括： 對待處理圖像進行重採樣及像素值縮小處理，得到處理後的第一圖像； 對所述第一圖像進行中心裁切，得到裁切後的第二圖像； 對所述第二圖像進行第一分割處理，確定所述待處理圖像中目標的分割區域。
  11. 根據請求項1至5中任意一項所述的方法，其中，所述根據所述目標的分割區域的中心點位置，確定目標所在的圖像區域，包括： 對於任意一個目標，根據所述目標的中心點位置以及與所述目標的中心點位置相鄰的至少一個中心點位置，確定所述目標所在的圖像區域。
  12. 根據請求項4至5中所述的方法，還包括： 根據預設的訓練集，訓練神經網路，所述神經網路包括核心分割網路、第一實例分割網路及第二實例分割網路中的至少一種，所述訓練集包括已標注的多個樣本圖像。
  13. 根據請求項4至5中所述的方法，其中，第一類別包括頸椎椎體、脊椎椎體、腰椎椎體及胸椎椎體中的至少一種；第二類別包括尾椎椎體。
  14. 一種電子設備，包括： 處理器； 配置為儲存處理器可執行指令的記憶體； 其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行請求項1至13中任意一項所述的方法。
  15. 一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至13中任意一項所述的方法。
TW109131174A 2019-09-12 2020-09-10 圖像處理方法、電子設備、電腦可讀儲存介質 TWI754375B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910865717.5A CN110569854B (zh) 2019-09-12 2019-09-12 图像处理方法及装置、电子设备和存储介质
CN201910865717.5 2019-09-12

Publications (2)

Publication Number Publication Date
TW202110387A TW202110387A (zh) 2021-03-16
TWI754375B true TWI754375B (zh) 2022-02-01

Family

ID=68779769

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109131174A TWI754375B (zh) 2019-09-12 2020-09-10 圖像處理方法、電子設備、電腦可讀儲存介質

Country Status (6)

Country Link
US (1) US20220180521A1 (zh)
JP (1) JP2022517925A (zh)
KR (1) KR20210113678A (zh)
CN (1) CN110569854B (zh)
TW (1) TWI754375B (zh)
WO (1) WO2021047267A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569854B (zh) * 2019-09-12 2022-03-29 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111178445A (zh) * 2019-12-31 2020-05-19 上海商汤智能科技有限公司 图像处理方法及装置
CN111160276B (zh) * 2019-12-31 2023-05-12 重庆大学 基于遥感影像的u型空洞全卷积分割网络识别模型
CN111368698B (zh) * 2020-02-28 2024-01-12 Oppo广东移动通信有限公司 主体识别方法、装置、电子设备及介质
CN111445443B (zh) * 2020-03-11 2023-09-01 北京深睿博联科技有限责任公司 早急性脑梗死检测方法和装置
CN112308867B (zh) * 2020-11-10 2022-07-22 上海商汤智能科技有限公司 牙齿图像的处理方法及装置、电子设备和存储介质
CN112927239A (zh) * 2021-02-22 2021-06-08 北京安德医智科技有限公司 图像处理方法、装置、电子设备及存储介质
TWI806047B (zh) * 2021-05-11 2023-06-21 宏碁智醫股份有限公司 影像分析方法與影像分析裝置
CN113256672B (zh) * 2021-05-20 2024-05-28 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备
WO2023074880A1 (ja) * 2021-10-29 2023-05-04 Jsr株式会社 椎体推定モデル学習装置、椎体推定装置、固定条件推定装置、椎体推定モデル学習方法、椎体推定方法、固定条件推定方法及びプログラム
TWI795108B (zh) * 2021-12-02 2023-03-01 財團法人工業技術研究院 用於判別醫療影像的電子裝置及方法
CN114638843B (zh) * 2022-03-18 2022-09-06 北京安德医智科技有限公司 大脑中动脉高密度征影像识别方法及装置
WO2023193175A1 (zh) * 2022-04-07 2023-10-12 中国科学院深圳先进技术研究院 一种基于超声图像的穿刺针实时检测方法及装置
CN115035074B (zh) * 2022-06-17 2024-05-28 重庆大学 基于全局空间感知网络的宫颈上皮组织病理图像识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW548601B (en) * 1999-05-17 2003-08-21 Samsung Electronics Co Ltd Color image processing method
CN107633521A (zh) * 2017-07-31 2018-01-26 深圳联影医疗科技有限公司 一种脊椎识别和命名系统、方法及装置
US10083526B2 (en) * 2015-09-24 2018-09-25 General Electric Company Radiation tomographic imaging method, apparatus, and program
US10249038B2 (en) * 2013-03-15 2019-04-02 Qiagen Sciences, Llc Flow cell alignment methods and systems

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886515B (zh) * 2017-11-10 2020-04-21 清华大学 利用光流场的图像分割方法及装置
CN108053400B (zh) * 2017-12-21 2021-06-15 上海联影医疗科技股份有限公司 图像处理方法及装置
CN108510507A (zh) * 2018-03-27 2018-09-07 哈尔滨理工大学 一种融合加权随机森林的3d椎骨ct图像主动轮廓分割方法
CN109215037B (zh) * 2018-09-18 2021-04-02 Oppo广东移动通信有限公司 目标图像分割方法、装置及终端设备
CN109919903B (zh) * 2018-12-28 2020-08-07 上海联影智能医疗科技有限公司 一种脊椎检测定位标记方法、系统及电子设备
CN109829920B (zh) * 2019-02-25 2021-06-15 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110033005A (zh) * 2019-04-08 2019-07-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110569854B (zh) * 2019-09-12 2022-03-29 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW548601B (en) * 1999-05-17 2003-08-21 Samsung Electronics Co Ltd Color image processing method
US10249038B2 (en) * 2013-03-15 2019-04-02 Qiagen Sciences, Llc Flow cell alignment methods and systems
US10083526B2 (en) * 2015-09-24 2018-09-25 General Electric Company Radiation tomographic imaging method, apparatus, and program
CN107633521A (zh) * 2017-07-31 2018-01-26 深圳联影医疗科技有限公司 一种脊椎识别和命名系统、方法及装置

Also Published As

Publication number Publication date
KR20210113678A (ko) 2021-09-16
CN110569854B (zh) 2022-03-29
TW202110387A (zh) 2021-03-16
WO2021047267A1 (zh) 2021-03-18
US20220180521A1 (en) 2022-06-09
CN110569854A (zh) 2019-12-13
JP2022517925A (ja) 2022-03-11

Similar Documents

Publication Publication Date Title
TWI754375B (zh) 圖像處理方法、電子設備、電腦可讀儲存介質
TWI755853B (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
CN109829920B (zh) 图像处理方法及装置、电子设备和存储介质
TWI713054B (zh) 圖像分割方法及裝置、電子設備和儲存媒體
WO2022151755A1 (zh) 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序
CN111739035B (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN112767329B (zh) 图像处理方法及装置、电子设备
TWI755175B (zh) 圖像分割方法、電子設備和儲存介質
CN111899268B (zh) 图像分割方法及装置、电子设备和存储介质
US10674066B2 (en) Method for processing image and electronic apparatus therefor
CN112001912B (zh) 目标检测方法和装置、计算机系统和可读存储介质
TWI765386B (zh) 神經網路訓練及圖像分割方法、電子設備和電腦儲存介質
JP2022548453A (ja) 画像分割方法及び装置、電子デバイス並びに記憶媒体
CN111598025B (zh) 图像识别模型的训练方法和装置
US9282317B2 (en) Method and apparatus for processing an image and generating information representing the degree of stereoscopic effects
CN113724191A (zh) 图像识别方法、装置、设备及存储介质
CN113553460B (zh) 影像检索方法及装置、电子设备和存储介质
US9729844B2 (en) Image capturing device, image display method, and recording medium
CN118261868A (zh) 膝关节损伤检测方法、装置、电子设备及可读存储介质
CN114582013A (zh) 人体被遮挡部位的行为姿态识别方法
JP2017102748A (ja) 瞳画像学習装置、瞳位置検出装置及びそのプログラム