TWI828096B - X光影像分析方法 - Google Patents

X光影像分析方法 Download PDF

Info

Publication number
TWI828096B
TWI828096B TW111111491A TW111111491A TWI828096B TW I828096 B TWI828096 B TW I828096B TW 111111491 A TW111111491 A TW 111111491A TW 111111491 A TW111111491 A TW 111111491A TW I828096 B TWI828096 B TW I828096B
Authority
TW
Taiwan
Prior art keywords
image
ray image
ray
analysis method
analyzed
Prior art date
Application number
TW111111491A
Other languages
English (en)
Other versions
TW202338729A (zh
Inventor
張漢威
Original Assignee
英屬開曼群島商百蒂醫股份有限公司
張漢威
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英屬開曼群島商百蒂醫股份有限公司, 張漢威 filed Critical 英屬開曼群島商百蒂醫股份有限公司
Priority to TW111111491A priority Critical patent/TWI828096B/zh
Priority to US18/125,219 priority patent/US20230306591A1/en
Priority to JP2023047867A priority patent/JP2023143875A/ja
Publication of TW202338729A publication Critical patent/TW202338729A/zh
Application granted granted Critical
Publication of TWI828096B publication Critical patent/TWI828096B/zh

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Abstract

一種X光影像分析方法,經由一電腦執行,包括:接收X光影像;選取X光影像中的至少一檢測區域;對檢測區域中的目標影像執行影像標準化處理以獲得待分析影像;及輸入待分析影像至影像分類模型,以獲得骨質密度分析結果。

Description

X光影像分析方法
本發明是有關於一種影像分析方法,特別是指一種利用神經網路模型進行X光影像分析的方法。
雙能量X光吸光式測定儀(dual energy x-ray absorptiometry,DXA),俗稱骨密度儀,可產生兩種能量的X光。由於不同能量的X光被不同介質衰減的程度不同。介質的密度越高,對X光造成的衰減越大。從而,可檢測出身體各部位的骨質密度。然而,一般使用DXA所需量測時間需要15至20分鐘,其儀器成本也較一般X光機昂貴,並不利於推廣民眾檢測。
本發明一實施例提出一種X光影像分析方法。X光影像分析方法,經由一電腦執行,包括:接收X光影像;確認X光影像的影像品質是否符合需求;選取X光影像中的至少一檢測區域;對檢測區域中的目標影像執行影像標準化處理以獲得待分析影像;及輸入待分析影像至影像分類模型,以獲得骨質密度分析結果。
依據本發明實施例之X光影像分析方法,可根據X光影像自動分析出骨質密度分析結果。依據一些實施例,還可進一步地分析出風險值。
參照圖1,係為本發明一實施例之X光影像分析方法流程圖。首先,接收一X光影像(步驟100)。
在一些實施例中,X光影像是脊椎X光影像、股骨X光影像、鎖骨X光影像或掌骨X光影像。透過分析所述脊椎X光影像、股骨X光影像、鎖骨X光影像或掌骨X光影像的特徵,來判斷對應部位是否發生骨質流失所造成細微紋理結構變化,據以推估是否發生骨質疏鬆的情形。所述X光影像是透過診斷型X光機、移動型X光機或X光機巡迴車來取得,其設備成本與量測時間均較傳統使用雙能量X光吸光式測定儀低。
在步驟101中,確認X光影像的影像品質是否符合需求。若符合需求,則接續後續步驟;若否,則結束流程。具體來說,本步驟可透過canny、focus、sobel、laplacian等算子函數來檢驗X光影像的影像品質。例如可設定一閾值,根據對X光影像執行前述其中一個算子函數後之結果與該閾值相比,若低於該閾值則表示符合需求。舉例來說,sobel算子可計算水平和垂直方向梯度,梯度值過高,表示影像包括過度雜訊。如圖10A所示,係為符合需求之X光影像之示意圖;如圖10B所示,係為不符合需求之X光影像之示意圖,可以看到圖中包括過多的雜訊點;如圖10C所示,係為另一不符合需求之X光影像之示意圖,可以看到圖中包括若干水平紋路。藉此,可檢測X光影像中的紋理是否足夠清晰,以篩選出足夠清晰的影像,避免後續判別結果錯誤。
在一些實施例,可採用多個算子函數,該等算子函數分別對應有一閾值,當該等算子函數之計算結果均低於對應之閾值,則判斷X光影像之影像品質符合需求。
在步驟200中,選取X光影像中的至少一檢測區域。舉例來說,對於股骨X光影像,是以股骨頸部位作為檢測區域。
在一些實施例中,步驟200還提供一使用者介面來供使用者圈選出所述檢測區域。
在一些實施例中,步驟200是透過物件偵測模型來實現。所述物件偵測模型可例如為Mask R-CNN、YOLO等模型。所述物件偵測模型是需要預先訓練的,透過輸入多重樣本影像及相應的含有偵測目標(如股骨頸部位)的標註區域至物件偵測模型,來訓練物件偵測模型偵測出股骨X光影像中的股骨頸部位。
在步驟300中,對於檢測區域中的目標影像,執行一影像標準化處理,以獲得一待分析影像。為了說明的流暢,影像標準化處理之細部流程將留待後述。透過影像標準化處理,可獲得合適尺寸且所需細節清晰的影像,適宜輸入至影像分類模型中。
在步驟400中,將經過處理的待分析影像輸入至影像分類模型中;接著,於步驟500中,根據影像分類模型之輸出,獲得骨質密度分析結果。影像分類模型為神經網路模型,於後將再具體說明實現方式。所述骨質密度分析結果可例如是,有無罹患骨質疏鬆症或骨質密度數值等。
在一些實施例中,檢測區域的尺寸是依據神經網路模型之輸入規格來決定。例如,若適合輸入至神經網路模型之影像尺寸為224像素見方,則檢測區域的尺寸則同樣為224像素見方。
參照圖2,係為本發明一實施例之影像標準化處理之細部流程圖。影像標準化處理步驟300包括影像清晰處理(步驟301)、最小邊裁切(步驟302)及縮放(步驟303)。
在步驟301中,可利用銳利化(Sharpen)處理或均衡化處理(如直方圖均衡化)來使影像細節更加清楚。在執行銳利化處理或均衡化處理之前,還包括灰階化處理,以將為彩色的目標影像轉換為灰階影像。若目標影像已為灰階影像,則無需執行灰階化處理。
在步驟302中,是對目標影像進行裁切處理。若目標影像尺寸不符合前述神經網路模型之需求尺寸,則將目標影像裁切至相應的尺寸。例如,目標影像為一長方形,則以短邊為基準對長邊進行裁切,以獲得一正方形影像。
在步驟303中,若經過步驟302處理後的影像尺寸不符合前述神經網路模型之尺寸,則對其進行縮放處理(等比例縮小或放大),以獲得前述神經網路模型之需求尺寸。經由前述步驟301至303,對目標影像進行預處理之後,可獲得待分析影像。
參照圖3,係為本發明另一實施例之影像標準化處理之細部流程圖。相較於圖2,本實施例之影像標準化處理還包括計算高紋理特徵區之步驟(步驟313)及範圍取樣之步驟(步驟314)。步驟311、312及315分別與步驟301、302及303相同,於此不再重複說明。
在步驟313中,採用邊緣檢測演算法來檢測影像中的紋理。邊緣檢測演算法可例如為Canny演算法、Sobel演算法等。特別是對於骨質疏鬆之識別,透過步驟313可以找出具有最多骨質紋理的區域。
在步驟314中,依據步驟313所找出的最多骨質紋理區域之中心,擴大一特定範圍,在該特定範圍中隨機取樣出複數個與檢測區域相同大小的區域影像,以供後續於步驟400將此些區域影像輸入至影像分類模型。在此,由於取樣出的區域影像是符合神經網路模型之需求尺寸,因此步驟315可省略。
參照圖4,係為本發明一實施例之影像分類處理之細部流程圖。在步驟401中,將前述待分析影像或區域影像輸入至影像分類模型。在此,影像分類模型為三元組損失(Triplet Loss)模型。三元組損失模型用於訓練差異性較小的資料集。輸入資料包括錨(Anchor)示例、正(Positive)示例和負(Negative)示例。透過優化模型,使得錨示例與正示例的距離小於錨示例與負示例的距離,實現樣本的相似性計算。其中錨示例是樣本集中隨機選取的一個樣本,正示例與錨示例屬於同一類的樣本,而負示例與錨示例屬於不同類的樣本。如此,可透過三元組損失模型對影像特徵進行分群。例如,區分為罹患骨質疏鬆症之群集與沒有罹患骨質疏鬆症之群集。
在步驟402中,將三元組損失模型的輸出結果,透過主成分分析(Principal Component Analysis,PCA)降維。主成分分析可對於資料在特徵空間找到一個投影軸,投影後可以得到這組資料的最大變異量。藉此,可以有效的減少維度數,但整體變異量並沒有減少太多。如此,可利用主成分分析對分群結果進行降維,以取得各群的分佈座標資訊。經過步驟401、402,可將輸入三元組損失模型的待分析影像或區域影像轉換成一座標落點。
在步驟403中,根據訓練過程所獲得的各個群的分佈座標資訊,判斷此座標落點位於其中的哪一個群集範圍,來獲得此影像應屬於哪一群(或稱為分析類型)。
步驟404是統合所有分析類型。在此,是指對於對應於同一張X光影像所擷取的每一待分析影像或每一區域影像所獲得的分析類型進行統合。舉例來說,若對於同一X光影像擷取了三個區域影像,此三個區域影像在經過前述步驟401至403之後會分別得到一個分析類型;在步驟404則統合此三個分析類型,使得於步驟500中可根據統合結果來獲得骨質密度分析結果。具體來說,是依據分析類型中的多數者來做為骨質密度分析結果。例如,三個分析類型為二個罹患骨質疏鬆症類型及一個沒有罹患骨質疏鬆症類型,則依據多數決來認定屬於罹患骨質疏鬆症之骨質密度分析結果。
參照圖5,係為本發明另一實施例之影像分類處理之細部流程圖。於圖4之差異在於,本實施例是使用卷積神經網路(Convolutional Neural Networks,CNN)作為影像分類模型,例如深度殘差網路(Deep residual network,ResNet)、GoogleLeNet、DenseNet等。在訓練模型時,將作為訓練樣本的X光影像依據前述方式取得待分析影像或區域影像並標註該X光影像之分析類型,輸入至模型中。卷積神經網路的最末層為權重分類器(如XGBoost),以根據提取特徵預測可能的類別機率。因此,在進行預測判斷時,將待識別的X光影像依據前述方式取得待分析影像或區域影像輸入至模型中(步驟411),而可獲得預測之分析類型(步驟412)。步驟413與前述步驟404相同,於此不重複說明。
參照圖6,係為本發明一實施例之風險值預測之細部流程圖。承接前述圖5之例,在一些實施例中,還可重複利用卷積神經網路提取的特徵。將該等提取特徵輸入至另一神經網路模型(於此稱風險值預測模型)中(步驟700)。在此,風險值預測模型可以為多層感知器(Multilayer perceptron,MLP)。於訓練時,將訓練樣本對應的提取特徵和對應的風險值輸入至風險值預測模型中,使得在進行預測判斷時,可以根據待識別樣本的提取特徵進行風險值之預測,而獲得預測之風險值(步驟800)。在骨質疏鬆識別應用中,風險值可以例如是T評分(T-scores)參數或骨折風險評估(Fracture Risk Assessment,FRAX)參數。在一些實施例中,除了來自卷積神經網路所提取之特徵之外,還可一併輸入其他特徵至風險值預測模型中,例如個人資料(如性別、年齡)、身體數據(如身體質量指數(BMI)、身高、體重)、醫學資訊(疾病史(如有無罹患糖尿病、高血壓))等的特徵。該等特徵可經由使用者介面供使用者輸入,也可以是透過讀取病歷資料庫來取得。
參照圖7,係為本發明另一實施例之風險值預測之細部流程圖。與圖6之差異在於,在步驟700之前,還執行步驟600,係將提取特徵正規化為0到1之間的數值範圍。
參照圖8,係為本發明再一實施例之風險值預測之細部流程圖。與前述圖6類似,還可重複利用三元組損失模型提取的特徵,將該等提取特徵輸入至前述風險值預測模型中(步驟700)。步驟800如前所述,於此不重複贅述。
在一些實施例中,除了來自三元組損失模型所提取之特徵之外,還可一併輸入其他特徵至風險值預測模型中,例如個人資料(如性別、年齡)、身體數據(如身體質量指數(BMI)、身高、體重)、醫學資訊(如疾病史(如有無罹患糖尿病、高血壓))等的特徵。該等特徵可經由使用者介面供使用者輸入,也可以是透過讀取病歷資料庫來取得。
參照圖9,係為本發明又一實施例之風險值預測之細部流程圖。與前述圖7類似,在步驟700之前,還執行步驟600,係將提取特徵正規化為0到1之間的數值範圍。
前述X光影像分析方法是經由電腦載入並執行電腦程式產品而實現。電腦程式產品係由多條程式指令組成,儲存於非暫態電腦可讀取媒體中。所述電腦可例如為個人電腦、伺服器等具有運算能力之計算裝置。電腦一般具有處理單元(如中央處理器、圖形處理器)、記憶體、儲存媒體(如硬碟)、輸入輸出介面、網路介面等硬體資源。
在一些實施例中,所述電腦可與醫療影像儲存系統(如Picture archiving and communication system,PACS)或醫用檢測儀器連結,以取得X光影像。
綜上所述,依據本發明實施例之X光影像分析方法,可根據X光影像自動分析出骨質密度分析結果。依據一些實施例,還可進一步地分析出風險值。
100:接收X光影像 101:確認X光影像的影像品質是否符合需求 200:選取檢測區域 300:影像標準化處理 301,311:影像清晰處理 302,312:最小邊裁切 303,315:縮放 313:計算高紋理特徵區 314:範圍取樣 400:輸入至影像分類模型 401:輸入至三元組損失模型 402:主成分分析 403:根據座標落點獲得分析類型 404,413:統合所有分析類型 411:輸入至卷積神經網路 412:獲得分析類型 500:獲得骨質密度分析結果 600:特徵正規化 700:輸入特徵至風險值預測模型 800:獲得風險值
[圖1]為本發明一實施例之X光影像分析方法流程圖。 [圖2]為本發明一實施例之影像標準化處理之細部流程圖。 [圖3]為本發明另一實施例之影像標準化處理之細部流程圖。 [圖4]為本發明一實施例之影像分類處理之細部流程圖。 [圖5]為本發明另一實施例之影像分類處理之細部流程圖。 [圖6]為本發明一實施例之風險值預測之細部流程圖。 [圖7]為本發明另一實施例之風險值預測之細部流程圖。 [圖8]為本發明再一實施例之風險值預測之細部流程圖。 [圖9]為本發明又一實施例之風險值預測之細部流程圖。 [圖10A]為符合需求之X光影像之示意圖。 [圖10B]為不符合需求之X光影像之示意圖。 [圖10C]為另一不符合需求之X光影像之示意圖。
100:接收X光影像 101:確認X光影像的影像品質是否符合需求 200:選取檢測區域 300:影像標準化處理 400:輸入至影像分類模型 500:獲得骨質密度分析結果

Claims (5)

  1. 一種X光影像分析方法,經由一電腦執行,該X光影像分析方法包括:接收一X光影像;利用一邊緣檢測算子函數確認該X光影像的一影像品質符合需求,其中,該X光影像透過邊緣檢測算子函數獲得一結果,當該結果低於一閾值時,該X光影像的該影像品質被判定為符合需求;選取符合需求的該X光影像中的至少一檢測區域;對該至少一檢測區域中的一目標影像執行一影像標準化處理以獲得至少一待分析影像;輸入該至少一待分析影像至一三元組損失模型,以進行相似度計算來對該至少一該待分析影像的影像特徵進行分群;將該三元組損失模型的輸出結果,透過主成分分析降維,以轉換得一座標落點;根據該座標落點所在的一群集範圍得到該至少一待分析影像所屬之一分析類型;及依據該至少一待分析影像之該分析類型,以獲得該骨質密度分析結果。
  2. 如請求項1所述之X光影像分析方法,更包括:輸入經由該三元組損失模型提取的複數特徵至一風險值預測模型,以獲得一風險值。
  3. 如請求項2所述之X光影像分析方法,其中在輸入該些特徵至該風險值預測模型之前,更包括:對該些特徵正規化。
  4. 如請求項2所述之X光影像分析方法,其中該風險值預測模型為一多層感知器。
  5. 如請求項1所述之X光影像分析方法,其中選取該檢測區域之步驟是透過一物件偵測模型來實現。
TW111111491A 2022-03-25 2022-03-25 X光影像分析方法 TWI828096B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW111111491A TWI828096B (zh) 2022-03-25 2022-03-25 X光影像分析方法
US18/125,219 US20230306591A1 (en) 2022-03-25 2023-03-23 Medical image analysis method
JP2023047867A JP2023143875A (ja) 2022-03-25 2023-03-24 医療用画像解析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111111491A TWI828096B (zh) 2022-03-25 2022-03-25 X光影像分析方法

Publications (2)

Publication Number Publication Date
TW202338729A TW202338729A (zh) 2023-10-01
TWI828096B true TWI828096B (zh) 2024-01-01

Family

ID=89856229

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111111491A TWI828096B (zh) 2022-03-25 2022-03-25 X光影像分析方法

Country Status (1)

Country Link
TW (1) TWI828096B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1735373A (zh) * 2003-01-07 2006-02-15 成像治疗仪股份有限公司 预测肌和骨骼疾病的方法
US8818484B2 (en) * 2002-09-16 2014-08-26 Imatx, Inc. Methods of predicting musculoskeletal disease
US9111180B2 (en) * 2006-09-21 2015-08-18 Orthopedic Navigation Ltd. Medical image analysis
CN106687602A (zh) * 2014-06-13 2017-05-17 维也纳自然资源与生命科学大学 用于诊断和治疗骨折和骨病的组合物及方法
CN108682001A (zh) * 2018-03-30 2018-10-19 深圳市深图医学影像设备有限公司 骨密度的测量方法及装置
CN112070760A (zh) * 2020-09-17 2020-12-11 安徽大学 一种基于卷积神经网络的骨量检测方法
TWI719843B (zh) * 2020-02-27 2021-02-21 長庚醫療財團法人林口長庚紀念醫院 產生用於估測骨質密度的模型的方法、估測骨質密度的方法及電子系統
CN112396591A (zh) * 2020-11-25 2021-02-23 暨南大学附属第一医院(广州华侨医院) 一种基于腰椎x线图像的骨质疏松智能评估方法
CN112529863A (zh) * 2020-12-04 2021-03-19 推想医疗科技股份有限公司 测量骨密度的方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818484B2 (en) * 2002-09-16 2014-08-26 Imatx, Inc. Methods of predicting musculoskeletal disease
CN1735373A (zh) * 2003-01-07 2006-02-15 成像治疗仪股份有限公司 预测肌和骨骼疾病的方法
US9111180B2 (en) * 2006-09-21 2015-08-18 Orthopedic Navigation Ltd. Medical image analysis
CN106687602A (zh) * 2014-06-13 2017-05-17 维也纳自然资源与生命科学大学 用于诊断和治疗骨折和骨病的组合物及方法
CN108682001A (zh) * 2018-03-30 2018-10-19 深圳市深图医学影像设备有限公司 骨密度的测量方法及装置
TWI719843B (zh) * 2020-02-27 2021-02-21 長庚醫療財團法人林口長庚紀念醫院 產生用於估測骨質密度的模型的方法、估測骨質密度的方法及電子系統
CN112070760A (zh) * 2020-09-17 2020-12-11 安徽大学 一种基于卷积神经网络的骨量检测方法
CN112396591A (zh) * 2020-11-25 2021-02-23 暨南大学附属第一医院(广州华侨医院) 一种基于腰椎x线图像的骨质疏松智能评估方法
CN112529863A (zh) * 2020-12-04 2021-03-19 推想医疗科技股份有限公司 测量骨密度的方法及装置

Also Published As

Publication number Publication date
TW202338729A (zh) 2023-10-01

Similar Documents

Publication Publication Date Title
US9076197B2 (en) Probability density function estimation
CN108133476B (zh) 一种肺结节自动检测方法及系统
Selvathi et al. Thyroid classification and segmentation in ultrasound images using machine learning algorithms
US20140233820A1 (en) Segmentation and Fracture Detection in CT Images
WO2020066257A1 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
US11666286B2 (en) Classification of polyps using learned image analysis
KR102600401B1 (ko) 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램
CN109461144B (zh) 一种乳腺影像识别的方法及装置
JP2023143875A (ja) 医療用画像解析方法
CN111462203B (zh) Dr病灶演化分析装置和方法
TWI828096B (zh) X光影像分析方法
TWI814307B (zh) 醫學影像分析方法
CN116862824A (zh) X光影像分析方法
CN116862825A (zh) 医学影像分析方法
Africano et al. A new benchmark and method for the evaluation of chest wall detection in digital mammography
CN112766333B (zh) 医学影像处理模型训练方法、医学影像处理方法及装置
Wang et al. Deep 3D multi-scale dual path network for automatic lung nodule classification
Srivastava et al. Brain Tumor Detection by Canny Edge Algorithm using CNN
Saputra et al. Fourier Domain Adaptation for Image Augmentation in CNN-based Pneumonia Classification
Meghana et al. CIDC-Net: Chest-X Ray Image based Disease Classification Network using Deep Learning
El-Shahat et al. Assessment of deep learning techniques for bone fracture detection under neutrosophic domain
Jagadeeshwar et al. Medical Image Contrast Enhancement using Tuned Fuzzy Logic Intensification for COVID-19 Detection Applications
WO2023195924A2 (en) Method and system for facilitating analysis of a skin condition
Yu et al. Computer Aided Diagnostic Model for Knee Osteoarthritis: A Multi-modal Feature Regression Approach
Padantyo et al. COVID-19 prediction based on GLCM features of radiography image using SVM, KNN, and backpropagation ANN classifiers