TWM624947U - X光影像分析儀器 - Google Patents
X光影像分析儀器 Download PDFInfo
- Publication number
- TWM624947U TWM624947U TW110215202U TW110215202U TWM624947U TW M624947 U TWM624947 U TW M624947U TW 110215202 U TW110215202 U TW 110215202U TW 110215202 U TW110215202 U TW 110215202U TW M624947 U TWM624947 U TW M624947U
- Authority
- TW
- Taiwan
- Prior art keywords
- ray image
- subject
- fracture
- processing unit
- image analysis
- Prior art date
Links
Images
Landscapes
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本創作提供一種X光影像分析儀器,包括:用戶介面裝置、儲存單元以及處理單元。用戶介面裝置,用以接收受測者的個人資料。儲存單元儲存有骨折分析預測模型。處理單元電性耦接儲存單元與用戶介面裝置,且根據受測者的個人資料啟用骨折分析預測模型,於骨折分析預測模型啟用時,處理單元自資料庫讀取受測者的至少一腹部正面X光影像,並透過骨折分析預測模型依據受測者的至少一腹部正面X光影像而產生估測骨折分析資料。
Description
本創作係關於一種X光影像分析設備,更特別的是關於一種X光影像分析儀器,可用於對受測者的X光影像中是否與骨折有關來進行輔助性的估測。
X光影像分析設備,藉由存取X光影像如數位化的X光影像並加以呈現以輔助使用者如醫護人員或研究者進行研究或判斷,可以將X光影像以各種影像處理方式呈現。
脊椎骨折(vertebral fracture,VF)的識別對於二級骨折(secondary fracture)的有效預防至關重要,因為脊椎骨折與未來骨折風險的增加有關。脊椎骨折 (VF) 被確定為基於側向脊柱成像的椎體畸形,是骨質疏鬆症的標誌。 VF 是最常見的骨折,儘管它們在很大程度上仍未得到診斷。這是因為 VF 無症狀或僅引起輕微疼痛,並且臨床路徑中缺乏常規放射學檢測。在歐洲,相關的經濟負擔估計為 370 億歐元,預計到 2025 年將增加 25%。單純腹部正面 X光影像(Plain abdominal frontal radiograph,PAR)是針對各種臨床狀況進行的常見調查方法。然而,醫生基於PAR篩查VF仍具有挑戰性。
雖然X光影像分析設備的使用者如醫護人員或研究人員可以利用X光影像分析設備的影像處理功能來對PAR進行分析影像中的意義,然而,目前並未出現能夠就某種輔助性診斷如是否與骨折相關的需求而對X光影像進行分析的X光影像分析設備。由此,X光影像分析設備的技術仍有待改進。
本創作之一目的在於提出一種X光影像分析儀器,可用於對受測者的X光影像中是否與骨折有關來進行輔助性的估測。
為達至少上述目的,本創作提出一種X光影像分析儀器,包括:一用戶介面裝置、一儲存單元以及一處理單元。該用戶介面裝置,用以接收一受測者的個人資料。該儲存單元,儲存有一骨折分析預測模型。該處理單元,電性耦接該儲存單元與該用戶介面裝置,且根據該受測者的個人資料啟用該骨折分析預測模型,於該骨折分析預測模型啟用時,該處理單元自一資料庫讀取該受測者的至少一腹部正面X光影像,並透過該骨折分析預測模型依據該受測者的該至少一腹部正面X光影像而產生一估測骨折分析資料。
在該X光影像分析儀器的一些實施例中,該骨折分析預測模型係基於多個訓練測試者的多筆腹部正面X光影像的訓練資料來建模。
在該X光影像分析儀器的一些實施例中,該處理單元透過該用戶介面裝置用以呈現該估測骨折分析資料,其中該估測骨折分析資料包含該受測者的該至少一腹部正面X光影像中關於骨折的資訊。
在該X光影像分析儀器的一些實施例中,該X光影像分析儀器更包括一通訊單元,電性耦接至該處理單元且用於進行通訊。
在該X光影像分析儀器的一些實施例中,該處理單元透過該通訊單元與該資料庫通訊以讀取該受測者的該至少一腹部正面X光影像。
在該X光影像分析儀器的一些實施例中,該處理單元透過該通訊單元與一數位X光影像裝置的該資料庫通訊以讀取該受測者的該至少一腹部正面X光影像。
在該X光影像分析儀器的一些實施例中,該處理單元透過該通訊單元與一影像儲傳系統中之該資料庫通訊以讀取該受測者的該至少一腹部正面X光影像。
在該X光影像分析儀器的一些實施例中,該處理單元透過該通訊單元將該估測骨折分析資料發送至一影像儲傳系統。
在該X光影像分析儀器的一些實施例中,該X光影像分析儀器為一基於電腦系統的裝置。
藉此,上述實施例揭示X光影像分析儀器,可以配置為能夠透過骨折分析預測模型依據受測者的至少一腹部正面X光影像而產生估測骨折分析資料,可用於對受測者的X光影像中是否與骨折有關來進行輔助性的估測,從而輔助醫護人員對相關族群身體檢測上帶來助益。
為充分瞭解本創作之目的、特徵及功效,茲藉由下述具體之實施例,並配合所附之圖式,對本創作做詳細說明,說明如後:
請參考圖1,其為依據本創作一實施例之X光影像分析儀器1的示意方塊圖。如圖1所示,依據本創作的實施例,提供一種X光影像分析儀器1,包括:用戶介面裝置10、儲存單元20以及處理單元30。用戶介面裝置10,用以接收受測者的個人資料。用戶介面裝置10例如可實現為用以與受測者互動,例如接收受測者的編號,以便從資料庫5中讀取受測者的X光影像。資料庫5可以實現為X光影像分析儀器1內部的或X光影像分析儀器1外部的儲存裝置,且用以儲存受測者的X光影像。儲存單元20例如是記憶體、硬碟或光碟機、或固態硬碟等各種儲存裝置,儲存單元20儲存有骨折分析預測模型21,其中骨折分析預測模型21為已經訓練的人工智慧模型,此將舉實施例說明於後。處理單元30電性耦接儲存單元20與用戶介面裝置10,且根據該受測者的個人資料啟用骨折分析預測模型21。處理單元30例如是微處理器、微控制器或特殊應用積體電路等任何處理電路。
於骨折分析預測模型21啟用時,處理單元30自資料庫5讀取受測者的至少一腹部正面X光影像,並透過骨折分析預測模型21依據受測者的至少一腹部正面X光影像而產生一估測骨折分析資料。
舉例而言,骨折分析預測模型21係基於某一族群(例如高齡族群、地區、國家或種族之族群)或多個族群之多個訓練測試者的多筆訓練資料來建模,此等訓練資料包括此等訓練測試者的多個個人資料、多個單純腹部正面 X光影像(Plain abdominal frontal radiograph,PAR)。骨折分析預測模型21可以利用程式模組或其他各種方式來實現並儲存於儲存單元30以讓處理單元30利用或執行。
在一些實施例中,處理單元30透過用戶介面裝置10用以呈現估測骨折分析資料,其中該估測骨折分析資料包含該受測者的至少一腹部正面X光影像中關於骨折的資訊。用戶介面裝置10可以實現為包括顯示裝置,如觸控螢幕或液晶螢幕,或進一步包括按鍵或鍵盤等使用者介面的實作方式來實現。
舉例而言,在一應用情景中,利用數位X光影像裝置取得一受測者的X光影像,並儲存於資料庫5;使用者於X光影像分析儀器1的用戶介面裝置10輸入該受測者的個人資料從而透過X光影像分析儀器1的處理單元30啟用骨折分析預測模型21,處理單元30自資料庫5讀取該受測者的至少一腹部正面X光影像,並透過骨折分析預測模型21依據該受測者的該至少一腹部正面X光影像而產生估測骨折分析資料。估測骨折分析資料呈現於用戶介面裝置10,且可輔助使用者如醫護人員或研究者進行分析影像中的意義。估測骨折分析資料例如是估測是否有骨折、估測的骨折的程度,或估測的骨折位置或區域等。
藉此,圖1所示的X光影像分析儀器1為一種可用於對受測者的X光影像中是否與骨折有關來進行輔助性的估測的系統架構。由此可以進一步以不同方式來實現以便於應用實現及研究發展。
如圖2所示,其為X光影像分析儀器之另一種實施方式的示意圖。圖2的X光影像分析儀器1A係基於圖1的X光影像分析儀器1而成,相較於圖1的X光影像分析儀器1,圖2的X光影像分析儀器1A更包括通訊單元40,通訊單元40電性耦接至處理單元30且用於進行通訊,例如以有線(如USB或區域網路等)或無線方式(如無線區域網路Wi-Fi等)進行通訊。通訊單元40例如是有線或無線網路卡,或任何合適的通訊裝置或電路模組。
舉例而言,處理單元30透過通訊單元40與資料庫5通訊以讀取受測者的至少一腹部正面X光影像。例如圖2所示,處理單元30透過通訊單元40與一數位X光影像裝置6的資料庫5通訊以讀取受測者的至少一腹部正面X光影像。
如圖3所示,在一些實施例中,X光影像分析儀器1A的處理單元30透過通訊單元40與外部裝置90的資料庫5通訊以讀取受測者的至少一腹部正面X光影像。
在一些實施例中,外部裝置90例如是智慧型裝置如手機或平板電腦或桌上型電腦等,也可以是透過網路而連接的伺服器如雲端伺服器。處理單元30藉由通訊單元40,可以將估測骨折分析資料或受測者的資料或狀態傳至外部裝置90,以進行進一步的儲存、分析或其他用途。
在一些實施例中,外部裝置90可以是影像儲傳系統中的裝置,如醫療影像儲傳系統(picture archiving and communication system,PACS)中的裝置。X光影像分析儀器1A藉由通訊單元40將估測骨折分析資料發送至可以影像儲傳系統中,以進行進一步的儲存、分析或其他用途。
在上述X光影像分析儀器的一些實施例中,X光影像分析儀器1為一基於電腦系統的裝置。
以下進一步藉由實施例來舉例說明如上述X光影像分析儀器的實現方式,其中將對儲存單元中的骨折分析預測模型的建模方式舉例說明。請注意的是,以下為本案創作人經過研究所得出的實施例。該研究中的實現方式或各種討論等係可應用於實現上述X光影像分析儀器而可被視為本創作的一些實現方式。
脊椎骨折(VF)被確定為基於側向脊柱成像的椎體畸形,是骨質疏鬆症的標誌。VF是最常見的骨折,儘管它們在很大程度上仍未得到診斷。這是因為 VF 無症狀或僅引起輕微疼痛,並且臨床路徑中缺乏常規放射學檢測。在歐洲,相關的經濟負擔估計為 370 億歐元,預計到 2025 年將增加 25%。腹部正面X光影像(PAR) 是針對各種臨床狀況(例如泌尿系統或胃腸道疾病)進行的常見調查方法,醫生基於 PAR 篩查 VF 具有挑戰性。
另一方面,卷積神經網路 (CNN)能夠處理影像、視頻、信號、序列等形式的資料。在 CNN 的架構中,每個卷積過程都由一個過濾器執行,過濾器從影像的不同部分提取局部信息。 CNN 可以從多個不同層次獲取局部信息,並結合這些提取的特徵來構建全局信息。許多醫學成像領域的研究人員一直在使用基於 CNN 的模型來完成各種任務,他們在醫學上的成功為深度學習研究提供了無數潛在的前景。已經開發了許多方法,例如梯度加權類別活化映射(Gradient-weighted CAM, Grad-CAM),用於深度卷積神經網路 (DCNN) 的視覺描繪,以幫助臨床醫生識別病理區域並驗證 DCNN 的性能。此外,PAR 為機會性識別 VF 提供了一個理想的平台,因為全科醫生通常將他們的實踐集中在某些疾病類別上。基於 DCNN 訓練的自動 VF 輔助性診斷演算法具有提高效率、減少延遲管理和改善患者預後的潛力,尤其是那些需要骨質疏鬆症治療但尚未確診的患者。
脊椎骨折(vertebral fracture,VF)的識別對於二級骨折(secondary fracture)的有效預防至關重要,因為脊椎骨折與未來骨折風險的增加有關。單純腹部正面 X光影像(Plain abdominal frontal radiograph,PAR)是針對各種臨床適應症進行的常見調查方法,為機會性識別 VF 提供了理想的平台。本創作以下的實施例使用深度卷積神經網路(deep convolutional neural network,DCNN)來確定使用 PAR 篩選、檢測和定位 VF 的可行性。
以下首先概要性的說明實施例。在以下的實施例中,為了建立骨折分析預測模型(如圖1、2中的骨折分析預測模型21),使用ImageNet 對 DCNN 進行預訓練,並使用 2015 年 8 月至 2018 年 12 月期間獲得的 PAR 資料庫中的 1306 張影像進行重新訓練。評估了準確度、靈敏度、特異度及接收器操作特徵曲線下面積(area under the receiver operating characteristic curve,AUC)。視覺化演演算法之梯度加權類別活化映射(Grad-CAM)用於模型解釋。在原始PAR報告中,只有 46.6% (204/438) 的 VF 被輔助性診斷出來。該演算法在 VF 識別中實現了 73.59% 的準確度、73.81% 的靈敏度、73.02% 的特異度和 0.72 的 AUC。藉此,與 DCNN 整合的電腦驅動解決方案有可能在用於各種臨床目的的 PAR 上機會性地使用時以良好的準確度識別 VF。所提出的模型可以幫助臨床醫生在目前脆性骨折治療的臨床路徑(Clinical pathway)中變得更加高效和經濟。
關於研究人群,在2015年至2018年期間,從台灣大學醫院(National Taiwan University Hospital,NTUH)新竹分院骨折聯絡服務 (Fracture Liaison Services,FLS) 計劃期間開發的資料庫中獲得的總共 1456 個 PAR 被回顧性納入該研究。所有病史、人口統計資料、影像學發現、追蹤(follow-up)材料和併發症都記錄在該資料庫中。該研究方案於2019年3月1日獲得台灣大學醫院新竹分院機構審查委員會(institutional review board,IRB)(IRB 編號:108-007-E)的批准。
關於椎體骨折評估,VF 被定義為透過比較基線和側位胸腰椎X光影像的收尾,在前、中或後椎體高度中椎體高度損失(vertebral body height loss)20% 或更多。這是使用 Genant 的半定量方法完成的,該方法將 VF 分類為 I 級(輕度,身高下降 20%–25%)、II 級(中度,身高下降 25%–40%)和 III 級(嚴重,身高損失超過 40%)。
關於影像標記和資料庫建立,本實施例中,使用醫療影像儲傳系統(picture archiving and communication system,PACS)瀏覽器的影像使用電腦程式語言Python撰寫的腳本進行存儲。顏色為 8 位元灰度,存儲影像的大小從 2128 x 2248 像素到 2688 x 2688 像素不等。創作人研究中包含的所有 PAR 都包含他們的原始放射學報告和側位脊柱 X 影像。 PARs 資料集最初根據註冊表中的輔助性診斷被標記為 VF 或非 VF,並由一名放射科醫師分別審查和報告支持性影像,例如橫向胸腰椎平片、CT、MRI 或其他相關影像和一名脊柱外科醫生。當兩名觀察員相互同意時,輔助性診斷才最終確定。150 個影像質量較差的 PAR,例如影像對比度差、定位錯誤或存在異物,以及因高能量創傷、脊柱畸形、轉移性腫瘤、感染、肺結核、Scheurmann 氏病而出現 VF 的 PAR根據病史和/或X光影像觀察,排除疾病、脊柱側彎或既往脊柱手術。
以下說明本實施例中,演算法的開發。近年來,已經開發了許多基於 CNN 的方法來解決分類問題。然而,尚未開發出可應用於所有類型影像分類問題的基於 CNN 的方法。根據問題定義和資料特徵,每種基於 CNN 的方法都有自己的優勢。在各種此類方法中,ResNet已被證明是最具代表性的深度學習網路之一。
此外,遵循ResNet網路的架構,透過利用殘差方塊(residual blocks)的思想對現有的基於 CNN 的方法的架構進行了修改,以實現更深層次的網路和更高效的學習。已經開發了幾種基於ResNet架構的深度學習方法。
但是,如前所述,問題的類型和資料特徵決定了要使用的方法。在本實施例中,創作人考慮了一種典型的分類方法並驗證了其有效性。在本實施例中,使用ResNeXt作為主幹模型。 ResNeXt是ResNet的增強網路,在影像分類方面表現出色,並已應用於醫學影像分析領域。 ResNeXt使用基數(cardinality)的概念,將起始(inception)網路的多分支結構引入到自己的結構中。ResNeXt將殘差層分成幾個連接,每個連接與其他連接相同。
醫學資料很難獲得,資料量通常不足以讓模型學習到最優參數。在本實施例中,使用具有50層的 ResNeXt(ResNeXt-50,基數 = 32,通道 = 4)。遷移學習(transfer learning)為網路透過將參數從一個任務(task)轉移到另一個任務來學習參數提供了一種高效的方式,並且這兩個任務的資料集(dataset)不必相同。在影像資料的情況下,淺層網路(shallow network)學習如何捕捉的物體的一般低階特徵(low-level features),例如邊緣;相比之下,深度網路學習如何提取高階特徵(high-level features),例如紋理。
然而,如果資料集非常小,無論網路是淺的還是深的,網路都會難以學習這些特徵。
為了解決這個問題,創作人採用了一個使用大型資料集訓練的網路,並學習了捕獲特徵的通用方法。然後創作人將此網路應用於目標任務。更具體地說,創作人將使用大型資料集訓練的淺層網路應用於由有限但有價值的醫療資料組成的醫療任務。然後,創作人將這個淺層網路連接到一個使用上述相同醫療資料訓練的深層網路。預計由此產生的網路將具有更好的學習一般低階和高階特徵的能力。在創作人的研究中,對於使用ImageNet資料集訓練的ResNeXt,創作人使用淺層並凍結這些層的參數。 ImageNet 是一個包含各種類型影像的大型存儲庫。儘管 ImageNet 不是特定用於醫學的資料集,但它可以幫助模型的學習過程中獲得更好的網路初始參數。值得注意的是,ResNeXt 的淺層是預訓練的,其深層是使用創作人的PAR資料庫訓練的。
關於評估演算法如下。請參考圖4,其為骨折分析預測模型的建模的一種實施方式的示意圖。如圖4所示,執行影像預處理,包括將影像調整為 224 x 224 像素、調整顏色抖動和影像正規化(目的是去除雜訊並避免雜訊的像素值影響網路訓練)。
PAR資料集分為 80% 作為訓練資料和 20% 作為驗證資料。為了確保實驗的可靠性,本實施例採用了5倍交叉驗證方法(5-fold cross validation method)作為訓練計劃。在每組中,骨折影像和正常影像的比例相等。每個影像中的每個像素會被計算,並估計像素集的均值和方差。
ResNeXt與遷移學習方法一起被選為本實施例的基本模型架構。 ImageNet為世界上最大的影像資料集,包含超過 120 萬張影像和大約 1000 個訓練集類,ImageNet被用作遷移學習的預訓練材料,以提高模型性能。在訓練和測試過程中使用了以下指標:1) 準確度,2) 靈敏度,以及 3) 特異度。
關於統計分析,用於構建DCNN的軟體基於Python的版本3.7和 PyTorch的開源程式庫,訓練過程在中央處理器(如Intel公司的型號為Core i7-7740X,操作於4.30 GHz)和圖形處理器(如GeForce公司的型號為GTX 1080Ti)上運行。使用靈敏度、特異度和準確度指標比較 DCNN 模型和臨床醫生。接收器操作特徵曲線(receiver operating characteristic curve,ROC)曲線和AUC用於評估模型的性能。
基於上述對演算法的評估,其結果如下。創作人檢查了資料庫中的 1306 份放射科醫師報告(VF:非 VF = 438:868),原始 PAR 報告中僅輔助性診斷出 46.6% (204/438) VF。原始模型僅使用創作人的資料集進行訓練,並在驗證資料集上顯示出 61.11% 的準確度、100% 的靈敏度和 0% 的特異度,以識別 VF。使用 ImageNet 保留和重新訓練模型權重。在驗證集上的最終結果如下:準確度為 73.59%,靈敏度為 73.81%,特異度為 73.02%。訓練過程中準確度和損失的變化如圖5A及圖5B所示,其中acc代表訓練集的準確率,val_acc 代表驗證集的準確性,loss代表訓練集的損失,val_loss代表驗證集的損失。結果表明,預訓練技術有助於實現更好的性能。透過問卷調查對十名臨床醫生進行了測試,其中包括三名整形外科醫生、兩名放射科醫生和五名醫生。平均準確度為 76.8%(範圍為 71.4% 至 87.9%),平均靈敏度為 76.9%(範圍為 70.5% 至 88.6%),平均特異度為 76.8%(範圍為 69.2% 至 87.4%)。預測概率與專家和模型比較的ROC曲線如圖6所示,其中圖6中左上方區域的多個黑點代表臨床醫生的表現,pre_ResNeXt代表的實線曲線為本實施例的模型的表現。模型達到了0.72的AUC;因此,臨床醫生的平均表現仍然優於模型。
以下就本實施中創作人的研究作進一步討論。
無症狀或引起輕微疼痛的 VFs 仍然是一種未被充分輔助性診斷的疾病,其發病率的增加被認為是由於全球老年人口的增加。由於不同專家傾向於專注於自己特定專業領域的實踐而有局限性,快速識別無症狀 VF 具有挑戰性。
VF 是未來骨折的強有力預測因子,這與死亡風險增加、可能的慢性背痛、後凸畸形、不動和自尊喪失有關。早期發現和充分治療是管理骨質疏鬆症的首要目標;這些目標對於患者的生存和保持積極的生活至關重要,尤其是在絕經後婦女而言。因此,對脊椎骨折的早期準確輔助性診斷對於 VF 的治療至關重要,因為它可以使形態測量 VF 的風險降低 70%,髖部骨折的風險降低 41%,以及其他類型的骨折的風險降低25%。
PAR 在 VF 的輔助性診斷中尤其不敏感。 PAR 是機會性識別 VF 的便捷平台,但遠非理想。對於 VF 的輔助性診斷,必須看到終板(endplate),但這些終板與 PAR 上的 X 射線束不平行,通常不可見或很難看到。如果沒有看到終板,醫生就無法自信地輔助性診斷是否存在骨折。此外,如果終板傾斜,特定身體的後緣和前緣可能會以錯誤的方式顯示PAR上的 VF。Rhee等人估計 15% 的 VF 在 PAR 上是不可見的,即使包括側視圖。
預計自動 VF 輔助性診斷演算法將在促進對骨質疏鬆症的預防措施和提高臨床醫生的認識方面發揮更大的作用。作為PACS一部分的電腦輔助輔助性診斷(CAD)系統將人工智慧和電腦視覺元件與放射影像處理相結合,以提高日常臨床實踐的效率。
幾項研究已經討論了骨折檢測的自動化;然而,VF 輔助性診斷仍然是一個挑戰,不僅在人類必須進行輔助性診斷時,而且在需要與人工智慧進行整合。在常規 PAR 上檢測亞臨床或未確診的 VF 已被證明能夠識別處於未來發生髖部骨折三重風險的患者。
此外,由於近乎完美的基準直相(ground truth)標籤的可用性,VF 現在是深度學習方法的一個有前途的目標。以前為VF開發的大多數模型都是基於區域的,需要一個本地分割網路(local segmentation network)來首先識別脊椎。
創作人的研究表明,透過從全尺寸X光影像的輸入中提取特定領域的視覺特徵,可以在不分割每個脊椎的情況下對PAR上的VF進行檢測和輔助性診斷。深度學習演算法和臨床醫生之間達到了類似的準確度水平。創作人的DCNN採用PAR並自動檢測VF的存在。這項研究的結果表明,可以在不指定基於病變的特徵的情況下訓練 DCNN;這可以透過使用相當大的非像素標記資料集來完成。因此可以節省手動分割和標記所需的時間。
然而,使用深度學習系統確保卓越的性能需要特定的放射學資料的可用性和大型、乾淨的資料集的開發。創作人使用來自預訓練資料集的5倍交叉驗證和遷移學習來滿足這些要求。
對於遷移學習,創作人執行了兩種類型的方法:1) 凍結基本模型中第一個模組的參數; 2) 基本模型中最後一個模組的參數凍結。值得注意的是,高階語義特徵應該從PARs資料庫中學習,如果用從 ImageNet 資料中學習到的參數替換高階語義特徵,會得到不相關的結果。
本實施例中創作人使用ImageNet影像應用了遷移學習方法和預訓練模型。因此,最終的準確度從 61.11%(暫用(scratch)預訓練)增加到 73.59%,並且預訓練材料影響了最終的準確度。
關於骨折分析預測模型的預測結果視覺化,圖7為本實施例中骨折分析預測模型的預測結果視覺化的一些示例的示意圖。為了便於說明及參考,圖7中標示a、c、e、g的影像代表原來的4個有骨折的X光影像(如PAR),其中小箭頭指向有骨折的位置,小箭頭為便於理解及參考所附加,並非原X光影像中所存有的。此外,在圖7中,標示b、d、f、h的影像為依據本實施例中骨折分析預測模型經訓練後就標示a、c、e、g的影像分別而產生的預測結果(如估測骨折分析資料)經視覺化為熱圖(heatmap)的圖像,此熱圖呈現出對應的X光影像中被預測為有骨折的區域。圖8為本實施例中骨折分析預測模型的預測結果視覺化的另一些示例的示意圖,其中X光影像布列方式與圖7相同故不再贅述,又圖8所示的原X光影像為沒有VF的PAR。在本實施例有關的這項研究中,使用Grad-CAM將類判別區域(class-discriminative regions)視覺化為DCNN使用PAR而識別出的預測骨折部位(如圖7所示),類似於正常PAR的情況(如圖8所示)。
值得注意的發現是,在沒有VF的PAR中,對應的熱圖趨向將焦點放在脊柱上(如圖8所示),而對於那些有VF的PAR,對應的熱圖將焦點放在骨折部位附近的區域(如圖7所示)。這可能歸因於脊柱排列的差異或由水腫、出血或脊柱後凸畸形引起的軟組織對比度的變化。儘管如此,如上所述,用於識別 VF 的確切特徵尚不清楚;例如,在某些影像中,啟動位置(activation sites)完全被錯誤識別,其原因尚不清楚。然而,從圖7及圖8可見,本實施例的經訓練的骨折分析預測模型的預測結果視覺化後具有上述焦點放置不同的特性,在進行輔助性診斷時,可讓使用者參考上述特性並加以參考應用。
此外,舉例而言,骨折分析預測模型可進一步結合集成學習(ensemble learning)和資料融合(data fusion)技術來實現更好的性能。
在一些延伸的實施例中,依據圖3所示,外部裝置90可以為醫療影像儲傳系統(PACS)中的裝置,如此可以提出了一種可以從 PACS 輸入 PAR 的基於網路的系統,以創建大型資料庫,提高系統的準確度,並識別更多的受測者或患者。
由以上實施例相關的研究可見,由 DCNN 訓練以識別 PAR上的 VF 的演算法顯示出提供高度準確和可接受的特定速率的潛力,並且可用作篩選工具。此外,該演算法可以準確定位骨折部位,以幫助輔助性地識別 VF。 這可以增強輔助性診斷性能並提高報告偶然檢測到的VF的一致性。
依據上述實施例的演算法所得出的人工智慧模型經訓練後可據以配置而作為如圖1、圖2的X光影像分析儀器中的骨折分析預測模型。
藉此,上述實施例揭示X光影像分析儀器,可以配置為能夠透過骨折分析預測模型依據受測者的至少一腹部正面X光影像而產生估測骨折分析資料,可用於對受測者的X光影像中是否與骨折有關來進行輔助性的估測,從而輔助使用者如醫護人員或研究人員對相關族群身體檢測上帶來助益。
本創作在上文中已以較佳實施例揭露,然熟習本項技術者應理解的是,該實施例僅用於描繪本創作,而不應解讀為限制本創作之範圍。應注意的是,舉凡與該等實施例等效之變化與置換,均應設為涵蓋於本創作之範疇內。因此,本創作之保護範圍當以申請專利範圍所界定者為準。
1、1A:X光影像分析儀器
5:資料庫
6:數位X光影像裝置
10:用戶介面裝置
20:儲存單元
21:骨折分析預測模型
30:處理單元
40:通訊單元
90:外部裝置
圖1為依據本創作之X光影像分析儀器的一種實施方式的示意方塊圖。
圖2為依據本創作之X光影像分析儀器之另一種實施方式的示意方塊圖。
圖3為依據本創作之X光影像分析儀器之又一種實施方式的示意方塊圖。
圖4為依據本創作之骨折分析預測模型的建模的一種實施方式的示意圖。
圖5A為依據本創作之一實施例中骨折分析預測模型訓練過程中準確度的變化的示意圖。
圖5B為在該實施例中骨折分析預測模型訓練過程中訓練過程中損失的變化的示意圖。
圖6為在該實施例中預測概率與專家和模型比較的ROC曲線。
圖7為該實施例中骨折分析預測模型的預測結果視覺化的一些示例的示意圖。
圖8為該實施例中骨折分析預測模型的預測結果視覺化的另一些示例的示意圖。
1:X光影像分析儀器
5:資料庫
10:用戶介面裝置
20:儲存單元
21:骨折分析預測模型
30:處理單元
Claims (9)
- 一種X光影像分析儀器,包括: 一用戶介面裝置,用以接收一受測者的個人資料; 一儲存單元,儲存有一骨折分析預測模型;以及 一處理單元,電性耦接該儲存單元與該用戶介面裝置,且根據該受測者的個人資料啟用該骨折分析預測模型,於該骨折分析預測模型啟用時,該處理單元自一資料庫讀取該受測者的至少一腹部正面X光影像,並透過該骨折分析預測模型依據該受測者的該至少一腹部正面X光影像而產生一估測骨折分析資料。
- 如請求項1所述之X光影像分析儀器,其中該骨折分析預測模型係基於多個訓練測試者的多筆腹部正面X光影像的訓練資料來建模。
- 如請求項1所述之X光影像分析儀器,其中該處理單元透過該用戶介面裝置用以呈現該估測骨折分析資料,其中該估測骨折分析資料包含該受測者的該至少一腹部正面X光影像中關於骨折的資訊。
- 如請求項1所述之X光影像分析儀器,其中該X光影像分析儀器更包括一通訊單元,電性耦接至該處理單元且用於進行通訊。
- 如請求項4述之X光影像分析儀器,其中該處理單元透過該通訊單元與該資料庫通訊以讀取該受測者的該至少一腹部正面X光影像。
- 如請求項4述之X光影像分析儀器,其中該處理單元透過該通訊單元與一數位X光影像裝置的該資料庫通訊以讀取該受測者的該至少一腹部正面X光影像。
- 如請求項4述之X光影像分析儀器,其中該處理單元透過該通訊單元與一影像儲傳系統中之該資料庫通訊以讀取該受測者的該至少一腹部正面X光影像。
- 如請求項4述之X光影像分析儀器,其中該處理單元透過該通訊單元將該估測骨折分析資料發送至一影像儲傳系統。
- 如請求項4所述之X光影像分析儀器,其中該X光影像分析儀器為一基於電腦系統的裝置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110215202U TWM624947U (zh) | 2021-12-21 | 2021-12-21 | X光影像分析儀器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110215202U TWM624947U (zh) | 2021-12-21 | 2021-12-21 | X光影像分析儀器 |
Publications (1)
Publication Number | Publication Date |
---|---|
TWM624947U true TWM624947U (zh) | 2022-03-21 |
Family
ID=81748020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110215202U TWM624947U (zh) | 2021-12-21 | 2021-12-21 | X光影像分析儀器 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWM624947U (zh) |
-
2021
- 2021-12-21 TW TW110215202U patent/TWM624947U/zh unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11710233B2 (en) | Three-dimensional medical image analysis method and system for identification of vertebral fractures | |
Hsieh et al. | Automated bone mineral density prediction and fracture risk assessment using plain radiographs via deep learning | |
TWI701680B (zh) | 分析醫學影像之方法及系統 | |
Chen et al. | Application of deep learning algorithm to detect and visualize vertebral fractures on plain frontal radiographs | |
CN108369642A (zh) | 根据头部计算机断层摄影解释和量化急症特征 | |
JP2010515557A (ja) | 画像処理システム、及び方法。 | |
Tang et al. | CNN-based qualitative detection of bone mineral density via diagnostic CT slices for osteoporosis screening | |
Hussain et al. | Deep learning-based diagnosis of disc degenerative diseases using MRI: a comprehensive review | |
US20210212647A1 (en) | Estimating bone mineral density from plain radiograph by assessing bone texture with deep learning | |
KR20220090172A (ko) | 골절 검출 방법 및 이를 이용한 디바이스 | |
Chang et al. | Computer-aided diagnosis of different rotator cuff lesions using shoulder musculoskeletal ultrasound | |
Dong et al. | Deep learning classification of spinal osteoporotic compression fractures on radiographs using an adaptation of the genant semiquantitative criteria | |
He et al. | Classification of neurofibromatosis‐related dystrophic or nondystrophic scoliosis based on image features using bilateral cnn | |
Bhat et al. | Identification of intracranial hemorrhage using ResNeXt model | |
Yoon et al. | Explainable deep learning-based clinical decision support engine for MRI-based automated diagnosis of temporomandibular joint anterior disk displacement | |
TWM624947U (zh) | X光影像分析儀器 | |
Lin et al. | A deep learning model for screening computed tomography imaging for thyroid eye disease and compressive optic neuropathy | |
Lee et al. | Comparison of gray-scale inversion to improve detection of pulmonary nodules on chest X-rays between radiologists and a deep convolutional neural network | |
van Kaick et al. | Learning Fourier descriptors for computer-aided diagnosis of the supraspinatus | |
Velusamy et al. | Faster Region‐based Convolutional Neural Networks with You Only Look Once multi‐stage caries lesion from oral panoramic X‐ray images | |
Zhang et al. | A clinical classification for radiation-less monitoring of scoliosis based on deep learning of back photographs | |
KR102595106B1 (ko) | 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법 및 시스템 | |
Rajasekaran Subramanian et al. | Breast cancer lesion detection and classification in radiology images using deep learning | |
Hsieh et al. | Automated and Precise Bone Mineral Density Prediction and Fracture Risk Assessment using Hip/Lumbar Spine Plain Radiographs via Learning Deep Image Signatures and Correlations | |
Bunnell et al. | Learning a Clinically-Relevant Concept Bottleneck for Lesion Detection in Breast Ultrasound |