TWI854326B - 半月板破裂輔助判斷程式之建立方法、半月板破裂輔助判斷系統和半月板破裂輔助判斷方法 - Google Patents
半月板破裂輔助判斷程式之建立方法、半月板破裂輔助判斷系統和半月板破裂輔助判斷方法 Download PDFInfo
- Publication number
- TWI854326B TWI854326B TW111139082A TW111139082A TWI854326B TW I854326 B TWI854326 B TW I854326B TW 111139082 A TW111139082 A TW 111139082A TW 111139082 A TW111139082 A TW 111139082A TW I854326 B TWI854326 B TW I854326B
- Authority
- TW
- Taiwan
- Prior art keywords
- meniscus
- rupture
- target
- knee joint
- image
- Prior art date
Links
- 206010072970 Meniscus injury Diseases 0.000 title claims abstract description 168
- 238000000034 method Methods 0.000 title claims description 53
- 230000005499 meniscus Effects 0.000 claims abstract description 100
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 210000000629 knee joint Anatomy 0.000 claims description 74
- 238000012549 training Methods 0.000 claims description 36
- 238000013136 deep learning model Methods 0.000 claims description 18
- 238000010200 validation analysis Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000013434 data augmentation Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000002303 tibia Anatomy 0.000 description 2
- 210000004353 tibial menisci Anatomy 0.000 description 2
- 208000025978 Athletic injury Diseases 0.000 description 1
- 206010003694 Atrophy Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000000968 fibrocartilage Anatomy 0.000 description 1
- 210000002082 fibula Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000008482 osteoarthritis Diseases 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Abstract
本發明提供一種半月板破裂輔助判斷系統，其包含影像擷取裝置和處理器。所述處理器係訊號連接影像擷取裝置且包含資料前處理模組和半月板破裂輔助判斷程式。半月板破裂輔助判斷程式包含半月板位置偵測器和半月板破裂預測器。藉此所述半月板破裂輔助判斷系統可以快速且準確地判斷半月板方位及預測半月板方位發生破裂機率。
Description
本發明是有關於一種醫療資訊分析系統以及方法，特別是一種半月板破裂輔助判斷程式之建立方法、半月板破裂輔助判斷系統以及半月板破裂輔助判斷方法。
半月板(meniscus)是介於股骨(femur)及脛骨(tibia)之間的纖維軟骨結構。身體上半部產生的壓力，經半月板分散、吸收、下傳到腳底，可以減少膝關節負荷，避免膝軟骨磨損。半月板可以控制關節旋轉程度，對穩定膝關節的活動非常重要，具有人體避震器的功能。
當半月板破裂時，也稱為半月板撕裂，好發於20至40歲年齡層間，通常因運動傷害或車禍等外力衝擊導致半月板撕裂。病人會在膝蓋處感受到明顯疼痛、腫脹、可旋轉角度範圍減少、股四頭肌萎縮、膝蓋有異物感及出現異常聲音等症狀，影響膝關節運動時的靈活度，嚴重時病人可能無法跑步，未來也較易引發退化性關節炎病變。
半月板破裂處理流程通常為經過磁振造影(magnetic resonance imaging, MRI)檢查後，由醫師判斷是否破裂及是否需要做關節鏡手術等後續處理動作，然而由於某些半月板撕裂角度較不易於影像中看出，具經驗之主治醫師通常需要約3至5分鐘確認，而經驗較淺的醫師須花費10分鐘以上的時間且易有疏漏，且常因醫師事務繁忙等因素，導致影像報告通常須經約一周的時間才會產出，也容易延誤了患者的醫療處置。因此，如何快速且準確地判斷半月板破裂的發生與否，將極具臨床應用價值。
本發明之目的為使用更少的時間輔助判斷半月板破裂症狀，減輕醫師在解讀醫學影像時的負擔以及提供早期的醫療處置，減少未來後遺症的發生機率。
本發明之一態樣是在提供一種半月板破裂輔助判斷程式之建立方法，包含以下步驟：取得一參照資料庫、進行一第一資料集生成步驟、進行一第一訓練步驟、進行一第二資料集生成步驟和進行一第二訓練步驟。所述參照資料庫包含複數個參照程序(protocol)，每個參照程序包含複數個參照膝關節影像序列，且每個參照膝關節影像序列包含複數個參照膝關節影像和複數個標記資訊，每個標記資訊包含一半月板圈選位置資訊和一半月板是否破裂標記，且一個參照膝關節影像對應一個標記資訊。第一資料集生成步驟係將前述參照膝關節影像分別與對應之標記資訊中之半月板圈選位置資訊進行整合，以得到一第一資料集。第一訓練步驟係以第一資料集訓練一影像偵測深度學習模型至收斂，以得到一半月板位置偵測器。第二資料集生成步驟係利用半月板位置偵測器分析每個參照膝關節影像並輸出複數個半月板位置資訊，再將參照膝關節影像、對應之半月板位置資訊與對應之標記資訊中之半月板圈選位置資訊和半月板是否破裂標記進行整合，以得到一第二資料集。第二訓練步驟係利用一特徵選取模組分析第二資料集得到至少一特徵值，再將至少一特徵值透過一影像分類深度學習模型進行訓練而達到收斂，以得到一半月板破裂預測器。其中，所述半月板破裂輔助判斷程式包含半月板位置偵測器與半月板破裂預測器，且半月板破裂輔助判斷程式係用以輔助判斷受試者之一半月板方位及預測受試者之一半月板方位發生破裂機率。
本發明之另一態樣是在提供一種半月板破裂輔助判斷系統，其包含一影像擷取裝置和一處理器。影像擷取裝置用以取得一受試者之一目標程序，其中目標程序包含複數個目標膝關節影像序列，且每個目標膝關節影像序列包含複數個目標膝關節影像。處理器係訊號連接影像擷取裝置且包含資料前處理模組和半月板破裂輔助判斷程式。資料前處理模組用以將目標膝關節影像序列個別分組並取出複數個目標冠狀面影像序列和複數個目標矢狀面影像序列，其中每個目標膝關節影像序列包含一目標冠狀面影像序列和一目標矢狀面影像序列。半月板破裂輔助判斷程式係由前段所述之半月板破裂輔助判斷程式之建立方法所建立而得，其中半月板破裂輔助判斷程式包含半月板位置偵測器和半月板破裂預測器。
本發明之又一態樣是在提供一種半月板破裂輔助判斷方法，包含下述步驟。提供前段所述之半月板破裂輔助判斷系統。以影像擷取裝置取得受試者之目標程序，並將目標程序之複數個目標膝關節影像序列傳輸至處理器。進行一資料前處理步驟，其係以資料前處理模組對目標膝關節影像序列進行個別分組，並取出複數個目標冠狀面影像序列和複數個目標矢狀面影像序列，其中每個目標膝關節影像序列包含一目標冠狀面影像序列和一目標矢狀面影像序列，每個目標冠狀面影像序列包含複數個目標冠狀面影像，每個目標矢狀面影像序列包含複數個目標矢狀面影像。進行一半月板位置偵測步驟，其係以半月板位置偵測器分別框選複數個目標冠狀面影像和複數個目標矢狀面影像的半月板方位，以得到複數個目標冠狀面位置和複數個目標矢狀面位置。進行一半月板破裂機率計算步驟，其係將複數個目標冠狀面影像、複數個目標矢狀面影像、複數個目標冠狀面位置和複數個目標矢狀面位置輸入至半月板破裂預測器，以計算受試者之半月板破裂機率。進行一半月板方位發生破裂機率評估步驟，其係以半月板破裂預測器讀取半月板破裂機率之一位置資訊，回推半月板方位，以預測半月板方位發生破裂機率。
藉此，本發明提供一種輔助判斷半月板破裂方位及預測半月板方位發生破裂機率的程式、系統和方法，由人工智慧輔助醫療判斷系統呈現供醫療人員臨床上加速診斷流程。此外，目前臨床上僅針對內側(medial)、外側(lateral)半月板破裂進行判斷，缺少症狀發生部位位於前側(anterior)或是後側(posterior)之相關資訊，而本發明之半月板破裂輔助判斷程式、半月板破裂輔助判斷系統及半月板破裂輔助判斷方法可以進一步地判斷前內側、後內側、前外側和後外側的破裂狀況，並進一步預測不同半月板方位發生破裂機率，具有優異的臨床應用潛力。
於以下詳細敘述中，為了說明起見，闡述了許多特定的細節以完整地了解在此揭露之實施方式。然而，明顯地，仍有一或多個實施方式可在沒有這些特定細節下執行。
本說明書中所述之「冠狀面(coronal plane)」是指將身體垂直前後分開的切面，而本說明書中所述之「矢狀面(sagittal plane)」是指將身體垂直左右分開的切面。
[半月板破裂輔助判斷程式之建立方法]
請參照第1圖，繪示本發明一實施方式之半月板破裂輔助判斷程式之建立方法100的步驟流程圖。半月板破裂輔助判斷程式之建立方法100包含步驟110、步驟120、步驟130、步驟140和步驟150。
步驟110是取得一參照資料庫，所述參照資料庫包含複數個參照程序(protocol)，每個參照程序包含複數個參照膝關節影像序列，且每個參照膝關節影像序列包含複數個參照膝關節影像和複數個標記資訊，每個標記資訊包含一半月板圈選位置資訊和一半月板是否破裂標記，且一個參照膝關節影像對應一個標記資訊。詳細地，參照程序是擷取自年齡範圍為20歲至40歲之複數個參照受試者，且每個參照膝關節影像序列包含一參照冠狀面影像序列和一參照矢狀面影像序列。進一步地，參照膝關節影像可為參照膝關節磁振造影(magnetic resonance, MR)影像，且參照膝關節影像的資料格式可為DICOM (digital imaging and communications in medicine)影像，可藉由DICOM標籤將參照膝關節影像序列進行個別分組，並將每個參照膝關節影像序列取出參照冠狀面影像序列和參照矢狀面影像序列。而每個標記資訊中的半月板圈選位置資訊包含一圈選矩形之一左上頂點座標資訊(x,y)和圈選矩形之一寬高(w,h)。
步驟120是進行一第一資料集生成步驟，其係將前述複數個參照膝關節影像分別與對應之標記資訊中之半月板圈選位置資訊進行整合，以得到一第一資料集。進一步地，第一資料集以4:1的比例切割一第一訓練集和一第一驗證集。
步驟130是進行一第一訓練步驟，其係以第一資料集訓練一影像偵測深度學習模型至收斂，以得到一半月板位置偵測器。詳細地說，係以複數個半月板圈選位置資訊訓練影像偵測深度學習模型至收斂。此外，於第一訓練步驟中，可以用第一訓練集來進行影像偵測深度學習模型的訓練以得到半月板位置偵測器，再用第一驗證集評估所述半月板圈選位置資訊對於半月板位置偵測器的表現。具體而言，所述影像偵測深度學習模型為一Scaled YOLOv4深度學習模型。
步驟140是進行一第二資料集生成步驟，其係利用半月板位置偵測器分析每個參照膝關節影像並輸出複數個半月板位置資訊，再將參照膝關節影像、對應之半月板位置資訊與對應之標記資訊中之半月板圈選位置資訊和半月板是否破裂標記進行整合，以得到一第二資料集。詳細地說，第二資料集生成步驟可更包含分別對各個參照膝關節影像沿一半月板區域之一邊緣進行裁切，可以有效避免影像其他區域影響到最終判斷結果。進一步地，在進行裁切時會沿前述邊緣於四方向各額外多取10個像素的範圍，可以讓半月板區域完整包含於裁切出的參照膝關節影像中，避免漏掉半月板邊緣的細微破裂。此外，第二資料集以4:1的比例切割一第二訓練集和一第二驗證集。
步驟150是進行一第二訓練步驟，其係利用一特徵選取模組分析第二資料集得到至少一特徵值，再將至少一特徵值透過一影像分類深度學習模型進行訓練而達到收斂，以得到一半月板破裂預測器。其中特徵選取模組可使用全局平均池化(Global Average Pooling, GAP)進行破裂分類，以得到所述至少一特徵值。此外，於第二訓練步驟中，可以用第二訓練集來進行影像分類深度學習模型的訓練以得到半月板破裂預測器，再用第二驗證集評估所述至少一特徵值對於半月板破裂預測器的表現。具體而言，所述影像分類深度學習模型為一EfficientNet深度學習模型。
經前述半月板破裂輔助判斷程式之建立方法100建立後的半月板破裂輔助判斷程式包含半月板位置偵測器與半月板破裂預測器，可用以輔助判斷受試者之半月板方位及預測受試者之半月板方位發生破裂機率。所述半月板方位包含一前內側(anterior medial)、一後內側(posterior medial)、一前外側(anterior lateral)和一後外側(posterior lateral)。請參照第2圖，其係繪示不同半月板方位的位置示意圖，在膝關節內有內側和外側兩個半月板，分別置於脛骨(小腿骨)上端平臺之關節面上，並依據人體軀幹正面和背面進一步區分為前側和後側，而可分為前內側、後內側、前外側和後外側之半月板。
[半月板破裂輔助判斷系統]
請參照第3圖，繪示本發明另一實施方式之半月板破裂輔助判斷系統200的架構示意圖。半月板破裂輔助判斷系統200包含影像擷取裝置210和處理器220。
影像擷取裝置210用以取得一受試者之一目標程序，其中目標程序包含複數個目標膝關節影像序列，且每個目標膝關節影像序列包含複數個目標膝關節影像。影像擷取裝置210可為磁振造影儀或是數位影像儲存通訊系統(picture archiving and commumication system, PACS)，而所取得的目標膝關節影像可為目標膝關節MR影像，且目標膝關節影像的資料格式可為DICOM影像。
處理器220係訊號連接影像擷取裝置210，且處理器220包含資料前處理模組230和半月板破裂輔助判斷程式240。
資料前處理模組230用以將目標膝關節影像序列個別分組並取出複數個目標冠狀面影像序列和複數個目標矢狀面影像序列，其中每個目標膝關節影像序列包含一目標冠狀面影像序列和一目標矢狀面影像序列，每個目標冠狀面影像序列包含複數個目標冠狀面影像，每個目標矢狀面影像序列包含複數個目標矢狀面影像。進一步地，資料前處理模組230可藉由DICOM標籤將目標膝關節影像序列進行個別分組，並取出目標冠狀面影像序列和目標矢狀面影像序列。
半月板破裂輔助判斷程式240係由前段所述之半月板破裂輔助判斷程式之建立方法100所建立而得，其中半月板破裂輔助判斷程式240包含半月板位置偵測器241和半月板破裂預測器242。半月板位置偵測器241可分別框選複數個目標冠狀面影像和複數個目標矢狀面影像的半月板方位，半月板破裂預測器242可計算受試者之一半月板破裂機率，並進一步預測受試者之半月板方位發生破裂機率。
此外，處理器220可更包含一資料輸出模組(圖未繪示)，用以輸出一判斷結果，所述判斷結果包含受試者之半月板方位發生破裂機率。此外，判斷結果可更包含受試者之一基本資料和一資料缺失警告，其中基本資料包含受試者之個人識別碼(personal identification number, PID No.)、年齡和性別，資料缺失警告為若資料前處理模組230未能同時自每個目標影像序列中取出目標冠狀面影像序列和目標矢狀面影像序列時才會顯示。
[半月板破裂輔助判斷方法]
請參照第3圖和第4圖，第4圖係繪示本發明又一實施方式之半月板破裂輔助判斷方法300的步驟流程圖。半月板破裂輔助判斷方法300包含步驟310、步驟320、步驟330、步驟340、步驟350和步驟360。
步驟310是提供前段所述之半月板破裂輔助判斷系統200，其包含影像擷取裝置210和處理器220，處理器220包含資料前處理模組230和半月板破裂輔助判斷程式240，且半月板破裂輔助判斷程式240包含半月板位置偵測器241和半月板破裂預測器242。
步驟320是以影像擷取裝置210取得受試者之目標程序，並將目標膝關節影像傳輸至處理器220。所取得的目標程序之複數個目標膝關節影像序列的資料格式可為DICOM影像。
步驟330是進行一資料前處理步驟，其係以資料前處理模組230對目標膝關節影像序列進行個別分組，並取出複數個目標冠狀面影像序列和複數個目標矢狀面影像序列，其中每個目標膝關節影像序列包含一目標冠狀面影像序列和一目標矢狀面影像序列，每個目標冠狀面影像序列包含複數個目標冠狀面影像，每個目標矢狀面影像序列包含複數個目標矢狀面影像。
步驟340是進行一半月板位置偵測步驟，其係以半月板位置偵測器241分別框選複數個目標冠狀面影像序列和複數個目標矢狀面影像序列的半月板方位，以得到複數個目標冠狀面位置和複數個目標矢狀面位置。
步驟350是進行一半月板破裂機率計算步驟，其係將複數個目標冠狀面影像、複數個目標矢狀面影像、複數個目標冠狀面位置和複數個目標矢狀面位置輸入至半月板破裂預測器242，以計算受試者之半月板破裂機率。
步驟360是進行一半月板方位發生破裂機率評估步驟，其係以半月板破裂預測器242讀取半月板破裂機率之一位置資訊，回推半月板方位，以預測受試者之半月板方位發生破裂機率。
[試驗例]
一、參照資料庫
本發明所使用的參照資料庫為中國醫藥大學暨附設醫院自2011年至2019年間所蒐集之參照受試者的參照程序共811筆，每個參照程序包含複數個參照膝關節影像序列，且每個參照膝關節影像序列包含複數個參照膝關節影像和複數個標記資訊，參照膝關節影像為膝關節MR影像，參照受試者的年齡範圍為20歲至40歲，其中422位參照受試者的半月板破裂，389位參照受試者的半月板正常。並依據4:1的比例將參照程序為訓練集及驗證集，其中訓練集共649筆參照程序(365筆半月板破裂和284筆半月板正常)，驗證集共162筆參照程序(57筆半月板破裂和105筆半月板正常)。所述訓練集於第一資料集生成步驟分別將其中的參照膝關節影像與對應之一標記資訊中之半月板圈選位置資訊進行整合，以形成第一訓練集；於第二資料集生成步驟分別將其中的參照膝關節影像與對應之一半月板位置資訊、對應之一標記資訊中之半月板圈選位置資訊和半月板是否破裂標記進行整合，以得到第二訓練集。所述驗證集於第一資料集生成步驟分別將其中的參照膝關節影像與對應之一標記資訊中之半月板圈選位置資訊進行整合，以形成第一驗證集；於第二資料集生成步驟分別將其中的參照膝關節影像與對應之一半月板位置資訊、對應之一標記資訊中之半月板圈選位置資訊和半月板是否破裂標記進行整合，以得到第二驗證集。
二、半月板破裂輔助判斷程式之訓練參數
本發明之半月板破裂輔助判斷程式由前述之半月板破裂輔助判斷程式的建立方法100所建立而得是以相同之細節請參照前段所述，在此將不再贅述。然於第一訓練步驟的訓練方式為200個epochs對第一訓練集進行訓練，後續加入與第一訓練集資料數量相當之數據增強影像(data augmentation)進行100個epochs的微調(fine-tuning)。於第二訓練步驟所調整的相關參數更包含使用全局平均池化取出2560個特徵值進行破裂分類。此外，第二訓練步驟中所使用的優化器為Madgrad，學習率為0.004，損失函數為weighted focal loss為批量大小(batchsize)為8。訓練方式為200個epochs對第二訓練集進行訓練，後續加入與第二訓練集資料數量相當之數據增強影像(data augmentation)進行100個epochs的微調(fine-tuning)。
三、本發明之半月板破裂輔助判斷程式、半月板破裂輔助判斷系統與半月板破裂輔助判斷方法的可信度分析
以下將以本發明之半月板破裂輔助判斷系統輔以本發明之半月板破裂輔助判斷方法續行試驗，進而評估本發明之半月板破裂輔助判斷系統與半月板破裂輔助判斷方法於輔助判斷受試者之半月板方位及預測受試者之半月板方位發生破裂機率的準確度，其中本發明之半月板破裂輔助判斷系統可為前述之半月板破裂輔助判斷系統200，半月板破裂輔助判斷系統200的半月板破裂輔助判斷程式240可由前述之半月板破裂輔助判斷程式的建立方法100所建立而得，而本發明之半月板破裂輔助判斷方法則可為前述之半月板破裂輔助判斷方法300，是以相同之細節請參照前段所述，在此將不再贅述。
先將建立完成的半月板破裂輔助判斷程式分別以第一驗證集和第二驗證集的162筆參照膝關節影像進行預測，相關數據請參照表一、表二、第5A圖和第5B圖。表一為本發明之半月板位置偵測器的判斷結果，其中精確率(precision) = tp/(tp+fp)，召回率(recall) = tp/(tp+fn)，tp表示預測為陽性(p)且預測正確(t)，fp表示預測為陽性(p)但預測錯誤(f)，fn表示預測為陰性(n)且預測錯誤(f)，mAP@0.5表示IoU設為0.5時的平均精度均值(mean average precision)。表二為本發明之半月板破裂預測器計算參照受試者半月板破裂機率的分析結果，其中AUC表示平均曲線下面積(area under the curve)，F1 Score = 2 / [(1/精確率) + (1/召回率)]，即精確率與召回率的調和平均數。第5A圖為本發明之半月板破裂預測器對第二驗證集的參照冠狀面影像序列進行預測的接收者操作特徵曲線(receiver operating characteristic curve, ROC)圖，第5B圖為本發明之半月板破裂預測器對第二驗證集的參照矢狀面影像序列進行預測的接收者操作特徵曲線。
表一
| 切面方向 | 精確率 | 召回率 | mAP@0.5 |
| 冠狀面 | 0.958 | 0.966 | 0.948 |
| 矢狀面 | 0.957 | 0.967 | 0.963 |
表二
| 切面方向 | AUC | F1 Score |
| 冠狀面 | 0.972 | 0.738 |
| 矢狀面 | 0.984 | 0.874 |
由表一的結果所示，本發明之半月板位置偵測器在判斷參照冠狀面影像序列和參照矢狀面影像序列的半月板方位的精確率、召回率和mAP@0.5皆非常優異，皆高達0.9以上。而由表二、第5A圖和第5B圖的結果顯示，本發明之半月板破裂預測器在計算參照冠狀面影像序列和參照矢狀面影像序列的半月板破裂機率時，AUC分別可達到0.972和0.984，顯示本發明之半月板破裂預測器可精準的預測受試者之半月板破裂機率。
本發明之半月板破裂輔助判斷程式串聯半月板位置偵測器和半月板破裂預測器後，會將半月板破裂位置歸類至前內側、後內側、前外側和後外側後，進一步得到受試者之半月板方位發生破裂機率，其平均準確程度數據為AUC = 0.956，靈敏度(sensitivity) = 0.873，特異度(specificity) = 0.977，正確率(accuracy) = 0.958。
請再參照第6圖和表三，為本發明之半月板破裂輔助判斷方法之判斷結果，其中第6圖為影像結果圖，表三為半月板方位發生破裂機率以及受試者之基本資料。
表三
| 左膝MR報告 | |
| 1.半月板方位發生破裂機率 | |
| 前內側 | 34.96% |
| 前外側 | 10.63% |
| 後內側 | 54.10% |
| 後外側 | 90.56% |
| 2.總結 | |
| PID No.:XXXXXXXX，年紀：X，性別：F | |
| 半月板可能破裂方位 | 後內側、後外側 |
當使用本發明之半月板破裂輔助判斷系統進行半月板破裂輔助判斷方法時，自取得目標程序並將複數個目標膝關節影像序列輸入至處理器後，可得到如第6圖的影像結果圖，並得到如表三所列受試者於不同半月板方位(前內側、後內側、前外側和後外側)的半月板方位發生破裂機率以及受試者之基本資料，其中預測的時間僅為7.56秒，顯示本發明之半月板破裂輔助判斷系統與半月板破裂輔助判斷程式方法可精準地輔助判斷受試者之半月板方位及預測受試者之半月板方位發生破裂機率，具有優異的臨床應用潛力。
然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明的精神和範圍內，當可作各種的更動與潤飾，因此本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:半月板破裂輔助判斷程式之建立方法 110,120,130,140,150:步驟 200:半月板破裂輔助判斷系統 210:影像擷取裝置 220:處理器 230:資料前處理模組 240:半月板破裂輔助判斷程式 241:半月板位置偵測器 242:半月板破裂預測器 300:半月板破裂輔助判斷方法 310,320,330,340,350,360:步驟
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下： 第1圖係繪示本發明一實施方式之半月板破裂輔助判斷程式之建立方法的步驟流程圖； 第2圖係繪示不同半月板方位的位置示意圖； 第3圖係繪示本發明另一實施方式之半月板破裂輔助判斷系統的架構示意圖； 第4圖係繪示本發明又一實施方式之半月板破裂輔助判斷方法的步驟流程圖； 第5A圖為本發明之半月板破裂預測器對第二驗證集的參照冠狀面影像序列進行預測的接收者操作特徵曲線(receiver operating characteristic curve, ROC)圖； 第5B圖為本發明之半月板破裂預測器對第二驗證集的參照矢狀面影像序列進行預測的接收者操作特徵曲線；以及 第6圖為本發明之半月板破裂輔助判斷方法之判斷結果。
200:半月板破裂輔助判斷系統
210:影像擷取裝置
220:處理器
230:資料前處理模組
240:半月板破裂輔助判斷程式
241:半月板位置偵測器
242:半月板破裂預測器
Claims (13)
- 一種半月板破裂輔助判斷程式之建立方法，包含以下步驟：取得一參照資料庫，其中該參照資料庫包含複數個參照程序(protocol)，各該參照程序包含複數個參照膝關節影像序列，且各該參照膝關節影像序列包含複數個參照膝關節影像和複數個標記資訊，各該標記資訊包含一半月板圈選位置資訊和一半月板是否破裂標記，且一該參照膝關節影像對應一該標記資訊；進行一第一資料集生成步驟，其係將該些參照膝關節影像分別與對應之一該標記資訊中之該半月板圈選位置資訊進行整合，以得到一第一資料集；進行一第一訓練步驟，其係以該第一資料集訓練一影像偵測深度學習模型至收斂，以得到一半月板位置偵測器，其中該影像偵測深度學習模型為一Scaled YOLOv4深度學習模型；進行一第二資料集生成步驟，其係利用該半月板位置偵測器分析各該參照膝關節影像並輸出複數個半月板位置資訊，再將該些參照膝關節影像、對應之一該半月板位置資訊與對應之一該標記資訊中之該半月板圈選位置資訊和該半月板是否破裂標記進行整合，以得到一第二資料集；以及進行一第二訓練步驟，其係以一特徵選取模組分析該第二資料集得到至少一特徵值，再將該至少一特徵值透過一 影像分類深度學習模型進行訓練而達到收斂，以得到一半月板破裂預測器，其中該影像分類深度學習模型為一EfficientNet深度學習模型；其中，該半月板破裂輔助判斷程式包含該半月板位置偵測器與該半月板破裂預測器，且該半月板破裂輔助判斷程式係用以輔助判斷一受試者之一半月板方位及預測該受試者之一半月板方位發生破裂機率。
- 如請求項1所述之半月板破裂輔助判斷程式之建立方法，其中各該參照膝關節影像序列包含一參照冠狀面影像序列和一參照矢狀面影像序列。
- 如請求項1所述之半月板破裂輔助判斷程式之建立方法，其中於該第一訓練步驟中，以該些半月板圈選位置資訊訓練該影像偵測深度學習模型至收斂，其中各該半月板圈選位置資訊包含一圈選矩形之一左上頂點座標資訊(x,y)和該圈選矩形之一寬高(w,h)。
- 如請求項3所述之半月板破裂輔助判斷程式之建立方法，其中該第一資料集以4：1的比例切割為一第一訓練集和一第一驗證集，於該第一訓練步驟中，該第一訓練集用以訓練以得到該半月板位置偵測器，該第一驗證集用以評估該些半月板圈選位置資訊對於該半月板位置偵測器的表現。
- 如請求項1所述之半月板破裂輔助判斷程式之建立方法，其中該特徵選取模組使用全局平均池化(Global Average Pooling,GAP)進行破裂分類，以得到該至少一特徵值。
- 如請求項1所述之半月板破裂輔助判斷程式之建立方法，其中該第二資料集生成步驟更包含分別對各該參照膝關節影像沿一半月板區域之一邊緣進行裁切。
- 如請求項1所述之半月板破裂輔助判斷程式之建立方法，其中該第二資料集以4：1的比例切割為一第二訓練集和一第二驗證集，於該第二訓練步驟中，該第二訓練集用以訓練以得到該半月板破裂預測器，該第二驗證集用以評估該至少一特徵值對於該半月板破裂預測器的表現。
- 如請求項1所述之半月板破裂輔助判斷程式之建立方法，其中該半月板方位包含一前內側、一後內側、一前外側和一後外側。
- 一種半月板破裂輔助判斷系統，包含：一影像擷取裝置，用以擷取一受試者之一目標程序，其中該目標程序包含複數個目標膝關節影像序列，且各該目標膝關節影像序列包含複數個目標膝關節影像；以及 一處理器，其係訊號連接該影像擷取裝置，其中該處理器包含：一資料前處理模組，用以將該些目標膝關節影像序列個別分組並取出複數個目標冠狀面影像序列和複數個目標矢狀面影像序列，其中各該目標膝關節影像序列包含一該目標冠狀面影像序列和一該目標矢狀面影像序列；以及一半月板破裂輔助判斷程式，其係由如請求項1至請求項8任一項所述之半月板破裂輔助判斷程式之建立方法所建立而得，其中該半月板破裂輔助判斷程式包含該半月板位置偵測器和該半月板破裂預測器。
- 如請求項9所述之半月板破裂輔助判斷系統，其中該處理器更包含一資料輸出模組，用以輸出一判斷結果，該判斷結果包含該受試者之該半月板方位發生破裂機率。
- 一種半月板破裂輔助判斷方法，包含：提供如請求項9所述之半月板破裂輔助判斷系統；以該影像擷取裝置取得該受試者之該目標程序，並將該目標程序之該些目標膝關節影像序列傳輸至該處理器；進行一資料前處理步驟，其係以該資料前處理模組對該些目標膝關節影像序列進行個別分組，並取出該些目標冠狀面影像序列和該些目標矢狀面影像序列，其中各該目標 膝關節影像序列包含一該目標冠狀面影像序列和一該目標矢狀面影像序列，各該目標冠狀面影像序列包含複數個目標冠狀面影像，各該目標矢狀面影像序列包含複數個目標矢狀面影像；進行一半月板位置偵測步驟，其係以該半月板位置偵測器分別框選該些目標冠狀面影像和該些目標矢狀面影像的該半月板方位，以得到複數個目標冠狀面位置和複數個目標矢狀面位置；進行一半月板破裂機率計算步驟，其係將該些目標冠狀面影像、該些目標矢狀面影像、該些目標冠狀面位置和該些目標矢狀面位置輸入至該半月板破裂預測器，以計算該受試者之一半月板破裂機率；以及進行一半月板方位發生破裂機率評估步驟，其係以該半月板破裂預測器讀取該半月板破裂機率之一位置資訊，回推該半月板方位，以預測該受試者之該半月板方位發生破裂機率。
- 如請求項11所述之半月板破裂輔助判斷方法，更包含一資料輸出步驟，其係以一資料輸出模組輸出一判斷結果，該判斷結果包含該受試者之該半月板方位發生破裂機率。
- 如請求項12所述之半月板破裂輔助判斷方法，若於該資料前處理步驟中未能同時取出該些目標冠狀 面影像序列和該些目標矢狀面影像序列，該判斷結果更包含一資料缺失警告。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111139082A TWI854326B (zh) | 2022-10-14 | 半月板破裂輔助判斷程式之建立方法、半月板破裂輔助判斷系統和半月板破裂輔助判斷方法 | |
| US18/173,254 US20240127429A1 (en) | 2022-10-14 | 2023-02-23 | Establishing method of meniscus tear assisted determination program, meniscus tear assisted determination system, and method for meniscus tear assisted determination |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111139082A TWI854326B (zh) | 2022-10-14 | 半月板破裂輔助判斷程式之建立方法、半月板破裂輔助判斷系統和半月板破裂輔助判斷方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202416291A TW202416291A (zh) | 2024-04-16 |
| TWI854326B true TWI854326B (zh) | 2024-09-01 |
Family
ID=
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706491A (zh) | 2021-08-20 | 2021-11-26 | 西安电子科技大学 | 基于混合注意力弱监督迁移学习的半月板损伤分级方法 |
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706491A (zh) | 2021-08-20 | 2021-11-26 | 西安电子科技大学 | 基于混合注意力弱监督迁移学习的半月板损伤分级方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108209924B (zh) | 一种前交叉韧带断裂后步态特征的分析方法 | |
| JP7057589B2 (ja) | 医療情報処理システム、歩行状態定量化方法およびプログラム | |
| US9286355B2 (en) | Method and system for human joint treatment plan and personalized surgery planning using 3-D kinematics, fusion imaging and simulation | |
| CN113284126B (zh) | 人工神经网络图像分析预测脑积水分流手术疗效的方法 | |
| US11978208B2 (en) | Trained model, learning method, learning program, medical information acquisition device, medical information acquisition method, and medical information acquisition program | |
| CN116258726A (zh) | 基于深度学习的颞下颌关节mri图像重要结构分割方法 | |
| CN110097967A (zh) | 基于固有时间尺度分解、相空间重构和神经网络的膝骨性关节炎诊断系统 | |
| TWI854326B (zh) | 半月板破裂輔助判斷程式之建立方法、半月板破裂輔助判斷系統和半月板破裂輔助判斷方法 | |
| KR102103281B1 (ko) | 뇌혈관 질환의 진단을 위한 ａｉ 기반의 보조 진단 시스템 | |
| Soda et al. | A low-cost video-based tool for clinical gait analysis | |
| TW202416291A (zh) | 半月板破裂輔助判斷程式之建立方法、半月板破裂輔助判斷系統和半月板破裂輔助判斷方法 | |
| KR101659056B1 (ko) | 2차원 기술자를 이용한 두개골유합증 자동진단시스템 및 이를 이용한 두개골유합증 자동진단방법 | |
| CN114927220A (zh) | 一种脊髓型颈椎病和帕金森病的鉴别诊断系统 | |
| Grassi | Femoral strength prediction using finite element models | |
| JP2021097864A (ja) | 画像判定装置、画像判定方法及びプログラム | |
| KR102598233B1 (ko) | 의료 영상을 대상으로 하는 딥러닝 기반의 의료정보 제공시스템 및 방법 | |
| Liukkonen | Predicting knee osteoarthritis: development and application of segmentation and finite element modelling methods | |
| KR102560605B1 (ko) | 활보 가로세로비에 기초하는 특발정상압수두증 예측 정보 제공 방법 및 장치 | |
| US20230116332A1 (en) | System and method for diagnosing muscle and bone related disorders | |
| Banerjee | Automatic Assessment of Scoliosis Using 3D Ultrasound Imaging and Convolutional Neural Network | |
| EP4215105A1 (en) | Automatic pain sensing conditioned on a pose of a patient | |
| WO2024118893A1 (en) | Evaluating morphology and operation of a joint | |
| Mustafaoglu | Feasibility of markerless motion capture in clinical gait analysis in children with cerebral palsy | |
| SELÇUK et al. | A Novel Model Based on Cnn–vit Fusion and Ensemble Learning for Automatic Detection of Pes Planus | |
| KR20220138432A (ko) | 머신러닝을 이용한 전방십자인대 파열 진단 장치 및 그 방법 |