TW202316370A - 一種使用深度學習模型分析慢性傷口數位影像的方法及系統 - Google Patents

Abstract

一種使用深度學習模型分析慢性傷口數位影像的方法及系統，係基於慢性傷口影像，使用深度學習模型分析傷口，結合病患臨床資料，提供相關分析的方法系統。本發明包含兩個或以上的深度學習模型，分別處理兩大任務，一為傷口辨識，二為組織辨別，組織辨別包含傷口內部組織及傷口周圍組織。其中，傷口辨識可單獨於一個深度學習模型執行，或與傷口周圍組織辨別於同一深度學習模型內執行。而傷口內部組織辨識可由一或一個以上深度學習模型執行。基於上述兩個模型的分析結果，及病患的臨床資料，本發明之方法及系統可以做出多項輸出，例如：1. 傷口周圍表皮化(re-epithelialization)的情形；2. 傷口內部的組織分布；3. 傷口的大略面積，及；4. 傷口後續處置方式。

Description

一種使用深度學習模型分析慢性傷口數位影像的方法及系統

本發明是使用數個深度學習模型，係基於慢性傷口影像，使用深度學習模型分析傷口，結合病患臨床資料，提供相關分析。

隨著國民壽命的延長以及糖尿病人口的增加，慢性傷口(Chronic wound) 包含糖尿病潰瘍(Diabetic ulcer)、壓瘡(Pressure ulcer)、血管性潰瘍(Vascular ulcer)、淋巴性潰瘍(Lymphatic ulcer)等，已成為大家不可忽視的健康問題。然而因相關專科醫師人數不足，無法充分照護到每一個病患，本發明的開發目的，為提供第一線醫療照護人員及病患家屬，精準的傷口分析及所需的資訊。

已知如中國第CN106164929號專利案係採用去背法(grab cut)或圖案分割法(graph cut)的方式來分析傷口。需使用特定拍攝裝置拍攝之照片(如：深度相機或結構光攝影設備)，方能用於進行傷口分析，且僅能針對傷口範圍以及傷口邊界以內之內部組織進行分析，而無法對於傷口邊界以外之周圍組織進行分析，此分析的結果包含傷口大小及組織比例，僅為專業醫療人員使用，並沒有給予傷口處置建議，因而減少大眾使用的可近性。

該習知技術對於傷口範圍的辨識僅採用簡易的去背法或圖案分割法來實施，並非機器學習更非深度學習，因此未針對傷口範圍進行資料標記而無法透過訓練深度學習模型學習辨識傷口位置。操作上需要使用者先大略圈選傷口範圍，即係先定義感興趣區域(Region of interest, ROI)並取樣傷口，或者假設傷口位於照片正中間，由系統自動圈選中央區域為傷口範圍，再對傷口部分像素進行取樣，取樣處視為前景(foreground)，或假設正中央的像素為傷口。圈選區域外側及圈選區內像素RGB值與取樣處像素RGB值高斯分布不同之像素視為背景(background)，以判斷該圈選之傷口範圍內的每一像素是傷口範圍(前景)或非傷口範圍(背景)的可能性，經過多次的迭代計算判斷傷口範圍。簡而言之，習知技術是以使用者給定的提示，判斷每一像素可能是前景或背景，若使用者未圈選傷口範圍、或圈選範圍有多個傷口、或圈選錯誤傷口範圍，習知技術未獲得提示、或同時處理多個傷口範圍、或獲得錯誤提示經迭代計算後，對於傷口範圍的判斷將會產生明顯的誤差。

該習知技術對於傷口範圍內部組織的辨識，則係在前述由使用者所圈選之傷口範圍內使用去背法或圖案分割法，系統經迭代計算獲得傷口範圍後，對此範圍內像素的RGB值或轉換為其他顏色向量如：HSV、LAB或灰度值(grey scale)等，並使用支持向量機(Support Vector Machine，SVM)進行內部組織分類。SVM為傳統機器學習的方法，如圖1所示，習知技術在針對傷口範圍內部組織進行資料標記時，係將數個畫面切成數個正方形網格(tiles)後，由醫師標記各別網格的分類。然而受限於正方形網格無法正確的將傷口範圍內之內部組織明確切割，或許理論上可行，但實際上當正方形網格趨近於無限小的時後，亦受限於人力無法辨識該無限小的正方形網格或不堪負荷辨識該無限多數量的正方形網格，此外，實際操作上每個正方形網格可能都包含一種以上組織，而造成對於傷口的判斷力下降。SVM的訓練，是為了找到不同的群體間，將彼此畫分開產生最小錯誤的界線，如圖2所示，將藍色圓點及紅色方點畫分開產生最小錯誤的界線即為圖中之黑實線，以正方格式的標記法，將使群體間的交錯的程度增加，更加不利於界定群體間的界線，造成訓練的模型準確度大幅降低。

模型習得此規則後，若沒有經過使用者提示圈選要偵測的範圍，照片上所有的像素只要顏色特徵值在特定臨界值範圍內，就會被視為該類別。如圖3(a)所示，衣服的顏色與傷口邊界以內之肉芽組織相近，若沒有經過使用者提示圈選要偵測的範圍，該衣服將如圖3(b)所示可能被視為肉芽組織，因此應用在臨床往往與預期結果相差甚遠，使用上相當不便利，也欠缺可信賴度。

在實際執行上，該習知技術亦需再次將照片中傷口分割成方形拼貼片後，對方形拼貼片使用SVM進行分類(參考該習知技術圖10，S302~S304步驟)，而非直接對傷口內部組織進行分割，由於傷口組織的分布，臨床上不太可能是數個小正方形的區塊，因此顯示的結果與專家手動分割的基準真值(Ground truth)有很大的差距(參考該習知技術圖11C~11F)，綜合以上，該習知技術在資料標記、使用者操作、實際執行上都有明顯缺陷。

傷口邊界以外之周圍組織則是判斷傷口是否癒合良好的重要指標。由於習知技術是先以去背法或圖案分割法獲得傷口範圍後，再對傷口邊界以內之內部組織使用SVM進行分類，習知技術無法對該傷口邊界以外的周圍組織進行判斷，亦無提供對傷口外部組織判斷所需的方法及步驟。

由於技術上的限制，習知技術分析慢性傷口之技術有下列缺點： 1.需使用特定裝置拍攝之照片(如：深度相機或結構光攝影設備)，方能用於進行傷口分析，因此無法普及於醫護人員甚至一般民眾。 2. 因採用去背法而取得傷口範圍，操作上仍需由使用者圈選傷口範圍並取樣傷口像素，臨床使用上較為繁瑣。 3. 傷口內部組織分析採用傳統機器學習SVM，因此需配合去背法或圖案分割法獲得傷口範圍後，針對傷口邊界以內的內部組織進行判斷，才不會將非傷口組織判定為傷口範圍內之特定組織。 4. SVM訓練資料集的建立以及傷口分析的執行，皆須先將照片中傷口切割成正方塊，再後進行分類，常理可見將會與實際傷口內部組織分布不相符，因此降低模型的準確性。 5. 承2.3.，因傷口邊界以外之周圍組織是判斷傷口是否癒合良好的重要指標，然而習知技術係使用去背法或圖案分割法後對內部組織使用SVM分析，依前述方法，將無法分析傷口外部組織。 6. 習知技術分析後，僅得知傷口大小及內部組織分布，沒有提供傷口處置的建議，對非醫護人員的照護者，實質上並無太大幫助，減少大眾使用的可近性。

本發明係一種訓練深度學習模型，用於分析慢性傷口數位影像的方法，基於上述方法所訓練的數個深度學習模型，建置於網路伺服器，建構成傷口診斷的系統。

本發明可分析來自任何相機或任何行動裝置，所拍攝傷口之影像，藉由可聯網路之設備如：手機或筆電，將照片上傳至伺服器，即可輕易完成相關分析，無須使用具有特定設備的相機。

本發明之效果在於，使用者可以簡易地使用相機或行動裝置所拍攝之傷口照片輸入此一系統，藉由本發明之深度訓練模型，結合臨床資料，可以正確迅速得到傷口分析結果，瞭解後續處置之建議。

本發明使用之深度學習的模型，有數百層的卷積層(filters)，畫面中所有像素經過層層的卷積運算後，會把特徵的區域強調(highlight)出來，例如傷口邊界圍成的傷口範圍內的數字皆為正整數，而其他區域則顯示為零或負整數，並將該運算結果還原(decode)到原始的照片後，給予對應的遮罩。由於卷積是以一個區域的像素進行運算，有考量到鄰近區域像素間的相互關係，並非像SVM以個別像素進行分析，而無法考量到鄰近區域像素間的相互關係，因此本發明利用卷積層的計算，可以分析畫面中的所有區域是否為傷口範圍或特定的組織，操作上，不需使用者刻意圈選傷口範圍，深度學習的模型會對輸入的影像中，傷口範圍自動界定及分析。在深度學習模型的訓練上，正常的皮膚及背景皆是重要資訊，本發明不像習知技術採用的SVM訓練資料集，以去背法或圖案分割法將該正常皮膚及背景的部分排除後進行標記，而該習知技術所產生訓練集，將無法正確的訓練深度學習模型，故本發明可以解決習知技術的問題。

傷口的分析，主要處理三大任務，一為傷口範圍辨識，二為傷口邊界以內之內部組織辨識，三為傷口邊界以外之周圍組織辨識。欲使所有組織辨識度最佳化，每種組織以及傷口範圍，皆須各別使用一個深度學習模型進行辨識，然而如此將導致系統掛載大量模型，過於龐大而沒有效率。另一個極端，可以將傷口邊界內部及外部所有組織，由單一個模型進行辨識，並假設所有內部組織的遮罩總合等於傷口範圍的遮罩，然而隨著欲判斷的組織總類別數增加，模型對各別組織的判斷力將下降，且傷口可能有模型無法判斷、或模型不曾訓練過的組織，這會降低模型估算傷口面積的準確度。 為了解決上述問題，本發明包含兩個或以上的深度學習模型，以兩個模型為範例，其中傷口範圍辨識可與傷口邊界以外之周圍組織辨識於同一深度學習模型內執行；而傷口邊界以內之內部組織辨識可由另一個深度學習模型執行。

由於深度學習需大量標準化標記的影像進行學習，本發明之第一目的，在於提供正確且有系統的標記傷口影像的方法，此標記資料集，適用於部分深度學習模型，如：意義分割(Semantic Segmentation)、實例分割(Instance Segmentation)及物體偵測(Object Detection)的模型，相對不適用於傳統機器學習的模型。

為達到上述目的，本發明包含：訓練一第一深度學習模型以及一第二深度學習模型之步驟，其中第一深度學習模型訓練集的建構，包含有下列步驟：提供一歷史傷口影像照片集；自該歷史傷口影像照片集中，針對每一歷史傷口影像照片之一傷口邊界圍成之傷口範圍(Ulceration)及該傷口邊界以外之周圍組織，以邊界標記法(boundary-based labeling)，於該傷口邊界以及該傷口邊界以外之周圍組織的邊界，進行點狀連線形成一或數個多邊形(polygons)的一第一標記，並存成一第一訓練資料集；將該第一訓練資料集，經由分成一訓練集、一驗證集以及一測試集的方式，將該訓練集及該驗證集以同一深度學習模型訓練並比較結果，重覆數次過程後進行交叉驗證，選取出該訓練集及該驗證集訓練結果類似的第一訓練資料集分割方式，將該訓練集跟該驗證集合併成一最終訓練集，再以數個深度學習模型進行測試，挑選出該第一深度學習模型。

其中第二深度學習模型訓練集的建構，包含有下列步驟：自該歷史傷口影像照片集中，針對每一歷史傷口影像照片進行一調整格式步驟，再將該格式調整後之每一歷史傷口影像照片， 經由一超像素分割(superpixel segmentation)，成為特徵相似的區塊，針對傷口邊界以內之內部組織所分割後的特徵區塊，以區域標記法(region-based labeling)，選擇對應類別的組織的一第二標記，並存成一第二訓練資料集；將該第二訓練資料集，經由分成一訓練集、一驗證集以及一測試集的方式，將該訓練集及該驗證集以同一深度學習模型訓練並比較結果，重覆數次過程後進行交叉驗證，選取出該訓練集及該驗證集訓練結果類似的第二訓練資料集分割方式，將該訓練集跟該驗證集合併成一最終訓練集，再以複數個深度學習模型進行測試，訓練出該第二深度學習模型。

本發明的第二目的，在於架構分析慢性傷口數位影像的系統。為達到上述目的，將上述所訓練完成的第一深度學習模型及第二深度模型、網頁前端及資料庫後端，架設於國家網路中心(TWCC)所提供的加密虛擬容器運算服務(Virtual Compute Service)。透過使用者由聯網裝置拍攝的數位影像，將數位影像資料由網頁前端選擇後，透過網路連線傳送到後端的資料庫系統。後端系統儲存數位影像資料後，將數位影像資料傳於模型進行分析。所分析後的結果再次在後端資料庫儲存，並且使目前的資料庫狀態更新。前端接受被上傳的資料狀態有更新後，讀取後端資料庫的分析結果，並顯示分析結果於前端網頁。

為達上述目的，本發明第一深度學習模型以及該第二深度學習模型分析慢性傷口之步驟包含：提供一傷口影像，針對該傷口影像進行一調整格式步驟；將該調整格式後之該傷口影像，傳送至該第一深度學習模型進行運算之步驟；其中，該第一深度學習模型進行運算後針對該傷口邊界圍成之傷口範圍及該傷口邊界以外之周圍組織提供一各別遮罩；將該調整格式後之該傷口影像，傳送至該第二深度學習模型進行運算之步驟；其中，該第二深度學習模型進行運算後針對該傷口邊界以內之不同內部組織提供對應組織類別之一各別遮罩；基於兩模型產生之多個遮罩，結合輸入之臨床資料及拍照的參數進行運算，系統可以輸出多項分析結果，包含：1. 傷口邊界以外周圍組織的偵測結果；2. 傷口範圍以及該傷口邊界以內之內部組織以及各別該傷口邊界以內之內部組織所佔比例；3. 傷口範圍及面積計算；4. 傷口後續處置方式建議。

以下僅以實施例說明本發明可能之實施態樣，然並非用以限制本發明所欲保護之範疇，合先敘明。

本發明的一個實施例，其所使用的傷口影像照片，來自醫院病患的傷口影像照片及網路公開的傷口照片資料庫。排除掉照片成像不佳、傷口有出血、藥膏或敷料覆蓋的照片。傷口影像由兩位整形外科醫師進行同意決標記，影像先由一位醫師標記後，由第二位醫師進行判定，針對兩者不相同的標示處討論後取得共同標記，若無法達成共識，則將此照片排除。針對傷口影像照片上傷口邊界圍成之傷口範圍、傷口邊界以內之內部組織以及傷口邊界以外之周圍組織，係採用兩種不同的標記方式進行標記。

其中，經本發明研究與測試，將傷口邊界以外周圍組織與傷口邊界圍成之傷口範圍由同一模型偵測，會比將傷口邊界以外周圍組織與傷口邊界以內內部組織由同一模型偵測，有更好的偵測率。因此於第一標記，本發明使用 Labelme或其他類似的公開軟體，以邊界標記法(boundary-based labeling)，在慢性傷口邊界上，點選多邊形連線(polygons)進行標記後，若於傷口邊界以外有重要組織，如：表皮化組織(Re-epithelialization)或壞疽組織(Gangrene)等，亦使用同樣的標記方式於同一圖片，如圖4所示。其中該傷口原始照片、對應傷口邊界的座標檔(json)以及其他參數資料，例如：照片長短軸、標記項目等，存檔後成為訓練資料集(一)。

本發明關於傷口邊界以內之內部組織的標記，若同樣使用點選邊界線的方式針對傷口邊界以內之不同內部組織邊界進行標示，將難以取得標示者之間的共識決，原因在於傷口邊界以內之內部組織多是處於漸層的過渡，難以界定邊界，如圖1傷口所示。因此於第二標記時，本發明採用之解決方法，是使用超像素分割(superpixel segmentation)輔助的區域標記法(region-based labeling)，先將傷口影像照片經過等比例縮放 (re-size)後，而獲得經格式調整後之傷口影像照片後〔圖5 (b)〕，使用超像素分割(superpixel segmentation)演算法進行分割，係針對整張經格式調整後之傷口影像照片，將該整張經格式調整後之傷口影像照片分割成許多特徵類似的有意義區塊(superpixels)〔圖5 (c)〕，再由專業醫師針對傷口內部的區塊，選擇其對應的組織類別，如：肉芽組織(Granulation)、腐肉組織(Slough)以及焦痂組織(Eschar)等〔圖5 (d)〕，進行特徵區塊選擇式標記。區塊不一定全部被標記，只需標記醫師共同認定分類的部分，其中該傷口原始照片、傷口邊界以內之內部組織的標記檔(png, jpg)以及其他參數資料存檔後成為訓練資料集 (二)。

其中有許多區塊分割的超像素分割演算法，不同的演算法有許多不同的參數，且需透過不同的任務測試不同演算法切割方式標記下的資料集，而本發明採用經測試在多數模型都有良好效果的簡單線性迭代聚類(simple linear iterative clustering，SLIC)超像素分割演算法。而採用本發明之超像素分割方式，避免了先前技術將傷口邊界以內之內部組織，只切割成正方形網格，所造成的網格難以明確分類之缺點。

在深度學習模型的訓練上，正常的皮膚及背景皆是重要資訊，不論是本發明的第一標記或第二標記，皆保留正常皮膚及背景的所有像素，一同進入模型的訓練，不會將這些資訊排除，與習知的技術明顯不同。正常皮膚雖然在資料集不用特地標記，但模型訓練時會與傷口一同進入卷積層計算，正常皮膚的特徵亦被記憶於卷基層內，因此深度學習模型可以分辨傷口所在畫面位置，不須使用者手動標記的重要因素。圖6顯示上述兩大類資料處理、標記及模型訓練的流程圖。

將上述兩個訓練資料集，各自分成影像數目約略相同的10份子集，隨機將其中7份合併成訓練集(Training set)；2份成為驗證集(Validation set)；1份成為測試集 (Testing set)，也可以分割成其他的比例進行訓練及測試。接著將訓練集及驗證集以同一深度學習模型訓練，並比較兩者結果，重複上述過程數次，進行交叉驗證(Cross validation)，選取出訓練集及驗證集訓練結果類似的訓練資料集分割方式，將訓練集跟驗證集合併成最終訓練集，訓練出的深度學習模型。交叉驗證的目的，並非單純是選出特定參數下，表現最好的模型，更是要避免訓練出的模型對訓練集有過度擬合(overfitting)的情況。

以訓練資料集(一)11訓練出深度學習模型(一)111，以訓練資料集(二)14訓練出深度學習模型(二)141，訓練資料集(一)包含原始傷口照片，對應傷口邊界(polygons)以及傷口邊界以外周圍組織邊界的座標檔，以及其他參數資料(例如：相片長短軸、標記項目等)，訓練資料集(二)包含原始傷口照片，對應傷口邊界以內之內部組織的分類標記檔(png, jpg)以及其他參數資料(例如：相片長短軸、標記項目等)。在不同的實施例中，可使用不同深度學習模型的架構，例如：U-Net、RefineNet、PsPNet、DeeplabV3、Mask R-CNN等，搭載不同的解碼器(Encoder)，例如：ResNet50、ResNet101、Inception等，及不同的激活方程式 (Activation) 如：sigmoid、ReLu、Adam等，使用不同的深度學習模型，依據上述資料參數調整，分批次的輸入照片，計算後調整參數，測試不同調整下準確度的差異後，進而趨近基準真值(ground truth)，最終再使用測試集，選出合適的深度學習模型。

測試深度學習模型有三個目的：1.在不同參數設定下，如何優化特定深度學習模型；2.同一筆資料每次不同順序訓練，就會有不同的結果，藉由交叉驗證(cross validation)，了解特定深度學習模型是否有過度擬合(overfitting)的情況；3.使用模型未見過的測試集(testing set)，來了解哪個深度學習模型在此次任務優於另外的深度學習模型。評估深度學習模型的優劣可由以下個參數定義：Dice’s coefficient(F1 score), intersection over union(IoU), precision, recall and accuracy. 這五個參數，又可以由以下四個參數組成，真陽性true positive(TP), 偽陽性false positive(FP), 真陰性true negative(TN)以及偽陰性false negative(FN)。 •             Dice’s coefficient定義為：

•

定義為：

•             Precision定義為：

•             Recall定義為：

•             Accuracy定義為：

深度學習模型的選定是根據上述參數的結果，因此深度學習模型(一)111及深度學習模型(二)141可為完全不同架構的深度學習模型，如：深度模型(一)111選用Mask R-CNN，而深度學習模型(二)141選用DeeplabV3+，以達最好的表現。

深度學習模型的訓練約需上千張的照片，才可辨識在大部分光線下的傷口。此外，深度學習模型更可進行增量式學習(incremental learning) ，於進行約上千張照片的訓練後，再提供數十張不同膚色、不同拍照環境或其他種類慢性傷口特徵的照片進行訓練，以習得不同膚色、不同拍照環境或其他種類慢性傷口的特徵並強化對於不同膚色、不同拍照環境或其他種類慢性傷口的分析能力。

傷口診斷系統的流程圖請參閱圖7，透過網路本發明可接收來自相機或行動裝置所拍攝之傷口影像照片，當伺服器接收到傷口影像20時，會先將影像等比例縮放 (re-size) 成長軸為 1024 pixels，短軸上下兩邊以純黑(R:0, G:0, B:0) 填滿的正方形影像 1024*1024 pixels，調整後之影像 21可以加速模型運算，該調整後影像21會同時傳送給深度學習模型(一)111及深度學習模型(二)141進行運算。

深度學習模型(一)111進行運算時會於該調整後影像21偵測傷口邊界所圍成之傷口範圍及傷口邊界以外之周圍組織，並給予傷口範圍及傷口邊界以外之周圍組織遮罩(Segmentation Mask)22。深度學習模型(二)141進行運算時會於該調整後影像21偵測傷口邊界以內之內部組織，並依偵測到的肉芽組織、腐肉組織或焦痂組織等不同內部組織給予對應之傷口邊界以內之內部組織遮罩 23，偵測內部組織時，不需先將傷口切割成正方形方塊。將傷口範圍及傷口邊界以外之周圍組織遮罩22，以及傷口內部組織遮罩 23二者合併後，可以獲得合併後遮罩總集 24，配合輸入之臨床資料 25以及圖9之判斷流程，可以輸出相關分析結果 26。

而以深度學習模型(一)111以及深度學習模型(二)141分析慢性傷口的模組，包含：一接收傷口影像模組；一影像格式調整模組，其係針對該傷口影像20進行一調整格式；一第一運算模組，係將該調整格式後之傷口影像22，藉由深度學習模型(一)111進行一第一運算；其中，該第一運算包含對該傷口邊界圍成之傷口範圍及該傷口邊界以外之周圍組織提供一各別遮罩22之運算；一第二運算模組，係將該調整格式後之傷口影像22，藉由深度學習模型(二)141進行一第二運算；其中，該第二運算包含對該傷口邊界以內之不同內部組織對應提供一各別遮罩23之運算；一合併模組，係將該第一運算提供之該遮罩及第二運算提供之該遮罩合併為一合併遮罩總集24；一判斷及輸出模組，係結合臨床資料25、照片拍攝資料以及該合併遮罩總集，進行運算並輸出分析結果26。並建置一網頁前端模組(frontend)及一資料庫後端模組(backend)，包含：一接收傷口影像模組，一接收數據資料模組，可接收包含選單式、數據式的病患臨床資料26以及數據式的照片拍攝資料，並將上述所有接收資料以及系統分析後的結果儲存於資料庫模組，另有一輸出模組，如圖8所示，將所有分析結果26呈現於網頁前端。

如圖8所示，本發明針對傷口的分析可以輸出多項分析結果，例如：

第一、分析傷口邊界以外，是否有新生的表皮組織或壞疽組織。此分析結果來自深度學習模型(一)111對於傷口邊界以外之周圍組織的偵測，同時會對傷口照片產生對應組織遮罩。

第二、分析傷口邊界以內之各別內部組織的的分佈以及組成比例。此分析結果係因深度學習模型(二)141可以偵測並提供傷口邊界以內之特定內部組織的遮罩(Mask area)，以及深度學習模型(一)111可以偵測並提供由傷口邊界所圍成之傷口範圍遮罩(Mask area)，藉由深度學習模型(一)111及深度學習模型(二)141所提供之遮罩計算傷口邊界以內之各別內部組織的比例。例如：

。

第三、計算傷口面積大小。此計算結果需從上傳的照片中，擷取相關的參數，例如1.拍照距離 2.感光元件大小 3.焦距 4.影像長短軸(像數) 5. 深度學習模型(一)111所輸出的傷口遮罩。其計算公式如下： •      長軸=(拍照距離*感光元件大小)/焦距 •      投射面積=長軸^2*長寬比 •      傷口面積=(傷口遮罩/全畫面像數)*投射面積 亦可使用其他計算方式，在已知拍照距離、遮罩多邊形座標點的情況下，可使用海龍公式，將傷口遮罩多邊形的投射面積算出。

第四、提供後續傷口處置建議。請參閱圖9，判斷流程如下，提供傷口影像照片 30，結合兩個深度學習模型的上述運算結果，以及病患其他臨床資料，該判斷步驟包含，一判斷是否有感染步驟31、一判斷是否有壞死組織步驟32或一判斷是否有潛在感染或壞死組織步驟33。其中清創處置包含不同形式的清創方式，包含：選擇式清創，如手術清創，以及非選擇式清創，如：濕敷換藥(Wet to dry dressing)或酵素清創。

判斷是否有感染流程 31：係由輸入的臨床資料，條件可以包含：是否發燒(體溫 ＞ 38.3C)、白血球數目異常(WBC ＞ 12’000/mm^3)、心搏過速(HR ＞ 90/min)。以及傷口相關資訊，包含：是否有膿瘍(pus)、是否有惡臭(odorous) 、周圍是否發紅(erythema)。依照以上條件，給予不同的權重計算後，給予後續處置建議，如果滿足設定條件，可以建議考慮清創處置 40，如果尚未滿足設定條件，可以建議持續傷口照護 50。

判斷是否有壞死組織流程 32：設定條件可以包含 1.由深度學習模型 (二) 偵測傷口是否有焦痂、2. 深度學習模型(一)111及深度學習模型(二)141偵測肉芽組織面積比例是否＜60%、3.同一病灶不同時間點監測(三次以上)，肉芽組織比例是否逐漸減少。若有以上任一條件，則可以建議清創處置 40，否則，可以建議持續傷口照護 50。

判斷是否有潛在感染或壞死組織流程 33：設定條件可以包含 1. 換藥次數 ＞3次/天 或滲液量多、2. 傷口有通道及廔管(undermine or fistula)。若有以上任一條件，則可以建議清創處置 40，否則，可以建議持續傷口照護 50。

本說明書所列的深度學習模型，於其他實施例可以使用其他不同架構的深度學習模型替換，亦可達到類似效果，可以達成不同的準確度。

上述之實施例僅用來舉例本發明之實施態樣，以及闡釋本發明的技術特徵，並非用來限制本發明的保護範疇。本發明的權利保護範圍應以申請專利範圍為準，任何熟悉此技術者可輕易完成的改變或均等性的安排均屬於本發明所主張的範圍。

10:訓練用傷口影像照片 11:訓練資料集(一) 111:深度學習模型(一) 12:調整格式後傷口影像照片 13:超像素切割後傷口影像照片 14:訓練資料集(二) 141:深度學習模型(二) 20:傷口影像照片 21:調整後影像 22:傷口範圍及傷口邊界以外之周圍組織遮罩 23:傷口邊界以內之內部組織遮罩 24:合併後遮罩總集 25:臨床資料及其他資訊 26:分析結果 30:傷口影像照片 31:感染 32:壞死組織 33:潛在感染或壞死組織 40:清創處置 50:傷口照護

圖1是習知技術於模型訓練及傷口分析，皆將傷口內部組織切成數個正方形網格後再進行的示意圖。 圖2是SVM群體畫分簡單示意圖，實際傷口資料的點位重疊情形更為複雜。 圖3(a)是一傷口照片；圖3(b)是不圈選傷口範圍，以SVM直接對圖3(a)進行肉芽組織偵測的示意圖。 圖4是本發明所使用之邊界標記法(boundary-based labeling)。 圖5(a)是一傷口照片；圖5(b)是一經格式調整後之傷口照片；圖5(c)是本發明所使用之超像素分割(superpixel segmentation)法；圖5(d)是本發明所使用之輔助的區域標記法(region-based labeling)。 圖6是依據本發明的資料處理、標記及模型訓練的流程圖。 圖7是本發明的傷口診斷系統的流程圖。 圖8是本發明實際用於臨床傷口診斷之手機畫面截圖。 圖9是依據本發明給予傷口處置建議的流程圖。

20:傷口影像

21:調整後影像

22:傷口範圍及傷口邊界以外之周圍組織遮罩

23:傷口邊界以內之內部組織遮罩

24:合併後遮罩總集

25:臨床資料

26:分析結果

Claims (9)

1. 一種訓練深度學習模型，用於分析慢性傷口數位影像的方法，其包含： (a)  提供訓練一第一深度學習模型以及一第二深度學習模型之步驟，其中該第一深度學習模型以及該第二深度學習模型訓練集的建構係以鄰近區域的像素進行整體影像分析的訓練，且包含有下列步驟： 提供一歷史傷口影像照片集； 自該歷史傷口影像照片集中，針對每一歷史傷口影像照片之一傷口邊界圍成之傷口範圍及該傷口邊界以外之周圍組織，以邊界標記法(boundary-based labeling)，於該傷口邊界以及該傷口邊界以外之周圍組織的邊界，進行點狀連線形成數個多邊形(polygons)的一第一標記，並存成一第一訓練資料集； 將該第一訓練資料集，經由分成一訓練集、一驗證集以及一測試集的方式，將該訓練集及該驗證集以同一深度學習模型訓練並比較結果，重覆數次過程後進行交叉驗證，選取出該訓練集及該驗證集訓練結果類似的第一訓練資料集分割方式，將該訓練集跟該驗證集合併成一最終訓練集，再以數個深度學習模型進行測試，挑選出該第一深度學習模型； 自該歷史傷口影像照片集中，針對每一歷史傷口影像照片進行一調整格式步驟，再將該格式調整後之每一歷史傷口影像照片，經由一超像素分割(superpixel segmentation)，成為特徵相似的區塊，針對傷口邊界以內之內部組織所分割後的特徵區塊，以區域標記法(region-based labeling)，選擇對應類別的組織之一第二標記，並存成一第二訓練資料集； 將該第二訓練資料集，經由分成一訓練集、一驗證集以及一測試集的方式，將該訓練集及該驗證集以同一深度學習模型訓練並比較結果，重覆數次過程後進行交叉驗證，選取出該訓練集及該驗證集訓練結果類似的第二訓練資料集分割方式，將該訓練集跟該驗證集合併成一最終訓練集，再以複數個深度學習模型進行測試，訓練出該第二深度學習模型；以及 (b) 提供該第一深度學習模型以及該第二深度學習模型分析慢性傷口之步驟包含： 提供一傷口影像， 針對該傷口影像進行一調整格式步驟； 將該調整格式後之該傷口影像，傳送至該第一深度學習模型進行運算之步驟；其中，該第一深度學習模型進行運算後針對該傷口邊界圍成之傷口範圍及該傷口邊界以外之周圍組織提供一各別遮罩； 將該調整格式後之該傷口影像，傳送至該第二深度學習模型進行運算之步驟；其中，該第二深度學習模型進行運算後針對該傷口邊界以內之不同內部組織提供對應組織類別之一各別遮罩； 一合併由該第一深度學習模型進行運算後提供之一遮罩以及由該第二深度學習模型進行運算後提供之一遮罩之合併遮罩總集步驟；以及一判斷及輸出分析結果之步驟。
2. 如請求項1之方法，其中該第一標記係針對該傷口(Ulceration)的一邊界，以及該傷口邊界以外的一表皮化組織(Re-epithelialization)或一壞疽組織(Gangrene)的邊界進行標記。
3. 如請求項1之方法，其中該第二標記係針對該傷口邊界以內之內部的組織，進行特徵區塊選擇式標記，該組織包括一肉芽組織(Granulation)、一腐肉組織(Slough)或一焦痂組織(Eschar)。
4. 如請求項1之方法，其中該第一深度學習模型及該第二深度學習模型可進行一增量式學習(incremental learning)步驟，以習得不同膚色、不同拍照環境或其他種類慢性傷口的特徵。
5. 一種使用深度學習模型分析慢性傷口數位影像的系統，該系統包含： (a) 一第一深度學習模型模組以及一第二深度學習模型模組，其中： 該第一深度學習模型模組係針對鄰近區域的像素進行整體影像的分析，且包含有： 一歷史傷口影像照片集； 一第一訓練資料集，係自該歷史影像傷口照片集中，針對每一歷史傷口影像照片之一傷口邊界圍成之傷口範圍(Ulceration)及該傷口邊界以外之周圍組織，以邊界標記法，於該傷口邊界以及該傷口邊界以外之周圍組織的邊界，進行點狀連線形成數個多邊形的一第一標記而成，該第一訓練資料集，分成一第一訓練集、一第一驗證集以及一第一測試集； 一第一深度學習模型，係將該第一訓練集及該第一驗證集以同一深度學習模型訓練並比較結果，重覆數次過程後進行交叉驗證，選取出該第一訓練集及該第一驗證集訓練結果類似的第一訓練資料集分割方式，將該第一訓練集跟該第一驗證集合併成一第一最終訓練集； 以及 該第二深度學習模型模組係針對鄰近區域的像素進行整體影像的分析，且包含有： 一第二訓練資料集，係自該歷史影像傷口照片集中，針對每一歷史傷口影像照片進行一調整格式，再將該格式調整後之每一歷史傷口影像照片，經由一超像素分割後，成為特徵相似的區塊，針對傷口邊界以內之內部組織所分割後的特徵區塊，以區域標記法，選擇對應類別的組織之一第二標記而成，該第二訓練資料集，分成一第二訓練集、一第二驗證集以及一第二測試集； 一第二深度學習模型，係將該第二訓練集及該第二驗證集以同一深度學習模型訓練並比較結果，重覆數次過程後進行交叉驗證，選取出該第二訓練集及該第二驗證集訓練結果類似的第二訓練資料集分割方式，將該第二訓練集跟該第二驗證集合併成一第二最終訓練集；以及 (b)一以該第一深度學習模型以及該第二深度學習模型分析慢性傷口模組，包含： 一接收傷口影像模組； 一影像格式調整模組，其係針對該傷口影像進行一調整格式； 一第一運算模組，係將該調整格式後之傷口影像，藉由該第一深度學習模型進行一第一運算；其中，該第一運算包含對該傷口邊界圍成之傷口範圍及該傷口邊界以外之周圍組織提供一各別遮罩之運算； 一第二運算模組，係將該調整格式後之傷口影像，藉由至該第二深度學習模型進行一第二運算；其中，該第二運算包含對該傷口邊界以內之不同內部組織對應提供一各別遮罩之運算； 一合併模組，係將該第一運算提供之該遮罩及第二運算提供之該遮罩合併為一合併遮罩總集； 一判斷及輸出模組，係結合臨床資料、照片拍攝資料以及該合併遮罩總集，進行運算並輸出結果。 (c)一網頁前端模組(frontend)及資料庫後端模組(backend)，包含： 一接收傷口影像模組； 一接收數據資料模組，包含一選單式的病患臨床資料、一數據式的病患臨床資料以及一數據式的照片拍攝資料； 一資料庫模組，用於儲存上述所有接收資料，以及系統分析後的結果； 一輸出模組，將所有分析結果呈現於網頁前端。
6. 如請求項5之系統，其中該第一深度學習模型係針對該傷口範圍(Ulceration)，以及該傷口邊界以外的周圍組織，該周圍組織包含一表皮化組織(Re-epithelialization)或一壞疽組織(Gangrene)的範圍進行偵測，並依據偵測結果給予各別對應的遮罩；以及，其中該第二深度學習模型係針對該傷口邊界以內之內部組織，該內部組織包含一肉芽組織(Granulation)、一腐肉組織(Slough)或一焦痂組織(Eschar)的範圍進行偵測，並依據偵測結果給予各別對應的遮罩。
7. 如請求項6之系統，其中該傷口邊界以外的周圍組織的偵測結果，經過系統的判斷及輸出模組運算，輸出一第一分析結果；以及，其中該傷口範圍以及該傷口邊界以內之內部組織，經過系統的分析及輸出模組，計算各別該傷口邊界以內之內部組織所佔比例，輸出一第二分析結果。
8. 如請求項6之系統，其中該傷口範圍以及該資料庫所儲存之該數據式的照片拍攝資料，經過系統的判斷及輸出模組，計算傷口大略面積，輸出一第三分析結果。
9. 如請求項7之系統，其中結合該第一分析結果、該第二分析結果、該選單式的病患臨床資料以及該數據式的病患臨床資料，經過系統的該判斷及輸出模組，其中包含一判斷是否有感染模組、一判斷是否有壞死組織模組以及一判斷是否有潛在感染或壞死組織模組，顯示傷口目前的一處置建議，以輸出一第四分析結果。

Images