TWI615130B - 影像處理方法及非暫態電腦可讀取媒體 - Google Patents

Abstract

本揭露文件係揭露一種影像處理方法。影像處理方法係用以自動判讀傷口現況，其包含以下步驟：取得包含傷口區域的影像、判斷此影像中的膚色區域、分析此膚色區域以擷取傷口區域之範圍、提取傷口區域範圍中複數個特徵區塊、並將此些特徵區塊與資料庫中對應複數種傷口情況的複數個特徵區塊樣本比對，以判斷此些特徵區塊各自的傷口現況。

Description

影像處理方法及非暫態電腦可讀取媒體

本揭露文件係有關於一種影像處理方法，特別是關於一種可自動判讀傷口現況的影像處理技術。

病患傷口通常需要持續追蹤以作後續照護處理，而傷口的後續照護處理通常需仰賴醫護人員的人工檢視。因此，病患須定期到醫院接受傷口檢查，而此不僅增加了病患的負擔及醫護人員額外的工作，亦可能需要占用醫院的病床資源，使得照護成本十分龐大。此外，醫護人員的肉眼觀察可能存在有主觀上的差異，故需要透過機器建立一套傷口判斷標準，以減低誤判的情形發生。

傳統上透過機器判斷傷口的方法包括結構性光技術、三維空間量測法和紅外線攝影判斷傷口溫度變化等。然而，此些方法需使用特殊且昂貴的攝影器材，並經由專業人員操作，故病患仍需親自到醫院作檢查，照護成本仍是居高不下。

在本揭露文件之一技術態樣中提出一種影像處理方法。影像處理方法係用以自動判讀傷口現況，包含下列步驟：取得包含傷口區域的影像、判斷此影像中的膚色區域並分析此膚色區域以擷取傷口區域之範圍、提取傷口區域的複數個特徵區塊、並將此些特徵區塊與資料庫中對應複數種傷口情況的複數個特徵區塊樣本作比對，以判斷此些特徵區塊各自的傷口現況。

在本揭露文件之另一技術態樣中提出一種非暫態電腦可讀取媒體。非暫態電腦可讀取媒體係用以自動判讀傷口情況，其中非暫態電腦可讀取媒體包含有複數個電腦可讀取指令。當電腦可讀取指令被計算裝置執行時，將執行下列動作：取得包含傷口區域的影像、判斷此影像中的膚色區域並分析此膚色區域以判斷傷口區域之範圍、提取傷口區域的複數個特徵區塊、以及將此些特徵區塊與資料庫中對應複數種傷口情況的複數個特徵區塊樣本作比對，以判斷此些特徵區塊各自的傷口現況。

本揭露技術提供了低成本且便利的傷口判讀方法。相較於傳統使用高昂的攝影設備來拍攝傷口影像，藉由本揭示技術，病患可使用例如具有照相功能之智慧型手機、平板電腦等便利的可攜式裝置對傷口進行拍照，而裝置可自動執行傷口判讀。此不斷減少了龐大的人力成本，透過機器建立標準自動判讀傷口狀況亦大幅地降低了誤判情形的發生。

此外，病患自行拍攝之傷口影像及裝置針對此影像的判讀結果可上傳至醫院的資料庫供醫護人員檢測。醫院的資料庫系統可將例如傷口遭受感染之病患列為較高優先照護次序，以使醫護人員能即時通知病患進行後續傷口治療。

100‧‧‧影像處理方法

200、400‧‧‧傷口影像圖

210‧‧‧邊緣偵測結果示意圖

220、300‧‧‧膚色區域

310‧‧‧骨幹化示意圖

320‧‧‧人體區域範圍圖

330‧‧‧傷口區域

410‧‧‧傷口分析結果圖

412、414、416‧‧‧特徵區塊

500‧‧‧影像處理系統

510‧‧‧影像擷取單元

520‧‧‧處理單元

530‧‧‧儲存單元

S1~S6‧‧‧步驟

第1圖為本揭露文件之一實施例之影像處理方法流程圖。

第2A圖為本揭露文件之一實施例之傷口影像圖。

第2B圖為本揭露文件之一實施例之邊緣偵測結果示意圖。

第2C圖為本揭露文件之一實施例之膚色區域示意圖。

第3A圖為本揭露文件之一實施例之膚色區域示意圖。

第3B圖為本揭露文件之一實施例之含括傷口的膚色區域骨幹化示意圖。

第3C圖為本揭露文件之一實施例之完整含括傷口區域範圍圖。

第3D圖為本揭露文件之一實施例之傷口區域示意圖。

第4A圖為本揭露文件之一實施例之傷口影像圖。

第4B圖為本揭露文件之一實施例之傷口分析結果圖。

第5圖為本揭露文件之一實施例之影像處理系統架構圖。

下文係舉實施例配合所附圖式作詳細說明，但所描述的具體實施例僅僅用以解釋本發明，並不用來限定本發明，而結構操作之描述非用以限制其執行之順序，任何由元件重新組合之結構，所產生具有均等功效的裝置，皆為本發明揭示內容所涵蓋的範圍。此外，附圖僅僅用以示意性地加以說明，并未依照其真實尺寸進行繪製。

在本揭露文件之一實施例中，提出可自動分析傷口影像並呈現傷口癒合好壞程度的方法，如第1圖所示。第1圖繪示本揭露文件之一實施例之影像處理方法100流程圖。影像處理方法100包含S1~S6等步驟，下文將對各步驟作詳細說明。

首先，在步驟S1中，使用者透過使用例如具照相功能之手機對人體傷口進行拍攝以取得傷口影像。取得之傷口影像例如為第2A圖所繪示的本揭露文件之一實施例之傷口影像圖200。傷口影像圖200為傷患之手掌影像，其中可看出此手掌具有一道傷痕。應注意的是，傷口影像圖200僅為本揭露文件輔以說明之例子，影像處理方法100並不用以限定為手掌傷口之分析，任何部位的任何類型傷口皆可使用本揭露技術來作分析處理。

而由於設備功能的限制、使用者拍攝角度和距離等種種因素，拍攝的傷口影像可能涵蓋到目標傷口周圍的正常皮膚部分以及環境背景部分。為了有效率並精確地進行 傷口癒合狀況的分析，必須先去除傷口影像的環境背景部分。於步驟S2中，將先判斷傷口影像中的膚色區域，以利後續去除傷口影像的環境背景部分。此實施例中，判斷傷口影像中的膚色區域大致上可分為兩道處理程序。

第一道處理程序將使用例如肯尼邊緣偵測器(Canny edge detector)來先行偵測傷口影像中的邊緣。應了解的是，在此所述的邊緣係指影像中不同顏色的邊界部分，而非影像周圍的邊界。肯尼邊緣偵測器(Canny edge detector)可以辨識出較接近完整且適當的臨床傷口影像。然而有時因為光線影響，影像中可能有部分反射亮光，使得肯尼邊緣偵測器產生誤判。因此，亦可再進一步將肯尼邊緣偵測器偵測得之邊緣做強化處理。

強化邊緣的過程中，可取出傷口影像中其中一邊緣的端點像素與其周圍八個鄰近像素作為3x3之臨界矩陣。接著，分別將周圍八個鄰近像素作為候選延伸點，計算加入每一候選延伸點後臨界矩陣中兩個非連通區域之平均灰階值的差距，並選取使兩非連通區域平均灰階值差距最大的像素(其中一個候選延伸點)作為邊緣的延伸點。此延伸點將被顯示為邊緣的新端點，並形成新的臨界矩陣。依上述方式再次計算加入延伸點後的臨界矩陣中兩個非連通區域之平均灰階值的差距，以找尋下一延伸點。重複上述加入延伸點的步驟直至計算的平均灰階值差距小於預定的門檻值為止。此時，傷口影像中的邊緣被補齊，形成強健的邊緣。處理後的邊緣例如為第2B圖繪示的本揭露文件之一實施例之 邊緣偵測結果示意圖210。

在判定邊緣後，開始進行第二道處理程序。將邊緣進行分組，其中相鄰的邊緣形成同一邊緣集合，多個邊緣集合將傷口影像劃分為多個分區。在邊緣分組完成之後，開始進行影像中膚色區域的判斷以濾除環境背景。膚色區域的判斷方式有許多種，在此實施例中，將根據預設的人體膚色範圍來進行初步判斷。其中，將傷口影像中符合人體膚色範圍的分區予以保留，而不符合人體膚色範圍的分區則予以濾除。然而，環境背景中亦可能具有包含近似皮膚顏色的物體，因此尚需進一步的處理步驟。

因為傷口影像中各個符合人體膚色範圍的分區未必具有相同程度的膚色，因此可計算各個分區的膚色值，並將具有最多相同膚色值的分區設定為目標膚色區域。處理後的影像如第2C圖所繪示的本揭露文件之一實施例之膚色區域220示意圖。第2C圖中，白色部分為膚色區域，黑色部分則為非膚色區域。

應注意的是，因為傷口的顏色亦不同於人體膚色，因此，在進行膚色範圍判斷後，除了濾除環境背景外，傷口區域部分的影像亦同時被濾除。亦即，傷口影像經膚色範圍判斷後，僅剩下膚色區域部分。簡單來說，第2C圖中，白色部分為膚色區域，而黑色部分涵蓋了環境背景及傷口區域。

於步驟S3中，將進行傷口區域範圍的判斷。再次使用肯尼邊緣偵測器對膚色區域部分進行邊緣分析，以更 清楚地描繪出膚色區域與傷口區域間的界線。因為膚色區域中的邊緣可能涵蓋有例如皮膚皺褶之邊緣，為了得到清楚的膚色區域輪廓以利後續傷口區域的判定，在此實施例中，將調整肯尼邊緣偵測器之偵測門檻值以達到所期望的邊緣。

調整偵測門檻值的第一步為偵測膚色區域中的複數個邊緣，並將此等邊緣連結形成邊緣集合群A。第二步中，提高偵測門檻值(形成邊緣的條件中兩區域的對比程度加大)，使偵測得之邊緣減少，並將減少後的邊緣連結形成邊緣集合群B。第三步則將邊緣集合群A與邊緣集合群B相減以得到邊緣集合群C。若邊緣集合群C中之每一邊緣集合具有相似斜率的邊緣的數量皆小於預設的下限值、或偵測門檻值已達預設的上限值，則停止此過程，否則將繼續提高此門檻值。以上過程得出的偵測門檻值為候選偵測門檻值。

在得出候選偵測門檻值之後，再一次地透過肯尼邊緣偵測器使用此候選偵測門檻值對膚色區域部分進行最佳化邊緣分析。以候選偵測門檻值偵測出的邊緣連結形成邊緣集合群A’。降低候選偵測門檻值以得到的邊緣連結形成邊緣集合群B’。邊緣集合群A’與邊緣集合群B’相減形成邊緣集合群C’。計算邊緣集合群C’所對應之像素的色彩值(例如RGB三色的比例)，若邊緣集合群C’所對應之像素的RGB值太接近膚色範圍，且降低後的候選偵測門檻值大於預設的下限值，則繼續下修候選偵測門檻值。

為了避免皮膚紋路(具有相似斜率)的部分被誤判為傷口邊緣，可在下修候選偵測門檻值的同時，一併檢查 每一邊緣集合中，具有相似斜率的邊緣數量是否大於預設的上限值。當其中一邊緣集合中具有相似斜率的邊緣數量大於預設的上限值時，則忽略此邊緣集合。以上過程所得出的候選偵測門檻值即為最佳偵測門檻值。

在計算出最佳偵測門檻值後，經使用最佳偵測門檻值的肯尼偵測器處理後的膚色區域影像例如為第3A圖所示。第3A圖繪示本揭露文件之一實施例之膚色區域300示意圖。接著，將膚色區域300中的邊緣進行骨幹化，並連結所有骨幹的端點，以形成第3B圖繪示的本揭露文件之一實施例之含括傷口的膚色區域骨幹化示意圖310。骨幹化示意圖310之外圍邊界可劃分出傷口影像中的人體部分，即膚色區域及傷口區域。第3C圖繪示本揭露文件之一實施例之傷口影像中的完整含括傷口區域範圍圖320。

接著，將人體區域範圍圖320與膚色區域300進行互補運算可得出如第3D圖繪示的本揭露文件之一實施例之傷口區域330示意圖。於此，步驟S3完成，傷口區域330被判斷出來。

於步驟S4~S6中，將進行傷口癒合程度的分析。步驟S4中，進一步提取傷口區域中的多個特徵區塊。其中，特徵區塊係傷口區域影像中具預設之特定特徵之區塊、或是依任何預設規則(例如傷口縫線形狀)提取自傷口區域中特定位置的區塊。此處將以第4A~4B圖為例。第4A圖繪示本揭露文件之一實施例之傷口影像圖400，而第4B圖繪示第4A圖中之傷口影像圖400的傷口分析結果圖410。

經提取的特徵區塊例如為第4B圖中的多個矩形框。於步驟S5中，將此些特徵區塊與資料庫中的特徵區塊樣本作比對，以進一步判斷特徵區塊的傷口現況。其中資料庫中儲存有以往病患傷口的影像，從這些病患傷口的影像中提取多個特徵區塊樣本以作為後續傷口影像判斷時的參考。而這些特徵區塊樣本包含有各種傷口狀況，例如正常的傷口特徵區塊樣本、腫脹的傷口特徵區塊樣本、紅的傷口特徵區塊樣本、瘀青的傷口特徵區塊樣本、壞死的傷口特徵區塊樣本、流膿的傷口特徵區塊樣本、和感染的傷口特徵區塊樣本等。

舉例來說，腫脹的傷口因表面膨脹，其明度會高於周圍皮膚或傷口。紅的傷口例如為傷口流血，為實質上具有血液顏色色相之區塊。壞死的傷口則呈現十分暗沉、或甚至為黑色的色相。上述正常、腫脹、紅、瘀青、壞死、流膿和感染等傷口狀況僅為用以說明實施例之部分例子，本揭示技術並不以此為限，各種可用於評估傷口的特徵(例如各種感染情形)皆可使用本揭露文件的方法來分析。

承上實施例，將各種傷口狀況分類儲存於資料庫作為參考樣本，並藉由步驟S5提取傷口影像中的特徵區塊與上述包含有各種傷口狀況的多個特徵區塊樣本作比對，即可判斷出傷口影像中的特徵區塊分別屬於何種情況。

於一實施例中，亦可將判斷出的傷口影像中的特徵區塊加入至資料庫作為新的特徵區塊樣本，使資料庫中的參考樣本基數更加完整，以供後續其他傷口影像的分析。

於特徵區塊與資料庫中的特徵區塊樣本比對完成後，將於步驟S6中，在傷口影像上標記出提取的特徵區塊的位置，並以文字顯示各個特徵區塊的傷口現況，如第4B圖所示。舉例來說，特徵區塊412為正常癒合的傷口，則於傷口影像中特徵區塊412旁顯示”正常/normal”之文字。而特徵區塊414為傷口腫脹處，則於傷口影像中特徵區塊414旁顯示”腫脹/swelling”之文字。又例如特徵區塊416為受感染區域，則於傷口影像中特徵區塊416旁顯示”感染/infected”之文字。

第5圖繪示本揭露文件之一實施例之影像處理系統500架構圖。影像處理系統500具有影像擷取單元510、處理單元520及儲存單元530。影像擷取單元510例如為照相裝置或任何影像輸入設備，用以接收病患之傷口影像。處理單元520例如為電腦處理器。儲存單元530儲存有複數個電腦可讀取指令。當此些電腦可讀取指令被處理單元520執行時，將執行前述步驟S1~S6之影像處理方法。其中，步驟5提及之資料庫可設置在儲存單元530中或可獨立於影像處理系統500設置，例如設置在醫療機構的主機系統中。

於本揭露文件之另一實施例中，可將影像處理系統500設置於便攜式行動裝置，方便使用者可以隨時隨地進行操作。或者影像處理系統500可設置於醫療機構或雲端系統，並允許使用者透過智慧型設備之應用程式來進行遠程操作。

雖然本發明之實施例已揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可做些許之更動與潤飾，因此本發明之保護範圍當以後附之申請專利範圍所界定為準。

100‧‧‧影像處理方法

S1~S6‧‧‧步驟

Claims (10)

1. 一種影像處理方法，用以自動判讀目前傷口狀況，包含：取得一影像，該影像包含一傷口區域；判斷該影像中的一膚色區域；分析該膚色區域以擷取該傷口區域之範圍；提取該傷口區域之範圍內的複數個特徵區塊；以及將該些特徵區塊與一資料庫中對應複數種傷口情況的複數個特徵區塊樣本比對，以根據該傷口區域的該些特徵區塊在該資料庫中取得的對應複數個特徵區塊樣本，來決定一目前傷口狀況，其中該資料庫中所儲存的該些個特徵區塊樣本是從複數病患傷口的歷史影像中所提取，來和該傷口區域的該些特徵區塊比對，判斷該目前傷口狀況。
2. 如請求項1所述之影像處理方法，其中該複數種傷口情況包含正常、腫脹、紅、瘀青、壞死、流膿、感染中至少一者，經判斷之該些特徵區塊各自的該目前傷口狀況為該些傷口情況其中一者。
3. 如請求項2所述之影像處理方法，其中腫脹之傷口情況為具有明度高於周圍皮膚之區塊。
4. 如請求項2所述之影像處理方法，其中紅之傷口情況為實質上具有血液顏色色相之區塊。
5. 如請求項2所述之影像處理方法，其中組織壞死之傷口情況為實質上黑色色相的區塊。
6. 如請求項1所述之影像處理方法，更包含：標記該傷口區域中該複數個特徵區塊的位置，並以文字顯示該些特徵區塊各自的該目前傷口狀況。
7. 如請求項1所述之影像處理方法，更包含：逐一輸入對應該複數個傷口情況其中一者的複數個樣本傷口影像；由該些樣本傷口影像各自的該傷口區域提取複數個特徵區塊樣本；以及將對應該複數個傷口情況的該複數個特徵區塊樣本分別儲存，以建立該資料庫。
8. 一種非暫態電腦可讀取媒體，用以自動判讀目前傷口狀況，其中該非暫態電腦可讀取媒體包含複數個電腦可讀取指令，當被一計算裝置執行時，該等電腦可讀取指令進行下列動作：取得一影像，該影像包含一傷口區域；判斷該影像中的一膚色區域；分析該膚色區域以判斷該傷口區域之範圍；提取該傷口區域的複數個特徵區塊；以及將該些特徵區塊與一資料庫中對應複數種傷口情況的複數個特徵區塊樣本比對，以根據該傷口區域的該些特 徵區塊在該資料庫中取得的對應複數個特徵區塊樣本來決定一目前傷口狀況，其中該資料庫中所儲存的該些個特徵區塊樣本是從複數病患傷口的歷史影像中所提取，來和該傷口區域的該些特徵區塊比對，判斷該目前傷口狀況。
9. 如請求項8所述之非暫態電腦可讀取媒體，其中該資料庫中對應的該複數種傷口情況包含正常、腫脹、紅、瘀青、壞死、流膿、感染中至少一者，經判斷之該些特徵區塊各自的該目前傷口狀況為該些傷口情況其中一者。
10. 如請求項8所述之非暫態電腦可讀取媒體，當被該計算裝置執行時，該等電腦可讀取指令進一步進行：標記該傷口區域中該複數個特徵區塊的位置，並以文字顯示該些特徵區塊各自的該目前傷口狀況。