TWI778494B

TWI778494B - 具影像隱私性之衰弱檢測的方法及裝置

Info

Publication number: TWI778494B
Application number: TW110101261A
Authority: TW
Inventors: 林星辰; 楊承益; 廖仲偉; 張正禮; 陳品安
Original assignee: 財團法人工業技術研究院
Priority date: 2021-01-13
Filing date: 2021-01-13
Publication date: 2022-09-21
Also published as: TW202228087A

Abstract

一種具影像隱私性之衰弱檢測的方法及裝置。上述方法包括：接收包括一人體影像之一第一影像；產生對應上述人體影像之一人體骨架，其中上述人體骨架係由複數骨架點所構成，上述骨架點包含複數上肢骨架點與複數下肢骨架點；將上述人體骨架疊合至一背景影像產生具隱私性之一第二影像；根據在上述第二影像中上述下肢骨架點之一第一位置變化資訊取得一活動力級別；根據在上述第二影像中上述骨架點之一第二位置變化資訊取得一輔具類型；以及根據上述活動力級別及上述輔具類型取得上述人體影像之一綜合衰弱等級評分。

Description

具影像隱私性之衰弱檢測的方法及裝置

本揭露係有關於一種衰弱檢測的方法及裝置，且特別係有關於一種具影像隱私性之衰弱檢測的方法及裝置。

臺灣老年人口不斷的增加，人口高齡化結構已成為社會常態，老年人的健康和照護問題將成為現階段的社會難題。隨著年齡增長，老年人身體機能下降，將引發多項器官或功能的退化性改變，呈現出複雜狀態的可能性增加。衰弱，作為一個描述老年人易損性增加的複雜狀態之概念被廣泛應用。

儘管衰弱這一概念被廣泛使用，怎樣最準確的評估老人衰弱仍存有較大爭議，依據不同的定義標準、目標人群、臨床用途的等，各國學者研製了各類衰弱量表。然而，由於衰弱量表眾多且尚未數位化，造成了與老年患者溝通量表時間成本過高之問題。若透過對老年患者攝影並對老年患者進行衰弱評估，則具有識別與隱私性問題。

因此，需要一種具影像隱私性之衰弱檢測的方法及裝置，以改善上述問題。

以下揭露的內容僅為示例性的，且不意指以任何方式加以限制。除所述說明方面、實施方式和特徵之外，透過參照附圖和下述具體實施方式，其他方面、實施方式和特徵也將顯而易見。即，以下揭露的內容被提供以介紹概念、重點、益處及本文所描述新穎且非顯而易見的技術優勢。所選擇，非所有的，實施例將進一步詳細描述如下。因此，以下揭露的內容並不意旨在所要求保護主題的必要特徵，也不意旨在決定所要求保護主題的範圍中使用。

因此，本揭露之主要目的即在於提供一種具影像隱私性之衰弱檢測的方法及裝置，以改善上述缺點。

本揭露提出一種具影像隱私性之衰弱檢測的方法，包括：接收一第一影像，其中上述第一影像係包括一人體影像；產生對應上述人體影像之一人體骨架，其中上述人體骨架係由複數骨架點所構成，上述骨架點包含複數上肢骨架點與複數下肢骨架點；將上述人體骨架疊合至一背景影像產生具隱私性之一第二影像；根據在上述第二影像中上述下肢骨架點之一第一位置變化資訊取得一活動力級別；根據在上述第二影像中上述骨架點之一第二位置變化資訊取得一輔具類型；以及根據上述活動力級別及上述輔具類型取得上述人體影像之一綜合衰弱等級評分。

在一實施例中，上述背景影像係為上述第一影像的一靜態背景影像，且上述靜態背景影像並不包括上述人體影像。

在一實施例中，在產生具隱私性之上述第二影像之前，上述方法更包括：從上述第一影像中移除包括上述人體影像之一人體影像矩形；以及將對應上述人體影像矩形之一部份無人歷史影像疊合至對應上述人體影像矩形的一區域中，以產生上述背景影像。

在一實施例中，取得上述活動力級別之步驟更包括：將上述第一位置變化資訊輸入至一日常活動預測模型，以輸出上述活動力級別；其中上述活動力級別係包括：正常、衰弱前期、衰弱。

在一實施例中，取得上述輔具類型之步驟更包括：將上述第二位置變化資訊輸入至一預測輔具模型，以輸出上述輔具類型；其中上述輔具類型係包括：無輔具、助行器、拐杖。

在一實施例中，上述上肢骨架點係包含一頭部點、一頸部點、肩點、臂關節點、腕關節點以及一腰椎點。

在一實施例中，上述下肢骨架點係包含一骨盆點、腿關節點、以及踝關節點。

在一實施例中，上述日常活動預測模型係為長短期記憶模型(Long Short-Term Memory，LSTM)、遞歸神經網路(Recurrent Neural Networks，RNN)模型或閘門遞迴單位(Gated Recurrent Units，GRU)模型。

在一實施例中，上述預測輔具模型係為長短期記憶模型(Long Short-Term Memory，LSTM)、遞歸神經網路(Recurrent Neural Networks，RNN)模型或閘門遞迴單位(Gated Recurrent Units，GRU)模型。

本揭露提出一種具影像隱私性之衰弱檢測的裝置，包括：一或多個處理器；以及一或多個電腦儲存媒體，儲存電腦可讀取指令，其中上述處理器使用上述電腦儲存媒體以執行：接收一第一影像，其中上述第一影像係包括一人體影像；產生對應上述人體影像之一人體骨架，其中上述人體骨架係由複數骨架點所構成，上述骨架點包含複數上肢骨架點與複數下肢骨架點；將上述人體骨架疊合至一背景影像產生具隱私性之一第二影像；根據在上述第二影像中上述下肢骨架點之一第一位置變化資訊取得一活動力級別；根據在上述第二影像中上述骨架點之一第二位置變化資訊取得一輔具類型；以及根據上述活動力級別及上述輔具類型取得上述人體影像之一綜合衰弱等級評分。

在下文中將參考附圖對本揭露的各方面進行更充分的描述。然而，本揭露可以具體化成許多不同形式且不應解釋為侷限於貫穿本揭露所呈現的任何特定結構或功能。相反地，提供這些方面將使得本揭露周全且完整，並且本揭露將給本領域技術人員充分地傳達本揭露的範圍。基於本文所教導的內容，本領域的技術人員應意識到，無論是單獨還是結合本揭露的任何其它方面實現本文所揭露的任何方面，本揭露的範圍旨在涵蓋本文中所揭露的任何方面。例如，可以使用本文所提出任意數量的裝置或者執行方法來實現。另外，除了本文所提出本揭露的多個方面之外，本揭露的範圍更旨在涵蓋使用其它結構、功能或結構和功能來實現的裝置或方法。應可理解，其可透過申請專利範圍的一或多個元件具體化本文所揭露的任何方面。

詞語「示例性」在本文中用於表示「用作示例、實例或說明」。本揭露的任何方面或本文描述為「示例性」的設計不一定被解釋為優選於或優於本揭露或設計的其他方面。此外，相同的數字在所有若干圖示中指示相同的元件，且除非在描述中另有指定，冠詞「一」和「上述」包含複數的參考。

可以理解，當元件被稱為被「連接」或「耦接」至另一元件時，該元件可被直接地連接到或耦接至另一元件或者可存在中間元件。相反地，當該元件被稱為被「直接連接」或「直接耦接」至到另一元件時，則不存在中間元件。用於描述元件之間的關係的其他詞語應以類似方式被解釋（例如，「在…之間」與「直接在…之間」、「相鄰」與「直接相鄰」等方式）。

第1圖係顯示根據本發明一實施例所述之具影像隱私性之衰弱檢測的系統100之環境示意圖。具影像隱私性之衰弱檢測的系統100係包括一電子裝置110及攝影裝置120，其中電子裝置110係透過實體架設的一或多個攝影裝置120來拍攝使用者130。

電子裝置110可從各種來源接收影片幀。舉例來說，電子裝置110可接收攝影裝置120所傳送之影像，或由雲端下載影像。

電子裝置110的類型範圍從小型手持裝置（例如，行動電話∕可攜式電腦）到大型主機系統（例如大型電腦）。可攜式電腦的示例包括個人數位助理(PDA)、筆記型電腦等裝置。電子裝置110可使用網路連接至攝影裝置120。網路可包括但不侷限於一或多個區域網(Local Area Network，LAN)和/或廣域網路(Wide Area Network，WAN)。

應可理解，第1圖所示的電子裝置110係一具影像隱私性之衰弱檢測的系統100架構的示例。第1圖所示的每個元件可經由任何類型的計算裝置來實現，像是參考第9圖描述的計算裝置900，如第9圖所示。

第2圖係顯示根據本揭露一實施例所述之具影像隱私性之衰弱檢測的方法200之流程圖。此方法可執行於如第1圖所示之具影像隱私性之衰弱檢測系統的電子裝置110中。

在步驟S205中，電子裝置接收一第一影像，其中上述第一影像係包括一人體影像。接著，在步驟S210中，電子裝置產生對應上述人體影像之一人體骨架，其中上述人體骨架係由複數骨架點所構成，上述骨架點包含複數上肢骨架點與複數下肢骨架點。在一實施例中，上述上肢骨架點係包含一頭部點、一頸部點、肩點、臂關節點、腕關節點、以及一腰椎點，而上述下肢骨架點係包含一骨盆點、腿關節點、以及踝關節點。

在步驟S215中，電子裝置將上述人體骨架疊合至一背景影像產生具隱私性之一第二影像。再來，在步驟S220中，電子裝置根據在上述第二影像中上述下肢骨架點之一第一位置變化資訊取得一活動力級別。在步驟S225中，電子裝置根據在上述第二影像中上述骨架點之一第二位置變化資訊取得一輔具類型。在步驟S230中，電子裝置根據上述活動力級別及上述輔具類型取得上述人體影像之一綜合衰弱等級評分。

下方將詳細說明電子裝置如何取得在第2圖步驟S215中之背景影像，以及如何產生具隱私性之第二影像。

第3圖係顯示根據本揭露一實施例所述之如何取得背景影像及如何產生具隱私性之影像的流程圖300。須注意的是，下方係以組成影像之一影像幀進行說明，本領域的技術人士將理解本案之影像係由多個影像幀組成而產生。

在步驟S305中，電子裝置接收之一第一影像幀。在步驟S310中，電子裝置對第一影像幀進行骨架偵測，並判斷上述第一影像幀是否具有一人體影像。

當上述第一影像幀不具有一人體影像時（步驟S310中的「否」），在步驟S315中，電子裝置將上述第一影像幀以先進先出(First In, First Out，FIFO)的方式儲存至上述電子裝置之一暫存區中，結束此流程。由於此第一影像幀並無任何走動之人體影像，因此上述第一影像幀係為靜態影像幀。

當上述第一影像幀具有一人體影像時（步驟S310中的「是」），在步驟S320中，電子裝置將最後儲存在暫存區中之一影像幀（即，在暫存區中時間點最接近第一影像幀的一影像幀）設定為一背景影像幀。在步驟S325中，電子裝置將人體骨架疊合至步驟S320中之上述背景影像幀，以產生具隱私性之一第二影像幀。

第4圖係顯示根據本揭露一實施例所述之人體骨架疊合至背景影像之示意圖，其係更進一步說明第3圖之流程。

在電子裝置接收包括人體影像402A之第一影像400後，對第一影像400進行運算，以產生對應上述人體影像402A的人體骨架402a。電子裝置可取得最後被儲存在暫存區之一背景影像410，並將人體骨架402a疊合至背景影像410，以產生具隱私性之第二影像420。

第5圖係顯示根據本揭露另一實施例所述之如何取得背景影像及如何產生具隱私性之影像的流程圖500。須注意的是，下方係以組成影像之一影像幀進行說明，本領域的技術人士將理解本案之影像係由多個影像幀組成而產生。

在步驟S505中，電子裝置接收之一第一影像幀。在步驟S510中，電子裝置對影像幀進行骨架偵測，並判斷上述第一影像幀是否具有一人體影像。

當上述第一影像幀不具有一人體影像時（步驟S510中的「否」），在步驟S515中，電子裝置將上述第一影像幀以先進先出(First In, First Out，FIFO)的方式儲存至上述電子裝置之一暫存區中，並結束此流程。由於此第一影像幀並無任何走動之人體影像，因此上述第一影像幀係為靜態影像幀。

當上述第一影像幀具有一人體影像時（步驟S510中的「是」），在步驟S520中，電子裝置從上述第一影像幀中移除包括上述人體影像之一人體影像矩形。再來，在步驟S525中，電子裝置取得最後儲存在暫存區中之一無人歷史影像幀（即，在暫存區中時間點最接近第一影像幀的一影像幀），並依照上述人體影像矩形之大小及位置擷取對應上述人體影像矩形之一部份無人歷史影像幀。

在步驟S530中，電子裝置將部份無人歷史影像幀疊合至對應上述人體影像矩形的一區域中，以產生一背景影像幀。在步驟S535中，電子裝置將人體骨架疊合至上述背景影像幀，以產生具隱私性之第二影像幀。

第6圖係顯示根據本揭露另一實施例所述之人體骨架疊合至背景影像之示意圖，其係更進一步說明第5圖之流程。

在電子裝置接收包括人體影像602A之第一影像600後，對第一影像600進行運算，以產生對應上述人體影像602A的人體骨架602a。電子裝置接著可從上述第一影像600中移除包括上述人體影像602A之一人體影像矩形604，並取得最後被儲存在暫存區之一無人歷史影像610，並依照上述人體影像矩形之大小及位置擷取對應上述人體影像矩形之一部份無人歷史影像612。電子裝置將部份無人歷史影像612疊合至對應上述人體影像矩形604的一區域中，以產生一背景影像。最後，電子裝置將人體骨架602a疊合至背景影像，以產生具隱私性之第二影像幀620。

由第4圖及第6圖的示意圖可知，第4圖中具隱私性之第二影像幀的所有背景影像皆為靜態之無人歷史影像。而在第6圖具隱私性之第二影像中僅對應人體影像矩形的區域為靜態之無人歷史影像，其餘區域則為真實影像。

接著，將詳細說明在第2圖中之步驟S220及S225中，電子裝置根據在上述第二影像中上述下肢骨架點之一第一位置變化資訊取得一活動力級別，以及如何根據在上述第二影像中上述骨架點之一第二位置變化資訊取得一輔具類型。

第7圖係顯示根據本揭露一實施例所述之人體骨架之示意圖。如圖所示，電子裝置所產生之人體骨架係由13個骨架節點所組成。而第一位置變化資訊係包括三種特徵資訊，分別是(1) 相對於步寛/步頻/水平重心分佈資訊之單一特徵、(2) 相對於步長/步速/步頻/步循環資訊之單一特徵、以及(3) 相對於左右腳行走平衡能力資訊之單一特徵。

相對於步寛/步頻/水平重心分佈資訊之單一特徵與骨架正面圖中骨盆節點O及腳跟節點A、B所形成之面積∆OAB _正面相關，其中面積∆OAB _正面可以如下公式表示：

。

相對於步長/步速/步頻/步循環資訊之單一特徵與骨架側面圖中骨盆節點O及腳跟節點A、B所形成之面積∆OAB _側面相關，其中面積

可以如下公式表示：

。

相對於左右腳行走平衡能力資訊之單一特徵與頭部所朝之方向

及骨盆節點O及腳跟節點A、B所形成面積之法向量

之間的夾角 θ相關，其中上述夾角 θ可以如下公式表示：

。

電子裝置可將上述特徵資訊輸入至一日常活動預測模型，以輸出活動力級別，其中上述活動力級別係包括：正常、衰弱前期、衰弱。須說明的是，日常活動預測模型係已事先訓練好之一深度學習模型，其係可為長短期記憶模型(Long Short-Term Memory，LSTM)、遞歸神經網路(Recurrent Neural Networks，RNN)模型、閘門遞迴單位(Gated Recurrent Units，GRU)模型等模型。

而電子裝置可根據人體骨架之第二位置變化資訊產生一手持輔具骨架步態/體態時序性特徵，並將上述手持輔具骨架步態/體態時序性特徵輸入至一預測輔具模型，以輸出輔具類型，其中上述輔具類型係包括：無輔具、助行器、拐杖。

第8A~8B圖係顯示根據本揭露一實施例所述之人體手持輔具之示意圖。如第8A圖所示，電子裝置可根據骨架節點所取得之將手持輔具骨架步態/體態時序性特徵輸入至一預測輔具模型，以辨別使用者800所使用之工具係為助行器810。如第8B圖所示，電子裝置可根據骨架節點所取得之將手持輔具骨架步態/體態時序性特徵輸入至一預測輔具模型，以辨別使用者802所使用之工具係為拐杖820。須說明的是，預測輔具模型係已事先訓練好之一深度學習模型，其係可為長短期記憶模型(Long Short-Term Memory，LSTM)、遞歸神經網路(Recurrent Neural Networks，RNN)模型、閘門遞迴單位(Gated Recurrent Units，GRU)模型等模型。

表格1係描述在第8A～8B圖中之二實施例，個別依據骨架特徵及手持輔具骨架步態/體態時序性特徵預測出活動力級別及輔具類型，最後依據實施例狀況進行綜合衰弱等級評分。例如：第一實施例第8A圖，評分邏輯為「活動力級別（衰弱）AND輔具類型（助行器），則綜合衰弱等級評分為衰弱」。例如：第二實施例第8B圖，評分邏輯為「活動力級別（衰弱前期）AND輔具類型（拐杖），則綜合衰弱等級評分為衰弱前期」。

圖示	骨架特徵（平均±標準差）	模型初判	綜合衰弱等級評分
第8A圖	面積∆OAB _正面＝497.15±281.83 面積∆OAB _側面＝143.99±73.13 夾角θ＝134.15±29.96	日常活動預測模型預測活動力級別：衰弱	衰弱
手持輔具骨架步態/體態時序性特徵：助行器體步態	預測輔具模型預測輔具類型：助行器
第8B圖	面積∆OAB _正面＝527.97±253.99 面積∆OAB _側面＝219.34±138.04 夾角θ＝131.17±28.27	日常活動預測模型預測活動力級別：衰弱前期	衰弱前期
手持輔具骨架步態/體態時序性特徵：拐杖體步態	預測輔具模型輔具類型：拐杖

表格 1如表格1所示，電子裝置可根據第8A～8B圖中人體手持輔具的影像取得骨架特徵及手持輔具骨架步態/體態時序性特徵，並進一步預測出活動力級別及輔具類型。最後，電子裝置根據活動力級別及輔具類型取得人體影像之綜合衰弱等級評分。須注意的是，對應活動力級別及輔具類型之衰弱等級可事先由專業人員進行評分邏輯對應之設定。舉例來說，表格1中第8A圖之活動力級別預測係為衰弱，且輔具類型預測係為助行器，故電子裝置將判斷此人體影像綜合衰弱等級評分係為衰弱。舉另一例子說明，表格1中第8B圖之活動力級別預測係為衰弱前期，且輔具類型預測係為拐杖，故電子裝置將判斷此人體影像綜合衰弱等級評分係為衰弱前期。

如上所述，本揭露之具影像隱私性之衰弱檢測的方法及裝置使用具隱私性之影像，利用少量骨架資訊，即可進行衰弱評估，並可成功克服影像中具識別與隱私性問題。

對於本發明已描述的實施例，下文描述了可以實現本發明實施例的示例性操作環境。具體參考第9圖，第9圖係顯示用以實現本發明實施例的示例性操作環境，一般可被視為計算裝置900。計算裝置900僅為一合適計算環境的一個示例，並不意圖暗示對本發明使用或功能範圍的任何限制。計算裝置900也不應被解釋為具有與所示元件任一或組合相關任何的依賴性或要求。

本發明可在電腦程式碼或機器可使用指令來執行本發明，指令可為程式模組的電腦可執行指令，其程式模組由電腦或其它機器，例如個人數位助理或其它可攜式裝置執行。一般而言，程式模組包括例程、程式、物件、元件、數據結構等，程式模組指的是執行特定任務或實現特定抽象數據類型的程式碼。本發明可在各種系統組態中實現，包括可攜式裝置、消費者電子產品、通用電腦、更專業的計算裝置等。本發明還可在分散式運算環境中實現，處理由通訊網路所連結的裝置。

參考第9圖。計算裝置900包括直接或間接耦接以下裝置的匯流排910、記憶體912、一或多個處理器914、一或多個顯示元件916、輸入/輸出(I/O)埠口918、輸入/輸出(I/O)元件920以及說明性電源供應器922。匯流排910表示可為一或多個匯流排之元件（例如，位址匯流排、數據匯流排或其組合）。雖然第9圖的各個方塊為簡要起見以線示出，實際上，各個元件的分界並不是具體的，例如，可將顯示裝置的呈現元件視為I/O元件；處理器可具有記憶體。

計算裝置900一般包括各種電腦可讀取媒體。電腦可讀取媒體可以是可被計算裝900存取的任何可用媒體，該媒體同時包括易揮發性和非易揮發性媒體、可移動和不可移動媒體。舉例但不侷限於，電腦可讀取媒體可包括電腦儲存媒體和通訊媒體。電腦可讀取媒體同時包括在用於儲存像是電腦可讀取指令、資料結構、程式模組或其它數據之類資訊的任何方法或技術中實現的易揮發性性和非易揮發性媒體、可移動和不可移動媒體。電腦儲存媒體包括但不侷限於(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、電子抹除式可複寫唯讀記憶體(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、快閃記憶體或其它記憶體技術、CD-ROM、數位多功能光碟(Digital Versatile Disc，DVD)或其它光碟儲存裝置、磁片、磁碟、磁片儲存裝置或其它磁儲存裝置，或可用於儲存所需的資訊並且可被計算裝置900存取的其它任何媒體。電腦儲存媒體本身不包括信號。

通訊媒體一般包含電腦可讀取指令、資料結構、程式模組或其它採用諸如載波或其他傳輸機制之類的模組化數據訊號形式的數據，並包括任何資訊傳遞媒體。術語「模組化數據訊號」係指具有一或多個特徵集合或以在訊號中編碼資訊之一方式更改的訊號。舉例但不侷限於，通訊媒體包括像是有線網路或直接有線連接的有線媒體及無線媒體，像是聲頻、射頻、紅外線以及其它無線媒體。上述媒體的組合包括在電腦可讀取媒體的範圍內。

記憶體912包括以易揮發性和非易揮發性記憶體形式的電腦儲存媒體。記憶體可為可移動、不移動或可以為這兩種的組合。示例性硬體裝置包括固態記憶體、硬碟驅動器、光碟驅動器等。計算裝置900包括一或多個處理器，其讀取來自像是記憶體912或I/O元件920各實體的數據。顯示元件916向使用者或其它裝置顯示數據指示。示例性顯示元件包括顯示裝置、揚聲器、列印元件、振動元件等。

I/O埠口918允許計算裝置900邏輯連接到包括I/O元件920的其它裝置，一些此種裝置為內建裝置。示例性元件包括麥克風、搖桿、遊戲台、碟形衛星訊號接收器、掃描器、印表機、無線裝置等。I/O元件920可提供一自然使用者介面，用於處理使用者生成的姿勢、聲音或其它生理輸入。在一些例子中，這些輸入可被傳送到一合適的網路元件以便進一步處理。計算裝置900可裝備有深度照相機，像是立體照相機系統、紅外線照相機系統、RGB照相機系統、紅外線熱影像系統和這些系統的組合，以偵測與識別物件。此外，計算裝置900可以裝備有感測器（例如：雷達、光達）週期性地感測周遭一感測範圍內的鄰近環境，產生表示自身與周遭環境關聯的感測器資訊。再者，計算裝置900可以裝備有偵測運動的加速度計或陀螺儀。加速度計或陀螺儀的輸出可被提供給計算裝置900顯示。

此外，計算裝置900中之處理器914也可執行記憶體912中之程式及指令以呈現上述實施例所述之動作和步驟，或其它在說明書中內容之描述。

在此所揭露程序之任何具體順序或分層之步驟純為一舉例之方式。基於設計上之偏好，必須了解到程序上之任何具體順序或分層之步驟可在此文件所揭露的範圍內被重新安排。伴隨之方法請求項以一示例順序呈現出各種步驟之元件，也因此不應被此所展示之特定順序或階層所限制。

申請專利範圍中用以修飾元件之「第一」、「第二」、「第三」等序數詞之使用本身未暗示任何優先權、優先次序、各元件之間之先後次序、或方法所執行之步驟之次序，而僅用作標識來區分具有相同名稱（具有不同序數詞）之不同元件。

雖然本揭露已以實施範例揭露如上，然其並非用以限定本案，任何熟悉此項技藝者，在不脫離本揭露之精神和範圍內，當可做些許更動與潤飾，因此本案之保護範圍當視後附之申請專利範圍所界定者為準。

100:系統 110:電子裝置 120:攝影裝置 130:使用者 200:方法 S205,S210,S215,S220,S225,S230:步驟 300:流程圖 S305,S310,S315,S320,S325:步驟 400:第一影像 402A:人體影像 402a:人體骨架 410:背景影像 420:第二影像 500:流程圖 S505,S510,S515,S520,S525,S530,S535:步驟 600:第一影像 602A:人體影像 602a:人體骨架 604:人體影像矩形 610:無人歷史影像 612:部份無人歷史影像 620:第二影像 O:骨盆節點 A,B:腳跟節點

:法向量

:頭部所朝之方向 θ:夾角 800:使用者 802:使用者 810:助行器 820:拐杖 900:計算裝置 910:匯流排 912:記憶體 914:處理器 916:顯示元件 918:I/O埠口 920:I/O元件 922:電源供應器

第1圖係顯示根據本發明一實施例所述之具影像隱私性之衰弱檢測的系統之環境示意圖。第2圖係顯示根據本揭露一實施例所述之具影像隱私性之衰弱檢測的方法之流程圖。第3圖係顯示根據本揭露一實施例所述之如何取得背景影像及如何產生具隱私性之影像的流程圖。第4圖係顯示根據本揭露一實施例所述之人體骨架疊合至背景影像之示意圖。第5圖係顯示根據本揭露另一實施例所述之如何取得背景影像及如何產生具隱私性之影像的流程圖。第6圖係顯示根據本揭露另一實施例所述之人體骨架疊合至背景影像之示意圖。第7圖係顯示根據本揭露一實施例所述之人體骨架之示意圖。第8A~8B圖係顯示根據本揭露一實施例所述之人體手持輔具之示意圖。第9圖係顯示用以實現本發明實施例的示例性操作環境。

200 方法。 S205,S210,S215,S220,S225,S230 步驟。

Claims

一種具影像隱私性之衰弱檢測的方法，包括：接收一第一影像，其中上述第一影像係包括一人體影像；產生對應上述人體影像之一人體骨架，其中上述人體骨架係由複數骨架點所構成，上述複數骨架點包含複數上肢骨架點與複數下肢骨架點；將上述人體骨架疊合至一背景影像產生具隱私性之一第二影像；根據在上述第二影像中上述下肢骨架點之一第一位置變化資訊取得一活動力級別；根據在上述第二影像中上述複數骨架點之一第二位置變化資訊取得一輔具類型；以及根據上述活動力級別及上述輔具類型取得上述人體影像之一綜合衰弱等級評分。
如請求項1所述之具影像隱私性之衰弱檢測的方法，其中上述背景影像係為上述第一影像的一靜態背景影像，且上述靜態背景影像並不包括上述人體影像。
如請求項1所述之具影像隱私性之衰弱檢測的方法，在產生具隱私性之上述第二影像之前，上述方法更包括：從上述第一影像中移除包括上述人體影像之一人體影像矩形；以及將對應上述人體影像矩形之一部份無人歷史影像疊合至對應上述人體影像矩形的一區域中，以產生上述背景影像。
如請求項1所述之具影像隱私性之衰弱檢測的方法，其中取得上述活動力級別之步驟更包括：將上述第一位置變化資訊輸入至一日常活動預測模型，以輸出上述活動力級別；其中上述活動力級別係包括：正常、衰弱前期、衰弱。
如請求項1所述之具影像隱私性之衰弱檢測的方法，其中取得上述輔具類型之步驟更包括：將上述第二位置變化資訊輸入至一預測輔具模型，以輸出上述輔具類型；其中上述輔具類型係包括：無輔具、助行器、拐杖。
如請求項1所述之具影像隱私性之衰弱檢測的方法，其中上述上肢骨架點係包含一頭部點、一頸部點、肩點、臂關節點、腕關節點以及一腰椎點。
如請求項1所述之具影像隱私性之衰弱檢測的方法，其中上述下肢骨架點係包含一骨盆點、腿關節點、以及踝關節點。
如請求項4所述之具影像隱私性之衰弱檢測的方法，其中上述日常活動預測模型係為長短期記憶模型(Long Short-Term Memory，LSTM)、遞歸神經網路(Recurrent Neural Networks，RNN)模型或閘門遞迴單位(Gated Recurrent Units，GRU)模型。
如請求項5所述之具影像隱私性之衰弱檢測的方法，其中上述預測輔具模型係為長短期記憶模型(Long Short-Term Memory，LSTM)、遞歸神經網路(Recurrent Neural Networks，RNN)模型或閘門遞迴單位(Gated Recurrent Units，GRU)模型。
一種具影像隱私性之衰弱檢測的裝置，包括：一或多個處理器；以及一或多個電腦儲存媒體，儲存電腦可讀取指令，其中上述處理器使用上述電腦儲存媒體以執行：接收一第一影像，其中上述第一影像係包括一人體影像；產生對應上述人體影像之一人體骨架，其中上述人體骨架係由複數骨架點所構成，上述複數骨架點包含複數上肢骨架點與複數下肢骨架點；將上述人體骨架疊合至一背景影像產生具隱私性之一第二影像；根據在上述第二影像中上述下肢骨架點之一第一位置變化資訊取得一活動力級別；根據在上述第二影像中上述複數骨架點之一第二位置變化資訊取得一輔具類型；以及根據上述活動力級別及上述輔具類型取得上述人體影像之一綜合衰弱等級評分。
如請求項10所述之具影像隱私性之衰弱檢測的裝置，其中上述背景影像係為上述第一影像的一靜態背景影像，且上述靜態背景影像並不包括上述人體影像。
如請求項10所述之具影像隱私性之衰弱檢測的裝置，在產生具隱私性之上述第二影像之前，上述處理器更執行：從上述第一影像中移除包括上述人體影像之一人體影像矩形；以及將對應上述人體影像矩形之一部份無人歷史影像疊合至對應上述人體影像矩形的一區域中，以產生上述背景影像。
如請求項10所述之具影像隱私性之衰弱檢測的裝置，其中取得上述活動力級別之步驟更包括：將上述第一位置變化資訊輸入至一日常活動預測模型，以輸出上述活動力級別；其中上述活動力級別係包括：正常、衰弱前期、衰弱。
如請求項10所述之具影像隱私性之衰弱檢測的裝置，其中取得上述輔具類型之步驟更包括：將上述第二位置變化資訊輸入至一預測輔具模型，以輸出上述輔具類型；其中上述輔具類型係包括：無輔具、助行器、拐杖。
如請求項10所述之具影像隱私性之衰弱檢測的裝置，其中上述上肢骨架點係包含一頭部點、一頸部點、肩點、臂關節點、腕關節點、以及一腰椎點。
如請求項10所述之具影像隱私性之衰弱檢測的裝置，其中上述下肢骨架點係包含一骨盆點、腿關節點、以及踝關節點。
如請求項13所述之具影像隱私性之衰弱檢測的裝置，其中上述日常活動預測模型係為長短期記憶模型(Long Short-Term Memory，LSTM)、遞歸神經網路(Recurrent Neural Networks，RNN)模型或閘門遞迴單位(Gated Recurrent Units，GRU)模型。
如請求項14所述之具影像隱私性之衰弱檢測的裝置，其中上述預測輔具模型係為長短期記憶模型(Long Short-Term Memory，LSTM)、遞歸神經網路(Recurrent Neural Networks，RNN)模型或閘門遞迴單位(Gated Recurrent Units，GRU)模型。