TWI841435B - 基於卷積神經網路的時間序列資料融合演算法及居家照護系統 - Google Patents
基於卷積神經網路的時間序列資料融合演算法及居家照護系統 Download PDFInfo
- Publication number
- TWI841435B TWI841435B TW112124562A TW112124562A TWI841435B TW I841435 B TWI841435 B TW I841435B TW 112124562 A TW112124562 A TW 112124562A TW 112124562 A TW112124562 A TW 112124562A TW I841435 B TWI841435 B TW I841435B
- Authority
- TW
- Taiwan
- Prior art keywords
- time series
- series data
- neural network
- convolutional neural
- data fusion
- Prior art date
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 30
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 10
- 230000008054 signal transmission Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 8
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000036544 posture Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 3
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本發明係提供一種基於卷積神經網路的時間序列資料融合演算法及居家照護系統，該基於卷積神經網路的時間序列資料融合演算法，包括下列步驟：輸入多源時間序列資料；使用降噪自動編碼器對各該時間序列資料去噪重建；將各該時間序列資料輸入一維卷積神經網路進行訓練及學習；在深度卷積神經網路中添加自我注意力機制，用於提高對時間序列資料長距離資訊的捕獲能力；以及資料融合結果輸出。
該基於卷積神經網路的時間序列資料融合演算法，能夠提高對長距離資訊的捕獲能力，計算整個時間序列內部的相關關係，並且具有計算效率高的優點。
Description
本發明係涉及一種資訊融合演算領域；特別是指一種基於卷積神經網路的時間序列資料融合演算法及居家照護系統的創新技術揭示者。
資料融合透過多源感測器資訊獲取更簡單、準確的判斷，透過融合多個感測器的即時資料與相關資料庫中的資訊，獲得更為準確的結果以及更加具體的推論，可利用資料融合方法挖掘資料中的潛藏資訊。
資料融合方法的一般處理流程主要包括：資料獲取、特徵提取、目標說明、資料關聯以及目標的一致性，傳統資料融合演算法存在不同感測器之間資訊關聯較難且極易依賴於先期經驗知識和人工特徵提取的問題，需要利用類神經網路的方法來實現資料的自動關聯與融合，機器學習及深度學習等類神經網路演算法已廣泛應用於資料融合，其中，深度卷積神經網路(Deep Convolutional Neural Networks，DCNN)融合性能突出，其透過增加卷積神經網路的深度來實現多感測器資訊的特徵提取、資訊關聯及決策判斷等，
但上述方法在進行融合時，網路模型設計以及輸入資料特徵的處理存在一些缺點，導致融合性能難以顯著提高。
本發明之主要目的，係在提供一種基於卷積神經網路的時間序列資料融合演算法及居家照護系統，其所欲解決之技術問題，係針對如何研發出一種更具理想實用性之新式資料融合演算法及其應用為目標加以思索創新突破。
基於前述目的，本發明解決問題之技術特點主要在於該基於卷積神經網路的時間序列資料融合演算法係包括下列步驟：輸入多源時間序列資料；使用降噪自動編碼器對各該時間序列資料去噪重建；將各該時間序列資料輸入一維卷積神經網路進行訓練及學習；在深度卷積神經網路中添加自我注意力機制，用於提高對各該時間序列資料長距離資訊的捕獲能力；以及資料融合結果輸出。
本發明之主要效果與優點，係能夠將該卷積神經網路與該自我注意力機制演算法相結合，提高所述基於卷積神經網路的時間序列資料融合演算法對長距離資訊的捕獲能力，該自我注意力機制演算法可以計算整個時間序列內部的相關關係，並且具有計算效率高的優點。
應用該基於卷積神經網路的時間序列資料融合演算法的居家照護系統，包括一攝影機用於擷取受照護者的圖像，一處理
裝置電性連接該攝影機，該處理裝置具有一微處理器，該處理裝置用於接收該圖像並將該圖像執行該基於卷積神經網路的時間序列資料融合演算法，據此判斷該受照護者的姿態及動作。
10:攝影機
20:處理裝置
22:微處理器
24:無線訊號傳送接收模組
26:記憶模組
28:警示器
圖1係本發明較佳實施例之演算法的結構圖。
圖2係本發明較佳實施例之演算法的一維卷積神經網路結構圖。
圖3係本發明較佳實施例之演算法的流程圖。
圖4係本發明較佳實施例之演算法的降噪自動編碼器之結構圖。
圖5係本發明較佳實施例之演算法的池化操作示例圖。
圖6係本發明較佳實施例之演算法的自我注意力機制之結構圖。
圖7係本發明較佳實施例之演算法的自我注意力機制之框架圖。
圖8係本發明較佳實施例之居家照護系統的電路方塊圖。
請參閱圖式所示，係本發明之較佳實施例，惟此等實施例僅供說明之用，在專利申請上並不受此結構之限制。
如圖1至圖7所示，所述基於卷積神經網路的時間序列資料融合演算法，包括下列步驟：輸入多源時間序列資料。
使用降噪自動編碼器(Denoising AutoEncoder)對各該時間序列資料去噪重建：資料的原始特徵對於深度學習網路的性能，具有極大的影響，該降噪自動編碼器在資料去噪復原方面具有良好
的表現，主要在於該降噪自動編碼器網路透過在原始的各該時間序列資料添加雜訊進行訓練與學習，從而迫使其學習到的資料更具強健性以及更好的執行能力，於是透過該降噪自動編碼器網路對原始的各該時間序列資料進行去噪重建處理，採用該降噪自動編碼器對來自於多源的原始的各該時間序列資料進行去噪重建處理，獲得更具有強健性的資料。
基於對輸入模式進行部分破壞來學習的表徵資料更具有強健性的資料融合計算，首先將輸入的各該時間序列資料進行部分破壞處理，然後透過無監督學習的方式訓練網路，該方法在人類對於知識具有聯想記憶的感受機能，即人們可以透過聯想的方式組合知識的多個片段來獲得完整的記憶，所以當資料損壞或者丟失時，我們的大腦依然可以重新回想起來；該降噪自動編碼器屬於人工神經網路方法中的一種，能夠對抗原始資料污染及缺失等情況。
所述使用該降噪自動編碼器對各該時間序列資料去噪重建處理，係向原始的各該時間序列資料添加高斯白色雜訊，然後進行編碼與解碼，並使用無監督學習的方法來訓練網路，據此復原真實的資訊，遂行去噪重建處理。
使用該降噪自動編碼器對各該時間序列資料去噪重建處理，可選擇將各該時間序列資料執行隨機置零操作，然後進行編碼與解碼，並使用無監督學習的方法來訓練網路，據此復原真實的資訊，從而成為一種變換實施選擇。
使用降噪自動編碼器對各該時間序列資料去噪重建後，先將各該時間序列資料隨機打亂順序，以加速網路訓練速度，而後在固定時間進行分組。將固定大小的各該時間序列資料輸入一維
卷積神經網路(One-Dimensional Convolutional Neural Network，簡稱1D CNN)進行訓練及學習，所述的一維卷積神經網路係一種深度卷積神經網路。
在深度卷積神經網路中添加自我注意力機制(Attention Mechanisms，簡稱AM)，用於提高對各該時間序列資料長距離資訊的捕獲能力。
資料融合結果輸出。
各該時間序列資料進入卷積層，卷積的前向計算並選擇使用雙曲正切函數作為啟動函數將其進行非線性表示，而後進入池化層執行平均池化操作，重複一次該卷積層及該池化層的操作，而後計算該自我注意力機制的輸出，而後與全連接層相連再次聚合關鍵資訊，最後與帶有歸一化指數(Softmax)函數的該全連接層相連以輸出最終的決策值，再將融合值結果輸出。
在該卷積層上，每個卷積核向下滑動執行卷積操作，該卷積層透過卷積計算提取資料特徵，透過多個該卷積層來獲得更多複雜的抽象特徵，並且每個該卷積層的該卷積核是權重值共用的，在很大程度上減低了神經網路的運算複雜度。
在該池化層中，透過池化方法提取出特徵圖中的關鍵點並減小參數維度，透過池化操作進行二次採樣形成新的特徵圖。
該全連接層的作用，主要是將該特徵圖轉換為一維向量的形式，用以增強原始信號、減小資料的維數以及保存主要資訊，該全連接層深度的增加可以有效的提高模型的非線性表達能力。
該自我注意力機制主要採用帶有該歸一化指數啟動函數的該全連接層作為相似度函數，並將其輸出作為權重值，將該全
連接層的輸出與其輸入進行矩陣相乘，所得結果為該自我注意力機制的輸出。
該自我注意力機制的演算法為加權求和，我們可以把輸入源(Source)中的資訊當作由一系列的鍵值對(Key,Value)組成，如果我們給出確定的目標輸出(Target)中的某個查詢元素(Query)，則可以透過計算該查詢元素和該鍵的相似性來得到每個該鍵對應該值的權重係數，最後依據該權重係數將該輸入源中的元素加權求和來獲得最終的自我注意力(Attention)值。
為了改善卷積神經網路只能獲取序列資料局部資訊的不足，所述基於卷積神經網路的時間序列資料融合演算法將該卷積神經網路與該自我注意力機制演算法相結合，以提高所述基於卷積神經網路的時間序列資料融合演算法對長距離資訊的捕獲能力，主要原因在於該自我注意力機制演算法可以計算整個時間序列內部的相關關係，並且具有計算效率高的優點。
如圖8所示，應用前述基於卷積神經網路的時間序列資料融合演算法的居家照護系統，包括一攝影機10及一處理裝置20，其中該攝影機10用於擷取受照護者的圖像，該處理裝置20電性連接該攝影機10，利用網路攝影機作為該攝影機10時，該攝影機10及該處理裝置20可選擇通過有線網路或無線網路雙向傳輸訊號，該處理裝置20具有一微處理器22，該處理裝置20用於接收該圖像並將該圖像執行前述基於卷積神經網路的時間序列資料融合演算法，據此判斷該受照護者的姿態及動作。
具體而言，該攝影機10擷取該受照護者的圖像後，利用定位解剖學關鍵點的方法，標記該圖像中，該受照護者人體關節
的節點，並將各該節點連接，據此獲得用於執行所述基於卷積神經網路的時間序列資料融合演算法的該時間序列資料，從而判斷該受照護者的姿態以及動作。
該受照護者的姿態可分為正常姿勢及倒下姿勢兩類，以利於照護人員監控時提供有效的參考，其中，定義為該倒下姿勢的關鍵為連結節點後的人體骨架辨識圖是否與該圖像畫面完全垂直，若不是完全垂直，則有可能為倒下，其餘的姿勢則定義為正常姿勢，該受照護者昏迷或跌倒時可能呈現各式各樣不同的姿勢，但絕大部分的姿勢都為倒下、趴地的狀態，該受照護者昏迷或跌倒時，雖有可能呈現被定義為正常姿勢的姿態辨識狀況，但涉及該受照護者的安全性風險，仍可提供該照護者作為判斷是否需要進行實地訪視或採取應變作為的參考。
該居家照護系統可選擇結合生理感測器，該受照護者的姿勢判斷配合該生理感測器所擷取的該受照護者的生理數據，作為評斷是否達到示警通報之要求，所述的生理數據的具體例，可以是心跳、血壓、體溫…等。
該處理裝置20更包括一無線訊號傳送接收模組24、一記憶模組26及一警示器28，其中該無線訊號傳送接收模組24、該記憶模組26及該警示器28分別電性連接該微處理器22，該記憶模組26係可讀寫記憶媒體構成，該記憶模組26儲存通報訊息，該微處理器22基於該受照護者的姿態或動作判定為異常時，控制該無線訊號傳送接收模組24通過網際網路對設定的使用者或消防救護單位持用的通訊裝置發送警報訊息，並控制該警示器28發出警示音，據此，當該照護者休息或處理其他事務時，該居家照護系統能夠在該受照護
者被判定為可能發生昏迷或跌倒事故時，即時地提供警示，避免延誤對該受照護者採取緊急處置的時機。
Claims (4)
- 一種基於卷積神經網路的時間序列資料融合演算法，包括下列步驟：輸入多源時間序列資料；使用降噪自動編碼器對各該時間序列資料去噪重建，係向各該時間序列資料中添加高斯白色雜訊，然後進行編碼與解碼，並使用無監督學習的方法來訓練網路，據此復原真實的資訊；使用降噪自動編碼器對各該時間序列資料去噪重建後，先將各該時間序列資料隨機打亂順序，以加速網路訓練速度，而後在固定時間進行分組，再將固定大小的各該時間序列資料輸入一維卷積神經網路進行訓練及學習；在深度卷積神經網路中添加自我注意力機制，用於提高對各該時間序列資料長距離資訊的捕獲能力；該自我注意力機制主要採用帶有該歸一化指數函數的該全連接層作為相似度函數，並將其輸出作為權重值，將該全連接層的輸出與其輸入進行矩陣相乘，所得結果為該自我注意力機制的輸出；該時間序列資料進入卷積層，卷積的前向計算並使用雙曲正切函數作為啟動函數將其進行非線性表示，而後進入池化層執行平均池化操作，重複一次該卷積層及該池化層的操作，而後計算自我注意力機制的輸出，而後與全連接層相連再次聚合關鍵資訊，最後與帶有歸一化指數函數的該全連接層相連以輸出最終的決策值；以及資料融合結果輸出。
- 一種居家照護系統，包括一攝影機用於擷取受照護者的圖像，一處理裝置電性連接該攝影機，該處理裝置具有一微處理器，該處理裝置用於接收該圖像並將該圖像執行請求項1所述之基於卷積神經網路的時間序列資料融合演算法，據此判斷該受照護者的姿態及動作。
- 如請求項2所述之居家照護系統，其中該攝影機擷取該受照護者的圖像後，利用定位解剖學關鍵點的方法，標記該圖像中該受照護者人體關節的節點，並將各該節點連接，據此獲得用於執行所述之基於卷積神經網路的時間序列資料融合演算法的多源時間序列資料，從而判斷該受照護者的姿態以及動作。
- 如請求項2所述之居家照護系統，其中該處理裝置更包括一無線訊號傳送接收模組、一記憶模組及一警示器，其中該無線訊號傳送接收模組、該記憶模組及該警示器分別電性連接該微處理器，該記憶模組係可讀寫記憶媒體構成，該記憶模組儲存通報訊息，該微處理器基於該受照護者的姿態或動作判定為異常時，控制該無線訊號傳送接收模組通過網際網路對設定的使用者或消防救護單位持用的通訊裝置發送警報訊息，並控制該警示器發出警示音。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112124562A TWI841435B (zh) | 2023-06-30 | 2023-06-30 | 基於卷積神經網路的時間序列資料融合演算法及居家照護系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112124562A TWI841435B (zh) | 2023-06-30 | 2023-06-30 | 基於卷積神經網路的時間序列資料融合演算法及居家照護系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI841435B true TWI841435B (zh) | 2024-05-01 |
| TW202503583A TW202503583A (zh) | 2025-01-16 |
Family
ID=92076683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112124562A TWI841435B (zh) | 2023-06-30 | 2023-06-30 | 基於卷積神經網路的時間序列資料融合演算法及居家照護系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI841435B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112019704A (zh) * | 2020-10-15 | 2020-12-01 | 电子科技大学 | 一种基于先验信息和卷积神经网络的视频去噪方法 |
| TW202139070A (zh) * | 2020-04-07 | 2021-10-16 | 南韓商三星電子股份有限公司 | 訓練網路的方法及設備 |
| CN114600113A (zh) * | 2020-06-01 | 2022-06-07 | 辉达公司 | 选择用于使用神经网络训练图像的注释 |
| CN114663919A (zh) * | 2022-03-31 | 2022-06-24 | 光感科技(深圳)有限公司 | 人体姿势检测方法、装置、电子设备及存储介质 |
| US20220301311A1 (en) * | 2021-03-17 | 2022-09-22 | Qualcomm Incorporated | Efficient self-attention for video processing |
| TW202309780A (zh) * | 2021-08-23 | 2023-03-01 | 大陸商北京市商湯科技開發有限公司 | 一種行為識別方法及電子設備和儲存媒體 |
| WO2023040506A1 (zh) * | 2021-09-16 | 2023-03-23 | 腾讯科技（深圳）有限公司 | 一种基于模型的数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 |
| EP4163882A2 (en) * | 2021-09-21 | 2023-04-12 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Method and system for labelling motion-captured points |
-
2023
- 2023-06-30 TW TW112124562A patent/TWI841435B/zh active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW202139070A (zh) * | 2020-04-07 | 2021-10-16 | 南韓商三星電子股份有限公司 | 訓練網路的方法及設備 |
| CN114600113A (zh) * | 2020-06-01 | 2022-06-07 | 辉达公司 | 选择用于使用神经网络训练图像的注释 |
| CN112019704A (zh) * | 2020-10-15 | 2020-12-01 | 电子科技大学 | 一种基于先验信息和卷积神经网络的视频去噪方法 |
| US20220301311A1 (en) * | 2021-03-17 | 2022-09-22 | Qualcomm Incorporated | Efficient self-attention for video processing |
| TW202309780A (zh) * | 2021-08-23 | 2023-03-01 | 大陸商北京市商湯科技開發有限公司 | 一種行為識別方法及電子設備和儲存媒體 |
| WO2023040506A1 (zh) * | 2021-09-16 | 2023-03-23 | 腾讯科技（深圳）有限公司 | 一种基于模型的数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 |
| EP4163882A2 (en) * | 2021-09-21 | 2023-04-12 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Method and system for labelling motion-captured points |
| CN114663919A (zh) * | 2022-03-31 | 2022-06-24 | 光感科技(深圳)有限公司 | 人体姿势检测方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202503583A (zh) | 2025-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116092701B (zh) | 基于健康数据分析管理平台的控制系统及其方法 | |
| Banerjee et al. | Day or night activity recognition from video using fuzzy clustering techniques | |
| CN111461042B (zh) | 跌倒检测方法及系统 | |
| CN114294047A (zh) | 灾害等特殊环境下智能搜救系统 | |
| CN104537273B (zh) | 一种溺水模式智能推理系统及方法 | |
| CN104850846A (zh) | 一种基于深度神经网络的人体行为识别方法及识别系统 | |
| CN115222959B (zh) | 一种轻量化卷积网络与Transformer相结合的人体关键点检测方法 | |
| CN109218134B (zh) | 一种基于神经风格迁移的测试用例生成系统 | |
| CN116030537B (zh) | 基于多分支注意力图卷积的三维人体姿态估计方法 | |
| CN114821766A (zh) | 一种基于时空卷积和时间序列特征融合的行为识别方法 | |
| CN116320321B (zh) | 农业信息传输方法、装置、电子设备及存储介质 | |
| CN110639169A (zh) | 基于游戏和肌电信号的cpm下肢康复训练方法及系统 | |
| Saini | ismartyog: A real time yoga pose recognition and correction feedback model using deep learning for smart healthcare | |
| CN109062811B (zh) | 一种基于神经风格迁移的测试用例生成方法 | |
| TWI841435B (zh) | 基於卷積神經網路的時間序列資料融合演算法及居家照護系統 | |
| CN117994851A (zh) | 一种基于多任务学习的老年人摔倒检测方法、装置及设备 | |
| Qiu et al. | Automated falls detection using visual anomaly detection and pose-based approaches: experimental review and evaluation | |
| CN104134062A (zh) | 一种基于深度神经网络的静脉识别系统 | |
| CN114529937B (zh) | 社交关系识别方法、装置、设备及存储介质 | |
| CN204480252U (zh) | 一种溺水模式智能推理系统 | |
| CN119091496A (zh) | 一种行为识别方法和装置、系统、存储介质 | |
| Chiranjeevi et al. | Surveillance based suicide detection system using deep learning | |
| CN114067436A (zh) | 一种基于可穿戴式传感器及视频监控的跌倒检测方法及系统 | |
| PATEL et al. | Deep Learning Based Surveillance System for Fall Detection in Elderly Population | |
| CN121147666B (zh) | 牙髓状态识别模型训练方法、电子设备及存储介质 |