TWI795028B

TWI795028B - 一種改善心跳及呼吸偵測精度的生理監控系統

Info

Publication number: TWI795028B
Application number: TW110137986A
Authority: TW
Inventors: 許玄岳; 童國忠; 郭家瑋; 黃思翰
Original assignee: 合盈光電科技股份有限公司
Priority date: 2021-10-13
Filing date: 2021-10-13
Publication date: 2023-03-01
Also published as: TW202315577A

Abstract

本發明係為一種改善心跳及呼吸偵測精度的生理監控系統，使用神經形態視覺感測器(DVS)影像及行為偵測方式，改善毫米波雷達在應用於偵測呼吸及心跳時因為無法判斷使用者轉向致使偵測數據精度下降的問題。藉由不同行為偵測結果的判定，可將毫米波雷達收回處於不同姿態的使用者呼吸及心跳數據，透過所適用的演算法換算以取得使用者真實的呼吸及心跳數據。

Description

一種改善心跳及呼吸偵測精度的生理監控系統

本發明係為一種改善心跳及呼吸偵測精度的生理監控系統，使用神經形態視覺感測器(DVS)影像及行為偵測方式，改善毫米波雷達在應用於偵測呼吸及心跳時因為無法判斷使用者轉向致使偵測數據精度下降的問題。

近年來，由於世界各國，特別是已開發國家中社會人口的高齡化，已經是一個越來越無法讓人忽視的問題，隨著醫療人力資源的緊繃，醫療照護資源亦相對的緊縮，如何透過科技的輔助，找出能有效節省人力資源的技術方案，是所有相關從業者都關心的問題。目前利用攝像機協助對病患或被照顧人進行行為分析或監控以協助照護的技術方案已十分普遍，然而受照護者的隱私一直是此類技術方案受人詬病的問題點。

在傳統的光學感測器，特別是各種形式的攝像機中，其捕捉光學訊號的工作原理係透過被拍攝物體的光線反射，光線傳播後穿過攝像機的光學鏡頭，並在與光學鏡頭的感光模組上成像，而不論是否在光學鏡頭上添加衰減片或濾片，或以何種型式的組合，攝像機的工作原理皆是以「幀」為單位來輸出，在固定的頻率下產生一系列的幀圖片。在影像處理的角度上，以幀為單位輸出的影像資訊包含了大量的信息可供分析及運用，然而，大量的信息除了豐富的場景紋理外，也意味著在影像處理時，需要消耗大量的計算、高功耗及非常長的處理時間，在需要快速反應或低成本的技術方案下，傳統攝像機的輸出模式，已不再可以滿足使用者的需求。

神經形態視覺感測器DVS(Dynamic Vision Sensor)係為一種基於事件驅動來捕捉場景中動態變化的光學傳感器，DVS的技術起源可溯自1991年Misha Mahowald於神經訊息的研究中所創出的一種仿人類視網膜運作的矽視網膜(Silicon retina)，該種矽視網膜結構在收集光學資訊時，去除了平均強度水準，僅對於時間與空間的變化做出反應，從而節省了大量的資訊流，其後，在包括三星(Samsung)集團及iniVation等商業機構的投入下，最終產出了神經型態視覺感測器(DVS)的成熟技術方案，有別於傳統攝像機以幀為單位記錄彩色或黑白的畫素，DVS在處理場景資訊時，係僅針對有光強變化的像素進行輸出，如果光學強度有所變化就進行記錄，無差異的資訊就不進行記錄，取得即時的光強變化影像資訊，所以輸出的資訊流遠低於傳統攝像機的資訊量。同時，由於DVS是針對光強度的變化進行反應，因此在不同環境光亮度下的影響不會對DVS造成干擾，在不同亮度的場景中都能正常作動，並且由於不會輸出傳統RGB或黑白的影像畫面，沒有色彩資訊，亦沒有人或物的特徵細節，因此特別適合在需要保護使用者隱私的場域使用。而針對DVS輸出的像素資料，每一個像素都可以視為一個在運作的神經元，因此將AI導入像素的處理，也是現今研究者積極投入的領域之一。

再者，非侵入式的健康診斷設備是近年來電子及醫材技術開發的熱區，如何在不對受觀測者造成不便或困擾下收集需要的生理資訊，同樣是相關業者關切的議題，其中，對於長者或需他人照護者來說，心跳及呼吸的監控及記錄分析，十分重要。毫米波雷達在前述的非侵入式偵測中是目前最有希望被大量採用的技術，毫米波雷達係指在毫米波(mmWave)頻段工作的雷達系統。其工作範圍在長度1~10毫米的電磁波，對應的頻率在30~300GH之間，為一種使用短波長電磁波的特殊雷達技術，透過捕捉反射信號，毫米波雷達系統可以精確的計算出物體的距離、速度以及角度資訊，毫米波雷達可以在範圍檢測中提供毫米級精度的潛力使其成為感測人體生物信號的理想技術。利用毫米波雷達的小波長來測量範圍的微小變化進行非接觸監控，人體的呼吸會引起胸腔、腹腔的微動，雷達通過感知微動，從而測定呼吸的頻率，毫米波雷達應用在心率的測定也是如此。但毫米波雷達在使用上卻不會揭露使用者的影像或特徵資訊，不但能滿足隱私的需求，亦可以做到對心跳呼吸等生理資訊的收集與記錄。然而，毫米波雷達在心跳呼吸的偵測上，會因為人體骨骼肌肉脂肪的分布，影響到毫米波反射的訊號強度，從而影響偵測的結果，遑論受測者進行其他如翻身、側躺(身)、反躺或移動的運動行為時，所收到的心跳呼吸雜訊從而干擾毫米波雷達對受觀察者心跳呼吸資訊監控的精確度。

今，發明人即是鑑於傳統毫米波雷達用於人體之生理訊號偵測於實際實施時仍存在有諸多缺失，於是乃一本孜孜不倦之精神，並藉由其豐富之專業知識及多年之實務經驗所輔佐，而加以改善，並據此研創出本發明。

本發明主要目的為提供一種改善心跳及呼吸偵測精度的生理監控系統，尤其是指一種透過神經形態視覺感測單元對環境中一躺臥裝置上之目標人體進行物件偵測，以增加毫米波雷達單元對該目標人體之生理資訊偵測的精準度的監控系統，物件偵測技術係透過卷積神經網路(Convolutional Neural Network，CNN)對躺臥裝置上人體可能姿態的光強差影像進行深度學習訓練後，從而有效偵測目標人體目前躺臥姿態。毫米波雷達單元所收取目標人體的呼吸心跳頻率的毫米波雷達反射訊號作為第一生理資訊，並根據DVS經由物件偵測判定目標人體的躺臥姿態，藉由挑選對應的演算法對第一生理資訊進行校正後，生成第二生理資訊，以改善既有毫米波雷達單元無法精確判斷因躺臥裝置上目標人體之各式姿勢而導致數據不準確之缺點，確實達到正確獲取目標人體之各項呼吸或心跳等生理參數之主要優勢者。

為了達到上述之實施目的，本發明人提出一種改善心跳及呼吸偵測精度的生理監控系統，係透過神經形態視覺感測單元對環境中至少一躺臥裝置上之目標人體進行物件偵測，以增加毫米波雷達單元對該目標人體之生理資訊偵測的精準度，本發明之一種改善心跳及呼吸偵測精度的生理監控系統係至少包括有一毫米波雷達單元、一神經形態視覺感測單元、一處理單元、一傳輸單元、一顯示單元以及一外部單元；神經形態視覺感測單元係包含一光學鏡頭，以及與該光學鏡頭連接之神經形態視覺感光模組，針對每個接收像素點中各像素光強度變化而產生一即時的光強差影像訊號；毫米波雷達單元至少包含一發射模組及至少一接收模組，用於偵測該目標人體之呼吸及心跳並依時間軸生成一第一生理資訊；一處理單元係電性連結神經形態視覺感測單元及毫米波雷達單元，處理單元包含一儲存模組及一辨識模組，其中儲存模組除用於儲存第一生理資訊之外並包含有一物件偵測資料庫，物件偵測資料庫包含有一人體行為姿態的標記資訊及對應不同人體行為姿態轉換毫米波訊息為呼吸心跳的演算法，辨識模組係透過人體行為姿態的物件偵測標記資訊依時序比對該第一生理資訊後，透過對應當下時序點上人體行為姿態的演算法校正當下時序點上毫米波雷達單元收到的第一生理資訊生成一第二生理資訊；一顯示單元電性連結至處理單元用於顯示至少第二生理資訊；以及一傳輸單元電性連結處理單元，將儲存模組所儲存資訊的全部或一部傳送至一外部單元。

如上所述的改善心跳及呼吸偵測精度的生理監控系統，其中該躺臥裝置可為居家床、醫療床、電動床、照護床、平板床、日式床鋪、氣墊床、沙發床、嬰兒床、沙發或長板凳等其中之一種裝置。

如上所述的改善心跳及呼吸偵測精度的生理監控系統，其中該第一生理資訊可進一步包含一距離資訊，該距離資訊係透過該毫米波雷達單元取得。

如上所述的改善心跳及呼吸偵測精度的生理監控系統，其中該人體行為姿態標記資訊更進一步可為一深度學習的卷積神經網路系統，透過該卷積神經網路系統對目標人體進行物件偵測。

如上所述的改善心跳及呼吸偵測精度的生理監控系統，其中該神經形態視覺感測單元可包含一不可視光光源。

如上所述的改善心跳及呼吸偵測精度的生理監控系統，其中該不可視光光源可為變頻式調整亮度頻率者。

如上所述的改善心跳及呼吸偵測精度的生理監控系統，其中該不可視光光源可為閃爍式開啟關閉光源者。

如上所述的改善心跳及呼吸偵測精度的生理監控系統，其中該神經形態視覺感測單元可包含一擺動結構，該擺動結構係設置於神經形態視覺感光模組適處，透過擺動改變神經形態視覺感測單元視野角內所收到的光強變化訊號，該擺動結構係可為一機械式擺動結構、一微機電系統(MEMS，Micro Electro Mechanical Systems)之一或組合。

如上所述的改善心跳及呼吸偵測精度的生理監控系統，其中該外部單元係可選自一伺服器、一手持裝置、一穿戴裝置之一或其組合。

如上所述的改善心跳及呼吸偵測精度的生理監控系統，其中該外部單元更進一步的可接收其他裝置傳送該目標人體其他生理資訊，並根據其他生理資訊判斷目標人體之生理特徵是否異常，及於判斷該目標人體生理特徵異常時產生一警示訊號。

如上所述的改善心跳及呼吸偵測精度的生理監控系統，其中該其他生理資訊可選自環境溫度、體溫、額溫、血壓、躁動偵測或其中兩者以上之組合。

如上所述的改善心跳及呼吸偵測精度的生理監控系統，其中該顯示單元亦可顯示接收自其他裝置傳送該目標人體的其他生理資訊。

1:改善心跳及呼吸偵測精度的生理監控系統

11:毫米波雷達單元

111:發射模組

112:接收模組

12:神經形態視覺感測單元

121:神經形態視覺感光模組

122:光學鏡頭

123:視野角

13:處理單元

131:儲存模組

132:辨識模組

14:傳輸單元

15:顯示單元

16:外部單元

2:目標人體

圖1係本發明一種改善心跳及呼吸偵測精度的生理監控系統其一較佳實施例之系統架構方塊圖。

圖2係本發明一種改善心跳及呼吸偵測精度的生理監控系統其一較佳實施例之系統運作示意圖。

圖3係本發明一種改善心跳及呼吸偵測精度的生理監控系統其一較佳實施例之神經形態視覺感測單元運作示意圖。

圖4係本發明一種改善心跳及呼吸偵測精度的生理監控系統其一較佳實施例之毫米波雷達單元運作示意圖。

圖5係本發明一種改善心跳及呼吸偵測精度的生理監控系統其一較佳實施例之神經形態視覺感測單元於一躺臥裝置執行物件偵測示意圖。

為利貴審查委員瞭解本發明之技術特徵、內容、優點，以及其所能達成之功效，茲將本發明配合附圖，並以實施例之表達形式詳細說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍，併予敘明。

首先，請參閱圖1與圖2所示，為本發明一種改善心跳及呼吸偵測精度的生理監控系統其一較佳實施例之系統結構方塊圖及系統運作示意圖，其中本發明之一種改善心跳及呼吸偵測精度的生理監控系統(1)，係至少包括有一毫米波雷達單元(11)、一神經形態視覺感測單元(12)、一處理單元(13)、一傳輸單元(14)、一顯示單元(15)以及一外部單元(16)；神經形態視覺感測單元(12)係包含一光學鏡頭(122)，及與該光學鏡頭連接之神經形態視覺感光模組(121)，針對每個接收像素點中各像素光強度變化而產生一即時的光強差影像訊號；毫米波雷達單元(11)至少包含一發射模組(111)及至少一接收模組(112)，用於偵測一目標人體(2)之呼吸及心跳並依時間軸生成一第一生理資訊；一處理單元係電性連結神經形態視覺感測單元(12)及毫米波雷達單元(11)，處理單元包含一儲存模組(131)及一辨識模組(132)，其中儲存模組(131)除用於儲存第一生理資訊之外並包含有一物件偵測資料庫，物件偵測資料庫包含有一人體行為姿態的標記資訊及對應不同人體行為姿態轉換毫米波訊息為呼吸心跳的演算法，辨識模組係透過人體行為姿態的物件偵測標記資訊依時序比對該第一生理資訊後，透過對應當下時序點上人體行為姿態的演算法校正當下時序點上毫米波雷達單元(11)收到的第一生理資訊生成一第二生理資訊；一顯示單元(15)電性連結至處理單元(13)用於顯示至少第二生理資訊；以及一傳輸單元(14)電性連結處理單元(13)，將儲存模組所儲存資訊的全部或一部傳送至一外部單元(16)。

較佳的，如上所述的改善心跳及呼吸偵測精度的生理監控系統(1)，第一生理資訊更進一步如圖2所示，係包含一距離資訊，該距離資訊係透過該毫米波雷達單元(11)取得。

再者，請參閱圖3及圖4所示，為本發明一種改善心跳及呼吸偵測精度的生理監控系統，其一較佳實施例之系統架設示意圖，其中，神經形態視覺感測單元(12)係可更進一步的包含一不可視光光源(圖中未示)，該不可視光源係可選自由變頻式調整亮度頻率者以及閃爍式開啟關閉光源者所組成的群組。

較佳的，如上所述的改善心跳及呼吸偵測精度的生理監控系統(1)，該神經形態視覺感測單元(12)係可更進一步的包含有一擺動結構(圖中未示)，該擺動結構係設置於神經形態視覺感光模組(121)適處，透過擺動改變該神經形態視覺感測單元(12)視野角內所收到的光強變化訊號，該擺動結構係可為一機械式擺動結構、一微機電系統(MEMS，Micro Electro Mechanical Systems)之一或組合。

最後，請參閱圖5本發明一種改善心跳及呼吸偵測精度的生理監控系統，其一較佳實施例之神經形態視覺感測單元於一躺臥裝置執行物件偵測示意圖，物件偵測技術係透過卷積神經網路(Convolutional Neural Network，CNN)對躺臥裝置上目標人體(2)姿態的光強差影像進行深度學習訓練後，從而有效偵測目標人體目前躺臥姿態。

較佳的，如上所述的改善心跳及呼吸偵測精度的生理監控系統(1)，該外部單元(16)可為一伺服器、一手持裝置、一穿戴裝置或上述之組合。

較佳的，如上所述的改善心跳及呼吸偵測精度的生理監控系統(1)，該外部單元(16)可更進一步的可接收其他裝置傳送該目標人體其他生理資訊，並根據其他生理資訊判斷目標人體之生理特徵是否異常，及於判斷該目標人體生理特徵異常時產生一警示訊號。

較佳的，如上所述的改善心跳及呼吸偵測精度的生理監控系統(1)，其他生理資訊更進一步可以是環境溫度、體溫、額溫、血壓、躁動偵測，或上述中兩者以上之組合。