TWI774224B - 特徵強化與資料擴增方法及其動作偵測裝置 - Google Patents

特徵強化與資料擴增方法及其動作偵測裝置 Download PDF

Info

Publication number
TWI774224B
TWI774224B TW110103935A TW110103935A TWI774224B TW I774224 B TWI774224 B TW I774224B TW 110103935 A TW110103935 A TW 110103935A TW 110103935 A TW110103935 A TW 110103935A TW I774224 B TWI774224 B TW I774224B
Authority
TW
Taiwan
Prior art keywords
spectrogram
feature
time
enhanced
detection device
Prior art date
Application number
TW110103935A
Other languages
English (en)
Other versions
TW202232130A (zh
Inventor
張鉉宗
周顥恭
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW110103935A priority Critical patent/TWI774224B/zh
Priority to CN202110274428.5A priority patent/CN114863640B/zh
Priority to US17/233,580 priority patent/US11947035B2/en
Priority to EP21186283.4A priority patent/EP4040184A1/en
Application granted granted Critical
Publication of TWI774224B publication Critical patent/TWI774224B/zh
Publication of TW202232130A publication Critical patent/TW202232130A/zh

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • A61B5/1117Fall detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35Details of non-pulse systems
    • G01S7/352Receivers
    • G01S7/356Receivers involving particularities of FFT processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一種特徵強化與資料擴增方法,用於一動作偵測裝置,包含有取得至少一時頻譜圖;以及對該至少一時頻譜圖進行一特徵強化處理,以強化該至少一時頻譜圖中對應於至少一動作之至少一特徵並產生至少一特徵強化時頻譜圖;其中,該特徵強化處理包含一方向性濾波。

Description

特徵強化與資料擴增方法及其動作偵測裝置
本揭露係指一種特徵強化與資料擴增方法及其動作偵測裝置,尤指一種可強化時頻譜圖中跌倒動作之特徵以避免誤報,並透過資料擴增演算法增加跌倒資料之數量以增強模型泛化能力的特徵強化與資料擴增方法及其動作偵測裝置。
以現行的動作偵測技術來說,動作偵測技術可依據偵測對象(例如是長者、病患或幼兒)的快速動作來判斷出偵測對象是否發生跌倒、滑倒或碰撞,藉以提供警報以告知偵測對象的照顧者。使用連續雷達波的跌倒偵測屬於非影像式,有良好的隱私性,能夠長時間監測外更為人性化。
在此情況下,潛在跌倒動作之時頻譜圖具有隨機震動般的雜訊擾動,而主要判斷跌倒與非跌倒的特徵,是頻譜能量分布上的差異。然而,跌倒與部分非跌倒動作的時頻譜圖特徵相似,即使經訓練後模型仍容易發生誤報。
此外,訓練集資料蒐集來源一部分由案場蒐集實際資料,另一部分於實驗室模擬跌倒資料。然而,跌倒資料蒐集困難,自行模擬跌倒動作也具有一定風險,因此訓練集資料分布相當不均衡(跌倒較非跌倒動作少很多),致使模型能夠學習到跌倒特徵的權重較低。
有鑑於此,習知技術實有改進之必要。
因此,本揭露之主要目的即在於提供一種可強化時頻譜圖中跌倒動 作之特徵以避免誤報,並透過資料擴增演算法增加跌倒資料之數量以增強模型泛化能力的特徵強化與資料擴增方法及其動作偵測裝置。
本申請揭露一種特徵強化與資料擴增方法,用於偵測至少一待測對象之至少一動作,包含有取得至少一時頻譜圖;以及對該至少一時頻譜圖進行一特徵強化處理,以強化該至少一時頻譜圖中對應於該至少一動作之至少一特徵並產生至少一特徵強化時頻譜圖;其中,該特徵強化處理包含一方向性濾波。
本申請另揭露一種動作偵測裝置,包含有一處理器,用來執行一程式;以及一儲存單元,耦接於該處理器,用來儲存該程式;其中該程式用來指示該處理器執行以下步驟取得至少一時頻譜圖;以及對該至少一時頻譜圖進行一特徵強化處理,以強化該至少一時頻譜圖中對應於至少一動作之至少一特徵並產生至少一特徵強化時頻譜圖;其中,該特徵強化處理包含一方向性濾波。
10:動作偵測裝置
40:特徵強化與資料擴增流程
400:特徵強化處理
80:特徵強化流程
DR:場域
SD:射頻偵測訊號
SR:反射射頻訊號
SRD:原始訊號
U:偵測對象
ALM:警報
TFS,FTFS,NFTFS:時頻譜圖
FSTFS:特徵強化時頻譜圖
NTFS:正規化時頻譜圖
FLTFS:濾波時頻譜圖
DFLTFS1~DFLTFS4:方向濾波時頻譜圖
AFSTFS:擴增特徵強化時頻譜圖
第1圖為依據本揭露之一實施例實現之一動作偵測裝置與一場域之示意圖。
第2圖為動作偵測裝置之一操作示意圖。
第3圖為一跌倒動作時頻譜圖與一非跌倒動作時頻譜圖之示意圖。
第4圖為依據本揭露之一實施例實現之一特徵強化與資料擴增流程之示意圖。
第5圖為依據本揭露之一實施例實現之正規化時頻譜圖之示意圖。
第6圖為依據本揭露之一實施例實現之濾波時頻譜圖之示意圖。
第7圖為依據本揭露之一實施例實現之不同方向性之視窗之示意圖。
第8圖為依據本揭露之一實施例實現之一特徵強化流程之示意圖。
第9圖為依據本揭露之一實施例實現之一頻譜能量及一頻譜能量直方圖之示意圖。
第10圖為依據本揭露之一實施例實現之一濾波時頻譜圖與方向濾波時頻譜圖之示意圖。
第11圖為依據本揭露之一實施例進行一屏蔽操作及一非線性扭曲操作之示意圖。
請參考第1圖,第1圖為依據本揭露之實施例實現之一動作偵測裝置10與一場域DR之示意圖。動作偵測裝置10發射至少一射頻偵測訊號SD至場域DR,並接收來自於場域DR的至少一反射射頻訊號SR。在本實施例中,動作偵測裝置10包含一處理單元、一收發器電路及一儲存單元。該處理單元分別連接至該收發器電路和該儲存單元。處理單元可為一微處理器或一特殊應用積體電路(application-specific integrated circuit,ASIC)。該收發器電路是一雷達射頻收發器。該射頻收發器包括至少一發射天線和/或至少一接收天線、振盪器(Oscillator)、混波器(Mixer)、數位類比轉換器(DAC)、類比數位轉換器(ADC)等等。儲存單元可為任一資料儲存裝置,用來儲存一程式碼,並透過該處理單元讀取及執行程式碼。
在本實施例中,動作偵測裝置10對反射射頻訊號SR進行訊號處理以得到原始訊號SRD。在本實施例中,動作偵測裝置10的該收發器電路是一雷達收發器電路,連接至該處理器,接收至少一雷達射頻偵測訊號SD,並處理該至少一雷達反射射頻訊號SR以得到原始訊號SRD。更明確而言,該雷達射頻電路的該混波器對反射射頻訊號SR(雷達反射射頻訊號SR)進行降頻操作得到類比原始訊號SRA,該雷達射頻電路的類比數位轉換器再對類比原始訊號SRA取樣得到原始訊號SRD。在本實施例中,原始訊號SRD代表了場域DR內人體任何動作反應於反射射頻訊號SR之中的都卜勒成分。動作偵測裝置10再依據原始訊號SRD判斷場域DR內的待測對象(如,偵測對象U)是否發生一特定動作,並據 以提供對應於該特定動作的一警報ALM。
在本實施例中,動作偵測裝置10是一連續波雷達(CW)或頻率調變連續波雷達(FMCW)。場域DR係動作偵測裝置10的偵測場域。該特定動作可為跌倒動作、起身動作、復健動作、訓練動作、或其它動作等。動作偵測裝置10可被架設在僅具單一偵測目標之空間如獨居老人、安養中心單人房等。
在本揭露的另一實施例中,動作偵測裝置10是頻率調變連續波雷達。場域DR係動作偵測裝置10的偵測場域。動作偵測裝置10(該頻率調變連續波雷達)可被架設在具多偵測目標之空間如健身房、室內球場、安養中心多人房等。該特定動作可為多偵測目標各自的跌倒動作、起身動作、復健動作、訓練動作、或其它動作等。
在此情況下,請參考第2圖,第2圖為動作偵測裝置10之一操作示意圖。如第2圖所示,動作偵測裝置10透過如連續波雷達取得原始訊號SRD後,對原始訊號SRD進行短時傅立葉轉換(short-time Fourier transform,STFT),藉以獲得原始訊號SRD在每一時間區間下頻率能量分佈情形之一時頻譜圖TFS。其中,由於跌倒動作在時頻譜圖上發生能量密集變化的時長約為1.5~3秒,短時傅立葉轉換後的每一時頻譜圖TFS設定每一時間區間為3.2秒,以囊括整個跌倒動作。當有動作變化時,在時頻譜圖的高頻處會有較強的擾動,本實施例計算採樣長度內100Hz至250Hz功率頻譜密度,將能量最高點(如大於35瓦)定義為起火點(energy burst),即為動作劇烈變化點,並以此起火點為中央向左右各採樣取得時頻譜圖TFS作為潛在跌倒動作的偵測。接著,經過適當訓練之深度學習引擎可對潛在跌倒動作之時頻譜圖TFS進行辨識,以判斷時頻譜圖TFS對應跌倒動作如床邊起身跌倒、絆倒、滑倒等,或非跌倒動作如坐下、行進、揮手等,或其它因素如風扇轉動、窗簾擺動等環境雜訊。動作偵測裝置10於判斷發生跌倒動作後一段時間內(如12秒)未偵測一起身動作時,發出警報ALM通知家屬或 醫護人員(警報ALM可直接為一警示音或傳輸至另一裝置之警示訊號)。
在此情況下,潛在跌倒動作之時頻譜圖TFS具有隨機震動般的雜訊擾動,而主要判斷跌倒與非跌倒的特徵,是頻譜能量分布上的差異。亦即,因為瞬間的動作變化,跌倒於高頻比較容易出現能量,非跌倒動作則在低頻有相當多的雜訊擾動。
然而,請參考第3圖,第3圖為跌倒動作時頻譜圖FTFS與非跌倒動作時頻譜圖NFTFS之示意圖,其中橫軸為短時傅立葉轉換後25個時間點(可對應於0~3.2秒),縱軸為短時傅立葉轉換後128個頻率點(可對應於0~3.2秒),以不同灰階表示不同時間頻率之能量強度。如第3圖所示,跌倒動作時頻譜圖FTFS高頻山峰狀的主特徵不明顯,當有人走動或是彎腰等動作時,非跌倒動作時頻譜圖NFTFS特徵相似(如存在淡淡的高頻山峰)。在此情況下,深度學習引擎可能發生誤報。
請參考第4圖,第4圖為依據本揭露之一實施例實現之一特徵強化與資料擴增流程40之示意圖。特徵強化與資料擴增流程40用於動作偵測裝置10。簡單來說,動作偵測裝置10先取得至少一時頻譜圖TFS,接著對至少一時頻譜圖TFS進行一特徵強化處理400,以強化至少一時頻譜圖TFS中對應於至少一動作之至少一特徵並產生至少一特徵強化時頻譜圖FSTFS,其中,特徵強化處理400包含一方向濾波,且該至少一動作包含一跌倒動作。
在此情況下,由於至少一特徵強化時頻譜圖FSTFS中相關跌倒動作之特徵已被強化,因此依至少一特徵強化時頻譜圖FSTFS訓練之深度學習引擎,可有效辨識出正確對應於跌倒動作之特徵強化時頻譜圖,動作偵測裝置10再據以發出警報ALM。如此一來,本揭露可強化時頻譜圖中跌倒動作之特徵,提升特徵於不同動作上的可辨識度,以避免誤報。
具體而言,動作偵測裝置10透過如連續波雷達取得原始訊號SRD 後,可對原始訊號SRD進行短時傅立葉轉換,以取得至少一時頻譜圖TFS。接著,由於跌倒動作在速度上會有一劇烈變化,因此在高頻上會有明顯的能量表現,因此特徵強化處理400可包含一正規化處理,將至少一時頻譜圖TFS沿頻域軸進行一正規化並產生至少一正規化時頻譜圖NTFS,能夠確實突顯高頻能量的特徵。
舉例來說,請參考第5圖,第5圖為依據本揭露之一實施例實現之正規化時頻譜圖NTFS之示意圖,其中,左至右依序對應於跌倒、非跌倒動作、容易誤報之非跌倒動作。如第5圖所示,將至少一時頻譜圖TFS沿頻域軸進行正規化後(即將每個時間點頻域上能量最強設為1,最弱設為0),在跌倒發生之中央時間點能夠確實突顯高頻能量,不會如第3圖所示跌倒動作時頻譜圖FTFS因其它時間點之低頻雜訊能量較強相對造成中央時間點高頻能量不清楚。
請繼續參考第4圖,特徵強化處理可包含一Savitzky-Golay(S-G)濾波,用來將正規化時頻譜圖NTFS平滑降噪並產生至少一濾波時頻譜圖FLTFS(在其它實施例中,特徵強化處理400可不包含正規化處理,使得S-G濾波直接將至少一時頻譜圖TFS平滑降噪並產生至少一濾波時頻譜圖FLTFS)。詳細來說,S-G濾波可強調時頻譜圖能量輪廓(即因動作所產生之能量)之變化,而非雜訊所引起之隨機震動的強度變化,在本領域中S-G濾波被廣泛地運用於資料平滑降噪,在時域內基於局域多項式最小二乘法擬合的濾波方法。特點在於在濾除雜訊的同時可以確保訊號的形狀、寬度不變。S-G濾波主要兩個參數為視窗長度及擬合多項式的階數,視窗長度決定每次進行濾波處理參考的採樣點數,視窗尺寸越大,平滑效果越好;多項式的階數越高,與原資料的擬合程度越高,其中,由於正規化時頻譜圖NTFS或至少一時頻譜圖TFS包含雜訊成份,因此若S-G濾波階數太高會過度擬合雜訊成份,深度學習引擎會誤判雜訊所造成變動為很強的特徵量,因此需適當設計S-G濾波之視窗長度及擬合多項式的階數。
舉例來說,請參考第6圖,第6圖為依據本揭露之一實施例實現之濾波時頻譜圖FLTFS之示意圖,其中,左至右依序對應於跌倒、非跌倒動作、容易誤報之非跌倒動作。如第6圖所示,本實施例採用視窗尺寸9,階數5作為S-G濾波參數,由實驗取得較優之參數使得有限平滑下,濾波時頻譜圖FLTFS仍維持正規化時頻譜圖NTFS之特徵,且降低雜訊能量。
請繼續參考第4圖,特徵強化處理中方向濾波可對至少一濾波時頻譜圖FLTFS中各者在至少一方向進行濾波並產生各組至少一方向濾波時頻譜圖DFLTFS,再將至少一濾波時頻譜圖FLTFS中各者及相對應各組至少一方向濾波時頻譜圖DFLTFS中具最強特徵者做為一相對應特徵強化時頻譜圖FSTFS(在其它實施例中,特徵強化處理400可不包含正規化處理、S-G濾波,使得方向濾波直接將至少一時頻譜圖TFS中各者在至少一方向進行濾波並產生各組至少一方向濾波時頻譜圖DFLTFS,再將至少一時頻譜圖TFS中各者及相對應各組至少一方向濾波時頻譜圖DFLTFS中能量最顯著者做為一相對應特徵強化時頻譜圖FSTFS)。
詳細來說,在雷達波跌倒偵測上的應用,由於跌倒動作能量在高頻會有瞬時的能量響應,其響應在時頻譜圖TFS中90°的方向上最為顯著;環境雜訊則會較集中於低頻部分,對應時頻譜圖TFS在整個水平時間軸上都會有能量響應,而在0°的方向上都十分活躍。在此情況下,請參考第7圖,第7圖為依據本揭露之一實施例實現之不同方向性之視窗之示意圖,其中,左至右依序0°、45°、90°及135°的視窗。如第7圖所示,不同視窗具有不同方向性,因此將各視窗對時頻譜圖TFS捲積後(即將各視窗施加於時頻譜圖TFS中各點以產生新的值),所產生方向濾波時頻譜圖DFLTFS在相對應方向較為顯著。在本實施例中,採用尺寸5*5視窗的方向濾波適應瞬時之跌倒時頻譜圖,並在原濾波時頻譜圖FLTFS與4個方向濾波後的方向濾波時頻譜圖DFLTFS中各時間點之能量分別做 二元分類,大於雜訊門檻的設為1,否則為0,統計數量最多者作為特徵強化時頻譜圖FSTFS,意味以有較強特徵者作為最後特徵強化時頻譜圖FSTFS。
具體而言,請參考第8圖及第9圖,第8圖為依據本揭露之一實施例實現之一特徵強化流程80之示意圖,第9圖為依據本揭露之一實施例實現之一頻譜能量及一頻譜能量直方圖之示意圖。如第8圖所示,對一濾波時頻譜圖FLTFS在0°、45°、90°及135°方向進行濾波並產生方向濾波時頻譜圖DFLTFS1~DFLTFS4後,擷取濾波時頻譜圖FLTFS與方向濾波時頻譜圖DFLTFS1~DFLTFS4中100Hz~250Hz的頻譜,並計算各別頻譜能量(如第9圖左繪示各時間點之頻譜能量大小,橫軸為對應於0~3.2秒的25個時間點,縱軸為能量),接著計算各別頻譜能量直方圖(如第9圖右繪示在各能量區間所分布時間點數量多寡),然後將各別頻譜能量直方圖中時間點數量最多者之能量區間之上限作為雜訊門檻值(如第9圖右中有7個時間點能量位於6~9瓦,其數量高於其它能量區間表示最常出現而被認定為雜訊,因此以9瓦為雜訊門檻值),統計能量值高於雜訊門檻值的時間點數量(如第9圖繪示高於雜訊門檻值的時間點數量為18),最後將濾波時頻譜圖FLTFS與方向濾波時頻譜圖DFLTFS1~DFLTFS4所對應頻譜能量直方圖中能量值高於雜訊門檻值的時間點數量最多者做為相對應特徵強化時頻譜圖FSTFS。
舉例來說,請參考第10圖,第10圖為依據本揭露之一實施例實現之濾波時頻譜圖FLTFS與方向濾波時頻譜圖DFLTFS1~DFLTFS4之示意圖,其中,左至右依序對應於未進行方向濾波及在0°、45°、90°及135°方向進行濾波。如第10圖所示,由於跌倒動作能量在高頻會有瞬時的能量響應,因此將濾波時頻譜圖FLTFS在90°方向進行濾波所得之方向濾波時頻譜圖DFLTFS3在高頻能量較為顯著,因此所對應頻譜能量直方圖中能量值高於雜訊門檻值的時間點數量最多,而可做為相對應特徵強化時頻譜圖FSTFS。
值得注意的是,上述實施例可強化時頻譜圖中跌倒動作之特徵,提升特徵於不同動作上的可辨識度,以避免誤報。本領域具通常知識者當可據以進行修飾或變化,而不限於此。舉例來說,上述實施例強化時頻譜圖中跌倒動作之特徵以提升與其它動作之可辨識度,但在其它實施例中,亦可視實際需求強化其它動作於時頻譜圖中相對應特徵,以增加其它動作的可辨識度。
此外,上述實施例中依至少一特徵強化時頻譜圖FSTFS訓練之深度學習引擎,可有效辨識出正確對應於跌倒動作之特徵強化時頻譜圖,但如第4圖所示,特徵強化與資料擴增流程40可先對至少一特徵強化時頻譜圖FSTFS進行資料擴增,以產生複數個擴增特徵強化時頻譜圖AFSTFS再對深度學習引擎進行訓練,其中,複數個擴增特徵強化時頻譜圖AFSTFS之數量大於至少一特徵強化時頻譜圖FSTFS之數量。如此一來,本揭露可透過資料擴增演算法增加跌倒資料之數量,以增強模型的泛化能力,並提高模型對各種資訊的處理能力,增加模型效能。
具體而言,請參考第11圖,第11圖為依據本揭露之一實施例經一屏蔽操作及一非線性扭曲操作所產生之擴增特徵強化時頻譜圖AFSTFS之示意圖。在語音辨識進行擴增資料後,深度學習引擎之模型可學習到時間軸上發生損失變形的音訊、部分頻率缺失的音訊,以及丟失部分語音片段的音訊的特點,而增加了訓練模型對此類資訊的處理能力,也增強模型的泛化能力。因此,於雷達資料的應用上,本揭露之該實施例可透過至少一屏蔽及一非線性扭曲來達到擴增資料、泛化模型的目的。詳細來說,如第11圖右所示,資料擴增處理對特徵強化時頻譜圖FSTFS進行一非線性扭曲後,所產生擴增特徵強化時頻譜圖AFSTFS雖然在時頻譜圖上較為扭曲,但在高頻能量仍較為顯著,而可有效學習並泛化。
另一方面,資料擴增處理對特徵強化時頻譜圖FSTFS進行至少一屏 蔽,且該至少一屏蔽未完全覆蓋特徵強化時頻譜圖FSTFS中一主要特徵區域。舉例來說,如第11圖左所示,資料擴增處理可對特徵強化時頻譜圖FSTFS隨機進行一個時間軸屏蔽及兩個頻域軸屏蔽但未完全覆蓋主要特徵區域,其中,由於雷達資料的擷取是以起火點為中央,時域中央是主要特徵區域,而頻域不希望過度屏蔽(如總屏蔽之長度小於百分之三十)而覆蓋主要特徵區域,因此時間軸屏蔽較佳為僅對時域左右各三分之一的區域做隨機屏蔽,而兩個頻域軸屏蔽之長度較佳為不超過總頻段的百分之十五。
在此情況下,由於語音辨識與雷達波的跌倒偵測都是採用時頻譜圖做機器學習,因聲音的輸入包含多種雜訊,可以想像成當人們說話缺失幾個字或是哪幾個字發音不清楚時,人們依然可以依據前後文辨識出該句的語意。同理,雷達波也包含了環境中的多種雜訊,諸如手臂的揮動,物品的掉落等,都會對雷達波造成擾動,但是當這些事件單獨或與跌倒事件合併發生時,若跌倒仍能夠被判斷出來,則需要模型在學習時,即使缺失或是部分信息遭變動,也能夠泛化學習到事件的特徵。
舉例來說,原本所蒐集訓練集資料僅有1613筆跌倒資料及11299筆非跌倒資料,資料擴增後訓練集資料具有4839筆跌倒資料及11299筆非跌倒資料,以擴增後訓練集資料對深度學習引擎進行訓練所得之模型,實際用在環境為獨居老人臥房時,75次的跌倒事件均有被辨別出而無漏報且無假陰性,而假陽性(誤報)於839筆中僅出現6筆,因此具有100%的準確率(Precision)及99.3%的召回率(Recall)。
此外,動作偵測裝置10可包含一處理單元、一收發器電路及一儲存單元。該處理單元分別連接至該收發器電路和該儲存單元。處理單元可為一微處理器或一特殊應用積體電路(application-specific integrated circuit,ASIC)。該收發器電路是一雷達收發器。該射頻收發器包括至少一發射天線和/或至少一 接收天線、振盪器(Oscillator)、混波器(Mixer)、數位類比轉換器(DAC)、類比數位轉換器(ADC)等等。儲存單元可為任一資料儲存裝置,用來儲存一程式碼,並透過處理單元讀取及執行程式碼,以執行特徵強化與資料擴增流程40之各步驟。儲存單元可為用戶識別模組(subscriber identity module,SIM)、唯讀式記憶體(read-only memory,ROM)、隨機存取記憶體(random-access memory,RAM)、光碟唯讀記憶體(CD-ROMs)、磁帶(magnetic tapes)、軟碟(floppy disks)、光學資料儲存裝置(optical data storage devices)等等,而不限於此。
在本揭露的另一實施例中,動作偵測裝置10之一傳輸模組將前述原始訊號SRD或是前述時頻譜圖TFS傳送至一邊緣裝置或一伺服器。再由該邊緣裝置或是該伺服器執行前述特徵強化與資料擴增流程40。其中,該邊緣裝置或是該伺服器可接收多個不同動作偵測裝置10的前述原始訊號SRD或是前述時頻譜圖TFS。
另一方面,本揭露的特徵強化與資料擴增流程40可由動作偵測裝置10、該邊緣裝置、或是該伺服器之一或多者單獨地或共同地執行。
綜上所述,本揭露可強化時頻譜圖中跌倒動作之特徵,提升特徵於不同動作上的可辨識度,以避免誤報,並透過資料擴增演算法增加跌倒資料之數量,以增強模型的泛化能力,並提高模型對各種資訊的處理能力,增加模型效能。以上所述僅為本揭露之較佳實施例,凡依本揭露申請專利範圍所做之均等變化與修飾,皆應屬本揭露之涵蓋範圍。
40:特徵強化與資料擴增流程
400:特徵強化處理
SRD:原始訊號
TFS:時頻譜圖
FSTFS:特徵強化時頻譜圖
NTFS:正規化時頻譜圖
FLTFS:濾波時頻譜圖
AFSTFS:擴增特徵強化時頻譜圖

Claims (20)

  1. 一種特徵強化與資料擴增方法,用於偵測至少一待測對象之至少一動作,包含有:取得至少一時頻譜圖;以及對該至少一時頻譜圖進行一特徵強化處理,以強化該至少一時頻譜圖中對應於該至少一動作之至少一特徵並產生至少一特徵強化時頻譜圖;其中,該特徵強化處理包含一方向性濾波。
  2. 如請求項1所述之特徵強化與資料擴增方法,其另包含:處理至少一雷達反射射頻訊號,以取得該至少一時頻譜圖,其中該至少一動作包含一跌倒動作。
  3. 如請求項1至2中任一項所述之特徵強化與資料擴增方法,其中該特徵強化處理包含一正規化處理,用來將該至少一時頻譜圖沿頻域軸進行正規化並產生至少一正規化時頻譜圖。
  4. 如請求項1至2中任一項所述之特徵強化與資料擴增方法,其中該特徵強化處理包含一Savitzky-Golay(S-G)濾波,用來將該至少一時頻譜圖平滑降噪並產生至少一濾波時頻譜圖。
  5. 如請求項1至2中任一項所述之特徵強化與資料擴增方法,其中該方向性濾波將至少一時頻譜圖中各者在至少一方向進行濾波並產生各組至少一方向濾波時頻譜圖,並將該至少一時頻譜圖中各者及相對應各組至少一方向濾波時頻譜圖中能量最顯著者做為一相對應特徵強化時頻譜圖。
  6. 如請求項5所述之特徵強化與資料擴增方法,其中該能量最顯著者為在一所對應頻譜能量直方圖中能量值高於一雜訊門檻值的時間點數量最多者。
  7. 如請求項6所述之特徵強化與資料擴增方法,其中該雜訊門檻值 為該頻譜能量直方圖中時間點數量最多者之一能量區間之一上限。
  8. 如請求項1所述之特徵強化與資料擴增方法,其另包含:處理至少一雷達反射射頻訊號,以取得該至少一時頻譜圖;以及對該至少一特徵強化時頻譜圖進行資料擴增,以產生複數個擴增特徵強化時頻譜圖對一深度學習引擎進行訓練;其中,該複數個擴增特徵強化時頻譜圖之數量大於該至少一特徵強化時頻譜圖之數量。
  9. 如請求項8所述之特徵強化與資料擴增方法,其另包含:對該至少一特徵強化時頻譜圖進行一非線性扭曲。
  10. 如請求項8所述之特徵強化與資料擴增方法,其另包含:對該至少一特徵強化時頻譜圖進行至少一屏蔽,該至少一屏蔽未完全覆蓋該至少一特徵強化時頻譜圖中一主要特徵區域。
  11. 一種動作偵測裝置,包含有:一處理器,用來執行一程式;以及一儲存單元,耦接於該處理器,用來儲存該程式;其中該程式用來指示該處理器執行以下步驟:取得至少一時頻譜圖;以及對該至少一時頻譜圖進行一特徵強化處理,以強化該至少一時頻譜圖中對應於至少一動作之至少一特徵並產生至少一特徵強化時頻譜圖;其中,該特徵強化處理包含一方向性濾波。
  12. 如請求項11所述之動作偵測裝置,其另包含:一雷達收發器電路,耦接於該處理器,接收至少一雷達反射射頻訊號,並處理該至少一雷達反射射頻訊號以取得一原始訊號,其中該處理器轉換該 原始訊號,以取得該至少一時頻譜圖;其中該至少一動作包含一跌倒動作。
  13. 如請求項11至12中任一項所述之動作偵測裝置,其中該特徵強化處理包含一正規化處理,用來將該至少一時頻譜圖沿頻域軸進行正規化並產生至少一正規化時頻譜圖。
  14. 如請求項11至12中任一項所述之動作偵測裝置,其中該特徵強化處理包含一Savitzky-Golay(S-G)濾波,用來將該至少一時頻譜圖平滑降噪並產生至少一濾波時頻譜圖。
  15. 如請求項11至12中任一項所述之動作偵測裝置,其中該方向性濾波將至少一時頻譜圖中各者在至少一方向進行濾波並產生各組至少一方向濾波時頻譜圖,並將該至少一時頻譜圖中各者及相對應各組至少一方向濾波時頻譜圖中能量最顯著者做為一相對應特徵強化時頻譜圖。
  16. 如請求項15所述之動作偵測裝置,其中該能量最顯著者為在一所對應頻譜能量直方圖中能量值高於一雜訊門檻值的時間點數量最多者。
  17. 如請求項16所述之動作偵測裝置,其中該雜訊門檻值為該頻譜能量直方圖中時間點數量最多者之一能量區間之一上限。
  18. 如請求項11所述之動作偵測裝置,其另包含:一雷達收發器電路,耦接於該處理器,接收至少一雷達反射射頻訊號,並處理該至少一雷達反射射頻訊號以取得一原始訊號,其中該程式另指示該處理器執行以下步驟:轉換該原始訊號,以取得該至少一時頻譜圖;對該至少一特徵強化時頻譜圖進行資料擴增,以產生複數個擴增特徵強化時頻譜圖對一深度學習引擎進行訓練;其中,該複數個擴增特徵強化時頻譜圖之數量大於該至少一特徵強化時頻譜 圖之數量。
  19. 如請求項18所述之動作偵測裝置,其中該程式另指示該處理器執行以下步驟:對該至少一特徵強化時頻譜圖進行一非線性扭曲。
  20. 如請求項18所述之動作偵測裝置,其中該程式另指示該處理器執行以下步驟:對該至少一特徵強化時頻譜圖進行至少一屏蔽,該至少一屏蔽未完全覆蓋該至少一特徵強化時頻譜圖中一主要特徵區域。
TW110103935A 2021-02-03 2021-02-03 特徵強化與資料擴增方法及其動作偵測裝置 TWI774224B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW110103935A TWI774224B (zh) 2021-02-03 2021-02-03 特徵強化與資料擴增方法及其動作偵測裝置
CN202110274428.5A CN114863640B (zh) 2021-02-03 2021-03-15 特征强化与数据扩增方法及其动作检测装置
US17/233,580 US11947035B2 (en) 2021-02-03 2021-04-19 Feature enhancement and data augmentation method, and motion detection device thereof
EP21186283.4A EP4040184A1 (en) 2021-02-03 2021-07-19 Feature enhancement and data augmentation method, and motion detection device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110103935A TWI774224B (zh) 2021-02-03 2021-02-03 特徵強化與資料擴增方法及其動作偵測裝置

Publications (2)

Publication Number Publication Date
TWI774224B true TWI774224B (zh) 2022-08-11
TW202232130A TW202232130A (zh) 2022-08-16

Family

ID=77226587

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110103935A TWI774224B (zh) 2021-02-03 2021-02-03 特徵強化與資料擴增方法及其動作偵測裝置

Country Status (4)

Country Link
US (1) US11947035B2 (zh)
EP (1) EP4040184A1 (zh)
CN (1) CN114863640B (zh)
TW (1) TWI774224B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109394229A (zh) * 2018-11-22 2019-03-01 九牧厨卫股份有限公司 一种跌倒检测方法、装置及系统
US20200166611A1 (en) * 2018-11-22 2020-05-28 Jomoo Kitchen & Bath Co., Ltd Detection method, detection device, terminal and detection system
CN111257890A (zh) * 2020-01-19 2020-06-09 中国电子科技集团公司电子科学研究院 一种跌倒行为识别方法及装置
CN111597877A (zh) * 2020-04-02 2020-08-28 浙江工业大学 一种基于无线信号的跌倒检测方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5442462A (en) * 1992-06-10 1995-08-15 D.V.P. Technologies Ltd. Apparatus and method for smoothing images
US5799111A (en) * 1991-06-14 1998-08-25 D.V.P. Technologies, Ltd. Apparatus and methods for smoothing images
US5771318A (en) * 1996-06-27 1998-06-23 Siemens Corporate Research, Inc. Adaptive edge-preserving smoothing filter
AU2003262625A1 (en) * 2002-08-01 2004-02-23 California Institute Of Technology Remote-sensing method and device
US7664326B2 (en) * 2004-07-09 2010-02-16 Aloka Co., Ltd Method and apparatus of image processing to detect and enhance edges
US7916066B1 (en) * 2006-04-27 2011-03-29 Josef Osterweil Method and apparatus for a body position monitor and fall detector using radar
US7567200B1 (en) * 2006-04-27 2009-07-28 Josef Osterweil Method and apparatus for body position monitor and fall detect ion using radar
US8582916B2 (en) * 2007-12-25 2013-11-12 Medic Vision—Brain Technologies Ltd. Noise reduction of images
KR20110008080A (ko) * 2008-04-03 2011-01-25 카이 메디컬, 아이엔씨. 비접촉식 생리학적 모션 센서 및 모션 센서의 사용 방법
EP2385494A1 (en) * 2010-05-07 2011-11-09 IBBT vzw A method and device for estimating noise in a reconstructed image
US8872692B2 (en) * 2010-09-15 2014-10-28 Industry-Academic Cooperation Foundation, Yonsei University Distance measuring device and receiving devices thereof
US9103899B2 (en) * 2011-04-29 2015-08-11 The Invention Science Fund I, Llc Adaptive control of a personal electronic device responsive to a micro-impulse radar
JP6007312B2 (ja) * 2013-03-07 2016-10-12 独立行政法人石油天然ガス・金属鉱物資源機構 画像処理装置、画像処理方法及び画像処理プログラム
JP6164926B2 (ja) * 2013-05-16 2017-07-19 オリンパス株式会社 ノイズ低減処理装置
US9753131B2 (en) * 2013-10-09 2017-09-05 Massachusetts Institute Of Technology Motion tracking via body radio reflections
WO2015200710A2 (en) * 2014-06-25 2015-12-30 University Of Washington Devices, systems, and methods for detecting gestures using multiple antennas and/or reflections of signals transmitted by the detecting device
WO2016165097A1 (zh) * 2015-04-16 2016-10-20 中国科学院自动化研究所 一种图像去锯齿的系统
US9568594B2 (en) * 2015-06-29 2017-02-14 Echocare Technologies Ltd. Human posture feature extraction in personal emergency response systems and methods
US10984646B2 (en) * 2016-06-23 2021-04-20 Mayo Foundation For Medical Education And Research Proximity based fall and distress detection systems and methods
US20190139389A1 (en) * 2016-08-19 2019-05-09 Miku, Inc. System and Method for Monitoring Life Signs of a Person
US10912493B2 (en) * 2017-01-06 2021-02-09 Panasonic Intellectual Property Management Co., Ltd. Sensor and method
CN107290741B (zh) * 2017-06-02 2020-04-10 南京理工大学 基于加权联合距离时频变换的室内人体姿态识别方法
US11278241B2 (en) * 2018-01-16 2022-03-22 Infineon Technologies Ag System and method for vital signal sensing using a millimeter-wave radar sensor
US11346936B2 (en) * 2018-01-16 2022-05-31 Infineon Technologies Ag System and method for vital signal sensing using a millimeter-wave radar sensor
CN108652601B (zh) * 2018-05-24 2021-04-30 厦门精益远达智能科技有限公司 一种基于调频连续波毫米波雷达的睡眠监控方法、装置和雷达系统
JP7229881B2 (ja) * 2018-08-14 2023-02-28 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
WO2020180847A1 (en) * 2019-03-05 2020-09-10 The Procter & Gamble Company Wireless monitoring system
CN110286368B (zh) * 2019-07-10 2021-03-05 北京理工大学 一种基于超宽带雷达的老人跌倒检测方法
EP4081107A4 (en) * 2019-12-23 2024-01-24 Vayyar Imaging Ltd FALL DETECTION SYSTEMS AND METHODS
CN111175743B (zh) * 2020-02-25 2024-06-21 山东省科学院自动化研究所 基于多普勒雷达技术的老年人跌倒报警平台及方法
CN111505632B (zh) * 2020-06-08 2023-03-03 北京富奥星电子技术有限公司 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109394229A (zh) * 2018-11-22 2019-03-01 九牧厨卫股份有限公司 一种跌倒检测方法、装置及系统
US20200166611A1 (en) * 2018-11-22 2020-05-28 Jomoo Kitchen & Bath Co., Ltd Detection method, detection device, terminal and detection system
US20200163590A1 (en) * 2018-11-22 2020-05-28 Jomoo Kitchen & Bath Co., Ltd Fall detection method, device, and system
CN111257890A (zh) * 2020-01-19 2020-06-09 中国电子科技集团公司电子科学研究院 一种跌倒行为识别方法及装置
CN111597877A (zh) * 2020-04-02 2020-08-28 浙江工业大学 一种基于无线信号的跌倒检测方法

Also Published As

Publication number Publication date
CN114863640A (zh) 2022-08-05
TW202232130A (zh) 2022-08-16
US20220244353A1 (en) 2022-08-04
CN114863640B (zh) 2024-05-24
US11947035B2 (en) 2024-04-02
EP4040184A1 (en) 2022-08-10

Similar Documents

Publication Publication Date Title
Schmidt et al. Acoustic features for the identification of coronary artery disease
US11000223B2 (en) Methods for detecting a sleep disorder and sleep disorder detection devices
AU2018214442B2 (en) Methods and apparatus for cough detection in background noise environments
US7924212B2 (en) Method for human only activity detection based on radar signals
US11633150B2 (en) Apparatus and method for diagnosing sleep quality
CN112998701A (zh) 基于毫米波雷达的生命体征检测与身份识别系统和方法
JP2002520111A (ja) 思考の検知および検知に応答して制御命令の生成をするためのシステムおよび方法
US7610324B2 (en) System for detection and estimation of periodic patterns in a noisy signal
CN110970042A (zh) 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质
US20120165690A1 (en) Method for measuring physiological parameters
Orović et al. Time-frequency analysis and Hermite projection method applied to swallowing accelerometry signals
CN113273978B (zh) 一种基于超宽带雷达的人体呼吸和心跳频率的检测方法
CN113848544A (zh) 基于多普勒雷达的人体存在感应检测方法、装置、存储介质
Moukadem et al. Shannon Entropy based on the S-Transform Spectrogram applied on the classification of heart sounds
CN111281393B (zh) 基于非接触式雷达技术的老年人跌倒检测方法及系统
TWI774224B (zh) 特徵強化與資料擴增方法及其動作偵測裝置
Uwaoma et al. Detection and classification of abnormal respiratory sounds on a resource-constraint mobile device
CN106323330A (zh) 基于WiFi动作识别系统的非接触式计步方法
Akbari et al. Systolic murmurs diagnosis improvement by feature fusion and decision fusion
CN215820931U (zh) 一种基于毫米波雷达的生命体征检测与身份识别系统
Soubra et al. Doppler radar system for in-home gait characterization using wavelet transform analysis
CN112686213B (zh) 一种基于循环神经网络及毫米波的osahs诊断系统
Anishchenko et al. Discriminant analysis in bioradar-based fall events classification
CN104605886B (zh) 喘鸣音检测装置和方法
Zeng et al. Using short-time Fourier transform and wavelet packet transform to attenuate noise from heart sound signal for wearable e-healthcare device