TWI833649B - 資料處理裝置以及方法 - Google Patents

資料處理裝置以及方法 Download PDF

Info

Publication number
TWI833649B
TWI833649B TW112117803A TW112117803A TWI833649B TW I833649 B TWI833649 B TW I833649B TW 112117803 A TW112117803 A TW 112117803A TW 112117803 A TW112117803 A TW 112117803A TW I833649 B TWI833649 B TW I833649B
Authority
TW
Taiwan
Prior art keywords
spectrum
matrix
rows
time
generate
Prior art date
Application number
TW112117803A
Other languages
English (en)
Other versions
TW202345089A (zh
Inventor
栗永徽
畢菈 娜
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Publication of TW202345089A publication Critical patent/TW202345089A/zh
Application granted granted Critical
Publication of TWI833649B publication Critical patent/TWI833649B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Complex Calculations (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Image Analysis (AREA)

Abstract

一種資料處理裝置，其包括檢測單元、記憶體以及處理器。檢測單元用以檢測光體積描記資料。處理器進行下列操作：對體積描記資料進行短時距傅立葉轉換以產生第一時頻矩陣；對第一時頻矩陣進行數值拆分處理以產生第一頻譜矩陣，其中第一頻譜矩陣包括由左至右依序排列的多個第一頻譜陣列；將多個第一頻頻譜陣列由左至右輸入轉換器模型以依序產生多個第二頻譜陣列，並根據產生多個第二頻譜陣列的順序將多個第二頻譜陣列轉換為第二頻譜矩陣；對第二頻譜矩陣進行數值合併處理以對產生的第二時頻矩陣進行反短時距傅立葉轉換以產生動脈血壓資料。

Description

資料處理裝置以及方法
本揭示有關於一種機器學習技術，且特別是有關於資料處理裝置以及方法。
在現今的醫療技術中，蒐集使用者的心律往往比蒐集使用者的血壓來得容易。蒐集使用者的心律僅僅需要簡單的穿戴式智慧型手環或智慧型手錶，而蒐集使用者的血壓往往需要較為精密的儀器或侵入式裝置。因此，要如何利用簡單且低成本的裝置獲得使用者的血壓是本領域技術人員急欲解決的問題。
本揭示的一態樣揭露一種資料處理裝置，其包括一檢測單元、一記憶體以及一處理器。該檢測單元用以檢測一光體積描記資料。該記憶體用以儲存多個電腦可執行指令。該處理器耦接該檢測單元以及該記憶體，該處理器用以執行該些電腦可執行指令以運行一轉換器模型，該處理器用以進行下列操作：對該光體積描記資料進行短時距傅立葉轉換以產生一第一時頻矩陣，其中該第一時頻矩陣中的多個行分別對應於多個時間片段，該第一時頻矩陣中的該些行的各者包括於對應的時間片段上的多個頻率分量；對該第一時頻矩陣進行數值拆分處理以產生一第一頻譜矩陣，其中該第一頻譜矩陣包括由左至右依序排列的多個第一頻譜陣列；將該些第一頻頻譜陣列由左至右輸入該轉換器模型以依序產生多個第二頻譜陣列，並根據產生該些第二頻譜陣列的順序將該些第二頻譜陣列轉換為一第二頻譜矩陣；對該第二頻譜矩陣進行數值合併處理以產生一第二時頻矩陣；對該第二時頻矩陣進行反短時距傅立葉轉換以產生一動脈血壓資料。
本揭示的另一態樣揭露一種資料處理方法，包括：運行一轉換器模型，並對一光體積描記資料進行短時距傅立葉轉換以產生一第一時頻矩陣，其中該第一時頻矩陣中的多個行分別對應於多個時間片段，該第一時頻矩陣中的該些行的各者包括於對應的時間片段上的多個頻率分量；對該第一時頻矩陣進行數值拆分處理以產生一第一頻譜矩陣，其中該第一頻譜矩陣包括由左至右依序排列的多個第一頻譜陣列；將該些第一頻頻譜陣列由左至右輸入該轉換器模型以依序產生多個第二頻譜陣列，並根據產生該些第二頻譜陣列的順序將該些第二頻譜陣列轉換為一第二頻譜矩陣；對該第二頻譜矩陣進行數值合併處理以產生一第二時頻矩陣；以及對該第二時頻矩陣進行反短時距傅立葉轉換以產生一動脈血壓資料。
以下揭示提供許多不同實施例或例證用以實施本揭示文件的不同特徵。特殊例證中的元件及配置在以下討論中被用來簡化本揭示。所討論的任何例證只用來作解說的用途，並不會以任何方式限制本揭示文件或其例證之範圍和意義。在適當的情況下，在圖式之間及相應文字說明中採用相同的標號以代表相同或是相似的元件。
請參閱第1圖，其是本揭示的資料處理裝置100的方塊圖。資料處理裝置100包括檢測單元110、記憶體120以及處理器130。資料處理裝置100可以運算、訓練以及使用轉換器模型(transformer model)TM。
在一些實施例中，資料處理裝置100可由各種脈搏血氧感測裝置實現。例如，穿戴式智慧型手環或智慧型手錶等。
在一些實施例中，記憶體120用以儲存電腦可執行指令、訓練資料(在轉換器模型TM的訓練階段)、轉換器模型TM的可學習參數(learnable parameters)、需要由轉換器模型TM處理的輸入資料及/或轉換器模型產生的輸出資料。在一些實施例中，記憶體120可以利用隨機存取記憶體模組、唯讀記憶體模組、快閃記憶體、硬碟、快取記憶體、靜態隨機存取記憶體、動態隨機存取記憶體、非揮發性記憶體、固態硬碟、光學儲存媒體或其他具相等性的儲存組件來實現。在一些實施例當中，記憶體120儲存可由處理器130執行的指令，其用以執行後續段落所描述的詳細步驟。
處理器130與記憶體120耦接。處理器130用以執行電腦可執行指令以運算、訓練或運作轉換器模型TM。在一些實施例當中，轉換器模型TM用以執行各種自然語言任務或影像處理，例如回答問題、文件分類、名稱提取、文義連貫解析、自然語言推理、文件摘要、翻譯、影像辨識、影像分類、影像預測或影像轉換等。在一個例子中，當轉換器模型TM用以執行序列至序列(sequence to sequence)的任務時，處理器130將把輸入向量序列傳輸至轉換器模型TM，轉換器模型TM將輸入向量序列轉換為輸出向量序列，其中輸入向量序列以及輸出向量序列皆包括一系列向量表示式。在一些實施例當中，轉換器模型TM可包括編碼器模組以及解碼器模組，其中編碼器模組可包括多個第一隱藏表示(hidden representation)層，且解碼器模組可包括多個第二隱藏表示層。
在一些實施例中，處理器130更用以執行電腦可執行指令以運算、訓練或運作基於轉換器的雙向編碼器表示(bidirectional encoder representations from transformers, BERT)模型BERTM。在一些實施例中，基於轉換器的雙向編碼器表示模型BERTM可用以對轉換器模型TM中的編碼器模組進行預訓練(pre-training)。藉此，當利用轉換器模型TM進行下游任務時，將可大大降低轉換器模型TM的訓練所消耗的時間以及資源。
在一些實施例中，處理器130可包括圖形處理單元(graphics processing unit, GPU)、特殊應用積體電路(application specific integrated circuit, ASIC)、現場可編程開關陣列(field programmable gate array, FPGA)、張量處理單元(tensor processing unit, TPU)、數字信號處理器(digital signal processor, DSP)、單指令多數據(single-instruction multiple-data, SIMD)處理器和/或任何等效處理電路。通常，相較於通用型的中央處理器(center processing unit, CPU)，此類處理器可以加速與神經網絡模型（例如，訓練、預測、預處理等）估算相關的各種計算任務，其加速效果可能達到一個數量級或更多。
檢測單元110與處理器130耦接。檢測單元110可以是任意用以檢測光體積描記資料(photoplethysmography, PPG)的檢測電路，例如，檢測單元110可以是包括微處理器、發光二極體（light-emitting diode, LED）以及感光器的檢測電路，其中發光二極體用以照射使用者的手腕皮膚，感光器用以檢測由使用者的手腕皮膚反射的光強度(例如，感光耦合元件（charge-coupled device, CCD）或互補式金屬氧化物半導體主動像素感測器（CMOS active pixel sensor）)，以及微處理器用以由光強度計算光體積描記資料。
在一些實施例中，資料處理裝置100並不限於包括檢測單元110、記憶體120以及處理器130，影像處理裝置100可以進一步包括操作以及應用中所需的其他元件，舉例來說，資料處理裝置100更可包括輸出介面(例如，用於顯示資訊的顯示面板)、輸入介面(例如，觸控面板、鍵盤、麥克風、掃描器或快閃記憶體讀取器)以及通訊電路(例如，WiFi通訊模型、藍芽通訊模型、無線電信網路通訊模型等)。舉例而言，輸出介面可由轉換器模型TM接收其產生的輸出結果。
請進一步參閱第2圖，其是根據本揭示一些實施例中轉換器模型TM的神經網路架構示意圖。如第2圖所示，轉換器模型TM包括編碼器模組(encoder module)EM以及解碼器模組(decoder module)DM。
編碼器模組EM用以根據輸入向量序列INseq1產生編碼表示式(encoded representation)。解碼器模組DM用以根據由編碼器模組EM產生的編碼表示式產生或預測輸出向量序列OUTseq1。
在一示範性舉例中，假設一個影像被切割為5個行陣列，並由左至右對這些行陣列轉換為輸入向量序列INseq1(例如，可採用下述第6圖中產生多個第一頻譜陣列的方法進行轉換)，其序列長度為10。輸入向量序列INseq1中的所有向量表示式皆採用100維向量表示式(例如，1x100矩陣)。在這種情況下，5個行陣列則可以轉換為維度為10x100的輸入表示式。類似地，如果影像包含2048個行陣列，則輸入向量序列INseq1將被表示為維度為4096x100的輸入表示式。
在一些實施例中，轉換器模型TM包含全連接前饋神經網路(fully connected feedforward neural network)FFN1~FFN2，其與解碼器模組DM耦接。在一些實施例中，根據解碼器模組DM所產生的輸出矩陣，全連接前饋神經網路FFN1~FFN2據以產生輸出序列OUTseq1。
在一些實施例中，轉換器模型TM用以接收輸出向量序列OUTseq1或目標向量序列TAR(例如，在與上述影像對應的另一個影像中，切割出一系列行陣列，並同樣採用下述第6圖中產生多個第一頻譜陣列的方法將一系列行陣列轉換為目標向量序列TAR)。
如第2圖所示，在一些實施例中，編碼器模組EM包含注意力層(self-attention layer)SA1以及前饋層(feed forward layer)FF1(即，上述多個第一隱藏表示層)，解碼器模組DM包括注意力層SA2(或者是稱為遮罩注意力(masked self-attention)層)、編碼器至解碼器注意力(encoder-decoder attention)層EDA(或者是稱為跨注意力(cross-attention)層)以及前饋層FF2(即，上述多個第二隱藏表示層)。在這些層中，注意力層SA1、注意力層SA2以及編碼器至解碼器注意力層EDA用於找出不同標記(例如，輸入向量序列INseq1或輸出向量序列OUTseq1中的對應行陣列)彼此之間的注意力關係，而前饋層FF1與前饋層FF2分別具有類似於上述全連接前饋神經網路FFN1~FFN2的結構以及功能，其中前饋層FF1以及前饋層FF2分別用以做為對注意力層SA1以及編碼器至解碼器注意力層EDA的輸出進行轉換的結構層。此外，藉由前饋層FF1以及前饋層FF2的結構，更容易使前饋層FF1以及前饋層FF2各自輸出的序列完成整個轉換器模型TM的訓練。若不採用前饋層FF1以及前饋層FF2的結構，將可能使轉換器模型TM的訓練更加不穩定(即，無法完成訓練)。
進一步參閱第3圖，其是根據本揭示一些實施例中採用自注意力機制的注意力層ALself的內部結構示意圖。在一些實際情況下，具有自注意力機制的注意力層ALself可以用在注意力層SA1、注意力層SA2與編碼器至解碼器注意力層EDA中的至少一個(或每一個)中。在一些實施例中，注意力層ALself是由第1圖所示的處理器130所執行的程式指令實現。
值得注意的是，上述實施例雖採用一個編碼器模組EM以及一個解碼器模組DM，然而，在實際應用上，是可以採用更多個編碼器模組EM以及更多個解碼器模組DM。
如第3圖所示，採用自注意力機制的注意力層ALself包含映射層L1和softmax函式層L2。
採用自注意力機制的注意力層ALself允許一個標記關注整個序列當中所有其他標記，並結合其他標記的資訊。對應於輸入向量序列的輸入矩陣M IN的映射層L1分別通過三個線性映射(應用三個可學習權重W Q、W K和W V)處理以分別送出查詢向量(query vector)、關鍵向量(key vector)以及數值向量(value vector)。
在一些實施例中，輸入矩陣M IN的維度為 ，其中 為輸入向量序列INseq1的序列長度， 為輸入向量序列INseq1中特徵向量的維度值。例如，當輸入向量序列INseq1包含2048個行陣列，並且輸入向量序列INseq1中的每個行陣列都映射到一個100維向量表示式時，輸入矩陣M IN將是一個 2048x100矩陣(n=2048, d=100)。由於平行化處理的原因，映射層L1產生的查詢向量將被打包成一個 維度的查詢矩陣Q。相似地，關鍵向量和數值向量分別被打包到具有 維度的關鍵矩陣K以及具有 維度的數值矩陣V。
採用自注意力機制的注意力層ALself所產生的輸出矩陣M OUT定義為。 …方程式(1)
在方程式(1)當中，注意力矩陣QK T為查詢矩陣Q以及關鍵矩陣K的轉置關鍵矩陣K T之間的乘積。注意力矩陣QK T保存了所有配對標記之間的注意值，並將整個序列的所有標記彼此關聯起來。注意力矩陣QK T除以縮放因子 ，並傳遞到softmax函式層L2。softmax函式層L2的輸出為 表示查詢向量與所有關鍵向量之間的全部注意力權重，softmax函式層L2的輸出與數值矩陣 V線性組合而產生輸出矩陣M OUT。
在上述產生輸出矩陣M OUT的計算過程中，softmax函式層L2是根據注意力矩陣QK T計算的。在這種情況下，查詢矩陣Q是一個 維度的矩陣；關鍵矩陣K的轉置關鍵矩陣K T為 維度的矩陣；因此注意力矩陣QK T是一個 維度的矩陣。
進一步參閱第4圖，其是根據本揭示一些實施例中基於轉換器的雙向編碼器表示模型BERTM的內部結構示意圖。如第4圖所示，基於轉換器的雙向編碼器表示模型BERTM包括編碼器模組EM以及全連接前饋神經網路FFN3~FFN4。
在一些實施例中，編碼器EM包含於上述轉換器模型TM中，在此可先利用基於轉換器的雙向編碼器表示模型BERTM對編碼器模組EM進行預訓練。在一些實施例中，編碼器模組EM用以根據輸入向量序列INseq2產生編碼表示式。值得注意的是，同樣可採用下述第6圖中產生多個第一頻譜陣列的方法產生輸入向量序列INseq2。
在一些實施例中，全連接前饋神經網路FFN3~FFN4互相串接，全連接前饋神經網路FFN3與編碼器模組EM耦接。在一些實施例中，根據編碼器模組EM所產生的輸出矩陣，全連接前饋神經網路FFN3~FFN4據以產生輸出向量序列OUTseq2。在一些實施例中，基於轉換器的雙向編碼器表示模型BERTM可對在輸出向量序列OUTseq2中與上述插入的行陣列對應的陣列進行損失函數(loss function)計算以完成對編碼器模組EM的預訓練。
進一步參閱第5圖，其是本揭示的資料處理方法的流程圖。第1圖所示的資料處理裝置100可用以執行第5圖中的資料處理方法中的所有步驟。
如第5圖所示，首先，於步驟S510中，運行轉換器模型，並對光體積描記資料進行短時距傅立葉轉換(short-term Fourier transform, STFT)以產生第一時頻矩陣(spectrogram matrix)。詳細而言，處理器對光體積描記資料進行短時距傅立葉轉換以產生第一時頻矩陣，第一時頻矩陣中的多個行分別對應於多個時間片段，第一時頻矩陣中的多個行的各者包括於對應的時間片段上的多個頻率分量。換言之，一個行對應於一個時間片段，且一個行中的一個元素對應於一個頻率。
在一些實施例中，處理器可對光體積描記資料進行訊號預處理，以對處理後的光體積描記資料進行短時距傅立葉轉換。在一些實施例中，訊號預處裡包括帶通濾波(bandpass filter)處理、Z分數正規化(Z-score normalization)處理、光體積描記圖的波峰以及波谷檢測(peak and foot detection)、訊號分割(signal segmentation)處理、異常波型移除(abnormal waveform removal)處理以及再取樣(resampling)處理。
在一些實施例中，轉換器模型中的編碼器模組用以輸入多個第一頻譜陣列。在一些實施例中，第一時頻矩陣中的多個行中的各者包括分別與多個頻率對應的多個複數(complex number)。
於步驟S520中，對第一時頻矩陣進行數值拆分處理以產生第一頻譜矩陣，其中第一頻譜矩陣包括由左至右依序排列的多個第一頻譜陣列。在一些實施例中，數值拆分處理包括：由左至右選擇第一時頻矩陣中的多個行中的一者，將多個行中的一者的多個複數拆分為多個實部數值以及多個虛部數值，根據多個實部數值以及多個虛部數值產生實數頻譜陣列以及虛數頻譜陣列，將實數頻譜陣列做為多個行中的一者，在多個行中的一者的右側插入虛數頻譜陣列。
於步驟S530中，將多個第一頻頻譜陣列由左至右輸入轉換器模型以依序產生多個第二頻譜陣列，並根據產生多個第二頻譜陣列的順序將多個第二頻譜陣列轉換為第二頻譜矩陣。在一些實施例中，全連接前饋神經網路用以輸出多個第二頻譜陣列。
於步驟S540中，對第二頻譜矩陣進行數值合併處理以產生第二時頻矩陣。在一些實施例中，數值合併處理包括：由左至右依序選擇第二頻譜矩陣中的兩個行。接著，將選擇的兩個行中靠左的一者的多個數值做為多個複數的實部數值，將選擇的兩個行中靠右的一者的多個數值做為多個複數的虛部數值，其中多個複數分別對應於多個頻率。接著，針對選擇的兩個行，根據多個頻率以及多個複數產生結合頻譜陣列。針對選擇的兩個行，將結合頻譜陣列做為第二頻譜矩陣中的兩個行中靠左的一者，並刪除第二頻譜矩陣中的兩個行中靠右的該一者。
於步驟S550中，對第二時頻矩陣進行反短時距傅立葉轉換(inverse short-term Fourier transform, inverse STFT)以產生動脈血壓(arterial blood pressure, ABP)資料。在一些實施例中，動脈血壓資料用以指示使用者的血壓。
在一些實施例中，可進一步運行基於轉換器的雙向編碼器表示模型，基於轉換器的雙向編碼器表示模型用以執行：將多個第一頻譜陣列中的一者取代為遮罩陣列以產生遮罩頻譜矩陣。將多個第一頻譜陣列中的一者取代為隨機陣列以產生隨機頻譜矩陣。將遮罩頻譜矩陣、隨機頻譜矩陣以及第一頻譜矩陣輸入編碼器模組以預訓練編碼器模組。在一些實施例中，遮罩陣列中的各元素(element)可為相同的實數。在一些實施例中，隨機陣列中的各元素可為任意實數。
值得注意的是，詳細步驟將在以下例子中進一步說明。
進一步參閱第6圖，其是根據本揭示一些實施例中數值拆分處理的示意圖。如第6圖所示，可對光體積描記資料PPG進行短時距傅立葉轉換以產生第一時頻矩陣MAT1，並例如將第一時頻矩陣MAT1切割為11×3的矩陣，其中這些元素都對應到各自的頻率，各元素都取樣出一個複數的數值，例如是0.243+0.012i。接著，取出此元素的實數數值(0.243)以及虛部數值(0.012)，並將此元素的數值設定為實數數值，以及將此元素的右側插入新的元素，其中此元素的數值被設定為虛部數值。藉此，可產生第二頻譜矩陣MAT2，其維度為11×6。
值得注意的是，先前段落所述的數值合併處理就是上述數值拆分處理的反向處理。換言之，就是針對第二頻譜矩陣由左至右將相鄰的兩行合併，兩行中的左行做為實部數值且右行做為虛部數值，以產生一個複數做為左行的數值，進而刪除右行。藉此，進一步產生第二時頻矩陣，並對第二時頻矩陣進行反短時距傅立葉轉換以產生動脈血壓資料。
進一步參閱第7圖，其是根據本揭示一些實施例中執行基於轉換器的雙向編碼器表示模型BERTM的示意圖。如第7圖所示，可將輸入矩陣INmat1中的第4行取代為遮罩陣列(例如，各元素的數值皆為-0.99999)，也可將輸入矩陣INmat1中的第4行取代為隨機陣列(例如，各元素的數值為特定數值範圍中的任意數值)，還可以不對輸入矩陣INmat1進行任何處理。值得注意的是，在實務上，會存在多個輸入矩陣INmat1以對編碼器模組EM進行預訓練，其中這些輸入矩陣INmat1中的15%會被進行特殊處理(例如，100個輸入矩陣INmat1中會有15個輸入矩陣INmat1被進行特殊處理)，而在被進行特殊處理的輸入矩陣INmat1中，有80%會被插入上述遮罩陣列，10%會被插入上述隨機陣列，以及10%會不做任何處理此外，輸入矩陣INmat1中的第1行以及最後1行通常是被分別設定為開始行(例如，所有元素都是-1)以及結束行(例如，所有元素都是1)。輸入矩陣INmat1中的第2行至倒數第2行可以是上述第一頻譜矩陣。
再者，可將輸入矩陣IMmat1中的各行依序輸入至基於轉換器的雙向編碼器表示模型BERTM，其中基於轉換器的雙向編碼器表示模型BERTM包括編碼器模組EM以及全連接前饋神經網路FFN3~FFN4。全連接前饋神經網路FFN4可輸出多個陣列。接著，去除所產生的第1個以及倒數第1個陣列(即，開始陣列以及結束陣列)，將剩餘的陣列依序組合為輸出矩陣OUTmat1。接著，可對輸出矩陣OUTmat1以及輸入矩陣INmat1進行交叉熵(cross entropy)計算以產生損失，並利用此損失對基於轉換器的雙向編碼器表示模型BERTM進行反向傳遞(back propagation)處理以更新編碼器模組EM中的參數，進而完成編碼器模組EM的預訓練。
進一步參閱第8圖，其是根據本揭示一些實施例中訓練轉換器模型TM的示意圖。如第8圖所示，輸入矩陣INmat2中的各行被依序輸入至輸入編碼器模組EM。接著，目標矩陣TARmat中的各行可依序輸入至解碼器模組DM，並經由解碼器模組DM以及全連接前饋神經網路FFN1~FFN2進行處理以從全連接前饋神經網路FFN2依序產生多個陣列。接著，去除最後1個陣列，並將剩餘的陣列依序組合成輸出矩陣OUTmat2。
值得注意的是，輸入矩陣INmat2中的第1行以及最後1行也是被分別設定為開始行(例如，所有元素都是-1)以及結束行(例如，所有元素都是1)。輸入矩陣INmat2中的第2行至倒數第2行可以是上述第一頻譜矩陣。
目標矩陣TARmat中的第1行以及最後1行也是被分別設定為開始行(例如，所有元素都是-1)以及結束行(例如，所有元素都是1)。目標矩陣TARmat中的第2行至倒數第2行可以是一個血壓頻譜矩陣。血壓頻譜矩陣是由目標動脈血壓資料經由訊號預處理以及短時距傅立葉轉換所產生的，其中目標動脈血壓資料用以做為光體積描記資料的基準真相(ground truth)。換言之，目標動脈血壓資料以及光體積描記資料就是預先分別從同一個使用者檢測的(例如，利用血壓計以及智慧型手環對同一個使用者進行檢測)。
再者，可對輸出矩陣OUTmat2以及血壓頻譜矩陣進行均方根誤差(root-mean-square error, RMSE)處理以產生損失，並利用此損失對轉換器模型TM進行反向傳遞處理以更新編碼器模組EM以及解碼器模組DM中的參數，進而完成轉換器模型TM的訓練。
進一步參閱第9圖，其是根據本揭示一些實施例中使用轉換器模型TM的示意圖。如第9圖所示，輸入矩陣INmat3中的各行被依序輸入至編碼器模組EM。接著，一個開始陣列(例如，所有元素都是-1)可被輸入至解碼器模組DM，並經由解碼器模組DM以及全連接前饋神經網路FFN1~FFN2進行處理以從全連接前饋神經網路FFN2產生第1個陣列。接著，所產生的第1個陣列會被輸入至解碼器模組DM，並經由解碼器模組DM以及全連接前饋神經網路FFN1~FFN2進行處理以從全連接前饋神經網路FFN2產生第2個陣列。以此類推，繼續將所產生的第2個陣列輸入至解碼器模組DM，直到全連接前饋神經網路FFN2產生結束陣列(例如，所有元素都是1)為止。接著，去除結束陣列，並根據產生各陣列的時間片段，依序結合這些陣列以產生整個輸出矩陣OUTmat3。
此時，輸入矩陣INmat3中的第1行以及最後1行也是被分別設定為開始行(例如，所有元素都是-1)以及結束行(例如，所有元素都是1)。輸入矩陣INmat3中的第2行至倒數第2行可以是上述第一頻譜矩陣。
最後，可將輸出矩陣OUTmat3中的所有行進行上述數值合併處理以及上述反短時距傅立葉轉換，以產生使用者所需要的動脈血壓資料。
綜上所述，本揭示的資料處理裝置僅需要蒐集使用者的光體積描記資料就能利用轉換器模型產生使用者所需要的動脈血壓資料。因此，這僅僅需要非常簡單且低成本的電路的檢測單元檢測光體積描記資料，就能預測出動脈血壓資料，這將降低直接蒐集使用者的動脈血壓資料所產生的高成本。此外，更可根據使用者的光體積描記資料利用基於轉換器的雙向編碼器表示模型對轉換器模型中的編碼器模組預訓練，這將大大降低轉換器模型的訓練時間以及大大增加轉換資料的準確度。
雖然本揭示的特定實施例已經揭露有關上述實施例，此些實施例不意欲限制本揭示。各種替代及改良可藉由相關領域中的一般技術人員在本揭示中執行而沒有從本揭示的原理及精神背離。因此，本揭示的保護範圍由所附申請專利範圍確定。
100:資料處理裝置 110:檢測單元 120:記憶體 130:處理器 TM:轉換器模型 EM:編碼器模組 DM:解碼器模組 BERTM:基於轉換器的雙向編碼器表示模型 SA1、SA2:注意力層 FF1、FF2:前饋層 EDA:編碼器至解碼器注意力層 FFN1~FFN4:全連接前饋神經網路 INseq1、INseq2:輸入向量序列 OUTseq1、OUTseq2:輸出向量序列 TAR:目標向量序列 ALself:注意力層 L1:映射層 L2:softmax函式層 M IN:輸入矩陣 M OUT:輸出矩陣 W Q:可學習權重 W K:可學習權重 W V:可學習權重 Q:查詢矩陣 K:關鍵矩陣 V:數值矩陣 QK T:注意力矩陣 S510~S550:步驟 MAT1:第一時頻矩陣 MAT2:第二頻譜矩陣 PPG:光體積描記資料 INmat1~INmat3:輸入矩陣 OUTmat~OUTmat3:輸出矩陣 TARmat:目標矩陣
第1圖是本揭示的資料處理裝置的方塊圖。 第2圖是根據本揭示一些實施例中轉換器模型的神經網路架構示意圖。 第3圖是根據本揭示一些實施例中採用自注意力機制的注意力層的內部結構示意圖。 第4圖是根據本揭示一些實施例中基於轉換器的雙向編碼器表示模型的內部結構示意圖。 第5圖是本揭示的資料處理方法的流程圖。 第6圖是根據本揭示一些實施例中數值拆分處理的示意圖。 第7圖是根據本揭示一些實施例中執行基於轉換器的雙向編碼器表示模型的示意圖。 第8圖是根據本揭示一些實施例中訓練轉換器模型的示意圖。 第9圖是根據本揭示一些實施例中使用轉換器模型的示意圖。
S510~S550:步驟

Claims (12)

  1. 一種資料處理裝置，包括： 一檢測單元，用以檢測一光體積描記資料； 一記憶體，用以儲存多個電腦可執行指令；以及 一處理器，耦接該檢測單元以及該記憶體，該處理器用以執行該些電腦可執行指令以運行一轉換器模型，該處理器用以進行下列操作： 對該光體積描記資料進行短時距傅立葉轉換以產生一第一時頻矩陣，其中該第一時頻矩陣中的多個行分別對應於多個時間片段，該第一時頻矩陣中的該些行的各者包括於對應的時間片段上的多個頻率分量； 對該第一時頻矩陣進行數值拆分處理以產生一第一頻譜矩陣，其中該第一頻譜矩陣包括由左至右依序排列的多個第一頻譜陣列； 將該些第一頻頻譜陣列由左至右輸入該轉換器模型以依序產生多個第二頻譜陣列，並根據產生該些第二頻譜陣列的順序將該些第二頻譜陣列轉換為一第二頻譜矩陣； 對該第二頻譜矩陣進行數值合併處理以產生一第二時頻矩陣；以及 對該第二時頻矩陣進行反短時距傅立葉轉換以產生一動脈血壓資料。
  2. 如請求項1所述之資料處理裝置，其中該轉換器模型包括一編碼器模組、一解碼器模組、一第一全連接前饋神經網路以及一第二全連接前饋神經網路，其中 該編碼器模組用以輸入該些第一頻譜陣列，並連接該解碼器模組，該解碼器模組連接該第一全連接前饋神經網路，以及 該第一全連接前饋神經網路連接該第二全連接前饋神經網路，該第二全連接前饋神經網路用以輸出該些第二頻譜陣列，其中該編碼器模組包括多個第一隱藏表示層，且該解碼器模組包括多個第二隱藏表示層。
  3. 如請求項2所述之資料處理裝置，其中該些第一隱藏表示層包括一第一注意力層以及一第一前饋層，且該些第二隱藏表示層包括一第二注意力層、一編碼器至解碼器注意力層以及一第二前饋層。
  4. 如請求項1所述之資料處理裝置，其中該第一時頻矩陣中的該些行中的各者包括分別與該些頻率對應的多個複數，其中該數值拆分處理包括： 由左至右選擇該第一時頻矩陣中的該些行中的一者，將該些行中的該一者的該些複數拆分為多個實部數值以及多個虛部數值，根據該些實部數值以及該些虛部數值產生一實數頻譜陣列以及一虛數頻譜陣列，將該實數頻譜陣列做為該些行中的該一者，在該些行中的該一者的右側插入該虛數頻譜陣列。
  5. 如請求項1所述之資料處理裝置，其中該數值合併處理包括： 由左至右依序選擇該第二頻譜矩陣中的兩個行； 將該選擇的兩個行中靠左的一者的多個數值做為多個複數的實部數值，將該選擇的兩個行中靠右的一者的多個數值做為多個複數的虛部數值，其中該些複數分別對應於該些頻率； 針對該選擇的兩個行，根據該些頻率以及該些複數產生一結合頻譜陣列；以及 針對該選擇的兩個行，將該結合頻譜陣列做為該第二頻譜矩陣中的該兩個行中靠左的該一者，並刪除該第二頻譜矩陣中的該兩個行中靠右的該一者。
  6. 如請求項1所述之資料處理裝置，其中該處理器更運行一基於轉換器的雙向編碼器表示模型，其中該基於轉換器的雙向編碼器表示模型用以執行： 將該些第一頻譜陣列中的一者取代為遮罩陣列以產生一遮罩頻譜矩陣； 將該些第一頻譜陣列中的該一者取代為一隨機陣列以產生一隨機頻譜矩陣；以及 將該遮罩頻譜矩陣、該隨機頻譜矩陣以及該第一頻譜矩陣輸入該轉換器模型中的一編碼器模組以預訓練該編碼器模組。
  7. 如請求項6所述之資料處理裝置，其中該基於轉換器的雙向編碼器表示模型包括一編碼器模組、一第一全連接前饋神經網路以及一第二全連接前饋神經網路。
  8. 一種資料處理方法，包括： 運行一轉換器模型，並對一光體積描記資料進行短時距傅立葉轉換以產生一第一時頻矩陣，其中該第一時頻矩陣中的多個行分別對應於多個時間片段，該第一時頻矩陣中的該些行的各者包括於對應的時間片段上的多個頻率分量； 對該第一時頻矩陣進行數值拆分處理以產生一第一頻譜矩陣，其中該第一頻譜矩陣包括由左至右依序排列的多個第一頻譜陣列； 將該些第一頻頻譜陣列由左至右輸入該轉換器模型以依序產生多個第二頻譜陣列，並根據產生該些第二頻譜陣列的順序將該些第二頻譜陣列轉換為一第二頻譜矩陣； 對該第二頻譜矩陣進行數值合併處理以產生一第二時頻矩陣；以及 對該第二時頻矩陣進行反短時距傅立葉轉換以產生一動脈血壓資料。
  9. 如請求項8所述之資料處理方法，其中該轉換器模型包括一編碼器模組、一解碼器模組、一第一全連接前饋神經網路以及一第二全連接前饋神經網路，其中 該編碼器模組用以輸入該些第一頻譜陣列，並連接該解碼器模組，該解碼器模組連接該第一全連接前饋神經網路，以及 該第一全連接前饋神經網路連接該第二全連接前饋神經網路，該第二全連接前饋神經網路用以輸出該些第二頻譜陣列，其中該編碼器模組包括多個第一隱藏表示層，且該解碼器模組包括多個第二隱藏表示層。
  10. 如請求項8所述之資料處理方法，其中該第一時頻矩陣中的該些行中的各者包括分別與該些頻率對應的多個複數，其中該數值拆分處理包括： 由左至右選擇該第一時頻矩陣中的該些行中的一者，將該些行中的該一者的該些複數拆分為多個實部數值以及多個虛部數值，根據該些實部數值以及該些虛部數值產生一實數頻譜陣列以及一虛數頻譜陣列，將該實數頻譜陣列做為該些行中的該一者，在該些行中的該一者的右側插入該虛數頻譜陣列。
  11. 如請求項8所述之資料處理方法，其中該數值合併處理包括： 由左至右依序選擇該第二頻譜矩陣中的兩個行； 將該選擇的兩個行中靠左的一者的多個數值做為多個複數的實部數值，將該選擇的兩個行中靠右的一者的多個數值做為多個複數的虛部數值，其中該些複數分別對應於該些頻率； 針對該選擇的兩個行，根據該些頻率以及該些複數產生一結合頻譜陣列；以及 針對該選擇的兩個行，將該結合頻譜陣列做為該第二頻譜矩陣中的該兩個行中靠左的該一者，並刪除該第二頻譜矩陣中的該兩個行中靠右的該一者。
  12. 如請求項8所述之資料處理方法，更包括運行一基於轉換器的雙向編碼器表示模型，其中該基於轉換器的雙向編碼器表示模型用以執行： 將該些第一頻譜陣列中的一者取代為遮罩陣列以產生一遮罩頻譜矩陣； 將該些第一頻譜陣列中的該一者取代為一隨機陣列以產生一隨機頻譜矩陣；以及 將該遮罩頻譜矩陣、該隨機頻譜矩陣以及該第一頻譜矩陣輸入該轉換器模型中的一編碼器模組以預訓練該編碼器模組。
TW112117803A 2022-05-13 2023-05-12 資料處理裝置以及方法 TWI833649B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263364628P 2022-05-13 2022-05-13
US63/364,628 2022-05-13

Publications (2)

Publication Number Publication Date
TW202345089A TW202345089A (zh) 2023-11-16
TWI833649B true TWI833649B (zh) 2024-02-21

Family

ID=88700018

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112117803A TWI833649B (zh) 2022-05-13 2023-05-12 資料處理裝置以及方法

Country Status (3)

Country Link
US (1) US20230363651A1 (zh)
CN (1) CN117933310A (zh)
TW (1) TWI833649B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103385702A (zh) * 2013-07-26 2013-11-13 中国科学院深圳先进技术研究院 一种无创血压连续检测装置及方法
CN104739395A (zh) * 2015-03-25 2015-07-01 华中科技大学 一种基于脉搏波的人体血压预测方法
TW201740879A (zh) * 2016-04-02 2017-12-01 英特爾股份有限公司 壓縮感測稀疏取樣光體積變化描述（ｐｐｇ）量測技術
US20190307337A1 (en) * 2014-03-06 2019-10-10 Scanadu Incorporated Methods and apparatus for self-calibrating non-invasive cuffless blood pressure measurements
CN111166312A (zh) * 2018-11-12 2020-05-19 三星电子株式会社 血压测量设备
CN111671412A (zh) * 2017-12-22 2020-09-18 森斯弗里有限公司 连续血压测量
US10869607B2 (en) * 2016-10-20 2020-12-22 Boe Technology Group Co., Ltd. Apparatus and method for determining a blood pressure of a subject
TW202120010A (zh) * 2018-06-11 2021-06-01 當代漢雲企業有限公司 脈診量測裝置及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103385702A (zh) * 2013-07-26 2013-11-13 中国科学院深圳先进技术研究院 一种无创血压连续检测装置及方法
US20190307337A1 (en) * 2014-03-06 2019-10-10 Scanadu Incorporated Methods and apparatus for self-calibrating non-invasive cuffless blood pressure measurements
CN104739395A (zh) * 2015-03-25 2015-07-01 华中科技大学 一种基于脉搏波的人体血压预测方法
TW201740879A (zh) * 2016-04-02 2017-12-01 英特爾股份有限公司 壓縮感測稀疏取樣光體積變化描述（ｐｐｇ）量測技術
US10869607B2 (en) * 2016-10-20 2020-12-22 Boe Technology Group Co., Ltd. Apparatus and method for determining a blood pressure of a subject
CN111671412A (zh) * 2017-12-22 2020-09-18 森斯弗里有限公司 连续血压测量
TW202120010A (zh) * 2018-06-11 2021-06-01 當代漢雲企業有限公司 脈診量測裝置及方法
CN111166312A (zh) * 2018-11-12 2020-05-19 三星电子株式会社 血压测量设备

Also Published As

Publication number Publication date
CN117933310A (zh) 2024-04-26
US20230363651A1 (en) 2023-11-16
TW202345089A (zh) 2023-11-16

Similar Documents

Publication Publication Date Title
CN112668671B (zh) 预训练模型的获取方法和装置
CN111461176B (zh) 基于归一化互信息的多模态融合方法、装置、介质及设备
CN115641543B (zh) 一种多模态抑郁情绪识别方法及装置
Bakhshi et al. CyTex: Transforming speech to textured images for speech emotion recognition
CN112863529B (zh) 基于对抗学习的说话人语音转换方法及相关设备
Mini et al. EEG based direct speech BCI system using a fusion of SMRT and MFCC/LPCC features with ANN classifier
TWI833649B (zh) 資料處理裝置以及方法
Padha et al. QCLR: Quantum-LSTM contrastive learning framework for continuous mental health monitoring
CN111488486A (zh) 一种基于多音源分离的电子音乐分类方法及系统
Chien et al. Continuous-time self-attention in neural differential equation
Liu et al. Multiscale-multichannel feature extraction and classification through one-dimensional convolutional neural network for Speech emotion recognition
Vindas et al. Guided deep embedded clustering regularization for multifeature medical signal classification
Ige et al. Unsupervised feature learning in activity recognition using convolutional denoising autoencoders with squeeze and excitation networks
Bhatia Bi-Modal Deep Neural Network for Gait Emotion Recognition
CN113593600B (zh) 混合语音分离方法和装置、存储介质及电子设备
Mukherjee et al. A Visual Domain Transfer Learning Approach for Heartbeat Sound Classification
Choi et al. Sleep Model: A Sequence Model for Predicting the Next Sleep Stage
Liu et al. Fault diagnosis of plunger pump based on audio signal combined with meta-transfer learning
Zhao et al. Computational music: Analysis of music forms
Li et al. An Intelligent Music Production Technology Based on Generation Confrontation Mechanism
Jadhav et al. Transfer Learning for Audio Waveform to Guitar Chord Spectrograms Using the Convolution Neural Network
Liu et al. Speech emotion recognition system based on wavelet transform and multi-task learning
Al-juaifari et al. A Novel Framework for Future Human Activity Prediction Using Sensor-Based Data.
WO2023035647A1 (zh) 基于可穿戴设备的音乐推荐方法、装置、设备及存储介质
Cheng et al. MaskCAE: Masked Convolutional AutoEncoder via Sensor Data Reconstruction for Self-Supervised Human Activity Recognition