TWI742696B - 多參數生理訊號量測方法 - Google Patents

Abstract

一種多參數生理訊號量測方法，係以一單一熱影像感測器捕捉一受測者的熱影像，再將熱影像輸入一嵌入式平台進行即時影像處理。嵌入式平台先偵測熱影像中的一臉部區域。再將臉部區域分為三個區塊。從一上區塊內的所有像素溫度值中選出一最大值當作受測者的一體溫值。量測一中區塊的一溫度隨時間變化波形，用以做為計算一呼吸率的一訊號來源。並且，量測一下區塊中一特徵點的一垂直位移隨時間變化波形，據以計算一心率值。上述方法在熱影像的解析度較低時，也能以較低的運算量達成即時量測多種生理訊號之目的，且不會影響準確度。

Description

多參數生理訊號量測方法

本發明與一種非接觸式的生理訊號量測方法有關，特別是與一種利用熱影像做為訊號來源以量測多種生理訊號量測的方法有關。

隨著時代的進步，人們更加注重日常生活中的自我健康管理，因而需要即時偵測各種生理訊號，例如：體溫、呼吸率及心率等，以評估生理狀態。目前偵測這些生理訊號的方法可以分為接觸式以及非接觸式偵測方法。

由於接觸式的量測方式必須將量測器具穿戴在身上使其與身體接觸才能進行量測，長期配戴時可能會造成不適或是皮膚過敏等現象。因此，非接觸式的生理訊號量測方法應運而生。

透過非接觸式的方法取得影像來偵測生理訊號可以提供一個舒適的量測環境給使用者。由於許多生理反應表現為臉部各個區域的溫度和/或溫度變化。例如，面部溫度可能有助於確定壓力的大小或過敏反應的程度。此外，面部溫度也可以幫助確定用戶的感覺，例如，用戶是否緊張，平靜或快樂。因此，監視和分析面部溫度對於許多與健康有關和與生活記錄有關的應用可能很有用。通常收集此類數據涉及使用熱成像儀。因此，近幾年來使用熱影像來進行非接觸式生理量測的技術研究越來越熱門，是個具有極大發展潛力的領域。

然而，目前仍還有一些空間能夠加以改進，例如：

（1）習知技術中的量測區域仍是以手動選擇，一旦受測者稍微移動或是變動姿勢便會導致無法量測。

（2）習知技術大多是使用高解析度的熱影像感測器，雖然高解析度的熱影像感測器能提供更完整的熱影像資訊，但其後續訊號處理時的運算量大，並且體積大，價格動輒數十萬至百萬，皆是限制此技術發展的因素。

（3）習知技術大多數是先錄製影片後再進行後續的離線分析，但實際應用中我們需要第一時間得知受測者的生理情形，因此有必要開發一套即時（Real-time）的演算法。

綜上所述，目前的非接觸式生理量測系統需要對人體各部位進行辨識，例如人體辨識或臉部辨識，因此對系統規格需求高，且亦需要耗費時間及大量系統資源對圖像進行辨識。有鑑於上述問題，在生理訊號偵測的準確度可接受的前提下，能有效降低非接觸式偵測系統的運算量，且能即時進行偵測的低系統需求之非接觸式生理量測系統是未來的發展趨勢。

本發明之一目的在於提供一種多參數生理訊號量測方法，其使用低解析度的影像也能達成即時量測生理訊號之目的並達到一定的準度。

為了達到上述目的，本發明提供的多參數生理訊號量測方法，其步驟包括：以一單一熱影像感測器捕捉一受測者的一熱影像，熱影像中的每一像素提供一像素溫度值；將熱影像傳輸至一嵌入式平台，以嵌入式平台運行一演算法對熱影像進行即時的影像處理。該演算法包括：偵測出熱影像中的一臉部區域；將臉部區域分為一上區塊 、一中區塊及一下區塊，其中上區塊包括額頭部位，中區塊包括鼻子部位，下區塊包括下巴部位；從上區塊內的所有像素溫度值中選出一最大值當作受測者的一體溫值；量測中區塊、下區塊或該兩區塊的一溫度隨時間變化波形，用以做為計算一呼吸率的一訊號來源；以及，在下區塊中定義一特徵點，並量測特徵點的一垂直位移隨時間變化波形，據以計算一心率值；最後將體溫值、呼吸率及心率值顯示於一螢幕上。

在一實施例中，上述方法更包括：隨著受測者的臉部移動而追蹤臉部區域中的上區塊、中區塊及下區塊。

在一實施例中，上述方法更包括：從熱影像中選取一肩部區塊；量測肩部區塊以產生受測者的一肩膀移動訊號，用以做為計算呼吸率的另一訊號來源。接著，比對溫度隨時間變化波形及肩膀移動訊號的訊號雜訊比，藉此從兩者中選出其一用以計算呼吸率。

在一實施例中，上述方法更包括：在偵測臉部區域前，先將熱影像通過一模擬運算而產生一模擬影像，使模擬影像的解析度高於熱影像；再以模擬影像進行臉部區域之偵測。

本發明針對低解析度之影像開發一多參數生理訊號量測方法，能夠自動判斷並偵測畫面中臉部特定區域之表面溫度；並同時量測受測者當下之即時的呼吸率與心率。相較習知技術，本發明能夠達到自動化且即時化的連續多生理參數量測。

有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一較佳實施例的詳細說明中，將可清楚的呈現。

圖1是本發明之一實施例的多參數生理訊號量測系統100示意圖。多參數生理訊號量測系統100包括一熱影像感測器120、一嵌入式平台140及一螢幕160。在長期照護之應用環境中，熱影像感測器120可以不間斷地擷取受測者U之熱影像，並將影像資料傳輸至後面的嵌入式平台140。嵌入式平台140即時對影像資料進行相關演算法的計算，以得到體溫、呼吸率與心率等生理參數。最後，在嵌入式平台140中建置一人機圖形化畫面，將得到的體溫、呼吸率與心率等生理參數顯示在螢幕160上。使醫護人員M能透過螢幕160清楚且即時地得知受測者U目前的生理狀況。

本實施例使用的熱影像感測器120主要是由一個熱成像感測模組加上一個相機開發板(breakout board)所組成。熱成像感測模組可以捕捉紅外光輻射，並且輸出一解析度為80x60像素的熱影像。熱影像感測器120的熱靈敏度小於50mK (0.05 °C)；準確度為± 5 °C或± 5％，其每秒幀數(Frame per Second，FPS)為8.7。嵌入式平台140藉由一串列週邊介面(Serial Peripheral Interface，SPI)以及一積體電路匯流排(Inter-Integrated Circuit，I2C)來對熱影像感測器120進行溝通控制並讀取影像資料。

本實施例於嵌入式平台140上開發後續計算體溫、呼吸率與心率等生理參數之演算法，其功能方塊圖如圖2所示。

如圖2，從熱影像感測器120接受到串流影像122後，嵌入式平台140會對串流影像122進行即時的影像處理。後續的影像處理涉及臉部偵測模組142、臉部追蹤模組143、區塊定位模組14A、14B、14C、溫度轉換模組144、溫度變化量測模組145、特徵點位移量測模組146、溫度校正模組147及波型分析模組148及149等功能模組。

在臉部偵測及臉部追蹤之後，以區塊定位模組14A定位一第一感興趣區塊在額頭附近區域，同時以區塊定位模組14B定位一第二感興趣區塊在鼻孔附近區域，並以區塊定位模組14C定位一第三感興趣區塊在下臉部區域。從第一感興趣區塊取得的影像訊號接著以溫度轉換模組144轉換為一原始溫度值，再利用溫度校正模組147對原始溫度值運行一校正公式，以求得一體溫值。以溫度變化量測模組145從第二或第三感興趣區塊取得的影像訊號中取得一溫度隨時間變化波形，再利用波型分析模組148對此溫度變化值運行一波型分析方法，藉此計算呼吸率。以特徵點位移量測模組146從第三感興趣區塊取得的影像訊號中取得臉部區域的特徵點位移變化，並且利用波型分析模組149對此特徵點的位移隨時間變化波形運行一波型分析方法，藉此計算一心率值。

在一實施例中，溫度校正模組147所使用的校正公式是以熱影像感測器120捕捉一預設溫度的黑體爐200的熱影像，而形成一原始資料集210。再將此原始資料集210利用一迴歸分析模組220運行一迴歸方法，再經由一參數調整模組230進行參數調整後所得到。

圖3為本發明之一實施例的臉部偵測模型的訓練過程示意圖。在圖2的實施例中，良好的臉部偵測可以提高後續影像處理的品質。為了維持準確率並降低運算量，本實施例提供了一基於深度學習方法的新模型141，以載入臉部偵測模組142中。模型141是利用MobileNet 模型降低了訓練資料集310的資料量，再以一訓練模組320運行SSD方法(Single-Shot-Multibox Detector)進行訓練後所得到的，其過程涉及了學習權重的微調。

儘管以上述模型141可以使臉部偵測模組142準確的確定每個圖像幀中臉部的位置，但處理時間仍太長，導致每秒幀數(FPS)減少。因此，圖2的實施例添加了一臉部追踪模組143來改善FPS。在一實施例中，臉部追踪模組143可以採用KCF(Kernel correlation filter)演算法來進行臉部追蹤。一旦檢測到臉部，KCF追踪器將可追踪每個圖像幀中的臉部區域。經過臉部偵測和臉部追踪，可以確定連續幀(consecutive frames)中受測者U的臉部位置。

在另一實施例中，臉部追蹤模組143是在已偵測到的臉部區域中定義一特徵點及一感興趣區域ROI，特徵點可以是臉部區域中位於感興趣區域ROI之外的一點；然後，再利用臉部特徵點追蹤的方式使得感興趣區域ROI能夠固定於臉部的某一位置，例如：臉頰或是額頭。換言之，鎖定感興趣區域ROI與特徵點的一相對位置關係，讓此相對位置關係不會隨著臉部移動或身體運動而改變。因此，在感興趣區域ROI隨著人體部位運動的過程中，根據特徵點的位移變化及此相對位置關係，可以追蹤及動態地更新感興趣區域ROI的座標。

此外，在身體運動過程中，透過前述特徵點的追蹤方式可紀錄臉部特徵點的位移變化，例如特徵點的Y軸移動資訊或X軸移動資訊，進行波型分析，以做為計算心率值的訊號來源。關於臉部追蹤及量測特徵點位移變化的相關資料，可參考同一發明人的中華民國專利號I595858「應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法」。

圖4A至圖4D為本發明之一實施例的感興趣區塊的定位方法示意圖，適用於圖2所示的區塊定位模組14A、14B及14C。利用臉部偵測模組142偵測出臉部後，可以得到如圖4A所示之影像。接著，依照下式(1)來代表所偵測的臉部

：

(1)

其中( x,y)代表臉部方框

最左上角的座標點； w為臉部方框

之寬度； h為臉部方框

之長度。

接著將臉部方框

所圍區域平均分為一上區塊RA 、一中區塊RB及一下區塊RC，使得三者寬度皆為 w，高度皆為 h/3，其中上區塊RA包括額頭部位，中區塊RB包括鼻子部位，下區塊RC包括下巴部位，如圖4B所示。

再來根據人體身形比例來進行肩部區塊RD之選取，肩部區塊RD包含肩膀及其以下部位，如圖4C所示。首先獲得臉部寬度之中線CL，並從臉部高度 h以下的中線CL位置向外生成兩塊寬度為w；長度至影像最底部的方框RD1及RD2，此兩方框RD1及RD2組合成肩部區塊RD。

結合圖4B與圖4C之運算結果後，可得到臉部區域內的上、中及下區塊RA、RB、RC以及肩部區域RD，如圖4D所示。

上區塊RA用於後續量測體溫，從上區塊RA內各像素所提供的像素溫度值中選出一最大值當作一體溫值。

中區塊RB和下區塊RC可用於後續量測呼吸，記錄中區塊RB和下區塊RC中所有像素溫度值總和隨著時間的變化，形成一溫度隨時間變化波形，用以做為計算一呼吸率所需的訊號來源。在一較佳實施例中，可進一步利用肩部區塊RD偵測受測者U的肩膀起伏，例如：在肩部區塊RD中定義一或多個特徵點，量測這些特徵點的水平和垂直位移，記錄其水平和垂直位移總和隨著時間的變化，形成一肩膀移動訊號，用以做為計算呼吸率的另一訊號來源。比對中區塊RB所得的溫度隨時間變化波形及肩部區塊RD所得的肩膀移動訊號兩者的訊號雜訊比(Signal-to-noise ratio，縮寫為SNR)，藉此從此兩者中選出其一用以計算呼吸率，藉此提高其準確度。換言之，本實施例的量測呼吸方法是同時判斷臉部下半部的溫度變化和肩膀起伏，即時比對訊號雜訊比(SNR)後輸出訊號較好之呼吸訊號。能有效避免使用者鼻塞、使用嘴巴呼吸、無法偵測到鼻子等實際情況。

下區塊RC用於後續量測心率，在下區塊RC中定義一或多個特徵點，並量測這些特徵點的垂直位移，計算這些垂直位移變化值的總和，並記錄垂直位移總和隨著時間的變化而形成一垂直位移隨時間變化波形，並經由波形分析推算出一心率值。

在定義出感興趣區塊ROI之後，溫度轉換模組144可以利用熱影像感測器120的輸出訊號及以下運算式(2)或(3)求得每幀中的前額溫度T(以攝氏度為單位)。

(2) T= a S+b                                                (3)

T是測得的皮膚溫度，單位為攝氏溫度；S表示熱影像感測器120的輸出訊號，a和b為校正後的係數。

附帶一提的是，由於熱影像感測器120的原始輸出訊號是不穩定的14位元像素值，而不是實際溫度值。因此，為了獲得準確人體溫度，首先要在此熱影像感測器120上進行輻射度校準，以獲得上述運算式(2)或(3)。

在一實施例中，臉部偵測模組142在偵測臉部之前，先將熱影像通過一模擬運算而產生一模擬影像，使模擬影像的解析度高於熱影像，例如：利用線性補值的概念，以雙線性內插法將影像的解析度放大而形成模擬影像，再以模擬影像來進行臉部偵測以及後續的感興趣區塊的定位及溫度、特徵點位移量測。

綜上所述，本發明開發一個基於熱影像感測器的非接觸式溫度及臉部移動訊號監控系統，結合深度學習、熱影像感測器校正與嵌入式平台的軟硬體開發等技術，並建置一人機圖形化介面，將得到的體溫、心率與呼吸率等生理參數顯示在螢幕上，使醫護人員能透過螢幕清楚且即時地得知受測者目前的生理狀況。

與習知技術相比較，本發明適用於一低成本(≈USD 240)、低解析度(80×60)的熱影像感測器，將其捕捉到的低解析度熱影像當作影像來源，開發一演算法來自動判斷並偵測低解析度熱影像中臉部特定區域之表面溫度及身體移動等多種生理訊號，能夠同時對體溫、呼吸率、心率等多項生理參數進行自動化且即時化的連續量測。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。

100:多參數生理訊號量測系統

120:熱影像感測器

122:串流影像

140:嵌入式平台

141:模型

142:臉部偵測模組

143:臉部追蹤模組

14A、14B、14C:區塊定位模組

144:溫度轉換模組

145:溫度變化量測模組

146:特徵點位移量測模組

147:溫度校正模組

148、149:波型分析模組

160:螢幕

200:黑體爐

210:原始資料集

220:迴歸分析模組

230:參數調整模組

310:訓練資料集

320:訓練模組

CL:臉部寬度之中線

M:醫護人員

RA:上區塊

RB:中區塊

RC:下區塊

RD:肩部區塊

RD1、RD2:方框

ROI:感興趣區塊

U:受測者

圖1是本發明之一實施例的多參數生理訊號量測系統示意圖。

圖2為本發明之一實施例的嵌入式平台功能方塊圖。

圖3為本發明之一實施例的臉部偵測模型的訓練過程示意圖。

圖4A至圖4D為本發明之一實施例的感興趣區塊的定位方法示意圖。

120:熱影像感測器

122:串流影像

140:嵌入式平台

141:模型

142:臉部偵測模組

143:臉部追蹤模組

14A、14B、14C:區塊定位模組

144:溫度轉換模組

145:溫度變化量測模組

146:特徵點位移量測模組

147:溫度校正模組

148、149:波型分析模組

200:黑體爐

210:原始資料集

220:迴歸分析模組

230:參數調整模組

Claims (6)

1. 一種多參數生理訊號量測方法，包括：以一單一熱影像感測器捕捉一受測者的一熱影像，該熱影像包括複數像素，該等像素具有對應的複數像素值；將該熱影像傳輸至一嵌入式平台，以該嵌入式平台運行一演算法對該熱影像進行即時的影像處理，該演算法包括：偵測出該熱影像中的一臉部區域；將該臉部區域分為，其中該上區塊包括額頭部位，該中區塊包括鼻子部位，該下區塊包括下巴部位；將該上區塊、該中區塊及該下區塊中的該等像素所對應的該等像素值轉換為複數像素溫度值；從該上區塊的該等像素溫度值中選出一最大值當作該受測者的一體溫值；以及從該中區塊、該下區塊及其組合所構成的群組中選出一感興趣區塊，量測該感興趣區塊的一溫度隨時間變化波形，用以做為計算一呼吸率的一訊號來源；以及將該體溫值及該呼吸率顯示於一螢幕上。
2. 如請求項1所述的多參數生理訊號量測方法，更包括：隨著該受測者的臉部移動而追蹤該臉部區域中的該上區塊、該中區塊及該下區塊。
3. 如請求項1所述的多參數生理訊號量測方法，更包括： 從該熱影像中選取一肩部區塊；以及量測該肩部區塊以產生該受測者的一肩膀移動訊號，用以做為計算該呼吸率的另一訊號來源。
4. 如請求項3所述的多參數生理訊號量測方法，更包括：比對該溫度隨時間變化波形及該肩膀移動訊號的訊號雜訊比，藉此從該兩者中選出其一用以計算該呼吸率。
5. 如請求項1所述的多參數生理訊號量測方法，更包括：將該熱影像通過一模擬運算而產生一模擬影像，使該模擬影像的解析度高於該熱影像；以及以該模擬影像進行該臉部區域之偵測。
6. 如請求項1所述的多參數生理訊號量測方法，其中該演算法包括：在該下區塊中定義一特徵點，並量測該特徵點的一垂直位移隨時間變化波形，據以計算一心率值；以及將該體溫值、該呼吸率及該心率值顯示於該螢幕上。

Images