TWI652040B - 非接觸式活體辨識方法 - Google Patents

Abstract

本發明為一種非接觸式活體辨識方法。該方法從一受測者的一影像中選擇不同的一第一皮膚區域及一第二皮膚區域；利用一微處理器由第一皮膚區域中擷取一第一生理訊號，並由第二皮膚區域中擷取一第二生理訊號；再對第一生理訊號及第二生理訊號執行一互相關計算，以產生一結果波形；利用結果波形來將第一生理訊號及第二生理訊號兩者週期變化的相似程度予以量化；以及根據量化後的相似程度來判斷該受測者是否為一活體。上述方法可以在智慧型手機上實現，以供醫護人員能簡單、快速且正確的辨識病患是否處於的存活狀態，而能儘早進行搶救。

Description

非接觸式活體辨識方法

本發明與一種辨識生命體存活狀態的方法有關，特別是與一種利用隨身裝置以非接觸式的生命徵象檢測來辨識活體的方法有關。

「到院前心肺功能停止(Out Of Hospital Cardiac Arrest, OHCA)」患者的緊急處理是現今公共衛生安全主要面臨的問題之一。對於OHCA患者，若是能儘早進行搶救，並隨時監測其生命徵象，可以有效地提高OHCA患者的存活率。

常見的生命徵象量測方法是藉由專業的醫療儀器量測人體的心電圖(Electrocardiography，ECG)與光體積變化描記圖 (Photoplethysmography，PPG)。然而，習知的醫療儀器除了醫院之外，在戶外皆不易取得。不僅如此，即便在室外擁有這些醫療儀器，沒有受過專業訓練的一般民眾也不易操作。再者，習知的醫療儀器在使用時需與人體藉由導線相連，量測期間除了易受環境、空間限制外，裝置配戴上也需要花費不少時間。

而現實生活中，在沒有上述醫療儀器的輔助下，一般是以手觸摸病患的頸動脈來分辨其脈動是否已停止。但是，一般大眾採用此分辨方法的辨識正確率不到50%；即使是專業的醫療人員，也無法快速並有自信地回答判斷結果。

因此，開發大眾能使用的非接觸式檢測方法是有必要的。習知的非接觸式活體辨識技術包括中華民國專利公開第200741559號、第201033907號，以及第201445456號等。專利公開第200741559號採用背景比對方式，利用空背景做為場景中的基準影像，將其與待測影片進行比較，以檢視待測影片中是否出現不必要的背景，進而辨識出待測影片中的物體是活體或非活體。專利公開第201033907號是一種生物特徵辨識方法，需要偵測待測物體是否有特定動作，例如眼珠運動、嘴巴運動，來辨識待測影片中的物件為活體或非活體。專利公開第201445456號則是一種活體人臉識別通關機制，將人臉影像經過一亂度正規化計算後判斷是否通過預設的閾值，即可辨識待測物體是否為活體。

然而，專利公開第200741559號需要預先記錄空背景才能進行活體物件辨別，專利公開第201033907號需要符合指定動作才可通過辨識，在實際應用上皆有許多限制，造成使用上的不便。專利公開第201445456號與其他相關研究文獻的方法較為相似，但這種方法的計算複雜度較高，難以實際應用在一般的日常生活中。

有鑑於此，本案發明人希望開發一套方便有效的非接觸式活體辨識方法，並將此方法實現於智慧型手機中，不僅可提供一般大眾一個可隨身攜帶、即時使用的生命徵象偵測器，還可快速正確地判斷病危者的存活狀態，增加高階救護隊派遣的正確率。

本發明之一目的在於提供一種非接觸式活體辨識方法，其可利用智慧型手機來實現，能快速正確地判斷一受測者是活體或非活體，並且適用於遠距監測。

為了達到上述目的，本發明提供一種非接觸式活體辨識方法，包括：提供一攝影裝置，用以捕捉一受測者的一影像；從影像中選擇不同的一第一皮膚區域及一第二皮膚區域；利用一微處理器由第一皮膚區域中擷取一第一生理訊號，並由第二皮膚區域中擷取一第二生理訊號，其中第一生理訊號及第二生理訊號皆為光體積變化描記圖訊號，其包括膚色資訊及脈博訊號；以微處理器對第一生理訊號及第二生理訊號執行一互相關計算，以產生一結果波形：利用結果波形來將第一生理訊號及第二生理訊號兩者週期變化的相似程度予以量化；以及根據量化後的相似程度來判斷受測者是否為一活體。

在一實施例中，上述的方法更包括：依據第一生理訊號及第二生理訊號所含的膚色資訊判斷受測者的膚色深淺；並且，依據膚色深淺的判斷結果，決定是否需要提供一額外光源來照射受測者。

在一實施例中，上述的方法更包括：在執行互相關計算之前，讓第一生理訊號及第二生理訊號通過一帶通濾波器，來隔離脈搏頻率範圍以外的訊號；在通過帶通濾波器之後，再對第一生理訊號及第二生理訊號進行一綠紅差值演算法，以提升脈搏頻率範圍內的訊號之顯著性；以及，以一卡爾曼濾波器將綠紅差值演算法處理後的第一生理訊號及第二生理訊號平滑化。

在一實施例中，上述結果波形與一零軸相交於複數過零點，每兩相鄰過零點之間具有一時間間距，其中的量化步驟包括：提供一活體訊號閾值；以微處理器計算這些時間間距的一標準差；以及將標準差與活體訊號閾值相比較以得到一辨識結果。

在一實施例中，上述的方法是以一軟體形式安裝於一隨身裝置中，其步驟更包括：量測該隨身裝置之一持有者的一手部晃動訊號；設定關於手部晃動程度的一臨界值；比較手部晃動訊號與臨界值的大小；若手部晃動訊號超過臨界值，則跳出一警示視窗並要求重新進行活體辨識。

本發明透過量測同一個受試者但擷取兩不同皮膚區域的兩生理訊號經演算法處理後，將兩者週期變化的相似程度予以量化做為辨識活體的依據。本發明的方法可以在智慧型手機上實現，以供醫護人員能簡單、快速且正確的辨識一受測者是否處於存活狀態，而能儘早進行搶救。

有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一較佳實施例的詳細說明中，將可清楚的呈現。以下實施例中所提到的方向用語，例如：上、下、左、右、前或後等，僅是用於參照隨附圖式的方向。因此，該等方向用語僅是用於說明並非是用於限制本發明。

圖1為本發明之一實施例的非接觸式活體辨識方法流程示意圖。此非接觸式活體辨識方法是在一智慧型隨身裝置中實現，其步驟包括：捕捉影像(步驟S10)、選擇訊號擷取區域(步驟S20)、訊號處理(步驟S30)、活體訊號辨識演算法(步驟S40)、手部晃動程度判斷(步驟S50)，以及輸出辨識結果(步驟S60)等，詳細說明如下。

捕捉影像的步驟S10是利用一般市售的攝影裝置或是手機內建的攝影裝置捕捉一影像，用以取得人體皮膚隨著心臟的搏動在環境光源照射下因吸收與反射所產生的亮暗變化訊號。

選擇訊號擷取區域的步驟S20是以攝影裝置從影像中選擇臉部位置(S21)；再從臉部位置選出不同的一第一皮膚區域及一第二皮膚區域做為訊號擷取區域(S22)。在一較佳實施例中，第一皮膚區域及第二皮膚區域可從臉頰兩側或鼻子等區域選出，因這些區域較不會受到頭髮瀏海的擾動、眉毛抖動、眨眼，以及嘴巴說話等動作所產生的雜訊干擾，因此可以擷取到品質較佳的訊號。

訊號處理的步驟S30包含訊號擷取(步驟S31)及去除雜訊(步驟S32至S34)等訊號處理流程。首先，利用一微處理器由第一皮膚區域中擷取一第一生理訊號S1，並由第二皮膚區域中擷取一第二生理訊號S2 (步驟S31)。第一生理訊號S1及第二生理訊號S2可以是兩不同的光體積變化描記圖訊號(Photoplethysmography ，PPG)，或是兩不同的遠距光體積變化描記圖訊號(Remote photoplethysmography ，rPPG)。以rPPG訊號為例，其主要是透過攝影機捕捉環境光在人體上經皮膚或其他周圍組織吸收/反射的光源變化所推算出來的生理訊號。因此，rPPG訊號包含膚色資訊及脈博訊號。為方便說明，在下文中，將第一生理訊號S1亦稱為「rPPG訊號S1」，第二生理訊號S2亦稱為「rPPG訊號S2」。

由於人體的rPPG訊號S1及S2非常微小且易受雜訊污染，因此需將其中的雜訊隔離，以獲得有效的脈搏訊號。這些雜訊可能包括膚色影響、光源變化，或身體晃動產生的移動雜訊等，而本實施例所要克服的雜訊主要是膚色影響與移動雜訊。

在膚色影響方面，若受測者的膚色較黝黑則會直接影響rPPG訊號S1及S2的強度與穩定性。為提升並穩定rPPG訊號S1及S2的品質，本實施例在將rPPG訊號S1及S2擷取出來(步驟S31)之後，提供一膚色分類流程來判斷是否需要提供額外光源來照射受測者(步驟S32)，以降低膚色對後續步驟的影響。

膚色分類流程的詳細步驟如圖2所示。首先將兩rPPG訊號S1及S2(步驟S321) 分別輸入執行膚色分類流程的微處理器中。接著將兩rPPG訊號S1及S2中的膚色資訊依顏色深淺進行分類(步驟S322)。在一實施例中，步驟S322可採用 「A. Treesirichod et al., "Digital Photographic RGB Scores used for the Evaluation of Skin Color," Indian Journal of Clinical and Experimental Dermatology, vol. 1, pp. 17-20, 2015」所提出的膚色分類方法。接著，以膚色分類結果Sc與一設定的顏色閾值Th1進行比較(步驟S323)。當膚色分類結果Sc小於顏色閾值Th1時，即表示受測者被判斷為膚色較深者，此時提供額外光源(步驟S324) 對受測者打光來增強其皮膚吸收/反射訊號的變化強度，進而獲得穩定地rPPG訊號S1及S2。在一實施例中，額外光源可以透過控制智慧型手機中的閃光燈來提供。

在移動雜訊方面，如圖1的步驟S33，本實施例是讓兩rPPG訊號S1及S2分別通過一帶通濾波器來隔離脈搏頻率範圍以外的訊號。接著，再對帶通濾波器輸出的兩rPPG訊號S1’及S2’分別進行一綠紅差值演算法，以提升rPPG訊號S1’及S2’中的脈博訊號的顯著性。關於綠紅差值演算法的具體說明可參考「L. Feng et al, "Motion-resistant remote imaging photoplethysmography based on the optical properties of skin," IEEE trans. on Circuits and System for Video Technology, vol. 25, no. 5, pp. 879-891, 2015.」。

最後，使用一卡爾曼濾波器將綠紅差值演算法所輸出的rPPG訊號S1’及S2’平滑化(步驟S34)。如此，不僅能提升rPPG訊號S1’及S2’的穩定性，也利於後續的活體訊號辨識演算法(步驟S40)的分析。

請參考圖3，為活體訊號辨識演算法(步驟S40)的細部流程圖。將平滑化後的rPPG訊號S1”及S2”輸入執行活體訊號辨識演算法的微處理器(步驟S41)，並對rPPG訊號S1”及S2”執行一互相關計算(Cross-correlation)以產生一結果波形(步驟S42)。互相關計算之後可能得到的兩種結果波形W1及W2分別如圖3A及圖3B所示。接著，再對結果波形W1(或W2)進行一過零率檢測(Zero-crossing)以獲得複數過零點P(步驟S43)，之後計算每兩相鄰過零點P之間的時間間距T1(或T2)，並且計算這些時間間距T1(或T2)的標準差 (Zero-crossing standard deviation)，再將此標準差 與一活體訊號閾值Th2相比較以得到一辨識結果R1或R2(步驟S44)。

上述的互相關計算步驟S42、過零率檢測步驟S43及比較步驟S44是活體訊號辨識演算法(步驟S40)的核心步驟。透過這些核心步驟S42~S44，即可利用結果波形W1(或W2)來將rPPG訊號S1”及S2”兩者週期變化的相似程度或差異程度予以量化。再根據量化後的相似程度或差異程度來判斷受測者是否為一活體，並輸出辨識結果R1或R2(步驟S60)。這些核心步驟S42~S44分別詳述如下。

由於同一活體受測者其全身脈博訊號在短時間內所呈現的週期性變化具有一致性，因此本發明取用同一活體受測者的兩個不同皮膚區域中的rPPG訊號S1”及S2”作互相關計算(步驟S42)，而獲得兩rPPG訊號S1”及S2”之間的相關性。

請參考圖3A及圖3B，若兩rPPG訊號S1”及S2”來自同一活體受測者，則此兩rPPG訊號S1”及S2”經過互相關計算(步驟S42)後的結果波形W1會呈現如圖3A的特定週期變化。反之，若來自非活體受測者，例如假人或人臉圖片等，則其不同皮膚區域的rPPG訊號S1”及S2”經互相關計算後的結果波形W2會呈現如圖3B的雜訊特性。由圖3A及圖3B可以明顯看出從活體與非活體所取得的生理訊號存在顯著的差異性。從圖3A及圖3B中可以明顯看出，圖3A的結果波形W1其變化較為有規則，兩相鄰過零點P之間的時間間距T1較相近；但圖3B相較於圖3A的訊號而言，其結果波形W2的變化顯得較為雜亂，兩相鄰過零點P之間的時間間距T2較不相同。

經過互相關計算(步驟S42)後，可以有效地得知兩rPPG訊號S1”及S2”之間的相關性，之後利用再過零率檢測(步驟S43)來將結果波形W1(或W2)上的每兩相鄰過零點P之間的時間間距T1(或T2)予以量化，用以判定此結果波形W1(或W2)是否存在著活體才有的週期性脈動，並藉此實現活體/非活體訊號的判斷。過零率檢測是計算結果波形W1(或W2)在零軸Z上變化的特徵，其主要的步驟包括：搜尋結果波形W1(或W2)在零軸Z上由正轉負、以及負轉正的位置；接著，標記這些位置以獲得基本的過零點P，再計算每兩相鄰過零點P之間的時間間距T1(或T2)。

如步驟S44，量測一正常人的生理訊號，並利用上述的互相關計算與過零率檢測擷取出正常人的活體組織的rPPG訊號特徵，以獲得訓練資料(Training data)，再透過訓練資料的波形特性歸納出一活體訊號閾值Th2。如此，可以準確執行活體皮膚訊號的辨識。接著，利用微處理器進行互相關計算與過零率檢測，並計算其結果波形W1(或W2)中每兩相鄰的過零點P之間時間間距T1(或T2)之標準差 ，將算出的標準差 與所設定的活體訊號閾值Th2比較以得到一辨識結果R1或R2。圖3中的辨識結果R2表示當標準差 小於設定的活體訊號閾值Th2時，代表rPPG訊號S1及S2兩者週期變化的相似程度高，因此認定兩rPPG訊號S1及S2為活體訊號。反之，辨識結果R1表示兩rPPG訊號S1及S2被認定為非活體訊號。若兩rPPG訊號S1及S2為活體訊號時(辨識結果R2)，則進行一心率值的計算(步驟S45)。

如圖1的步驟S50，在一實施例中，為確保上述活體辨識方法的有效性，本發明的方法可增加一手部晃動程度判斷流程，自動地對當下使用此應用程式的操作者進行手部晃動檢測，其詳細步驟如圖4所示。首先需提供一重力感測器(步驟S51)，例如智慧型手機中內建的重力感測器(G-Sensor)，再利用此重力感測器測得智慧型手機之持有者的一手部晃動訊號STr (Tremor signal) (步驟S52)。接著，設定與手部晃動程度相關的一臨界值Th3，並將手部晃動訊號STr與臨界值Th3進行比較(步驟S53)。在辨識過程中，若手部晃動訊號STr超出臨界值Th3，即表示手部晃動過於頻繁、異常，此時會在操作介面中跳出一警示視窗並要求重新進行活體辨識(步驟S54) ，以確保其辨識結果的準確性。反之，若辨識過程中手部晃動訊號STr未超過臨界值Th3，則可認定本次量測的手部晃動程度相當平穩、正常，可直接在操作介面中顯示其辨識結果(步驟S60)。

在另一實施例中，手部晃動程度判斷流程(步驟S50)不限定要接在步驟S40之後。在非接觸式活體辨識方法的任一階段皆可導入此一手部晃動程度判斷流程。

在一較簡化的實施例中，即使省略圖1所示的膚色深淺判斷(步驟S32)及手部晃動程度判斷(步驟S50)，仍可達到辨識活體的基本功能。

本實施例與習知技術比較，主要的差異點除了活體訊號辨識演算法之外，還有rPPG訊號的擷取方法。在活體訊號辨識演算法方面，由於活體訊號與非活體訊號之間最大的不同在於其rPPG訊號週期變化的相似程度，因此本發明透過量測同一個受試者但擷取兩不同皮膚區域的兩rPPG訊號經演算法處理後，將兩者週期變化的相似程度予以量化做為辨識活體的依據。在rPPG訊號的擷取方面，值得注意的是，本發明至少需使用兩個不同的皮膚區域(region of interest, ROI)來擷取rPPG訊號做後續的判斷與分析。本發明的方法可以在智慧型手機上實現，以供醫護人員能簡單、快速且正確的辨識一受測者是否處於的存活狀態，而能儘早進行搶救。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。

S10~S60‧‧‧非接觸式活體辨識方法的步驟

S21~S22‧‧‧選擇訊號擷取區域的步驟

S31~S34‧‧‧訊號處理的步驟

S321~S324‧‧‧膚色分類流程的步驟

S41~S45‧‧‧活體訊號辨識演算法的步驟

S51~S54‧‧‧手部晃動程度判斷步驟

P‧‧‧過零點

R1,R2‧‧‧辨識結果

S1‧‧‧第一生理訊號 (rPPG訊號S1)

S2‧‧‧第二生理訊號 (rPPG訊號S2)

S1’,S2’‧‧‧帶通濾波器及綠紅差值演算法輸出的rPPG訊號

S1”,S2”‧‧‧平滑化後的rPPG訊號

Sc‧‧‧膚色分類結果

STr‧‧‧手部晃動訊號

T1,T2‧‧‧每兩相鄰過零點之間的時間間距

Th1‧‧‧顏色閾值

Th2‧‧‧活體訊號閾值

Th3‧‧‧手部晃動程度的臨界值

W1,W2‧‧‧互相關計算後的結果波形

Z‧‧‧零軸

‧‧‧每兩相鄰過零點之時間間距的標準差

圖1是本發明之一實施例的非接觸式活體辨識方法流程示意圖。

圖2是本發明之一實施例的膚色分類流程示意圖。

圖3是本發明之一實施例的活體訊號辨識演算法流程示意圖。

圖3A是本發明之一實施例的活體受測者的生理訊號經互相關計算的結果波形示意圖。

圖3B是本發明之一實施例的非活體受測者的生理訊號經互相關計算的結果波形示意圖。

圖4是本發明之一實施例的手部晃動程度判斷流程示意圖。

無

無

Claims (6)

1. 一種非接觸式活體辨識方法，包括： 提供一攝影裝置，用以捕捉一受測者的一影像； 以該攝影裝置從該影像中選擇不同的一第一皮膚區域及一第二皮膚區域； 利用一微處理器由該第一皮膚區域中擷取一第一生理訊號，並由該第二皮膚區域中擷取一第二生理訊號； 以該微處理器對該第一生理訊號及該第二生理訊號執行一互相關計算，以產生一結果波形： 利用該結果波形將該第一生理訊號及該第二生理訊號兩者週期變化的相似程度予以量化；以及 根據量化後的該相似程度來判斷該受測者是否為一活體。
2. 如申請專利範圍第1項所述的非接觸式活體辨識方法，其中該第一生理訊號及該第二生理訊號皆包括膚色資訊，該方法更包括： 將該第一生理訊號及該第二生理訊號所含的膚色資訊依顏色深淺進行分類，以判斷該受測者的膚色深淺；以及 依據膚色深淺的判斷結果，決定是否需要提供一額外光源來照射該受測者。
3. 如申請專利範圍第1項所述的非接觸式活體辨識方法，更包括： 在執行該互相關計算之前，讓該第一生理訊號及該第二生理訊號通過一帶通濾波器； 通過該帶通濾波器之後，再對該第一生理訊號及該第二生理訊號進行一綠紅差值演算法；以及 以一卡爾曼濾波器將經過該綠紅差值演算法處理後的該第一生理訊號及該第二生理訊號平滑化。
4. 如申請專利範圍第1項所述的非接觸式活體辨識方法，其中該結果波形與一零軸相交於複數過零點，每兩相鄰過零點之間具有一時間間距，其中該量化步驟包括： 提供一活體訊號閾值； 以該微處理器計算該等時間間距的一標準差；以及 將該標準差與該活體訊號閾值相比較以得到一辨識結果。
5. 如申請專利範圍第1項所述的非接觸式活體辨識方法，係以一軟體形式安裝於一隨身裝置中，該方法更包括： 量測該隨身裝置之一持有者的一手部晃動訊號； 設定關於手部晃動程度的一臨界值； 比較該手部晃動訊號與該臨界值的大小；以及 若該手部晃動訊號超過該臨界值，則跳出一警示視窗並要求重新進行活體辨識。
6. 如申請專利範圍第1項所述的非接觸式活體辨識方法，其中該第一生理訊號及該第二生理訊號皆為光體積變化描記圖訊號。