TWI577338B - 基於影像為基礎之即時呼吸率量測技術之方法 - Google Patents

Description

基於影像為基礎之即時呼吸率量測技術之方法

本發明係有關一種基於影像為基礎之即時呼吸率量測技術之方法，其將說明此呼吸即時偵測系統的方法流程，且於實驗結果部分，我們將討論四大類型的呼吸型態，其中包含使用者晃動之幅度和速度、呼吸的種類、使用者的姿勢和裝置可量測的距離。

在臨床醫學上，睡眠呼吸中止症主要可分為兩大類，分別是阻塞型睡眠呼吸中止症、中樞型睡眠呼吸中止症。在一般臨床醫學中，約有4%的中年男性與2%的中年女性睡眠呼吸中止的症狀[A. Malhotra and D.P White,“ Obstructive sleep apnoea,” Lancet, vol. 360,pp. 237–245, July 2002.]，而其中高達85%-90%以上為阻塞型睡眠呼吸中止症，因此以阻塞型睡眠中止症佔呼吸中止症狀比例最高。阻塞型睡眠呼吸中止症是指在睡眠的過程中引發的間歇性呼吸暫止的情況，其發生的原因多半由於過多的脂肪組織、肌肉鬆弛、扁桃腺肥大、咽部狹窄、鼻道不適，口咽部肌肉張力異常等因素，使原本狹窄的氣道關閉而氣流阻塞，影響呼吸氣流的暢通，使氧氣不易進入肺部，而造成呼吸中止症的現象，因此病患都常以複雜且穿戴式的裝備來觀察及治療此症狀。

近年來，睡眠呼吸中止症逐漸受到重視，乃因此症狀之後遺症會對人體造成精神及血管方面不良的影響，最常見的是神經精神症和行為失調，再者是心臟血管呼吸方面的疾病。更者，長期被此症狀影響進而睡眠的品質崩壞可能會造成患者白天嗜睡，精神恍惚及注意力不集中，影響日常生活品質而增加了意外發生的機率。而在生理方面，由於在睡眠時發生呼吸暫止現象，造成氧氣下降、二氧化碳蓄積，使得肺部血管及系統性血管收縮，肺動脈高壓及高血壓，更提高了心血管病變發生的可能性，因上述之不良的影響因素導致近年來也將睡眠呼吸中止症被列為心血管疾病的重要指標。

在呼吸偵測此議題中，已有傳統的束腹帶等裝備連接胸部來偵測壓力的變化，進而推估出呼吸的波形，也有利用紅外線結合接觸式的裝備來量測，但近年來因影像技術日趨成熟，因此在2004的文獻[R. Murthy, I. Pavlidis and P. Tsiamyrtzis, “Touchless monitoring of breathing function,”Proc . IEEE Engineering in Medicine and Biology Society, vol. 1,pp.1196-1199 ,Sept. 2004.]中，就有學者提出利用影像處理來偵測呼吸，且在2014年於文獻[S. Dangdang, Y. Yuting, L. Chenbin, T. Francis, Y. Hui, and T. Nongjian,  “Noncontact Monitoring Breathing Pattern, Exhalation Flow Rate and Pulse Transit Time,” Proc. IEEE Transactions on Biomedical Engineering, pp. 2760 - 2767, Nov. 2014.]中有了更完整的實驗結果和數據，而此文獻中利用影像技術偵測肩膀的起伏，且利用呼吸時週期性的訊號來描述呼吸的頻率，進而達到利用影像處理技術來偵測呼吸率的目的，但此篇的實驗結果表示出訊號波形並不完整，使用者還是必須透過訊號波型來知道自己的呼吸率是否正常。

因在台灣，阻塞型睡眠呼吸中止症是臨床相當常見的疾病，影響2~4%中年人，因此估計台灣約有高達45萬人罹患此症，且在個人身心健康與生命財產安全上有重大的影響，睡眠呼吸中止症其後遺症會對人體造成精神及心血管方面不良的影響，所以近年來在治療睡眠呼吸中止症的方式逐漸受到重視且更為學術界近年來重要的課題之一。一般治療睡眠呼吸中止症的方式有：口服藥物治療，耳鼻喉科手術治療，陽壓呼吸器，和其他如減肥、改善睡眠姿勢等的方法。

在各種療法中以陽壓呼吸器治療效果最好，此一方法被大量應用在治療睡眠呼吸中止症上，陽壓呼吸氣又可細分為多種類型，一般來說其治療的方式為病人在睡眠時，戴上一個面罩，將持續的正壓氣流送入氣道，透過增加氣道的壓力來增加呼吸道的寬暢度。然而，傳統精確定義阻塞的事件必須透過直接量測上呼吸道氣流，需要用到食道球並且帶上全罩式的面罩如圖2，而這些多為侵入式的量測方式，而且經常打斷睡眠，不但增加了檢測的困難度與複雜性，更會對病人造成生理及心理方面的不適。

研究顯示，無法入睡、不舒服、不方便等知覺障礙是不使用陽壓呼吸器治療的主要原因，檢測呼吸有很多種方法，利用鼻子使用紅外線檢測[Z. Zhen, F. Jin and I. Pavlidis , “Tracking human breath in infrared imaging,” Proc. IEEE Symposium on Bioinformatics and Bioengineering ,pp. 227–231, Oct. 2005., R. Saatchi 及 F.Q . Hkalidi, D. Burke, H. Elphick, “Thermal image analysis of the skin surface centered on the tip of the nose for respiration monitoring,” IEEE organized International Conference on Electronic Design and Signal Processing,pp.10-12, December. 2009.]和通過測量呼出氣體中的二氧化碳[R. Murthy, I. Pavlidis and P. Tsiamyrtzis, “Touchless monitoring of breathing function,”Proc . IEEE Engineering in Medicine and Biology Society, vol. 1,pp.1196-1199 ,Sept. 2004.及J. Fei, Z. Zhen and I. Pavlidis, “Imaging breathing rate in C02 absorption band”, IEEE Engineering in Medicine and Biology Society, pp. 700-705, Sept 2005.]。但這些方法會因為穿戴式感應器會引起患者的不適。這些發明都沒有準確的算出呼吸次數。表(1)是現有呼吸偵測方式原理及限制: <TABLE border="1" borderColor="#000000" width="85%"><TBODY><tr><td> 呼吸擷取方法 </td><td> 原理 </td><td> 限制 </td></tr><tr><td> 綁帶式 </td><td> 使用緊貼於受測者之彈性紡織品，擷取其胸腔因呼吸收放之週期，再利用壓電性材料或紡織線電阻變化轉換為電訊號 </td><td> 需要緊貼受測者，造成配戴時的不適感，不適合在長期的呼吸監測 </td></tr><tr><td> 心電推斷式 </td><td> 此技術主要利用 ECG 訊號，分析並推測出呼吸訊號 </td><td> 無法推斷呼吸大小限制了其相關應用，如腹式呼吸分析與訓練或基於心電與呼吸同步的嗜睡檢測 </td></tr></TBODY></TABLE>

緣是，本發明之主要目的，係在提供一種基於影像為基礎之即時呼吸率量測技術，因此我們在此發展了一個以影像為基礎之即時呼吸率量測之系統，因非接觸式測量系統有許多優點，例如，在量測過程中使用者不需要穿戴任何裝置且被強烈限制行動，更不會引起由於使用胸帶所帶來的不舒服或皮膚刺激的問題，再者，對於需長時間觀察的患者更是可以透過影像呼吸率量測系統得到更好的生活品質，又因此系統完全不需要任何接觸式的穿戴裝置，所以患者只需要一台網路攝影機和系統程式即可做即時監控呼吸率，且在監控的過程中也可以正常的移動，且不論坐姿、站姿和躺姿都有不錯且穩定的量測率。

為達上述目的，本發明所採用之方法包含：a).輸入影像；b).該影像透過分類器和Haar-like 特徵偵測的臉部區域(face detection)後；c).定義身體部分為所要偵測的特徵點(Feature points)的區域 G；d).該區域 G內利用強度比率關係來規劃出之後所要計算的光流量的區域；e).該光流量的區域利用光流法(Optical flow)做點的追蹤，用光流計算出的結果擷取運動向量特徵，得到特徵區域內物體的方向和強度，而由人體呼吸模式可知垂直運動方向，就以虛部即垂直方向和能量大小，當作呼吸模式的能量及方向之輸入，得到呼吸方向大小之後，發現數列中出現極端變化值，用中位數作為代表值，將呼吸結果用波形呈現；f).該波形的雜訊使用區域平均濾波(Filter)來平滑訊號，用以滑動視窗(Sliding window )內所定義的相鄰數據點的平均值替換每個數據點的數據，讓訊號中的雜訊，增加峰值的可辨度；g).利用越零點判斷呼吸次數，呼吸方向只取向量的虛部，就是垂直訊號，利用一個信號的符號變化的比率，判斷一次完整的呼吸，當作的一次呼吸週期，利用前後訊號是否為由正值轉為負值來判斷是否為零交越點為條件設定(condition setting)；以及h).垂直的瞬時頻率變化獲取呼吸速率(respiration rate)訊號。

依據前揭特徵，其中a)步驟，該Haar-like特徵先算出每個矩形中的灰階值累計，再將代表黑、白色區域的灰階加總值相減，而求得特徵值，在計算該特徵值之前會先利用積分影像之方程式(1)。

依據前揭特徵，其中d)步驟，該計算的光流量的區域，先以該區域 G設定為方程式(2)，又以該方程式(3)中的 H代表強度較強的值所構成的集合， k為所代表的是為相對強度的篩選比率門檻值設為0.02%，得到這些強度值最強的Pixel的位置，進而利用這些Pixel的垂直軸和水平軸位置排序之四分差法得到Q3和Q1之水平和垂直座標來取得特徵點所代表該光流量的區域。

依據前揭特徵，其中e)步驟，該光流法為Horn-Schunck光流法，以方程式(4)偏微分為光流方程式(5)，該光流方程式(5)改寫成線性方程式(6)，該線性方程式(6)計算水平向量 u與垂直向量 v方程式(7)~(8)，該方程式(7)~(8)中的 是加權因子， Ex代表著( x, y)其鄰近每一點的亮度值在空間中x方向梯度值， Ey則代表著y方向梯度值， Et表示影像中每一點的亮度在時間中的梯度值，在估計 Ex、 Ey、 Et的時候，同時在相對應的影像，指向相對應的點，將會使用在8個點所組成正方體中心，得到方程式(9)~(11)，以近似 u和 v的值， u和 v區域平均定義成方程式(12)~(13)，說明權重，以相鄰點的分配，使 和 是 u、 v鄰近點的平均。

依據前揭特徵，其中e)步驟，該中位數就是一組資料由小至大排列，最中間那一個數，若有 n 個數，由小至大排列為方程式(14)，該方程式(14)中的 d(1)為最小值， d( n)為最大值，M為中位數形成方程式(15)，該方程式(15)中的 mi是光流法在特徵點的設定區域的中位數值。

依據前揭特徵，其中e)步驟，該滑動視窗以10個點平均一次為方程式(16)，該方程式(16)中的 Sw是經過濾波後的輸出訊號。

依據前揭特徵，其中g)步驟，定義各呼吸週期為 Pi為方程式(17)，該方程式(17)中的 是為振幅倍率參數、 是為參考振幅週期的個數，為週期平均振幅的大小，而 Bi則為經過判斷法則成功判斷為一次呼吸的週期，用了三種條件來判斷每一個週期是否為雜訊。

藉助上揭技術手段，本發明基於影像為基礎之即時呼吸率量測技術，基於上述因素的考量，本發明主要目的發展一套有別於接觸式量測的儀器，本發明胸腔的起伏變化，可以測量出患者當下的呼吸深度，並且由簡單易懂的引導方式，帶領使用者進行呼吸非接觸式的即時呼吸偵測這是很容易實現分析的技術。這是因為攝像機，低成本和良好操作性的好處。可即時、非接觸式、長時間、連續監測，體積小的呼吸檢測系統，透過「非接觸式」的方式偵測人體的呼吸，除了可大幅增加使用上的方便性外，更可完全免除對於人體可能產生的長期接觸性傷害。來提高患者生理上的舒適。甚至能大幅減少檢查的時間與耗費的成本，若能使睡眠診斷普及化，並使用相對廉價且簡易操作的儀器，使病人能在居家環境中，自行取得量測資料，再經由電腦軟體即時自動分析，如果太嚴重的話，再決定是否需要進入醫院進行治療。如此一來將可大幅的提升醫護人員辦事效率，也不會浪費醫療資源，更符合經濟效益。

首先，研究先利用Vernier LQ2-LE呼吸監測產品的呼吸波形圖，此產品為氣體壓力傳感器可以用來監測物理和化學的氣體定率實驗的壓力變化，在配合呼吸監測腰帶研究人呼吸的型態，圖3是呼吸監測產品與本發明實驗結果的波形比較圖((a)Vernier Software & Technology是產品結果圖，(b)是此發明方法結果圖)。我們應用呼吸是少數可以從外觀動作被觀察的生理行為，人在呼吸的時候，身體有輕微的起伏約10到20毫米，要先定位出人體上的特徵區域，例如，人臉偵測[V .Paul, J. Michael, “Robust Real-Time Face Detetion”, International Journal of Computer Vision, July 2004.及C.S Chen, and  H.H Hsu, “Fast gender recognition by using a shared-integral-image approach,” IEEE International Conference, pp. 521–524, April. 2009.]，利用人體的比例，找出特徵區域，特徵區域固定後再利用這區域，做影像追蹤，影像追蹤技術是影像視覺一個重要環節。有分為很多種方法，第一種影像追蹤方法為運動能量法[K. Gwang, “A Robust Image Tracker based on Phase Correlation and Fourier-Mallin Transform,” IEEE Control, Automation and Systems,pp. 1028-1031, Oct 2008.]，使用前後兩張影像相減方法，相同部份會去除，留下物體所在位置的像素，再使用濾波器 (Filter)來消除影像雜訊，然後使用移動邊緣檢測法找出連續移動之物體影像的邊緣，來得到目標物影像；第二種光流法也是影像追蹤的一種，在連續變動的影像平面中，計算像素的位移，藉此判斷運動物體方向，以光流法的主要優點在於不需要事先定義物體特徵，可以適用於較廣泛的定位與追蹤作業。光流法計算量小，结果比較穩定，同時知道運動向量，主要目的就是基於序列圖像實現精確並達到廣泛且快速的效果。就呼吸偵測而言，灰階影像經過處理也是可以知道足夠的特徵資訊。

流程圖:此辨識系統從一開始的影像輸入即可自動化處理，其中包含利用Haar-like特徵擷取[J. Maydt, “An extended set of Haar-like features for rapid object detection,” IEEE Image Processing, vol. 1, pp. 900-903. 2002.及M. Jones , “Rapid object detection using a boosted cascade of simple features,” IEEE Computer Vision and Pattern Recognition,vol. 1, pp.511-518, 2001.]，Salient Area自動偵測、特徵區域的定位、追蹤點的選取、利用光流法做點的追蹤、特徵向量的取得，將呼吸結果用波形呈現，利用越零點判斷呼吸次數，反之預測一分鐘呼吸次數，數個階段如圖4 表示並以流程圖作說明。

特徵區域偵測:首先利用Haar-like 特徵結合分類器演算法，來取得人臉區域的位置是為本發明的第一步首要目的，因此Haar-like 特徵是一種矩形特徵，由定義黑、白的多矩形區塊組合而成的。其特徵分成有水平、垂直的不同組合。通常二至四個矩形，如圖5所示，會先算出每個矩形中的灰階值累計，再將代表黑、白色區域的灰階加總值相減，而求得特徵值。此特徵可比對有興趣物件區域，找出黑、白區域明亮差異的程度，並以此作為判別偵測依據。僅搜尋區域中，對於每個像素點進行運算，將會產生大量的特徵值運算處理，同時也因此造成偵測效率並不迅速，因此在進行計算特徵值之前會先利用積分影像技術來達到計算量過大的問題，而積分影像技術是一種透過簡單加減運算，計算出特徵值的方法，對於運Haar-like 特徵最大的幫助就是提高運算速度。以灰階影像來說其積分影像的pixel位置是代表原點到目標pixel的總合如下方程式1，其示意圖如圖6和圖7所示:       方程式(1) 因此透過分類器和Haar-like 特徵偵測到臉部區域後，我們將定義身體部分為所要偵測Feature points的區域G，如圖8之綠色區域為Feature points之欲搜尋區域帶入Haar-like feature的模組中，並計算強度值，如圖9所示，於圖中，顏色越紅的部分則代表所計算的Haar like feature能量值越大，也就是說代表性越強，因此我們利用強度比率的關係來規劃出之後所要計算的光流量的區域，而方程式如下:                  方程式(2)                                                     方程式(3) 方程式(3)中的 H代表強度較強的值所構成的集合， k為所代表的是為相對強度的篩選比率門檻值，在此系統中我們設為0.02%，因此我們將得到這些強度值最強的Pixel的位置進而利用這些Pixel的垂直軸和水平軸位置排序之四分差法得到 Q3和Q1水平和垂直座標來取得Feature points所代表的區域，如圖8之藍色區域所示，這樣一來在輸入影像後我們利用臉部位置偵測(紅色)和相對應的身體部分(綠色)做Haar-like特徵的強度圖，且利用強度較強的部分來規劃出光流法所需要計算的區域如圖10之藍色區域。

光流法(Optical Flow):利用光流法[J. Davis , “Motion segmentation and pose recognition with motion history gradients,” IEEE Applications of Computer Vision ,pp. 238-244, 2000.及B.K.P. Horn ,and B.G. Schunck, “Determining Optical Flow,” Artificial Intelligence Laboratory, Massachusetts Institute of Technology, 1981.]尋找方向和大小，在連續變動的影像平面中，攝影機與環境之相對速度會造成各個影像像素之運動，此種影像像素的運動速度即稱為光流。光流定義為連續影像平面中各個像素的亮度梯度，光流表示的是圖像序列之間像素運動的瞬時速度。視速度分佈圖像中的運動模式，而產生物體之間的相對運動，光流場是一種二維向量場，近似描述了物體的三維向量在二維圖像平面的投影。光流不僅包含了被物體的運動資訊，而且可以知道物體三维的資訊，結合動態的表達方式將分為速度與方向兩種，因此在計算機視覺中，光流是計算機視覺算法的重要方法，例如目標分割[S.B. Kang ,and N. Jojic ,“Consistent segmentation for optical flow estimation,” IEEE ICCV, vol. 2, pp. 1308-1315, Oct. 2005.及S.Oe, “A new gradient-based optical flow method and its application to motion segmentation,” IEEE Industrial Electronics Society,vol. 2, pp.1225-1230, 2000.]、目標追蹤[C. Fookes, and S. Sridharan, “Improved Simultaneous Computation of Motion Detection and Optical Flow for Object Tracking,” IEEE Digital Image Computing: Techniques and Applications, pp. 175–182, Dec. 2009.]的計算，光流表達方法最常用為H-S光流法(Horn-Schunck Optical Flow)與L-K光流法(Lucas-Kanade Optical Flow)[ N. Sharmin, and R. Brad, “Optimal Filter Estimation for Lucas-Kanade Optical Flow,” Computer Science Department, Lucian Blaga University of Sibiu, Sep.2012]兩種方法，在Horn-Schunck 方法中，為了讓系統更加符合即時的要求。藉由已知的光流資訊，我們就能夠計算出目標物與偵測器間的方向和大小，所以本發明是使用H-S光流法。

Horn-Schunck光流法:Horn 和 Schunck推導出光流方程式，奠定了光流算法的基礎。光流基本约束方程是在兩個假設條件下推導得出的： (1).亮度恆定假設，假設物體同一點的亮度在圖像間不會改變。 (2).像素點的運動是小運動，時間的變化不會引起像素點位置的劇烈變化。假設是一個空間與時間當中坐標點的亮度值，和為二維空間中的座標值，為時間。在光點流動基本假設條件下，每一個點的亮度在沿著時間-空間中的運動軌跡上是不會改變的，這假設可以用數學式來表示；                                  方程式(4) 由於同樣也是的函數，我們可以將上式經過偏微分後改寫成下面的式子：           方程式(5) 其中 =  而 =，代表著空間座標中點運動速度的兩個分量。這個式子稱為光流方程式。改寫成線性方程式為式子(5)，                              方程式(6) 光流方程式中有兩個未知數和，但卻只有一個條件式子，所以需要一個額外條件求。Horn and Schunck提出假設相鄰的光流場具有連續性的移動變化，定義出一個計算水平向量與垂直向量的公式：                                                      方程式(7) 方程式(8)           其中   方程式(9)       方程式(10) 方程式(11) 是加權因子，代表著其鄰近每一點的亮度值在空間中x方向梯度值，則代表著y方向梯度值，表示影像中每一點的亮度在時間中的梯度值，在估計、、的時候，同時也要在相對應的影像，指向相對應的點，我們將會使用在8個點所組成正方體中心，圖11，得到、、，空間與時間之間的關係。接下來我們需要知道近似和的值，和區域平均定義如下： 方程式(12) 方程式(13) 說明權重，以相鄰點的分配。如圖12和是，鄰近點的平均。光流結果圖13所示((a)為前一張視訊影像，(b)為下一張視訊影像，同時也顯示每個區塊的區域移動向量)。用光流計算出的結果擷取運動向量特徵。得到向量之後，就可以得到特徵區域內物體的方向和強度，而由人體呼吸的模式可知為垂直運動方向，我們就以虛部即垂直方向和能量大小，當作我們的呼吸模式的能量及方向之輸入。圖14為實部、虛部座標圖。而我們也可以說複數平面上點P的複數座標為。得到呼吸方向大小之後，可以發現數列中出現了極端變量值的情况，用中位數作為代表值比用平均數更好，中位數的意義比較明確，它永遠在最中間，有一半數字大於或等於它，另一半小於或等於它，平均數的代表性就不是那麼明確。當數字的分布來說左右對稱時，平均數會很接近中位數。中位數就是一組資料由小至大排列，最中間那一個數。若有 n 個數，由小至大排列為 方程式(14) 其中為最小值，為最大值，M為中位數，方程式如下                                  方程式(15) 如果左右不對稱，有一邊出現少數極端值時，則平均數就會被拉向有極端值的那一邊，此時若把平均數當作整組數字的代表，明顯會產生誤導。如圖15所示((a)是取中位數的波形，(b)是取平均數的波形)。

訊號分析:此目標是將我們得到的波形，加以處理圖 15.(a)的波形，發現波形的雜訊多，不能計算呼吸次數。要濾波才可以準確知道呼吸次數，發明方法使用了區域平均濾波(local average filter)[B.Goldstein, “Automatic detection algorithm of intracranial pressure waveform components,” IEEE Engineering in Medicine and Biology Society ,vol. 3, pp. 2231-2234, 2001.]，區域平均濾波就是平滑訊號的方法，目的為了讓訊號中的雜訊，增加峰值的可辨度。區域平均濾波器用滑動視窗(Sliding window )內所定義的相鄰數據點的平均值替換每個數據點的數據。我們固定一個滑動視窗，10個點平均一次，計算方式如公式所示:                                                                     方程式(16) 是Optical flow在Feature points 的設定區域的中位數值，是經過濾波後的輸出訊號。濾完波形圖16，算呼吸次數。

呼吸率訊號特徵計算:本文運用的方法可以顯示出呼吸波形，呼吸波形是將呼吸週期中的每一瞬間的呼吸參數通過呼吸曲線或呼吸率的形式直觀而精细地顯示出来。對呼吸波形的監測，作為調節呼吸參數的依據，呼吸，可分為胸式呼吸與腹式呼吸。胸式呼吸時，呼吸時胸腔上下起伏，空氣大多進入肺臟的上半部，本文是以胸式呼吸計算呼吸次數，下坡週期對應於呼氣時胸腔萎縮，胸腔向下移動，而上坡週期對應吸入時胸腔是擴大，胸腔向上移動。一次呼吸代表一次吸氣一次呼氣。由上我們得知的波形，我們曾使用過相對極值(Local maxima)，在人胸廓增到最大的時候，就是波峰，當作我們一次呼吸，即使濾完波的波型，用肉眼可以判斷出呼吸次數，但在電腦視覺中，波型產生是由數值定義，那些數值都很有可能會照成呼吸次數的誤判圖17況且在呼吸到最飽滿的時候，不能定義為一次呼吸本文還計算了一次呼吸的時間和預測一分鐘呼吸次數。圖17所示在呼完氣的同時，本文呼吸方向只取向量的虛部，也就是垂直訊號，利用一個信號的符號變化的比率，例如信號從正數變成負數，我們稱作為越零點。因此判斷一次完整的呼吸，也可以當作我們的一次呼吸週期，因此在此我們利用前後訊號是否為由正值轉為負值來判斷是否為零交越點。圖19所示，呼吸波形獲得的一個例子，紅色代表吸氣，綠色代表吐氣，黑色區域代表 呼吸週期。圖18紅色圈處是代表各零交越點的時間，因此我們可以由兩兩零交越點的X軸所代表的時間來計算各呼吸的週期，因此我們定義各呼吸週期為，則我們這邊加入了判斷機制來過濾不必要的雜訊，而本篇發明用了三種條件來判斷每一個週期是否為雜訊，其方法如下:                                            方程式(17) 其中是為振幅倍率參數、是為參考振幅週期的個數，為週期平均振幅的大小，而則為經過判斷法則成功判斷為一次呼吸的週期。假設這次小於前兩次的平均，代表這次的呼吸，不是規律的呼吸。然而，每個人實際上每分鐘的呼吸週期則會因年齡、健康狀況等因素不同而改變。所以設了三個門檻，如果呼吸頻率大於60次或小於6次，則判斷不是相同的頻率。如圖19所示，判斷式如公式17。

呼吸模式變化:為了進一步證明該方法用於即時的非接觸式呼吸監測，故意改變呼吸的模式。最初，深呼吸八個週期，其次是四個週期正常呼吸和快速呼吸六個週期。 如圖20證明我們的方法成功抓住了呼吸模式的變化。

在此為實驗結果我們將進行一連串的實驗測試，共可以分為四大類，每次測試時，受測者將心中默數五十至八十次呼吸不等，然後與系統一起同步測試，等到受測者達到指定的呼吸次數時，將停止程式執行，並計算所耗費的時間進而推估出每分鐘呼吸的頻率，而我們實驗的影片共292部，受測者包含8位男性和3位女性，所用的設備為網路攝影機型號為Logitech Carl Zeiss Auto-Focus WebCam Tessar 2.0/3.7，其實驗結果包含五部分如下:1.呼吸種類之量測；2.受測者晃動幅度與速度之呼吸頻率量測;3.坐姿與睡姿之呼吸頻率量測;4.網路攝影機與實測者距離遠近之呼吸頻率量測;5.混合各種類型之呼吸分析。

各種實驗結果中，我們將會計算其相關係數是研究變數之間線性相關程度的量、因此得到的相關係數只能說明這兩個變數間是否相關。標準差、容忍區間(tolerance interval) 是容忍區間是用樣本數據来估算表示指定比例的總體上下限，偏差量(Bias) 存在和實際情況不同之偏差。布蘭德-奧特曼差異圖(Bland-Altman Plot) X軸代表兩個變數的平均，Y軸代表兩個變數相減和X-Y軸於實驗呼吸率與受測者呼吸率圖；經過這些實驗數據來分析此影像呼吸量測系統的穩定性和實用性。

呼吸種類之量測:我們應用了3種呼吸型態，快速呼吸，深呼吸和正常呼吸，Br.Cate1是快速呼吸，Br.Cate2是深呼吸，Br.Cate3是正常呼吸，圖22使用發明方法的布蘭德-奧特曼差異圖，在深呼吸跟正常呼吸最接近實際呼吸次數，而快速呼吸由於頻率較快速所以導致誤差量非常的大。快速呼吸相關係數為0.515、深呼吸相關係數為0.914，正常呼吸相關係數為0.989，整體相關係數為0.965其標準差為3.5，其中正常呼吸標準差為1.3125。

受測者晃動幅度與速度之呼吸頻率量測: 大多人睡著以後，多少都會翻來翻去，通常不會動太多，所以說如果太常換姿勢不是常態。根據外國的睡眠醫學的研究中心顯示，大概85%到90%的人，一晚當中主要睡姿都不會改變。在非接觸的情況下，且目標物在特徵區域以內，身體晃動對於呼吸偵測有很大的影響，以下實驗設定是坐在椅子上，左右晃動，增減晃動幅度，晃動速度，然而晃動幅度我們分了3種， 55度、 90度、 145度。速度分為快、中、慢在大多數的時間，是正常呼吸。所以選擇正常呼吸當作呼吸種類，距離固定一公尺當身體晃動速度快和幅度大會讓誤差率變高，但是其他速度和幅度的實驗結果還算可以接受的範圍內。M.S.Type1晃動速度快，M.S.Type2晃動速度中、M.S.Type3晃動速度慢、M.Type1晃動幅度大、M.Type2晃動幅度中、M.Type3晃動幅度小。由圖 23所示，以晃動幅度為基礎，晃動幅度大相關係數為0.769，晃動幅度中相關係數為0.829，晃動幅度小相關係數為0.810，整體的相關係數為0.796其標準差為3.025，其中晃動幅度中標準差為2.55。如圖24所示，以晃動速度為基礎，晃動速度快相關係數為0.867，晃動速度中相關係數為0.927，晃動速度慢為0.653，整體係數為0.796其標準差為3.143，晃動速動中標準差為2.225，如圖25所示，可看出各種晃動幅度搭配各種晃動速度下的實驗結果圖。

坐姿與睡姿之呼吸頻率量測:將探討該系統對於睡眠姿勢是否可行。睡姿如圖26所示，躺著相關係數為0.713其標準差為2.275，整體係數為0.845其中標準差為1.87。

網路攝影機與實測者距離遠近之呼吸頻率量測:在呼吸偵測中，攝影機和人之間的距離，必須克服的問題，這個實驗室是測試本發明的方法，在遠距離的量測，可否偵測到呼吸次數，因為拍攝目標的距離也影響如預期的系統的性能。當攝影機是置於接近目標。在更近的距離，該呼吸有關的胸部和腹部動作是更為明顯。此外，增加距離對攝影機取得的圖像會對雜訊敏感。最佳距離約為一公尺，其中呼吸相關的胸部和腹部運動仍清晰可見。在文獻[K.S. Tan, R. Saatchi, H. Elphick ,and D.Burke ,“Real-time vision based respiration monitoring system,” IEEE Communication Systems Networks and Digital Signal Processing ,pp. 770-774, July. 2010.]，他們實驗結果做到1公尺，測試者服裝的圖案和顏色對比，會對實驗結果產生重大影響，但我們的方法可以做到2公尺甚至到3公尺，測試距離如圖27所示。如圖 29所示，一公尺的相關係數為0.989其相關係數為0.675，二公尺的相關係數為0.933，三公尺的相關係數為0.887。整體相關係數為0.935其標準差為1.175。

混合各種類型之呼吸分析:此是綜合了所有數據，包含了幅度、速度、距離、睡姿，所得到的結果如圖 30、31所示，得到相關係數為0.9347。

是以，由實驗結果顯示，本發明設計了一個可應用於偵測呼吸次數的新選擇，我們已經證明，以光流(Optical Flow)為基礎的方法進行非接觸監測呼吸偵測，這個系統通過檢測胸部造成呼吸的重複動作檢測呼吸波形。我們提出了一個方法在於利用光流法(Optical Flow)，所知的運動方向和運動向量，當作呼吸偵測波形依據，可以利用我們所提出濾波的方法，去修正波形雜訊太多的問題，接著利用人吐氣的時候尋找越零點的方式，找到呼吸次數，最後有效的計算呼吸次數，呼吸頻率和呼吸週期。

此次研究有些結果的實際次數和偵測次數結果沒有差很多，若要應用在未來我們可以將此系統延伸到智慧型手機上面，無須特定地點皆可以使用我們的系統，因為我們實驗結果有測試2公尺和3公尺，可以不只測試一個人的呼吸次數，未來希望可以測試到畫面裡所有人的呼吸。

綜上所述，本發明所揭示之技術手段，確具「新穎性」、「進步性」及「可供產業利用」等發明專利要件，祈請  鈞局惠賜專利，以勵發明，無任德感。

惟，上述所揭露之圖式、說明，僅為本發明之較佳實施例，大凡熟悉此項技藝人士，依本案精神範疇所作之修飾或等效變化，仍應包括在本案申請專利範圍內。

a~h‧‧‧步驟

圖1係先前技術之肩膀起伏檢測呼吸模式示意圖。    圖2係先前技術之醫院睡眠檢查裝置示意圖。 圖3係本發明之呼吸監測產品比較圖。 圖4 係本發明之流程圖。   圖5 係本發明之HAAR-LIKE特徵圖。     圖6 係本發明之積分影像累加示意圖。     圖7 係本發明之圖像灰階值與累計灰階值計算示意圖。     圖8 係本發明之藍色區域是利用門檻值抓到的區域示意圖。 圖9 係本發明之HAAR-LIKE 特徵能量圖。      圖10係本發明之特徵區域追蹤點示意圖。 圖11本發明之用正方體的概念對應X、Y、T關係示意圖。 圖12係本發明之適合的權重乘示意圖。 圖13係本發明之區域移動向量示意圖。 圖14係本發明之x軸稱為實軸，y軸稱為虛軸示意圖。 圖15本發明之中位數的波形圖。 圖16係本發明之用區域平均濾波濾完的波形圖。 圖17係本發明之相對極值波形圖。 圖18係本發明之越零點波形圖。 圖19係本發明之呼吸波形獲得的波形圖。 圖20係本發明之呼吸模式波形圖。 圖21 係本發明之VERNIER LQ2-LE呼吸監測產品和發明方法呼吸模式比較波形圖。 圖22係本發明之布蘭德-奧特曼差異結果圖。 圖23係本發明之以晃動幅度為布蘭德-奧特曼差異圖。 圖24係本發明之以晃動速度為布蘭德-奧特曼差異圖。 圖25係本發明之結合所有晃動與速度結果圖。 圖26係本發明之睡眠姿勢示意圖。 圖27係本發明之坐姿與睡姿布蘭德-奧特曼差異圖。 圖28係本發明之左上圖距離1M，右上圖距離2M，下圖距離3M示意圖。 圖29係本發明之距離布蘭德-奧特曼差異圖。 圖30係本發明之混合各種類型布蘭德-奧特曼差異圖。 圖31係本發明之混合各種類型結果圖。

a~h‧‧‧步驟

Claims (7)

1. 一種基於影像為基礎之即時呼吸率量測技術之方法，其步驟包含：a).輸入影像；b).該影像透過分類器和Haar-like特徵偵測的臉部區域(face detection)後；c).定義身體部分為所要偵測的特徵點(Feature points)的區域G；d).該區域G內利用強度比率關係來規劃出之後所要計算的光流量的區域；e).該光流量的區域利用光流法(Optical flow)做點的追蹤，用光流計算出的結果擷取運動向量特徵，得到特徵區域內物體的方向和強度，而由人體呼吸模式可知垂直運動方向，就以虛部即垂直方向和能量大小，當作呼吸模式的能量及方向之輸入，得到呼吸方向大小之後，發現數列中出現極端變化值，用中位數作為代表值，將呼吸結果用波形呈現；f).該波形的雜訊使用區域平均濾波(Filter)來平滑訊號，用以滑動視窗(Sliding window)內所定義的相鄰數據點的平均值替換每個數據點的數據，讓訊號中的雜訊，增加峰值的可辨度；g).利用越零點判斷呼吸次數，呼吸方向只取向量的虛部，就是垂直訊號，利用一個信號的符號變化的比率，判斷一次完整的呼吸，當作的一次呼吸週期，利用前後訊號是否為由正值轉為負值來判斷是否為零交越點為條件設定(condition setting)；以及h).垂直的瞬時頻率變化獲取呼吸速率(respiration rate)訊號。
2. 如申請專利範圍第1項所述之基於影像為基礎之即時呼吸率量測技術之方法，其中a)步驟，該Haar-like特徵先算出每個矩形中的灰階值累計，再將代表黑、白色區域的灰階加總值相減，而求得特徵值，在計算該特徵值之前會先利用積分影像之方程式(1)：
3. 如申請專利範圍第2項所述之基於影像為基礎之即時呼吸率量測技術之方法，其中d)步驟，該計算的光流量的區域，先以該區域G設定為方程式(2)：G={g ₁,g ₂,...,g _n }，where g ₁>g ₂>...>g _n .，又以該方程式(3)：H={h _i |h _i =g _i },if i<k．n中的H代表強度較強的值所構成的集合，k為所代表的是為相對強度的篩選比率門檻值設為0.02%，得到這些強度值最強的Pixel的位置，進而利用這些Pixel的垂直軸和水平軸位置排序之四分差法得到Q3和Q1之水平和垂直座標來取得特徵點所代表該光流量的區域。
4. 如申請專利範圍第3項所述之基於影像為基礎之即時呼吸率量測技術之方法，其中e)步驟，該光流法為Horn-Schunck光流法 ，以方程式(4)：偏微分為光流方程式(5)： ，該光流方程式(5)改寫成線性方程式(6)：E _x u ⁺ E _y v ⁺ E _t =⁰，該線性方程式(6)計算水平向量u與垂 直向量v方程式(7)：~方程式(8)： ，該方程式(7)~(8)中的α是加權因子， Ex代表著(x,y)其鄰近每一點的亮度值在空間中x方向梯度值，Ey則代表著y方向梯度值，Et表示影像中每一點的亮度在時間中的梯度值，在估計Ex、Ey、Et的時候，同時在相對應的影像，指向相對應的點，將會使用在8個點所組成正方體中心，得到方程式(9)：、方程式 (10)：、方程式 (11)：，以近似u和v的值，u和v區域平均定義成方程式(12)： ~方程式(13)： ，說明權重，以 相鄰點的分配，使和是u、v鄰近點的平均。
5. 如申請專利範圍第4項所述之基於影像為基礎之即時呼吸率量測技術之方法，其中e)步驟，該中位數就是一組資料由小至大排列，最中間那一個數，若有n個數，由小至大排列為方程式(14)： d(1) d(2)．．．d(n)，該方程式(14)中的d(1)為最小值，d(n)為最大值，M為中位數形成方程式(15)： ，該方程式(15)中的mi是光流法在特徵點的設定區域的中位數值。
6. 如申請專利範圍第5項所述之基於影像為基礎之即時呼吸率量測技術之方法，其中e)步驟，該滑動視窗以10個點平均一次為 方程式(16)： ，該方程式(16)中的Sw是經過濾波後的輸出訊號。
7. 如申請專利範圍第6項所述之基於影像為基礎之即時呼吸率量測技術之方法，其中g)步驟，定義各呼吸週期為Pi為方程式 (17)： ，該方程式(17)中的α是為振幅倍率參數、γ是為參考振幅週期的個數，為週期平均振幅的大小，而Bi則為經過判斷法則成功判斷為一次呼吸的週期，用了三種條件來判斷每一個週期是否為雜訊。