TW201446216A - 光學心率追蹤 - Google Patents

光學心率追蹤 Download PDF

Info

Publication number
TW201446216A
TW201446216A TW103114291A TW103114291A TW201446216A TW 201446216 A TW201446216 A TW 201446216A TW 103114291 A TW103114291 A TW 103114291A TW 103114291 A TW103114291 A TW 103114291A TW 201446216 A TW201446216 A TW 201446216A
Authority
TW
Taiwan
Prior art keywords
frame
computer
subject
signal
video
Prior art date
Application number
TW103114291A
Other languages
English (en)
Inventor
Anis Ahmad
Ben Walker
Daniel Kennett
Andrew Flavell
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of TW201446216A publication Critical patent/TW201446216A/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

藉由處理由IR及可見光(例如RGB--紅/綠/藍)攝影機兩者所捕捉之代表受試者之臉部皮膚顏色改變之正弦運動之視訊訊框訊號組合，完全光學地執行心率追蹤而不需受試者穿戴任何監測裝備。處理所造成的IR及RGB圖形係完美地經相位位移，以便當IR訊號在幅度上下降時，RGB訊號上升。這樣的相位位移使光學心率追蹤能夠利用互異的輸入饋入，以便當IR及RGB兩者訊號經良好地關聯時，所追蹤的訊號被接受為使用者的真實心率。

Description

光學心率追蹤
本發明關於光學心率追蹤。
光學心率監測系統一般使用光學放射感應器，該光學放射感應器對於可見的或紅外(infrared,IR)光是敏感的，以偵測人體中之血液中血紅素的流動。在某些系統中，受試者穿著某種形式的監測裝備，或者感應器係經安置以接觸肢端(例如手指或耳垂)。其他非接觸光學心率監測系統藉由測量受試者的臉中之亮度變化來偵測血紅素流。雖然現有的系統可滿意地執行在許多狀況中，對於預期受試者是活動的場景，它們一般而言並不經良好地調整。例如，接觸系統對於對運動員及健身愛好者的應用可經常是笨重的且不實際的(對於門診醫療病人也是)，同時非接觸系統在執行心率監測時一般需要受試者保持不動。
係提供此先前技術以介紹對於隨後之發明內容及實施方式的簡要背景。此先前技術係不意欲作為判定所申請標的範圍的輔助也不被視為將所申請的標的限制至解決以上所呈現的任何或所有缺點或問題的實施。
藉由處理由IR及可見光(例如RGB--紅/綠/藍)攝影機兩者所捕捉之代表受試者之臉部皮膚顏色改變之正弦運動之視訊訊框訊號組合，完全光學地執行心率追蹤而不需受試者穿戴任何監測裝備。處理所造成的IR及RGB圖形係完美地經相位位移，以便當IR訊號在幅度上下降時，RGB訊號上升。這樣的相位位移使光學心率追蹤能夠利用互異的輸入饋入，以便當IR及RGB兩者訊號經良好地關聯時，所追蹤的訊號被接受為使用者的真實心率。
在各種說明性的示例中，在電腦平台上執行之心率追蹤引擎(例如具有經校正的IR及RGB視訊攝影機之遊戲或多媒體控制台)係經佈置以支援許多處理管道，該等管道將所捕捉之IR及RGB視訊訊框處理成最終的頻率對空間圖形，該圖形包括經良好定義的尖峰幅度，該尖峰幅度定義了受試者的心率訊號。臉部校準及準備管道處理來自多個通道的IR及RGB訊框以產生經分解的(也就是被合併至一個通道中之單一訊號測量)、經訊框校準的、只有臉部皮膚的訊號，該訊號移除了眼皮、嘴巴及頭髮運動的效應，要不然該等效應會敗壞訊號的完整性。訊號尋找管道自經分解的、經訊框校準的、只有臉部皮膚的訊號產生時間對空間圖形。訊號抽取管道對於IR及RGB訊框將時間對空間圖形處理成頻率對空間圖形，且施用時間對空間及頻率對空間平滑化方法以產生受試者之心率之盡力而為的估計。心率識別管道儲存(bucket)在多個訊框上合併的頻率對空間圖形中之最高峰， 且產生平滑化的曲線，該等曲線係經加總以識別心率訊號，該心率訊號可返回至在計算平台上執行之呼叫應用程式或作業系統。
有利地，本光學心率追蹤強固地操作在各種光條件及受試者皮膚色素下，強固地操作在受試者及攝影機之間的廣範圍距離上，且對於受試者的運動具有高耐受性。光學心率追蹤係因此對受試者是活動的(包括遊戲、健身及其他場景)之各種應用良好地調整。
係提供此發明內容以以簡化形式介紹概念的選擇，該等概念係在實施方式中於以下進一步描述。此發明內容係不意欲識別所申請之標的之關鍵特徵或必要特徵，且也不意欲用為在判定所申請之標的範圍時的輔助。此外，所申請的標的係不限於解決在此揭露之任何部分中所指出之任何或所有缺點之實施。
應理解的是，上述之申請標的可實施為由電腦所控制的裝置、電腦程序、計算系統或實施為製造的製品(例如一或更多個電腦可讀取儲存媒體)。這些及各種其他的特徵透過研讀以下的實施方式以及檢閱相關聯的圖示將是明顯的。
100‧‧‧計算環境
103‧‧‧多媒體控制台
108‧‧‧音訊/視覺顯示器
113‧‧‧捕捉裝置
116‧‧‧物理空間
119‧‧‧使用者
121‧‧‧手
122‧‧‧可選物件
1251-N‧‧‧圖標
300‧‧‧目標辨識、分析及追蹤系統
303‧‧‧影像攝影機元件
306‧‧‧IR光元件
311‧‧‧IR攝影機
314‧‧‧可見光RGB攝影機
318‧‧‧麥克風
325‧‧‧處理器
328‧‧‧匯流排
332‧‧‧記憶體元件
335‧‧‧通訊連結
341‧‧‧運動追蹤引擎
345‧‧‧應用程式
351‧‧‧姿勢辨識引擎
354‧‧‧深度影像處理引擎
359‧‧‧作業系統
362‧‧‧光學心率追蹤引擎
405‧‧‧臉部校準及準備管道
410‧‧‧訊號尋找管道
415‧‧‧訊號抽取管道
420‧‧‧心率識別管道
500‧‧‧方法
505‧‧‧方塊
510‧‧‧方塊
515‧‧‧方塊
520‧‧‧方塊
525‧‧‧方塊
530‧‧‧方塊
535‧‧‧方塊
540‧‧‧方塊
600‧‧‧方法
605‧‧‧方塊
610‧‧‧方塊
615‧‧‧方塊
620‧‧‧方塊
625‧‧‧方塊
630‧‧‧方塊
700‧‧‧方法
705‧‧‧方塊
710‧‧‧方塊
715‧‧‧方塊
720‧‧‧方塊
725‧‧‧方塊
730‧‧‧方塊
800‧‧‧方法
805‧‧‧方塊
810‧‧‧方塊
815‧‧‧方塊
820‧‧‧方塊
825‧‧‧方塊
830‧‧‧方塊
901‧‧‧CPU
902‧‧‧等級1快取記憶體
904‧‧‧等級2快取記憶體
906‧‧‧ROM
908‧‧‧GPU
910‧‧‧記憶體控制器
912‧‧‧記憶體
914‧‧‧視訊編碼器/視訊編解碼器(編碼器/解碼器)
918‧‧‧模組
920‧‧‧I/O控制器
922‧‧‧系統管理控制器
923‧‧‧音訊處理單元
924‧‧‧網路介面控制器
926‧‧‧第一USB主機控制器
928‧‧‧第二USB控制器
930‧‧‧前面板I/O子組件
932‧‧‧音訊解編碼器
936‧‧‧系統電源供應模組
938‧‧‧風扇
940‧‧‧A/V(音訊/視訊)接口
942(1)‧‧‧控制器
942(2)‧‧‧控制器
943‧‧‧系統記憶體
944‧‧‧媒體驅動機
946‧‧‧外部記憶體裝置
948‧‧‧無線轉接器
950‧‧‧電源按鈕
952‧‧‧彈出按鈕
1000‧‧‧架構
1002‧‧‧CPU
1004‧‧‧系統記憶體
1006‧‧‧RAM
1008‧‧‧ROM
1010‧‧‧系統匯流排
1012‧‧‧大容量儲存設備
1016‧‧‧網路介面單元
1018‧‧‧輸入/輸出控制器
圖1及2圖示說明性的計算環境，本光學心率追蹤可實施在該計算環境中；圖3圖示說明性的捕捉裝置，可部分地使用該捕捉裝置以實施本光學心率追蹤； 圖4圖示說明性的處理管道，該處理管道係由光學心率追蹤引擎所支援；圖5圖示說明性方法的流程圖，該方法藉由臉部校準及準備管道所實施；圖6圖示說明性方法的流程圖，該方法由訊號尋找管道所實施；圖7圖示說明性方法的流程圖，該方法藉由訊號抽取管道所實施；圖8圖示說明性方法的流程圖，該方法由心率識別管道所實施；圖9圖示說明性多媒體控制台的方塊圖，可部分地使用該多媒體控制台以實施本光學心率追蹤；及圖10圖示說明性計算平台的方塊圖，可部分地使用該計算平台以實施本光學心率追蹤。
在圖示中，相似的標號指相似的構件。不是為了尺度化而繪示元件，除非另有指明。
本光學心率追蹤利用了自心臟所抽吸的血液包含含氧的血紅素(HbO2)的觀察。當氧氣由身體所吸收，血紅素變得脫氧(Hb)。含氧的血紅素及脫氧的血紅素區別地反映不同光的波長。含氧的血紅素強烈反映紅光，同時脫氧血紅素反映藍光。藉由追蹤由透過心跳注滿含氧血液、消耗了氧氣及接著更多含氧血液自下一次心跳注滿所造成之人類皮膚顏色正弦運動，可判定人的心率。本光學心率追蹤可使用IR 及可見光RGB(紅/綠/藍)攝影機以在受試者的皮膚上維持兩個訊號，且根據需要加權自各攝影機造成的訊號以達成最佳結果。特別是，係處理由RGB攝影機所捕捉的訊框以使用可見光波長(400-720nm)來測量心率，同時處理800nm以上之IR波長範圍內之IR訊框。對於可見波長，HbO2比Hb更加反映性，且對於IR波長，Hb比HbO2更加反映性。
參見附圖，圖1圖示說明性的計算環境100，可在該計算環境100中實施本光學心率追蹤。強調的是，環境100係意欲為說明性的且包括其他類型裝置、應用及使用情境的其他環境亦可能夠利用本文中所述之原理。環境100包括計算平台，例如多媒體控制台103，該多媒體控制台103一般經配置以：使用經耦合之音訊/視覺顯示器108(例如電視)來運行使用本地及/或聯網編程的遊戲及非遊戲應用程式及內容、遊玩預錄的多媒體(例如包括DVD(Digital Versatile Discs)及CD(Compact Discs)的光碟)、自網路串流多媒體、參與社會媒體、瀏覽網際網路及其他聯網媒體及內容或相似物。
在此示例中之多媒體控制台103係操作性地耦合至捕捉裝置110，可使用一或更多個視頻攝影機來實施該捕捉裝置110，該等視頻攝影機係經配置以視覺地監測由使用者119所佔據的物理空間116(大致由圖1中之虛線所指示)。如以下所更詳細地描述的，捕捉裝置113係經配置以捕捉、追蹤及分析使用者119的移動及/或姿勢，以便可將它們用作可經採用以影響(例如)在多媒體控制台103上運行之應用程式 或作業系統的控制。使用者119之手121或其他身體部分的各種運動可相對應於常見系統範圍內的任務，例如自主使用者介面選擇遊戲或其他應用程式。
例如如圖1中所示，使用者119可在包括在經耦合之顯示器108上所顯示之各種圖標1251-N之可選物件122中導航、在階層式選單中瀏覽過項目、開啟檔案、關閉檔案、存檔或類似物。另外，使用者119可使用移動及/或姿勢以結束、暫停或儲存遊戲、選擇等級、看高分、與朋友通訊...等等。實際上，可藉由使用者119的移動來控制作業系統及/或應用程式之任何可控制的方面。可以任何合適的方式來可取得、使用及分析使用者119運動的全範圍以與在環境100中所執行之應用程式或作業系統互動。
當遊戲應用程式在多媒體控制台103上執行時，亦可由使用者119利用捕捉裝置113以捕捉、追蹤及分析移動以控制遊戲性。例如，如圖2中所示，遊戲應用程式(例如拳擊遊戲)使用顯示器108以提供對使用者119之拳擊對手之視覺表現以及使用者119可同他或她的移動控制之玩家虛擬使用者之視覺表現。使用者119可在物理空間116中作出移動(例如甩出一拳)以造成玩家虛擬使用者在遊戲空間中作出相對應的移動。可在物理空間116中辨識及分析使用者119的移動，使得執行了在遊戲空間中對於玩家虛擬使用者之遊戲控制之相對應的移動。
由多媒體控制台103所支援之遊戲應用程式提供了示例性背景，可在該示例性背景中有利地利用本光學心率追 蹤。例如，在上述之拳擊遊戲中，遊戲設計者可能希望增加遊戲特徵，在該遊戲特徵中，連同其他因素(例如每回合所甩出及所擊中之拳頭的數量)將使用者的心率監測為使用者的表現、技能或健身水平的指示。將進一步理解的是，心率追蹤在皆包括遊戲及非遊戲背景的其他背景中可為有用的。
圖3圖式捕捉裝置113之說明性的功能元件，該捕捉裝置113可用作目標辨識、分析及追蹤系統300的部分以在物理空間116(圖1)之捕捉區域中辨識人類及非人類目標而不使用附接至受試者的特殊感應裝置、唯一地識別他們及在三度空間中追蹤他們。捕捉裝置113可經配置以捕捉具有深度資訊的視訊，該深度資訊包括深度影像，該深度影像可透過任何合適的技術(例如包括飛行時間法(time-of-flight)、結構光源、立體影像或類似物)來包括深度值。在某些實施中，捕捉裝置113可將經計算的深度資訊組織進「Z層」或對於可正交於自深度攝影機沿其視線延伸之Z軸的層。
如圖3中所示，捕捉裝置113包括影像攝影機元件303。影像攝影機元件303可經配置以操作為可捕捉場景之深度影像之深度攝影機。深度影像可包括所捕捉場景之二度(2D)像素區域，在該場景處，2D像素區域中之各像素可代表深度值，例如自攝影機所捕捉之場景中之物件之(例如)厘米、毫米或類似物的距離。在此示例中，影像攝影機元件303包括IR光元件306、IR攝影機311及可見光RGB攝影機314。
可利用各種技術以捕捉深度視訊訊框。例如，在飛 行時間法分析中，捕捉裝置113之IR光元件306可將紅外光發射至捕捉區域上且可接著使用(例如)IR攝影機311及/或RGB攝影機314自捕捉區域中一或更多個目標及物件的表面偵測經反向散射的光。在某些實施例中，可使用脈衝式紅外光，使得可測量及使用出射光脈衝及相對應的入射光脈衝之間的時間以判定自捕捉裝置113至捕捉區域中之目標或物件上之特定位置之物理距離。另外，可向入射光波之相位比較出射光波之相位以判定相位位移。可接著使用相位位移以判定自捕捉裝置至目標或物件上之特定位置之物理距離。可使用飛行時間法分析以藉由透過各種技術(例如包括百葉窗光脈衝成像)隨時間分析反射光束強度，來間接判定自捕捉裝置113至目標或物件上之特定位置之物理距離。
在其他實施中，捕捉裝置113可使用結構光源來捕捉深度資訊。在這樣的分析中，可將圖型化的光(也就是顯示為已知圖案(例如格狀圖型或條紋圖型)的光)透過(例如)IR光元件306投射至捕捉區域上。回應於當在捕捉區域中觸擊一或更多個目標或物件的表面時，圖型可能變得變形。這樣的圖型變形可由(例如)IR攝影機311及/或RGB攝影機314所捕捉且可接著經分析以判定自捕捉裝置至目標或物件上之特定位置的物理距離。
捕捉裝置113可利用可自不同角度觀看捕捉區域的二或更多個物理分離的攝影機以獲得可經解析以產生深度資訊的視覺立體資料。亦可用使用單一或多個攝影機的其他類型的深度影像佈置以產生深度影像。捕捉裝置113可進一步 包括麥克風318。麥克風318可包括可接收及將聲音轉換成電子訊號的傳感器或感應器。可使用麥克風318以在目標辨識、分析及追蹤系統300中降低捕捉裝置113及多媒體控制台103之間的反饋。另外，可使用麥克風318以接收亦可由使用者119所提供以控制應用程式(例如可由多媒體控制台103所執行之遊戲應用程式、非遊戲應用程式或其類似物)之音訊訊號。
捕捉裝置113可進一步包括可在匯流排328上與影像攝影機元件303操作性通訊的處理器325。處理器325可包括可執行指令的標準化的處理器、特殊化的處理器、微處理器或其類似物，該等指令可包括用於儲存概述(profile)、接收深度影像、判定深度影像中是否可能包括合適的目標、將合適的目標轉換成該目標之骨架表現或模型的指令或任何其他合適的指令。捕捉裝置113可進一步包括記憶體元件332，該記憶體元件332可儲存可由處理器325所執行之指令、由攝影機所捕捉之影像或影像訊框、使用者概述或任何其他合適資訊、影像或類似物。依據一個示例，記憶體元件332可包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快取記憶體、快閃記憶體、硬碟或任何其他合適的儲存元件。如圖3中所示，記憶體元件332可為同影像捕捉元件303及處理器325通訊的分離元件。或者，記憶體元件332可整合進處理器325及/或影像捕捉元件303。在一個實施例中，捕捉裝置113的某些或所有的元件303、306、311、314、318、325、328及332係安置在單一殼體中。
捕捉裝置113在通訊連結335上操作性地與多媒體控制台103通訊。通訊連結335可為有線連接(例如包括USB(Universal Serial Bus)連接、火線連接、乙太纜線連接或其類似物)及/或無線連接(例如無線802.11連接)。多媒體控制台103可透過通訊連結335向捕捉裝置113提供時脈，可使用該時脈以判定何時捕捉(例如)場景。捕捉裝置113可透過通訊連結335向多媒體控制台103提供由(例如)IR攝影機311及/或RGB攝影機314所捕捉的深度資訊及影像，該等深度資訊及影像包括可由捕捉裝置113所產生的骨架模型及/或臉部追蹤模型。多媒體控制台103可接著使用骨架及/或臉部追蹤模型、深度資訊及所捕捉的影像以(例如)產生虛擬螢幕、調整使用者介面及控制應用程式。
運動追蹤引擎341使用骨架及/或臉部追蹤模型及深度資訊以向在多媒體控制台103上運行之一或更多個應用程式(表示性地由圖3中之應用程式345所指示)提供控制輸出，捕捉裝置113係耦合至該多媒體控制台103。亦可由姿勢辨識引擎351、深度影像處理引擎354、作業系統359及/或光學心率追蹤引擎362來使用資訊。深度影像處理引擎354使用深度影像以追蹤物件(例如使用者及其他物件)的運動。深度影像處理引擎354對於每個訊框一般將向作業系統359報告所偵測之各物件的識別及物件的位置。作業系統359可使用那資訊以更新虛擬使用者之位置或移動(例如)或顯示於顯示器108上之其他影像，或使用那資訊以在使用者介面上執行動作。
姿勢辨識引擎351可利用姿勢資料庫(未圖示)，該姿勢資料庫可包括姿勢過濾器的收集，各姿勢過濾器包括關於(當使用者移動時)可由(例如)骨架模型所執行之姿勢的資訊。姿勢辨識引擎351可向姿勢資料庫中之姿勢過濾器比較由捕捉裝置113所捕捉的骨架模型形式及與該骨架模型移動相關聯之形式的訊框，以識別(如由骨架模型所代表的)使用者何時執行了一或更多個姿勢。那些姿勢可關聯於應用程式的各種控制。因此，多媒體控制台103採用姿勢資料庫以解譯骨架模型的移動及基於該等移動控制在多媒體控制台上運行之作業系統或應用程式。
圖4圖示光學心率追蹤引擎362之功能性細節。特別是，光學心率追蹤引擎362可利用許多處理管道，該等處理管道包括臉部校準及準備管道405、訊號尋找管道410、訊號抽取管道415及心率識別管道420。如所示，係依序佈置處理管道，以便一個處理管道的輸出向後續的處理管道提供輸入。例如當IR及RGB攝影機以不同訊框率操作時，在替代性實施中可佈置個別的管道以平行地運行。
至光學心率追蹤引擎362的輸入一般皆包括IR及RGB訊框，該等訊框係由捕捉裝置113所捕捉且取決於所給定之實施的需求透過作業系統359或應用程式345向引擎362傳遞。光學心率追蹤引擎362之輸出為頻率對空間圖，該頻率對空間圖包括經識別的心率訊號，可將該心率訊號返回至由多媒體控制台103所支援之呼叫應用程式、作業系統或其他元件。
臉部校準及準備管道405可實施圖5之流程圖中所示之方法500。除非特別聲明，圖5中之方法或步驟及附圖中所示及以下所述之其他流程圖中的那些方法或步驟係不受限於特定的順序或序列。另外，其之方法中的某些可同時發生或被執行，且取決於所給定之實施需求，並非所有的方法或步驟都要在這樣的實施中被執行，且可以可選地利用某些方法或步驟。例如，以增加的計算性及系統資源使用為代價，在某些場景中可需要額外的訊號過濾器以在某些作業環境中改進雜訊效能。同樣地，在某些應用中可消除某些步驟以降低負擔，同時減少(例如)強固性或運動耐受性。可在任何給定的應用中所實施的各種特徵、成本、負擔、效能及強固性的權衡一般可視為設計選擇的問題。響應來自對於使用者心跳之應用程式(或作業系統或其他元件)的呼叫(如由標號505所指示)，管道405接收深度、IR及RGB訊框(510)。臉部校準及準備管道405接收在物理空間116(圖1)中使用者頭部位置之粗略估計，該粗略估計係自運動追蹤引擎341(圖3)所獲得，該運動追蹤引擎341可採用(例如)骨架或臉部追蹤(515)。
使用所接收之使用者頭部位置之粗略估計，在深度訊框(520)中追蹤了頭部輪廓，以便將頭部明確地自背景分離，及執行了具有自先前訊框之頭部位置的粗略校準(525)。係執行(例如)使用Horn-Schunck演算法的光學性基於流動的運動補償以同先前訊框每像素校準當前訊框(530)。這保留了訊框的主要細節但翹曲(warp)了臉部影像中的改變 (像是揚起的眉毛、移動的嘴巴...等等)以將它們同先前的訊框校準。倘若運動模糊是雜訊顯著的來源，可以可選地實施各種去模糊/去重影技術以降低其衝擊。
係利用皮膚像素判定演算法以產生只有皮膚的影像(535)。在此說明性的示例中，皮膚像素判定演算法係經內部產生且經機器學習的，該皮膚像素判定演算法判定哪個像素可能是皮膚像素且移除與頭髮、眼睛、嘴巴及鼻孔相關聯之像素。沒有了此步驟，一般可預期來自眨眼或移動的嘴巴及頭髮的雜訊敗壞了心跳追蹤結果。係分解造成的訊框校準的只有皮膚的影像，以便將多個通道中來自IR及RGB訊框的所有影像像素併入一個通道中的單一訊號測量(540)。
訊號尋找管道410可圖6之流程圖中所示之實施方法600。係針對先前訊框的頭部所緩存的經分解版本，執行當前訊框的頭部經分解、校準、只有皮膚的影像的每像素比較(605)。係加總且平均先前訊框的頭部及當前訊框的頭部之間具有差量的那些像素，該等像素係經判定為以一致的方向趨向(trend)且在亮度上係在設定數量之標準差內(610)。符合這些準則的像素稱為「可接受像素」。係基於像素對於差量及亮度距平均多遠來產生每像素之噪度測量(615)。
可將第一卡門(Kalman)過濾器施用至包括所有可接受像素的陣列、平均訊框間各像素的差量、由像素是雜訊的可能性所加權，以在兩個訊框之間的時間中尋找經估計的幅度差量(620)。因此，第一卡門過濾器的應用使得能夠為像素中的反映性(reflectivity)位準是否增加、降低或保持相 同作出判定。強調的是，卡門過濾器的利用係意欲為說明性的，且亦可取決於心率追蹤之特定實施之需要，施用其他已知類型的過濾器。可將第二卡門過濾器施用至來自第一卡門過濾器的輸出(625)。也就是說，給定所估計的幅度差量，若當前訊框比大部分訊框要吵雜，係針對先前訊框來施用當前訊框的過濾器以降低心跳訊號上之衝擊。第二卡門過濾器額外註記產生各測量的時間且輸出平滑化的值，該平滑化的值皆考慮每測量的為雜訊之可能性(likelihood-of-noise)及那測量是在多久以前執行，以表彰當前訊框測量(例如)相較於來自八個或九個訊框之前的測量，更可能類似於來自一或兩個訊框之前的測量。據此，第一卡門過濾器可視為對於給定時間片(timeslice)的跨測量移除雜訊，同時第二卡門過濾器對於最終的心跳訊號跨時間片移除雜訊。
作為兩個卡門過濾器之間互動的說明性示例，假設使用者119(圖1)在兩個連續的訊框之間在物理空間116中關閉燈光，這造成了第二訊框比第一訊框暗50%。第一卡門過濾器會降低來自關閉燈光在亮度上的50%改變外之嘈雜的像素的衝擊，且第一卡門過濾器會檢測在50%的訊框之間存在平均差量，且會檢測測量是非常嘈雜的。第二卡門過濾器接收此50%非常嘈雜的資料點，假如先前訊框測量並不為嘈雜的，第二卡門過濾器會使用那些先前的測量而不是此嘈雜資料點以對於此訊框產生每訊框差量。
係利用第二卡門過濾器隨著時間輸出以產生在臉部皮膚中低幅度差量的時間對空間表現這些差量的主要來源是 心率。雖然訊號尋找管道410本身可返回相對應於理想場景下心率的時間對空間圖，一般實際上，可預期這樣的時間對空間圖嚴重由雜訊所敗壞。訊號抽取管道415使由雜訊所敗壞的時間對空間圖受由圖7之流程圖中之方法700所涵蓋之額外操作。
在一般實施中，訊號抽取管道415在來自訊號尋找管道410的分離執行緒上運行，以便即使在捕捉裝置不能夠可靠地以30fps提供訊框的狀況下(例如由於在環境中於給定時間處存在的資源或其他限制)，訊號抽取管道可以每秒30訊框(frames per second,fps)處理資訊。可施用時間對空間平滑化方法(705)(例如雙指數(double-exponential)的或移動平均(moving-average)平滑化)以降低高頻顫動的衝擊。可施用頻率對空間平滑化方法(例如巴特沃斯(Butterworth)濾波器)以跨圖形訊窗降低高頻及低頻訊號兩者的衝擊。例如，約每分鐘40下跳動(beats per minute,bpm)以下及約180bpm以上(也就是2/3Hz至3Hz)之訊號不太可能是使用者的心率且可在一般應用中自圖形訊窗排除。
係施用平滑化的訊號訊窗之差分(這放大了訊號，以放大任何其餘的雜訊為代價)，且可依據所需重複時間對空間及頻率對空間的平滑化(715)。接著施用離散傅立葉轉換以將其餘的訊號訊窗轉換成頻率空間(720)。訊號抽取管道415的輸出包括兩個頻率對空間圖(一個對IR且其他對RGB)，這代表使用者之心率之引擎的盡力而為的估計(725)。理想地，這些頻率對空間圖將具有一個尖峰(且要 不就完全扁平)這指示在大部分頻率沒有找到訊號同時指示在一個頻率找到強烈訊號(也就是心率)。實際上，然而，該等圖形仍然常常是嘈雜的。產生了經合併的心率可能性(merged-heartrate-likelihood)圖形，該圖形為IR及RGB頻率對空間圖的平均(由各圖形的雜訊水平所加權)(730)。
經合併的RGB/IR頻率對空間圖形係饋入心率識別管道420，該饋入心率識別管道420可執行圖8中所示的方法800。管道420在經合併的RGB/IR頻率對空間圖形上尋找最高峰(這代表最有可能是心率的訊號)且測量該圖形的雜訊水平(805)。最高峰的位置(由噪度測量所加權)係儲存(bucket)進頻率偵測器(810)。在說明性的示例中，頻率偵測器可儲存約過去幾秒的訊框訊號(例如五秒)。對於各訊號，頻率偵測器施用平滑化因素以強化附近訊號的貢獻且接著將所有的訊號加在一起(815)。在一個說明性的示例中，產生具有約3bpm核心(kernel)寬度及等於訊號噪度測量之幅度的高斯函數。係利用平滑化因素(例如，使用所產生的高斯函數)，以便62bpm及63bpm的訊號(例如)不被視為完全分離。
係輸出加總的及平滑化之訊號的圖形(820)。若尖峰結果是在一設定的閥值幅度之上，在輸出圖形中識別心率訊號，且所識別的心率係返回至呼叫應用程式(830)。
圖9為圖1-2中所示之多媒體控制台103之說明性功能性方塊圖。如圖9中所示，多媒體控制台103具有中央處理單元(CPU)901，該CPU具有等級1快取記憶體902、 等級2快取記憶體904及快閃唯讀記憶體(Read Only Memory,ROM)906。等級1快取記憶體902及等級2快取記憶體904暫時儲存資料及於是降低記憶體存取循環的數量，藉此改進了處理速度及產出量。CPU 901可同多於一個的核心配置，且因此同額外的等級1及等級2快取記憶體902及904配置。快閃ROM 906可儲存可執行代碼，當多媒體控制台103開啟電源時，在啟動程序的初始階段期間載入該代碼。
圖形處理單元(GPU)908及視訊編碼器/視訊編解碼器(編碼器/解碼器)914對於高速及高解析度圖形處理形成視訊處理管道。自GPU 908透過匯流排將資料送至視訊編碼器/視訊編解碼器914。視訊處理管道為了傳輸至電視或其他顯示器向A/V(音訊/視訊)接口940輸出資料。記憶體控制器910係連接至GPU 908以促進至各種類型的記憶體912(例如(但不限於)RAM)的處理器存取。
多媒體控制台103包括較佳地在模組918上實施之I/O控制器920、系統管理控制器922、音訊處理單元923、網路介面控制器924、第一USB主機控制器926、第二USB控制器928及前面板I/O子組件930。USB控制器926及928用作對於周邊控制器942(1)-942(2)、無線轉接器948及外部記憶體裝置946(例如快閃記憶體、外部CD/DVD ROM驅動機、可移除媒體...等等)的主機。網路介面控制器924及/或無線轉接器948提供至網路(例如網際網路、家庭網路...等等)的存取且可為任何的各式各樣的有線或無線轉接器元件(包括乙太網路卡、數據機、藍芽模組、纜線數據機及其類似物)。
提供系統記憶體943以儲存在啟動程序期間載入的應用程式資料。提供媒體驅動機944，且該媒體驅動機944可包括DVD/CD驅動機、硬碟或其他可移除媒體區動機...等等。媒體驅動機944對多媒體控制台103可為內部的或外部的。可藉由多媒體控制台103為了執行、重現...等等透過媒體驅動機944來存取應用程式資料。媒體驅動機944透過匯流排(例如串列ATA匯流排或其他高速連接(例如IEEE 1394))連接至I/O控制器920。
系統管理控制器922提供關於確保多媒體控制台103之可用性的各種服務功能。音訊處理單元923及音訊編解碼器932形成具有高逼真度及立體處理的相對應音訊處理管道。係透過通訊連結在音訊處理單元923及音訊編解碼器932之間攜帶音訊資料。音訊處理管道為了藉由外部音訊撥放器或具有音訊性能之裝置來再生向A/V接口940輸出資料。
前面板I/O子組件930支援電源按鈕950及彈出按鈕952以及露在多媒體控制台103之外表面上之任何LED(light emitting diodes)或其他指示器的功能性。系統電源供應模組936向多媒體控制台103的元件提供電力。風扇938冷卻多媒體控制台103內之電路系統。
多媒體控制台103內之CPU 901、GPU 908、記憶體控制器910及各種其他元件係透過一或更多個匯流排互聯，包括串聯及並聯匯流排、記憶體匯流排、周邊匯流排及使用任何各式各樣的匯流排架構的處理器或本地匯流排。藉由示例的方式，這樣的架構可包括周邊元件互聯(Peripheral Component Interconnect,PCI)匯流排、PCI-Express匯流排...等等。
當多媒體控制台103開啟電源時，可自系統記憶體943將應用程式資料載入進記憶體912及/或快取記憶體902及904及在CPU 901上執行。應用程式可呈現圖形使用者介面，該圖形使用者介面當導航至在多媒體控制台103上可用的不同媒體類型時提供一致的使用者體驗。在操作中，可自媒體驅動機944開始或撥放包含於媒體驅動機944內的應用程式及/或其他媒體以向多媒體控制台103提供額外功能性。
可將多媒體控制台103藉由簡單地將系統連接至電視或其他顯示器來操作為獨立系統。在此獨立模式中，多媒體控制台103允許一或更多個使用者與系統互動、觀看電影或聽音樂。然而，有了通過網路介面控制器924或無線轉接器948而可提供的寬帶連接性的整合，多媒體控制台103可進一步在更大的網路社群中操作為參與者。
當多媒體控制台103開啟電源時，為由多媒體控制台作業系統所使用的系統保留一設定量的硬體資源。這些資源可包括記憶體(例如16MB)、CPU及GPU循環(例如5%)、網路頻寬(例如8kbs)...等等的保留。因為在系統啟動時間保留這些資源，所保留的資源從應用程式的觀點來說並不存在。
特別是，記憶體保留較佳地足夠大以包含啟動核心、並行式系統應用程式及驅動器。CPU保留較佳地為定值，使得若所保留的CPU使用沒有由系統應用程式所使用，閒置 執行緒將消耗任何未使用的循環。
關於GPU保留，由系統應用程式所產生的輕量化信息(例如彈出式視窗(pop-ups))係藉由使用GPU中斷訊號以排程代碼以將彈出式視窗顯像進覆蓋層(overlay)來顯示。對於覆蓋層所需之記憶體的量取決於覆蓋層區域尺寸，且覆蓋層較佳地同螢幕解析度尺度化。凡全使用者介面由並行式系統應用程式所使用，較佳的是使用獨立於應用程式解析度的解析度。可使用尺度器以設定此解析度，使得消除了改變頻率及造成TV重新同步的需要。
之後，多媒體控制台103啟動且保留了系統資源，並行式系統應用程式執行以提供系統功能性。系統功能性係封裝在一組系統應用程式中，該組系統應用程式在如上所述的所保留之系統資源內執行。作業系統核心識別執行緒，該等執行緒係系統應用程式執行緒對比(versus)遊戲應用程式執行緒。為了提供以應用程式的觀點而言一致的系統資源，系統應用程式較佳地係經排程以在預定的時間及時間間隔處在CPU 901上運行。排程步驟係為最小化對於在控制台上運行之遊戲應用程式之快取記憶體分裂。
當並行式系統應用程式需要音訊，由於時間敏感性，係向遊戲應用程式異步地排程音訊處理步驟。當系統應用程式是有效的，多媒體控制台應用程式管理器(以下所述)控制遊戲應用程式音訊水平(也就是靜音、衰減)。
輸入裝置(例如控制器942(1)及942(2))由遊戲應用程式及系統應用程式所共享。輸入裝置並非所保留的資 源，但是要在系統應用程式及遊戲應用程式之間切換，使得各應用程式將具有該裝置的焦點。應用程式管理器較佳地控制輸入串流的切換，而沒有遊戲應用程式知識的知識，且驅動器維持關於焦點切換的狀態資訊。捕捉裝置113可對控制台103定義額外的輸入裝置。
理想的及/或有利的是，使說明性媒體控制台103以外的其他類型的計算平台能夠在某些應用中實施本光學心率追蹤。例如，光學心率追蹤可容易地經調整以在具有視訊捕捉性能的固定計算平台及行動計算平台上運行。圖10圖示用於計算平台或裝置一個說明性的架構1000，該計算平台或裝置對於提供光學心率追蹤能夠執行本文中所述之各種元件。因此，圖10中所繪示的架構1000圖示了一架構，可對於伺服器電腦、行動電話、PDA(personal digital assistant)、智慧型手機、桌上型電腦、隨身型易網機電腦、平板電腦、GPS(Global Positioning System)裝置、遊戲控制台及/或筆記型電腦調整該架構。架構1000可經利用以執行本文中所呈現之元件的任何方面。
圖10中所繪示之架構1000包括CPU 1002、系統記憶體1004(包括RAM 1006及ROM 1008)及將記憶體1004耦合至CPU 1002的系統匯流排1010。包含基本常式的基本輸入/輸出系統係儲存於ROM 1008中，該等基本常式幫助在架構1000內的構件之間傳輸資訊(例如在開機期間)。架構1000進一步包括用於儲存軟體代碼或其他由電腦所執行之代碼的大容量儲存設備1012，該等代碼係經利用以實施類似於 圖3中所示及於隨附的文字中所描述的那些元件的方式同功能性及操作所配置之應用程式、光學心率追蹤引擎、運動追蹤引擎、姿勢辨識引擎、深度影像處理引擎及作業系統。
大容量儲存設備1012係通過連接至匯流排1010的大型儲存控制器(未圖示)連接至CPU 1002。大容量儲存設備1012及其相關聯的電腦可讀取儲存媒體對架構1000提供非易失性儲存。雖然本文中所包含之電腦可讀取儲存媒體的描述指大容量儲存裝置(例如硬碟或CD-ROM驅動機)，應由那些發明所屬領域具技藝者理解的是，電腦可讀取媒體可為可由架構1000所存取之任何可用的電腦儲存媒體。
雖然本文中所包含之電腦可讀取儲存媒體的描述指大型儲存裝置(例如硬碟或CD-ROM驅動機)，應由那些發明所屬領域具技藝者理解的是，電腦可讀取儲存媒體可為可由架構1000所存取之任何可用的儲存媒體。
藉由示例(且並非限制)的方式，電腦可讀取儲存媒體可包括易失性及非易失性、可移除及非可移除媒體，該等媒體係在對於資訊(例如電腦可讀取指令、資料結構、程式模組或其他資料)的儲存之任何方法或科技中實施。例如，電腦可讀取媒體包括(但不限於)RAM、ROM、EPROM(erasable programmable read only memory)、EEPROM(electrically erasable programmable read only memory)、快閃記憶體或其他固態記憶體科技、CD-ROM、DVD、HD-DVD(High Definition DVD)、BLU-RAY或其他光學儲存、磁式卡匣、磁帶、磁碟儲存或其他磁式儲存裝置或可用以儲存所 需資訊及可由架構1000所存取的任何其他媒體。為了此說明書及請求項的目的，用語「電腦可讀取儲存媒體」及其各種變化，並不包括電波、訊號及/或其他暫時性及/或無形的通訊媒體。
依據各種實施例，架構1000可在通過網路向遠端電腦使用邏輯連接的聯網環境中操作。架構1000可通過連接至匯流排1010的網路介面單元1016連接至網路。應了解的是，網路介面單元1016亦可經利用以連接至其他類型的網路及遠端電腦系統。架構1000亦可包括用於接收及處理來自許多其他裝置(包括鍵盤、滑鼠或電子觸控筆(未圖示於圖10中))之輸入的輸入/輸出控制器1018。類似地，輸入/輸出控制器1018可向顯示螢幕、印表機或其他類型的輸出裝置(亦未圖示於圖10中)提供輸出。
應理解的是，本文中所述之軟體元件可(當載入進CPU 1002且執行時)將CPU 1002及整個架構1000自一般目的的計算系統轉換成經自定義以促進本文中所呈現之功能性之特殊目的的計算系統。CPU 1002可由任何數量的電晶體或其他離散電路構件所建構，這可個別地或共同地假定任何數量的狀態。更具體而言，CPU 1002可回應於包含於本文中所揭露之軟體模組內之可執行指令，操作為有限狀態機。這些電腦可執行指令可藉由指定CPU 1002如何在狀態之間過渡來轉換CPU 1002，藉此轉換構成CPU 1002的電晶體或其他離散硬體構件。
編碼化本文中所呈現之軟體模組亦可轉換本文中所 呈現之電腦可讀取儲存媒體之物理結構。物理結構的特定轉換可取決於各種因素(在此描述的不同實施中)。這樣的因素的示例可包括(但不限於)用以實施電腦可讀取儲存媒體之科技、電腦可讀取儲存媒體是否特徵化為主要或次要儲存、及其類似物。例如，若電腦可讀取儲存媒體係實施為基於半導體的記憶體，本文中所揭露之軟體可藉由轉換半導體記憶體的物理狀態在電腦可讀取儲存媒體上編碼。例如，軟體可轉換構成半導體記憶體之電晶體、電容或其他離散電路元件的狀態。為了儲存其上之資料，軟體亦可轉換這樣的元件的物體狀態。
作為另一示例，本文中所揭露之電腦可讀取儲存媒體可使用磁式或光學科技來實施。在這樣的實施中，當在其中編碼本文中所呈現的軟體時，該軟體可轉換磁式或光學媒體的物理狀態。這些轉換可包括改變給定之磁式媒體內之特定位置之磁性特性。這些轉換亦可包括改變給定光學媒體內之特定位置之物理特徵或特性，用以改變那些位置的光學特性。其他的物理媒體轉換是可能的而不脫離本描述的範圍及精神，且僅為促進此討論而提供前述的示例。
鑒於以上，應理解的是，為了儲存及執行本文中所呈現之軟體元件，許多類型的物理轉換在架構1000中發生。亦應理解的是，架構1000可包括其他類型的計算裝置，包括手持式電腦、嵌入式電腦系統、智慧型手機、PDA及熟知於那些發明所屬領域中具技藝者的其他類型計算裝置。亦考慮的是，架構1000可不包括圖10中所示之所有元件、可包括 圖10中未明確圖示的其他元件、或可利用完全不同於圖10中所示架構的架構。
基於前述，應理解的是，用於提供及使用光學心率追蹤的科技已於本文中揭露。雖然本文中所呈現的申請標的已以特定於電腦結構特徵、方法上及轉化的動作、特定電腦機械及電腦可讀取儲存媒體的語言來描述，要了解的是，所隨附的請求項中所定義的發明不需限於本文中所述之特定特徵、動作或媒體。相較之下，特定特徵、動作及媒體係揭露為實施該等請求項之示例形式。
以上所述之申請標的係僅藉由說明的方式來提供且不應被建構為限制。可對本文中所述之申請標的作出各種修改及改變，而不依照所繪示及描述的示例實施例及應用，且不脫離本發明的真實精神及範圍，這係闡述於下述之請求項中。
362‧‧‧光學心率追蹤引擎
405‧‧‧臉部校準及準備管道
410‧‧‧訊號尋找管道
415‧‧‧訊號抽取管道
420‧‧‧心率識別管道

Claims (20)

  1. 一種用於追蹤一人類受試者之一心率之由電腦所實施的方法，該方法包括以下步驟：接收由一紅外(IR)攝影機所捕捉之IR視訊訊框之一串流，所接收之IR視訊訊框中之一或更多個包括該受試者的一臉部影像；接收由一可見光攝影機所捕捉之可見光視訊訊框之一串流，所接收之可見光視訊訊框中之一或更多個包括該受試者之該臉部影像；處理該等所接收之IR視訊訊框及可見光視訊訊框以偵測該臉部影像之反映性(reflectivity)中之改變；以及將來自一經處理的IR視訊訊框之該等所偵測的改變同來自一經處理的可見視訊訊框之所偵測的改變相關聯以識別該受試者之該心率。
  2. 如請求項1所述之由電腦所實施的方法，更包括以下步驟：判定該臉部影像中之像素為非皮膚像素的一可能性。
  3. 如請求項2所述之由電腦所實施的方法，更包括以下步驟：自處理步驟消除該等可能的非皮膚像素，該等可能的非皮膚像素包括頭髮、眼睛、鼻孔或嘴巴中之一者。
  4. 如請求項3所述之由電腦所實施的方法，更包括以下步驟：將來自多個通道的該等所處理的視訊訊框分解成一個通道中之一單一訊號測量。
  5. 如請求項4所述之由電腦所實施的方法，更包括以下步驟：施用一卡門(Kalman)過濾器以尋找該單一訊號測量中之連續訊框之間之一經估計的差量。
  6. 如請求項5所述之由電腦所實施之方法，更包括以下步驟：若一給定的視訊訊框的該雜訊超過一閥值，施用卡門過濾器以將該給定的視訊訊框以一先前視訊訊框替換。
  7. 如請求項6所述之由電腦所實施之方法，更包括以下步驟：產生在一只有皮膚的臉部影像中之低幅度差量之一時間對空間表現。
  8. 如請求項7所述之由電腦所實施之方法，更包括以下步驟：對該時間對空間表現施用時間對空間平滑化步驟或頻率對空間平滑化步驟中之一者。
  9. 如請求項8所述之由電腦所實施之方法，更包括以下步驟：施用一離散傅立葉轉換以將任何其餘的訊號訊窗轉換成與該等IR及可見光視訊訊框相關聯之相應的頻率對空間圖形。
  10. 如請求項9所述之由電腦所實施之方法，更包括以下步驟：合併由圖形雜訊水平所加權之該等頻率對空間圖形。
  11. 如請求項10所述之由電腦所實施之方法，更包括以下步驟：在該等所合併的頻率對空間圖形中識別一最高峰；測量該最高峰的一雜訊水平；以及將該最高峰的一位置儲存(bucket)進一頻率偵測器，該位置係由該雜訊水平所加權。
  12. 如請求項11所述之由電腦所實施之方法，更包括以下步驟：儲存連續視訊訊框訊號的一群組；向各所儲存之訊號施用一平滑化因素；加總該等經平滑化之訊號；圖形化該等經加總的經平滑化訊號；以及若該尖峰超過一閥值則自該圖形識別一心率訊號。
  13. 一或更多個電腦可讀取儲存媒體，具有儲存於其上之電腦可讀取指令，當由一電腦所執行時，該等指令實施：一臉部校準及準備管道，係經佈置而用於接收紅外視訊訊框及可見光視訊訊框之相應串流，該等訊框包括一人類受試者之一臉部影像，且該管道同時地處理該等所接收之紅外視訊訊框及可見光視訊訊框以輸出一經分解的、經訊框校準的、只有臉部皮膚的訊號測量；一訊號尋找管道，係經佈置以用於：i)接收該經分解的、經訊框校準的、只有臉部皮膚的訊號測量；ii)向一先前訊框 中之一經緩存的經分解版本的一頭部影像比較一當前訊框中之該訊號測量；iii)加總及平均具有該當前訊框及該先前訊框中之頭部影像間之差量的像素，該等像素係以一致的方向趨向(trend)且在一設定數量的亮度之標準差內；iv)產生每像素之噪度之一測量；v)向該等經加總的及經平均的像素施用至少一個過濾器，該過濾器係由該噪度測量所加權；vi)產生在一只有皮膚的臉部影像中之低幅度差量之一時間對空間表現；以及一訊號抽取管道，係經佈置以用於：a)向該時間對空間表現施用時間對空間平滑化步驟或頻率對空間平滑化步驟；b)施用一離散傅立葉轉換以對於該等IR及可見串流之各者將該時間對空間表現轉換成一頻率對空間表現；c)合併由圖形雜訊水平所加權之該等頻率對空間表現。
  14. 如請求項13所述之一或更多個電腦可讀取儲存媒體，更實施一心率識別管道，該管道用於：在該等經合併的頻率對空間圖形中識別一最高峰；測量該最高峰之一雜訊水平；以及將該最高峰之一位置儲存(bucket)進一頻率偵測器，該位置係由該雜訊水平所加權。
  15. 如請求項14所述之一或更多個電腦可讀取儲存媒體，其中該等管道在一給定的視訊訊框上依序操作。
  16. 如請求項14所述之一或更多個電腦可讀取儲存媒體，其中該等管道係平行地操作。
  17. 一種電腦平台，包括：至少一個處理器；以及一或更多個電腦可讀取儲存媒體，儲存當指令由該至少一個處理器所執行時執行一方法的該等指令，該方法包括以下步驟：獲得由紅外(IR)及可見光攝影機所捕捉之一人類受試者的臉部之相應IR及可見光視訊訊框饋入；獲得由該等攝影機所監測之一空間內之該受試者之頭部之一位置之一估計；施用運動補償以在一每像素的基礎上，在一當前訊框中同一先前訊框校準該受試者之頭部；產生該受試者之臉部之一只有臉部皮膚的表現；將該等視訊饋入分解成一單一的一般性(generic)訊號饋入；在該單一的一般性訊號饋入中追蹤改變，該等改變代表該受試者之臉部皮膚顏色改變正弦運動；以及自該等所追蹤的改變識別該受試者之心率。
  18. 如請求項17所述之計算平台，更包括一介面，該介面係經佈置以操作性地耦合包括一IR攝影機及一可見光攝影機之一視訊捕捉裝置。
  19. 如請求項18所述之計算平台，其中該IR攝影機係經配置以操作為深度攝影機。
  20. 如請求項17所述之計算平台，其中係在該受試者在該所監測的空間內運動的同時，執行該追蹤步驟。
TW103114291A 2013-04-23 2014-04-18 光學心率追蹤 TW201446216A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/869,016 US9962095B2 (en) 2013-04-23 2013-04-23 Optical heartrate tracking

Publications (1)

Publication Number Publication Date
TW201446216A true TW201446216A (zh) 2014-12-16

Family

ID=50780876

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103114291A TW201446216A (zh) 2013-04-23 2014-04-18 光學心率追蹤

Country Status (3)

Country Link
US (1) US9962095B2 (zh)
TW (1) TW201446216A (zh)
WO (1) WO2014176140A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI554247B (zh) * 2015-02-17 2016-10-21 正崴精密工業股份有限公司 生物訊號測量系統及方法
TWI601514B (zh) * 2015-01-29 2017-10-11 明泰科技股份有限公司 智能監測系統與方法及使用其之攝影裝置
TWI632894B (zh) * 2016-12-28 2018-08-21 財團法人工業技術研究院 動態影像之心率活動偵測系統與其方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6191517B2 (ja) * 2014-03-14 2017-09-06 富士通株式会社 検出装置、検出プログラム、及び検出方法
CA2972798A1 (en) * 2014-12-30 2016-07-07 Morphotrust Usa, Llc Video triggered analyses
US9830503B1 (en) * 2014-12-31 2017-11-28 Morphotrust Usa, Llc Object detection in videos
WO2016166651A1 (en) * 2015-04-13 2016-10-20 Koninklijke Philips N.V. Vital sign monitoring
US10610133B2 (en) 2015-11-05 2020-04-07 Google Llc Using active IR sensor to monitor sleep
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
CN107773225B (zh) * 2016-08-26 2021-07-30 松下知识产权经营株式会社 脉搏波计测装置、脉搏波计测方法以及记录介质
US20180085014A1 (en) * 2016-09-23 2018-03-29 Panasonic Intellectual Property Management Co., Ltd. Pulse wave measuring apparatus, method for measuring pulse waves, and recording medium
US20180103906A1 (en) * 2016-10-17 2018-04-19 CU Wellness, Inc. Multifunction buckle for a wearable device
US20180103901A1 (en) * 2016-10-17 2018-04-19 CU Wellness, Inc. Multifunction modular strap for a wearable device
US10874309B2 (en) * 2017-05-01 2020-12-29 Samsung Electronics Company, Ltd. Determining emotions using camera-based sensing
CN108289180B (zh) * 2018-01-30 2020-08-21 广州市百果园信息技术有限公司 根据肢体动作处理视频的方法、介质和终端装置
CN110236509A (zh) * 2018-03-07 2019-09-17 台北科技大学 于视频中实时分析生理特征的方法
CN109165560A (zh) * 2018-07-26 2019-01-08 深圳市梵高夫科技有限公司 运动姿势的学习方法、装置、系统及信息存储介质
CN110321782B (zh) * 2019-05-06 2023-09-19 苏宁金融服务(上海)有限公司 一种检测人体特征信号的系统
CN110558966A (zh) * 2019-08-12 2019-12-13 平安科技（深圳）有限公司 一种脉搏检测装置
US20220117517A1 (en) * 2020-10-19 2022-04-21 Harman Becker Automotive Systems Gmbh System and method for determining heart beat features
US11882366B2 (en) 2021-02-26 2024-01-23 Hill-Rom Services, Inc. Patient monitoring system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8604932B2 (en) * 1992-05-05 2013-12-10 American Vehicular Sciences, LLC Driver fatigue monitoring system and method
US5853364A (en) * 1995-08-07 1998-12-29 Nellcor Puritan Bennett, Inc. Method and apparatus for estimating physiological parameters using model-based adaptive filtering
US20070266959A1 (en) 2006-05-17 2007-11-22 Brooks Tom J Method and apparatus for monitoring an animal in real time
US8149273B2 (en) 2007-11-30 2012-04-03 Fuji Xerox Co., Ltd. System and methods for vital sign estimation from passive thermal video
AU2009246442B2 (en) * 2008-05-14 2015-02-12 Heartmiles, Llc. Physical activity monitor and data collection unit
US7967728B2 (en) 2008-11-16 2011-06-28 Vyacheslav Zavadsky Wireless game controller for strength training and physiotherapy
US8666116B2 (en) 2009-10-06 2014-03-04 Koninklijke Philips N.V. Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof
JP6108486B2 (ja) 2011-08-01 2017-04-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 生体の測定読み出しを得る及び処理するデバイス及び方法
EP2748743B1 (en) 2011-08-22 2019-11-27 Koninklijke Philips N.V. Data administration system and method
US9020185B2 (en) 2011-09-28 2015-04-28 Xerox Corporation Systems and methods for non-contact heart rate sensing
US10143377B2 (en) * 2012-05-02 2018-12-04 Augusta University Research Institute, Inc. Single channel imaging measurement of dynamic changes in heart or respiration rate

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI601514B (zh) * 2015-01-29 2017-10-11 明泰科技股份有限公司 智能監測系統與方法及使用其之攝影裝置
US9958542B2 (en) 2015-01-29 2018-05-01 Alpha Networks Inc. Intelligent monitoring system and method
TWI554247B (zh) * 2015-02-17 2016-10-21 正崴精密工業股份有限公司 生物訊號測量系統及方法
TWI632894B (zh) * 2016-12-28 2018-08-21 財團法人工業技術研究院 動態影像之心率活動偵測系統與其方法

Also Published As

Publication number Publication date
US9962095B2 (en) 2018-05-08
WO2014176140A1 (en) 2014-10-30
US20140316293A1 (en) 2014-10-23

Similar Documents

Publication Publication Date Title
US9962095B2 (en) Optical heartrate tracking
US10529071B2 (en) Facial skin mask generation for heart rate detection
US8983233B2 (en) Time-of-flight depth imaging
KR102186220B1 (ko) 입체 깊이 카메라 어레이의 실시간 정합
US8558873B2 (en) Use of wavefront coding to create a depth image
US8933884B2 (en) Tracking groups of users in motion capture system
US9262673B2 (en) Human body pose estimation
JP5739872B2 (ja) モーションキャプチャにモデルトラッキングを適用するための方法及びシステム
TWI549022B (zh) 用於全自動動態鉸接模型校準的電腦可讀取儲存裝置及處理器實施的方法
US8638985B2 (en) Human body pose estimation
US9069381B2 (en) Interacting with a computer based application
US8351651B2 (en) Hand-location post-process refinement in a tracking system
US8675981B2 (en) Multi-modal gender recognition including depth data
US20110279368A1 (en) Inferring user intent to engage a motion capture system
US9390487B2 (en) Scene exposure auto-compensation for differential image comparisons
US20160106329A1 (en) Utilizing different color channels for rgb-image-based differential heart rate detection
US9052746B2 (en) User center-of-mass and mass distribution extraction using depth images
US9881409B2 (en) Visualization for blood flow in skin image data