TWI632894B - 動態影像之心率活動偵測系統與其方法 - Google Patents

動態影像之心率活動偵測系統與其方法 Download PDF

Info

Publication number
TWI632894B
TWI632894B TW106104429A TW106104429A TWI632894B TW I632894 B TWI632894 B TW I632894B TW 106104429 A TW106104429 A TW 106104429A TW 106104429 A TW106104429 A TW 106104429A TW I632894 B TWI632894 B TW I632894B
Authority
TW
Taiwan
Prior art keywords
image
brightness
heart rate
rate activity
color space
Prior art date
Application number
TW106104429A
Other languages
English (en)
Other versions
TW201822708A (zh
Inventor
李宗樺
陳蓉蓉
駱易非
蔡明杰
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Publication of TW201822708A publication Critical patent/TW201822708A/zh
Application granted granted Critical
Publication of TWI632894B publication Critical patent/TWI632894B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6008—Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30076—Plethysmography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Cardiology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)

Abstract

本發明為一種動態影像之心率活動偵測方法，該方法包括：追蹤一移動目標物；透過環境狀態決定一預設亮度；擷取該移動目標物之影像產生對應之RGB色彩空間，再將該RGB色彩空間轉換為可調亮度之一影像色彩空間；依據該預設亮度調整該影像色彩空間之亮度，以產生一已校正亮度的影像；以及將該已校正亮度的影像轉換為已校正之RGB色彩空間，以計算該移動目標物之心率活動。本發明透過調整影像亮度，使得動態影像克服光源不穩定之問題，故可由動態影像計算出移動目標物之心率活動。本發明更提供一種動態影像之心率活動偵測系統。

Description

動態影像之心率活動偵測系統與其方法
本發明係關於一種心率偵測技術，特別是，係關於一種動態影像之心率活動偵測系統與其方法。
現行運動器材心率偵測方法，最常見的是透過雙手握住運動器材之心跳金屬感測握把，方能進行測量，其缺點有舒適性不佳、觸電風險與衛生疑慮。因而在握把偵測心率存在上述問題下，有人提出透過非接觸的偵測方式來判斷心率活動，例如透過影像辨識以決定偵測者之心率活動。
然而使用運動器材時擷取影像並進行影像辨識和處理存在許多技術問題，特別是，被攝者在運動狀態下，被攝者處於動態，運動器材上之攝影機也因機台晃動而處於動態，於此情況下，攝影機與被攝者之間具有一相對運動，故稱所擷取影像為動態影像，不同於攝影機與被攝者之間無相對運動且皆維持靜態之靜態影像，動態影像之影像處理，其複雜度顯大於靜態影像。舉例來說，動態影像將有 影像模糊、目標區域追蹤以及受光校正等問題，影像模糊通常是因為攝影機及/或被攝者晃動下所產生者，且在目標區域被選定並追蹤時，目標區域在連續的幀(frame)受光分佈，光源因為有相對運動而有所變化，例如當人體在劇烈晃動時，若將臉部恆定，相當於環境在劇烈晃動，此時將有環境受光不均勻的情況，此將導致影像解析有所誤差。因此，若要由動態影像解析以決定偵測者之心率活動，則受光不穩定問題必須解決。
倘若以靜態影像心率活動偵測技術來進行動態影像心率活動偵測，則可能有峰值偏移情況，此將導致心率計算誤差。若以靜態影像心率活動偵測技術並搭配RGB色彩空間進行調整，則會有兩個問題，第一個問題為光源固定下，產生該環境條件之色彩頻道的R、G、B為固定係數，但因攝影機及被攝者之間具有相對運動，此導致光源條件不會相同，故靜態影像心率活動偵測技術無法適用於動態影像，第二個問題為若以RGB色彩空間進行影像校正，則會同時改變亮度和彩度，在此情況下，會改原有RGB之各色彩頻道的彩度成份，進而影響RGB解析心率的可信度。
本發明之目的係提出一種有關動態影像之心率活動偵測機制，針對動態影像受光不穩定之問題，透過考量環境狀態來調整動態影像之亮度，在克服受光問題後，已校正亮度之動態影像可如同靜態影像，將易於計算心率活動。
本發明係提出一種動態影像之心率活動偵測方法，包括：追蹤一移動目標物；透過環境狀態決定一預設亮度；擷取該移動目標物之影像產生對應之RGB色彩空間，再將該RGB色彩空間轉換為可調亮度之一影像色彩空間；依據該預設亮度調整該影像色彩空間之亮度，以產生一已校正亮度的影像；以及將該已校正亮度的影像轉換為已校正亮度之RGB色彩空間，以計算該移動目標物之心率活動。
本發明另提出一種動態影像之心率活動偵測系統，包括：影像感測模組，用以擷取移動目標物之影像；處理模組，係連接該影像感測模組，用以依據該影像以決定預設亮度，以根據該預設亮度產生經校正亮度之影像；動態影像心率活動偵測模組，係連接該處理模組，用以依據該經校正亮度之影像計算該移動目標物之心率活動；以及儲存模組，係連接該影像感測模組與該處理模組，用以儲存該預設亮度以及該影像。
本發明所提出之動態影像之心率活動偵測系統與其方法，藉由環境狀態決定一預設亮度，並將擷取影像由RGB色彩空間轉換成可調亮度之影像色彩空間，藉由該預設亮度調整影像亮度，之後再轉換回RGB色彩空間，據此以計算出待測者之心率活動，特別的是，將RGB色彩空間轉換成可調亮度之影像色彩空間，可解決受光不穩定問題，亦即從亮度改善，使色彩空間近似靜態影像時之狀態，故可在調整亮度後，以類似靜態影像的影像處理程序來計算出心率活動。
20~22‧‧‧圖片
23‧‧‧虛線
3‧‧‧動態影像之心率活動偵測系統
31‧‧‧影像感測模組
32、42、52‧‧‧處理模組
33‧‧‧動態影像心率活動偵測模組
34‧‧‧儲存模組
421‧‧‧模糊影像單元
422‧‧‧目標區域追蹤單元
423‧‧‧產生已校正影像單元
521、71‧‧‧預設亮度決定單元
522、72‧‧‧亮度色彩空間分析單元
523、73‧‧‧頻域峰值亮度校正單元
524、74‧‧‧色彩空間轉換處理單元
75‧‧‧目標區域界定模組
76‧‧‧獨立成份分析模組
77‧‧‧生理資訊分析模組
S11~S15‧‧‧步驟
第1圖係為本發明之動態影像之心率活動偵測方法的步驟圖；第2A和2B圖係為本發明之決定預設亮度和調整動態影像之亮度的示意圖；第3圖係為本發明之動態影像之心率活動偵測系統的示意圖；第4圖係為本發明之處理模組中用於動態影像處理之各單元的示意圖；第5圖係為本發明之處理模組中用於亮度調整之各單元的示意圖；第6圖係為本發明之動態影像之心率活動偵測系統於不同應用下的示意圖；以及第7圖係為本發明中動態影像結合靜態影像之心率活動偵測處理的示意圖。
以下藉由特定的具體實施形態說明本發明之技術內容，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之優點與功效。然本發明亦可藉由其他不同的具體實施形態加以施行或應用。
請參照第1圖，係為本發明之動態影像之心率活動偵測方法的步驟圖。具體來說，本發明之動態影像之心率活動偵測方法，係透過調整亮度，藉此解決受光不穩定問題，使得色彩空間近似靜態影像時之狀態，故可用於計算出受 測者之心率活動。詳細步驟如下所述。
於步驟S11中，係追蹤一移動目標物。首先，要追蹤一個移動目標物，例如運動中的被攝者，並持續擷取該移動目標物之影像。
於步驟S12中，係透過環境狀態決定一預設亮度。為了調整動態影像之亮度，使得光源不穩定的因素降到最低，故先由環境狀態決定預設亮度。預設亮度係依據所拍攝之數張影像的頻域峰值所決定之一門檻值而選取者，即該門檻值是由該頻域峰值決定。
於一實施例中，前述之頻域峰值可由該數張影像之綠色值、紅色值或藍色值的頻域峰值所決定。
於另一實施例中，預設亮度可由RGB色彩空間所決定，且預設亮度可被儲存一資料庫，供下一個步驟調整亮度使用，該資料庫亦可儲存影像。
於步驟S13中，係擷取該移動目標物之影像產生對應之RGB色彩空間，再將該RGB色彩空間轉換為可調亮度之一影像色彩空間。本步驟係將所擷取到的影像先產生RGB色彩空間，然而RGB色彩空間並無法調整單一亮度，亦即能調整單一R、G、B的色彩值，但無法直接調整亮度，故本步驟會將RGB色彩空間轉換為可調亮度之一影像色彩空間，其中，前述影像色彩空間可為YUV色彩空間或Lab色彩空間等。
於步驟S14中，係依據該預設亮度調整該影像色彩空間之亮度，以產生一已校正亮度的影像。如前一步驟所述， 在轉換成可調亮度之影像色彩空間後，本步驟即依據預設亮度調整該影像色彩空間之亮度，藉此產生已校正亮度的影像，也就是說，在該影像被調整亮度後，可避免因光源不穩定所導致影像辨識誤差。
於本步驟中，可透過一分布函數及依據所拍攝之數張影像的頻域峰值所決定之門檻值，以決定是否進行亮度校正，亦即門檻值用於決定是否進行亮度調整，其中，前述之分布函數為二元搜尋法所取得者。
於步驟S15中，係將已校正亮度的影像轉換為已校正亮度之RGB色彩空間，如此可透過RGB色彩空間中的紅、綠、藍色彩值來計算移動目標物之心率活動。
於本步驟中，可透過前述頻域峰值的波峰及波谷的斜率取得雜湊數，藉此計算移動目標物之心率活動。
另外，於步驟S11中，追蹤該移動目標物係指目標區域之追蹤(Region of interest,ROI tracking)，其中，有關目標區域的追蹤計算可利用OpenCV之函式庫來提供。
另外，於步驟S11中，追蹤該移動目標物還包括影像模糊處理。該影像模糊處理係以曝光時間(Exposure time Solutions)之處理、慣性傳感器(inertial sensors)及點擴散函數(PSF)方法來執行，或者是以頻域(Frequency domain)及遞迴法或迭代法(Iterative updates approaches)方式來執行。
請參照第2A圖，係為本發明之決定預設亮度和調整動態影像之亮度的示意圖。如圖所示，圖片20是表示亮度 100%的靜態影像，圖片21是表示亮度100%的動態影像，可透過將圖片21之影像轉換成YUV色彩空間調整Y亮度，進而形成圖片22之亮度為85%的動態影像，另外還可調整出其他亮度值，例如130%，圖上虛線23為由預設亮度影像(圖片20)標示出的門檻值。
經調整亮度後，計算再轉成RGB色彩空間各色彩之峰值與門檻值的差異程度，找出差距最小者即可選為已校正亮度的影像，於本實施例中為亮度85%，最後，將該已校正亮度的影像轉換為已校正亮度之RGB色彩空間，進而由影像計算出心率活動。
本發明提出動態影像在受光源變化所引起的影像解析心率活動干擾的解決機制，亦即執行影像解析心率活動的影像前處理，其中，為了在調整亮度時，減少對彩度影像，因而在以R、G、B解析心率前，先以另一種可單獨調整亮度之色彩空間，調整亮度，接著再轉成RGB色彩空間，以由R、G、B進行心率解析，舉例來說，以YUV色彩空間調整Y(亮度)，之後再轉RGB色彩空間，此時Y的調整將反映在R、G、B的調整上。
基於上述原理，可先決定預設亮度參考影像，取得動態影像進行色彩空間計算，產生經過校正亮度之影像，最後，再進行複數張連續影像計算心率活動。
下面將以實例說明RGB色彩空間與YUV色彩空間的轉換，一般來說，Y'UV訊號通常由RGB產生。在R、G、B分別有不同權重，例如WR=0.299，WB=0.114、 WG=1-WR-WB=0.587，假設Umax=0.436，Vmax=0.615，則Y'UV可由RGB透過下列方程式得到。
Y'=WRR+WGG+WBB=0.299R+0.587G+0.114B
Y'、U、V各別為[0,1]、[-Umax,Umax]、[-Vmax，Vmax]
另外，透過遞迴方程式對模糊影像去模糊化，遞迴方程式如下所示。
int fac(int n){if(n1)return 1；else return n*fac(n-1)} int fib(int n) {if(n1)return 1；else return fib(n-1)*fib(n-2)}
另外，還可利用二元搜尋法找出相近於靜態影像之狀態的已調整亮度之動態影像。如第2B圖所示，針對RGB色彩的綠色訊號而言，於亮度100%的靜態影像中(最上方格)，其數據極大值為頻域峰值所決定之門檻值，其數值代號data[center]，最左端為始端，其數值代號start，最右端為終端，其數值代號end。
動態影像(下面三方格)可分別給予不同亮度調整，包括100%(未調整)、130%、85%。以亮度100%者來說，其目標(數值代號target)大於數據極大值(數值代號data[center])，則透過(target+start)/2的方程式，使其往數據極大值(data[center])處靠近，反之，倘若目標(target)小於數據極大值(data[center])，則透過(target+end)/2的方程式，使其往數據極大值(data[center])處靠近。
當target趨近於data[center]時，則表示經亮度調整後，其色彩呈現近似於靜態影像之狀態，故可選其為已校正亮度的動態影像來進行心率活動分析，如圖中亮度85%的動態影像。
請參照第3圖，係為本發明之動態影像之心率活動偵測系統的示意圖。如圖所示，動態影像之心率活動偵測系統3包括影像感測模組31、處理模組32、動態影像心率活 動偵測模組33以及儲存模組34。
影像感測模組31係用以擷取移動目標物之影像，該影像感測模組31可為具攝影或照相功能的設備。舉例來說，影像感測模組31可為照相機或影像擷取裝置。
處理模組32與該影像感測模組31連接，用以依據該影像以決定預設亮度，以根據該預設亮度產生經校正亮度之影像。簡單來說，處理模組32為動態影像之心率活動偵測系統3的計算核心，用於由影像感測模組31所擷取影像決定預設亮度，也可依據預設亮度取得經校正亮度之影像。
動態影像心率活動偵測模組33係與該處理模組連接，用以依據該經校正亮度之影像計算該移動目標物之心率活動。動態影像心率活動偵測模組33主要用於計算心率活動，即透過R、G、B色彩值進行運算。處理模組32和動態影像心率活動偵測模組33可以處理器來實現，用以產生該經校正亮度之影像以及得到該心率活動。
儲存模組34係與該影像感測模組31與該處理模組32連接，用以儲存前述之預設亮度以及影像。舉例來說，儲存模組34可為儲存器。
於本實施例中，影像感測模組31可與一運動器材結合，或者可與一攜帶式電子裝置結合，該攜帶式電子裝置為行動裝置、平板、手提電腦、手機或攝影機。因此，具體實施時，如第6圖所示，影像感測模組31可被固定或嵌入式設置於運動器材，又或者影像感測模組31與手機或平板結 合，運動時，手機或平板放置於運動器材上，同樣可達到擷取影像之效果。
請參照第4圖，係為本發明之處理模組中用於動態影像處理之各單元的示意圖。如前所述，處理模組42為動態影像之心率活動偵測系統的計算核心，因而處理模組42更包括模糊影像單元421、目標區域追蹤單元422以及產生已校正影像單元423，用於動態影像之處理。
模糊影像單元421係用以對該移動目標物之影像去除模糊。模糊影像單元421可執行一去模糊化複合式分析程序，即針對各彩色影像執行去模糊化複合式運算分析，以取得去模糊化後之彩色影像，其中，該去模糊化複合式分析程序可包括圖像復原處理方法以及濾波處理方法及迭代。
目標區域追蹤單元422係透過OpenCV之函式庫提供移動目標物之目標區域的追蹤。目標區域追蹤單元422主要鎖定移動目標物之目標區域並進行追蹤，簡單來說，使目標區域恆定於擷取影像之中心。
產生已校正影像單元423係以分布函數及該預設亮度決定是否進行亮度校正。產生已校正影像單元423主要用於決定是否執行亮度校正，判斷依據如前所述，計算轉成RGB色彩空間各色彩之峰值與門檻值的差異程度，找出差距最小者即可選為已校正亮度的影像。更具體來說，RGB色彩空間各色彩之峰值意即由動態影像的RGB色彩空間的對應色彩分布圖直方圖(histogram)中取極大值，而門 檻值是指由靜態影像RGB色彩空間的對應色彩分布圖直方圖取極大值，另外，計算上述兩者差異即是將上述動態影像與靜態影像的極大值進行比較。
請參照第5圖，係為本發明之處理模組中用於亮度調整之各單元的示意圖。如前所述，處理模組52為動態影像之心率活動偵測系統的計算核心，因而處理模組52更包括預設亮度決定單元521、亮度色彩空間分析單元522、頻域峰值亮度校正單元523以及色彩空間轉換處理單元524，用於動態影像之亮度處理。
預設亮度決定單元521係依據環境狀態決定該預設亮度。為了調整動態影像之亮度，使得光源不穩定的因素降到最低，故先由環境狀態決定預設亮度，具體來說，該預設亮度可由頻域峰值與門檻值決定，該頻域峰值為所拍攝之數張影像之綠色值、紅色值或藍色值的頻域峰值所決定，而門檻值由該些頻域峰值決定。
亮度色彩空間分析單元522係將該預設亮度轉為RGB色彩。亮度色彩空間分析單元522用於將預設亮度轉為RGB色彩，可供後續預設亮度影像與動態影像進行比對。
頻域峰值亮度校正單元523係將該RGB色彩轉換為YUV色彩，該YUV色彩係供調整其亮度。如前所述，YUV色彩可單獨調整亮度，故頻域峰值亮度校正單元523係將RGB色彩轉換為YUV色彩，並依據預設亮度執行動態影像之亮度校正。
在一實施例中，該移動目標物之預設靜態影像的亮度 可大於該移動目標物之動態影像的亮度，又或者，該移動目標物之動態影像的亮度可大於該移動目標物之預設靜態影像的亮度，因而頻域峰值亮度校正單元523係可依據上述兩種情況，調整該動態影像之亮度，使其相近於或一致於該靜態影像之亮度。
色彩空間轉換處理單元524係將該YUV色彩轉換為已校正RGB色彩。在確認預設亮度後，且動態影像根據預設亮度調整亮度後，為了後續心率活動的計算，故將YUV色彩轉換為已校正RGB色彩，此已校正RGB色彩中的R、G、B方能提供心率活動之計算。
前述係說明本發明於執行影像解析心率活動的影像前處理，亦即調整動態影像之亮度，使其色彩空間近似於靜態影像之情況，故於調整亮度後，可採用靜態影像之心率活動偵測技術來計算出心率活動。本發明申請人已於中華民國專利申請號第102141509號發明靜態影像之心率活動偵測技術，故本發明係說明動態影像之影像前處理如何與靜態影像的影像處理接續，關於靜態影像的影像處理，於此將不再詳述。
請參照第7圖，係為本發明中動態影像結合靜態影像之心率活動偵測處理的示意圖。如圖所示，預設亮度決定單元71、亮度色彩空間分析單元72、頻域峰值亮度校正單元73以及色彩空間轉換處理單元74與第5圖中預設亮度決定單元521、亮度色彩空間分析單元522、頻域峰值亮度校正單元523以及色彩空間轉換處理單元524所述相同， 故亦不贅述。
於本實施例中，動態影像之心率活動偵測系統中更包括與預設亮度決定單元71連接之目標區域界定模組75。目標區域界定模組75係用於自該移動目標物中取得目標區域，目標區域界定模組75可透過預設之膚色目標條件，針對各彩色影像運算分析，界定出各彩色影像中移動目標物的目標區域。
於本實施例中，動態影像之心率活動偵測系統中更包括與該色彩空間轉換處理單元74連接之獨立成份分析模組76，該獨立成份分析模組76係用於對該目標區域之紅色頻道訊號、綠色頻道訊號以及藍色頻道訊號進行運算，以取得第一獨立成分訊號、第二獨立成分訊號以及第三獨立成分訊號，針對各目標區域之第一獨立成分訊號、第二獨立成分訊號以及第三獨立成分訊號執行頻域轉換程序、訊號能量運算程序與訊號適化程序，藉此取得濾波訊號。
於本實施例中，動態影像之心率活動偵測系統中更包括與該獨立成份分析模組76連接之生理資訊分析模組77，係用於執行生理資訊分析，亦即進行臉部區域濾波訊號的生理資訊分析，以得到移動目標物之心率活動。目標區域界定模組75、獨立成份分析模組76以及生理資訊分析模組77可以處理器來實現，用以定義該移動目標物的目標區域、執行轉換、計算和適化程序、以及執行生理資訊分析。
綜上所述，本發明提出之動態影像之心率活動偵測系統與其方法，先找出一個預設亮度，並將擷取影像由RGB 色彩空間轉換成可調亮度之影像色彩空間，藉此該預設亮度調整影像亮度，之後再轉換回RGB色彩空間，以計算出待測者之心率活動。在一實施例中，將RGB色彩空間轉換成可調亮度之影像色彩空間，可解決受光不穩定問題，亦即透過調整亮度，使色彩空間近似靜態影像時之狀態，故可在調整亮度後，採用類似靜態影像的影像處理程序來計算出心率活動。
上述實施形態僅例示性說明本發明之原理及其功效，而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施形態進行修飾與改變。因此，本發明之權利保護範圍，應如後述之申請專利範圍所列。

Claims (20)

  1. 一種動態影像之心率活動偵測方法，包括：追蹤一移動目標物；透過環境狀態決定一預設亮度；擷取該移動目標物之影像產生對應之RGB色彩空間，再將該RGB色彩空間轉換為一可調亮度之影像色彩空間，其中，該可調亮度之影像色彩空間為YUV色彩空間或Lab色彩空間；依據該預設亮度調整該影像色彩空間之亮度，以產生一已校正亮度的影像；以及將該已校正亮度的影像轉換為已校正亮度之RGB色彩空間，以計算該移動目標物之心率活動。
  2. 如申請專利範圍第1項所述之動態影像之心率活動偵測方法，其中，該預設亮度係依據所拍攝之數張影像的頻域峰值所決定之一門檻值而選取者。
  3. 如申請專利範圍第2項所述之動態影像之心率活動偵測方法，其中，該頻域峰值係由該數張影像之綠色值、紅色值或藍色值的頻域峰值所決定。
  4. 如申請專利範圍第2項所述之動態影像之心率活動偵測方法，其中，依據該預設亮度調整該影像色彩空間之亮度包括以一分布函數及該門檻值決定是否進行亮度校正，其中，該分布函數為二元搜尋法所取得者。
  5. 如申請專利範圍第2項所述之動態影像之心率活動 偵測方法，其中，計算該移動目標物之心率活動包括以該頻域峰值的波峰及波谷的斜率取得雜湊數。
  6. 如申請專利範圍第1項所述之動態影像之心率活動偵測方法，其中，該預設亮度由RGB色彩空間決定。
  7. 如申請專利範圍第1項所述之動態影像之心率活動偵測方法，其中，追蹤該移動目標物係指目標區域之追蹤。
  8. 如申請專利範圍第1項所述之動態影像之心率活動偵測方法，其中，追蹤該移動目標物包括影像模糊處理，係以曝光時間之處理、慣性傳感器及點擴散函數方法來執行，或以頻域及遞迴法或迭代法方式來執行。
  9. 一種動態影像之心率活動偵測系統，包括：影像感測模組，用以擷取移動目標物之影像；處理模組，係連接該影像感測模組，用以依據該移動目標物之影像以決定預設亮度，以根據該預設亮度產生經校正亮度之影像，其中，該處理模組將該移動目標物之影像由RGB色彩轉換為YUV色彩以執行亮度之調整；動態影像心率活動偵測模組，係連接該處理模組，用以依據該經校正亮度之影像計算該移動目標物之心率活動；以及 儲存模組，係連接該影像感測模組與該處理模組，用以儲存該預設亮度以及該移動目標物之影像。
  10. 如申請專利範圍第9項所述之動態影像之心率活動偵測系統，其中，該影像感測模組與一運動器材結合。
  11. 如申請專利範圍第9項所述之動態影像之心率活動偵測系統，其中，該影像感測模組與一攜帶式電子裝置結合。
  12. 如申請專利範圍第11項所述之動態影像之心率活動偵測系統，其中，該攜帶式電子裝置為行動裝置、平板、手提電腦、手機或攝影機。
  13. 如申請專利範圍第9項所述之動態影像之心率活動偵測系統，其中，該處理模組更包括：模糊影像單元，係用以對該移動目標物之影像去除模糊；目標區域追蹤單元，係透過OpenCV之函式庫提供該移動目標物之目標區域的追蹤；以及產生已校正影像單元，係以分布函數及該預設亮度決定是否進行亮度校正。
  14. 如申請專利範圍第9項所述之動態影像之心率活動偵測系統，其中，該處理模組更包括：預設亮度決定單元，係依據環境狀態決定該預設亮度； 亮度色彩空間分析單元，係將該預設亮度轉為該RGB色彩；頻域峰值亮度校正單元，係將該RGB色彩轉換為該YUV色彩，該YUV色彩係供調整其亮度；以及色彩空間轉換處理單元，係將該YUV色彩轉換為已校正RGB色彩。
  15. 如申請專利範圍第14項所述之動態影像之心率活動偵測系統，其中，該預設亮度由一頻域峰值與一門檻值決定。
  16. 如申請專利範圍第14項所述之動態影像之心率活動偵測系統，其中，該頻域峰值亮度校正單元係於該移動目標物之預設靜態影像的亮度大於該移動目標物之動態影像的亮度時，調整該動態影像之亮度相近於或一致於該靜態影像之亮度。
  17. 如申請專利範圍第14項所述之動態影像之心率活動偵測系統，其中，該頻域峰值亮度校正單元係於該移動目標物之動態影像的亮度大於該移動目標物之預設靜態影像的亮度時，調整該動態影像之亮度相近於或一致於該靜態影像之亮度。
  18. 如申請專利範圍第14項所述之動態影像之心率活動偵測系統，更包括與該預設亮度決定單元連接之目標區域界定模組，係用於自該移動目標物中取得目標區域。
  19. 如申請專利範圍第18項所述之動態影像之心率活動偵測系統，更包括與該色彩空間轉換處理單元連接之獨立成份分析模組，係用於對該目標區域之紅色頻道訊號、綠色頻道訊號以及藍色頻道訊號進行運算。
  20. 如申請專利範圍第19項所述之動態影像之心率活動偵測系統，更包括與該獨立成份分析模組連接之生理資訊分析模組，係用於執行生理資訊分析。
TW106104429A 2016-12-28 2017-02-10 動態影像之心率活動偵測系統與其方法 TWI632894B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/392,701 US10470720B2 (en) 2016-12-28 2016-12-28 Heart rate activity detecting system based on dynamic images and method thereof
US15/392,701 2016-12-28

Publications (2)

Publication Number Publication Date
TW201822708A TW201822708A (zh) 2018-07-01
TWI632894B true TWI632894B (zh) 2018-08-21

Family

ID=62630313

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106104429A TWI632894B (zh) 2016-12-28 2017-02-10 動態影像之心率活動偵測系統與其方法

Country Status (2)

Country Link
US (1) US10470720B2 (zh)
TW (1) TWI632894B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10210599B2 (en) 2013-08-09 2019-02-19 Intuitive Surgical Operations, Inc. Efficient image demosaicing and local contrast enhancement
CN109259748B (zh) * 2018-08-17 2020-04-07 西安电子科技大学 手机处理人脸视频提取心率信号的系统及其方法
CN111281367A (zh) * 2018-12-10 2020-06-16 绍兴图聚光电科技有限公司 一种基于人脸视频的抗干扰非接触式心率检测方法
TWI744666B (zh) * 2019-07-16 2021-11-01 國立陽明交通大學 生理資訊偵測裝置及生理資訊偵測方法
US11216922B2 (en) 2019-12-17 2022-01-04 Capital One Services, Llc Systems and methods for recognition of user-provided images
CN112022131B (zh) * 2020-09-16 2023-06-09 合肥工业大学 长时间连续性的非接触式心率测量方法和系统
US11596869B2 (en) * 2021-01-12 2023-03-07 Dell Products L.P. System and method of adjusting attributes of an application based at least on a stress index associated with a user
CN114663788B (zh) * 2022-03-29 2024-07-02 浙江奥脉特智能科技有限公司 一种基于Yolo V5的电塔缺陷检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201446216A (zh) * 2013-04-23 2014-12-16 Microsoft Corp 光學心率追蹤
TW201519654A (zh) * 2013-11-12 2015-05-16 Novatek Microelectronics Corp 自動色彩校正方法及其色彩校正模組
TW201517870A (zh) * 2013-11-14 2015-05-16 Ind Tech Res Inst 影像式心率活動偵測裝置及其方法
TWM504570U (zh) * 2014-11-05 2015-07-11 倚強科技股份有限公司 影像式心率偵測系統

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100620966B1 (ko) * 2004-12-15 2006-09-19 삼성전자주식회사 화면 적응적인 파워 제어 장치 및 그 방법
TWM279846U (en) 2005-01-25 2005-11-01 Johnson Health Tech Co Ltd Contactless height measuring device and fitness equipments using the same
US8512240B1 (en) * 2007-11-14 2013-08-20 Medasense Biometrics Ltd. System and method for pain monitoring using a multidimensional analysis of physiological signals
US8194028B2 (en) * 2008-02-29 2012-06-05 Research In Motion Limited System and method for adjusting an intensity value and a backlight level for a display of an electronic device
CN101483763A (zh) 2008-12-16 2009-07-15 南京大学 一种面向社会治安监控的数字影像处理方法及其装置
US8576446B2 (en) * 2009-08-21 2013-11-05 Konica Minolta Laboratory U.S.A., Inc. Deblurring and supervised adaptive thresholding for print-and-scan document image evaluation
US9339210B2 (en) 2013-05-08 2016-05-17 Koninklijke Philips N.V. Device for obtaining a vital sign of a subject
US20160059078A1 (en) 2014-08-29 2016-03-03 Johnson Health Tech Co., Ltd. Communicable exercise apparatus
TWI527611B (zh) 2014-08-29 2016-04-01 A portable electronic device can be used to enhance the console function of sports equipment
US10660533B2 (en) * 2014-09-30 2020-05-26 Rapsodo Pte. Ltd. Remote heart rate monitoring based on imaging for moving subjects
US10180615B2 (en) * 2016-10-31 2019-01-15 Google Llc Electrochromic filtering in a camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201446216A (zh) * 2013-04-23 2014-12-16 Microsoft Corp 光學心率追蹤
TW201519654A (zh) * 2013-11-12 2015-05-16 Novatek Microelectronics Corp 自動色彩校正方法及其色彩校正模組
TW201517870A (zh) * 2013-11-14 2015-05-16 Ind Tech Res Inst 影像式心率活動偵測裝置及其方法
TWM504570U (zh) * 2014-11-05 2015-07-11 倚強科技股份有限公司 影像式心率偵測系統

Also Published As

Publication number Publication date
US20180182095A1 (en) 2018-06-28
TW201822708A (zh) 2018-07-01
US10470720B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
TWI632894B (zh) 動態影像之心率活動偵測系統與其方法
WO2020171373A1 (en) Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
JP5389903B2 (ja) 最適映像選択
US7542600B2 (en) Video image quality
US8340417B2 (en) Image processing method and apparatus for correcting skin color
US20140056527A1 (en) Face detection using division-generated haar-like features for illumination invariance
KR20210154171A (ko) 상이한 노출 설정들을 이용하여 캡처된 이미지 프레임들을 블렌딩된 이미지들로 결합하는 방법 및 장치
CN107172354B (zh) 视频处理方法、装置、电子设备及存储介质
KR20150024769A (ko) 촬상 장치 및 그 촬상 방법, 화상 처리 장치 및 그 화상 처리 방법, 및, 프로그램
CN105243371A (zh) 一种人脸美颜程度的检测方法、系统及拍摄终端
JP2004357277A (ja) デジタル画像処理方法
Ko et al. Artifact-free low-light video enhancement using temporal similarity and guide map
JP2004310475A (ja) 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム
US9509902B1 (en) Methods and devices for correction of camera module sensitivity and flash color variation
CN109461186A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
JP2009123081A (ja) 顔検出方法及び撮影装置
CN105957020A (zh) 图像生成装置以及图像生成方法
US10863103B2 (en) Setting apparatus, setting method, and storage medium
CN111080683B (zh) 图像处理方法、装置、存储介质及电子设备
KR20220025552A (ko) 영상처리장치 및 그의 영상보정방법
JP2009258770A (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
Van Vo et al. High dynamic range video synthesis using superpixel-based illuminance-invariant motion estimation
CN110827241A (zh) 基于颜色失真和对比度增强的低亮度增强图片全参考方法