KR102416179B1 - Device and method for camera based photoplethysmogram estimation using chrominance - Google Patents
Device and method for camera based photoplethysmogram estimation using chrominance Download PDFInfo
- Publication number
- KR102416179B1 KR102416179B1 KR1020200062814A KR20200062814A KR102416179B1 KR 102416179 B1 KR102416179 B1 KR 102416179B1 KR 1020200062814 A KR1020200062814 A KR 1020200062814A KR 20200062814 A KR20200062814 A KR 20200062814A KR 102416179 B1 KR102416179 B1 KR 102416179B1
- Authority
- KR
- South Korea
- Prior art keywords
- contact
- photoplethysmography
- estimating
- region
- interest
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013186 photoplethysmography Methods 0.000 claims abstract description 49
- 238000001914 filtration Methods 0.000 claims description 20
- 230000003595 spectral effect Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000002565 electrocardiography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000037307 sensitive skin Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 비접촉 광용적맥파 추정 장치 및 방법에 관한 것이다. 본 발명의 일 실시 예에 따르면, 비접촉 광용적맥파 추정 장치 및 방법은 카메라 기반의 비접촉식 생체 정보로 움직임에 강인한 광용적맥파 추정이 가능하다.The present invention relates to a non-contact photoplethysmography apparatus and method. According to an embodiment of the present invention, the apparatus and method for estimating a non-contact PPL can estimate a PPL that is robust to movement using camera-based non-contact biometric information.
Description
본 발명은 비접촉 광용적맥파 추정 장치 및 방법에 관한 것으로, 상세하게는 카메라 기반 영상의 색차를 이용해 비접촉식으로 광용적맥파를 추정하여 생체신호를 인식하는 비접촉 광용적맥파 추정 장치 및 방법에 관한 것이다.The present invention relates to a non-contact PPL estimation apparatus and method, and more particularly, to a non-contact PPL estimation apparatus and method for recognizing a biosignal by estimating PPL in a non-contact manner using a color difference of a camera-based image.
사람의 몸에서 얻어지는 생체신호는 개인의 건강상태 및 심리상태를 실시간으로 반영하는 지표로 활용될 수 있다. 생체신호를 측정하기 위해 보통 접촉식 기반의 ECG(Electrocardiography) 및 PPG(Photoplethysmography) 방법을 사용한다. 이러한 접촉식 측정 방법들은 사용자의 몸에 전극이나 센서를 직접 부착하여 측정하므로 사용자에게 위생상의 불쾌함을 느끼게 하거나 피부가 민감한 경우 적용이 불가하다.The bio-signals obtained from the human body can be used as indicators that reflect an individual's health and psychological state in real time. In order to measure biosignals, contact-based electrocardiography (ECG) and photoplethysmography (PPG) methods are usually used. Since these contact measurement methods are measured by directly attaching electrodes or sensors to the user's body, they cannot be applied when the user feels uncomfortable in hygiene or has sensitive skin.
본 발명의 배경기술은 대한민국 공개특허 제10-2018-0131262호에 게시되어 있다.Background art of the present invention is published in Korean Patent Laid-Open No. 10-2018-0131262.
본 발명은 색차 신호를 이용하여 움직임에 강인한 비전 기반 비접촉 광용적맥파 추정 장치 및 방법을 제공한다.The present invention provides an apparatus and method for estimating a vision-based non-contact photoplethysmogram that is robust to motion using a color difference signal.
본 발명은 카메라 기반 비접촉으로 취득할 수 있는 생체 정보를 이용하는 비접촉 광용적맥파 추정 장치 및 방법을 제공한다.The present invention provides a non-contact photoplethysmography apparatus and method using biometric information that can be acquired through camera-based non-contact.
본 발명은 비접촉 생체 정보로 광용적맥파를 추정하여 심박수를 추정하는 비접촉 광용적맥파 추정 장치 및 방법을 제공한다.The present invention provides an apparatus and method for estimating a heart rate by estimating a photoplethysmogram using non-contact biometric information.
본 발명의 일 측면에 따르면, 비접촉 광용적맥파 추정 장치를 제공한다. According to one aspect of the present invention, there is provided a non-contact photoplethysmography wave estimation apparatus.
본 발명의 일 실시예에 따른 복수의 이미지를 획득하는 입력부, 상기 이미지에서 관심 영역을 설정하는 관심 영역부, 상기 관심 영역을 필터링하는 필터링부, 상기 필터링 된 관심 영역의 화소를 색차 신호로 변환하는 변환부 및 상기 색차 신호에서 광용적맥파 파형을 추정하는 추출부를 포함할 수 있다.According to an embodiment of the present invention, an input unit for acquiring a plurality of images, a region of interest unit for setting a region of interest in the image, a filtering unit for filtering the region of interest, and converting pixels of the filtered region of interest into a color difference signal It may include a conversion unit and an extractor for estimating a photoplethysmogram waveform from the color difference signal.
본 발명의 다른 일 측면에 따르면, 비접촉 광용적맥파 추정 방법 및 이를 실행하는 컴퓨터 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체를 제공한다.According to another aspect of the present invention, there is provided a non-contact photoplethysmography method and a computer-readable recording medium in which a computer program executing the method is recorded.
본 발명의 일 실시 예에 따른 비접촉 광용적맥파 추정 방법 및 이를 실행하는 컴퓨터 프로그램이 저장된 기록매체는 복수의 이미지를 획득하는 단계, 상기 이미지에서 관심 영역을 설정하는 단계, 상기 관심 영역을 필터링하는 단계, 상기 필터링 된 관심 영역의 화소를 색차 신호로 변환하는 단계 및 상기 색차 신호에서 광용적맥파 파형을 추정하는 단계를 포함할 수 있다.A method for estimating a non-contact photoplethysmogram and a recording medium storing a computer program for executing the method according to an embodiment of the present invention include: acquiring a plurality of images; setting a region of interest in the image; and filtering the region of interest , converting the filtered pixels of the region of interest into a color difference signal and estimating a photoplethysmogram waveform from the color difference signal.
본 발명의 일 실시 예에 따르면, 비접촉 광용적맥파 추정 장치 및 방법은 카메라 기반의 비접촉식 생체 정보로 광용적맥파 추정이 가능하다.According to an embodiment of the present invention, the apparatus and method for estimating the photoplethysmogram may estimate the photoplethysmogram using camera-based non-contact biometric information.
본 발명의 일 실시 예에 따르면, 비접촉 광용적맥파 추정 장치 및 방법은 카메라 기반 생체 정보를 획득할 때 측정체의 움직임에 강인한 광용적맥파 추정이 가능하다.According to an embodiment of the present invention, the non-contact PPL estimation apparatus and method can estimate the PPV robust to the movement of a measurement object when camera-based biometric information is acquired.
도 1 내지 도 5는 본 발명의 일 실시 예에 따른 비접촉 광용적맥파 추정 장치를 설명하기 위한 도면들.
도 6및 도 7은 본 발명의 일 실시 예에 따른 비접촉 광용적맥파 추정 방법을 설명한 도면들.
도 8 및 도 9는 움직임이 없는 얼굴 동영상과 움직임이 존재하는 얼굴 동영상 광용적맥파 파형 결과들 및 동시에 측정된 레퍼런스 신호의 예시 화면들.
도 10은 광용적맥파 파형 추출 시 신호 대 잡음비(signal-to-noise ratio, SNR)를 측정한 실험 예시.1 to 5 are diagrams for explaining an apparatus for estimating a non-contact photoplethysmogram according to an embodiment of the present invention.
6 and 7 are diagrams illustrating a method for estimating a non-contact PPV according to an embodiment of the present invention.
8 and 9 are exemplary screens of photoplethysmography waveform results and simultaneously measured reference signals for a face video without motion and a face video with motion.
10 is an example of an experiment measuring a signal-to-noise ratio (SNR) when extracting a photoplethysmography waveform;
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail through detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Also, the expressions "a" and "a", "a" and "a", as used in this specification and claims, should generally be construed to mean "one or more" unless stated otherwise.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. do it with
도 1 내지 도 5는 본 발명의 일 실시 예에 따른 비접촉 광용적맥파 추정 장치를 설명하기 위한 도면들이다.1 to 5 are diagrams for explaining an apparatus for estimating a non-contact photoplethysmogram according to an embodiment of the present invention.
도 1을 참조하면, 비접촉 광용적맥파 추정 장치(10)는 RGB 카메라를 기반으로 획득한 얼굴 영상의 색차 신호를 이용해 광용적맥파를 비접촉 방식으로 추정할 수 있다. 비접촉 광용적맥파 추정 장치(10)는 비접촉으로 광용적맥파를 추정하므로 다수의 사용자가 이용하는 환경에서도 위생적이고, 색차 신호를 이용하여 움직임에도 강인하다.Referring to FIG. 1 , the non-contact PPG
도 2를 참조하면, 비접촉 광용적맥파 추정 장치(10)는 입력부(100), 관심 영역부(200), 필터링부(300), 변환부(400), 추출부(500) 및 판단부(600)를 포함한다.Referring to FIG. 2 , the
입력부(100)는 카메라를 통해 복수의 이미지를 획득한다. 예를 들면 입력부(100)는 RGB 카메라를 통해 시계열적 이미지를 획득한다. 입력부(100)는 획득한 복수의 이미지를 화소로 표현한다. The
도 3은 입력부(100)가 획득한 복수의 이미지를 화소로 표현한 예시이다. 예를 들면 입력부(100)는 복수의 시계열적 이미지를 포함한다.3 is an example in which a plurality of images acquired by the
다시 도 2를 참조하면, 관심 영역부(200)는 화소로 표현된 이미지에서 광용적맥파를 추정하기 위한 구체적인 대상 영역을 관심 영역(ROI, Region Of Interest)으로 설정한다. 예를 들면 관심 영역부(200)는 얼굴 영역을 관심 영역(ROI)으로 설정할 수 있다.Referring back to FIG. 2 , the region of
도 4는 관심 영역부(200)가 설정한 관심 영역을 굵은 점선으로 표시한 예시이다. 관심 영역부(200)는 시계열로 연결된 복수의 이미지에서 일관된 관심 영역(ROI)을 설정하기 위해 영역 추적 알고리즘을 이용할 수 있다. 자세히 설명하면, 관심 영역부(200)는 최초에 등록된 대상 영역의 정보를 기반으로 대상의 위치를 지속적으로 추적하여 일관된 관심 영역(ROI)을 얻을 수 있다.4 is an example in which the region of interest set by the region of
다시 도 2를 참조하면, 필터링부(300)는 관심 영역(ROI) 내 피부 화소 필터링을 수행한다. 예를 들면 관심 영역(ROI)에는 광용적맥파 추정과 관련이 낮은 머리카락, 눈썹 또는 배경과 관련된 픽셀들이 포함될 수 있다. 필터링부(200)는 공간 및 색 정보를 기반으로 피부색 필터링을 사용하여 광용적맥파 추정과 관련 없는 영역을 제외할 수 있다. Referring back to FIG. 2 , the
도 5는 필터링부(300)가 피부색 필터링 수행을 거쳐 광용적맥파와 관련이 없는 영역에 해당하는 픽셀들을 검출한 후 검정 화소로 표시한 예시이다.FIG. 5 is an example in which the
다시 도 2를 참조하면, 변환부(400)는 도 5의 관심 영역의 피부 화소를 색차 신호로 변환한다. 예를 들면, 변환부(400)는 색차 신호 변환을 수행하기 위해 YCbCr 색공간을 이용할 수 있다. YCbCr은 휘도 성분(Y)과 색차 성분(Cb, Cr)을 분리하여 표현하는 특징이 있다. 광용적맥파 추정 시에 측정 대상 영역의 크고 작은 움직임으로 인해 발생하는 피부 표면의 불균일한 조명 반사가 광용적맥파 파형에 잡음(노이즈)으로 작용할 수 있다. 피부 표면의 불균일한 조명 반사는 주로 이미지의 휘도와 관련되어 있다. 변환부(400)는 이러한 휘도 성분을 제외하고 색차 성분을 이용하여 광용적맥파 파형을 추정할 수 있다.Referring back to FIG. 2 , the
추출부(500)는 이미지의 색차 성분을 이용해 광용적맥파의 파형을 추출한다. 예를 들면 추출부(500)는 전체 피부 화소의 색차 신호의 평균을 대표 신호 값으로 사용할 수 있다. 또는 추출부(500)는 미리 선별한 고정 개수의 피부 화소를 이용하여 신호 값으로 사용할 수도 있다. 추출부(500)는 복수의 이미지로부터 획득한 신호 값을 기반으로 시계열의 광용적맥파 파형을 산출할 수 있다. The
추출부(500)는 추가적인 대역통과 필터를 적용하여 광용적맥파 파형에서 심박 활동과 관련 없는 저주파 및 고주파 성분들을 필터링할 수 있다. 예를 들면 대역통과 필터는 42 ~ 180 bpm(beats per minute)에 해당하는 0.7 ~ 3.0 Hz의 통과 대역을 사용할 수 있다.The
판단부(600)는 필터링 된 광용적맥파 파형으로부터 평균 심박수를 추정한다.The
판단부(600)는 광용적맥파 파형의 전력 스펙트럼 밀도를 산출한다. 예를 들면 판단부(600)는 광용적맥파 파형의 시계열 신호에 대한 푸리에 변환을 통해 스펙트럼 표현을 산출한다. 판단부(600)는 광용적맥파 파형에 대한 스펙트럼 표현에서 스펙트럼 전력을 적분하여 스펙트럼 밀도를 산출한다.The
판단부(600)는 전력 스펙트럼 밀도의 전역 최대값에 해당하는 대표 주파수를 결정한다. 판단부(600)는 각 주파수의 전력 크기를 비교하여 가장 큰 전력을 갖는 하나의 주파수를 대표 주파수로 결정할 수 있다. 판단부(600)는 평균 심박수에 해당하는 주파수를 찾는 것이 목적이므로 심박수와 관련 있는 대역을 유효 대역을 설정하여 전력 크기 비교를 수행한다. 예를 들면 판단부(600)는 42~180 bpm에 해당하는 0.7 ~ 3.0 Hz의 대역을 유효 대역으로 사용할 수 있다.The
판단부(600)는 결정된 대표 주파수를 원하는 시간 단위로 환산하여 측정 구간에 대한 평균 심박수를 추정할 수 있다.The
도 6및 도 7은 본 발명의 일 실시 예에 따른 비접촉 광용적맥파 추정 방법을 설명한 도면들이다. 이하 설명하는 각 과정은 비접촉 광용적맥파 추정 장치를 구성하는 각 기능부가 수행하는 과정이나, 본 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 비접촉 광용적맥파 추정 장치로 통칭하도록 한다.6 and 7 are diagrams illustrating a method for estimating a non-contact photoplethysmogram according to an embodiment of the present invention. Each of the processes to be described below is a process performed by each functional unit constituting the non-contact photoplethysmography apparatus, but for the sake of concise and clear explanation of the present invention, the subject of each step will be collectively referred to as a non-contact photoplethysmography apparatus.
도 6을 참조하면, 단계 S610에서 비접촉 광용적맥파 추정 장치(10)는 카메라를 통해 복수의 이미지를 획득한다. 예를 들면, 비접촉 광용적맥파 추정 장치(10)는 RGB 카메라를 통해 피부를 포함하는 시계열적 이미지를 획득할 수 있다.Referring to FIG. 6 , in step S610 , the non-contact
단계 S620에서 비접촉 광용적맥파 추정 장치(10)는 광용적맥파 측정을 적용하고자 하는 구체적인 대상 영역을 관심 영역으로 설정한다. 예를 들면, 비접촉 광용적맥파 추정 장치(10)는 얼굴 영역을 관심 영역으로 설정할 수 있다. 비접촉 광용적맥파 추정 장치(10)는 복수의 이미지 들에서 시간의 흐름에 따른 일관된 관심 영역을 설정하기 위하여 영역 추적 알고리즘을 포함할 수 있다.In step S620 , the non-contact
단계 S630에서 비접촉 광용적맥파 추정 장치(10)는 관심 영역 내 피부 화소를 필터링한다. 비접촉 광용적맥파 추정 장치(10)는 관심 영역 내에 포함된 광용적맥파 추정과 관련이 없는 픽셀들을 제거할 수 있다. 비접촉 광용적맥파 추정 장치(10)는 공간 및 색 정보를 기반으로 한 피부색 필터링을 사용하여 광용적맥파 추정과 관련 없는 픽셀들을 검출하여 제거할 수 있다. 예를 들면, 비접촉 광용적맥파 추정 장치(10)는 관심 영역에서 광용적맥파 추정과 관련이 없는 머리카락, 눈썹 또는 배경 등에 해당하는 픽셀을 검출하여 검정 화소로 표시하여 관련 없는 성분을 제외할 수 있다.In operation S630 , the non-contact
단계 S640에서 비접촉 광용적맥파 추정 장치(10)는 피부 화소를 색차 신호로 변환한다. 비접촉 광용적맥파 추정 장치(10)는 YCbCr 색공간을 이용해 색차 신호를 변환할 수 있다. YCbCr은 휘도 성분(Y)과 색차 성분(Cb, Cr)을 분리하여 표현할 수 있다. In operation S640 , the
단계 S650에서 비접촉 광용적맥파 추정 장치(10)는 잡음을 유발할 수 있는 휘도(Y)를 버리고 색차 성분(Cb, Cr)을 이용하여 광용적맥파 파형을 추정할 수 있다. 광용적맥파 측정 시에 대상 영역의 크고 작은 움직임으로 인해 발생하는 피부 표면의 불균일한 조명 반사는 광용적맥파 파형을 추출할 때 잡음(노이즈)으로 작용할 수 있다. 피부 표면의 불균일한 조명 반사는 주로 휘도 성분과 관련이 있으므로, 잡음 제거를 위해 비접촉 광용적맥파 추정 장치(10)는 휘도(Y)를 버리고 색차 성분(Cb, Cr)을 이용하여 광용적맥파 파형을 추정한다.In operation S650 , the
비접촉 광용적맥파 추정 장치(10)는 복수의 이미지로부터 얻어진 신호 값을 기반으로 시계열의 광용적맥파의 파형을 추정할 수 있다. 예를 들면, 비접촉 광용적맥파 추정 장치(10)는 전체 피부 화소의 색차 신호의 평균을 대표 신호 값으로 사용할 수 있다. 또는 비접촉 광용적맥파 추정 장치(10)는 미리 선별한 고정 개수의 피부 화소를 이용하여 대표 신호 값으로 사용할 수 있다.The non-contact
도 7을 참조하면, 비접촉 광용적맥파 추정 장치(10)는 광용적맥파 파형으로부터 평균 심박수를 추정한다.Referring to FIG. 7 , the
단계 S710에서 비접촉 광용적맥파 추정 장치(10)는 광용적맥파 파형에서 심박 활동과 관련 없는 저주파 및 고주파 성분들을 추가적인 대역통과 필터를 적용하여 필터링한다. 예를 들면, 비접촉 광용적맥파 추정 장치(10)는 42~180 bpm(beats per minute)에 해당하는 0.7~3.0 Hz의 대역 통과 필터를 이용할 수 있다.In step S710 , the non-contact
단계 S720에서 비접촉 광용적맥파 추정 장치(10)는 대역 통과 필터링을 거친 광용적맥파 파형의 전력 스펙트럼 밀도를 산출한다. 예를 들면 비접촉 광용적맥파 추정 장치(10)는 광용적맥파 파형의 시계열 신호에 대한 푸리에 변환을 통해 스펙트럼 표현을 산출한다. 비접촉 광용적맥파 추정 장치(10)는 광용적맥파 파형에 대한 스펙트럼 표현에서 스펙트럼 전력을 적분하여 스펙트럼 밀도를 산출한다.In step S720 , the non-contact
단계 S730에서 비접촉 광용적맥파 추정 장치(10)는 전력 스펙트럼 밀도의 전력 최대값에 해당하는 주파수를 산출한다. 비접촉 광용적맥파 추정 장치(10)는 각 주파수의 전력 크기를 비교하여 가장 큰 전력을 갖는 하나의 대표 주파수를 결정한다. 비접촉 광용적맥파 추정 장치(10)는 평균 심박수에 해당하는 주파수를 찾는 것이 목적이므로 심박수와 관련 있는 대역을 유효 대역으로 설정하여 전력 크기 비교를 수행한다. 예를 들면, 비접촉 광용적맥파 추정 장치(10)는 42~180 bpm에 해당하는 0.7~3.0Hz의 대역을 유효 대역으로 사용할 수 있다. 유효 심박수 범위는 고정된 값이 아니라 사용 목적에 따라 변경하여 사용할 수 있다. 예를 들면, 유효 심박수 범위는 넓게는 42-240 bpm으로 사용할 수도 있고 필요에 따라 더 좁은 구간으로도 설정할 수 있다.In step S730 , the non-contact
단계 S740에서 비접촉 광용적맥파 추정 장치(10)는 전력 크기를 비교하여 결정된 대표 주파수를 원하는 시간 단위로 환산하여 측정 구간에 대한 평균 심박수를 추정한다.In step S740 , the non-contact
도 8 및 도 9는 움직임이 없는 얼굴 동영상과 움직임이 존재하는 얼굴 동영상 광용적맥파 파형 결과들 및 동시에 측정된 레퍼런스 신호의 예시 화면들이다.8 and 9 are exemplary screens of a motion picture of a face without motion, a photoplethysmography wave waveform result of a motion picture of a face with motion, and a reference signal measured at the same time.
도 8은 움직임이 없는 얼굴 동영상으로부터 Red, Green, Blue, Y, Cb+Cr 채널 신호로 추정한 광용적맥파 파형 결과들 및 동시에 측정된 레퍼런스 신호를 나타낸 예시이다.FIG. 8 is an example illustrating PPV waveform results estimated with red, green, blue, Y, and Cb+Cr channel signals from a motionless face video and a reference signal measured at the same time.
도 9는 움직임(yaw)이 존재하는 얼굴 동영상으로부터 Red, Green, Blue, Y, Cb+Cr 채널 신호로 추정한 광용적맥파 파형 결과들 및 동시에 측정된 레퍼런스 신호를 나타낸 예시이다. 움직임이 있는 경우 피부 표면에서 발생하는 불균일한 조명 변화 현상이 두드러지므로 대부분의 채널들의 광용적맥파 파형이 오염된 결과를 갖는다.FIG. 9 is an example illustrating PPV waveform results estimated with red, green, blue, Y, and Cb+Cr channel signals from a facial video in which a movement (yaw) is present, and a reference signal measured at the same time. When there is movement, the non-uniform illumination change phenomenon occurring on the skin surface is conspicuous, so the PPV waveforms of most channels are polluted.
도 8 및 도 9를 참조하면, 대부분의 채널 신호들의 경우 움직임 성분이 광용적맥파 파형을 지배하는 것과 달리 Cb+Cr 채널 신호는 주기적인 심박 파형이 관찰된다. 이에 비접촉 광용적맥파 추정 장치(10)는 심박수 추정을 위해 휘도를 제외한 색차 신호를 이용하여 광용적맥파 파형을 추출한다.Referring to FIGS. 8 and 9 , a periodic heartbeat waveform is observed in the Cb+Cr channel signal, whereas the motion component dominates the photoplethysmography waveform in most channel signals. Accordingly, the non-contact
도 10은 광용적맥파 파형 추출 시 신호 대 잡음비(signal-to-noise ratio, SNR)를 측정한 실험 예시이다.10 is an experimental example of measuring a signal-to-noise ratio (SNR) when extracting a photoplethysmography waveform.
실험을 위해 640 X 480 픽셀의 해상도로 30fps로 기록된 30초 길이의 RGB 영상을 분석했으며, Ubpulse 360으로 손가락의 해당 광용적맥파 신호를 동시에 측정하여 비교한 것이다. 평균 심박수는 펄스 신호에 대한 전력 스펙트럼 밀도의 42-240 bpm에서 최대 전력을 갖는 대역으로 계산되었다.For the experiment, a 30-second long RGB image recorded at 30 fps with a resolution of 640 X 480 pixels was analyzed, and the corresponding photoplethysmogram signal of the finger was simultaneously measured and compared with Ubpulse 360. The average heart rate was calculated as the band with the maximum power at 42-240 bpm of the power spectral density for the pulsed signal.
도 10을 참조하면, 움직임이 없는 얼굴 영상에서는 문제가 없지만 얼굴 회전이 있는 영상의 경우 신호 대 잡음비(SNR)가 Cb+Cr 신호를 이용한 광용적맥파 파형 추정을 다른 신호를 이용한 것에 비해 최상의 성능임을 확인할 수 있다. Referring to FIG. 10 , there is no problem in the face image without movement, but in the case of the face rotation image, the signal-to-noise ratio (SNR) is the best performance of the photoplethysmography waveform estimation using the Cb+Cr signal compared to other signals. can be checked
표 1은 동일한 실험에서 각 신호 채널의 평균 제곱근 오차(Root-Mean-Squaur Error, RMSE)를 비교한 실험 예시이다.Table 1 is an example of an experiment comparing the root-mean-squaur error (RMSE) of each signal channel in the same experiment.
\
ScenarioChannel
\
Scenario
상술한 비접촉 광용적맥파 추정 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.The above-described non-contact photoplethysmography method may be implemented as a computer-readable code on a computer-readable medium. The computer-readable recording medium may be, for example, a removable recording medium (CD, DVD, Blu-ray disk, USB storage device, removable hard disk) or a fixed recording medium (ROM, RAM, computer-equipped hard disk). can The computer program recorded on the computer-readable recording medium may be transmitted to another computing device through a network such as the Internet and installed in the other computing device, thereby being used in the other computing device.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.In the above, even though it has been described that all components constituting the embodiment of the present invention are combined or operated as one, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.Although acts are shown in a particular order in the drawings, it should not be understood that the acts must be performed in the specific order or sequential order shown, or that all illustrated acts must be performed to obtain a desired result. In certain circumstances, multitasking and parallel processing may be advantageous. Moreover, the separation of the various components in the embodiments described above should not be construed as necessarily requiring such separation, and the described program components and systems may generally be integrated together into a single software product or packaged into multiple software products. It should be understood that there is
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at focusing on the embodiments thereof. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.
10: 비접촉 광용적맥파 추정 장치
100: 입력부
200: 관심 영역부
300: 필터링부
400: 변환부
500: 추출부
600: 판단부10: non-contact photoplethysmogram estimation device
100: input unit
200: region of interest
300: filtering unit
400: conversion unit
500: extraction unit
600: judgment unit
Claims (11)
복수의 이미지를 획득하는 입력부;
상기 이미지에서 관심 영역을 설정하는 관심 영역부;
상기 관심 영역을 필터링하는 필터링부;
상기 필터링 된 관심 영역의 화소를 색차 신호로 변환하는 변환부;
상기 색차 신호에서 광용적맥파 파형을 추정하는 추출부; 및
상기 광용적맥파 파형으로부터 평균 심박수를 추정하는 판단부를 포함하고,
상기 판단부는,
상기 광용적맥파 파형에 대해 푸리에 변환을 수행함으로써 스펙트럼 밀도를 산출하고,
상기 스펙트럼 밀도의 전역 최대값을 대표 주파수로 결정하며,
상기 대표 주파수를 이용하여 평균 심박수를 추정함을 포함하는 비접촉 광용적맥파 추정 장치.
A non-contact photoplethysmogram estimation apparatus comprising:
an input unit for acquiring a plurality of images;
a region of interest unit configured to set a region of interest in the image;
a filtering unit filtering the region of interest;
a conversion unit converting the filtered pixels of the ROI into a color difference signal;
an extractor for estimating a photoplethysmography waveform from the color difference signal; and
a determination unit for estimating an average heart rate from the photoplethysmography waveform;
The judging unit,
calculating a spectral density by performing a Fourier transform on the photoplethysmography waveform;
Determining the global maximum of the spectral density as a representative frequency,
and estimating an average heart rate using the representative frequency.
상기 판단부는,
심박수와 관련 있는 대역을 유효 대역으로 설정하고,
상기 유효 대역 내에서, 상기 스펙트럼 밀도의 전역 최대값을 대표 주파수로 결정하는 비접촉 광용적맥파 추정 장치.
According to claim 1,
The judging unit,
Set the band related to the heart rate as the effective band,
A non-contact photoplethysmography apparatus for determining a global maximum value of the spectral density as a representative frequency within the effective band.
상기 관심 영역을 필터링하는 필터링부는
피부 화소 필터링을 통해 피부와 관련이 없는 픽셀은 검정 화소로 표시하는 비접촉 광용적맥파 추정 장치.
According to claim 1,
A filtering unit for filtering the region of interest
A non-contact photoplethysmogram estimation device that displays pixels that are not related to skin as black pixels through skin pixel filtering.
상기 필터링 된 관심 영역의 화소를 색차 신호로 변환하는 변환부는
상기 관심 영역의 피부 화소 중 휘도 성분을 제외한 색차 신호만 분리하는 비접촉 광용적맥파 추정 장치.
2. The method of claim 1
a conversion unit that converts the filtered pixels of the region of interest into a color difference signal
A non-contact photoplethysmography apparatus for separating only a color difference signal excluding a luminance component from among skin pixels in the region of interest.
상기 색차 신호에서 광용적맥파 파형을 추정하는 추출부는
상기 복수의 이미지로부터 획득한 색차 신호 값으로 시계열적 광용적맥파 파형을 산출하는 비접촉 광용적맥파 추정 장치.
According to claim 1,
An extracting unit for estimating a photoplethysmogram waveform from the color difference signal
A non-contact photoplethysmography apparatus for calculating a time-series photoplethysmogram waveform from the color difference signal values obtained from the plurality of images.
복수의 이미지를 획득하는 단계;
상기 이미지에서 관심 영역을 설정하는 단계;
상기 관심 영역을 필터링하는 단계;
상기 필터링 된 관심 영역의 화소를 색차 신호로 변환하는 단계;
상기 색차 신호에서 광용적맥파 파형을 추정하는 단계; 및
상기 광용적맥파 파형으로부터 평균 심박수를 추정하는 단계;
를 포함하고,
상기 추정하는 단계는,
상기 광용적맥파 파형에 대해 푸리에 변환을 수행함으로써 스펙트럼 밀도를 산출하는 단계;
상기 스펙트럼 밀도의 전역 최대값을 대표 주파수로 결정하는 단계; 및
상기 대표 주파수를 이용하여 평균 심박수를 추정하는 단계;
를 포함하는, 비접촉 광용적맥파 추정 방법.
A method for estimating a non-contact photoplethysmogram in a device, the method comprising:
acquiring a plurality of images;
setting a region of interest in the image;
filtering the region of interest;
converting the filtered pixels of the ROI into a color difference signal;
estimating a photoplethysmogram waveform from the color difference signal; and
estimating an average heart rate from the photoplethysmography waveform;
including,
The estimating step is
calculating a spectral density by performing a Fourier transform on the photoplethysmography waveform;
determining a global maximum of the spectral density as a representative frequency; and
estimating an average heart rate using the representative frequency;
Including, non-contact photoplethysmography method.
상기 추정하는 단계는,
심박수와 관련 있는 대역을 유효 대역으로 설정하는 단계; 및
상기 유효 대역 내에서, 상기 스펙트럼 밀도의 전역 최대값을 대표 주파수로 결정하는 단계;
를 포함하는, 비접촉 광용적맥파 추정 방법.
7. The method of claim 6,
The estimating step is
setting a band related to the heart rate as an effective band; and
determining, within the effective band, a global maximum of the spectral density as a representative frequency;
Including, non-contact photoplethysmography method.
상기 관심 영역을 필터링하는 단계는
피부 화소 필터링을 통해 피부와 관련이 없는 픽셀은 검정 화소로 표시하는 비접촉 광용적맥파 추정 방법.
7. The method of claim 6,
The step of filtering the region of interest
A non-contact photoplethysmography method in which pixels not related to skin are displayed as black pixels through skin pixel filtering.
상기 필터링 된 관심 영역의 화소를 색차 신호로 변환하는 단계는
상기 관심 영역의 피부 화소 중 휘도 성분을 제외한 색차 신호만 분리하는 비접촉 광용적맥파 추정 방법.
7. The method of claim 6
The step of converting the filtered pixel of the region of interest into a color difference signal
A non-contact photoplethysmography method for separating only a color difference signal excluding a luminance component from among skin pixels in the region of interest.
상기 색차 신호에서 광용적맥파 파형을 추정하는 단계는
상기 복수의 이미지로부터 획득한 색차 신호 값으로 시계열적 광용적맥파 파형을 산출하는 비접촉 광용적맥파 추정 방법.
7. The method of claim 6,
The step of estimating the photoplethysmography waveform from the color difference signal comprises:
A method for estimating a non-contact PPL for calculating a time-series PPL waveform using the color difference signal values obtained from the plurality of images.
A computer program recorded on a computer-readable recording medium for executing any one of the non-contact photoplethysmographic wave estimation method according to any one of claims 6 to 10.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200062814A KR102416179B1 (en) | 2020-05-26 | 2020-05-26 | Device and method for camera based photoplethysmogram estimation using chrominance |
PCT/KR2020/011261 WO2021241805A1 (en) | 2020-05-26 | 2020-08-24 | Contactless photoplethysmogram estimation device and method |
KR1020220079200A KR20220098701A (en) | 2020-05-26 | 2022-06-28 | Device and method for camera based photoplethysmogram estimation using chrominance |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200062814A KR102416179B1 (en) | 2020-05-26 | 2020-05-26 | Device and method for camera based photoplethysmogram estimation using chrominance |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220079200A Division KR20220098701A (en) | 2020-05-26 | 2022-06-28 | Device and method for camera based photoplethysmogram estimation using chrominance |
Publications (3)
Publication Number | Publication Date |
---|---|
KR20210145946A KR20210145946A (en) | 2021-12-03 |
KR102416179B1 true KR102416179B1 (en) | 2022-07-06 |
KR102416179B9 KR102416179B9 (en) | 2023-01-13 |
Family
ID=78744885
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200062814A KR102416179B1 (en) | 2020-05-26 | 2020-05-26 | Device and method for camera based photoplethysmogram estimation using chrominance |
KR1020220079200A KR20220098701A (en) | 2020-05-26 | 2022-06-28 | Device and method for camera based photoplethysmogram estimation using chrominance |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220079200A KR20220098701A (en) | 2020-05-26 | 2022-06-28 | Device and method for camera based photoplethysmogram estimation using chrominance |
Country Status (2)
Country | Link |
---|---|
KR (2) | KR102416179B1 (en) |
WO (1) | WO2021241805A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102661814B1 (en) | 2023-01-30 | 2024-04-30 | 상명대학교산학협력단 | Method and Apparatus for Biosignal Estimation |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102542525B1 (en) * | 2022-04-07 | 2023-06-13 | 상명대학교산학협력단 | Method and apparatus for remote photoplethysmogram |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101798228B1 (en) * | 2016-10-18 | 2017-11-15 | 성균관대학교산학협력단 | Pulse rate measuring method using image |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101823658B1 (en) * | 2016-07-13 | 2018-03-14 | 성균관대학교산학협력단 | Stress index estimation method using image |
WO2018057753A1 (en) * | 2016-09-21 | 2018-03-29 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems and methods for computer monitoring of remote photoplethysmography based on chromaticity in a converted color space |
KR101996996B1 (en) * | 2017-07-13 | 2019-07-05 | 성균관대학교산학협력단 | Method And Apparatus For Measuring Bio-Signal Using Infrared Image |
KR102018853B1 (en) * | 2017-09-26 | 2019-09-05 | 상명대학교산학협력단 | Device and method for heart rate measuring based on cntactless sensing |
-
2020
- 2020-05-26 KR KR1020200062814A patent/KR102416179B1/en active IP Right Grant
- 2020-08-24 WO PCT/KR2020/011261 patent/WO2021241805A1/en active Application Filing
-
2022
- 2022-06-28 KR KR1020220079200A patent/KR20220098701A/en not_active IP Right Cessation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101798228B1 (en) * | 2016-10-18 | 2017-11-15 | 성균관대학교산학협력단 | Pulse rate measuring method using image |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102661814B1 (en) | 2023-01-30 | 2024-04-30 | 상명대학교산학협력단 | Method and Apparatus for Biosignal Estimation |
Also Published As
Publication number | Publication date |
---|---|
KR102416179B9 (en) | 2023-01-13 |
KR20220098701A (en) | 2022-07-12 |
KR20210145946A (en) | 2021-12-03 |
WO2021241805A1 (en) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | A comparative survey of methods for remote heart rate detection from frontal face videos | |
US11229372B2 (en) | Systems and methods for computer monitoring of remote photoplethysmography based on chromaticity in a converted color space | |
Estepp et al. | Recovering pulse rate during motion artifact with a multi-imager array for non-contact imaging photoplethysmography | |
EP3664704B1 (en) | Device, system and method for determining a physiological parameter of a subject | |
US10398327B2 (en) | Non-contact assessment of cardiovascular function using a multi-camera array | |
US20200178809A1 (en) | Device, system and method for determining a physiological parameter of a subject | |
Feng et al. | Motion artifacts suppression for remote imaging photoplethysmography | |
US20110251493A1 (en) | Method and system for measurement of physiological parameters | |
KR20220098701A (en) | Device and method for camera based photoplethysmogram estimation using chrominance | |
KR102285999B1 (en) | Heart rate estimation based on facial color variance and micro-movement | |
Yu et al. | Noncontact monitoring of heart rate and heart rate variability in geriatric patients using photoplethysmography imaging | |
Qiao et al. | Measuring heart rate and heart rate variability with smartphone camera | |
Bobbia et al. | Remote photoplethysmography based on implicit living skin tissue segmentation | |
US20220039678A1 (en) | Device, system and method for obtaining a vital signal of a subject | |
JP7400574B2 (en) | Biometric information acquisition device, biometric information acquisition method, and program | |
Guzman et al. | Accurate hemodynamic sensing using video plethysmography with high quality cameras | |
Panigrahi et al. | Non-contact HR extraction from different color spaces using RGB camera | |
Shoushan et al. | Contactless heart rate variability (HRV) estimation using a smartphone during respiratory maneuvers and body movement | |
Qayyum et al. | Estimation of non-contact smartphone video-based vital sign monitoring using filtering and standard color conversion techniques | |
CN115153473B (en) | Non-contact heart rate detection method based on multivariate singular spectrum analysis | |
Nahler et al. | Exploring the usage of Time-of-Flight Cameras for contact and remote Photoplethysmography | |
Patil et al. | A camera-based pulse transit time estimation approach towards non-intrusive blood pressure monitoring | |
Scebba et al. | Improving ROI detection in photoplethysmographic imaging with thermal cameras | |
Djeldjli et al. | Robust heart activity measurement using webcam | |
Djeldjli et al. | A robust photoplethysmographic imaging for contactless heart and respiratory rates measurement using a simple webcam |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
G170 | Re-publication after modification of scope of protection [patent] |