KR20230161443A - Ｒｇｂ 이미지로부터의 심박수 추출을 위한 방법 및 시스템 - Google Patents
Ｒｇｂ 이미지로부터의 심박수 추출을 위한 방법 및 시스템 Download PDFInfo
- Publication number
- KR20230161443A KR20230161443A KR1020237032110A KR20237032110A KR20230161443A KR 20230161443 A KR20230161443 A KR 20230161443A KR 1020237032110 A KR1020237032110 A KR 1020237032110A KR 20237032110 A KR20237032110 A KR 20237032110A KR 20230161443 A KR20230161443 A KR 20230161443A
- Authority
- KR
- South Korea
- Prior art keywords
- determining
- heart rate
- image
- images
- skin
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000000605 extraction Methods 0.000 title description 2
- 239000007933 dermal patch Substances 0.000 claims abstract description 33
- 238000001228 spectrum Methods 0.000 claims abstract description 33
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 230000001815 facial effect Effects 0.000 claims abstract description 20
- 230000017531 blood circulation Effects 0.000 claims description 7
- 230000036541 health Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000035790 physiological processes and functions Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000001149 cognitive effect Effects 0.000 claims description 4
- 230000036642 wellbeing Effects 0.000 claims description 4
- 206010041349 Somnolence Diseases 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 238000013186 photoplethysmography Methods 0.000 abstract description 3
- 230000033764 rhythmic process Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 6
- 230000006996 mental state Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003862 health status Effects 0.000 description 2
- 238000009532 heart rate measurement Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 206010033664 Panic attack Diseases 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010252 digital analysis Methods 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 230000004217 heart function Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 208000019906 panic disease Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 208000019116 sleep disease Diseases 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000005428 wave function Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
Abstract
rPPG(remote photoplethysmography)를 사용하여 하나 이상의 심장 박동 특징부를 결정하기 위한 방법 및 시스템. 방법은, 자동차 내의 카메라에 의해 자동차 내의 사용자의 일련의 이미지들을 캡처하는 단계 - 각각의 이미지는 하나 이상의 컬러 신호들을 포함함 -; 이미지들 각각에 대해: 이미지 내의 사용자의 얼굴의 위치를 찾는 단계; 이미지 내의 경계를 결정하는 단계 - 얼굴은 경계 내에 위치됨 -; 경계 내의 하나 이상의 얼굴 특징부들을 검출하는 단계; 검출된 얼굴 특징부들에 기초하여, 얼굴 내의 피부 패치들을 나타내는 이미지 내의 하나 이상의 영역들을 결정하는 단계; 피부 패치들을 나타내는 영역들 내의 컬러 신호들을 분석하는 단계; 및 분석에 기초하여 하나 이상의 심장 박동 특징부들을 결정하는 단계를 포함한다. 방법은 추가 분석을 위해 미리 결정된 레벨의 유사도 및/또는 미리 결정된 레벨의 잡음에 도달하는 하나 이상의 피부 패치의 하나 이상의 펄스파 및/또는 주파수 스펙트럼을 선택하는 단계 및 모든 다른 펄스파 및/또는 주파수 스펙트럼을 폐기하는 단계를 더 포함한다. 방법은 rPPG를 사용하여 하나 이상의 심장 박동 특징부를 결정하는 속도 및 정확도를 개선한다.
Description
본 개시는 사람의 생리적 또는 심리적 상태를 모니터링하기 위한 방법 및 시스템에 관한 것이며, 보다 상세하게는 심박수 및 박동(inter-beat)간 간격과 같은 심장 박동 특징부를 결정하는 것에 관한 것이다.
심장 박동 특징부는 인간의 생리적 및 심리적 정보의 원천이다. 심박수 자체, 심장 박동간 간격 및 그 변동률과 같은 파라미터는 사람의 건강과 웰빙(wellbeing)을 모니터링하는 데 필수적이다. 접촉 심박수 측정 디바이스 및 센서, 예컨대 맥박 측정기(pulsometer), ECG 디바이스 또는 PPG 디바이스 예컨대, 스마트워치 및 손목밴드가 널리 보급되어 있다. 센서로서 RGB 카메라 또는 레이더를 이용하는 이용 가능한 비접촉 디바이스도 있다(Harford et al., Physiol. Measurements, 40(6), 2019). RGB 카메라를 사용하여 심박수를 측정하는 방법은 rPPG - (remote photoplethysmography)(Hassan et al., Biomed. Sign. Proc. And Control, 2017; Lam and Kuno, Robust heart rate measurement from video using select random patches, ICCV-IEEE 2015). 이 방법은 피부가 혈액 맥박에 따라 약간 컬러가 변한다는 사실을 이용한다. 비접촉식(contactless) 기술은 예를 들어, 객실 내(in-cabin) 자동차 모니터링 시스템에서의 애플리케이션에 더 적절하다. 현대 자동차는 더 이상 단지 출퇴근 수단이 아니라 생활 공간으로서 기능하기 때문에, 자동차는 예를 들어, 운전자 및 탑승자의 생리적 상태 및 건강을 모니터링하기 위해 종종 운전과 직접 관련되지 않는 점점 더 많은 특징부와 기능을 합성하고 있다. 이 문제는 (비시각적) 오락 뿐만 아니라 인지 부하 및 스트레스가 운전 수행에 강하게 영향을 미치는 것으로 알려져 있기 때문에 특히 중요하다.
하기의 간행물은 본 발명의 기술적 배경에 관한 것이다:
US9642536B2는 한 명 이상의 사람들의 비디오에 대한 분석을 다룬다. 비디오로부터 심박수 정보가 결정되고, 심박수 정보는 정신 상태 분석에 사용된다. 심박수 정보 및 결과적인 정신 상태 분석은 소모되거나 사람이 상호작용하는 디지털 매체와 같은 자극과 상관된다. 심박수 정보는 정신 상태를 추론하는 데 사용된다. 심박수 정보에 기초한 정신 상태 분석은 디지털 미디어를 최적화하거나 디지털 게임을 수정하는데 사용될 수 있다.
US 8977347B2는 심장 기능에 대해 모니터링되는 관심 대상의 캡처된 비디오 이미지들로부터 생성된 시계열 신호들로부터 심박수 변동률(heart rate variability)을 추정하기 위한 rPPG 방법 및 시스템을 개시한다. 모니터링되는 대상의 비디오를 처리한 시계열 신호로부터 저주파 및 고주파 성분이 추출된다. 이들 성분들 내의 합성된 파워 스펙트럼의 저주파수 및 고주파수의 비율이 계산된다. 시간에 따른 이 비율의 역학 분석은 심박수 변동률을 추정하는 데 사용된다. 본 개시의 교시는 비교적 높은 정도의 측정 정확도를 갖는 연속 모니터링 모드에서 사용될 수 있고, 예를 들어, 응급실, 심장 집중 치료 유닛, 신생아 집중 치료 유닛, 및 다양한 원격 의료 애플리케이션과 같은 다양한 애플리케이션에서 그것들의 용도를 발견할 수 있다.
그러나 알려진 rPPG 방법은 운전자 또는 탑승자의 머리 위치를 결정하고 추가 이미지 평가를 위해 얼굴 구조를 식별하는 데 정확도와 속도가 부족하다. 또한, 공지된 rPPG 분석은 부정확한 심장 특징부 검출로 이어지는 불량한 신호 대 잡음 비를 겪는다. 따라서, 최적화된 피부 패치 위치 및 분석을 고속, 고정밀도로 수행하도록 구성된 혈류량(blood flow) 측정 기술에 대한 요구가 존재한다.
본 개시의 제1 양태는 하나 이상의 심장 박동 특징부를 결정하기 위한 방법에 관한 것이다. 방법은:
자동차 내의 카메라에 의해 자동차 내의 사용자의 일련의 이미지들을 캡처하는 단계 - 각각의 이미지는 하나 이상의 컬러 신호들을 포함함 -;
상기 이미지의 각각에 대하여:
상기 이미지에서 사용자의 얼굴의 위치를 찾는 단계;
상기 이미지에서 경계를 결정하는 단계 - 얼굴은 경계 내에 위치함 -;
상기 경계 내에서 하나 이상의 얼굴 특징부를 검출하는 단계; 및
검출된 얼굴 특징부들에 기초하여, 상기 얼굴 내의 피부 패치들을 나타내는 이미지 내의 하나 이상의 영역을 결정하는 단계;
피부 패치를 나타내는 영역의 컬러 신호를 분석하는 단계; 및
분석에 기초하여 하나 이상의 심장 박동 특징부를 결정하는 단계를 포함한다.
본 방법의 목적은 사용자 얼굴의 피부 패치들의 이미지 시리즈에 기초하여, rPPG(remote photo-plethysmography)에 의해 심장 박동 특징부들을 결정하는 것이다. 방법은 차량의 운전자 또는 승객의 심박수 또는 다른 심장 박동 특징부들을 결정하는 것을 허용하는 자동차와 같은 차량에서 수행될 수 있다. 이에 의해, 사용자가 건강 모니터링에 과도하게 시간을 투자하지 않고도 운전 중 사용자의 건강 상태가 모니터링될 수 있다. 운전자의 건강 상태를 모니터링하는 것은 예를 들어, 출력 신호를 생성하여 급성 건강 문제의 경우 운전자가 자동차를 정지하도록 요청하는 것을 허용한다.
본 개시에 따르면, 사용자의 얼굴의 하나 이상의 피부 패치를 결정하는 단계는 이미지에서 사용자의 얼굴의 위치 찾는 것 및 이미지에서 얼굴을 프레이밍하는 경계를 결정하는 단계를 포함한다. 눈썹, 눈, 코 또는 입과 같은 얼굴 특징부가 이 경계 내에서 검출된다. 얼굴 특징부의 검색 영역을 이 경계 내로 좁히는 이점은 관련 이미지 섹션만이 분석된다는 것이다. 따라서, 얼굴 특징부의 검출이 빨라진다. 얼굴 특징부들은 얼굴 내의 피부 패치들의 위치를 결정하는 데 사용된다.
일 실시예에서, 일련의 이미지들의 캡처는 바람직하게는 RGB 이미지들을 캡처하는 가시광 카메라를 사용하여 수행된다. 이는 RGB 이미지 시리즈의 추가 분석을 위해 가장 큰 동적 범위를 갖는 컬러 성분의 선택을 가능하게 한다.
추가 실시예에서, 컬러 신호들을 분석하는 단계는 얼굴 내의 상이한 위치에서 컬러의 시간적 변동들을 결정하기 위해 하나 이상의 피부 패치의 일련의 이미지들에서 컬러 변화들을 추출하는 단계를 더 포함한다. 상이한 위치들에서의 데이터 수집은 옵션의 가장 적합한 이미지들의 후속 선택을 허용한다. 추가의 디지털 분석을 위한 데이터 접근성을 개선하기 위해, 컬러 변화는 컬러 변화에 기초하여 각각의 피부 패치에 대한 펄스파를 생성하는 일련의 수치로 변환된다. 일 실시예에서, 방법은 컬러 변화들에 기초하여 혈류 강도들을 결정하는 단계를 더 포함한다. 컬러들의 이미지 시퀀스들 및 시간적 변동들은 이에 의해 심장 박동에 의해 유도된 피부의 혈관을 통한 혈류 변동들에 연결된다. 이러한 상관 관계는 신호 분석 및 해석을 가능하게 한다.
방법은 피부 패치들 각각에 대한 주파수 스펙트럼들을 생성하기 위해 피부 패치들 각각의 펄스파들 각각을 주파수 공간으로 변환하는 단계를 더 포함한다. 이는 추가의 디지털 이미지 처리를 용이하게 하고, 하나의 피부 패치의 모든 스펙트럼을 합산할 수 있게 한다.
대안적인 실시예에서, 주파수 스펙트럼들을 생성하는 단계는:
각각의 피부 패치로부터의 펄스파들을 하나 이상의 중첩 시간 윈도우들로 분할하는 단계;
각각의 윈도우를 주파수 공간으로 변환하여 주파수 스펙트럼을 생성하는 단계;
상기 스펙트럼들을 하나의 누적 스펙트럼에 합산하는 단계를 포함한다.
데이터 분석은 중첩하는 윈도우를 형성하고, 각각의 윈도우를 개별적으로 주파수 공간으로 변환한 다음, 모든 스펙트럼을 합산하는 것이 유익한데, 이는 잡음에 속하는 주파수 성분을 제거할 수 있기 때문이다.
또한, 일부 실시예들에서, 각각의 주파수 스펙트럼은 미리 결정된 펄스파 패턴과 비교되고 유사도의 레벨이 결정된다. 주파수 스펙트럼들과 미리 결정된 파 패턴 사이의 유사도의 레벨은 품질 척도로서 작용한다. 예를 들어, 펄스파가 미리 결정된 펄스파 패턴과 미리 결정된 임계치, 즉 미리 결정된 유사도 레벨에 도달하지 않으면, 이러한 펄스파들은 모두 폐기된다. 결과적으로, 잡음이 있는 주파수 스펙트럼들 및 대응하는 피부 패치들은 추가 분석으로부터 제거된다. 그러나, 미리 결정된 유사도에 도달한 모든 펄스파는 합산되어 가중 평균이 결정된다. 가중치는 유사도에 대응하며, 즉 미리 결정된 파에 대한 특정 펄스파의 유사도가 높을수록 합에 대한 기여도가 더 높다. 따라서, 이러한 알고리즘은 rPPG 분석을 사용하여 심장 박동 특징부들을 결정하는 데 특히 적합한 피부 패치들을 선택하여, 분석을 더 정확하게 할 수 있다.
일 실시예에서, 상기 방법은 각각의 가중 평균 스펙트럼의 잡음 레벨을 검출하는 단계 및 상기 잡음 레벨이 미리 결정된 임계치를 초과하지 않는 모든 펄스파들을 누적 펄스파에 합산하는 단계를 더 포함한다. 최상의 신호 대 잡음비를 갖는 펄스파의 이러한 추가적인 선택은 감소된 잡음을 갖는 누적된 펄스파의 형성을 초래한다.
상기 rPPG 방법에 따르면, 일 실시예에서, 상기 방법은 상기 펄스파들 중 임의의 것을 처리하여 심박수 특징부들을 추출하는 단계를 더 포함하고, 상기 심박수 특징부들은 심박수, 박동간 간격들 및 심박수 변동률 중 하나 이상을 포함한다. 따라서, 특히 펄스파 함수들의 피크들을 식별하여 박동간 간격 또는 심박수를 결정한다. 심박수 변동률을 결정하기 위해 스펙트럼 분석이 추가로 수행될 수 있다.
방법은 사용자의 심박수 특징부가 복수의 클래스로 분류되는 단계를 더 포함하고, 상기 클래스는 사용자의 서로 다른 심리적 및/또는 생리적 상태와 연관될 수 있다. 이를 위해, 심박수 특징부들은 의학적 연구에 기초하여 해석되고, 높은 인지 부하, 스트레스 또는 졸림과 같은, 그러나 이에 제한되지 않는, 인간 내적 상태들에 관한 정보의 원천으로서 작용한다. 이 정보는 건강 및 웰빙을 모니터링하는 데 사용될 수 있다.
본 개시의 제2 양태에 따르면, 하나 이상의 심장 박동 특징부를 결정하기 위한 시스템이 제공된다. 시스템은 카메라 및 컴퓨팅 디바이스를 포함한다. 시스템은 전술한 단계들을 실행하도록 구성된다. 본 개시의 방법의 모든 특성들은 또한 시스템에 적용된다.
본 개시의 특징부, 목적 및 이점은, 유사한 엘리먼트에 대해서는 유사한 도면 번호를 가지는 도면과 함께 설명될 때 이하에 개시된 상세한 설명으로부터 보다 명백해질 것이다.
도 1은 하나 이상의 실시예들에 따른 하나 이상의 심장 박동 특징부들을 결정하기 위한 방법(100)의 흐름도를 도시한다.
도 2는 하나 이상의 실시예들에 따른 이미지 데이터를 분석하기 위한 방법(200)의 흐름도를 도시한다.
도 3은 하나 이상의 실시예들에 따른 이미지 데이터를 결정하기 위한 방법(300)의 흐름도를 도시한다.
도 4는 하나 이상의 심장 박동 특징부를 결정하기 위한 시스템(400)의 블록도를 도시한다.
도 1은 하나 이상의 실시예들에 따른 하나 이상의 심장 박동 특징부들을 결정하기 위한 방법(100)의 흐름도를 도시한다.
도 2는 하나 이상의 실시예들에 따른 이미지 데이터를 분석하기 위한 방법(200)의 흐름도를 도시한다.
도 3은 하나 이상의 실시예들에 따른 이미지 데이터를 결정하기 위한 방법(300)의 흐름도를 도시한다.
도 4는 하나 이상의 심장 박동 특징부를 결정하기 위한 시스템(400)의 블록도를 도시한다.
도 1은 일 실시예에 따른 하나 이상의 심장 박동 특징부를 결정하기 위한 방법(100)의 흐름도를 도시한다. 방법은 자동차 내의 사용자의 얼굴의 일련의 이미지들(102)을 캡처하는 단계를 포함한다. 바람직한 실시예에서, 이미지들은 가시광 카메라에 의해 캡처된 RGB 이미지들이다. 이미지들의 시퀀스는, 예를 들어, 초당 30 프레임들의 전형적인 프레임 레이트로 생성될 수 있다. 각각의 프레임은 픽셀 세트를 나타낸다. 각각의 픽셀은 단색이거나 다양한 파장 예컨대, RGB 이미지의 빨강, 녹색 및 파랑 성분을 포함할 수 있다. RGB 이미지를 사용하고 따라서 3개의 컬러 성분을 캡처하는 것은 추가 분석을 위해 일련의 이미지에 걸쳐 가장 큰 동적 범위를 갖는 컬러 성분을 선택할 수 있게 한다.
방법은 하나 이상의 이미지들(102)에서 사용자의 얼굴 특징부들의 위치를 찾는 단계(locating)(104)를 더 포함한다. 얼굴 특징부들의 위치를 찾는 것(104)은 2개의 단계(phase)들로 분할될 수 있다. 제1 단계는 이미지에서 사용자의 얼굴의 위치를 찾는 것 및 얼굴을 프레이밍하고 있는 이미지에서 경계를 결정하는 것(106)을 포함할 수 있다. 이 제1 단계는 사용자의 얼굴의 조악한(coarse) 위치일 수 있고, 경계는 얼굴을 바운딩하는 직사각형 프레임일 수 있다. 제2 단계는 이 경계 내에서 눈썹, 눈, 코 또는 입과 같은 얼굴 특징부들을 검출하는 것(108)을 포함한다. 이러한 경계 내로 검색 영역들을 좁히는 것은 얼굴 특징부들의 더 빠르고 더 정확한 검출을 허용한다.
얼굴 특징부는 얼굴 구조를 이해하고 특정 피부 패치, 즉 사용자의 얼굴 피부에 속하는 픽셀을 결정(110)하기 위한 핵심 포인트이다. 피부 패치는 크기, 균질성, 얼굴 구조 및 머리 위치에서 변화할 수 있다.
방법은 하나 이상의 피부 패치의 컬러 신호를 분석하는 단계(112)를 더 포함한다. 피부 패치들의 컬러 신호들을 분석하는 것은 사용자의 얼굴의 하나 이상의 위치들에서 사용자의 얼굴의 일련의 이미지들의 컬러 변화들을 추출하는 것을 포함한다. 상이한 위치에서의 데이터 수집은 추가의 데이터 분석을 위해 가장 적합한 피부 패치의 옵션의 후속 선택을 허용한다. 컬러의 시간적 변동들은 추가 분석에서 개선된 데이터 접근성을 위해, 수치들의 시퀀스, 즉 펄스파(pulse wave)로 변환될 수 있다. 컬러 신호를 분석하는 것은 도 2의 흐름도에 따라 수행될 수 있다.
rPPG에서, 주기적인 펄스파 형태의 컬러 변화는 피부의 혈관을 통한 혈류 변동에 관련된다. 이러한 상관 관계는 신호 분석 및 해석을 가능하게 한다.
방법은 펄스파들로부터 심박수, 박동간 간격들 및 심박수 변동률과 같은, 그러나 이에 제한되지 않는, 심박수 특징부들을 결정하는 단계(114)를 더 포함한다. 이는 펄스파들에서 피크들을 검출하는 것, 피크 거리들을 결정하는 것, 및 펄스파 패턴에 기초하여 심장 박동 또는 심장 박동 간 간격들을 결정하는 것을 포함할 수 있다. 다른 유형들의 펄스파 분석들이 예를 들어, 심박수 변동률을 결정하기 위해 적용될 수 있다.
방법은 사용자의 심리적 및/또는 생리적 상태(116)를 복수의 클래스들로 분류하는 단계를 더 포함하고, 클래스들은 사용자의 상이한 심리적 및/또는 생리적 상태들과 연관된다. 이를 위해, 심박수 특징부들은 의학적 연구에 기초하여 해석될 수 있고, 높은 인지 부하, 스트레스, 졸음, 및 많은 다른 것들과 같은 내부 상태들에 관한 정보의 원천으로서 작용할 수 있다. 이 정보는 건강 및 웰빙을 모니터링하고, 우울증 또는 수면 장애와 같은 질병을 예측하고 사전 진단하며, 간질, 공황 발작, 심장 발작 등과 같은 질병을 검출하는 데 사용될 수 있다.
도 2는 일 실시예에 따른 이미지 정보를 분석하기 위한 방법(200)의 흐름도를 도시한다. 사용자의 얼굴의 피부 패치들 각각에서 컬러 신호들(112) 또는 사용자의 얼굴의 임의의 이미지에서 컬러 신호들을 분석하고 일련의 이미지들에서 컬러 변화들을 펄스파로 변환하는 것은 심박수 특징부들의 더 정확한 결정을 가능하게 하기 위해 추가 디지털 데이터 처리 및 데이터 선택을 포함할 수 있다. 방법은 일련의 이미지들에서 컬러 변화들을 추출하는 단계(202)를 포함한다. 바람직한 실시예에서, 이미지들은 RGB 이미지들일 수 있고, 가장 큰 동적 범위를 갖는 컬러 성분이 선택될 수 있다.
방법은 컬러 변화를 혈류 강도와 연관시키는 단계(204)를 더 포함한다. 컬러 변화는 주기적일 수 있고 심박수 특징부에 대응할 수 있다.
방법은 이러한 컬러 변화들을 수치들의 시퀀스로 변환하는 단계 및 펄스파를 생성하는 단계(206)를 포함한다.
방법은 피부 패치들 각각에 대한 주파수 스펙트럼들을 생성(214)하기 위해 피부 패치들 각각의 펄스파들 각각을 주파수 공간으로 변환하는 단계를 더 포함할 수 있다. 이는 추가의 디지털 이미지 처리를 용이하게 하고 하나의 피부 패치의 모든 스펙트럼을 합산할 수 있게 한다.
대안적인 실시예에서, 주파수 스펙트럼들을 생성하는 단계(214)는: 각각의 피부 패치로부터의 펄스파들을 하나 이상의 중첩 시간 윈도우들로 분할하는 단계(208); 주파수 스펙트럼들을 생성하기 위해 윈도우들 각각을 주파수 공간으로 변환하는 단계(210); 및 스펙트럼들을 하나의 누적 스펙트럼에 합산하는 단계(212)를 더 포함할 수 있다. 중첩하는 윈도우들을 형성하고, 각각의 윈도우를 개별적으로 주파수 공간으로 변환하고, 모든 스펙트럼들을 합산함으로써, 잡음에 속하는 주파수 성분들을 제거할 수 있다.
또한, 일부 실시예에서, 방법은 각각의 주파수 스펙트럼을 미리 결정된 펄스파 패턴과 비교하는 단계(216) 및 각각의 주파수 스펙트럼 및/또는 각각의 펄스파와 미리 결정된 펄스파 사이의 유사도의 레벨을 결정하는 단계를 포함한다. 미리 결정된 펄스파 패턴은 이상적인 파와 유사할 수 있고, 혈류 강도들과 직접 상관될 수 있다. 주파수 스펙트럼 및/또는 펄스파와 미리 결정된 파 패턴 사이의 유사도 레벨은 품질 척도로서 작용할 수 있다. 예를 들어, 펄스파들이 미리 결정된 임계치(218), 즉 미리 결정된 펄스파 패턴과의 미리 결정된 유사도 레벨에 도달하지 않으면, 방법은 이러한 모든 펄스파들을 폐기하는 단계(220)를 포함한다. 결과적으로, 잡음이 있는 주파수 스펙트럼들 및 대응하는 피부 패치들은 추가 분석으로부터 제거된다. 방법은 미리 결정된 유사도 레벨에 도달하는(222) 모든 펄스파들로부터 가중 펄스파 평균을 형성하는 단계(224)를 더 포함한다. 가중 평균 펄스파에 기여하는 개별 펄스파의 가중치는 유사도에 대응하며, 즉 특정 펄스파와 특정 펄스파의 유사도가 높을수록 합에 기여하는 정도가 크다. 따라서, 이러한 알고리즘은 rPPG 분석을 사용하여 심장 박동 특징부들을 결정하는 데 특히 적합한 피부 패치들을 선택할 수 있고, 이에 의해 심박수 특징부들을 결정하는 정확도를 개선할 수 있다.
실시예에서, 방법은 각각의 가중치-평균된 스펙트럼의 잡음 레벨을 검출하는 단계(226) 및 잡음 레벨이 미리 결정된 임계치를 초과하지 않는(232) 모든 펄스파들을 누적된 펄스파(accumulated pulse wave)(300)에 합산하는 단계를 더 포함할 수 있다. 방법은 미리 결정된 잡음 임계치가 초과되는 모든 펄스파들(230)을 폐기하는 단계(228)를 포함한다. 최상의 신호 대 잡음비를 갖는 펄스파들의 이러한 추가적인 선택은 감소된 잡음 레벨을 갖는 정정된 펄스파의 형성을 초래한다.
도 3은 다른 실시예에 따른 이미지 정보를 결정하기 위한 방법(300)의 흐름도를 도시한다. 일 실시예에서, 심박수 특징부 추출에 사용되는 펄스파의 생성은 사용자의 얼굴 내의 피부 패치들 각각에 대해 방법(200)에 따라 이미지 정보를 분석하는 단계 및 추가 분석을 위해 피부 패치들(302a, 302b, 302c,...) 각각에 대해 최상의 신호 대 잡음비를 갖는 적절한 펄스파들을 선택하는 단계를 포함할 수 있다. 방법은 감소된 잡음 레벨을 갖는 정정된 펄스파들(302a, 302b, 302c,...)의 평균을 합산하거나 결정하는 단계 및 최소의 잡음을 포함할 수 있고 높은 정확도로 심박수 특징부들을 결정하기 위해 사용될 수 있는 누적된 펄스파들을 생성하는 단계(304)를 더 포함할 수 있다.
도 4는 일 실시예에 따른 하나 이상의 심장 박동 특징부를 결정하기 위한 시스템(400)의 블록도를 도시한다. 시스템은 카메라(404) 및 컴퓨터 디바이스(406)를 포함한다. 바람직한 실시예에서, 카메라(404)는 가시광 카메라이다. 카메라는 시스템의 사용자를 향하고, 사용자의 얼굴의 일련의 이미지들을 레코딩한다. 카메라는 180-200°의 수평 시야를 가질 수 있다. 카메라에 대한 전형적인 프레임 레이트들은, 예를 들어, 30 fps(frame per second) 내지 60 fps일 수 있다. 카메라에 대한 카메라 해상도는 눈, 눈썹, 코, 입의 위치와 같은 얼굴 윤곽 및 특징부를 인식할 수 있을 정도로 높다. 전형적인 값은 예를 들어 1920 px Х 1080 px일 수 있다.
시스템은 위에서 설명된 방법들을 실행하도록 구성된다.
100
하나 이상의 심장 박동 특징부를 결정하기 위한 방법
102-116 방법(100)의 단계들
200 이미지 데이터 분석 방법
202-232 방법(200)의 단계들
300 이미지 데이터 결정 방법
302-304 방법(300)의 단계들
400 하나 이상의 심장 박동 특징부를 결정하기 위한 시스템
402 카메라
404 컴퓨터 디바이스
102-116 방법(100)의 단계들
200 이미지 데이터 분석 방법
202-232 방법(200)의 단계들
300 이미지 데이터 결정 방법
302-304 방법(300)의 단계들
400 하나 이상의 심장 박동 특징부를 결정하기 위한 시스템
402 카메라
404 컴퓨터 디바이스
Claims (13)
- 하나 이상의 심장 박동 특징부(heart beat feature)들을 결정하는 방법으로서, 상기 방법은,
자동차 내의 카메라에 의해 상기 자동차 내의 사용자의 일련의 이미지들을 캡처하는 단계 - 각각의 이미지는 하나 이상의 컬러 신호들을 포함함 -;
각각의 이미지에 대하여,
상기 이미지에서 상기 사용자의 얼굴의 위치를 찾는 단계;
상기 이미지에서 경계를 결정하는 단계 - 상기 얼굴은 상기 경계 내에 위치됨 -;
상기 경계 내의 하나 이상의 얼굴 특징부들을 검출하는 단계; 및
검출된 상기 얼굴 특징부들에 기초하여, 상기 얼굴 내의 피부 패치들을 나타내는 상기 이미지 내의 하나 이상의 영역들을 결정하는 단계;
상기 피부 패치들을 나타내는 영역들의 컬러 신호들을 분석하는 단계; 및
상기 분석에 기초하여 하나 이상의 심장 박동 특징부들을 결정하는 단계를 포함하는, 방법. - 제1항에 있어서, 상기 일련의 이미지들을 캡처하는 단계는 RGB 이미지들을 캡처하는 가시광 카메라를 사용하여 수행되는, 방법.
- 제1항에 있어서, 상기 컬러 신호들을 분석하는 단계는,
하나 이상의 피부 패치들의 일련의 이미지들에서 컬러 변화를 결정하는 단계; 및
상기 컬러 변화에 기초하여 각각의 피부 패치에 대한 펄스파(pulse wave)를 생성하는 단계를 더 포함하는, 방법. - 제3항에 있어서, 상기 컬러 변화에 기초하여 혈류 강도를 결정하는 단계를 더 포함하는, 방법.
- 제3항에 있어서, 상기 피부 패치들 각각의 펄스파 각각을 주파수 공간으로 변환하여 상기 피부 패치들 각각에 대한 주파수 스펙트럼을 생성하는 단계를 더 포함하는, 방법.
- 제5항에 있어서, 상기 주파수 스펙트럼을 생성하는 단계는,
각각의 피부 패치로부터의 상기 펄스파들을 하나 이상의 중첩 시간 윈도우들로 분할하는 단계;
주파수 스펙트럼을 생성하기 위해 각각의 윈도우를 주파수 공간으로 변환하는 단계;
상기 스펙트럼들을 하나의 누적 스펙트럼에 합산하는 단계를 포함하는, 방법. - 제5항에 있어서, 각각의 주파수 스펙트럼을 미리 결정된 펄스파 패턴과 비교하여 유사도 레벨을 결정하는 단계;
상기 유사도 레벨이 미리 결정된 임계치에 도달하지 않는 모든 펄스파들을 폐기하는 단계; 및
상기 유사도 레벨이 미리 결정된 임계치에 도달하는 모든 펄스파들의 가중 평균을 결정하는 단계를 더 포함하고, 상기 유사도 레벨은 가중 평균에 대한 가중치들을 정의하는, 방법. - 제6항 및 제7항 중 어느 한 항에 있어서, 각각의 가중 평균 스펙트럼의 잡음 레벨을 검출하는 단계; 및 상기 잡음 레벨이 미리 결정된 임계치를 초과하지 않는 모든 펄스파를 누적 펄스파에 합산하는 단계를 더 포함하는, 방법.
- 제1항 내지 제8항 중 어느 한 항에 있어서, 심박수 특징부들을 추출하기 위해 상기 펄스파를 처리하는 단계를 더 포함하고, 상기 심박수 특징부들은 심박수, 박동간(inter-beat) 간격들 및 심박수 변동률 중 하나 이상을 포함하는, 방법.
- 제9항에 있어서, 상기 심박수 특징부들은 복수의 클래스들로 분류되고, 상기 클래스들은 상기 사용자의 상이한 심리적 및/또는 생리적 상태들과 연관되는, 방법.
- 하나 이상의 심장 박동 특징부를 결정하기 위한 시스템으로서, 상기 시스템은,
카메라; 및
컴퓨팅 디바이스;를 포함하고,
상기 시스템은 청구항 1 내지 10 중 어느 한 항의 방법을 실행하도록 구성된, 시스템. - 제11항에 있어서, 상기 카메라는 RGB 이미지를 캡처하는 가시광 카메라인, 시스템.
- 제11항 및 제12항 중 어느 한 항에 있어서, 상기 컴퓨팅 디바이스는 상기 하나 이상의 심장 박동 특징부들에 기초하여, 상기 사용자의 인지 부하, 스트레스, 또는 졸음 중 하나 이상을 검출하고, 의학적 상태들을 추론하거나 인간의 건강 또는 웰빙을 모니터링하도록 추가로 구성되는, 시스템.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/RU2021/000135 WO2022211656A1 (en) | 2021-03-30 | 2021-03-30 | Method and system for heart rate extraction from rgb images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230161443A true KR20230161443A (ko) | 2023-11-27 |
Family
ID=76305977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237032110A KR20230161443A (ko) | 2021-03-30 | 2021-03-30 | Ｒｇｂ 이미지로부터의 심박수 추출을 위한 방법 및 시스템 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4312721A1 (ko) |
| KR (1) | KR20230161443A (ko) |
| CN (1) | CN117136027A (ko) |
| WO (1) | WO2022211656A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023195872A1 (en) * | 2022-04-05 | 2023-10-12 | Harman Becker Automotive Systems Gmbh | Method and system for determining heartbeat characteristics |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9642536B2 (en) | 2010-06-07 | 2017-05-09 | Affectiva, Inc. | Mental state analysis using heart rate collection based on video imagery |
| US8977347B2 (en) | 2012-06-25 | 2015-03-10 | Xerox Corporation | Video-based estimation of heart rate variability |
| WO2016158624A1 (ja) * | 2015-03-30 | 2016-10-06 | 国立大学法人東北大学 | 生体情報計測装置、生体情報計測方法、生体情報表示装置及び生体情報表示方法 |
| KR101738278B1 (ko) * | 2015-12-31 | 2017-05-22 | 성균관대학교산학협력단 | 영상을 이용한 감정 인식 방법 |
| CA2958003C (en) * | 2016-02-19 | 2022-04-05 | Paul Stanley Addison | System and methods for video-based monitoring of vital signs |
| US11259710B2 (en) * | 2018-05-16 | 2022-03-01 | Mitsubishi Electric Research Laboratories, Inc. | System and method for remote measurements of vital signs |
-
2021
- 2021-03-30 WO PCT/RU2021/000135 patent/WO2022211656A1/en active Application Filing
- 2021-03-30 EP EP21730695.0A patent/EP4312721A1/en active Pending
- 2021-03-30 CN CN202180096706.0A patent/CN117136027A/zh active Pending
- 2021-03-30 KR KR1020237032110A patent/KR20230161443A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| EP4312721A1 (en) | 2024-02-07 |
| CN117136027A (zh) | 2023-11-28 |
| WO2022211656A8 (en) | 2023-09-21 |
| WO2022211656A1 (en) | 2022-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Alghoul et al. | Heart rate variability extraction from videos signals: ICA vs. EVM comparison | |
| EP3414739B1 (en) | Device, system and method for pulsatility detection | |
| CN107427233B (zh) | 脉波检测装置、以及脉波检测程序 | |
| CN107427242B (zh) | 脉波检测装置、以及脉波检测程序 | |
| US9025826B2 (en) | Formation of a time-varying signal representative of at least variations in a value based on pixel values | |
| JP6521845B2 (ja) | 心拍に連動する周期的変動の計測装置及び計測方法 | |
| EP3440991A1 (en) | Device, system and method for determining a physiological parameter of a subject | |
| JP6098257B2 (ja) | 信号処理装置、信号処理方法及び信号処理プログラム | |
| KR102285999B1 (ko) | 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템 | |
| EP3440996A1 (en) | Device, system and method for determining a physiological parameter of a subject | |
| Blöcher et al. | An online PPGI approach for camera based heart rate monitoring using beat-to-beat detection | |
| KR20200079691A (ko) | 카메라 기반 비접촉식 생체신호 측정 장치 및 그것의 동작 방법 | |
| Li et al. | An improvement for video-based heart rate variability measurement | |
| Fukunishi et al. | Improvements in remote video based estimation of heart rate variability using the Welch FFT method | |
| CN111839492A (zh) | 一种基于面部视频序列的心率非接触式测量方法 | |
| CN111050638B (zh) | 用于接触式光学体积描记术(ppg)的计算机实现的方法和系统 | |
| Hernandez-Ortega et al. | Quality-based pulse estimation from NIR face video with application to driver monitoring | |
| KR20230161443A (ko) | Ｒｇｂ 이미지로부터의 심박수 추출을 위한 방법 및 시스템 | |
| US20140276118A1 (en) | Method and System for Contactless Detection of Cardiac Activity | |
| Panigrahi et al. | Non-contact HR extraction from different color spaces using RGB camera | |
| Zhang et al. | Sleep/wake classification via remote PPG signals | |
| CN104688199A (zh) | 一种基于皮肤色素浓度差分的非接触式脉搏测量方法 | |
| Ben Salah et al. | Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis | |
| Malacarne et al. | Improved remote estimation of heart rate in face videos | |
| Wang et al. | KLT algorithm for non-contact heart rate detection based on image photoplethysmography |