KR102150635B1 - 비전 기반 심박수 측정 방법 - Google Patents

비전 기반 심박수 측정 방법 Download PDF

Info

Publication number
KR102150635B1
KR102150635B1 KR1020190003945A KR20190003945A KR102150635B1 KR 102150635 B1 KR102150635 B1 KR 102150635B1 KR 1020190003945 A KR1020190003945 A KR 1020190003945A KR 20190003945 A KR20190003945 A KR 20190003945A KR 102150635 B1 KR102150635 B1 KR 102150635B1
Authority
KR
South Korea
Prior art keywords
data
rpd
heart rate
fine motion
vision system
Prior art date
Application number
KR1020190003945A
Other languages
English (en)
Other versions
KR102150635B9 (ko
KR20200087540A (ko
Inventor
황민철
이현우
김혜진
이정년
김영주
조영호
Original Assignee
(주)감성과학연구센터
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)감성과학연구센터 filed Critical (주)감성과학연구센터
Priority to KR1020190003945A priority Critical patent/KR102150635B1/ko
Publication of KR20200087540A publication Critical patent/KR20200087540A/ko
Application granted granted Critical
Publication of KR102150635B1 publication Critical patent/KR102150635B1/ko
Publication of KR102150635B9 publication Critical patent/KR102150635B9/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

비전 시스템 기반 심박수 측정 방법 및 장치에 대해 기술된다. 심박수 측정 방법:은 피험자로부터 PPG 데이터와 이에 대응하는 시계열 신호로서 미세 움직임 데이터를 검출하는 단계; PPG 데이터로부터 HR 기준 데이터를 추출하는 단계; 미세 움직임 데이터로부터 상대 파워 밀도(Relative Power Density, RPD) 데이터를 기준 RPD로 추출하는 단계; HR 기준 데이터를 다수의 클러스터로 클러스터링 하는 단계; 그리고 다수 클러스터를 이용하여, 기준 HR 데이터에 대응하는 기준 RPD에 의해 심박수를 추론하는 심박수 결정 룰-베이스를 형성하는 단계;를 포함한다.

Description

비전 기반 심박수 측정 방법{Method for measuring heart rate based on Vision System}
본 개시는 비전 시스템 기반 심박수 측정 방법 및 장치에 관한 것으로, 상세하게는 비전 시스템에 의한 심박수 측정 방법 및 장치에 관한 것이다.
심박수는 심장 활동을 모니터링하는 중요하고 대표적인 지표이다. 심박수는 전통적으로 Electrocardiography (ECG), Photoplethysmography (PPG) 및 Ballistocardiography (BCG)와 같은 피부 접촉 센서에 의해 측정된다. 이 방법들은 표준화되고 정확한 측정 방법이지만, 센서를 부착함에 따른 불편함, 피부 손상 및 측정 부담 때문에 장시간 착용하기는 어렵다.
비전 기술의 발전으로 심박수는 피부 접촉 없이 얼굴 영상으로부터도 측정이 가능하게 되어 일상 생활에서도 심박수를 측정할 수 있게 되었다.
영상 기반 측정 방법의 편리성에 불구하고, 여전히 일상생활에서 적용되기에는 여러 이유에 의해 제한적이다. 영상 기반 측정 방법에서 연구 과제의 주요 쟁점은 신호 대 잡음비 (Signal to Noise Ratio, SNR)를 향상시키고, 조명 변화 (Illumination Variance) 및 동잡음 (Motion Artifacts)의 노이즈를 극복하는 것이다.
기존의 영상 기반 측정 방법들은 공통적으로 1) 미세 움직임 측정 (Micro-Movement Measurement), 2) 특징 추출 (Feature Extraction), 3) 심박수 추론(Heart Rate Estimation)의 세 단계를 포함한다.
조명 변화 및 동잡음에 따른 노이즈의 문제를 해결하기 위해 미세 움직임 측정 단계와 특징 추출 단계에서 노이즈 발생을 최소화하는 방법과 심박수 추론 단계에서 전체 주파수 대역에서 가장 큰 비중을 차지하는 주파수 값으로부터 심박수를 추론하는 방법이 제시되었다. 그러나, 이러한 기존의 방법은 여전히 노이즈 극복에 한계를 보인다.
모범적 실시 예는 머신러닝 방법을 이용해 주파수 대역의 패턴을 기반으로 심박수를 추론하는 비전 기반 심박수 측정 방법 및 시스템을 제시한다.
모범적 실시 예에 따른 심박수 측정 방법:은
피험자로부터 PPG 데이터와 이에 대응하는 시계열 신호로서 얼굴 미동 데이터를 검출하는 단계;
상기 PPG 데이터로부터 HR 기준 데이터를 추출하는 단계;
얼굴 미동 데이터로부터 주파수별 상대 파워 밀도(Relative Power Density, RPD) 데이터를 기준 RPD로 추출하는 단계;
상기 HR 기준 데이터를 다수의 클러스터로 클러스터링 하는 단계; 그리고
상기 다수 클러스터를 이용하여, 기준 HR 데이터에 대응하는 기준 RPD에 의해 심박수를 추론하는 심박수 결정 룰-베이스를 형성하는 단계;를 포함할 수 있다.
모범적 실시 예에 따른 심박수 측정 방법:은 상기 미세 움직임 데이터로부터 높은 주기성을 보이는 성분을 최종 사용을 위한 미세 움직임 데이터로 추출하는 단계;를 더 포함할 수 있다.
모범적 실시 예에 따른 심박수 측정 방법은 상기 RPD는 아래의 식에 의해 계산될 수 있다.
Figure 112019003818138-pat00001
위에서,
PS s : 시계열 신호 s 에 대한 주파수 대역의 파워 스펙트럼
P total : 전체 파워 스펙트럼의 합
모범적 실시 예에 따른 심박수 측정 방법:은 상기 RPD에 상기 HR 기준 데이터를 라벨(Label)로 부여하여 데이터 셋을 구성하고, 상기 데이터 셋에 대해 클러스터링을 수행하고, 그리고 각 클러스터의 라벨(Label) 분포의 첨도 값(Kurtosis)이 정규분포 이상이면 룰-베이스로 등록할 수 있다.
모범적 실시 예에 따른 심박수 측정 방법:은 상기 미세 움직임 데이터를 주파수 분석을 통해 주파수 계열의 데이터로 변환하고, 소정 범위의 주파수 대역에서 상기 파워 스펙트럼을 추출하고, 그리고 상기 파워 스펙트럼에 대해 각 주파수의 파워 값을 전체 파워 스펙트럼의 합으로 나눠 정규화하여 상기 RPD를 계산할 수 있다.
모범적 실시 예에 따른 심박수 측정 방법:은 측정 대상 피험자로부터 미세 움직임 데이터를 추출하는 단계; 상기 미세 움직임 데이터로부터 소정 주파수 대역에서의 상대 파워 밀도(RPD) 데이터를 비교 RPD로서 추출하는 단계; 상기 기준 RPD에 대한 비교 RPD의 거리의 계산에 의해 유사도를 얻는 단계; 그리고 상기 유사도를 이용하여 상기 측정 대상 피험자의 HR를 추론하는 단계;를 더 포함할 수 있다.
모범적 실시 예에 따른 비전 시스템 기반 심박수 측정 장치:는 측정 대상 피험자로부터 얼굴 영상을 획득하는 카메라, 상기 얼굴 영상을 처리하여 하여 미세 움직임 데이터를 추출하는 영상 처리부; 상기 미세 움직임 데이터로부터 RPD를 추출하여 상기 룰-베이스에 의해 상기 피험자의 HR을 결정하는 프로세스 장치;를 포함할 수 있다.
모범적 실시 예에 따른 비전 시스템 기반 심박수 측정 장치에서, 상기 프로세스 장치:는 얼굴 미동 데이터로부터 소정 주파수 대역에서의 상대 파워 밀도(RPD) 데이터를 비교 RPD로서 추출하고, 상기 기준 RPD에 대한 비교 RPD의 거리의 계산에 의해 유사도를 얻고, 그리고 상기 유사도를 이용하여 상기 측정 대상 피험자의 HR를 추론할 수 있다.
모범적 실시 예에 따른 비전 시스템 기반 심박수 측정 장치는 상기 피험자로부터 PPG를 측정하는 PPG 센서를 더 구비할 수 있다.
도1은 모범적 실시 예에 따른 심박수 측정 과정을 나타내 보인다.
도2는 얼굴 영상으로부터 미세 움직임을 측정하기 위한 과정인 제1단계의 미세 움직임 측정 (Micro-Movement Measurement) 단계의 흐름도이다.
도3은 도2의 단계적 과정의 적용 예를 도시한다.
도4는 미세 움직임으로부터 특징을 추출하기 위한 과정인 제2단계의 특징 추출 (Feature Extraction) 단계의 흐름도이다.
도5는 도4의 단계적 과정의 적용 예를 도시한다.
도6은 특징으로부터 심박수를 추론하기 위한 과정인 제3단계의 심박수 추론 (Heart Rate Estimation) 단계의 흐름도이다.
도7은 룰-베이스 학습에 사용되는 데이터 셋을 구성하기 위해 PPG로부터 라벨 (Label)을 추출하는 과정의 흐름도이다.
도8은 도7의 단계적 과정의 적용 예를 도시한다.
도9는 모범적 실시 예에 따라 구성된 데이터 셋의 구조를 예시한다.
도10은 모범적 실시 예에 따라 데이터 셋으로부터 룰-베이스를 학습하는 과정의 흐름도이다.
도11은 도10의 단계적 과정의 적용 예를 도시한다.
도12는 모범적 실시 예에 따라 학습된 룰-베이스의 구조를 예시한다.
도13은 모범적 실시 예에 따라 학습된 룰-베이스를 이용해 심박수를 추론하기 위한 과정의 적용 예를 도시한다.
이하, 첨부된 도면을 참고하면서 모범적 실시 예에 따른 영상 기반 심박수 측정 방법 및 시스템을 상세히 설명한다.
모범적인 실시 예에 따른 영상 기반 심박수 측정 방법은 PC를 기반으로 하는 심박수 측정 장치에서 실행된다.
심박수 측정 장치는 피험자의 얼굴을 촬영하는 카메라, 피험자의 PPG 데이터를 검출하는 PPG 센서, 그리고 상기 카메라와 PPG 센서로부터의 신호를 처리하는 프로세스 장치를 구비한다.
모범적인 실시 예는 카메라를 이용해 획득한 영상을 기반으로 심박수를 추론한다.
심박수를 측정하기 위한 신호처리 과정은 도1에 도시된 바와 같이, 제1단계로서 미세 움직임 측정 (Micro-Movement Measurement) 단계, 제2단계로서 특징 추출 (Feature Extraction), 그리고 제3단계로서 심박수 추론 (Heart Rate Estimation) 단계를 포함한다. 이하에서 각 단계별 데이터 처리 과정을 설명한다.
도2는 얼굴 영상으로부터 심장 반응에 의한 성분이 포함된 미세 움직임 (Micro-Movement)을 추출하기 위한 과정인 제1단계의 미세 움직임 측정 (Micro-Movement Measurement) 단계의 흐름도이며, 도3은 도2의 단계적 과정의 적용 예를 도시한다.
1) 얼굴 영상(Facial Video) 획득: 동영상 카메라를 이용하여 약 30fps로 피험자의 얼굴을 포함하는 상체(上體) 또는 두부(頭部)를 촬영한다.
2) 얼굴 검출(Face Detection): 두부 영상 또는 얼굴 영상으로부터 얼굴 영역을 검출한다. 예를 들어 얼굴 부위마다 나타나는 명암의 특징을 이용하는 바이올라-존스(Viola-Jones) 알고리즘을 이용해 얼굴 영역을 검출할 수 있다.
3) 영역 선택(Area Selection): 검출된 얼굴 영역으로부터 얼굴 표정에 의한 노이즈를 최소화하는 이마와 코 영역을 선택한다.
4) 얼굴 특징점 검출(Facial Feature Point Detection): 선택된 영역으로부터 다른 포인트와 대비해 추적하기 좋은 포인트를 검출한다. 본 실시 예의 실험에서는 GFTT(Good Feature to Track) 알고리즘(1994)을 이용해 특징점을 검출하였다.
5) 얼굴 특징점 추적(Facial Feature Point Tracking): 검출된 각 특징점의 움직임을 추적한다. 이러한 특징 추적에는 KLT(Kanade-Lucas-Tomasi) 특징 추적 알고리즘이 적용될 수 있다.
6) 미세 움직임 측정(Micro-Movement Measurement): 이전 프레임 대비 현재 프레임에서 추적된 각 특징점의 이미지 X-Y 평면에서의 움직임 즉, x 좌표 또는 y좌표의 움직인 거리(값)을 추적하여 미세 움직임 데이터(Micro-Movement Data, 이하 MMD)를 추출한다. 여기에는 슬라이딩 윈도우 기법이 적용될 수 있으며, 이 경우 윈도우 사이즈(Window Size)는 30초, 인터벌 사이즈(Interval Size)는 1초로 설정할 수 있다. 상기 특징 추적에 사용될 수 있는 KLT 알고리즘은 얼굴 특징점 검출(Facial Feature Point Detection)에서 검출된 특징점의 개수만큼의 미세 움직임 데이터(MMD)를 측정할 수 있다.
상기와 같이 얻어진 미세 움직임 데이터는, 도4에 도시된 바와 같은 특징 추출(Feature Extraction) 과정을 거친다.
특징 추출 과정에서는 심장 반응에 의한 성분을 추출하게 된다. 이 과정에서는 추출된 미세 움직임 데이터에 대해 심장 반응에 의한 특징만을 추출하기 위한 과정이다. 도4는 특징 추출(Feature Extraction) 단계의 흐름도이며, 도5는 도4의 단계적 과정의 적용 예를 도시한다.
1) 대역 필터링(Bandpass Filtering): 각 미세 움직임 데이터에 대해 버터워스(Butterworth) 밴드패스 필터(Bandpass Filter, 5 Order, 0.75-5Hz)를 이용해 심박 대역에 해당하는 주파수 대역만을 추출한다.
2) 주성분 분석(Principal Component Analysis): 각 특징점에서 추출된 미세 움직임 데이터로부터 동일한 성분을 가진 하나의 미세 움직임 데이터를 추출하기 위한 과정으로, 주성분 분석을 통해 5개의 성분(Component)을 추출한다. 각 성분(Component)에 대해 생체 신호는 주기성(Periodicity)을 띈다는 특징을 이용해 가장 높은 주기성(Most Periodicity)을 보이는 성분(Component)을 최종 미세 움직임 데이터로서 추출한다. 주기성(Periodicity, PDs)은 다음과 같은 과정을 통해 계산된다.
Figure 112019003818138-pat00002
위 식에서, s 는 시계열 신호, FFT 는 시계열 신호(s)를 주파수 대역으로 변환하기 위한 푸리에 분석 방법, PS s 는 시계열 신호 s에 대한 주파수 대역의 파워 스펙트럼을 의미한다.
Figure 112019003818138-pat00003
위 식에서 P max 는 시계열 신호 s에 대한 해당 주파수 대역의 파워 스펙트럼에서 가장 큰 파워 값을 의미한다.
Figure 112019003818138-pat00004
위 식에서 P total 은 시계열 신호 s 에 대한 해당 주파수 대역의 전체 파워 스펙트럼의 합을 의미한다.
Figure 112019003818138-pat00005
위 식에, PD s 는 시계열 신호 s 에 대한 주기성(Periodicity)을 나타낸다.
3) 상대 파워 밀도 추출(Relative Power Density Extraction): 시계열 신호인 미세 움직임 데이터를 FFT 분석에 의해 주파수 계열의 데이터로 변환하고, 주파수 계열의 데이터에서 심박 대역에 해당하는 0.75~2.5 Hz 주파수 대역의 파워 스펙트럼을 추출한다. 추출된 파워 스펙트럼에 대해 각 파워 값을 전체 파워 스펙트럼의 합으로 나눠 정규화하여 RPD(Relative Power Density)를 심박수 추론을 위한 특징(Feature)으로서 추출한다.
아래의 식은 시계열 신호 S 에 대한 RPD를 구하는 식이다.
Figure 112019003818138-pat00006
위 식에서 PS s 는 시계열 신호 s 에 대한 주파수 대역의 파워 스펙트럼, P total 은 파워 스펙트럼의 합을 의미한다.
심박수 추론(Heart Rate Estimation) 단계는 추출된 최종 특징으로부터 심박수를 추론하기 위한 과정을 설명한다. 도6은 심박수 추론(Heart Rate Estimation 단계의 흐름도이다.
1) 룰-베이스 학습(Rule-Base Training): 심박수 추론을 위한 룰-베이스(Rule-Base)를 학습하기 위한 과정으로, 미세 움직임 신호로부터 추출된 RPD와 그에 대응하는 PPG 신호(PPG 센서로 실측)가 이용된다. 룰-베이스를 구축하기 위한 RPD와 PPG 신호는 다양한 피험자와 다양한 환경 하에서 측정된다.
도7과, 도8을 참조하면, PPG 신호는 버터워스(Butterworth) 밴드패스 필터(Bandpass Filter, 2 Order, 0.75-2.5Hz)를 이용해 필터링하고, 이로부터 피크 검출(Peak Detection)을 이용하여 PPI(Peak-to-Peak Interval)을 계산하고, HR(심박수)를 추론한다. 이로부터 추출된 HR을 라벨(Label)로 부여하여, 그에 대응하는 RPD를 특징(Feature)으로서 데이터 셋(Data Set)을 구성한다. 도9는 상기 과정에서 구성된 데이터 셋의 구조를 예시한다.
도10과 도11을 참조하면, 구성된 데이터 셋에 대해 클러스터링(Clustering)을 수행하고, 각 클러스터의 라벨(Label) 분포의 첨도 값(Kurtosis)이 정규분포(Gaussian) 이상이면 룰-베이스로 등록한다.
이러한 클러스터링에는 각 클러스터의 중심점(Centroid 값)의 추출과 중심 값에 대한 RPD의 거리 계산을 통해 소속 클러스터를 결정하게 된다. 상기 클러스터링은 Fuzzy C-Means 알고리즘을 이용할 수 있다.
클러스터링은 데이터들을 몇 개의 클러스터로 묶을 지에 대한 파라미터인 K값을 설정하는 것이 중요하다. 여기서는 적합한 K값을 알 수 없으므로 K를 3부터 하나씩 증가시키면서 수행한다. 룰 베이스는 최소 50~130 bpm을 추론할 수 있어야 하므로 K가 80이 넘을 때까지 클러스터링을 수행한다. 최종적으로 클러스터링이 종료된 후에 각 라벨(Label) 별로 가장 높은 첨도 값(Kurtosis)을 가지는 클러스터를 최종 룰-베이스로 정의한다.
이렇게 획득된 룰-베이스는, 도12에 도시된 바와 같이 심박의 주파수(Frequency Range)와 BPM 범위(BPM Range)로 이루어지는 2차원 평면상에 제3방향으로 크기가 다른 상대 파워 밀도(RPD)가 분포하는 구조를 가진다.
2) 심박수 추론(Heart Rate Estimation): 도13은 트레이닝 과정을 나타내면 도12은 학습된 룰-베이스를 이용해 심박수를 결정 또는 추론하기 위한 과정을 도시한다. 학습된 룰 베이스를 이용해 심박수를 결정 또는 추론하기 위하여 추출된 RPD와 상기 룰 베이스를 비교하여 가장 유사한 패턴을 보이는 룰베이스의 라벨(Label) 값을 최종 심박수로 결정한다. 상기 심박수 결정을 위한 유사도(Similarity)로써 사용될 수 있는 유클리디안 거리(Euclidian Distance)는 다음과 같이 계산된다.
Figure 112019003818138-pat00007
위 식에서 RPD real 은 실시간 입력되는 RPD,
Figure 112019003818138-pat00008
RPD rule 은 룰 베이스의 RPD를 의미한다. 위 식에 따르면, 유사도(DS)는 실시간으로 입력되는 RPD와 룰 베이스의 RPD 간의 거리로부터 얻어진다.
이러한 본 발명은 비전 시스템을 이용하여 심박수 추론(Heart Rate Estimation)에 있어서, 단순히 미세 움직임 데이터의 주파수 대역에서 우세한 주파수 만으로부터 심박수를 추론하는 것이 아니라, 머신러닝 방법을 이용해 주파수 대역의 패턴을 기반으로 심박수를 추론하는 것이다. 머신 러닝 방법으로서 데이터들을 클러스터링하여 패턴을 추출하는 방법을 사용하여 노이즈 영향을 배제한 심박수 추론을 위한 룰-베이스를 구축할 수 있게 된다. 이러한 본 발명은 최근 연구되고 있는 신경망 모델과 비교하여 계산 비용이 적으며 공통된 패턴을 찾기에 용이하기 때문에 보다 실용적이다.
이러한 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 해당 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (9)

  1. 피험자로부터 PPG 데이터와 이에 대응하는 시계열 신호로서 얼굴 미동 데이터를 검출하는 단계;
    상기 PPG 데이터로부터 HR 기준 데이터를 추출하는 단계;
    얼굴 미동 데이터로부터 주파수별 상대 파워 밀도(Relative Power Density, RPD) 데이터를 기준 RPD로 추출하는 단계;
    상기 HR 기준 데이터를 다수의 클러스터로 클러스터링 하는 단계; 그리고
    상기 다수 클러스터를 이용하여, 기준 HR 데이터에 대응하는 기준 RPD에 의해 심박수를 추론하는 심박수 결정 룰-베이스를 형성하는 단계;를 포함하는 비전 시스템 기반 심박수 측정 방법.
  2. 제1항에 있어서,
    상기 얼굴 미동 데이터로부터 높은 주기성을 보이는 성분을 최종 사용을 위한 미세 움직임 데이터로 추출하는 단계;를 더 포함하는 비전 시스템 기반 심박수 측정 방법.
  3. 제1항에 있어서,
    상기 RPD는 아래의 식에 의해 계산되는 비전 시스템 기반 심박수 측정 방법.
    Figure 112020052703496-pat00009

    위에서,
    PSs : 시계열 신호 s 에 대한 주파수 대역의 파워 스펙트럼
    Ptotal : 전체 파워 스펙트럼의 합
  4. 제1항에 있어서,
    상기 HR 데이터에 라벨(Label)을 부여하여 데이터 셋을 구성하고,
    상기 데이터 셋에 대해 클러스터링을 수행하고, 각 클러스터의 라벨(Label) 분포의 첨도 값(Kurtosis)이 정규분포(Gaussian) 이상이면 룰 베이스로 등록하는, 비전 시스템 기반 심박수 측정 방법.
  5. 제1항에 있어서,
    상기 얼굴 미동 데이터를 주파수 분석을 통해 주파수 계열의 데이터로 변환하고, 소정 범위의 주파수 대역에서 파워 스펙트럼을 추출하고,
    상기 파워 스펙트럼에 대해 각 주파수의 파워 값을 전체 파워 스펙트럼의 합으로 나눠 정규화하여 상기 RPD를 계산하는, 비전 시스템 기반 심박수 측정 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    측정 대상 피험자로부터 미세 움직임 데이터를 추출하는 단계;
    상기 미세 움직임 데이터로부터 소정 주파수 대역에서의 상대 파워 밀도(RPD) 데이터를 비교 RPD로서 추출하는 단계;
    상기 기준 RPD에 대한 비교 RPD의 거리의 계산에 의해 유사도를 얻는 단계; 그리고
    상기 유사도를 이용하여 상기 측정 대상 피험자의 HR를 추론하는 단계;를 더 포함하는 비전 시스템 기반 심박수 측정 방법.
  7. 제1항 내지 제4항 중 어느 한 항에 기재된 방법을 수행하는 비전 시스템 기반 심박수 측정 장치에 있어서,
    측정 대상 피험자로부터 얼굴 영상을 획득하는 카메라,
    상기 얼굴 영상을 처리하여 하여 얼굴 미동 데이터를 추출하는 영상 처리부;
    상기 얼굴 미동 데이터로부터 RPD를 추출하여 상기 룰-베이스에 의해 상기 피험자의 HR을 추론하는 프로세스 장치;를 포함하는 비전 시스템 기반 심박수 측정 장치.
  8. 제7항에 있어서,
    상기 프로세스 장치:는
    상기 얼굴 미동 데이터로부터 소정 주파수 대역에서의 상대 파워 밀도(RPD) 데이터를 비교 RPD로서 추출하고, 상기 기준 RPD에 대한 비교 RPD의 거리의 계산에 의해 유사도를 얻고, 그리고 상기 유사도를 이용하여 상기 측정 대상 피험자의 HR를 추론하는; 비전 시스템 기반 심박수 측정 장치.
  9. 제7항에 있어서,
    상기 피험자로부터 PPG를 측정하는 PPG 센서를 더 구비하는, 비전 시스템 기반 심박수 측정 장치.
KR1020190003945A 2019-01-11 2019-01-11 비전 기반 심박수 측정 방법 KR102150635B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190003945A KR102150635B1 (ko) 2019-01-11 2019-01-11 비전 기반 심박수 측정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190003945A KR102150635B1 (ko) 2019-01-11 2019-01-11 비전 기반 심박수 측정 방법

Publications (3)

Publication Number Publication Date
KR20200087540A KR20200087540A (ko) 2020-07-21
KR102150635B1 true KR102150635B1 (ko) 2020-09-01
KR102150635B9 KR102150635B9 (ko) 2022-03-28

Family

ID=71832523

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190003945A KR102150635B1 (ko) 2019-01-11 2019-01-11 비전 기반 심박수 측정 방법

Country Status (1)

Country Link
KR (1) KR102150635B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102570982B1 (ko) 2023-01-12 2023-08-25 (주) 에버정보기술 비접촉 생체정보 측정 방법
KR20240035017A (ko) 2022-09-08 2024-03-15 (주)허니냅스 심박수 측정 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102654378B1 (ko) * 2021-02-17 2024-04-03 상명대학교산학협력단 몰입도-추론 기반 교감-유도형 dht 생성 방법 및 이를 적용하는 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6349075B2 (ja) * 2013-11-22 2018-06-27 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 心拍数測定装置及び心拍数測定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240035017A (ko) 2022-09-08 2024-03-15 (주)허니냅스 심박수 측정 장치 및 방법
KR102570982B1 (ko) 2023-01-12 2023-08-25 (주) 에버정보기술 비접촉 생체정보 측정 방법

Also Published As

Publication number Publication date
KR102150635B9 (ko) 2022-03-28
KR20200087540A (ko) 2020-07-21

Similar Documents

Publication Publication Date Title
Bobbia et al. Unsupervised skin tissue segmentation for remote photoplethysmography
CN106778695B (zh) 一种基于视频的多人快速心率检测方法
US9996739B2 (en) System and method for automatic gait cycle segmentation
EP3405105B1 (en) Method and apparatus for estimating heart rate
Shao et al. Simultaneous monitoring of ballistocardiogram and photoplethysmogram using a camera
JP6371837B2 (ja) 被験者のバイタルサインを取得するデバイスと方法
US20180000408A1 (en) Baby sleep monitor
JP6521845B2 (ja) 心拍に連動する周期的変動の計測装置及び計測方法
JP6472086B2 (ja) 対象の呼吸情報を取得する装置
CN107427233B (zh) 脉波检测装置、以及脉波检测程序
EP3037036A1 (en) Biometric authentication method and apparatus
KR102150635B1 (ko) 비전 기반 심박수 측정 방법
CN109820499B (zh) 基于视频的高抗干扰心率检测方法、电子设备及存储介质
EP3060118A1 (en) Motion monitor
Wiede et al. Remote respiration rate determination in video data-vital parameter extraction based on optical flow and principal component analysis
CN111275018A (zh) 一种基于环形感兴趣区域加权的非接触式心率信号提取方法
Szankin et al. Long distance vital signs monitoring with person identification for smart home solutions
Liu et al. Vidaf: A motion-robust model for atrial fibrillation screening from facial videos
CN115100159A (zh) 一种呼吸状态检测方法、装置、设备和存储介质
JP2016193022A (ja) 脈波検出装置、及び脈波検出プログラム
Fernández et al. Unobtrusive health monitoring system using video-based physiological information and activity measurements
KR101996027B1 (ko) 동공 크기 변화를 이용한 심장 주파수 영역의 정보 추출 방법 및 그 장치
CN111797794A (zh) 一种面部动态血流分布检测方法
Slapnicar et al. Contact-free monitoring of physiological parameters in people with profound intellectual and multiple disabilities
CN115147769A (zh) 一种基于红外视频的生理参数鲁棒性检测方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]