KR101706739B1 - 인체 미동 기반 심장 정보 추출 방법 - Google Patents

인체 미동 기반 심장 정보 추출 방법 Download PDF

Info

Publication number
KR101706739B1
KR101706739B1 KR1020150016736A KR20150016736A KR101706739B1 KR 101706739 B1 KR101706739 B1 KR 101706739B1 KR 1020150016736 A KR1020150016736 A KR 1020150016736A KR 20150016736 A KR20150016736 A KR 20150016736A KR 101706739 B1 KR101706739 B1 KR 101706739B1
Authority
KR
South Korea
Prior art keywords
extracting
data
image
information
image data
Prior art date
Application number
KR1020150016736A
Other languages
English (en)
Other versions
KR20160059393A (ko
Inventor
황성택
황민철
박상인
이동원
Original Assignee
상명대학교서울산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교서울산학협력단 filed Critical 상명대학교서울산학협력단
Priority to CN201580062828.2A priority Critical patent/CN106999062A/zh
Priority to US15/526,784 priority patent/US10102343B2/en
Priority to PCT/KR2015/003707 priority patent/WO2016080606A1/ko
Publication of KR20160059393A publication Critical patent/KR20160059393A/ko
Application granted granted Critical
Publication of KR101706739B1 publication Critical patent/KR101706739B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02028—Determining haemodynamic parameters not otherwise provided for, e.g. cardiac contractility or left ventricular ejection fraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1102—Ballistocardiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G06K9/4609—
    • G06K9/522—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0255—Recording instruments specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Cardiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Pulmonology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)

Abstract

신체 미동으로부터 심장 정보를 추출하는 방법에 대해 기술한다. 방법:은 안면 트랙킹(Face Tracking) 단계; 공간 분리(Spatial Decomposition) 단계; 뉴로 필터(Neuro Filter) 단계; 시간 처리(Temporal Processing) 단계; 재구성(Reconstruction) 단계;
프레임 차 평균화(Frame Difference Average) 단계; 스무스 필터(Smoothing Filter) 단계; 그리고 슬라이딩 피이크 검출(Sliding Peak Detection) 단계;를 포함한다.

Description

인체 미동 기반 심장 정보 추출 방법{Method for extracting PPG Signal based on Micro movement of body}
본 발명은 인체의 미세 움직임 정보를 추출에 기초한 심장정보(맥파, PPG) 검출하는 방법 및 시스템에 관한 것으로, 해부학적 구조로부터 발생 되는 움직임을 비접촉(non－invasive) 형태의 카메라를 이용하여 미세한 움직임 정보를 추출하고, 이로 부터 심장정보를 추출하는 방법 및 시스템에 관한 것이다.
최근 인체로부터 여러 생체 정보를 추출하는 연구가 지속되고 특히 비접촉형태의 생체 정보 취득과 센싱 기술들에 대한 많은 연구들이 많이 진행 되고 있다. 특히 웨어러블 디바이스와 카메라 등을 이용한 다양한 연구들이 있다.
인체의 미세한 움직임은 사람의 눈에 보이지 않는 형태로 나타나게 된다. 특히 얼굴 표정을 지을 때도 미세한 표정이 나타나게 되는데 이를 미세표정(Micro-expression)이라고 하며 순간적이고 비의도적인 얼굴 표정을 짓거나 무의식적인 감정이나 반응 상태에 따라 표적을 순간적으로 짓게 되는 것이다. 즉, 의도하여 얼굴 표정을 짓는 것이 아닌 생체적 반응이나 메커니즘에 의해 동작되는 움직임 인 것이다[6].
특히 이런 미세한 표정의 움직임이나 떨림 들을 이용을 해서 사람의 감정이나 정서 상태를 인식하고 이를 통해 피드백 시스템을 구현 등에 사용되고 있다(FACS).
이러한 인체의 미세한 움직임은 얼굴표정이 아닌 신체의 다른 부분에서도 나타나게 된다. 신체의 움직임은 심혈관계 및 호흡계의 중력에 의한 기계적(본능적/무의식적/생리학적) 변동을 초래하는데, 체위의 변동은 시각, 체성감각, 자율신경로, 전정신호 등 구심성 신경로를 통해 중추신경계로 전달되어 혈관 및 심박동, 호흡근에 적절한 반응을 통해 신체의 움직임이 발생하게 된다.
특히 전정기관(Vestibular system)은 인체의 여러 기관들과 연결되어 균형감각을 잡을 수 있는 역할을 하는 해부학적 기관으로써 여러 반응에 균형감각을 바로 잡음으로 그 움직임을 발생 시킨다고 볼 수 있다. 전정계관의 경우 전정-동안계, 전정-척수계, 전정-자율신경계 등 다양한 해부학적 기관들에 의해 조절되고 이는 자율신경계, 심혈관계, 호흡계 등 다양한 기관에 영향을 받아 반응하는 것으로 이러한 반응을 카메라를 통해 역추적하여 생체정보를 미세 움직임으로 추출하고, 이로부터심박정보를 추출하는 방법 및 시스템을 제안하고자 한다.
김민선 외(2010), 전정피질의 구조 및 기능의 이해 박종철 외(1994), 흰 쥐에서 혈압조절에 대한 전정기관의 역할 박현영 외(1999), 정상 성인에서 전정안구반사와 심박수 변이도에 대한 회전자극의 효과 오경아 외(1999), 가토에서 심박수 변이율에 대한 전정기관의 자극 효과 이태경. 정원희. (2006). 자율신경 조절에 미치는 전정계의 영향 Baron-Cohen, S. (1996). Reading the mind in the face: A cross-cultural and developmental study, Visual Cognition, 3(1), 39-60. Wu, H. Y., Rubinstein, M., Shih, E., Guttag, J., Durand, F., and Freeman, W. (2012). Eulerian video magnification for revealing subtle changes in the world. ACM Transactions on Graphics (TOG), 31(4), 65.
본 발명은 인체의 미세 움직임 정보를 추출하는 방법으로 인간이 해부학적 구조로부터 발생하는 움직임을 비접촉 형태의 카메라를 이용하여 미세한 움직임 정보를 추출하여 이로부터 심장정보(맥파, PPG)를 추출하는 방법을 제공한다.
본 발명에 따른 방법:은
피험자의 미세 움직임을 촬영하여 영상 데이터를 생성하는 단계;
상기 영상 데이터를 생성하면서 피험자에 대한 안면 트랙킹(Face Tracking)을 수행하는 단계;
상기 영상 데이터에 대한 공간 분해(Spatial Decomposition)를 포함하는 영상 데이터 처리를 수행하는 단계;
상기 영상 데이터 처리를 통해 상기 피험자의 미세 움직임 정보를 추출하는 단계;
스무스 필터(Smoothing Filter) 단계; 그리고
슬라이딩 피이크 검출(Sliding Peak Detection) 을 통하여 심박 정보를 추출하는단계;를 포함한다.
본 발명의 일 실시 예에 따른 방법에 있어서, 상기 공간 분해는 (Gaussian blur)와 다운 샘플링(down sample)을 통하여 각 주파수(Frequency)별 공간을 분리하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 방법에 있어서, 상기 공간 분해를 통해 얻은 데이터를 생체 신호 상관성이 있는 대역을 뉴로 필터(Neuro Filter) 단계를 통해 선택하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 방법에 있어서, 상기 뉴로 필터를 거친 대역의 데이터를 시간 처리를 이용해 차이 값을 추출하여 시간이 흐름에 따른 상기 대역의 주파수 성분의 값을 추출하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 방법에 있어서, 상기 과정을 거친 분리된 공간의 데이터를 증폭하여 원형의 영상 데이터에 복원하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 방법에 있어서, 분리된 성분의 데이터 값을 매 일정 시간마다 측정되는 영상의 움직임 데이터의 1프레임의 평균의 차이 값을 계산하여 이전 상태와 현 상태의 평균적으로 움직임의 차이 값을 계산하여 전체적인 미세 움직임의 양을 추출하는 것을 특징으로 한다.
본 발명에 따른 미세 움직인 검출 시스템:은 상기 본 발명에 따른 방법을 수행하는 것으로서,
상기 영상 데이터를 생성하는 카메라;
상기 카메라로부터의 영상 데이터를 처리하는 영상 처리부;
상기 영상 처리부로부터의 데이터를 분석하여 미세 움직임의 양을 추출하고 이로부터 심박정보룰 추출하는 분석부;를 포함한다..
본 발명에 따르면, 인체의 미세 움직임 정보를 추출하고 이로부터 심박정보를 추출하는 방법이 제시된다. 본 발명에 따르면 인간이 해부학적 구조로부터 발생하는 움직임을 비접촉 형태의 카메라를 이용하여 미세한 움직임 정보를 추출하여 이를 심장정보(맥파, PPG)를 추출하는 방법의 구현이 가능하다. 최근 인체로부터 여러 생체 정보를 추출하는 연구가 지속되고 특히 비접촉형태의 생체 정보 취득과 센싱 기술들에 대한 많은 연구들이 많이 진행 되고 있다. 특히 웨어러블 디바이스와 카메라 등을 이용한 다양한 연구들이 있다. 본 발명에서 제안되는 미세 움직임 정보는 인체가 가지고 있는 해부학적 근거를 기반으로 움직임 정보를 추출하는 것으로 다른 접촉형 센싱을 대체하여 심장정보를 추출 할 수 있는 새로운 센싱 기술로 비접촉식 기반의 자유로운 센싱에 다양하게 활용 될 수 있을 것으로 예상 된다.
도1은 본 발명에 따른 심장 정보를 추출하는 방법의 흐름도이다.
도2는 도1의 단계별 동작 시나리오를 예시한다.
도3은 본 발명에 따른 심박 정보를 추출하는 프로그램의 화면 구성을 예시한다.
도4는 본 발명의 일 실시 예에 따른 심박 정보 추출 시스템의 개략적 구성도이다.
이하, 첨부된 도면을 참고하면서, 본 발명에 따른 심장 정보 추출 방법의 실시 예를 설명한다.
본 발명은 피험자 또는 사용자의 동영상을 촬영하여, 이로부터 피험자의 내부 생체 신호에 관련되는 미동 데이터를 추출한다. 이 미동 데이터는 다양한 신체 정보를 추출하는 기본적인 원형 테이터로 사용할 수 있다. 이 원형 데이터로부터 HRC(heart rhythm coherence), HRP(heart rhythm pattern) 등을 검출할 수 있으며, 이를 통해, 예를 들어 피험자의 심박 정보를 추출할 수 도 있다.
본 발명에 따른 미동 데이터를 추출 하는 방법에 있어서 처리하는 순서는 도1에 도시된 바와 같이 총 10단계를 포함한다. 도2는 도1의 단계별 동작 시나리오를 예시한다.
가. 영상입력(Audio Input) 단계(S11)
동영상 카메라로 피험자를 촬영하여 연속적인 영상 데이터를 생성한다. 이때에 촬영영역은 도2에 도시된 바와 같이 얼굴이 포함되는 상반신이다.
나. 안면 추적 또는 트랙킹(Face Tracking) 단계(S12)
상기 영상 카메라를 이용하여 입력 된 영상 데이터를 이용하여 인체의 미세한 움직임을 머리에서 추출하기 위하여 OpenCV를 이용한 안면인식을 통해 영상 정보를 분리 하도록 한다.
OpenCV(Open Computer Vision)은 C 이다. 원래는 이 개발하였으며, , 등의 여러 플랫폼에서 사용할 수 있다. 이러한 OpenCV는 실시간 이미지 프로세싱에 중점을 둔 라이브러리이다.
상기 OpenCV에 기반을 둔 안면 인식 시스템(facial recognition system)은 디지털 이미지를 통해 각 사람을 자동으로 식별하는 컴퓨터 지원 응용 프로그램을 말한다. 이는 살아 있는 이미지에 나타나는 선택된 얼굴 특징과 안면 데이터베이스를 서로 비교함으로써 이루어진다.
도 2에서 S12단계에서 원본 영상에 나타나는 사각형이 안면부분의 트랙킹 영역을 나타낸다. 이것은 사용자의 움직임에 대응하여 안면 부분에 대한 트랙킹이 수행된다.
다. 공간 분리(Spatial Decomposition) 단계(S13)
잘 알려진 영상의 공간 분리 기법으로 가우시안(Gaussian blur)와 다운 샘플링(down sample)을 통하여 각 주파수(Frequency)별 공간을 분리한다.
Figure 112015011566324-pat00001
도2의 S13에 도시된 이미지가 공간 분리된 상태의 결과물이다.
위의 식에서, α 는 영상의 증폭 비율값이며, β 는 시간, 공간 주파수 대역으로 필터된 이미지의 값이며, x 는 영상의 가로축(x) 위치값이며, t 는 시간이며, δ (t)는 입력된 영상과 움직임 영상과의 혼합비율 값이며, 그리고 I' 는 움직인 이미지의 움직임 정도이다.
라. 뉴로 필터(Neuro Filter) 단계(S14)
뉴로 필터(Neuro Filter 단계)는 영상의 공간 주파수를 분리 함에 있어 일반적인 생체신호(bio signal)을 기준으로 영상으로부터 추출 할 수 있는 주파수 대역을 생체신호간 상관성이 있는 대역을 선정하여 주파수 대역을 선정하고 그 선정 된 대역의 영상 정보를 취득하는 것을 의미한다.
예를 들어, 일반적인 PPG 데이터를 신호처리 할 경우 0.4~1.3Hz 구간의 주파수 성분을 가지고 데이터 분석을 실시함으로 PPG와 유사한 신호를 영상으로부터 취득하기 위해서는 동일 대역 혹은 인근 대역의 주파수 분석을 통해 유사한 데이터를 추출한다.
마. 시간 처리(Temporal Processing) 단계(S15)
영상을 뉴로필터(Neuro Filter) 대역의 주파수 공간으로 분리한 후, 분리된 공간의 주된 성분의 주파수 대역을 시간처리(Temporal Processing)를 이용하여 차이 값을 추출하여 영상이 진행되는 동안(시간이 흐르는 동안) 해당 주파수 성분의 값을 분리하여 추출한다.
바. 재구성(Reconstruction) 단계(S16)
분리된 공간의 성분을 뉴로 필터(Neuro Filter) 대역의 주파수 성분만 시간을 이용하여 분리해내고 분리된 성분 값을 일정량의 증폭을 통해 기존 영상에 복원하여 실제 미세하게 잘 보이지 않는 움직임에 해당하는 주파수 성분의 데이터 값을 만들어 낼 수 있도록 한다.
Figure 112015011566324-pat00002
위의 식에서, α는 영상의 증폭 비율 값이며, δ (t) 는 입력된 영상과 움직임 영상과의 혼합비율 값 이며, 그리고 λ는 이미지 공간의 파장 대역 값이다.
사. 프레임 차 평균화(Frame Difference Average) 단계(S17)
분리된 성분의 데이터 값을 매 시간(30fps 기준)마다 측정되는 영상의 움직임 데이터의 1프레임이 평균의 차이 값을 계산하여 이전 상태와 현 상태의 평균적으로 움직임의 차이 값을 계산하여 전체적인 미세 움직임의 양을 추출한다. 여기에서 1 프레임의 평균은 1프레임의 미세 움직임 양을 나타낸다.
Figure 112015011566324-pat00003
아. 스무스 필터링(Smoothing Filter) 단계(S18)
추출 된 미세 움직임을 데이터로 추출하였을 때 움직임에 대한 노이즈가 포함되어 신호가 거칠게 일그러지거나 하여 피이크(peak) 검출에 어려움이 있어 노이즈를 제거하고 피이크 검출의 정확도를 높이는 데이터를 가공 처리한다.
Figure 112015011566324-pat00004
Figure 112015011566324-pat00005
위 식에서 SMA는 이동평균 값이며, SMAtoday, SMAyesterday는 서로 다른 특정일자의 이동평균 값이며, Pm 은 현재 프레임의 미동의 값이며, n은 이동평균의 윈도우 사이즈(window size)이다.
자. 슬라이딩 피크 검출(Sliding Peak Detection) 단계(S19, S20)
노이즈를 제거하고 피이크 검출을 위한 가공 처리 된 데이터를 받아 1프레임당 피이크 데이터를 30초 크기(size)의 윈도우(windows)를 기준으로 지속적으로 슬라이딩(sliding) 시켜 움직임 영향 및 데이터에 영향을 최소화 시켜 BPM(bit per minute) 신호를 추출 할 수 있도록 한다.
Figure 112015011566324-pat00006
위의 과정에서 취득한 PPG 신호는 QRS 검출 알고리즘을 통해 R-peak을 검출하였다 (Pan and Tompkins, 1985). 검출된 R-peak은 노이즈를 제외하고 정상 R-peak 간격의 차이를 이용해 RRI (R-peak to R-peak interval)를 추출하였다. 심장리듬패턴 (HRP, heart rhythm pattern)분석을 위해 분당 심박수 (BPM, beat per minute)는 60/RRI을 통해 계산 할 수 있고, 정상 RRI의 표준 편차를 이용해 SDNN (standard deviation normal to normal)을 추출할 수 도 있다.
도1의 흐름도와 같이 구현되어 실제 처리되는 기능은 도2에 도시된 바와 같이 최종 미세 움직임의 평균 데이터를 추출 할 수 있도록 한다.
도4는 본 발명에 따른 미세 움직임 추출 시스템의 개략적 블록다이어그램이다.
피험자(100)를 마주 대하고 있는 웹캠 또는 소형 동영상 카메라(110)로부터의 동영상은 영상 처리부(120)를 거쳐서 특정의 영상이 추출되고 이것은 프로세싱 장치(130)에 의해 처리된다. 프로세싱 장치(130)는 전술한 바와 같은 방법을 수행하는 소프트웨어 및 이를 지원하는 하드웨어 시스템을 가진다. 이러한 프로세싱 장치(130)는 컴퓨터 기반의 장치, 예를 들어 전술한 바와 같은 방법 또는 알고리즘을 담고 있는 소프트웨어 및 이 소프트웨어가 구동할 수 있는 하드웨어를 포함하는 범용 컴퓨터 또는 전용 장치일 수 있다.
상기와 같은 프로세싱 장치(130)로부터의 처리 결과는 디스플레이 장치(130)에 의해 표시된다. 위와 같인 시스템은 일반적인 입력를 포함하는 일반적인 외부 인터페이스 장치, 예를 들어 키보드, 마우스 등을 더 포함할 수 있다.
검증 방법
<피험자>
대학교 재학생 10명이 (남자 5명, 여자 5명) 무표정 상태와 표정상태로 구분하여 2차례 실험에 참여하였다. 모든 피험자는 심혈신경계에 이상이나 병력이 없었고 전날 충분한 수면을 취하도록 하였다. 또한 심혈관계 반응에 영향을 미칠 수 있는 카페인, 흡연, 음주 등의 섭취를 실험 전날 금하도록 하였다. 실험 전, 실험에 참가하는 모든 피험자에게 연구목적을 제외한 실험에 대한 대략적인 사항에 대해 설명한 후 실험을 진행하였고 실험의 대가로 소정의 금액을 지불하였다.
<실험방법>
실험은 아무런 얼굴 표정을 짓지 않은 상태에서의 무표정 실험과 표정의 자극을 제시하여 그 표정을 따라서 지을 수 있도록 한 표정 실험으로 진행하였다. 이때 표정 자극은 Ekman의 6가지 기본 정서(공포, 혐오, 슬픔, 놀람, 화남, 행복)에 대한 표정 자극을 동일하게 제시하여 얼굴 표정을 지을 수 있도록 하였다. 실험이 진행 되는 동안 PPG 센서를 착용하고 동시에 상반신의 영상을 측정 하였다. 측정 시간을 무표정 실험 3분, 표정 실험 3분을 각각 진행 하였다.
<분석방법>
맥파(PPG) 신호는 lead-I 방법을 통해 500Hz로 샘플링 하였다. 심전도 신호는 MP100 power supply와 PPG 100C amplifier (Biopac systems Inc., USA)를 통해 신호를 증폭하고 NI-DAQ-Pad9205 (National instruments, USA)를 통해 아날로그 신호를 디지털 신호로 변환하여 취득하였다. 맥파 신호는 Sliding Peak Detection을 이용하여 peak 검출을 하였고 영상 신호는 미세 움직임(미동) 추출 방법을 통해 peak 검출을 실시 하였다. 또한 서로 다른 두 신호간 통계적 검증을 위해 Window size는 30의 동일 조건으로 신호 처리를 실시 하였다. 신호 처리 후 각각 추출 된 데이터는 SPSS 17.0 K를 통해 상관분석을 실시하여 상관계수를 도출 하였다.
<분석결과>
PPG 센서를 이용하여 추출 된 정보와 미세 움직임으로부터 추출 된 정보를 각 10명의 피험자의 데이터를 상관 분석 해본 결과 무표정 실험 일 때 10명의 피험자의 상관계수 평균 수지가 높은 것을 볼 수 있다(r=.89, SD=.054, p<.05). 동일한 피험자 10명으로 움직임에 영향을 줄 수 있는 표정 실험 일 때 상관계수 또한 무표정 보다는 조금 낮지만 높은 상관성을 보이는 것을 알 수 있다.(r=0.74, SD=.087, p<.05)
아래의 표1은 상관분석 결과를 보인다.
Figure 112015011566324-pat00007
도3은 구현결과를 보이는 프로그램(인터페이스)으로서 심박정보 추출 프로그램의 화면의 일례를 도시한다.
도3에 도시된 실시 예의 화면의 경우, 가슴 위 인체의 상반신의 영상을 보여주는 기능을 가지고 있으며 실제 원본 영상의 데이터가 동작되고 있는 화면을 보여준다.
또한, 실제 Biopac 사의 PPG 증폭기(Amplifier)와 센서를 이용하여 취득하는 맥파 신호를 보여주며 미세움직임과 맥파의 Raw 신호를 비교하기 위한 그래프 화면을 보여준다.
그리고, 도3에서, (1)번에서 동작 되고 있는 원본 영상의 데이터를 미동 추출 기술을 통하여 실체 차영상을 통해 보이지 않는 미세한 움직임을 증폭시켜 발생되어 있는 라인 형태의 영상을 보여주는 기능을 가지고 있으며, 동그랗게 표시되는 부분이 실제 미세하게 움직였을 때 라인 형태로 움직임이 발생한 부분만 동작되어 보여준다.
나아가서 도3의 화면에 있어서, 미세한 움직임을 증폭시켜 얻은 데이터를 데이터 그래프로 표시하여 움직임에 정보를 실시간으로 표시 할 수 있도록 한다.
이러한 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 해당 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (9)

  1. 피험자의 미세 움직임을 촬영하여 영상 데이터를 생성하는 단계;
    상기 영상 데이터를 생성하면서 피험자에 대한 안면 트랙킹(Face Tracking)을 수행하는 단계;
    상기 영상 데이터에 대한 공간 분해(Spatial Decomposition)를 포함하는 영상 데이터 처리를 수행하는 단계;
    상기 영상 데이터 처리를 통해 상기 피험자의 신체 미동 정보를 추출하는 단계; 그리고,
    슬라이딩 피이크 검출(Sliding Peak Detection) 단계;를 포함하여 상기 신체 미동 정보로부터 심장 정보를 추출하는 단계;를 포함하는 신체 미동으로부터 심장 정보 추출하는 방법.
  2. 제1항에 있어서,
    상기 공간 분해는 (Gaussian blur)와 다운 샘플링(down sample)을 통하여 각 주파수(Frequency)별 공간을 분리하는 것을 특징으로 하는 신체 미동으로부터 심장 정보를 추출하는 방법.
  3. 제2항에 있어서,
    상기 공간 분해를 통해 얻은 데이터를 생체 신호 상관성이 있는 대역을 뉴로 필터(Neuro Filter) 단계를 통해 선택하는 것을 특징으로 하는 신체 미동으로부터 심장 정보 추출하는 방법.
  4. 제3항에 있어서,
    상기 뉴로 필터를 거친 대역의 데이터를 시간 처리를 이용해 차이 값을 추출하여 시간이 흐름에 따른 상기 대역의 주파수 성분의 값을 추출하는 것을 특징으로 하는 신체 미동으로부터 심장 정보를 추출하는 방법.
  5. 제4항에 있어서,
    상기 공간 분해를 통해 주파수(Frequency)별 공간을 분리하여 얻은 데이터를 증폭하여 원형의 영상 데이터에 복원하는 것을 특징으로 하는 신체 미동으로부터 심장 정보를 추출하는 방법.
  6. 제5항에 있어서,
    분리된 성분의 데이터 값을 매 일정 시간마다 측정되는 영상의 움직임 데이터의 1프레임의 평균의 차이 값을 계산하여 이전 상태와 현 상태의 평균적으로 움직임의 차이 값을 계산하여 전체적인 미세 움직임의 양을 추출하는 것을 특징으로 하는 신체 미동으로부터 심장 정보를 검출하는 방법.
  7. 제1항 내지 제6항 중의 어느 한 항에 있어서,
    상기 슬라이딩 피이크 검출(Sliding Peak Detection) 단계 전에 신체 미동 정보의 노이즈를 제거하는 스무스 필터(Smoothing Filter) 단계; 를 더 수행하는 것을 특징으로 하는 신체 미동으로부터 심장 정보를 추출하는 방법.
  8. 제1항 내지 제6항 중의 어느 한 항에 기재된 방법을 수행하여, 피험자의 신체 미동으로부터 심장 정보를 추출하는 시스템에 있어서,
    상기 영상 데이터를 생성하는 카메라;
    상기 카메라로부터의 영상 데이터를 처리하는 영상 처리부;
    상기 영상 처리부로부터의 데이터를 분석하여 미세 미동을 검출하고 이로부터 심장 정보를 추출 추출하는 분석부:를 포함하는 신체 미동으로부터 심장 정보를 추출하는 시스템.
  9. 제8항에 있어서,
    상기 분석부는 상기 슬라이딩 피이크 검출(Sliding Peak Detection) 전에 신체 미동 정보의 노이즈를 제거하는 스무스 필터(Smoothing Filter) 를 더 수행하는 것을 특징으로 하는 신체 미동으로부터 심장 정보를 추출하는 시스템.
KR1020150016736A 2014-11-18 2015-02-03 인체 미동 기반 심장 정보 추출 방법 KR101706739B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201580062828.2A CN106999062A (zh) 2014-11-18 2015-04-14 基于人体微动而提取心脏信息的方法
US15/526,784 US10102343B2 (en) 2014-11-18 2015-04-14 Method for extracting heart information based on micro movements of human body
PCT/KR2015/003707 WO2016080606A1 (ko) 2014-11-18 2015-04-14 인체 미동 기반 심장 정보 추출 방법

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20140160877 2014-11-18
KR1020140160877 2014-11-18
KR1020140160876 2014-11-18
KR20140160876 2014-11-18

Publications (2)

Publication Number Publication Date
KR20160059393A KR20160059393A (ko) 2016-05-26
KR101706739B1 true KR101706739B1 (ko) 2017-02-16

Family

ID=56104764

Family Applications (10)

Application Number Title Priority Date Filing Date
KR1020150015568A KR101644586B1 (ko) 2014-11-18 2015-01-30 인체 미동에 의한 hrp 기반 사회 관계성 측정 방법 및 시스템
KR1020150015567A KR101663239B1 (ko) 2014-11-18 2015-01-30 인체 미동에 의한 hrc 기반 사회 관계성 측정 방법 및 시스템
KR1020150016736A KR101706739B1 (ko) 2014-11-18 2015-02-03 인체 미동 기반 심장 정보 추출 방법
KR1020150016735A KR101731620B1 (ko) 2014-11-18 2015-02-03 인체 미세 움직임 추출 방법
KR1020150017478A KR101666654B1 (ko) 2014-11-18 2015-02-04 인체 미동 기반 호흡 정보 추출 방법
KR1020150148018A KR101722708B1 (ko) 2014-11-18 2015-10-23 인체 미동에 의한 hrc 기반 사회 관계성 측정 방법 및 시스템
KR1020150148019A KR101738097B1 (ko) 2014-11-18 2015-10-23 인체 미동에 의한 hrp 기반 사회 관계성 측정 방법 및 시스템
KR1020150155291A KR101752872B1 (ko) 2014-11-18 2015-11-05 신체 미세 움직임을 이용한 사회 관계성 측정 방법 및 시스템
KR1020150155293A KR101646735B1 (ko) 2014-11-18 2015-11-05 인체 미동에 의한 hrp 기반 사회 관계성 측정 방법 및 시스템
KR1020160073844A KR101725358B1 (ko) 2014-11-18 2016-06-14 인체 미동 기반 호흡 정보 추출 방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020150015568A KR101644586B1 (ko) 2014-11-18 2015-01-30 인체 미동에 의한 hrp 기반 사회 관계성 측정 방법 및 시스템
KR1020150015567A KR101663239B1 (ko) 2014-11-18 2015-01-30 인체 미동에 의한 hrc 기반 사회 관계성 측정 방법 및 시스템

Family Applications After (7)

Application Number Title Priority Date Filing Date
KR1020150016735A KR101731620B1 (ko) 2014-11-18 2015-02-03 인체 미세 움직임 추출 방법
KR1020150017478A KR101666654B1 (ko) 2014-11-18 2015-02-04 인체 미동 기반 호흡 정보 추출 방법
KR1020150148018A KR101722708B1 (ko) 2014-11-18 2015-10-23 인체 미동에 의한 hrc 기반 사회 관계성 측정 방법 및 시스템
KR1020150148019A KR101738097B1 (ko) 2014-11-18 2015-10-23 인체 미동에 의한 hrp 기반 사회 관계성 측정 방법 및 시스템
KR1020150155291A KR101752872B1 (ko) 2014-11-18 2015-11-05 신체 미세 움직임을 이용한 사회 관계성 측정 방법 및 시스템
KR1020150155293A KR101646735B1 (ko) 2014-11-18 2015-11-05 인체 미동에 의한 hrp 기반 사회 관계성 측정 방법 및 시스템
KR1020160073844A KR101725358B1 (ko) 2014-11-18 2016-06-14 인체 미동 기반 호흡 정보 추출 방법

Country Status (3)

Country Link
US (1) US10102343B2 (ko)
KR (10) KR101644586B1 (ko)
CN (1) CN106999062A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10874309B2 (en) 2017-05-01 2020-12-29 Samsung Electronics Company, Ltd. Determining emotions using camera-based sensing

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6467965B2 (ja) * 2015-02-13 2019-02-13 オムロン株式会社 感情推定装置及び感情推定方法
KR101940673B1 (ko) * 2017-09-14 2019-01-21 상명대학교 산학협력단 인체 미동을 이용한 공감도 평가 방법 및 장치
KR102155777B1 (ko) * 2018-04-26 2020-09-15 상명대학교산학협력단 인체 미동 기반 상호작용에 따른 경쟁과 협력 평가 방법
CN109009048A (zh) * 2018-06-12 2018-12-18 四川斐讯信息技术有限公司 一种ppg波峰检测方法及系统
KR102202654B1 (ko) * 2018-07-25 2021-01-13 상명대학교산학협력단 안면 움직임 정보 추출 방법 및 장치
KR102147295B1 (ko) * 2018-12-05 2020-08-24 (주)모어씽즈 사용자의 자세를 모사하는 로봇 및 이를 포함하는 실시간 자세 모니터링 시스템
KR102654378B1 (ko) * 2021-02-17 2024-04-03 상명대학교산학협력단 몰입도-추론 기반 교감-유도형 dht 생성 방법 및 이를 적용하는 시스템
US11361062B1 (en) 2021-03-02 2022-06-14 Bank Of America Corporation System and method for leveraging microexpressions of users in multi-factor authentication
WO2023002503A1 (en) * 2021-07-19 2023-01-26 Ranjani Ramesh A system and a method for synthesization and classification of a micro-motion
EP4367642A1 (en) * 2021-08-10 2024-05-15 Duke University Systems and methods for automated social synchrony measurements

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014198200A (ja) 2013-03-29 2014-10-23 富士通株式会社 脈波検出装置、脈波検出プログラムおよび脈波検出方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3477166B2 (ja) * 2000-12-07 2003-12-10 学校法人慶應義塾 監視装置
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
KR20060062378A (ko) * 2004-12-03 2006-06-12 학교법인연세대학교 맥박을 이용한 이성간 호감도 측정 방법 및 장치
JP2009545356A (ja) * 2006-08-02 2009-12-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 患者の動脈系からパルス波の通過を検出するセンサー
US20080136934A1 (en) 2006-12-12 2008-06-12 Industrial Technology Research Institute Flame Detecting Method And Device
JP5483899B2 (ja) * 2009-02-19 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
AR079057A1 (es) * 2009-11-17 2011-12-21 Baylor Res Inst Triaosilceramida urinaria (gb3) como marcador de enfermedad cardiaca
CN102763123B (zh) 2009-12-02 2015-03-25 高通股份有限公司 通过使查询图像和模型图像中的检测到的关键点成群集而进行特征匹配
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters
EP2417908A1 (en) * 2010-08-12 2012-02-15 Philips Intellectual Property & Standards GmbH Device, system and method for measuring vital signs
EP2661219B1 (en) * 2011-01-05 2019-05-15 Koninklijke Philips N.V. Device and method for extracting information from characteristic signals
GB2488316A (en) * 2011-02-22 2012-08-29 Toumaz Uk Ltd Method for determining respiration rate from uncorrupted signal segments
EP2683296A1 (en) * 2011-03-11 2014-01-15 Koninklijke Philips N.V. Monitoring apparatus for monitoring a physiological signal.
CN102178536B (zh) * 2011-03-29 2013-04-03 苏州易寻传感网络科技有限公司 一种血氧饱和度和心率的测量方法
GB201114406D0 (en) 2011-08-22 2011-10-05 Isis Innovation Remote monitoring of vital signs
KR101198322B1 (ko) * 2011-09-23 2012-11-06 (주) 어펙트로닉스 얼굴 표정 인식 방법 및 시스템
US9396621B2 (en) * 2012-03-23 2016-07-19 International Business Machines Corporation Systems and methods for false alarm reduction during event detection
US10143377B2 (en) * 2012-05-02 2018-12-04 Augusta University Research Institute, Inc. Single channel imaging measurement of dynamic changes in heart or respiration rate
KR101426750B1 (ko) * 2012-11-05 2014-08-05 주식회사 엘에스엘시스템즈 열화상을 이용한 심박수 측정 시스템
US20140148709A1 (en) * 2012-11-23 2014-05-29 Pixart Imaging Incorporation System and method for integrating heart rate measurement and identity recognition
CN103054569B (zh) * 2012-12-20 2015-04-22 Tcl集团股份有限公司 基于可见光图像测量人体心率的方法、装置及手持设备
JP2014171574A (ja) * 2013-03-07 2014-09-22 Sharp Corp 呼吸モニタリング装置、システム、及び方法
KR101772585B1 (ko) 2013-04-05 2017-08-30 한국전자통신연구원 비접촉 무선 심박 측정 방법 및 심박 측정 장치
US20140303502A1 (en) 2013-04-05 2014-10-09 Electronics And Telecommunications Research Institute Method and apparatus for measuring heartbeats without contact and wirelessly
KR20140122849A (ko) 2013-04-11 2014-10-21 원광대학교산학협력단 휴대용 기기 이용한 스트레스 체크 및 치유 시스템 및 방법
KR101479271B1 (ko) * 2013-04-17 2015-01-05 주식회사 제론헬스케어 신생아 정보 전송 시스템 및 방법
US9339210B2 (en) * 2013-05-08 2016-05-17 Koninklijke Philips N.V. Device for obtaining a vital sign of a subject
CZ2014696A3 (cs) * 2014-10-11 2016-04-20 Linet Spol. S.R.O. Zařízení a metoda pro měření intrakraniálního tlaku

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014198200A (ja) 2013-03-29 2014-10-23 富士通株式会社 脈波検出装置、脈波検出プログラムおよび脈波検出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10874309B2 (en) 2017-05-01 2020-12-29 Samsung Electronics Company, Ltd. Determining emotions using camera-based sensing

Also Published As

Publication number Publication date
KR20160059391A (ko) 2016-05-26
KR20160075446A (ko) 2016-06-29
KR101752872B1 (ko) 2017-07-03
KR101644586B1 (ko) 2016-08-02
US20170323072A1 (en) 2017-11-09
KR101646735B1 (ko) 2016-08-08
KR20160059392A (ko) 2016-05-26
KR101725358B1 (ko) 2017-04-11
CN106999062A (zh) 2017-08-01
KR20160059390A (ko) 2016-05-26
KR101731620B1 (ko) 2017-05-02
KR20160059415A (ko) 2016-05-26
KR20160059394A (ko) 2016-05-26
KR20160059414A (ko) 2016-05-26
KR101722708B1 (ko) 2017-04-03
KR101666654B1 (ko) 2016-10-14
KR101663239B1 (ko) 2016-10-06
US10102343B2 (en) 2018-10-16
KR101738097B1 (ko) 2017-05-29
KR20160059420A (ko) 2016-05-26
KR20160059393A (ko) 2016-05-26
KR20160059421A (ko) 2016-05-26

Similar Documents

Publication Publication Date Title
KR101706739B1 (ko) 인체 미동 기반 심장 정보 추출 방법
Tasli et al. Remote PPG based vital sign measurement using adaptive facial regions
Savran et al. Emotion detection in the loop from brain signals and facial images
Bousefsaf et al. Remote assessment of the heart rate variability to detect mental stress
Benezeth et al. Remote heart rate variability for emotional state monitoring
KR101752873B1 (ko) 동공 크기 변화율을 이용한 심장 시간 영역의 정보 추출 방법 및 그 장치
CN108451494B (zh) 使用瞳孔反应来检测时域心脏参数的方法及系统
KR101757431B1 (ko) 안면 미동 기반 심장 정보 추출 방법 및 시스템
KR101846350B1 (ko) 신체 미동 이용한 사용자의 몰입도 평가 방법 및 그 장치
Pansare et al. Heart Rate Measurement from Face and Wrist Video
KR101831967B1 (ko) 인체 미동 기반 뇌 정보 추출 방법
KR102389361B1 (ko) 신체 미동 이용한 사용자의 몰입도 평가 방법 및 그 장치
WO2016080606A1 (ko) 인체 미동 기반 심장 정보 추출 방법
Beatson et al. Calculating a vagal tone index using webcam photoplethysmography
KR101757432B1 (ko) 안면 미동 기반 호흡 정보 추출 방법 및 시스템
KR20170004511A (ko) 인체 미동 기반 뇌 정보 추출 방법
Mishra et al. Heart rate measurement using video in different user states for online HCI applications
Lu et al. Non-contact pulse rate measurement of hand and wrist using RGB camera
Spinsante et al. Contactless measurement of heart rate for exergames applications
CN108451496A (zh) 检测脑心连通性的信息的方法及其系统
Lopes et al. An architecture for capturing and synchronizing heart rate and body motion for stress inference
Karmuse et al. Cloud based multivariate signal based heart abnormality detection
KR20190057217A (ko) 심장 리듬 동조성을 이용한 공존감 평가 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200122

Year of fee payment: 4