KR20160094059A - 광용적맥파를 이용하여 사용자 의도 및 사용자 상태를 추정하는 장치 및 방법 - Google Patents

광용적맥파를 이용하여 사용자 의도 및 사용자 상태를 추정하는 장치 및 방법 Download PDF

Info

Publication number
KR20160094059A
KR20160094059A KR1020150015146A KR20150015146A KR20160094059A KR 20160094059 A KR20160094059 A KR 20160094059A KR 1020150015146 A KR1020150015146 A KR 1020150015146A KR 20150015146 A KR20150015146 A KR 20150015146A KR 20160094059 A KR20160094059 A KR 20160094059A
Authority
KR
South Korea
Prior art keywords
user
ppg signal
intention
signal
phase
Prior art date
Application number
KR1020150015146A
Other languages
English (en)
Other versions
KR101712002B1 (ko
Inventor
이충기
김래현
권규현
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020150015146A priority Critical patent/KR101712002B1/ko
Publication of KR20160094059A publication Critical patent/KR20160094059A/ko
Application granted granted Critical
Publication of KR101712002B1 publication Critical patent/KR101712002B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Abstract

본 명세서의 일 실시예에 따른 사용자 의도/상태 추정 방법은 미리 결정된 제1 측정 기간 동안 사용자의 광용적맥파(PPG) 신호를 측정하는 단계와, 측정된 PPG 신호를 위상변환하는 단계와, 위상변환된 PPG 신호로부터 심박변이도 특징을 추출하는 단계와, 추출된 심박변이도 특징에 기초하여 사용자의 사용자 의도 및 사용자 상태 중 적어도 하나를 추정하는 단계를 포함할 수 있다. 여기서, 심박변이도 특징은 주성분 분석을 이용하여 위상변환된 PPG 신호로부터 추출된 제1 주성분의 비율일 수 있고, 제1 측정 기간은 10초 이하일 수 있다.

Description

광용적맥파를 이용하여 사용자 의도 및 사용자 상태를 추정하는 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING USER INTENTION AND USER STATE USING PPG SIGNAL}
본 명세서는 사용자 의도와 사용자 상태를 추정하는 장치 및 방법에 관한 것으로, 보다 상세하게는 짧은 기간 동안 측정된 광용적맥파(Photoplethysmography: PPG)를 이용하여 사용자의 의도(예컨대, 운동 의도)와 상태(예컨대, 건강상태, 감정상태)를 추정하는 장치 및 방법에 관한 것이다.
생체신호를 이용하여 사용자의 정신상태를 평가하기 위해, 일반적으로 자율신경계의 활동을 정량화한다. 하지만, 정신상태의 변화로 인한 중추신경계(뇌신호)의 변화는 생리학적인 시간 지연과 함께 자율신경계의 활동에 영향을 미친다. 이와 같은 시간 지연 때문에 광용적맥파(PPG)를 이용하여 사용자의 상태를 추정하는 방법은 일반적으로 충분한 정보량과 데이터 샘플을 확보하기 위한 시간이 필요하다.
종래의 방법은 사용자의 상태를 추정하기 위하여 시간영역 분석 또는 주파수 영역 분석을 통해 광용적맥파로부터 심박변이 특징을 추출하고, 추출된 특징에 기초하여 사용자의 의도와 상태를 추정하는 방식을 취하는데, 이러한 종래의 방법에 의할 경우, 사용자의 상태 추정의 유의미한 결과를 얻기 위하여 최소 30초 이상의 기간 동안 측정된 PPG 신호를 필요로 한다. 또한, 이러한 종래의 방법은 추출된 심박변이 특징으로부터 사용자의 의도를 정확히 추정할 수 없다는 문제를 갖는다.
특허공개공보 WO 2009/138923 A1
이에, 본 명세서는, 다른 생체신호보다 편리한 측정이 가능한 PPG 신호를 이용하여 사용자의 의도와 상태를 추정함을 그 목적으로 한다.
또한, 본 명세서는, 짧은 시간 동안 측정된 PPG 신호로부터 사용자의 의도와 상태를 추정하기 위하여, 위상변환된 PPG 신호로부터 심박변이도 특징을 추출하고 이에 기초하여 사용자의 의도와 상태를 검출함을 그 목적으로 한다.
본 명세서의 일 실시예에 따른 사용자 의도 검출 장치는 미리 결정된 제1 측정 기간 동안 사용자의 광용적맥파(PPG) 신호를 측정하는 신호 측정부; 및 상기 측정된 PPG 신호를 위상변환하고, 상기 위상변환된 PPG 신호로부터 심박변이도 특징을 추출하고, 상기 추출된 심박변이도 특징에 기초하여 상기 사용자의 사용자 의도 및 사용자 상태 중 적어도 하나를 추정하는 신호 처리부를 포함할 수 있다.
실시예로서, 상기 심박변이도 특징은, 주성분 분석을 이용하여 상기 위상변환된 PPG 신호로부터 추출된 제1 주성분의 비율인 것을 특징으로 할 수 있다. 실시예로서, 상기 제1 측정 기간은, 10초 이하인 것을 특징으로 할 수 있다.
실시예로서, 상기 신호 처리부는, 미리 결정된 시간 지연 및 임베딩 차원에 기초하여 상기 측정된 PPG 신호를 시간지연 함으로써, 상기 측정된 PPG 신호를 위상변환할 수 있다.
실시예로서, 상기 신호 측정부는, 비접촉식 또는 접촉식 PPG 센서를 이용하여 상기 사용자의 PPG 신호를 측정할 수 있다.
실시예로서, 상기 사용자 의도는 상기 사용자의 운동의도를 포함하고, 상기 사용자 상태는 상기 사용자의 건강상태 및 감정상태 중 적어도 하나를 포함할 수 있다.
본 명세서의 일 실시예에 따른 사용자 의도 검출 방법은 미리 결정된 제1 측정 기간 동안 사용자의 광용적맥파(PPG) 신호를 측정하는 단계; 상기 측정된 PPG 신호를 위상변환하는 단계; 상기 위상변환된 PPG 신호로부터 심박변이도 특징을 추출하는 단계; 및 상기 추출된 심박변이도 특징에 기초하여 상기 사용자의 사용자 의도 및 사용자 상태 중 적어도 하나를 추정하는 단계를 포함할 수 있다.
실시예로서, 상기 심박변이도 특징은, 주성분 분석을 이용하여 상기 위상변환된 PPG 신호로부터 추출된 제1 주성분의 비율인 것을 특징으로 할 수 있다. 실시예로서, 상기 제1 측정 기간은, 10초 이하인 것을 특징으로 할 수 있다.
실시예로서, 상기 측정된 PPG 신호를 위상변환하는 단계는, 미리 결정된 시간 지연 및 임베딩 차원에 기초하여 상기 측정된 PPG 신호를 시간지연 함으로써, 상기 측정된 PPG 신호를 위상변환할 수 있다.
실시예로서, 상기 사용자의 PPG 신호를 측정하는 단계는, 비접촉식 또는 접촉식 PPG 센서를 이용하여 상기 사용자의 PPG 신호를 측정할 수 있다.
실시예로서, 상기 사용자 의도는 상기 사용자의 운동의도를 포함하고, 상기 사용자 상태는 상기 사용자의 건강상태 및 감정상태 중 적어도 하나를 포함할 수 있다.
본 명세서에 따르면, 다른 생체신호(예컨대, 뇌파 신호)보다 편리한 측정이 가능한 PPG 신호를 이용하여 사용자의 운동의도를 검출함으로써, 보다 편리하게 사용자의 의도와 상태를 추정할 수 있다.
또한, 본 명세서에 따르면, 위상변환된 PPG 신호로부터 심박변이도 특징을 추출하고 이에 기초하여 사용자의 의도와 상태를 추정함으로써, 시간영역 또는 주파수 영역에서 심박변이도 특징을 추출하는 종래의 방법에 비해, 정확한 추정 결과를 얻기 위해 요구되는 PPG 신호의 측정기간을 단축(예컨대, 30초에서 10초 이내로)시킬 수 있다.
도 1은 일 실시예에 따른 사용자 의도/상태 추정 장치의 구성도이다.
도 2는 일 실시예에 따른 사용자 의도/상태 추정 장치의 신호 처리부가 PPG 신호를 수신하여 사용자 의도 및 상태를 추정하는 과정을 나타내는 개념도이다.
도 3a 내지 3b는 일 실시예에 따른 사용자 의도/상태 추정 장치의 신호 측정부에 의해 측정된 시계열의 PPG 신호의 예시적인 파형을 나타낸다.
도 4a는 종래의 방법으로 추출된 각 테스크에 대한 심박변이도 특징 값들을 나타내고, 도 4b는 본 명세서에 개시된 방법으로 추출된 각 테스크에 대한 심박변이도 특징 값들을 나타낸다.
도 5a는 일 실시예에 따른 위상변환을 위한 조건을 나타내는 2차원의 색상 맵을 나타내고, 도 5b는 일 실시예에 따른 각 테스크에 대한 위상변환된 PPG를 나타내는 3차원의 위상 영역 맵을 나타낸다.
도 6은 일 실시예에 따른 사용자 의도/상태 추정 방법의 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 사용자 의도/상태 추정 장치는 PPG(Photoplethysmography) 신호를 이용하여 사용자 의도(예컨대, 사용자의 운동의도(motion intension)) 및 사용자 상태(예컨대, 사용자의 신체상태, 건강상태 등) 중 적어도 하나를 추정하는 장치를 말한다. 예를 들면, 사용자 의도/상태 추정 장치는 상술한 기능을 수행하는 모바일 디바이스(예컨대, 스마트 폰), 웨어러블 디바이스(예컨대, 스마트 워치, 스마트 밴드 등), 센싱 디바이스 및 기타 임의의 전자 장치일 수 있다. 여기서, 운동의도는 사용자가 운동을 할 의도가 있는지 여부를 나타내는 것으로, 운동의도가 있는 경우는 사용자가 실제로 운동을 하는 경우(active) 및 사용자가 운동하는 것을 상상하는 경우(imagery) 모두를 포함한다. 여기서, 신체상태는 사용자의 신체적인 상태(예컨대, 피로함, 건강함 등)를 나타내고, 감정상태는 사용자의 감정적인 상태(예컨대, 즐거움, 흥분 등)을 나타낸다.
도 1은 일 실시예에 따른 사용자 의도/상태 추정 장치의 구성도이다. 도 1을 참조하면, 사용자 의도/상태 추정 장치(100)는 신호 측정부(110) 및 신호 처리부(120)를 포함할 수 있다.
신호 측정부(110)는 사용자의 PPG 신호를 측정할 수 있다. 신호 측정부(110)는 PPG 센서를 이용하여 시계열의 PPG 신호를 측정할 수 있다. 일 실시예에서, 신호 측정부(110)는 사용자 의도/상태 추정 장치(100)에 내장된 PPG 센서를 이용하여 시계열의 PPG 신호를 측정할 수 있다. 다른 실시예에서, 신호 측정부(110)는 사용자 의도/상태 추정 장치(100)에 내장되지 않은 PPG 센서를 이용하여 시계열의 PPG 신호를 측정할 수 있다. 예를 들면, 신호 측정부(110)는 외부 장치에 내장된 PPG 센서를 이용하여 시계열의 PPG 신호를 측정하고, 외부 장치와의 유/무선 통신을 통해 PPG 신호를 획득할 수 있다.
일 실시예에서, PPG 센서는 사용자의 신체의 일부에 접촉되어 PPG 신호를 측정하는 접촉식 PPG 센서(예컨대, 손목시계형 PPG 센서) 또는 사용자의 신체에 접촉되지 않고 PPG 신호를 측정하는 비접촉식 PPG 센서(예컨대, 카메라형 PPG 센서)를 포함할 수 있다. 신호 측정부(110)는 미리 결정된 측정 기간 동안 사용자의 PPG 신호를 측정할 수 있다. 일 실시예에서, 신호 측정부(110)는 미리 결정된 제1 측정 기간 동안 사용자의 PPG 신호를 측정할 수 있다. 여기서, 제1 측정 기간은 사용자의 의도 및/또는 상태를 추정하기 위해 요구되는, PPG 신호의 최소 측정 기간을 말한다. 일 실시예에서, 제1 측정 기간은 10초 이내의 기간(예컨대, 6.5초)일 수 있다.
다른 실시예에서, 신호 측정부(110)는 미리 결정된 제2 측정 기간 동안 사용자의 PPG 신호를 측정할 수 있다. 여기서, 제2 측정 기간은 제1 측정 기간 동안 측정된 PPG 신호에 기초하여 추정된 사용자의 의도 및/또는 상태를 검증하기 위해 요구되는, PPG 신호의 최소 측정기간을 말한다. 일 실시예에서, 제2 측정 기간은 제1 측정 기간보다 긴 기간일 수 있다. 예를 들면, 제2 측정 기간은 5분(300초)일 수 있다. 이를 통해, 사용자 의도/상태 추정 장치(100)는 제1 측정 기간 동안 측정된 PPG 신호를 이용하여 사용자의 의도 및/또는 상태를 추정하고, 제2 측정 기간 동안 측정된 PPG 신호를 이용하여 상기 추정된 사용자의 의도 및/또는 상태를 검증할 수 있다.
신호 처리부(120)는 측정된 PPG 신호를 수신하여 신호 처리할 수 있다. 신호 처리부(120)는 측정된 PPG 신호를 전처리(예컨대, 위상변환)하고, 전처리된 PPG 신호로부터 심박변이도 특징(예컨대, 제1 주성분의 비율)을 추출하고, 추출된 심박변이도 특징에 기초하여 사용자의 의도 및/또는 상태를 추정할 수 있다. 이러한 신호 처리부(120)에 의한, 전처리 과정, 특징 추출 과정 및 의도/상태 추정 과정 등에 대하여는 도 2를 참조하여 이하에서 상세히 설명하도록 한다.
도 1은 본 명세서의 일 실시예에 따른 구성도로서, 분리하여 표시한 블록들은 장치의 구성요소들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 장치의 구성요소들은 장치의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
이하에서는, 사용자 의도/상태 추정 장치(100)를 이용하여 사용자의 의도, 특히, 운동의도를 추정하는 방법을 중심으로 본 명세서의 실시예들을 설명하지만, 이는 단지 예시적인 설명에 불과한 것이고, 동일하거나 유사한 설명이 사용자 의도/상태 추정 장치(100)를 이용하여 사용자의 상태(예컨대, 건강상태, 감정상태)를 추정하는 방법에 적용될 수 있음은 해당 기술 분야의 통상의 지식을 가진 자들에게 자명할 것이다.
도 2는 일 실시예에 따른 사용자 의도/상태 추정 장치의 신호 처리부가 PPG 신호를 수신하여 사용자의 의도 및/또는 상태를 추정하는 과정을 나타내는 개념도이다.
도 2를 참조하면, 신호 처리부(120)는 신호 측정부(110)에 의해 측정된 시계열의 PPG 신호를 수신할 수 있다. 이러한 신호 측정부(110)에 의해 측정된 시계열의 PPG 신호의 예시적인 파형들은 도 3에 도시된 것과 같다.
보다 상세하게, 도 3a는 운동의도가 없는(passive) 사용자로부터 측정된 PPG 신호의 예시적인 파형을 나타내고, 도 3b는 운동의도가 있는 사용자 중 실제로 운동하는(active) 사용자로부터 측정된 PPG 신호의 예시적인 파형을 나타내고, 도 3c는 운동의도가 있는 사용자 중 운동하는 것을 상상하는(imagery) 사용자로부터 측정된 PPG 신호의 예시적인 파형을 나타낸다. 도 3에 도시된 PPG 신호의 각 파형을 비교하면, 도 3b 및 도 3c에 도시된 운동의도가 있는 사용자로부터 측정된 PPG 신호가 도 3a에 도시된 운동의도가 있는 사용자로부터 측정된 PPG 신호 보다 더 규칙적인 파형(패턴)을 가짐을 알 수 있다.
또한, 신호 처리부(120)는 측정된 PPG 신호를 전처리할 수 있다. 일 실시예에서, 신호 처리부(120)는 측정된 PPG 신호를 위상변환할 수 있다. 이 경우, 일 실시예에서, 신호 처리부(120)는 먼저 측정된 PPG 신호를 필터링하고, 필터링된 PPG 신호를 위상변환할 수 있다.
일 실시예에서, 신호 처리부(120)는 측정된 시계열의 PPG 신호를 위상 공간 상의 PPG 신호로 위상변환할 수 있다. 즉, 신호 처리부(120)는 PPG 신호를 시간 영역(time domain)에서 위상 영역(phase domain)으로 변환할 수 있다. 이러한 위상변환은 “The Taken’s reconstruction”로서 지칭되는, 지연시간 임베딩(delay-time embedding)에 의해 수행될 수 있다. 즉, 신호 처리부(120)는 아래의 수학식 1과 같이 미리 결정된 시간 지연(delay time)과 임베딩 차원(embedding dimension)에 기초하여 시계열 PPG 신호를 시간 지연시킴으로써 위상변환된 PPG 신호를 생성할 수 있다.
Figure pat00001
여기서, {s(1), s(2)… }은 시계열 PPG 신호를 표현하고, {x(1), x(2) … }은 위상변환된 PPG 신호를 표현한다. 또한, m은 임베딩 차원을 나타내고, L은 시간 지연을 나타내고, k는 m-차원 벡터들의 수를 나타낸다. 실시예에 따라, L은 0.2초 이하의 값일 수 있고, m은 3에서 20 사이의 값을 가질 수 있으나, 이에 한정되지 않는다. 최적화된 시간 지연 및 임베딩 차원 파라미터를 결정하는 것에 대한 설명은 도 5a 및 도 5b를 참조하여 이하에서 설명하도록 한다.
또한, 신호 처리부(120)는 위상변환된 PPG 신호로부터 심박변이도(heart rate variability: HRV) 특징을 추출할 수 있다. 일 실시예에서, 신호 처리부(120)는 주성분 분석(principal component analysis: PCA)을 적용하여 위상변환된 PPG 신호로부터 심박변이도 특징을 추출할 수 있다. 이 경우, 신호 처리부(120)는 주성분 분석을 통해 추출된 제1 주성분의 비율(first eigenvalue ratio)을 심박변이도 특징으로서 결정할 수 있다. 이러한 제1 주성분은 PPG 신호의 선형적으로 분해된 패턴(linearly decomposed pattern)에 대응된다. 이를 통해, 사용자 의도/상태 추정 장치(100)는 위상변환된 PPG 신호로부터 심박변이도 특징을 추출함으로써, 시계열의 PPG 신호 또는 주파수변환된 PPG 신호로부터 심박변이도 특징을 추출하는 종래의 방법에 비해, 짧은 시간(예컨대, 6.5초) 동안 측정된 PPG 신호만으로도 유의미한 심박변이도 특징을 추출할 수 있다.
또한, 신호 처리부(120)는 추출된 심박변이도 특징에 기초하여 사용자의 의도 및/또는 상태를 추정할 수 있다. 이 경우, 신호 처리부(120)는 추출된 심박변이도 특징을 분류하고, 분류결과에 기초하여 사용자의 의도 및/또는 상태를 추정할 수 있다. 신호 처리부(120)는 미리 정의된 분류 방법(예컨대, Linear Discriminant Analysis, K-Nearest Neighbors, Neural Network, Deep Learning 등)을 적용하여 추출된 심박변이도 특징을 분류할 수 있다.
일 실시예에서, 신호 처리부(120)가 사용자의 의도(예컨대, 운동의도)를 추정하는 경우, 신호 처리부(120)는 추출된 제1 주성분의 비율을 미리 설정된 스레시홀드 값과 비교할 수 있다. 추출된 제1 주성분 비율이 스레시홀드 보다 큰 경우, 신호 처리부(120)는 사용자의 운동의도가 있는 것으로 추정할 수 있다. 추출된 제1 주성분의 비율이 스레시홀드 보다 작은 경우, 신호 처리부(120)는 사용자의 운동의도가 없는 것으로 추정할 수 있다. 왜냐하면, 도 3의 각 신호 파형으로부터 알 수 있듯이, 운동의도가 있는 사용자로부터 측정된 제1 PPG 신호가 운동의도가 없는 사용자로부터 측정된 제2 PPG 신호보다 더 큰 규칙성을 가지므로, 제1 PPG 신호로부터 추출된 제1 주성분의 비율이 제2 PPG 신호로부터 추출된 제1 주성분의 비율 보다 크기 때문이다.
이때, 스레시홀드 값은 측정 기간에 따라 다르게 설정될 수 있다. 일 실시예에서, 스레시홀드 값은 측정 기간이 길어질수록 작게 설정될 수 있다. 예를 들면, 측정기간이 13초인 경우의 스레시홀드인 제1 스레시홀드는 측정기간이 6.5초인 경우의 스레시홀드인 제2 스레시홀드보다 작게 설정될 수 있다. 왜냐하면, 측정기간이 긴 PPG 신호일수록 외부 요인의 영향을 많이 받으므로, 추출된 제1 주성분 비율의 값이 작아지기 때문이다.
도 4a는 종래의 방법으로 추출된 각 테스크에 대한 심박변이도 특징 값들을 나타내는 도면이고, 도 4b는 본 명세서에 개시된 방법으로 추출된 각 테스크에 대한 심박변이도 특징 값들을 나타내는 도면이다. 도 4b에서 x축은 측정 기간을 나타내고, y축은 위상변환된 PPG 신호의 제1 주성분 비율을 나타낸다. 도 4a 및 4b에서, 각 테스크는 상술한 바와 같이, “사용자가 실제로 운동하는 테스크(active)”, “사용자가 운동하지 않는 테스크(passive)” 및 “사용자가 실제로 운동하지는 않지만, 운동하는 것으로 상상하는 테스크(imagery)”를 포함할 수 있다.
도 4a를 참조하면, 종래의 방법에 의해 추출된 심박변이도 특징은 시간영역 분석에 의해 추출된 PPG 신호의 피크 값들 간의 시간 인터벌(heart beat interval)들에 대한 평균(Mean), 표준편차(SDNN), 그리고 주파수영역 분석(예컨대, FFT 기반한 분석)을 통해 추출된 저주파수 영역의 전력(LF), 고주파수 영역의 전력(HF), 고주파수영역에 대한 저주파수영역의 전력비(LF/HF)를 포함할 수 있다. 이처럼 종래의 방법에 의할 경우, 운동의도의 유무에 따라 구분되는 상술한 각 테스크에 대한 특징 값의 차이가 거의 없으므로, 추출된 특징으로부터 사용자의 운동의도를 검출하기 어렵다.
도 4b를 참조하면, 본 명세서에 개시된 방법에 의해 추출된 심박변이도 특징은 상술한 것처럼 위상변환된 PPG 신호의 제1 주성분의 비율일 수 있다. 이처럼, 본 명세서에 개시된 방법에 의할 경우, 운동의도가 있는 테스크(“active” 및 “imagery”)에 대한 특징과 운동의도가 없는 테스크(“passive”)에 대한 특징 값의 차이가 유의미한 차이를 가지므로, 추출된 특징으로부터 사용자의 운동의도를 검출할 수 있다.
도 5a는 일 실시예에 따른 위상변환을 위한 조건을 나타내는 2차원의 색상 맵이고, 도 5b는 일 실시예에 따른 각 테스크에 대한 위상변환된 PPG를 나타내는 3차원의 위상 영역 맵이다.
도 5a는 PPG 신호를 시간 영역에서 위상 영역으로 변환하기 위한 최적화 정보를 제공한다. 보다 상세하게, 상술한 지연시간 임베딩을 통해 PPG 신호를 위상 변환하기 위하여 시간 지연 및 임베딩 차원의 값을 결정할 필요가 있는데, 도 5a는 시간 지연과 임베딩 차원의 다양한 조합에 대하여 빨간 색의 정도로서 최적화 정도를 나타낸다. 즉, 도 5a의 2차원 색상 맵은 빨간색에 가까울수록 시간 지연과 임베딩 차원의 조합이 최적화됨을 나타낸다. 이러한 색상 값은 일원배치 분산분석(one-way ANOVA)로부터 획득된 (1 - p value)에 의해 통계적으로 산출될 수 있다.
도 5b는 도 5a의 시간 지연과 임베딩 차원을 이용하여 PPG 신호를 위상변환함으로써 재구성된 PPG 신호들을 나타낸다. 도 5b에 도시된 것처럼, 재구성된 PPG 신호, 즉, 위상변환된 PPG 신호는 닫힌 루프 구조를 갖는 특정 패턴을 보여준다. 도 5b를 참조하면, 큰 규칙성을 갖는 운동의도가 있는 사용자로부터 측정된 PPG 신호(예컨대, 도 3b 또는 도 3c의 PPG 신호)로부터 재구성된 PPG 신호는 작은 규칙성을 갖는 운동의도가 없는 사용자로부터 측정된 PPG 신호(예컨대, 도 3a의 PPG 신호)로부터 재구성된 PPG 신호 보다 더 큰 규칙성을 갖는 패턴을 보임을 알 수 있다.
도 6은 일 실시예에 따른 사용자 의도 검출 방법의 순서도이다. 본 순서도에서는 도 1 내지 도 5의 설명과 중복되는 부분에 대한 설명은 생략하도록 한다.
사용자 의도/상태 추정 방법은 사용자의 PPG 신호를 측정하는 단계(S10)를 포함할 수 있다. 사용자 의도/상태 추정 장치는 PPG 센서를 이용하여 시계열의 PPG 신호를 측정할 수 있다.
일 실시예에서, 사용자 의도/상태 추정 장치는 미리 결정된 제1 측정 기간 동안 사용자의 PPG 신호를 측정할 수 있다. 여기서, 제1 측정 기간은 사용자의 의도 및/또는 상태를 추정하기 위해 요구되는, PPG 신호의 최소 측정 기간을 말한다. 일 실시예에서, 제1 측정 기간은 10초 이내의 기간(예컨대, 6.5초)일 수 있다.
다른 실시예에서, 사용자 의도/상태 추정 장치는 미리 결정된 제2 측정 기간 동안 사용자의 PPG 신호를 측정할 수 있다. 여기서, 제2 측정 기간은 제1 측정 기간 동안 측정된 PPG 신호에 기초하여 추정된 사용자의 의도 및/또는 상태를 검증하기 위해 요구되는, PPG 신호의 최소 측정기간을 말한다. 실시예로서, 제2 측정 기간은 제1 측정 기간보다 긴 기간일 수 있다. 예를 들면, 제2 측정 기간은 5분(300초)일 수 있다.
이를 통해, 사용자 의도/상태 추정 장치는 제1 측정 기간 동안 측정된 PPG 신호를 이용하여 사용자의 의도 및/또는 상태를 추정하고, 제2 측정 기간 동안 측정된 PPG 신호를 이용하여 추정된 사용자의 의도 및/또는 상태를 검증할 수 있다.
사용자 의도/상태 추정 방법은 측정된 PPG 신호를 위상변환하는 단계(S20)를 포함할 수 있다. 이 경우, 사용자 의도/상태 추정 장치는 먼저 측정된 PPG 신호를 필터링하고, 필터링된 PPG 신호를 위상변환할 수 있다. 일 실시예에서, 사용자 의도/상태 추정 장치는 측정된 시계열의 PPG 신호를 위상 공간 상의 PPG 신호로 위상변환할 수 있다. 즉, 신호 처리부는 PPG 신호를 시간 영역(time domain)에서 위상 영역(phase domain)으로 변환할 수 있다. 이러한 위상변환은 “The Taken’s reconstruction”로서 언급되는, 지연시간 임베딩(delay-time embedding)에 의해 수행될 수 있다. 이에 대하여는, 도 2에서 상세히 설명한 바 자세한 설명은 생략한다.
사용자 의도/상태 추정 방법은 위상변환된 PPG 신호로부터 심박변이도(heart rate variability: HRV) 특징을 추출하는 단계(S30)를 포함할 수 있다. 일 실시예에서, 사용자 의도/상태 추정 장치는 주성분 분석(principal component analysis: PCA)을 적용하여 위상변환된 PPG 신호로부터 심박변이도 특징을 추출할 수 있다. 이 경우, 신호 처리부는 주성분 분석을 통해 추출된 제1 주성분의 비율(first eigenvalue ratio)을 심박변이도 특징으로서 결정할 수 있다. 이러한 제1 주성분은 PPG 신호의 선형적으로 분해된 패턴(linearly decomposed patter)에 대응된다. 이를 통해, 사용자 의도/상태 추정 장치는 위상변환된 PPG 신호로부터 심박변이도 특징을 추출함으로써, 시계열의 PPG 신호 또는 주파수변환된 PPG 신호로부터 심박변이도 특징을 추출하는 종래의 방법에 비해, 짧은 시간(예컨대, 6.5초) 동안 측정된 PPG 신호만으로도 유의미한 심박변이도 특징을 추출할 수 있다.
사용자 의도/상태 추정 방법은 추출된 심박변이도 특징에 기초하여 사용자의 의도 및/또는 상태를 추정하는 단계(S40)를 포함할 수 있다. 이 경우, 사용자 의도/상태 추정 장치는 추출된 심박변이도 특징을 분류하고, 분류결과에 기초하여 사용자의 의도 및/또는 상태를 추정할 수 있다.
일 실시예에서, 사용자 의도/상태 추정 장치가 사용자의 운동의도의 유무를 추정하는 경우, 사용자 의도/상태 추정 장치는 신호 처리부는 추출된 제1 주성분의 비율을 미리 설정된 스레시홀드 값과 비교할 수 있다. 추출된 제1 주성분 비율이 스레시홀드 보다 큰 경우, 사용자 의도/상태 추정 장치는 사용자의 운동의도가 있는 것으로 추정할 수 있다. 추출된 제1 주성분의 비율이 스레시홀드 보다 작은 경우, 사용자 의도/상태 추정 장치는 사용자의 운동의도가 없는 것으로 추정할 수 있다. 왜냐하면, 도 3의 각 신호 파형으로부터 알 수 있듯이, 운동의도가 있는 사용자로부터 측정된 제1 PPG 신호가 운동의도가 없는 사용자로부터 측정된 제2 PPG 신호보다 더 큰 규칙성을 가지므로, 제1 PPG 신호로부터 추출된 제1 주성분의 비율이 제2 PPG 신호로부터 추출된 제1 주성분의 비율 보다 크기 때문이다.
이때, 스레시홀드 값은 측정 기간에 따라 다르게 설정될 수 있다. 일 실시예에서, 스레시홀드 값은 측정 기간이 길어질수록 작게 설정될 수 있다. 예를 들면, 측정기간이 13초인 경우의 스레시홀드인 제1 스레시홀드는 측정기간이 6.5초인 경우의 스레시홀드인 제2 스레시홀드보다 작게 설정될 수 있다. 왜냐하면, 측정기간이 긴 PPG 신호일수록 외부 요인의 영향을 많이 받으므로, 추출된 제1 주성분 비율의 값이 작아지기 때문이다.
이와 같은, 사용자 의도/상태 추정 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
또한, 본 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.
100: 사용자 의도/상태 추정 장치
110: 신호 측정부
120: 신호 처리부

Claims (12)

  1. 미리 결정된 제1 측정 기간 동안 사용자의 광용적맥파(PPG) 신호를 측정하는 신호 측정부; 및
    상기 측정된 PPG 신호를 위상변환하고, 상기 위상변환된 PPG 신호로부터 심박변이도 특징을 추출하고, 상기 추출된 심박변이도 특징에 기초하여 상기 사용자의 사용자 의도 및 사용자 상태 중 적어도 하나를 추정하는 신호 처리부를 포함하는, 사용자 의도/상태 추정 장치.
  2. 제 1 항에 있어서,
    상기 심박변이도 특징은,
    주성분 분석을 이용하여 상기 위상변환된 PPG 신호로부터 추출된 제1 주성분의 비율인 것을 특징으로 하는, 사용자 의도/상태 추정 장치.
  3. 제 1 항에 있어서,
    상기 제1 측정 기간은, 10초 이하인 것을 특징으로 하는, 사용자 의도/상태 추정 장치.
  4. 제 1 항에 있어서,
    상기 신호 처리부는,
    미리 결정된 시간 지연 및 임베딩 차원에 기초하여 상기 측정된 PPG 신호를 시간지연 함으로써, 상기 측정된 PPG 신호를 위상변환하는, 사용자 의도/상태 추정 장치.
  5. 제 1 항에 있어서,
    상기 신호 측정부는,
    비접촉식 또는 접촉식 PPG 센서를 이용하여 상기 사용자의 PPG 신호를 측정하는, 사용자 의도/상태 추정 장치.
  6. 제 1 항에 있어서,
    상기 사용자 의도는 상기 사용자의 운동의도를 포함하고, 상기 사용자 상태는 상기 사용자의 건강상태 및 감정상태 중 적어도 하나를 포함하는, 사용자 의도/상태 추정 장치.
  7. 미리 결정된 제1 측정 기간 동안 사용자의 광용적맥파(PPG) 신호를 측정하는 단계;
    상기 측정된 PPG 신호를 위상변환하는 단계;
    상기 위상변환된 PPG 신호로부터 심박변이도 특징을 추출하는 단계; 및
    상기 추출된 심박변이도 특징에 기초하여 상기 사용자의 사용자 의도 및 사용자 상태 중 적어도 하나를 추정하는 단계를 포함하는, 사용자 의도/상태 추정 방법.
  8. 제 7 항에 있어서,
    상기 심박변이도 특징은,
    주성분 분석을 이용하여 상기 위상변환된 PPG 신호로부터 추출된 제1 주성분의 비율인 것을 특징으로 하는, 사용자 의도/상태 추정 방법.
  9. 제 7 항에 있어서,
    상기 제1 측정 기간은, 10초 이하인 것을 특징으로 하는, 사용자 의도/상태 추정 방법.
  10. 제 7 항에 있어서,
    상기 측정된 PPG 신호를 위상변환하는 단계는,
    미리 결정된 시간 지연 및 임베딩 차원에 기초하여 상기 측정된 PPG 신호를 시간지연 함으로써, 상기 측정된 PPG 신호를 위상변환하는, 사용자 의도/상태 추정 방법.
  11. 제 7 항에 있어서,
    상기 사용자의 PPG 신호를 측정하는 단계는,
    비접촉식 또는 접촉식 PPG 센서를 이용하여 상기 사용자의 PPG 신호를 측정하는, 사용자 의도/상태 추정 방법.
  12. 제 7 항에 있어서,
    상기 사용자 의도는 상기 사용자의 운동의도를 포함하고, 상기 사용자 상태는 상기 사용자의 건강상태 및 감정상태 중 적어도 하나를 포함하는, 사용자 의도/상태 추정 방법.
KR1020150015146A 2015-01-30 2015-01-30 광용적맥파를 이용하여 사용자 의도 및 사용자 상태를 추정하는 장치 및 방법 KR101712002B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150015146A KR101712002B1 (ko) 2015-01-30 2015-01-30 광용적맥파를 이용하여 사용자 의도 및 사용자 상태를 추정하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150015146A KR101712002B1 (ko) 2015-01-30 2015-01-30 광용적맥파를 이용하여 사용자 의도 및 사용자 상태를 추정하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160094059A true KR20160094059A (ko) 2016-08-09
KR101712002B1 KR101712002B1 (ko) 2017-03-03

Family

ID=56712453

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150015146A KR101712002B1 (ko) 2015-01-30 2015-01-30 광용적맥파를 이용하여 사용자 의도 및 사용자 상태를 추정하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101712002B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3764888A4 (en) * 2018-03-15 2021-12-15 Trilinear BioVentures, LLC METHOD OF MOTION DETECTION USING A PPG SENSOR
KR20220148289A (ko) * 2020-08-26 2022-11-04 후요 카이하츠 가부시키가이샤 소프트웨어, 건강 상태 판정 장치 및 건강 상태 판정 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102435808B1 (ko) 2022-04-15 2022-08-25 주식회사 엠마헬스케어 스트레스 지수 측정을 위한 헬스케어 장치
KR102416878B1 (ko) 2022-04-15 2022-07-05 주식회사 엠마헬스케어 심박수 측정을 위한 헬스케어 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009138923A1 (en) 2008-05-12 2009-11-19 Koninklijke Philips Electronics N.V. A method and apparatus for measuring and reducing mental stress
KR20100128100A (ko) * 2009-05-27 2010-12-07 청주대학교 산학협력단 심박 주기 검출 방법, 맥파를 이용한 감성 측정 장치 및 방법
JP2014530057A (ja) * 2011-09-23 2014-11-17 ネルコア・ピユーリタン・ベネツト・アイルランド フォトプレチスモグラフから呼吸情報を決定するためのシステムおよび方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009138923A1 (en) 2008-05-12 2009-11-19 Koninklijke Philips Electronics N.V. A method and apparatus for measuring and reducing mental stress
KR20100128100A (ko) * 2009-05-27 2010-12-07 청주대학교 산학협력단 심박 주기 검출 방법, 맥파를 이용한 감성 측정 장치 및 방법
JP2014530057A (ja) * 2011-09-23 2014-11-17 ネルコア・ピユーリタン・ベネツト・アイルランド フォトプレチスモグラフから呼吸情報を決定するためのシステムおよび方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3764888A4 (en) * 2018-03-15 2021-12-15 Trilinear BioVentures, LLC METHOD OF MOTION DETECTION USING A PPG SENSOR
KR20220148289A (ko) * 2020-08-26 2022-11-04 후요 카이하츠 가부시키가이샤 소프트웨어, 건강 상태 판정 장치 및 건강 상태 판정 방법

Also Published As

Publication number Publication date
KR101712002B1 (ko) 2017-03-03

Similar Documents

Publication Publication Date Title
EP3037036B1 (en) Biometric authentication method and apparatus
Gutiérrez-Rivas et al. Novel real-time low-complexity QRS complex detector based on adaptive thresholding
JP6716466B2 (ja) 無線反射によるバイタルサインの監視
US20200245952A1 (en) Feature extraction apparatus and method for biometric information detection, biometric information detection apparatus, and wearable device
KR101712002B1 (ko) 광용적맥파를 이용하여 사용자 의도 및 사용자 상태를 추정하는 장치 및 방법
US20140336522A1 (en) Information processing apparatus and representative-waveform generating method
KR20160078208A (ko) 생체 인증 장치 및 방법
CN109864704A (zh) 生物信号质量评价设备和生物信号质量评价方法
US20100292618A1 (en) Motion analysis device, program and method thereof and motion analysis system
JP6515670B2 (ja) 睡眠深度推定装置、睡眠深度推定方法、およびプログラム
US20240057888A1 (en) Method And System For Determining Brain-State Dependent Functional Areas Of Unitary Pooled Activity And Associated Dynamic Networks With Functional Magnetic Resonance Imaging
US20200281492A1 (en) Brain activity analysis method and apparatus thereof
WO2017140663A1 (en) Device and method for extracting heart rate information
US10803335B2 (en) Emotion estimating apparatus
KR20150068694A (ko) 사용자 인증 방법과 이를 수행하는 사용자 인증 장치 및 사용자 인증 시스템
Mukhopadhyay et al. A photoplethysmograph based practical heart rate estimation algorithm for wearable platforms
US20210361179A1 (en) Method for generating heart rate variability information related to external object by using plurality of filters, and device therefor
US8894583B2 (en) Wakefulness level determination device, wakefulness level determination method, and computer readable storage medium
JP2017124014A (ja) 眠気検知プログラム、眠気検知方法および眠気検知装置
Progonov et al. Heartbeat-based authentication on smartwatches in various usage contexts
Ahn et al. Source space based brain computer interface
JP7230385B2 (ja) 生体情報検出装置
Haihong et al. A kernel-based signal localization method for nirs brain-computer interfaces
US20160038079A1 (en) Computer-readable recording medium and arousal-level determining apparatus
Wu et al. A Region of Interest Selection for Vision-Based Respiratory Rate Measurement in Sleeping Scenario

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 4