KR102341252B1

KR102341252B1 - 반사율 광량 측정법을 이용한 심박수 추정 장치 및 방법

Info

Publication number: KR102341252B1
Application number: KR1020200135774A
Authority: KR
Inventors: 이진석; 고훈; 정희원; 이후석
Original assignee: 원광대학교산학협력단
Priority date: 2020-10-20
Filing date: 2020-10-20
Publication date: 2021-12-21

Abstract

본 발명은 반사율 광량 측정법을 이용한 심박수 추정 장치 및 방법을 개시한다. 본 발명의 일 측면에 따른 반사율 광량 측정법을 이용한 심박수 추정 장치는, PPG 신호 및 가속도 신호를 포함하는 PPG 전력 스펙트럼에서 모션 아티팩트(MA)의 상쇄를 제공하는 2개의 컨볼루션 레이어; 상기 컨볼루션으로부터 공급되는 평탄화된 출력이 연결되는 하나의 연결 레이어; 및 상기 컨볼루션 레이어로부터의 출력을 공급받아 최소 이상값으로 심박수를 추적하는 2개의 LSTM 레이어; 상기 LSTM 레이어로부터의 출력이 공급되는 소프트맥스를 포함하는 3개의 완전히 연결된 레이어;를 포함한다.

Description

반사율 광량 측정법을 이용한 심박수 추정 장치 및 방법{Heart rate estimation apparatus and method using reflectance light quantity measurement}

본 발명은 반사율 광량 측정법을 이용한 심박수 추정 장치 및 방법에 관한 것으로, 더욱 상세하게는 가속도 파워 스펙트럼 및 가속 강도에 기반한 반사율 광량 측정법을 이용하여 정확한 심박수를 추정하는 반사율 광량 측정법을 이용한 심박수 추정 장치 및 방법에 관한 것이다.

웨어러블 반사형 PPG(PhotoPlethysmoGraphy) 센서를 시계나 밴드에 장착화여 사용자에게 불편을 최소화화면서 순간 심박수(HR)를 제공할 수 있다. 반사형 PPG 센서는 피부에서 반사되는 빛의 강도 변화를 측정하여 심장 주기의 수축기 및 이완기 단계 사이의 동맥 혈량 변화를 나타내는 PPG 신호를 제공한다.

그러나, 이러한 PPG 센서는 손목에 가해지는 압력과 사용자의 움직임에서 비롯된 모션 아티팩트(MA)에 민감한데, 모션 아티팩트(MA)는 부정확한 심박수(HR) 추정을 초래할 수 있다.

따라서, 상술한 바와 같은 문제점을 해결하기 위해 집중적인 운동 중에도 정확한 심박수를 추정할 수 있는 새로운 기술 개발에 대한 연구가 필요한 실정이다.

한국공개특허 제2012-0001284호(2012.01.04 공개)

본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로서, 집중적인 운동 중에도 모션 아티팩트에 의한 영향을 최소화하여 정확한 심박수의 추정을 가능하게 하는 반사율 광량 측정법을 이용한 심박수 추정 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 일 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따른 반사율 광량 측정법을 이용한 심박수 추정 장치는, PPG 신호 및 가속도 신호를 포함하는 PPG 전력 스펙트럼에서 모션 아티팩트(MA)의 상쇄를 제공하는 2개의 컨볼루션 레이어; 상기 컨볼루션으로부터 공급되는 평탄화된 출력이 연결되는 하나의 연결 레이어; 및 상기 컨볼루션 레이어로부터의 출력을 공급받아 최소 이상값으로 심박수를 추적하는 2개의 LSTM 레이어; 상기 LSTM 레이어로부터의 출력이 공급되는 소프트맥스를 포함하는 3개의 완전히 연결된 레이어;를 포함하고, 상기 소프트맥스를 포함하는 3개의 완전히 연결된 레이어는, 멀티 클래스 및 비균일 멀티 라벨 교차 엔트로피 기반 비용 함수를 이용하여 심박수 값에 해당하는 확률을 제공하는 것을 특징으로 한다.

상기 컨볼루션 레이어는, 2D 컨볼루션 레이어 및 1D 컨볼루션 레이어를 포함하는 것을 특징으로 한다.

상기 LSTM 레이어는, 6개의 타임 스텝을 갖는 512개의 노드를 포함하는 제 1 LSTM 레이어를 포함하고 상기 제 1 LSTM 레이어는 6개의 타임 스텝을 포함하는 제 2 LSTM 레이어와 연결되고, 로컬 심박수 추적 패턴을 고려하여 심박수 추적 알고리즘을 작동시켜 심박수를 추적하는 것을 특징으로 한다.

상기 컨볼루션 레이어와 LSTM 레이어는, 과적합을 회피하기 위해 드롭 아웃이 적용된 것을 특징으로 한다.

상기 소프트맥스는, 상기 심박수 값에 해당하는 확률에 정규화된 가우스 함수를 곱하여 실제 심박수인 중심을 가진 가우시안 분포가 최대값을 갖도록 정규화하는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명의 다른 측면에 따른 반사율 광량 측정법을 이용한 심박수 추정 장치에서의 심박수 추정 방법은, 입력 레이어가, PPG 신호 및 가속도 신호를 포함하는 PPG 전력 스펙트럼을 공급하는 단계; 2개의 컨볼루션 레이어가, PPG 신호 및 가속도 신호를 포함하는 PPG 전력 스펙트럼에서 모션 아티팩트(MA)의 상쇄를 제공하는 단계; 2개의 LSTM 레이어가, 컨볼루션 레이어로부터의 출력을 공급받아 최소 이상값으로 심박수를 추적하는 단계; 및 소프트맥스를 포함하는 3개의 완전히 연결된 레이어가, 멀티 클래스 및 비균일 멀티 라벨 교차 엔트로피 기반 비용 함수를 이용하여 심박수 값에 해당하는 확률을 제공하는 단계;를 포함한다.

본 발명의 일 측면에 따르면, 집중적인 운동중에도 견고성을 갖춘 심박수를 정확하게 추정할 수 있는 효과가 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명을 실시하기 위한 구체적인 내용들과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 반사율 광량 측정법을 이용한 심박수 추정 장치의 개략적인 아키텍처,
도 2는 본 발명의 일 실시예에 따른 모션 아티팩트(MA) 상쇄를 갖는 최종 PPG 전력 스펙트럼을 나타내는 결과 그래프,
도 3은 본 발명의 일 실시예에 따른 소프트맥스 레이어 이전에 활성화된 심박수 확률의 분표 그래프,
도 4는 본 발명의 일 실시예에 따른 아키텍처 실행에 대한 인쇄된 텍스트 요약,
도 5는 본 발명의 일 실시예에 따른 아키텍처(Top) 및 가속 강도(Bottoms)를 기반으로 추정된 심박수 추적의 결과 그래프,
도 6은 훈련 및 테스트 데이터 세트를 기반으로 추정 심박수와 실제 심박수 사이의 Pearson 계수와 Bland-Altman 플롯이다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “…부” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1은 본 발명의 일 실시예에 따른 반사율 광량 측정법을 이용한 심박수 추정 장치의 개략적인 아키텍처, 도 2는 본 발명의 일 실시예에 따른 모션 아티팩트(MA) 상쇄를 갖는 최종 PPG 전력 스펙트럼을 나타내는 결과 그래프, 도 3은 본 발명의 일 실시예에 따른 소프트맥스 레이어 이전에 활성화된 심박수 확률의 분표 그래프, 도 4는 본 발명의 일 실시예에 따른 아키텍처 실행에 대한 인쇄된 텍스트 요약, 도 5는 본 발명의 일 실시예에 따른 아키텍처(Top) 및 가속 강도(Bottoms)를 기반으로 추정된 심박수 추적의 결과 그래프, 도 6은 훈련 및 테스트 데이터 세트를 기반으로 추정 심박수와 실제 심박수 사이의 Pearson 계수와 Bland-Altman 플롯이다.

도 1을 참조하면, 본 실시예에 따른 반사율 광량 측정법을 이용한 심박수 추정 장치는, 2개의 컨볼루션 레이어, 2개의 LSTM 레이어, 하나의 연결 레이어 및 소프트맥스를 포함하는 3개의 완전히 연결된 레이어를 포함하여 총 8개의 레이어로 구성될 수 있다.

2개의 컨볼루션 레이어는, PPG 신호 및 가속도 신호를 포함하는 PPG 전력 스펙트럼에서 모션 아티팩트(MA)의 상쇄를 제공할 수 있다. 이때, PPG 신호는 피부에서 반사되는 빛의 강도 변화를 측정하여 심장 주기의 수축기 및 이완기 단계 사이의 동맥 혈량 변화를 나타내는 것으로, 반사형 PPG 센서로부터 측정되어 공급받을 수 있다. 반사형 PPG 센서는 시계 또는 밴드에 장착되고, 시계 또는 밴드는 심박수 측정을 실시하는 사용자가 착용할 수 있다. 모션 아티팩트(MA) 상쇄를 위해, 동시에 측정된 가속도 신호의 전력 스펙트럼을 모션 아티팩트(MA)로 간주하고 PPG 전력 스펙트럼에서 전력을 제거하거나 감쇄시킬 수 있다. 컨볼루션 레이어는, 2D 컨볼루션 레이어 및 1D 컨볼루션 레이어를 포함할 수 있다. 컨볼루션 레이어는, 과적합을 회피하기 위해 드롭 아웃이 적용될 수 있다. 컨볼루션 레이어의 출력은 평탄화되고, 하나의 완전히 연결된 레이어에 연결되며, 이후 가속도 신호 강도와 연결된다.

2개의 LSTM 레이어는, 컨볼루션 레이어로부터의 출력을 공급받아 최소 이상값으로 심박수를 추적할 수 있다. LSTM 레이어는, 로컬 심박수 추적 패턴을 고려하여 심박수 추적 알고리즘을 작동시켜 심박수를 추적할 수 있다. LSTM 레이어는, 6개의 타임 스텝을 갖는 512개의 노드를 포함하는 제 1 LSTM 레이어를 포함하고 상기 제 1 LSTM 레이어는 6개의 타임 스텝을 포함하는 제 2 LSTM 레이어와 연결될 수 있다. LSTM 레이어는, 과적합을 회피하기 위해 드롭 아웃이 적용될 수 있다. LSTM 레이어는, 컨볼루션 레이어로부터의 출력을 공급받는다.

한편, 3개의 완전히 연결된 레이어에 포함되는 소프트맥스는, 멀티 클래스 및 비균일 멀티 라벨 교차 엔트로피 기반 비용 함수를 이용하여 심박수 값에 해당하는 확률을 제공할 수 있다. 또한, 소프트맥스는 상기 심박수 값에 해당하는 확률에 정규화된 가우스 함수를 곱하여 실제 심박수인 중심을 가진 가우시안 분포가 최대값을 갖도록 정규화할 수 있다.

본 실시예에 따른 반사율 광량 측정법을 이용한 심박수 추정 장치에 대해 보다 상세히 설명하면 다음과 같다.

도 1에 도시된 바와 같이, 입력 레이어의 경우 PPG 및 가속도 신호의 전력 스펙트럼은 2 x 222의 길이로 정렬될 수 있다. 여기서, 상단 신호는 PPG P^s(i), 하단은 가속도 P^a(i)이다. 전력 스펙트럼은 각각의 8초 창을 기준으로 하며, 이후 2초(6초 겹침)만큼 이동한다. 입력 레이어는 32 2x37 커널과 4의 보폭으로 2D 컨볼루션 레이어에 공급되고, 누설 정류 선형 유닛(ReLU)의 비선형 기능과 2의 보폭으로 1x2 최대 풀링이 이어진다. 크기가 1x28x32인 결과 피쳐맵은 모션 아트팩트(MA) 상쇄가 있는 중간 PPG 전력 스펙트럼을 나타낸다. 기능맵은 64개의 1x5 커널과 1의 보폭으로 1D 컨볼루션 레이어에 공급되고, 그 다음에 누출이 있는 ReLU 및 1의 보폭으로 1x2 최대 풀링이 제공되며, 이는 1x14x64 크기의 다른 기능맵을 제공한다. 모션 아티팩트(MA) 취소와 함께 PPG 전력 스펙트럼을 나타낸다. 결과 기능맵은 896개의 노드로 평면화되며, 누출이 있는 ReLU인 512개의 노드에 완전히 연결된다. 이어서, 가속 강도 I^a(i)는 512개의 활성화와 연결된다. 513개의 연결된 노드는 2개의 LSTM 레이어로 공급된다. 두 개의 LSTM 계층은 로컬 심박수(HR) 추적 패턴을 고려하여 심박수(HR) 추적 알고리즘으로 작동한다. LSTM 층으로 인해, PPG 신호의 신호대 잡음비(SNR)가 매우 낮더라도 심박수(HR)에 대응하는 지배적인 주파수는 연속 윈도우에서 심각하게 벗어나지 않는다. 제 1 LSTM 층은 6개의 타임 스텝을 갖는 512개의 노드를 포함하고, 이들 모두는 제 2 LSTM 층에 연결된다. 제 2 LSTM 층은 또한 6개의 타임 스텝을 포함하며, 각각의 타임 스텝은 길이가 222인 출력을 제공한다. 그런 다음, 마지막 시간 단계의 출력만 누설 ReLU가 있는 222 노드에 연결하는 완전히 연결된 계층으로 공급된다.

한편, 도 2의 (a)는 0.62~3.3Hz의 주파수 범위에서 0.012Hz의 주파수 분해능에서 모션 아티팩트(MA) 상쇄를 갖는 최종 PPG 전력 스펙트럼을 나타내는 결과 222 개의 활성화를 보여준다. 활성화는 소프트맥스 레이어에 공급되며, 이는 도 2 (b)에 표시된 것처럼 실제 심박수(HR) 값에 대한 최종 확률을 제공한다. 과적합을 피하기 위해 2개의 컨볼루션 레이어와 2개의 LSTM 레이어에 드롭 아웃을 적용할 수 있다. 컨볼루션 레이어의 경우 드롭 아웃 비율은 0.3으로 설정할 수 있다. LSTM 레이어의 경우 입력의 선형 변환에 대한 드롭 아웃 비율은 0.3이고, 반복 상태에 대한 드롭 아웃 비율은 0.2이다.

본 실시예에 따른 장치의 파라미터 세트가 주어지면, 소프트맥스는 222개의 주파수 빈(bins)으로 세분화된 각 심박수(HR) 값에 해당하는 확률을 제공할 수 있다(1/222 간격으로 0.6에서 3.3Hz). 따라서, 실제 심박수(HR) 값으로 멀티 클래스 교차 엔트로피를 통해 비용

을 아래의 수학식 1과 같이 계산하는 멀티 클래스 분류 문제를 고려할 수 있다.

[수학식 1]

여기서, yⁱ _c 및

는 각각 i 번째 윈도우에서 c 번째 주파수 빈에 대한 실제 심박수(HR) 확률 및 예측된 심박수(HR) 확률이다. 멀티 클래스 교차 엔트로피에서 yⁱ _c는 c 번째 주파수 빈이 실제 심박수(HR)에 해당하는 경우에만 1의 값을 갖는다. 그렇지 않으면, yⁱ _c의 값은 0이다. 그런 다음 공식을 아래의 수학식 2와 같이 단순화할 수 있다.

[수학식 2]

여기서,

는 실제 심박수(HR) 값을 포함하는 주파수 빈의 예상 심박수(HR) 확률이다. 그러나, 이 접근법은 실제 심박수(HR) 값(빨간색)과 지배적인 활성화(파란색)가 도 3 (a)에 표시된 것처럼 겹치지 않아, 실제 심박수(HR) 값을 커버하는 주파수 빈이 실제 심박수(HR)를 정확하게 나타내지 않을 수 있다는 단점이 있다. 이 문제는 각 신호의 피크 형태로 인해 ECG 및 PPG 기반 심박수(HR)가 정확하게 겹치지 않는다는 사실에 기인할 수 있다. 또한, 샘플링 속도가 다르면 심박수(HR) 값을 결정하는데 약간의 차이가 있다. 실제 심박수(HR)는 BAMI I 및 II 데이터 세트에서 50Hz로 샘플링된 ECG 데이터와 ISPC 데이터 세트에서 125Hz로 샘플링된 반면, 주파수 빈은 25Hz에서 다운 샘플링된 PPG 신호에서 파생되었다. 이 문제를 해결하기 위해 비용

에 정규화된 가우스 함수를 곱하여 실제 심박수(HR)인 중심을 가진 가우시안 분포가 최대값을 갖도록 정규화되었다. 수정된 비용함수는 아래의 수학식 3이다.

[수학식 3]

여기서, HR_true는 실제 심박수(HR)를 나타낸다. 도 3 (b)는 상술한 수학식 3에서 괄호 안의 수정된 실제 심박수(HR) 확률을 보여준다.

한편, 다음과 같은 실험을 통해 상술한 바와 같은 장치에서의 성능을 확인할 수 있다.

A. 데이터 세트

제안된 심박수(HR) 추정 모델인 IEEE ISPC(Signal Processing Cup) 2015 데이터 세트(n=23)와 개발된 장치(n=48)로 얻은 직접 측정을 평가하기 위해 두 개의 데이터 세트를 사용했다. 두 데이터 세트 모두 멀티채널 PPG 신호와 3축 가속도계 신호를 포함하며 집중적인 운동 중에 손목에 착용한 장치로 동시에 측정된다. 진정한 심박수(HR) 참조를 위해, 흉부에서 ECG 신호를 동시에 측정했다.

더 구체적으로 말하면, ISPC 데이터 세트에는 5분 2채널 PPG 신호 및 23명의 피험자에 대해 125Hz로 샘플링된 3축 가속 신호가 포함되어 있으며 이는 공개적으로 다운로드할 수 있다. 데이터 세트는 유형1(T1), 유형2(T2), 유형3(T3)의 세 그룹으로 그룹화된다. T1 그룹(n=12)에서 피험자들은 다양한 속도로 러닝머신을 달린다: 30초 휴식, 6-8km/h에서 1분, 12-15km/h에서 1분, 6-8km/h에서 1분, 12-15km/h에서 1분, 그 후 30초 휴식. T2 그룹(n=5)에서 피험자들은 달리기, 점프, 팔굽혀 펴기, 악수, 스트레칭 및 밀기와 같은 다양한 동작을 수행한다. T3 그룹(n=6)에서 피험자들은 복싱과 같은 집중적인 팔 움직임을 수행한다.

데이터는 12분 3채널 PPG 신호와 50Hz에서 샘플링된 3축 가속 신호로 구성된다. 데이터 세트는 BAMI-I 및 BAMI-II라는 두 그룹으로 분류된다. BAMI-I 데이터 세트(n=25)에서 운동 프로토콜에는 휴식 1분, 워밍업을 위한 걷기 2분, 6-8km/h에서 달리기, 2분 걷기, 3분 8-12km/h로 달리고 1분 동안 식히기 위해 걷기가 포함된다. 피험자들은 평균 연령 26.9+-4.8세의 남성 10명과 여성 14명으로 구성되었다. 전체 운동 과정은 러닝머신에서 수행되었다. BAMI-II 데이터 세트(n=23)에서 운동 프로토콜에는 휴식 1분, 워밍업을 위해 3-4km/h로 2분 걷기, 4분 동안 6-8km/h로 달리기, 4분동안 3-4km/h로 걷기, 이후 식히기 위해 1분의 휴식이 포함된다. 4분의 달리기와 걷기 세션 동안, 피험자들은 세션의 마지막 2분 동안 러닝머신 바를 잡고 걷거나 뛰었다. 운동 능력이 좋지 않은 심장 환자의 심장 재활 운동을 반영하도록 세션을 설계했다. 그들은 일반적으로 러닝머신의 바를 잡고 걷거나 뛸 수 있다. 대상은 평균 연령이 22.0+-1.7세인 남성 17명 및 여성 6명으로 구성되었다. 전체 운동 과정은 또한 러닝머신에서 수행되었다. 두 데이터 세트 모두에 대해 24시간 홀터 모니터(SEER Light, GE Healthcare, Milwaukee, WI, USA)에 의해 동시에 기록된 ECG 데이터에 의해 기준 참 심박수(HR)를 측정하였다.

본 실험에서 웨이크, 달리기, 휴식, 점프, 팔굽혀펴기, 악수, 스트레칭, 밀기 및 복싱과 같은 다양한 동작을 포함하므로 ISPC 데이터 세트(n=23)를 훈련 데이터로 선택했다. 또한, 훈련 데이터 크기를 늘리기 위해 훈련 데이터에 BAMI-I(n=25)라는 자체 데이터 세트를 포함시키고 BAMI-II(n=23)라는 다른 데이터 세트를 사용하여 훈련된 모델을 테스트했다. 모든 데이터 세트에 대해 ECS 기반 심박수(HR)는 2초 시프트(6초 겹침)가 있는 8초 창을 사용하여 계산되어 2초마다 심박수(HR)를 산출했다. 이 실험에서 동일한 창 길이(8초)와 시프트(2초)를 사용하여 기존 알고리즘과 비교하여 제안된 모델의 성능을 평가했다.

B. 입력 레이어를 위한 사전처리

i^th 창에서 추정 및 실제 심박수(HR)를 각각 H_Rest(i) 및 HR_true(i)로 표시한다. 여기서, i=1, 2, … I(I는 8초 창의 수를 나타냄) 또한, i번째 8초 창에서 측정된 다중 채널 PPG 신호 및 3축 가속 신호를 각각 S_n(i) 및 A_m(i)로 표시한다(여기서, n={1, 2, … N}, N은 숫자임). 그리고, m={1,2,3}은 각각 x, y 및 z축을 나타낸다. ISPC 데이터 세트의 경우 N=2이고 BAMI-I 및 BAMI-II 데이터 세트의 경우 N=3이다. 컷오프 주파수가 0.4 및 4Hz인 4차 버터워스 대역 통과 필터(BPS)를 사용하여 S_n(i) 및 A_m(i)의 모든 측정된 신호를 필터링했다. 그런 다음, 단위 분산을 사용하여 S_n(i)를 0 평균으로 정규화하고, S(i)로 표시된 단일 신호에 대해 평균을 구했다. 본 실험에서 S(i)와 A_m(i)를 25Hz로 다운 샘플링했는데 정확도 저하가 거의없이 계산 부하를 줄일 수 있었다. 다운 샘플링 후 2048 포인트 고속 푸리에 변환(FFT)을 통해 전력 스펙트럼을 계산했다. 여기서 200개의 샘플 벡터(8초 데이터)에 후행 0을 길이 2048로 채웠으며 주파수 빈 분해능은 0.012Hz가 되었다(0.73 bpm) 그 결과, 최소값 0과 최대값 1로 전력 스펙트럼을 정규화했다(S(i)에서 P^s(i), A_m(i)에서 P^a _m(i)). 또한, 3축 가속도 신호에서 전력 스펙트럼을 평균화했다: P^a(i)=1/3시그마3m=1 P^a _m(i). P^s(i)와 P^A(i)가 주어지면 0.6에서 3.3Hz 사이의 가능한 심박수(HR) 범위만 추출하여 222개의 주파수 빈 전력 스펙트럼을 얻었다. 그런 다음, 추출된 각 데이터 인스턴스의 크기는 0.0122Hz의 주파수 분해능으로 1x222 크기였으며 이는 0.73bpm과 같다. 결과적으로 1x222 크기 데이터를 각각 P^S(i) 및 P^a(i)로 표시한다. 전력 스펙트럼 외에도 가속 강도를 나타내는 I^a(i)로 표시된 각 8초창에서 엔벨로프 진폭의 평균을 계산했다. 제안된 모델에서 P^S(i), P^a(i) 및 I^a(i)는 입력 레이어에 있다.

C. 멀티 클래스 및 비균일 멀티 라벨 교차 엔트로피 기반

본 실시예에 따른 장치는 딥러닝을 위한 텐서 조작을 위한 파이선(Python) API를 제공하는 텐서플로우(Tensorflow) 패키지를 사용하여 구현되었다. 또한, 현재 텐서플로우의 공식 프론트 엔드인 Keras를 사용했다. Keras 및 numpy 및 Matplotlib와 같은 표준 파이선 라이브러리와 함께 모델을 빌드하고 결과를 분석하는데 사용되었다. NVIDIA GeForce GTX 1080 Ti GPU에서 학습 속도가 0.0001이고 배치 크기가 1인 ADAM 옵티 마이저로 모델을 교육했다. 도 4는 Keras에서 제안된 모델 실행에 대한 인쇄된 텍스트 요약을 보여준다. 총 매개 변수의 수(가중치 및 바이어스)는 3,275,402이다. 성능 평가를 위해, 심박수(HR) 추정 모델의 일반화 능력을 확인하기 위해 4배 교차 검증이 수행되었다. 훈련 데이터 세트(n=48)를 무작위로 섞고 4개의 동일한 그룹으로 나누었고, 각 그룹에는 12명의 피험자에 대한 데이터가 포함되었다. 그 후, 모델 훈련을 위해 3개의 그룹이 선택되었고 나머지 한 그룹은 검증에 사용되었다. 유효성 검사 그룹을 이용하여 이 프로세스를 4번 반복했다. 그런 다음, 각 에포크(epoch)에 따라 4개의 검증 그룹의 평균 검증 비용을 평균하고 가장 낮은 검증 비용을 제공하는 최적의 에포크를 찾았다. 그럼 다음, 전체 교육 데이터 세트(n=48)를 사용하여 최적의 에포크를 사용해 모델을 다시 학습했다. 분리된 테스트 데이터 세트(n=23)는 모델이 트레이닝 데이터 세트를 사용하여 완전히 학습된 후에만 평가되었다. 이 홀드 아웃 방법은 훈련 데이터 세트에 대한 최종 모형 적합에 대한 편견없는 평가를 제공한다. 심박수(HR) 추정을 조사하기 위해 절대 오차의 평균[AAE(bpm)]과 상대 절대 오차의 평균[ARE(%)]을 사용했다.

D. 훈련과 데이터 세트로부터의 결과

상술한 실험 결과, AAE 및 ARE 값은 훈련 데이터 세트의 경우 1.09bpm 및 0.92%(n=48), 테스트 데이터 세트의 경우 1.46bpm 및 1.23%(n=23)인 것으로 나타났다. 성능은 표 1에 요약되어 있다.

[표 1]

보다 구체적으로, AAE 및 ARE 값은 각각 ISPC 데이터 세트의 경우 0.76bpm 및 0.66%, BAMI-I 데이터 세트의 경우 1.39bpm 및 1.17%였다.

표 2는 실험의 결과를 ISPC 데이터 세트로 얻은 12개의 이전에 보고된 결과와 비교한다.

[표 2]

본 실험은 처음 12명의 피험자에 대해 AAE 및 ARE가 각각 0.67bpm 및 0.50%를 나타냈다. 이러한 오차값은 다른 결과와 비교하여 가장 낮으며 AAE 및 ARE의 범위는 각각 1.02~2.34bpm 및 0.81~1.82%이다. 13번째 피험자를 제외하고 우리의 알고리즘은 전체 데이터 세트에 대한 기존 방법보다 성능이 우수했다. 가장 최신의 방법은 1.47~2.73bpm의 AAE를 보인 반면, 본 발명의 방법은 0.75bpm의 AAE를 나타냈다. 또한, 23개 피험자 전체에 대해 우리 알고리즘이 기존 방법보다 성능이 뛰어났다.

표 3은 BAMI-I(추가 훈련 데이터 세트) 및 II 데이터 세트(테스트 데이터 세트)로 얻은 결과를 비교한다.

[표 3]

본 실험에서는 가장 최근의 5가지 최신 방법(WFPV, FSM 프레임 워크, 커널 -FSM 프레임 워크, 단일 모드 PF 및 멀티 -모드 PF(MPF))으로 시뮬레이션을 수행했다. 또한, PPG를 사용한 지배적인 전력 스펙트럼만 고려한 결과를 비교했다. MPF 기반 접근법은 추정된 심박수(HR) 값이 입자 및 관련 중량 값을 사용하여 결정되는 방법에 따라 다양한 방법을 포함할 수 있다. MPF 결과에서 최상의 정확도는 MPF가 가장 강한 이웃 및 모든 입자의 후방 확률 밀도의 평균으로 수행될 때 관찰되었다. 결과는 표에 요약되어 있다. 제안된 모델은 BAMI-I 데이터 세트와 함께 각각 1.39bpm 및 1.17%의 AAE 및 ARE를 나타냈다. 이러한 오류값은 다른 결과보다 낮다. AAE 11.28bpm, 3.88bpm, 2.50bpm, 6.30bpm 및 3.36bpm. 특히, FSM, Kernel-FSM, SPF 및 MPF 방법은 저품질 신호 세그먼트 또는 부정확한 추정 결과를 무시한다. 그들은 이상치 발생과 같은 특정 기준에 따라 모든 데이터 세그먼트 중 유효한 결과의 백분율로 유효한 심박수(VHR)의 메트릭을 고려한다. 유효한 심박수(VHR)의 주요 목적은 일부 특이한 결과를 버림으로써 가능한 한 정확도를 높이는 것이다. VHR은 FSM, Kernel-FSM, SPF 및 MPF에 대해 각각 71.61%, 88.99%, 86.77% 및 90.91%였다. 그러나, 이 방법은 모든 데이터 세그먼트를 사용했다. 제안된 모델은 BAMI-II 데이터 세트에 대한 다른 방법보다 성능이 우수하다. 우리의 방법은 각각 AAE와 ARE가 1.46bpm과 1.23%인 반면 다른 방법은 더 높은 AAE를 나타냈다(6.09bpm, 1.71bpm, 2.32bpm, 3.72bpm, 2.90bpm). 또한, VHR은 FSM, Kernel-FSM, SPF 및 MPF에 대해 각각 72.40%, 80.74%, 84.66% 및 91.05%였으며, 이 방법의 VHR은 100%였다.

도 5는 제안된 모델과 가속 강도를 기반으로 추정된 심박수(HR) 추적을 보여준다. 도 4 (a) 및 (b)는 ISPC 데이터 세트로 얻은 결과를 도시한 반면, 도 4 (c) 및 (d)는 BAMI-I 및 BAMI-II 데이터 세트의 결과를 보여준다. 도 5의 상부 패널에서 추정된 심박수(HR) 트레이스 결과는 PPG만을 사용하는 지배적인 전력 스펙트럼이 고려될 때의 결과와 비교된다. 또한, 도 5의 하부 패널은 가속 강도가 심박수 증가와 관련이 있음을 보여준다. 특히, 도 5 (a) 및 (b)는 측정된 PPG 신호가 모션 아티팩트(MA)에 의해 심각하게 손상되어 SNR이 매우 낮기 때문에 데이터가 가장 도전적인 것으로 간주된 대상 14 및 17의 결과를 보여준다. 실제로 데이터 세트의 피험자 14에 대해 보고된 AAE는 6.63 bpm, 8.07 bpm, 7.29 bpm, 4.89 bpm, 9.59 bpm, 1.60 bpm, 12.12 bpm, 7.91 bpm, and 7.66 bpm였다. 피험자 17에 대해 보고된 AAE는 AAEs were 7.82 bpm, 7.01 bpm, 3.01 bpm, 3.05 bpm, 3.01 bpm, 2.04 bpm, 3.31 bpm, 2.44 bpm, and 2.77 bpm였다. 반면에, 제안된 모델은 두 피험자(AAE : 피험자 14의 경우 0.87bpm, 피험자 17의 경우 1.49bpm)에 대해 전체 세그먼트에 대해 매우 정확한 심박수 추정을 제공했다. 도 5 (c) 및 (d)는 또한 SNR이 매우 낮을 때의 결과를 보여준다. BAMI-I 데이터 세트의 피험자 1에 대해, PPG의 지배적인 전력 스펙트럼만이 사용되었을 때 46.64bpm의 AAE가 관찰되었다. WFPV는 AAE가 11.86bpm으로 개선된 결과를 보여주었지만 여전히 높았다. 반면에, 결과는 1.06bpm의 AAE를 나타냈다. 유사하게, BAMI-II 데이터 세트에서 피험자 22의 경우, PPG의 지배적 전력 스펙트럼만이 사용될 때 38.94bpm의 AAE가 관찰되었고, WFPV는 14.27bpm의 AAE를 나타냈다. 반면에, 제안된 발명의 실험에 따른 결과는 1.45bpm의 AAE를 나타냈다.

도 6은 훈련 및 테스트 데이터 세트를 기반으로 추정 심박수와 실제 심박수 사이의 Pearson 계수와 Bland-Altman 플롯을 보여준다. 도 6 (a)와 (b)에 도시된 바와 같이 우리 모델의 피어슨 상관 계수는 훈련 및 테스트 데이터 세트에 대해 각각 0.9972(r2=0.9945) 및 0.9967(r2=0.9890)이다. 도 6 (c)와 (d)는 각 데이터 세트에 대한 Bland-Altman 플롯을 보여준다. 훈련 데이터 세트에 대한 LOA(LOI)는 -3.67bpm ~ 3.63bpm(평균 0.02bpm, SD 1.86bpm)이다. 마찬가지로, 테스트 데이터 세트의 LOA는 -4.66bpm ~ 4.81bpm(평균 0.07bpm, SD 2.42bpm)이다.

본 발명의 실시예에 따른 방법들은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는, 본 발명을 위한 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 아니 된다. 또한, 본 명세서의 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서의 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.

도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 앱 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니다.

Claims

PPG 신호 및 가속도 신호를 포함하는 PPG 전력 스펙트럼에서 모션 아티팩트(MA)의 상쇄를 제공하는 2개의 컨볼루션 레이어;
상기 컨볼루션으로부터 공급되는 평탄화된 출력이 연결되는 하나의 연결 레이어; 및
상기 컨볼루션 레이어로부터의 출력을 공급받아 최소 이상값으로 심박수를 추적하는 2개의 LSTM 레이어;
상기 LSTM 레이어로부터의 출력이 공급되는 소프트맥스를 포함하는 3개의 완전히 연결된 레이어;를 포함하고,
상기 소프트맥스를 포함하는 3개의 완전히 연결된 레이어는,
멀티 클래스 및 비균일 멀티 라벨 교차 엔트로피 기반 비용 함수를 이용하여 심박수 값에 해당하는 확률을 제공하는 것을 특징으로 하는 반사율 광량 측정법을 이용한 심박수 추정 장치.
제 1 항에 있어서,
상기 컨볼루션 레이어는,
2D 컨볼루션 레이어 및 1D 컨볼루션 레이어를 포함하는 것을 특징으로 하는 반사율 광량 측정법을 이용한 심박수 추정 장치.
제 1 항에 있어서,
상기 LSTM 레이어는,
6개의 타임 스텝을 갖는 512개의 노드를 포함하는 제 1 LSTM 레이어를 포함하고 상기 제 1 LSTM 레이어는 6개의 타임 스텝을 포함하는 제 2 LSTM 레이어와 연결되고,
로컬 심박수 추적 패턴을 고려하여 심박수 추적 알고리즘을 작동시켜 심박수를 추적하는 것을 특징으로 하는 반사율 광량 측정법을 이용한 심박수 추정 장치.
제 1 항에 있어서,
상기 컨볼루션 레이어와 LSTM 레이어는,
과적합을 회피하기 위해 드롭 아웃이 적용된 것을 특징으로 하는 반사율 광량 측정법을 이용한 심박수 추정 장치.
제 1 항에 있어서,
상기 소프트맥스는,
상기 심박수 값에 해당하는 확률에 정규화된 가우스 함수를 곱하여 실제 심박수인 중심을 가진 가우시안 분포가 최대값을 갖도록 정규화하는 것을 특징으로 하는 반사율 광량 측정법을 이용한 심박수 추정 장치.
반사율 광량 측정법을 이용한 심박수 추정 장치에서의 심박수 추정 방법에 있어서,
입력 레이어가, PPG 신호 및 가속도 신호를 포함하는 PPG 전력 스펙트럼을 공급하는 단계;
2개의 컨볼루션 레이어가, PPG 신호 및 가속도 신호를 포함하는 PPG 전력 스펙트럼에서 모션 아티팩트(MA)의 상쇄를 제공하는 단계;
2개의 LSTM 레이어가, 컨볼루션 레이어로부터의 출력을 공급받아 최소 이상값으로 심박수를 추적하는 단계; 및
소프트맥스를 포함하는 3개의 완전히 연결된 레이어가, 멀티 클래스 및 비균일 멀티 라벨 교차 엔트로피 기반 비용 함수를 이용하여 심박수 값에 해당하는 확률을 제공하는 단계;를 포함하는 심박수 추정 방법.
제 6 항에 있어서,
상기 컨볼루션 레이어는,
2D 컨볼루션 레이어 및 1D 컨볼루션 레이어를 포함하는 것을 특징으로 하는 심박수 추정 방법.
제 6 항에 있어서,
상기 LSTM 레이어는,
6개의 타임 스텝을 갖는 512개의 노드를 포함하는 제 1 LSTM 레이어를 포함하고 상기 제 1 LSTM 레이어는 6개의 타임 스텝을 포함하는 제 2 LSTM 레이어와 연결되고,
로컬 심박수 추적 패턴을 고려하여 심박수 추적 알고리즘을 작동시켜 심박수를 추적하는 것을 특징으로 하는 심박수 추정 방법.
제 6 항에 있어서,
상기 컨볼루션 레이어와 LSTM 레이어는,
과적합을 회피하기 위해 드롭 아웃이 적용된 것을 특징으로 하는 심박수 추정 방법.
제 6 항에 있어서,
상기 소프트맥스는,
상기 심박수 값에 해당하는 확률에 정규화된 가우스 함수를 곱하여 실제 심박수인 중심을 가진 가우시안 분포가 최대값을 갖도록 정규화하는 것을 특징으로 하는 심박수 추정 방법.