KR102570665B1 - 맥파를 이용한 cnn 기반의 운동 강도 분류 시스템 - Google Patents

Abstract

본발명은 맥파를 이용한 CNN 기반의 운동 강도 분류 시스템에 관한 것으로, 하드웨어 단말인 맥파 신호를 계측하는 PPG센서, 출력장치인 모니터;와
제어기인 운동 강도 분류장치;로 구성되되,
상기 운동 강도 분류장치는 PPG센서로부터의 신호를 입력하는 PPG신호 입력부,
P-peak의 간격을 추출하여 학습된 합성곱 인공신경망(Convolution Neural Network, CNN)부에 입력하는 데이터 처리부,
합성곱 인공신경망(Convolution Neural Network, CNN)부,
심박 수에 따른 운동 강도 분류 클래스로 운동 강도를 분류하는 운동강도 분류부,
모니터링, 그래프를 표시하는 출력부,
데이터를 저장하는 저장부,
및 제어부;로 이루어지는 것으로,
따라서 본 발명은 PPG 센서를 통해 맥파 신호를 계측하여 전처리 과정을 수행하고, P-peak의 간격을 추출하고 학습된 CNN 인공신경망에 입력해 심박 수에 따른 운동 강도 분류 클래스로 운동 강도를 분류하여, 다양한 운동의 심박 수 및 분류클래스를 정확하게 산출하고 운동 어플리케이션과 연동하여 더욱 객관적인 운동 강도 피드백 시스템에 대한 적용이 가능한 현저한 효과가 있다.

Description

맥파를 이용한 CNN 기반의 운동 강도 분류 시스템{CNN-based exercise intensity classification system using pulse waves}

본발명은 맥파를 이용한 PPG 센서를 통해 맥파 신호를 계측하여 전처리 과정을 수행하고, P-peak의 간격을 추출하고 학습된 CNN 인공신경망에 입력해 심박 수에 따른 운동 강도 분류 클래스로 운동 강도를 분류하여, 다양한 운동의 심박 수 및 분류클래스를 정확하게 산출하고 운동 어플리케이션과 연동하여 더욱 객관적인 운동 강도 피드백 시스템에 대한 적용이 가능한 맥파를 이용한 CNN 기반의 운동 강도 분류 시스템에 관한 것이다.

최근 의료기술의 발전으로 인해 고령화 사회로 접어들면서 건강에 대한 관심이 증가하고 있다. 문화체육관광부의 2018 국민생활체육참여 실태조사에 따르면 생활체육 참여율은 2013년부터 6년간 45.5%에서 62.2%로 증가하였다. 또한, 많은 사람들이 운동 시 짧은 시간에 높은 효과를 나타내는 고강도 운동을 선호한다. 고강도 운동은 운동 중 산소 및 칼로리 소비량이 매우 높으며, 운동 후에도 산소를 보충하기 위하여 추가적으로 칼로리를 소모하는 후 연소 효과가 있어 운동 효과가 매우 뛰어나다. 하지만 최대치의 고강도 운동을 진행할 경우 심장에 큰 무리가 발생해 심장발작이나 고혈압으로 인한 쇼크 등 위험한 상황으로 이어질 수 있다. 따라서 개인별 적정수준의 고강도 운동을 하는 것이 중요하다. 일반적으로 운동 강도를 추정하기 위한 척도로 심박 수 또는 최대산소섭취량을 이용한다. 최대산소섭취량의 경우 데이터를 측정하기 위해 가스 분석기를 사용해야 하며 계측 마스크 및 신호 처리 시스템이 필요하기 때문에 일상생활에서 최대산소섭취량을 측정하기에는 어려움이 있다. 하지만 심박 수를 이용한 운동 강도 추정의 경우 심박 측정 센서가 다양하고 소형화되어있어 최대산소섭취량보다 일상생활에서 운동 강도 추정이 용이하다. 그리고 운동강도 추정을 위한 종래특허기술의 일례로서, 등록특허공보 등록번호 10-1777312호에는 사용자에게 지급되는 사용자 단말기, 운동기구에 장착되어 있는 운동기구 단말기, 상기 운동기구 단말기를 통합관리하는 운동기구 관리서버를 포함하여 이루어진 운동처방 시스템에 있어서, 운동기구 관리서버는, 개인별 설문 조사 및 기초체력 정보, 개인정보로부터 질환여부를 판단하여, 개인별로 정상군 카테고리와 질환군 카테고리 중 하나를 지정하며, 개인별로 지정된 정상군 카테고리와 질환군 카테고리 중 하나를 저장하고 있으며, 상기 운동기구 단말기는, 운동 중 실시간으로 측정되는 HR(심박수)가 기 설정된 타겟 심박수 영역을 벗어나게 되면 운동강도를 재조정하며, HRV의 PSD 분석을 통해 얻어진 LF/HF ratio의 상태에 따라서 운동강도를 재조정하며, 심전도의 QT간격(QT interval) 안정시 값에 비해 급격한 변화가 생길 경우 운동강도를 재조정하도록 이루어진 운동기구 연산처리부를 구비하며, 상기 운동기구 단말기는, HRV의 PSD 분석을 통해 얻어진 LF/HF ratio의 상태에 따라서 운동강도를 재조정할 경우, LF/HF ratio가 운동 중 실시간으로 1분 단위로 모니터링되며, 2주동안 처방받은 운동에 대해 안정 범위(1.5~2)보다 2배 이상 높거나 낮은 상태가 3회 이상 발생한 경우 처방받은 운동처방보다 낮은 강도로 자동 재설정되도록 이루어진 것을 특징으로 하는 운동처방 시스템이 공개되어 있다.

또한 등록특허공보 등록번호 10-1277177호에는 사용자의 운동을 보조하는 운동 보조 장치에 있어서, 상기 사용자 또는 개발자로부터 입력받은 운동 프로그램을 저장하는 운동 프로그램 저장부;

상기 사용자로부터 상기 저장된 운동 프로그램 중, 적어도 하나의 운동 프로그램이 선택되면, 상기 선택된 적어도 하나의 운동 프로그램을 상기 운동 프로그램 저장부로부터 입력받으며, 상기 입력된 적어도 하나의 운동 프로그램을 상기 사용자가 사용할 운동 프로그램으로 설정하는 운동 프로그램 설정부;

적어도 하나의 센서를 통해 상기 사용자의 움직임 관련 정보 및 생체 관련 정보를 수집하는 움직임 및 생체 정보 수집부;

상기 수집된 사용자의 움직임 관련 정보 중, 상기 설정된 운동 프로그램에 해당하는 특정 움직임을 검출하고, 상기 검출된 특정 움직임에 대한 결과 정보와 함께 상기 생체 관련 정보를 출력하는 운동 패턴 검출부;

상기 검출된 특정 움직임에 대한 결과 정보 및 생체 관련 정보를 입력받아 저장하고, 이 정보들을 이용하여 사용자의 운동 능력 향상 정도를 분석하며, 상기 사용자의 일별, 주별, 월별 및 연별 운동 결과를 저장 관리하고, 일별, 주별, 월별 및 연별 운동 능력 향상 정도를 저장 관리하는 정보 분석부;

상기 검출된 특정 움직임에 대한 결과 정보 및 생체 관련 정보 또는 상기 분석된 사용자의 운동 능력 향상 정도를 출력하는 입출력부를 포함하여 구성되는 것을 특징으로 하는 운동 보조 장치가 공개되어 있다.

그러나 상기 종래기술들은 다양한 운동의 심박 수 및 분류클래스를 산출하는데 불편이 있고 결과가 부정확하여 객관적인 운동 강도 피드백이 되지 못하는 단점이 있었다.

따라서 본발명은 상기와 같은 문제점을 해결하고자 안출된 것으로, 맥파를 이용한 CNN(Convolutional Neural Network) 기반의 운동 강도 분류 시스템을 구현하며, 구현된 시스템은 PPG 센서를 이용하여 맥파 데이터를 계측하고, 이후 심박 수를 산출해 운동 강도를 추정하고 P-peak의 간격을 추출하여 학습된 인공신경망에 입력해 심박 수에 따른 운동 강도 분류 클래스로 3가지 운동 강도를 분류한다. 분류된 3가지 운동 강도를 CNN에 입력하여 분류 된 운동 강도에 대한 데이터를 학습한다. 이후 사용자의 운동 데이터를 축적하여 학습된 운동 강도와 축적된 데이터를 이용하여 사용자에게 운동 강도에 따른 피드백을 제공하는 맥파를 이용한 CNN 기반의 운동 강도 분류 시스템을 제공하고자 하는 것이다.

본발명은 맥파를 이용한 CNN 기반의 운동 강도 분류 시스템에 관한 것으로, 하드웨어 단말인 맥파 신호를 계측하는 PPG센서, 출력장치인 모니터;와

제어기인 운동 강도 분류장치;로 구성되되

상기 운동 강도 분류장치는 PPG센서로부터의 신호를 입력하는 PPG신호 입력부, P-peak의 간격을 추출하여 학습된 합성곱 인공신경망(Convolution Neural Network, CNN)부에 입력하는 데이터 처리부, 합성곱 인공신경망(Convolution Neural Network, CNN)부, 심박 수에 따른 운동 강도 분류 클래스로 운동 강도를 분류하는 운동강도 분류부, 모니터링, 그래프를 표시하는 출력부, 데이터를 저장하는 저장부, 및 제어부;로 이루어지는 것을 특징으로 한다.

따라서 본 발명은 PPG 센서를 통해 맥파 신호를 계측하여 전처리 과정을 수행하고, P-peak의 간격을 추출하고 학습된 CNN 인공신경망에 입력해 심박 수에 따른 운동 강도 분류 클래스로 운동 강도를 분류하여, 다양한 운동의 심박 수 및 분류클래스를 정확하게 산출하고 운동 어플리케이션과 연동하여 더욱 객관적인 운동 강도 피드백 시스템에 대한 적용이 가능한 현저한 효과가 있다.

도 1은 본발명의 전체시스템 구성도
도 2는 본발명의 생체신호계측모듈 사용도
도 3은 본발명의 학습데이터 일례 그래프
도 4는 본발명의 CNN 모델 구성도
도 5는 본발명의 훈련 정확도 및 손실률 그래프

본발명은 맥파를 이용한 CNN 기반의 운동 강도 분류 시스템에 관한 것으로, 하드웨어 단말인 맥파 신호를 계측하는 PPG센서, 출력장치인 모니터;와

제어기인 운동 강도 분류장치;로 구성되되

상기 운동 강도 분류장치는 PPG센서로부터의 신호를 입력하는 PPG신호 입력부,

P-peak의 간격을 추출하여 학습된 합성곱 인공신경망(Convolution Neural Network, CNN)부에 입력하는 데이터 처리부, 합성곱 인공신경망(Convolution Neural Network, CNN)부, 심박 수에 따른 운동 강도 분류 클래스로 운동 강도를 분류하는 운동강도 분류부, 모니터링, 그래프를 표시하는 출력부, 데이터를 저장하는 저장부, 및 제어부;로 이루어지는 것을 특징으로 한다.

또한, 상기 운동강도는 3가지 운동 강도로 분류되는 것을 특징으로 한다.

또한, 상기 PPG센서에서 계측된 신호는 디지털 필터에 의해 계측된 원신호에 포함된 잡음이 제거되는 것을 특징으로 한다.

본발명을 첨부도면에 의해 상세히 설명하면 다음과 같다.

본발명의 맥파를 이용한 딥러닝 기반의 운동 강도 분류 시스템은 사용자의 효과적인 운동이 가능하도록 하기 위하여 맥파를 계측하고 이를 딥러닝 알고리즘에 입력하여 맥파에 따른 운동 강도를 분류한다. 분류된 운동 강도에 따라 다음 운동 스케줄 및 피드백을 제공한다. 도 1에 시스템 구성도를 나타내었다.

본발명의 운동 강도 추정 및 분류 방법에 대해 구체적으로 설명하면, 본발명은 카르보넨 공식을 이용하여 운동 강도를 추정하였다. 카르보넨 공식은 나이, 운동 강도, 안정심박 수, 휴식 심박 수의 사용자 정보를 사용하여 운동 강도를 추정 가능하다. 이를 활용한 식을 수식 (1)에 나타내었다.

(1)

운동 강도를 분류하기 위해 미국심장협회(American Heart Association, AHA) 기준으로 총 3가지 클래스로 분류하였다. 운동 강도가 50%이하이면 저 강도, 50~70%면 중 강도, 70% 이상이면 고 강도로 분류하였으며 표 1에 운동 분류 클래스를 나타내었다.

	심박수	운동 강도
1. 저 강도 (L)	125 이하	50% 이하
2. 중 강도 (M)	125 ~ 150	50 ~ 70%
3. 고 강도(V)	150 ~ 170	70 ~ 85%

표 1. 운동 강도 분류 클래스

본발명의 데이터 세트 구성에 대해 설명하면, 본발명은 학습 데이터를 구성하기 위해 생체신호 계측모듈(P400, Physiolab Co.)을 사용해 맥파신호를 계측하였으며, 디지털 필터를 이용해 계측된 원신호에 포함된 잡음을 제거하였다. 그림 2는 생체신호계측(P400, Physiolab Co.)모듈을 사용하여 측정한 모습이다.

측정된 데이터를 P-peak의 개수로 심박 수를 산출하고 카르보넨 공식을 통해 운동 강도를 추정하였다. 높은 강도로 운동을 진행할 경우 심박 간격이 짧고 낮은 강도로 운동을 진행할 경우 간격이 길어지기 때문에 심장 박동 충격파인 P-peak의 간격을 이용해 운동 강도를 분류 가능하다. 운동 강도가 추정된 맥파 파형의 양쪽 최댓값 인덱스를 이용해 P-peak의 간격을 산출하였으며, zero-padding 기법으로 학습데이터의 길이를 동일하게 구성하였다. 도 3에 학습데이터의 일례를 나타내었다.

그리고 본발명는 합성곱 인공신경망(Convolution Neural Network, CNN)모델을 사용하였다. CNN은 합성곱 연산을 통해 이미지 또는 시계열 데이터의 동일 패턴을 추출하고 분류하는 인공신경망이다. 분류 알고리즘으로 반복적이고 순차적인 데이터 학습에 특화된 순환구조를 이용하여 과거의 학습을 현재학습에 반영 가능한 RNN(Recurrent Neural Network), 스스로 분류레이블을 만들어 내고 공간을 왜곡하고 데이터를 구분짓는 과정을 반복하여 최적의 구번선을 도출해내는 DNN 등이 있다. CNN은 데이터의 특징을 배열형태로 배열끼리의 연관관계를 유지하여 학습시킬 수 있다. 필터에서 특징을 잡아 Convolution의 과정을 통해 데이터를 생성하여 Filter만 사용하는 Pooling작업을 적용하여 크기를 줄일 수 있기에 데이터의 손실을 막을 수 있다. 구현된 CNN 모델은 데이터의 feature map을 추출하는 Convolution Layer, 과적합 방지를 위한 Maxpooling Layer 및 Dropout Layer, 입력과 출력을 연결하는 Dense Layer로 총 15개의 Layer를 구성하였다.

본발명의 실험 및 결과를 기재하면 다음과 같다.

본발명의 구현된 모델 성능평가를 위해 분류성능평가지표를 이용하여 정확성을 평가했다. 훈련과 예측성능을 측정하기 위하여 예측 값과 실제 값을 비교하기 위한 오차행렬을 사용하였다.

	Predicted Values
Actual Values	Ture Positive	False Negative
	False Positive	True Nagative

표 2. 오차행렬

오차행렬의 Actual Values는 실제값을 의미하며, Predicted Values는 예측값을 나타낸다. 이를 활용하여 전체 예측 건수에서 정답을 맞힌 비율을 나타낸 정확도, 모델이 참이라 분류한 것 중 실제값이 참인 것을 정밀도, 실제 값이 참인 것 중 모델이 참으로 분류한 재현도를 수식 (2)에 나타내었다.

(2)

그리고 본 발명에서는 맥파를 이용한 CNN 기반의 운동 강도 분류 시스템을 구현하였고, 상기 구현된 시스템은 PPG센서를 통해 맥파 신호를 계측하여 전처리 과정을 수행한 후 P-peak의 간격을 추출하여 학습된 CNN 인공신경망에 입력해 심박 수에 따른 운동 강도 분류 클래스로 3가지 운동 강도를 분류하였고 구성된 CNN 모델을 50번 반복하여 학습을 진행하였다. 구현된 시스템의 성능평가를 진행하여 도 5에 나타내었다.

본 발명에서 구현된 CNN 인공신경망 모델의 검증평가를 진행하였다. 구현된 시스템의 성능평가를 위해 운동 강도별 데이터를 50개씩 측정하여 총 150개의 데이터를 인공신경망에 입력해 정확도를 분석하였다. 실험결과 L의 정확도는 100%, M의 정확도는 96%, V의 정확도는 100%로 총 98.7%의 정확도를 확인하였다. 일부 오차는 입력된 데이터가 두 가지의 운동 강도 경계선에 근접하여 발생한 것으로 사료된다. 표 3에 분류클래스별 실험 결과를 나타내었다.

		Actual
		L	M	V
Predictions	L	50	2	0
	M	0	48	0
	V	0	0	50
Avg.		100	96	100
		98.7

표 3. 분류 클래스의 실험 결과

그리고 본발명은 터치키, 터치패드 등 입력수단에 의해 입력된 데이터에 의해 가중치를 곱하여 운동강도를 조절하여 분류할 수 있는 것으로, 심장질환이 있거나, 노약자의 경우 한단계 낮은 운동강도를 제어부는 제시하고, 특히 맥파는 기온이 떨어지면 심박수가 떨어지며 심장이 체온유지를 위해 부담을 더 가지게 되는 등 기온과 연관이 크므로, 온도센서를 설치하여 측정된 신호를 제어부에서 저장부의 온도에 따른 가중지수를 선택하여 곱하여, 운동강도를 제시한다. 특히 기상청의 기상공공데이타를 이용하여, API로 실시간으로 지역에 따른 온도를 받아서 가중지수를 곱하여 적절한 운동강도를 제시할 수 있다. 실내습도도 기온과 마찬가지로 습도센서나 기상청 공공데이타를 이용하여 가중치를 산정한다.

그러므로, 본 발명에서는 맥파를 이용한 CNN 기반의 운동 강도 분류 시스템을 구현하였다. 구현된 시스템은 PPG 센서를 통해 맥파 신호를 계측하여 전처리 과정을 수행한다. 이후 P-peak의 간격을 추출하고 학습된 CNN 인공신경망에 입력해 심박 수에 따른 운동 강도 분류 클래스로 3가지 운동 강도를 분류한다. 구현된 시스템의 실험결과 98.7%의 정확도를 확인하였다. 그리고 다양한 운동의 심박 수 및 분류클래스를 추가하고 운동 어플리케이션과 연동하여 더욱 객관적인 운동 강도 피드백 시스템에 대한 적용이 가능하다.

Claims (3)

1. 하드웨어 단말인 맥파 신호를 계측하는 PPG센서, 출력장치인 모니터;와
   제어기인 운동 강도 분류장치;로 구성되되
   상기 운동 강도 분류장치는 PPG센서로부터의 신호를 입력하는 PPG신호 입력부,
   P-peak의 간격을 추출하여 학습된 합성곱 인공신경망(Convolution Neural Network, CNN)부에 입력하는 데이터 처리부,
   합성곱 인공신경망(Convolution Neural Network, CNN)부,
   심박 수에 따른 운동 강도 분류 클래스로 운동 강도를 분류하는 운동강도 분류부,
   모니터링, 그래프를 표시하는 출력부,
   데이터를 저장하는 저장부,
   및 제어부;로 이루어지는 것으로, 상기 운동강도는 3가지 운동 강도로 분류되는 것이며, 상기 PPG센서에서 계측된 신호는 디지털 필터에 의해 계측된 원신호에 포함된 잡음이 제거되는 맥파를 이용한 CNN 기반의 운동 강도 분류 시스템에 있어서,
   상기 계측된 신호 데이터는 가중치를 곱하여 운동강도를 조절하여 분류할 수 있는 것으로, 심장질환이 있거나, 노약자의 경우 한단계 낮은 운동강도를 제어부는 제시하며, 상기 제어부는 저장부에 저장된 온도에 따른 가중지수를 선택하고, 상기 계측된 신호 데이터에 곱하여, 운동강도를 제시하되, 기상청의 기상공공데이타를 이용하여, API로 실시간으로 지역에 따른 기온을 받아서 가중지수를 곱하여 운동강도를 제시하는 것이며, 실내습도도 기온과 마찬가지로 기상청 공공데이타를 이용하여 가중치를 산정하여, 운동강도를 제시하는 것을 특징으로 하는 맥파를 이용한 CNN 기반의 운동 강도 분류 시스템
2. 삭제
3. 삭제