KR102524633B1

KR102524633B1 - Scg 신호로부터 데이터를 획득하는 전자 장치 및 방법

Info

Publication number: KR102524633B1
Application number: KR1020210012486A
Authority: KR
Inventors: 이광진; 김종인; 조동래
Original assignee: 주식회사 딥메디
Priority date: 2021-01-28
Filing date: 2021-01-28
Publication date: 2023-04-24
Also published as: KR20220109157A

Abstract

일 실시 예에서의 전자 장치는 대상자의 신체 일부로부터 SCG 신호를 획득하는 센서, 및 센서로부터 SCG 신호를 수신하고, 수신한 SCG 신호를 복수 개의 대역 필터(band-pass filter)로 입력하여 주파수 대역 별로 분할된 복수 개의 SCG 신호들을 획득하고, 복수 개의 SCG 신호들에 기초한 딥 러닝(deep learning)을 통해 대상자의 심장 박동에 대한 기준점 추정 모델(fiducial point estimation model)을 생성하는 프로세서를 포함할 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

SCG 신호로부터 데이터를 획득하는 전자 장치 및 방법{ELECTRONIC DEVICE AND METHOD FOR ACQUIRING DATA FROM SEISMOCARDIOGRAM SIGNAL}

본 개시에 따른 다양한 실시 예들은, 센서를 통해 획득한 SCG 신호들을 학습하고, 학습 결과에 기초하여 데이터를 획득하는 전자 장치 및 방법에 관한 것이다.

최근 고혈압 환자가 증가함에 따라, 일상에서의 주기적인 혈압 측정을 통해 건강을 관리하는 사람들이 증가하고 있다. 다만, 커프(cuff)의 압력을 높여 피검사자의 혈압을 측정하는 커프 혈압계는 휴대가 용이하지 않고, 커프의 착용 방식에 따라 측정되는 혈압이 달라질 수 있다는 단점이 있다. 따라서, 커프리스(cuffless) 방식의 혈압계에 대한 수요가 증가하고 있는 실정이다.

커프리스 방식으로 혈압을 추정함에 있어서, 혈압계가 맥파 전달 시간(pulse transit time, PTT)을 정밀하게 측정할 수 있는지의 여부가 중요하다. 종래의 혈압계는 맥파 전달 시간을 측정하기 위하여, ECG(electrocardiogram) 센서 및 PPG(photoplethysmogram) 센서를 통해 획득된 신호 데이터를 활용하고 있다.

최근에는, 사용자가 기 사용하고 있는 스마트폰과 같은 전자 장치를 통해 혈압을 측정할 수 있는 방법에 대한 연구가 진행되고 있다. 특히, 생체 신호를 획득하기 위한 별도의 부품을 추가하지 않음으로써 가격적인 측면을 고려함과 동시에 혈압의 측정 결과에 대한 정확도를 개선하기 위한 연구가 계속되고 있다.

특허문헌 1: 한국 등록특허공보 제10-1674997호

본 개시에 따른 다양한 실시 예들은 센서를 통해 획득한 SCG 신호들에 대해 딥 러닝을 수행하고, 딥 러닝의 결과에 기초하여 데이터를 획득하는 전자 장치를 제공한다.

본 개시가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시 예들로부터 또 다른 기술적 과제들이 유추될 수 있다.

일 실시 예에 따른 전자 장치는 대상자의 신체 일부로부터 SCG 신호를 획득하는 센서, 센서로부터 SCG 신호를 수신하고, 수신한 SCG 신호를 복수 개의 대역 필터(band-pass filter)로 입력하여 주파수 대역 별로 분할된 복수 개의 SCG 신호들을 획득하고, 복수 개의 SCG 신호들에 기초한 딥 러닝(deep learning)을 통해 대상자의 심장 박동에 대한 기준점 추정 모델(fiducial point estimation model)을 생성하는 프로세서를 포함할 수 있다.

일 실시 예에서, 프로세서는 기준점 추정 모델을 통해 대상자의 심장 박동 중 대동맥 판막 열림(aortic valve opening) 지점을 검출할 수 있다.

일 실시 예에서, 프로세서는 검출한 대동맥 판막 열림 지점을 통해 대상자의 맥박 이동 시간(pulse transit time)을 판단할 수 있다.

일 실시 예에서, 딥 러닝은 심층 신경망(deep neural network) 알고리즘을 통해 구현될 수 있다.

일 실시 예에서, 프로세서는 복수 개의 SCG 신호들을 심층 신경망 알고리즘의 입력 뉴런(input neuron)으로 입력하고, 기준점에 대한 데이터를 출력 뉴런(output neuron)으로 출력할 수 있다.

일 실시 예에서, 심층 신경망 알고리즘은 적어도 하나의 덴스 레이어(dense layer) 및 양방향 LSTM 레이어(bi-directional LSTM layer)를 포함할 수 있다.

일 실시 예에서, 복수 개의 대역 필터는 0.8Hz 내지 50Hz의 범위에서 서로 다른 주파수 대역폭(bandwidth)을 갖는 대역 필터들을 포함할 수 있다.

일 실시 예에 따른 전자 장치의 동작 방법은 센서를 통해 대상자의 신체 일부로부터 획득한 SCG 신호를 수신하는 동작, 수신한 SCG 신호를 복수 개의 대역 필터(band-pass filter)로 입력하여 주파수 대역 별로 분할된 복수 개의 SCG 신호들을 획득하는 동작, 및 복수 개의 SCG 신호들에 기초한 딥 러닝(deep learning)을 통해 대상자의 심장 박동에 대한 기준점 추정 모델(fiducial point estimation model)을 생성하는 동작을 포함할 수 있다.

일 실시 예에서, 전자 장치의 동작 방법은 기준점 추정 모델을 통해 대상자의 심장 박동 중 대동맥 판막 열림 지점을 검출하는 동작을 더 포함할 수 있다.

일 실시 예에서, 전자 장치의 동작 방법은 검출한 대동맥 판막 열림 지점을 통해 대상자의 맥박 이동 시간(pulse transit time)을 판단하는 동작을 더 포함할 수 있다.

일 실시 예에서, 전자 장치의 동작 방법은 복수 개의 SCG 신호들을 심층 신경망 알고리즘의 입력 뉴런(input neuron)으로 입력하고, 기준점에 대한 데이터를 출력 뉴런(output neuron)으로 출력하는 동작을 더 포함할 수 있다.

일 실시 예에 따른 상기 전자 장치의 동작 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 포함할 수 있다.

본 개시에 따른 다양한 실시 예에서의 전자 장치는 혈압을 측정하기 위한 별도의 하드웨어 부품을 추가하지 않고, 기 포함된 부품들을 통해 혈압을 측정할 수 있으므로 비용 효율(cost-effective)이 개선될 수 있다.

도 1은 일 실시 예에 따른 전자 장치의 블록도를 도시한다.
도 2a는 일 실시 예에 따른 전자 장치를 통해 신호를 획득하는 방식을 설명하기 위한 예시도를 도시한다.
도 2b는 일 실시 예에 따른 전자 장치의 센서를 통해 서로 다른 신호를 획득하는 방식을 설명하기 위한 예시도를 도시한다.
도 3은 일 실시 예에 따른 전자 장치의 센서를 통해 획득한 SCG 신호의 그래프를 도시한다.
도 4는 일 실시 예에 따른 전자 장치가 SCG 신호로부터 기준점 추정 모델을 생성하는 흐름도를 도시한다.
도 5는 일 실시 예에 따른 전자 장치가 획득한 SCG 신호의 데이터 플로우를 도시한다.
도 6은 일 실시 예에 따른 전자 장치에서 학습되는 심층 신경망의 알고리즘을 도시한다.
도 7은 일 실시 예에 따른 전자 장치가 기준점 추정 모델을 통해 기준점을 검출하는 그래프를 도시한다.

아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 아니되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.

또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우 뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

본 명세서, 특히, 특허 청구 범위에서 사용된 상기 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.

본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.

본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로 프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단 및 구성 등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.

또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.

이하 첨부된 도면을 참고하여 본 실시 예들을 상세히 설명하기로 한다.

도 1은 일 실시 예에 따른 전자 장치의 블록도를 도시한다.

도 1을 참조하면, 전자 장치(100)는 센서(110) 및 프로세서(120)를 포함할 수 있다.

일 실시 예에서, 센서(110)는 대상자의 생체 신호를 획득할 수 있다. 예를 들어, 센서(110)는 관성 센서(IMU 센서) 및 광학 센서 중 적어도 하나를 포함할 수 있다.

일 실시 예에서, 관성 센서는 심장 판막(heart valve)의 움직임에 의한 진동(vibration)을 통해 심장 박동 신호를 획득할 수 있다. 심장 박동 신호는 심장 주기(cardiac cycle)의 주요 기준점들을 포함하는 SCG(seismocardiogram) 신호를 포함할 수 있다. 프로세서(120)는 심장 주기의 주요 기준점을 통해서, 대동맥 판막 열림(aortic valve opening, AO) 지점, 대동맥 판막 닫힘 (aortic valve closing, AC) 지점 및 승모 판막 닫힘(mitral valve closing, MC) 지점을 검출할 수 있다.

일 실시 예에서, 광학 센서는 대상자의 신체 일부(예: 손가락)에 대해 LED(light-emitting diode) 광을 방출하고, 반사된 광을 수신하여 광혈류 측정 신호를 획득할 수 있다.

일 실시 예에서, 프로세서(120)는 센서(110)를 통해 획득한 생체 신호로부터 생체 데이터를 획득할 수 있다. 일 실시 예에서, 프로세서(120)는 관성 센서로부터 수신한 심장 박동 신호와 광학 센서로부터 수신한 광혈류 측정 신호를 통해 맥파 전달 시간(pulse transit time, PTT)을 획득할 수 있다. 예를 들어, 프로세서(120)는 심장 박동 신호의 특정 지점 및 광혈류 측정 신호의 특정 지점 간에 시차를 획득하고, 해당 시차를 맥파 전달 시간으로 판단할 수 있다. 맥파 전달 시간은 박동성 압력파가 대동맥 판막으로부터 말초 부위로 전달되는 시간을 의미하고, 대상자의 혈압과 관련이 있는 생체 데이터에 해당할 수 있다.

일 실시 예에서, 프로세서(120)는 센서(110)를 통해 획득한 생체 신호에 기초하여 딥 러닝을 수행하여, 심장 박동에 대한 기준점 추정 모델(fiducial point estimation model)을 생성할 수 있다. 예를 들어, 프로세서(120)는 관성 센서를 통해 획득한 SCG 신호를 통해 기준점 추정 모델을 생성할 수 있다. 상기 기준점(fiducial point)은 맥파 전달 시간을 획득하는데 필요한 대동맥 판막 열림(AO) 지점을 의미할 수 있다.

일 실시 예에서, 딥 러닝은 인공 지능(artificial intelligence)에 기초하여 뉴럴 네트워크에 입력된 신호 데이터로부터 추출하고자 하는 기준점(fiducial point)을 획득하는 방법을 학습하는 알고리즘의 집합일 수 있다. 예를 들어, 딥 러닝은 심층 신경망(deep neural network, DNN)을 포함할 수 있으며, 심층 신경망은 입력 뉴런, 출력 뉴런 및 복수 개의 은닉 레이어(hidden layer)를 포함할 수 있다. 이 때, 은닉 레이어는 덴스 레이어(dense layer) 및 양방향 LSTM 레이어(bi-directional long-short term memory layer)를 포함할 수 있다. 이에 대한 구체적인 설명은 도 6에서 후술하고자 한다.

도 2a는 일 실시 예에 따른 전자 장치를 통해 신호를 획득하는 방식을 설명하기 위한 예시도를 도시한다. 도 2b는 일 실시 예에 따른 전자 장치의 센서를 통해 서로 다른 신호를 획득하는 방식을 설명하기 위한 예시도를 도시한다.

도 2a를 참조하면, 전자 장치(100)는 대상자(200)(예: 전자 장치의 사용자)의 신체의 일부(210)로부터 생체 신호를 획득할 수 있다.

예를 들어, 전자 장치(100)의 전면부의 적어도 일 영역이 대상자(200)의 심장 부근에 대응하는 신체 부위에 접하는 경우에, 프로세서(예: 도 1의 프로세서(120))는 센서(예: 도 1의 센서(110)) 중에서 관성 센서로부터 심장 박동 신호를 획득할 수 있다.

예를 들어, 전자 장치(100)의 후면부의 적어도 일 영역이 대상자(200)의 손가락 끝에 대응하는 신체 부위에 접하는 경우에, 프로세서(120)는 센서(110) 중에서 광학 센서로부터 광혈류 측정 신호를 획득할 수 있다.

도 2b를 참조하면, 전자 장치(100)는 관성 센서(205) 및 광학 센서(215)를 포함할 수 있다. 이 때, 광학 센서(215)는 전자 장치(100)의 카메라 모듈(미도시)에 포함될 수 있다.

일 실시 예에서, 관성 센서(205)는 대상자의 흉부(200(a)) 중에서 심장 부근에 대응하는 신체 부위(220)로부터 심장 박동 신호를 획득할 수 있다. 일 실시 예에서, 광학 센서(215)는 대상자의 손(200(b)) 중에서 손가락 끝에 대응하는 신체 부위(230)로부터 광혈류 측정 신호를 획득할 수 있다. 일 실시 예에서, 관성 센서(205) 및 광학 센서(215)는 각각 심장 박동 신호 및 광혈류 측정 신호를 병렬적으로 획득할 수 있다.

도 2b는 설명의 편의를 위하여 전자 장치(100)가 대상자의 신체 부위(220, 230)로부터 떨어져 있는 상태로 도시되어 있으나, 전자 장치(100)는 대상자의 신체 부위(220, 230)에 각각 접한 상태로, 심장 박동 신호 및 광혈류 측정 신호를 획득할 수 있다.

도 3은 일 실시 예에 따른 전자 장치의 센서를 통해 획득한 SCG 신호의 그래프를 도시한다.

도 3을 참조하면, 프로세서(예: 도 1의 프로세서(120))는 센서(예: 도 1의 센서(110))로부터 SCG 신호를 수신할 수 있다. SCG 신호의 피크(peak)들은 심장 수축(heart contraction) 및 혈액 방출(blood ejection)과 같은 기계적인 이벤트(mechanical event)의 발생을 나타낼 수 있다.

일 실시 예에서, 프로세서(120)가 수신한 SCG 신호는 주요 기준점들을 포함할 수 있다. 예를 들어, SCG 신호에 포함된 주요 기준점들은 MC(mitral valve closing), IM(isovolumetric moment), AO(aortic valve opening), MA(maximal acceleration) 및 AC(aortic valve closing) 등을 포함할 수 있다.

일 실시 예에서, 프로세서(120)는 수신한 SCG 신호로부터 주요 기준점들을 추출할 수 있다. 신호 대 잡음비(signal to noise ratio)가 실질적으로 낮은 SCG 신호가 수신됨에 따라, 종래의 전자 장치는 SCG 신호의 기준점들을 추출하기 어려울 수 있다. 본 개시에 따른 전자 장치(예: 도 1의 전자 장치(100))의 프로세서(120)는 SCG 신호에 대하여 딥 러닝을 수행하여 생성한 기준점 추정 모델(fiducial point estimation model)을 통해서, 주요 기준점들을 추출할 수 있다.

일 실시 예에서, 프로세서(120)가 수신하는 SCG 신호는 센서(예: 도 2b의 관성 센서(205))의 위치에 따라 변할 수 있다. 예를 들어, 관성 센서(205)가 대상자의 신체 부위(예: 도 2의 신체 부위(220))의 제1 영역(예: 중앙 부분)에 배치될 때 획득하는 SCG 신호는, 관성 센서(205)가 대상자의 신체 부위(220)의 제2 영역(예: 아래 부분)에 배치될 때 획득하는 SCG 신호와 상이할 수 있다. 이 때, 제1 영역 및 제2 영역에서 획득된 각각의 SCG 신호에 포함된 기준점들의 상대 진폭(relative amplitude)은 서로 상이할 수 있다. 예를 들어, 제2 영역에서 획득된 SCG 신호의 AO 지점의 상대 진폭은 제1 영역에서 획득된 SCG 신호의 AO 지점의 상대 진폭보다 작을 수 있다. 이 때, 프로세서(120)는 SCG 신호에 대하여 딥 러닝을 수행하여 생성한 기준점 추정 모델(fiducial point estimation model)을 통해서, 제1 영역 및 제2 영역에서 획득된 SCG 신호의 각각의 AO 지점을 추출할 수 있다.

도 4는 일 실시 예에 따른 전자 장치가 SCG 신호로부터 기준점 추정 모델을 생성하는 흐름도를 도시한다. 도 5는 일 실시 예에 따른 전자 장치가 획득한 SCG 신호의 데이터 플로우를 도시한다. 도 4 및 도 5의 설명에 있어서, 전술한 내용과 대응되거나 동일 또는 유사한 내용은 생략될 수 있다. 도 4를 설명함에 있어서, 도 5를 참조하여 설명하고자 한다.

도 4를 참조하면, 프로세서(예: 도 1의 프로세서(120))는 동작 400에서 대상자의 신체 일부로부터 획득한 SCG 신호를 수신할 수 있다. 일 실시 예에서, 프로세서(120)는 관성 센서(예: 도 2b의 관성 센서(205))를 통해 대상자의 심장 부근에 대응하는 신체 부위(예: 도 2b의 신체 부위(220))로부터 획득된 SCG 신호를 수신할 수 있다. 상기 SCG 신호는 도 5의 로우 SCG 신호(raw SCG signal)(500)에 해당할 수 있다.

일 실시 예에 따르면, 프로세서(120)는 동작 410에서 SCG 신호를 복수 개의 대역 필터로 입력하여 분할된 복수 개의 SCG 신호들을 획득할 수 있다.

일 실시 예에서, 복수 개의 대역 필터는 0.8Hz 내지 50Hz의 범위에서 서로 다른 주파수 대역폭(bandwidth)을 갖는 대역 필터들을 포함할 수 있다. 도 5의 복수 개의 대역 필터(510)는 제1 대역 필터, 제2 대역 필터, 제3 대역 필터 내지 제N 대역 필터와 같이 N개의 대역 필터들을 포함할 수 있다. 예를 들어, N=3인 경우에, 제1 대역 필터는 0.8Hz 내지 10Hz, 제2 대역 필터는 10Hz 내지 35Hz, 제3 대역 필터는 35Hz 내지 50Hz의 대역폭을 가질 수 있다. 이는 일 예시에 불과할 뿐, 대역 필터의 개수 및 대역폭은 제조사의 설계에 따라 다양하게 변경될 수 있다.

일 실시 예에서, 프로세서(120)는 도 5의 로우 SCG 신호(500)를 복수 개의 대역 필터(510)에 입력하여 주파수 대역 별로 분할된 N개의 SCG 신호들을 획득할 수 있다. 일 실시 예에서, 프로세서(120)는 로우 SCG 신호(500)를 주파수 대역 별로 분할하여 학습을 수행함에 따라, 추정 성능의 저하 및 메모리의 과도한 사용을 방지할 수 있다.

일 실시 예에 따르면, 프로세서(120)는 동작 420에서 복수 개의 SCG 신호들에 기초한 딥 러닝을 통해 기준점 추정 모델(fiducial point estimation model)을 생성할 수 있다.

일 실시 예에서, 딥 러닝은 도 5의 심층 신경망(deep neural network, DNN)(520) 알고리즘을 통해 구현될 수 있다. 예를 들어, 심층 신경망(520)은 입력 뉴런, 출력 뉴런, 적어도 하나의 덴스 레이어(dense layer) 및 양방향 LSTM 레이어(bi-directional LSTM layer)를 포함할 수 있다. 이에 대한 구체적인 설명은 도 6에서 후술하고자 한다.

일 실시 예에서, 프로세서(120)는 도 5의 복수 개의 대역 필터(510)로부터 획득한 복수 개의 SCG 신호들을 심층 신경망의 입력 뉴런으로 입력할 수 있다. 일 실시 예에서, 프로세서(120)는 상기 복수 개의 SCG 신호들을 입력 뉴런으로 입력하기 이전에, SCG 신호의 특성에 대한 지식(예: 기준점에 대응하는 신호 패턴)을 심층 신경망에 적용할 수 있다. 상기 SCG 신호의 특성에 대한 지식을 심층 신경망에 적용함으로써, 심층 신경망의 학습 성능이 증가할 수 있다.

일 실시 예에서, 프로세서(120)는 심층 신경망(520)을 통한 학습을 반복함으로써, 대상자의 심장 박동에 대한 기준점 추정 모델(530)을 생성할 수 있다. 프로세서(120)는 생성한 기준점 추정 모델(530)에 기초하여, 센서로부터 수신한 SCG 신호에서의 기준점을 추출할 수 있다. 또한, 프로세서(120)는 기준점 추정 모델(530)을 생성한 이후에도, 도 4의 동작 400 내지 420을 반복함으로써 기준점 추정 모델(530)을 지속적으로 갱신(update)할 수 있다.

도 6은 일 실시 예에 따른 전자 장치에서 학습되는 심층 신경망의 알고리즘을 도시한다.

도 6을 참조하면, 심층 신경망(520)은 입력 뉴런, 적어도 하나의 덴스 레이어(dense layer), 양방향 LSTM 레이어(bi-directional LSTM layer) 및 출력 뉴런을 포함할 수 있다.

일 실시 예에서, 입력 뉴런으로 입력되는 SCG 신호의 크기는 배치 사이즈(batch size), 시퀀스 길이(sequence length) 및 필터의 개수에 따라 결정될 수 있다. 예를 들어, 배치 사이즈가 3, 시퀀스 길이가 10 및 필터의 개수가 5인 경우에, 입력되는 신호의 크기는 'shape=(3, 10, 5)'와 같이 표현될 수 있다.

일 실시 예에서, 심층 신경망(520)은 순방향(forward)으로 학습하는 레이어 및 역방향(backward)으로 학습하는 레이어를 포함하는 양방향 LSTM 레이어를 포함할 수 있다. 예를 들어, 심층 신경망(520)의 입력 뉴런에 주파수 대역 별로 분할된 복수 개의 SCG 신호들이 입력되면, 상기 입력된 신호들은 5개의 뉴런을 포함하는 제1 덴스 레이어로 전달될 수 있다. 제1 덴스 레이어로 전달된 신호들은 양방향 LSTM 레이어로 전달될 수 있으며, 양방향 LSTM 레이어에서는 상기 전달된 신호들에 대하여 순방향의 시계열 학습 및 역방향의 시계열 학습이 병렬적으로 수행될 수 있다.

심층 신경망(520)이 양방향 LSTM 레이어를 포함함에 따라, 시퀀스 길이가 길거나 뎁스(depth)가 깊어도 심층 신경망(520)의 학습 성능이 저하되지 않을 수 있다. 특히, 심층 신경망(520)은 순방향 및 역방향의 시계열 학습을 병렬적으로 수행함에 따라, 실질적으로 정확도가 개선된 기준점 추정 모델을 생성할 수 있다. 이를 통해, 심층 신경망(520)을 통해 학습을 수행한 전자 장치(예: 도 1의 전자 장치(100))는 센서(예: 도 2b의 관성 센서(205))를 통해 획득한 SCG 신호로부터 주요 기준점들을 정확하게 추출할 수 있다.

일 실시 예에서, 양방향 LSTM 레이어에서 출력된 신호들은 제2 덴스 레이어로 전달될 수 있다. 예를 들어, 순방향의 시계열 학습을 수행한 신호들 및 역방향의 시계열 학습을 수행한 신호들은 연결되어 제2 덴스 레이어로 전달될 수 있다. 다른 예를 들어, 순방향의 시계열 학습을 수행한 신호들 및 역방향의 시계열 학습을 수행한 신호들은 합해진 후에 제2 덴스 레이어로 전달될 수 있다. 또 다른 예를 들어, 순방향의 시계열 학습을 수행한 신호들 및 역방향의 시계열 학습을 수행한 신호들의 평균 값이 제2 덴스 레이어로 전달될 수도 있다.

일 실시 예에서, 제2 덴스 레이어 이후에 양방향 LSTM 레이어 및 덴스 레이어가 교차하여 추가될 수 있다. 예를 들어, 입력 뉴런과 출력 뉴런 사이에 은닉 레이어는 제1 덴스 레이어, 양방향 LSTM 레이어, 제2 덴스 레이어, 양방향 LSTM 레이어, 제3 덴스 레이어, 양방향 LSTM 레이어, ?? , 양방향 LSTM 레이어, 제n 덴스 레이어를 포함할 수 있다. 이 때, 은닉 레이어는 n개의 덴스 레이어 및 n-1개의 양방향 LSTM 레이어를 포함할 수 있다.

일 실시 예에서, 적어도 하나의 덴스 레이어 및 양방향 LSTM 레이어를 통해 학습된 데이터는 출력 뉴런으로 출력될 수 있다. 이 때, 상기 학습된 데이터는 대상자의 심장 박동에 대한 기준점에 대한 데이터를 의미할 수 있다.

일 실시 예에서, 출력 뉴런은 원핫 인코딩(one-hot encoding)을 통해 상기 학습된 데이터를 표현할 수 있다. 출력 뉴런은 기준점에 대응하는 부분에 대해 '1'을 적용하고, 기준점에 대응하지 않는 나머지 부분에 대해 '0'으로 표현할 수 있다. 예를 들어, 시퀀스 길이가 10이고 학습된 기준점인 대동맥 판막 열림(AO)이 2번째에서 추출된 경우에 출력 뉴런의 형태는

와 같이 표현될 수 있다.

도 7은 일 실시 예에 따른 전자 장치가 기준점 추정 모델을 통해 기준점을 검출하는 그래프를 도시한다.

도 7을 참조하면, 프로세서(예: 도 1의 프로세서(120))는 관성 센서(예: 도 2b의 관성 센서(205))를 통해 대상자의 신체 일부로부터 SCG 신호를 획득할 수 있다. 프로세서(120)는 딥 러닝에 기초하여 생성한 기준점 추정 모델(예: 도 5의 기준점 추정 모델(530))을 통해 대상자의 심장 박동에 대한 기준점들(700, 705, 710, 715)을 추출할 수 있다. 예를 들어, 프로세서(120)는 대동맥 판막 열림(AO) 지점을 나타내는 기준점에 대응하는 진폭에 기초하여 기준점을 추출하는 것이 아니라, 학습을 통해 생성한 기준점 추정 모델을 통해 기준점을 추출할 수 있다.

일 실시 예에서, 프로세서(120)는 광학 센서(예: 도 2b의 광학 센서(215))를 통해 대상자의 신체 일부로부터 광혈류 신호를 획득할 수 있다. 프로세서(120)는 광혈류 신호의 진폭 변화에 기초하여 특징점들(720, 725, 730, 735)을 획득할 수 있다. 예를 들어, 프로세서(120)는 광혈류 신호의 진폭이 급격하게 증가하는 지점을 특징점으로 판단하여 획득할 수 있다.

일 실시 예에서, 프로세서(120)는 기준점 추정 모델(530)을 통해 추출한 기준점들(700, 705, 710, 715)과 광혈류 신호의 진폭 변화에 기초하여 획득한 특징점들(720, 725, 730, 735) 사이의 시간 차를 맥파 전달 시간으로 판단할 수 있다. 예를 들어, 프로세서(120)는 제1 기준점(700) 및 제1 특징점(720) 사이의 시간 차를 연산하여, 맥파 전달 시간(740)을 획득할 수 있다.

한편, 상술한 실시 예는, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터에 의해 판독 가능한 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 실시 예에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 또한, 상술한 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로 구현될 수 있다. 예를 들어, 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 컴퓨터가 읽고 실행할 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다.

컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 기록 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 마그네틱 저장매체, 예를 들면, 롬, 플로피 디스크, 하드 디스크 등을 포함하고, 광학적 판독 매체, 예를 들면, 시디롬, DVD 등과 같은 저장 매체를 포함할 수 있으나, 이에 제한되지 않는다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다.

또한, 컴퓨터가 읽을 수 있는 복수의 기록 매체가 네트워크로 연결된 컴퓨터 시스템들에 분산되어 있을 수 있으며, 분산된 기록 매체들에 저장된 데이터, 예를 들면 프로그램 명령어 및 코드가 적어도 하나의 컴퓨터에 의해 실행될 수 있다.

본 개시에서 설명된 특정 실행들은 일 실시 예 일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 개시의 실시 예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.

본 개시는 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 본 개시는 명세서에 기재된 특정한 실시 형태에 의해 한정되는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물이 본 개시에 포함되는 것으로 이해되어야 한다. 그러므로 개시된 실시 예들은 한정적인 관점이 아닌 설명적 관점에서 이해되어야 한다.

본 개시의 범위는 발명의 상세한 설명보다는 특허 청구 범위에 의하여 나타나며, 특허 청구 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

"...부", "...모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다.

예를 들어, "...부", "...모듈" 은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.

Claims

전자 장치의 전면부의 적어도 일 영역에 배치되어 대상자의 신체 일 부분으로부터 SCG 신호를 획득하는 관성 센서;
상기 전자 장치의 후면부의 적어도 일 영역에 배치되어 대상자의 신체 다른 부분으로부터 광 혈류 신호를 획득하는 광학 센서; 및
상기 관성 센서 및 상기 광학 센서와 전기적으로 연결되는 프로세서를 포함하고,
상기 프로세서는,
상기 관성 센서로부터 상기 SCG 신호를 수신하고, 상기 수신한 SCG 신호를 복수 개의 대역 필터(band-pass filter)로 입력하여 주파수 대역 별로 분할된 복수 개의 SCG 신호들을 획득하고, 상기 복수 개의 SCG 신호들에 기초한 딥 러닝(deep learning)을 통해 상기 대상자의 심장 박동에 대한 기준점 추정 모델(fiducial point estimation model)을 생성하고,
상기 생성된 기준점 추정 모델 및 상기 광학 센서로부터 획득된 상기 광 혈류 신호의 진폭 변화에 기초하여 맥파 전달 시간을 획득하는, 전자 장치.
제1항에 있어서,
상기 프로세서는, 상기 기준점 추정 모델을 통해 상기 대상자의 심장 박동 중 대동맥 판막 열림(aortic valve opening) 지점을 검출하는, 전자 장치.
제2항에 있어서,
상기 프로세서는, 상기 검출한 대동맥 판막 열림 지점을 통해 상기 대상자의 맥박 이동 시간(pulse transit time)을 판단하는, 전자 장치.
제1항에 있어서,
상기 딥 러닝은 심층 신경망(deep neural network) 알고리즘을 통해 구현되는, 전자 장치.
제4항에 있어서,
상기 프로세서는,
상기 복수 개의 SCG 신호들을 상기 심층 신경망 알고리즘의 입력 뉴런(input neuron)으로 입력하고, 기준점에 대한 데이터를 출력 뉴런(output neuron)으로 출력하는, 전자 장치.
제4항에 있어서,
상기 심층 신경망 알고리즘은 적어도 하나의 덴스 레이어(dense layer) 및 양방향 LSTM 레이어(bi-directional LSTM layer)를 포함하는, 전자 장치.
제1항에 있어서,
상기 복수 개의 대역 필터는 0.8Hz 내지 50Hz의 범위에서 서로 다른 주파수 대역폭(bandwidth)을 갖는 대역 필터들을 포함하는, 전자 장치.
전자 장치의 전면부의 적어도 일 영역에 배치되는 관성 센서를 통해 대상자의 신체 일 부분으로부터 획득한 SCG 신호를 수신하는 동작;
상기 수신한 SCG 신호를 복수 개의 대역 필터(band-pass filter)로 입력하여 주파수 대역 별로 분할된 복수 개의 SCG 신호들을 획득하는 동작;
상기 복수 개의 SCG 신호들에 기초한 딥 러닝(deep learning)을 통해 상기 대상자의 심장 박동에 대한 기준점 추정 모델(fiducial point estimation model)을 생성하는 동작; 및
상기 생성된 기준점 추정 모델 및 상기 전자 장치의 후면부의 적어도 일 영역에 배치되는 광학 센서를 통해 대상자의 신체 다른 부분으로부터 획득되는 광 혈류 신호의 진폭 변화에 기초하여 맥파 전달 시간을 획득하는 동작을 포함하는, 전자 장치의 동작 방법.
제8항에 있어서,
상기 기준점 추정 모델을 통해 상기 대상자의 심장 박동 중 대동맥 판막 열림 지점을 검출하는 동작을 더 포함하는, 전자 장치의 동작 방법.
제9항에 있어서,
상기 검출한 대동맥 판막 열림 지점을 통해 상기 대상자의 맥박 이동 시간(pulse transit time)을 판단하는 동작을 더 포함하는, 전자 장치의 동작 방법.
제8항에 있어서,
상기 딥 러닝은 심층 신경망(deep neural network) 알고리즘을 통해 구현되는, 전자 장치의 동작 방법.
제11항에 있어서,
상기 복수 개의 SCG 신호들을 상기 심층 신경망 알고리즘의 입력 뉴런(input neuron)으로 입력하고, 기준점에 대한 데이터를 출력 뉴런(output neuron)으로 출력하는 동작을 더 포함하는, 전자 장치의 동작 방법.
제11항에 있어서,
상기 심층 신경망 알고리즘은 적어도 하나의 덴스 레이어(dense layer) 및 양방향 LSTM 레이어(bi-directional LSTM layer)를 포함하는, 전자 장치의 동작 방법.
제8항에 있어서,
상기 복수 개의 대역 필터는 0.8Hz 내지 50Hz의 범위에서 서로 다른 주파수 대역폭(bandwidth)을 갖는 대역 필터들을 포함하는, 전자 장치의 동작 방법.
제8항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한, 컴퓨터 판독 가능한 기록 매체.