KR102443679B1 - 심전도 추정을 사용한 수면분석 장치 - Google Patents
심전도 추정을 사용한 수면분석 장치 Download PDFInfo
- Publication number
- KR102443679B1 KR102443679B1 KR1020200145218A KR20200145218A KR102443679B1 KR 102443679 B1 KR102443679 B1 KR 102443679B1 KR 1020200145218 A KR1020200145218 A KR 1020200145218A KR 20200145218 A KR20200145218 A KR 20200145218A KR 102443679 B1 KR102443679 B1 KR 102443679B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- electrocardiogram
- sleep state
- user
- sleep
- Prior art date
Links
- 230000007958 sleep Effects 0.000 claims abstract description 166
- 238000004458 analytical method Methods 0.000 claims abstract description 77
- 238000013186 photoplethysmography Methods 0.000 claims abstract description 37
- 238000004891 communication Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000013136 deep learning model Methods 0.000 claims description 2
- 239000003795 chemical substances by application Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 210000001061 forehead Anatomy 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 210000005259 peripheral blood Anatomy 0.000 description 2
- 239000011886 peripheral blood Substances 0.000 description 2
- 238000000718 qrs complex Methods 0.000 description 2
- 230000004622 sleep time Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4812—Detecting sleep stages or cycles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/327—Generation of artificial ECG signals based on measured signals, e.g. to compensate for missing leads
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Abstract
광용적맥파 신호로부터 심전도 신호를 정확하게 추정할 수 있는 본 발명의 일 측면에 따른 심전도 추정을 사용한 수면분석 장치는 사용자로부터 광용적맥파(Photo-PlethysmoGraphy: PPG) 신호를 획득하는 센싱장치; 및 상기 광용적맥파 신호로부터 유효 심전도(Electrocardiogram: ECG) 신호를 추정하고, 추정된 유효 심전도 신호를 이용하여 상기 사용자의 수면상태를 분석하는 수면상태 분석서버를 포함하고, 상기 수면상태 분석서버는, 학습용 광용적맥파 신호 및 상기 학습용 광용적맥파 신호에 대응되는 학습용 심전도 신호로 구성된 복수개의 데이터 셋을 이용하여 학습되고, 상기 센싱장치에 의해 획득된 광용적맥파 신호가 입력되면, 상기 광용적맥파 신호를 기초로 상기 유효 심전도 신호를 추정하여 출력하는 심전도 신호 추정부; 상기 유효 심전도 신호에 포함된 피크값들 간의 간격을 이용하여 심박 변이도(Heart Rate Variability: HRV)를 산출하는 심박 변이도 산출부; 및 상기 심박 변이도를 기초로 상기 사용자의 수면상태를 분석하여 수면상태 분석결과를 생성하는 수면상태 분석부를 포함하는 것을 특징으로 한다.
Description
본 발명은 수면분석 장치에 관한 것으로서, 보다 구체적으로 심전도를 이용하여 사용자의 수면상태를 분석하는 장치에 관한 것이다.
스마트 기기의 발달과 더불어 건강에 대한 관심이 높아짐에 따라 사용자의 수면 활동, 생체 상태, 운동량 등을 감지하는 센서들로부터 감지된 데이터를 기초로 사용자의 건강을 관리하는 장치들이 개발되고 있다.
그 중에서, 사용자의 수면 상태를 분석하여 사용자의 수면환경을 제어할 수 있는 수면 상태 분석 서비스의 필요성이 대두 되고 있다. 이러한 수면 상태 분석 서비스를 제공하기 위해서는, 사용자의 수면상태를 분석하기 위한 사용자의 생체 데이터를 획득하는 센서들이 요구된다.
일 예로, 사용장의 심전도 신호를 센싱하는 심전도 센싱장치를 사용자가 부착하고, 심전도 센싱장치로부터 획득된 사용자의 심전도 신호를 이용하여 사용자의 수면상태를 분석하는 방법이 제안된 바 있다.
하지만, 심전도 센싱장치는 다수의 전극들을 사용자의 신체에 부착하여야 하기 때문에 사용자의 수면에 방해가 될 수 있다는 문제점이 있다.
또한, 사용자의 PPG신호를 센싱할 수 있는 PPG센서를 부착하고, PPG센서로부터 획득된 사용자의 PPG신호로부터 심박동수를 추출하고, 추출된 심박동수를 이용하여 사용자의 수면상태를 분석하는 방법이 제안된 바 있다. 하지만, PPG센서는 광학센서이기 때문에 주변 광이나 사용자의 움직임에 의해 노이즈가 포함될 수 있어 노이즈가 포함된 PPG신호 상에서는 심박동수를 정확하게 추출할 수 없다는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 광용적맥파 신호로부터 심전도 신호를 정확하게 추정할 수 있는 심전도 추정을 사용한 수면분석 장치를 제공하는 것을 그 기술적 특징으로 한다.
또한, 본 발명은 추정된 심전도 신호를 기초로 사용자의 수면상태를 분석하고, 사용자의 수면상태에 따라 수면유도를 위한 앰비언트 뮤직의 재생여부를 결정할 수 있는 심전도 추정을 사용한 수면분석 장치를 제공하는 것을 다른 기술적 특징으로 한다.
또한, 본 발명은 심전도 신호를 기초로 획득된 사용자의 수면상태 분석결과를 사용자에게 제공할 수 있는 심전도 추정을 사용한 수면분석 장치를 제공하는 것을 또 다른 기술적 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 심전도 추정을 사용한 수면분석 장치는 사용자로부터 광용적맥파(Photo-PlethysmoGraphy: PPG) 신호를 획득하는 센싱장치; 및 상기 광용적맥파 신호로부터 유효 심전도(Electrocardiogram: ECG) 신호를 추정하고, 추정된 유효 심전도 신호를 이용하여 상기 사용자의 수면상태를 분석하는 수면상태 분석서버를 포함하고, 상기 수면상태 분석서버는, 학습용 광용적맥파 신호 및 상기 학습용 광용적맥파 신호에 대응되는 학습용 심전도 신호로 구성된 복수개의 데이터 셋을 이용하여 학습되고, 상기 센싱장치에 의해 획득된 광용적맥파 신호가 입력되면, 상기 광용적맥파 신호를 기초로 상기 유효 심전도 신호를 추정하여 출력하는 심전도 신호 추정부; 상기 유효 심전도 신호에 포함된 피크값들 간의 간격을 이용하여 심박 변이도(Heart Rate Variability: HRV)를 산출하는 심박 변이도 산출부; 및 상기 심박 변이도를 기초로 상기 사용자의 수면상태를 분석하여 수면상태 분석결과를 생성하는 수면상태 분석부를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 광용적맥파 신호와 심전도 신호 쌍으로 구성된 복수개의 데이터 셋을 이용하여 학습된 신경망 모델을 이용하여 사용자의 광용적맥파 신호로부터 심전도 신호를 추정하기 때문에, 심전도 신호 측정을 위한 다수의 전극들을 부착할 필요가 없어 사용자의 편의성이 향상될 뿐만 아니라 심전도 신호의 정확성도 향상된다는 효과가 있다.
또한, 본 발명에 따르면 사용자의 수면유도를 위해 사용자에게 앰비언트 뮤직을 제공하고, 추정된 심전도 신호를 기초로 사용자의 수면상태를 분석한 결과 사용자가 깊은 수면상태에 진입한 것으로 판단되면 앰비언트 뮤직의 재생을 자동으로 정지시킴으로써, 깊은 수면상태에 진입한 사용자에게 앰비언트 뮤직이 방해가 되는 것을 방지할 수 있어 사용자가 높은 퀄러티의 수면을 취할 수 있다는 효과가 있다.
또한, 본 발명에 따르면 심전도 신호를 기초로 획득된 사용자의 수면상태 분석결과를 사용자에게 제공함으로써 수면시간 또는 수면상태에 대한 결과를 사용자가 인지할 수 있도록 할 수 있을 뿐만 아니라, 수면상태 분석결과를 의료진과 공유함으로써 사용자의 건강상태를 모니터링 할 수 있다는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 심전도 추정을 사용한 수면분석 장치의 구성을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 센싱장치의 구성을 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 센싱장치의 구현 예를 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 수면제어 에이전트의 구성을 개략적으로 보여주는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 수면상태 분석서버의 구성을 보여주는 블록도이다.
도 6은 본 발명에 따른 심전도 신호 추정부의 구성을 보여주는 블록도이다.
도 7은 추정된 심전도 신호로부터 추출된 유효 심전도 신호의 예를 보여주는 도면이다.
도 8은 추정된 유효 심전도 신호로부터 추출된 T피크값들의 예를 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 센싱장치의 구성을 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 센싱장치의 구현 예를 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 수면제어 에이전트의 구성을 개략적으로 보여주는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 수면상태 분석서버의 구성을 보여주는 블록도이다.
도 6은 본 발명에 따른 심전도 신호 추정부의 구성을 보여주는 블록도이다.
도 7은 추정된 심전도 신호로부터 추출된 유효 심전도 신호의 예를 보여주는 도면이다.
도 8은 추정된 유효 심전도 신호로부터 추출된 T피크값들의 예를 보여주는 도면이다.
명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명의 핵심 구성과 관련이 없는 경우 및 본 발명의 기술분야에 공지된 구성과 기능에 대한 상세한 설명은 생략될 수 있다. 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
본 명세서에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
위치 관계에 대한 설명일 경우, 예를 들어, '~상에', '~상부에', '~하부에', '~옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.
시간 관계에 대한 설명일 경우, 예를 들어, '~후에', '~에 이어서', '~다음에', '~전에' 등으로 시간적 선후 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 연속적이지 않은 경우도 포함할 수 있다.
제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
"적어도 하나"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및 제 3 항목 중에서 적어도 하나"의 의미는 제1 항목, 제2 항목 또는 제3 항목 각각 뿐만 아니라 제1 항목, 제2 항목 및 제3 항목 중에서 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미할 수 있다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하고, 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시할 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 심전도 추정을 사용한 수면분석 장치의 구성을 보여주는 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 심전도 추정을 사용한 수면분석 장치(100)는 센싱장치(110), 사용자 단말기(120)에 탑재되는 수면제어 에이전트(130), 및 수면상태 분석서버(140)를 포함한다.
먼저, 센싱장치(110)는 수면을 시도하는 사용자로부터 사용자의 생체신호를 획득하고, 획득된 생체신호를 수면제어 에이전트(130)로 전송한다. 일 실시예에 있어서, 센싱장치(110)는 사용자로부터 사용자의 광용적맥파(Photo-PlethysmoGraphy: PPG) 신호를 획득할 수 있다. 이때, 센싱장치(110)는 밴드, 팔찌, 시계 등과 같은 웨어러블(Wearable) 디바이스 형태로 구현될 수 있다. 이하, 본 발명에 따른 센싱장치(110)의 구성을 도 2를 참조하여 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른 센싱장치의 구성을 보여주는 블록도이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 센싱장치(110)는 PPG센서(210), 제어부(220), 제1 무선통신부(230), 및 전원공급부(240)를 포함한다.
PPG센서(210)는 사용자의 신체에 착용되어 수면을 시도하는 사용자로부터 사용자의 광용적맥파 신호를 센싱한다.
광용적맥파 신호는 심실 수축기 동안 내뿜어지는 혈액이 말초혈관에 전달될 때 말초신경에서 측정되는 광전신호를 나타낸다. 따라서, PPG센서(210)는 말초혈관 내의 혈류량에 따라 흡수되는 빛의 변화량을 감지하는 것으로서, 적외선과 적색광(Red light)을 방출하는 발광부(미도시)와 발광부로부터 사용자의 신체로 조사되어 반사된 빛을 감지하는 수광부(미도시)로 구성되어 있으며, 수광부에서 출력되는 시간에 따른 광혈류량의 변화로부터 광용적맥파 신호를 검출한다.
PPG센서(210)는 사용자의 신체와 단 하나의 접촉점을 통해 측정될 수 있기 때문에 다수의 전극을 부착해야 하는 심전도(electrocardiogram or ECG) 센서에 비하여 사용자에게 불편함을 주지 않는다는 장점이 있다.
제어부(220)는 PPG센서(210)로부 터 광용적맥파 신호를 수신하고, 수신한 광용적맥파 신호를 제1 무선 통신부(250)를 통해 수면제어 에이전트(130)로 전송한다. 일 실시예에 있어서, 제어부(220)는 PPG센서(210)로부터 수신된 광용적맥파 신호를 제1 무선 통신부(250)가 지원하는 무선 통신 프로토콜에 따른 형태로 변환하여 수면제어 에이전트(130)로 전송할 수 있다.
또한, 본 발명에 따른 제어부(220)는 사용자의 수면상태에 따라 전원공급부(240)에 의한 전원공급을 제어할 수 있다. 구체적으로, 사용자가 깊은 수면상태에 진입한 것으로 판단되어 수면제어 에이전트(130)로부터 전원오프신호가 수신되면, 제어부(220)는 수신된 전원오프신호에 따라 전원공급장치(240)를 비활성화(Disable) 시킴으로써 전원공급부(240)에 의한 전원공급이 차단되도록 한다. 이에 따라, 사용자가 깊은 수면상태에 진입한 경우 센싱장치(110)의 동작을 중지시킴으로써 센싱장치(110)의 전력소모를 방지할 수 있다.
제 1 무선 통신부(250)는 제어부(230)를 통해 사용자의 광용적맥파 신호가 수신되면, 수신된 광용적맥파 신호를 수면제어 에이전트(130)로 전송한다. 이때, 광용적맥파 신호는 제1 무선 통신부(250)가 지원하는 무선 통신 프로토콜에 따라 변환된 신호일 수 있다.
일 실시예에 있어서, 제 1 무선 통신부(250)는 블루투스(Bluetooth), WiFi(IEEE 802.11b High Rate), WLAN(Wireless LAN), UWB(Ultra Wide Band), IrDA(Infrared Data Association), HPNA(Home Phoneline Networking Alliance), SWAP(Shared Wireless Access Protocol), IEEE1394 등과 같은 근거리 무선통신을 수행하기 위한 근거리 통신 모듈로 구현될 수 있다.
도 3에 본 발명의 일 실시예에 따른 센싱장치의 구현 예가 도시되어 있다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 센싱장치(110)는 사용자의 이마에 착용될 수 있는 밴드 타입으로 구현될 수 있다. 구체적으로, 센싱장치(110)는 PPG센서(210), 제어부(220), 제1 무선통신부(230), 및 전원공급부(240)가 도 3에 도시된 하우징(310)에 실장되고, 하우징(310)은 밴드(320)를 통해 사용자의 이마에 착용된다. 이때, 하우징(310) 중 사용자의 이마에 접촉하는 면에는 광용적맥파의 측정을 위한 개구부(미도시)가 형성되어 있을 수 있다. 또한, 밴드(320)는 착용의 용이성을 향상시키기 위해 플렉시블 재질로 형성될 수 있다.
본 발명에서, 센싱장치(110)를 사용자의 이마에 착용할 수 있는 밴드타입으로 구현한 이유는, 센싱장치(110)가 사용자의 손가락 등에 착용되는 경우 수면중인 사용자의 움직임에 의해 부정확한 광용적맥파 신호가 측정될 수 있기 때문에, 상대적으로 사용자의 움직임에 의한 영향이 덜한 사용자의 이마부위에 센싱장치(110)가 착용될 수 있도록 함으로써 보다 정확한 광용적맥파를 획득하기 위함이다.
다시 도 1을 참조하면, 사용자 단말기(120)는 사용자의 수면상태 모니터링을 위한 수면제어 에이전트(130)가 탑재된다. 일 실시예에 있어서, 사용자 단말기(120)는 스마트폰(Smart Phone), 휴대폰, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등과 같은 모바일 기기일 수도 있다. 다른 예로, 사용자 단말기(120)는 시계 등과 같이 사용자가 착용할 수 있는 형태의 웨어러블(Wearable) 기기일 수도 있다.
사용자 단말기(120)는 내부에 구비된 제2 무선 통신부(미도시)를 통해 센싱장치(110)와 통신하여 센싱장치(110)로부터 광용적맥파 신호를 수신하고, 수신된 광용적맥파 신호를 수면상태 분석서버(140)로 전송한다.
또한, 사용자 단말기(120)는 수면제어 에이전트(130)에 의해 생성되는 전원제어신호를 제2 무선 통신부를 통해 센싱장치(110)로 전송한다.
수면제어 에이전트(130)는 사용자 단말기(120)에 탑재되어 사용자의 수면상태를 모니터링한다. 특히, 본 발명에 따른 수면제어 에이전트(130)는 사용자의 요청에 따라 사용자의 수면유도를 위한 앰비언트 뮤직을 재생하고, 사용자 깊은 수면상태에 진입한 것으로 판단되는 경우 재생되고 있는 앰비언트 뮤직을 중지시킬 수 있다.
이하, 본 발명에 따른 수면제어 에이전트(130)의 구성을 도 4를 참조하여 보다 구체적으로 설명한다.
도 4는 본 발명의 일 실시예에 따른 수면제어 에이전트의 구성을 개략적으로 보여주는 블록도이다. 도 4에 도시된 바와 같이, 수면제어 에이전트(130) 인터페이스부(410), 제어부(420), 및 수면상태 분석결과 제공부(440)를 포함한다.
인터페이스부(410)는 센싱장치(110)가 동작을 개시한 후 사용자에 의해 수면제어 에이전트(130)가 실행되면, 사용자 단말기(120)의 제2 무선 통신부를 통해 센싱장치(110)로부터 사용자의 광용적맥파 신호를 획득한다. 또한, 인터페이스부(410)는 사용자로부터 획득된 광용적맥파 신호를 수면상태 분석서버(140)로 전송한다.
제어부(420)는 수면을 시도하는 사용자로부터 앰비언트 뮤직 재생이 요청되면, 요청된 엠비언트 뮤직을 재생한다. 일 실시예에 있어서, 재생될 뮤직은 사용자 단말기(120)에 포함된 저장부(미도시)에 저장되어 있고, 제어부(420)는 저장부에 저장되어 있는 뮤직의 리스트를 사용자에게 제공함으로써, 리스트에 포함된 앰비언트 뮤직들 중 사용자에 의해 선택되는 뮤직을 앰비언트 뮤직으로 재생시킬 수 있다.
다른 예로, 제어부(420)는 사용자의 요청에 따라 뮤직 스트리밍 서비스를 제공하는 사이트에 접속하고, 해당 사이트에서 제공되는 뮤직들 중 사용자에 의해 선택되는 뮤직을 앰비언트 뮤직으로 재생시킬 수도 있다. 이때, 제어부(420)는 해당 해당 사이트로의 접속 및 해당 사이트에서 제공되는 뮤직의 재생을 위한 별도의 에이전트와 연동하여 동작함으로써, 앰비언트 뮤직 재생에 대한 사용자의 요청 발생시 해당 에이전트를 실행시킴으로써 앰비언트 뮤직 재생 서비스를 제공할 수 있다.
또한, 제어부(420)는 인터페이스부(410)를 통해 수면상태 분석서버(140)로부터 수면상태 분석결과를 수신하고, 수면상태 분석결과를 기초로 사용자가 깊은 수면상태에 진입하였는지 여부를 결정할 수 있다. 이때, 수면상태 분석결과에는 사용자가 깊은 수면상태에 진입하였다는 정보가 직접적으로 기재되어 있을 수 있다. 제어부(420)는 사용자가 깊은 수면상태에 진입한 것으로 확인되면, 재생되고 있던 앰비언트 뮤직을 중지시킨다.
상술한 실시예에 있어서는 수면상태 분석결과에 사용자가 싶은 수면상태에 진입하였다는 정보가 직접적으로 포함되는 것으로 기재하였지만, 다른 실시예에 있어서 수면상태 분석결과에는 심박 변이도 등의 정보가 포함되고, 제어부(420)는 수면상태 분석결과에 포함된 심박 변이도가 임계치 보다 작은 경우, 사용자가 깊은 수면 상태에 진입한 것으로 판단할 수도 있다.
이와 같이, 본 발명에 따르면 사용자가 깊은 수면상태에 진입한 것으로 확인되면, 제어부(420)가 재생중이던 앰비언트 뮤직을 자동으로 중지시킬 수 있어, 앰비언트 뮤직으로 인해 사용자의 깊은 수면 상태의 유지가 방해되는 것을 미연에 방지할 수 있게 된다.
상술한 실시예에 있어서, 제어부(420)는 사용자의 수면상태에 따라 사용자 단말기(120)를 통해 재생되고 있는 앰비언트 뮤직을 재생하거나 재생을 중지시키는 것으로 설명하였다. 하지만, 본 발명에 따른 제어부(420)는 이에 한정되지 않고, 댁내에 구비된 인공지능 스피커를 통해 앰비언트 뮤직을 재생하거나 재생중인 앰비언트 뮤직을 중지시킬 수 있다.
또한, 상술한 실시예에 있어서 제어부(420)는 사용자의 수면상태에 따라 앰비언트 뮤직을 재생하거나 재생을 중지시키는 것으로 설명하였지만, 다른 실시예에 있어서, 제어부(420)는 사용자의 수면상태에 따라 스마트 조명기기(미도시)를 제어하여 앰비언트 조명을 턴온시키거나 턴오프시킬 수도 있을 것이다.
한편, 본 발명에 따른 제어부(420)는 인터페이스부(410)를 통해 수면상태 분석서버(140)로부터 제공된 수면상태 분석결과를 기초로 사용자가 깊은 수면상태에 진입한 것으로 확인되면, 센싱장치(110)의 전원을 오프시키기 위한 전원오프신호를 생성하고, 생성된 전원오프신호를 인터페이스부(410)를 통해 센싱장치(110)로 전송한다. 이에 따라, 사용자가 깊은 수면상태에 진입한 것으로 확인되면, 센싱장치(110)의 동작을 중지시킬 수 있어 센싱장치(110)의 전력소모를 방지할 수 있게 된다.
수면상태분석결과 제공부(440)는 인터페이스부(410)를 통해 수면상태 분석서버(140)로부터 수신되는 사용자의 수면상태 분석결과를 제어부(420)의 제어하에 데이터베이스(미도시)에 저장한다. 수면상태 분석결과 제공부(440)는 사용자로부터 수면상태 분석결과 제공요청이 수신되면, 해당 사용자의 수면상태 분석결과를 데이터베이스로부터 독출하여 사용자에게 제공한다.
일 실시예에 있어서, 수면상태 분석결과에는 하루 동안의 사용자의 수면시간 정보, 사용자의 심박(Heart Rate)정보, 사용자의 심박 변이도(Heart Rate Variable: HRV) 정보, 혈중 산소 농도(SpO2), 및 심전도 신호에 포함된 R-피크점들 사이의 간격(RR interval)인 RR정보 중 적어도 하나가 포함될 수 있다. 이러한 경우, 수면상태 분석결과 제공부(440)는 수면상태 분석결과에 포함된 상술한 정보들을 미리 정해진 형식의 그래픽 또는 테이블을 이용하여 사용자에게 제공할 수 있다.
한편, 수면상태 분석결과 제공부(440)는 데이터베이스에 기록되어 있는 사용자의 수면상태 분석결과를 인터페이스부(410)를 통해 의료진에게 전송할 수도 있다. 이를 통해, 사용자는 의료진으로부터 자신의 수면상태에 대한 의학적인 판단을 제공받을 수 있어 이상 발견시 조기에 치료를 받을 수 있게 된다는 효과가 있다.
다시 도 1을 참조하면, 수면상태 분석서버(140)는 수면제어 에이전트(130)로부터 수신되는 사용자의 광용적맥파 신호로부터 해당 사용자의 심전도(Electrocardiogram: ECG) 신호를 추정하고, 추정된 심전도 신호를 이용하여 사용자의 수면상태를 분석한다.
일 실시예에 있어서, 수면상태 분석서버(140)는 딥러닝 기반의 인공지능 알고리즘을 이용하여 사용자의 광용적맥파 신호로부터 해당 사용자의 심전도 신호를 추정할 수 있다. 본 발명에서, 사용자로부터 측정된 광용적맥파 신호 그 자체를 이용하여 사용자의 수면상태를 분석하지 않고, 광용적맥파 신호로부터 심전도 신호를 추정하고, 추정된 심전도 신호를 이용하여 사용자의 수면상태를 분석하는 이유는, 광용적맥파 신호는 심전도 신호에 비해 측정상의 용이함은 있지만 외부 빛에 의한 노이즈 뿐만 아니라, 약간의 움직임에도 큰 진폭의 동잡음을 야기 하고, 이러한 동잡음은 심박 검출시 몸의 떨림과 작은 움직임 등에 의한 노이즈 신호로서 정의될 수 있고, 노이즈의 제거가 쉽지 않아 신뢰도가 높은 심박 측정 결과를 제공할 수 없기 때문이다.
따라서, 본 발명에서는 측정의 용이함을 위해 광용적맥파 신호를 이용하되, 정확한 수면상태의 분석을 위해 광용적맥파 신호로부터 심전도 신호를 추정한 후, 심전도 신호를 이용하여 수면상태를 분석하는 것이다.
이하, 본 발명에 따른 수면상태 분석서버(140)의 구성을 도 5를 참조하여 보다 구체적으로 설명한다.
도 5는 본 발명의 일 실시예에 따른 수면상태 분석서버의 구성을 보여주는 블록도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 수면상태 분석서버(140)는 제3 무선 통신부(510), 심전도 신호 추정부(520), 피크 검출부(530), 심박 변이도 산출부(540), 및 수면상태 분석부(540)를 포함한다.
제3 무선 통신부(510)는 무선 네트워크를 통해 사용자 단말기(120)와 연결된다. 제3 무선 통신부(510)는 사용자 단말기(120)에 포함된 제2 무선 통신부를 통해 수면제어 에이전트(130)로부터 사용자의 광용적맥파 신호를 수신하고, 사용자의 광용적맥파 신호에 기초하여 산출된 수면상태 분석결과를 제2 무선 통신부를 통해 수면제어 에이전트(130)로 제공한다.
심전도 신호 추정부(520)는 학습용 광용적맥파 신호 및 학습용 광용적맥파 신호에 대응되는 학습용 심전도 신호로 구성된 복수개의 데이터 셋을 이용하여 미리 학습됨으로써, 센싱장치(110)를 통해 측정된 사용자의 광용적맥파 신호가 입력되면 입력된 광용적맥파 신호를 기초로 해당 사용자의 심전도 신호를 추정하여 출력한다.
일 실시예에 있어서, 심전도 신호 추정부(520)는 복수개의 학습 데이터 셋을 이용하여 학습된 생성적 적대 네트워크(Generative Adversarial Network: GAN) 기반의 딥러닝 모델을 이용하여 광용적맥파 신호로부터 심전도 신호를 추정할 수 있다.
이하, 본 발명에 따른 심전도 신호 추정부(520)의 구성을 도 6을 참조하여 보다 구체적으로 설명한다. 도 6은 본 발명에 따른 심전도 신호 추정부의 구성을 보여주는 블록도이다. 도 6에 도시된 바와 같이, 심전도 신호 추정부(520)는 전처리부(610), 정규화부(620), 생성부(630), 판별부(640), 및 유효구간 선택부(650)를 포함한다.
전처리부(610)는 수면제어 에이전트(130)를 통해 획득한 사용자의 광용적맥파 신호에 대한 전처리를 수행한다. 구체적으로, 전처리부(610)는 미리 정해진 필터를 이용하여 사용자의 광용적맥파 신호를 필터링함으로써 광용적맥파 신호로부터 AC성분의 노이즈를 제거한다. 일 실시예에 있어서, 전처리부(610)는 사비즈키-골레이(Savizky-Golay)필터를 이용하여 광용적맥파 신호로부터 AC노이즈를 제거할 수 있다. 사비즈키-골레이 필터는 광용적맥파 신호에 포함된 데이터 포인트들 중 인접한 데이터 포인트들을 저차 다항식(Low-Degree Polynomial)을 통해 다항회귀(Polynomial Regression)한 데이터로 대체함으로써 디지털 신호의 전체적인 경향성과 모양(Shape)은 유지하면서도 스무딩 효과를 나타낼 수 있게 된다.
정규화부(620)는 전처리부(610)에 의해 전처리된 광용적맥파 신호를 미리 정해진 크기로 정규화한다. 본 발명에서 정규화부(620)를 이용하여 광용적맥파 신호를 정규화하는 이유는, 측정된 광용적맥파 신호를 그대로 생성적 적대 네트워크에 적용하게 되면 최적화 연산(Optimization Calculation)에 문제가 생길 정도로 너무 큰 값이 연산 중에 발생하기 때문이다.
생성부(Generator, 630)는 판별부(Discriminator, 640)와 함께 생성적 적대 네트워크를 구성하는 기본 프레임 워크로써, 생성적 적대 네트워크 기반의 심전도 신호 추정부(520)는 생성부(630)와 판별부(640) 간의 대립적 경쟁(Adversarial Competence)을 통해 서로의 능력, 즉, 생성부(630)는 실제 심전도 신호에 최대한 가까운 가상 심전도 신호를 생성해내는 능력을 개선시킬 수 있고, 판별부(640)는 생성부(630)에 의해 생성된 가상 심전도 신호를 실제 심전도 신호로부터 구별해내는 능력을 개선시킬 수 있게 된다.
이러한 대립적 경쟁을 통해 생성부(630)와 판별부(640)는 양자 각각을 속이고 분간하는 능력을 발전시키며 결과적으로 가상 심전도 신호와 실제 심전도 신호의 분간이 어려울 정도에 이르게 되는 것이다.
구체적으로, 생성부(630)는 복수개의 컨벌루션 레이터들이 배치 정규화 레이어를 연계하여 연결된 신경망 네트워크(Neural Network)로 구현되고, 광용적맥파 신호로부터 심전도 신호의 추정시, 정규화된 광용적맥파 신호가 입력되면 각 컨벌루션 레이어 별로 필터(Filter)가 광용적맥파 신호를 순회하며 합성곱(Convolution)을 계산하고, 그 계산 결과를 이용하여 심전도 신호를 생성하게 된다.
이러한 생성부(630)는 상술한 바와 같이 학습과정을 통해 학습용 광용적맥파 신호 및 해당 광용적맥파 신호에 대응되는 학습용 심전도 신호로 구성된 데이터 셋을 이용하여 미리 학습되어 있을 수 있다. 즉, 생성부(630)는 데이터 셋을 이용하여 미리 학습됨으로써 실제 심전도 신호에 최대한 가까운 가상 심전도 신호를 생성한다. 이때, 생성부(630)는 아래의 수학식 1에 기재된 제1 손실함수가 최소가 되도록 학습될 수 있다.
수학식 1에서, LG는 생성부(630)에 적용되는 제1 손실함수를 나타내고, 
는 학습 데이터 셋에 포함되어 있는 데이터 포인트들의 개수를 나타내며, x는 생성부(630)로 입력되는 학습용 광용적맥파 신호를 나타내고 y는 생성부(630)로 입력되는 실제 심전도 신호 데이터 셋을, yDISC는 판별부(640)로부터 피드백되는 생성된 데이터와 실제 데이터간의 유사도를 나타낸다.
특히, 수학식 1에 기재된 제1 손실함수는 학습용 심전도 신호와 심전도 신호 결과간 차이값의 제곱의 평균으로 표현되는 MSE(Mean Squared Error) 손실과 일반적인 GAN손실을 혼합하여 구현함으로써, MSE 손실이 갖는 안전성(Stability)와 GAN 손실이 갖는 고정확도 추정(High-Fidelity Estimation)을 만족시킬 수 있어 심전도 신호 추정부(520)의 성능을 향상시킬 수 있게 된다.
판별부(640)는 심전도 신호 추정부(520)의 학습과정에서 이용되는 것으로서, 데이터 셋을 기초로 생성부(630)에 의해 생성된 가상 심전도 신호가 입력되면, 가상 심전도 신호와 실제 심전도 신호간의 유사도를 산출하여 생성부(630)로 피드백한다. 이때, 판별부(640)는 아래의 수학식 2에 기재된 제2 손실함수가 최소가 되도록 학습될 수 있다.
수학식 2에서, LD는 판별부(640)에 적용되는 제2 손실함수를 나타내고, X는 판별부(640)로 입력되는 학습 데이터 셋을 나타내며, D_CNN은 생성부(630)에 의해 생성된 가상 심전도 신호와 실제 심전도 신호와의 유사도를 나타내며, Dreal은 판별부(640)가 실제 심전도 신호를 실제 심전도 신호로 판단한 정도를 나타낸다. 이때, 제2 손실함수는 생성부(630)에 의해 생성된 가상 심전도 신호와 실제 심전도 신호 각각을 실제 심전도 신호로 판단한 정도간의 차이의 평균값으로 정의될 수 있다.
판별부(640)는 데이터 셋을 통해 학습됨으로써, 생성부(630)에 의해 생성된 가상 심전도 신호를 실제 심전도 신호로부터 구별해내는 능력을 개선시키게 되고, 생성부(630)는 판별부(640)의 결과값을 기초로 적대적으로 다시 학습을 수행하게 됨으로써 심전도 신호의 추정능력을 향상시킬 수 있게 된다.
일 실시예에 있어서, 상술한 심전도 신호 추정부(520)의 학습과정에서, 본 발명에 따른 생성부(630)는 판별부(640)에 비해 먼저 학습이 시작되고, 일정기간 동안 생성부(630)의 학습이 진행된 이후 판별부(640)가 생성부(630)에 연결됨으로써 생성부(630) 및 판별부(640)의 경쟁적 학습이 시작된다.
즉, 본 발명에 따른 심전도 신호 추정부(520)는 2단계의 학습과정을 통해 학습될 수 있다. 심전도 신호 추정부(520)는 1단계의 학습과정에서 복수개의 데이터 셋을 이용하여 생성부(630)만을 학습시킨 이후, 2단계 학습과정에서 복수개의 데이터 셋을 이용하여 생성부(630) 및 판별부(640)를 경쟁적으로 학습시킨다.
한편, 본 발명에 따른 심전도 신호 추정부(520)는 심전도 신호 추정부(520)의 학습과정에서 컨벌루션 레이어에 적용되는 각 필터들의 가중치(Weight)를 갱신하기 위한 최적화부(Optimizer, 660)를 더 포함할 수 있다. 일 실시예에 있어서, 최적화부(660)는 아담 옵티마이저(Adam Optimizer)로 구현될 수 있다.
또한, 본 발명에 따른 심전도 신호 추정부(520)는 데이터 셋을 증가시키기 위한 데이터 셋 증가부(Augmentation, 670)를 추가적으로 포함할 수 있다. 구체적으로, 데이터 셋 증가부(670)는 심전도 신호 추정부(520)의 학습시, 생성부(630) 및 판별부(640)로 입력될 데이터 셋의 각 데이터 포인트들에 랜덤 큐빅 커브(Random Cubic Curve)를 적용하여 노이즈와 같은 자연적 방해특성(Natural Disturbances)이 에뮬레이트(Emulate)된 데이터 셋을 추가로 획득할 수 있다.
유효구간 선택부(650)는 생성부(630)에 의해 추정된 심전도 신호 중 미리 정해진 구간의 심전도 신호를 유효 심전도 신호로 추출한다. 본 발명에서 유효구간 선택부(650)를 통해 심전도 신호 중 미리 정해진 구간의 심전도 신호를 추출하는 이유는 생성부(630)에 의해 추정된 심전도 신호는 양쪽 끝 부분에서는 충분한 로컬 특성(Local Feature)이 획득될 수 없기 때문에, 양쪽 끝 부분에서의 일부 데이터 포인트들을 제거하기 위한 것이다.
일 예로, 유효구간 선택부(650)는 생성부(630)에 의해 추정된 심전도 신호 중 양쪽 끝 부분에서 50개의 데이터 포인트들을 각각 제거함으로써 유효 심전도 신호를 추출할 수 있다.
유효구간 선택부(650)에 의해 추정 심전도 신호로부터 추출된 유효 심전도 신호의 예가 도 7에 도시되어 있다.
다시 도 5를 참조하며, 피크 검출부(530)는 심전도 신호 추정부(520)에 의해 추정된 유효 심전도 신호로부터 피크값을 검출한다. 이때, 피크값은 증가와 감소를 반복하는 유효 심전도 신호 내에서 증가로부터 감소로 전환되는 순간의 점들을 의미한다. 또한, 이러한 피크값은 일정한 주기로 변화하는 유효 심전도 신호에서 일정한 주기에 따라 반복적으로 발생하게 된다. 일반적으로 심전도 신호에는 주기적으로 P 피크값, R 피크값, 및 T 피크값이 발생한다.
본 발명에 따른 피크 검출부(530)는 유효 심전도 신호로부터 T 피크값들을 검출할 수 있다. 일반적인 심전도 신호의 분석에서는 R피크값을 검출하여 사용하는 반면, 본 발명에서 복수개의 피크값 들 중 T피크값을 검출하는 이유는, R피크값은 QRS Complex 부분에서 획득되는데, 추정된 유효 심전도 신호의 경우 QRS Complex 부분이 T피크값들에 비해 너무 짧기 때문에, R피크값을 이용하기 위해서는 적대적 생성 네트워크에서 심전도 신호의 추정(Estimation)에 훨씬 더 많은 학습이 요구되기 때문이다.
추정된 유효 심전도 신호로부터 추출된 T피크값들(T_P)의 예가 도 8에 도시되어 있다.
심박 변이도 산출부(540)는 피크 검출부(530)에 검출된 T피크값들(도 8에 도시된 T_P) 간의 간격(도 8에 도시된 T_I)을 이용하여 심박 변이도(Heart Rate Variability: HRV)를 산출한다. 구체적으로, 심박 변이도 산출부(540)는 T피크값들 간의 간격(T_I)의 표준편차(Standard Deviation)를 산출함으로써 심박 변이도를 산출할 수 있다.
수면상태 분석부(550)는 심박 변이도 산출부(540)에 의해 산출된 심박 변이도를 기초로 사용자의 수면상태를 분석하고, 분석결과를 이용하여 사용자의 수면상태 분석결과를 생성한다. 구체적으로, 수면상태 분석부(550)는 산출된 심박 변이도가 임계치보다 작은 경우 해당 사용자가 깊은 수면상태에 진입한 것으로 판단하고, 심박 변이도가 임계치 보다 큰 경우 사용자가 각성 상태 또는 깊은 수면상태에 진입하지 못한 것으로 판단할 수 있다. 이를 기초로 수면상태 분석부(550)는 하루 동안 사용자가 깊은 수면상태에 진입했던 시간을 수면상태 분석결과로 생성할 수 있다.
이외에도, 수면상태 분석부(550)는 추정된 심전도 신호를 기초로 사용자의 심박정보, 혈중 산소 농도(SpO2), 및 심전도 신호에 포함된 R-피크점들 사이의 간격(RR interval)인 RR 정보를 수면상태 분석결과로 추가로 산출할 수도 있다.
수면상태 분석부(550)는 산출된 수면상태 분석결과를 제3 무선 통신부(510)를 통해 수면제어 에이전트(130)로 전달한다.
본 발명이 속하는 기술분야의 당업자는 상술한 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 심전도 추정을 사용한 수면분석 장치
110: 센싱장치 120: 사용자 단말기
130: 수면제어 에이전트 140: 수면상태 분석서버
610: 전처리부 620: 정규화부
630: 생성부 640: 판별부
650: 유효구간 선택부 660: 최적화부
670: 데이터 셋 증가부
110: 센싱장치 120: 사용자 단말기
130: 수면제어 에이전트 140: 수면상태 분석서버
610: 전처리부 620: 정규화부
630: 생성부 640: 판별부
650: 유효구간 선택부 660: 최적화부
670: 데이터 셋 증가부
Claims (11)
- 사용자로부터 광용적맥파(Photo-PlethysmoGraphy: PPG) 신호를 획득하는 센싱장치; 및
상기 광용적맥파 신호로부터 유효 심전도(Electrocardiogram: ECG) 신호를 추정하고, 추정된 유효 심전도 신호를 이용하여 상기 사용자의 수면상태를 분석하는 수면상태 분석서버를 포함하고,
상기 수면상태 분석서버는,
학습용 광용적맥파 신호 및 상기 학습용 광용적맥파 신호에 대응되는 학습용 심전도 신호로 구성된 복수개의 데이터 셋을 이용하여 학습되고, 상기 센싱장치에 의해 획득된 광용적맥파 신호가 입력되면, 상기 광용적맥파 신호를 기초로 상기 유효 심전도 신호를 추정하여 출력하는 심전도 신호 추정부;
상기 유효 심전도 신호에 포함된 피크값들 간의 간격을 이용하여 심박 변이도(Heart Rate Variability: HRV)를 산출하는 심박 변이도 산출부; 및
상기 심박 변이도를 기초로 상기 사용자의 수면상태를 분석하여 수면상태 분석결과를 생성하는 수면상태 분석부를 포함하는 것을 특징으로 하는 심전도 추정을 사용한 수면분석 장치. - 제1항에 있어서,
무선통신 네트워크를 통해 상기 센싱장치와 연결되는 사용자 단말기에 탑재되고, 상기 센싱장치로부터 상기 광용적맥파 신호를 수신하여 상기 수면상태 분석서버로 전송하고 상기 수면상태 분석서버로부터 상기 수면상태 분석결과를 수신하는 수면제어 에이전트를 더 포함하고,
상기 수면제어 에이전트는,
상기 사용자의 요청에 따라 선택된 앰비언트 뮤직을 재생하고, 상기 수면상태 분석결과로부터 상기 사용자가 깊은 수면상태에 진입한 것으로 판단되면 재생중인 상기 앰비언트 뮤직을 정지시키는 것을 특징으로 하는 심전도 추정을 사용한 수면분석 장치. - 제2항에 있어서,
상기 수면제어 에이전트는,
상기 수면상태 분석결과로부터 상기 사용자가 깊은 수면상태에 진입한 것으로 판단되면 상기 센싱장치의 전원을 오프시키기 위한 전원오프신호를 생성하여 상기 센싱장치로 전송하고,
상기 센싱장치는 상기 수면제어 에이전트로부터 상기 전원오프신호가 수신되면 내부에 포함된 전원공급장치를 디스에이블시켜 상기 센싱장치의 전원을 오프시키는 것을 특징으로 하는 심전도 추정을 사용한 수면분석 장치. - 제1항에 있어서,
상기 심전도 신호 추정부는 상기 복수개의 학습 데이터 셋을 이용하여 학습된 생성적 적대 네트워크(Generative Adversarial Network: GAN) 기반의 딥러닝 모델을 이용하여 상기 광용적맥파 신호로부터 상기 유효 심전도 신호를 추정하는 것을 특징으로 하는 심전도 추정을 사용한 수면분석 장치. - 제1항에 있어서,
상기 심전도 신호 추정부는,
상기 광용적맥파 신호로부터 AC성분의 노이즈를 제거하는 전처리 필터;
상기 전처리된 광용적맥파 신호를 미리 정해진 크기로 정규화하는 정규화부;
신경망 네트워크로 구현되고, 상기 정규화된 광용적맥파 신호를 필터(Filter)가 순회하며 합성곱(Convolution)을 계산하고, 그 계산 결과를 이용하여 심전도 신호를 생성하는 생성부; 및
상기 생성된 심전도 신호 중 미리 정해진 구간의 신호를 상기 유효 심전도 신호로 추출하는 유효구간 선택부를 포함하는 것을 특징으로 하는 심전도 추정을 사용한 수면분석 장치. - 제5항에 있어서,
상기 심전도 신호 추정부는
상기 심전도 신호 추정부의 학습시, 상기 데이터 셋을 기초로 상기 생성부에 의해 생성된 가상 심전도 신호가 입력되면, 상기 가상 심전도 신호와 실제 심전도 신호간의 유사도를 산출하여 상기 생성부로 피드백하는 판별부(discriminator)를 더 포함하고,
상기 판별부는 상기 가상 심전도 신호와 상기 실제 심전도 신호간의 차이의 평균값으로 정의되는 제2 손실함수의 값이 감소되도록 학습되는 것을 특징으로 하는 심전도 추정을 사용한 수면분석 장치. - 제6항에 있어서,
상기 생성부는,
수학식로 정의되는 제1 손실함수의 값이 감소되도록 학습되고,
상기 수학식에서 LG는 상기 생성부에 적용되는 제1 손실함수를 나타내고,는 상기 생성부로 입력되는 상기 데이터 셋에 포함되어 있는 데이터 포인트들의 개수를 나타내며, x는 상기 생성부로 입력되는 학습용 광용적맥파 신호를 나타내고 y는 상기 생성부로 입력되는 실제 심전도 신호 데이터 셋을 나타내며, yDISC는 상기 판별부로부터 피드백되는 생성된 데이터와 실제 데이터간의 유사도를 나타내는 것을 특징으로 하는 심전도 추정을 사용한 수면분석 장치.
- 제5항에 있어서,
상기 심전도 신호 추정부는
상기 심전도 신호 추정부의 학습시, 상기 생성부로 입력될 데이터 셋에 랜덤 큐빅 커브(Random Cubic Curve)를 적용하여 자연적 방해특성(Natural Disturbances)이 에뮬레이트된 데이터 셋을 추가로 획득하는 데이터 셋 증가부를 더 포함하는 것을 특징으로 하는 심전도 추정을 사용한 수면분석 장치. - 제1항에 있어서,
상기 심전도 신호 추정부는
상기 수면상태 분석부는 상기 심박 변이도가 임계치보다 작으면 상기 사용자가 수면 사용자가 깊은 수면상태에 진입한 것으로 판단하고, 사용자가 수면상태에 진입하였음을 나타내는 수면상태 분석결과를 생성하는 것을 특징으로 하는 심전도 추정을 사용한 수면분석 장치. - 제1항에 있어서,
상기 심전도 신호 추정부는
상기 유효 심전도 신호로부터 T 피크값들을 검출하는 피크 검출부를 더 포함하는 것을 특징으로 하는 하는 심전도 추정을 사용한 수면분석 장치. - 제1항에 있어서,
상기 심전도 신호 추정부는
상기 유효 심전도 신호로부터 추출된 상기 피크값들을 간격(Interval)의 표준편차를 산출하여 상기 심박 변이도를 산출하는 심박 변이도 산출부를 더 포함하는 것을 특징으로 하는 하는 심전도 추정을 사용한 수면분석 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200145218A KR102443679B1 (ko) | 2020-11-03 | 2020-11-03 | 심전도 추정을 사용한 수면분석 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200145218A KR102443679B1 (ko) | 2020-11-03 | 2020-11-03 | 심전도 추정을 사용한 수면분석 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220059711A KR20220059711A (ko) | 2022-05-10 |
| KR102443679B1 true KR102443679B1 (ko) | 2022-09-15 |
Family
ID=81592201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200145218A KR102443679B1 (ko) | 2020-11-03 | 2020-11-03 | 심전도 추정을 사용한 수면분석 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102443679B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024014821A1 (ko) * | 2022-07-14 | 2024-01-18 | 주식회사 메디컬에이아이 | 심전도 기반 신경망 모델의 학습 방법, 프로그램 및 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019003549A1 (ja) | 2017-06-28 | 2019-01-03 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101060879B (zh) * | 2004-11-16 | 2011-01-26 | 皇家飞利浦电子股份有限公司 | 控制音频信号重放的系统和方法 |
| KR102391913B1 (ko) * | 2014-08-18 | 2022-04-28 | 삼성전자주식회사 | 생체 정보 측정 장치 |
-
2020
- 2020-11-03 KR KR1020200145218A patent/KR102443679B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019003549A1 (ja) | 2017-06-28 | 2019-01-03 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Non-Patent Citations (2)
| Title |
|---|
| 김진수, 이강윤, PPG와 ECG의 상관 관계에 기반한 심박 시계열 데이터 이상 상황 탐지 최 모델 비교 연구, Journal of Internet Computing and Services(JICS) 2019.12. |
| 포루하르 포루잔 외 2명, PPG 신호를 사용하는 맥박 변이도 분석 기법을 위한 박동 간격 검출 알고리즘, ANALOG DEVICES, 2019.07.01 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220059711A (ko) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chowdhury et al. | Real-time robust heart rate estimation from wrist-type PPG signals using multiple reference adaptive noise cancellation | |
| US11357445B2 (en) | Systems and methods for determining sleep patterns and circadian rhythms | |
| US20230181069A1 (en) | Systems and Methods for Biological Metrics Measurement | |
| US11259753B2 (en) | Systems and methods for detecting photoplethysmographic device usage | |
| JP5760351B2 (ja) | 睡眠評価装置、睡眠評価システムおよびプログラム | |
| JP6079824B2 (ja) | 睡眠評価装置およびプログラム | |
| Sannino et al. | A continuous noninvasive arterial pressure (CNAP) approach for health 4.0 systems | |
| EP2967413A1 (en) | Systems and methods of multispectral blood measurement | |
| US10765374B2 (en) | Methods and apparatus for adaptable presentation of sensor data | |
| CN107920786A (zh) | 脉搏血氧测定 | |
| US20190053722A1 (en) | Apparatus, terminal and bioinformation system | |
| WO2017067010A1 (zh) | 睡眠评价显示方法和装置及评价设备 | |
| US20230148961A1 (en) | Systems and methods for computationally efficient non-invasive blood quality measurement | |
| US11617545B2 (en) | Methods and systems for adaptable presentation of sensor data | |
| CN105982643B (zh) | 睡眠事件检测方法与系统 | |
| KR102443679B1 (ko) | 심전도 추정을 사용한 수면분석 장치 | |
| CN110353641A (zh) | 生命体征监测方法及系统 | |
| US10827972B1 (en) | Sleep staging using an in-ear photoplethysmography (PPG) | |
| CN114190916B (zh) | 一种基于织物传感器的儿童呼吸监控方法及系统 | |
| JP2022133922A (ja) | 生体情報演算システム | |
| TWI462728B (zh) | 依據歷史資料判斷睡眠階段之系統及其方法 | |
| US20230190120A1 (en) | Method and wearable electronic system for predicting the heart rate of a user during a physical activity, and, non-transitory computer readable storage medium | |
| CN115554556A (zh) | 基于一模多参数传感器的智能睡眠与osa的无扰式监测装置 | |
| JP2023542039A (ja) | 心拍異常を検出するための装置およびシステム | |
| CN114947768A (zh) | 呼吸率的处理方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |