KR20210097512A - Method for predicting user heart state using active state of ppg and rest state of ppg - Google Patents

Method for predicting user heart state using active state of ppg and rest state of ppg Download PDF

Info

Publication number
KR20210097512A
KR20210097512A KR1020200011304A KR20200011304A KR20210097512A KR 20210097512 A KR20210097512 A KR 20210097512A KR 1020200011304 A KR1020200011304 A KR 1020200011304A KR 20200011304 A KR20200011304 A KR 20200011304A KR 20210097512 A KR20210097512 A KR 20210097512A
Authority
KR
South Korea
Prior art keywords
data
ppg
user
neural network
heart
Prior art date
Application number
KR1020200011304A
Other languages
Korean (ko)
Other versions
KR102329988B1 (en
Inventor
고상백
이솔암
이현주
Original Assignee
연세대학교 원주산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 원주산학협력단 filed Critical 연세대학교 원주산학협력단
Priority to KR1020200011304A priority Critical patent/KR102329988B1/en
Publication of KR20210097512A publication Critical patent/KR20210097512A/en
Application granted granted Critical
Publication of KR102329988B1 publication Critical patent/KR102329988B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Cardiology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

A deep learning-based tumor treatment response prediction method is provided. According to one aspect of the present invention, a method for predicting a user's heart condition using photoplethysmogram in resting and active states includes the steps of: acquiring first PPG data in a resting state and second PPG data in an active state of a user by using a photoplethysmogram (PPG) sensor; inputting the first PPG data and the second PPG data to a first deep neural network and a second deep neural network, respectively, and calculating PPG analysis data through a first deep neural network and a second deep neural network; and predicting a user's heart condition based on the PPG analysis data and user's echocardiogram result data. Accordingly, it is possible to increase the reliability of a cardiac condition prediction result.

Description

휴식 상태와 활동 상태의 광용적맥파를 활용한 사용자 심장 상태 예측 방법{METHOD FOR PREDICTING USER HEART STATE USING ACTIVE STATE OF PPG AND REST STATE OF PPG}A method for predicting a user's heart state using photoplethysmography waves in resting and active states

본 발명은 딥러닝에 기반한 사용자 심장 상태 예측 방법에 관한 것으로, 보다 자세하게는 휴식 상태와 활동 상태의 광용적맥파를 활용하여 딥러닝을 수행한 결과에 기반하여 사용자 심장 상태를 예측하는 방법에 관한 것이다. The present invention relates to a method for predicting a user's heart condition based on deep learning, and more particularly, to a method for predicting a user's heart condition based on the result of deep learning using photoplethysmography waves in resting and active states. .

평소에 건강했던 사람들이 운동 중 돌연사, 스포츠사를 당하는 경우가 종종 발생하게 된다. 이러한 돌연사, 스포츠사는 대부분 잠재성 질환(허혈성 심질환, 협심증 등 심장 질환)으로 인한 사고로 판단되며, 이러한 경우는 보통 24~48시간 안에 사망하게 된다. 이러한 사고는 운동부하 검사를 통한 측정으로 잠재성 질환 유무를 확인하고, 운동의 범위를 결정하여 미연에 예방하는 것이 중요하다. Sudden death or sports death often occurs during exercise in healthy people. Most of these sudden deaths and sports events are considered accidents caused by latent diseases (cardiac diseases such as ischemic heart disease and angina pectoris), and in these cases, death usually occurs within 24-48 hours. It is important to prevent such accidents in advance by checking the presence or absence of potential diseases by measuring the exercise load test and determining the range of exercise.

운동에 의한 불행한 사고를 방지하기 위해서는 자기 체력에 맞는 적절한 운동이 필요하다. 운동자의 운동한계치 설정 및 적정한 운동량의 측정을 위해 운동 부하 측정은 필수 조건으로, 특히 40대 이후 지속적인 운동 시 반드시 운동자의 체력에 맞는 운동량 설정 및 운동부하의 측정을 통한 안전대책을 세우고 운동을 함으로 돌연사 및 스포츠사등의 불행한 사고를 방지할 수 있다. In order to prevent unfortunate accidents caused by exercise, it is necessary to exercise appropriate to one's own physical strength. In order to set the exercise limit value of an exerciser and measure the appropriate amount of exercise, exercise load measurement is an essential condition. In particular, during continuous exercise after the age of 40, safety measures must be established through setting the exercise amount suitable for the athlete's physical strength and measuring the exercise load. And it is possible to prevent unfortunate accidents such as sports companies.

운동자의 운동부하를 측정하는 방법은 크게 2종류로 나눌 수 있다. 첫번째는 동적운동인 걷기, 달리기, 자전거 타기등에 의한 등장성 운동부하 측정이고, 두번째는 근육의 길이가 변함없이 장력만 증대시키는 등척성 운동부하이다. 일반적으로 등장성 운동부하에는 심박수가 산소섭취량과 상관이 있고, 심근 산소수요의 지표인 혈압ㅧ심박수가 관여가 된다. 특수한 경우를 제외하고 운동부하시험은 등장성 운동부하시험을 많이 사용한다. Methods for measuring the exercise load of an exerciser can be divided into two types. The first is isotonic exercise load measurement by dynamic exercise such as walking, running, cycling, etc., and the second is isometric exercise load, which only increases tension without changing the length of the muscle. In general, in isotonic exercise load, heart rate is correlated with oxygen uptake, and blood pressure x heart rate, which is an index of myocardial oxygen demand, is involved. Except for special cases, the isotonic exercise load test is often used for exercise load tests.

통상적으로 등장성 운동부하를 측정하기 위해 사용되는 요소로는 심박수, 혈압, 산소섭취량, 환기량, 무산소성 역치, 호흡교환율, 안정시 대사량, 자각적 운동강도, 심전도, 목표심박수 등을 측정한다. 종래의 운동부하측정 방법은 주로 심박수의 경우 ECG(Electrocardiogram ; 심전도)를 이용하여 운동에서의 심박수의 변화를 측정하며, 산소섭취량은 운동시 호흡량을 측정하는 마스크를 안면에 쓰고 측정한다. Commonly used factors to measure isotonic exercise load include heart rate, blood pressure, oxygen intake, ventilation, anaerobic threshold, respiratory exchange rate, resting metabolic rate, subjective exercise intensity, electrocardiogram, and target heart rate. The conventional exercise load measurement method mainly measures the change in heart rate during exercise using an electrocardiogram (ECG) in the case of heart rate, and the oxygen intake is measured by wearing a mask that measures respiration during exercise on the face.

그러나 이러한 운동부하 검사는 산소섭취량 및 호흡교환율 측정의 경우 고가의 장비가 필요하며, 운동자가 안면에 마스크를 쓰고 운동을 해야 하는 등 피측정자에게 불편하며, 용이한 측정이 어렵다는 단점이 있다. 또한, 도 1에 도시된 바와 같이 베이스라인 심전도, 스테이지 1(낮은 강도 또는 중강도 운동)의 심전도, 스테이지 2(고강도 운동)의 심전도 및 회복기의 심전도가 다르게 나오며 이는 개인마다 또 다르게 측정될 수 있다. 더욱이, 운동부하는 운동자의 각성 상태와 운동 상태를 대상으로 하여 운동자의 기저 상태의 반영에 영향을 주는 요인이 발생하였고 이는 측정치 오류의 원인이 되는 문제점이 있었다. 또한, 운동부하 검사는 특정 시기의 운동자의 상태만을 체크하는 것이므로 운동자 개개인의 전반적인 생활 습관에 따른 정확한 상태를 산출하기 어려운 문제점이 있었다.However, this exercise load test requires expensive equipment to measure oxygen uptake and respiratory exchange rate, is inconvenient for the subject, such as the exerciser has to wear a face mask to exercise, and has disadvantages in that it is difficult to measure easily. In addition, as shown in Figure 1, the baseline electrocardiogram, the electrocardiogram of stage 1 (low or moderate intensity exercise), the electrocardiogram of stage 2 (high intensity exercise), and the electrocardiogram of the recovery period are different, which can be measured differently for each individual. . Moreover, the exercise load was a factor affecting the reflection of the exerciser's ground state by targeting the exerciser's arousal state and the exercise state, which caused a measurement error. In addition, since the exercise load test checks only the state of an athlete at a specific time, it is difficult to calculate an accurate state according to the overall lifestyle of each individual athlete.

(특허문헌 0001) KR 2009-0027390(Patent Document 0001) KR 2009-0027390

본 발명이 해결하고자 하는 과제는 사용자의 휴식 상태와 활동 상태의 광용적맥파를 활용하여 사용자의 심장 상태를 정확하게 예측하는 방법을 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to provide a method for accurately predicting a user's heart condition by utilizing the photoplethysmography waves of the user's resting state and active state.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 휴식 상태와 활동 상태의 광용적맥파를 활용한 사용자 심장 상태 예측방법은, PPG(광용적맥파) 센서를 이용하여 사용자의 휴식 상태의 제1 PPG 데이터와 활동 상태의 제2 PPG 데이터를 획득하는 단계; 상기 제1 PPG 데이터와 상기 제2 PPG 데이터를 각각 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크에 입력하여, 상기 제1 딥 뉴럴 네트워크 및 상기 제2 딥 뉴럴 네트워크를 통해 PPG 분석 데이터를 산출하는 단계; 및 상기 PPG 분석 데이터와 상기 사용자의 심초음파 결과 데이터에 기반하여 사용자의 심장 상태를 예측하는 단계;를 포함한다.A method for predicting a user's heart state using a photoplethysmography wave in a resting state and an active state according to an aspect of the present invention for solving the above-described problems is a first method of predicting a user's resting state using a PPG (photoplethysmogram) sensor. acquiring PPG data and second PPG data of an active state; inputting the first PPG data and the second PPG data to a first deep neural network and a second deep neural network, respectively, and calculating PPG analysis data through the first deep neural network and the second deep neural network ; and predicting a user's heart condition based on the PPG analysis data and the user's echocardiogram data.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.According to the present invention as described above, it has various effects as follows.

본 발명은 휴식 상태와 활동 상태의 PPG 데이터를 활용함에 따라 사용자의 생활습관이 반영되어 심장 상태 예측의 정확도를 높일 수 있다.According to the present invention, by utilizing the PPG data of the resting state and the active state, the user's lifestyle is reflected to increase the accuracy of predicting the heart state.

또한, 본 발명은 PPG 분석 데이터와 심초음파 결과 데이터를 함께 활용함으로써 심장 상태 예측 결과의 신뢰성을 높일 수 있다.In addition, the present invention may increase the reliability of the cardiac condition prediction result by using the PPG analysis data and the echocardiography result data together.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 기존 운동부하 검사에서 측정되는 심전도를 나타낸 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 사용자 심장 상태 예측 장치를 나타낸 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 사용자 심장 상태 예측 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 PPG 데이터를 획득하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 PPG 데이터를 획득하는 방법을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 사용자 심장 상태 예측 방법을 설명하기 위한 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 딥 뉴럴 네트워크를 나타낸 도면이다.
1 is an exemplary view showing an electrocardiogram measured in a conventional exercise load test.
2 is a block diagram illustrating an apparatus for predicting a user's heart condition according to an embodiment of the present invention.
3 is a flowchart illustrating a method for predicting a user's heart condition according to an embodiment of the present invention.
4 is a flowchart illustrating a method of acquiring PPG data according to an embodiment of the present invention.
5 is an exemplary diagram for explaining a method of acquiring PPG data according to an embodiment of the present invention.
6 is a block diagram illustrating a method for predicting a user's heart condition according to an embodiment of the present invention.
7 is a diagram illustrating a deep neural network according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and those of ordinary skill in the art to which the present invention pertains. It is provided to fully understand the scope of the present invention to those skilled in the art, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. As used herein, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components. Like reference numerals refer to like elements throughout, and "and/or" includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein will have the meaning commonly understood by those of ordinary skill in the art to which this invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless specifically defined explicitly.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.Spatially relative terms "below", "beneath", "lower", "above", "upper", etc. It can be used to easily describe the correlation between a component and other components. A spatially relative term should be understood as a term that includes different directions of components during use or operation in addition to the directions shown in the drawings. For example, when a component shown in the drawing is turned over, a component described as “beneath” or “beneath” of another component may be placed “above” of the other component. can Accordingly, the exemplary term “below” may include both directions below and above. Components may also be oriented in other orientations, and thus spatially relative terms may be interpreted according to orientation.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 일 실시 예에 따른 사용자 심장 상태 예측 장치를 나타낸 블록도이다.2 is a block diagram illustrating an apparatus for predicting a user's heart condition according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 사용자 심장 상태 예측 장치(100)는 획득한 PPG 데이터를 이용하여 사용자 심장 상태를 예측할 수 있다. 예를 들어, 사용자 심장 상태 예측 장치(100)는 휴식 상태와 활동 상태의 PPG 데이터와 딥 뉴럴 네트워크를 이용하여 PPG 분석 데이터를 출력할 수 있고, PPG 분석 데이터와 심초음파 결과 데이터를 이용하여 사용자 심장 상태를 예측할 수 있다.Referring to FIG. 2 , the apparatus 100 for predicting a user's heart condition according to an embodiment of the present invention may predict a user's heart condition by using the obtained PPG data. For example, the apparatus 100 for predicting a user's heart condition may output PPG analysis data using the PPG data of the resting state and the active state and the deep neural network, and the user's heart using the PPG analysis data and the echocardiogram result data. state can be predicted.

일 실시 예에서, 사용자 심장 상태 예측 장치(100)는 웨어러블 전자장치일 수 있고, 심장 상태 예측 방법을 설정할 수 있는 전용 프로그램이 설치될 수 있다. 예를 들어, 사용자 심장 상태 예측 장치(100)는 사용자의 PPG를 검출할 수 있는 PPG 센서(110), PPG 센서(110)로부터 PPG 데이터를 획득하고 외부 장치(200)로부터 심초음파 결과 데이터와 기타 데이터 등을 획득하는 데이터 획득부(120), 획득한 데이터들을 전처리(예: 정규화)하는 데이터 처리부(130), 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크를 통해 PPG 분석 데이터를 산출하는 딥 러닝부(140), PPG 분석 데이터와 심초음파 결과 데이터에 기반하여 사용자의 심장 상태를 예측하는 심장 상태 판단부(150) 및 PPG 데이터, PPG 분석 데이터, 심초음파 결과 데이터, 학습 결과 등을 저장하는 데이터베이스(160) 및 사용자에게 메시지를 표시할 수 있는 디스플레이(170)를 포함할 수 있다.In an embodiment, the apparatus 100 for predicting a user's heart condition may be a wearable electronic device, and a dedicated program for setting a method for predicting a heart condition may be installed. For example, the apparatus 100 for predicting a user's heart condition obtains PPG data from the PPG sensor 110 and the PPG sensor 110 capable of detecting the PPG of the user, and performs echocardiography result data and other data from the external device 200 . Deep learning that calculates PPG analysis data through a data acquisition unit 120 that acquires data, etc., a data processing unit 130 that pre-processes (eg, normalizes) the acquired data, and a first deep neural network and a second deep neural network Unit 140, a heart condition determination unit 150 that predicts a user's heart condition based on PPG analysis data and echocardiography result data, and a database for storing PPG data, PPG analysis data, echocardiography result data, learning results, etc. 160 and a display 170 capable of displaying a message to the user.

예를 들어, PPG 센서(110)는 스마트 시계의 본체와 분리되어 시계줄에 장착된 상태로 구현될 수 있다. 이 경우, 사용자가 스마트 시계를 손목에 착용하면 시계줄에 장착된 PPG 센서는 사용자의 손목에 밀착되어 손목에서의 맥박 감지를 통해 사용자의 광용적맥파를 획득하게 된다.For example, the PPG sensor 110 may be implemented while being separated from the main body of the smart watch and mounted on the watch strap. In this case, when the user wears the smart watch on the wrist, the PPG sensor mounted on the watch strap is in close contact with the user's wrist, thereby acquiring the user's photoplethysmogram by detecting the pulse on the wrist.

또한, 사용자 심장 상태 예측 장치(100)는 스피커를 통해 사용자에게 심장 건강 상태가 비정상임을 청각적으로 경고할 수 있다.Also, the apparatus 100 for predicting a user's heart condition may audibly warn the user that the heart health condition is abnormal through a speaker.

본 발명의 다양한 실시예에 따른 사용자 심장 상태 예측 장치는, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.In the apparatus for predicting a user's heart condition according to various embodiments of the present disclosure, the electronic device includes a smart phone, a tablet personal computer, a mobile phone, a video phone, and an e-book reader. ), desktop PC (desktop personal computer), laptop PC (laptop personal computer), netbook computer, PDA (personal digital assistant), PMP (portable multimedia player), MP3 player, mobile medical device, camera (camera) , or wearable devices (e.g., head-mounted-devices (HMDs) such as electronic glasses, electronic garments, electronic bracelets, electronic necklaces, electronic accessories, electronic tattoos, or smart watches. ) may include at least one of.

또한, 외부 장치(200)는 각종 의료 데이터가 저장된 서버 또는 의료 기기일 수 있다.Also, the external device 200 may be a server or a medical device in which various types of medical data are stored.

도 3은 본 발명의 일 실시 예에 따른 사용자 심장 상태 예측 방법을 설명하기 위한 흐름도이다. 도 4는 본 발명의 일 실시 예에 따른 PPG 데이터를 획득하는 방법을 설명하기 위한 흐름도이다. 도 5는 본 발명의 일 실시 예에 따른 PPG 데이터를 획득하는 방법을 설명하기 위한 예시도이다. 도 6은 본 발명의 일 실시 예에 따른 사용자 심장 상태 예측 방법을 설명하기 위한 블록도이다. 도 7은 본 발명의 일 실시 예에 따른 딥 뉴럴 네트워크를 나타낸 도면이다.3 is a flowchart illustrating a method for predicting a user's heart condition according to an embodiment of the present invention. 4 is a flowchart illustrating a method of acquiring PPG data according to an embodiment of the present invention. 5 is an exemplary diagram for explaining a method of acquiring PPG data according to an embodiment of the present invention. 6 is a block diagram illustrating a method for predicting a user's heart condition according to an embodiment of the present invention. 7 is a diagram illustrating a deep neural network according to an embodiment of the present invention.

도 3 내지 도 7을 참조하면, 일 실시 예에서, 동작 31에서, PPG 센서(110)는 사용자의 휴식 상태의 제1 PPG 데이터와 활동 상태의 제2 PPG 데이터를 획득할 수 있고, 획득한 제1 PPG 데이터와 제2 PPG 데이터를 데이터 획득부(120)에 전송할 수 있다. 예를 들어, 광용적맥파(PPG)는 혈관의 혈류량이 심박이 뜀에 따라 주기적으로 변화함을 이용한 것으로, 혈류량에 따라 인체 외부에서 입사한 빛이 반사되는 양이 달라짐을 이용하여 반사된 광량을 측정하여 심박을 추정하는 것이다.3 to 7 , in an embodiment, in operation 31 , the PPG sensor 110 may acquire first PPG data in a resting state and second PPG data in an active state of the user, and the obtained second PPG data The first PPG data and the second PPG data may be transmitted to the data obtaining unit 120 . For example, the photoplethysmogram (PPG) uses the periodic change in blood flow in blood vessels as the heart beats. measurement to estimate the heart rate.

예를 들어, PPG 센서(110)는 소정 시간 간격(예: 15분)마다 생체신호를 측정하도록 제어하여 측정된 생체신호를 학습데이터로 수집할 수 있다.For example, the PPG sensor 110 may collect the measured bio-signals as learning data by controlling to measure the bio-signals at predetermined time intervals (eg, 15 minutes).

일 실시 예에서, 데이터 획득부(120)는 도 4의 동작에 따라 획득한 PPG 데이터를 휴식 상태의 제1 PPG 데이터 또는 활동 상태의 제2 PPG 데이터로 구분하여 저장할 수 있다. 도 5에 도시된 바와 같이 PPG 데이터는 좌측의 휴식 상태 데이터와 우측의 활동 상태의 데이터가 서로 상이하므로 사용자의 생활습관이 반영된 심장 상태를 정확히 예측하기 위해 PPG 데이터를 휴식 상태와 활동 상태로 구분하여 학습할 필요가 있다.In an embodiment, the data acquisition unit 120 may classify and store the PPG data acquired according to the operation of FIG. 4 as first PPG data in a resting state or second PPG data in an active state. As shown in FIG. 5 , in the PPG data, the resting state data on the left and the active state data on the right are different from each other, so in order to accurately predict the heart state reflecting the user's lifestyle, the PPG data is divided into a resting state and an active state. need to learn

구체적으로, 일 실시 예에서, 동작 41에서, 데이터 획득부(120)는 PPG 센서(110)를 이용하여 PPG 데이터를 획득할 수 있다.Specifically, in an embodiment, in operation 41 , the data acquisition unit 120 may acquire PPG data using the PPG sensor 110 .

일 실시 예에서, 동작 42에서, 데이터 획득부(120)는 PPG 데이터의 노이즈 구간의 길이, 미리 설정된 주기 또는 사용자의 심박수를 확인할 수 있다.In an embodiment, in operation 42 , the data acquisition unit 120 may check the length of the noise section of the PPG data, a preset period, or the heart rate of the user.

일 실시 예에서, 동작 43에서, 데이터 획득부(120)는 PPG 데이터의 노이즈 구간의 길이 또는 미리 설정된 주기에 기반하여 상기 PPG 데이터를 상기 휴식 상태의 상기 제1 PPG 데이터와 상기 활동 상태의 상기 제2 PPG 데이터로 구분하여 저장할 수 있다. 즉, PPG 데이터의 노이즈 구간의 길이가 지정된 길이 이상으로 길 경우 사용자가 활동 상태라고 판단할 수 있고 지정된 길이보다 작을 경우 휴식 상태로 판단할 수 있다. 또는 미리 설정된 주기에 따라 현재 사용자가 잠을 자는 등의 휴식 상태로 판단하거나 활동 상태로 판단할 수 있다.In an embodiment, in operation 43, the data acquisition unit 120 compares the PPG data with the first PPG data in the rest state and the first PPG data in the active state based on the length of the noise section of the PPG data or a preset period. 2 PPG data can be divided and saved. That is, when the length of the noise section of the PPG data is longer than the specified length, it can be determined that the user is in an active state, and when the length of the noise section of the PPG data is shorter than the specified length, it can be determined that the user is in a resting state. Alternatively, according to a preset period, the current user may be determined to be in a resting state, such as sleeping, or determined as an active state.

또한, 이와 달리 데이터 획득부(120)는 사용자의 심박수와 미리 설정한 심박수 범위를 비교할 수 있고, 비교 결과에 기반하여 PPG 데이터를 휴식 상태의 제1 PPG 데이터와 활동 상태의 상기 제2 PPG 데이터로 구분하여 저장할 수 있다. Alternatively, the data acquisition unit 120 may compare the user's heart rate with a preset heart rate range, and convert the PPG data into the first PPG data in the resting state and the second PPG data in the active state based on the comparison result. can be stored separately.

일 실시 예에서, 동작 32에서, 데이터 처리부(130)는 제1 PPG 데이터와 제2 PPG 데이터를 정규화할 수 있다. 예를 들어, 제1 PPG 데이터와 제2 PPG 데이터들은 원본 데이터 그대로 제1 딥 뉴럴 네트워크과 제2 딥 뉴럴 네트워크에 각각 입력하기 불가능할 수 있으므로 제1 PPG 데이터와 제2 PPG 데이터에 전처리 동작이 수행되고, 표준화 학습 데이터가 생성될 수 있다. 즉, 제1 PPG 데이터와 제2 PPG 데이터간기능 평가 데이터와 기타 데이터는 전처리 동작을 통해 심층 신경망에 입력될 수 있는 표준화된 형태(즉, 표준화 학습 데이터)로 변형될 수 있다. 예를 들어, 제1 PPG 데이터와 제2 PPG 데이터는 미리 정해진 규칙에 따라 수치값으로 변환되고, 변환된 수치값은 심층 신경망의 입력값으로 사용되기 위해 벡터로 변환될 수 있다. 즉, 정규화 동작은 제1 PPG 데이터와 제2 PPG 데이터의 본래 의미에 영향을 주지 않는 범위에서 심층 신경망에 적합하게 변경하는 동작을 나타낸다.In an embodiment, in operation 32 , the data processing unit 130 may normalize the first PPG data and the second PPG data. For example, since it may be impossible to input the first PPG data and the second PPG data to the first deep neural network and the second deep neural network as the original data, a preprocessing operation is performed on the first PPG data and the second PPG data, Standardized learning data may be generated. That is, the function evaluation data and other data between the first PPG data and the second PPG data may be transformed into a standardized form (ie, standardized learning data) that may be input to the deep neural network through a preprocessing operation. For example, the first PPG data and the second PPG data may be converted into numerical values according to a predetermined rule, and the converted numerical values may be converted into vectors to be used as input values of the deep neural network. That is, the normalization operation refers to an operation of changing to suit the deep neural network within a range that does not affect the original meaning of the first PPG data and the second PPG data.

일 실시 예에서, 동작 33에서, 딥 러닝부(140)는 제1 PPG 데이터와 제2 PPG 데이터를 각각 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크에 입력할 수 있다. 제1 PPG 데이터와 제2 PPG 데이터는 각각 휴식 상태와 활동 상태를 나타내는 서로 다른 데이터이므로 서로 다른 딥 뉴럴 네트워크로 학습을 진행하는 것이 정확도 측면에서 유리할 수 있다. 예를 들어, 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크는 1차원 CNN(convolutioanal neural network) 또는 RNN(Recurrent Neural Network)일 수 있다. 예를 들어, 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크의 입력값은 각각 제1 PPG 데이터와 제2 PPG 데이터이고 출력값은 각각의 분석데이터일 수 있고, 정답값은 실제로 의사 등이 PPG를 분석한 데이터일 수 있다.In an embodiment, in operation 33, the deep learning unit 140 may input the first PPG data and the second PPG data to the first deep neural network and the second deep neural network, respectively. Since the first PPG data and the second PPG data are different data representing a resting state and an active state, respectively, it may be advantageous in terms of accuracy to perform learning with different deep neural networks. For example, the first deep neural network and the second deep neural network may be a one-dimensional convolutioanal neural network (CNN) or a recurrent neural network (RNN). For example, the input values of the first deep neural network and the second deep neural network are the first PPG data and the second PPG data, respectively, and the output values may be respective analysis data, and the correct answer value is actually analyzed by a doctor or the like. It may be one data.

예를 들어, RNN(Recurrent Neural Network)은 한개 이상의 특징값(벡터)가 입력되며, 새롭게 입력된 특징값에 이전에 입력된 특징 값에 대한 은닉층 또는 출력층의 출력값도 함께 입력되는 특징을 가지고 있다. 1차원 CNN(Convolutional Neural Network)은 1차원의 벡터 또는 행렬을 입력으로 받으며, 일반적인 ANN 단계 이전에 Convolution단계 또는 pooling단계 들이 이루어질 수 있다. Convolution 단계에서는 가중치(weight)를 가진 다차원의 행렬과 convolution 연산을 수행한다. pooling 단계에는 max pooling 또는 mean pooling 방식이 있다. For example, in a recurrent neural network (RNN), one or more feature values (vectors) are input, and an output value of a hidden layer or an output layer for a previously input feature value is also input to a newly input feature value. A one-dimensional CNN (Convolutional Neural Network) receives a one-dimensional vector or matrix as an input, and a convolution step or pooling step can be performed before the general ANN step. In the convolution step, a multidimensional matrix with weights and a convolution operation are performed. In the pooling step, there are max pooling or mean pooling methods.

예컨대, 1차원 CNN의 경우, 가중치(weight)를 다르게 부여한 1차원 필터를 이용하여 이미지 데이터로부터 1차원적 특징들을 보다 용이하게 추출할 수 있다. 예컨대, 주파수 대역별로 특징이 다른 이미지 데이터가 있는 경우, 각각의 시간 구간에 대하여 주파수 대역별로 다른 가중치를 갖는 1차원 필터를 이미지 데이터에 적용하여 2D CNN에 비해 좀더 세밀하게 주파수에 대한 특징을 추출할 수 있다.For example, in the case of a one-dimensional CNN, one-dimensional features can be more easily extracted from image data by using a one-dimensional filter with different weights. For example, if there is image data with different features for each frequency band, a one-dimensional filter with different weights for each frequency band for each time section is applied to the image data to extract features for frequency more precisely than 2D CNN. can

예를 들어, 제1 딥 뉴럴 네트워크가 1차원 CNN일 경우, 도 7에 도시된 바와 같이 제1 딥뉴럴 네트워크는 11개의 컨벌루션 레이어(convolution layer), 1개의 완전 연결 계층(fully-connected layer), 4개의 맥스 풀링 레이어(max-pooling layer) 및 드롭 아웃 레이어(dropout layer)를 포함할 수 있다. 여기서 드롭 아웃 레이어는 첫 번째 컨벌루션 레이어와 마지막 컨벌루션 레이어를 제외하고 배치될 수 있다. 컨벌루션 레이어는 심전도 데이터(1 x 3000 x L)가 입력될 수 있고 1 x 16 크기의 64개 또는 32개의 필터를 가질 수 있다. 컨벌루션 레이어들은 입력 심전도 신호에 대해 합성곱을 수행하는 계층이며, 맥스 풀링 레이어는 주어진 영역에서 최대값을 선택하여 정보의 크기를 줄일 수 있고, 드롭 아웃 레이어는 과적합 방지를 위하여 한 레이어의 뉴론들에서 그 다음 레이어의 뉴론들로 연결되는 연결망 중 일정 비율만 선택할 수 있다. 완전 연결 레이어는 한 레이어의 뉴론들과 그 다음 레이어의 뉴론들 모두를 연결하는 변환을 할 수 있다.For example, when the first deep neural network is a one-dimensional CNN, as shown in FIG. 7 , the first deep neural network includes 11 convolutional layers, one fully-connected layer, It may include four max-pooling layers and a dropout layer. Here, the dropout layer may be disposed except for the first convolutional layer and the last convolutional layer. The convolutional layer may receive electrocardiogram data (1 x 3000 x L) and may have 64 or 32 filters with a size of 1 x 16. Convolutional layers are a layer that performs convolution on the input ECG signal, the max pooling layer can reduce the size of information by selecting the maximum value in a given region, and the drop-out layer is a layer of neurons in one layer to prevent overfitting. Only a certain percentage of the networks connected to neurons in the next layer can be selected. A fully connected layer can do transformations that connect both neurons in one layer and neurons in the next layer.

한편, 딥 러닝부(140)는 사용자의 인구학적 데이터와 임상학적 데이터를 추가로 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크에 입력할 수 있다. 예를 들어, 심장 상태 예측 장치(100)는 사용자의 인구학적 데이터 또는 임상학적 데이터를 추가로 획득할 수 있고, 인구학적 데이터와 임상학적 데이터를 추가로 고려하여 사용자의 심장 상태를 예측할 수 있다. 예를 들어, 인구학적 데이터는 환자 성별, 환자 나이 및 가구 수입 중 적어도 하나를 포함할 수 있다. 임상학적 데이터는 가족력, 과거 병력(예: 고혈압, 당뇨병, 비만, 대사성증후군), 음주력, 흡연력, 신체 활동, 식습관, 생활습관, 신장, 체중, 혈액 수치 및 콜레스테롤 중 적어도 하나를 포함할 수 있다. Meanwhile, the deep learning unit 140 may additionally input the user's demographic data and clinical data to the first deep neural network and the second deep neural network. For example, the heart condition prediction apparatus 100 may additionally acquire demographic data or clinical data of the user, and may predict the user's heart condition by additionally considering the demographic data and clinical data. For example, the demographic data may include at least one of patient gender, patient age, and household income. The clinical data may include at least one of family history, past medical history (eg, hypertension, diabetes, obesity, metabolic syndrome), drinking history, smoking history, physical activity, diet, lifestyle, height, weight, blood level, and cholesterol.

한편, 인구학적 데이터와 임상학적 데이터는 앞서 설명한 PPG 데이터처럼 정규화하는 과정이 적용될 수 있다.Meanwhile, the normalization process may be applied to demographic data and clinical data, like the PPG data described above.

한편, 도면에 도시된 바와 달리, 사용자의 인구학적 데이터와 임상학적 데이터는 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크의 입력값으로 이용되지 않고 직접 심장 상태 판단부(150)에 입력되어 심장 상태 예측의 자료로 이용될 수 있다.On the other hand, unlike shown in the drawings, the user's demographic data and clinical data are not used as input values of the first deep neural network and the second deep neural network, but are directly input to the heart state determiner 150 to determine the heart state. It can be used as data for prediction.

일 실시 예에서, 동작 34에서, 딥 러닝부(140)는 제1 딥 뉴럴 네트워크 및 제2 딥 뉴럴 네트워크를 통해 PPG 분석 데이터를 산출할 수 있다. 예컨대, 딥 러닝부(140)는 제1 PPG 데이터가 입력되어 제1 딥 뉴럴 네트워크에서 출력된 제1 결과 값과 제2 PPG 데이터가 입력되어 제2 딥 뉴럴 네트워크에서 출력된 제2 결과 값을 결합(concatenate)함으로서 PPG 분석 데이터를 산출할 수 있다. 여기서 결합 방식은 단순 평균, 가중(weighted) 평균, 다수 투표(majority voting) 등이 적용될 수 있다.In an embodiment, in operation 34, the deep learning unit 140 may calculate PPG analysis data through the first deep neural network and the second deep neural network. For example, the deep learning unit 140 combines a first result value output from the first deep neural network to which the first PPG data is input and a second result value output from the second deep neural network to which the second PPG data is input By concatenating, PPG analysis data can be calculated. Here, as the combination method, simple average, weighted average, majority voting, etc. may be applied.

예를 들어, PPG 분석 데이터는 사용자의 심박수, 체온, 스트레스 정도, PPG 정상 파형 대비 비정상 또는 왜곡된 정도를 포함할 수 있다.For example, the PPG analysis data may include a user's heart rate, body temperature, stress level, and a degree of abnormality or distortion compared to a normal PPG waveform.

일 실시 예에서, 동작 35에서, 심장 상태 판단부(150)는 PPG 분석 데이터와 사용자의 심초음파 결과 데이터에 기반하여 사용자의 심장 상태를 예측할 수 있다. 예를 들어, 심장 상태 판단부(150)는 외부 장치(200)로부터 사용자의 심초음파 결과 데이터를 수신할 수 있다. In an embodiment, in operation 35, the heart condition determiner 150 may predict the heart condition of the user based on the PPG analysis data and the user's echocardiogram result data. For example, the heart state determiner 150 may receive the user's echocardiogram result data from the external device 200 .

예를 들어, 심초음파는 심장 질환을 진단하는 방법의 하나로, 초음파 검사기를 이용하여 심장을 향해 초음파 신호를 전달하고, 체내의 조직에서 반사된 초음파 신호의 정보로부터 심장의 단층에 관한 화상을 얻는 방법이 사용된다. 이 때, 초음파 검사기로부터 얻어진 초음파 화상을 분석하여, 심벽의 각 세그먼트의 수축 및 수축 속도와 같은 조직 변형 특성을 디스플레이하는 것은 수축 및 이완하는 근육의 능력에 대한 직접적이고 정량적인 측정 기준을 제공한다. 여기서 외부 장치(200)는 초음파 영상장치일 수 있고, 대상체의 체표로부터 체내의 타겟 부위를 향하여 초음파 신호를 조사하고, 반사된 초음파 신호(초음파 에코신호)의 정보를 이용하여 연부조직의 단층이나 혈류에 관한 이미지를 무침습으로 얻는 장치일 수 있다.For example, echocardiography is a method of diagnosing a heart disease, in which an ultrasound signal is transmitted toward the heart using an ultrasound machine, and an image of a tomography of the heart is obtained from information of the ultrasound signal reflected from the tissues of the body. this is used At this time, analyzing the ultrasound image obtained from the ultrasound machine and displaying the tissue deformation characteristics such as contraction and contraction rate of each segment of the heart wall provides a direct and quantitative measure of the muscle's ability to contract and relax. Here, the external device 200 may be an ultrasound imaging device, irradiates an ultrasound signal from the body surface of an object toward a target region in the body, and uses information of the reflected ultrasound signal (ultrasound echo signal) to form a tomography or blood flow in the soft tissue. It may be a device for obtaining an image about the non-invasive.

예를 들어, 심초음파 결과 데이터는 체내의 대상체를 향하여 초음파 신호를 전송함에 따라서 수신되는 체내의 조직에서 반사된 초음파 신호의 정보를 이용하여, 연부조직의 단층이나 혈류에 관한 이미지 및 근육의 수축도와 같은 특성값을 포함할 수 있다. 또한, 심초음파 결과 데이터는 심근의 움직임 정보를 포함할 수 있다. 심근의 움직임 정보로는 심근의 스트레인(strain), 다시 말해 심근의 변형률, 혹은 심근의 스트레인(strain)의 분포 상황, 및 심근의 스트레스(stress) 등을 예로 들 수 있다.For example, the echocardiography result data uses information of an ultrasound signal reflected from a tissue in the body received as an ultrasound signal is transmitted toward an object in the body, and an image of a tomography or blood flow of a soft tissue, and a degree of muscle contraction and It can contain the same characteristic value. In addition, the echocardiogram result data may include movement information of the myocardium. As the movement information of the myocardium, there may be exemplified myocardial strain, that is, myocardial strain, or distribution of myocardial strain, and myocardial stress.

이와 같이 심장 상태 판단부(150)는 PPG 분석 데이터와 심초음파 결과 데이터에 포함된 각종 정보(예: 심장 박동 수, 혈류 이미지, 근육 수축도 등)을 종합적으로 고려하여 심장질환 여부를 판별한다.As described above, the heart condition determination unit 150 determines whether or not a heart disease is present by comprehensively considering various information (eg, heart rate, blood flow image, muscle contractility, etc.) included in the PPG analysis data and the echocardiogram result data.

예컨대, 심장 상태 판단부(150)는 사용자가 정상 상태인 경우의 심장 박동수를 기준으로 일정한 수를 가감한 하한 임계치 및 상한 임계치를 포함한 심장 박동 기준 정보를 미리 설정할 수 있고, 만약 사용자의 심장 박동수가 이 하한 임계치 미만이거나 상항 임계치를 초과하는 경우, 사용자는 심장 건강 상태가 비정상인 위급 상황에 처해 있다고 판단할 수 있다.For example, the heart condition determination unit 150 may preset heart rate reference information including a lower limit threshold value and an upper limit threshold value by adding or subtracting a predetermined number based on the heart rate when the user is in a normal state, and if the user's heart rate is When the lower limit threshold is less than the upper threshold or exceeds the upper threshold, the user may determine that the user is in an emergency situation in which the heart health state is abnormal.

다른 예로, 심장 박동 기준 정보는 사용자의 심장 박동수가 갖는 고유한 변화 패턴 및 이 고유한 변화 패턴에 대한 허용 편차 범위를 포함하여 구성될 수 있다. 이 경우, 사용자의 심장 박동수의 변화 패턴이 허용된 편차 범위를 벗어나는 경우, 사용자는 심장 건강 상태가 비정상인 위급 상황에 처해 있다고 판단할 수 있다.As another example, the heart rate reference information may include a unique change pattern of the user's heart rate and an allowable deviation range for the unique change pattern. In this case, when the change pattern of the user's heart rate is out of the allowed deviation range, the user may determine that the user is in an emergency situation in which the heart health state is abnormal.

한편, 심장 상태 판단부(150)가 출력하는 심장 상태 예측 결과는 확률 값이고 0~1의 범위일 수 있다. 만약 심장 상태 예측 결과 값이 1에 가까우면 사용자는 심장 질환이 있는 것으로 진단하고, 0에 가까우면 정상 상태에 있는 것으로 진단할 수 있다.Meanwhile, the heart condition prediction result output by the heart condition determination unit 150 is a probability value and may range from 0 to 1. If the result of the heart condition prediction is close to 1, the user may diagnose as having a heart disease, and if it is close to 0, it may be diagnosed as being in a normal state.

일 실시 예에서, 동작 36에서, 사용자 심장 상태 예측 장치(100)는 사용자의 심장 상태 예측 결과에 기반하여 디스플레이(170)를 통해 사용자의 심장 기능 로그(log) 및 심장질환 발생 확률 중 적어도 하나를 표시할 수 있다.In an embodiment, in operation 36, the apparatus 100 for predicting a user's heart condition displays at least one of a user's heart function log and a heart disease occurrence probability through the display 170 based on the user's heart condition prediction result. can be displayed

예를 들어, 디스플레이(170)는 심장 기능 로그에 대응하는 "지난달에 비해 심장 기능이 몇%만큼 변화가 있었습니다"라는 메시지를 표시하거나 심장질환 발생 확률에 대응하는 "지난달에 비해 심부전이 발생할 가능성이 몇% 만큼 변했습니다"라는 메시지를 표시할 수 있다.For example, the display 170 may display a message “there was a change in heart function by how many percent compared to last month” corresponding to the heart function log, or “the likelihood of heart failure compared to the previous month” corresponding to the probability of occurrence of heart disease is displayed. has changed by how many percent".

이와 같이 본 발명은 사용자의 전반적인 생활을 반영하여 심장 상태를 정확하게 예측할 수 있다.As described above, the present invention can accurately predict the heart condition by reflecting the user's overall life.

본 발명의 일 면에 따른 휴식 상태와 활동 상태의 광용적맥파를 활용한 사용자 심장 상태 예측 방법은, PPG(광용적맥파) 센서를 이용하여 사용자의 휴식 상태의 제1 PPG 데이터와 활동 상태의 제2 PPG 데이터를 획득하는 단계; 상기 제1 PPG 데이터와 상기 제2 PPG 데이터를 각각 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크에 입력하여, 상기 제1 딥 뉴럴 네트워크 및 상기 제2 딥 뉴럴 네트워크를 통해 PPG 분석 데이터를 산출하는 단계; 및 상기 PPG 분석 데이터와 상기 사용자의 심초음파 결과 데이터에 기반하여 사용자의 심장 상태를 예측하는 단계;를 포함한다.According to an aspect of the present invention, a method for predicting a user's heart state using a photoplethysmography wave in a resting state and an active state is a method of predicting a user's heart state by using a PPG (photoplethysmography) sensor to determine the first PPG data in the user's resting state and the active state. 2 acquiring PPG data; inputting the first PPG data and the second PPG data to a first deep neural network and a second deep neural network, respectively, and calculating PPG analysis data through the first deep neural network and the second deep neural network ; and predicting a user's heart condition based on the PPG analysis data and the user's echocardiogram data.

다양한 실시 예에 따르면, 상기 사용자의 심장 상태 예측 결과에 기반하여 디스플레이를 통해 사용자의 심장 기능 로그(log) 및 심장질환 발생 확률 중 적어도 하나를 표시할 수 있다.According to various embodiments, at least one of a heart function log of the user and a probability of occurrence of a heart disease may be displayed on the display based on the result of the prediction of the user's heart condition.

다양한 실시 예에 따르면, 상기 제1 딥 뉴럴 네트워크와 상기 제2 딥 뉴럴 네트워크는 1차원 CNN(convolutioanal neural network) 또는 RNN(Recurrent Neural Network)일 수 있다.According to various embodiments, the first deep neural network and the second deep neural network may be a one-dimensional convolutioanal neural network (CNN) or a recurrent neural network (RNN).

다양한 실시 예에 따르면, 상기 제1 PPG 데이터와 상기 제2 PPG 데이터를 정규화하는 단계;를 더 포함할 수 있다.According to various embodiments, the method may further include normalizing the first PPG data and the second PPG data.

다양한 실시 예에 따르면, 상기 사용자의 인구학적 데이터 또는 임상학적 데이터를 추가로 획득하는 단계; 및 상기 인구학적 데이터와 상기 임상학적 데이터를 추가로 고려하여 상기 사용자의 심장 상태를 예측하는 단계를 더 포함할 수 있다.According to various embodiments, further acquiring demographic data or clinical data of the user; and predicting the heart condition of the user by further considering the demographic data and the clinical data.

다양한 실시 예에 따르면, 상기 인구학적 데이터와 상기 임상학적 데이터를 정규화하는 단계;를 더 포함할 수 있다.According to various embodiments, the method may further include normalizing the demographic data and the clinical data.

다양한 실시 예에 따르면, 상기 PPG 센서를 이용하여 PPG 데이터를 획득하는 단계; 및 상기 PPG 데이터의 노이즈 구간의 길이 또는 미리 설정된 주기에 기반하여 상기 PPG 데이터를 상기 휴식 상태의 상기 제1 PPG 데이터와 상기 활동 상태의 상기 제2 PPG 데이터로 구분하여 저장하는 단계;를 더 포함할 수 있다.According to various embodiments, obtaining PPG data using the PPG sensor; and dividing the PPG data into the first PPG data in the resting state and the second PPG data in the active state and storing the PPG data based on the length of the noise section of the PPG data or a preset period. can

다양한 실시 예에 따르면, 상기 PPG 센서를 이용하여 PPG 데이터를 획득하는 단계; 상기 PPG 데이터를 분석하여 상기 사용자의 심박수를 획득하는 단계; 상기 사용자의 심박수와 미리 설정한 심박수 범위를 비교하는 단계; 및상기 비교 결과에 기반하여 상기 PPG 데이터를 상기 휴식 상태의 상기 제1 PPG 데이터와 상기 활동 상태의 상기 제2 PPG 데이터로 구분하여 저장하는 단계;를 더 포함할 수 있다.According to various embodiments, obtaining PPG data using the PPG sensor; acquiring the heart rate of the user by analyzing the PPG data; comparing the heart rate of the user with a preset heart rate range; and dividing and storing the PPG data into the first PPG data in the resting state and the second PPG data in the active state based on the comparison result.

다양한 실시 예에 따르면, 외부 장치로부터 상기 심초음파 결과 데이터를 수신하는 단계를 더 포함할 수 있다.According to various embodiments, the method may further include receiving the echocardiogram result data from an external device.

다양한 실시 예에 따르면, 휴식 상태와 활동 상태의 광용적맥파를 활용한 사용자 심장 상태 예측 프로그램은 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장될 수 있다.According to various embodiments, the user's heart condition prediction program using the photoplethysmogram waves of the resting state and the active state is combined with a computer that is hardware, and is stored in a medium to execute the method of any one of claims 1 to 9. can be

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in relation to an embodiment of the present invention may be implemented directly in hardware, as a software module executed by hardware, or by a combination thereof. A software module may contain random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. As mentioned above, although embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing its technical spirit or essential features. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

100 : 사용자 심장 상태 예측 장치
110 : PPG 센서
120 : 데이터 획득부
130 : 데이터 처리부
140 : 딥러닝부
150 : 심장 상태 판단부
160 : 데이터베이스
170 : 디스플레이
100: user heart condition prediction device
110: PPG sensor
120: data acquisition unit
130: data processing unit
140: deep learning unit
150: heart condition determination unit
160 : database
170: display

Claims (10)

휴식 상태와 활동 상태의 광용적맥파를 활용한 사용자 심장 상태 예측방법에 있어서,
PPG(광용적맥파) 센서를 이용하여 사용자의 휴식 상태의 제1 PPG 데이터와 활동 상태의 제2 PPG 데이터를 획득하는 단계;
상기 제1 PPG 데이터와 상기 제2 PPG 데이터를 각각 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크에 입력하여, 상기 제1 딥 뉴럴 네트워크 및 상기 제2 딥 뉴럴 네트워크를 통해 PPG 분석 데이터를 산출하는 단계; 및
상기 PPG 분석 데이터와 상기 사용자의 심초음파 결과 데이터에 기반하여 사용자의 심장 상태를 예측하는 단계;를 포함하는 것을 특징으로 하는 휴식 상태와 활동 상태의 광용적맥파를 활용한 사용자 심장 상태 예측방법.
A method for predicting a user's heart condition using photoplethysmography waves in resting and active states,
obtaining first PPG data in a resting state and second PPG data in an active state of the user by using a photoplethysmography (PPG) sensor;
inputting the first PPG data and the second PPG data to a first deep neural network and a second deep neural network, respectively, and calculating PPG analysis data through the first deep neural network and the second deep neural network ; and
Predicting the user's heart condition based on the PPG analysis data and the user's echocardiogram result data;
제1 항에 있어서, 상기 사용자의 심장 상태 예측 결과에 기반하여 디스플레이를 통해 사용자의 심장 기능 로그(log) 및 심장질환 발생 확률 중 적어도 하나를 표시하는 것을 특징으로 하는 휴식 상태와 활동 상태의 광용적맥파를 활용한 사용자 심장 상태 예측방법.The light volume of the resting state and the active state according to claim 1, wherein at least one of a heart function log of the user and a probability of occurrence of a heart disease is displayed on a display based on a result of the prediction of the user's heart condition. A method for predicting the user's heart condition using pulse waves. 제1 항에 있어서, 상기 제1 딥 뉴럴 네트워크와 상기 제2 딥 뉴럴 네트워크는 1차원 CNN(convolutioanal neural network) 또는 RNN(Recurrent Neural Network)인 것을 특징으로 하는 휴식 상태와 활동 상태의 광용적맥파를 활용한 사용자 심장 상태 예측방법.According to claim 1, wherein the first deep neural network and the second deep neural network is a one-dimensional CNN (convolutioanal neural network) or RNN (Recurrent Neural Network) characterized in that the photoplethysmogram wave of the resting state and the active state A method for predicting the user's heart condition. 제1 항에 있어서, 상기 제1 PPG 데이터와 상기 제2 PPG 데이터를 정규화하는 단계;를 더 포함하는 것을 특징으로 하는 휴식 상태와 활동 상태의 광용적맥파를 활용한 사용자 심장 상태 예측방법.The method of claim 1, further comprising normalizing the first PPG data and the second PPG data. 제1 항에 있어서, 상기 사용자의 인구학적 데이터 또는 임상학적 데이터를 추가로 획득하는 단계; 및
상기 인구학적 데이터와 상기 임상학적 데이터를 추가로 고려하여 상기 사용자의 심장 상태를 예측하는 단계를 더 포함하는 것을 특징으로 하는 휴식 상태와 활동 상태의 광용적맥파를 활용한 사용자 심장 상태 예측방법.
The method of claim 1 , further comprising: acquiring demographic data or clinical data of the user; and
The method of predicting a user's heart condition using the photoplethysmography waves of the resting state and the active state, further comprising the step of predicting the heart condition of the user by additionally considering the demographic data and the clinical data.
제5 항에 있어서, 상기 인구학적 데이터와 상기 임상학적 데이터를 정규화하는 단계;를 더 포함하는 것을 특징으로 하는 휴식 상태와 활동 상태의 광용적맥파를 활용한 사용자 심장 상태 예측방법.[6] The method of claim 5, further comprising normalizing the demographic data and the clinical data. 제1 항에 있어서,
상기 PPG 센서를 이용하여 PPG 데이터를 획득하는 단계; 및
상기 PPG 데이터의 노이즈 구간의 길이 또는 미리 설정된 주기에 기반하여 상기 PPG 데이터를 상기 휴식 상태의 상기 제1 PPG 데이터와 상기 활동 상태의 상기 제2 PPG 데이터로 구분하여 저장하는 단계;를 더 포함하는 것을 특징으로 하는 휴식 상태와 활동 상태의 광용적맥파를 활용한 사용자 심장 상태 예측방법.
According to claim 1,
acquiring PPG data using the PPG sensor; and
Separating the PPG data into the first PPG data in the resting state and the second PPG data in the active state and storing the PPG data based on the length of the noise section of the PPG data or a preset period. A method for predicting the user's heart condition using the photoplethysmography waves of the resting state and the active state.
제1 항에 있어서,
상기 PPG 센서를 이용하여 PPG 데이터를 획득하는 단계;
상기 PPG 데이터를 분석하여 상기 사용자의 심박수를 획득하는 단계;
상기 사용자의 심박수와 미리 설정한 심박수 범위를 비교하는 단계; 및
상기 비교 결과에 기반하여 상기 PPG 데이터를 상기 휴식 상태의 상기 제1 PPG 데이터와 상기 활동 상태의 상기 제2 PPG 데이터로 구분하여 저장하는 단계;를 더 포함하는 것을 특징으로 하는 휴식 상태와 활동 상태의 광용적맥파를 활용한 사용자 심장 상태 예측방법.
According to claim 1,
acquiring PPG data using the PPG sensor;
acquiring the heart rate of the user by analyzing the PPG data;
comparing the heart rate of the user with a preset heart rate range; and
Based on the comparison result, dividing and storing the PPG data into the first PPG data in the resting state and the second PPG data in the active state; A method for predicting the user's heart condition using photoplethysmography.
제1 항에 있어서, 외부 장치로부터 상기 심초음파 결과 데이터를 수신하는 단계를 더 포함하는 것을 특징으로 하는 휴식 상태와 활동 상태의 광용적맥파를 활용한 사용자 심장 상태 예측방법.The method of claim 1, further comprising receiving the echocardiogram result data from an external device. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 휴식 상태와 활동 상태의 광용적맥파를 활용한 사용자 심장 상태 예측 프로그램.A user heart condition prediction program using photoplethysmography waves in resting and active states, stored in a medium to execute the method of any one of claims 1 to 9 in combination with a computer that is hardware.
KR1020200011304A 2020-01-30 2020-01-30 Method for predicting user heart state using active state of ppg and rest state of ppg KR102329988B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200011304A KR102329988B1 (en) 2020-01-30 2020-01-30 Method for predicting user heart state using active state of ppg and rest state of ppg

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200011304A KR102329988B1 (en) 2020-01-30 2020-01-30 Method for predicting user heart state using active state of ppg and rest state of ppg

Publications (2)

Publication Number Publication Date
KR20210097512A true KR20210097512A (en) 2021-08-09
KR102329988B1 KR102329988B1 (en) 2021-11-22

Family

ID=77313346

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200011304A KR102329988B1 (en) 2020-01-30 2020-01-30 Method for predicting user heart state using active state of ppg and rest state of ppg

Country Status (1)

Country Link
KR (1) KR102329988B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115177263A (en) * 2022-09-13 2022-10-14 毕胜普生物科技有限公司 Heart detection method and system based on dynamic and static combination and readable storage medium
CN116058814A (en) * 2021-11-01 2023-05-05 北京荣耀终端有限公司 Heart rate detection method and electronic equipment
CN116439675A (en) * 2023-03-28 2023-07-18 深圳市莱康宁医用科技股份有限公司 Measurement method, device and system applied to human circulatory system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090027390A (en) 2007-09-12 2009-03-17 이영우 Methodology and apparatus for portable and wearable type exercise electrocardiography

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090027390A (en) 2007-09-12 2009-03-17 이영우 Methodology and apparatus for portable and wearable type exercise electrocardiography

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Eric M. Green, et al., Machine learning detection of obstructive hypertrophic cardiomyopathy using a wearable biosensor, npj Digital Medicine volume 2, Article number: 57 (2019) *
Paschalis Bizopoulos, et al., Deep Learning in Cardiology, 2019 IEEE *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116058814A (en) * 2021-11-01 2023-05-05 北京荣耀终端有限公司 Heart rate detection method and electronic equipment
CN115177263A (en) * 2022-09-13 2022-10-14 毕胜普生物科技有限公司 Heart detection method and system based on dynamic and static combination and readable storage medium
CN116439675A (en) * 2023-03-28 2023-07-18 深圳市莱康宁医用科技股份有限公司 Measurement method, device and system applied to human circulatory system

Also Published As

Publication number Publication date
KR102329988B1 (en) 2021-11-22

Similar Documents

Publication Publication Date Title
US10561321B2 (en) Continuous monitoring of a user's health with a mobile device
Martinez-Ríos et al. A review of machine learning in hypertension detection and blood pressure estimation based on clinical and physiological data
Ballinger et al. DeepHeart: semi-supervised sequence learning for cardiovascular risk prediction
US20190038148A1 (en) Health with a mobile device
KR102329988B1 (en) Method for predicting user heart state using active state of ppg and rest state of ppg
Natarajan et al. Photoplethysmography fast upstroke time intervals can be useful features for cuff-less measurement of blood pressure changes in humans
US20210345897A1 (en) Heart Rate Variability Composite Scoring and Analysis
Gandhi et al. The spectral analysis of photoplethysmography to evaluate an independent cardiovascular risk factor
US20210345896A1 (en) Heart Rate Variability Monitoring and Analysis
US20230082362A1 (en) Processes and methods to predict blood pressure
US20230233152A1 (en) Methods, apparatus and systems for adaptable presentation of sensor data
WO2018220052A1 (en) An apparatus and method
Vakulenkoa et al. New application of blood pressure monitor with software environment Oranta-AO based on arterial oscillography methods
Zhang et al. Towards early detection and burden estimation of atrial fibrillation in an ambulatory free-living environment
US20210361217A1 (en) Ecg-based age and sex estimation
CN117158938A (en) Health monitoring method and device applied to intelligent watch and electronic equipment
US20230105385A1 (en) Method And Assembly For Predicting The Occurrence Of Heart Disease Within An Individual
US20220280121A1 (en) Non-invasive non-contact system and method for evaluating primary and secondary hypertension conditions using thermal imaging
Mohammadzadeh et al. Prediction of physiological response over varying forecast lengths with a wearable health monitoring platform
Mary et al. Real-time Non-invasive Blood Glucose Monitoring using Advanced Machine Learning Techniques
US20210393188A1 (en) Quantification of intermittent function of baroreflex from continuous arterial pressure data
George et al. Assessing the effect of long term physical training and classification of training status using HRV and HRR of female police recruits
CN111031899B (en) Evaluation system for cardiovascular health assessment and personalized health and fitness intervention
US8636660B1 (en) System and method for dynamic multi-stage test administration for detection of cardiovascular disease
US20240206823A1 (en) Method, apparatus and program for calculating disease risk based on heart rate measurement

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant