KR20220102216A - Apparatus and method for providing user heartbeat based on ppg signal - Google Patents

Apparatus and method for providing user heartbeat based on ppg signal Download PDF

Info

Publication number
KR20220102216A
KR20220102216A KR1020210004147A KR20210004147A KR20220102216A KR 20220102216 A KR20220102216 A KR 20220102216A KR 1020210004147 A KR1020210004147 A KR 1020210004147A KR 20210004147 A KR20210004147 A KR 20210004147A KR 20220102216 A KR20220102216 A KR 20220102216A
Authority
KR
South Korea
Prior art keywords
heartbeat
signal
sound
point
user
Prior art date
Application number
KR1020210004147A
Other languages
Korean (ko)
Other versions
KR102480455B1 (en
Inventor
강승완
박종우
Original Assignee
주식회사 아이메디신
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이메디신 filed Critical 주식회사 아이메디신
Priority to KR1020210004147A priority Critical patent/KR102480455B1/en
Publication of KR20220102216A publication Critical patent/KR20220102216A/en
Application granted granted Critical
Publication of KR102480455B1 publication Critical patent/KR102480455B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A61B5/02455—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals provided with high/low alarm devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

The present invention relates to a device and method for providing a user's heartbeat based on a PPG signal. The device includes: a signal collection unit for measuring a user's PPG signal through a PPG sensor; a signal conversion unit which converts the PPG signal into an electrocardiogram (ECG) signal; a heartbeat analyzer which analyzes the electrocardiogram signal to determine a contraction point and a relaxation point of a heartbeat; and a heartbeat sound expression unit for reproducing preset heartbeats at each of the contraction point and diastole point in response to progression of a time axis with respect to the electrocardiogram signal. Accordingly, the heartbeat sound can be realistically expressed using the PPG signal.

Description

PPG 신호 기반의 사용자 심박음 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING USER HEARTBEAT BASED ON PPG SIGNAL}Apparatus and method for providing user heartbeat based on PPG signal

본 발명은 기계학습을 위한 변수의 단계적 선택 기술에 관한 것으로, 보다 상세하게는 PPG 신호를 이용해서 심박동 사운드를 현실감 있게 표현할 수 있는 PPG 신호 기반의 사용자 심박음 제공 장치 및 방법에 관한 것이다.The present invention relates to a technique for stepwise selection of variables for machine learning, and more particularly, to a PPG signal-based user heartbeat providing apparatus and method capable of realistically expressing a heartbeat sound using a PPG signal.

건강에 대한 사람들의 관심이 증가하면서 몸 상태를 손쉽게 파악할 수 있는 체온계, 혈압계, 맥박측정계, 혈당계 및 옥시미터 등의 기기가 개발되어 왔다. 이러한 종래 기기는 사용자가 자신의 체온, 혈압, 심박수, 혈당 또는 산소포화도 등을 측정하기 위해 직접 조작해야만 하는 불편으로 인해 병원에 가지 않고도 간단하게 측정 및 결과 확인이 가능하다는 장점에도 불구하고 기기의 활용도는 높지 않은 실정이다.As people's interest in health has increased, devices such as a thermometer, a blood pressure monitor, a pulse meter, a blood glucose meter, and an oximeter, which can easily check the body condition, have been developed. In spite of the advantage of being able to simply measure and check results without going to a hospital due to the inconvenience that the user has to directly manipulate to measure his or her body temperature, blood pressure, heart rate, blood sugar, or oxygen saturation, such a conventional device can be used is not high.

최근에는 다양한 웨어러블 기기를 통해 PPG 신호를 측정하는 다양한 방법들이 개발되어, 보다 편리하게 자신의 건강을 측정하고 그 결과를 확인할 수 있다. 대표적으로 스마트 워치는 사용자로부터 PPG 신호를 측정하고 해당 신호를 기초로 건강정보를 생성하여 제공하는 기능을 제공하고 있다.Recently, various methods for measuring the PPG signal through various wearable devices have been developed, so that it is possible to more conveniently measure one's health and check the result. Typically, a smart watch measures a PPG signal from a user and provides a function to generate and provide health information based on the signal.

다만, 해당 기술이 발달함에 따라서 사용자들은 단순한 시각적 정보만이 아니라 청각 또는 촉각으로 표현되는 건강정보를 원하고 있다. 따라서, 이러한 사용자의 욕구를 만족시키기 위해 시각을 넘어 청각 또는 촉각에 의한 건강정보의 제공이 필요할 수 있다.However, as the technology develops, users want health information expressed not only by visual information but also by auditory or tactile sense. Therefore, in order to satisfy the user's desire, it may be necessary to provide health information through auditory or tactile sense beyond sight.

한국공개특허 제10-2010-0008875호 (2010.01.27)Korean Patent Laid-Open Patent No. 10-2010-0008875 (2010.01.27)

본 발명의 일 실시예는 PPG 신호를 이용해서 심박동 사운드를 현실감 있게 표현할 수 있는 PPG 신호 기반의 사용자 심박음 제공 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide an apparatus and method for providing a user's heartbeat sound based on a PPG signal that can realistically express a heartbeat sound using a PPG signal.

본 발명의 일 실시예는 사용자의 심박동에 관한 청각적 정보를 심박음으로 제공하면서 사용자의 환경에 적합한 배경음을 함께 제공하여 심박음을 보다 생생하게 표현할 수 있는 PPG 신호 기반의 사용자 심박음 제공 장치 및 방법을 제공하고자 한다.An embodiment of the present invention provides an apparatus and method for providing a user's heartbeat based on a PPG signal that can more vividly express the heartbeat by providing a background sound suitable for the user's environment while providing auditory information about the user's heartbeat as a heartbeat sound. would like to provide

실시예들 중에서, PPG 신호 기반의 사용자 심박음 제공 장치는 PPG 센서를 통해 사용자의 PPG 신호를 측정하는 신호 수집부; 상기 PPG 신호를 심전도(ECG) 신호로 변환하는 신호 변환부; 상기 심전도 신호를 분석하여 심박동에 관한 수축점 및 이완점을 결정하는 심박동 분석부; 및 상기 심전도 신호에 관한 시간축의 진행에 대응하여 상기 수축점 및 이완점 각각에서 기 설정된 심박음을 재생하는 심박음 표현부를 포함한다.In embodiments, an apparatus for providing a user's heartbeat based on a PPG signal includes: a signal collecting unit configured to measure a user's PPG signal through a PPG sensor; a signal converter converting the PPG signal into an electrocardiogram (ECG) signal; a heartbeat analyzer that analyzes the electrocardiogram signal to determine a contractile point and a relaxation point with respect to the heartbeat; and a heartbeat expression unit that reproduces a preset heartbeat sound at each of the contraction and relaxation points in response to the progress of the time axis with respect to the ECG signal.

상기 신호 수집부는 카메라 모듈을 포함하는 사용자 단말로부터 상기 PPG 신호를 수신할 수 있다.The signal collection unit may receive the PPG signal from a user terminal including a camera module.

상기 신호 변환부는 상기 PPG 신호에 대해 이동평균 필터(Moving Average Filter) 및 버터워스 필터(Butterworth Filter)를 포함하는 대역 통과 필터를 적용하여 신호 잡음을 제거하는 전처리를 수행할 수 있다.The signal converter may perform preprocessing for removing signal noise by applying a bandpass filter including a moving average filter and a Butterworth filter to the PPG signal.

상기 심박동 분석부는 상기 심전도 신호의 R-피크(R-peak)들 간의 간격인 R-R 간격을 추출하고 각 R-R 간격마다 상기 수축점 및 이완점을 결정할 수 있다.The heartbeat analyzer may extract an R-R interval, which is an interval between R-peaks of the ECG signal, and determine the contraction point and the relaxation point for each R-R interval.

상기 심박동 분석부는 상기 각 R-R 간격마다 해당 R-R 간격의 R-피크를 상기 수축점으로 결정하고 제1 이완점부터 상기 수축점까지의 시간과 상기 수축점부터 제2 이완점까지의 시간이 소정의 비율을 갖도록 상기 이완점으로 결정할 수 있다.The heartbeat analyzer determines the R-peak of the corresponding R-R interval as the contraction point for each R-R interval, and the time from the first relaxation point to the contraction point and the time from the contraction point to the second relaxation point are determined by a predetermined ratio. It can be determined as the relaxation point so as to have

상기 심박음 표현부는 상기 수축점 및 이완점 각각에 서로 다른 심박음을 설정하고 상기 수축점 및 이완점 각각의 세기에 따라 해당 심박음의 재생 강도를 조절할 수 있다.The heartbeat expression unit may set different heartbeat sounds at each of the contraction and relaxation points, and may adjust a reproduction intensity of the corresponding heartbeat according to the strength of each of the contraction and relaxation points.

상기 심박음 표현부는 사용자 단말로부터 현재의 위치 및 날씨에 관한 배경 정보를 수집하는 배경 정보 수집모듈(371); 상기 위치를 기준으로 기 설정된 장소들 중 어느 하나를 결정하여 해당 장소와 연관된 장소음을 결정하는 장소음 결정모듈(373); 상기 날씨를 기준으로 기 설정된 날씨음들 중 어느 하나를 결정하는 날씨음 결정모듈(375); 및 상기 해당 장소가 실내 또는 실외인지에 따라 상기 장소음과 날씨음 각각의 세기를 조절한 다음 상호 결합하여 배경음을 생성하는 배경음 생성모듈(377)을 포함하고, 상기 심박음을 재생하는 과정에서 상기 배경음 생성 모듈에 의해 생성된 배경음을 함께 재생할 수 있다.The heartbeat expression unit includes: a background information collection module 371 that collects background information about the current location and weather from the user terminal; a place sound determination module 373 for determining a place sound associated with the place by determining any one of preset places based on the location; a weather sound determination module 375 for determining any one of preset weather sounds based on the weather; and a background sound generating module 377 that adjusts the intensity of each of the place sound and the weather sound according to whether the corresponding place is indoors or outdoors, and then combines them to generate a background sound, wherein in the process of reproducing the heartbeat sound, the The background sound generated by the background sound generation module can be reproduced together.

실시예들 중에서, PPG 신호 기반의 사용자 심박음 제공 방법은 PPG 센서를 통해 사용자의 PPG 신호를 측정하는 단계; 상기 PPG 신호를 심전도(ECG) 신호로 변환하는 단계; 상기 심전도 신호를 분석하여 심박동에 관한 수축점 및 이완점을 결정하는 단계; 및 상기 심전도 신호에 관한 시간축의 진행에 대응하여 상기 수축점 및 이완점 각각에서 기 설정된 심박음을 재생하는 단계를 포함한다.In embodiments, a method for providing a user's heartbeat based on a PPG signal may include: measuring a PPG signal of a user through a PPG sensor; converting the PPG signal into an electrocardiogram (ECG) signal; analyzing the electrocardiogram signal to determine a contraction point and a relaxation point with respect to the heartbeat; and reproducing a preset heartbeat sound at each of the contraction point and the relaxation point in response to the progress of the time axis with respect to the electrocardiogram signal.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology may have the following effects. However, this does not mean that a specific embodiment should include all of the following effects or only the following effects, so the scope of the disclosed technology should not be construed as being limited thereby.

본 발명의 일 실시예에 따른 PPG 신호 기반의 사용자 심박음 제공 장치 및 방법은 PPG 신호를 통해 광혈류를 측정하여 심장 박동 사운드를 현실감 있게 표현할 수 있다.The apparatus and method for providing a user's heartbeat sound based on a PPG signal according to an embodiment of the present invention measure the optical blood flow through the PPG signal to realistically represent the heartbeat sound.

본 발명의 일 실시예에 따른 PPG 신호 기반의 사용자 심박음 제공 장치 및 방법은 사용자의 심박동에 관한 청각적 정보를 심박음으로 제공하면서 사용자의 환경에 적합한 배경음을 함께 제공하여 심박음을 보다 생생하게 표현할 수 있다.An apparatus and method for providing a user's heartbeat based on a PPG signal according to an embodiment of the present invention provide audio information about a user's heartbeat as a heartbeat sound and provide a background sound suitable for the user's environment to more vividly express the heartbeat sound can

도 1은 본 발명에 따른 심박음 제공 시스템을 설명하는 도면이다.
도 2는 도 1의 심박음 제공 장치의 시스템 구성을 설명하는 도면이다.
도 3은 도 1의 심박음 제공 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 PPG 신호 기반의 사용자 심박음 제공 방법을 설명하는 순서도이다.
도 5는 본 발명에 따른 사용자 심박음 제공 방법의 일 실시예를 설명하는 순서도이다.
도 6은 심전도 그래프를 설명하는 도면이다.
도 7은 PPG 신호를 설명하는 도면이다.1 is a view for explaining a heartbeat sound providing system according to the present invention.
FIG. 2 is a diagram for explaining a system configuration of the heartbeat providing apparatus of FIG. 1 .
FIG. 3 is a diagram for explaining a functional configuration of the heartbeat sound providing device of FIG. 1 .
4 is a flowchart illustrating a method for providing a user heartbeat based on a PPG signal according to the present invention.
5 is a flowchart illustrating an embodiment of a method for providing a user's heartbeat according to the present invention.
6 is a diagram for explaining an electrocardiogram graph.
7 is a diagram for explaining a PPG signal.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is merely an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiment described in the text. That is, since the embodiment is capable of various changes and may have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such effects, it should not be understood that the scope of the present invention is limited thereby.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in the present application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as “first” and “second” are for distinguishing one component from another, and the scope of rights should not be limited by these terms. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being “connected” to another component, it may be directly connected to the other component, but it should be understood that other components may exist in between. On the other hand, when it is mentioned that a certain element is "directly connected" to another element, it should be understood that the other element does not exist in the middle. On the other hand, other expressions describing the relationship between elements, that is, "between" and "between" or "neighboring to" and "directly adjacent to", etc., should be interpreted similarly.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression is to be understood to include the plural expression unless the context clearly dictates otherwise, and terms such as "comprises" or "have" refer to the embodied feature, number, step, action, component, part or these It is intended to indicate that a combination exists, and it should be understood that it does not preclude the possibility of the existence or addition of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Identifiers (eg, a, b, c, etc.) in each step are used for convenience of description, and the identification code does not describe the order of each step, and each step clearly indicates a specific order in context. Unless otherwise specified, it may occur in a different order from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer-readable codes on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. . Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. In addition, the computer-readable recording medium may be distributed in a network-connected computer system, and the computer-readable code may be stored and executed in a distributed manner.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Terms defined in general used in the dictionary should be interpreted as having the meaning consistent with the context of the related art, and cannot be interpreted as having an ideal or excessively formal meaning unless explicitly defined in the present application.

도 1은 본 발명에 따른 심박음 제공 시스템을 설명하는 도면이다.1 is a view for explaining a heartbeat sound providing system according to the present invention.

도 1을 참조하면, 심박음 제공 시스템(100)은 사용자 단말(110), 심박음 제공 장치(130) 및 데이터베이스(150)를 포함할 수 있다.Referring to FIG. 1 , the heartbeat providing system 100 may include a user terminal 110 , a heartbeat providing apparatus 130 , and a database 150 .

사용자 단말(110)은 PPG 신호에 따른 심박음을 재생할 수 있는 컴퓨팅 장치에 해당할 수 있다. 즉, 사용자는 사용자 단말(110)을 통해 자신의 심박동에 대응하여 생성된 심박음을 청각적으로 확인할 수 있다. 사용자 단말(110)은 심박음 제공 장치(130)와 연결되어 동작 가능한 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(110)은 심박음 제공 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(110)들은 심박음 제공 장치(130)와 동시에 연결될 수도 있다. 또한, 사용자 단말(110)은 심박음 제공 시스템(100)이 제공하는 소정의 서비스를 이용할 수 있는 전용 프로그램 또는 어플리케이션을 설치하여 실행할 수 있다.The user terminal 110 may correspond to a computing device capable of reproducing a heartbeat according to a PPG signal. That is, the user may audibly check a heartbeat generated in response to his or her heartbeat through the user terminal 110 . The user terminal 110 may be implemented as a smart phone, a notebook computer, or a computer that is connected to the heartbeat sound providing apparatus 130 and is operable, but is not limited thereto, and may be implemented in various devices such as a tablet PC. The user terminal 110 may be connected to the heartbeat sound providing apparatus 130 through a network, and a plurality of user terminals 110 may be simultaneously connected to the heartbeat sound providing apparatus 130 . In addition, the user terminal 110 may install and execute a dedicated program or application for using a predetermined service provided by the heartbeat providing system 100 .

일 실시예에서, 사용자 단말(110)은 심박음을 재생할 수 있는 스피커 모듈을 포함할 수 있다. 또한, 사용자 단말(110)은 심박음 제공 장치(130)가 제공하는 다양한 음악 파일과 호환 가능하도록 구현될 수 있다.In an embodiment, the user terminal 110 may include a speaker module capable of reproducing a heartbeat sound. Also, the user terminal 110 may be implemented to be compatible with various music files provided by the heartbeat sound providing apparatus 130 .

일 실시예에서, 사용자 단말(110)은 카메라 모듈을 포함하여 구현될 수 있다. 사용자 단말(110)은 카메라 모듈에 의해 촬영된 손가락 영상으로부터 PPG 신호를 획득할 수 있다. 이때, 카메라 모듈은 플래시 모드로 동작할 수 있다. 사용자 단말(110)은 획득된 손가락 영상을 기초로 PPG 신호를 생성할 수 있으며, 보다 정확도 높은 PPG 신호를 생성하기 위하여 손가락 영상에서 특정 색상 성분만을 추출하여 사용할 수 있다. 예를 들어, 사용자 단말(110)은 손가락 영상의 레드(red) 성분 또는 명도(intensity) 성분만을 추출하여 PPG 신호를 생성할 수 있다. In one embodiment, the user terminal 110 may be implemented to include a camera module. The user terminal 110 may obtain a PPG signal from a finger image captured by the camera module. In this case, the camera module may operate in a flash mode. The user terminal 110 may generate a PPG signal based on the obtained finger image, and may extract and use only a specific color component from the finger image in order to generate a PPG signal with higher accuracy. For example, the user terminal 110 may generate a PPG signal by extracting only a red component or an intensity component of the finger image.

심박음 제공 장치(130)는 사용자로부터 측정된 PPG 신호를 기초로 심박동에 대응되는 심박음을 청각적으로 제공할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 심박음 제공 장치(130)는 사용자 단말(110)과 유선 네트워크 또는 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 사용자 단말(110)과 데이터를 송·수신할 수 있다. 또한, 심박음 제공 장치(130)는 데이터의 수집 또는 추가 기능의 제공을 위하여 별도의 외부 시스템(도 1에 미도시함)과 연동하여 동작하도록 구현될 수도 있다.The heartbeat sound providing apparatus 130 may be implemented as a computer or a server corresponding to a program that can audibly provide a heartbeat sound corresponding to a heartbeat based on a PPG signal measured from a user. The heartbeat sound providing apparatus 130 may be connected to the user terminal 110 through a wired network or a wireless network such as Bluetooth or WiFi, and may transmit/receive data to and from the user terminal 110 through the network. Also, the heartbeat sound providing apparatus 130 may be implemented to operate in conjunction with a separate external system (not shown in FIG. 1 ) to collect data or provide an additional function.

한편, 도 1과 달리 심박음 제공 장치(130)는 사용자 단말(110) 내부에 포함되어 구현될 수 있다. 이 경우, 심박음 제공 장치(130)는 사용자 단말(110)의 일 구성요소로서 PPG 신호에 따른 심박음 재생을 수행하는 독립적인 모듈로 구현될 수 있다. 여기에서는 보다 명확한 이해를 위하여 심박음 제공 장치(130)를 사용자 단말(110)과 독립된 장치로서 설명한다.Meanwhile, unlike FIG. 1 , the heartbeat providing apparatus 130 may be implemented by being included in the user terminal 110 . In this case, the heartbeat providing apparatus 130 may be implemented as an independent module that reproduces the heartbeat according to the PPG signal as a component of the user terminal 110 . Herein, for a clearer understanding, the heartbeat providing device 130 will be described as an independent device from the user terminal 110 .

데이터베이스(150)는 심박음 제공 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 예를 들어, 데이터베이스(150)는 심박음 재생을 위해 사전에 녹음 또는 생성된 음악 파일을 저장할 수 있고, PPG 신호 및 ECG 신호 처리에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 심박음 제공 장치(130)가 PPG 신호 기반의 사용자 심박음 제공 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.The database 150 may correspond to a storage device for storing various pieces of information necessary for the operation of the heartbeat sound providing device 130 . For example, the database 150 may store pre-recorded or generated music files for heartbeat reproduction, and may store information about PPG signal and ECG signal processing, but is not limited thereto, and provides heartbeat sound The device 130 may store information collected or processed in various forms in the process of providing a user heartbeat based on the PPG signal.

또한, 도 1에서, 데이터베이스(150)는 심박음 제공 장치(130)와 독립적인 장치로서 도시되어 있으나, 반드시 이에 한정되지 않고, 심박음 제공 장치(130)의 논리적인 저장장치로서 심박음 제공 장치(130)에 포함되어 구현될 수 있음은 물론이다.Also, in FIG. 1 , the database 150 is illustrated as a device independent of the heartbeat providing device 130 , but is not limited thereto, and is a logical storage device of the heartbeat providing device 130 . Of course, it can be implemented by being included in 130 .

도 2는 도 1의 심박음 제공 장치의 시스템 구성을 설명하는 도면이다.FIG. 2 is a diagram for explaining a system configuration of the heartbeat providing apparatus of FIG. 1 .

도 2를 참조하면, 심박음 제공 장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함하여 구현될 수 있다.Referring to FIG. 2 , the heartbeat providing apparatus 130 may be implemented including a processor 210 , a memory 230 , a user input/output unit 250 , and a network input/output unit 270 .

프로세서(210)는 심박음 제공 장치(130)가 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 심박음 제공 장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 심박음 제공 장치(130)의 CPU(Central Processing Unit)로 구현될 수 있다.The processor 210 may execute a procedure for processing each step in the process in which the heartbeat providing device 130 operates, and manage the memory 230 that is read or written throughout the process, and the memory ( 230) may schedule a synchronization time between the volatile memory and the non-volatile memory. The processor 210 may control overall operations of the heartbeat providing device 130 , and is electrically connected to the memory 230 , the user input/output unit 250 , and the network input/output unit 270 to control data flow therebetween. can do. The processor 210 may be implemented as a central processing unit (CPU) of the heartbeat providing apparatus 130 .

메모리(230)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 심박음 제공 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.The memory 230 is implemented as a non-volatile memory such as a solid state drive (SSD) or a hard disk drive (HDD) and may include an auxiliary storage device used to store overall data required for the heartbeat providing device 130 , , it may include a main memory implemented as a volatile memory such as random access memory (RAM).

사용자 입출력부(250)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(250)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 심박음 제공 장치(130)는 독립적인 서버로서 수행될 수 있다.The user input/output unit 250 may include an environment for receiving a user input and an environment for outputting specific information to the user. For example, the user input/output unit 250 may include an input device including an adapter such as a touch pad, a touch screen, an on-screen keyboard, or a pointing device, and an output device including an adapter such as a monitor or a touch screen. In an embodiment, the user input/output unit 250 may correspond to a computing device accessed through a remote connection, and in this case, the heartbeat providing device 130 may be implemented as an independent server.

네트워크 입출력부(270)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.The network input/output unit 270 includes an environment for connecting with an external device or system through a network, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), and a VAN (Wide Area Network) (VAN). It may include an adapter for communication such as Value Added Network).

도 3은 도 1의 심박음 제공 장치의 기능적 구성을 설명하는 도면이다.FIG. 3 is a view for explaining a functional configuration of the heartbeat sound providing device of FIG. 1 .

도 3을 참조하면, 심박음 제공 장치(130)는 신호 수집부(310), 신호 변환부(330), 심박동 분석부(350), 심박음 표현부(370) 및 제어부(390)를 포함할 수 있다.Referring to FIG. 3 , the heartbeat providing device 130 may include a signal collecting unit 310 , a signal converting unit 330 , a heartbeat analyzing unit 350 , a heartbeat expressing unit 370 , and a controller 390 . can

신호 수집부(310)는 PPG 센서를 통해 사용자의 PPG 신호를 측정할 수 있다. 여기에서, PPG 센서는 광혈류측정(PhotoPlethysmoGraphy, PPG) 센서에 해당할 수 있다. 즉, PPG 센서는 LED 빛을 인체 조직에 비춘 다음, 이들 조직을 통과하는 혈액량을 포토다이오드(photodiode, PD)를 통해 전기적 신호로서 측정할 수 있다. 신호 수집부(310)는 PPG 센서가 설치된 다양한 웨어러블 기기과 연동하여 해당 기기들이 측정한 PPG 신호를 수신하는 동작을 수행할 수 있다. 신호 수집부(310)는 수집된 PPG 신호를 해당 사용자와 연관지어 데이터베이스(150)에 저장할 수 있다.The signal collection unit 310 may measure the user's PPG signal through the PPG sensor. Here, the PPG sensor may correspond to a PhotoPlethysmoGraphy (PPG) sensor. That is, the PPG sensor may measure the amount of blood passing through the tissue as an electrical signal through a photodiode (PD) after illuminating the LED light on the human tissue. The signal collection unit 310 may interwork with various wearable devices in which the PPG sensor is installed to receive PPG signals measured by the corresponding devices. The signal collecting unit 310 may store the collected PPG signal in the database 150 in association with the corresponding user.

일 실시예에서, 신호 수집부(310)는 카메라 모듈을 포함하는 사용자 단말(110)로부터 PPG 신호를 수신할 수 있다. 사용자 단말(110)은 별도의 PPG 센서를 포함하지 않더라도 카메라 모듈을 통해 획득한 광혈류 영상을 기초로 PPG 신호를 측정할 수 있다. 신호 수집부(310)는 사용자 단말(110)을 통해 PPG 신호를 수신할 수 있다. 또한, 사용자 단말(110)은 사용자가 착용한 다양한 웨어러블 기기와 연동할 수도 있으며, 이 경우에도 신호 수집부(310)는 사용자 단말(110)의 중계를 통해 웨어러블 기기들에서 측정된 PPG 신호를 수신할 수 있다.In an embodiment, the signal collection unit 310 may receive a PPG signal from the user terminal 110 including a camera module. Even if the user terminal 110 does not include a separate PPG sensor, the user terminal 110 may measure the PPG signal based on the optical blood flow image acquired through the camera module. The signal collection unit 310 may receive a PPG signal through the user terminal 110 . In addition, the user terminal 110 may interwork with various wearable devices worn by the user, and even in this case, the signal collection unit 310 receives the PPG signals measured by the wearable devices through the relay of the user terminal 110 . can do.

신호 변환부(330)는 PPG 신호를 심전도(ECG) 신호로 변환할 수 있다. 심전도(ECG) 신호는 심박동의 주기 중에서 일어나는 심장의 전기적 활동 상태를 나타낼 수 있으며, 불규칙한 심장박동인 부정맥을 판단할 뿐만 아니라 심근장애, 심방 심실의 비대, 확장, 폐순환 장애 등 심장 질환 및 연관성 질환 진단에 유용한 지표로 사용될 수 있다. 신호 변환부(330)는 PPG 신호와 ECG 신호 간의 상관관계를 기초로 PPG 신호를 ECG 신호로 변환할 수 있다. PPG 신호와 ECG 신호 간의 상관관계에 관해서는 다양한 연구가 선행되어 있으므로, 이에 대한 구체적인 설명은 생략한다.The signal converter 330 may convert the PPG signal into an electrocardiogram (ECG) signal. The electrocardiogram (ECG) signal can indicate the electrical activity status of the heart that occurs during the heartbeat cycle. It can be used as a useful indicator. The signal converter 330 may convert the PPG signal into an ECG signal based on the correlation between the PPG signal and the ECG signal. Since various studies have been conducted on the correlation between the PPG signal and the ECG signal, a detailed description thereof will be omitted.

일 실시예에서, 신호 변환부(330)는 PPG 신호에 대해 이동평균 필터(Moving Average Filter) 및 버터워스 필터(Butterworth Filter)를 포함하는 대역 통과 필터를 적용하여 신호 잡음을 제거하는 전처리를 수행할 수 있다. PPG 신호는 베이스라인 변동, 반사파 또는 검출 알고리즘 동작에 의해 기타 잡음을 포함할 수 있다. 신호 변환부(330)는 대역 통과 필터를 사용하여 전원 등에 의해 발생하는 고주파수 성분의 신호 잡음을 제거할 수 있고, 모세혈관 밀도, 정맥 혈류량 및 체온 변화에 따른 저주파수 성분의 신호 잡음을 제거할 수 있다. 신호 변환부(330)는 바람직하게는 이동평균 필터(Moving Average Filter) 또는 버터워스 필터(Butterworth Filter)를 사용하여 잡음 제거를 수행할 수 있으나, 반드시 이에 한정되지 않음은 물론이다.In an embodiment, the signal converter 330 applies a bandpass filter including a moving average filter and a Butterworth filter to the PPG signal to perform preprocessing to remove signal noise. can The PPG signal may contain baseline fluctuations, reflected waves, or other noise due to the operation of the detection algorithm. The signal converter 330 may remove signal noise of a high-frequency component generated by a power source using a band-pass filter, and may remove signal noise of a low-frequency component caused by changes in capillary density, venous blood flow, and body temperature. . The signal converter 330 may preferably perform noise removal by using a moving average filter or a Butterworth filter, but is not necessarily limited thereto.

심박동 분석부(350)는 심전도 신호를 분석하여 심박동에 관한 수축점 및 이완점을 결정할 수 있다. 수축점은 심전도 신호에서 systolic 지점에 해당할 수 있고, 이완점은 diastolic 지점에 해당할 수 있다. 일 실시예에서, 심박동 분석부(350)는 심전도 신호의 R-피크(R-peak)들 간의 간격인 R-R 간격(R-R interval)을 추출하고 각 R-R 간격마다 수축점 및 이완점을 결정할 수 있다. 즉, 심박동 분석부(350)는 심전도 신호의 R-R 간격들에 대해 수축점 및 이완점을 개별적으로 결정할 수 있다.The heartbeat analyzer 350 may analyze the electrocardiogram signal to determine a contractile point and a relaxation point related to the heartbeat. The contractile point may correspond to a systolic point in the electrocardiogram signal, and the relaxation point may correspond to a diastolic point. In an embodiment, the heartbeat analyzer 350 may extract an R-R interval, which is an interval between R-peaks of the ECG signal, and determine a contraction point and a relaxation point for each R-R interval. That is, the heartbeat analyzer 350 may individually determine a contraction point and a relaxation point for R-R intervals of the ECG signal.

일 실시예에서, 심박동 분석부(350)는 상기 각 R-R 간격마다 해당 R-R 간격의 R-피크를 수축점으로 결정하고, 제1 이완점부터 수축점까지의 제1 시간과 수축점부터 제2 이완점까지의 제2 시간이 소정의 비율을 갖도록 이완점으로 결정할 수 있다. 이때, 제1 시간과 제2 시간은 바람직하게는 3:4의 비율을 갖도록 이완점이 결정될 수 있으나, 반드시 이에 한정되지 않음은 물론이다.In one embodiment, the heartbeat analyzer 350 determines the R-peak of the corresponding R-R interval for each R-R interval as the contraction point, and the first time from the first relaxation point to the contraction point and the second relaxation from the contraction point. It may be determined as the relaxation point so that the second time to the point has a predetermined ratio. In this case, the relaxation point may be determined to have a ratio of preferably 3:4 for the first time and the second time, but is not necessarily limited thereto.

심박음 표현부(370)는 심전도 신호에 관한 시간축의 진행에 대응하여 수축점 및 이완점 각각에서 기 설정된 심박음을 재생할 수 있다. 이를 위해, 수축점과 이완점에 대응되는 심박음은 사전에 생성되어 데이터베이스(150)에 저장될 수 있다. 또한, 각 심박음은 다양한 세기들로 구분되어 생성될 수 있으며, 심박음 표현부(370)에 의해 해당 재생 시점에서 동적으로 선택되어 재생될 수 있다.The heartbeat expression unit 370 may reproduce a preset heartbeat sound at each of the contraction point and the relaxation point in response to the progress of the time axis regarding the electrocardiogram signal. To this end, heartbeats corresponding to the contractile and relaxation points may be generated in advance and stored in the database 150 . In addition, each heartbeat sound may be generated by being divided into various intensities, and may be dynamically selected and reproduced by the heartbeat expression unit 370 at a corresponding reproduction time point.

일 실시예에서, 심박음 표현부(370)는 수축점 및 이완점 각각에 서로 다른 심박음을 설정하고 수축점 및 이완점 각각의 세기에 따라 해당 심박음의 재생 강도를 조절할 수 있다. 예를 들어, 심박음 표현부(370)는 이완점(diastolic 지점)에 대해 '두'에 해당하는 심박음을 대응시키고, 수축점(systolic 지점)에 대해 '근'에 해당하는 심박음을 대응시켜 사용자의 심장 박동 소리를 표현할 수 있다.In an embodiment, the heartbeat expression unit 370 may set different heartbeats at each of the contraction and relaxation points, and adjust the reproduction intensity of the corresponding heartbeat according to the strength of each of the contraction and relaxation points. For example, the heartbeat expression unit 370 corresponds to a heartbeat corresponding to 'two' to a diastolic point and a heartbeat corresponding to 'root' to a contractile point (systolic point). to express the sound of the user's heartbeat.

또한, 심박음 표현부(370)는 '두'에 해당하는 심박음과 '근'에 해당하는 심박음을 다양하게 DB로 구축하여 활용할 수 있다. 예를 들어, 심박음 표현부(370)는 '두'에 해당하는 심박음들을 포함하는 이완음 집합과 '근'에 해당하는 심박음들을 포함하는 수축음 집합을 각각 구축할 수 있고, 심박음을 재생하는 시점에서 각 집합에서 선택된 심박음을 재생할 수도 있다. 한편, 심박음 표현부(370)는 수축점 및 이완점에서의 심전도 세기에 따라 심박음의 재생 강도를 동적으로 변화시킴으로써 심박음을 보다 생생하게 표현할 수 있다.In addition, the heartbeat expression unit 370 may construct and utilize a heartbeat corresponding to 'two' and a heartbeat corresponding to 'root' as a DB in various ways. For example, the heartbeat expression unit 370 may construct a diastolic sound set including heartbeats corresponding to 'two' and a contraction sound set including heartbeats corresponding to 'muscle', respectively, and At the time of reproduction, the heartbeat selected from each set may be reproduced. Meanwhile, the heartbeat expression unit 370 may express the heartbeat more vividly by dynamically changing the reproduction intensity of the heartbeat according to the ECG intensity at the contractile point and the relaxation point.

일 실시예에서, 심박음 표현부(370)는 심박음을 재생하는 과정에서 사용자의 현재 상황에 따라 동적으로 생성된 배경음을 함께 재생할 수 있다. 여기에서, 배경음은 사용자의 현재 상황을 반영하는 선택되고 심박음의 재생을 보다 생동감있게 표현하기 위한 효과음에 해당할 수 있으며, 복수의 효과음들의 조합을 통해 구현될 수 있다. 또한, 해당 기능을 위한 구성으로서 심박음 표현부(370)는 독립적으로 구현된 복수의 모듈들을 포함하여 구현될 수 있다. 예를 들어, 심박음 표현부(370)는 복수의 모듈들로서 배경 정보 수집모듈(371), 장소음 결정모듈(373), 날씨음 결정모듈(375) 및 배경음 생성모듈(377)을 포함할 수 있다. In an embodiment, the heartbeat expression unit 370 may reproduce a dynamically generated background sound according to the user's current situation while reproducing the heartbeat sound. Here, the background sound may correspond to a sound effect selected to reflect the user's current situation and to express the reproduction of the heartbeat sound more vividly, and may be implemented through a combination of a plurality of sound effect sounds. In addition, as a configuration for a corresponding function, the heartbeat expression unit 370 may be implemented including a plurality of independently implemented modules. For example, the heartbeat expression unit 370 may include a background information collection module 371 , a place sound determination module 373 , a weather sound determination module 375 , and a background sound generation module 377 as a plurality of modules. have.

보다 구체적으로, 배경 정보 수집모듈(371)은 사용자 단말(110)로부터 현재의 위치 및 날씨에 관한 배경 정보를 수집할 수 있다. 예를 들어, 위치 정보는 사용자 단말(110)의 GPS 모듈을 통해 획득될 수 있으며, 날씨 정보는 사용자 단말(110)의 통신 기능을 통해 외부로부터 수집될 수 있다. 배경 정보 수집모듈(371)은 사용자 단말(110)과 주기적으로 연동하여 위치 및 날씨에 관한 정보를 수집할 수 있다.More specifically, the background information collection module 371 may collect background information about the current location and weather from the user terminal 110 . For example, location information may be obtained through a GPS module of the user terminal 110 , and weather information may be collected from the outside through a communication function of the user terminal 110 . The background information collection module 371 may periodically interwork with the user terminal 110 to collect location and weather information.

장소음 결정모듈(373)은 위치를 기준으로 기 설정된 장소들 중 어느 하나를 결정하여 해당 장소와 연관된 장소음을 결정할 수 있다. 여기에서, 기 설정된 장소는 사용자 단말(110)에 의해 수집된 사용자의 행동 정보에 기초하여 정의될 수 있으며, 행정구역, 건물명, 시설유형 등을 포함할 수 있다. 또한, 장소음은 실내음 및 실외음으로 분류될 수 있다. 예를 들어, 장소음 결정모듈(373)은 사용자의 현재 위치를 기초로 바닷가, 야구장, 백화점 등의 장소를 결정하고, 해당 장소와 연관된 파도 소리, 응원 소리, 이벤트 소리 등을 장소음으로 결정할 수 있다.The place sound determination module 373 may determine any one of preset places based on the location to determine a place sound associated with the place. Here, the preset place may be defined based on the user's behavior information collected by the user terminal 110, and may include an administrative district, a building name, a facility type, and the like. Also, place sounds may be classified into indoor sounds and outdoor sounds. For example, the place sound determination module 373 may determine a place such as a beach, a baseball field, a department store, etc. based on the user's current location, and determine a wave sound, a cheering sound, an event sound, etc. associated with the place as the place sound. have.

날씨음 결정모듈(375)은 날씨를 기준으로 기 설정된 날씨음들 중 어느 하나를 결정할 수 있다. 여기에서, 날씨음은 날씨에 관한 소리에 해당할 수 있다. 예를 들어, 날씨음은 비 소리, 바람 소리 등을 포함할 수 있다. 날씨음 결정모듈(375)은 사용자의 현재 위치에서의 날씨와 연관된 날씨음을 결정하여 배경음으로 활용할 수 있다.The weather sound determination module 375 may determine any one of preset weather sounds based on the weather. Here, the weather sound may correspond to a sound related to the weather. For example, the weather sound may include a rain sound, a wind sound, and the like. The weather sound determination module 375 may determine a weather sound related to the weather at the user's current location and use it as a background sound.

배경음 생성모듈(377)은 해당 장소가 실내 또는 실외인지에 따라 장소음과 날씨음 각각의 세기를 조절한 다음 상호 결합하여 배경음을 생성할 수 있다. 보다 구체적으로, 배경음 생성모듈(377)은 사용자의 현재 위치에 따라 결정된 장소가 실내에 해당하는 경우 장소음의 세기를 날씨음의 세기보다 더 높게 조절하여 배경음을 생성할 수 있고, 실외에 해당하는 경우 장소음의 세기를 날씨음의 세기보다 더 낮게 조절하여 배경음을 생성할 수 있다. 이를 통해, 배경음 생성모듈(377)은 사용자의 현재 상황에 보다 적합한 배경음을 생성할 수 있다.The background sound generating module 377 may adjust the intensity of each of the place sound and the weather sound according to whether the corresponding place is indoors or outdoors, and then combine them to generate the background sound. More specifically, the background sound generating module 377 may generate the background sound by adjusting the intensity of the place sound to be higher than the intensity of the weather sound when the place determined according to the user's current location is indoors, and may generate the background sound. In this case, the background sound may be generated by adjusting the intensity of the place sound to be lower than the intensity of the weather sound. Through this, the background sound generating module 377 may generate a background sound more suitable for the user's current situation.

제어부(390)는 심박음 제공 장치(130)의 전체적인 동작을 제어하고, 신호 수집부(310), 신호 변환부(330), 심박동 분석부(350) 및 심박음 표현부(370) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The controller 390 controls the overall operation of the heartbeat providing device 130 , and a control flow between the signal collecting unit 310 , the signal converting unit 330 , the heartbeat analyzing unit 350 , and the heartbeat expressing unit 370 . Or you can manage the data flow.

도 4는 본 발명에 따른 PPG 신호 기반의 사용자 심박음 제공 방법을 설명하는 순서도이다.4 is a flowchart illustrating a method for providing a user heartbeat based on a PPG signal according to the present invention.

도 4를 참조하면, 심박음 제공 장치(130)는 신호 수집부(310)를 통해 PPG 센서를 통해 사용자의 PPG 신호를 측정할 수 있다(단계 S410). 심박음 제공 장치(130)는 신호 변환부(330)를 통해 PPG 신호를 심전도(ECG) 신호로 변환할 수 있다(단계 S430). 심박음 제공 장치(130)는 심박동 분석부(350)를 통해 심전도 신호를 분석하여 심박동에 관한 수축점 및 이완점을 결정할 수 있다(단계 S450). Referring to FIG. 4 , the heartbeat providing apparatus 130 may measure the user's PPG signal through the PPG sensor through the signal collecting unit 310 (step S410 ). The heartbeat sound providing apparatus 130 may convert the PPG signal into an electrocardiogram (ECG) signal through the signal converter 330 (step S430). The heartbeat sound providing apparatus 130 may analyze the electrocardiogram signal through the heartbeat analyzer 350 to determine a contractile point and a relaxation point related to the heartbeat (step S450 ).

또한, 심박음 제공 장치(130)는 심박음 표현부(370)를 통해 심전도 신호에 관한 시간축의 진행에 대응하여 수축점 및 이완점 각각에서 기 설정된 심박음을 재생할 수 있다(단계 S470). 일 실시예에서, 심박음 제공장치(130)는 심박음 표현부(370)를 통해 심박음을 재생하는 과정에서 사용자의 현재 상황에 따라 동적으로 생성된 배경음을 함께 재생할 수 있다.Also, the heartbeat providing apparatus 130 may reproduce a preset heartbeat at each of the contractile and relaxation points in response to the progress of the time axis regarding the electrocardiogram signal through the heartbeat expression unit 370 (step S470). In an embodiment, the heartbeat sound providing apparatus 130 may reproduce a background sound dynamically generated according to the user's current situation while reproducing the heartbeat sound through the heartbeat expression unit 370 .

일 실시예에서, 심박음 표현부(370)는 단위 시간 동안의 심박수가 기 설정된 임계값(threshold)을 초과하는 경우 심박음을 재생하는 과정에서 배경음으로 스트레스 또는 긴장을 완화시켜주는 음악을 함께 재생할 수 있다. 예를 들어, 심박음 표현부(370)는 심박음을 재생하는 과정에서 심박수가 사용자의 평상 시 심박수보다 1.5배 이상 높은 경우 기 설정된 배경음 중 bpm이 가장 낮은 음원을 선택하여 함께 재생할 수 있다. 이를 위해, 심박동 제공 장치(130)는 스트레스 또는 긴장을 완화시켜주는 음악군을 bmp 별로 분류하여 사전에 생성하여 데이터베이스(150)에 저장할 수 있다.In an embodiment, when the heart rate for a unit time exceeds a preset threshold, the heartbeat expression unit 370 plays back music that relieves stress or tension as a background sound in the process of reproducing the heartbeat sound. can For example, when the heart rate is 1.5 times higher than the user's normal heart rate in the process of reproducing the heartbeat sound, the heartbeat expression unit 370 may select and play a sound source having the lowest bpm among preset background sounds. To this end, the heartbeat providing apparatus 130 may classify a music group for relieving stress or tension by bmp, create it in advance, and store it in the database 150 .

다른 실시예에서, 심박음 표현부(370)는 심박동 제공 장치(130)와 연동하는 외부 시스템을 통해 배경을 재생할 수 있다. 예를 들어, 심박음 표현부(370)는 사용자의 현재 위치, 외부 날씨, 사용자의 현재 심박수 등 다양한 파라미터를 기초로 사용자의 현재 상태를 벡터화 할 수 있고, 해당 벡터에 대응하는 감성 정보를 결정한 후 외부 시스템을 통해 해당 감성 정보에 상응하는 음원을 스트리밍 방식으로 재생할 수 있다. 또한, 심박음 표현부(370)는 사용자의 현재 상태 또는 현재 감성을 상쇄하는 배경음을 외부 시스템을 통해 수신하여 재생할 수 있다.In another embodiment, the heartbeat expression unit 370 may reproduce the background through an external system interworking with the heartbeat providing device 130 . For example, the heartbeat expression unit 370 may vectorize the user's current state based on various parameters such as the user's current location, external weather, and the user's current heart rate, and after determining emotional information corresponding to the vector Through an external system, a sound source corresponding to the corresponding emotional information can be played in a streaming manner. Also, the heartbeat expression unit 370 may receive and reproduce a background sound that offsets the user's current state or current emotion through an external system.

도 5는 본 발명에 따른 사용자 심박음 제공 방법의 일 실시예를 설명하는 순서도이다.5 is a flowchart illustrating an embodiment of a method for providing a user's heartbeat according to the present invention.

도 5를 참조하면, 본 발명에 따른 심박음 제공 장치(130)는 사용자의 스마트폰과 같이 카메라 모듈을 포함하여 PPG 신호를 측정할 수 있는 장치로부터 심박(광혈류)을 측정할 수 있다(단계 S510).Referring to FIG. 5 , the heartbeat providing apparatus 130 according to the present invention may measure a heartbeat (optical blood flow) from a device capable of measuring a PPG signal including a camera module, such as a user's smartphone (step) S510).

다음으로, 심박음 제공 장치(130)는 측정된 신호에 대해서 Moving Average 및 Butterworth Filter를 이용해서 신호 잡음을 제거할 수 있다(단계 S530). 여기에서, Moving Average는 Objective C를 통해 구현되고, Butterworth Filter는 C++을 통해 구현된 저역통과필터 알고리즘에 해당할 수 있다.Next, the heartbeat sound providing apparatus 130 may remove signal noise from the measured signal by using a moving average and a Butterworth filter (step S530 ). Here, Moving Average may be implemented through Objective C, and Butterworth Filter may correspond to a low-pass filter algorithm implemented through C++.

다음으로, 심박음 제공 장치(130)는 측정된 PPG 신호를 통해 ECG를 생성하고, 해당 ECG에서 R-R Peak 간의 Interval를 추출할 수 있다(단계 S550).Next, the heartbeat providing apparatus 130 may generate an ECG through the measured PPG signal and extract an interval between R-R peaks from the corresponding ECG (step S550 ).

다음으로, 심박음 제공 장치(130)는 각각의 R-R Interval 사이를 Diastolic 지점과 Systolic 지점을 나누어서 구별할 수 있다(단계 S570). 예를 들어, 해당 Diastolic 지점부터 Systolic 지점까지의 시간과 Systolic 지점부터 Diastolic 지점까지의 시간이 3:4의 비율을 가질 수 있다.Next, the heartbeat providing apparatus 130 may distinguish between a diastolic point and a systolic point between each R-R interval (step S570). For example, the time from the corresponding diastolic point to the systolic point and the time from the systolic point to the diastolic point may have a ratio of 3:4.

다음으로, 심박음 제공 장치(130)는 미리 녹음된 Diastolic, Systolic Heartbeat Sound를 계산된 지점에서 각각 재생할 수 있다(단계 S590). 이를 통해, 심박음 제공 장치(130)는 사용자의 심박동에 대응되는 심박음을 청각적 정보로서 효과적으로 표현할 수 있다.Next, the heartbeat sound providing apparatus 130 may reproduce the pre-recorded diastolic and systolic heartbeat sounds at the calculated points, respectively (step S590 ). Through this, the heartbeat sound providing apparatus 130 may effectively express a heartbeat corresponding to the user's heartbeat as auditory information.

도 6은 심전도 그래프를 설명하는 도면이다.6 is a diagram for explaining an electrocardiogram graph.

도 6을 참조하면, 심전도 그래프에서 각각의 Diastolic 및 Systolic 시점은 변곡점에 해당할 수 있다. 다만, Diastolic 및 Systolic 시점은 다른 P, Q, S, T, U 시점과는 다르게 주변 인터벌 시간동안 변화량이 특정 기준 이상이거나 특정 전압 이상의 전압 값을 가지는 시점에 해당할 수 있다.Referring to FIG. 6 , each diastolic and systolic time point in the electrocardiogram graph may correspond to an inflection point. However, unlike other P, Q, S, T, and U time points, the diastolic and systolic time points may correspond to a point in time when the amount of change during the peripheral interval time is greater than or equal to a specific reference or has a voltage value greater than or equal to a specific voltage.

심박음 제공 장치(130)는 Diastolic 시점에 Diastolic 소리(=두)를 대응시키고 Systolic 시점에 Systolic 소리(=근)를 대응시켜, 사용자의 심장소리를 표현할 수 있다. 예를 들어, 심박음 제공 장치(130)는 Diastolic 소리 및 Systolic 소리를 각각 다른 크기의 세기에 따라 저장할 수 있고, PPG 센서를 통해 센싱되는 혈류량에 따라 다르게 대응시킬 수 있다.The heartbeat sound providing apparatus 130 may represent the user's heart sound by matching the diastolic sound (=two) to the diastolic time point and the systolic sound (= muscle) to the systolic time point. For example, the heartbeat sound providing apparatus 130 may store the diastolic sound and the systolic sound according to different intensity levels, and may respond differently according to the blood flow sensed through the PPG sensor.

도 6에서, QRS duration은 0.08 ~ 0.10 sec에 해당할 수 있고, RR interval은 0.6 ~ 1.0 sec에 해당할 수 있다. 또한, PR interval(A)는 0.12 ~ 0.20 sec에 해당할 수 있고, QT interval(B)은 0.4 ~ 0.43 sec에 해당할 수 있다.In FIG. 6 , the QRS duration may correspond to 0.08 to 0.10 sec, and the RR interval may correspond to 0.6 to 1.0 sec. In addition, the PR interval (A) may correspond to 0.12 to 0.20 sec, and the QT interval (B) may correspond to 0.4 to 0.43 sec.

한편, 도 7에서 PPG 센서를 통해 실제 입력되는 값을 살펴보면, 그림 (a) 및 그림 (b)와 같이 절대값이 달라질 수 있으며, 이는 PPG 센서 위의 불빛을 차단하는 경우 offset 값이 달라지기 때문이다.On the other hand, looking at the value actually input through the PPG sensor in FIG. 7, the absolute value may be different as shown in Figures (a) and (b), which is because the offset value changes when the light on the PPG sensor is blocked. to be.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that it can be done.

100: 심박음 제공 시스템
110: 사용자 단말 130: 심박음 제공 장치
150: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 신호 수집부 330: 신호 변환부
350: 심박동 분석부 370: 심박음 표현부
371: 배경 정보 수집모듈 373: 장소음 결정모듈
375: 날씨음 결정모듈 377: 배경음 생성모듈
390: 제어부100: heart rate providing system
110: user terminal 130: heartbeat providing device
150: database
210: processor 230: memory
250: user input/output unit 270: network input/output unit
310: signal collecting unit 330: signal converting unit
350: heartbeat analysis unit 370: heartbeat expression unit
371: background information collection module 373: place sound determination module
375: weather sound determination module 377: background sound generation module
390: control unit

Claims (8)

PPG 센서를 통해 사용자의 PPG 신호를 측정하는 신호 수집부;
상기 PPG 신호를 심전도(ECG) 신호로 변환하는 신호 변환부;
상기 심전도 신호를 분석하여 심박동에 관한 수축점 및 이완점을 결정하는 심박동 분석부; 및
상기 심전도 신호에 관한 시간축의 진행에 대응하여 상기 수축점 및 이완점 각각에서 기 설정된 심박음을 재생하는 심박음 표현부를 포함하는 PPG 신호 기반의 사용자 심박음 제공 장치.
a signal collecting unit that measures the user's PPG signal through the PPG sensor;
a signal converter converting the PPG signal into an electrocardiogram (ECG) signal;
a heartbeat analyzer that analyzes the electrocardiogram signal to determine a contractile point and a relaxation point related to the heartbeat; and
and a heartbeat expression unit configured to reproduce a heartbeat sound preset at each of the contraction and relaxation points in response to the progress of the time axis with respect to the ECG signal.
 제1항에 있어서, 상기 신호 수집부는
카메라 모듈을 포함하는 사용자 단말로부터 상기 PPG 신호를 수신하는 것을 특징으로 하는 PPG 신호 기반의 사용자 심박음 제공 장치.
According to claim 1, wherein the signal collecting unit
A PPG signal-based user heartbeat providing apparatus, characterized in that receiving the PPG signal from a user terminal including a camera module.
 제1항에 있어서, 상기 신호 변환부는
상기 PPG 신호에 대해 이동평균 필터(Moving Average Filter) 및 버터워스 필터(Butterworth Filter)를 포함하는 대역 통과 필터를 적용하여 신호 잡음을 제거하는 전처리를 수행하는 것을 특징으로 하는 PPG 신호 기반의 사용자 심박음 제공 장치.
The method of claim 1, wherein the signal conversion unit
PPG signal-based user heartbeat, characterized in that the PPG signal is pre-processed to remove signal noise by applying a band-pass filter including a moving average filter and a Butterworth filter to the PPG signal. provided device.
 제1항에 있어서, 상기 심박동 분석부는
상기 심전도 신호의 R-피크(R-peak)들 간의 간격인 R-R 간격을 추출하고 각 R-R 간격마다 상기 수축점 및 이완점을 결정하는 것을 특징으로 하는 PPG 신호 기반의 사용자 심박음 제공 장치.
According to claim 1, wherein the heart rate analyzer
and extracting an RR interval that is an interval between R-peaks of the ECG signal and determining the contractile point and the relaxation point for each RR interval.
 제4항에 있어서, 상기 심박동 분석부는
상기 각 R-R 간격마다 해당 R-R 간격의 R-피크를 상기 수축점으로 결정하고 제1 이완점부터 상기 수축점까지의 시간과 상기 수축점부터 제2 이완점까지의 시간이 소정의 비율을 갖도록 상기 이완점으로 결정하는 것을 특징으로 하는 PPG 신호 기반의 사용자 심박음 제공 장치.
The method of claim 4, wherein the heartbeat analyzer
For each RR interval, the R-peak of the corresponding RR interval is determined as the contraction point, and the relaxation time so that the time from the first relaxation point to the contraction point and the time from the contraction point to the second relaxation point have a predetermined ratio. A device for providing a user's heartbeat based on a PPG signal, characterized in that it is determined by a point.
 제1항에 있어서, 상기 심박음 표현부는
상기 수축점 및 이완점 각각에 서로 다른 심박음을 설정하고 상기 수축점 및 이완점 각각의 세기에 따라 해당 심박음의 재생 강도를 조절하는 것을 특징으로 하는 PPG 신호 기반의 사용자 심박음 제공 장치.
The method of claim 1, wherein the heartbeat expression unit
The PPG signal-based user heartbeat providing apparatus according to claim 1, wherein different heartbeats are set at each of the contraction and relaxation points, and the reproduction intensity of the corresponding heartbeat is adjusted according to the strength of each of the contraction and relaxation points.
 제1항에 있어서, 상기 심박음 표현부는
사용자 단말로부터 현재의 위치 및 날씨에 관한 배경 정보를 수집하는 배경 정보 수집모듈(371);
상기 위치를 기준으로 기 설정된 장소들 중 어느 하나를 결정하여 해당 장소와 연관된 장소음을 결정하는 장소음 결정모듈(373);
상기 날씨를 기준으로 기 설정된 날씨음들 중 어느 하나를 결정하는 날씨음 결정모듈(375); 및
상기 해당 장소가 실내 또는 실외인지에 따라 상기 장소음과 날씨음 각각의 세기를 조절한 다음 상호 결합하여 배경음을 생성하는 배경음 생성모듈(377)을 포함하고,
상기 심박음을 재생하는 과정에서 상기 배경음 생성 모듈에 의해 생성된 배경음을 함께 재생하는 것을 특징으로 하는 PPG 신호 기반의 사용자 심박음 제공 장치.
The method of claim 1, wherein the heartbeat expression unit
a background information collection module 371 for collecting background information about the current location and weather from the user terminal;
a place sound determination module 373 for determining any one of preset places based on the location to determine a place sound associated with the corresponding place;
a weather sound determination module 375 for determining any one of preset weather sounds based on the weather; and
and a background sound generating module 377 that adjusts the intensity of each of the place sound and the weather sound according to whether the corresponding place is indoors or outdoors and then combines them to generate a background sound,
The PPG signal-based user heartbeat providing apparatus, characterized in that in the process of reproducing the heartbeat sound, the background sound generated by the background sound generating module is also reproduced.
 PPG 센서를 통해 사용자의 PPG 신호를 측정하는 단계;
상기 PPG 신호를 심전도(ECG) 신호로 변환하는 단계;
상기 심전도 신호를 분석하여 심박동에 관한 수축점 및 이완점을 결정하는 단계; 및
상기 심전도 신호에 관한 시간축의 진행에 대응하여 상기 수축점 및 이완점 각각에서 기 설정된 심박음을 재생하는 단계를 포함하는 PPG 신호 기반의 사용자 심박음 제공 방법.
measuring the PPG signal of the user through the PPG sensor;
converting the PPG signal into an electrocardiogram (ECG) signal;
analyzing the electrocardiogram signal to determine a contraction point and a relaxation point with respect to the heartbeat; and
and reproducing a preset heartbeat sound at each of the contraction and relaxation points in response to the progress of the time axis with respect to the ECG signal.
KR1020210004147A 2021-01-12 2021-01-12 Apparatus and method for providing user heartbeat based on ppg signal KR102480455B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210004147A KR102480455B1 (en) 2021-01-12 2021-01-12 Apparatus and method for providing user heartbeat based on ppg signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210004147A KR102480455B1 (en) 2021-01-12 2021-01-12 Apparatus and method for providing user heartbeat based on ppg signal

Publications (2)

Publication Number Publication Date
KR20220102216A true KR20220102216A (en) 2022-07-20
KR102480455B1 KR102480455B1 (en) 2022-12-26

Family

ID=82609168

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210004147A KR102480455B1 (en) 2021-01-12 2021-01-12 Apparatus and method for providing user heartbeat based on ppg signal

Country Status (1)

Country Link
KR (1) KR102480455B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100008875A (en) 2008-07-17 2010-01-27 가톨릭대학교 산학협력단 Stress monitoring apparatus and method using measurement of electrocardiogram
US20140276115A1 (en) * 2013-03-14 2014-09-18 Cercacar Laboratories, Inc. Heart sound simulator
KR20200120494A (en) * 2019-04-11 2020-10-21 삼성전자주식회사 A drift, noise, and motion artifact correction method for photoplethysmogram(ppg) signal and apparatus thereof
KR20200139047A (en) * 2019-06-03 2020-12-11 계명대학교 산학협력단 Non-contact system of measuring blood pressure and its way to working

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100008875A (en) 2008-07-17 2010-01-27 가톨릭대학교 산학협력단 Stress monitoring apparatus and method using measurement of electrocardiogram
US20140276115A1 (en) * 2013-03-14 2014-09-18 Cercacar Laboratories, Inc. Heart sound simulator
KR20200120494A (en) * 2019-04-11 2020-10-21 삼성전자주식회사 A drift, noise, and motion artifact correction method for photoplethysmogram(ppg) signal and apparatus thereof
KR20200139047A (en) * 2019-06-03 2020-12-11 계명대학교 산학협력단 Non-contact system of measuring blood pressure and its way to working

Also Published As

Publication number Publication date
KR102480455B1 (en) 2022-12-26

Similar Documents

Publication Publication Date Title
CN108478209B (en) Electrocardio information dynamic monitoring method and dynamic monitoring system
Li et al. The obf database: A large face video database for remote physiological signal measurement and atrial fibrillation detection
US20200012682A1 (en) Biometric-music interaction methods and systems
US20080273709A1 (en) Systems and methods for tuning, analysis and display of heart sounds
US9504401B2 (en) Atrial fibrillation analyzer and program
US20120190944A1 (en) Devices and methods for non-invasive optical physiological measurements
CN103632055A (en) Method and device for collecting data
US20220351859A1 (en) User interface for navigating through physiological data
CN111797817B (en) Emotion recognition method, emotion recognition device, computer equipment and computer readable storage medium
CN104545864A (en) Mental regulation method and mental regulation device
TW201221118A (en) Processing of periodic physiological signals
CN104423574B (en) For enhancing the device and method of system availability
JP2016209327A (en) Sleep depth estimation device, sleep depth estimation method and program
CN115670419A (en) Data processing method and system based on motion information predicted by smart watch
US20240215841A1 (en) Method and apparatus for hypertension classification
KR102480455B1 (en) Apparatus and method for providing user heartbeat based on ppg signal
CN105395173A (en) Remote pulse condition monitoring system
CN117158938A (en) Health monitoring method and device applied to intelligent watch and electronic equipment
CN108771539A (en) A kind of detection method and its device of the contactless heart rate based on camera shooting
Blanco et al. Heart Alert: ECG Sonification for supporting the detection and diagnosis of ST segment deviations
KR20210033789A (en) Apparatus and method for estimating bio-information
WO2015168299A1 (en) Biometric-music interaction methods and systems
Tavares et al. Traffic model based on autoregression for ppg signals in wearable networks
US8457723B2 (en) Heart rate detection in high noise conditions
KR102677449B1 (en) Method for evaluating of bio-signal and apparatus for estimating bio-information

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant