KR102100120B1 - Method, apparatus and computer program for monitoring of bio signals - Google Patents

Method, apparatus and computer program for monitoring of bio signals Download PDF

Info

Publication number
KR102100120B1
KR102100120B1 KR1020180075556A KR20180075556A KR102100120B1 KR 102100120 B1 KR102100120 B1 KR 102100120B1 KR 1020180075556 A KR1020180075556 A KR 1020180075556A KR 20180075556 A KR20180075556 A KR 20180075556A KR 102100120 B1 KR102100120 B1 KR 102100120B1
Authority
KR
South Korea
Prior art keywords
signal
user
sleep
biosignal
bioelectrical
Prior art date
Application number
KR1020180075556A
Other languages
Korean (ko)
Other versions
KR20200002251A (en
Inventor
혁 강
김민규
임경수
Original Assignee
링크페이스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 링크페이스 주식회사 filed Critical 링크페이스 주식회사
Priority to KR1020180075556A priority Critical patent/KR102100120B1/en
Publication of KR20200002251A publication Critical patent/KR20200002251A/en
Application granted granted Critical
Publication of KR102100120B1 publication Critical patent/KR102100120B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/04
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Abstract

본 발명은, 인간의 수면을 모니터링하는 방법에 대한 것으로, 사용자에게 장착되는 디바이스에서, 이격되어 형성된 복수의 전극을 통해 복수의 생체 전기 신호를 수집하는 a 단계; 서비스 서버에서, 분석 대상 생체 신호 데이터 세트를 수신하면, 대량의 생체 신호 데이터를 이용하여 생성된 인간의 수면 모델에 상기 분석 대상 생체 신호 데이터 세트를 적용하여 사용자의 수면 상태를 분석하고, 수면 분석 레포트를 생성하는 b 단계; 및 사용자의 단말에서, 상기 수면 분석 레포트를 수신하는 c 단계를 포함하는 것을 특징으로 한다. 본 발명의 실시예를 따르면, 신뢰도 높은 생체 신호를 간편하게 수집할 수 있으며, 생체 신호를 기반으로 사용자의 수면 상태를 보다 정확하게 분석할 수 있는 효과가 있다. The present invention relates to a method for monitoring human sleep, comprising: a step of collecting a plurality of bioelectrical signals through a plurality of spaced apart electrodes in a device mounted to a user; When the service server receives the biosignal data set to be analyzed, the biosignal data set to be analyzed is applied to the human sleep model generated using a large amount of biosignal data to analyze the user's sleep state and sleep analysis report. Generating step b; And a step c for receiving the sleep analysis report at the user's terminal. According to an embodiment of the present invention, it is possible to easily collect a highly reliable biosignal, and has an effect of more accurately analyzing a user's sleep state based on the biosignal.

Description

생체 신호를 모니터링하는 방법, 장치 및 컴퓨터 프로그램 {METHOD, APPARATUS AND COMPUTER PROGRAM FOR MONITORING OF BIO SIGNALS}Methods, devices and computer programs for monitoring vital signals {METHOD, APPARATUS AND COMPUTER PROGRAM FOR MONITORING OF BIO SIGNALS}

본 발명은 생체 신호를 모니터링하는 방법에 대한 것이다. 보다 구체적으로 본 발명은 생체 신호를 수집하고, 생체 신호를 기반으로 사용자의 수면 상태를 분석하는 방법에 대한 것이다. The present invention relates to a method for monitoring a biosignal. More specifically, the present invention relates to a method of collecting a biosignal and analyzing a user's sleep state based on the biosignal.

인간의 수면은 단순히 수동적으로 쉬는 것이 아니라 생존에 필요한 기능을 체계적으로 수행하는 능동적인 과정이라고 할 수 있다. 인간은 수면하는 동안 다양한 신경들이 복잡하고 유기적으로 상호 작용을 하게 된다. 사람에게 필요한 수면 시간은 개인에 따라 차이가 있으며, 적절한 수면이 이루어지지 않으면 피로를 쉽게 느끼며, 집중력이 감퇴하고 감정도 날카로워질 수 있다. 이러한 상태가 장기간 지속되면 심혈관계 질환이나 정신 질환 등에 걸릴 위험이 높아진다. 따라서 수면 상태의 적절성을 평가하고 수면 장애를 확인하는 것은 건강 관리의 매우 중요한 요소이다. Human sleep is not just passive rest, but an active process that systematically performs the functions necessary for survival. Humans are complex and organically interacting with various nerves during sleep. The sleep time required for a person varies depending on the individual, and if proper sleep is not achieved, fatigue can be easily felt, concentration may decrease, and emotions may become sharp. If this condition persists for a long time, there is an increased risk of cardiovascular or mental illness. Therefore, evaluating the adequacy of sleep status and identifying sleep disorders are very important factors in health care.

한국 공개 특허 10-2015-0085730 (공개일 2015.7.24)Korean Open Patent 10-2015-0085730 (published 2015.7.24)

본 발명은 인간의 생체 신호를 효율적이고 간편하게 수집하는 방법을 제공하는 것을 목적으로 한다. 나아가 본 발명은 생체 신호를 기반으로 사용자의 수면 상태를 분석하고, 수면과 관련된 정보를 제공하는 것을 목적으로 한다. An object of the present invention is to provide a method for efficiently and conveniently collecting human bio signals. Furthermore, the present invention aims to analyze a user's sleep state based on a bio-signal and to provide information related to sleep.

본 발명의 실시예를 따르는 인간의 수면을 모니터링하는 방법은, 사용자에게 장착되는 디바이스에서, 이격되어 형성된 복수의 전극을 통해 복수의 생체 전기 신호를 수집하는 a 단계; 서비스 서버에서, 분석 대상 생체 신호 데이터 세트를 수신하면, 대량의 생체 신호 데이터를 이용하여 생성된 인간의 수면 모델에 상기 분석 대상 생체 신호 데이터 세트를 적용하여 사용자의 수면 상태를 분석하고, 수면 분석 레포트를 생성하는 b 단계; 및 사용자의 단말에서, 상기 수면 분석 레포트를 수신하는 c 단계를 포함하는 것을 특징으로 한다. A method of monitoring a human sleep according to an embodiment of the present invention includes a step of collecting a plurality of bioelectrical signals through a plurality of spaced apart electrodes in a device mounted to a user; When the service server receives the biosignal data set to be analyzed, the biosignal data set to be analyzed is applied to the human sleep model generated using a large amount of biosignal data to analyze the user's sleep state and sleep analysis report. Generating step b; And a step c for receiving the sleep analysis report at the user's terminal.

본 발명의 실시예를 따르면, 신뢰도 높은 생체 신호를 간편하게 수집할 수 있으며, 생체 신호를 기반으로 사용자의 수면 상태를 보다 정확하게 분석할 수 있는 효과가 있다.According to an embodiment of the present invention, it is possible to easily collect a highly reliable biosignal, and has an effect of more accurately analyzing a user's sleep state based on the biosignal.

도 1은 본 발명의 실시예를 따르는 생체 신호 수집 시스템을 설명하기 위한 도면
도 2는 본 발명의 실시예를 따르는 수면 분석 시스템의 구성을 설명하기 위한 블록도
도 3은 본 발명의 실시예를 따라 생체 신호를 수집하고, 수면 상태를 분석하는 방법을 설명하기 위한 순서도
도 4는 본 발명의 다른 실시예를 따라 생체 신호를 수집하고, 수면 상태를 분석하는 방법을 설명하기 위한 순서도
1 is a view for explaining a biological signal collection system according to an embodiment of the present invention
2 is a block diagram illustrating the configuration of a sleep analysis system according to an embodiment of the present invention
3 is a flowchart for explaining a method of collecting a biosignal and analyzing a sleep state according to an embodiment of the present invention
4 is a flowchart for explaining a method of collecting a biosignal and analyzing a sleep state according to another embodiment of the present invention

본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. The present invention is not limited to the description of the embodiments described below, and it is obvious that various modifications can be made without departing from the technical gist of the present invention. In describing the embodiments, descriptions of technical contents that are widely known in the technical field to which the present invention pertains and which are not directly related to the technical subject matter of the present invention will be omitted.

한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다. 그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다. Meanwhile, in the accompanying drawings, the same components are represented by the same reference numerals. In the accompanying drawings, some components may be exaggerated, omitted, or schematically illustrated. This is to clearly describe the gist of the present invention by omitting unnecessary descriptions not related to the gist of the present invention.

양질의 수면을 취하는 것은 건강 관리의 매우 중요한 요소이다. 따라서 사람들은 자신의 수면에 대해 숙면도, 수면 시간, 수면 습관, 패턴, 주기 등을 파악하고자 한다. 그러나 인간은 수면하는 동안 다양한 신경들이 복잡하고 유기적으로 상호 작용을 하기 때문에 인간의 수면을 정량적으로 분석하는 것은 쉬운 일이 아니다.Getting quality sleep is a very important factor in health care. Therefore, people want to understand their sleep, sleep, time, sleep habits, patterns, cycles, etc. However, it is not easy to quantify human sleep quantitatively because humans are complex and organically interact with various nerves during sleep.

본 발명은 상기와 같은 문제를 해결하는 것을 목적으로 한다. 본 발명의 실시예를 따르면, 외이도에 장착되는 이어플러그 형태의 디바이스를 통해 사용자의 생체 신호가 수집 및 저장될 수 있다. 이를 따르면 사용자는 자신의 침실에서 이어플러그를 귀에 꽂고 잠들면 수면 분석을 위한 생체 신호가 수집되며 수집된 생체 신호를 기반으로 수면 상태를 분석할 수 있어, 수면 모니터링을 위한 사용자 편의가 대폭 증대되는 효과가 있다. The present invention aims to solve the above problems. According to an embodiment of the present invention, a user's biological signal may be collected and stored through an earplug type device mounted on the ear canal. According to this, when a user plugs an earplug into his ear and falls asleep in his bedroom, a biosignal for sleep analysis is collected and a user can analyze a sleep state based on the collected biosignal, greatly improving user convenience for sleep monitoring There is.

나아가 본 발명의 실시예를 따르면, 대량의 사용자 생체 신호를 수집하고, 수집된 생체 신호 데이터를 기반으로 인간의 수면 상태를 모델링할 수 있다. 이를 따르면 수면 상태를 분석하기 위한 레이블을 생성하고, 상기 레이블을 학습한 기계학습 프레임워크를 이용하여 대상자의 수면을 모니터링할 수 있기 때문에 수면 모니터링 서비스를 높은 신뢰도로 유연하게 제공할 수 있는 효과가 있다.  Furthermore, according to an embodiment of the present invention, a large amount of user bio-signals may be collected and a human sleep state may be modeled based on the collected bio-signal data. According to this, it is possible to flexibly provide a sleep monitoring service with high reliability because a label for analyzing sleep conditions can be generated and the subject's sleep can be monitored using a machine learning framework that has learned the label. .

도 1은 본 발명의 실시예를 따르는 생체 신호 수집 시스템을 설명하기 위한 도면이다. 1 is a view for explaining a biological signal collection system according to an embodiment of the present invention.

본 발명의 실시예를 따르는 생체 신호 수집 시스템은, 사용자에게 장착되어 생체 신호를 수집하는 한쌍의 웨어러블 디바이스 (100, 도 1의 A, B) 및 상기 웨어러블 디바이스와 물리적으로 결합되어 생체 신호 데이터를 수신하여, 한쌍의 생체 신호를 동기화하고, 하나의 데이터 세트를 생성하는 도킹 디바이스 (120, 도 1의 C)를 포함할 수 있다. A bio-signal collection system according to an embodiment of the present invention is equipped with a pair of wearable devices 100 (A, B in FIG. 1) for collecting bio-signals and physically coupled to the wearable device to receive bio-signal data Thus, it may include a docking device 120 (C in FIG. 1) that synchronizes a pair of biological signals and generates one data set.

본 발명의 실시예를 따라 생체 신호를 수집하는 웨어러블 디바이스 (100)는 도 1의 <A> 에 도시된 바와 같이 인간의 외이에 완전히 밀착하여 장착되는 형상일 수 있다. 웨어러블 디바이스 (100)은 사용자가 장착시, 외이도에 배치되는 제 1 영역(10) 및 귓바퀴 내측에 배치되는 제 2 영역(20)을 포함할 수 있다. The wearable device 100 for collecting a bio-signal according to an embodiment of the present invention may have a shape that is mounted in close contact with the human outer ear as shown in <A> of FIG. 1. When worn by the user, the wearable device 100 may include a first region 10 disposed in the external auditory meatus and a second region 20 disposed inside the auricle.

상기 제 1 영역 (10)과 제 2 영역(20)은 웨어러블 디바이스가 인간에게 장착된 경우, 외이에 완전히 밀착될 수 있는 범위의 각도를 형성하며, 전기적 생체 신호를 수신할 수 있는 전극(15, 25)을 각각 적어도 하나 이상 포함할 수 있다. 제 1 영역(10)에 포함되는 제 1 전극 (15)은 타겟 전극으로 동작하며, 제 2 영역(20)에 포함되는 제 2 전극 (25)은 기준 전극으로 동작할 수 있다. When the wearable device is mounted on a human, the first region 10 and the second region 20 form an angle within a range that can be completely in close contact with the outer ear, and an electrode 15 capable of receiving an electrical biosignal, 25) may each include at least one. The first electrode 15 included in the first region 10 acts as a target electrode, and the second electrode 25 included in the second region 20 acts as a reference electrode.

나아가 본 발명의 선호되는 실시예를 따르면, 제 1 전극 (15)과 제 2 전극 (25)은 인간의 외이라는 매우 제한된 공간에서 최대한 멀리 떨어져서 배치될 수 있으며, 왼쪽 귀에 장착되는 디바이스 (30) 및 오른쪽 귀에 장착되는 디바이스 (40) 통해 각각 수집된 생체 신호를 동기화하기 위한 기준 신호를 입력하는 기능을 수행할 수도 있다. Furthermore, according to a preferred embodiment of the present invention, the first electrode 15 and the second electrode 25 can be disposed as far apart as possible in a very limited space of human beings, the device 30 mounted on the left ear and It is also possible to perform a function of inputting a reference signal for synchronizing each collected bio-signal through the device 40 mounted on the right ear.

제 1 전극 (15) 및 제 2 전극 (25)은 사용자의 전기적 생체 신호 (Bioelectrical signal)를 수집하는 역할을 수행할 수 있다. 상기 생체 신호는 근전도(Electromyogram, EMG), 안전도(Electrooculogram, EOG), 뇌전도(Electroencephalogram, EEG) 및 심전도(Electrocardiogram, ECG)를 포함할 수 있다. 특히 본 발명의 실시예를 따르면, 외이도에 배치된 전극이 하나의 채널이 되어 근전도, 안전도, 뇌전도 및 심전도 신호가 결합된 형태의 생체 신호가 수집될 수 있다 The first electrode 15 and the second electrode 25 may serve to collect a user's bioelectrical signal. The bio-signals may include electromyogram (EMG), safety (Electrooculogram, EOG), electroencephalogram (EGG), and electrocardiogram (Electrocardiogram, ECG). In particular, according to an embodiment of the present invention, an electrode disposed in the external auditory meatus becomes a single channel, and a biosignal in the form of a combination of EMG, safety, EEG and ECG signals can be collected.

상기 제 1 전극 (15) 및 제 2 전극 (25)은 생체신호 측정시 일반적으로 사용되는 은 (Ag) , 염화은 (AgCl) 또는 스테인리스 스틸이나 구리같은 금속으로 형성될 수 있다. 그러나 본 발명의 선호되는 실시예를 따르는 전극(15, 25)은 실리콘과 카본이 혼합된 전도성 재료 또는 투명 그래핀 재료로 형성되는 것이 보다 바람직하다. The first electrode 15 and the second electrode 25 may be formed of a metal such as silver (Ag), silver chloride (AgCl), or stainless steel or copper, which is generally used for biosignal measurement. However, the electrodes 15 and 25 according to the preferred embodiment of the present invention are more preferably formed of a conductive material or a transparent graphene material in which silicon and carbon are mixed.

도 1에 별도로 도시된 것은 아니지만, 본 발명의 실시예를 따라 생체 신호를 수집하는 웨어러블 디바이스(100)는 착용자의 움직임을 감지하거나 또는 웨어러블 디바이스의 장착을 감지하는 기능을 수행하는 센서, 전극을 통해 감지된 생체 전기 신호를 증폭시키는 신호 증폭 모듈, 노이즈를 제거하는 필터 모듈, 아날로그 신호를 디지털 신호로 변환하는 신호 변환 모듈 및 상기 신호 증폭 모듈, 필터 모듈, 신호 변환 모듈의 동작을 제어하여 신호를 처리하는 마이크로 프로세서, 수집된 데이터를 저장하는 메모리를 포함할 수 있다. Although not separately shown in FIG. 1, the wearable device 100 for collecting a bio-signal according to an embodiment of the present invention is provided through a sensor or electrode that performs a function of sensing a movement of a wearer or mounting of a wearable device. A signal amplification module for amplifying the detected bioelectrical signal, a filter module for removing noise, a signal conversion module for converting an analog signal to a digital signal, and controlling the operation of the signal amplification module, filter module, and signal conversion module to process the signal It may include a microprocessor, a memory for storing the collected data.

나아가 웨어러블 디바이스는 생체 신호 데이터를 다른 장치에 전송하기 위한 통신 모듈을 포함할 수 있다. 나아가 웨어러블 디바이스는 오디오 출력부를 구비하여, 사용자 수면 패턴에 따라 수면 유도 음악, 사운드 신호는 물론 각성 유도 음악, 진동 및 사운드 신호를 출력할 수 있다.Furthermore, the wearable device may include a communication module for transmitting bio-signal data to another device. Furthermore, the wearable device may include an audio output unit, and output awakening-inducing music, vibration, and sound signals as well as sleep-inducing music and sound signals according to a user's sleep pattern.

웨어러블 디바이스의 보다 구체적인 구성에 대한 설명은 첨부된 도 2에 대한 설명에서 후술된다. The description of the more specific configuration of the wearable device will be described later in the description of the accompanying FIG. 2.

한편, 본 발명의 실시예를 따라 웨어러블 디바이스에서 수집한 한쌍의 생체 신호를 동기화하는 기능을 수행하는 도킹 디바이스 (110)는 도 1의 <C>에 도시된 바와 같이, 웨어러블 디바이스 (100)의 적어도 일부의 형상의 홈을 포함하며, 상기 홈을 통해 웨어러블 디바이스 (100)와 도킹 디바이스 (110)가 물리적으로 결합될 수 있다. 웨어러블 디바이스 (100)가 도킹 디바이스 (110)와 결합되면, 한쌍의 웨어러블 디바이스 (30, 40)의 메모리에 저장된 생체 신호 데이터가 도킹 디바이스로 전송되며, 도킹 디바이스는 한쌍의 생체 신호 데이터를 동기화 및 집계 (aggregation)하여 하나의 생체 신호 데이터 세트를 생성할 수 있다. Meanwhile, a docking device 110 performing a function of synchronizing a pair of biological signals collected from a wearable device according to an embodiment of the present invention may include at least the docking device 110 as shown in <C> of FIG. 1. It includes a groove of some shape, and the wearable device 100 and the docking device 110 may be physically coupled through the groove. When the wearable device 100 is combined with the docking device 110, the biosignal data stored in the memory of the pair of wearable devices 30 and 40 is transmitted to the docking device, and the docking device synchronizes and aggregates the pair of biosignal data. A single biosignal data set can be generated by aggregation.

한편, 도 1에 도시된 웨어러블 디바이스 및 도킹 디바이스는 예시에 불과하며 본 발명은 도 1에 도시된 장치로 제한되어 해석될 수 없음에 유의해야 한다. On the other hand, it should be noted that the wearable device and the docking device shown in FIG. 1 are merely examples, and the present invention is limited to the apparatus shown in FIG. 1 and cannot be interpreted.

본 발명의 다른 실시예를 따르면, 생체 신호 수집 디바이스는 도 1의 예시와 달리, 인간의 외이도에 삽입되지 않고 인간의 귓바퀴와 결합하기 위한 착용부재를 포함하여, 인간의 귀를 중심으로 하는 영역에서 생체 신호를 수집하는 이어폰 형태일 수 있다. 나아가 본 발명의 다른 실시예를 따르는 생체 신호 수집 디바이스는 외이도에서 생체 신호를 수집하지 않고, 인간의 눈을 중심으로 하는 얼굴 영역에서 생체 신호를 수집하기 위해 안대 형태로 구성될 수도 있다. 나아가 구현에 따라 손목에 장착되는 밴드 형태의 웨어러블 디바이스를 통해 생체 신호가 수집될 수도 있다. According to another embodiment of the present invention, the bio-signal collection device, unlike the example of FIG. 1, includes a wearing member for engaging the human ear wheel without being inserted into the human external auditory meatus, in an area centered on the human ear. It may be in the form of an earphone that collects bio signals. Furthermore, the bio-signal collection device according to another embodiment of the present invention may be configured in the form of an eye patch to collect bio-signals in the face region centered on the human eye, without collecting bio-signals in the external auditory meatus. Furthermore, depending on the implementation, the bio-signal may be collected through a band-type wearable device mounted on the wrist.

나아가 본 발명의 다른 실시예를 따르면, 도 1의 예시와 달리, 도킹 디바이스 (110)가 생략될 수 있다. 이 경우, 한쌍의 웨어러블 디바이스 (30, 40)에서 수집된 한쌍의 생체 신호 데이터를 동기화하여 집계하는 기능은 본 발명의 실시예를 따르는 수면 모니터링 서비스 서버 또는 사용자 스마트폰에서 수행할 수 있다.Furthermore, according to another embodiment of the present invention, unlike the example of FIG. 1, the docking device 110 may be omitted. In this case, the function of synchronizing and aggregating a pair of bio-signal data collected from the pair of wearable devices 30 and 40 may be performed by a sleep monitoring service server or a user's smartphone according to an embodiment of the present invention.

도 2는 본 발명의 실시예를 따르는 수면 분석 시스템의 구성을 설명하기 위한 블록도이다. 2 is a block diagram illustrating the configuration of a sleep analysis system according to an embodiment of the present invention.

본 발명의 실시예를 따르는 수면 분석 시스템은 인간의 생체 신호를 수집하는 웨어러블 디바이스 (100), 상기 웨어러블 디바이스에서 수집한 한 쌍의 생체 신호 데이터를 동기화하고 집계하여 하나의 생체 신호 데이터 세트로 프로세싱하여 서비스 서버에 전송하는 클라이언트 장치 (110), 상기 클라이언트 장치로부터 사용자의 생체 신호 데이터 세트를 수신하여, 사용자의 수면 상태를 분석하는 서비스 서버 (120) 및 서비스 서버의 모니터링 레포트를 수신하여 사용자 인터페이스에 표시하는 사용자 단말 (130)을 포함할 수 있다. The sleep analysis system according to an embodiment of the present invention is a wearable device 100 that collects human biosignals, synchronizes and aggregates a pair of biosignal data collected by the wearable device, processes it into a single biosignal data set, A client device 110 that transmits to a service server, receives a user's biosignal data set from the client device, receives a service server 120 that analyzes a user's sleep state, and a monitoring report of the service server, and displays it on the user interface It may include a user terminal 130.

보다 구체적으로, 웨어러블 디바이스 (100)는 도 2에 도시된 바와 같이, 센서 모듈, 배터리, 신호 처리 모듈, 인터페이스, 제어부 및 메모리를 포함할 수 있다. More specifically, as shown in FIG. 2, the wearable device 100 may include a sensor module, a battery, a signal processing module, an interface, a control unit, and a memory.

나아가 도 2에 별도로 도시된 것은 아니지만, 웨어러블 디바이스는 상태를 표시하기 위한 디스플레이를 더 포함할 수 있다. 상기 디스플레이는 LED를 예시할 수 있으며, 상기 웨어러블 디바이스가 사용자에게 장착된 상태, 생체 신호 수집 상태, 충전 상태, 다른 디바이스와 결합된 상태, 또는 다른 디바이스로 데이터를 송수신하고 있는 상태를 구별하기 위해 각각 다른 색상으로 표시하는 기능을 수행할 수 있다. Furthermore, although not separately illustrated in FIG. 2, the wearable device may further include a display for displaying a state. The display may exemplify an LED, and each of the wearable device is mounted to a user, to distinguish a state in which a bio-signal is collected, a state of charge, a state of being combined with another device, or a state of transmitting and receiving data to or from another device. The function of displaying in different colors can be performed.

나아가 도 2에 별도로 도시된 것은 아니지만, 웨어러블 디바이스는 오디오 출력부를 구비할 수 있다. 오디오 출력부는, 사용자 수면 패턴에 따라 수면 유도 음악, 사운드 신호는 물론 각성 유도 음악, 진동 및 사운드 신호를 출력할 수 있다.Furthermore, although not separately illustrated in FIG. 2, the wearable device may include an audio output unit. The audio output unit may output awakening-inducing music, sound signals, as well as awakening-inducing music, vibration, and sound signals according to a user's sleep pattern.

본 발명의 실시예를 따르는 웨어러블 디바이스의 센서 모듈은 착용자의 움직임을 센싱하는 모션 센서를 포함할 수 있다. 모션 센서는 가속도 센서, 자이로 센서 및 지자기 센서 중 적어도 하나 이상을 포함할 수 있으며, 전력 소모량이 상대적으로 적은 모듈로 구현하는 것이 적절하다. 본 발명의 실시예를 따르면, 모션 센싱 데이터는 사용자가 누워서 움직임이 거의 없어지는 수면 준비 상태로 진입했는지 판단하기 위해 사용될 수 있다. The sensor module of the wearable device according to the embodiment of the present invention may include a motion sensor that senses the movement of the wearer. The motion sensor may include at least one of an acceleration sensor, a gyro sensor, and a geomagnetic sensor, and it is appropriate to implement a module with relatively low power consumption. According to an embodiment of the present invention, the motion sensing data may be used to determine whether the user has entered a sleep ready state in which motion is almost eliminated by lying down.

나아가 센서 모듈은 웨어러블 디바이스가 사용자에게 장착되었는지 여부를 센싱하는 접촉 센서, 체온 센서, 조도 센서 또는 적외선 센서 등을 포함할 수도 있다. Furthermore, the sensor module may include a contact sensor, a body temperature sensor, an illuminance sensor, or an infrared sensor that senses whether the wearable device is mounted on the user.

한편 센서 모듈은 착용자의 생체 전기 신호를 입력받기 위한 전극을 포함할 수 있다. 상기 생체 전기 신호는 웨어러블 디바이스가 착용되는 부위인 외이도에서 획득될 수 있다. Meanwhile, the sensor module may include an electrode for receiving a bioelectrical signal of the wearer. The bioelectrical signal may be obtained from the external auditory meatus, which is a part where the wearable device is worn.

인간의 생체 전기 신호는 신경, 근육 조직을 구성하는 세포들의 전기 화학적인 작용에 의해 발생하며, 전극 등의 센서를 이용하여 측정될 수 있다. 예를 들어 생체 신호는 근전도, 안전도, 뇌전도 및 심전도를 포함하며, 상기 근전도, 안전도, 뇌전도 및 심전도 신호가 결합된 형태로 수집될 수 있다. The human bioelectric signal is generated by the electrochemical action of cells constituting nerve and muscle tissue, and can be measured using a sensor such as an electrode. For example, the bio-signals include electromyography, safety, electroencephalogram and electrocardiogram, and the electromyography, safety, electroencephalogram and electrocardiogram signals may be collected in a combined form.

예를 들어, 근전도는 근육의 움직임을 보여주는 신호로서, 사용자의 얼굴의 근육 움직임에 의해 발생하는 전기신호이다. 근전도는 근섬유막에서 발생하는 생리적 변화에 의해 발생되는 전기 신호가 측정된 것으로, 본 발명의 실시예를 따르면 사용자가 수면 중 어금니를 깨무는 이갈이 증상이 있는지, 코콜이 증상, 잠꼬대 증상이 있는지 판단하기 위한 가중치 또는 파라미터로 사용될 수 있다.For example, EMG is a signal showing muscle movement, and is an electrical signal generated by muscle movement of a user's face. Electromyography is an electrical signal generated by a physiological change occurring in the muscle fiber membrane, and according to an embodiment of the present invention, the weight of the user to determine whether there is a molar symptom biting a molar during sleep, a cocoil symptom, or a drool symptom Or it can be used as a parameter.

예를 들어 안전도는 눈의 움직임을 보여주는 신호로서, 눈의 움직임에 따라 사용자의 각막 사이의 전압 차이로 인해 발생하는 전기 신호이다. 눈의 각막(+)과 망막(-) 간에는 일정한 전위가 존재하여 쌍극자 역할을 하며, 사용자가 정면을 응시할 때는 제로(0), 사용자가 왼쪽을 응시하면 + 성분이, 우측을 응시하면 - 성분이 출력되며, 전극의 극성과 움직임의 방향에 따라 +, - 성분은 바뀔 수 있다. 본 발명의 실시예를 따르면, 안전도는 눈동자 움직임 등을 측정하여 렘수면 상태를 분석하기 위한 가중치 또는 파라미터로 사용될 수 있다. For example, the safety level is a signal showing the movement of the eye, and is an electrical signal generated due to a voltage difference between the corneas of the user according to the movement of the eye. There is a constant potential between the cornea (+) of the eye and the retina (-), which acts as a dipole. When the user gazes in front, it is zero (0); It is output, and the + and-components can be changed depending on the polarity of the electrode and the direction of movement. According to an embodiment of the present invention, safety may be used as a weight or a parameter for analyzing REM sleep state by measuring pupil movement or the like.

나아가 뇌전도는 뇌의 활동 상황을 보여주는 신호로서, 인간의 신경계에서 뇌신경 사이로 신호가 전달될 때 생기는 전기 신호이다. 본발명의 실시예를 따르면, 뇌전도는 뇌의 활성도를 측정하여 수면 패턴을 추정하기 위한 가중치 또는 파라미터로 사용될 수 있Furthermore, the electroencephalogram is a signal showing the activity state of the brain, and is an electrical signal generated when a signal is transmitted from the human nervous system to the brain nerves. According to an embodiment of the present invention, EEG may be used as a weight or parameter for estimating sleep patterns by measuring brain activity.

다.All.

나아가 심전도는 심장의 수축과 이완시 발생되는 전기적인 신호이며 체표면에서 쉽고 빠르게 측정할 수 있는 가장 대표적인 생체신호이다. 심장의 운동은 분당 박동수(bpm)으로 표시되며, heart rate의 변화를 통하여 자율신경계의 변화를 알 수 있다. Furthermore, ECG is an electrical signal generated when the heart contracts and relaxes, and is the most representative biosignal that can be easily and quickly measured on the body surface. The movement of the heart is expressed in beats per minute (bpm), and changes in the autonomic nervous system can be seen through changes in the heart rate.

본 발명의 실시예를 따르면, 심전도는 왼쪽과 오른쪽 귀에서 각각 수집된 한쌍의 생체 신호를 동기화하기 위한 기준으로 사용될 수 있다. 나아가 본 발명의 실시예를 따르면, 심전도 신호로부터 사용자의 호흡 패턴이 추정될 수 있다. 예를 들어 비렘수면 시에는 호흡수와 호흡량이 줄어들며, 렘수면 기간에는 호흡 패턴이 매우 불규칙한 특징을 나타나는데 심전도 및 심전도 신호를 이용하여 추정된 호흡 패턴을 이용하여 수면의 단계를 추정할 수 있다. 나아가 수면 무호흡증을 분석하는 가중치 또는 파라미터로 사용될 수도 있다. According to an embodiment of the present invention, an electrocardiogram may be used as a reference for synchronizing a pair of biological signals collected from the left and right ears, respectively. Furthermore, according to an embodiment of the present invention, a user's breathing pattern may be estimated from an ECG signal. For example, the respiratory rate and the respiratory rate decrease during non-remem sleep, and during the REM sleep period, the respiratory pattern exhibits very irregular characteristics. The stage of sleep can be estimated by using the respiratory pattern estimated using the electrocardiogram and the electrocardiogram signal. Furthermore, it may be used as a weight or parameter for analyzing sleep apnea.

나아가 본 발명의 실시예를 따르는 웨어러블 디바이스는 전극을 통해 감지된 생체 전기 신호를 증폭시키고, 노이즈를 제거하여 디지털 신호로 변환하는 신호 처리를 수행하는 신호 처리 모듈을 포함할 수 있다. 나아가 수집된 생체 신호 데이터 및 센싱 데이터를 저장하는 메모리, 전력을 공급하는 배터리 및 메모리에 저장된 데이터를 다른 장치로 전송하기 위한 인터페이스를 포함할 수 있다. Furthermore, the wearable device according to the embodiment of the present invention may include a signal processing module that amplifies the bioelectric signal sensed through an electrode and performs signal processing to remove noise and convert it into a digital signal. Furthermore, it may include a memory for storing collected bio-signal data and sensing data, a battery for supplying power, and an interface for transmitting data stored in the memory to other devices.

본 발명의 실시예를 따르는 웨어러블 디바이스는 인간의 외이에 장착되는 형태를 고려하기 때문에 인간의 외이라는 매우 작은 공간에서 상기 구성요소가 구현되어야 하는 제약이 있다. 따라서 다양한 형태의 센서, 대용량의 배터리, 통신 모듈을 형성하지 않고, 최소한의 공간에 최적화된 칩셋으로 구현되는 것이 바람직하다. Since the wearable device according to the embodiment of the present invention considers a form mounted on the human outer ear, there is a limitation in that the above component must be implemented in a very small space called the human outer ear. Therefore, it is desirable to implement chipsets optimized for a minimum space without forming various types of sensors, large-capacity batteries, and communication modules.

한편, 본 발명의 실시예를 따르는 웨어러블 디바이스의 제어부는 다른 구성 요소들의 동작을 전반적으로 제어하는 역할을 수행할 수 있다. 예를 들어 제어부는, 센서 모듈을 통해 입력된 생체 전기 신호를 증폭, 노이즈 제거, 디지털 신호로 변화하도록 신호 처리 모듈을 제어하고, 신호 처리된 생체 신호 데이터를 메모리에 저장하며, 클라이언트 장치와 연결을 감지하여 메모리에 저장된 생체 신호 데이터를 전송하도록 통신 모듈을 제어하는 기능을 수행할 수 있다. Meanwhile, the controller of the wearable device according to the embodiment of the present invention may serve to control the overall operation of other components. For example, the control unit controls the signal processing module to amplify, remove noise, and change the bio-electrical signal input through the sensor module into a digital signal, stores the signal-processed bio-signal data in a memory, and establishes a connection with a client device. It is possible to perform a function of controlling the communication module to sense and transmit the bio-signal data stored in the memory.

특히 본 발명의 실시예를 따르는 웨어러블 디바이스의 제어부는, 입력되는 생체 신호를 드랍(drop) 또는 저장할지 여부를 판단하는 기능을 수행할 수 있다. 전술한 바와 같이 웨어러블 디바이스는 최소한의 공간에 구성요소들이 형성되어야 하기 때문에 메모리 용량 역시 최적화될 필요가 있다. 따라서 제어부는 입력되는 모든 신호를 저장하지 않고, 사용자가 수면 준비 상태에 진입한 것으로 판단되는 경우에만 생체 신호를 메모리에 저장하도록 제어할 수 있다. In particular, the controller of the wearable device according to the embodiment of the present invention may perform a function of determining whether to drop or store the input bio signal. As described above, since the wearable device needs to have components formed in a minimum space, memory capacity needs to be optimized. Therefore, the controller may control to store the bio-signal in the memory only when it is determined that the user has entered the sleep ready state, rather than storing all input signals.

예를 들어, 제어부는 웨어러블 디바이스의 사용자 장착이 감지되고, 모션 센서를 통해 측정된 사용자의 움직임 데이터의 변위가 미리 설정된 범위 이하로 일정 기간 유지되는 경우에 생체 신호를 저장하도록 처리할 수 있다. 또 다른 예로 제어부는 웨어러블 디바이스의 사용자 장착이 감지되고, 모션 센서를 통해 측정된 사용자의 움직임 데이터가 미리 설정된 누운 자세의 패턴을 따르는 경우, 생체 신호를 저장하도록 처리할 수 있다. For example, the controller may process to store the bio-signal when the user wear of the wearable device is sensed and the displacement of the user's movement data measured through the motion sensor is maintained for a certain period of time below a preset range. As another example, the controller may process to store a biosignal when the user's wearing of the wearable device is detected and the user's movement data measured through the motion sensor follows a preset lying posture pattern.

한편 제어부는 웨어러블 디바이스를 사용자가 탈착한 것이 감지되면 생체 신호 저장을 중단할 수 있으며, 메모리에 저장된 생체 신호 데이터가 통신 모듈을 통해 다른 장치로 전송된 경우, 해당 데이터는 삭제하도록 처리할 수 있다. On the other hand, when the user detects that the wearable device is detached, the controller may stop storing the bio-signal, and when the bio-signal data stored in the memory is transmitted to another device through the communication module, the corresponding data may be deleted.

한편, 본 발명의 실시예를 따르는 수면 분석 시스템은 웨어러블 디바이스에서 수집한 한 쌍의 생체 신호 데이터를 동기화하고 집계하여 하나의 생체 신호 데이터 세트로 프로세싱하여 서비스 서버에 전송하는 기능을 수행하는 클라이언트 장치 (110)를 포함할 수 있다.On the other hand, the sleep analysis system according to an embodiment of the present invention is a client device that performs a function of synchronizing and aggregating a pair of bio-signal data collected from a wearable device, processing it into a set of bio-signal data, and transmitting it to a service server ( 110).

보다 구체적으로 클라이언트 장치 (110)는 도 2에 도시된 바와 같이, 외부 장치와 연결을 위한 인터페이스, 디스플레이, 통신 모듈, 메모리 및 제어부를 포함할 수 있다. More specifically, as shown in FIG. 2, the client device 110 may include an interface, a display, a communication module, a memory, and a control unit for connection with an external device.

보다 구체적으로, 인터페이스는 웨어러블 디바이스를 클라이언트 장치에 결합하는 기능을 수행할 수 있다. 예를 들어 웨어러블 디바이스가 클라이언트 장치와 인터페이스를 통해 물리적으로 결합되면, 하나의 장치로 동작할 수 있기 때문에 웨어러블 디바이스의 통신 모듈을 생략할 수 있다. 클라이언트 장치는 인터페이스를 통해 웨어러블 디바이스에 저장된 생체 신호 데이터를 수신할 수 있다. More specifically, the interface may perform a function of coupling the wearable device to the client device. For example, if the wearable device is physically coupled through an interface with a client device, the communication module of the wearable device can be omitted because it can operate as a single device. The client device may receive bio-signal data stored in the wearable device through the interface.

나아가 본 발명의 실시예를 따르는 클라이언트 장치는 상태 표시를 위한 디스플레이를 포함할 수 있다. 상기 디스플레이는 LED를 예시할 수 있으며, 상기 클라이언트 장치의 온오프, 웨어러블 디바이스의 결합, 데이터 프로세싱, 데이터 송수신, 웨어러블 디바이스의 충전 등 상기 클라이언트 장치의 상태를 구별하여 표시하는 기능을 수행할 수 있다. Furthermore, a client device according to an embodiment of the present invention may include a display for status display. The display may exemplify an LED, and may perform a function of distinguishing and displaying the state of the client device, such as on / off of the client device, combination of wearable devices, data processing, data transmission / reception, and charging of the wearable device.

한편, 본 발명의 실시예를 따르는 클라이언트 장치의 제어부는 다른 구성 요소들의 동작을 전반적으로 제어하는 역할을 수행할 수 있다. 예를 들어 제어부는, 인터페이스를 통해 수신한 생체 신호 데이터를 프로세싱하는 기능을 수행할 수 있다. 프로세싱된 생체 신호 데이터 세트는 메모리에 저장되며, 미리 설정된 주기로 통신 모듈을 통해 서비스 서버로 전송될 수 있다, Meanwhile, the controller of the client device according to the embodiment of the present invention may serve to control the overall operation of other components. For example, the control unit may perform a function of processing biosignal data received through an interface. The processed bio-signal data set is stored in a memory, and can be transmitted to a service server through a communication module at a predetermined cycle.

본 발명의 실시예를 따르는 웨어러블 디바이스는 물리적으로 분리되어 한 쌍을 이루는 장치로, 사용자의 왼쪽 귀와 오른쪽 귀에 각각 장착될 수 있다. 즉, 웨어러블 디바이스는 왼쪽 귀와 오른쪽 귀에서 각각 생체 신호를 수집하며, 클라이언트 장치 (110)는 웨어러블 디바이스 (100)로부터 왼쪽 귀에서 수집한 생체 신호 데이터와 오른쪽 귀에서 수집한 생체 신호 데이터를 하나의 쌍으로 획득할 수 있다. 따라서 클라이언트 장치에서 한쌍의 생체 신호 데이터를 하나의 데이터 세트로 결합하여 서비스 서버로 전송하면, 서비스 서버의 데이터 처리가 효율적으로 진행될 수 있다. The wearable device according to an embodiment of the present invention is a device that is physically separated to form a pair, and may be mounted on the left and right ears of a user, respectively. That is, the wearable device collects biosignals from the left ear and the right ear, respectively, and the client device 110 pairs one pair of biosignal data collected from the left ear and biosignal data collected from the right ear from the wearable device 100. Can be obtained. Therefore, when a pair of biosignal data is combined into a single data set and transmitted to a service server in a client device, data processing of the service server can be efficiently performed.

이를 위해 클라이언트 장치의 제어부는 한쌍의 생체 신호 데이터를 동기화하기 위한 기준점을 설정할 수 있다. 예를 들어 생체 신호 데이터에 시간 정보가 포함되어 있는 경우, 시간 정보를 기준으로 동기화할 수 있다. 그러나 웨어러블 디바이스는 매우 작은 장치이기 때문에, 시간 정보 생성 모듈이 생략될 수 있다. 이 경우 별도의 기준점을 설정해야 할 것이다. To this end, the controller of the client device may set a reference point for synchronizing a pair of bio-signal data. For example, when time information is included in the biosignal data, synchronization may be performed based on the time information. However, since the wearable device is a very small device, the time information generating module may be omitted. In this case, a separate reference point will have to be set.

본 발명의 실시예를 따르면, 동기화를 위한 기준점으로 심전도 신호를 고려할 수 있다. 심전도 신호는 심장의 박동에 대한 것이기 때문에, 소스 채널의 위치와 무관하며, 왼쪽 귀와 오른쪽 귀에서 동일한 형태로 입력될 수 있다. According to an embodiment of the present invention, an ECG signal may be considered as a reference point for synchronization. Since the ECG signal is for the heartbeat, it is independent of the position of the source channel and can be input in the same form from the left and right ears.

따라서 클라이언트 장치의 제어부는 왼쪽 귀에서 수집된 생체 신호와 오른쪽 귀에서 수집된 생체 신호에서 심전도 신호를 분리할 수 있다. 예를 들어, 제어부는 심전도 신호에 대한 주파수 영역을 설정하고, 생체 신호에서 해당 주파수 영역을 분리하여 심전도 신호를 추출할 수 있다. 이후 제어부는 심전도 신호를 기준으로 왼쪽 귀에서 수집된 생체 신호와 오른쪽 귀에서 수집된 생체 신호를 동기화할 수 있다. Therefore, the controller of the client device may separate the electrocardiogram signal from the biosignal collected from the left ear and the biosignal collected from the right ear. For example, the controller may set the frequency domain for the ECG signal, and extract the ECG signal by separating the frequency domain from the biosignal. Thereafter, the control unit may synchronize the biosignal collected from the left ear and the biosignal collected from the right ear based on the ECG signal.

본 발명의 다른 실시예를 따르면, 동기화를 위한 기준점을 설정하기 위하여 외부 자극을 인가하면서 생체 신호를 수집할 수도 있다. 예를 들어 웨어러블 디바이스에서 미리 설정된 주기로 양쪽 귀에 자극을 동시에 인가하면서 생체 신호를 수집하면, 외부 자극이 입력된 시점의 생체 신호는 매우 특징적이고 명확한 형태로 출력될 것이다. 따라서 클라이언트 장치의 제어부는 생체 신호에서 외부 자극이 입력된 시점의 공통 신호를 기준점으로 설정하여 왼쪽 귀에서 수집된 생체 신호와 오른쪽 귀에서 수집된 생체 신호를 동기화할 수 있다. According to another embodiment of the present invention, a biosignal may be collected while applying an external stimulus to set a reference point for synchronization. For example, if a biological signal is collected while simultaneously applying stimulation to both ears at a predetermined period in a wearable device, the biosignal at the time when the external stimulus is input will be output in a very characteristic and clear form. Therefore, the controller of the client device may set the common signal at the time when the external stimulus is input from the biosignal as a reference point to synchronize the biosignal collected from the left ear and the biosignal collected from the right ear.

이후 제어부는 동기화된 한쌍의 생체 신호를 머지하여 하나의 데이터 세트로 형성하고 이를 메모리에 저장하고, 설정에 따라 통신 모듈을 통해 서비스 서버로 전송할 수 있다. Thereafter, the controller may merge a pair of synchronized bio signals to form a single data set, store it in a memory, and transmit it to a service server through a communication module according to the setting.

한편, 본 발명의 실시예를 따르는 서비스 서버 (120)는 대량의 생체 신호 데이터에 대한 데이터베이스를 생성하고, 상기 데이터베이스를 이용하여 인간의 수면을 모델링하며, 사용자의 생체 신호를 수신하여 수면 장애를 추정할 수 있다. On the other hand, the service server 120 according to an embodiment of the present invention generates a database for a large amount of biosignal data, uses the database to model human sleep, and receives a user's biosignal to estimate sleep disorders can do.

보다 구체적으로 서비스 서버 (120)는 사용자 입력을 수신하는 입력 모듈, 디스플레이 기능을 수행하는 출력 모듈, 다른 장치와 데이터를 송수신하기 위한 통신 모듈, 데이터 저장을 위한 메모리 및 상기 서비스 서버의 전반적인 기능을 제어하는 제어부를 포함하여 구성될 수 있다. More specifically, the service server 120 controls an input module receiving a user input, an output module performing a display function, a communication module for transmitting and receiving data with other devices, a memory for data storage, and overall functions of the service server It may be configured to include a control unit.

한편, 본 발명의 다른 실시예를 따르면, 상기 서비스 서버에서 수행하는 기능은 사용자 단말 (130)에서 처리될 수 있다. 나아가 도 1에 예시된 서비스 서버의 구성은 물리적인 장치를 의미하는 것이 아니라, 논리적인 기능을 의미하는 것으로 해석될 수 있다. 예를 들어 도 1에서 예시된 서비스 서버는 클라우드 기반으로 구현될 수 있다.Meanwhile, according to another embodiment of the present invention, a function performed by the service server may be processed by the user terminal 130. Furthermore, the configuration of the service server illustrated in FIG. 1 may be interpreted to mean a logical function, not a physical device. For example, the service server illustrated in FIG. 1 may be implemented based on the cloud.

나아가 사용자 단말 (130)은 본 발명의 실시예를 따르는 수면 분석 어플리케이션이 설치될 수 있다. 상기 어플리케이션은 서비스 서버와 통신하여 수면 모니터링 레포트를 수신하며, 이를 시각적으로 디스플레이하는 기능을 수행할 수 있다. 상기 사용자 단말은 스마트폰, 태블릿 PC, 데스크톱 등 휴대 가능한 장치를 예시할 수 있으며, 상기 장치의 일반적인 구성을 따를 수 있다. Furthermore, the user terminal 130 may be installed with a sleep analysis application according to an embodiment of the present invention. The application may perform a function of receiving a sleep monitoring report in communication with a service server and visually displaying it. The user terminal may exemplify a portable device such as a smart phone, a tablet PC, or a desktop, and may follow the general configuration of the device.

보다 구체적으로, 본 발명의 실시예에 따른 사용자 단말130는 도 1에서 도시되는 바와 같이, 센서 모듈, 입력 모듈, 출력 모듈, 통신 모듈, 제어부 및 메모리를 포함할 수 있다. More specifically, as shown in FIG. 1, the user terminal 130 according to an embodiment of the present invention may include a sensor module, an input module, an output module, a communication module, a control unit, and a memory.

통신 모듈은 사용자 단말의 무선 통신을 위한 해당 데이터의 송수신 기능을 수행한다. 또한, 통신 모듈은 무선 채널을 통해 데이터를 수신하여 제어부로 출력하고, 제어부로부터 출력된 데이터를 무선 채널을 통해 전송할 수 있다. The communication module performs transmission and reception of corresponding data for wireless communication of the user terminal. In addition, the communication module may receive data through a wireless channel, output the data to the control unit, and transmit data output from the control unit through the wireless channel.

센서 모듈은 홀센서, 자이로센서, 가속센서 (Acceleration sensor), 근접 센서 (Proximity sensor), 지자기 센서 (Geo-magnetic sensor), 중력센서 (G-sensor), 광센서, 조도센서 등을 포함할 수 있다.The sensor module may include a hall sensor, a gyro sensor, an acceleration sensor, a proximity sensor, a geo-magnetic sensor, a gravity sensor (G-sensor), a light sensor, an illuminance sensor, etc. have.

디스플레이는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있으며, 사용자 단말의 메뉴, 입력된 데이터, 기능 설정 정보 또는 기타 다양한 정보를 사용자에게 시각적으로 제공한다. The display may be formed of a liquid crystal display (LCD), organic light emitting diodes (OLED), or active matrix organic light emitting diodes (AMOLED), and the menu of the user terminal. , Visually provide the input data, function setting information, or other various information to the user.

입력 모듈은 사용자 단말을 제어하기 위한 사용자의 입력을 수신하고 입력 신호를 생성하여 제어부에 전달한다. 본 발명의 다른 실시예에서 사용자 단말은 터치스크린만으로 모든 조작이 가능할 수 있다. 이 경우, 디스플레이가 입력 모듈의 기능을 수행할 수 있다. The input module receives a user input for controlling a user terminal, generates an input signal, and transmits it to the control unit. In another embodiment of the present invention, the user terminal may be capable of all manipulations using only the touch screen. In this case, the display can function as an input module.

제어부는 사용자 단말의 전반적인 동작을 제어할 수 있다. 예를 들어 제어부는 메모리에 저장된 본 발명의 실시예를 따르는 수면 모니터링 어플리케이션을 실행하고, 상기 어플리케이션이 제공하는 사용자 인터페이스를 통해 사용자의 숙면도, 수면 시간, 수면 습관, 수면 패턴 및 주기 등에 대한 정보를 표시할 수 있다. 나아가 제어부는 사용자의 수면 상태를 고려하여, 숙면 유도 사운드, 숙면 유도 음악 등을 추천하고 숙면을 위한 호흡법 등에 대한 정보를 표시하도록 디스플레이를 제어할 수 있다. The controller can control the overall operation of the user terminal. For example, the control unit executes a sleep monitoring application according to an embodiment of the present invention stored in a memory, and provides information about a user's sound sleep, sleep time, sleep habits, sleep patterns and cycles through a user interface provided by the application. Can be displayed. Furthermore, the controller may control the display to recommend sound sleep induction sound, sound sleep induction music, etc. in consideration of the user's sleep state, and display information on a breathing method for a good night's sleep.

도 3은 본 발명의 실시예를 따라 생체 신호를 수집하고, 수면 상태를 분석하는 방법을 설명하기 위한 순서도이다. 3 is a flowchart illustrating a method of collecting a biosignal and analyzing a sleep state according to an embodiment of the present invention.

단계 310에서 서비스 서버는 대량의 생체 신호를 수집하고, 이를 데이터베이스에 저장할 수 있다. In step 310, the service server may collect a large amount of biological signals and store them in a database.

상기 생체 신호는, 본 발명의 실시예를 따르는 생체 신호 수집용 이어플러그에서 수집될 수 있으며, 왼쪽 귀에서 수집된 생체 신호와 오른쪽 귀에서 수집된 생체 신호가 동기화 및 머지되어 하나의 데이터 세트 형태일 수 있다. The bio-signal may be collected in an earplug for bio-signal collection according to an embodiment of the present invention. The bio-signal collected from the left ear and the bio-signal collected from the right ear are synchronized and merged to form a single data set. You can.

서비스 서버는 상기 생체 신호 데이터 세트를 미리 특정된 주파수 영역으로 분할하여 근전도, 안전도, 뇌전도, 심전도 및 근전도 신호 중 적어도 하나 이상의 신호를 의미하는 생체 신호 데이터를 추출할 수 있다. The service server may extract the biosignal data, which means at least one of the EMG, EKG, EKG, and EMG signals by dividing the biosignal data set into a predetermined frequency domain.

이후 본 발명의 실시예를 따르는 서비스 서버는 상기 생체 신호를 정규화 (normalizing) 및/또는 저차원으로 축소 (downscaling) 및/또는 각각의 신호에서 리니어 트랜드를 제거 (detrending)하는 보정을 수행할 수 있다. 나아가 서비스 서버는 보정된 생체 신호를 윈도우 단위로 분할하고, 각각의 윈도우에 메타데이터를 인덱싱할 수 있다. Thereafter, the service server according to an embodiment of the present invention may perform normalization and / or downscaling of the bio-signals and / or correction to remove linear trends from each signal. . Furthermore, the service server may divide the corrected bio-signal into units of windows and index metadata in each window.

한편, 특정 사용자의 생체 신호가 본 발명의 실시예를 따르는 이어플러그 형태의 디바이스를 통해 수집되는 동안, 해당 사용자에게 전용 전극을 부착하여 근전도, 안전도, 뇌전도, 심전도 및 근전도 신호 중 적어도 하나인 전용 전극 생체 신호를 깨끗한 형태로 획득할 수 있다. 상기 근전도, 안전도, 뇌전도, 심전도 및 근전도 신호는 종래의 수면 다원 검사 장치를 통해 수집될 수 있으며, 서비스 서버에 전송되어 상기 외이도 생체 신호와 함께 데이터베이스에 저장될 수 있다. On the other hand, while the bio-signals of a specific user are collected through an earplug-type device according to an embodiment of the present invention, By attaching a dedicated electrode to a corresponding user, a dedicated electrode biosignal that is at least one of EMG, safety, EEG, EKG, and EMG signals can be obtained in a clean form. The EMG, safety, EEG, EKG, and EMG signals may be collected through a conventional sleep multi-inspection device, and transmitted to a service server and stored in a database together with the external auditory meatus biosignal.

한편, 서비스 서버는 불면증, 과면증, 기면증, 코골이, 수면 무호흡증, 렘수면 행동 장애, 잠꼬대, 몽유병, 이갈이 등 수면 장애를 의미하는 레이블을 생체 신호 형태로 설정하고, 기계학습 프레임워크에 상기 레이블을 학습시킬 수 있다. 나아가 서비스 서버는 비렘수면, 렘수면 등 수면의 단계를 의미하는 레이블을 생체 신호 형태로 설정하고, 기계학습 프레임워크에 상기 레이블을 학습시킬 수 있다. 나아가 서비스 서버는 상기 레이블을 이용하여 인간의 수면 모델을 생성할 수 있다. (단계 315, 320)On the other hand, the service server sets a label for sleep disorders such as insomnia, insomnia, narcolepsy, snoring, sleep apnea, REM sleep behavior disorder, drool, sleepwalking, lice, in the form of a biosignal, and sets the label in the machine learning framework Can be learned. Furthermore, the service server may set a label indicating the stage of sleep, such as non-rem sleep, REM sleep, in the form of a biosignal, and learn the label in a machine learning framework. Furthermore, the service server may generate a human sleep model using the label. (Steps 315, 320)

예를 들어 수면 다원 검사를 통해 특정 수면 장애를 분석받은 그룹에서 수면 장애 발생 구간에 수집된 전용 전극 생체 신호 세트 및/또는 이어플러그 생체 신호는 해당 수면 장애를 의미하는 레이블로 활용될 수 있다. 이때 분석 대상 수면 장애마다 근전도, 안전도, 뇌전도, 심전도 및 근전도 신호 마다 상이한 기준의 가중치가 부여될 수 있다. For example, a dedicated electrode biosignal set and / or earplug biosignal collected in a sleep disorder occurrence section in a group that has been analyzed for a specific sleep disorder through polysomnography may be used as a label indicating the sleep disorder. At this time, weights of different criteria may be assigned to the EMG, safety, EEG, EKG, and EMG signals for each sleep disorder to be analyzed.

또다른 예로 수면 다원 검사를 통해 렘수면 구간에 있는 것으로 추정된 그룹의 해당 구간동안 수집된 전용 전극 생체 신호 세트 및/또는 이어플러그 생체 신호는 렘수면을 의미하는 레이블로 활용될 수 있다. 나아가 비렘수면 구간에 있는 것으로 추정된 그룹의 해당 구간동안 수집된 전용 전극 생체 신호 세트 및/또는 이어플러그 생체 신호는 비렘수면을 의미하는 레이블로 활용될 수 있다. 이때 해당 수면 주기마다 근전도, 안전도, 뇌전도, 심전도 및 근전도 신호 마다 상이한 기준의 가중치가 부여될 수 있다. As another example, a dedicated electrode bio-signal set and / or earplug bio-signals collected during a corresponding section of a group presumed to be in REM sleep section through sleep polysomnography may be used as a label for REM sleep. Furthermore, the dedicated electrode bio-signal set and / or earplug bio-signal collected during the corresponding section of the group estimated to be in the non-remem sleep section may be used as a label for non-remem sleep. At this time, weights of different criteria may be assigned to EMG, safety, EEG, EKG, and EMG signals for each sleep cycle.

나아가 서비스 서버는 레이블과 데이터베이스에 저장된 생체 신호의 유사도를 같은 기준의 가중치를 적용하여 계산하고, 각각의 생체 신호에 상기 레이블 및 유사도 값을 인덱싱할 수 있다. Further, the service server may calculate the similarity between the biosignal stored in the label and the database by applying a weight of the same reference, and index the label and similarity value to each biosignal.

한편, 본 발명의 실시예를 따라 외이도 생체 신호를 수집하는 이어플러그가 사용자의 외이에 장착되면, (단계 325) 상기 이어플러그에 포함된 전극을 통해 사용자의 생체 신호가 입력될 수 있다. (단계 327) On the other hand, if the earplug collecting the external ear canal biosignal according to an embodiment of the present invention is mounted on the user's ear canal (step 325), the user's biosignal may be input through the electrode included in the earplug. (Step 327)

특히 본 발명의 실시예를 따르는 이어플러그는 입력된 모든 생체 신호를 저장하지 않고 드랍하며, 사용자가 수면 준비 상태에 진입한 것으로 판단되는 경우에만 생체 신호를 메모리에 저장할 수 있다. In particular, the earplug according to the embodiment of the present invention does not store all the input biosignals, and can store the biosignals in the memory only when it is determined that the user has entered the sleep ready state.

예를 들어, 이어플러그의 사용자 장착이 감지되고, 모션 센서를 통해 측정된 사용자의 움직임 데이터의 변위가 미리 설정된 범위 이하로 일정 기간 유지되는 경우, 생체 신호가 저장될 수 있다. 또다른 예로, 이어플러그의 사용자 장착이 감지되고, 모션 센서를 통해 측정된 사용자의 움직임 데이터가 미리 설정된 누운 자세의 패턴을 따르는 경우, 생체 신호가 저장될 수 있다. For example, when the user's wearing of the earplug is sensed and the displacement of the user's movement data measured through the motion sensor is maintained for a period of time below a preset range, the biosignal may be stored. As another example, when the user's wearing of the ear plug is sensed and the user's movement data measured through the motion sensor follows a preset lying posture pattern, the biosignal may be stored.

한편 이어플러그는 클라이언트 장치와 물리적으로 결합될 수 있다. (단계 330)Meanwhile, the ear plug may be physically combined with the client device. (Step 330)

클라이언트 장치는 이어플러그가 결합되면, 이어플러그의 메모리에 엑세스하여 생체 신호 데이터를 획득할 수 있고, 이어플러그는 해당 메모리를 삭제할 수 있다. (단계 335} 이때 이어플러그는 클라이언트 장치에 결합하여 배터리를 충전할 수 있다. (단계 337)When the earplug is coupled to the client device, the earplug's memory may be accessed to obtain biosignal data, and the earplug may delete the corresponding memory. (Step 335) At this time, the ear plug can be coupled to the client device to charge the battery (Step 337).

본 발명의 실시예를 따르는 이어플러그는 물리적으로 분리된 한쌍의 디바이스로서, 사용자의 왼쪽 귀와 오른쪽 귀에 각각 장착되어 왼쪽 귀의 생체 신호 및 오른쪽 귀의 생체 신호를 각각 수집할 것이다. 따라서 생체 신호는 한쌍으로 수집되며, 클라이언트 장치는 상기 한쌍의 생체 신호를 동기화하기 위한 기준을 설정할 수 있다. (단계 360)Ear plugs according to an embodiment of the present invention is a pair of physically separated devices, which are mounted on the left and right ears of a user, respectively, and will collect bio signals from the left ear and bio signals from the right ear, respectively. Accordingly, the biometric signals are collected in a pair, and the client device can set a reference for synchronizing the pair of biometric signals. (Step 360)

예를 들어 생체 신호 데이터에 시간 정보가 포함되어 있는 경우, 클라이언트 장치는 시간 정보를 기준으로 동기화할 수 있다. 그러나 본 발명의 실시예를 따르는 이어플러그는 매우 작은 장치이기 때문에, 시간 정보 생성 모듈이 생략될 수 있다. 이 경우 별도의 기준점을 설정해야 할 것이다. For example, when time information is included in the biosignal data, the client device may synchronize based on the time information. However, since the earplug according to the embodiment of the present invention is a very small device, the time information generating module may be omitted. In this case, a separate reference point will have to be set.

본 발명의 실시예를 따르면, 동기화를 위한 기준점으로 심전도 신호를 고려할 수 있다. 심전도 신호는 심장의 박동에 대한 것이기 때문에, 소스 채널의 위치와 무관하며, 왼쪽 귀와 오른쪽 귀에서 동일한 형태로 입력될 수 있다. According to an embodiment of the present invention, an ECG signal may be considered as a reference point for synchronization. Since the ECG signal is for the heartbeat, it is independent of the position of the source channel and can be input in the same form from the left and right ears.

따라서 클라이언트 장치는 왼쪽 귀에서 수집된 생체 신호와 오른쪽 귀에서 수집된 생체 신호에서 심전도 신호를 각각 분리할 수 있다. 예를 들어, 생체 신호에서 심전도 영역에 해당하는 주파수 영역을 분리하는 방식으로 심전도 신호를 추출할 수 있다. 이후 클라이언트 장치는 심전도 신호를 기준으로 왼쪽 귀에서 수집된 생체 신호와 오른쪽 귀에서 수집된 생체 신호를 동기화할 수 있다. Therefore, the client device can separate the ECG signal from the biosignal collected from the left ear and the biosignal collected from the right ear, respectively. For example, the ECG signal may be extracted by separating the frequency domain corresponding to the ECG region from the biosignal. Thereafter, the client device may synchronize the bio signal collected from the left ear and the bio signal collected from the right ear based on the ECG signal.

본 발명의 다른 실시예를 따르면, 동기화를 위한 기준점 설정을 위한 외부 자극을 인가하면서 생체 신호를 수집할 수도 있다. 예를 들어 이어플러그에서 미리 설정된 주기로 양쪽 귀에 자극을 동시에 인가하면서 생체 신호를 수집하면, (단계 327) 외부 자극이 인가된 시점의 생체 신호는 매우 특징적이고 명확한 형태로 출력될 것이다. 따라서 클라이언트 장치는 생체 신호에서 외부 자극이 인가된 시점의 공통 신호를 기준점으로 설정하여 왼쪽 귀에서 수집된 생체 신호와 오른쪽 귀에서 수집된 생체 신호를 동기화할 수 있다. According to another embodiment of the present invention, bio signals may be collected while applying an external stimulus for setting a reference point for synchronization. For example, if a biosignal is collected while simultaneously applying stimulation to both ears at a predetermined period in the earplugs (step 327), the biosignal at the time when the external stimulus is applied will be output in a very characteristic and clear form. Accordingly, the client device may set the common signal at the time when the external stimulus is applied as the reference point to synchronize the biological signal collected from the left ear and the biological signal collected from the right ear.

(단계 365)(Step 365)

이후 클라이언트 장치는 동기화된 한쌍의 생체 신호를 머지하여 하나의 데이터 세트로 형성하고 이를 메모리에 저장할 수 있다. (단계 365)Thereafter, the client device may merge a pair of synchronized bio signals to form a data set and store it in a memory. (Step 365)

나아가 클라이언트 장치는 서비스 서버와 통신을 연결하고, 상기 데이터 세트를 서비스 서버로 전송할 수 있다. (단계 369)Furthermore, the client device may establish communication with the service server and transmit the data set to the service server. (Step 369)

서비스 서버에서 생체 신호 데이터 세트가 수신되면, 서비스 서버는 생체 신호 데이터 세트를 미리 특정된 주파수 영역으로 분할하여 근전도, 안전도, 뇌전도, 심전도 및 근전도 신호 중 적어도 하나 이상의 신호를 의미하는 생체 신호 데이터를 추출할 수 있다. 이후 본 발명의 실시예를 따르는 서비스 서버는 상기 생체 신호를 정규화 및/또는 저차원으로 축소 및/또는 각각의 신호에서 리니어 트랜드를 제거하는 보정을 수행할 수 있다. 나아가 서비스 서버는 보정된 생체 신호를 윈도우 단위로 분할하고, 각각의 윈도우에 메타데이터를 인덱싱하여 분석 대상 생체 신호로 변환하는 프로세싱을 수행할 수 있다. When the bio-signal data set is received from the service server, the service server divides the bio-signal data set into a predetermined frequency domain and transmits bio-signal data, which means at least one of EMG, safety, EEG, EKG, and EMG signals. Can be extracted. Thereafter, the service server according to an embodiment of the present invention may perform correction to normalize and / or reduce the biosignal to a low dimension and / or to remove linear trends from each signal. Furthermore, the service server may perform processing for dividing the corrected bio-signal into windows, indexing metadata into each window, and converting the bio-signal into an analysis target bio-signal.

나아가 서비스 서버는 분석 대상 생체 신호를 단계 320에서 생성한 수면 모델에 적용하여 해당 사용자의 수면 상태를 분석할 수 있다. (단계 370) Furthermore, the service server may analyze the sleeping state of the corresponding user by applying the biosignal to be analyzed to the sleep model generated in step 320. (Step 370)

예를 들어 서비스 서버는 불면증, 과면증, 기면증, 코골이, 수면 무호흡증, 렘수면 행동 장애, 잠꼬대, 몽유병, 이갈이 등 수면 장애를 의미하는 레이블과 분석 대상 생체 신호와 유사도를 계산하고, 분석 대상 생체 신호가 미리 설정된 범위의 유사도를 가지는 경우, 해당 수면 장애의 가능성이 있는 것으로 추정할 수 있다. For example, the service server calculates the similarity to the biosignal to be analyzed and the label indicating the sleep disorder such as insomnia, insomnia, narcolepsy, snoring, sleep apnea, REM sleep behavior disorder, drool, sleepwalking, lice, etc. If has a similarity of a predetermined range, it can be estimated that there is a possibility of a corresponding sleep disorder.

나아가 서비스 서버는 비렘수면, 렘수면 등 수면의 단계를 의미하는 레이블과 분석 대상 생체 신호의 유사도를 계산하고, 유사도에 따라 해당 사용자의 수면의 단계를 추정할 수 있다.Furthermore, the service server may calculate the similarity between the label indicating the stage of sleep, such as non-rem and sleep, and the biosignal to be analyzed, and estimate the stage of the user's sleep according to the similarity.

이후 서비스 서버는 해당 사용자에 대한 수면 분석 레포트를 작성할 수 있으며 (단계 375) 이를 사용자 단말로 전송할 수 있다. (단계 380) 상기 수면 분석 레포트는 사용자의 숙면도, 수면 시간, 수면 습관, 수면 패턴, 수면 주기 등에 대한 정보를 포함할 수 있다.Thereafter, the service server may create a sleep analysis report for the user (step 375) and transmit it to the user terminal. (Step 380) The sleep analysis report may include information about a user's sleep, sleep time, sleep habits, sleep pattern, sleep cycle, and the like.

한편, 사용자 단말은 본 발명의 실시예를 따르는 수면 모니터링 어플리케이션이 설치될 수 있다. (단계 390) 상기 어플리케이션은 서비스 서버로부터 레포트 데이터를 수신하고, 이를 디스플레이에 표시하는 역할을 수행할 수 있다. 즉, 사용자는 어플리케이션 시행 화면을 통해 자신의 수면 모니터링 레포트를 시각으로 제공받을 수 있다. (단계 395)Meanwhile, a user terminal may be installed with a sleep monitoring application according to an embodiment of the present invention. (Step 390) The application may serve to receive report data from a service server and display it on a display. That is, the user can visually receive his sleep monitoring report through the application execution screen. (Step 395)

예를 들어 사용자 단말은, 사용자의 숙면도, 수면 시간, 수면 습관, 수면 패턴 및 주기 등에 대한 정보를 시각적 자료를 이용하여 표시할 수 있다. 나아가 사용자 단말은 사용자의 수면 상태를 고려하여, 숙면 유도 사운드, 숙면 유도 음악 등을 추천하고 숙면을 위한 호흡법 등에 대한 정보를 제공할 수 있다. For example, the user terminal may display information about the user's sleep quality, sleep time, sleep habits, sleep patterns, and cycles using visual data. Furthermore, the user terminal may recommend sound sleep induction sound, sound sleep induction music, etc. in consideration of the user's sleep state, and provide information on a breathing method for a good night's sleep.

도 4는 본 발명의 다른 실시예를 따라 생체 신호를 수집하고, 수면 상태를 분석하는 방법을 설명하기 위한 순서도이다. 도 4의 예시를 설명함에 있어서, 도 3과 중복되는 부분은 생략하거나 간단하게 설명한다. 4 is a flowchart illustrating a method of collecting a biosignal and analyzing a sleep state according to another embodiment of the present invention. In describing the example of FIG. 4, portions overlapping with FIG. 3 will be omitted or briefly described.

본 발명의 다른 실시예를 따르면, 생체 신호는 이어플러그 형태의 전용 장치를 통해 수집되는 것이 아니라 종래의 웨어러블 디바이스, 즉 범용 장치를 통해 수집될 수 있다. According to another embodiment of the present invention, the bio-signals may be collected through a conventional wearable device, that is, a general-purpose device, rather than collected through a dedicated device in the form of an ear plug.

예를 들어 HMD, 전자 안대, 전자 손목 밴드, 이어폰 등 고유한 기능을 수행하는 종래의 웨어러블 디바이스에 본 발명의 실시예를 따르는 생체 신호 수집 모듈이 형성될 수 있다. 상기 생체 신호 수집 모듈은 센싱 데이터를 통해 사용자의 장착 및 수면 준비 상태 진입을 판단하고, 전극을 통해 입력된 생체 신호를 저장하며, 미리 설정된 주기로 사용자의 스마트폰에 생체 신호를 전송하는 기능을 수행할 수 있다. For example, a bio-signal collection module according to an embodiment of the present invention may be formed in a conventional wearable device that performs a unique function such as HMD, electronic eye band, electronic wrist band, and earphone. The bio-signal collection module performs a function of determining a user's installation and entering a sleep ready state through sensing data, storing a bio-signal input through an electrode, and transmitting a bio-signal to a user's smartphone at a preset cycle. You can.

보다 구체적으로, 본 발명의 실시예를 따라 생체 신호 수집 모듈이 형성된 웨어러블 디바이스에서 사용자 장착이 감지되면, (단계 425) 상기 생체 신호 수집 모듈에 포함된 전극을 통해 사용자의 생체 신호가 입력될 수 있다. (단계 427) More specifically, when a user's wearing is detected in a wearable device on which a biosignal collection module is formed according to an embodiment of the present invention (step 425), a biosignal of the user may be input through an electrode included in the biosignal collection module. . (Step 427)

한편, 웨어러블 디바이스는 블루투스, WIFI, LTE 등 통신 모듈을 포함할 수 있으며, 일정한 조건이 충족되면 입력된 생체 신호가 상기 통신 모듈을 통해 실시간으로 서비스 서버로 전송될 수 있다. On the other hand, the wearable device may include a communication module such as Bluetooth, WIFI, LTE, and if certain conditions are satisfied, the input bio signal may be transmitted to the service server in real time through the communication module.

예를 들어, 웨어러블 디바이스의 접촉 센서를 통해 사용자 장착이 감지되고, 모션 센서를 통해 측정된 사용자의 움직임 데이터의 변위가 미리 설정된 범위 이하로 일정 기간 유지되거나, 또는 사용자의 움직임 데이터가 미리 설정된 누운 자세의 패턴을 따르는 경우, 웨어러블 디바이스는 입력된 생체 신호를 실시간으로 사용자 스마트폰 또는 서비스 서버로 전송할 수 있다. (단계 430, 435)For example, the user's wearing is detected through the contact sensor of the wearable device, and the displacement of the user's movement data measured through the motion sensor is maintained for a period of time below a preset range, or the user's movement data is set in a preset position. When following the pattern of, the wearable device may transmit the input bio signal to the user's smartphone or service server in real time. (Steps 430, 435)

또는 웨어러블 디바이스는 상기 조건이 충족되면, 전극을 통해 입력되는 생체 신호를 메모리에 저장하고 미리 설정된 주기로 서비스 서버로 전송하도록 구현될 수도 있다.Alternatively, when the above conditions are satisfied, the wearable device may be implemented to store the bio-signal inputted through the electrode in the memory and transmit it to the service server at a predetermined period.

한편, 사용자의 스마트폰은 본 발명의 실시예를 따르는 수면 모니터링 어플리케이션이 설치될 수 있다. (단계 490) 상기 어플리케이션은 서비스 서버의 수면 분석 레포트 데이터를 수신하여, 이를 사용자 인터페이스에 디스플레이하고, 서비스 서버로부터 수면 장애 알람이 수신되면, 웨어러블 디바이스에 제어 신호를 전송하는 기능을 수행할 수 있다. Meanwhile, a sleep monitoring application according to an embodiment of the present invention may be installed in the user's smartphone. (Step 490) The application may perform a function of receiving sleep analysis report data of the service server, displaying it on a user interface, and when a sleep failure alarm is received from the service server, transmitting a control signal to the wearable device.

한편, 서비스 서버는 웨어러블 디바이스에서 생성한 생체 신호가 수신되면, 한쌍의 생체 신호를 동기화하기 위한 기준을 설정하고, 한쌍의 생체 신호를 동기화 및 머지하여 하나의 데이터 세트로 생성할 수 있다. (단계 460, 465)On the other hand, when a biological signal generated by the wearable device is received, the service server may set a reference for synchronizing a pair of biological signals, and synchronize and merge a pair of biological signals to generate a single data set. (Steps 460, 465)

이후 서비스 서버는 생체 신호 데이터 세트를 미리 특정된 주파수 영역으로 분할하여 근전도, 안전도, 뇌전도, 심전도 및 근전도 신호 중 적어도 하나 이상의 신호를 의미하는 생체 신호 데이터를 추출할 수 있다. 나아가 서비스 서버는 상기 생체 신호를 정규화 및/또는 저차원으로 축소 및/또는 각각의 신호에서 리니어 트랜드를 제거하는 보정을 수행하고, 보정된 생체 신호를 윈도우 단위로 분할하고, 각각의 윈도우에 메타데이터를 인덱싱하여 분석 대상 생체 신호로 변환하는 프로세싱을 수행할 수 있다. Thereafter, the service server may extract the biosignal data, which means at least one of the EMG signal, the EKG signal, the EKG signal, and the EMG signal by dividing the biosignal data set into a predetermined frequency domain. Furthermore, the service server normalizes the biosignal and / or reduces it to a low dimension and / or performs correction to remove a linear trend from each signal, divides the corrected biosignal into windows, and metadata in each window Can be indexed to perform processing to convert the biosignal to be analyzed.

나아가 서비스 서버는 분석 대상 생체 신호를 미리 생성한 수면 모델에 적용하여 해당 사용자의 수면 상태를 분석할 수 있다. (단계 470) 이후 서비스 서버는 해당 사용자에 대한 수면 분석 레포트를 작성할 수 있으며 (단계 475) 이를 사용자 단말 또는 웨어러블 디바이스로 전송할 수 있다. (단계 480) 이후 사용자 단말은 서비스 서버로부터 수신한 레포트 데이터를 디스플레이에 표시할 수 있다. (단계 495)Furthermore, the service server may analyze the sleeping state of the corresponding user by applying the biosignal to be analyzed to the previously generated sleep model. After (step 470), the service server may create a sleep analysis report for the user (step 475) and transmit it to the user terminal or the wearable device. After (Step 480), the user terminal may display the report data received from the service server on the display. (Step 495)

한편, 사용자의 생체 신호로부터 코골이, 수면 무호흡증, 잠꼬대, 이갈이, 몽유병 등이 추정되면, 웨어러블 디바이스는 특정 범위의 진동, 소리를 출력하여 사용자의 회복을 유도할 수 있다. (단계 497) 예를 들어 서비스 서버가 스마트폰으로 수면 장애 알림을 전송하면, 스마트폰은 웨어러블 장치에 제어 신호를 전송하고, (단계 496) 상기 제어 신호에 따라 웨어러블 디바이스는 특정 범위의 진동, 소리를 출력하여 사용자의 회복을 유도할 수 있다. On the other hand, if snoring, sleep apnea, drool, lice, sleepwalking, etc. are estimated from the user's biological signals, the wearable device may induce a user's recovery by outputting a certain range of vibration and sound. (Step 497) For example, when the service server sends a sleep disorder notification to the smartphone, the smartphone transmits a control signal to the wearable device, and (Step 496), according to the control signal, the wearable device vibrates and sounds in a specific range. You can induce recovery of the user by outputting.

또 다른 예로, 웨어러블 디바이스는 사용자 수면 패턴을 고려하여, 수면 유도 음악, 사운드 신호는 물론 각성 유도 음악, 진동 및 사운드 신호를 출력할 수도 있다. As another example, the wearable device may output awakening-inducing music, vibration, and sound signals as well as sleep-inducing music and sound signals in consideration of a user sleep pattern.

본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. The embodiments of the present invention disclosed in the present specification and drawings are merely to provide a specific example to easily explain the technical content of the present invention and to understand the present invention, and are not intended to limit the scope of the present invention. It is apparent to those skilled in the art to which the present invention pertains that other modified examples based on the technical idea of the present invention can be implemented in addition to the embodiments disclosed herein.

Claims (5)

인간의 생체 신호를 모니터링하는 방법에 있어서,
사용자의 외이에 장착되는 한쌍의 디바이스에서, 왼쪽 외이에 밀착하여 배치된 제 1 전극이 하나의 채널로 사용자의 근전도, 안전도, 뇌전도 및 심전도 신호가 결합된 제 1 생체 전기 신호를 수집하고, 오른쪽 외이에 밀착하여 배치된 제 2 전극이 하나의 채널로 상기 사용자의 근전도, 안전도, 뇌전도 및 심전도 신호가 결합된 제 2 생체 전기 신호를 수집하는 a 단계;
상기 한쌍의 디바이스와 물리적으로 결합되는 도킹 디바이스에서, 상기 한쌍의 디바이스가 결합되면, 상기 한쌍의 디바이스로부터 상기 제 1 생체 전기 신호 및 상기 제 2 생체 전기 신호를 수신하는 b 단계;
상기 도킹 디바이스에서, 심전도 신호에 대한 주파수 영역을 설정하고, 상기 제 1 생체 전기 신호 및 상기 제 2 생체 전기 신호에서 상기 주파수 영역을 분리하여 상기 사용자의 심전도 신호를 추출하고, 추출한 심전도 신호를 기준으로 상기 제 1 생체 전기 신호 및 상기 제 2 생체 전기 신호를 동기화하는 c 단계 ;
서비스 서버에서, 분석 대상 생체 신호 데이터 세트를 수신하면, 대량의 생체 신호 데이터를 이용하여 생성된 인간의 상태 모델에 상기 분석 대상 생체 신호 데이터 세트를 적용하여 상기 사용자의 상태를 분석하고, 상태 분석 레포트를 생성하는 d 단계; 및
상기 사용자의 단말에서, 상기 상태 분석 레포트를 수신하는 e 단계를 포함하는 것을 특징으로 하는 생체 신호 모니터링 방법.
In the method of monitoring a human biological signal,
In a pair of devices mounted on the user's outer ear, the first electrode disposed in close contact with the left outer ear collects the first bioelectric signal combined with the user's EMG, safety, EEG, and ECG signals in one channel, and on the right A step in which a second electrode disposed in close contact with the outer ear collects a second bioelectrical signal in which the user's EMG, safety, EEG and ECG signals are combined in one channel;
In a docking device that is physically coupled with the pair of devices, when the pair of devices are coupled, step b of receiving the first bioelectric signal and the second bioelectric signal from the pair of devices;
In the docking device, a frequency domain for an electrocardiogram signal is set, and the frequency domain is separated from the first bioelectric signal and the second bioelectric signal to extract the user's electrocardiogram signal, and based on the extracted electrocardiogram signal. C step of synchronizing the first bioelectrical signal and the second bioelectrical signal;
When the service server receives the biosignal data set to be analyzed, the biosignal data set to be analyzed is applied to the human state model generated using the large amount of biosignal data to analyze the state of the user, and the status analysis report Generating d step; And
And e step of receiving the status analysis report at the user's terminal.
제 1 항에 있어서, 상기 c단계는,
상기 도킹 디바이스에서 상기 제 1 생체 전기 신호 및 상기 제 2 생체 전기 신호를 동기화하기 위한 기준을 설정하는 단계; 및
상기 기준에 따라 상기 제 1 생체 전기 신호 및 상기 제 2 생체 전기 신호를 동기화하고 머지하여, 상기 분석 대상 생체 신호 데이터 세트를 생성하는 단계를 포함하는 것을 특징으로 하는 생체 신호 모니터링 방법.
The method of claim 1, wherein step c,
Setting a reference for synchronizing the first bioelectrical signal and the second bioelectrical signal in the docking device; And
And synchronizing and merging the first bioelectrical signal and the second bioelectrical signal according to the criteria to generate the biosignal data set to be analyzed.
제 2 항에 있어서, 상기 a 단계는,
상기 제 1 생체 전기 신호 및 상기 제 2 생체 전기 신호를 드랍 (drop) 또는 저장할지 여부를 판단하는 단계를 포함하며,
상기 판단하는 단계는,
상기 한쌍의 디바이스의 사용자 장착이 감지되고, 상기 사용자의 움직임 데이터의 변위가 미리 설정된 범위 이하로 일정 기간 유지되거나 또는 상기 사용자의 움직임 데이터가 미리 설정된 누운 자세의 패턴을 따르는 경우, 상기 제 1 생체 전기 신호 및 상기 제 2 생체 전기 신호를 저장하는 단계를 포함하는 것을 특징으로 하는 생체 신호 모니터링 방법.
The method of claim 2, wherein step a,
And determining whether to drop or store the first bioelectrical signal and the second bioelectrical signal,
The determining step,
When the user of the pair of devices is sensed, and the displacement of the user's motion data is maintained for a period of time below a preset range, or when the user's motion data follows a preset lying posture pattern, the first bioelectric And storing the signal and the second bio-electrical signal.
제 3 항에 있어서, 상기 동기화하기 위한 기준을 설정하는 단계는,
상기 제 1 생체 전기 신호 및 상기 제 2 생체 전기 신호에서, 미리 설정된 주기로 상기 사용자에게 외부 자극이 입력된 시점의 신호를 기준점으로 설정하고, 상기 제 1 생체 전기 신호 및 상기 제 2 생체 전기 신호를 동기화하는 단계를 포함하는 것을 특징으로 하는 생체 신호 모니터링 방법.
The method of claim 3, wherein the step of setting the criteria for synchronization is:
In the first bioelectrical signal and the second bioelectrical signal, a signal at a time point when an external stimulus is input to the user is set as a reference point at a preset cycle, and the first bioelectrical signal and the second bioelectrical signal are synchronized. Biomedical signal monitoring method comprising the step of.
생체 신호 모니터링 시스템에 있어서,
사용자의 외이에 장착되며, 왼쪽 외이에 밀착하여 배치된 제 1 전극이 하나의 채널로 사용자의 근전도, 안전도, 뇌전도 및 심전도 신호가 결합된 제 1 생체 전기 신호를 수집하고, 오른쪽 외이에 밀착하여 배치된 제 2 전극이 하나의 채널로 상기 사용자의 근전도, 안전도, 뇌전도 및 심전도 신호가 결합된 제 2 생체 전기 신호를 수집하는 한쌍의 웨어러블 디바이스;
상기 한쌍의 웨어러블 디바이스와 물리적으로 결합되며, 상기 한쌍의 디바이스로부터 상기 제 1 생체 전기 신호 및 상기 제 2 생체 전기 신호를 수신하고, 심전도 신호에 대한 주파수 영역을 설정하고, 상기 제 1 생체 전기 신호 및 상기 제 2 생체 전기 신호에서 상기 주파수 영역을 분리하여 상기 사용자의 심전도 신호를 추출하고, 추출한 심전도 신호를 기준으로 상기 제 1 생체 전기 신호 및 상기 제 2 생체 전기 신호를 동기화하는 도킹 디바이스;
분석 대상 생체 신호 데이터 세트를 수신하면, 대량의 생체 신호 데이터를 이용하여 생성된 인간의 상태 모델에 상기 분석 대상 생체 신호 데이터 세트를 적용하여 사용자의 상태를 분석하고, 상태 분석 레포트를 생성하는 서비스 서버; 및
상기 상태 분석 레포트를 표시하는 사용자 단말을 포함하는 것을 특징으로 하는 생체 신호 모니터링 시스템.
In the biological signal monitoring system,
The first electrode mounted on the user's outer ear and disposed in close contact with the left ear canal collects the first bioelectrical signal that combines the user's EMG, safety, EEG and ECG signals with one channel, and adheres to the right ear A pair of wearable devices in which a second electrode is arranged to collect a second bioelectrical signal in which the user's EMG, safety, EEG and ECG signals are combined in one channel;
Physically coupled to the pair of wearable devices, receiving the first bioelectrical signal and the second bioelectrical signal from the paired device, setting a frequency domain for the electrocardiogram signal, and the first bioelectrical signal and A docking device separating the frequency domain from the second bioelectrical signal to extract the user's electrocardiogram signal, and synchronizing the first bioelectrical signal and the second bioelectrical signal based on the extracted electrocardiogram signal;
When receiving the analysis target biosignal data set, a service server that analyzes a user's state by applying the analysis target biosignal data set to a human state model generated using a large amount of biosignal data and generates a state analysis report ; And
And a user terminal displaying the status analysis report.
KR1020180075556A 2018-06-29 2018-06-29 Method, apparatus and computer program for monitoring of bio signals KR102100120B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180075556A KR102100120B1 (en) 2018-06-29 2018-06-29 Method, apparatus and computer program for monitoring of bio signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180075556A KR102100120B1 (en) 2018-06-29 2018-06-29 Method, apparatus and computer program for monitoring of bio signals

Publications (2)

Publication Number Publication Date
KR20200002251A KR20200002251A (en) 2020-01-08
KR102100120B1 true KR102100120B1 (en) 2020-04-13

Family

ID=69153918

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180075556A KR102100120B1 (en) 2018-06-29 2018-06-29 Method, apparatus and computer program for monitoring of bio signals

Country Status (1)

Country Link
KR (1) KR102100120B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210137817A (en) * 2020-05-11 2021-11-18 (주)아이씨비에스 Sleep environment control device
KR102387734B1 (en) * 2021-04-22 2022-04-18 주식회사 에이슬립 Sleep state determination method, apparatus and computer program through non-contact data collection
WO2022031038A1 (en) * 2020-08-04 2022-02-10 주식회사 에이슬립 Computing device for predicting sleep state on basis of data measured in sleep environment of user
KR102253946B1 (en) * 2020-08-04 2021-05-20 주식회사 에이슬립 Computer device for prediction sleep state based on data measured in user's sleep environment
KR102371443B1 (en) 2020-08-24 2022-03-08 (주)허니냅스 Automatic system of analyzing sleep steps by using artificial intelligence and operating method thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011158198A2 (en) * 2010-06-17 2011-12-22 Card Guard Scientific Survival Ltd. A method and a system for monitoring of sleep and other physiological conditions
KR101579364B1 (en) 2014-01-16 2015-12-21 서울대학교산학협력단 Wireless Earhook Earset/Earphone concealing electrodes and acquisition system of electroencephalograph for brain monitoring and brain-computer interface
EP3841967A1 (en) * 2015-01-06 2021-06-30 David Burton Mobile wearable monitoring systems
KR20170083483A (en) * 2016-01-08 2017-07-18 전남대학교산학협력단 Realtime monitoring apparatus for sleep disorders
KR101849147B1 (en) * 2016-01-12 2018-04-16 주식회사 선테크 diagnosis systems of sleeprelated breathing disorders go abreast remote-diagnosis

Also Published As

Publication number Publication date
KR20200002251A (en) 2020-01-08

Similar Documents

Publication Publication Date Title
KR102100120B1 (en) Method, apparatus and computer program for monitoring of bio signals
US11123562B1 (en) Pain quantification and management system and device, and method of using
Kumari et al. Increasing trend of wearables and multimodal interface for human activity monitoring: A review
US10485471B2 (en) System and method for identifying ictal states in a patient
US20220192513A1 (en) Remote Physiological Monitor
US10335083B2 (en) Systems and methods for detecting and analyzing biosignals
US10213152B2 (en) System and method for real-time measurement of sleep quality
KR102361026B1 (en) Bioelectrical signal measuring apparatus
US10953192B2 (en) Systems and methods for detecting and managing physiological patterns
US11311232B2 (en) Systems and methods for managing sleep disorders
CN113347916A (en) System and method for multivariate stroke detection
AU2018269059B2 (en) Systems and methods for detecting and managing physiological patterns
KR102101809B1 (en) Sleep and arousal inducing device
CN110582228A (en) Method and apparatus for determining the health status of an infant
Ahmed et al. A wearable sensor based multi-criteria-decision-system for real-time seizure detection
KR102171566B1 (en) Method, apparatus and computer program for measuring biological signals
JP2022532849A (en) Sleep physiology system and sleep warning method
JP2017536946A (en) Device and method for determining consciousness state
Bujnowski et al. Self diagnostics using smart glasses-preliminary study
CN112309569A (en) Health management system combined with intelligent bed group
WO2017087680A1 (en) Seizure detection and injury mitigation system and method for using same
KR20180099030A (en) Human Body Change Measurement System And Method In Accordance With Stimulus Presentation To Classify The Sex Offense
Lee et al. The smart patches and wearable band (W-Band) for comfortable sleep monitoring system
US20210204861A1 (en) Portable wearable eye movement monitoring system, device and monitoring method
US20220044804A1 (en) System and Method For Improved Patient Engagement And Better Data-Driven Outcomes

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant