KR20240030369A - System for Monitoring of Intelligent emergency and Driving method thereof - Google Patents

System for Monitoring of Intelligent emergency and Driving method thereof Download PDF

Info

Publication number
KR20240030369A
KR20240030369A KR1020220109319A KR20220109319A KR20240030369A KR 20240030369 A KR20240030369 A KR 20240030369A KR 1020220109319 A KR1020220109319 A KR 1020220109319A KR 20220109319 A KR20220109319 A KR 20220109319A KR 20240030369 A KR20240030369 A KR 20240030369A
Authority
KR
South Korea
Prior art keywords
biometric information
learning
monitoring system
signal
neural network
Prior art date
Application number
KR1020220109319A
Other languages
Korean (ko)
Inventor
송광철
송광석
김훈기
이우현
Original Assignee
(주)엘탑
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엘탑 filed Critical (주)엘탑
Priority to KR1020220109319A priority Critical patent/KR20240030369A/en
Publication of KR20240030369A publication Critical patent/KR20240030369A/en

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7282Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Fuzzy Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 BIG SIGNAL을 이용한 LSTM 기반의 DRNN 모델을 적용한 지능형 응급상황 모니터링 시스템 및 그 구동방법에 관한 것으로, 적어도 하나 이상의 생체정보 모니터링 장치로부터 생체 정보 신호를 수집하는 정보 수집부, 상기 정보 수집부로 수집된 생체 정보 신호의 노이즈를 제거하고 정규화하는 전처리부, 상기 전처리부에서 전처리된 생체 정보 신호를 이용하여 인공지능 신경망 모델에 적용하여 머신러닝으로 학습하는 학습부 및 환자의 생체 정보 신호가 수신되면 상기 학습부에서 학습된 학습 결과에 기반하여 인공지능 신경망 모델에 적용하여 응급 상황 발생 여부를 식별하는 상황 식별부를 포함하되, 상기 학습부의 인공지능 신경망 모델은, 적어도 하나 이상의 LSTM 트랙을 포함하는 RNN 모델인, 지능형 응급상황 모니터링 시스템에 의해 기존의 RNN학습 모델에 비해 짧은 시퀀스로 보다 신속하고 우수한 성능으로 결과도출이 가능한 ECG 인식을 통한 지능형 응급상황 모니터링 시스템 및 그 구동방법을 제공할 수 있다. The present invention relates to an intelligent emergency monitoring system applying an LSTM-based DRNN model using BIG SIGNAL and a method of driving the same. An information collection unit that collects biometric information signals from at least one biometric information monitoring device, and the information collection unit collects biometric information signals. A pre-processing unit that removes noise and normalizes the biometric information signal, a learning unit that uses the biometric information signal pre-processed in the pre-processing unit to apply it to an artificial intelligence neural network model and learns through machine learning, and when the patient's biometric information signal is received, It includes a situation identification unit that identifies whether an emergency situation has occurred by applying it to an artificial intelligence neural network model based on the learning results learned in the learning unit, wherein the artificial intelligence neural network model of the learning unit is an RNN model including at least one LSTM track. , the intelligent emergency monitoring system can provide an intelligent emergency monitoring system and its driving method through ECG recognition that can produce results faster and with better performance in a shorter sequence than the existing RNN learning model.

Description

지능형 응급상황 모니터링 시스템 및 그 구동방법{System for Monitoring of Intelligent emergency and Driving method thereof}Intelligent emergency monitoring system and driving method thereof {System for Monitoring of Intelligent emergency and Driving method thereof}

본 발명은 지능형 응급상황 모니터링 시스템 및 그 구동방법에 관한 것으로 보다 상세하게는 BIG SIGNAL을 이용한 LSTM 기반의 DRNN 모델을 적용한 지능형 응급상황 모니터링 시스템 및 그 구동방법에 관한 것이다. The present invention relates to an intelligent emergency monitoring system and its driving method. More specifically, it relates to an intelligent emergency monitoring system and its driving method applying an LSTM-based DRNN model using BIG SIGNAL.

일반적으로 WHO에 따르면, 심혈관 질환(CVDs)은 오늘날 사망 원인 중 가장 큰 원인이다. 1770만 명이 넘는 사람들이 CVD로 인하여 사망했으며, 이는 전체 사망자의 약 31%에 달하고, 75% 이상이 저소득 및 중간 소득 국가에서 발생한다.In general, according to WHO, cardiovascular diseases (CVDs) are the leading cause of death today. More than 17.7 million people have died from CVD, accounting for approximately 31% of all deaths, and more than 75% of deaths occur in low- and middle-income countries.

부정맥은 정상적인 심장 리듬에서 불규칙적인 변화를 나타내는 CVD의 대표적인 유형이다. 부정맥에는 심장 세동(atrial fibrillation), 조기 수축(premature contraction), 심실 세동(ventricular fibrillation) 및 빈맥(tachycardia) 등이 포함된다. 비록 단일 부정맥 심장 박동이 생명에 심각한 영향을 미치지 않을 수도 있지만, 지속적인 부정맥 박동은 치명적인 상황을 초래할 수 있다. 예를 들어, 연장된 조기 심실 수축(PVCs) 박동은 때때로 심실 빈맥(VT) 또는 심실 결막(VF) 박동으로 전환되어 즉시 심장 마비로 이어질 수 있다. Arrhythmia is a representative type of CVD that represents irregular changes in normal heart rhythm. Arrhythmias include atrial fibrillation, premature contraction, ventricular fibrillation, and tachycardia. Although a single arrhythmic heartbeat may not have a serious impact on life, sustained arrhythmic heartbeats can lead to fatal situations. For example, prolonged premature ventricular contractions (PVCs) beats can sometimes transition into ventricular tachycardia (VT) or ventricular tachycardia (VF) beats, which can lead to immediate heart failure.

따라서 CVDs를 관리하고 예방하기 위하여 심장 박동을 지속적으로 모니터링 하는 것은 중요하다. ECG는 심장 리듬 및 상태를 디스플레이하는 비-침습적 의료 도구이다. 따라서 ECG 신호에서 불규칙한 심장 리듬을 자동적으로 검출하는 것은 심장학(cardiology) 분야에서 매우 중요한 일이다. Therefore, it is important to continuously monitor heart rate to manage and prevent CVDs. ECG is a non-invasive medical tool that displays heart rhythm and status. Therefore, automatically detecting irregular heart rhythms in ECG signals is very important in the field of cardiology.

따라서 ECG신호를 모니터링함으로써 응급상황이 발생했는지 여부를 파악할 수 있다.Therefore, by monitoring the ECG signal, it is possible to determine whether an emergency situation has occurred.

한편, 순환 신경망(RNN) 모델은 단일계층 또는 다중 계층의 순환 연결 구성을 사용하는 신경망 구조이다. 일반적으로 음성, 비디오 및 문자열과 같은 데이터 학습에 적용된다. Meanwhile, a recurrent neural network (RNN) model is a neural network structure that uses a single-layer or multi-layer recurrent connection configuration. It is generally applied to learning data such as speech, video, and strings.

이 네트워크 모델은 이전 정보의 상태를 암기하고 그것을 현재 입력 데이터에 적용하는 특성을 갖는다. RNN 모델의 메카니즘은 특히 순차적인 데이터를 학습하는데 강점이 있다.This network model has the characteristic of memorizing the state of previous information and applying it to the current input data. The mechanism of the RNN model is particularly strong in learning sequential data.

KRKR 10-2019-0141326 10-2019-0141326 AA

본 발명은 이 같은 기술적 배경에서 도출된 것으로, 기존의 RNN학습 모델에 비해 짧은 시퀀스로 보다 신속하고 우수한 성능으로 결과도출이 가능한 ECG 인식을 통한 지능형 응급상황 모니터링 시스템 및 그 구동방법을 제공함에 그 목적이 있다. The present invention was derived from this technical background, and its purpose is to provide an intelligent emergency monitoring system and driving method through ECG recognition that can produce results more quickly and with superior performance in a shorter sequence than existing RNN learning models. There is.

상기의 과제를 달성하기 위한 본 발명은 다음과 같은 구성을 포함한다. The present invention for achieving the above problems includes the following configuration.

즉 본 발명의 일 실시예에 따른 지능형 응급상황 모니터링 시스템은 하나 이상의 생체정보 모니터링 장치로부터 생체 정보 신호를 수집하는 정보 수집부, 상기 정보 수집부로 수집된 생체 정보 신호의 노이즈를 제거하고 정규화하는 전처리부, 상기 전처리부에서 전처리된 생체 정보 신호를 이용하여 인공지능 신경망 모델에 적용하여 머신러닝으로 학습하는 학습부 및 환자의 생체 정보 신호가 수신되면 상기 학습부에서 학습된 학습 결과에 기반하여 인공지능 신경망 모델에 적용하여 응급 상황 발생 여부를 식별하는 상황 식별부를 포함하되, 상기 학습부의 인공지능 신경망 모델은, 적어도 하나 이상의 LSTM 트랙을 포함하는 RNN 모델이다.That is, the intelligent emergency monitoring system according to an embodiment of the present invention includes an information collection unit that collects biometric information signals from one or more biometric information monitoring devices, and a preprocessor that removes noise and normalizes the biometric information signals collected by the information collection unit. , a learning unit that uses the biometric information signal pre-processed in the preprocessing unit and applies it to an artificial intelligence neural network model to learn through machine learning, and when the patient's biometric information signal is received, an artificial intelligence neural network is created based on the learning results learned in the learning unit. It includes a situation identification unit that is applied to the model to identify whether an emergency situation has occurred, and the artificial intelligence neural network model of the learning unit is an RNN model that includes at least one LSTM track.

한편, 일 실시예에 따른 지능형 응급상황 모니터링 시스템의 구동방법은 적어도 하나 이상의 생체정보 모니터링 장치로부터 생체 정보 신호를 수집하는 정보 수집 단계, 상기 정보 수집 단계로 수집된 생체 정보 신호의 노이즈를 제거하고 정규화하는 전처리 단계, 상기 전처리 단계에서 전처리된 생체 정보 신호를 이용하여 인공지능 신경망 모델에 적용하여 머신러닝으로 학습하는 학습 단계 및 환자의 생체 정보 신호가 수신되면 상기 학습 단계에서 학습된 학습 결과에 기반하여 인공지능 신경망 모델에 적용하여 응급 상황 발생 여부를 식별하는 상황 식별 단계를 포함하되, 상기 학습 단계의 인공지능 신경망 모델은, 적어도 하나 이상의 LSTM 트랙을 포함하는 RNN 모델이다. Meanwhile, a method of driving an intelligent emergency situation monitoring system according to an embodiment includes an information collection step of collecting biometric information signals from at least one biometric information monitoring device, removing noise and normalizing the biometric information signals collected in the information collection step. A preprocessing step, a learning step of applying machine learning to an artificial intelligence neural network model using the biometric information signal preprocessed in the preprocessing step, and when the patient's biometric information signal is received, based on the learning results learned in the learning step. It includes a situation identification step to identify whether an emergency situation has occurred by applying it to an artificial intelligence neural network model, and the artificial intelligence neural network model in the learning step is an RNN model that includes at least one LSTM track.

본 발명에 의하면 기존의 RNN학습 모델에 비해 짧은 시퀀스로 보다 신속하고 우수한 성능으로 결과도출이 가능한 ECG 인식을 통한 지능형 응급상황 모니터링 시스템 및 그 구동방법을 제공할 수 있는 효과가 도출된다. According to the present invention, the effect of providing an intelligent emergency situation monitoring system and its operation method through ECG recognition that can produce results more quickly and with excellent performance in a short sequence compared to existing RNN learning models is derived.

도 1 은 본 발명의 일 실시예에 따른 지능형 응급상황 모니터링 시스템의 전반적인 동작을 설명하기 위한 예시도이다.
도 2 는 본 발명의 일 실시예에 따른 지능형 응급상황 모니터링 시스템에서 생체신호 분석 알고리즘을 나타낸 플로우차트이다.
도 3은 본 발명의 일 실시예에 따른 지능형 응급상황 모니터링 시스템의 구성을 도시한 블록도이다.
도 4 는 본 발명의 일 실시예에 있어서 전처리부에서 생체신호 전처리 과정을 설명하기 위한 예시도이다.
도 5 는 실시간 시스템을 위한 입력 데이터의 그룹화 방법의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 순환 신경망(RNN) 모델을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 RNN 노드를 LSTM으로 대체한 LSTM 기반의 RNN 모델을 설명하기 위한 예시도이다.
도 8 은 개인 레이블 분류를 위한 양방향 LSTM 기반 RNN 모델을 설명하기 위한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 LSTM 트랙을 포함하는 RNN 모델 구조를 설명하기 위한 예시도이다.
도 10 및 도 11은 일 실시예에 따른 지능형 응급상황 모니터링 시스템에서 수행되는 응급 상황 모니터링 아키텍처에 대한 개인 레이블 분류의 정확도를 설명하기 위한 그래프이다.
도 12는 일 실시예에 따른 지능형 응급상황 모니터링 시스템의 양방향 LSTM 기반의 RNN 모델의 개인 레이블 분류 정확도를 나타낸 것이다.
도 13은 본 발명의 일 실시예에 따른 지능형 응급상황 모니터링 시스템의 구동방법의 흐름도이다.
1 is an exemplary diagram for explaining the overall operation of an intelligent emergency monitoring system according to an embodiment of the present invention.
Figure 2 is a flow chart showing a bio-signal analysis algorithm in an intelligent emergency monitoring system according to an embodiment of the present invention.
Figure 3 is a block diagram showing the configuration of an intelligent emergency situation monitoring system according to an embodiment of the present invention.
Figure 4 is an exemplary diagram to explain the bio-signal pre-processing process in the pre-processing unit in one embodiment of the present invention.
Figure 5 is an example diagram of a method of grouping input data for a real-time system.
Figure 6 is an example diagram for explaining a recurrent neural network (RNN) model according to an embodiment of the present invention.
Figure 7 is an example diagram illustrating an LSTM-based RNN model in which RNN nodes are replaced with LSTMs according to an embodiment of the present invention.
Figure 8 is an example diagram illustrating a bidirectional LSTM-based RNN model for private label classification.
Figure 9 is an example diagram for explaining an RNN model structure including an LSTM track according to an embodiment of the present invention.
10 and 11 are graphs to explain the accuracy of personal label classification for the emergency monitoring architecture performed in the intelligent emergency monitoring system according to an embodiment.
Figure 12 shows the private label classification accuracy of the bidirectional LSTM-based RNN model of the intelligent emergency monitoring system according to an embodiment.
Figure 13 is a flowchart of a method of driving an intelligent emergency situation monitoring system according to an embodiment of the present invention.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. It should be noted that the technical terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention. In addition, the technical terms used in the present invention, unless specifically defined in a different sense in the present invention, should be interpreted as meanings generally understood by those skilled in the art in the technical field to which the present invention pertains, and are not overly comprehensive. It should not be interpreted in a literal or excessively reduced sense.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the attached drawings.

도 1 은 본 발명의 일 실시예에 따른 지능형 응급상황 모니터링 시스템의 전반적인 동작을 설명하기 위한 예시도이다. 1 is an exemplary diagram for explaining the overall operation of an intelligent emergency monitoring system according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 지능형 응급상황 모니터링 시스템은 전처리 된 생체 정보를 BIG 기반 생체 정보 분류 모델의 입력으로 사용한다. 그리고 생체 정보는 시간 정보를 포함하기 때문에 순차 데이터의 학습에 적합한 LSTM 기반 RNN 모델을 이용하여 학습을 진행할 수 있다.The intelligent emergency monitoring system according to an embodiment of the present invention uses preprocessed biometric information as input to a BIG-based biometric information classification model. And because biometric information includes time information, learning can be performed using an LSTM-based RNN model suitable for learning sequential data.

그리고 양방향 LSTM 기반 RNN 학습모델을 이용하여 생체 정보를 학습하고 테스트하고자 한다. 일 실시예에 있어서 학습의 목표는 대상 A, B, C, ..., G의 전처리 된 생체 정보를 입력받아 A의 신호가 입력되었을 때 A의 신호라고 정확히 식별 및 분류하도록 함에 있다. And we want to learn and test biometric information using a bidirectional LSTM-based RNN learning model. In one embodiment, the goal of learning is to receive preprocessed biometric information of objects A, B, C, ..., G and accurately identify and classify it as A's signal when A's signal is input.

일 실시예에 따른 지능형 응급상황 모니터링 시스템은 Tensorflow 기반 PyTorch 및 MATLAB을 기반으로 AI 네트워크 모델을 개발하고 테스트할 수 있다. 데이터의 전처리 및 제어는 Matlab에서 수행될 수 있다. 그리고 TensorFlow 및 ONNX (Open Neural Network Exchange) 모델 형식에서 신경망과 신경망 아키텍처를 로드 및 저장하여 사용 가능하기 때문에 AI 개발 시 라이브러리 선택이 자유로울 수 있다.The intelligent emergency monitoring system according to one embodiment can develop and test an AI network model based on Tensorflow-based PyTorch and MATLAB. Preprocessing and control of data can be performed in Matlab. And because it is possible to load and use neural networks and neural network architectures in TensorFlow and ONNX (Open Neural Network Exchange) model formats, you can freely select libraries when developing AI.

본 발명의 일 실시예에 따른 지능형 응급상황 모니터링 시스템은 ECG 인식을 위한 새로운 LSTM 기반의 DRNN 아키텍처를 제안하기 위한 것이다. The intelligent emergency monitoring system according to an embodiment of the present invention is intended to propose a new LSTM-based DRNN architecture for ECG recognition.

일예로 두개의 데이터 세트에 대해 제안된 모델의 실험적 평가를 수행하였다. 결과적으로 제안된 모델이 다른 기존의 RNN 학습 방법보다 성능이 우수함을 확인할 수 있었다. As an example, an experimental evaluation of the proposed model was performed on two data sets. As a result, it was confirmed that the proposed model performed better than other existing RNN learning methods.

심층 레이어를 사용하여 ECG의 더 많은 기능을 추출하는 DRNN 모델의 기능 개선은 ECG 내에서 시간적 종속성을 추가로 제어할 수 있기 때문에 더 높은 개인 레이블 분류 효율을 보여줄 수 있다. The improvement in the ability of the DRNN model to extract more features of the ECG using deep layers can show higher private label classification efficiency because temporal dependencies within the ECG can be further controlled.

본 발명의 일 실시예에 따른 지능형 응급상황 모니터링 시스템 및 그 구동방법에 의해 입력 시퀀스 길이의 영향이 평가되고 hidden unit과 gidden layer간 관계를 확인할 수 있고, 세분화된 전처리 절차를 사용한 ECG 신호의 그룹화가 개인 레이블 분류에 효과적인 영향을 미칠 수 있다. By the intelligent emergency monitoring system and its driving method according to an embodiment of the present invention, the influence of the input sequence length can be evaluated, the relationship between the hidden unit and the gidden layer can be confirmed, and the ECG signal can be grouped using a detailed preprocessing procedure. It can have an effective impact on private label classification.

일 실시예에 따른 RNN 학습 모델은 기존 학습 모델에 비해 더 짧은 시퀀스로 더 나은 성능을 갖기 때문에, 빠른 결과 도출이 필요한 실시간 개인 ECG 식별에 유용하게 사용될 수 있다. Since the RNN learning model according to one embodiment has better performance with shorter sequences than existing learning models, it can be useful for real-time personal ECG identification that requires quick results.

도 2 는 본 발명의 일 실시예에 따른 지능형 응급상황 모니터링 시스템에서 생체신호 분석 알고리즘을 나타낸 플로우차트이다. Figure 2 is a flow chart showing a bio-signal analysis algorithm in an intelligent emergency monitoring system according to an embodiment of the present invention.

도 2 와 같이 일 실시예에 따른 지능형 응급상황 모니터링 시스템의 분석 알고리즘은 전 처리과정을 거쳐 생체 신호의 노이즈를 제거하고, 압력 분포도를 계산한다. As shown in Figure 2, the analysis algorithm of the intelligent emergency monitoring system according to one embodiment removes noise from biological signals through a pre-processing process and calculates the pressure distribution.

그리고 압력 분포도에 따른 자세분석을 수행한다. 이때 일정 압력값 이내의 신호 SNR을 비교하고, 최적의 신호 선택하여 심박, 호흡등의 생체 신호 추출 알고리즘에 의해 생체 신호를 추출하고, 추출된 생체 신호를 전송한다. 즉, 멀티 센서 신호처리 분석 기반 생체 신호 측정이 가능하다. Then, posture analysis is performed according to the pressure distribution. At this time, the signal SNR within a certain pressure value is compared, the optimal signal is selected, the biosignal is extracted using a biosignal extraction algorithm such as heart rate and breathing, and the extracted biosignal is transmitted. In other words, biosignal measurement based on multi-sensor signal processing analysis is possible.

도 3은 본 발명의 일 실시예에 따른 지능형 응급상황 모니터링 시스템의 구성을 도시한 블록도이다. Figure 3 is a block diagram showing the configuration of an intelligent emergency situation monitoring system according to an embodiment of the present invention.

도 3 과 같이 일 실시예에 따른 지능형 응급상황 모니터링 시스템(10)은 통신부(110), 정보 수집부(120), 전처리부(130), 학습부(140) 및 상황 식별부(150)를 포함한다. As shown in FIG. 3, the intelligent emergency monitoring system 10 according to an embodiment includes a communication unit 110, an information collection unit 120, a preprocessing unit 130, a learning unit 140, and a situation identification unit 150. do.

통신부(110)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(110)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. The communication unit 110 communicates with any internal component or at least one external terminal through a wired/wireless communication network. Here, wireless Internet technologies include Wireless LAN (WLAN), DLNA (Digital Living Network Alliance), Wibro (Wireless Broadband: Wibro), Wimax (World Interoperability for Microwave Access: Wimax), and HSDPA (High Speed Downlink Packet Access). ), HSUPA (High Speed Uplink Packet Access), IEEE 802.16, Long Term Evolution (LTE), LTE-A (Long Term Evolution-Advanced), Wireless Mobile Broadband Service (WMBS), etc. The communication unit 110 transmits and receives data according to at least one wireless Internet technology, including Internet technologies not listed above.

또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.In addition, short-range communication technologies include Bluetooth, RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra Wideband), ZigBee, and Near Field Communication (NFC). , Ultrasound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct, etc. may be included. Additionally, wired communication technologies may include Power Line Communication (PLC), USB communication, Ethernet, serial communication, optical/coaxial cables, etc.

외부의 임의의 적어도 하나의 단말기는 생체정보 모니터링 장치(20)일 수 있다. 그러나 이에 제한되는 것은 아니고 응급상황에 대한 즉각적인 대처가 가능한 의료기관이나 긴급구조 센터 서버를 포함할 수 있다. 뿐만 아니라 응급상황 발생시에 환자나 보호자에게 신속하게 통보 가능하도록 환자 또는 보호자가 소지하는 사용자 단말로 구현될 수도 있다. At least one external terminal may be the biometric information monitoring device 20. However, it is not limited to this and may include servers at medical institutions or emergency rescue centers capable of immediate response to emergency situations. In addition, it can be implemented as a user terminal carried by the patient or guardian so that the patient or guardian can be quickly notified in the event of an emergency.

정보 수집부(120)는 적어도 하나 이상의 생체정보 모니터링 장치로부터 생체 정보 신호를 수집한다. 일 실시예에 있어서 정보 수집부(120)는 생체정보 모니터링 장치(20)로부터 학습에 필요한 생체 정보(Big data) 및 환자 응급 상황 모니터링을 위한 생체 정보를 수집한다.The information collection unit 120 collects biometric information signals from at least one biometric information monitoring device. In one embodiment, the information collection unit 120 collects biometric information (big data) required for learning and biometric information for monitoring patient emergency situations from the biometric information monitoring device 20.

일 실시예에 있어서 생체정보 모니터링 장치(20)는 근접 센서, 조도 센서, 모션 감지 센서, 압력 센서, GPS, 자이로센서, 고도 센서, 심박 센서, 혈압 센서, 혈중 산소 포화도 센서, 혈당 센서 및 소리 감지 센서로 구성된 군에서 하나 이상 선택된 센서를 포함하여 구성된 것일 수 있으나, 이에 한정되는 것은 아니다.In one embodiment, the biometric information monitoring device 20 includes a proximity sensor, an illumination sensor, a motion detection sensor, a pressure sensor, GPS, a gyro sensor, an altitude sensor, a heart rate sensor, a blood pressure sensor, a blood oxygen saturation sensor, a blood sugar sensor, and a sound detection sensor. It may be configured to include one or more sensors selected from a group consisting of sensors, but is not limited thereto.

즉 정보 수집부(120)는 생체 정보 모니터링 장치(20)로부터 감지된 생체 신호를 수신할 수 있다. That is, the information collection unit 120 can receive biometric signals detected from the biometric information monitoring device 20.

전처리부(130)는 정보 수집부(120)로 수집된 생체 정보 신호의 노이즈를 제거하고 정규화하여 전처리한다. The preprocessing unit 130 removes noise from the biometric information signal collected by the information collection unit 120, normalizes it, and preprocesses it.

도 4 는 본 발명의 일 실시예에 있어서 전처리부에서 생체신호 전처리 과정을 설명하기 위한 예시도이다. Figure 4 is an exemplary diagram to explain the bio-signal pre-processing process in the pre-processing unit in one embodiment of the present invention.

일 양상에 있어서, 전처리부(130)는 상부 및 하부 차단 주파수의 교류만을 통과시키는 대역 통과 필터, 상기 대역 통과 필터에서 통과된 신호를 푸리에 스펙트럼에 적용시키는 미분 필터, 및 노이즈 오차를 제거하는 이동평균 필터를 포함하여 정규화한다. In one aspect, the preprocessor 130 includes a band-pass filter that passes only alternating currents of the upper and lower cutoff frequencies, a differentiation filter that applies the signal passed by the band-pass filter to the Fourier spectrum, and a moving average that removes noise errors. Normalize by including filters.

전처리부(130)는 정보 수집부(120)에서 수집된 생체 정보의 경우 잡음을 포함하기 때문에 전처리 과정 없이 BIG SIGNAL 기반 식별 모델에서 학습을 진행하는 경우 어려움이 발생할 수 있다. 따라서 전처리부(130)는 잡음을 제거하는 신호처리 과정을 수행한다. Since the biometric information collected by the preprocessing unit 130 includes noise, difficulties may arise when learning from a BIG SIGNAL-based identification model without a preprocessing process. Therefore, the preprocessor 130 performs a signal processing process to remove noise.

전처리부(130)는 원시 데이터의 잡음을 제거하기 위하여 대역 통과 필터, 미분 필터, 이동평균 필터를 적용하여 전처리 과정을 적용한 후 학습에 적합한 신호로 데이터 정규화를 진행할 수 있다. The preprocessor 130 may apply a preprocessing process by applying a band-pass filter, a differentiation filter, and a moving average filter to remove noise from the raw data, and then normalize the data into a signal suitable for learning.

구체적으로 도 4의 (a)는 대역 통과 필터 적용후, 도 4의 (b)는 미분필터 적용후, 도 4 의(c)는 이동 평균 필터 적용후, 도 4의 (d)는 정규화 적용 후 생체 신호를 나타낸 그래프이다. Specifically, Figure 4(a) is after applying a band-pass filter, Figure 4(b) is after applying a differential filter, Figure 4(c) is after applying a moving average filter, and Figure 4(d) is after applying normalization. This is a graph showing biological signals.

추가적으로 실시간 시스템에 적합한 학습모델 개발을 위하여 입력 데이터의 형태를 고려해야 하기 때문에 입력 데이터의 그룹화 방법을 제안하고 적용하는 것도 가능하다. Additionally, since the type of input data must be considered in order to develop a learning model suitable for a real-time system, it is also possible to propose and apply a method for grouping input data.

도 5 는 실시간 시스템을 위한 입력 데이터의 그룹화 방법의 예시도이다. Figure 5 is an example diagram of a method of grouping input data for a real-time system.

구체적으로 도 5의 (a)는 시간 연속성 기반으로 입력 데이터를 그룹화한 것이고, 도 5의 (b)는 피크수치 기반으로 입력 데이터를 그룹화한 것이다. Specifically, Figure 5(a) groups input data based on time continuity, and Figure 5(b) groups input data based on peak values.

학습부(140)는 전처리부(130)에서 전처리된 생체 정보 신호를 이용하여 인공지능 신경망 모델에 적용하여 머신러닝으로 학습한다. The learning unit 140 uses the biometric information signals preprocessed in the preprocessing unit 130 and applies them to an artificial intelligence neural network model to learn through machine learning.

본 발명의 특징적인 양상에 있어서, 학습부(140)의 인공지능 신경망 모델은, 적어도 하나 이상의 LSTM 트랙을 포함하는 RNN 모델로 구현된다. In a characteristic aspect of the present invention, the artificial intelligence neural network model of the learning unit 140 is implemented as an RNN model including at least one LSTM track.

RNN 모델은 단일 계층 또는 다중 계층의 순환 연결 구성을 사용하는 신경망 구조이고, 일반적으로 음성, 비디오 및 문자열과 같은 데이터 학습에 적용된다. 이 네트워크 모델은 이전 정보의 상태를 암기하고 그것을 현재 입력 데이터에 적용하는 특성을 가진다. RNN 모델의 이러한 메카니즘은 순차적인 데이터를 학습하는 데에 강점을 가진다.The RNN model is a neural network structure that uses a single-layer or multi-layer cyclic connection configuration, and is generally applied to learning data such as voice, video, and strings. This network model has the characteristic of memorizing the state of previous information and applying it to the current input data. This mechanism of the RNN model has strengths in learning sequential data.

도 6은 본 발명의 일 실시예에 따른 순환 신경망(RNN) 모델을 설명하기 위한 예시도이다. Figure 6 is an example diagram for explaining a recurrent neural network (RNN) model according to an embodiment of the present invention.

도 6에서와 같이 RNN 노드는 현재 입력

Figure pat00001
, 출력
Figure pat00002
, 이전 hidden state
Figure pat00003
, 현재의 hidden state
Figure pat00004
는 수학식 1과 같이 정의된다. As shown in Figure 6, the RNN node currently inputs
Figure pat00001
, Print
Figure pat00002
, previous hidden state
Figure pat00003
, current hidden state
Figure pat00004
is defined as in Equation 1.

Figure pat00005
Figure pat00005

Figure pat00006
Figure pat00006

여기서

Figure pat00007
Figure pat00008
는 활성화함수로, hidden layer와 출력 layer에 작용한다. here
Figure pat00007
and
Figure pat00008
is an activation function, which acts on the hidden layer and output layer.

Figure pat00009
,
Figure pat00010
Figure pat00011
은 반복되는 가중치로 input-to-hidden, hidden to output, hidden-to-hidden의 연결 layer에 적용된다.
Figure pat00009
,
Figure pat00010
and
Figure pat00011
is a repeated weight applied to the connection layers of input-to-hidden, hidden to output, and hidden-to-hidden.

또한

Figure pat00012
Figure pat00013
은 hidden state에 대한 편향 기간이고, 각각의 출력 상태에 적용된다. 여기서 활성화 함수는 요소별 선형성을 가짐과 동시에 시그몽드, 정류한 선형 유닛 또는 쌍곡선 함수 등의 비선형성 특성도 가진다. also
Figure pat00012
and
Figure pat00013
is the bias period for the hidden state and is applied to each output state. Here, the activation function has linearity for each element and also has non-linearity characteristics such as Sigmond, rectified linear unit, or hyperbolic function.

도 7은 본 발명의 일 실시예에 따른 RNN 노드를 LSTM으로 대체한 LSTM 기반의 RNN 모델을 설명하기 위한 예시도이다. Figure 7 is an example diagram illustrating an LSTM-based RNN model in which RNN nodes are replaced with LSTMs according to an embodiment of the present invention.

기존의 RNN 모델은 분기 또는 장기 종속성의 역전파 능력을 방해하는 기울기 소실 등의 문제 때문에 긴 순차적 데이터를 훈련하기 어렵다는 단점이 존재한다. 따라서 본 발명의 일 실시예에 따른 지능형 응급상황 모니터링 시스템(10)의 LSTM 기반 RNN 모델은 기존의 RNN 노드를 LSTM으로 대체하여 기존에 존재하던 문제들을 해결할 수 있다.Existing RNN models have the disadvantage of being difficult to train on long sequential data due to problems such as vanishing gradients, which interfere with the ability to backpropagate branching or long-term dependencies. Therefore, the LSTM-based RNN model of the intelligent emergency monitoring system 10 according to an embodiment of the present invention can solve existing problems by replacing existing RNN nodes with LSTM.

도 7과 같이 반복적인 hidden layer에 'gate'라고 불리는 메모리 셀이 블록 내에 존재하며, ‘gate’ 메모리 셀은 새로운 정보의 상태를 제어한다. 이전의 hidden state를 소거하고 새로운 정보를 업데이트하여 출력을 결정한다. 각 셀의 구성 요소 기능은 다음과 같다.As shown in Figure 7, a memory cell called a 'gate' exists within the block in the repetitive hidden layer, and the 'gate' memory cell controls the state of new information. The output is determined by clearing the previous hidden state and updating new information. The component functions of each cell are as follows.

입력 게이트(

Figure pat00014
)는 새로운 정보의 메모리 셀입력 활성화를 제어한다. 이는 수학식 2와 같은 관계식을 갖는다. input gate (
Figure pat00014
) controls the activation of memory cell input of new information. This has the same relational expression as Equation 2.

Figure pat00015
Figure pat00015

여기서 U 및 W 항은 가중치 행렬이고, b항은 편향 벡터이다. 일 실시예에 따른 지능형 응급상황 모니터링 시스템(10)의 학습부(140) 즉 LSTM 기반의 RNN 모델은 학습을 위헤 데이터세트를 훈련하며 해당 모델은 학습에 중점을 준다. b, U 및 W는 입력 게이트(

Figure pat00016
)와, 출력 게이트(
Figure pat00017
), Forget gate(
Figure pat00018
), 입력 변조 게이트(
Figure pat00019
), internal state(
Figure pat00020
), hidden state(
Figure pat00021
)의 매개변수가 될 수 있다. Here, the U and W terms are the weight matrices, and the b term is the bias vector. The learning unit 140 of the intelligent emergency monitoring system 10 according to one embodiment, that is, the LSTM-based RNN model, trains a dataset for learning, and the model focuses on learning. b, U and W are input gates (
Figure pat00016
) and output gate (
Figure pat00017
), Forget gate(
Figure pat00018
), input modulation gate (
Figure pat00019
), internal state (
Figure pat00020
), hidden state(
Figure pat00021
) can be a parameter.

출력 게이트(

Figure pat00022
)는 출력 흐름을 제어한다. 이는 수학식 3과 같다. Output gate (
Figure pat00022
) controls the output flow. This is equivalent to equation 3.

Figure pat00023
Figure pat00023

현재 시점에서의 x 값과 이전 시점에서의 은닉 상태 값을 가지고 시그모이드 함수를 통과한 값과, 셀 상태 갱신을 마친 Ct를 하이퍼볼릭 탄젠트 함수를 통과한 값의 곱 연산을 수행하는 것이 출력 게이트이다. The output is the product of the value passed through the sigmoid function with the value of It's a gate.

Forget gate(

Figure pat00024
)는 내부 상태 정보를 잊어버리는 기능을 제어한다. 이는 수학식 4와 같다.Forget gate(
Figure pat00024
) controls the function of forgetting internal state information. This is equivalent to equation 4.

Figure pat00025
Figure pat00025

Forget gate(

Figure pat00026
)는 입력 데이터
Figure pat00027
, 이전 셀의 단기기억
Figure pat00028
을 가지고 시그모이드처리를 하는 부분이다. 시그모이드 함수는 0과 1 사이의 값을 출력하므로 출력값이 0.7이라하면, 0.7만큼의 기억이 장기기억(
Figure pat00029
)과 곱해진다.Forget gate(
Figure pat00026
) is the input data
Figure pat00027
, short-term memory of the previous cell
Figure pat00028
This is the part where sigmoid processing is performed. The sigmoid function outputs a value between 0 and 1, so if the output value is 0.7, 0.7 of the memory is stored in long-term memory (
Figure pat00029
) is multiplied by

입력 변조 게이트(

Figure pat00030
)는 메모리 셀에 대한 주 입력을 제어한다. 이는 수학식 5와 같다.Input modulation gate (
Figure pat00030
) controls the main input to the memory cell. This is equivalent to equation 5.

Figure pat00031
Figure pat00031

internal state(

Figure pat00032
)는 셀의 내부 반복을 제어한다. 이는 수학식 6과 같다.internal state(
Figure pat00032
) controls the internal repetition of the cell. This is equivalent to equation 6.

Figure pat00033
Figure pat00033

hidden state(

Figure pat00034
)는 이전 데이터 샘플의 정보를 제어한다. 이는 수학식 7과 같다. hidden state(
Figure pat00034
) controls the information of the previous data sample. This is equivalent to equation 7.

Figure pat00035
Figure pat00035

도 8 은 개인 레이블 분류를 위한 양방향 LSTM 기반 RNN 모델을 설명하기 위한 예시도이다.Figure 8 is an example diagram illustrating a bidirectional LSTM-based RNN model for private label classification.

일 실시예에 따른 지능형 응급상황 모니터링 시스템(10)은 개인 ECG 신호를 특정 시간동안 입력받아 직접 매핑을 수행하고 개인 레이블을 분류할 수 있다. The intelligent emergency monitoring system 10 according to one embodiment can receive personal ECG signals for a specific time, perform direct mapping, and classify personal labels.

입력은 동일한 간격의 샘플(

Figure pat00036
)이고, 각 데이터 포인트
Figure pat00037
는 개인 ECG 신호의 벡터이다. 샘플은 n세그먼트 ECG 신호구성요소로 P의 기간 동안 구성된 크기 T의 범위이다. The input is equally spaced samples (
Figure pat00036
), and for each data point
Figure pat00037
is the vector of the individual ECG signal. A sample is a range of size T consisting of n-segment ECG signal components over a period of time P.

일 실시예에 있어서 3, 6, 9개의 ECG 그룹을 사용할 수 있다(n=3, 6, 9). In one embodiment, 3, 6, or 9 ECG groups may be used (n=3, 6, 9).

각시간 단계의 출력에서 개인 레이블 예측을 표시하여 점수를 받는다(

Figure pat00038
). Scores are obtained by displaying private label predictions at the output of each time step (
Figure pat00038
).

여기서

Figure pat00039
는 분류 점수의 벡터이고, L은 계층, c는 개인 클래스의 수이다. 점수는 시간 t 에서 개인 레이블에 대한 각 시간 단계에 계산된다. 다중 예측 전체 창에 대해 T는 모든 점수를 하나의 예측으로 합산하여 얻는다. here
Figure pat00039
is the vector of classification scores, L is the hierarchy, and c is the number of individual classes. A score is computed at each time step for a private label at time t. For the entire window with multiple predictions, T is obtained by summing all scores into one prediction.

합계 법칙(sum rule)이라하는 후기 융합 기술을 사용한다.It uses a late fusion technique called the sum rule.

예상 점수를 확률로 변환하기 위해 예상 점수의 softmax layer인 Y값이 수학식 8과 같이 적용된다. To convert the expected score into probability, the Y value, which is the softmax layer of the expected score, is applied as shown in Equation 8.

Figure pat00040
Figure pat00040

양방향 LSTM 기반의 DRNN모델은 두개의 병렬 LSTM 트랙으로 구성된다. 특정 시간 단계의 과거와 미래의 컨텍스트를 사용하여 개인 레이블을 예측한다. The bidirectional LSTM-based DRNN model consists of two parallel LSTM tracks. Personal labels are predicted using the past and future context of a specific time step.

각 층에는 전진 트랙(LSTMfl)과 후진 트랙(LSTMbl)이 있다. Each layer has a forward track (LSTM fl ) and a backward track (LSTM bl ).

두 트랙은 각각 왼쪽에서 오른쪽으로, 오른쪽에서 왼쪽으로 ECG 입력을 읽는다. The two tracks read the ECG input from left to right and right to left, respectively.

Figure pat00041
Figure pat00041

Figure pat00042
Figure pat00042

수학식 9, 수학식 10에서

Figure pat00043
Figure pat00044
는 예측결과,
Figure pat00045
Figure pat00046
의 출력 hidden layer,
Figure pat00047
Figure pat00048
는 각각의 현재 출력이다. In Equation 9 and Equation 10,
Figure pat00043
and
Figure pat00044
is the prediction result,
Figure pat00045
and
Figure pat00046
The output of the hidden layer,
Figure pat00047
and
Figure pat00048
is the current output of each.

후방 layer(l=1,2,...,L), 최상층 layer L은 시퀀스의 출력이 된다. 각 시간 단계에서 전방 LSTM 및 후방 LSTM 에서 점수를 출력한다. 따라서 결합점수

Figure pat00049
는 개인 레이블의 예측점수를 나타낸다. 후기 융합은 수학식 11과 같이 표현된다. The rear layer (l=1,2,...,L), the top layer L, becomes the output of the sequence. At each time step, the scores are output from the forward LSTM and backward LSTM. Therefore, the combined score
Figure pat00049
represents the prediction score of the private label. Late fusion is expressed as Equation 11.

Figure pat00050
Figure pat00050

도 9는 본 발명의 일 실시예에 따른 LSTM 트랙을 포함하는 RNN 모델 구조를 설명하기 위한 예시도이다. Figure 9 is an example diagram for explaining an RNN model structure including an LSTM track according to an embodiment of the present invention.

본 발명의 일양상에 있어서 학습부(140)는 모델 성능 평가를 위해 6개의 RNN 구조로 레이블 분류를 수행할 수 있다. 실험을 통해 Arch 6이 최고의 개인 레이블 분류 성능을 나타냄을 확인하고 최고의 모델로 선택하였다.In one aspect of the present invention, the learning unit 140 may perform label classification using six RNN structures to evaluate model performance. Through experiments, it was confirmed that Arch 6 had the best private label classification performance and was selected as the best model.

arch 1,2,3은 단방향 네트워크로 구성된다. Arch 1, 2, and 3 consist of a unidirectional network.

arch 1, 2, 3에서 hidden layer의 수는 각각 1, 2, 3이다. The number of hidden layers in arches 1, 2, and 3 is 1, 2, and 3, respectively.

arch 4, 5는 일 실시예에 따른 RNN 모델에서 양방향 네트워크로 구성되며, late-fusion layer, hidden layer의 수는 각각 1, 2, 3이다. Arches 4 and 5 are composed of a bidirectional network in the RNN model according to one embodiment, and the numbers of late-fusion layers and hidden layers are 1, 2, and 3, respectively.

또한, 개인 레이블 분류를 위한 양방향 LSTM 기반 RNN 모델의 분류 절차에서 Additionally, in the classification procedure of the two-way LSTM-based RNN model for private label classification,

각 ECG 데이터 셋은 훈련 데이터 셋과 테스트 데이터 셋으로 분리된다. 각 훈련과 테스트 시퀀스는 1 × N 크기이며, 여기서 N는 ECG 신호의 샘플 수이다. one-hot 시퀀스 인코딩 후, 양방향 LSTM의 가중치 매개변수는 훈련 데이터 셋을 사용하여 결정되고, softmax 함수를 사용하여 분류 확률값을 얻는다. RNN 훈련 후 테스트 시퀀스는 RNN 모델을 평가한다. 각 테스트 시퀀스에 대한 모든 클래스에서 확률이 가장 높은 클래스를 선택하여 개인 레이블 분류 결정 값을 얻을 수 있다.Each ECG data set is separated into a training data set and a test data set. Each training and test sequence is of size 1 × N, where N is the number of samples of the ECG signal. After one-hot sequence encoding, the weight parameters of the bidirectional LSTM are determined using the training data set, and the classification probability value is obtained using the softmax function. After training the RNN, a test sequence evaluates the RNN model. A private label classification decision can be obtained by selecting the class with the highest probability from all classes for each test sequence.

상황 식별부(150)는 생체정보 모니터링장치(20)로부터 환자의 생체 정보 신호가 수신되면 학습부(140)에서 학습된 학습 결과에 기반하여 인공지능 신경망 모델에 적용하여 응급 상황 발생 여부를 식별한다.When the patient's biometric information signal is received from the biometric information monitoring device 20, the situation identification unit 150 applies it to an artificial intelligence neural network model based on the learning results learned in the learning unit 140 to identify whether an emergency situation has occurred. .

일 예로 생체정보 모니터링 장치(20)는 근접 센서, 조도 센서, 모션 감지 센서, 압력 센서, GPS, 자이로센서, 고도 센서, 심박 센서, 혈압 센서, 혈중 산소 포화도 센서, 혈당 센서 및 소리 감지 센서로 구성된 군에서 하나 이상 선택된 센서를 포함하여 구성된 것일 수 있으나, 이에 한정되는 것은 아니다.As an example, the biometric information monitoring device 20 consists of a proximity sensor, an illumination sensor, a motion detection sensor, a pressure sensor, GPS, a gyro sensor, an altitude sensor, a heart rate sensor, a blood pressure sensor, a blood oxygen saturation sensor, a blood sugar sensor, and a sound detection sensor. It may be configured to include one or more sensors selected from the group, but is not limited to this.

심전도(ECG) 데이터는 심전도 신호에서 획득한 심박수, QRS기간, PR인터벌, QT인터벌, T파의 유형, 상기예들 이외에도 각 파가 유지되는 시간, 각 파끼리의 간격(Interval), 각 파의 진폭, 첨도 등의 특징값들을 포함할 수 있고, 심전도 분석데이터는 심전도 데이터에 기반한 심전도의 비정상 여부를 포함할 수 있다. 즉, 심전도 분석데이터는 0~1의 값으로 이루어진 심전도 점수를 포함할 수 있고, 여기서 심전도 점수는 정상 심전도 파형 대비하여 입력된 심전도 데이터가 얼마나 차이 또는 왜곡이 있는지 여부로 응급상황 발생 여부를 결정될 수 있다. 예컨대, 0이 정상 1이 비정상일 수 있다.Electrocardiogram (ECG) data includes heart rate, QRS period, PR interval, QT interval, type of T wave, time for which each wave is maintained, interval between each wave, and type of T wave obtained from the ECG signal. It may include characteristic values such as amplitude and kurtosis, and the ECG analysis data may include whether the ECG is abnormal based on the ECG data. In other words, the ECG analysis data may include an ECG score consisting of values from 0 to 1, where the ECG score can be determined whether an emergency situation occurs by how much the input ECG data is different or distorted compared to the normal ECG waveform. there is. For example, 0 may be normal and 1 may be abnormal.

심전도 신호의 발생 원인인 심장박동은 우심방(Right Atrium)에 자리잡은 동방결절(Sinus Node)에서 시작된 임펄스가 먼저 우심방과 좌심방(Left Atrium)을 탈분극(Deploarization)시키며 방실결절(Atrioventricular Node)에서 잠시 지체된 후 심실을 활성화시킨다. 중격(Septum)이 가장 빠르고 벽이 얇은 우심실은 벽이 두꺼운 좌심실보다 먼저 활성화된다. 푸르키녜 섬유(Purkinje Fiber)까지 전달된 탈분극 파는 심근에서 파도(Wavefront)와 같이 심장내막에서 외 심막으로 퍼져나가면서 심실수축을 일으키게 된다. 정상적으로 전기적 자극이 심장을 통하여 전도되기 때문에 심장은 분당 약 60~100회 수축된다. 각 수축은 1회 심박동수로 나타낸다.The heartbeat, which is the cause of the electrocardiogram signal, is an impulse that originates from the sinus node located in the right atrium, first depolarizes the right and left atrium, and is briefly delayed in the atrioventricular node. Activates the ventricles. The right ventricle, which has the fastest septum and thin wall, activates before the left ventricle, which has a thick wall. The depolarization wave transmitted to the Purkinje fibers spreads from the endocardium to the outer pericardium like a wave in the myocardium, causing ventricular contraction. Because electrical impulses are normally conducted through the heart, the heart contracts approximately 60 to 100 times per minute. Each contraction is represented by one heart beat.

심전도 신호는 P파, QRS 군(complex), ST 분절(segment), T 파 등을 포함한다. 등전위선(isoelectric line)은 심전도파형을 계측하는데 있어 기준이 되는 선이다. 등전위선과 ST 분절 사이의 공간을 ST 영역(area)이라고 한다. 이중 ECG 신호를 분석하기 위하여 중요한 부분이 Q, R, S파로 구성된 QRS 군이다.ECG signals include P waves, QRS complex, ST segment, T waves, etc. The isoelectric line is a standard line for measuring electrocardiogram waveforms. The space between the equipotential line and the ST segment is called the ST area. Among these, the important part for analyzing ECG signals is the QRS complex, which consists of Q, R, and S waves.

QRS군은 심장에서 심실에 혈액이 들어갔다 나가면서 수축할 때, 즉 심실에서 분극현상이 일어날 때의 전기적 신호가 발생하는 부분이며, ECG 신호에서 가장 명확하게 신호가 구분되는 부분이므로 심장이 뛰고 있다는 것을 확인할 수 있는 부분이다. QRS 군은 대략 0.06~0.12초 시간에서 발생한다. 이러한 파들은 표준 형태를 갖추어야 심장의 전기적 활성이 정상이라고 볼 수 있다. 표준 형태인지 아닌지를 파악하기 위해서는 각 파가 유지되는 시간, 각 파끼리의 간격(Interval), 각 파의 진폭, 첨도 등의 특징들이 정상 범위에 속하는지를 검사하여야 한다.The QRS complex is the part of the heart where an electrical signal is generated when blood flows into and out of the ventricle and contracts, that is, when polarization occurs in the ventricle. It is the part where the signal is most clearly distinguished in the ECG signal, so it is known that the heart is beating. This is something you can check. The QRS complex occurs at approximately 0.06 to 0.12 seconds. These waves must have a standard shape for the heart's electrical activity to be considered normal. In order to determine whether it is a standard form or not, it is necessary to check whether characteristics such as the time each wave is maintained, the interval between each wave, the amplitude of each wave, and kurtosis are within the normal range.

일 실시예에 있어서, 식별정밀도(precision)는 수학식 12 및 13의 수식으로 표현되고 평가될 수 있다. In one embodiment, identification precision can be expressed and evaluated by equations 12 and 13.

Figure pat00051
Figure pat00051

Figure pat00052
Figure pat00052

정밀도는 양성 예측도를 의미한다. 100%에 가까울수록 정확하게 예측한 것일 수 있다. 즉, 양성으로 분류된 클래스 중 실제 인물의 생체신호(A, B, ...G)의 식별 개수를 계산한다. Precision refers to positive predictive value. The closer it is to 100%, the more accurate the prediction may be. In other words, the number of identified biosignals (A, B, ...G) of actual people among the classes classified as positive is calculated.

개별 클래스의 평균 정밀도(POC :the precision of each individual class)는 전체 정밀도(Overall PRecision)를 의미한다. c는 전체 환자 수, tpc와 fpc는 사람 분류의 참과 거짓 양성률을 의미한다. The average precision of each individual class (POC) refers to the overall precision. c is the total number of patients, tp c and fp c are the true and false positive rates of human classification.

또한 식별 정확도(accuracy)는 다음 수학식 14의 수식으로 표현되고 평가될 수 있다. Additionally, identification accuracy can be expressed and evaluated by the following equation (14).

Figure pat00053
Figure pat00053

정확도는 정확하게 예측된 값을 전체 예측값들의 합으로 나눈 것이다. 100%에 가까울수록 정확하게 예측한 것이다. 이는 전체 예측에 대해 올바르게 예측된 레이블(레이블은 개체의 고유 식별정보임)의 비율을 계산한 것으로 전체 정확도(Overall Accuracy)를 의미한다. TP는 모든 클래스에 대한 분류기의 전체 참양성 비율이고, TN은 전체 참음성 비율, FP는 전체 위양성 비율, FN은 전체 위음성 비율이다. Accuracy is the accurately predicted value divided by the sum of all predicted values. The closer it is to 100%, the more accurate the prediction is. This means overall accuracy, which calculates the ratio of correctly predicted labels (the label is the unique identification information of the object) to the overall prediction. TP is the overall true positive rate of the classifier for all classes, TN is the overall true negative rate, FP is the overall false positive rate, and FN is the overall false negative rate.

식별 재현율(Recall)은 수학식 15 및 16과 같은 수식으로 표현되고 평가될 수 있다. Identification recall (Recall) can be expressed and evaluated by equations such as Equations 15 and 16.

Figure pat00054
Figure pat00054

Figure pat00055
Figure pat00055

재현율은 클래스의 전체 샘플중에서 정확하게 분류된 환자의 수를 계산한것으로 100%에 가까울수록 정확하게 예측한 것이다. 각 클래스에 대한 평균 회수(RFC: recalls for each class)는 전체 재현율(Overall Recall)를 의미한다.Recall rate is a calculation of the number of patients correctly classified among all samples of a class, and the closer it is to 100%, the more accurate the prediction is. The average recall for each class (RFC) refers to the overall recall.

정밀도와 재현율의 가중평균 (F1-score)는 수학식 17과 같은 수식으로 표현되고 평가된다. The weighted average of precision and recall (F1-score) is expressed and evaluated by a formula such as Equation 17.

Figure pat00056
Figure pat00056

100%에 가까울수록 정확하게 예측한 것이다. nc는 클래스c에 있는 샘플수이고

Figure pat00057
은 C 클래스 집합에 있는 개별 예제의 전체수이다. The closer it is to 100%, the more accurate the prediction is. n c is the number of samples in class c
Figure pat00057
is the total number of individual examples in the set of C classes.

이하 일 실시예에 따른 지능형 응급상황 모니터링 시스템에서 레이블 분류를 위한 양방향 LSTM 기반 RNN 모델의 결과 분석과정을 설명한다. The following describes the result analysis process of a bidirectional LSTM-based RNN model for label classification in an intelligent emergency monitoring system according to an embodiment.

도 10 및 도 11은 일 실시예에 따른 지능형 응급상황 모니터링 시스템에서 수행되는 응급 상황 모니터링 아키텍처에 대한 개인 레이블 분류의 정확도를 설명하기 위한 그래프이다. 10 and 11 are graphs to explain the accuracy of personal label classification for the emergency monitoring architecture performed in the intelligent emergency monitoring system according to an embodiment.

도 10 및 도 11은 선택한 아키텍처에 대한 개인 레이블 분류 정확도를 보여준다.Figures 10 and 11 show the private label classification accuracy for the selected architectures.

구체적으로 도 10은 두 개의 선택된 매개변수를 사용한 NSRDB의 분류 정확도를 나타낸 것이다. 도 10의(a)의 hidden unit의 수는 128이고 도 10의 (b)의 hidden unit의 수는 250이다. 입력 시퀀스 길이는 심박 수 당 2-4이다.Specifically, Figure 10 shows the classification accuracy of NSRDB using two selected parameters. The number of hidden units in FIG. 10(a) is 128, and the number of hidden units in FIG. 10(b) is 250. Input sequence length is 2-4 per heart beat.

도 11은 두 개의 선택된 매개변수를 사용한 MITDB의 분류 정확도를 도시한 것이다. 도 11의 (a)의 hidden unit의 수는 128이고 도 11의 (b)의 hidden unit의 수는 250이다. 입력 시퀀스 길이는 심박 수 당 0-2이다.Figure 11 shows the classification accuracy of MITDB using two selected parameters. The number of hidden units in (a) of FIG. 11 is 128 and the number of hidden units in (b) of FIG. 11 is 250. The input sequence length is 0-2 per heart beat.

도 10(a)및 도 11(a)에서 hidden layer 의 hidden unit의 개수는 128이고, 고정 분할로 분할된 ECG 신호기간을 사용하였다. In Figures 10(a) and 11(a), the number of hidden units in the hidden layer is 128, and the ECG signal period divided into fixed divisions was used.

도 10(a)및 도 11(a)의 결과, 개인 레이블 분류 정확도는 각각 29.7-100%와 1.87-98.53% 사이로 다양하게 나타났다. As a result of Figures 10(a) and 11(a), the private label classification accuracy varied between 29.7-100% and 1.87-98.53%, respectively.

도 10(b)와 도31(b)의 결과, 분류 정확도는 각각 5.5-100%와 2.21-99.73 사이로 다양하게 나타났다. As a result of Figures 10(b) and 31(b), the classification accuracy varied between 5.5-100% and 2.21-99.73, respectively.

도 12는 일 실시예에 따른 지능형 응급상황 모니터링 시스템의 양방향 LSTM 기반의 RNN 모델의 개인 레이블 분류 정확도를 나타낸 것이다. Figure 12 shows the private label classification accuracy of the bidirectional LSTM-based RNN model of the intelligent emergency monitoring system according to an embodiment.

도 12는 250개의 숨겨진 매개변수를 선택한 MITDB의 분류 정확도 단위를 나타낸 것이다. 입력 시퀀스 길이(ISL)는 심박 수 당 3, 6 및 9이다.Figure 12 shows the classification accuracy units of MITDB with 250 hidden parameters selected. Input sequence lengths (ISL) are 3, 6, and 9 per heart beat.

도 12에서 hidden layer의 hidden unit 개수는 250이고, ECG 는 고정된 분할 시간으로 분할된 신호가 사용되었다. In Figure 12, the number of hidden units in the hidden layer is 250, and a signal divided by a fixed division time was used for the ECG.

분류 정확도가 5.5-100%에서 63.8-99.8%로 다양하게 나타났고, 제시된 결과는 zero dropout, hidden unit의 수 등 서로 다른 입력 시퀀스 길이에 대한 것이다. Classification accuracy varied from 5.5-100% to 63.8-99.8%, and the presented results are for different input sequence lengths, including zero dropout and number of hidden units.

결과적으로 기존의 RNN보다 더 나은 성능을 보였고, 입력 길이가 고정되지 않은 그룹 ECG처럼 무작위로 감소하는 것을 확인할 수 있다. As a result, it showed better performance than the existing RNN, and it can be seen that the input length decreases randomly like a non-fixed group ECG.

또한, 이 실험을 통해 개인 레이블 분류 정확도가 hidden unit 수의 감소, hidden layer 수의 증가에 따라 증가함을 확인할 수 있다. Additionally, through this experiment, it can be seen that the private label classification accuracy increases as the number of hidden units decreases and the number of hidden layers increases.

도 13은 본 발명의 일 실시예에 따른 지능형 응급상황 모니터링 시스템의 구동방법의 흐름도이다. Figure 13 is a flowchart of a method of driving an intelligent emergency situation monitoring system according to an embodiment of the present invention.

일 실시예에 따른 지능형 응급상황 모니터링 시스템의 구동방법은 적어도 하나 이상의 생체정보 모니터링 장치로부터 생체 정보 신호를 수집하는 정보 수집한다(S200).A method of driving an intelligent emergency monitoring system according to an embodiment collects information by collecting biometric information signals from at least one biometric information monitoring device (S200).

그리고 정보 수집 단계로 수집된 생체 정보 신호의 노이즈를 제거하고 정규화하는 전처리한다(S210). 이때 전처리 단계는 상부 및 하부 차단 주파수의 교류만을 통과시키는 대역 통과 필터, 상기 대역 통과 필터에서 통과된 신호를 푸리에 스펙트럼에 적용시키는 미분 필터, 및 노이즈 오차를 제거하는 이동평균 필터를 포함하는 전처리부에서 수행된다.Then, the biometric information signal collected in the information collection step is preprocessed to remove noise and normalize (S210). At this time, the preprocessing step includes a band-pass filter that passes only alternating currents of the upper and lower cutoff frequencies, a differential filter that applies the signal passed by the band-pass filter to the Fourier spectrum, and a moving average filter that removes noise errors. It is carried out.

전처리 단계에서 전처리된 생체 정보 신호를 이용하여 인공지능 신경망 모델에 적용하여 머신러닝으로 학습한다(S220). In the preprocessing step, the preprocessed biometric information signal is used and applied to an artificial intelligence neural network model to learn through machine learning (S220).

본 발명의 일 양상에 있어서 학습 단계는, 특정 시간 동안 입력받은 환자의 생체 정보 신호 중 동일 간격의 샘플을 이용하여 개인 레이블을 분류한다. In one aspect of the present invention, the learning step classifies the personal label using samples at equal intervals among the patient's biometric information signals received during a specific time.

그리고 모델 성능 평가를 위해 6개의 RNN 구조로 레이블 분류를 수행한다.And to evaluate model performance, label classification is performed using six RNN structures.

이후에 환자의 생체 정보 신호가 수신되면(S230) 학습 단계에서 학습된 학습 결과에 기반하여 인공지능 신경망 모델에 적용하여 응급 상황 발생 여부를 식별한다(S240).Afterwards, when the patient's biometric information signal is received (S230), it is applied to the artificial intelligence neural network model based on the learning results learned in the learning stage to identify whether an emergency situation has occurred (S240).

이때 학습 단계의 인공지능 신경망 모델은, 적어도 하나 이상의 LSTM 트랙을 포함하는 RNN 모델로 구현된다.At this time, the artificial intelligence neural network model in the learning stage is implemented as an RNN model that includes at least one LSTM track.

본 발명의 일 양상에 있어서 상황 식별 단계는 전처리 단계에서 전처리된 생체 정보 신호로부터 압력 분포도를 산출하고, 산출된 압력 분포도에 따른 자세 분석을 수행하며, 일정 압력값 이내의 신호에 대해 신호대 잡음비(SNR)를 비교하여 선택된 신호를 이용하여 인공지능 신경망 모델에 적용한다.In one aspect of the present invention, the situation identification step calculates a pressure distribution from the biometric information signal pre-processed in the pre-processing step, performs posture analysis according to the calculated pressure distribution, and performs a signal-to-noise ratio (SNR) for signals within a certain pressure value. ) is compared and applied to the artificial intelligence neural network model using the selected signal.

전술한 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.The above-described method may be implemented as an application or in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc., singly or in combination.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.The program instructions recorded on the computer-readable recording medium may be those specifically designed and configured for the present invention, or may be known and usable by those skilled in the computer software field.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and perform program instructions, such as ROM, RAM, flash memory, etc.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform processing according to the invention and vice versa.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to embodiments, those skilled in the art will understand that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention as set forth in the following patent claims. You will be able to.

10 : 지능형 응급상황 모니터링 시스템
20 : 생체 정보 모니터링 장치 110 : 통신부
120 : 정보 수집부 130 : 전처리부
140 : 학습부 150 : 상황 식별부
10: Intelligent emergency monitoring system
20: Biometric information monitoring device 110: Communication Department
120: Information collection unit 130: Preprocessing unit
140: Learning unit 150: Situation identification unit

Claims (10)

적어도 하나 이상의 생체정보 모니터링 장치로부터 생체 정보 신호를 수집하는 정보 수집부;
상기 정보 수집부로 수집된 생체 정보 신호의 노이즈를 제거하고 정규화하는 전처리부;
상기 전처리부에서 전처리된 생체 정보 신호를 이용하여 인공지능 신경망 모델에 적용하여 머신러닝으로 학습하는 학습부; 및
환자의 생체 정보 신호가 수신되면 상기 학습부에서 학습된 학습 결과에 기반하여 인공지능 신경망 모델에 적용하여 응급 상황 발생 여부를 식별하는 상황 식별부;를 포함하되,
상기 학습부의 인공지능 신경망 모델은,
적어도 하나 이상의 LSTM 트랙을 포함하는 RNN 모델인, 지능형 응급상황 모니터링 시스템.
an information collection unit that collects biometric information signals from at least one biometric information monitoring device;
a pre-processing unit that removes noise and normalizes the biometric information signal collected by the information collection unit;
A learning unit that uses the biometric information signal pre-processed in the pre-processing unit and applies it to an artificial intelligence neural network model to learn through machine learning; and
A situation identification unit that, when a patient's biometric information signal is received, applies it to an artificial intelligence neural network model based on the learning results learned in the learning unit to identify whether an emergency situation has occurred;
The artificial intelligence neural network model of the learning unit is,
Intelligent emergency monitoring system, which is a RNN model containing at least one LSTM track.
제 1 항에 있어서,
상기 학습부는,
특정 시간동안 입력받은 환자의 생체 정보 신호 중 동일 간격의 샘플을 이용하여 개인 레이블을 분류하는, 지능형 응급상황 모니터링 시스템.
According to claim 1,
The learning department,
An intelligent emergency monitoring system that classifies personal labels using samples at equal intervals among the patient's biometric information signals received during a specific time.
제 2 항에 있어서,
상기 학습부는,
모델 성능 평가를 위해 6개의 RNN 구조로 레이블 분류를 수행하는, 지능형 응급상황 모니터링 시스템.
According to claim 2,
The learning department,
An intelligent emergency monitoring system that performs label classification with six RNN structures to evaluate model performance.
제 1 항에 있어서,
상기 상황 식별부는,
상기 전처리부에서 전처리된 생체 정보 신호로부터 압력 분포도를 산출하고, 산출된 압력 분포도에 따른 자세 분석을 수행하며, 일정 압력값 이내의 신호에 대해 신호대 잡음비(SNR)를 비교하여 선택된 신호를 이용하여 인공지능 신경망 모델에 적용하는, 지능형 응급상황 모니터링 시스템.
According to claim 1,
The situation identification unit,
Calculate the pressure distribution from the biometric information signal pre-processed in the preprocessor, perform posture analysis according to the calculated pressure distribution, and compare the signal-to-noise ratio (SNR) for signals within a certain pressure value to use the selected signal to create artificial intelligence. An intelligent emergency monitoring system applied to an intelligent neural network model.
제 1 항에 있어서,
상기 전처리부는,
상부 및 하부 차단 주파수의 교류만을 통과시키는 대역 통과 필터, 상기 대역 통과 필터에서 통과된 신호를 푸리에 스펙트럼에 적용시키는 미분 필터, 및 노이즈 오차를 제거하는 이동평균 필터를 포함하는, 지능형 응급상황 모니터링 시스템.
According to claim 1,
The preprocessor,
An intelligent emergency monitoring system comprising a band-pass filter that passes only alternating currents of the upper and lower cutoff frequencies, a differential filter that applies the signal passed by the band-pass filter to a Fourier spectrum, and a moving average filter that removes noise errors.
적어도 하나 이상의 생체정보 모니터링 장치로부터 생체 정보 신호를 수집하는 정보 수집 단계;
상기 정보 수집 단계로 수집된 생체 정보 신호의 노이즈를 제거하고 정규화하는 전처리 단계;
상기 전처리 단계에서 전처리된 생체 정보 신호를 이용하여 인공지능 신경망 모델에 적용하여 머신러닝으로 학습하는 학습 단계; 및
환자의 생체 정보 신호가 수신되면 상기 학습 단계에서 학습된 학습 결과에 기반하여 인공지능 신경망 모델에 적용하여 응급 상황 발생 여부를 식별하는 상황 식별 단계;를 포함하되,
상기 학습 단계의 인공지능 신경망 모델은,
적어도 하나 이상의 LSTM 트랙을 포함하는 RNN 모델인, 지능형 응급상황 모니터링 시스템의 구동방법.
An information collection step of collecting biometric information signals from at least one biometric information monitoring device;
A pre-processing step of removing noise and normalizing the biometric information signal collected in the information collection step;
A learning step of applying machine learning to an artificial intelligence neural network model using the biometric information signals preprocessed in the preprocessing step; and
A situation identification step of identifying whether an emergency situation has occurred by applying it to an artificial intelligence neural network model based on the learning results learned in the learning step when the patient's biometric information signal is received;
The artificial intelligence neural network model in the learning stage is,
How to drive an intelligent emergency monitoring system, which is a RNN model containing at least one LSTM track.
제 6 항에 있어서,
상기 학습 단계는,
특정 시간동안 입력받은 환자의 생체 정보 신호 중 동일 간격의 샘플을 이용하여 개인 레이블을 분류하는, 지능형 응급상황 모니터링 시스템의 구동방법.
According to claim 6,
The learning step is,
A method of operating an intelligent emergency monitoring system that classifies personal labels using samples at equal intervals among the patient's biometric information signals received during a specific time.
제 7 항에 있어서,
상기 학습 단계는,
모델 성능 평가를 위해 6개의 RNN 구조로 레이블 분류를 수행하는, 지능형 응급상황 모니터링 시스템의 구동방법.
According to claim 7,
The learning step is,
How to drive an intelligent emergency monitoring system that performs label classification with 6 RNN structures to evaluate model performance.
제 6 항에 있어서,
상기 상황 식별 단계는,
상기 전처리 단계에서 전처리된 생체 정보 신호로부터 압력 분포도를 산출하고, 산출된 압력 분포도에 따른 자세 분석을 수행하며, 일정 압력값 이내의 신호에 대해 신호대 잡음비(SNR)를 비교하여 선택된 신호를 이용하여 인공지능 신경망 모델에 적용하는, 지능형 응급상황 모니터링 시스템의 구동방법.
According to claim 6,
The situation identification step is,
In the pre-processing step, a pressure distribution is calculated from the pre-processed biometric information signal, posture analysis is performed according to the calculated pressure distribution, and the signal-to-noise ratio (SNR) of the signal within a certain pressure value is compared and the selected signal is used to create artificial intelligence. How to drive an intelligent emergency monitoring system applied to an intelligent neural network model.
제 6 항에 있어서,
상기 전처리 단계는,
상부 및 하부 차단 주파수의 교류만을 통과시키는 대역 통과 필터, 상기 대역 통과 필터에서 통과된 신호를 푸리에 스펙트럼에 적용시키는 미분 필터, 및 노이즈 오차를 제거하는 이동평균 필터를 포함하는 전처리부에서 수행되는, 지능형 응급상황 모니터링 시스템의 구동방법.

According to claim 6,
The preprocessing step is,
Intelligent, performed in a preprocessor including a band-pass filter that passes only alternating currents of the upper and lower cutoff frequencies, a differentiation filter that applies the signal passed by the band-pass filter to the Fourier spectrum, and a moving average filter that removes noise errors. How to operate an emergency monitoring system.

KR1020220109319A 2022-08-30 2022-08-30 System for Monitoring of Intelligent emergency and Driving method thereof KR20240030369A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220109319A KR20240030369A (en) 2022-08-30 2022-08-30 System for Monitoring of Intelligent emergency and Driving method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220109319A KR20240030369A (en) 2022-08-30 2022-08-30 System for Monitoring of Intelligent emergency and Driving method thereof

Publications (1)

Publication Number Publication Date
KR20240030369A true KR20240030369A (en) 2024-03-07

Family

ID=90272171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220109319A KR20240030369A (en) 2022-08-30 2022-08-30 System for Monitoring of Intelligent emergency and Driving method thereof

Country Status (1)

Country Link
KR (1) KR20240030369A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190141326A (en) 2018-06-14 2019-12-24 한국과학기술원 Method and Apparatus for ECG Arrhythmia Classification using a Deep Convolutional Neural Network

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190141326A (en) 2018-06-14 2019-12-24 한국과학기술원 Method and Apparatus for ECG Arrhythmia Classification using a Deep Convolutional Neural Network

Similar Documents

Publication Publication Date Title
US9636033B2 (en) Prediction and prevention of postoperative atrial fibrillation in cardiac surgery patients
CN105228508B (en) System for determining risk score for classification
JP6931897B2 (en) A method for generating a prediction result for predicting the occurrence of a fatal symptom of a subject at an early stage, and a device using the prediction result.
Bhagyalakshmi et al. GB-SVNN: Genetic BAT assisted support vector neural network for arrhythmia classification using ECG signals
KR20190114694A (en) Method for learning and analyzing time series data by using artificial intelligence
Wang et al. Atrial fibrillation detection and ECG classification based on CNN-BILSTM
Banerjee et al. Non-invasive detection of coronary artery disease based on clinical information and cardiovascular signals: A two-stage classification approach
Zhou et al. Premature ventricular contraction detection from ambulatory ECG using recurrent neural networks
Strik et al. Artificial intelligence for detection of ventricular oversensing: Machine learning approaches for noise detection within nonsustained ventricular tachycardia episodes remotely transmitted by pacemakers and implantable cardioverter-defibrillators
Liu et al. Semantic segmentation of qrs complex in single channel ecg with bidirectional lstm networks
KR20240030369A (en) System for Monitoring of Intelligent emergency and Driving method thereof
De Lima et al. Neural architecture search for tiny detectors of inter-beat intervals
Mamun et al. Myocardial infarction detection using multi biomedical sensors
US20230238134A1 (en) Methods and system for cardiac arrhythmia prediction using transformer-based neural networks
CN112022149B (en) Atrial fibrillation detection method based on electrocardiosignals
Benali et al. Cardiac arrhythmia diagnosis using a neuro-fuzzy approach
Yousefi et al. Atrial fibrillation detection from wrist photoplethysmography data using artificial neural networks
Balcı A hybrid attention-based LSTM-XGBoost model for detection of ECG-based atrial fibrillation
Lennox et al. Robust classification of cardiac arrhythmia using a deep neural network
CN113143204A (en) Electrocardiosignal quality evaluation method, computer device and storage medium
Ben-Moshe et al. ArNet-ECG: Deep Learning for the Detection of Atrial Fibrillation from the Raw Electrocardiogram
de Moraes et al. Stratification of cardiopathies using photoplethysmographic signals
Aboumadi et al. A Lightweight Central Learning Approach for Arrhythmia Detection from ECG Signals
Mittal et al. Deep Learning for Morphological Arrhythmia Classification in Encoded Ecg Signal
Javed et al. Signal Processing and Deep Learning Based Smartwatch Photoplethysmography Data Classification of Atrial Fibrillation, Premature Atrial and Ventricular Contraction

Legal Events

Date Code Title Description
E902 Notification of reason for refusal