WO2023120777A1 - 심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법 및 장치 - Google Patents

심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법 및 장치 Download PDF

Info

Publication number
WO2023120777A1
WO2023120777A1 PCT/KR2021/019751 KR2021019751W WO2023120777A1 WO 2023120777 A1 WO2023120777 A1 WO 2023120777A1 KR 2021019751 W KR2021019751 W KR 2021019751W WO 2023120777 A1 WO2023120777 A1 WO 2023120777A1
Authority
WO
WIPO (PCT)
Prior art keywords
attention
matrix
beat
detection device
unit
Prior art date
Application number
PCT/KR2021/019751
Other languages
English (en)
French (fr)
Inventor
이영신
송희석
김윤관
Original Assignee
(주)씨어스테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)씨어스테크놀로지 filed Critical (주)씨어스테크놀로지
Priority to US18/274,723 priority Critical patent/US20240037369A1/en
Publication of WO2023120777A1 publication Critical patent/WO2023120777A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352—Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • An embodiment of the present invention relates to a method and apparatus for detecting multiple beats using an electrocardiogram global feature vector.
  • a convolutional neural network (CNN)-based algorithm refers to an algorithm that learns only local information by looking at only one waveform.
  • the CNN algorithm showed high performance of over 95% in various evaluation scales, but in the case of abnormal waveforms that appear continuously in a similar form to normal waveforms, continuous and global patterns were not considered, resulting in reduced performance.
  • LSTM Long Short Term Memory
  • This embodiment extracts the global features of each ECG waveform, uses the extracted global features as an input vector, and applies the attention mechanism to the weighted feature matrix considering the contribution of each feature to obtain a pattern of global features of continuous ECG.
  • An object of the present invention is to provide a method and apparatus for detecting multiple beats using an electrocardiogram global feature vector that extracts and learns to detect multiple beats.
  • a multi-input unit for inputting a plurality of heartbeat data from continuous heartbeat data; a global feature extraction unit extracting a global feature for each of the plurality of heartbeat data; an attention block unit generating encoded attention data by combining location information on the global features; a bidirectional LSTM unit outputting a bidirectional LSTM result value obtained by performing bidirectional long short term memory (LSTM) on the attention data; and a classification unit configured to perform classification by identifying the location information for each multiple input based on the bidirectional LSTM result value.
  • LSTM long short term memory
  • the global features of each ECG waveform are extracted, the extracted global features are used as an input vector, and the attention mechanism is applied to the weighted feature matrix in consideration of the contribution of each feature to obtain continuous There is an effect of detecting multiple beats by extracting and learning a pattern of global features of an electrocardiogram.
  • FIG. 1 is a diagram illustrating bio-signal data processing in the field of bio-signal processing according to the present embodiment.
  • FIG. 2 is a diagram illustrating a multi-beat detection device according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating a method for detecting multiple beats using a global feature vector of an electrocardiogram according to an exemplary embodiment.
  • FIG. 4 is a diagram showing the structure of an arrhythmia classification model based on an attention mechanism using an electrocardiogram global feature matrix according to the present embodiment.
  • FIG. 5 is a diagram showing a model structure for extracting an attention matrix of an electrocardiogram global feature matrix according to the present embodiment.
  • FIG. 6 is a diagram showing a bidirectional LSTM structure for detecting and classifying beats while grasping the continuity of each attention matrix according to the present embodiment.
  • FIG. 1 is a diagram illustrating bio-signal data processing in the field of bio-signal processing according to the present embodiment.
  • the multi-beat detection device 200 can be applied to one-dimensional (1D) bio-signal data processing in the field of bio-signal processing.
  • the multi-beat detection device 200 divides the P waveform, QRS-complex (N, S, V), T waveform, and noise waveform included in the ECG waveform into waveform units.
  • the multi-beat detection device 200 receives an electrocardiogram signal obtained by interpreting electrical activity of the heart recorded by electrodes attached to the skin and equipment outside the body.
  • the multi-beat detection device 200 uses an electrocardiogram signal that measures the rate and regularity of heartbeats, and is used for the purpose of diagnosis or research on abnormal activity of the heart.
  • the multi-beat detection device 200 detects an arrhythmia in which the heart beats irregularly, too quickly, too late, or irregularly based on the ECG signal.
  • the multi-beat detection device 200 detects and classifies beat-based arrhythmias (eg, premature ventricular contraction, premature atrial contraction, ectopic beat, etc.).
  • a general beat classification algorithm determines a beat by considering only one beat pattern, it is difficult to distinguish a normal beat from only one beat pattern, such as a ventricular abnormal beat.
  • a general beat classification algorithm does not consider the continuous pattern even in the case of abnormal beats that appear consecutively, so it is not accurately classified.
  • the multi-beat detection device 200 includes a multi-input unit to utilize a plurality of beats.
  • the multi-beat detection device 200 accurately classifies abnormal beats, normal beats, and continuous abnormal beats in consideration of the characteristics and continuous patterns of multiple beats.
  • the multi-beat detection apparatus 200 calculates the number of occurrences of normal and abnormal beats and the number of consecutive abnormal beats based on the characteristics and continuous patterns of the multiple beats.
  • FIG. 2 is a diagram illustrating a multi-beat detection device according to an exemplary embodiment.
  • the multi-beat detection device 200 includes a multi-input unit 210, a global feature extraction unit 220, an attention block unit 230, a bi-directional LSTM unit 240, and a classification unit 250.
  • Components included in the multi-beat detection device 200 are not necessarily limited thereto.
  • Each component included in the multi-beat detection device 200 is connected to a communication path connecting software modules or hardware modules inside the device and can organically operate with each other. These components communicate using one or more communication buses or signal lines.
  • Each component of the multi-beat detection device 200 shown in FIG. 2 means a unit that processes at least one function or operation, and may be implemented as a software module, a hardware module, or a combination of software and hardware.
  • the multiple input unit 210 receives continuous heartbeat data.
  • the multiple input unit 210 receives continuous heartbeat data including R peak point information.
  • the multi-input unit 210 receives location information of the beginning and end of continuous heartbeat data.
  • the multi-input unit 210 extracts each heartbeat data of a certain length before and after the continuous heartbeat data based on the R peak of each heartbeat.
  • the multiple input unit 210 receives each heartbeat data.
  • the multiple input unit 210 receives a plurality of heartbeat data from continuous heartbeat data.
  • the multi-input unit 210 checks the R peak for the R waveform from the continuous heartbeat data, and converts the length of the expected number of beats to a predetermined number of samples forward and backward based on the R peak into a plurality of beat data. extract
  • the global feature extraction unit 220 places a convolution layer on each of the multiple input units 210 .
  • the global feature extractor 220 extracts global feature matrices that have passed through convolutional layers disposed in each of the multiple input units 210 .
  • the global feature extractor 220 extracts a global feature for each of a plurality of heartbeat data.
  • the global feature extractor 220 extracts a global feature matrix corresponding to the global feature by performing linear projection on each of a plurality of beat data.
  • the attention block unit 230 generates encoded attention data by combining location information on global features.
  • the attention block unit 230 performs an operation on the matrix combining the global feature vector and the location information vector for the global feature matrix with different weight parameters to obtain queries, keys, and values Calculate the value of
  • the attention block unit 230 performs Scaled Dot Product Attention using the values of Query, Key, and Value to calculate the Key, and then the Keu vector.
  • An attention matrix corresponding to the attention data is generated by performing a softmax operation on a value divided by a value taken as a root in the dimension of .
  • the attention block unit 230 performs multi-head attention merging attention matrices that have performed scaled dot product attention.
  • the attention block unit 230 adds the global feature vector used to perform self-attention and the matrix calculated after performing multi-head attention, and performs normalization to obtain an attention matrix generate
  • the attention block unit 230 generates an attention matrix using a multihead attention block, a first Add&Norm block, a Feed Forward block, and a second Add&Norm block. do.
  • the attention block unit 230 sequentially arranges the attention matrix for each of multiple inputs and inputs them to the bidirectional LSTM unit.
  • the attention block unit 230 calculates positional encoding using [Equation 1] and [Equation 2].
  • the attention block unit 230 uses a sine function and a cosine function using pos indicating the position of the feature vector and i value indicating the dimension information of the feature vector.
  • the attention block unit 230 calculates the final positional encoding value using the hyperparameter of dmodel.
  • the attention block unit 230 performs self attention.
  • the attention block unit 230 calculates the query, key, and value values by performing an operation with different weight parameters on the matrix that combines the global feature vector and the location information vector. .
  • the attention block unit 230 performs scaled dot product attention using the values of the query, key, and value. do.
  • the attention block unit 230 calculates the query and the transposed key, and then divides it by a value obtained by taking the root in the dimension of the Keu vector.
  • the attention block unit 230 calculates the attention matrix by performing a softmax operation on the divided value.
  • the attention block unit 230 performs multi-head attention (Multi Head Attention) merging attention matrices obtained by performing each scaled dot product attention. attention).
  • the attention block unit 230 adds the global feature vector initially used to perform self-attention and the matrix calculated after performing multi-head attention and performs normalization. .
  • the attention block unit 230 calculates an output matrix by inputting the input to the position-wise feed forward neural network.
  • the bidirectional LSTM unit 240 outputs a bidirectional LSTM result value obtained by performing bidirectional long short term memory (LSTM) on the attention data. After merging the calculated attention matrices, the bidirectional LSTM unit 240 performs bidirectional LSTM to determine the long-term dependence and correlation of each sequence step.
  • LSTM long short term memory
  • the bidirectional LSTM unit 240 forwards the bidirectional LSTM result value for each multiple input, and extracts a feature of whether or not there is a change between neighboring next beats according to time.
  • the bidirectional LSTM unit 240 generates a bidirectional LSTEM result value by extracting characteristics of changes and errors between neighboring previous beats according to time while forwarding the bidirectional LSTM result value for each multiple input.
  • the classification unit 250 derives the value calculated from the bidirectional LSTM unit 240 and outputs classification information. In other words, the classification unit 250 performs classification by checking location information for each multiple input based on the bidirectional LSTM result value.
  • the classification unit 250 classifies the bidirectional LSTM result value into one of N (Normal beat), S (Supraventricular ectopic beat), V (Ventricular ectopic beat), F (Fusion beat), and Q (Unknown beat).
  • FIG. 3 is a flowchart illustrating a method for detecting multiple beats using a global feature vector of an electrocardiogram according to an exemplary embodiment.
  • the multi-beat detection device 200 detects an R peak of each beat included in the ECG signal (S310).
  • the multi-beat detection apparatus 200 extracts each beat as many as the number of samples before and after the detected R peak of each beat (S320).
  • the multi-beat detection device 200 inputs the extracted beats to the convolution layer for global feature extraction (S330).
  • the multi-beat detection apparatus 200 inputs the global feature matrix extracted for each beat to an attention block (S340).
  • the multi-beat detection device 200 puts the matrix generated using the attention block into a bidirectional LSTM (S350).
  • the multi-beat detection apparatus 200 determines the continuity of each attention matrix in the bidirectional LSTM and detects and classifies each beat (S360).
  • FIG. 3 Although it is described in FIG. 3 that steps S310 to S360 are sequentially executed, it is not necessarily limited thereto. In other words, since it will be applicable to changing and executing the steps described in FIG. 3 or executing one or more steps in parallel, FIG. 3 is not limited to a time-series sequence.
  • the multi-beat detection method using the ECG global feature vector according to the present embodiment described in FIG. 3 can be implemented as a program and recorded on a computer-readable recording medium.
  • the computer-readable recording medium on which the program for implementing the multi-beat detection method using the electrocardiogram global feature vector according to this embodiment is recorded includes all types of recording devices storing data that can be read by a computer system. .
  • FIG. 4 is a diagram showing the structure of an arrhythmia classification model based on an attention mechanism using an electrocardiogram global feature matrix according to the present embodiment.
  • the multi-beat detection device 200 recognizes a continuous pattern using each characteristic of a plurality of beats and accurately classifies each.
  • the multi-beat detection device 200 calculates the number of occurrences of the classified beats.
  • the multi-beat detection device 200 has the following differentiation from the existing algorithm structure.
  • the multi-beat detection device 200 has a multi-input structure.
  • the multi-beat detection device 200 extracts a global feature using each beat data passed through the multi-input.
  • the multi-beat detection device 200 extracts a weighted global feature matrix considering weights by calculating the contribution of each global feature through an attention block operation using a transformer structure for the extracted global features.
  • the multi-beat detection device 200 combines the weighted feature matrices generated respectively and determines the continuity of the combined matrices using bi-directional LSTM.
  • the multi-beat detection device 200 classifies each of the feature matrices in which the continuity is determined by utilizing originally input location information.
  • the multi-beat detection device 200 extracts the R peak among the P waveform, QRS-complex (N, S, V), and T waveforms included in the ECG waveform.
  • the multi-beat detection device 200 extracts a preset margin forward and backward based on the R peak.
  • the multi-beat detection apparatus 200 extracts signal values corresponding to positions expected to be beats as many as the number of samples before and after the R peak.
  • the multi-beat detection device 200 extracts forward and backward from the ECG waveform with the same margin using the R peak, and inputs up to n multiple inputs (eg, S1, S2, S3, S4...Sn).
  • the multi-beat detection device 200 extracts global features by arranging a convolutional network for each of multiple inputs (eg, S1, S2, S3, S4...Sn).
  • the multi-pulse detection apparatus 200 outputs a resultant value obtained by applying linear projection to each of multiple inputs (eg, S1, S2, S3, S4...Sn).
  • the multi-beat detection apparatus 200 extracts a global feature from a value obtained by applying linear projection using an attention block.
  • the multi-beat detection apparatus 200 transforms S1 into S ⁇ 1 with global features emphasized through linear projection and attention block for S1 and outputs it. In other words, the multi-beat detection device 200 multiplies the intensities of each feature and outputs them as a matrix. The multi-beat detection device 200 sequentially arranges representative features.
  • the multi-beat detection device 200 performs bi-directional LSTM on sequentially arranged representative features.
  • the multi-beat detection device 200 arranges the matrices in a row and checks what temporal relationship they have.
  • the multi-beat detection device 200 performs classification for each multi-input based on the result value of bidirectional LSTM. In other words, the multi-beat detection apparatus 200 identifies a location point based on a result value of bidirectional LSTM and performs classification for each multi-input.
  • the multi-beat detection apparatus 200 classifies beats into N (Normal beat), S (Supraventricular ectopic beat), V (Ventricular ectopic beat), F (Fusion beat), and Q (Unknown beat).
  • FIG. 5 is a diagram showing a model structure for extracting an attention matrix of an electrocardiogram global feature matrix according to the present embodiment.
  • the model structure for extracting the attention matrix includes a multihead attention block, a first Add&Norm block, a Feed Forward block, and a second Add&Norm block.
  • the multihead attention block generates an NxM matrix based on a value obtained by converting a 1xN matrix corresponding to heartbeat data into an Mx1 matrix.
  • the multihead attention block converts a plurality of 1x60 matrices into a 60x1 matrix through a linear projection block, for example.
  • the multihead attention block creates a 60x60 matrix based on the 1x60 matrix and the 60x1 matrix.
  • the first add and norm block is normalized with a 1xN matrix added to the NxM matrix to prevent loss of information.
  • the first add and norm block is normalized with an input value (1x60 matrix) added to a 60x60 matrix to prevent loss of information.
  • the feed forward block creates a feature matrix by extracting feature values from normalized values.
  • the feed forward block creates an attention matrix for emphasizing features from the normalized values.
  • the second add and norm block adds the normalized NxM matrix to the attention matrix to prevent loss of information, normalizes the attention matrix, and outputs the attention matrix as a 1xN matrix.
  • the second ad and norm block is normalized with input values (normalized 60 ⁇ 60 matrix) added to the feature matrix to prevent loss of information, and the resulting value is converted into a 1 ⁇ 60 matrix.
  • FIG. 6 is a diagram showing a bidirectional LSTM structure for detecting and classifying beats while grasping the continuity of each attention matrix according to the present embodiment.
  • the multi-beat detection device 200 can be extended to a model predicting the next waveform.
  • the multi-beat detection device 200 can be extended to a clinical decision support system that combines a pre-learned encoding unit with other deep learning-based models.
  • the multi-beat detection device 200 can be extended to the tentative classification category.
  • the multi-beat detection apparatus 200 may learn a correlation between each heartbeat by applying various attention methods between global features of each heartbeat based on an attention mechanism that uses the global feature of each heartbeat as an input.
  • the multi-beat detection apparatus 200 can increase accuracy compared to previously proposed arrhythmia detection and classification algorithms by learning where the continuous data is more concentrated at the same time as learning the correlation.
  • the multi-beat detection device 200 can be used as a model for predicting the next waveform when transfer learning is performed using only the input unit and the encoding part by removing the classification part after pre-training.
  • the multi-beat detection device 200 is combined with the output value of the encoding unit and another deep learning-based model, it can be used as a clinical decision support system.
  • the bidirectional LSTM unit 240 of the multi-beat detection device 200 determines whether the cell values (sets) have any correlation while going forward and backward as input values (S1, S2, S3, S4... Sn) and finally decide on the label.
  • the bi-directional LSTM unit 240 of the multi-beat detection device 200 determines whether the cell values (sets) change between adjacent next beats over time while forwarding the input values (S1, S2, S3, S4... Sn). extract features for The bidirectional LSTM unit 240 of the multi-beat detection device 200 determines whether the cell values (sets) change between neighboring previous beats over time while the input values (S1, S2, S3, S4...Sn) are forwarded. and features for errors are extracted.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Fuzzy Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)

Abstract

심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법 및 장치를 개시한다. 본 실시예는 각각의 심전도 파형의 전역 특징을 추출하고, 추출된 전역 특징들을 입력 벡터로 이용하여, 각각의 특징들의 기여도를 고려한 가중 특징 매트릭스에 어텐션 메커니즘을 적용하여 연속적인 심전도의 전역 특징들의 패턴을 추출 및 학습하여 다중 박동을 검출하도록 하는 심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법 및 장치를 제공한다.

Description

심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법 및 장치
본 발명의 일 실시예는 심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
일반적인 부정맥 검출 및 분류 알고리즘은 다양한 형태로 개발되었다.
CNN(Convolutional Neural Network) 기반 알고리즘은 파형 하나만을 보고 지역 정보만을 학습하는 알고리즘을 의미한다. CNN 알고리즘은 다양한 평가 척도에서 95% 이상의 높은 성능을 보였지만, 정상 파형과 비슷한 형태로 연속적으로 나타나는 이상파형의 경우 연속적인 패턴과 전역적인 패턴을 고려하지 않았기 때문에 성능이 감소하는 상황이 발생한다.
CNN 알고리즘은 연속적인 데이터들을 입력부로 구성하여 CNN 기반 훈련 및 추론을 진행하였을 때, 지역적 특징들만을 추출한 후 해당 패턴만을 학습하기 때문에 연속적인 관계성을 학습하는데 문제점이 발생한다.
LSTM(Long Short Term Memory) 기반 알고리즘은 CNN 기반 알고리즘의 연속적 관계성을 학습하지 못하는 문제점을 극복하기 위해 제안되었다. 하지만, LSTM 알고리즘은 입력 길이가 길어지면 관련된 요소가 멀리 떨어져 있는 경우 입력 심전도의 각 샘플의 장기 의존성이 발생하여 각 샘플끼리의 연속적 관계성을 학습하지 못하게 된다.
전술한 장기의존성을 극복하기 위해 많은 수의 LSTM을 구성할 경우, 파라미터(Parameter) 수의 증가로 학습 및 추론 속도가 느려지게 되는 문제가 있는다. 종래의 딥러닝 기반 박동 검출 및 분류 알고리즘은 하나의 입력에 하나의 결과만을 출력하여, 하나의 입력에 여러 박동이 존재할 때, 여러 개의 이상박동을 검출하고 분류하지 못하는 문제점이 있다.
본 실시예는 각각의 심전도 파형의 전역 특징을 추출하고, 추출된 전역 특징들을 입력 벡터로 이용하여, 각각의 특징들의 기여도를 고려한 가중 특징 매트릭스에 어텐션 메커니즘을 적용하여 연속적인 심전도의 전역 특징들의 패턴을 추출 및 학습하여 다중 박동을 검출하도록 하는 심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법 및 장치를 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 연속적인 심박동 데이터로부터 복수의 박동 데이터를 입력하는 다중 입력부; 상기 복수의 박동 데이터 각각마다 전역 특징(Global Feature)를 추출하는 전역 특징 추출부; 상기 전역 특징에 대한 위치 정보를 결합하여 인코딩한 어텐션 데이터를 생성하는 어텐션 블럭부; 상기 어텐션 데이터를 양방향(Bidirectional) LSTM(Long Short Term Memory)을 수행한 양방향 LSTM 결과값을 출력하는 양방향 LSTM부; 및 상기 양방향 LSTM 결과값을 기반으로 다중 입력별로 상기 위치 정보를 확인하여 분류를 수행하는 분류부;를 포함하는 것을 특징으로 하는 다중 박동 검출 장치를 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 각각의 심전도 파형의 전역 특징을 추출하고, 추출된 전역 특징들을 입력 벡터로 이용하여, 각각의 특징들의 기여도를 고려한 가중 특징 매트릭스에 어텐션 메커니즘을 적용하여 연속적인 심전도의 전역 특징들의 패턴을 추출 및 학습하여 다중 박동을 검출하도록 하는 효과가 있다.
도 1은 본 실시예에 따른 바이오 신호 처리 분야에서 생체 신호 데이터 처리를 나타낸 도면이다.
도 2는 본 실시예에 따른 다중 박동 검출 장치를 나타낸 도면이다.
도 3은 본 실시예에 따른 심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법을 설명하기 위한 순서도이다.
도 4는 본 실시예에 따른 심전도 전역 특징 매트릭스를 이용한 어텐션 메커니즘 기반 부정맥 분류 모델 구조를 나타낸 도면이다.
도 5는 본 실시예에 따른 심전도 전역 특징 매트릭스의 어텐션 매트릭스 추출을 위한 모델 구조를 나타낸 도면이다.
도 6은 본 실시예에 따른 각 어텐션 매트릭스의 연속성을 파악하며 박동의 검출 및 분류 수행을 위한 양방향(Bidirectional) LSTM 구조를 나타낸 도면이다.
<도면의 주요부분에 대한 부호의 설명>
200: 다중 박동 검출 장치
210: 다중 입력부
220: 전역 특징 추출부
230: 어텐션 블럭부
240: 양방향 LSTM부
250: 분류부
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 바이오 신호 처리 분야에서 생체 신호 데이터 처리를 나타낸 도면이다.
본 실시예에 따른 다중 박동 검출 장치(200)는 바이오 신호 처리(Bio Signal Processing) 분야에서 1차원(1D) 생체신호 데이터 처리에 적용될 수 있다. 다중 박동 검출 장치(200)는 심전도 파형에 포함된 P 파형, QRS-complex(N,S,V), T 파형, 노이즈 파형을 파형 단위로 분할한다.
다중 박동 검출 장치(200)는 피부에 부착된 전극과 신체 외부의 장비에 의해 기록된 심장의 전기적 활동을 해석한 심전도 신호를 입력받는다. 다중 박동 검출 장치(200)는 심장박동의 비율과 일정함을 측정하는 심전도 신호를 이용하며, 심장의 비정상적 활동에 대한 진단이나 연구의 목적으로 사용한다.
다중 박동 검출 장치(200)는 심전도 신호를 기반으로 심장이 불규칙하게 뛰거나, 지나치게 빠르거나, 늦거나 맥박이 불규칙하게 뛰는 부정맥을 감지한다. 다중 박동 검출 장치(200)는 박동 기반의 부정맥(예컨대, 심실조기수축, 심방조기수축, 이소성 박동 등)을 검출하고 분류한다.
일반적인 박동 분류 알고리즘은 하나의 박동의 패턴만을 고려하여 어떤 박동인지를 판단하기 때문에, 심실성 이상박동과 같이 하나의 박동 패턴만으로는 정상 박동과 구분이 어렵다. 일반적인 박동 분류 알고리즘은 연속적으로 나타나는 이상박동의 경우에도 역시 연속적인 패턴을 고려하지 않아 정확한 분류가 되지 않는다.
본 실시예에 따른 다중 박동 검출 장치(200)는 복수의 박동들을 활용할 수 있도록 다중 입력부를 포함한다. 다중 박동 검출 장치(200)는 다중 박동들의 특징과 연속적인 패턴을 고려하여 이상박동과 정상박동, 연속적인 이상박동을 정확하게 분류한다. 다중 박동 검출 장치(200)는 다중 박동들의 특징과 연속적인 패턴을 기반으로 정상박동 및 이상박동의 발생 횟수 및 연속적인 이상박동의 발생 횟수를 산출한다.
도 2는 본 실시예에 따른 다중 박동 검출 장치를 나타낸 도면이다.
본 실시예에 따른 다중 박동 검출 장치(200)는 다중 입력부(210), 전역 특징 추출부(220), 어텐션 블럭부(230), 양방향 LSTM부(240), 분류부(250)를 포함한다. 다중 박동 검출 장치(200)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
다중 박동 검출 장치(200)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
도 2에 도시된 다중 박동 검출 장치(200)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
다중 입력부(210)는 연속적인 심박동 데이터를 입력받는다. 다중 입력부(210)는 R 피크(Peak) 점 정보를 포함하는 연속적인 심박동 데이터를 입력받는다. 다중 입력부(210)는 연속적인 심박동 데이터들에 시작, 끝의 위치정보를 입력받는다.
다중 입력부(210)는 연속적인 심박동 데이터들에 각 심박동의 R 피크를 기준으로 앞, 뒤에 일정 길이만큼의 각 심박동 데이터를 추출한다. 다중 입력부(210)는 각 심박동 데이터들을 입력받는다. 다중 입력부(210)는 연속적인 심박동 데이터로부터 복수의 박동 데이터를 입력받는다.
다중 입력부(210)는 연속적인 심박동 데이터로부터 R 파형에 대한 R 피크(Peak)를 확인하고, R 피크를 기준으로 앞, 뒤로 기 설정된 샘플 개수만큼을 박동으로 예상하는 길이 만큼을 복수의 박동 데이터로 추출한다.
전역 특징 추출부(220)는 다중 입력부(210) 각각에 컨볼루션 레이어(Convolution Layer)를 배치한다. 전역 특징 추출부(220)는 다중 입력부(210) 각각에 배치된 컨볼루션 레이어를 통과한 전역 특징 매트릭스를 추출한다.
전역 특징 추출부(220)는 복수의 박동 데이터 각각마다 전역 특징(Global Feature)를 추출한다. 전역 특징 추출부(220)는 복수의 박동 데이터마다 리니어 프로젝션(Linear Projection)을 수행하여 전역 특징에 대응하는 전역 특징 매트릭스를 추출한다.
어텐션 블럭부(230)는 전역 특징에 대한 위치 정보를 결합하여 인코딩한 어텐션 데이터를 생성한다. 어텐션 블럭부(230)는 전역 특징 매트릭스에 대한 전역 특징 벡터와 위치 정보 벡터를 결합한 매트릭스를 각기 다른 가중치 파라미터(Weight Parameter)와 연산을 수행하여 쿼리(Query), 키(Key), 벨류(Value)의 값을 산출한다.
어텐션 블럭부(230)는 쿼리(Query), 키(Key), 벨류(Value)의 값을 이용하여 스케일된 도트 프로덕트 어텐션(Scaled Dot Product Attention)을 수행하여 키(Key)를 연산한 후 Keu 벡터의 차원에서 루트(Root)를 취한 값으로 나눠진 값에 소프트맥스(Softmax) 연산을 수행하여 어텐션 데이터에 대응하는 어텐션 매트릭스를 생성한다.
어텐션 블럭부(230)는 스케일된 도트 프로덕트 어텐션(Scaled Dot Product Attention)을 수행한 어텐션 매트릭스를 병합하는 멀티 헤드 어텐션(Multi Head Attention)을 수행한다. 어텐션 블럭부(230)는 셀프 어텐션(Self Attention)을 수행하기 위해 사용한 전역 특징 벡터와 멀티 헤드 어텐션(Multi Head Attention)을 수행한 후 산출된 매트릭스를 더하고 노말라이제이션(Normalization)을 수행하여 어텐션 매트릭스를 생성한다.
어텐션 블럭부(230)는 멀티헤드 어텐션(Multihead Attention) 블럭, 제1 애드 및 놈(Add&Norm) 블럭, 피드 포워드(Feed Forward) 블럭, 제2 애드 및 놈(Add&Norm) 블럭을 이용하여 어텐션 매트릭스를 생성한다.
어텐션 블럭부(230)는 다중 입력별 어텐션 매트릭스를 순차(Concatenation)적으로 배치하여 양방향 LSTM부로 입력한다.
어텐션 블럭부(230)는 [수학식 1], [수학식 2]를 이용하여 위치 인코딩(Positional Encoding)을 산출한다. 어텐션 블럭부(230)는 특징 벡터의 위치를 나타내주는 pos와 특징 벡터의 차원 정보를 나타내주는 i 값을 이용하여 사인 함수와 코사인 함수를 사용한다. 어텐션 블럭부(230)는 dmodel의 하이퍼파라미터를 사용하여 최종 위치 인코딩(Positional Encoding) 값을 산출한다.
Figure PCTKR2021019751-appb-M000001
Figure PCTKR2021019751-appb-M000002
어텐션 블럭부(230)는 셀프 어텐션(Self attention)을 수행한다.
어텐션 블럭부(230)는 전역 특징 벡터와 위치 정보 벡터를 결합한 매트릭스를 각기 다른 가중치 파라미터(Weight Parameter)와 연산을 수행하여 쿼리(Query), 키(Key), 벨류(Value)의 값을 산출한다.
어텐션 블럭부(230)는 [수학식 3]에 도시된 바와 같이, 쿼리(Query), 키(Key), 벨류(Value)의 값을 이용하여 스케일된 도트 프로덕트 어텐션(Scaled Dot Product Attention)을 수행한다. 어텐션 블럭부(230)는 쿼리(Query)와 전치(Transpose)한 키(Key)를 연산한 후 Keu 벡터의 차원에서 root를 취한 값으로 나눈다. 어텐션 블럭부(230)는 나눠진 값에 softmax 연산을 수행하여 어텐션 매트릭스를 구한다.
어텐션 블럭부(230)는 [수학식 4], [수학식 5]에 도시된 바와 같이, 각 스케일된 도트 프로덕트 어텐션(Scaled Dot Product Attention)을 수행한 어텐션 매트릭스를 병합하는 멀티 헤드 어텐션(Multi Head Attention)을 수행한다.
어텐션 블럭부(230)는 처음에 셀프 어텐션(Self Attention)을 수행하기 위해 사용한 전역특징 벡터와 멀티 헤드 어텐션(Multi Head Attention)을 수행한 후 산출된 매트릭스를 더하고 노말라이제이션(Normalization)을 수행한다.
이후 어텐션 블럭부(230)는 포지션-와이즈 피드 포워드 신경망에 입력하여 출력 매트릭스를 산출한다.
Figure PCTKR2021019751-appb-M000003
Figure PCTKR2021019751-appb-M000004
Figure PCTKR2021019751-appb-M000005
양방향 LSTM부(240)는 어텐션 데이터를 양방향(Bidirectional) LSTM(Long Short Term Memory)을 수행한 양방향 LSTM 결과값을 출력한다. 양방향 LSTM부(240)는 산출된 어텐션 매트릭스들을 병합한 후, 각 시퀀스 스텝마다의 장기의존성 및 연관성을 파악하기 위해 양방향(bidirectional) LSTM를 수행한다.
양방향 LSTM부(240)는 다중 입력별로 양방향 LSTM 결과값을 포워드 시키면서 시간에 따라 이웃한 다음 박동 간의 변화 여부에 대한 특징을 추출한다. 양방향 LSTM부(240)는 다중 입력별로 양방향 LSTM 결과값을 백워드 시키면서 시간에 따라 이웃한 이전 박동 간의 변화 여부 및 오차에 대한 특징을 추출하여 양방향 LSTEM 결과값을 생성한다.
분류부(250)는 양방향 LSTM부(240)로부터 산출된 값을 도출하여 분류 정보를 출력한다. 다시 말해, 분류부(250)는 양방향 LSTM 결과값을 기반으로 다중 입력별로 위치 정보를 확인하여 분류를 수행한다.
분류부(250)는 양방향 LSTM 결과값을 N(Normal beat), S(Supraventricular ectopic beat), V(Ventricular ectopic beat), F(Fusion beat), Q(Unknown beat) 중 하나로 분류한다.
도 3은 본 실시예에 따른 심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법을 설명하기 위한 순서도이다.
다중 박동 검출 장치(200)는 심전도 신호에 포함된 각 박동의 R 피크(Peak)를 탐지한다(S310). 다중 박동 검출 장치(200)는 각 박동의 탐지된 R 피크(Peak)의 앞, 뒤 샘플의 개수만큼 각 박동을 추출한다(S320).
다중 박동 검출 장치(200)는 추출된 박동을 전역 특징 추출을 위해 컨볼루션 층에 입력한다(S330). 다중 박동 검출 장치(200)는 각 박동마다 추출된 전역 특징 매트릭스를 어텐션 블럭(Attention Block)에 투입한다(S340).
다중 박동 검출 장치(200)는 어텐션 블럭을 이용하여 생성된 매트릭스를 양방향(Bidirectional) LSTM에 투입한다(S350). 다중 박동 검출 장치(200)는 양방향 LSTM에서 각 어텐션 매트릭스들의 연속성을 파악하며 각 박동의 검출 및 분류를 수행한다(S360).
도 3에서는 단계 S310 내지 단계 S360을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 3에 기재된 본 실시예에 따른 심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
도 4는 본 실시예에 따른 심전도 전역 특징 매트릭스를 이용한 어텐션 메커니즘 기반 부정맥 분류 모델 구조를 나타낸 도면이다.
다중 박동 검출 장치(200)는 복수의 박동들의 각 특징을 이용하여 연속적인 패턴을 파악하여 각각을 정확하게 분류한다. 다중 박동 검출 장치(200)는 분류된 박동들의 발생횟수를 산출한다.
본 실시예에 따른 다중 박동 검출 장치(200)는 기존 알고리즘 구조와의 다음과 같은 차별성을 갖는다.
① 다중 박동 검출 장치(200)는 다중 입력 구조를 갖는다.
② 다중 박동 검출 장치(200)는 다중 입력에서 통과된 각 박동 데이터를 이용하여 전역 특징(Global Feature)을 추출한다.
③ 다중 박동 검출 장치(200)는 추출된 전역 특징(Global Feature)를 변환(Transformer)구조를 차용한 어텐션 블럭 연산을 통한 각 전역 특징 내에 기여도를 계산하여 가중치를 고려한 가중 전역 특징 매트릭스를 추출한다.
④ 다중 박동 검출 장치(200)는 각각 생성된 가중 특징 매트릭스들을 합친 후 양방향 LSTM을 이용하여 합쳐진 매트릭스들의 연속성 파악한다.
⑤ 다중 박동 검출 장치(200)는 연속성이 파악된 특징 매트릭스를 원래 입력된 위치 정보를 활용하여 각각을 분류(Classification)한다.
다중 박동 검출 장치(200)는 심전도 파형에 포함된 P 파형, QRS-complex(N,S,V), T 파형들 중 R 피크를 추출한다. 다중 박동 검출 장치(200)는 R 피크를 기준으로 앞,뒤로 기 설정된 마진만큼을 추출한다. 다중 박동 검출 장치(200)는 R 피크를 기준으로 앞, 뒤 샘플의 개수만큼 박동이라고 예상되는 위치 만큼의 시그널 값을 추출한다. 다중 박동 검출 장치(200)는 R 피크를 이용해서 심전도 파형에서 앞,뒤로 동일한 마진으로 추출해서 n개까지를 다중 입력(예컨대, S1, S2, S3, S4... Sn)으로 입력한다.
다중 박동 검출 장치(200)는 다중 입력(예컨대, S1, S2, S3, S4... Sn)마다 컨볼루션 네트워크를 배치하여 전역 특징을 추출한다. 다중 박동 검출 장치(200)는 다중 입력(예컨대, S1, S2, S3, S4... Sn)마다 리니어 프로젝션(Linear Projection)을 적용한 결과값을 출력한다. 다중 박동 검출 장치(200)는 어텐션 블럭을 이용하여 리니어 프로젝션(Linear Projection)을 적용한 결과값으로부터 전역 특징을 추출한다.
다중 박동 검출 장치(200)는 S1이 입력되면, S1에 대한 리니어 프로젝션과 어텐션 블럭을 거쳐서 전역 특징이 강조된 S`1으로 변형하여 출력한다. 다시 말해, 다중 박동 검출 장치(200)는 각 특징들의 강도를 곱하여 매트릭스로 출력한다. 다중 박동 검출 장치(200)는 대표 특징을 순차(Concatenation)적으로 배치한다.
다중 박동 검출 장치(200)는 순차적으로 배치된 대표 특징에 대한 양방향 LSTM을 수행한다. 다중 박동 검출 장치(200)는 매트릭스들을 일렬로 배치한 후 어떤 시간적인 관계를 갖는지를 확인한다.
다중 박동 검출 장치(200)는 양방향 LSTM을 수행한 결과값을 기반으로 다중 입력별로 분류를 수행한다. 다시 말해, 다중 박동 검출 장치(200)는 양방향 LSTM을 수행한 결과값을 기반으로 위치점을 확인하여 다중 입력별로 분류를 수행한다. 다중 박동 검출 장치(200)는 박동을 N(Normal beat), S(Supraventricular ectopic beat), V(Ventricular ectopic beat), F(Fusion beat), Q(Unknown beat)로 분류한다.
도 5는 본 실시예에 따른 심전도 전역 특징 매트릭스의 어텐션 매트릭스 추출을 위한 모델 구조를 나타낸 도면이다.
어텐션 매트릭스 추출을 위한 모델 구조는 멀티헤드 어텐션(Multihead Attention) 블럭, 제1 애드 및 놈(Add&Norm) 블럭, 피드 포워드(Feed Forward) 블럭, 제2 애드 및 놈(Add&Norm) 블럭을 포함한다.
멀티헤드 어텐션 블럭은 박동 데이터에 대응하는 1×N 매트릭스를 M×1 매트릭스로 변환한 값을 기반으로 N×M 매트릭스를 생성한다. 멀티헤드 어텐션(Multihead Attention) 블럭은 예컨대, 1×60 매트릭스가 복수 개 입력되면, 리니어 프로젝션 블럭을 거쳐서 60×1 매트릭스로 변환한다. 멀티헤드 어텐션 블럭은 1×60 매트릭스와 60×1 매트릭스를 기반으로 60×60 매트릭스를 생성한다.
제1 애드 및 놈 블럭은 N×M 매트릭스에 정보의 손실을 방지하기 위해 1×N 매트릭스를 더한 상태에서 노말라이제이션(Normalization) 시킨다. 예컨대, 제1 애드 및 놈 블럭은 60×60 매트릭스에 정보의 손실을 방지하기 위해 입력값(1×60 매트릭스)을 더한 상태에서 노말라이제이션(Normalization) 시킨다.
피드 포워드 블럭은 노말라이제이션된 값으로부터 특징값을 추출한 특징 매트릭스를 생성한다. 다시 말해, 피드 포워드 블럭은 노말라이제이션된 값으로부터 특징을 강조하기 위한 어텐션 매트릭스를 생성한다.
제2 애드 및 놈 블럭은 어텐션 매트릭스에 정보의 손실을 방지하기 위해 노말라이제이션된 N×M 매트릭스를 더한 상태에서 노말라이제이션하여 1×N 매트릭스로 어텐션 매트릭스를 출력한다. 예컨대, 제2 애드 및 놈 블럭은 특징 매트릭스에 정보의 손실을 방지하기 위해 입력값(노말라이제이션된 60×60 매트릭스)을 더한 상태에서 노말라이제이션(Normalization) 시켜서 1×60 매트릭스로 결과값을 출력한다.
도 6은 본 실시예에 따른 각 어텐션 매트릭스의 연속성을 파악하며 박동의 검출 및 분류 수행을 위한 양방향(Bidirectional) LSTM 구조를 나타낸 도면이다.
다중 박동 검출 장치(200)는 다음 파형을 예측하는 모델로 확장 가능하다. 다중 박동 검출 장치(200)는 기 학습된 인코딩부와 다른 딥러닝 기반모델과 결합한 임상 의사 결정 지원 시스템(Clinical Decision Support System)으로 확장 가능하다. 다중 박동 검출 장치(200)는 가 분류 카테고리로 확장 가능하다.
다중 박동 검출 장치(200)는 각 심박동의 전역 특징을 입력으로 사용한 어텐션 메커니즘을 기반으로 각 심박동의 전역 특징 간 여러 어텐션 방법을 적용하여 각 심박동 간 연관성을 학습할 수 있다.
다중 박동 검출 장치(200)는 연관성 학습과 동시에 연속적인 데이터에 어느 곳에 더 집중이 되는지를 학습하여 기존 제안된 부정맥 검출 및 분류 알고리즘보다 정확도를 높일 수 있다.
다중 박동 검출 장치(200)는 사전 학습(Pre-Training) 후 분류(Classification) 부분을 제거하여 입력부와 인코딩 부분만을 사용하여 전이학습을 진행할 경우 다음 파형을 예측하는 모델로 활용이 가능하다. 다중 박동 검출 장치(200)는 인코딩부의 출력값과 다른 딥러닝 기반 모델과 결합할 경우, 임상 의사 결정 지원 시스템(Clinical Decision Support System)으로도 활용이 가능하다.
다중 박동 검출 장치(200)의 양방향 LSTM부(240)는 셀 값(집합)들이 입력값(S1, S2, S3, S4... Sn)으로 포워드와 백워드를 거치면서 어떠한 연관성을 갖는지의 여부를 파악하고, 최종적으로 라벨을 결정하게 된다.
다중 박동 검출 장치(200)의 양방향 LSTM부(240)는 셀 값(집합)들이 입력값(S1, S2, S3, S4... Sn)들이 포워드 시키면서 시간에 따라 이웃한 다음 박동 간의 변화 여부에 대한 특징을 추출한다. 다중 박동 검출 장치(200)의 양방향 LSTM부(240)는 셀 값(집합)들이 입력값(S1, S2, S3, S4... Sn)들이 백워드 시키면서 시간에 따라 이웃한 이전 박동 간의 변화 여부 및 오차에 대한 특징을 추출한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

  1. 연속적인 심박동 데이터로부터 복수의 박동 데이터를 입력받는 다중 입력부;
    상기 복수의 박동 데이터 각각마다 전역 특징(Global Feature)를 추출하는 전역 특징 추출부;
    상기 전역 특징에 대한 위치 정보를 결합하여 인코딩한 어텐션 데이터를 생성하는 어텐션 블럭부;
    상기 어텐션 데이터를 양방향(Bidirectional) LSTM(Long Short Term Memory)을 수행한 양방향 LSTM 결과값을 출력하는 양방향 LSTM부; 및
    상기 양방향 LSTM 결과값을 기반으로 다중 입력별로 상기 위치 정보를 확인하여 분류를 수행하는 분류부;
    를 포함하는 것을 특징으로 하는 다중 박동 검출 장치.
  2. 제1항에 있어서,
    상기 다중 입력부는,
    상기 연속적인 심박동 데이터로부터 R 파형에 대한 R 피크(Peak)를 확인하고, 상기 R 피크를 기준으로 앞, 뒤로 기 설정된 샘플 개수만큼을 박동으로 예상하는 길이 만큼을 상기 복수의 박동 데이터로 추출하는 것을 특징으로 하는 다중 박동 검출 장치.
  3. 제1항에 있어서,
    상기 전역 특징 추출부는,
    상기 복수의 박동 데이터마다 리니어 프로젝션(Linear Projection)을 수행하여 상기 전역 특징에 대응하는 전역 특징 매트릭스를 추출하는 것을 특징으로 하는 다중 박동 검출 장치.
  4. 제3항에 있어서,
    상기 어텐션 블럭부는,
    상기 전역 특징 매트릭스에 대한 전역 특징 벡터와 위치 정보 벡터를 결합한 매트릭스를 각기 다른 가중치 파라미터(Weight Parameter)와 연산을 수행하여 쿼리(Query), 키(Key), 벨류(Value)의 값을 산출하는 것을 특징으로 하는 다중 박동 검출 장치.
  5. 제4항에 있어서,
    상기 어텐션 블럭부는,
    상기 쿼리(Query), 상기 키(Key), 상기 벨류(Value)의 값을 이용하여 스케일된 도트 프로덕트 어텐션(Scaled Dot Product Attention)을 수행하여 키(Key)를 연산한 후 Keu 벡터의 차원에서 루트(Root)를 취한 값으로 나눠진 값에 소프트맥스(Softmax) 연산을 수행하여 상기 어텐션 데이터에 대응하는 어텐션 매트릭스를 생성하는 것을 특징으로 하는 다중 박동 검출 장치.
  6. 제5항에 있어서,
    상기 어텐션 블럭부는,
    상기 스케일된 도트 프로덕트 어텐션(Scaled Dot Product Attention)을 수행한 상기 어텐션 매트릭스를 병합하는 멀티 헤드 어텐션(Multi Head Attention)을 수행하고, 셀프 어텐션(Self Attention)을 수행하기 위해 사용한 전역 특징 벡터와 멀티 헤드 어텐션(Multi Head Attention)을 수행한 후 산출된 매트릭스를 더하고 노말라이제이션(Normalization)을 수행하여 상기 어텐션 매트릭스를 생성하는 것을 특징으로 하는 다중 박동 검출 장치.
  7. 제5항에 있어서,
    상기 어텐션 블럭부는,
    멀티헤드 어텐션(Multihead Attention) 블럭, 제1 애드 및 놈(Add&Norm) 블럭, 피드 포워드(Feed Forward) 블럭, 제2 애드 및 놈(Add&Norm) 블럭을 이용하여 상기 어텐션 매트릭스를 생성하는 것을 특징으로 하는 다중 박동 검출 장치.
  8. 제5항에 있어서,
    상기 멀티헤드 어텐션 블럭은,
    상기 박동 데이터에 대응하는 1×N 매트릭스를 M×1 매트릭스로 변환한 값을 기반으로 N×M 매트릭스를 생성하는 것을 특징으로 하는 다중 박동 검출 장치.
  9. 제8항에 있어서,
    상기 제1 애드 및 놈 블럭은,
    상기 N×M 매트릭스에 정보의 손실을 방지하기 위해 상기 1×N 매트릭스를 더한 상태에서 노말라이제이션(Normalization) 시키는 것을 특징으로 하는 다중 박동 검출 장치.
  10. 제9항에 있어서,
    상기 피드 포워드 블럭은,
    상기 노말라이제이션된 값으로부터 특징을 강조하기 위한 상기 어텐션 매트릭스를 생성하는 것을 특징으로 하는 다중 박동 검출 장치.
  11. 제10항에 있어서,
    상기 제2 애드 및 놈 블럭은,
    상기 어텐션 매트릭스에 정보의 손실을 방지하기 위해 노말라이제이션된 N×M 매트릭스를 더한 상태에서 노말라이제이션하여 1×N 매트릭스로 상기 어텐션 매트릭스를 출력하는 것을 특징으로 하는 다중 박동 검출 장치.
  12. 제5항에 있어서,
    상기 어텐션 블럭부는,
    다중 입력별 상기 어텐션 매트릭스를 순차(Concatenation)적으로 배치하여 상기 양방향 LSTM부로 입력하는 것을 특징으로 하는 다중 박동 검출 장치.
  13. 제5항에 있어서,
    상기 양방향 LSTM 부는,
    다중 입력별로 상기 양방향 LSTM 결과값을 포워드 시키면서 시간에 따라 이웃한 다음 박동 간의 변화 여부에 대한 특징을 추출하고, 다중 입력별로 상기 양방향 LSTM 결과값을 백워드 시키면서 시간에 따라 이웃한 이전 박동 간의 변화 여부 및 오차에 대한 특징을 추출하여 상기 양방향 LSTEM 결과값을 생성하는 것을 특징으로 하는 다중 박동 검출 장치.
  14. 제1항에 있어서,
    상기 분류부는,
    상기 양방향 LSTM 결과값을 N(Normal beat), S(Supraventricular ectopic beat), V(Ventricular ectopic beat), F(Fusion beat), Q(Unknown beat) 중 하나로 분류하는 것을 특징으로 하는 다중 박동 검출 장치.
PCT/KR2021/019751 2021-12-21 2021-12-23 심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법 및 장치 WO2023120777A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/274,723 US20240037369A1 (en) 2021-12-21 2021-12-23 Method and apparatus for multiple-beat detection using electrocardiogram global feature vectors

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210184201A KR102437350B1 (ko) 2021-12-21 2021-12-21 심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법 및 장치
KR10-2021-0184201 2021-12-21

Publications (1)

Publication Number Publication Date
WO2023120777A1 true WO2023120777A1 (ko) 2023-06-29

Family

ID=83113709

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/019751 WO2023120777A1 (ko) 2021-12-21 2021-12-23 심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법 및 장치

Country Status (3)

Country Link
US (1) US20240037369A1 (ko)
KR (1) KR102437350B1 (ko)
WO (1) WO2023120777A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102641399B1 (ko) * 2023-03-20 2024-02-28 충북대학교병원 클라우드 기반의 수술 중 신경생리학적 모니터링 서비스를 지원하는 시스템
CN116350199B (zh) * 2023-05-31 2023-08-18 合肥心之声健康科技有限公司 一种动态心电图心搏模板生成方法及系统
CN116647946B (zh) * 2023-07-27 2023-10-13 济宁九德半导体科技有限公司 基于半导体的加热控制系统及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200055582A (ko) * 2018-11-13 2020-05-21 (주)보템 심전도 신호 진단 파라미터 추출 디바이스 및 추출 방법
KR20200071183A (ko) * 2018-12-10 2020-06-19 순천향대학교 산학협력단 심층 신경망을 이용한 부정맥 분류 시스템 및 방법
KR20200109754A (ko) * 2019-03-14 2020-09-23 서울시립대학교 산학협력단 심장 박동의 타입을 분류하는 방법 및 이를 이용한 장치
KR20210075545A (ko) * 2019-12-13 2021-06-23 조선대학교산학협력단 심전도 신호로부터 생체 인식을 위한 특징 벡터 추출 방법 및 그 특징 벡터를 이용한 개인 식별 방법.
KR20210085867A (ko) * 2019-12-31 2021-07-08 광운대학교 산학협력단 사용자의 혈압을 추정하기 위한 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102318775B1 (ko) * 2018-08-13 2021-10-28 한국과학기술원 강화학습을 이용한 적응형 뇌파 분석 방법 및 장치
KR102370622B1 (ko) * 2019-10-18 2022-03-08 고려대학교 산학협력단 심층학습에 기반한 신호 압축 시스템 및 방법
KR102275436B1 (ko) * 2020-01-20 2021-07-09 인하대학교 산학협력단 실시간 감정인식을 위한 영상 및 eeg 신호의 융합 기술

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200055582A (ko) * 2018-11-13 2020-05-21 (주)보템 심전도 신호 진단 파라미터 추출 디바이스 및 추출 방법
KR20200071183A (ko) * 2018-12-10 2020-06-19 순천향대학교 산학협력단 심층 신경망을 이용한 부정맥 분류 시스템 및 방법
KR20200109754A (ko) * 2019-03-14 2020-09-23 서울시립대학교 산학협력단 심장 박동의 타입을 분류하는 방법 및 이를 이용한 장치
KR20210075545A (ko) * 2019-12-13 2021-06-23 조선대학교산학협력단 심전도 신호로부터 생체 인식을 위한 특징 벡터 추출 방법 및 그 특징 벡터를 이용한 개인 식별 방법.
KR20210085867A (ko) * 2019-12-31 2021-07-08 광운대학교 산학협력단 사용자의 혈압을 추정하기 위한 장치 및 방법

Also Published As

Publication number Publication date
US20240037369A1 (en) 2024-02-01
KR102437350B1 (ko) 2022-08-29

Similar Documents

Publication Publication Date Title
WO2023120777A1 (ko) 심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법 및 장치
WO2020141807A2 (ko) 딥러닝을 이용한 정상동율동 심전도 상태에서의 발작성 심방세동 예측방법
Murugesan et al. Ecgnet: Deep network for arrhythmia classification
Diker et al. A new technique for ECG signal classification genetic algorithm Wavelet Kernel extreme learning machine
Wang et al. ECG arrhythmias detection using auxiliary classifier generative adversarial network and residual network
WO2022145519A1 (ko) 딥러닝을 이용한 심전도 시각화 방법 및 장치
WO2022014942A1 (ko) 딥러닝 기반 심전도를 이용한 심장 질환 진단 장치 및 그 방법
Zhang et al. Automated detection of cardiovascular disease by electrocardiogram signal analysis: a deep learning system
WO2022014943A1 (ko) 생성적 적대 신경망 알고리즘을 기반으로 하는 심전도 생성 장치 및 그 방법
WO2022059969A1 (ko) 심전도 데이터 분류를 위한 심층 신경망 사전 학습 방법
WO2023120775A1 (ko) 심전도 판독을 수정하기 위한 방법 및 장치
WO2021096162A1 (ko) 심장신호 처리장치 및 방법, 이를 포함하는 모니터링 시스템
CN111657925A (zh) 基于机器学习的心电信号分类方法、系统、终端以及存储介质
Cheng et al. Multi-label arrhythmia classification from fixed-length compressed ECG segments in real-time wearable ECG monitoring
Jyotishi et al. An attentive spatio-temporal learning-based network for cardiovascular disease diagnosis
Feng et al. Deep multi-label multi-instance classification on 12-lead ECG
WO2020061987A1 (zh) 多导联联合心电图分类方法
CN112957052B (zh) 一种基于nlf-cnn导联融合深度网络的多导联心电信号分类方法
Irfan et al. Deep learning based classification for healthcare data analysis system
WO2022014941A1 (ko) 딥러닝을 기반으로 하는 심장 질병 분류 장치 및 그 방법
CN114366116B (zh) 一种基于Mask R-CNN网络及心电图的参数获取方法
Nithya et al. Deep learning model for arrhythmia classification with 2D convolutional neural network
WO2022154161A1 (ko) 딥러닝 기반의 뇌파 특징량 정규화 시스템 및 방법
Zhang et al. Multi-period attention for automatic ecg classification
Cheng et al. Multi-label arrhythmia classification using 12-lead ECG based on lead feature guide network

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 18274723

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21969141

Country of ref document: EP

Kind code of ref document: A1