WO2020004369A1 - 心電図画像を用いた機械学習による心電図診断装置 - Google Patents

心電図画像を用いた機械学習による心電図診断装置 Download PDF

Info

Publication number
WO2020004369A1
WO2020004369A1 PCT/JP2019/025098 JP2019025098W WO2020004369A1 WO 2020004369 A1 WO2020004369 A1 WO 2020004369A1 JP 2019025098 W JP2019025098 W JP 2019025098W WO 2020004369 A1 WO2020004369 A1 WO 2020004369A1
Authority
WO
WIPO (PCT)
Prior art keywords
electrocardiogram
diagnosis
diagnostic
output
image data
Prior art date
Application number
PCT/JP2019/025098
Other languages
English (en)
French (fr)
Inventor
浩輝 森
善浩 村垣
央 杉山
Original Assignee
学校法人東京女子医科大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 学校法人東京女子医科大学 filed Critical 学校法人東京女子医科大学
Publication of WO2020004369A1 publication Critical patent/WO2020004369A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present invention relates to an electrocardiogram diagnostic device by machine learning using an electrocardiogram image. More specifically, a long-term short-term memory (Long Short-Term) is an extension of a convolutional neural network (hereinafter, CNN) and a recurrent neural network (Recurrent Neural Network; hereinafter, RNN) using electrocardiogram image data.
  • the present invention relates to an apparatus, a system, and a program for learning LSTM) and diagnosing an electrocardiogram using the learned CNN and LSTM.
  • Electrocardiogram is an essential test item for diagnosis and treatment of cardiovascular disease. At present, automatic interpretation of findings is output, but in practice, information has not been provided so as to withstand clinical use, and thus interpretation by a doctor is required.
  • FIG. 10 shows an outline of a conventional electrocardiogram inspection method.
  • a general ECG examination is performed using an ECG examination apparatus while lying on a bed and resting.
  • An electrocardiography apparatus can record an electrocardiogram (electrocardiogram waveform) in 12 channels (lead) in order to examine the heart from various directions and angles.
  • the ECG is recorded as an electric signal and an image.
  • a numerical value based on the amplitude of the waveform or the like is obtained from the recorded electric signal, and the numerical value is compared with a preset threshold to automatically obtain a matching finding. That is, in the automatic interpretation of the electrocardiogram examination apparatus itself, a finding that matches a preset measurement value (threshold) is output.
  • the obtained findings include findings that are not necessarily pathological (for example, when the right foot block (leading) is incomplete), so that the obtained findings and the electrocardiogram image are finally obtained. It is common for doctors to make a final decision. That is, in the conventional electrocardiogram interpretation, a doctor makes a judgment by pattern recognition based on electrical analysis and image analysis.
  • Patent Document 1 CNN and LSTM, which are widely used as technologies related to artificial intelligence, are used in a biological information analyzer for analyzing biological information of a subject, respectively. It is used for convolution operation and time series integration operation.
  • Non-Patent Document 1 As a conventional example of an electrocardiogram diagnosis support method, in “Study on normal / abnormal determination of electrocardiogram waveform using deep learning” (Non-Patent Document 1), a learning stage is divided into two stages and a two-stage learning model is generated. A method has been proposed. The conventional example employs two-stage learning. In the first stage, normal / abnormal labels based on Minnesota codes automatically assigned are used as learning data for each of the two-dimensional waveform images of the 12 types of leads of the electrocardiogram. Then, a normal / abnormal judgment model is learned by deep learning using a convolutional neural network. In the second stage, ensemble learning is performed by setting the binary values output from the convolutional neural network as a set of 12 types of guidance for each case.
  • a binary classification model that outputs normal or abnormal is learned using the presence or absence of an abnormality (that is, a finding) in the rule-based Minnesota code as learning data. Since it only outputs whether or not the waveform of the electrocardiogram image indicates an abnormality, it does not exceed the judgment of the doctor prior to the finding, which determines the actual diagnosis name (disease name, disease name, etc.). Further, in the conventional example, the “abnormality” in the electrocardiogram determination may not always coincide with the “true abnormality” indicating that there is a disease.
  • diagnosis names normal, plural disease names (disease names)
  • diagnosis names are recorded on an electrocardiogram image obtained by imaging the waveforms of 12 types of electrical signals obtained from the electrocardiogram inspection apparatus.
  • a model capable of outputting a disease name or the like besides normal is learned by machine learning such as CNN and LSTM, and the learned model (hereinafter, also referred to as a diagnostic model) is actually used.
  • an electrocardiogram diagnostic device By giving the electrocardiogram image obtained in the examination of the above, it is possible to calculate the probability of each diagnosis name (normal, multiple disease names) that can be read from the electrocardiogram image and output the suspected disease name (disease name)
  • an electrocardiogram diagnostic device By giving the electrocardiogram image obtained in the examination of the above, it is possible to calculate the probability of each diagnosis name (normal, multiple disease names) that can be read from the electrocardiogram image and output the suspected disease name (disease name)
  • an electrocardiogram diagnostic device a system, and a program (hereinafter, an electrocardiogram diagnostic device and the like) that can be performed.
  • the electrocardiogram diagnostic apparatus and the like of the present invention inputs a two-dimensional waveform image of 12 kinds of leads of an electrocardiogram to which a diagnosis name is added as a teacher data to a machine learning algorithm (CNN, LSTM, or the like).
  • a learned model (diagnosis model) can be generated.
  • the electrocardiogram diagnostic apparatus of the present invention uses the two-dimensional waveform image of 12 types of leads of the actual electrocardiogram as “presence or absence of abnormalities” instead of “presence or absence of abnormal findings” as in the above-described conventional example.
  • the diagnosis model can be input to provide a diagnosis name read from the electrocardiogram along with a probability.
  • An image input unit for receiving electrocardiogram image data A diagnostic unit that receives the electrocardiogram image data and has a diagnostic model that outputs an output value including at least a diagnosis name and a probability corresponding to the diagnosis name, Including a diagnostic result output unit that notifies an output obtained from the diagnostic model,
  • the diagnostic model is generated by performing machine learning using teacher data that is the electrocardiogram image data with a diagnosis name,
  • the teacher data with the diagnosis name is divided into a plurality of waveform image data respectively corresponding to a plurality of leads in the electrocardiogram,
  • new electrocardiogram image data other than the teacher data is input to the diagnosis model, a plurality of diagnosis names and a probability matrix representing a probability corresponding to each of the plurality of diagnosis names are output.
  • the machine learning performs a convolution operation including a process of applying a filter while moving the filter to each of the plurality of pieces of waveform image data composed of a large number of pixels arranged in a two-dimensional manner.
  • the diagnostic model is generated by performing an integration operation for integrating each output obtained for each of the waveform image data.
  • the diagnosis unit further includes a convolution unit and an integration unit,
  • the convolution operation is performed by the convolution unit
  • the integration operation is performed by the integration unit.
  • the convolution unit includes a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the integration unit includes a recurrent neural network (RNN).
  • RNN recurrent neural network
  • the integration unit includes a long-term short-term memory (LSTM).
  • LSTM long-term short-term memory
  • Each output obtained for each of the plurality of waveform image data by the convolution operation includes a probability matrix for each of the plurality of leads in the electrocardiogram.
  • the integration unit includes a first module group including a plurality of first modules and a second module group including a plurality of second modules.
  • the first module group connects the plurality of first modules in a row with a weighted link in one direction
  • the second module group connects the plurality of second modules in a line with a weighted link in a direction opposite to the one direction
  • the integration operation may be performed by combining a first probability matrix obtained from each first module of the first module group and a second probability matrix obtained from each second module of the second module group with a plurality of And calculating an average of the first probability matrix and the second probability matrix for each of the derivations to calculate an average probability matrix.
  • the integration unit applies an activation function to the average probability matrix, and finally obtains an output obtained from the diagnostic model.
  • the plurality of leads in the electrocardiogram are characterized by comprising 12 types of leads.
  • the plurality of leads in the electrocardiogram are characterized by comprising four types of leads.
  • the activation function is a sigmoid function or a softmax function.
  • the computer-executed program causes the computer to function as any one of the electrocardiogram diagnosis apparatuses.
  • the electrocardiogram diagnosis system includes an electrocardiogram inspection device that acquires an electrocardiogram image from a subject, and a computer that executes the program.
  • the electrocardiogram diagnosis apparatus uses a diagnosis model generated by performing machine learning including convolution operation and integration operation using electrocardiogram image data with a diagnosis name as teacher data for diagnosis of an electrocardiogram image. This makes it possible to make a diagnosis instead of a finding from an electrocardiogram image, to assist a doctor in diagnosing, and to simplify the screening work.
  • the electrocardiogram diagnosis apparatus by using the electrocardiogram diagnosis apparatus according to the present invention, a high pre-test probability or a correct diagnosis rate (probability of correctly diagnosing) of a suspected disease name can be obtained at a stage prior to a doctor's judgment, so that the electrocardiogram test and subsequent steps can be performed.
  • the electrocardiogram diagnostic apparatus according to the present invention for screening such as medical examinations it is possible to efficiently and economically interpret a huge amount of electrocardiogram images, thereby affecting personnel costs, doctor's experience and fatigue. It is possible to reduce the variation in the screening accuracy due to the difference in the reading ability.
  • FIG. 3 is a diagram illustrating a relationship between LSTM modules.
  • FIG. 1 is an internal configuration diagram of a computer that executes a learning program of an electrocardiogram diagnostic device according to an embodiment of the present invention. It is a figure which shows the outline
  • FIG. 1 shows the concept of an electrocardiogram diagnosis apparatus based on machine learning using electrocardiogram images.
  • an electrocardiogram waveform of a subject is measured by an electrocardiogram test device.
  • the electrocardiogram measuring device can record the measured electrocardiographic waveform of the subject as electrocardiogram image data in addition to recording the electrocardiographic waveform as an electric signal.
  • the electrocardiogram image data recorded by the electrocardiogram examination apparatus can be stored as a file in a storage device such as a hard disk of the computer 10.
  • the electrocardiogram diagnosis apparatus 100 has a computer 10 executing an electrocardiogram diagnosis program.
  • the electrocardiogram diagnosis apparatus 100 operates in two phases: a phase for learning a diagnostic model (hereinafter referred to as a learning phase) and a phase for applying a diagnostic model and outputting a diagnosis result (hereinafter referred to as a diagnostic phase). it can.
  • the electrocardiogram diagnosis apparatus 100 prepares a diagnosis name (eg, “normal”, “disease A”, “disease B”, “disease C”, etc.) that is correct in the electrocardiogram image data as a preparation stage for the electrocardiogram diagnosis.
  • a diagnosis name eg, “normal”, “disease A”, “disease B”, “disease C”, etc.
  • And machine learning can be performed using the electrocardiogram image data with the diagnosis name as teacher data, and a diagnosis model in which the CNN and the LSTM are connected can be generated. Then, in the diagnosis phase, the electrocardiogram diagnosis apparatus 100 inputs the electrocardiogram image data newly obtained from the subject into the learned diagnosis model, and diagnoses the “suspicious disease name” with the probability corresponding to the disease name. The result can be output.
  • the computer 10 has a general hardware configuration, for example, an internal configuration as shown in FIG. FIG. 9 shows an internal configuration of a computer that executes a learning program of the electrocardiogram diagnostic device according to one embodiment of the present invention.
  • the computer 10 includes a control unit 11, an input device 12, a storage device 13, a media input / output device 14, a peripheral device I / F (interface) 15, a communication I / F 16, a display device 17, and the like connected via a bus 19. Be composed.
  • the computer 10 may be provided with a GPU (Graphics Processing Unit) 18 which is an arithmetic unit for image processing.
  • GPU Graphics Processing Unit
  • the control unit 11 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • the control unit 11 calls a program stored in a storage device 13, a ROM, a recording medium (media) or the like into a work memory area on a RAM, executes the program, and controls driving of each unit connected via a bus 19.
  • the ROM permanently stores programs such as a boot program of the computer 10 and a BIOS, data, and the like.
  • the RAM temporarily stores the loaded programs and data, and includes a work area used by the control unit 11 to perform various processes described below.
  • the control unit 11 executes a learning process, a diagnosis process, and the like illustrated in FIG. 5 according to a processing program stored in the storage device 13.
  • Various processing programs related to the electrocardiogram diagnosis may be stored in the storage device 13 or the ROM of the computer 10 in advance, or may be downloaded via a network or the like and stored in the storage device 13 or the like. Details of the various processing programs will be described later.
  • various programs related to the electrocardiogram diagnosis are stored in the storage device 13, and these programs are read out by the control unit 11 as needed and stored in the RAM. It is transferred to the CPU and read and executed.
  • the computer 10 can function as the electrocardiogram diagnostic device 100. Further, at least a part of the function of the electrocardiogram diagnosis apparatus 100 can be implemented in hardware by an application specific integrated circuit (ASIC) or the like.
  • ASIC application specific integrated circuit
  • the input device 12 is, for example, a pointing device such as a keyboard, a mouse, a touch panel, and a tablet, and an input device such as a numeric keypad, and outputs input data to the control unit 11.
  • the storage device 13 is an HDD (hard disk drive) or the like, and stores a program executed by the control unit 11, data necessary for executing the program, an OS (operating system), and the like.
  • the media input / output device 14 is an input / output device for various recording media (media) such as a CD / DVD drive, and inputs and outputs data.
  • the peripheral device I / F 15 is a port for connecting the peripheral device to the computer 10, and the computer 10 transmits and receives data to and from the peripheral device via the peripheral device I / F 15.
  • the peripheral device I / F 15 is configured by USB, IEEE1394, or the like.
  • the communication I / F 16 has a communication control device, a communication port, and the like, and is an interface that mediates communication with an external device communicatively connected via a network, and performs communication control.
  • the display device 17 includes, for example, a display device such as a liquid crystal panel and a CRT monitor, and a logic circuit (a video adapter or the like) for executing a display process in cooperation with the display device, and is input under the control of the control unit 11. Display information is displayed on a display device. It should be noted that the input device 12 and the display device 17 may be a touch panel type input / output unit integrally configured.
  • the GPU 19 is an arithmetic device for image processing. In consideration of the calculation load on the control unit 11 (CPU), a GPU 18 is preferably provided separately from the CPU to perform parallel processing.
  • FIG. 2 shows an example of an electrocardiogram image.
  • the two examples of the electrocardiogram images shown in (a) and (b) are images showing electrocardiographic waveforms in 12 channels (lead).
  • the measurement positions of the 12 types of leads and the parts of the heart reflected by each lead are as shown in the following table.
  • the electrocardiogram diagnosis apparatus 100 can achieve a reading accuracy equal to or higher than that of an expert by performing machine learning (deep learning) using electrocardiogram image data including such an electrogram image that is difficult to read as teacher data. it can.
  • the electrocardiogram waveforms corresponding to the twelve types of leads are recorded as one piece of image data, but the present invention is not limited to this example.
  • the image data may be divided into a plurality of image data in advance and stored and managed in association with each other.
  • electrocardiogram images of 12 kinds of leads are used, but the present invention is not limited to this, and is changed according to the number of leads used in the electrocardiogram examination. be able to.
  • an abbreviated 4-lead electrocardiogram may be used.
  • electrocardiogram images of four types of leads can be used.
  • the abbreviated 4-lead electrocardiogram uses the 12th lead to the 1st lead, the aVf lead, the V1 lead, and the V6 lead.
  • FIG. 3 is a block diagram of an electrocardiogram diagnostic apparatus according to one embodiment of the present invention.
  • the electrocardiogram diagnosis apparatus 100 includes a diagnosis unit 130 including a CNN processing unit 110 as an example of a convolution unit and an LSTM processing unit 120 as an example of an integration unit, an image input unit 140, and a diagnosis result output unit 150.
  • the CNN processing unit 110 trains the convolutional neural network using the teacher data, and when new ECG image data other than the teacher data is input, a plurality of diagnosis names (for example, “normal”, “disease A”) , “Disease B”, “Disease C”, etc.) can be output.
  • the probability matrix output from the CNN processing unit 110 is shown in the following table.
  • the CNN processing unit 110 calculates the probability of the probability corresponding to the diagnosis name of normal, disease A (disease_A), disease B (disease_B) and disease C (disease_C).
  • a probability matrix containing the values is output for each lead.
  • the LSTM processing unit 120 receives the probability matrix output from the CNN processing unit 110 and calculates a probability matrix shown in the following table.
  • the LSTM processing unit 120 performs an operation for integrating the probability matrices output for each lead from the CNN processing unit 110 into one probability matrix, and calculates a probability matrix for all the leads (lead_all). Then, the LSTM processing unit 120 outputs a diagnosis name (normal in the above example) indicating the highest probability in the probability matrix.
  • FIG. 4 shows the relationship between CNN and LSTM of the electrocardiogram diagnostic apparatus according to one embodiment of the present invention.
  • the electrocardiogram diagnostic apparatus 100 uses CNN and LSTM to imitate the interpretation work conventionally performed by specialists such as doctors.
  • the processing performed by the CNN processing unit 110 corresponds to checking a waveform image of each lead in the doctor's interpretation work, and the processing performed by the LSTM processing unit 120 determines the interaction between the leads in the doctor's interpretation work. Equivalent to checking.
  • Outputting information for predicting a diagnosis from the diagnosis result output unit 150 corresponds to a doctor's judgment in the diagnosis.
  • images of electrocardiographic waveforms corresponding to twelve (types) of leads are input to the CNN processing unit 110 by the image input unit 140 for each electrocardiographic waveform of the leads.
  • the CNN processing unit 110 receives 100 ⁇ 100 pixel waveform image data corresponding to each lead of the electrocardiogram image data, provides image data corresponding to each lead to the CNN, and generates a probability matrix (for example, , A probability matrix as shown in Table 2).
  • the LSTM processing unit 120 gives the feature amount (probability matrix corresponding to each lead) obtained from the CNN processing unit 110 to a module included in the LSTM processing unit 120, and each module generates a probability matrix for all the leads. (For example, a probability matrix as shown in Table 3).
  • the LSTM processing unit 120 averages the probability matrices for all the leads, and gives the averaged probability matrix to the activation function to calculate a diagnosis result. If the diagnosis result is a disease (disease), the corresponding disease name (disease name) is notified. If the diagnosis result is a disease (disease), the diagnosis is notified that the disease is normal.
  • the diagnosis result can be notified by the diagnosis result output unit 150 as an output for predicting the diagnosis, and assisting a specialist such as a doctor in reading the electrocardiogram.
  • FIG. 5 shows a flowchart of a learning phase and a diagnosis phase of the electrocardiogram diagnosis apparatus.
  • FIG. 5A shows the flow of processing in the learning phase.
  • the image input unit 140 acquires electrocardiogram image data to which a correct diagnosis name input as teacher data (training data) is added. (Step S1).
  • a correct diagnosis name is given to the waveform image data divided for each waveform image corresponding to each lead included in the electrocardiogram image data, and input to the CNN processing unit 110 as teacher data. Then, the CNN is learned for each guidance based on the waveform image data input as the teacher data (step S2).
  • the LSTM processing unit 120 learns the LSTM for each learning result (that is, the probability matrix for each guidance) obtained for each guidance from the CNN processing unit 110 (step S3).
  • the electrocardiogram diagnosis apparatus 100 can learn the CNN and the LSTM in the learning phase, and can generate a diagnostic model including the learned CNN and the learned LSTM.
  • the process of convolving an image performed by the CNN processing unit 110 is referred to herein as a convolution operation, and the process of integrating a plurality of calculation results performed by the LSTM processing unit 120 is referred to as an integrated operation herein.
  • a CNN processing unit 110 that learns CNN as an example of a convolution unit that performs a convolution operation, and an LSTM process that learns LSTM as an example of an integration unit that performs an integration operation
  • the unit 120 is employed, the present invention is not limited thereto.
  • the electrocardiogram diagnosis apparatus may employ a convolution unit that performs a convolution operation based on a method other than the CNN and an integration unit that performs an integration operation based on a method other than the LSTM.
  • LSTM is employed in combination with CNN, but is not limited thereto, and a recursive neural network (RNN) may be used.
  • RNN recursive neural network
  • FIG. 5B shows the flow of processing in the diagnosis phase.
  • the image input unit 140 acquires the newly acquired electrocardiogram image data of the subject as the diagnosis target (step S4). ).
  • the waveform image data divided for each waveform image corresponding to each lead included in the electrocardiogram image data is given to the CNN processing unit 110, and the CNN processing unit 110 inputs the waveform image data to the learned CNN, and as a result, A matrix can be obtained (step S5).
  • the result (probability matrix obtained from the CNN) for each lead obtained from the learned CNN is input to the learned LSTM and integrated (step S6), and the integrated result is output (step S7).
  • the diagnosis result output unit 150 can display the result on a display device or the like, for example, to notify the output result.
  • FIG. 6 shows a configuration example of a CNN network used in the electrocardiogram diagnosis apparatus according to one embodiment of the present invention.
  • the electrocardiogram diagnostic apparatus 100 uses a general CNN that is often used for image recognition and the like.
  • the CNN has an input layer (Input), a convolution layer (Convolution), It includes a pooling layer (Max Pooling), flattening, activation function, and output layer.
  • the numbers above each layer in the figure indicate the processing name and size (length ⁇ width ⁇ channel), and the numbers below indicate the output size after processing in that layer.
  • the electrocardiogram diagnostic apparatus 100 performs a general CNN-related process using a CNN having a network configuration as shown in FIG. That is, the CNN processing unit 110 of the electrocardiogram diagnostic apparatus 100 applies the waveform image data composed of a large number of pixels arranged two-dimensionally while moving the filter in the convolutional layer, and further compresses the information in the pooling layer. And the like.
  • Fig. 7 shows the relationship between the LSTM modules.
  • the LSTM processing unit 120 includes a plurality of LSTM modules (LSTM @ module).
  • the LSTM processing unit 120 includes 24 LSTM modules for 12 leads. That is, the total number of LSTM modules is twice the number of leads. Twelve probability matrices (for example, (0.95, $ 0.3, $ 0.2, $ 0.1), etc.) obtained from the CNN are input to each module.
  • probability matrices p (1, d), p (2, d), p (3, d),..., P (10, d) for 12 leads obtained from the CNN ), ⁇ P (11, d), ⁇ p (12, d) ⁇ are given to two LSTM modules for each lead.
  • the modules are vertically connected bidirectionally like a network, and the weighted values are propagated bidirectionally, and a probability matrix that takes them into account is calculated. Is output.
  • FIG. 8 shows an example of the LSTM module used in the electrocardiogram diagnosis apparatus according to one embodiment of the present invention.
  • the formulas corresponding to the variables in the figure are as follows.
  • x ⁇ t> is an input value at time t
  • y ⁇ t> is an output value at time t
  • a ⁇ t-1> is the value of the hidden state at time t-1 (input value)
  • a ⁇ t> is the value of the hidden state at time t (output value)
  • c ⁇ t-1> Is the value of the cell state at time t-1 (input value)
  • c ⁇ t> is the value of the cell state at time t (output value).
  • b f , b u , and b c are biases of a forget gate, a update gate, and an output gate, respectively.
  • W f , W c , and W o are a forgetting gate, a first tanh gate (tanh between the update gate and the output gate in FIG. 8), and a weight (weight) matrix of the output gate, respectively.
  • ⁇ f ⁇ t> , ⁇ u ⁇ t> , ⁇ o ⁇ t> are the output values of the forget gate, update gate, and output gate at time t.
  • a ⁇ t> is input to an activation function such as a sigmoid function or a softmax function, and y ⁇ t> is output.
  • the probability matrix obtained from each module is passed to an averaging module (average) that calculates the average of the values of the probability matrix.
  • the electrocardiogram diagnostic apparatus 100 uses a bidirectional LSTM, and an LSTM module (also called an LSTM cell) receives a weight value from another lead and outputs an input probability matrix to an output. Is recalculated and passed to the next lead.
  • the values of the probability matrix obtained by each LSTM module are averaged by the averaging module for each lead p '(1, d), p' (2, d), p '(3, d), ..., p '(10, d), ⁇ p' (11, d), ⁇ p '(12, d) ⁇ are calculated.
  • the LSTM module propagates the values calculated between the modules in both directions and outputs a probability matrix.
  • the average value is calculated by an averaging module.
  • the output from the averaging module is passed to the activation function to output the final value p (all, d).
  • the activation function a function such as a sigmoid function and a softmax function can be used.
  • ECG electrocardiogram indicating a disease A
  • electrocardiogram indicating a disease B electrocardiogram image data including an electrocardiogram indicating a disease C
  • the following table shows the results of predicting a diagnosis for other electrocardiogram image data that is not teacher data using the generated diagnosis model.
  • the correct answer rate (%) is 97.5% (117 out of 120 correct answers), and the false positive rate (%) for normal but predicting disease and the false negative rate (%) for predicting disease but normal are: Both are 0%.
  • the error rate (%) for predicting a disease as another disease was 2.5%.
  • the electrocardiogram diagnostic apparatus 100 of the present invention does not diagnose a disease as normal or diagnose normal as a disease, and predicts a suspected disease as a disease with high accuracy. Is possible.
  • the ratio of errors in the name of the disease for example, a place where a part that should be answered as a part of the disease B should be answered as another part of the disease C) could be kept very low.
  • the electrocardiogram diagnosis apparatus 100 of the present invention uses the electrocardiogram image data with the diagnosis name as the teacher data to convert the diagnosis model generated by performing the machine learning including the convolution operation and the integration operation into the electrocardiogram image. By using it for the diagnosis, it is possible to predict the diagnosis rather than the findings from the electrocardiogram image with high accuracy, support the doctor's diagnosis, and simplify the examination work. Further, by using the electrocardiogram diagnostic apparatus 100, it is easy to apply the present invention to an electrocardiographic examination apparatus that has already been introduced in a medical institution such as a hospital, and it is not necessary to purchase a new crisis. Furthermore, since a high pre-test probability or correct diagnosis rate can be obtained at a high stage before the doctor's diagnosis, unnecessary tests after that can be reduced.
  • the electrocardiogram diagnosis apparatus and the like according to the present invention can be used for reading an electrocardiogram image acquired by an electrocardiogram test as a step before the judgment by a doctor.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Cardiology (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

心電図診断支援手法の従来例として、学習段階を２段階に分けて、２段階学習モデルを生成する方法が提案されているが、正常か異常かを出力する２値分類モデルを学習するものであり、心電図画像の波形が異常を示している否かを出力するのみなので、あくまで実際の診断名（病名、疾患名等）を決めるものではなかった。本発明では、心電図画像に診断名（正常、複数の疾患名（病名））を付した教師データを用いて、ＣＮＮ及びＬＳＴＭ等の機械学習によって、正常以外に病名等を出力することが可能なモデルを学習し、学習済みモデルに実際の検査で得られた心電図画像を与えることで、当該心電図画像から判読され得る各診断名（正常、複数の疾患名）を出力する心電図診断装置を提供する。

Description

心電図画像を用いた機械学習による心電図診断装置
　本発明は、心電図画像を用いた機械学習による心電図診断装置に関する。具体的には、心電図画像データを用いて畳み込みニューラルネットワーク（Convolutional Neural Network; 以下、ＣＮＮ）及び、再帰型ニューラルネットワーク（Recurrent Neural Network; 以下、ＲＮＮ）の拡張である長期短期記憶（Long Short-Term Memory; 以下、ＬＳＴＭ）を学習させ、学習済みＣＮＮ及びＬＳＴＭを用いて心電図の診断を行う装置、システム、及びプログラムに関する。
　心電図は循環器疾患の診断治療に必須の検査項目である。現在、所見の自動判読を出力しているが、実際には臨床使用に耐えうるほどの情報提供には至っていないため医師の判読を要している。例えば、従来の心電図検査の方法の概要を図１０に示す。一般的な心電図検査は、ベッドに横たわって安静にした状態で、心電図検査装置を用いて行われる。心電図検査装置は、心臓を様々な方向、角度から検査するために通常１２チャネル（誘導（lead））で心電図（心電波形）を記録することができる。
　図１０に示す心電図検査の方法では、心電図は電気信号及び画像として記録される。記録された電気信号からは、波形の振幅等に基づく数値が得られ、当該数値と予め設定された閾値とを比較して合致する所見を自動的に得ることができる。つまり、心電図検査装置自体の自動判読では予め設定された計測値（閾値）に合致した所見を出力している。ここで、得られる所見には、必ずしも病的とは限らない所見（例えば、右足ブロック（誘導）が不完全であった場合等）があるため、最終的には、得られた所見と心電図画像から医師が、最終的に判断することが一般的に行われている。すなわち、従来の心電図判読は医師が電気的解析及び画像的解析に基づいてパターン認識で判断を行っている。
　病院などでの限られた患者数で、疑い病名のある場合には心電図の判読はさほど困難ではないが検診等で行われる心電図では大半が正常であり、疾患を有する検査前確率が低い集団に行うため多大な労力を要しておりかつ、精度が担保されていないという問題点がある。また、心電図は年齢によって正常範囲の所見が異なるため、一見正常に見えても年齢によっては異常であるなど判読の基準が多岐にわたることも判読を煩雑にしている要因である。
　このような問題を解決するために、現在医療分野において、人工知能関連の技術、特に、機械学習の技術を用いて、医師の診断の支援を行うことを目的とした手法の研究開発が行われるようになってきた。例えば、特開２０１８－７９０８７号公報（特許文献１）では、人工知能関連の技術として広く用いられているＣＮＮ及びＬＳＴＭは、被検者の生体情報を解析するための生体情報解析装置において、それぞれ畳み込み演算、時系列統合演算に採用されている。
　また、心電図診断支援手法の従来例として、「深層学習を用いた心電図波形の正常異常判定に関する研究」（非特許文献１）において、学習段階を２段階に分けて、２段階学習モデルを生成する方法が提案されている。当該従来例は、２段階の学習を採用しており、１段階目では、心電図の１２種類の誘導の各２次元波形画像について、自動付与されたミネソタコードに基づく正常・異常ラベルを学習データとして用いて、畳み込みニューラルネットワークを用いた深層学習によって、正常／異常判定モデルを学習する。２段階目では、畳み込みニューラルネットワークで出力された２値を各症例それぞれ１２種類の誘導分ずつでセットにし、アンサンブル学習を行っている。
特開２０１８－７９０８７号公報
古林せなみ，今井 健，石原三四郎，藤生克仁，大江和彦，深層学習を用いた心電図波形の正常異常判定に関する研究，医療情報学会・人工知能学会 AIM 合同研究会資料 SIG-AIMED-005-05，5巻5号，P.1～5，2018年03月15日発行（URL　https://jsai.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=9156&file_id=1&file_no=1）（２０１８年６月２０日検索）
　しかしながら、上記従来例では、ルールベースのミネソタコードでの異常の有無（つまり、所見）を学習データとして用いて、正常か異常かを出力する２値分類モデルを学習するものであり、所見上、心電図画像の波形が異常を示している否かを出力するのみなので、あくまで実際の診断名（病名、疾患名等）を決める、所見よりも先の医師の判断の域を超えるものではない。また、従来例では、心電図判断での“異常”は必ずしも疾患があるという“真の異常”とは一致しないことがあり得る。
　そこで、上述の課題を解決するために、本発明では、心電図検査装置から得られる１２種類の誘導の電気信号の波形を画像化した心電図画像に診断名（正常、複数の疾患名（病名））を付した教師データを用いて、ＣＮＮ及びＬＳＴＭ等の機械学習によって、正常以外に病名等を出力することが可能なモデルを学習し、当該学習済みモデル（以下、診断モデルともいう。）に実際の検査で得られた心電図画像を与えることで、当該心電図画像から判読され得る各診断名（正常、複数の疾患名）の確率を計算して疑いのある疾患名（病名）を出力することができる心電図診断装置、システム及びプログラム（以下、心電図診断装置等）を提供する。
　具体的には、本発明の心電図診断装置等は、心電図の１２種類の誘導の２次元波形画像に、診断名を付したものを教師データとして機械学習アルゴリズム（ＣＮＮ及びＬＳＴＭ等）に入力して、学習済みモデル（診断モデル）を生成することができる。また、本発明の心電図診断装置等は、上記従来例のような“異常所見の有無”ではなく、“真の異常の有無”として、実際の心電図の１２種類の誘導の２次元波形画像を、診断モデルに入力して、当該心電図から判読される診断名を確率と共に提供することができる。
　本発明に係る心電図診断装置の１つの実施形態として、心電図診断装置は、
　心電図画像データを受け取る画像入力部と、
　前記心電図画像データを入力して、少なくとも診断名と該診断名に該当する確率を含む出力値を出力する診断モデルを備える診断部と、
　前記診断モデルから得られる出力を通知する診断結果出力部と
を含み、
　前記診断モデルは、診断名を付した前記心電図画像データである教師データを用いて機械学習を行うことで生成され、
　前記診断名を付した前記教師データは、心電図における複数の誘導にそれぞれ対応した複数の波形画像データに分けられており、
　前記教師データではない新たな心電図画像データを前記診断モデルに入力すると、複数の診断名、及び、前記複数の診断名のそれぞれに該当する確率を表す確率行列を出力することを特徴とする。
　本発明に係る心電図診断装置の好ましい実施形態として、
　前記機械学習は、二次元状に配列された多数のピクセルからなる前記複数の波形画像データの各々に対して、フィルタを移動させつつ適用する処理を含む畳み込み演算を行い、前記畳み込み演算により前記複数の波形画像データの各々に対して得られた各出力を統合する統合演算を行うことで、前記診断モデルを生成することを特徴とする。
　本発明に係る心電図診断装置の好ましい実施形態として、
　前記診断部は、畳み込み部と、統合部とをさらに含み、
　前記畳み込み演算は、前記畳み込み部によって行われ、
　前記統合演算は、前記統合部によって行われることを特徴とする。
　本発明に係る心電図診断装置の好ましい実施形態として、
　前記畳み込み部は、畳み込みニューラルネットワーク（ＣＮＮ）を含むことを特徴とする。
　本発明に係る心電図診断装置の好ましい実施形態として、
　前記統合部は、再帰型ニューラルネットワーク（ＲＮＮ）を含むことを特徴とする。
　本発明に係る心電図診断装置の好ましい実施形態として、
　前記統合部は、長期短期記憶（ＬＳＴＭ）を含むことを特徴とする。
　本発明に係る心電図診断装置の好ましい実施形態として、
　前記畳み込み演算により前記複数の波形画像データの各々に対して得られた各出力は、前記心電図における複数の誘導の各々について確率行列を含むことを特徴とする。
　本発明に係る心電図診断装置の好ましい実施形態として、
　前記統合部は、複数の第１モジュールからなる第１モジュール群と複数の第２モジュール群からなる第２モジュール群とを含み、
　前記第１モジュール群は、前記複数の第１モジュールを一方方向の重みの付いたリンクで一列に連結され、
　前記第２モジュール群は、前記複数の第２モジュールを前記一方方向とは逆方向の重みの付いたリンクで一列に連結され、
　前記統合演算は、前記第１モジュール群の各第１モジュールから得られた第１確率行列と、前記第２モジュール群の各第２モジュールから得られた第２確率行列とを、前記心電図における複数の誘導の各々について第１確率行列と第２確率行列との平均を計算して平均確率行列を算出することを含むことを特徴とする。
　本発明に係る心電図診断装置の好ましい実施形態として、
　前記統合部は、前記平均確率行列に活性化関数を適用して、最終的に、前記診断モデルから得られる出力とすることを特徴とする。
　本発明に係る心電図診断装置の好ましい実施形態として、
　前記心電図における複数の誘導は、１２種類の誘導からなることを特徴とする。
　本発明に係る心電図診断装置の好ましい実施形態として、
　前記心電図における複数の誘導は、４種類の誘導からなることを特徴とする。
　本発明に係る心電図診断装置の好ましい実施形態として、
　前記活性化関数は、シグモイド関数またはソフトマックス関数であることを特徴とする。
　本発明に係る心電図診断プログラムの１つの実施形態として、コンピュータによって実行させることで、前記コンピュータをいずれかの前記心電図診断装置として機能させることを特徴とする。
　本発明に係る心電図診断システムの１つの実施形態として、被検者から心電図画像を取得する心電図検査装置と、前記プログラムを実行したコンピュータとを含むことを特徴とする。
　本発明に係る心電図診断装置は、教師データとして診断名を付した心電図画像データを用いて、畳み込み演算と統合演算を含む機械学習を行って生成された診断モデルを、心電図画像の診断に用いたことで、心電図画像からの所見ではなく診断を行うことができ、医師の診断を支援し、検診業務を簡易化することができる。
　そして、本発明に係る心電図診断装置を用いることで、医師の判断の前段階で、疑わしい病名について精度の高い検査前確率あるいは正診率（正しく診断する確率）が得られることで、心電図検査以降の検査が不要となり削減することができ、患者の医療費を軽減することができる。また、本発明に係る心電図診断装置を、検診等のスクリーニングに用いることで、膨大な心電図画像の判読を効率的かつ経済的に実施することができるため、人件費、医師の経験や疲労に影響される判読能力の差によるスクリーニング精度のばらつきを軽減することができる。
心電図画像を用いた機械学習による心電図診断装置の概念図である。 心電図画像の例を示す図である。 本発明の一実施形態に係る心電図診断装置のブロック図である。 本発明の一実施形態に係る心電図診断装置のＣＮＮとＬＳＴＭの関係を示す図である。 心電図診断装置の学習フェーズ及び診断フェーズのフローチャートを示す図である。 本発明の一実施形態に係る心電図診断装置で用いられるＣＮＮのネットワークの構成例を示す図である。 ＬＳＴＭの各モジュールの関係を示す図である。 本発明の一実施形態に係る心電図診断装置で用いられるＬＳＴＭモジュールの一例を示す図である。 本発明の一実施形態に係る心電図診断装置の学習プログラムを実行するコンピュータの内部構成図である。 従来の心電図検査の方法の概要を示す図である。
　以下に図面を参照して、本発明の一実施形態について説明する。なお、実施の形態を説明するための全ての図において、同じものには原則として同一の符号を付し、その繰り返しの説明は省略する。本発明の個々の実施形態は、独立したものではなく、それぞれ組み合わせて適宜実施することができる。
　図１は、心電図画像を用いた機械学習による心電図診断装置の概念を示す。心電図検査において、被検者の心電波形は、心電図検査装置によって測定される。心電図測定装置は、測定した被験者の心電波形を、電気信号として記録することの他に、心電図画像データとして記録することもできる。心電図検査装置によって記録した心電図画像データは、コンピュータ１０のハードディスク等の記憶装置にファイルとして記憶することができる。
　図１に示す実施例では、心電図診断装置１００は、コンピュータ１０によって心電図診断用プログラムを実行させたものである。心電図診断装置１００では、診断モデルを学習させるフェーズ（以下、学習フェーズという。）と、診断モデルを適用して診断結果を出力するフェーズ（以下、診断フェーズという。）とに分けて動作することができる。学習フェーズにおいて、心電図診断装置１００は、心電図診断のための準備段階として、心電図画像データに正解となる診断名（例えば、“正常”、“疾患Ａ”、“疾患Ｂ”、“疾患Ｃ”等のラベル）を付して、診断名が付された心電図画像データを教師データとして用いて機械学習（深層学習）を行うことができ、ＣＮＮとＬＳＴＭを連結した診断モデルを生成することができる。そして、診断フェーズでは、心電図診断装置１００は、学習された診断モデルに新たに被検者から得られる心電図画像データを入力して、“疑い病名”をその病名に該当する確率を付して診断結果として出力することができる。
　コンピュータ１０は、一般的なハードウェア構成であり、例えば図９に示すような内部構成である。図９は、本発明の一実施形態に係る心電図診断装置の学習プログラムを実行するコンピュータの内部構成を示す。コンピュータ１０は、制御部１１、入力装置１２、記憶装置１３、メディア入出力装置１４、周辺機器Ｉ／Ｆ（インタフェース）１５、通信Ｉ／Ｆ１６、表示装置１７等がバス１９を介して接続されて構成される。さらに、コンピュータ１０は、画像処理用の演算装置であるＧＰＵ（Graphics Processing Unit）１８を設けてもよい。
　制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。制御部１１は、記憶装置１３、ＲＯＭ、記録媒体（メディア）等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１９を介して接続された各部を駆動制御する。ＲＯＭは、コンピュータ１０のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部１１が後述する各種処理を行うために使用するワークエリアを備える。
　また、制御部１１は、記憶装置１３に記憶されている処理プログラムに従って、図５に示す学習処理や診断処理等を実行する。心電図診断に係る各種処理プログラムは、予めコンピュータ１０の記憶装置１３やＲＯＭ等に記憶されていてもよいし、ネットワーク等を介してダウンロードされ、記憶装置１３等に記憶されたものでもよい。各種処理プログラムの詳細については後述する。
　本発明の１つの実施形態に係る心電図診断装置では、例えば、心電図診断に係る各種プログラムは、記憶装置１３に記憶され、これらのプログラムは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。このように、コンピュータ１０に心電図診断に係る各種プログラムを実行させることで。コンピュータ１０を心電図診断装置１００として機能させることができる。また、心電図診断装置１００の少なくとも一部の機能を、特定用途向け集積回路（ＡＳＩＣ）等でハードウェア的に実装することも可能である。
　入力装置１２は、例えば、キーボード、マウス、タッチパネル、タブレット等のポインティング・デバイス、テンキー等の入力装置であり、入力されたデータを制御部１１へ出力する。記憶装置１３は、ＨＤＤ（ハードディスクドライブ）等であり、制御部１１が実行するプログラムや、プログラム実行に必要なデータ、ＯＳ（オペレーティング・システム）等が格納されている。
　メディア入出力装置１４は、例えば、ＣＤ／ＤＶＤドライブ等の各種記録媒体（メディア）の入出力装置であり、データの入出力を行う。周辺機器Ｉ／Ｆ１５は、コンピュータ１０に周辺機器を接続させるためのポートであり、コンピュータ１０は周辺機器Ｉ／Ｆ１５を介して周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ１５は、ＵＳＢやＩＥＥＥ１３９４等で構成されている。通信Ｉ／Ｆ１６は、通信制御装置、通信ポート等を有し、ネットワークを介して通信接続された外部装置との通信を媒介するインタフェースであり、通信制御を行う。
　表示装置１７は、例えば液晶パネル、ＣＲＴモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部１１の制御により入力された表示情報をディスプレイ装置上に表示させる。なお、入力装置１２と表示装置１７とが一体的に構成されたタッチパネル式の入出力部としてもよい。ＧＰＵ１９は、画像処理用の演算装置である。制御部１１（ＣＰＵ）での演算負荷を考慮して、好ましくはＣＰＵとは別にＧＰＵ１８を設け、並列処理を行うことができる。
　図２は、心電図画像の例を示す。（ａ）及び（ｂ）に示す心電図画像の２つの例は、いずれも１２チャネル（誘導（lead））で心電波形を示す画像である。１２種類の誘導の測定位置と、各誘導が反映する心臓の部位は、次の表に示されるとおりである。

Figure JPOXMLDOC01-appb-T000001
　心電図は年齢によって正常範囲の所見が異なるため、一見正常に見えても年齢によっては異常であるなど判読の基準が多岐にわたるため、例えば、図２（ａ）に示す心電図画像及び（ｂ）に示す心電図画像は、医師などの専門家にとって、正常なのか疾患（病気）なのかの判読が困難な場合がある。本発明に係る心電図診断装置１００は、このような判読困難な心電図画像を含む心電図画像データを教師データとして機械学習（深層学習）することで、専門家と同等以上の判読精度を達成することができる。
　図２（ａ）及び（ｂ）に示す心電図画像の例では、１２種類の誘導に対応した心電波形は、１枚の画像データとして記録されているが、この例に限定されるものではなく、予め複数の画像データに分けて、各々対応付けて記憶管理してもよい。
　また、本発明の１つの実施形態に係る心電図診断装置では、１２種類の誘導の心電図画像を用いているが、これに限定されるものではなく、心電図検診で用いられる誘導数に応じて変更することができる。例えば、心電図検診では、省略４誘導心電図を用いる場合があり、この場合には、４種類の誘導の心電図画像を用いることができる。省略４誘導心電図では、上記の１２誘導から第Ｉ誘導、aＶｆ誘導、Ｖ１誘導、Ｖ６誘導を用いるものである。
　図３は、本発明の一実施形態に係る心電図診断装置のブロック図を示す。心電図診断装置１００は、畳み込み部の一例としてＣＮＮ処理部１１０及び統合部の一例としてＬＳＴＭ処理部１２０を備える診断部１３０と、画像入力部１４０と、診断結果出力部１５０とを含む。ＣＮＮ処理部１１０は、畳み込みニューラルネットワークを、教師データを用いて学習させ、教師データではない新たな心電図画像データが入力された際に、複数の診断名（例えば、“正常”、“疾患Ａ”、“疾患Ｂ”、“疾患Ｃ”など）のそれぞれに該当する確率を表す確率行列を出力することができる。
　ＣＮＮ処理部１１０から出力される確率行列の一例を次の表に示す。
Figure JPOXMLDOC01-appb-T000002
心電図画像データをＣＮＮ処理部１１０に入力した結果、ＣＮＮ処理部１１０によって、正常（normal）、疾患Ａ（disease_A）、疾患Ｂ（disease_B）及び疾患Ｃ（disease_C）の診断名に対応する、確率の値が含まれた確率行列が、誘導毎に出力される。
　ＬＳＴＭ処理部１２０は、ＣＮＮ処理部１１０から出力された確率行列を入力して、次の表に示す確率行列を算出する。
Figure JPOXMLDOC01-appb-T000003
ＬＳＴＭ処理部１２０は、ＣＮＮ処理部１１０から各誘導毎に出力された確率行列を１つの確率行列に統合するための演算を行って、すべての誘導（lead_all）に対する確率行列を算出する。そして、ＬＳＴＭ処理部１２０は、この確率行列の中で最も高い確率を示した診断名（上の例では、正常(normal)）を出力する。
　図４は、本発明の一実施形態に係る心電図診断装置のＣＮＮとＬＳＴＭの関係を示す。心電図診断装置１００は、ＣＮＮ及びＬＳＴＭを用いて従来医師等の専門家が行ってきているような判読作業を模倣している。ＣＮＮ処理部１１０で行われる処理は、医師の判読作業における各誘導の波形画像をチェックすることに相当し、ＬＳＴＭ処理部１２０で行われる処理は、医師の判読作業における各誘導間の相互作用をチェックすることに相当する。そして、診断結果出力部１５０から診断を予測するための情報を出力することは、診断における医師の判断に相当するものである。
　図４と共に図３も参照すると、１２個（種類）の誘導に対応する心電波形の画像は、画像入力部１４０によって、それぞれ誘導の心電波形毎にＣＮＮ処理部１１０に入力される。ＣＮＮ処理部１１０は、心電図画像データの各誘導に対応する１００×１００ピクセルの波形画像データを受け取り、各誘導に対応する画像データをそれぞれＣＮＮに与えて、誘導毎に特徴量として確率行列（例えば、表２に示すような確率行列）を算出する。
　そして、ＬＳＴＭ処理部１２０では、ＣＮＮ処理部１１０から得られた特徴量（各誘導に対応する確率行列）をそれぞれ、ＬＳＴＭ処理部１２０が有するモジュールに与えて、各モジュールはすべての誘導に対する確率行列（例えば、表３に示すような確率行列）を算出する。ＬＳＴＭ処理部１２０は、すべての誘導に対する確率行列を平均化して、平均化された確率行列を活性化関数に与えて診断結果を算出する。診断結果は、疾患（病気）であれば該当する疾患名（病名）を通知し、疾患（病気）でなれば、正常である旨を通知する。診断結果は、診断結果出力部１５０によって、診断を予測する出力として通知することができ、医師等の専門家の心電図の判読作業を支援することができる。
　図５は、心電図診断装置の学習フェーズ及び診断フェーズのフローチャートを示す。図５（ａ）は、学習フェーズの処理の流れを示しており、まず、画像入力部１４０は、教師データ（訓練データ）として入力された正解の診断名が付与された心電図画像データを取得する（ステップＳ１）。
　次に、心電図画像データに含まれる各誘導に対応する波形画像毎に分けられた波形画像データに正解の診断名を付与して、教師データとしてＣＮＮ処理部１１０に入力し、ＣＮＮ処理部１１０は、教師データとして入力された波形画像データに基づいて、誘導毎にＣＮＮを学習させる（ステップＳ２）。
　最後に、ＬＳＴＭ処理部１２０は、ＣＮＮ処理部１１０から誘導毎に得られた各学習結果（すなわち、誘導毎の確率行列）に対して、ＬＳＴＭを学習させる（ステップＳ３）。このように、心電図診断装置１００は、学習フェーズによって、ＣＮＮ及びＬＳＴＭを学習させ、学習済みＣＮＮ及び学習済みＬＳＴＭを含む診断モデルを生成することができる。ＣＮＮ処理部１１０で実行されるような画像を畳み込む処理を、ここでは畳み込み演算と呼び、ＬＳＴＭ処理部１２０で実行されるような複数の演算結果を統合する処理を、ここでは統合演算と呼ぶこととする。本発明の１つの実施形態に係る心電図診断装置１００では、畳み込み演算を行う畳み込み部の一例としてＣＮＮを学習させるＣＮＮ処理部１１０、及び、統合演算を行う統合部の一例としてＬＳＴＭを学習させるＬＳＴＭ処理部１２０を採用しているが、これらに限定されるものではない。
　本発明の別の実施形態として、心電図診断装置は、ＣＮＮ以外の方法に基づいた畳み込み演算を行う畳み込み部及びＬＳＴＭ以外の方法に基づいた統合演算を行う統合部を採用してもよい。例えば、本発明の１つの実施形態では、ＣＮＮに組合させて、ＬＳＴＭを採用しているが、これに限定されるものではなく、再帰型ニューラルネットワーク（ＲＮＮ）を用いてもよい。
　図５（ｂ）は、診断フェーズの処理の流れを示しており、まず、画像入力部１４０は、診断対象として、新たに取得した被検者の心電図画像データを診断対象として取得する（ステップＳ４）。次に、心電図画像データに含まれる各誘導に対応する波形画像毎に分けられた波形画像データをＣＮＮ処理部１１０に与えて、ＣＮＮ処理部１１０は、学習済みＣＮＮに入力して、結果として確率行列を得ることができる（ステップＳ５）。学習済みＣＮＮから得られた各誘導毎の結果（ＣＮＮから得られた確率行列）を、学習済みＬＳＴＭに入力して統合し（ステップＳ６）、統合した結果を出力する（ステップＳ７）。診断結果出力部１５０は、出力された結果を通知するために、例えば、結果を表示装置等に表示することができる。
　図６は、本発明の一実施形態に係る心電図診断装置で用いられるＣＮＮのネットワークの構成例を示す。心電図診断装置１００では、画像認識等でよく用いられている一般的なＣＮＮを利用しており、ＣＮＮは、図６に示すようなネットワーク構成で、入力層（Input）、畳み込み層（Convolution）、プーリング層（Max Pooling）、平坦化（flatten）、活性化関数（activation）、出力層（output）を含む。図中の各層の上の数字は処理名とサイズ（縦×横×チャネル）、下の数字はその層での処理後の出力サイズを示す。
　心電図診断装置１００は、図６に示すようなネットワーク構成のＣＮＮを用いて、一般的なＣＮＮに関する処理を行う。つまり、心電図診断装置１００のＣＮＮ処理部１１０は、二次元状に配列された多数のピクセルからなる波形画像データを、畳み込み層でフィルタを移動させつつ適用して、プーリング層でさらに情報を圧縮する等の処理を含む畳み込み演算を行う。
　図７は、ＬＳＴＭの各モジュールの関係を示す。ＬＳＴＭ処理部１２０は、複数のＬＳＴＭモジュール（LSTM module）を含む。ＬＳＴＭ処理部１２０は、１２個の誘導に対して、２４個のＬＳＴＭモジュールを含む。つまり、ＬＳＴＭモジュールの総数は、誘導の数の２倍となる。ＣＮＮから得られた１２個の確率行列（例えば、(0.95, 0.3, 0.2, 0.1)など）を各モジュールに入力する。
　図７に示す実施例では、ＣＮＮから得られた１２個の誘導に対する確率行列 p(1,d), p(2,d), p(3,d),..., p(10,d), p(11,d), p(12,d) は、誘導毎に２つのＬＳＴＭモジュールに与えられる。一般的なＬＳＴＭの手法と同様に、モジュール同士は、縦に双方向にネットワークのように連結されており、双方向に重み（ウエイト）付けされた値が伝播され、それらを加味した確率行列が出力される。
　図８は、本発明の一実施形態に係る心電図診断装置で用いられるＬＳＴＭモジュールの一例を示す。図中の変数に対応する数式は次のとおりである。
Figure JPOXMLDOC01-appb-M000004
　x<t> は、時間tでの入力値であり、 y<t> は、時間tでの出力値である。
a<t-1> は、時間t-1の隠れ状態の値（入力値）であり、a<t> は、時間tの隠れ状態の値（出力値）であり、 c<t-1> は、時間t-1のセル状態の値（入力値）であり、c<t> は、時間tのセル状態の値（出力値）である。bf, bu, bc は、それぞれ忘却ゲート(forget gate)、更新ゲート(update gate)、出力ゲート(output gate)のバイアスである。Wf, Wc, Wo は、それぞれ忘却ゲート、第１の tanh ゲート(図８中の更新ゲートと出力ゲートの間のtanh)、出力ゲートの重み（ウエイト）行列である。Γf <t>, Γu <t>, Γo <t> は、時間t での忘却ゲート、更新ゲート、出力ゲートの出力値である。従来のＬＳＴＭモジュールでは、a<t> は、sigmoid関数、softmax関数などの活性化関数に入力されて、y<t> が出力される。
　再び図７を参照すると、各モジュールから得られた確率行列は、確率行列の値の平均を計算する平均化モジュール（average）に渡される。心電図診断装置１００は、双方向のＬＳＴＭを用いており、ＬＳＴＭモジュール（ＬＳＴＭセルとも呼ばれる）は、他の誘導から重み値を受け取って入力された確率行列を出力に回し、さらにモジュール内部では重み値を計算しなおし次の誘導に渡すというような処理を行う。各ＬＳＴＭモジュールで得られた確率行列の値は、誘導毎に平均化モジュールで平均値 p'(1,d), p'(2,d), p'(3,d),..., p'(10,d), p'(11,d), p'(12,d) が計算される。図７に示す実施例では、１２種類の誘導に対して、ＬＳＴＭモジュールは、モジュール間で算出された値が双方向に伝播し、各モジュールが確率行列を出力するため、２４個の確率行列が算出され、それらを平均化モジュールによって平均値を算出する。平均化モジュールからの出力は、活性化関数に渡されて、最終的な値p(all, d)を出力する。活性化関数は、シグモイド（sigmoid）関数、ソフトマックス（softmax）関数等の関数を用いることができる。
　実際に、正常な心電図、疾患Ａを示す心電図、疾患Ｂを示す心電図、及び、疾患Ｃを示す心電図を含む心電図画像データを、教師データとして、心電図診断装置１００に入力し、心電図診断装置１００によって生成された診断モデルを用いて、教師データではない別の心電図画像データに対して診断を予測した結果を次の表に示す。
Figure JPOXMLDOC01-appb-T000005
 　正答率（％）は、９７．５％（１２０例中１１７例を正答）であり、正常だが疾患と予測する偽陽性率（％）及び疾患だが正常と予測する偽陰性率（％）は、ともに０％である。疾患を別の疾患と予測する誤り率（％）は、２．５％であった。
　また、省略４誘導心電図検診の４種類（第Ｉ誘導、aＶｆ誘導、Ｖ１誘導、Ｖ６誘導
）の心電図画像データを同様に、教師データとして、心電図診断装置１００に入力し、心電図診断装置１００によって生成された診断モデルを用いて、教師データではない省略４誘導心電図検診の別の心電図画像データに対して診断を予測すると、上記表４と同様の結果、すなわち、同等の正答率を得ることができた。
　このように、本発明の心電図診断装置１００は、疾患を正常と診断することも、正常を疾患と診断することもなく、疾患の疑いがあるものを疾患があるとして、高い精度で予測することが可能である。また、疾患であることを予測した場合に、疾患名の誤り（例えば、疾患Ｂと回答しなければならないところを別の疾患Ｃと回答する等）の割合は非常に低く抑えることができた。
　このように、本発明の心電図診断装置１００は、教師データとして診断名を付した心電図画像データを用いて、畳み込み演算と統合演算を含む機械学習を行って生成された診断モデルを、心電図画像の診断に用いたことで、心電図画像からの所見ではなく診断を高精度に予測することができ、医師の診断を支援し、検診業務を簡易化することができる。また、心電図診断装置１００を用いることで、病院等の医療機関で既に導入済みの心電図検査装置への適用が容易であり、新規の危機の購入が不要となる。さらに、医師の診断の前段階で精度の高い検査前確率あるいは正診率が得られることで、それ以降の不要な検査の削減が期待できる。
　本発明に係る心電図診断装置等は、医師による判断の前段階として、心電図検査で取得された心電図画像を判読することに利用することができる。
１０　コンピュータ
１１　制御部
１２　入力装置
１３　記憶装置
１４　メディア入出力装置
１５　周辺機器Ｉ／Ｆ
１６　通信Ｉ／Ｆ
１７　表示装置
１８　ＧＰＵ
１９　バス
１００　心電図診断装置
１１０　ＣＮＮ処理部（畳み込み部）
１２０　ＬＳＴＭ処理部（統合部）
１３０　診断部
１４０　画像入力部
１５０　診断結果出力部

Claims (14)

  1. 　心電図診断装置であって、
    　心電図画像データを受け取る画像入力部と、
    　前記心電図画像データを入力して、少なくとも診断名と該診断名に該当する確率を含む出力値を出力する診断モデルを備える診断部と、
    　前記診断モデルから得られる出力を通知する診断結果出力部と
    を含み、
    　前記診断モデルは、診断名を付した前記心電図画像データである教師データを用いて機械学習を行うことで生成され、
    　前記診断名を付した前記教師データは、心電図における複数の誘導にそれぞれ対応した複数の波形画像データに分けられており、
    　前記教師データではない新たな心電図画像データを前記診断モデルに入力すると、複数の診断名、及び、前記複数の診断名のそれぞれに該当する確率を表す確率行列を出力することを特徴とする心電図診断装置。
  2. 　前記機械学習は、二次元状に配列された多数のピクセルからなる前記複数の波形画像データの各々に対して、フィルタを移動させつつ適用する処理を含む畳み込み演算を行い、前記畳み込み演算により前記複数の波形画像データの各々に対して得られた各出力を統合する統合演算を行うことで、前記診断モデルを生成することを特徴とする請求項１に記載の心電図診断装置。
  3. 　前記診断部は、畳み込み部と、統合部とをさらに含み、
    　前記畳み込み演算は、前記畳み込み部によって行われ、
    　前記統合演算は、前記統合部によって行われることを特徴とする請求項２に記載の心電図診断装置。
  4. 　前記畳み込み部は、畳み込みニューラルネットワーク（ＣＮＮ）を含むことを特徴とする請求項３に記載の心電図診断装置。
  5. 　前記統合部は、再帰型ニューラルネットワーク（ＲＮＮ）を含むことを特徴とする請求項３又は４に記載の心電図診断装置。
  6. 　前記統合部は、長期短期記憶（ＬＳＴＭ）を含むことを特徴とする請求項３から５のいずれか１項に記載の心電図診断装置。
  7. 　前記畳み込み演算により前記複数の波形画像データの各々に対して得られた各出力は、前記心電図における複数の誘導の各々について確率行列を含むことを特徴とする請求項２から６のいずれか１項に記載の心電図診断装置。
  8. 　前記統合部は、複数の第１モジュールからなる第１モジュール群と複数の第２モジュール群からなる第２モジュール群とを含み、
    　前記第１モジュール群は、前記複数の第１モジュールを一方方向の重みの付いたリンクで一列に連結され、
    　前記第２モジュール群は、前記複数の第２モジュールを前記一方方向とは逆方向の重みの付いたリンクで一列に連結され、
    　前記統合演算は、前記第１モジュール群の各第１モジュールから得られた第１確率行列と、前記第２モジュール群の各第２モジュールから得られた第２確率行列とを、前記心電図における複数の誘導の各々について第１確率行列と第２確率行列との平均を計算して平均確率行列を算出することを含むことを特徴とする請求項３から７のいずれか１項に記載の心電図診断装置。
  9. 　前記統合部は、前記平均確率行列に活性化関数を適用して、最終的に、前記診断モデルから得られる出力とすることを特徴とする請求項８に記載の心電図診断装置。
  10. 　前記心電図における複数の誘導は、１２種類の誘導からなることを特徴とする請求項１から９のいずれか１項に記載の心電図診断装置。
  11. 　前記心電図における複数の誘導は、４種類の誘導からなることを特徴とする請求項１から９のいずれか１項に記載の心電図診断装置。
  12. 　前記活性化関数は、シグモイド関数またはソフトマックス関数であることを特徴とする請求項９に記載の心電図診断装置。
  13. 　コンピュータによって実行させることで、前記コンピュータを請求項１から１２のいずれか１項に記載の心電図診断装置として機能させることを特徴とする心電図診断プログラム。
  14. 　被検者から心電図画像を取得する心電図検査装置と、請求項１３に記載のプログラムを実行したコンピュータとを含むことを特徴とする心電図診断システム。
PCT/JP2019/025098 2018-06-29 2019-06-25 心電図画像を用いた機械学習による心電図診断装置 WO2020004369A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-124083 2018-06-29
JP2018124083 2018-06-29

Publications (1)

Publication Number Publication Date
WO2020004369A1 true WO2020004369A1 (ja) 2020-01-02

Family

ID=68986694

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/025098 WO2020004369A1 (ja) 2018-06-29 2019-06-25 心電図画像を用いた機械学習による心電図診断装置

Country Status (1)

Country Link
WO (1) WO2020004369A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242098A (zh) * 2020-02-27 2020-06-05 西安交通大学 一种结合特征提取和inception网络的心电数据分类方法及系统
CN111289854A (zh) * 2020-02-26 2020-06-16 华北电力大学 基于紫外视频的3d-cnn和lstm的绝缘子绝缘状态评估方法
CN111309909A (zh) * 2020-02-13 2020-06-19 北京工业大学 一种基于混合模型的文本情感分类方法
CN111345817A (zh) * 2020-02-25 2020-06-30 广州视源电子科技股份有限公司 Qrs波群位置确定方法、装置、设备及存储介质
JP2020130772A (ja) * 2019-02-22 2020-08-31 フクダ電子株式会社 生体信号処理装置および自動解析用データ生成方法
WO2021152693A1 (ja) * 2020-01-28 2021-08-05 日本電信電話株式会社 無線通信システム、監視局、不具合検知方法及び無線通信プログラム
JP2021112564A (ja) * 2020-01-17 2021-08-05 長佳智能股▲分▼有限公司 心調律分類モデルを構築するための方法
JP2022045870A (ja) * 2020-09-09 2022-03-22 生物島実験室 心電異常検出ネットワーク訓練方法、心電異常早期警報方法及び装置
WO2022064708A1 (ja) * 2020-09-28 2022-03-31 日本電気株式会社 診断支援装置、診断支援方法、及びコンピュータ読み取り可能な記録媒体
CN114343665A (zh) * 2021-12-31 2022-04-15 贵州省人民医院 一种基于图卷积空时特征融合选择的心律失常识别方法
WO2022100920A1 (en) * 2020-11-13 2022-05-19 Fundación Para La Investigación Biomédica Del Hospital Universitario Ramón Y Cajal Predictive biomarkers of autoimmunity in patients treated with alemtuzumab
US11568991B1 (en) 2020-07-23 2023-01-31 Heart Input Output, Inc. Medical diagnostic tool with neural model trained through machine learning for predicting coronary disease from ECG signals
US11657921B2 (en) 2019-09-18 2023-05-23 Tempus Labs, Inc. Artificial intelligence based cardiac event predictor systems and methods
US11756688B2 (en) 2021-05-28 2023-09-12 Tempus Labs, Inc. ECG-based cardiovascular disease detection systems and related methods
WO2023230345A1 (en) * 2022-05-27 2023-11-30 Yale University Articles and methods for format independent detection of hidden cardiovascular disease from printed electrocardiographic images using deep learning
JP7455295B2 (ja) 2020-01-15 2024-03-26 国立大学法人 東京医科歯科大学 生体情報処理装置及びその制御方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334479A (ja) * 1994-06-08 1995-12-22 Adoin Kenkyusho:Kk パターン分類装置及びこの装置を利用する状態監視システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334479A (ja) * 1994-06-08 1995-12-22 Adoin Kenkyusho:Kk パターン分類装置及びこの装置を利用する状態監視システム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Natural language processing by deep learning-RNN", NEURAL MACHINE TRANSLATION THEORY, 16 February 2017 (2017-02-16), Retrieved from the Internet <URL:http://deeplearning.hatenablog.com/entry/neural_machine_translation_theory> [retrieved on 20190319] *
BABA, KUNIZO ET AL.: "School heart examination guidelines for the extraction of secondary examination recipients -From 4 guided electrocardiogram findings of primary examination", SOCIETAS CARDIOLOGICA PAEDIATRICA JAPONICA, vol. 13, no. 5, 1997, pages 723 - 727, Retrieved from the Internet <URL:http://jspccs.jp/wp-content/uploads/j1305_723.pdf> [retrieved on 20190319] *
FURUBAYASHI, SENAMI ET AL.: "A study on normal abnormal determination of electrocardiogram waveform using deep learning", THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, vol. 5, no. 5, 15 March 2018 (2018-03-15), pages 05 - 01-05-05 *
TADA, KAZUICHI, NIKKEI BIG DATA, 10 August 2016 (2016-08-10), pages 3 - 8 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7297464B2 (ja) 2019-02-22 2023-06-26 フクダ電子株式会社 生体信号処理装置および自動解析用データ生成方法
JP2020130772A (ja) * 2019-02-22 2020-08-31 フクダ電子株式会社 生体信号処理装置および自動解析用データ生成方法
US11657921B2 (en) 2019-09-18 2023-05-23 Tempus Labs, Inc. Artificial intelligence based cardiac event predictor systems and methods
JP7455295B2 (ja) 2020-01-15 2024-03-26 国立大学法人 東京医科歯科大学 生体情報処理装置及びその制御方法
JP2021112564A (ja) * 2020-01-17 2021-08-05 長佳智能股▲分▼有限公司 心調律分類モデルを構築するための方法
WO2021152693A1 (ja) * 2020-01-28 2021-08-05 日本電信電話株式会社 無線通信システム、監視局、不具合検知方法及び無線通信プログラム
CN111309909B (zh) * 2020-02-13 2021-07-30 北京工业大学 一种基于混合模型的文本情感分类方法
CN111309909A (zh) * 2020-02-13 2020-06-19 北京工业大学 一种基于混合模型的文本情感分类方法
CN111345817A (zh) * 2020-02-25 2020-06-30 广州视源电子科技股份有限公司 Qrs波群位置确定方法、装置、设备及存储介质
CN111289854B (zh) * 2020-02-26 2021-05-11 华北电力大学 基于紫外视频的3d-cnn和lstm的绝缘子绝缘状态评估方法
CN111289854A (zh) * 2020-02-26 2020-06-16 华北电力大学 基于紫外视频的3d-cnn和lstm的绝缘子绝缘状态评估方法
CN111242098A (zh) * 2020-02-27 2020-06-05 西安交通大学 一种结合特征提取和inception网络的心电数据分类方法及系统
CN111242098B (zh) * 2020-02-27 2022-04-22 西安交通大学 一种结合特征提取和inception网络的心电数据分类方法及系统
US11568991B1 (en) 2020-07-23 2023-01-31 Heart Input Output, Inc. Medical diagnostic tool with neural model trained through machine learning for predicting coronary disease from ECG signals
JP2022045870A (ja) * 2020-09-09 2022-03-22 生物島実験室 心電異常検出ネットワーク訓練方法、心電異常早期警報方法及び装置
WO2022064708A1 (ja) * 2020-09-28 2022-03-31 日本電気株式会社 診断支援装置、診断支援方法、及びコンピュータ読み取り可能な記録媒体
EP4001919A1 (en) * 2020-11-13 2022-05-25 Fundación para la Investigación Biomédica del Hospital Universitario Ramón y Cajal Predictive biomarkers of autoimmunity in patients treated with alemtuzumab
WO2022100920A1 (en) * 2020-11-13 2022-05-19 Fundación Para La Investigación Biomédica Del Hospital Universitario Ramón Y Cajal Predictive biomarkers of autoimmunity in patients treated with alemtuzumab
US11756688B2 (en) 2021-05-28 2023-09-12 Tempus Labs, Inc. ECG-based cardiovascular disease detection systems and related methods
US11869668B2 (en) * 2021-05-28 2024-01-09 Tempus Labs, Inc. Artificial intelligence based cardiac event predictor systems and methods
CN114343665A (zh) * 2021-12-31 2022-04-15 贵州省人民医院 一种基于图卷积空时特征融合选择的心律失常识别方法
WO2023230345A1 (en) * 2022-05-27 2023-11-30 Yale University Articles and methods for format independent detection of hidden cardiovascular disease from printed electrocardiographic images using deep learning

Similar Documents

Publication Publication Date Title
WO2020004369A1 (ja) 心電図画像を用いた機械学習による心電図診断装置
Quer et al. Machine learning and the future of cardiovascular care: JACC state-of-the-art review
AU2022201530B2 (en) Apparatus, systems and methods for predicting, screening and monitoring of encephalopathy/delirium
US11139048B2 (en) Discovering novel features to use in machine learning techniques, such as machine learning techniques for diagnosing medical conditions
Xu et al. Ecglens: Interactive visual exploration of large scale ecg data for arrhythmia detection
EP4272645A1 (en) Method and apparatus for converting electrical biosignal data into numerical vectors, and method and apparatus for analyzing disease by using same
JP2020185382A (ja) 診断支援装置
US20220108801A1 (en) Diagnosis and treatment support system
Tomihama et al. Machine learning analysis of confounding variables of a convolutional neural network specific for abdominal aortic aneurysms
CN117017310A (zh) 基于知识蒸馏的声电双模先天性心脏病预测装置
JP2007236930A (ja) エクササイズテスト解釈
Al Fahoum Complex Wavelet-enhanced Convolutional Neural Networks for Electrocardiogram-based Detection of Paroxysmal Atrial Fibrillation
US11819314B2 (en) Medical apparatus and test assisting method
Kashyap et al. Machine learning for predictive analytics
Chandola et al. Validation Study of a Derived 12 Lead Reconstructed ECG Interpretation in a Smartphone-Based ECG Device
WO2024089382A1 (en) Method for extracting information from multi-channel measurement data, measurement system for obtaining multi-channel measurement data
US20240212843A1 (en) Method and apparatus for converting electrical biosignal data into numerical vectors, and method and apparatus for analyzing disease by using same
Sambhaji et al. NSTEMI Heart Disease Diagnosis and Analysis Using CNN Classifier and Raspberry Pi
KR20230168954A (ko) 기능적 분석 장치 및 방법
US20220051809A1 (en) System of predicting risks with biomedical data, method of predicting risks with biomedical data, and non-transient state computer-readable storage medium
Latreche et al. Whale optimization algorithm for Covid-19 detection based on ECG
Ju et al. A multimodal deep learning tool for detection of junctional ectopic tachycardia in children with congenital heart disease
Jeong et al. Temporal progress model of metabolic syndrome for clinical decision support system
EP4288967A1 (en) Method and computing apparatus for healthcare quality assessment
Filatova et al. Functional Model of an Electrocardiological Study

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19827574

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19827574

Country of ref document: EP

Kind code of ref document: A1