WO2022220649A1 - 심전도 이미지에 기반한 환자 평가 시스템 및 방법 - Google Patents

심전도 이미지에 기반한 환자 평가 시스템 및 방법 Download PDF

Info

Publication number
WO2022220649A1
WO2022220649A1 PCT/KR2022/005488 KR2022005488W WO2022220649A1 WO 2022220649 A1 WO2022220649 A1 WO 2022220649A1 KR 2022005488 W KR2022005488 W KR 2022005488W WO 2022220649 A1 WO2022220649 A1 WO 2022220649A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
server
user terminal
image
electrocardiogram
Prior art date
Application number
PCT/KR2022/005488
Other languages
English (en)
French (fr)
Inventor
김중희
Original Assignee
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210161788A external-priority patent/KR20220143547A/ko
Application filed by 서울대학교병원 filed Critical 서울대학교병원
Publication of WO2022220649A1 publication Critical patent/WO2022220649A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • Embodiments of the present application relate to a technology for evaluating a patient's condition, and more particularly, to a patient evaluation system and method for evaluating a patient's condition, including arrhythmias, based on an electrocardiogram image, and displaying evaluation information.
  • ECG electrocardiogram
  • an electrocardiogram (ECG) test for about 2 to 3 minutes is performed on a patient who visits the hospital, and the patient's condition is monitored to diagnose the presence or absence of cardiac abnormalities.
  • the medical staff analyzes the waveform of the ECG signal to diagnose the patient's heart disease.
  • CAD coronary artery disease
  • electrolyte abnormality shock, pulmonary edema, respiratory failure, and myocarditis
  • heart function disorders such as ventricular insufficiency and valvular disorders
  • Patent Document 1 Patent Publication No. 10-2014-0063100 (2014.05.27.)
  • a patient evaluation system and method for evaluating whether a patient has various heart diseases, including arrhythmias, based on an electrocardiogram image, and generating a report screen displaying evaluation information, and a computer-readable recording medium recording the same aims to provide
  • a user terminal for patient evaluation based on an electrocardiogram image includes a processor; Includes; photographing unit.
  • the user terminal acquires a source electrocardiogram image of a target patient, transmits a request including the source electrocardiogram image to a server, receives evaluation information for the target patient from the server, and reports feedback based on the evaluation information may be configured to provide.
  • the evaluation information includes at least one of an electrocardiogram image and first diagnostic information including a heart rhythm evaluation result of a target patient.
  • the report feedback includes at least one of a first area displaying the electrocardiogram image and a second area displaying the first diagnostic information.
  • the user terminal further includes a display unit, and the configuration for providing the report feedback may include displaying a report screen using the display unit.
  • the evaluation information is an evaluation result of a different aspect from the target patient's heart rhythm, and may further include second diagnostic information including an evaluation value of the target patient for an item in a category different from the heart rhythm category.
  • the report screen further includes a third area displaying the first diagnostic information and/or the second diagnostic information as a graph.
  • the x-axis of the graph represents at least some of the evaluated items and the y-axis represents an evaluation value, for example, an evaluation value of a target patient for the item, and the evaluation value for each item is a marker. may be expressed.
  • the evaluation information may further include distribution information of evaluation values for the item.
  • the report screen is further configured such that the distribution information of the evaluation value for the item is expressed as a sub-region on the third region, in which the indicator of the evaluation value is located.
  • the sub-region may have a shape length according to a confidence interval of the distribution of each evaluation value.
  • the first diagnostic information is calculated by selecting any one of a normal rhythm, a first group arrhythmia type, or a second group arrhythmia type. and when the heart rhythm of the target patient in the first diagnostic information is an arrhythmia type of the second group, the report feedback including the electrocardiogram image and an evaluation result made of only the second diagnostic information is provided.
  • the first group of arrhythmia types may include one or more of atrial flutter, PSVT, atrial tachycardia, ventricular tachycardia, and pacemaker.
  • the arrhythmia types of the second group include some or all of the remaining arrhythmias that do not belong to the first group among all of the plurality of arrhythmia types designated in advance.
  • the user terminal further includes a photographing unit, to obtain the source ECG image, select a plurality of reference points for determining a frame guide line in the photographed image; And it may be further configured to adjust the size of the ECG signal region in the captured image according to the determined frame guideline.
  • the determined frame guide line includes the electrocardiogram signal region, and at least some of the plurality of selected reference points are located inside the frame guide line.
  • the user terminal may be further configured to remove a region displaying the patient's personal information in order to anonymize the source ECG image.
  • the user terminal may be further configured to provide an evaluation result to an expert account registered in a database.
  • the user terminal may be configured to provide a feedback from an expert account on the evaluation result to the user terminal.
  • the evaluation result provided to the expert account may be provided in a manner including at least one of a text message, an email, and a push notification.
  • the feedback from the expert account provided to the user terminal may be in the form of at least one of video, audio, and text.
  • the user terminal may be further configured to provide an evaluation result to a medical staff or hospital account registered in the database.
  • the evaluation result provided to the medical staff or hospital account may be provided in a manner including at least one of a text message, an email, and a push notification.
  • the user terminal may be configured to further provide a list of preliminary preparations based on the evaluation result to the medical staff or hospital account registered in the database.
  • the user terminal may be configured to receive feedback from a medical staff or hospital account for the evaluation result and provide it to the user terminal.
  • the feedback from the medical staff or hospital account provided to the user terminal may be in the form of at least one or more of video, audio, and text.
  • a server communicating with a user terminal for patient evaluation based on an electrocardiogram image receives a source electrocardiogram image of a target patient including an electrocardiogram signal region from the user terminal, and based on the source electrocardiogram image It may be configured to generate evaluation information of the target patient.
  • the evaluation information includes at least one of an electrocardiogram image, first diagnostic information including a heart rhythm evaluation result of the target patient, and second diagnostic information including an evaluation value of the target patient for items in a category different from the heart rhythm category.
  • the server extracts waveform data of an electrocardiogram signal from the source electrocardiogram image to generate the evaluation information of the target patient; And it may be configured to generate evaluation information for the target patient based on the extracted waveform data. For example, after extracting waveform data from the source ECG image and converting it into one-dimensional data, for example, one-dimensional multi-channel data using a neural network, evaluation information may be generated based on the converted data.
  • the server a first artificial neural network pre-trained to extract the waveform data of the signal from the input image; and a second artificial neural network trained in advance to input waveform data to calculate a target patient's evaluation value for a predetermined item.
  • the first artificial neural network is modeled in a 2D (dimension)-CNN, VIT (Visual Transformer), or MLP (Multilayer Perceptron) structure
  • the second artificial neural network is modeled in a 1D (dimension)-CNN structure.
  • the server may generate evaluation information by directly processing 2D data without extracting a waveform from the source ECG image.
  • it may include a third artificial neural network trained in advance to input the source electrocardiogram image and calculate a target patient's evaluation value for a predetermined item.
  • the third artificial neural network is modeled in a 2D (dimension)-CNN, VIT (Visual Transformer), or MLP (Multilayer Perceptron) structure.
  • the second artificial neural network or the third artificial neural network is modeled to have a multi-label output stage, and an absolute evaluation value, which individually indicates the possibility of corresponding to each of the predetermined items, is calculated.
  • the second artificial neural network or the third artificial neural network is modeled to have a multi-label output stage, and the sum of the calculated evaluation values for each item has a probability distribution relationship of 1.
  • the server may be further configured to calculate distribution information on evaluation values for each item.
  • the distribution information is a specific distribution formed by evaluation values for each item, calculated by repeating the same evaluation operation using the same input value, or augmentation ( augmentation) technique is applied to the same input value, and is based on a specific distribution formed of the evaluation values for each item, which is calculated by performing an evaluation operation with a modified input value.
  • the server determines the type of the target patient's heart rhythm through the second artificial neural network or the third artificial neural network, and when the target patient's heart rhythm is the first group arrhythmia type, It is also possible to generate evaluation information including the evaluation result of the target patient's heart rhythm, or the electrocardiogram image and the evaluation result of the target patient's heart rhythm, with or without partially evaluating the heart rhythm and other category items. .
  • the server crops an electrocardiogram signal region from the source electrocardiogram image, and generates a transformed image in which at least one of a view, a size, and a shape is transformed by performing perspective transformation on the cropped image, , calculating the original aspect ratio of the electrocardiogram signal region from the source electrocardiogram signal, and correcting the aspect ratio of the converted image to the original aspect ratio to generate an electrocardiogram signal patch, and based on the electrocardiogram signal patch, the target patient's It is also possible to generate evaluation information.
  • the server may provide the evaluation result to the expert account registered in the database.
  • the server may provide feedback from the expert account on the evaluation result to the user terminal.
  • the evaluation result provided to the expert account may include at least one of a text message, an email, and a push notification.
  • the feedback from the expert account provided to the user terminal may be in the form of at least one of video, audio, and text.
  • the server may provide the evaluation result to the medical staff or hospital account registered in the database.
  • the evaluation result provided to the medical staff or hospital account may be provided in a manner including at least one of a text message, an email, and a push notification.
  • the server may further provide a list of preliminary preparations based on the evaluation result to the medical staff or hospital account registered in the database.
  • the server may receive feedback from a medical staff or hospital account for the evaluation result and provide it to the user terminal.
  • the feedback from the medical staff or hospital account provided to the user terminal may be in the form of at least one or more of video, audio, and text.
  • a patient evaluation method based on an electrocardiogram image includes: acquiring a source electrocardiogram image of a target patient by a user terminal; requesting, by the user terminal, an evaluation of the target patient to a server, the request including a source electrocardiogram image; generating, by the server, evaluation information of a target patient based on an electrocardiogram image, and transmitting the evaluation information of the target patient to a user terminal; and providing report feedback based on the evaluation information of the target patient by the user terminal.
  • the computer-readable recording medium when executed by a processor, may record a program for performing the patient evaluation method based on the electrocardiogram image according to the above-described embodiments.
  • the patient evaluation system based on an electrocardiogram image may evaluate the condition of a target patient in terms of heart rhythm such as arrhythmias and other aspects such as other heart disease/condition events based on the electrocardiogram image.
  • the patient evaluation system based on the electrocardiogram image may provide the user with a report screen configured to allow the user to easily visually recognize evaluation results of various aspects.
  • FIG. 1 is a schematic drawing of an operation of a patient evaluation system based on an electrocardiogram image, according to an aspect of the present application.
  • FIG. 2 is a table diagram illustrating evaluation information of a first analysis group according to an embodiment of the present application.
  • FIG. 3 is a diagram illustrating a report screen including an electrocardiogram image and an analysis result, according to an embodiment of the present application.
  • FIG. 4 is a diagram illustrating a screen summarizing evaluation information according to an embodiment of the present application.
  • FIG. 5 illustrates an interface screen for inputting auxiliary information on a target patient, according to an embodiment of the present application.
  • FIG. 6 is a diagram illustrating a first matching screen displaying a group of matched patients according to an embodiment of the present application.
  • FIG. 7 is a diagram illustrating a second matching screen for calculating evaluation information over time for a single patient according to an embodiment of the present application.
  • FIG. 8 is a flowchart of a method for evaluating a patient based on an electrocardiogram image, according to an embodiment of the present application.
  • FIGS. 9A to 9C are diagrams illustrating a process of acquiring a source ECG image according to a frame guideline, according to an embodiment of the present application.
  • FIG. 10 is a diagram illustrating a process of acquiring a source ECG image according to a frame guideline, according to another embodiment of the present application.
  • FIG 11 illustrates an interface screen for anonymizing an electrocardiogram image according to an embodiment of the present application.
  • FIG. 1 is a schematic drawing of an operation of a patient evaluation system based on an electrocardiogram image, according to an aspect of the present application.
  • a patient evaluation system 1 based on an electrocardiogram image includes a user terminal 10 and a server 20 .
  • the patient evaluation system 1 based on an electrocardiogram image may be entirely hardware, entirely software, or may have aspects that are partly hardware and partly software.
  • the system may collectively refer to hardware equipped with data processing capability and operating software for driving the same.
  • terms such as “unit,” “module,” “device,” or “system” are intended to refer to a combination of hardware and software run by the hardware.
  • the hardware may be a data processing device including a central processing unit (CPU), a graphic processing unit (GPU), or another processor.
  • software may refer to a running process, an object, an executable file, a thread of execution, a program, and the like.
  • the user terminal 10 may be any type of terminal capable of data communication.
  • the user terminal 10 includes a processor, and a wireless terminal (eg, a mobile phone, a personal digital assistant (PDA), a notebook computer, a smart phone, etc.) or data wirelessly connected to a data network (eg, the Internet) It may be a wired terminal (eg, PC, laptop, kiosk, etc.) that connects to the network by wire.
  • a wireless terminal eg, a mobile phone, a personal digital assistant (PDA), a notebook computer, a smart phone, etc.
  • a data network eg, the Internet
  • It may be a wired terminal (eg, PC, laptop, kiosk, etc.) that connects to the network by wire.
  • the user terminal 10 acquires an electrocardiogram image of the patient to be evaluated.
  • the electrocardiogram image includes a region in which an electrocardiogram signal is expressed.
  • the electrocardiogram image may include a plurality of waveforms representing electrocardiogram signals.
  • the electrocardiogram image depends on an electrocardiogram measuring device.
  • the ECG image may include a waveform of the ECG signal for each lead.
  • the user terminal 10 may include a photographing unit (not shown) for photographing an electrocardiogram image.
  • the photographing unit may include a camera, an image sensor, or other unit capable of photographing the waveform of the ECG signal.
  • the user terminal 10 may acquire a source ECG image by photographing an object (eg, a print or a display device) displaying an ECG signal on a surface.
  • the length of the ECG signal in the source ECG image depends on the imaging field of view.
  • the electrocardiogram image utilized in the patient evaluation system 1 is not limited to an image composed of only the electrocardiogram signal region, and may be an image composed of the electrocardiogram signal region and other regions.
  • the user terminal 10 may receive an electrocardiogram image of a target patient from an external device.
  • the user terminal 10 may receive electrocardiogram image data photographed from an external device or stored in advance through wired/wireless electrical communication.
  • the user terminal 10 may transmit information about the patient to be evaluated to the server 20 .
  • the user terminal 10 may receive evaluation information on the target patient as a reply.
  • the user terminal 10 may be any type of terminal capable of data communication to enable communication with the server 20 or an external device.
  • the user terminal 10 includes a processor, and a wireless terminal (eg, a mobile phone, a personal digital assistant (PDA), a notebook computer, a smart phone, etc.) , it may be a wired terminal (eg, PC, laptop, ATM, etc.) that connects to the data network by wire.
  • a wireless terminal eg, a mobile phone, a personal digital assistant (PDA), a notebook computer, a smart phone, etc.
  • a wired terminal eg, PC, laptop, ATM, etc.
  • the user terminal 10 may store an electrocardiogram image of a target patient.
  • the user terminal 10 may further store information related to the ECG image of the target patient.
  • the information associated with the electrocardiogram image may include information about a target patient, and/or evaluation information.
  • the information about the patient includes personal information of the patient.
  • the patient's personal information may include the patient's name, social security number, gender, age, address, and the like.
  • the user terminal 10 is configured to provide evaluation information on the target patient to the user.
  • the user terminal 10 may display evaluation information.
  • the user terminal 10 may include a display unit (not shown) for displaying information.
  • the server 20 evaluates the state of the target patient based on the electrocardiogram image, and generates evaluation information of the target patient.
  • the evaluation information is a result of analyzing the electrocardiogram image, and includes information that evaluates the condition of the target patient from the point of view of the heart.
  • the server 20 is a plurality of computer systems or computer software implemented as a network server, and is configured to receive data (eg, image data) of the user terminal 10 through a wired/wireless network.
  • the network server is a computer system and computer that is connected to a subordinate device that can communicate with other network servers through a computer network such as a private intranet or the Internet, receives a request for performing a task, performs the task, and provides an execution result.
  • It means software (network server program).
  • network server program in addition to such a network server program, it should be understood as a broad concept including a series of application programs operating on a network server and various databases built therein in some cases.
  • the user terminal 10 and the server 20 may be installed and executed with software (application) for performing a patient evaluation operation based on an electrocardiogram image, and the configuration of the user terminal 10 and the server 20 depends on the installed software. may be controlled by A patient evaluation operation based on an electrocardiogram image performed at least in part by the user terminal 10 and the server 20 will be described in more detail with reference to FIGS. 2 to 11 below.
  • the server 20 may calculate evaluation information describing evaluation of the patient's condition based on the electrocardiogram image received from the user terminal 10 .
  • the server 20 may generate evaluation information by processing the electrocardiogram image data and determining whether the patient's condition corresponds to at least one of pre-stored items based on the processed data.
  • Evaluating a patient's condition includes whether the patient has a specific heart disease, whether the patient's biometric information (eg, electrolyte concentration, etc.) can cause an emergency condition event comparable to a heart disease, predicting the patient's future condition etc.
  • the server 20 analyzes the ECG image of the target patient in various aspects.
  • the server 20 may evaluate (or determine) the condition of the target patient by analyzing the ECG image of the target patient in terms of heart rhythm such as arrhythmias, emergency situations, cardiac function, and other diseases/situations.
  • the evaluation information of the server 20 is used to generate the report screen of FIG. 3 below.
  • the server 20 may evaluate the target patient in terms of rhythm.
  • An item included in the evaluation information may include a type of heart rhythm.
  • the type of the heart rhythm may include a normal rhythm (Normal Sinus Rhythm) or a plurality of arrhythmia types.
  • the plurality of arrhythmia types include, for example, sinus bradycardia, second degree type 1 atrioventricular block (Mobitz I, or 2 nd degree Type I Heart Block, referred to as Wenckebach), ventricular fibrillation, PVT.
  • Ventricular Tachycardia Polymorphic Ventricular Tachycardia
  • Ventricular Tachycardia 3rd Degree Heart Block, 1st Degree Heart Block, Nodal Rhythm, Atrial Flutter , Atrial Fibrillation, 2 nd Degree Type II, Sinus Rhythm with ST elevation, Sinus Tachycardia with unifocal PVC's and couplets ), Multifocal Atrial Tachycardia (MAT), Paroxysmal Supraventricular Tachycardia (PSVT), Sinus Rhythm with Ventricular Bigeminy, Atrial tachycardia, Junctional rhythm, Electronic pacemaker It may consist of multiple arrhythmic rhythms, including
  • the server 20 may determine the type of heart rhythm corresponding to the target patient based on the ECG image or the ECG signal of the target patient.
  • the server 20 may store a heart rhythm category composed of a plurality of items each indicating a type of heart rhythm. This category may consist of a plurality of items each indicating the plurality of arrhythmia types described above.
  • the server 20 may determine the heart rhythm of the target patient as the normal rhythm.
  • the server 20 may determine the corresponding arrhythmia type from among a plurality of previously designated arrhythmia types.
  • the server 20 may be further configured to evaluate the condition of the target patient in terms of heart rhythm and other aspects.
  • the server 20 may determine whether the target patient corresponds to another aspect in addition to determining the type of heart rhythm such as arrhythmia.
  • the server 20 may be further configured to provide the evaluation result to the expert account registered in the database.
  • Experts include, but are not limited to, medical staff as experts who can interpret or further judge the evaluation results and provide feedback.
  • An expert account may be a group account to which one or more experts belong.
  • the server 20 provides feedback from the expert account on the evaluation result to the user terminal, and the feedback of the expert account includes interpretation or additional judgment of the expert or expert group on the evaluation result.
  • the evaluation result provided to the expert account may be provided in a manner including at least one of a text message, an email, and a push notification.
  • the feedback from the expert account provided to the user terminal may be in the form of at least one of video, audio, and text.
  • the server 20 may be configured to provide evaluation results to medical staff or hospital accounts registered in the database.
  • the medical staff or hospital provides the evaluation results to the hospital emergency room or related specialists or medical staff, for example, in an emergency situation, when a person performing emergency measures, such as a patient or paramedic, etc. may be used, but is not limited thereto.
  • the evaluation result provided to the medical staff or hospital account may be provided in a manner including at least one of a text message, an email, and a push notification.
  • the server 20 may be configured to further provide a list of preliminary preparations based on the evaluation result to the medical staff or hospital account registered in the database - for example, it may include the list of preparations in advance in case of an emergency described above. .
  • the server may receive feedback from a medical staff or hospital account for the evaluation result and provide it to the user terminal. Feedback from medical staff or hospital accounts may include interpretation of evaluation results or further judgment or direction. For example, it may include, but is not limited to, interpretation of the evaluation results, additional judgment, or instructions from medical staff.
  • the feedback provided to the user terminal from the medical staff or hospital account may be in the form of at least one of video, audio, and text.
  • FIG. 3 is an evaluation table diagram illustrating items of various aspects according to an embodiment of the present application.
  • the items of the other aspect include heart disease related to cardiac dysfunction; state event or disease related to the emergency; and/or other condition events/diseases.
  • the server 20 may include a sim function abnormality category consisting of one or more items; an emergency category consisting of one or more items; and/or other status events/disease categories.
  • the emergency situation category consists of items indicating a disease or condition in which the target patient's condition may be diagnosed as an emergency situation.
  • the emergency situation category may be classified into a plurality of groups. Each group may consist of at least one item.
  • the emergency category includes Cardio/vascular disorders group; Electrolyte abnormal group; shock group; cardiac arrest group; pulmonary edema group; respiratory failure group; myocarditis group; It may also be classified into one or more groups of arrhythmia-induced right ventricular cardiomyopathy. Each group may consist of some or all of the items of FIG. 3 .
  • the cardiac function abnormality category consists of items indicating a disease or condition in which the condition of the target patient may be diagnosed as cardiac function abnormality.
  • the cardiac function abnormality category may be classified into a plurality of groups. Each group may consist of at least one item.
  • the cardiac dysfunction categories include left ventricular failure with maintained contractility; left ventricular insufficiency due to inability to maintain contractility; right ventricular insufficiency; valve dysfunction; cardiomyopathy; pericardial effusion; and/or cardiac tamponade (or piezoelectricity).
  • Each group may consist of some or all of the items of FIG. 3 .
  • the valve dysfunction group consists of items indicating symptoms for each part.
  • the valve dysfunction group may consist of items each indicating symptoms of stenosis and regurgitation in regions such as the tricuspid valve, bicuspid valve, pulmonary artery, and aorta.
  • the cardiomyopathy group consists of items referring to one or more conditions.
  • the cardiomyopathy group may consist of multiple items each designating hypertrophic cardiomyopathy, stress cardiomyopathy, diastolic cardiomyopathy, ischemic cardiomyopathy, and the like.
  • the hereditary arrhythmia category may consist of the category of underlying heart disease that may result in some of the arrhythmia types. Items in the hereditary arrhythmia category refer to various underlying heart diseases that are highly likely to cause arrhythmias.
  • the hereditary arrhythmia categories include Brugada syndrome, Long QT syndrome, catecholamine polymorphic ventricular tachycardia, Short QT syndrome, Early repolarization syndrome, and idiopathic.
  • ventricular tachycardia hypertrophic cardiomyopathy, and/or arrhythmia-induced right ventricular cardiomyopathy.
  • the server 20 determines that the target patient has at least the hereditary arrhythmia category only if the type does not affect the baseline of the ECG signal of the target patient when it is determined that the target patient has an arrhythmia. You can also judge whether you have one item.
  • the item of underlying heart disease is related to only some arrhythmia types among a plurality of predefined arrhythmia types. These arrhythmias are described in more detail below.
  • diseases/conditions consist of diseases/conditions not included in the aforementioned categories but which may be considered in assessing the patient's condition.
  • the server 20 may evaluate the target patient by determining whether it corresponds to an item of a different aspect from the heart rhythm based on an electrocardiogram image or an electrocardiogram signal of the target patient.
  • the server 20 extracts waveform data of the electrocardiogram signal from the electrocardiogram image; A target patient may be evaluated based on the extracted waveform data.
  • the server 20 may include a pre-trained first artificial neural network to extract the waveform data of the signal from the input image.
  • the first artificial neural network is modeled to extract time series data as waveform data according to the number of reads L in the input image.
  • the first artificial neural network may output a one-dimensional vector of a predetermined length. This length is a preset time interval.
  • the hyperparameter (N) of the time interval is preset for the first artificial neural network
  • the first artificial neural network sets a one-dimensional vector for each read (L1, L2, L3, ..., Lm) ( N L1 , N L2 , N L3 ,..., N Lm ) are calculated.
  • the first artificial neural network may be modeled as a structure having multiple output stages. Each output terminal corresponds to each lead of the electrocardiogram measuring device.
  • the first artificial neural network may be modeled with various network structures for classifying whether each pixel of the input image is a signal waveform.
  • the first artificial neural network is a structure such as 2D-CNN, VIT (Visual Transformer), MLP (Multilayer Perceptron), or an improved neural network structure extended therefrom (Residual connection, Max/Average Pooling, Channel attention).
  • VIT Visual Transformer
  • MLP Multilayer Perceptron
  • an improved neural network structure extended therefrom Residual connection, Max/Average Pooling, Channel attention
  • Spatial attention, Layer-normaliztion, Batch normalization, Depthwise convolution, Bottleneck, Inverted Bottleneck, Gating, Dropout, Bayesian Layer can also be modeled as other machine learning network structures.
  • Such a neural network may be applied not only to the first artificial neural network but also to the second and third artificial neural networks.
  • the waveform data of the ECG signal calculated by the first artificial neural network is supplied to another artificial neural network that evaluates the target patient from the input waveform data.
  • the server 20 may supply the electrocardiogram image itself to the artificial neural network for evaluating the target patient, without the need to extract the waveform data of the signal from the input image from the first artificial neural network.
  • the server 20 may calculate an evaluation value indicating the possibility that the target patient corresponds to a predetermined item of another aspect from the input data.
  • the evaluation value represents the probability that the subject patient has the disease of the item or the probability that it is a state event.
  • the server 20 may generate evaluation information including such evaluation values.
  • the server 20 may select at least one item based on the evaluation value for each item.
  • the selected item refers to a disease or condition event that the subject patient is determined to have (or diagnosed with).
  • the server 20 may select an item having the highest corresponding degree or a plurality of items having a relatively high corresponding degree.
  • the server 20 may generate evaluation information including the selection result.
  • the server 20 inputs a second artificial neural network and/or an electrocardiogram image, which is pre-trained to calculate an evaluation value of a target patient for a predetermined item by inputting waveform data, and/or a target patient for a predetermined item by inputting an electrocardiogram image It may include a third artificial neural network pre-trained to calculate an evaluation value of .
  • the second artificial neural network is modeled to process the input waveform data to calculate a target patient's evaluation value for a predetermined item.
  • the server 20 may input the set of one-dimensional vectors output from the first artificial neural network as input waveform data to the second artificial neural network.
  • the second artificial neural network processes the input and calculates a probability that the condition of the target patient corresponds to each of the predetermined items.
  • the second artificial neural network may be modeled in various network structures for calculating the probability of corresponding to each evaluation item based on the values of each one-dimensional vector in the set.
  • the second artificial neural network may be modeled as a fully connected layer structure or other 1D-CNN structure.
  • the third artificial neural network is modeled to process an electrocardiogram image (eg, an electrocardiogram signal patch) in which an electrocardiogram signal is expressed as a sub-region to calculate a target patient's evaluation value for a predetermined item directly from the input image.
  • the server 20 may calculate the evaluation value of the target patient by processing the image data through the third artificial neural network, instead of extracting the waveform data of the signal from the electrocardiogram image through the first artificial neural network.
  • the third artificial neural network may be modeled with various network structures for processing an input image to calculate an evaluation value for a predetermined item.
  • the third artificial neural network is a structure such as 2D-CNN, VIT (Visual Transformer), MLP (Multilayer Perceptron), or an improved neural network structure extended therefrom (Residual connection, Max/Average Pooling, Channel attention, Spatial attention).
  • Layer-normaliztion, Batch normalization, Depthwise convolution, Bottleneck, Inverted Bottleneck, Gating, Dropout, Bayesian Layer can also be modeled as other machine learning network structures.
  • the second and third artificial neural networks may perform calculations by applying various activation functions (eg, sigmoid, Tanh, ReLU, Leaky RELU, Pameterized RELU, ELU, SeLU, GeLU, Swish, Mish functions, etc.) to internal values. .
  • activation functions eg, sigmoid, Tanh, ReLU, Leaky RELU, Pameterized RELU, ELU, SeLU, GeLU, Swish, Mish functions, etc.
  • the server 20 may calculate an evaluation value and/or an item selection result through the second and third artificial neural networks.
  • the second and third artificial neural networks are a kind of artificial neural network for analysis that evaluates the condition of a target patient, they may have the same or similar structure and function, at least in part.
  • the calculation form of the evaluation value depends on the output terminals of the second and third artificial neural networks.
  • At least one artificial neural network of the second artificial neural network and the third artificial neural network may calculate an absolute evaluation value that individually indicates the possibility of corresponding to each of the predetermined items. These artificial neural networks are modeled to have multi-label outputs. Then, in the server 20, it is independently determined whether the target patient has the disease or state event of each item.
  • the second artificial neural network or the third artificial neural network is configured to calculate evaluation values for N pre-specified items through a sigmoid function and a softmax function based on the operation result in the corresponding artificial neural network.
  • the corresponding artificial neural network may calculate N absolute evaluation values for each of the N items.
  • the individual absolute evaluation values are each calculated as a real number ranging from 0 to 1.
  • the server 20 may provide an independent item rating for each of the N items based on the N absolute rating values.
  • At least one artificial neural network of the second artificial neural network and the third artificial neural network may be configured to calculate a relative evaluation value indicating a relative probability of corresponding to any item within a range of a predetermined item.
  • These artificial neural networks are modeled to have multi-class outputs. Each item is treated as a class.
  • the second artificial neural network or the third artificial neural network is configured to calculate evaluation values for N predefined items using a probability function such as a softmax function.
  • a probability function such as a softmax function.
  • the calculated evaluation value is calculated as a real number in the range of 0 to 1 for each item, and the probability that the sum of all N of these real values becomes 1 have a distribution relationship.
  • this artificial neural network calculates evaluation values for the items in FIG. 3 , the total sum of the evaluation values for each item in FIG. 3 is 1.
  • the server 20 may select at least one item as a disease or state event of the target patient based on the relative evaluation value. For example, the server 20 may select K items with high probability (K being a positive number) from among several heart rhythm items and calculate the item evaluation for the heart rhythm of the target patient. As such, the selection result at least partially reflects the relative item evaluation, expressed as the real value described above.
  • At least one artificial neural network of the second artificial neural network and the third artificial neural network may be further configured to calculate one or more measurement values related to the electrocardiogram signal.
  • the measured value may include a pulse rate, the number of atrial contractions per minute, a PR section, a QRS section, a QT section, a length of a corrected QR section, an interval, a QRS axis, a P axis, and/or a T axis.
  • the server 20 may directly use the calculated value as a measurement value or use a scale-processed value of the calculated value as the measurement value.
  • the server 20 may be configured to calculate the age of the heart from the electrocardiogram signal.
  • the server 20 may calculate a heart age different from the birth reference age through a separate artificial neural network trained to calculate the heart age.
  • the server 20 may also be configured to calculate an estimate of the cardiac calcium score.
  • the server 20 may calculate an estimate of the cardiac calcium score based on the degree of calcium deposition in the coronary arteries.
  • the server 20 may also be configured to calculate an estimate of hemoglobin in the heart.
  • the second artificial neural network and the third artificial neural network may include a plurality of artificial neural networks.
  • the second artificial neural network or the third artificial neural network may include a sub artificial neural network for calculating each individual evaluation value.
  • the number of sub artificial neural networks may be P.
  • the second artificial neural network or the third artificial neural network may include a sub artificial neural network for calculating at least two or more evaluation values.
  • a sub artificial neural network for calculating at least two or more evaluation values.
  • the server 20 when the server 20 is configured to calculate P evaluation values, there may be Q number of sub artificial neural networks (Q ⁇ P).
  • the server 20 may calculate the evaluation value for each item, the selection result, and the measurement value as the item evaluation.
  • server 20 may be further configured to calculate distribution information for each item evaluation result (eg, evaluation value).
  • the server 20 may obtain a specific distribution formed of evaluation values for each item, which is calculated by repeatedly performing the same evaluation operation several times using the same input value.
  • the server 20 performs an evaluation operation several times with a modified input value by applying an augmentation technique used during training of the second artificial neural network or the third artificial neural network to the same input value several times. It is also possible to obtain a specific distribution formed by the calculated evaluation value for each item in each turn.
  • the augmentation method may be any transformation method that applies a random transformation to an existing image input value within a predetermined intensity.
  • the server 20 inputs the same input value to different artificial neural networks (eg, the second artificial neural network or the third artificial neural network) to obtain a specific distribution formed as an evaluation value for each item in each artificial neural network.
  • different artificial neural networks eg, the second artificial neural network or the third artificial neural network
  • the server 20 calculates distribution information of evaluation values for items by selecting some or all of the above-described specific distributions. Any one of the specific distributions may be directly used as the distribution information of the evaluation value, or a combination of a plurality of specific distributions of the evaluation value for the same item may be used as the final distribution information of the evaluation value for the item.
  • the distribution information includes a representative value (eg, mean, median, etc.) summarizing the trend of the distribution, and a degree of distribution (eg, confidence interval, standard deviation, standard error, interquartile interval, range).
  • a representative value eg, mean, median, etc.
  • a degree of distribution eg, confidence interval, standard deviation, standard error, interquartile interval, range.
  • the neural network itself is the input
  • a distribution can be obtained by modifying the calculation result by adding randomness to the calculation process that processes the data.
  • This distribution calculation or acquisition method is, for example, 1) a Monte Carlo dropout layer (a dropout layer is also applied in the inference process) or 2) a Bayesian layer (the output result of the layer is input to the next layer)
  • the probability distribution of values for example, the mean and standard deviation of the Gaussian distribution, and the method of sending the randomly selected output value from these distributions to the next layer), etc., are included in the neural network. may be used, but is not limited thereto, and in addition, may include using all layers when inferencing in a random manner.
  • the server 20 generates evaluation information including evaluation values for each item, selection results, measurement values, heart age, cardiac calcium score estimate, hemoglobin estimate, and/or distribution information of evaluation values for each item.
  • the evaluation information includes an electrocardiogram image; first diagnostic information; second diagnostic information; and one or more of third diagnostic information.
  • the electrocardiogram image is an image directly used for evaluation, and may be, for example, a source electrocardiogram image or an electrocardiogram signal patch extracted from the source electrocardiogram image and composed of an electrocardiogram signal region.
  • the first diagnostic information includes a heart rhythm.
  • the first diagnostic information may include at least one type of arrhythmia or a normal rhythm among a plurality of types of arrhythmia predicted to be possessed by the target patient.
  • the second diagnostic information includes an item (ie, disease/state event) and/or an evaluation value of the item.
  • the first diagnostic information includes an evaluation value of the target patient based on the item of FIG. 3 .
  • the third diagnostic information includes at least one of a heart age, an estimate of a cardiac calcium score, a measurement value related to an electrocardiogram signal, and an estimate of hemoglobin.
  • the evaluation information may further include at least a part (eg, name) of the evaluation time, the evaluation date, and/or the patient's personal information.
  • Such evaluation information is provided to the user through the user terminal 10 .
  • the plurality of arrhythmia types may be divided into a first group arrhythmia type and a second group arrhythmia type.
  • the first group of arrhythmia types includes an arrhythmia type corresponding to a part of a plurality of arrhythmia types designated in advance in the system.
  • the ECG signal of the target patient has a waveform that makes it difficult to accurately calculate the possibility of another heart disease. This is because the type of arrhythmia corresponding to the first group affects the baseline of the ECG signal of the target patient. The baseline of the patient's ECG signal always reflects the effect of this first type of arrhythmia.
  • the first group of arrhythmia types may consist of a predefined arrhythmia type, including atrial flutter, PSVT, atrial tachycardia, ventricular tachycardia, and/or pacemaker.
  • the type of arrhythmia of the second group is independent of the ECG signal of the target patient and does not affect the baseline of the ECG signal of the target patient.
  • the arrhythmia types of the second group may include some or all of the remaining arrhythmias that do not belong to the first group among all of the above-described plurality of previously designated arrhythmia types.
  • the server 20 determines that the target patient does not have a normal rhythm
  • the server 20 determines that the target patient has at least one of a plurality of predefined arrhythmia types. For example, the server 20 may determine the type of arrhythmia of the target patient through the second artificial neural network or the third artificial neural network previously learned to determine the type of heart rhythm. The determined arrhythmia type belongs to the first group or the second group.
  • the server 20 may be configured to evaluate the target patient for items different from the heart rhythm.
  • the server 20 determines any one of the arrhythmia types of the second group as the heart rhythm of the target patient, as described above, it calculates a result of evaluating whether it corresponds to a category different from the heart rhythm category, and , provided to the user terminal 10 .
  • evaluation information including only the evaluation result of the heart rhythm aspect among the evaluation results of various aspects is generated.
  • evaluation information may be directly generated without evaluating other aspects. That is, evaluation values for categories other than heart rhythm are not calculated.
  • the server 20 directly generates evaluation information including an evaluation result of the target patient's heart rhythm or the electrocardiogram image and an evaluation result of the target patient's heart rhythm.
  • the user terminal 10 may be provided with evaluation information including the evaluation of the arrhythmia of the target patient determined as any one of the arrhythmia types of the first group.
  • the user terminal 10 may be configured to receive evaluation information from the server 20 and display a report screen.
  • FIG. 3 is a diagram illustrating a report screen including an electrocardiogram image and an evaluation result, according to an embodiment of the present application.
  • the report screen includes a first area 1301 displaying an electrocardiogram image; a second area 1310 displaying first diagnostic information; a third area 1320 displaying the first diagnostic information and/or the second diagnostic information in a graphed form; and at least one of a fourth area 1330 displaying third diagnostic information.
  • the ECG image displayed in the first region 1301 may be an image used for evaluation (this may be referred to as an evaluation ECG image in comparison with a source ECG image), for example, an ECG signal patch.
  • the server 20 When the type of heart rhythm predicted to be possessed by the target patient is selected by the server 20 , information on the type of the selected heart rhythm is displayed on the second area 1310 . For example, if a normal rhythm is selected for the subject patient, text or pictures indicating the normal rhythm are visually displayed on the reporting screen.
  • the items of the first diagnostic information and/or the second diagnostic information and the evaluation values of the items may be displayed as a graph on the third area 1320 on the report screen.
  • the x-axis of the graph represents at least some of the pre-specified items evaluated by the server 20, and the y-axis is the evaluation value of the target patient for the corresponding item, such as the probability of a disease/state event. indicates
  • the evaluation value for each item may be expressed as a marker on the third area 1320 .
  • the evaluation value for each item may be expressed as a red marker or a marker of another color.
  • the user may be provided with a probability that the target patient will have a disease or condition event of the corresponding item through the location of the marker.
  • the second diagnosis information may further include distribution information of evaluation values for the items.
  • the report screen may be further configured such that the distribution information of the evaluation value for the item is expressed as a sub-region on the third region 1320 in which the indicator of the evaluation value is located. For example, as shown in FIG. 4 , a sub-region surrounding a marker indicating an evaluation value for each item indicates distribution information for the evaluation of the corresponding item.
  • Detailed information in distribution information such as a confidence interval may be expressed in the shape of a sub-region.
  • the confidence interval may be expressed as the vertical length of the sub-region.
  • the report screen may be further configured to display a button 1400 for inducing a display command for information summarizing the evaluation information of the target patient.
  • the user terminal 10 may provide the user with a screen summarizing the evaluation information in response to the input of the command.
  • the user terminal 10 may output and provide the evaluation information in text (or natural language) form in a method of providing a screen summarizing the evaluation information. For example, based on the type of arrhythmia and the probability of each disease, when a specific type of arrhythmia is higher than a specific probability or within a specific ranking, or the average probability of a specific disease is above a predetermined value (eg J%), or , when the probability of being greater than or equal to a predetermined value (such as L%) when integrated based on the distribution is greater than or equal to a certain probability (such as M%), a predefined medical explanation for the pathological condition [pathophysiology, recommended additional examination/emergency Evaluation information may be provided to the user by referring to, for example, a pre-stored explanatory database for treatment (which may include drug type, dose, treatment type, treatment method/follow-up treatment), etc.).
  • a pre-stored explanatory database for treatment which may include drug type, dose, treatment type, treatment method/follow-up
  • the summary screen includes an area 1410 in which the patient's condition is relatively summarized.
  • the summary screen may further include an area 1420 in which items to be recommended to the target patient under the currently evaluated state are displayed.
  • the reporting screen may be further configured to display buttons 1510 , 1520 , 1530 , 1540 for inducing one or more control commands related to the evaluation.
  • buttons may be physical buttons or virtual buttons implemented as digital images.
  • the report screen includes a button 1510 that induces initiation of a new evaluation action; a button 1520 for inducing storage of the evaluation information expressed on the current report screen; a button 1530 for inducing input of auxiliary information for a target patient; And it may further include one or more buttons among the buttons 1540 for inducing management of the evaluation information of the target patient.
  • the user terminal 10 may provide the user with an interface screen for inputting auxiliary information about the target patient in response to the input of the command.
  • the input auxiliary information undergoes preprocessing such as One-hot encoding, Z-transformation, and Min-max scaling, and then N (more than 1) from the final output. It can be processed as additional input by concatenating it with the intermediate calculation result vector of the previous fully connected layer.
  • preprocessing such as One-hot encoding, Z-transformation, and Min-max scaling
  • N more than 1
  • it can be processed as additional input by concatenating it with the intermediate calculation result vector of the previous fully connected layer.
  • it is possible to create a new output reflecting this information by passing through a separate artificial neural network capable of processing such an input, and replace the existing evaluation result with a new evaluation result reflecting the corresponding output and output it.
  • FIG. 5 illustrates an interface screen for inputting auxiliary information on a target patient, according to an embodiment of the present application.
  • the user terminal 10 is configured to receive an input of auxiliary information through the interface screen.
  • the auxiliary information may include age, sex, main symptoms, vital signs, coral saturation, BMI, and/or smoking status of the target patient.
  • the interface screen of FIG. 5 may include an input field 1531 for inputting each auxiliary information.
  • the user terminal 10 When receiving the auxiliary information, the user terminal 10 transmits to the server 20 a message requesting to correct the evaluation of the target patient based on the auxiliary information and the auxiliary information.
  • the interface screen of FIG. 5 includes a button 1533 for sending a correction request.
  • the server 20 may generate new evaluation information by re-evaluating the condition of the target patient based on the auxiliary information. For example, the server 20 may recalculate the risk of occurrence of atrial fibrillation within N years based on the auxiliary information. Then, the report screen of FIG. 3 is updated with new evaluation information.
  • the user terminal 10 displays a result of clustering patients with matching evaluation information in response to the input of the command, or a single patient It may be further configured to display evaluation information over time.
  • FIG. 6 is a diagram illustrating a first matching screen displaying a group of matched patients according to an embodiment of the present application.
  • the user terminal 10 may transmit a request for clustering the evaluation information of the target patient of the report screen of FIG. 3 with other patients to the server 20 . have.
  • the server 20 may search for at least one other patient having evaluation information matching the evaluation information of the target patient of the request.
  • the server 20 may group the searched patient and the target patient into a single cluster.
  • the server 20 may pre-store group information consisting of patients whose evaluation information matches each other.
  • the server 20 may search for a cluster having evaluation information matching the evaluation information of the target patient of the request.
  • the server 20 may update the list of patients in the cluster by adding the target patient to the searched cluster.
  • the server 20 may return the clustering information including the clustering result to the user terminal 10 .
  • the cluster information may include at least a part of the patient's personal information and/or an evaluation time.
  • the user terminal 10 may provide the user with the first matching screen of FIG. 6 displaying the patients included in the same group.
  • FIG. 7 is a diagram illustrating a second matching screen for calculating evaluation information over time for a single patient according to an embodiment of the present application.
  • the user terminal 10 when a command to select the button 1532 is input, the user terminal 10 receives a command to select the target patient's past evaluation information to be compared with the target patient's evaluation information on the report screen of FIG. 3 . It may be configured to display a second matching screen to induce.
  • the second matching screen may be configured to induce a command to select one or more past viewpoints.
  • An electrocardiogram image used for evaluation at each past time point may indicate the corresponding past time point.
  • a phrase describing each past time may be displayed on the second matching screen.
  • it is a method of showing how the patient's current condition has changed compared to the previous one using the electrocardiograms performed at different time points to a patient. It is possible to enable the user to know what kind of change has occurred. In particular, when showing the risk of a disease in a graph, the same before and after items are displayed together in one location so that the user can easily compare them.
  • fusion through concatenation of an output vector (not necessarily the same N) obtained after passing an electrocardiogram performed at different time points in a patient through the same network structure and calculating at the N-th layer (fusion) vector, and a separately trained neural network (or any machine learning method that can process regression and classification through vector input such as Random forest, [Extreme] gradient boost, SVM, Lasso, Elastic Net) can allow it to pass.
  • a separately trained neural network or any machine learning method that can process regression and classification through vector input such as Random forest, [Extreme] gradient boost, SVM, Lasso, Elastic Net
  • the evaluation information of the past time selected in the system 1 and the current evaluation information are compared.
  • the user terminal 10 When the user terminal 10 receives a command to select the button region 1541 of the second matching screen, the user terminal 10 compares and evaluates the current evaluation information with the past evaluation information selected on the second matching screen. The request is sent to the server 20 .
  • the server 20 may calculate an analysis result by comparing the current evaluation information with the selected past evaluation information. For example, the server 20 may calculate a comparative analysis result including whether the state indicated by each item has improved based on the evaluation value and a change in the risk of atrial fibrillation within N years.
  • the server 20 may return the calculated comparative analysis result to the user terminal 10 . Then, the user terminal 10 may provide a comparison analysis result to the user.
  • the patient evaluation system 1 based on the electrocardiogram image may include other components not described herein.
  • the patient evaluation system 1 may also include other hardware elements necessary for the operation described herein, including network interfaces and protocols, input devices for data entry, and output devices for printing or other data display. may be
  • a patient evaluation method (hereinafter, “patient evaluation method”) based on an electrocardiogram image according to another aspect of the present application is performed by at least one computing device including a processor.
  • the patient evaluation method may be performed by the patient evaluation system 1 based on the electrocardiogram image of FIG. 1 .
  • the patient evaluation method will be described in more detail based on embodiments performed by the patient evaluation system 1 of FIG. 1 .
  • FIG. 8 is a flowchart of a method for evaluating a patient based on an electrocardiogram image, according to an embodiment of the present application.
  • the patient evaluation method includes: acquiring an electrocardiogram image of a target patient by the user terminal 10 ( S810 ).
  • the user terminal 10 may be further configured to provide a frame guideline in order to induce a source ECG image that meets a preset size criterion (S810).
  • FIGS. 9A to 9C are diagrams illustrating a process of acquiring a source ECG image according to a frame guide line, according to an embodiment of the present application.
  • the user terminal 10 may generate a source ECG image by editing a photographed image of a target patient according to a frame guideline.
  • Acquiring an electrocardiogram image of a target patient includes: selecting a plurality of reference points for determining a frame guide line from a photographed image (S811); adjusting the size of the ECG signal region in the captured image to the frame guide line determined in step S811 (S813); and generating a source electrocardiogram image (S815).
  • step S811 a photographed image is obtained by photographing an object on which an electrocardiogram signal of a target patient is displayed by the user terminal 10 .
  • the user terminal 10 may select a plurality of reference points in order to determine a frame guide line of the source ECG image in the captured image.
  • the reference point is a geometric feature point that is more useful for defining an electrocardiogram signal region.
  • the reference point may be a corner of a portion including the electrocardiogram signal region.
  • the selection of the plurality of reference points is performed by a user selection command received through the interface screen of FIG. 9A .
  • the plurality of reference points may be sequentially input according to a preset order.
  • the positions of each reference point are identified in sequence.
  • the first input reference point is the upper left point (LUQ)
  • the second input reference point is the upper right point (RUQ)
  • the third input reference point is the lower right point (RLQ)
  • the fourth input reference point is the fourth input reference point.
  • the lower left point LLQ may be identified as the lower left point LLQ.
  • the user terminal 10 may be configured to mark a plurality of selected reference points to distinguish them from unselected points (or areas) on the captured image. As illustrated in FIG. 9A , a reference point selected through a circle-like shape may be marked.
  • the frame guide line based on the plurality of reference points may include an electrocardiogram signal region.
  • at least some of the plurality of selected reference points may be located inside the frame guide line.
  • the selected reference point may be at a position different from the edge of the frame guide line.
  • the user terminal 10 may be configured to re-determine after the frame guideline is primarily determined.
  • the shooting screen of FIG. 9A may include a button 1911 for canceling and re-determining a frame guide line that has already been determined.
  • the user terminal 10 may adjust the size of the ECG signal region to be closer to the determined frame guide line. This size adjustment is performed by a user adjustment command received through the interface screen of FIG. 9B (S813).
  • the user adjustment command may be implemented by moving the position of at least one of a plurality of selected points.
  • the user terminal 10 may move the position of the adjustment target point closer to the determined frame guide line and arrange the adjustment target point on the frame guide line.
  • the user adjustment command may be input in a preset command format different from the selection command. For example, it may be a drag (drag), but is not limited thereto.
  • the interface screen of FIG. 9B includes an adjustment end button 1913 .
  • the operation of adjusting the size of the ECG signal area is completed by the user input selecting the adjustment end button 1913 .
  • the size of the electrocardiogram signal area becomes more similar to the size of the frame guide line by this adjustment command.
  • the user terminal 10 may determine the size of the ECG signal area.
  • the user terminal 10 generates a source ECG image including an ECG signal region of a determined size.
  • the determination of the size is performed by a user confirmation command received through the interface screen of FIG. 9C (S815).
  • the interface screen of FIG. 9C may be provided after the adjustment operation of FIG. 9B is completed.
  • the interface screen of FIG. 9C includes an image confirmation button 1915 .
  • the operation ( S810 ) of acquiring an electrocardiogram image in response to a user input of selecting the image confirmation button 1915 is terminated.
  • the interface screen of FIG. 9C may further include an image re-adjustment button 1916 .
  • the operation of step S811 or step S813 may be executed again by a user input for selecting the image re-adjustment button 1916 .
  • FIG. 10 is a diagram illustrating a process of acquiring a source ECG image according to a frame guideline, according to another embodiment of the present application.
  • the reference point may be a geometric feature point for distinguishing an electrocardiogram signal region.
  • an edge of the electrocardiogram signal region may be selected as a reference point.
  • acquisition of an electrocardiogram image in the present application is not limited to frame guidelines.
  • the source ECG image may be acquired through electrical communication from an external device (S810).
  • the source ECG image may be obtained by searching for a pre-stored ECG image (S810).
  • the patient evaluation method may further include: before transmitting the source ECG image of step S810 to the server 20, anonymizing the source ECG image (S820).
  • the user terminal 10 may be further configured to remove a region in which the patient's personal information is displayed in the electrocardiogram image of step S810 for anonymization.
  • the user terminal 10 may remove the display area of the patient's personal information from the source ECG image in response to a user input received through the interface screen of FIG. 10 .
  • FIG 11 illustrates an interface screen for anonymizing an electrocardiogram image according to an embodiment of the present application.
  • the user input is a command for designating an area in which the patient's personal information is displayed, and may be, for example, drag or click, but is not limited thereto.
  • the user terminal 10 may display the patient's information in the electrocardiogram image based on some or all of the color, boundary line, and arrangement structure in the screen, without a user input designating an area in which the patient's personal information is displayed. You can also remove the display area of personal information.
  • the patient evaluation method includes: requesting the server 20 to evaluate the target patient by the user terminal 10 ( S830 ).
  • the request may include the source ECG image in step S810 and/or personal information of the patient.
  • the patient evaluation method includes: generating, by the server 20, evaluation information of the target patient based on the electrocardiogram image (S850).
  • the ECG image may be a source ECG image received from the user terminal 10 or an ECG signal patch extracted therefrom.
  • the patient evaluation method may further include: by the server 20, extracting an electrocardiogram signal region from the source electrocardiogram image before step S850 to generate an electrocardiogram signal patch.
  • the server 20 may generate an ECG signal patch when the edge of the source ECG image does not match the edge of the ECG signal region.
  • the server 20 may input the electrocardiogram signal patch to the aforementioned artificial neural network (eg, the first artificial neural network or the second artificial neural network) as an input image.
  • the aforementioned artificial neural network eg, the first artificial neural network or the second artificial neural network
  • the server 20 converts the source electrocardiogram image received from the user terminal 10 into a preset size to generate a data array;
  • the boundary of the region in which the ECG signal is expressed may be calculated by applying the converted image to the fourth artificial neural network.
  • the server 20 converts the image to a preset size and creates a data array of the converted image.
  • the data array consists of P ⁇ Q ⁇ C.
  • P and Q are preset horizontal and vertical sizes, and C is the number of channels.
  • the fourth artificial neural network calculates the upper left coordinates of the electrocardiogram signal region in which the electrocardiogram signal is expressed, calculates the lower left coordinates of the electrocardiogram signal region, calculates the upper right coordinates of the electrocardiogram signal region, and the right side of the electrocardiogram signal region It is pre-trained to yield the bottom coordinates.
  • Each coordinate consists of a pair of numerical values.
  • the fourth artificial neural network may be modeled as a network structure for identifying coordinates of a specific point in an input image.
  • the fourth artificial neural network may be modeled as a 2D-CNN structure or other machine learning network structure.
  • the server 20 may generate a patch including the region in which the ECG signal is expressed by cropping the region in which the ECG signal is expressed from the source ECG image based on the coordinates of the four points in the calculated region of the ECG signal.
  • the server 20 performs perspective transformation on the cropped image to generate a transformed image in which at least one of a view, a size, and a shape is transformed; calculating an original aspect ratio of an electrocardiogram signal region in the source electrocardiogram signal; And it may be configured to correct the aspect ratio of the converted image to the original aspect ratio.
  • a transformed image for example in the form of a rectangle, is generated by the perspective transformation.
  • This patch is used as an electrocardiogram image for evaluation of the target patient.
  • input of the electrocardiogram image described above to the artificial neural network may mean that this electrocardiogram signal patch is input.
  • the server 20 transmits the generated evaluation information of the target patient to the user terminal 10 (S850).
  • the patient evaluation method includes: displaying a report screen based on the evaluation information of the target patient by the user terminal 10 (S870).
  • acute myocardial infarction myocardial damage (MYOC INJ) and All diseases accompanied by the same myocardial damage, hyperkalemia (SEV HYPERK), hypokalemia (SEV HYPOK), atrial fibrillation (A FIB), various cardiomyopathy, left ventricular insufficiency (Lv Dysf), pericardial effusion (Lrg PC eff), Severe mitral regurgitation (Sig mr, mitral regurgitation), severe A report screen including evaluation values for items of pulmonary hypertension (Sig phtn, Pulmonary hypertension) may be provided.
  • SEV HYPERK hyperkalemia
  • SEV HYPOK hypokalemia
  • a FIB various cardiomyopathy
  • Lv Dysf left ventricular insufficiency
  • Lrg PC eff pericardial effusion
  • Severe mitral regurgitation Sig mr, mitral regurgitation
  • severe A report screen including evaluation values for items of pulmonary hypertension Sig ph
  • the patient evaluation system (1) and method based on such an electrocardiogram image it is possible to evaluate the patient's condition from other aspects at the same time as the heart rhythm aspect such as arrhythmia, and the result is implemented as a report screen that can be easily recognized by the user. can also be provided to
  • the operation by the patient evaluation system 1 and the method based on the electrocardiogram image according to the embodiments described above may be at least partially implemented as a computer program and recorded in a computer-readable recording medium.
  • a program product consisting of a computer-readable medium containing program code, which may be executed by a processor for performing any or all steps, operations, or processes described.
  • the computer-readable recording medium includes all kinds of recording identification devices in which computer-readable data is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage identification device, and the like. In addition, the computer-readable recording medium may be distributed in network-connected computer systems, and the computer-readable code may be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present embodiment may be easily understood by those skilled in the art to which the present embodiment belongs.
  • the patient evaluation system based on an electrocardiogram image may evaluate the condition of a target patient in other aspects such as heart rhythm aspects such as arrhythmias and other heart disease/condition events based on the electrocardiogram images. may be
  • the patient evaluation system based on the electrocardiogram image may provide the user with a report screen configured to allow the user to easily visually recognize evaluation results of various aspects.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Cardiology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

실시예들은 사용자 단말에 의해 대상 환자의 소스 심전도 이미지를 획득하고, 상기 사용자 단말에 의해 대상 환자에 대한 평가를 서버에 요청하며 - 요청은 소스 심전도 이미지를 포함함; 상기 서버에 의해 심전도 이미지에 기반한 대상 환자의 평가 정보를 생성하고, 상기 대상 환자의 평가 정보를 사용자 단말로 전송하며, 상기 사용자 단말에 의해 대상 환자의 평가 정보에 기초하여 보고 피드백을 제공하는 심전도 이미지에 기반한 환자 평가 시스템 및 방법에 관련된다.

Description

심전도 이미지에 기반한 환자 평가 시스템 및 방법
본 출원의 실시예들은 환자의 상태를 평가하는 기술에 관한 것으로서, 보다 상세하게는 심전도 이미지에 기반하여 부정맥 등을 포함한 환자의 상태를 평가하고 평가 정보를 표시하는 환자 평가 시스템 및 방법에 관한 것이다.
국내의 경제성장과 생활환경이 서구화됨에 따라 심장질환이 암, 뇌혈관질환과 더불어 한국인의 주요 사망원인 중 하나로 부각되고 있다. 이러한 심장질환의 사전진단 및 예후관측에 있어서 가장 중요한 신호는 심장의 활동에서 발생되는 심전도(electrocardiogram: ECG) 신호이다.
일반 병원에서는 병원을 내원한 환자에 대해 약 2, 3분 정도의 심전도 검사를 실시하여 환자의 상태를 모니터링 함으로써 심장의 이상 유무를 진단할 수 있다. 이 때 의료진은 심전도 신호의 파형을 분석하여 환자의 심장 질환 여부를 진단한다.
그러나, 심전도 신호만으로 다양한 심장 질환 중 환자가 갖고 있는 특정 심장 질환을 진단하는 것은 경력이 많은 전문 의료진에게도 어렵다. 미약한 세기로 비슷한 파형이 반복되는 심전도 신호 상에서, 관상동맥질환(coronary artery disease: CAD), 전해질 이상, 쇼크, 폐부종, 호흡부전, 심근염과 같은 혈관 관련 응급 질환군; 심실 부전, 판막 이상과 같은 심기능 이상 질환군; 부정맥(arrhythmia) 등과 같이 수많은 세부 질환으로 분류 가능한 다양한 심장 질환을 정확히 분석해야 하기 때문이다.
컴퓨터 장치를 통해 특정 부정맥을 갖고 있는 지와 같은 특정 세부 질환을 분석하려는 시도가 있으나, 부정맥을 갖고 있는 환자의 다른 심장 질환을 동시에 판단하는데 있어서는 정확도가 낮은 한계가 있다. 부정맥을 갖고 있는 환자의 심전도 신호는 이미 심장의 리듬이 불규칙하거나 심박동 수가 비정상적인 부정맥 증상의 영향을 받아 비정상적인 파형으로 구현되는데, 이 비정상적인 파형에 의해서는 부정맥에 의한 것인지 또는 다른 심장 질환에 의한 것인지 분석하기 어렵기 때문이다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 특허공개공보 10-2014-0063100 (2014.05.27.)
본 출원의 다양한 측면에 따르면 심전도 이미지에 기반하여 부정맥 등을 포함한 다양한 심장 질환을 환자가 갖고 있는지 평가하고 평가 정보를 표시한 보고 화면을 생성하는 환자 평가 시스템 및 방법, 그리고 이를 기록한 컴퓨터 판독가능 기록매체를 제공하는데 목적이 있다.
본 출원의 일 측면에 따른 심전도 이미지에 기반한 환자 평가를 위한 사용자 단말은 프로세서; 촬영부;를 포함한다. 상기 사용자 단말은, 대상 환자의 소스 심전도 이미지를 획득하고, 상기 소스 심전도 이미지를 포함한 요청을 서버로 전송하며, 상기 대상 환자에 대한 평가 정보를 서버로부터 수신하고, 그리고 상기 평가 정보에 기초한 보고 피드백을 제공하도록 구성될 수도 있다. 상기 평가 정보는 심전도 이미지 및 대상 환자의 심장 리듬 평가 결과를 포함한 제1 진단 정보 중 하나 이상을 포함한다. 상기 보고 피드백은 상기 심전도 이미지를 표시하는 제1 영역 및 상기 제1 진단 정보를 표시하는 제2 영역 중 하나 이상을 포함한다.
일 실시예에서, 상기 사용자 단말은 디스플레이부를 더 포함하고, 상기 보고 피드백을 제공하는 구성은, 상기 디스플레이부를 이용하여 보고 화면을 표시하는 것을 포함할 수 있다.
일 실시예에서, 상기 평가 정보는 대상 환자의 심장 리듬과 다른 측면의 평가 결과로서, 심장 리듬 카테고리와 다른 카테고리의 항목에 대한 대상 환자의 평가 값을 포함한 제2 진단 정보를 더 포함할 수도 있다. 상기 보고 화면은 상기 제1 진단 정보 및/또는 제2 진단 정보를 그래프로 표시하는 제3 영역을 더 포함한다.
일 실시예에서, 상기 제3 영역에서 그래프의 x축은 평가된 항목 중 적어도 일부를 나타내고 y축은 평가 값 예컨대 해당 항목에 대한 대상 환자의 평가 값을 나타내며, 각 항목별 평가 값은 표지자(pointer)로 표현될 수도 있다.
일 실시예에서, 상기 평가 정보는 항목에 대한 평가 값의 분포 정보를 더 포함할 수도 있다. 상기 보고 화면은 상기 항목에 대한 평가 값의 분포 정보가 평가 값의 표지자가 내부에 위치한, 제3 영역 상에 서브 영역으로 표현되도록 더 구성된다.
일 실시예에서, 상기 서브 영역은 각 평가 값의 분포의 신뢰 구간에 따른 형상의 길이를 가질 수도 있다.
일 실시예에서, 상기 제1 진단 정보는, 정상 리듬, 제1 그룹의 부정맥 종류 중 어느 하나, 또는 제2 그룹의 부정맥 종류 중 어느 하나를 선택하여 산출된 것이다. 상기 제1 진단 정보 내 대상 환자의 심장 리듬이 제2 그룹의 부정맥 종류일 경우, 상기 심전도 이미지 및 상기 제2 진단 정보만으로 이루어진 평가 결과를 포함한 상기 보고 피드백을 제공하도록 구성된다.
일 실시예에서, 상기 제1 그룹의 부정맥 종류는 심방 조동, PSVT, 심방 빈맥, 심실 빈맥, 및 심박동기 중 하나 이상을 포함할 수도 있다. 상기 제2 그룹의 부정맥 종류는 미리 지정된 복수의 부정맥 종류 전체 중 상기 제1 그룹에 속하지 않는 나머지 부정맥 중 일부 또는 전부로 이루어진다.
일 실시예에서, 상기 사용자 단말은 촬영부를 더 포함하고, 상기 소스 심전도 이미지를 획득하기 위해, 촬영 이미지에서 프레임 가이드 라인을 결정하기 위한 복수의 기준점을 선택하고; 그리고 상기 촬영 이미지 내 심전도 신호 영역의 크기를 결정된 프레임 가이드 라인에 맞게 조정하도록 더 구성될 수도 있다.
일 실시예에서, 결정된 프레임 가이드 라인은 심전도 신호 영역을 포함하는 것으로서, 선택된 복수의 기준점 중 적어도 일부는 프레임 가이드 라인의 내부에 위치한다.
일 실시예에서, 상기 사용자 단말은, 상기 소스 심전도 이미지를 익명화하기 위해 환자의 개인 정보를 표시한 영역을 제거하도록 더 구성될 수도 있다.
일 실시예에서, 상기 사용자 단말은, 데이터베이스에 등록된 전문가 계정에게 평가 결과를 제공하도록 더 구성될 수도 있다.
일 실시예에서, 상기 사용자 단말은, 상기 평가 결과에 대한 전문가 계정으로부터의 피드백을 사용자 단말에 제공하도록 구성될 수 있다.
일 실시예에서, 상기 전문가 계정에게 제공하는 평가 결과는 문자 메세지, 이메일 및 푸쉬 알림 중 적어도 하나 이상을 포함하는 방식으로 제공될 수 있다.
일 실시예에서, 상기 사용자 단말에 제공하는 전문가 계정으로부터의 피드백은 영상, 음성 및 텍스트 중 적어도 하나 이상의 형태일 수 있다.
일 실시예에서, 사용자 단말은, 데이터베이스에 등록된 의료진 또는 병원 계정에게 평가 결과를 제공하도록 더 구성될 수 있다.
일 실시예에서, 상기 의료진 또는 병원 계정에게 제공하는 평가 결과는 문자 메세지, 이메일 및 푸쉬 알림 중 적어도 하나 이상을 포함하는 방식으로 제공될 수 있다.
일 실시예에서, 상기 사용자 단말은, 데이터베이스에 등록된 의료진 또는 병원 계정에게 평가 결과에 기초한 사전 준비 사항 목록을 더 제공하도록 구성될 수 있다.
일 실시예에서, 상기 사용자 단말은, 상기 평가 결과에 대한 의료진 또는 병원 계정으로부터의 피드백을 수신하여 사용자 단말에 제공하도록 구성될 수 있다.
일 실시예에서, 상기 사용자 단말에 제공하는 의료진 또는 병원 계정으로부터의 피드백은 영상, 음성 및 텍스트 중 적어도 하나 이상의 형태일 수 있다.
본 출원의 다른 일 측면에 따른 심전도 이미지에 기반한 환자 평가를 위한, 사용자 단말과 통신하는 서버는, 사용자 단말로부터 심전도 신호 영역을 포함한 대상 환자의 소스 심전도 이미지를 수신하고, 그리고 상기 소스 심전도 이미지에 기초하여 대상 환자의 평가 정보를 생성하도록 구성될 수도 있다. 상기 평가 정보는 심전도 이미지, 대상 환자의 심장 리듬 평가 결과를 포함한 제1 진단 정보 및 심장 리듬 카테고리와 다른 카테고리의 항목에 대한 대상 환자의 평가 값을 포함한 제2 진단 정보 중 하나 이상을 포함한다.
일 실시예에서, 상기 서버는, 상기 대상 환자의 평가 정보를 생성하기 위해, 상기 소스 심전도 이미지에서 심전도 신호의 파형 데이터를 추출하고; 그리고 추출된 파형 데이터에 기초하여 대상 환자에 대한 평가 정보를 생성하도록 구성될 수도 있다. 예컨대, 상기 소스 심전도 이미지로부터 파형 데이터를 추출하고, 이를 예컨대 신경망을 이용하여 1차원 데이터, 예컨데 1차원 다채널 데이터로 변환한 후, 이 변환된 데이터에 기초하여 평가 정보를 생성할 수 있다. 일 실시예에서, 상기 서버는, 입력 이미지에서 신호의 파형 데이터를 추출하도록 미리 학습된 제1 인공신경망; 및 파형 데이터를 입력하여 미리 지정된 항목에 대한 대상 환자의 평가 값을 산출하도록 미리 학습된 제2 인공신경망을 포함할 수도 있다. 상기 제1 인공신경망은 2D(dimension)-CNN, VIT (Visual transformer) 또는 MLP(Multilayer Perceptron) 구조로 모델링되고, 상기 제2 인공신경망은 1D(dimension)-CNN 구조로 모델링된다.
일 실시예에서, 상기 서버는, 상기 소스 심전도 이미지에서 파형을 추출하지 않고 2차원 데이터를 바로 처리하여 평가 정보를 생성할 수 있다. 예컨대 상기 소스 심전도 이미지를 입력하여 미리 지정된 항목에 대한 대상 환자의 평가 값을 산출하도록 미리 학습된 제3 인공신경망을 포함할 수도 있다. 상기 제3 인공신경망은 2D(dimension)-CNN, VIT (Visual transformer) 또는 MLP(Multilayer Perceptron) 구조로 모델링된다.
상술한 실시예들에서, 상기 제2 인공신경망 또는 제3 인공신경망은 다중-레이블 출력단을 갖도록 모델링된 것으로서, 미리 지정된 항목 각각에 해당할 가능성을 개별적으로 나타낸, 절대적 평가 값을 산출한다.
상술한 실시예들에서, 상기 제2 인공신경망 또는 제3 인공신경망은 다중-레이블 출력단을 갖도록 모델링된 것으로서, 산출되는 항목별 평가 값의 합산은 1이 되는 확률분포 관계를 가진다.
상술한 실시예들에서, 상기 서버는, 항목별 평가 값에 대한 분포 정보를 산출하도록 더 구성될 수도 있다. 상기 분포 정보는, 동일한 입력 값을 이용해 동일한 평가 동작을 반복하여 산출된, 각 차례별 항목에 대한 평가 값으로 형성된 특정 분포 또는 2 인공신경망 또는 제3 인공신경망의 훈련(training) 시 활용되는 증강(augmentation) 기법을 동일한 입력 값에 적용한 변형 입력 값으로 평가 동작을 수행하여 산출된, 각 차례별 항목에 대한 평가 값으로 형성된 특정 분포에 기초한 것이다.
상술한 실시예들에서, 상기 서버는, 상기 제2 인공신경망 또는 제3 인공신경망을 통해 대상 환자의 심장 리듬의 종류를 결정하고, 상기 대상 환자의 심장 리듬이 제1 그룹의 부정맥 종류일 경우, 심장 리듬과 다른 카테고리 항목에 대한 평가를 일부만을 수행하거나 수행하지 않고 대상 환자의 심장 리듬에 대한 평가 결과, 또는 상기 심전도 이미지 및 대상 환자의 심장 리듬에 대한 평가 결과를 포함한 평가 정보를 생성할 수도 있다.
일 실시예에서, 상기 서버는, 상기 소스 심전도 이미지에서 심전도 신호 영역을 크로핑하고, 크로핑된 이미지를 원근 변환 처리하여 관점(view), 크기 및 형태 중 적어도 하나가 변환된 변환 이미지를 생성하며, 소스 심전도 신호에서 심전도 신호 영역의 원본 측면비(aspect ratio)를 산출하고, 그리고 변환 이미지의 측면비를 원본 측면비로 보정하여 심전도 신호 패치를 생성하고, 그리고 상기 심전도 신호 패치에 기초하여 대상 환자의 평가 정보를 생성할 수도 있다.
일 실시예에서, 상기 서버는, 데이터베이스에 등록된 전문가 계정에게 평가 결과를 제공할 수 있다.
일 실시예에서, 상기 서버는, 평가 결과에 대한 전문가 계정으로부터의 피드백을 사용자 단말에 제공할 수 있다.
일 실시예에서, 상기 전문가 계정에게 제공하는 평가 결과는 문자 메세지, 이메일 및 푸쉬 알림 중 적어도 하나 이상을 포함할 수 있다.
일 실시예에서, 상기 사용자 단말에 제공하는 전문가 계정으로부터의 피드백은 영상, 음성 및 텍스트 중 적어도 하나 이상의 형태일 수 있다.
일 실시예에서, 상기 서버는 데이터베이스에 등록된 의료진 또는 병원 계정에게 평가 결과를 제공할 수 있다.
일 실시예에서, 상기 의료진 또는 병원 계정에게 제공하는 평가 결과는 문자 메세지, 이메일 및 푸쉬 알림 중 적어도 하나 이상을 포함하는 방식으로 제공할 수 있다.
일 실시예에서, 상기 서버는 데이터베이스에 등록된 의료진 또는 병원 계정에게 평가 결과에 기초한 사전 준비 사항 목록을 더 제공할 수 있다.
일 실시예에서, 상기 서버는 상기 평가 결과에 대한 의료진 또는 병원 계정으로부터의 피드백을 수신하여 사용자 단말에 제공할 수 있다.
일 실시예에서, 상기 사용자 단말에 제공하는 의료진 또는 병원 계정으로부터의 피드백은 영상, 음성 및 텍스트 중 적어도 하나 이상의 형태일 수 있다.
본 출원의 또 다른 일 측면에 따른 심전도 이미지에 기반한 환자 평가 방법은: 사용자 단말에 의해 대상 환자의 소스 심전도 이미지를 획득하는 단계; 상기 사용자 단말에 의해 대상 환자에 대한 평가를 서버에 요청하는 단계 - 요청은 소스 심전도 이미지를 포함함; 상기 서버에 의해 심전도 이미지에 기반한 대상 환자의 평가 정보를 생성하고, 상기 대상 환자의 평가 정보를 사용자 단말로 전송하는 단계; 및 상기 사용자 단말에 의해 대상 환자의 평가 정보에 기초하여 보고 피드백을 제공하는 단계를 포함할 수도 있다.
본 출원의 또 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는, 프로세서에 의해 실행될 경우, 상술한 실시예들에 따른 심전도 이미지에 기반한 환자 평가 방법을 수행하기 위한 프로그램을 기록할 수도 있다.
본 출원의 일 측면에 따른 심전도 이미지에 기반한 환자 평가 시스템은 심전도 이미지에 기반하여 부정맥과 같은 심장 리듬 측면 및 다른 심장 질환/상태 이벤트와 같은 다른 측면에서 대상 환자의 상태를 평가할 수도 있다.
또한, 심전도 이미지에 기반한 환자 평가 시스템은 다양한 측면의 평가 결과를 사용자가 시각적으로 간편하게 인식하도록 구성된 보고 화면을 사용자에게 제공할 수도 있다.
본 출원의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 출원 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 출원의 일 측면에 따른, 심전도 이미지에 기반한 환자 평가 시스템의 동작의 개략도(schematic drawing)이다.
도 2는, 본 출원의 일 실시예에 따른, 제1 분석 군의 평가 정보를 도시한 테이블 도면이다.
도 3은, 본 출원의 일 실시예에 따른, 심전도 이미지 및 분석 결과를 포함한 보고 화면을 도시한 도면이다.
도 4는, 본 출원의 일 실시예에 따른, 평가 정보를 요약한 화면을 도시한 도면이다.
도 5는, 본 출원의 일 실시예에 따른, 대상 환자에 대한 보조 정보를 입력하기 위한 인터페이스 화면을 도시한다.
도 6은, 본 출원의 일 실시예에 따른, 매칭 환자의 군집을 표시한 제1 매칭 화면을 도시한 도면이다.
도 7은, 본 출원의 일 실시예에 따른, 단일 환자에 대해서 시간에 따른 평가 정보를 산출하기 위한 제2 매칭 화면을 도시한 도면이다.
도 8은, 본 출원의 일 실시예에 따른, 심전도 이미지에 기반한 환자 평가 방법의 흐름도이다.
도 9a 내지 도 9c는, 본 출원의 일 실시예에 따른, 프레임 가이드 라인에 따라 소스 심전도 이미지를 획득하는 과정을 도시한 도면이다.
도 10은, 본 출원의 다른 일 실시예에 따른, 프레임 가이드 라인에 따라 소스 심전도 이미지를 획득하는 과정을 도시한 도면이다.
도 11은, 본 출원의 일 실시예에 따른, 심전도 이미지를 익명화하는 인터페이스 화면을 도시한다.
실시예들은 여기에 첨부된 도면들을 참조하여 설명될 것이다 그러나, 여기에 개시된 원리들은 많은 상이한 형태로 구현될 수도 있으며 여기에서 기재된 실시예로 제한되어 생각되지 않아야 한다. 발명의 상세한 설명에서, 잘 알려진 특징 및 기술에 대한 상세한 설명이 실시예의 특징을 불필요하게 불명확하게 하는 것을 피하기 위해 생략될 수도 있다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 출원을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하에서, 도면을 참조하여 본 출원의 실시예들에 대하여 상세히 살펴본다.
시스템 아키텍처
도 1은, 본 출원의 일 측면에 따른, 심전도 이미지에 기반한 환자 평가 시스템의 동작의 개략도(schematic drawing)이다.
도 1을 참조하면, 심전도 이미지에 기반한 환자 평가 시스템(1)은 사용자 단말(10) 및 서버(20)를 포함한다.
실시예들에 따른 심전도 이미지에 기반한 환자 평가 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치", 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
사용자 단말(10)은 데이터 통신할 수 있는 모든 종류의 단말일 수도 있다. 사용자 단말(10)은 프로세서를 포함하며, 데이터 망(예컨대, 인터넷)에 무선으로 접속하는 무선단말(예; 핸드폰, PDA(Personal Digital Assistant), 노트북, 스마트 폰(smart phone) 등) 또는, 데이터망에 유선 접속하는 유선단말(예: PC, 노트북, 키오스크 등)일 수도 있다.
사용자 단말(10)은 평가의 대상 환자의 심전도 이미지를 획득한다. 상기 심전도 이미지는 심전도 신호를 표현한 영역을 포함한다. 상기 심전도 이미지는 심전도 신호를 나타낸 다수의 파형을 포함할 수도 있다.
상기 심전도 이미지는 심전도 측정기기에 의존한다. 심전도 측정기기가 12리드를 가질 경우, 심전도 이미지는 각 리드별 심전도 신호의 파형을 포함할 수도 있다.
사용자 단말(10)은 심전도 이미지를 촬영하기 위한 촬영부(미도시)를 포함할 수도 있다. 상기 촬영부는 카메라, 이미지 센서, 또는 상기 심전도 신호의 파형을 촬영 가능한 기타 유닛을 포함할 수도 있다.
사용자 단말(10)은 심전도 신호를 표면 상에 표시하는 객체(예컨대, 인쇄물, 디스플레이 장치)을 촬영하여 소스 심전도 이미지를 획득할 수도 있다. 소스 심전도 이미지에서 심전도 신호의 구간은 촬영 시야에 의존한다.
이와 같이, 상기 환자 평가 시스템(1)에서 활용되는 심전도 이미지는 심전도 신호 영역만으로 이루어진 이미지로 제한되지 않으며, 심전도 신호 영역 및 다른 영역으로 이루어진 이미지일 수도 있다.
또한, 사용자 단말(10)은 외부 기기로부터 대상 환자의 심전도 이미지를 수신할 수도 있다. 사용자 단말(10)은 유무선 전기 통신을 통해 외부 기기에서 촬영되거나 미리 저장된 심전도 이미지 데이터를 수신할 수도 있다. 사용자 단말(10)은 평가 대상인 환자에 관한 정보를 서버(20)로 전송할 수도 있다. 또한, 사용자 단말(10)은 대상 환자에 대한 평가 정보를 회신 받을 수도 있다.
사용자 단말(10)은 서버(20) 또는 외부기기와 통신이 가능하도록, 데이터 통신을 할 수 있는 모든 종류의 단말일 수도 있다. 예컨데, 상기 사용자 단말(10)은 프로세서를 포함하며, 데이터망(예; 인터넷)에 무선 접속하는 무선단말(예; 핸드폰, PDA(Personal Digital Assistant), 노트북, 스마트 폰(smart phone) 등) 또는, 데이터망에 유선 접속하는 유선단말(예: PC, 노트북, ATM 등)일 수도 있다.
또한, 사용자 단말(10)은 대상 환자의 심전도 이미지를 저장할 수도 있다. 사용자 단말(10)은 대상 환자의 심전도 이미지와 연관된 정보를 더 저장할 수도 있다. 상기 심전도 이미지와 연관된 정보는 대상 환자에 관한 정보, 및/또는 평가 정보를 포함할 수도 있다.
상기 환자에 관한 정보는 환자의 개인 정보를 포함한다. 환자의 개인 정보는 환자의 성명, 주민번호, 성별, 나이, 주소 등을 포함할 수도 있다.
사용자 단말(10)은 대상 환자에 대한 평가 정보를 사용자에게 제공하도록 구성된다. 특정 실시예들에서, 상기 사용자 단말(10)은 평가 정보를 표시할 수도 있다. 이를 위해 사용자 단말(10)은 정보를 표시하는 디스플레이부(미도시)를 포함할 수도 있다.
이러한 사용자 단말(10)의 동작에 대해서는 아래의 도 3, 도 8 내지 도 11을 참조해 보다 상세히 서술한다.
서버(20)는 심전도 이미지에 기반하여 대상 환자의 상태를 평가하여, 상기 대상 환자의 평가 정보를 생성한다. 상기 평가 정보는 심전도 이미지를 분석한 결과로서, 대상 환자의 상태를 심장 관점에서 평가한 정보를 포함한다.
서버(20)는 네트워크 서버로 구현되는 다수의 컴퓨터 시스템 또는 컴퓨터 소프트웨어로서, 사용자 단말(10)의 데이터(예컨대, 이미지 데이터)를 유/무선의 네트워크를 통해 수신하도록 구성된다. 여기서, 네트워크 서버란, 사설 인트라넷 또는 인터넷과 같은 컴퓨터 네트워크를 통해 다른 네트워크 서버와 통신할 수 있는 하위 장치와 연결되어 작업 수행 요청을 접수하고 그에 대한 작업을 수행하여 수행 결과를 제공하는 컴퓨터 시스템 및 컴퓨터 소프트웨어(네트워크 서버 프로그램)를 의미한다. 그러나 이러한 네트워크 서버 프로그램 이외에도, 네트워크 서버 상에서 동작하는 일련의 응용 프로그램과 경우에 따라서는 내부에 구축되어 있는 각종 데이터베이스를 포함하는 넓은 개념으로 이해되어야 할 것이다.
이러한 사용자 단말(10) 및 서버(20)는 심전도 이미지에 기반한 환자 평가 동작을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수도 있으며, 사용자 단말(10) 및 서버(20)의 구성은 설치된 소프트웨어에 의해 제어될 수도 있다. 사용자 단말(10), 서버(20)에서 적어도 부분적으로 각각 수행되는 심전도 이미지에 기반한 환자 평가 동작은 아래의 도 2 내지 도 11을 참조해 보다 상세히 서술한다.
심전도 이미지 기반 환자 평가
상기 서버(20)는 사용자 단말(10)로부터 수신한 심전도 이미지에 기초하여 환자의 상태를 평가한 것을 서술하는 평가 정보를 산출할 수도 있다. 상기 서버(20)는 심전도 이미지 데이터를 처리하고, 처리 데이터에 기초해 환자의 상태가 미리 저장된 항목 중 적어도 하나의 항목에 해당하는지 결정하여 평가 정보를 생성할 수도 있다.
환자의 상태를 평가하는 것은 환자가 특정 심장 질환을 갖고 있는지 여부, 환자의 생체 정보(예컨대, 전해질 농도 등)가 심장 질환에 준하는 위급한 상태 이벤트를 야기할 수 있는지 여부, 미래의 환자의 상태 예측 등을 포함한다. 이를 위해, 서버(20)는 다양한 측면에서 대상 환자의 심전도 이미지를 분석한다.
서버(20)는 부정맥과 같은 심장 리듬 측면, 응급 상황 측면, 심 기능 측면, 기타 질환/상황 측면에서 대상 환자의 심전도 이미지를 분석하여 대상 환자의 상태를 평가(또는 결정)할 수도 있다. 이러한 서버(20)의 평가 정보는 아래의 도 3의 보고 화면을 생성하는데 사용된다.
일 실시예에서, 서버(20)는 대상 환자를 리듬 측면에서 평가할 수도 있다. 평가 정보에 포함되는 항목은 심장 리듬의 종류를 포함할 수도 있다.
상기 심장 리듬의 종류는 정상 리듬(Normal Sinus Rhythm) 또는 복수의 부정맥 종류를 포함할 수도 있다. 상기 복수의 부정맥 종류는, 예를 들어 동성 서맥 (Sinus Bradycardia), 2도 1형 방실차단(Mobitz I, 또는 2nd Degree Type I Heart Block, Wenckebach로 지칭됨), 심실 세동(Ventricular Fibrillation), PVT(Polymorphic Ventricular Tachycardia), 심실 빈맥(Ventricular Tachycardia), 3도 방실 차단(3rd Degree Heart Block), 1도 방실 차단(1st Degree Heart Block), 방실 리듬(Nodal Rhythm), 심방 조동(Atrial Flutter), 심방 세동(Atrial Fibrillation), 2도 2형(2nd Degree Type II), ST 상승 동리듬(Sinus Rhythm with ST elevation), 단초점의 PVC 및 2행의 동성 빈맥(Sinus Tachycardia with unifocal PVC's and couplets), MAT(Multifocal Atrial Tachycardia), PSVT(Paroxysmal Supraventricular Tachycardia), 심실 이단맥을 갖는 동리듬(Sinus Rhythm with Ventricular Bigeminy), 심방 빈맥(Atrial tachycardia), 접합부 박동(Junctional rhythm), 심박동기(Electronic pacemaker)를 포함한 다수의 부정맥 리듬으로 이루어질 수도 있다.
서버(20)는 대상 환자의 심전도 이미지 또는 심전도 신호에 기초하여 대상 환자가 해당하는 심장 리듬의 종류를 결정할 수도 있다. 서버(20)는 각각 심장 리듬의 종류를 가리키는 복수의 항목으로 이루어진 심장 리듬 카테고리를 저장할 수도 있다. 이 카테고리에는 전술한 복수의 부정맥 종류를 각각 가리키는 복수의 항목으로 이루어질 수도 있다.
서버(20)는 심전도 이미지의 분석 결과가 정상 리듬을 가리키는 항목에 해당하는 것으로 산출되면, 대상 환자의 심장 리듬을 정상 리듬으로 결정할 수도 있다.
또는, 서버(20)는 대상 환자의 심장 리듬이 정상 리듬으로 분류할 수 없을 경우, 미리 지정된 복수의 부정맥 종류 중 해당하는 부정맥 종류로 결정할 수도 있다.
또한, 서버(20)는 심장 리듬과 다른 측면에서 대상 환자의 상태를 평가하도록 더 구성될 수도 있다.
즉, 서버(20)는 동일한 대상 환자에 대해서, 부정맥과 같은 심장 리듬의 종류를 결정하는 것과 더불어 대상 환자가 다른 측면의 항목에 해당하는 지를 결정할 수도 있다.
또한, 서버(20)는 데이터베이스에 등록된 전문가 계정에게 평가 결과를 제공하도록 더 구성될 수도 있다. 전문가는 해당 평가 결과를 해석 또는 추가 판단하여 피드백을 제공할 수 있는 전문가로서 의료진을 포함하지만 이에 제한되지 않는다. 전문가 계정은 하나 이상의 전문가가 속하는 그룹 계정일 수 있다. 서버(20)는 평가 결과에 대한 전문가 계정으로부터의 피드백을 사용자 단말에 제공하고, 전문가 계정의 피드백은 평가 결과에 대한 전문가 또는 전문가 그룹의 해석 또는 추가 판단을 포함한다. 상기 전문가 계정에게 제공하는 평가 결과는 문자 메세지, 이메일 및 푸쉬 알림 중 적어도 하나 이상을 포함하는 방식으로 제공될 수 있다. 상기 사용자 단말에 제공하는 전문가 계정으로부터의 피드백은 영상, 음성 및 텍스트 중 적어도 하나 이상의 형태일 수 있다.
추가적으로, 서버(20)는 데이터베이스에 등록된 의료진 또는 병원 계정에게 평가 결과를 제공하도록 구성될 수 있다. 의료진 또는 병원은 예컨대 응급 상황에서 환자 또는 응급 대원 등의 응급 조치 수행자가 병원 응급실 또는 관련 전문과 또는 의료진에게 평가 결과를 제공하고, 바람직하게는 환자 도착 전에 사전에 의료진 또는 병원이 준비할 수 있도록 하는데 활용될 수 있지만, 이에 한정되는 것은 아니다. 상기 의료진 또는 병원 계정에게 제공하는 평가 결과는 문자 메세지, 이메일 및 푸쉬 알림 중 적어도 하나 이상을 포함하는 방식으로 제공될 수 있다.
상기 서버(20)는 데이터베이스에 등록된 의료진 또는 병원 계정에게 평가 결과에 기초한 사전 준비 사항 목록 - 예컨대, 전술한 응급 상황 시의 사전 준비 사항 목록을 포함할 수 있다 - 을 더 제공하도록 구성될 수 있다. 상기 서버는 상기 평가 결과에 대한 의료진 또는 병원 계정으로부터의 피드백을 수신하여 사용자 단말에 제공할 수 있다. 의료진 또는 병원 계정으로부터의 피드백은 평가 결과에 대한 해석 또는 추가 판단 또는 지시를 포함할 수 있으며. 예컨대 평가 결과에 대한 해석이나 추가 판단 또는 의료진의 지시 사항을 포함할 수 있지만 이에 한정되는 것은 아니다. 사용자 단말에 제공하는 의료진 또는 병원 계정으로부터의 피드백은 영상, 음성 및 텍스트 중 적어도 하나 이상의 형태일 수 있다.
도 3은, 본 출원의 일 실시예에 따른, 다양한 측면의 항목을 도시한 평가 테이블 도면이다.
도 3을 참조하면, 상기 다른 측면의 항목은 심 기능 이상(dysfunction)에 연관된 심장 질환; 응급 상황에 연관된 상태 이벤트 또는 질환; 및/또는 기타 상태 이벤트/질환을 포함할 수도 있다. 서버(20)는 하나 이상의 항목으로 이루어진 심 기능 이상 카테고리; 하나 이상의 항목으로 이루어진 응급 상황 카테고리; 및/또는 기타 상태 이벤트/질환 카테고리를 저장할 수도 있다.
응급 상황 카테고리는 대상 환자의 상태가 응급 상황으로 진단될 수도 있는, 질환 또는 상태를 가리키는 항목으로 이루어진다. 상기 응급 상황 카테고리는 다수의 그룹으로 분류될 수도 있다. 각 그룹은 적어도 하나의 항목으로 이루어질 수도 있다.
일 실시예에서, 응급 상황 카테고리는 심장/혈관 이상 그룹; 전해질 이상 그룹; 쇽(shock) 그룹; 심정지 그룹; 폐부종 그룹; 호흡부전 그룹; 심근염 그룹; 부정맥 유발성 우심실 심근병증 중 하나 이상의 그룹으로 분류될 수도 있다. 각 그룹은 도 3의 항목들의 일부 또는 전부로 이루어질 수도 있다.
심기능 이상 카테고리는 대상 환자의 상태가 심기능 이상으로 진단될 수도 있는, 질환 또는 상태를 가리키는 항목으로 이루어진다. 심기능 이상 카테고리는 다수의 그룹으로 분류될 수도 있다. 각 그룹은 적어도 하나의 항목으로 이루어질 수도 있다.
일 실시예에서, 심기능 이상 카테고리는 수축력 유지된 좌심실 부전; 수축력 유지 안 되는 좌심실 부전; 우심실 부전; 판막 기능 이상; 심근병증; 심낭 삼출; 및/또는 심장 눌림증(또는 압전) 중 하나 이상의 그룹으로 분류될 수도 있다. 각 그룹은 도 3의 항목들의 일부 또는 전부로 이루어질 수도 있다.
판막 기능 이상 그룹은 부위별 증상을 각각 가리키는 항목으로 이루어진다. 예를 들어, 판막 기능 이상 그룹은 삼천판, 이첨판, 폐동맥, 대동맥 등의 부위에 대한 협착, 역류 증상을 각각 가리키는 항목으로 이루어질 수도 있다.
심근병증 그룹은 하나 이상의 병증을 가리키는 항목으로 이루어진다. 예를 들어, 심근병증 그룹은 비후성 심근병증, 스트레스성 심근병증, 이완성 심근병증, 허혈성 심근병증 등을 각각 가리키는 다수의 항목으로 이루어질 수도 있다.
일 실시예에서, 유전성 부정맥 카테고리는 부정맥 종류 중 일부를 초래할 수 있는 기저 심질환의 항목으로 이루어질 수도 있다. 상기 유전성 부정맥 카테고리 내 항목들은 부정맥을 유발할 가능성이 높은 다양한 기저 심질환을 가리킨다.
예를 들어, 유전성 부정맥 카테고리는 브루가다 증후군 (Brugada syndrome), 긴QT증후군 (Long QT syndrome), 카테콜라민성 다형성 심실빈맥, 짧은QT증후군 (Short QT syndrome), 조기재분극증후군 (Early repolarization syndrome), 특발성 심실빈맥, 비후성심근병증, 및/또는 부정맥 유발성 우심실 심근병증 중 하나 이상의 항목을 포함할 수도 있다.
일부 실시예들에서, 서버(20)는 대상 환자가 부정맥을 갖는 것으로 결정된 경우에 그 종류가 대상 환자의 심전도 신호의 베이스 라인에 영향을 주지 않는 경우에만 대상 환자가 상기 유전성 부정맥 카테고리에 해당하는 적어도 하나의 항목을 갖는지 판단할 수도 있다. 유전성 부정맥 카테고리에 기저 심질환 항목은 미리 지정된 복수의 부정맥 종류 중 일부 부정맥 종류에만 연관된다. 이러한 부정맥에 대해서는 아래에서 보다 상세히 서술한다.
기타 질환/상황은 전술한 카테고리에는 포함되지 않았지만 환자의 상태를 평가하는데 고려될 수 있는 질환/상황으로 이루어진다.
서버(20)는 대상 환자의 심전도 이미지 또는 심전도 신호에 기초하여 심장 리듬과 다른 측면의 항목에 해당하는지를 결정하여 대상 환자를 평가할 수도 있다.
일 실시예에서, 상기 서버(20)는 심전도 이미지에서 심전도 신호의 파형 데이터를 추출하고; 추출된 파형 데이터에 기초하여 대상 환자를 평가할 수도 있다.
서버(20)는 입력 이미지에서 신호의 파형 데이터를 추출하도록 미리 학습된 제1 인공신경망을 포함할 수도 있다.
상기 제1 인공신경망은 입력 이미지에서 리드(L)의 수에 따라 시계열 데이터를 파형 데이터로서 추출하도록 모델링된 것이다.
일 실시예에서, 제1 인공신경망은 소정 길이의 1차원 벡터를 출력할 수도 있다. 이 길이는 미리 설정된 시간 간격이다. 일 예시에서, 시간 간격의 하이퍼파라미터(N)이 제1 인공신경망에 대해 미리 설정되면, 제1 인공신경망은 리드(L1, L2, L3, ..., Lm)별로 1차원의 벡터의 세트(NL1, NL2, NL3,..., NLm)을 산출한다.
일 예시에서, 상기 제1 인공신경망은 다중 출력단을 갖는 구조로 모델링될 수도 있다. 각 출력단은 심전도 측정기기의 리드 각각에 대응한다.
상기 제1 인공신경망은 입력 이미지의 각 픽셀이 신호의 파형인지 분류하기 위한, 다양한 네트워크 구조로 모델링될 수도 있다. 예를 들어, 제1 인공신경망은 2D-CNN, VIT (Visual transformer), MLP(Multilayer Perceptron) 등의 구조 등의 구조 혹은 이로부터 확장된 개선된 신경망 구조 (Residual connection, Max/Average Pooling, Channel attention, Spatial attention, Layer-normaliztion, Batch normalization, Depthwise convolution, Bottleneck, Inverted Bottleneck, Gating, Dropout, Bayesian Layer) 를 포함하는 기타 기계학습 네트워크 구조로 모델링될 수도 있다. 이와 같은 신경망은 제1 인공신경망 뿐만 아니라 제2, 제3의 인공신경망에도 적용될 수 있다.
이러한 제1 인공신경망에서 산출된 심전도 신호의 파형 데이터는 입력 파형 데이터로부터 대상 환자를 평가하는 다른 인공신경망에 공급된다.
전술한 바와 같이, 일 실시예에서, 서버(20)는 제1 인공신경망으로부터 입력 이미지에서 신호의 파형 데이터를 추출할 필요 없이, 심전도 이미지 그 자체를 대상 환자를 평가하는 인공신경망에 공급할 수 있다.
서버(20)는 입력 데이터로부터 상기 대상 환자가 미리 지정된 다른 측면의 항목에 해당할 가능성을 나타낸 평가 값을 산출할 수도 있다. 평가 값은 대상 환자가 항목의 질환을 가질 확률 또는 상태 이벤트인 확률을 나타낸다. 서버(20)는 이러한 평가 값을 포함한 평가 정보를 생성할 수도 있다.
또한, 서버(20)는 항목별 평가 값에 기초하여 적어도 하나의 항목을 선택할 수도 있다. 선택된 항목은 대상 환자가 갖는 것으로 결정(또는 진단)되는 질환 또는 상태 이벤트를 가리킨다. 서버(20)는 해당하는 정도가 가장 높은 항목 또는 해당하는 정도가 상대적으로 높은 다수의 항목을 선택할 수도 있다. 서버(20)는 이러한 선택 결과를 포함한 평가 정보를 생성할 수도 있다.
일 실시예에서, 서버(20)는 파형 데이터를 입력하여 미리 지정된 항목에 대한 대상 환자의 평가 값을 산출하도록 미리 학습된 제2 인공신경망 및/또는 심전도 이미지를 입력하여 미리 지정된 항목에 대한 대상 환자의 평가 값을 산출하도록 미리 학습된 제3 인공신경망을 포함할 수도 있다.
제2 인공신경망은 입력 파형 데이터를 처리하여, 미리 지정된 항목에 대한 대상 환자의 평가 값을 산출하도록 모델링된 것이다. 서버(20)는 상기 제1 인공신경망에서 출력된 1차원 벡터의 세트를 제2 인공신경망에 입력 파형 데이터로서 입력할 수도 있다.
제2 인공신경망은 리드별 1차원 벡터의 세트가 입력되면 이를 처리하여 대상 환자의 상태가 미리 지정된 항목 각각에 해당할 확률을 산출한다.
상기 제2 인공신경망은 세트 내 각 1차원 벡터의 값들에 기초하여 각 평가 항목에 해당할 가능성을 산출하기 위한, 다양한 네트워크 구조로 모델링될 수도 있다. 예를 들어, 제2 인공신경망은 완전연결층 구조 또는 기타 1D-CNN 구조로 모델링될 수도 있다.
제3 인공신경망은 심전도 신호가 서브 영역으로 표현된 심전도 이미지(예컨대, 심전도 신호 패치)를 처리하여, 입력 이미지로부터 곧바로 미리 지정된 항목에 대한 대상 환자의 평가 값을 산출하도록 모델링된 것이다. 서버(20)는 제1 인공신경망을 통해 심전도 이미지에서 신호의 파형 데이터를 추출하는 대신, 제3 인공신경망을 통해 이미지 데이터를 처리하여 대상 환자의 평가 값을 산출할 수도 있다.
상기 제3 인공신경망은 입력 이미지를 처리하여 미리 지정된 항목에 대한 평가 값을 산출하기 위한, 다양한 네트워크 구조로 모델링될 수도 있다. 예를 들어, 제3 인공신경망은 2D-CNN, VIT (Visual transformer), MLP(Multilayer Perceptron) 등의 구조 혹은 이로부터 확장된 개선된 신경망 구조 (Residual connection, Max/Average Pooling, Channel attention, Spatial attention, Layer-normaliztion, Batch normalization, Depthwise convolution, Bottleneck, Inverted Bottleneck, Gating, Dropout, Bayesian Layer) 를 포함하는 기타 기계학습 네트워크 구조로 모델링될 수도 있다.
제2, 제3 인공신경망은 내부 값에 다양한 활성화 함수(예컨대, sigmoid, Tanh, ReLU,　Leaky RELU, Pameterized RELU, ELU, SeLU, GeLU, Swish, Mish 함수 등)를 적용해 연산을 수행할 수도 있다.
상기 서버(20)는 상기 제2, 제3 인공신경망을 통해 평가 값 및/또는 항목 선택 결과를 산출할 수도 있다.
상기 제2 및 제3 인공신경망은 대상 환자의 상태를 평가하는, 일종의 분석용 인공신경망이므로, 동일 또는 유사한 구조, 기능을 적어도 부분적으로 가질 수도 있다.
상기 평가 값의 산출 형태는 제2, 제3 인공신경망의 출력단에 의존한다.
일 실시예에서, 제2 인공신경망 및 제3 인공신경망 중 적어도 하나의 인공신경망은 미리 지정된 항목 각각에 해당할 가능성을 개별적으로 나타낸, 절대적 평가 값을 산출할 수도 있다. 이러한 인공신경망은 다중-레이블 출력단을 갖도록 모델링된다. 그러면, 서버(20)에서 대상 환자가 각각의 항목의 질환 또는 상태 이벤트를 갖는 지 여부가 독립적으로 판단된다.
예를 들어, 제2 인공신경망 또는 제3 인공신경망이 해당 인공신경망에서의 연산 결과를 sigmoid 함수 및 softmax 함수를 통해 N개의 미리 지정된 항목에 대해 평가 값을 산출하도록 구성된 것을 가정해보자. 이들 인공신경망 중 적어도 하나가 절대적 평가 값을 산출하도록 구성되면, 해당 인공신경망은 N개의 항목 각각에 대한 N개의 절대적 평가 값을 산출할 수도 있다. 개별 절대적 평가 값은 0 내지 1 범위의 실수(real number)로 각각 산출된다. 서버(20)는 N개의 절대적 평가 값에 기초하여 N개 항목 각각에 대한 독립적인 항목 평가를 제공할 수도 있다.
일 실시예에서, 제2 인공신경망 및 제3 인공신경망 중 적어도 하나의 인공신경망은 미리 지정된 항목 범위 내에서 어느 항목에 해당할 상대적 가능성을 나타낸, 상대적 평가 값을 산출하도록 구성될 수도 있다. 이러한 인공신경망은 다중-클래스 출력단을 갖도록 모델링된다. 각 항목은 클래스로 취급된다.
제2 인공신경망 또는 제3 인공신경망이 소프트맥스 함수(softmax function)와 같은 확률 함수를 사용하여 N개의 미리 지정된 항목에 대해 평가 값을 산출하도록 구성된 것을 가정해보자. 이들 인공신경망 중 적어도 하나가 상대적 평가 값을 산출하도록 구성되면, 산출된 평가 값은 항목별로 0 내지 1 범위의 실수(real number)로 산출되며, N개의 이들 실수 값은 모두 합산하면 1이 되는 확률분포 관계를 가진다.
예를 들어, 이 인공신경망이 도 3의 항목들에 대해서 평가 값을 산출할 경우, 도 3의 각 항목에 대한 평가 값의 총 합산은 1을 이룬다.
그러면, 서버(20)는 상대적 평가 값에 기초하여 적어도 하나의 항목을 대상 환자가 갖는 질환 또는 상태 이벤트로 선택할 수도 있다. 예를 들어, 서버(20)는 여러 심장 리듬 항목 중 가능성이 높은 K개(K는 양수)의 항목을 선택하여 대상 환자의 심장 리듬에 대한 항목 평가로 산출할 수도 있다. 이와 같이, 선택 결과에는 전술한 실수 값으로 표현되는, 상대적 항목 평가가 적어도 부분적으로 반영된다.
일 실시예에서, 제2 인공신경망 및 제3 인공신경망 중 적어도 하나의 인공신경망은 심전도 신호에 연관된 하나 이상의 계측 수치를 산출하도록 더 구성될 수도 있다.
상기 계측 수치는 맥박 수, 분당 심방수축 횟수, PR 구간, QRS 구간, QT 구간, 교정된 QR 구간의 길이, 간격, QRS 축, P축, 및/또는 T축 등을 포함할 수도 있다. 이 경우, 서버(20)는 산출된 값을 곧바로 계측 수치로 사용하거나 또는 산출된 값을 스케일 처리한 것을 계측 수치로 사용할 수도 있다.
또한, 서버(20)는 심전도 신호로부터 심장의 나이를 산출하도록 구성될 수도 있다. 서버(20)는 심장 나이를 산출하도록 학습된 별도의 인공신경망을 통해 출생 기준의 나이와 다른 심장 나이를 산출할 수도 있다.
또한, 서버(20)는 심장칼슘점수의 추정치를 산출하도록 구성될 수도 있다. 서버(20)는 관상동맥의 칼슘침작 정도에 기초하여 심장칼슘점수의 추정치를 산출할 수도 있다.
또한, 서버(20)는 심장 내 헤모글로빈의 추정치를 산출하도록 구성될 수도 있다.
대안적인 실시예들에서, 상기 제2 인공신경망, 제3 인공신경망은 다수의 인공신경망을 포함할 수도 있다.
제2 인공신경망 또는 제3 인공신경망은 개별 평가 값 각각을 산출하는 서브 인공신경망을 포함할 수도 있다. 예를 들어, 서버(20)가 P개의 평가 값을 산출하도록 구성된 경우, 서브 인공신경망은 P개일 수도 있다.
제2 인공신경망 또는 제3 인공신경망은 적어도 둘 이상의 평가 값을 산출하는 서브 인공신경망을 포함할 수도 있다. 예를 들어, 서버(20)가 P개의 평가 값을 산출하도록 구성된 경우, 서브 인공신경망은 Q개일 수도 있다(Q<P).
서버(20)는 이러한 항목별 평가 값, 선택 결과, 계측 수치를 항목 평가로서 산출할 수도 있다.
추가적으로, 서버(20)는 항목별 평가 결과(예컨대, 평가 값)에 대한 분포 정보를 산출하도록 더 구성될 수도 있다.
일 실시예에서, 서버(20)는 동일한 입력 값을 이용해 동일한 평가 동작을 여러 차례 반복 수행하여 산출된, 각 차례별 항목에 대한 평가 값으로 형성된 특정 분포를 획득할 수도 있다.
일 실시예에서, 서버(20)는 제2 인공신경망 또는 제3 인공신경망의 훈련(training) 시 활용되는 증강(augmentation) 기법을 동일한 입력 값에 여러 차례 적용한 변형 입력 값으로 여러 차례 평가 동작을 수행하여 산출된, 각 차례별 항목에 대한 평가 값으로 형성된 특정 분포를 획득할 수도 있다. 상기 증강 기법은 기존 이미지 입력 값에 미리 정해놓은 강도 내에서 무작위적 변형을 가하는 모든 변형 방식일 수 있다.
일 실시예에서, 서버(20)는 동일한 입력 값을 서로 다른 인공신경망(예컨대, 제2 인공신경망 또는 제3 인공신경망)에 입력하여 각 인공신경망별 항목에 대한 평가 값으로 형성된 특정 분포를 획득할 수도 있다.
서버(20)는 전술한 특정 분포 중 일부 또는 전부를 선택하여 항목에 대한 평가 값의 분포 정보를 산출한다. 특정 분포 중 어느 하나가 곧바로 평가 값의 분포 정보로 사용되거나, 동일한 항목에 대한 평가 값의 복수의 특정 분포의 조합이 항목에 대한 평가 값의 최종 분포 정보로 사용될 수도 있다.
상기 분포 정보는 분포의 경향을 요약한 대표 값(예컨대, 평균, 중간 값 등), 분포 정도(예컨대, 신뢰 구간, 표준 편차, 표준 에러, 사분위 구간, 범위)를 포함한다.
상기 분포를 계산 또는 획득할 때, 입력의 무작위 변형(Augmentation)을 통한 분포 획득 및/또는 동일한 목적으로 훈련되었으나 서로 다른 다수의 네트워크들로부터 나온 출력들의 분포를 획득하는 것 외에도, 신경망 네트워크 자체가 입력데이터를 처리하는 계산과정에 무작위성을 추가하여 그 계산 결과를 변형 시켜 분포를 획득할 수 있다.
이러한 분포 계산 또는 획득 방법은 예컨대 1) 몬테카를로 드롭아웃층(MonteCarlo dropout layer; dropout layer를 인퍼런스(inference) 과정에서도 적용함)이나 2) 베이지안층(Bayesian Layer, 레이어의 출력 결과가 다음 레이어 입력 값의 확률분포, 예를 들어 가우시안 분포(Gaussian distribution)의 평균(mean), 표준편차(standard deviation) 등이고, 이러한 분포로부터 무작위로 선택된 출력 값을 다음 레이어로 보내는 방식) 등을 신경망 네트워크에 포함하여 사용하는 것일 수 있지만, 이에 한정되지 않으며 이외에도 무작위성 방식으로 모든 레이어를 인퍼런스 시 사용하는 것을 포함할 수 있다.
서버(20)는 이러한 항목별 평가 값, 선택 결과, 계측 수치, 심장나이, 심장칼슘점수의 추정치, 헤모글로빈 추정치 및/또는 항목에 대한 평가 값의 분포 정보를 포함한 평가 정보를 생성한다.
일 실시예에서, 평가 정보는 심전도 이미지; 제1 진단 정보; 제2 진단 정보; 및 제3 진단 정보 중 하나 이상을 포함할 수도 있다.
상기 심전도 이미지는 평가에 직접 사용된 이미지로서, 예를 들어 소스 심전도 이미지 또는 소스 심전도 이미지에서 추출된, 심전도 신호 영역으로 이루어진 심전도 신호 패치(patch)일 수도 있다.
상기 제1 진단 정보는 심장 리듬을 포함한다. 상기 제1 진단 정보는, 상기 대상 환자가 가질 것으로 예측되는 복수의 부정맥 종류 중 적어도 하나의 부정맥 종류 또는 정상 리듬을 포함할 수도 있다.
상기 제2 진단 정보는 항목(즉, 질환/상태 이벤트) 및/또는 항목의 평가 값을 포함한다. 예를 들어, 제1 진단 정보는 도 3의 항목에 기초한 대상 환자의 평가 값을 포함한다.
상기 제3 진단 정보는 심장나이, 심장칼슘점수의 추정치, 심전도 신호에 연관된 계측 수치 및 헤모글로빈의 추정치 중 하나 이상을 포함한다.
또한, 상기 평가 정보는 평가 시간, 평가 일자, 및/또는 환자의 개인 정보 중 적어도 일부(예컨대, 성명)를 더 포함할 수도 있다.
이러한 평가 정보는 사용자 단말(10)을 통해 사용자에게 제공된다.
추가적으로, 상기 복수의 부정맥 종류는 제1 그룹의 부정맥 종류 및 제2 그룹의 부정맥 종류로 구분될 수도 있다.
상기 제1 그룹의 부정맥 종류는 시스템 내 미리 지정된 복수의 부정맥 종류 일부에 해당하는 부정맥 종류로 이루어진다.
대상 환자가 제1 부정맥 종류에 속하는 심장 리듬을 가질 경우 상기 대상 환자의 심전도 신호는 다른 심장 질환 가능성을 정확하게 산출하기 어려운 파형을 가진다. 상기 제1 그룹에 해당하는 부정맥 종류는 대상 환자의 심전도 신호의 베이스 라인에 영향을 주기 때문이다. 대상 환자의 심전도 신호의 베이스 라인에는 이 제1 부정맥 종류의 영향이 항상 반영되어 있다.
일 실시예에서, 상기 제1 그룹의 부정맥 종류는 심방 조동, PSVT, 심방 빈맥, 심실 빈맥, 및/또는 심박동기 등을 포함한, 미리 지정된 부정맥 종류로 이루어질 수도 있다.
한편, 상기 제2 그룹의 부정맥 종류는 대상 환자의 심전도 신호와 무관한 것으로서, 대상 환자의 심전도 신호의 베이스 라인에 영향을 주지 않는다. 상기 제2 그룹의 부정맥 종류는 전술한, 미리 지정된 복수의 부정맥 종류 전체 중 상기 제1 그룹에 속하지 않는 나머지 부정맥 중 일부 또는 전부로 이루어질 수도 있다.
서버(20)가 대상 환자가 정상 리듬을 갖지 않는 것으로 결정할 경우, 서버(20)는 대상 환자가 미리 지정된 복수의 부정맥 종류 중 적어도 하나를 갖는 것으로 결정한다. 예를 들어, 서버(20)는 심장 리듬의 종류를 결정하도록 미리 학습된 상기 제2 인공신경망 또는 제3 인공신경망을 통해 대상 환자의 부정맥의 종류를 결정할 수도 있다. 결정된 부정맥 종류는 제1 그룹 또는 제2 그룹에 속한다.
상기 서버(20)는 대상 환자의 심장 리듬이 제2 그룹의 부정맥 종류로 결정될 경우, 서버(20)는 심장 리듬과 다른 측면의 항목에 대해 대상 환자를 평가하도록 구성될 수도 있다.
서버(20)에 의해 결정된 대상 환자가 가지는 심장 리듬의 종류가 제2 그룹에 속하는 부정맥 종류일 경우, 도 3등을 참조해 위에서 서술한 바와 같이, 심장 리듬 이외의 다양한 측면에서 평가한 결과를 사용자 단말(10)에 제공할 수도 있다. 예를 들어, 서버(20)가 제2 그룹의 부정맥 종류 중 어느 하나의 종류를 대상 환자의 심장 리듬으로 결정하면, 전술한 바와 같이, 심장 리듬 카테고리와 다른 카테고리에 해당하는지를 평가한 결과를 산출하고, 사용자 단말(10)에 제공한다.
서버(20)에 의해 결정된 대상 환자가 가지는 심장 리듬의 종류(들)가 제1 그룹에 속하는 부정맥 종류를 포함할 경우, 다양한 측면의 평가 결과 중 심장 리듬 측면의 평가 결과만을 포함한 평가 정보를 생성할 수도 있다.
서버(20)가 제1 그룹의 부정맥 종류 중 어느 하나의 종류를 대상 환자의 심장 리듬으로 결정하면, 다른 측면에 대해서 평가를 수행하지 않고 곧바로 평가 정보를 생성할 수도 있다. 즉, 심장 리듬과 다른 카테고리 항목에 대한 평가 값이 산출되지 않는다. 서버(20)는 대상 환자의 심장 리듬에 대한 평가 결과, 또는 상기 심전도 이미지 및 대상 환자의 심장 리듬에 대한 평가 결과를 포함한 평가 정보를 곧바로 생성한다.
그러면, 사용자 단말(10)에는 제1 그룹의 부정맥 종류 중 어느 하나의 종류로 결정된 대상 환자의 부정맥 평가를 포함한 평가 정보를 제공 받을 수도 있다.
보고 화면
사용자 단말(10)에는 서버(20)로부터 평가 정보를 수신하여 보고 화면을 표시하도록 구성될 수도 있다.
도 3은, 본 출원의 일 실시예에 따른, 심전도 이미지 및 평가 결과를 포함한 보고 화면을 도시한 도면이다.
도 3을 참조하면, 보고 화면은 심전도 이미지를 표시하는 제1 영역(1301); 제1 진단 정보를 표시하는 제2 영역(1310); 제1 진단 정보 및/또는 제2 진단 정보를 그래프화된 형태로 표시하는 제3 영역(1320); 및 제3 진단 정보를 표시하는 제4 영역(1330) 중 하나 이상을 포함하도록 구성된다.
제1 영역(1301)에 표시되는 심전도 이미지는 평가에 사용된 이미지로서(이를 소스 심전도 이미지와 대비하여 평가 심전도 이미지로 지칭할 수 있다), 예를 들어 심전도 신호 패치일 수도 있다.
서버(20)에 의해 대상 환자가 갖는 것으로 예측되는 심장 리듬의 종류가 선택되면, 선택된 심장 리듬의 종류 정보가 제2 영역(1310) 상에 표시된다. 예를 들어, 대상 환자에 대해 정상 리듬이 선택되면, 보고 화면 상에 정상 리듬을 가리키는 텍스트 또는 그림이 시각적으로 표시된다.
일 실시예에서, 제1 진단 정보 및/또는 제2 진단 정보의 항목 및 항목의 평가 값은 보고 화면에서 제3 영역(1320) 상에 그래프로 표시될 수도 있다. 제3 영역(1320)에서 그래프의 x축은 서버(20)에서 평가된, 미리 지정된 항목 중 적어도 일부를 나타내고 y축은 평가 값 예컨대 질환/상태 이벤트의 확률과 같은 해 당 항목에 대한 대상 환자의 평가 값을 나타낸다.
일 실시예에서, 항목별 평가 값은 제3 영역(1320) 상에서 표지자(pointer)로 표현될 수도 있다. 예를 들어, 도 4에 도시된 것처럼 항목별 평가 값은 붉은색 표지자로 표현되거나 또는 기타 색상의 표지자로 표현될 수도 있다. 사용자는 표지자의 위치를 통해 대상 환자가 해당 항목의 질환 또는 상태 이벤트를 가질 확률을 제공 받을 수도 있다.
또한, 제2 진단 정보는 항목에 대한 평가 값의 분포 정보를 더 포함할 수도 있다.
일 실시예에서, 상기 보고 화면은 상기 항목에 대한 평가 값의 분포 정보가 평가 값의 표지자가 내부에 위치한, 제3 영역(1320) 상에 서브 영역으로 표현되도록 더 구성될 수도 있다. 예를 들어, 도 4에 도시된 것처럼 항목별 평가 값을 가리키는 표지자를 감싸는 서브 영역이 해당 항목 평가에 대한 분포 정보를 가리킨다.
신뢰 구간 등의 분포 정보 내 세부 정보는 서브 영역의 형상으로 표현될 수도 있다. 예를 들어, 신뢰 구간은 서브 영역의 세로 길이로 표현될 수도 있다.
또한, 보고 화면은 대상 환자의 평가 정보를 요약한 정보에 대한 표시 명령을 유도하는 버튼(1400)을 표시하도록 더 구성될 수도 있다. 표시된 버튼(1400)을 선택하는 명령을 입력하면, 사용자 단말(10)은 이 명령의 입력에 반응하여 평가 정보를 요약한 화면을 사용자에게 제공할 수도 있다.
일 실시예에서, 사용자 단말(10)은 평가 정보를 요약한 화면을 제공하는 방법으로 평가 정보를 텍스트(또는 자연어) 형태로 출력하여 제공할 수 있다. 예를 들어, 부정맥의 종류와 각 질환들의 확률에 기반하여, 특정 종류의 부정맥이 특정 확률 이상 높거나 특정 순위 내에 있을 때, 혹은 특정 질환의 평균 값 확률이 미리 지정된 값(예컨대 J%) 이상이거나, 그 분포에 기반하여 적분하였을 때 미리 지정된 값(예컨대 L%) 이상일 확률이 특정 확률(예컨대 M%) 이상일 경우, 해당 병적 상황에 대해 미리 정의된 의학적 설명 [병태 생리, 권장되는 추가검사/응급처치 (약 종류, 용량, 처치종류, 처치방법/후속치료) 등을 포함할 수 있다)을 예컨대 미리 저장된 설명문 데이터베이스를 참조하여 사용자에게 평가 정보를 제공할 수 있다.
도 4는, 본 출원의 일 실시예에 따른, 평가 정보를 요약한 화면을 도시한 도면이다.
도 4를 참조하면, 요약 화면은 환자의 상태를 상대적으로 요약한 영역(1410)을 포함한다.
또한, 요약 화면은 대상 환자에게 현재 평가된 상태 하에서 추천할 것들을 표시한 영역(1420)을 더 포함할 수도 있다.
다시 도 3을 참조하면, 보고 화면은 평가와 관련된 하나 이상의 제어 명령을 유도하는 버튼(1510, 1520, 1530, 1540)을 표시하도록 더 구성될 수도 있다. 이들 버튼은 물리적 버튼 또는 디지털 이미지로 구현된 가상 버튼일 수도 있다.
일 실시예에서, 보고 화면은 새로운 평가 동작의 개시를 유도하는 버튼(1510); 현재 보고 화면에 표현된 평가 정보의 저장을 유도하는 버튼 (1520); 대상 환자에 대한 보조 정보의 입력을 유도하는 버튼 (1530); 및 대상 환자의 평가 정보의 관리를 유도하는 버튼 (1540) 중 하나 이상의 버튼을 더 포함할 수도 있다.
표시된 제8 버튼(1530)을 선택하는 명령을 입력하면, 사용자 단말(10)은 이 명령의 입력에 반응하여 대상 환자에 대한 보조 정보를 입력하기 위한 인터페이스 화면을 사용자에게 제공할 수도 있다. 입력된 보조 정보는 필요 시 원핫인코딩(One-hot encoding), Z-트랜스포메이션(Z-transformation), 최소-최대 스케일링 (Min-max scaling) 등의 전처리를 거친 후 최종 출력으로부터 N(1 이상)개 이전의 완전연결층의 중간 계산결과 벡터에 결합(concatenate) 되어 추가 입력으로 처리될 수 있다. 아울러, 이러한 입력을 처리할 수 있는 별도의 인공신경망을 통과하여 이러한 정보가 반영된 새로운 출력을 만들고 해당 출력이 반영된 새로운 평가 결과로 기존의 평가 결과를 대체하여 출력할 수 있다.
도 5는, 본 출원의 일 실시예에 따른, 대상 환자에 대한 보조 정보를 입력하기 위한 인터페이스 화면을 도시한다.
도 5를 참조하면, 사용자 단말(10)은 보조 정보의 입력을 상기 인터페이스 화면을 통해 수신하도록 구성된다. 상기 보조 정보는 대상 환자의 나이, 성별, 주증상, 생체 신호(vital sign), 산호포화도, BMI, 및/또는 흡연 여부 등을 포함할 수도 있다.
도 5의 인터페이스 화면은 각 보조 정보를 입력하기 위한 입력란(1531)을 포함할 수도 있다.
사용자 단말(10)은 보조 정보를 입력 받으면 상기 보조 정보 및 상기 보조 정보에 기초하여 대상 환자에 대한 평가를 보정할 것을 요청하는 메시지를 서버(20)로 전송한다.
도 5의 인터페이스 화면은 보정 요청을 전송하는 버튼(1533)을 포함한다.
서버(20)는 상기 메시지를 수신하면, 보조 정보에 기초하여 대상 환자의 상태를 재-평가하여 새로운 평가 정보를 생성할 수도 있다. 예를 들어, 서버(20)는 상기 보조 정보에 기초하여 N년 내 심방세동 발생 위험도를 다시 산출할 수도 있다. 그러면, 도 3의 보고 화면이 새로운 평가 정보로 업데이트된다.
다시 도 3을 참조하면, 표시된 버튼(1540)을 선택하는 명령을 입력하면, 사용자 단말(10)은 이 명령의 입력에 반응하여 평가 정보가 매칭되는 환자들을 군집화한 결과를 표시하거나 또는 단일 환자의 시간에 따른 평가 정보를 표시하도록 더 구성될 수도 있다.
도 6은, 본 출원의 일 실시예에 따른, 매칭 환자의 군집을 표시한 제1 매칭 화면을 도시한 도면이다.
도 6을 참조하면, 사용자 단말(10)은 버튼(1540)을 선택하는 명령이 입력되면, 도 3의 보고 화면의 대상 환자의 평가 정보를 다른 환자와 군집화하는 요청을 서버(20)로 전송할 수도 있다.
일 실시예에서, 서버(20)는 상기 요청을 수신하면, 요청의 대상 환자의 평가 정보와 매칭하는 평가 정보를 갖는 적어도 하나의 다른 환자를 검색할 수도 있다. 서버(20)는 검색된 환자와 상기 대상 환자를 단일 군집으로 군집화할 수도 있다.
일부 실시예들에서, 서버(20)는 서로 평가 정보가 매칭하는 환자로 이루어진 군집 정보를 미리 저장할 수도 있다. 서버(20)는 상기 요청을 수신하면 요청의 대상 환자의 평가 정보와 매칭하는 평가 정보를 갖는 군집을 검색할 수도 있다. 서버(20)는 검색된 군집에 상기 대상 환자를 추가하여 군집 내 환자 목록을 업데이트할 수도 있다.
서버(20)는 군집화 결과를 포함한 군집 정보를 사용자 단말(10)에 회신할 수도 있다. 상기 군집 정보는 환자의 개인 정보 중 적어도 일부 및/또는 평가 시간을 포함할 수도 있다.
그러면, 사용자 단말(10)은 동일한 군집에 포함된 환자를 표시하는 도 6의 제1 매칭 화면을 사용자에게 제공할 수도 있다.
도 7은, 본 출원의 일 실시예에 따른, 단일 환자에 대해서 시간에 따른 평가 정보를 산출하기 위한 제2 매칭 화면을 도시한 도면이다.
도 7을 참조하면, 사용자 단말(10)은 버튼(1532)을 선택하는 명령이 입력되면, 도 3의 보고 화면의 대상 환자의 평가 정보와 비교될 상기 대상 환자의 과거 평가 정보를 선택하는 명령을 유도하는 제2 매칭 화면을 표시하도록 구성될 수도 있다.
제2 매칭 화면은 하나 이상의 과거 시점을 선택하는 명령을 유도하도록 구성될 수도 있다. 각각의 과거 시점에서 평가를 위해 사용된 심전도 이미지가 해당 과거 시점을 가리킬 수도 있다. 또는 각각의 과거 시점을 서술하는 문구가 제2 매칭 화면 상에 표시될 수도 있다.
일 실시예에서, 한 환자에게 서로 다른 시점에서 시행한 심전도를 이용해 환자의 현재 상태가 이전과 비교해 어떻게 변했는지를 보여주는 방법으로, 각 심전도를 동일한 방식으로 분석한 후 그 결과를 한 화면에 동시에 보여주어 사용자가 어떠한 변화가 발생하였는지 알 수 있게 할 수 있다. 특히 질환의 위험도를 그래프로 보여줄 때 동일한 전후 항목을 하나의 위치에서 함께 표시하여 사용자가 더 비교하기 쉽게 출력할 수 있다.
또 다른 일 실시예에서, 한 환자에게 서로 다른 시점에서 시행한 심전도를 동일한 네트워크 구조를 통과시킨 후 N번째 Layer에서 계산 후 나온 출력 벡터(동일한 N일 필요는 없다)의 결합(Concatenate)을 통해 퓨전(fusion) 벡터를 만들고, 별도로 훈련된 인공신경망 네트워크 (혹은 Random forest, [Extreme] gradient boost, SVM, Lasso, Elastic Net와 같은 벡터 입력을 통해 regression 및 classification을 처리할 수 있는 모든 기계학습 방법)를 통과시키도록 할 수 있다. 이에 따라 이미 언급된 환자 평가 항목 중 일부 (급성 심근경색, 광의의 심부전 악화, 폐동맥 고혈압 악화, 쇽/호흡부전/사망위험도 등) 혹은 전체를 두 개의 심전도 정보를 모두 고려하여 정확도를 높이는 출력을 할 수 있다.
시스템(1)에서 선택된 과거 시점의 평가 정보와 현재의 평가 정보가 비교된다.
사용자 단말(10)은 제2 매칭 화면의 버튼 영역(1541)을 선택하는 명령이 입력되면, 사용자 단말(10)은 제2 매칭 화면에서 선택된 과거의 평가 정보와 현재의 평가 정보를 비교하여 평가하는 요청을 서버(20)로 전송한다. 서버(20)는 현재의 평가 정보와 선택된 과거의 평가 정보를 비교한 분석 결과를 산출할 수도 있다. 예를 들어, 서버(20)는 평가 값에 기초하여 각 항목이 나타낸 상태의 호전 여부, N년 내 심방 세동 발생 위험도의 변화를 포함한 비교 분석 결과를 산출할 수도 있다. 서버(20)는 산출한 비교 분석 결과를 사용자 단말(10)에 회신할 수도 있다. 그러면, 사용자 단말(10)은 비교 분석 결과를 사용자에게 제공할 수도 있다.
상기 심전도 이미지에 기반한 환자 평가 시스템(1)이 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 또한, 상기 환자 평가 시스템(1)은, 네트워크 인터페이스 및 프로토콜, 데이터 엔트리를 위한 입력 장치, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.
본 출원의 다른 일 측면에 따른 심전도 이미지에 기반한 환자 평가 방법(이하, "환자 평가 방법")은 프로세서를 포함한 적어도 하나의 컴퓨팅 장치에 의해 수행된다. 예를 들어, 환자 평가 방법은 도 1의 심전도 이미지에 기반한 환자 평가 시스템(1)에 의해 수행될 수도 있다. 이하, 설명의 명료성을 위해, 상기 환자 평가 방법은 도 1의 환자 평가 시스템(1)에 의해 수행되는 실시예들을 기초로 보다 상세하게 서술한다.
도 8은, 본 출원의 일 실시예에 따른, 심전도 이미지에 기반한 환자 평가 방법의 흐름도이다.
도 8을 참조하면, 상기 환자 평가 방법은: 사용자 단말(10)에 의해 대상 환자의 심전도 이미지를 획득하는 단계(S810)를 포함한다.
일 실시예에서, 상기 사용자 단말(10)은 미리 설정된 크기 기준을 충족하는 소스 심전도 이미지의 촬영을 유도하기 위해, 프레임 가이드 라인을 제공하도록 더 구성될 수도 있다(S810).
도 9a 내지 도 9c는, 본 출원의 일 실시예에 따른, 프레임 가이드 라인에 따라 소스 심전도 이미지를 획득하는 과정을 도시한 도면이다.
도 9a 내지 도 9c를 참조하면, 사용자 단말(10)은 대상 환자의 촬영 이미지를 프레임 가이드 라인에 따라 편집하여 소스 심전도 이미지를 생성할 수도 있다. 대상 환자의 심전도 이미지를 획득하는 단계(S810)는: 촬영 이미지에서 프레임 가이드 라인을 결정하기 위한 복수의 기준점을 선택하는 단계(S811); 촬영 이미지 내 심전도 신호 영역의 크기를 단계(S811)에서 결정된 프레임 가이드 라인에 맞게 조정하는 단계(S813); 및 소스 심전도 이미지를 생성하는 단계(S815)를 포함한다.
단계(S811)에서 사용자 단말(10)에 의해 대상 환자의 심전도 신호가 표시된 객체를 촬영하여 촬영 이미지가 획득된다.
단계(S813)에서, 사용자 단말(10)은 촬영 이미지에서 소스 심전도 이미지의 프레임 가이드 라인을 결정하기 위해 복수의 기준점을 선택할 수도 있다.
상기 기준점은 심전도 신호 영역을 정의하는데 보다 유용한 기하학적 특징점이다. 예를 들어, 상기 기준점은 심전도 신호 영역을 포함한 부분의 모서리일 수도 있다.
상기 복수의 기준점의 선택은 도 9a의 인터페이스 화면을 통해 수신되는 사용자 선택 명령에 의해 수행된다.
일 실시예에서, 상기 복수의 기준점은 미리 설정된 순서에 따라서 순차적으로 입력될 수도 있다. 순서별로 각 기준점의 위치가 식별된다. 예를 들어, 사용자 단말(10)은 첫 번째 입력 기준점은 좌측 상단 지점(LUQ), 두 번째 입력 기준점은 우측 상단 지점(RUQ), 세 번째 입력 기준점은 우측 하단 지점(RLQ), 네 번째 입력 기준점은 좌측 하단 지점(LLQ)으로 식별될 수도 있다.
또한, 사용자 단말(10)은 선택된 복수의 기준점을 촬영 이미지 상에서 선택되지 않은 지점(또는 영역)과 구별하기 위해 표기(mark)하도록 구성될 수도 있다. 도 9a에 도시된 것처럼, 원과 같은 형상을 통해 선택된 기준점이 표기될 수도 있다.
복수의 기준점에 기초한 프레임 가이드 라인은 심전도 신호 영역을 포함할 수도 있다. 또한, 선택된 복수의 기준점 중 적어도 일부는 프레임 가이드 라인의 내부에 위치할 수도 있다. 예를 들어, 도 9a에 도시된 것처럼 선택된 기준점은 프레임 가이드 라인의 모서리와 상이한 위치일 수도 있다.
또한, 사용자 단말(10)은 프레임 가이드 라인이 일차적으로 결정된 이후에 재-결정하도록 구성될 수도 있다. 도 9a의 촬영 화면은 이미 결정된 프레임 가이드 라인을 취소하고 재-결정하기 위한 버튼(1911)을 포함할 수도 있다.
단계(S813)에서, 사용자 단말(10)은 심전도 신호 영역의 크기를 결정된 프레임 가이드 라인에 보다 근접하도록 조정할 수도 있다. 이 크기 조정은 도 9b의 인터페이스 화면을 통해 수신되는 사용자 조정 명령에 의해 수행된다(S813).
상기 사용자 조정 명령은 선택된 복수의 지점 중 적어도 하나의 위치를 이동시키는 것으로 구현될 수도 있다. 조정 명령이 입력되면, 사용자 단말(10)은 조정 대상 지점의 위치를 결정된 프레임 가이드 라인에 보다 근접시켜, 조정 대상 지점의 위치를 프레임 가이드 라인에 배치할 수도 있다.
상기 사용자 조정 명령은 선택 명령과 상이한 형식의, 미리 설정된 명령 형식으로 입력될 수도 있다. 예를 들어, 드래그(drag)일 수도 있으나, 이에 제한되진 않는다.
도 9b의 인터페이스 화면은 조정 종료 버튼(1913)을 포함한다. 조정 종료 버튼(1913)을 선택하는 사용자 입력에 의해 심전도 신호 영역의 크기를 조정하는 동작이 완료된다.
이러한 조정 명령에 의해 심전도 신호 영역의 크기가 프레임 가이드 라인의 크기에 보다 유사해진다.
단계(S815)에서, 사용자 단말(10)은 심전도 신호 영역의 크기를 확정할 수도 있다. 사용자 단말(10)은 확정된 크기의 심전도 신호 영역으로 이루어진 소스 심전도 이미지를 생성한다. 이러한 크기의 확정은 도 9c의 인터페이스 화면을 통해 수신되는 사용자 확정 명령에 의해 수행된다(S815). 도 9c의 인터페이스 화면은 도 9b의 조정 동작이 완료된 이후 제공될 수도 있다.
도 9c의 인터페이스 화면은 이미지 확정 버튼(1915)을 포함한다. 이미지 확정 버튼(1915)을 선택하는 사용자 입력에 의해 심전도 이미지를 획득하는 동작(S810)이 종료된다.
또한, 도 9c의 인터페이스 화면은 이미지 재-조정 버튼(1916)을 더 포함할 수도 있다. 이미지 재-조정 버튼(1916)을 선택하는 사용자 입력에 의해 단계(S811) 또는 단계(S813)의 동작이 다시 실행될 수도 있다.
도 10은, 본 출원의 다른 일 실시예에 따른, 프레임 가이드 라인에 따라 소스 심전도 이미지를 획득하는 과정을 도시한 도면이다.
도 10을 참조하면, 상기 기준점은 심전도 신호 영역을 구별하기 위한 기하학적 특징점일 수도 있다. 예를 들어, 심전도 신호 영역의 모서리가 기준점으로 선택될 수도 있다.
대안적인 실시예들에서, 본 출원에서 심전도 이미지의 획득은 프레임 가이드 라인에 제한되지 않는다. 소스 심전도 이미지는 외부 기기로부터 전기 통신을 통해 획득될 수도 있다(S810). 또는 소스 심전도 이미지는 미리 저장된 심전도 이미지를 검색하여 획득될 수도 있다(S810).
또한, 상기 환자 평가 방법은: 단계(S810)의 소스 심전도 이미지를 서버(20)로 전송하기 이전에, 소스 심전도 이미지를 익명화하는 단계(S820)를 더 포함할 수도 있다.
사용자 단말(10)은, 익명화를 위해 단계(S810)의 심전도 이미지 내에서 환자의 개인 정보를 표시한 영역을 제거하도록 더 구성될 수도 있다.
일 실시예에서, 사용자 단말(10)은 도 10의 인터페이스 화면을 통해 수신되는 사용자 입력에 의해 소스 심전도 이미지 내에서 환자의 개인 정보의 표시 영역을 제거할 수도 있다.
도 11은, 본 출원의 일 실시예에 따른, 심전도 이미지를 익명화하는 인터페이스 화면을 도시한다.
도 11을 참조하면, 사용자 입력은 환자의 개인 정보를 표시한 영역을 지정하는 명령으로서, 예를 들어 드래그(drag), 클릭일 수도 있으나, 이에 제한되진 않는다.
대안적인 실시예들에서, 사용자 단말(10)은, 환자의 개인 정보를 표시한 영역을 지정하는 사용자 입력 없이, 화면 내 색상, 경계선, 배치 구조 중 일부 또는 전부에 기초하여 심전도 이미지 내에서 환자의 개인 정보의 표시 영역을 제거할 수도 있다.
다시 도 8을 참조하면, 상기 환자 평가 방법은: 사용자 단말(10)에 의해 대상 환자에 대한 평가를 서버(20)에 요청하는 단계(S830)를 포함한다.
상기 요청은 단계(S810)에서의 소스 심전도 이미지, 및/또는 환자의 개인 정보를 포함할 수도 있다.
상기 환자 평가 방법은: 서버(20)에 의해 심전도 이미지에 기반한 대상 환자의 평가 정보를 생성하는 단계(S850)를 포함한다. 상기 심전도 이미지는 사용자 단말(10)로부터 수신한 소스 심전도 이미지 또는 이로부터 추출된 심전도 신호 패치일 수도 있다.
대상 환자의 평가 정보를 생성하는 과정은 도 2 내지 도 4를 참조해 위에서 서술하였는 바, 자세한 설명은 생략한다.
추가적으로, 상기 환자 평가 방법은: 서버(20)에 의해 단계(S850) 이전에 소스 심전도 이미지에서 심전도 신호 영역을 추출해 심전도 신호 패치를 생성하는 단계를 더 포함할 수도 있다.
서버(20)는 소스 심전도 이미지의 모서리와 심전도 신호 영역의 모서리가 일치하지 않는 경우 심전도 신호 패치를 생성하는 동작을 수행할 수도 있다.
서버(20)는 심전도 신호 패치를 전술한 인공신경망(예컨대, 제1 인공신경망 또는 제2 인공신경망)에 입력 이미지로 입력할 수도 있다.
일 실시예에서, 서버(20)는 사용자 단말(10)로부터 수신한 소스 심전도 이미지를 미리 설정된 크기로 변환하여 데이터 어레이를 생성하고; 변환된 이미지를 제4 인공신경망에 적용하여 심전도 신호가 표현된 영역의 경계를 산출할 수도 있다.
서버(20)는 미리 설정된 크기로 이미지를 변환하고 변환된 이미지의 데이터 어레이를 생성한다. 상기 데이터 어레이는 PХQХC로 이루어진다. P, Q는 미리 설정된 가로 크기, 세로 크기이고, C는 채널의 수이다.
상기 제4 인공신경망은 심전도 신호가 표현된 심전도 신호 영역의 좌측 상단 좌표를 산출하고, 심전도 신호 영역의 좌측 하단 좌표를 산출하며, 심전도 신호 영역의 우측 상단 좌표를 산출하고, 그리고 심전도 신호 영역의 우측 하단 좌표를 산출하도록 미리 학습된 것이다. 각 좌표는 한 쌍의 수치로 이루어진다.
상기 제4 인공신경망은 입력 이미지에서 특정 지점의 좌표를 식별하기 위한 네트워크 구조로 모델링될 수도 있다. 예를 들어, 제4 인공신경망은 2D-CNN 구조 또는 기타 기계학습 네트워크 구조로 모델링될 수도 있다.
서버(20)는 산출된 심전도 신호 영역의 네 개 지점의 좌표에 기초하여 소스 심전도 이미지에서 심전도 신호가 표현된 영역을 크로핑하여 심전도 신호가 표현된 영역으로 이루어진 패치를 생성할 수도 있다.
일 실시예에서, 서버(20)는 크로핑된 이미지를 원근 변환(perspective transformation) 처리하여 관점(view), 크기 및 형태 중 적어도 하나가 변환된 변환 이미지를 생성하고; 소스 심전도 신호에서 심전도 신호 영역의 원본 측면비(aspect ratio)를 산출하고; 그리고 변환 이미지의 측면비를 원본 측면비로 보정하도록 구성될 수도 있다.
원근 변환에 의해 예를 들어 직사각형 형태의 변환 이미지가 생성된다.
이 패치가 대상 환자의 평가를 위한 심전도 이미지로 사용된다. 예를 들어, 전술한 심전도 이미지가 인공신경망에 입력된다는 것은 이 심전도 신호 패치가 입력되는 것일 수도 있다.
서버(20)는 생성된 대상 환자의 평가 정보를 사용자 단말(10)로 전송한다(S850).
또한, 상기 환자 평가 방법은: 사용자 단말(10)에 의해 대상 환자의 평가 정보에 기초하여 보고 화면을 표시하는 단계(S870)를 포함한다.
예를 들어, 도 3과 같이, 제3 영역(1320)에는 쇽(SHOCK), ACS(Acute Coronary Syndrome), ST 분절 상승 심근 경색과 같은 응급 시술이 필요한 급성 심근 경색, 심근 손상(MYOC INJ)과 같은 심근 손상이 동반되는 모든 질환, 고칼륨혈증(SEV HYPERK), 저칼륨혈증(SEV HYPOK), 심방 세동(A FIB), 각종 심근병증, 좌심실 부전증(Lv Dysf), 심낭 삼출(Lrg PC eff), 심각한 승모관 폐쇄부전(Sig mr, mitral regurgitation), 심각한 폐성 고혈압(Sig phtn, Pulmonary hypertension) 항목에 대한 평가 값을 포함한 보고 화면이 제공될 수도 있다.
보고 화면에 대해서는 도 3 내지 도 7을 참조해 위에서 서술하였는 바 자세한 설명은 생략한다.
이러한 심전도 이미지에 기반한 환자 평가 시스템(1) 및 방법에 따르면 부정맥과 같은 심장 리듬 측면과 동시에 다른 측면에서 환자의 상태를 평가할 수 있고, 그 결과를 사용자가 시각적으로 간편하게 인식 가능한 보고 화면으로 구현하여 사용자에게 제공할 수도 있다.
이상에서 설명한 실시예들에 따른 심전도 이미지에 기반한 환자 평가 시스템(1) 및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 출원은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 출원의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 출원의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
본 발명의 실시예들의 본 출원의 일 측면에 따른 심전도 이미지에 기반한 환자 평가 시스템은 심전도 이미지에 기반하여 부정맥과 같은 심장 리듬 측면 및 다른 심장 질환/상태 이벤트와 같은 다른 측면에서 대상 환자의 상태를 평가할 수도 있다.
또한, 심전도 이미지에 기반한 환자 평가 시스템은 다양한 측면의 평가 결과를 사용자가 시각적으로 간편하게 인식하도록 구성된 보고 화면을 사용자에게 제공할 수도 있다.

Claims (40)

  1. 심전도 이미지에 기반한 환자 평가를 위한, 프로세서;를 포함한 사용자 단말에 있어서,
    대상 환자의 소스 심전도 이미지를 획득하고,
    상기 소스 심전도 이미지를 포함한 요청을 서버로 전송하며,
    상기 대상 환자에 대한 평가 정보를 서버로부터 수신하고, 그리고
    상기 평가 정보에 기초한 보고 피드백을 제공하도록 구성되고,
    상기 평가 정보는 심전도 이미지 및 대상 환자의 심장 리듬 평가 결과를 포함한 제1 진단 정보 중 하나 이상을 포함하고,
    상기 보고 피드백은 상기 심전도 이미지를 표시하는 제1 영역 및 상기 제1 진단 정보를 표시하는 제2 영역 중 하나 이상을 포함하는 것을 특징으로 하는 사용자 단말.
  2. 제1항에 있어서,
    상기 사용자 단말은 디스플레이부를 더 포함하고,
    상기 보고 피드백을 제공하는 구성은, 상기 디스플레이부를 이용하여 보고 화면을 표시하는 것을 포함하는 것을 특징으로 하는 사용자 단말.
  3. 제1항 또는 제2항에 있어서,
    상기 평가 정보는 대상 환자의 심장 리듬과 다른 측면의 평가 결과로서, 심장 리듬 카테고리와 다른 카테고리의 항목에 대한 대상 환자의 평가 값을 포함한 제2 진단 정보를 더 포함하고,
    보고 화면은 상기 제1 진단 정보 및 제2 진단 정보 중 하나 이상을 그래프로 표시하는 제3 영역을 더 포함하는 것을 특징으로 하는 사용자 단말.
  4. 제3항에 있어서,
    상기 제3 영역에서 그래프의 x축은 평가된 항목 중 적어도 일부를 나타내고 y축은 해당 항목에 대한 대상 환자의 평가 값을 나타내며,
    각 항목별 평가 값은 표지자(pointer)로 표현되는 것을 특징으로 하는 사용자 단말.
  5. 제4항에 있어서,
    상기 평가 정보는 항목에 대한 평가 값의 분포 정보를 더 포함하고,
    상기 보고 화면은 상기 항목에 대한 평가 값의 분포 정보가 평가 값의 표지자가 내부에 위치한, 제3 영역 상에 서브 영역으로 표현되도록 더 구성된 것을 특징으로 하는 사용자 단말.
  6. 제5항에 있어서,
    상기 서브 영역은 각 평가 값의 분포의 신뢰 구간에 따른 형상의 길이를 갖는 것을 특징으로 하는 사용자 단말.
  7. 제1항에 있어서,
    상기 제1 진단 정보는, 정상 리듬, 제1 그룹의 부정맥 종류 중 어느 하나, 또는 제2 그룹의 부정맥 종류 중 어느 하나를 선택하여 산출된 것이고,
    상기 제1 진단 정보 내 대상 환자의 심장 리듬이 제2 그룹의 부정맥 종류일 경우, 상기 심전도 이미지 및 제2 진단 정보만으로 이루어진 평가 결과를 포함한 상기 보고 피드백을 제공하도록 구성되는 것을 특징으로 하는 사용자 단말.
  8. 제7항에 있어서,
    상기 제1 그룹의 부정맥 종류는 심방 조동, PSVT, 심방 빈맥, 심실 빈맥, 및 심박동기 중 하나 이상을 포함하고,
    상기 제2 그룹의 부정맥 종류는 미리 지정된 복수의 부정맥 종류 전체 중 상기 제1 그룹에 속하지 않는 나머지 부정맥 중 일부 또는 전부로 이루어진 것을 특징으로 하는 사용자 단말.
  9. 제1항에 있어서,
    상기 사용자 단말은 촬영부를 더 포함하고,
    상기 소스 심전도 이미지를 획득하기 위해,
    촬영 이미지에서 프레임 가이드 라인을 결정하기 위한 복수의 기준점을 선택하고; 그리고
    상기 촬영 이미지 내 심전도 신호 영역의 크기를 결정된 프레임 가이드 라인에 맞게 조정하도록 더 구성된 것을 특징으로 하는 사용자 단말.
  10. 제9항에 있어서,
    결정된 프레임 가이드 라인은 심전도 신호 영역을 포함하는 것으로서, 선택된 복수의 기준점 중 적어도 일부는 프레임 가이드 라인의 내부에 위치하는 것을 특징으로 하는 사용자 단말.
  11. 제9항에 있어서,
    상기 소스 심전도 이미지를 익명화하기 위해 환자의 개인 정보를 표시한 영역을 제거하도록 더 구성되는 것을 특징으로 하는 사용자 단말.
  12. 제1항에 있어서,
    데이터베이스에 등록된 전문가 계정에게 평가 결과를 제공하는 것을 특징으로 하는 사용자 단말.
  13. 제12항에 있어서,
    상기 평가 결과에 대한 전문가 계정으로부터의 피드백을 사용자 단말에 제공하는 것을 특징으로 하는 사용자 단말.
  14. 제12항에 있어서,
    상기 전문가 계정에게 제공하는 평가 결과는 문자 메세지, 이메일 및 푸쉬 알림 중 적어도 하나 이상을 포함하는 방식으로 제공하는 것을 특징으로 하는 사용자 단말.
  15. 제13항에 있어서,
    상기 사용자 단말에 제공하는 전문가 계정으로부터의 피드백은 영상, 음성 및 텍스트 중 적어도 하나 이상의 형태인 것을 특징으로 하는 사용자 단말.
  16. 제1항에 있어서,
    데이터베이스에 등록된 의료진 또는 병원 계정에게 평가 결과를 제공하는 것을 특징으로 하는 사용자 단말.
  17. 제16항에 있어서,
    상기 의료진 또는 병원 계정에게 제공하는 평가 결과는 문자 메세지, 이메일 및 푸쉬 알림 중 적어도 하나 이상을 포함하는 방식으로 제공하는 것을 특징으로 하는 사용자 단말.
  18. 제16항에 있어서,
    데이터베이스에 등록된 의료진 또는 병원 계정에게 평가 결과에 기초한 사전 준비 사항 목록을 더 제공하는 것을 특징으로 하는 사용자 단말.
  19. 제16항 내지 제18항 중 어느 한 항에 있어서,
    상기 평가 결과에 대한 의료진 또는 병원 계정으로부터의 피드백을 수신하여 사용자 단말에 제공하는 것을 특징으로 하는 사용자 단말.
  20. 제19항에 있어서,
    상기 사용자 단말에 제공하는 의료진 또는 병원 계정으로부터의 피드백은 영상, 음성 및 텍스트 중 적어도 하나 이상의 형태인 것을 특징으로 하는 사용자 단말.
  21. 심전도 이미지에 기반한 환자 평가를 위한, 사용자 단말과 통신하는 서버에 있어서,
    사용자 단말로부터 심전도 신호 영역을 포함한 대상 환자의 소스 심전도 이미지를 수신하고, 그리고
    상기 소스 심전도 이미지에 기초하여 대상 환자의 평가 정보를 생성하도록 구성되며,
    상기 평가 정보는 심전도 이미지, 대상 환자의 심장 리듬 평가 결과를 포함한 제1 진단 정보 및 심장 리듬 카테고리와 다른 카테고리의 항목에 대한 대상 환자의 평가 값을 포함한 제2 진단 정보 중 하나 이상을 포함하는 것을 특징으로 하는 서버.
  22. 제21항에 있어서, 상기 서버는,
    상기 대상 환자의 평가 정보를 생성하기 위해, 상기 소스 심전도 이미지에서 심전도 신호의 파형 데이터를 추출하고; 그리고
    추출된 파형 데이터에 기초하여 대상 환자에 대한 평가 정보를 생성하도록 구성된 것을 특징으로 하는 서버.
  23. 제22항에 있어서, 상기 서버는,
    입력 이미지에서 신호의 파형 데이터를 추출하도록 미리 학습된 제1 인공신경망; 및
    파형 데이터를 입력하여 미리 지정된 항목에 대한 대상 환자의 평가 값을 산출하도록 미리 학습된 제2 인공신경망을 포함하고,
    상기 제1 인공신경망은 2D(dimension)-CNN, VIT (Visual transformer) 또는 MLP(Multilayer Perceptron) 구조 또는 이로부터 확장된 신경망 구조로 모델링되고, 상기 제2 인공신경망은 1D(dimension)-CNN 구조 또는 이로부터 확장된 신경망 구조로 모델링되는 것을 특징으로 하는 서버.
  24. 제23항에 있어서,
    상기 소스 심전도 이미지를 입력하여 미리 지정된 항목에 대한 대상 환자의 평가 값을 산출하도록 미리 학습된 제3 인공신경망을 포함하고,
    상기 제3 인공신경망은 2D(dimension)-CNN, VIT (Visual transformer) 또는 MLP(Multilayer Perceptron) 구조 또는 이로부터 확장된 신경망 구조로 모델링되는 것을 특징으로 하는 서버.
  25. 제23항 또는 제24항에 있어서,
    상기 제2 인공신경망 또는 제3 인공신경망은 다중-레이블 출력단을 갖도록 모델링된 것으로서, 미리 지정된 항목 각각에 해당할 가능성을 개별적으로 나타낸, 절대적 평가 값을 산출하는 것을 특징으로 하는 서버.
  26. 제23항 또는 제24항에 있어서,
    상기 제2 인공신경망 또는 제3 인공신경망은 다중-레이블 출력단을 갖도록 모델링된 것으로서, 산출되는 항목별 평가 값의 합산은 1이 되는 확률분포 관계를 갖는 것을 특징으로 하는 서버.
  27. 제23항 또는 제24항에 있어서, 상기 서버는,
    항목별 평가 값에 대한 분포 정보를 산출하도록 더 구성되며,
    상기 분포 정보는,
    동일한 입력 값을 이용해 동일한 평가 동작을 반복하여 산출된, 각 차례별 항목에 대한 평가 값으로 형성된 특정 분포 또는 2 인공신경망 또는 제3 인공신경망의 훈련(training) 시 활용되는 증강(augmentation) 기법을 동일한 입력 값에 적용한 변형 입력 값으로 평가 동작을 수행하여 산출된, 각 차례별 항목에 대한 평가 값으로 형성된 특정 분포에 기초한 것을 특징으로 하는 서버.
  28. 제23항 또는 제24항에 있어서,
    상기 서버는,
    상기 제2 인공신경망 또는 제3 인공신경망을 통해 대상 환자의 심장 리듬의 종류를 결정하고,
    상기 대상 환자의 심장 리듬이 제1 그룹의 부정맥 종류일 경우, 심장 리듬과 다른 카테고리 항목에 대한 평가를 일부만을 수행하거나 또는 수행하지 않고 대상 환자의 심장 리듬에 대한 평가 결과, 또는 상기 심전도 이미지 및 대상 환자의 심장 리듬에 대한 평가 결과를 포함한 평가 정보를 생성하는 것을 특징으로 하는 서버.
  29. 제21항에 있어서, 상기 서버는,
    상기 소스 심전도 이미지에서 심전도 신호 영역을 크로핑하고,
    크로핑된 이미지를 원근 변환 처리하여 관점(view), 크기 및 형태 중 적어도 하나가 변환된 변환 이미지를 생성하며,
    소스 심전도 신호에서 심전도 신호 영역의 원본 측면비(aspect ratio)를 산출하고,
    변환 이미지의 측면비를 원본 측면비로 보정하여 심전도 신호 패치를 생성하고, 그리고
    상기 심전도 신호 패치에 기초하여 대상 환자의 평가 정보를 생성하는 것을 특징으로 하는 서버.
  30. 제21항에 있어서,
    상기 서버는 데이터베이스에 등록된 전문가 계정에게 평가 결과를 제공하는 것을 특징으로 하는 서버.
  31. 제30항에 있어서,
    상기 서버는 평가 결과에 대한 전문가 계정으로부터의 피드백을 사용자 단말에 제공하는 것을 특징으로 하는 서버.
  32. 제30항에 있어서,
    상기 전문가 계정에게 제공하는 평가 결과는 문자 메세지, 이메일 및 푸쉬 알림 중 적어도 하나 이상을 포함하는 방식으로 제공하는 것을 특징으로 하는 서버.
  33. 제31항에 있어서,
    상기 사용자 단말에 제공하는 전문가 계정으로부터의 피드백은 영상, 음성 및 텍스트 중 적어도 하나 이상의 형태인 것을 특징으로 하는 서버.
  34. 제21항에 있어서,
    상기 서버는 데이터베이스에 등록된 의료진 또는 병원 계정에게 평가 결과를 제공하는 것을 특징으로 하는 서버.
  35. 제34항에 있어서,
    상기 의료진 또는 병원 계정에게 제공하는 평가 결과는 문자 메세지, 이메일 및 푸쉬 알림 중 적어도 하나 이상을 포함하는 방식으로 제공하는 것을 특징으로 하는 서버.
  36. 제34항에 있어서,
    상기 서버는 데이터베이스에 등록된 의료진 또는 병원 계정에게 평가 결과에 기초한 사전 준비 사항 목록을 더 제공하는 것을 특징으로 하는 서버.
  37. 제34항 내지 제36항 중 어느 한 항에 있어서,
    상기 서버는 상기 평가 결과에 대한 의료진 또는 병원 계정으로부터의 피드백을 수신하여 사용자 단말에 제공하는 것을 특징으로 하는 서버.
  38. 제37항에 있어서,
    상기 사용자 단말에 제공하는 의료진 또는 병원 계정으로부터의 피드백은 영상, 음성 및 텍스트 중 적어도 하나 이상의 형태인 것을 특징으로 하는 서버.
  39. 심전도 이미지에 기반한 환자 평가 방법에 있어서,
    사용자 단말에 의해 대상 환자의 소스 심전도 이미지를 획득하는 단계;
    상기 사용자 단말에 의해 대상 환자에 대한 평가를 서버에 요청하는 단계 - 요청은 소스 심전도 이미지를 포함함;
    상기 서버에 의해 심전도 이미지에 기반한 대상 환자의 평가 정보를 생성하고, 상기 대상 환자의 평가 정보를 사용자 단말로 전송하는 단계; 및
    상기 사용자 단말에 의해 대상 환자의 평가 정보에 기초하여 보고 피드백을 제공하는 단계를 포함하는 심전도 이미지에 기반한 환자 평가 방법.
  40. 청구항 제39항에 따른 심전도 이미지에 기반한 환자 평가 방법을 수행하기 위한, 프로그램을 기록한 컴퓨터 판독가능 기록매체.
PCT/KR2022/005488 2021-04-16 2022-04-15 심전도 이미지에 기반한 환자 평가 시스템 및 방법 WO2022220649A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210049894 2021-04-16
KR10-2021-0049894 2021-04-16
KR1020210161788A KR20220143547A (ko) 2021-04-16 2021-11-22 심전도 이미지에 기반한 환자 평가 시스템 및 방법
KR10-2021-0161788 2021-11-22

Publications (1)

Publication Number Publication Date
WO2022220649A1 true WO2022220649A1 (ko) 2022-10-20

Family

ID=83640866

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/005488 WO2022220649A1 (ko) 2021-04-16 2022-04-15 심전도 이미지에 기반한 환자 평가 시스템 및 방법

Country Status (1)

Country Link
WO (1) WO2022220649A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115517686A (zh) * 2022-11-24 2022-12-27 合肥心之声健康科技有限公司 家庭环境心电图图像分析方法、装置、设备、介质和系统
CN115579109A (zh) * 2022-11-24 2023-01-06 合肥心之声健康科技有限公司 医疗环境下心电图图像分析方法、装置和终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140063100A (ko) * 2012-11-16 2014-05-27 삼성전자주식회사 원격 심질환 관리 장치 및 방법
US20160135706A1 (en) * 2014-11-14 2016-05-19 Zoll Medical Corporation Medical Premonitory Event Estimation
US20200178825A1 (en) * 2018-12-05 2020-06-11 General Electric Company System and method for identifying cardiac arrhythmias with deep neural networks
KR102142841B1 (ko) * 2019-11-06 2020-08-10 메디팜소프트(주) Ai 기반 심전도 판독 시스템
KR102194943B1 (ko) * 2018-10-31 2020-12-24 주식회사 원소프트다임 Ecg 신호를 통해 심전도 측정이 가능한 휴대용 체성분 측정장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140063100A (ko) * 2012-11-16 2014-05-27 삼성전자주식회사 원격 심질환 관리 장치 및 방법
US20160135706A1 (en) * 2014-11-14 2016-05-19 Zoll Medical Corporation Medical Premonitory Event Estimation
KR102194943B1 (ko) * 2018-10-31 2020-12-24 주식회사 원소프트다임 Ecg 신호를 통해 심전도 측정이 가능한 휴대용 체성분 측정장치
US20200178825A1 (en) * 2018-12-05 2020-06-11 General Electric Company System and method for identifying cardiac arrhythmias with deep neural networks
KR102142841B1 (ko) * 2019-11-06 2020-08-10 메디팜소프트(주) Ai 기반 심전도 판독 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115517686A (zh) * 2022-11-24 2022-12-27 合肥心之声健康科技有限公司 家庭环境心电图图像分析方法、装置、设备、介质和系统
CN115579109A (zh) * 2022-11-24 2023-01-06 合肥心之声健康科技有限公司 医疗环境下心电图图像分析方法、装置和终端设备

Similar Documents

Publication Publication Date Title
WO2022220649A1 (ko) 심전도 이미지에 기반한 환자 평가 시스템 및 방법
WO2021060899A1 (ko) 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
WO2020242239A1 (ko) 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
WO2019216504A1 (ko) 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템
WO2021107310A1 (ko) 뇌파 분석 기반 환자진단 지원 시스템 및 방법
EP3410928A1 (en) Aparatus and method for assessing heart failure
WO2019039912A1 (ko) 진단 보조 시스템 및 그 제어 방법
WO2022146057A1 (ko) 전기적 바이오 시그널 데이터를 수치 벡터로 변환하는 방법 및 장치, 이를 이용하여 질병을 분석하는 방법 및 장치
WO2020185003A1 (ko) 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품
WO2019083227A1 (en) MEDICAL IMAGE PROCESSING METHOD, AND MEDICAL IMAGE PROCESSING APPARATUS IMPLEMENTING THE METHOD
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2019164275A1 (ko) 수술도구 및 카메라의 위치 인식 방법 및 장치
WO2016068391A1 (ko) 환자 개인 특성에 대한 분석 방법 및 그 장치
WO2021054518A1 (ko) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법, 장치 및 소프트웨어 프로그램
WO2022240030A1 (ko) 반려동물 생애 관리 시스템 및 그 방법
WO2022039450A1 (ko) 가상 피팅 서비스 제공 방법, 장치 및 그 시스템
WO2021132862A1 (ko) 모션 기반 심폐 기능 지표 측정기, 노쇠 정도 예측 장치 및 방법
WO2023239151A1 (ko) 흉부 방사선 데이터를 수치 벡터로 변환하는 방법 및 장치, 이를 이용하여 질병을 분석하는 방법 및 장치
WO2020116878A1 (ko) 안저 사진을 이용한 뇌동맥류 예측 장치 및 뇌동맥류 예측 결과 제공 방법
WO2023177150A1 (ko) 딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템
WO2023080697A1 (ko) 심장 신호 분할 방법 및 이를 이용한 심장 신호 분할용 디바이스
WO2022177255A2 (ko) 원격 상담 서비스 제공 방법 및 시스템
WO2023063528A1 (ko) 시간 변동성 기반의 질환 연관성 요인 분석을 통한 질환 발병 정보 생성 장치 및 그 방법
WO2023128284A1 (ko) 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스
WO2023018037A1 (ko) 인공지능 모델을 이용한 의사결정 방법, 서버 및 컴퓨터프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22788504

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22788504

Country of ref document: EP

Kind code of ref document: A1