KR20210102102A - Method for predicting disease and apparatus for performing the same - Google Patents
Method for predicting disease and apparatus for performing the same Download PDFInfo
- Publication number
- KR20210102102A KR20210102102A KR1020210019197A KR20210019197A KR20210102102A KR 20210102102 A KR20210102102 A KR 20210102102A KR 1020210019197 A KR1020210019197 A KR 1020210019197A KR 20210019197 A KR20210019197 A KR 20210019197A KR 20210102102 A KR20210102102 A KR 20210102102A
- Authority
- KR
- South Korea
- Prior art keywords
- disease
- region
- medical image
- target
- electrocardiogram
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 148
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 131
- 201000010099 disease Diseases 0.000 title claims abstract description 130
- 230000006698 induction Effects 0.000 claims description 43
- 210000004351 coronary vessel Anatomy 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000000747 cardiac effect Effects 0.000 claims description 19
- 230000036541 health Effects 0.000 claims description 15
- 238000011976 chest X-ray Methods 0.000 claims description 9
- 208000024172 Cardiovascular disease Diseases 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 210000000038 chest Anatomy 0.000 description 26
- 238000005259 measurement Methods 0.000 description 17
- 230000003601 intercostal effect Effects 0.000 description 14
- 230000001939 inductive effect Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000000115 thoracic cavity Anatomy 0.000 description 3
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 2
- 208000037919 acquired disease Diseases 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 210000000621 bronchi Anatomy 0.000 description 2
- 229910052791 calcium Inorganic materials 0.000 description 2
- 239000011575 calcium Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008021 deposition Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002526 effect on cardiovascular system Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010002383 Angina Pectoris Diseases 0.000 description 1
- 206010003210 Arteriosclerosis Diseases 0.000 description 1
- 208000031229 Cardiomyopathies Diseases 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 208000025584 Pericardial disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000011775 arteriosclerosis disease Diseases 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000003109 clavicle Anatomy 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 230000004217 heart function Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000028161 membrane depolarization Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000000718 qrs complex Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000034225 regulation of ventricular cardiomyocyte membrane depolarization Effects 0.000 description 1
- 230000013577 regulation of ventricular cardiomyocyte membrane repolarization Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/50—Clinical applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G06N3/0427—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
Description
본 발명은 질환을 예측하는 방법 및 이를 수행하는 장치에 관한 것이다.The present invention relates to a method for predicting a disease and an apparatus for performing the same.
일반적으로 심전도(Electrocardiogram: ECG) 시스템은 환자의 심장의 전기적 활동을 모니터링한다. 심전도 시스템은 환자의 심장 상태를 편리하게 진단할 수 있는 유용한 장치이다. 심전계는 사용 목적에 따라 여러 종류로 분류할 수 있다. 가능한 많은 정보를 얻기 위한 병원용 심전계로는 10개의 습식전극(wet electrodes)을 사용하는 12채널 심전계가 표준으로 사용된다. 측정된 심전도는 심방의 탈분극에 의해 발생하는 P파, 심실의 탈분극에 의해 발생하는 QRS 콤플렉스(complex), 심실의 재분극에 의한 T파로 크게 세가지로 구성될 수 있다.In general, an electrocardiogram (ECG) system monitors the electrical activity of a patient's heart. The electrocardiogram system is a useful device for conveniently diagnosing a patient's heart condition. Electrocardiography can be classified into several types according to the purpose of use. As an electrocardiograph for hospitals to obtain as much information as possible, a 12-channel electrocardiograph using 10 wet electrodes is used as a standard. The measured electrocardiogram can be largely composed of three types: P wave generated by atrium depolarization, QRS complex generated by ventricular depolarization, and T wave caused by ventricular repolarization.
ECG 분석은 환자의 심장 기능의 연구 및 상기 심장의 장애를 식별을 위해 잘 확립된 방법이다. 의사들은 수십 년 동안 한자의 심장 활동을 모니터링하기 위해 ECG 시스템을 사용해왔다. 그러나, 심전도만으로 심혈관 질환을 진단 또는 예측하는 경우 정확도가 다소 떨어지는 문제가 있었다.ECG analysis is a well-established method for the study of cardiac function in patients and for identifying disorders of the heart. Doctors have been using ECG systems to monitor heart activity in Chinese characters for decades. However, when diagnosing or predicting cardiovascular disease using only the electrocardiogram, there is a problem in that the accuracy is somewhat lowered.
본 발명은 객체에 대한 의료 이미지인 엑스선 이미지(또는 엑스선 영상, 엑스레이 이미지, 엑스선 이미지), 심전도 데이터에 기초하여 객체의 질환(또는 심혈관 질환)을 예측하는 질환 예측 모델을 제공하고자 한다.An object of the present invention is to provide a disease prediction model for predicting a disease (or cardiovascular disease) of an object based on an X-ray image (or an X-ray image, an X-ray image, an X-ray image) that is a medical image of an object, and electrocardiogram data.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
상술한 기술적 과제를 달성하기 위한 본 개시의 일 실시예에 따른 질환 예측 방법은 객체에 대한 의료 이미지, 상기 의료 이미지의 촬영 시점 및 상기 객체의 식별 정보를 획득하는 단계와, 복수의 객체들에 대한 심전도 데이터들 중에서 상기 촬영 시점 및 상기 식별 정보에 대응하는 적어도 하나의 심전도 데이터를 상기 객체에 대한 심전도 데이터로 획득하는 단계와, 상기 복수의 객체들의 질환 정보들 중에서 상기 촬영 시점 및 상기 식별 정보에 대응하는 질환 정보를 상기 객체의 질환 정보로 획득하는 단계와, 상기 의료 이미지, 상기 객체에 대한 심전도 데이터 및 상기 객체의 질환 정보를 매칭하여 학습 데이터 셋을 생성하는 단계와, 상기 학습 데이터 셋에 기초하여 질환을 예측하는 예측 모델을 학습하는 단계를 포함할 수 있다.A disease prediction method according to an embodiment of the present disclosure for achieving the above-described technical problem includes: obtaining a medical image of an object, a photographing time of the medical image, and identification information of the object; acquiring at least one electrocardiogram data corresponding to the imaging timing and the identification information from among the ECG data as ECG data for the object; and corresponding to the imaging timing and the identification information from among the disease information of the plurality of objects acquiring disease information as disease information of the object; generating a learning data set by matching the medical image, electrocardiogram data for the object, and disease information of the object; It may include learning a predictive model for predicting a disease.
본 발명의 또 다른 일실시예에 따른 질환 예측 장치는 하드웨어와 결합되어 상기 언급된 질환 예측 방법을 실행하며, 매체에 저장된다.A disease prediction apparatus according to another embodiment of the present invention is combined with hardware to execute the above-mentioned disease prediction method, and is stored in a medium.
상기 본 발명에 의하면, 객체에 대한 의료 이미지 및 심전도 데이터에 기초하여 객체의 질환을 예측(또는 진단)하기에, 객체에 대한 의료 이미지 또는 심전도 데이터를 통해 객체의 질환을 예측하는 방법 보다 예측 정확도를 향상시킬 수 있다.According to the present invention, in predicting (or diagnosing) the disease of the object based on the medical image and the electrocardiogram data of the object, the prediction accuracy is higher than the method of predicting the disease of the object through the medical image or the electrocardiogram data of the object. can be improved
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Effects obtainable in the present disclosure are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those of ordinary skill in the art to which the present disclosure belongs from the description below. .
도 1a는 본 개시의 일 실시예에 따른 심전도 유도 방식을 설명하기 위한 일 예를 나타낸다.
도 1b는 본 개시의 일 실시예에 따른 심전도 유도 방식을 설명하기 위한 다른 예를 나타낸다.
도 1c는 본 개시의 일 실시예에 따른 심전도 유도 방식을 설명하기 위한 또 다른 예를 나타낸다.
도 2는 본 개시의 일 실시예에 따른 심전도 데이터를 설명하기 위한 일 예를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 질환 예측 시스템을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 심전도 데이터가 포함하는 미가공 데이터를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 질환 예측 장치를 설명하기 위한 블록도를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 프로세서의 학습 동작을 설명하기 위한 일 예를 나타내다.
도 7은 도 6에 도시된 프로세서의 학습 데이터 셋 생성 동작을 설명하기 위한 순서도를 나타낸다.
도 8a는 도 6에 도시된 프로세서의 밝기값 결정 동작을 설명하기 위한 일 예를 나타낸다.
도 8b는 도 6에 도시된 프로세서의 밝기값 결정 동작을 설명하기 위한 다른 예를 나타낸다.
도 9는 본 개시의 일 실시예를 통해 프로세서의 질환 예측 동작을 설명하기 위한 일 예를 나타낸다.1A shows an example for explaining an electrocardiogram induction method according to an embodiment of the present disclosure.
1B shows another example for explaining an electrocardiogram induction method according to an embodiment of the present disclosure.
1C shows another example for explaining an electrocardiogram induction method according to an embodiment of the present disclosure.
2 illustrates an example for describing electrocardiogram data according to an embodiment of the present disclosure.
3 shows a disease prediction system according to an embodiment of the present invention.
4 shows raw data included in electrocardiogram data according to an embodiment of the present invention.
5 is a block diagram illustrating an apparatus for predicting a disease according to an embodiment of the present invention.
6 illustrates an example for explaining a learning operation of a processor according to an embodiment of the present invention.
7 is a flowchart illustrating an operation of generating a learning data set of the processor shown in FIG. 6 .
FIG. 8A shows an example for explaining an operation of determining a brightness value of the processor shown in FIG. 6 .
FIG. 8B shows another example for explaining an operation of determining a brightness value of the processor shown in FIG. 6 .
9 shows an example for explaining a disease prediction operation of a processor through an embodiment of the present disclosure.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and those of ordinary skill in the art to which the present invention pertains. It is provided to fully understand the scope of the present invention to those skilled in the art, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. As used herein, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components. Like reference numerals refer to like elements throughout, and "and/or" includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.Spatially relative terms "below", "beneath", "lower", "above", "upper", etc. It can be used to easily describe the correlation between a component and other components. A spatially relative term should be understood as a term that includes different directions of components during use or operation in addition to the directions shown in the drawings. For example, when a component shown in the drawing is turned over, a component described as “beneath” or “beneath” of another component may be placed “above” of the other component. can Accordingly, the exemplary term “below” may include both directions below and above. Components may also be oriented in other orientations, and thus spatially relative terms may be interpreted according to orientation.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein will have the meaning commonly understood by those of ordinary skill in the art to which this invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless specifically defined explicitly.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1a는 본 개시의 일 실시예에 따른 심전도 유도 방식을 설명하기 위한 일 예를 나타내고, 도 1b는 본 개시의 일 실시예에 따른 심전도 유도 방식을 설명하기 위한 다른 예를 나타내고, 도 1c는 본 개시의 일 실시예에 따른 심전도 유도 방식을 설명하기 위한 또 다른 예를 나타낸다.1A shows an example for explaining an electrocardiogram induction method according to an embodiment of the present disclosure, FIG. 1B shows another example for explaining an electrocardiogram induction method according to an embodiment of the present disclosure, and FIG. 1C shows the present Another example for explaining an electrocardiogram induction method according to an embodiment of the disclosure is shown.
도 1a 내지 도 1c를 참조하면, 심전도 데이터(electrocardiogram data; ECG data 또는 심전도(electrocardiogram; ECG))는 객체에 접촉된 전극을 이용한 복수의 심전도 유도 방식들(또는 복수의 심전도 측정 방식들)을 통해 측정(또는 유도)될 수 있다. 이때, 복수의 심전도 유도 방식들은 전극을 이용하여 객체에 대한 심전도 데이터를 측정하는(또는 유도하는) 방식일 수 있다. 객체는 사람 및/또는 동물 등 심장을 보유한 생명체를 의미할 수 있다. 다만, 이하에서는 설명의 편의를 위해서 객체가 사람인 것으로 가정하도록 한다.1A to 1C , electrocardiogram data (ECG data or electrocardiogram; ECG) is transmitted through a plurality of electrocardiogram induction methods (or a plurality of electrocardiogram measurement methods) using an electrode in contact with an object. It can be measured (or derived). In this case, the plurality of ECG induction methods may be a method of measuring (or inducing) ECG data for an object using electrodes. The object may refer to a living organism having a heart, such as a human and/or an animal. However, hereinafter, for convenience of description, it is assumed that the object is a person.
복수의 심전도 유도 방식들은 심전도 데이터를 측정하기 위해서 사용되는 전극에 따라 구분될 수 있다. 복수의 심전도 유도 방식들은 심전도 데이터 측정시 사용되는 실제 전극의 신체 접촉 위치 및 전극 수 중에서 적어도 하나가 서로 상이할 수 있다.The plurality of electrocardiogram induction methods may be classified according to electrodes used to measure electrocardiogram data. The plurality of electrocardiogram induction methods may be different from each other in at least one of a body contact position of an actual electrode and the number of electrodes used when measuring electrocardiogram data.
예를 들어, 복수의 심전도 유도 방식들은 제1 심전도 유도 방식 및 제2 심전도 유도 방식 중에서 적어도 하나의 심전도 유도 방식을 포함할 수 있다.For example, the plurality of ECG induction methods may include at least one ECG induction method among a first ECG induction method and a second ECG induction method.
제1 심전도 유도 방식은 실제 전극을 이용하여 심전도 데이터를 측정하는 방식일 수 있다. 실제 전극은 객체에 접촉(또는 부착)될 수 있다. 예를 들어, 실제 전극은 도 1a에 도시된 바와 같이 객체의 팔, 다리 및/또는 흉부(또는 가슴)등 객체의 다양한 신체 부위에 부착될 수 있다. 실제 전극은 심전도 데이터를 측정하기 위해서 활성화될 수 있고, 활성화된 실제 전극은 활성 전극이라고 명명될 수 있다.The first electrocardiogram induction method may be a method of measuring electrocardiogram data using real electrodes. The actual electrode may be in contact with (or attached to) the object. For example, the actual electrode may be attached to various body parts of the object, such as arms, legs, and/or chest (or chest) of the object as shown in FIG. 1A . The real electrode may be activated to measure the electrocardiogram data, and the activated real electrode may be referred to as an active electrode.
제1 심전도 유도 방식은 도 1a 및 도 1b에 도시된 바와 같이 표준 사지 유도 방식일 수 있지만, 이에 한정되지 않는다. 표준 사지 유도 방식은 Lead I 방식, Lead II 방식 및 Lead III 방식을 포함할 수 있다. Lead I 방식은 객체의 오른팔과 왼팔에 각각 부착된 전극을 통해 오른팔과 왼팔 간의 전위차를 유도하여 심전도 데이터를 측정하는 방식일 수 있다. Lead II 방식은 객체의 오른팔과 왼다리에 각각 부착된 전극을 통해 오른팔과 왼다리 간의 전위차를 유도하여 심전도 데이터를 측정하는 방식일 수 있다. Lead III 방식은 객체의 왼팔과 왼다리에 각각 부착된 전극을 통해 왼판과 왼다리 간의 전위차를 유도하여 심전도 데이터를 측정하는 방식일 수 있다. 이때, 왼다리에 부착된 전극은 그라운드 전극으로 실제 전극을 사용하지 않을 수 있다.The first electrocardiogram guidance method may be a standard limb guidance method as shown in FIGS. 1A and 1B , but is not limited thereto. Standard limb guidance methods may include a Lead I method, a Lead II method, and a Lead III method. The Lead I method may be a method of measuring the electrocardiogram data by inducing a potential difference between the right arm and the left arm through electrodes respectively attached to the right arm and the left arm of the object. The Lead II method may be a method of measuring the electrocardiogram data by inducing a potential difference between the right arm and the left leg through electrodes respectively attached to the right arm and the left leg of the object. The Lead III method may be a method of measuring the electrocardiogram data by inducing a potential difference between the left plate and the left leg through electrodes respectively attached to the left arm and left leg of the object. In this case, the electrode attached to the left leg may not use an actual electrode as a ground electrode.
제2 심전도 유도 방식은 실제 전극 및 가상 전극(또는 유도 접지)을 이용하여 심전도 데이터를 측정하는 방식일 수 있다. 이때, 가상 전극은 실제 전극에 의해 생성되는(또는 결정되는) 가상의 전극일 수 있다. 가상 전극은 도 5c에 도시된 바와 같이 객체의 팔 및 다리에 부착된 실제 전극들을 통해 형성되는 아인트호벤 삼각형(einthoven’s triangle)의 중심점에 위치할 수 있다.The second ECG induction method may be a method of measuring ECG data using a real electrode and a virtual electrode (or inductive ground). In this case, the virtual electrode may be a virtual electrode generated (or determined) by the real electrode. The virtual electrode may be located at the center point of an Einthoven's triangle formed through real electrodes attached to the arm and leg of the object as shown in FIG. 5C .
예를 들어, 제2 심전도 유도 방식은 도 1a 및 도 1c에 도시된 바와 같이 증폭 사지 유도 방식 및 흉부 유도 방식 중에서 적어도 하나의 유도 방식일 수 있지만, 이에 한정되지 않는다.For example, the second electrocardiogram induction method may be at least one of an amplification limb induction method and a chest induction method as shown in FIGS. 1A and 1C , but is not limited thereto.
증폭 사지 유도 방식은 aVR 방식, aVL 방식 및/또는 aVF 방식을 포함할 수 있다. aVR 방식은 객체의 오른팔, 왼팔 및 왼다리에 각각 부착된 전극을 통해 오른팔과 아인트호벤 삼각형의 중심점 간의 전위차를 유도하여 심전도 데이터를 측정하는 방식일 수 있다. aVL 방식은 객체의 오른팔, 왼팔 및 왼다리에 각각 부착된 전극을 통해 왼팔과 아인트호벤 삼각형의 중심점 간의 전위차를 유도하여 심전도 데이터를 측정하는 방식일 수 있다. aVF 방식은 객체의 오른팔, 왼팔 및 왼다리에 각각 부착된 전극을 통해 왼다리와 아인트호벤 삼각형의 중심점 간의 전위차를 유도하여 심전도 데이터를 측정하는 방식일 수 있다.The amplification limb induction method may include an aVR method, an aVL method, and/or an aVF method. The aVR method may be a method of measuring electrocardiogram data by inducing a potential difference between the center point of the right arm and the Eindhoven triangle through electrodes respectively attached to the right arm, left arm, and left leg of the object. The aVL method may be a method of measuring electrocardiogram data by inducing a potential difference between the left arm and the center point of the Eindhoven triangle through electrodes respectively attached to the right arm, left arm, and left leg of the object. The aVF method may be a method of measuring the electrocardiogram data by inducing a potential difference between the left leg and the center point of the Eindhoven triangle through electrodes respectively attached to the right arm, the left arm, and the left leg of the object.
흉부 유도 방식은 V1 방식, V2 방식, V3 방식, V4 방식, V5 방식 및 V6 방식을 포함할 수 있다. V1 방식은 객체의 흉부 우측 흉골 경계연의 4번째 늑간, 오른팔, 왼팔 및 왼다리에 각각 부착된 전극을 통해 흉부 우측 흉골 경계연의 4번째 늑간과 아이트호벤 삼각형의 중심점 간의 전위차를 유도하여 심전도 데이터를 측정하는 방식일 수 있다. V2 방식은 객체의 흉부 좌측 흉골 경계연의 4번째 늑간, 오른팔, 왼팔 및 왼다리에 각각 부착된 전극을 통해 흉부 좌측 흉골 경계연의 4번째 늑간과 아이트호벤 삼각형의 중심점 간의 전위차를 유도하여 심전도 데이터를 측정하는 방식일 수 있다. V3 방식은 객체의 흉부 좌측 흉골 경계연의 4번째 늑간과 흉부 좌측 쇄골 중앙선상의 5번째 늑간 사이의 신체 부위, 오른팔, 왼팔 및 왼다리에 각각 부착된 전극을 통해 흉부 좌측 흉골 경계연의 4번째 늑간과 흉부 좌측 쇄골 중앙선상의 5번째 늑간 사이의 신체 부위와 아이트호벤 삼각형의 중심점 간의 전위차를 유도하여 심전도 데이터를 측정하는 방식일 수 있다. V4 방식은 객체의 흉부 좌측 쇄골 중앙선상의 5번째 늑간, 오른팔, 왼팔 및 왼다리에 각각 부착된 전극을 통해 흉부 좌측 쇄골 중앙선상의 5번째 늑간과 아이트호벤 삼각형의 중심점 간의 전위차를 유도하여 심전도 데이터를 측정하는 방식일 수 있다. V5 방식은 객체의 흉부 좌측 전액와선상의 5번째 늑간, 오른팔, 왼팔 및 왼다리에 각각 부착된 전극을 통해 흉부 좌측 전액와선상의 5번째 늑간과 아이트호벤 삼각형의 중심점 간의 전위차를 유도하여 심전도 데이터를 측정하는 방식일 수 있다. V6 방식은 객체의 흉부 좌측 액와중앙선상의 5번째 늑간, 오른팔, 왼팔 및 왼다리에 각각 부착된 전극을 통해 흉부 좌측 액와중앙선상의 5번째 늑간과 아이트호벤 삼각형의 중심점 간의 전위차를 유도하여 심전도 데이터를 측정하는 방식일 수 있다.The chest induction method may include a V1 method, a V2 method, a V3 method, a V4 method, a V5 method, and a V6 method. In the V1 method, the electrocardiogram data is obtained by inducing the potential difference between the fourth intercostal space on the right thoracic border of the object, the fourth intercostal space on the right thoracic border, and the center point of the Eithoven triangle through electrodes attached to the right arm, left arm, and left leg, respectively. It may be a method of measurement. In the V2 method, the electrocardiogram data is obtained by inducing the potential difference between the 4th intercostal space on the left sternal border of the chest, the 4th intercostal space on the left thoracic border, and the center point of the Eithoven triangle through electrodes attached to the right arm, left arm, and left leg, respectively. It may be a method of measurement. The V3 method uses electrodes attached to the body part between the 4th intercostal space at the left sternal border of the chest and the 5th intercostal space on the left midclavicular line of the chest, the right arm, the left arm, and the left leg, respectively. It may be a method of measuring the electrocardiogram data by inducing a potential difference between the body part between the 5th intercostal space on the left clavicle midline and the center point of the Eithoven triangle. The V4 method uses electrodes attached to the 5th intercostal space, right arm, left arm, and left leg on the left midclavicular line of the chest of the subject, respectively, to induce the potential difference between the 5th intercostal space on the left side of the chest and the center point of the Eithoven triangle to obtain electrocardiographic data. It may be a method of measurement. In the V5 method, the electrocardiogram data is obtained by inducing the potential difference between the 5th intercostal space on the left frontal fossa line and the center point of the Eithoven triangle through electrodes attached to the 5th intercostal space, the right arm, the left arm, and the left leg, respectively. It may be a method of measurement. In the V6 method, the potential difference between the 5th intercostal space on the left axillary midline of the chest and the 5th intercostal space on the left axillary midline of the chest and the center point of the Eithoven triangle through electrodes attached to the 5th intercostal, right arm, left arm, and left leg, respectively It may be a method of measurement.
상술한 바와 같이 복수의 심전도 유도 방식들은 표준 사지 유도 방식, 증폭 사지 유도 방식 및 흉부 유도 방식 중에서 적어도 하나의 유도 방식을 포함할 수 있지만, 이에 한정되지 않는다. 예를 들어, 전극은 객체에 접촉된 객체의 신체 위치에 따라 심장을 바라보는 방향(또는 축)이 상이해질 수 있다. 복수의 심전도 유도 방식들은 표준 사지 유도 방식, 증폭 사지 유도 방식 및/또는 흉부 유도 방식에 사용된 전극과 심장을 바라보는 방향이 상이한 전극(또는 상이하게 부착된 전극)을 이용한 심전도 유도 방식 및/또는 패치형으로 구성된 실제 전극인 패치형 전극을 이용한 심전도 유도 방식 등 다양한 전극을 통해 심전도 데이터를 측정하는 심전도 유도 방식을 포함할 수 있다.As described above, the plurality of electrocardiogram induction methods may include at least one of a standard limb induction method, an amplified limb induction method, and a chest induction method, but is not limited thereto. For example, the electrode may have a different direction (or axis) facing the heart according to the body position of the object in contact with the object. The plurality of ECG guidance methods include an ECG guidance method using an electrode (or an electrode attached differently) different from the electrode used in the standard limb guidance method, the amplified limb guidance method and/or the chest guidance method (or electrodes attached differently) and/or An electrocardiogram induction method for measuring electrocardiogram data through various electrodes, such as an electrocardiogram induction method using a patch type electrode, which is an actual electrode configured in a patch type, may be included.
상술한 바와 같이 표준 사지 유도 방식, 증폭 사지 유도 방식 및 흉부 유도 방식은 12 유도 방식이라고 명명될 수 있다.As described above, the standard limb induction method, the amplified limb induction method, and the chest induction method may be referred to as 12 induction methods.
도 2는 본 개시의 일 실시예에 따른 심전도 데이터를 설명하기 위한 일 예를 나타낸다.2 illustrates an example for describing electrocardiogram data according to an embodiment of the present disclosure.
심전도 데이터는 심장의 전기적 활동을 기록한 신호로, 객체에 접촉된 전극들 간의 전위 변화를 나타내는(또는 기록한) 데이터일 수 있다. 이때, 전위 변화는 심장 움직임에 의해 발생되므로 객체의 심장 움직임을 나타낼 수 있다. 예를 들어, 전극 간의 전위는 심장의 움직임에 의해 발생되는 전기적 신호에 기초하여 변화될 수 있다.The electrocardiogram data is a signal recording the electrical activity of the heart, and may be data indicating (or recording) a change in potential between electrodes in contact with an object. In this case, since the electric potential change is generated by the heart movement, it may represent the heart movement of the object. For example, the electric potential between the electrodes may be changed based on an electrical signal generated by the movement of the heart.
심전도 데이터는 신체 표면에 부착된 전극을 통해 객체의 신체 표면에서 측정될 수 있다. 예를 들어, 심전도 데이터는 도 2에 도시된 바와 같이 복수의 심전도 유도 방식들 각각을 통해 객체의 신체 표면에서 측정될 수 있다. 이때, 심전도 데이터는 도 2에 도시된 바와 같이 x축이 시간(약 10초), y축이 전위이고, 각 심전도 데이터가 2.5초 간격으로 편집되어 구성될 수 있다.The electrocardiogram data may be measured on the body surface of the object through electrodes attached to the body surface. For example, as illustrated in FIG. 2 , the electrocardiogram data may be measured on the body surface of the object through each of a plurality of electrocardiogram induction methods. In this case, as shown in FIG. 2 , the x-axis may be time (about 10 seconds), the y-axis may be potential, and each ECG data may be edited at an interval of 2.5 seconds.
특정 시점에 Lead I 방식, Lead II 방식, Lead III 방식, aVR 방식, aVL 방식, aVF 방식, V1 방식, V2 방식, V3 방식, V4 방식, V5 방식 및 V6 방식이 동시에 이용되어 심전도 데이터가 측정된 경우, 측정된 심전도 데이터는 표준 12 유도 심전도 데이터라고 명명될 수 있다. 표준 12 유도 심전도 데이터는 Lead I 방식을 통해 측정된 Lead I 심전도 데이터, Lead II 방식을 통해 측정된 Lead II 심전도 데이터, Lead III 방식을 통해 측정된 Lead III 심전도 데이터, aVR 방식을 통해 측정된 aVR 심전도 데이터, aVL 방식을 통해 측정된 aVL 심전도 데이터, aVF 방식을 통해 측정된 aVF 심전도 데이터, V1 방식을 통해 측정된 V1 심전도 데이터, V2 방식을 통해 측정된 V2 심전도 데이터, V3 방식을 통해 측정된 V3 심전도 데이터, V4 방식을 통해 측정된 V4 심전도 데이터, V5 방식을 통해 측정된 V5 심전도 데이터 및 V6 방식을 통해 측정된 V6 심전도 데이터를 포함할 수 있다.At a specific point in time, the Lead I method, Lead II method, Lead III method, aVR method, aVL method, aVF method, V1 method, V2 method, V3 method, V4 method, V5 method, and V6 method are simultaneously used and the ECG data is measured. In this case, the measured electrocardiogram data may be referred to as standard 12-lead electrocardiogram data. The standard 12-lead ECG data is: Lead I ECG data measured by the Lead I method, Lead II ECG data measured by the Lead II method, Lead III ECG data measured by the Lead III method, and aVR ECG measured by the aVR method Data, aVL ECG data measured using aVL method, aVF ECG data measured using aVF method, V1 ECG data measured using V1 method, V2 ECG data measured using V2 method, V3 ECG measured using V3 method Data, V4 ECG data measured through the V4 method, V5 ECG data measured through the V5 method, and V6 ECG data measured through the V6 method may be included.
도 3은 본 발명의 일 실시예에 따른 질환 예측 시스템을 나타내고, 도 4는 본 발명의 일 실시예에 따른 심전도 데이터가 포함하는 미가공 데이터를 나타낸다.3 shows a disease prediction system according to an embodiment of the present invention, and FIG. 4 shows raw data included in electrocardiogram data according to an embodiment of the present invention.
도 3 및 도 4를 참조하면, 질환 예측 시스템(10)은 정보 제공 장치(100), 이미지 제공 장치(300) 및 질환 예측 장치(500)를 포함한다.3 and 4 , the
정보 제공 장치(100)는 객체에 대한 복수의 의료 이미지들, 각 의료 이미지의 촬영 시점 및 객체의 식별 정보를 정보 제공 장치(100)의 데이터 베이스(data base; DB)에 저장할 수 있다. 이때, 객체는 건강 검진을 수행한 객체(또는 기존 환자)일 수 있다. 객체의 식별 정보는 각 객체의 이름 및/또는 ID(identification) 등 각 객체를 식별할 수 있는 다양한 정보일 수 있다.The
예를 들어, 정보 제공 장치(100)는 각 의료 이미지, 각 의료 이미지의 촬영 시점 및 객체에 대한 식별 정보를 매칭하여 데이터 베이스에 저장할 수 있다. 이때, 의료 이미지는 엑스선 이미지(또는 엑스레이 이미지, 엑스선 영상, X-ray image)로 객체의 흉부에 대한 흉부 엑스선 이미지일 수 있다. 각 의료 이미지의 촬영 시점은 각 흉부 엑스선 이미지를 생성하기 위해서 객체의 흉부를 촬영한 시점일 수 있다. 의료 이미지들의 촬영 시점들은 서로 상이한 시점으로 서로 상이한 날짜일 수 있다.For example, the
상술한 바와 같이 의료 이미지가 엑스선 이미지일 수 있지만, 이에 한정하지 않는다. 예를 들어, 의료 이미지는 자기공명영상(magnetic resonance imaging; MRI), CT 이미지(computerized tomography image; CT image), 양전자단층촬영(Positron Emission Tomography; PET) 및/또는 초음파촬영(Ultrasonography) 등 다양한 의료 이미지일 수 있다.As described above, the medical image may be an X-ray image, but is not limited thereto. For example, the medical image may include various medical imaging methods such as magnetic resonance imaging (MRI), computerized tomography image (CT image), positron emission tomography (PET), and/or ultrasonography (Ultrasonography). It can be an image.
또한, 정보 제공 장치(100)는 객체에 대한 복수의 심전도 데이터들 각각과 각 심전도 데이터의 측정 시점을 매칭하여 데이터 베이스에 저장할 수 있다. 이때, 복수의 심전도 데이터들은 복수의 심전도 유도 방식들 중에서 적어도 하나의 심전도 유도 방식을 통해 객체로부터 측정된 심전도 데이터일 수 있다. 각 심전도 데이터의 측정 시점은 각 심전도 데이터가 측정된 시점일 수 있다.Also, the
예를 들어, 정보 제공 장치(100)는 심전도 측정 장치가 측정한 객체에 대한 복수의 심전도 데이터들을 제공받아, 각 심전도 데이터와 각 심전도 데이터의 측정 시점을 매칭하여 데이터 베이스에 저장할 수 있다.For example, the
일 예로, 심전도 측정 장치는 패치형 전자 장치로 구현될 수 있다. 예를 들어, 심전도 측정 장치는 12 개의 심전도 리드를 이용하여 객체의 팔, 다리 및/또는 흉부(또는 가슴)에 부착되어 객체의 전극 파형을 획득하여 객체의 심전도 데이터를 측정할 수 있는 전자 장치일 수 있지만, 이에 한정하지 않는다. 예를 들어, 심전도 측정 장치는 신체로부터 전극 파형을 획득할 수 있는 홀터 장치(Holter Device) 및/또는 웨어러블 장치(Wearable Device) 등 다양한 전자 장치로 구현될 수 있다. 이때, 웨어러블 장치는 신체 착용형(예: 머리 착용형 장치, 팔찌, 발찌, 목걸이, 반지, 시계 등), 의류 일체형, 신체 부착형 또는 생체 이식형 중 적어도 하나일 수 있다. 상술한 심전도 측정 장치는 최소 1개의 심전도 리드를 포함할 수 있지만, 이에 한정하지 않는다.As an example, the electrocardiogram measuring apparatus may be implemented as a patch-type electronic device. For example, the electrocardiogram measuring device is an electronic device that is attached to the arm, leg, and/or chest (or chest) of an object using 12 electrocardiogram leads to acquire electrode waveforms of the object to measure the electrocardiogram data of the object. can, but is not limited thereto. For example, the electrocardiogram measuring apparatus may be implemented as various electronic devices such as a Holter device and/or a wearable device capable of acquiring an electrode waveform from a body. In this case, the wearable device may be at least one of a body wearable device (eg, a head wearable device, a bracelet, an anklet, a necklace, a ring, a watch, etc.), an integrated clothing type, a body attachable type, or a bioimplantable type. The electrocardiogram measuring apparatus described above may include at least one electrocardiogram lead, but is not limited thereto.
다른 예로, 심전도 측정 장치는 신체 접촉형 전자 장치로 구현될 수 있다. 예를 들어, 심전도 측정 장치는 신체의 일부분이 심전도 측정 장치에 소정시간 동안 접촉되는 경우에 사용자의 전극 파형을 획득하는 신체 접촉형 전자 장치일 수 있다. 신체 접촉형 전자 장치는 차량 운전시 객체의 손에 접촉되는 차량 핸들, 객체의 신체의 일부분이 접촉되는 안마기 및/또는 안마의자 등의 일상생활에서 객체의 신체의 일부분이 소정시간동안 접촉될 수 있는 전자장치를 포함할 수 있다.As another example, the electrocardiogram measuring device may be implemented as a body-contact type electronic device. For example, the electrocardiogram measuring device may be a body contact type electronic device that acquires a user's electrode waveform when a part of the body is in contact with the electrocardiographic measuring device for a predetermined time. A body-contact type electronic device is a vehicle in which a part of an object's body can be in contact for a predetermined time in daily life, such as a vehicle handle that comes into contact with the hand of an object, a massager and/or a massage chair that comes into contact with a part of the object's body when driving a vehicle. It may include an electronic device.
심전도 측정 장치가 특정 시점에 통시에 표준 사지 유도 방식, 증폭 사지 유도 방식 및 흉부 유도 방식인 12 유도 방식을 이용하여 심전도 데이터를 측정한 경우, 심전도 측정 장치가 측정한 심전도 데이터는 도 4와 같은 미가공 데이터(raw data)를 포함할 수 있다.When the ECG measurement device measures the ECG data using the 12-guide method, which is the standard limb induction method, the amplified limb guide method, and the chest guide method, at a specific point in time, the ECG data measured by the ECG measurement device is unprocessed as shown in FIG. It may contain raw data.
정보 제공 장치(100)에 저장된 복수의 심전도 데이터들 각각은 복수의 의료 이미지들 중에서 어느 하나의 의료 이미지의 촬영 시점과 동일하거나 유사한 시점에 측정된 심전도 데이터일 수 있다. 유사한 시점은 어느 하나의 의료 이미지의 촬영 시점과 동일한 날짜일 수 있다.Each of the plurality of electrocardiogram data stored in the
정보 제공 장치(100)는 객체의 질환 정보들을 데이터 베이스에 저장할 수 있다. 이때, 각 질환 정보는 각 의료 이미지의 촬영 시점과 동일하거나 유사한 시점에 수행된 건강 검진에 기초하여 진단된 질환에 대한 정보일 수 있다. 각 질환 정보는 건강 검진에 기초하여 객체가 보유하거나(또는 보유하고) 객체에 발병될 질환에 대한 정보를 포함할 수 있다. The
예를 들어, 사람(예를 들어, 의사) 및/또는 질환 진단 장치는 각 의료 이미지의 촬영 시점과 동일한 날짜에 수행된 건강 검진에 기초하여 객체가 보유하거나(또는 보유하고) 객체에 발병될 질환을 진단할 수 있다. 따라서, 각 질환 정보는 각 건강 검진에 기초하여 진단된 질환 정보일 수 있다.For example, a person (eg, a doctor) and/or a device for diagnosing a disease may have a disease that an object possesses (or possesses) or a disease to be developed in the object based on a medical examination performed on the same date as when each medical image is taken. can be diagnosed Accordingly, each disease information may be disease information diagnosed based on each health checkup.
각 질환 정보는 건강 검진이 수행된 시점에 객체가 질환을 보유하고 있는지 여부에 대한 정보, 객체가 보유한 질환에 대한 정보 및 건강 검진이 수행된 시점 이후에 객체에 질환이 발병될 확률에 대한 정보 중에서 적어도 하나의 정보를 포함할 수 있다. 객체가 보유한 질환에 대한 정보는 질환의 명칭 및/또는 질환의 경중도 등 다양할 수 있다. 객체에 발병될 질환에 대한 정보는 발병될 질환의 명칭 및/또는 질환이 발병될 확률 등 다양할 수 있다. 질환은 심혈관 질환으로 협심증, 심근경색증과 같은 관상동맥 질환, 판막질환, 심부전증, 심낭 질환, 고혈압, 동맥경화증 및/또는 심근증 등 다양한 심혈관 질환일 수 있다.Each disease information includes information on whether the object has a disease at the time the health checkup is performed, information on the disease possessed by the object, and information on the probability that the object will develop a disease after the health checkup is performed. It may include at least one piece of information. The information about the disease possessed by the object may be various, such as the name of the disease and/or the severity of the disease. The information on the disease to be developed in the subject may be various, such as the name of the disease to be developed and/or the probability that the disease will develop. The disease is a cardiovascular disease, and may be various cardiovascular diseases such as angina pectoris, coronary artery disease such as myocardial infarction, valvular disease, heart failure, pericardial disease, hypertension, arteriosclerosis and/or cardiomyopathy.
상술한 건강 검진은 심혈관 검사를 포함할 수 있다. 예를 들어, 심혈관 검사는 각 의료 이미지의 촬영 시점과 동일한 날짜에 수행된 검사로 심전도 검사, 운동부하 검사, 심장 초음파 검사 중에서 적어도 하나의 검사를 포함할 수 있다.The above-mentioned health examination may include a cardiovascular examination. For example, the cardiovascular test is a test performed on the same date as when each medical image is taken, and may include at least one of an electrocardiogram test, an exercise stress test, and an echocardiogram test.
정보 제공 장치(100)는 객체의 질환 정보들과 각 질환 정보에 대응하는 건강 검진이 수행된 시점(이하 '건강 검진 수행 시점'이라 함)을 매칭하여 데이터 베이스에 저장할 수 있다.The
정보 제공 장치(100)는 데이터 베이스에 저장된 다양한 정보(예를 들어, 의료 이미지, 심전도 데이터, 식별 정보, 촬영 시점, 질환 정보)를 질환 예측 장치(500)에 제공할 수 있다.The
상술한 객체는 복수의 객체들일 수 있다. 이에, 정보 제공 장치(100)는 복수의 객체들 각각에 대한 의료 이미지들, 각 의료 이미지의 촬영 시점, 복수의 객체들 각각에 대한 심전도 데이터들, 각 심전도 데이터의 측정 시점, 복수의 객체들 각각에 대한 질환 정보들, 각 질환 정보에 대응하는 건강 검진 수행 시점을 데이터 베이스에 저장할 수 있다.The above-described object may be a plurality of objects. Accordingly, the
이미지 제공 장치(300)는 타겟 객체에 대한 타겟 의료 이미지를 생성하여 타겟 의료 이미지 및 타겟 의료 이미지의 촬영 시점을 질환 예측 장치(500)에 제공할 수 있다. 이때, 타겟 객체는 질환을 예측하기 위한 객체(또는 신규 환자)로 단일의 객체일 수 있다. 타겟 객체는 복수의 객체들 중에서 어느 하나의 객체이거나 복수의 객체들과 상이한 객체일 수 있다 타겟 의료 이미지는 타겟 객체의 흉부에 대한 엑스선 이미지로 흉부 엑스선 이미지일 수 있지만, 상술한 바와 같이 한정되지 않는다. 타겟 의료 이미지의 촬영 시점은 타겟 의료 이미지를 생성하기 위해서 타겟 객체의 흉부를 촬영한 시점일 수 있다.The
질환 예측 장치(500)는 정보 제공 장치(100)로부터 획득된 의료 이미지, 심전도 데이터 및 질환 정보에 기초하여 질환 예측 장치(500)의 예측 모델을 학습할 수 있다. 이때, 질환 예측 장치(500)는 각 엑스선 이미지, 각 엑스선 이미지에 대응하는 심전도 데이터, 각 엑스선 이미지에 대응하는 질환 정보를 이용하여 예측 모델을 반복 학습할 수 있다.The
질환 예측 장치(500)는 타겟 의료 이미지와 학습된 예측 모델에 기초하여 타겟 객체의 질환을 예측(또는 진단)할 수 있다.The
또한, 질환 예측 장치(500)는 심전도 데이터를 통해 심장의 속도와 박동을 촉발하는 심장 부위에 대한 정보뿐만 아니라, 심장 영역의 엑스선 이미지를 통해 비정상적인 심장 형태나 크기, 혈관 내 칼슘 침착 등의 이상을 효과적으로 분석할 수 있다.In addition, the
이에, 질환 예측 장치(500)는 객체에 대한 의료 이미지 또는 심전도 데이터를 통해 객체의 질환을 예측하는 방법 보다 질환 예측 정확도(또는 질환 진단 정확도)를 향상시킬 수 있다.Accordingly, the
이하에서는 질환 예측 장치(500)의 학습 동작 및 예측 동작에 대해 상세하게 설명하도록 한다.Hereinafter, a learning operation and a prediction operation of the
도 5는 본 발명의 일 실시예에 따른 질환 예측 장치를 설명하기 위한 블록도를 나타낸다.5 is a block diagram illustrating an apparatus for predicting a disease according to an embodiment of the present invention.
질환 예측 장치(500)는 전자 장치로 구현될 수 있다. 예를 들어, 전자 장치는 PC(personal computer), 서버, 모듈, 또는 휴대용 전자 장치(또는 개인용 전자 장치, 사용자 장치) 등 다양한 장치일 수 있다. 휴대용 전자 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 스마트 디바이스(smart device)으로 구현될 수 있다. 이때, 스마트 디바이스는 스마트 워치(smart watch) 또는 스마트 밴드(smart band)로 구현될 수 있다. 바람 직한 예로, 질환 예측 장치(300)는 서버로 구현될 수 있다.The
질환 예측 장치(500)는 메모리(510) 및 프로세서(530)를 포함할 수 있다.The
메모리(510)는 프로세서(530)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 질환 예측 장치(500)의 동작 및/또는 질환 예측 장치(500)의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.The
프로세서(530)는 메모리(510)에 저장된 데이터를 처리할 수 있다. 프로세서(530)는 메모리(510)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다. 프로세서(530)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.The
프로세서(530)는 각 객체에 대한 엑스선 이미지(X-ray image)들 각각에 기초하여 예측 모델을 반복 학습할 수 있다. 이하에서는 설명의 편의를 위해서, 프로세서(530)가 단일의 엑스선 이미지에 기초하여 예측 모델을 학습하는 동작을 설명하도록 한다. 후술되는 동작은 각 객체 및 각 엑스선 이미지에 기초하여 예측 모델을 반복 학습하는 동작에 적용될 수 있다.The
도 6은 본 발명의 일 실시예에 따른 프로세서의 학습 동작을 설명하기 위한 일 예를 나타내고, 도 7은 도 6에 도시된 프로세서의 학습 데이터 셋 생성 동작을 설명하기 위한 순서도를 나타낸다.6 shows an example for explaining a learning operation of a processor according to an embodiment of the present invention, and FIG. 7 is a flowchart for explaining an operation of generating a learning data set of the processor shown in FIG. 6 .
프로세서(530)는 의료 이미지 및 심전도 데이터에 기초하여 질병을 예측하는 예측 모델을 학습할 수 있다.The
도 6을 참조하면, 프로세서(530)는 정보 제공 장치(100)를 통해 객체에 대한 의료 이미지, 의료 이미지의 촬영 시점 및 객체의 식별 정보를 획득할 수 있다(S610). 이때, 객체는 복수의 객체들 중에서 어느 하나의 객체일 수 있다. 의료 이미지는 어느 하나의 객체에 대한 복수의 의료 이미지들 중에서 어느 하나의 의료 이미지일 수 있다. 어느 하나의 의료 이미지는 어느 하나의 객체의 흉부에 대한 흉부 엑스선 이미지일 수 있다. 의료 이미지의 촬영 시점은 어느 하나의 의료 이미지를 생성하기 위해서 어느 하나의 객체의 흉부를 촬영한 시점일 수 있다.Referring to FIG. 6 , the
프로세서(530)는 의료 이미지의 촬영 시점 및 객체의 식별 정보에 기초하여 예측 모델을 학습할 수 있다(S630). 이때, 예측 모델은 의료 이미지 및 심전도 데이터를 통해 질환을 예측하는 질환 예측 모델일 수 있다.The
프로세서(530)는 의료 이미지의 촬영 시점 및 객체의 식별 정보에 기초하여 정보 제공 장치(100)에 저장된 복수의 객체들의 심전도 데이터들 중에서 의료 이미지의 촬영 시점 및 객체의 식별 정보에 대응하는 적어도 하나의 심전도 데이터를 객체에 대한 심전도 데이터로 획득할 수 있다(S631). 이때, 적어도 하나의 심전도 데이터는 의료 이미지의 촬영 시점과 동일하거나 유사한 시점에 복수의 심전도 유도 방식들 중에서 적어도 하나의 심전도 유도 방식을 통해 객체로부터 측정된 심전도 데이터일 수 있다. 유사한 시점은 의료 이미지의 촬영 시점과 동일한 날짜(또는 동일자)일 수 있다.The
예를 들어, 프로세서(530)는 복수의 객체들의 식별 정보들 및 복수의 객체들에 대한 심전도 데이터들의 측정 시점에 기초하여 복수의 객체들에 대한 심전도 데이터들 중에서 의료 이미지의 촬영 시점 및 객체의 식별 정보에 대응하는 적어도 하나의 심전도 데이터를 획득할 수 있다. 이때, 심전도 데이터들의 측정 시점은 심전도 데이터들이 측정된 시점일 수 있다.For example, the
구체적으로, 프로세서(503)는 복수의 객체들의 식별 정보들에 기초하여 복수의 객체들에 대한 심전도 데이터들 중에서 객체의 식별 정보에 대응하는 심전도 데이터들을 획득할 수 있다.In detail, the processor 503 may obtain ECG data corresponding to the identification information of the object from among the ECG data of the plurality of objects based on the identification information of the plurality of objects.
프로세서(530)는 획득된 심전도 데이터들의 측정 시점들에 기초하여 획득된 심전도 데이터들 중에서 의료 이미지의 촬영 시점에 대응하는 적어도 하나의 심전도 데이터를 획득할 수 있다. 적어도 하나의 심전도 데이터의 측정 시점은 의료 이미지의 촬영 시점과 동일하거나 유사한 시점일 수 있다.The
프로세서(530)는 적어도 하나의 심전도 데이터를 객체에 대한 심전도 데이터로 결정할 수 있다.The
프로세서(530)는 의료 이미지의 촬영 시점 및 객체의 식별 정보에 기초하여 정보 제공 장치(100)에 저장된 복수의 객체들의 질환 정보들 중에서 의료 이미지의 촬영 시점 및 객체의 식별 정보에 대응하는 질환 정보를 객체의 질환 정보로 획득할 수 있다(S633).The
예를 들어, 프로세서(530)는 복수의 객체들의 식별 정보에 기초하여 복수의 객체들의 질환 정보들 중에서 객체의 식별 정보에 대응하는 질환 정보들을 획득할 수 있다.For example, the
프로세서(530)는 획득된 질환 정보들 각각에 대응하는 건강 검진 수행 시점에 기초하여 획득된 질환 정보들 중에서 의료 이미지의 촬영 시점에 대응하는 어느 하나의 질환 정보를 획득할 수 있다. 이때, 어느 하나의 질환 정보에 대응하는 건강 검진 수행 시점은 의료 이미지의 촬영 시점과 동일하거나 유사한 시점일 수 있다.The
프로세서(530)는 어느 하나의 질환 정보를 객체의 질환 정보로 결정할 수 있다. 객체의 질환 정보는 의료 이미지의 촬영 시점과 동일하거나 유사한 시점에 수행된 건강 검진에 기초하여 진단된 질환에 대한 정보일 수 있다. 예를 들어, 객체의 질환 정보는 건강 검진에 기초하여 객체가 보유하거나 객체에 발병될 질환에 대한 정보를 포함할 수 있다.The
프로세서(530)는 의료 이미지, 객체에 대한 심전도 데이터 및 객체의 질환 정보를 매칭하여 학습 데이터 셋을 생성할 수 있다(S635).The
예를 들어, 프로세서(530)는 의료 이미지의 전체 영역 중에서 객체의 심장에 대응하는 심장 영역의 밝기값, 및 심장 영역 중에서 심장의 관상 동맥에 대응하는 관상 동맥 영역의 밝기값 중에서 어느 하나의 밝기값을 객체에 대한 엑스선 이미지의 특징값으로 결정할 수 있다.For example, the
구체적으로, 전체 영역 중에서 심장 영역 및 관상 동맥 영역 중에서 적어도 하나의 영역의 밝기값은 객체의 관상 동맥에 침착된 칼슘의 침착 정도에 따라 상이할 수 있다. 따라서, 프로세서(530)는 심장 영역의 밝기값 및 관상 동맥 영역의 밝기값 중에서 어느 하나의 밝기값을 객체에 대한 엑스선 이미지의 특징값으로 결정할 수 있다.Specifically, the brightness value of at least one of the heart region and the coronary artery region among the entire region may be different depending on the degree of calcium deposition in the coronary artery of the object. Accordingly, the
도 7을 참조하면, 프로세서(530)는 의료 이미지의 전체 영역 중에서 객체의 심장에 대응하는 심장 영역의 밝기값, 및 심장 영역 중에서 심장의 관상 동맥에 대응하는 관상 동맥 영역의 밝기값을 결정할 수 있다(S633a).Referring to FIG. 7 , the
프로세서(530)는 심장 영역의 밝기값 및 관상 동맥 영역의 밝기값 중에서 어느 하나의 밝기값을 객체에 대한 엑스선 이미지의 특징값(feature)으로 결정할 수 있다(S633b).The
프로세서(530)는 의료 이미지, 의료 이미지의 특징값, 객체에 대한 심전도 데이터 및 객체의 질환 정보를 매칭하여 학습 데이터 셋을 생성할 수 있다(S633c).The
다시 도 6을 참조하면, 마지막으로, 프로세서(530)는 학습 데이터 셋에 기초하여 예측 모델을 학습할 수 있다(S635). 이때, 예측 모델은 질환을 예측하는 딥러닝 알고리즘으로 모델링(또는 구축)될 수 있지만, 이에 한정되지 않는다. 예를 들어, 예측 모델은 포레스트(Random Forest), 서포트 벡터 머신(Support Vector Machine), 머신 러닝 기법 및/또는 신경망 등 다양한 기법을 통해 모델링될 수 있다.Referring back to FIG. 6 , finally, the
또한, 예측 모델은 RNN(recurrent neural network)을 통해 모델링(또는 구축)될 수 있다. 또한, 예측 모델은 MLP(multilayer Perceptron), CNN(Convolutional Neural Network) 등을 통해 모델링(또는 구축)될 수 있다.In addition, the predictive model may be modeled (or built) through a recurrent neural network (RNN). In addition, the predictive model may be modeled (or constructed) through a multilayer perceptron (MLP), a convolutional neural network (CNN), or the like.
또한, 본 개시의 일 실시예에서 이벤트의 길이가 길어짐에 따라 발생할 수 있는 장기 기억 문제(long range dependency vanishing gradient)에 의한 성능 하락을 방지할 수 있도록 LSTM(long short-term memory)이 적용될 수 있다. 또한, 본 개시의 일 실시예에서 예측 모델의 최적화 기법으로 확률적 경사하강법(SGD), 모멘텀(Momentum), Adam, AdaGrad, RMSprop 등을 사용할 수 있다. 또한, 학습 데이터 D를 한 번만 학습할 수도 있으면 여러 번 반복적인 에폭(epoch)을 통하여 오차함수를 최소화시킨 파라미터들을 구할 수도 있으며, 충분한 최적화가 이루어졌는지 검사한 후에 학습 단계를 마칠지 여부를 결정할 수 있다.In addition, in an embodiment of the present disclosure, long short-term memory (LSTM) may be applied to prevent performance degradation due to a long-range dependency vanishing gradient that may occur as the length of an event increases. . In addition, in an embodiment of the present disclosure, stochastic gradient descent (SGD), momentum, Adam, AdaGrad, RMSprop, and the like may be used as a predictive model optimization technique. In addition, if the training data D can be learned only once, parameters that minimize the error function can be obtained through repeated epochs several times. have.
RNN은 일반적인 피드포워드 신경망과 달리 히든 레이어의 출력이 다시 같은 히든 레이어의 입력이 될 수 있다. RNN은 현재 입력된 입력 데이터와 과거에 입력 받았던 데이터를 동시에 고려하여 연산하며, 피드백 구조를 가짐으로써 기억 능력을 가지는 신경망이다. 따라서, RNN은 데이터에서 이전 데이터의 의미에 따라 현재 데이터를 해석할 수 있도록 훈련될 수 있다. RNN 중 하나인 LSTM은 장기 기억 네트워크(long short term memory network)라고도 불리며 장기 의존성을 학습할 수 있다. 본 개시의 일 실시예에서 예측 모델은 RNN 중 하나인 LSTM 뿐 아니라, 심 게이트 순환 신경망(depth gated RNN), 시계 장치 순환 신경망(clockwork RNN) 등과 같이 데이터를 처리할 수 있는 임의의 신경망을 통해 모델링(또는 구축)될 수 있다.Unlike general feedforward neural networks, RNNs can output the hidden layer as an input to the same hidden layer. The RNN is a neural network that has a memory capability by considering the current input data and the data received in the past at the same time and having a feedback structure. Thus, the RNN can be trained to interpret the current data according to the meaning of the previous data in the data. LSTM, one of RNNs, also called long short term memory network, can learn long-term dependencies. In an embodiment of the present disclosure, the prediction model is modeled through an arbitrary neural network capable of processing data, such as a depth gated RNN, a clockwork RNN, etc. as well as an LSTM, which is one of the RNNs. It can be (or built).
도 8a는 도 6에 도시된 프로세서의 밝기값 결정 동작을 설명하기 위한 일 예를 나타낸다.FIG. 8A shows an example for explaining an operation of determining a brightness value of the processor shown in FIG. 6 .
프로세서(530)는 의료 이미지의 심장 영역의 밝기값을 결정할 수 있다.The
예를 들어, 프로세서(530) 의료 이미지의 전체 영역 중에서 심장 영역에 대응하지 않는 영역, 및 심장 영역 중에서 어느 하나의 영역을 관심 영역(Region of Interest; ROI)으로 결정할 수 있다(S633a-1). 이때, 심장 영역에 대응하지 않는 영역은 전체 영역 중에서 심장을 제외한 장기(예를 들어, 폐, 기도, 기관지 등) 및 골절편(예를 들어, 갈비뼈)에 대응하는 영역일 수 있다.For example, the
프로세서(530)는 관심 영역에 기초하여 의료 이미지를 전처리함으로써, 의료 이미지에서 심장 영역에 대응하는 심장 엑스선 이미지를 추출할 수 있다(S633a-2). 다시 말하자면, 전처리된 의료 이미지인 심장 엑스선 이미지는 의료 이미지의 심장 영역만으로 가공된 엑스선 이미지일 수 있다.The
관심 영역이 심장 영역인 경우, 프로세서(530)는 의료 이미지에서 심장 영역에 대응하는 이미지를 추출할 수 있다. 프로세서(530)는 추출된 이미지를 심장 엑스선 이미지로 결정할 수 있다.When the region of interest is the heart region, the
관심 영역이 심장 영역에 대응하지 않는 영역인 경우, 프로세서(530)는 의료 이미지에서 심장 영역에 대응하지 않는 영역에 대응하는 이미지를 제거할 수 있다. 이때, 프로세서(530)는 심장 영역에 대응하지 않는 영역을 한번에 모두 제거할 수 있지만, 이에 한정되지 않는다. 예를 들어, 프로세서(530)는 전체 영역 중에서 심장 영역을 제외한 장기(예를 들어, 폐, 기도, 기관지 등) 및 골절편(예를 들어, 갈비뼈) 영역을 각각 관심 영역으로 설정하고, 이를 순차적으로 추출하여 제거할 수 있다. 프로세서(530)는 의료 이미지에서 심장 영역에 대응하지 않는 영역이 제외된 이미지를 심장 엑스선 이미지로 결정할 수 있다.When the region of interest is a region that does not correspond to the cardiac region, the
프로세서(530)는 심장 엑스선 이미지의 밝기값을 심장 영역의 밝기값으로 결정할 수 있다(S633a-3). 예를 들어, 프로세서(530)는 심장 엑스선 이미지에 포함된 픽셀들 각각의 밝기값을 획득하여 획득된 밝기값들의 평균값을 심장 영역의 밝기값으로 결정할 수 있다. 다시 말하자면, 심장 영역의 밝기값은 심장 엑스선 이미지에 포함된 픽셀들에 대한 평균 밝기값일 수 있다.The
도 8b는 도 6에 도시된 프로세서의 밝기값 결정 동작을 설명하기 위한 다른 예를 나타낸다.FIG. 8B shows another example for explaining an operation of determining a brightness value of the processor shown in FIG. 6 .
프로세서(530)는 관상 동맥 영역의 밝기값을 결정할 수 있다. 이때, 프로세서(530)는 도 8a에 설명한 바와 같이 S633a-1 및 S633a-2 단계를 수행한 뒤, S633a-3 단계를 수행하지 않고, 관상 동맥 영역의 밝기값을 결정하는 동작을 수행할 수 있다.The
예를 들어, 프로세서(530)는 심장 영역 중에서 관상 동맥 영역에 대응하지 않는 영역, 및 관상 동맥 영역 중에서 어느 하나의 영역을 관심 영역으로 재결정할 수 있다(S633a-4). 이때, 관상 동맥 영역에 대응하지 않는 영역은 심장 영역 중에서 관상 동맥을 제외한 심장 부위에 대응하는 영역일 수 있다.For example, the
프로세서(530)는 재결정된 관심 영역에 기초하여 심장 엑스선 이미지를 전처리함으로써, 심장 엑스선 이미지에서 관상 동맥 영역에 대응하는 관상 동맥 엑스선 이미지를 추출할 수 있다(S633a-5). 다시 말하자면, 전처리된 심장 엑스선 이미지인 관상 동맥 엑스선 이미지는 심장 엑스선 이미지의 관상 동맥 영역만으로 가공된 엑스선 이미지일 수 있다.The
관심 영역이 관상 동맥 영역인 경우, 프로세서(530)는 심장 엑스선 이미지에서 관상 동맥 영역에 대응하는 이미지를 추출할 수 있다. 프로세서(530)는 추출된 이미지를 관상 동맥 엑스선 이미지로 결정할 수 있다.When the region of interest is the coronary region, the
관심 영역이 관상 동맥 영역에 대응하지 않는 영역인 경우, 프로세서(530)는 심장 엑스선 이미지에서 관상 동맥 영역에 대응하지 않는 영역에 대응하는 이미지를 제거할 수 있다. 이때, 프로세서(530)는 관상 동맥 영역에 대응하지 않는 영역을 한번에 모두 제거할 수 있지만, 이에 한정되지 않는다. 예를 들어, 프로세서(530)는 심장 영역 중에서 관상 동맥 영역에 대응하지 않는 영역들을 각각 관심 영역으로 설정하고, 이를 순차적으로 추출하여 제거할 수 있다. 프로세서(530)는 심장 엑스선 이미지에서 관상 동맥 영역에 대응하지 않는 영역이 제외된 이미지를 관상 동맥 엑스선 이미지로 결정할 수 있다.When the ROI is a region that does not correspond to the coronary region, the
프로세서(530)는 관상 동맥 엑스선 이미지의 밝기값을 관상 동맥 영역의 밝기값으로 결정할 수 있다(S633a-6). 예를 들어, 프로세서(530)는 관상 동맥 엑스선 이미지에 포함된 픽셀들 각각의 밝기값을 획득하여 획득된 밝기값들의 평균값을 관상 동맥 영역의 밝기값으로 결정할 수 있다. 다시 말하자면, 관상 동맥 영역의 밝기값은 관상 동맥 엑스선 이미지에 포함된 픽셀들에 대한 평균 밝기값일 수 있다.The
도 8a 및 도 8b에서 설명한 바와 같이 프로세서(530)가 전처리 과정을 수행하지만, 이에 한정되지 않는다. 예를 들어, 정보 제공 장치(100)는 프로세서(530)의 전치라 과정을 수행하여 의료 이미지, 심장 엑스선 이미지 및 관상 동맥 엑스선 이미지 중에서 적어도 하나의 이미지를 프로세서(530)에 제공할 수 있다.As described with reference to FIGS. 8A and 8B , the
도 9는 본 개시의 일 실시예를 통해 프로세서의 질환 예측 동작을 설명하기 위한 일 예를 나타낸다.9 shows an example for explaining a disease prediction operation of a processor through an embodiment of the present disclosure.
프로세서(530)는 타겟 객체에 대한 타겟 의료 이미지 및 타겟 심전도 데이터를 학습된 예측 모델에 입력하여 타겟 객체의 질환을 예측(또는 진단)할 수 있다. 이때, 학습된 예측 모델은 질환 예측 모델일 수 있다.The
프로세서(530)는 타겟 객체에 대한 타겟 의료 이미지를 획득할 수 있다(S910). 이때, 타겟 의료 이미지는 타겟 객체의 흉부에 대한 흉부 엑스선 이미지로 타겟 의료 이미지의 촬영 시점에 타겟 객체의 흉부를 촬영하여 생성한 흉부 엑스선 이미지일 수 있다. 타겟 의료 이미지의 촬영 시점은 타겟 의료 이미지를 생성하기 위해서 타겟 객체의 흉부를 촬영한 시점일 수 있다.The
프로세서(830)는 타겟 의료 이미지의 촬영 시점과 동일하거나 유사한 시점에 측정된 타겟 객체에 대한 타겟 심전도 데이터를 획득할 수 있다(S930). 이때, 타겟 심전도 데이터는 타겟 의료 이미지의 촬영 시점과 동일한 날짜에 복수의 심전도 유도 방식들 중에서 적어도 하나의 심전도 유도 방식을 통해 타겟 객체로부터 측정된 심전도 데이터일 수 있다.The processor 830 may acquire target ECG data for the target object measured at the same or similar time point as the target medical image capturing time (S930). In this case, the target ECG data may be ECG data measured from the target object through at least one ECG induction method among a plurality of ECG induction methods on the same date as when the target medical image is captured.
프로세서(830)는 타겟 의료 이미지 및 타겟 심전도 데이터를 질환 예측 모델에 입력하여(S950) 타겟 객체의 질환을 예측할 수 있다(S970). 이때, 타겟 객체의 질환은 학습된 예측 모델이 타겟 의료 이미지로부터 추정한 질환일 수 있다.The processor 830 may predict the disease of the target object by inputting the target medical image and the target electrocardiogram data into the disease prediction model (S950) (S970). In this case, the disease of the target object may be a disease estimated by the learned prediction model from the target medical image.
예를 들어, 프로세서(530)는 타겟 의료 이미지 및 타겟 심전도 데이터가 입력된 예측 모델을 통해 타겟 의료 이미지의 촬영 시점과 동일하거나 유사한 시점에 타겟 객체가 질환(또는 심혈관 질환)을 보유했는지 여부, 타겟 객체가 보유한 질환 및 동일하거나 유사한 시점 이후에 타겟 객체에 발병할 질환 중에서 적어도 하나를 예측할 수 있다.For example, the
구체적으로, 프로세서(530)는 타겟 의료 이미지를 전처리하여 타겟 의료 이미지의 심장 영역 및 관상 동맥 영역 중에서 적어도 하나의 영역을 추출할 수 있다.Specifically, the
프로세서(530)는 적어도 하나의 영역의 밝기값을 결정할 수 있다. 밝기값 결정 동작은 상술한 바와 동일할 수 있다.The
프로세서(530)는 타겟 의료 이미지, 적어도 하나의 밝기값 및 타겟 심전도 데이터를 학습된 예측 모델에 입력하여 타겟 객체의 질환을 예측(또는 결정)할 수 있다.The
상술한 바와 같이 프로세서(530)는 타겟 의료 이미지, 적어도 하나의 밝기값 및 타겟 심전도 데이터를 학습된 예측 모델에 입력하지만, 이에 한정되지 않는다. 예를 들어, 프로세서(530)는 타겟 의료 이미지 및 타겟 심전도 데이터를 학습된 예측 모델에 입력할 수 있다. 프로세서(530)는 학습된 예측 모델이 타겟 의료 이미지를 분석하여 적어도 하나의 밝기값을 결정하게 한 뒤, 적어도 하나의 밝기값에 기초하여 타겟 객체의 질환을 예측하게 할 수 있다.As described above, the
또한, 전술한 본 발명의 일 실시예에 질환을 예측하는 방법은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.In addition, the method for predicting a disease according to an embodiment of the present invention described above may be implemented as a program (or application) to be executed in combination with a computer, which is hardware, and stored in a medium.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다. The above-described program is C, C++, JAVA, machine language, etc. that a processor (CPU) of the computer can read through a device interface of the computer in order for the computer to read the program and execute the methods implemented as a program It may include code (Code) coded in the computer language of Such code may include functional code related to functions defining functions necessary for executing the methods, etc. can do. In addition, the code may further include additional information necessary for the processor of the computer to execute the functions or code related to memory reference for which location (address address) in the internal or external memory of the computer should be referenced. have. In addition, when the processor of the computer needs to communicate with any other computer or server located remotely in order to execute the functions, the code uses the communication module of the computer to determine how to communicate with any other computer or server remotely. It may further include a communication-related code for whether to communicate and what information or media to transmit and receive during communication.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버(10) 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium is not a medium that stores data for a short moment, such as a register, a cache, a memory, etc., but a medium that stores data semi-permanently and can be read by a device. Specifically, examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. That is, the program may be stored in various recording media on the
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.As mentioned above, although embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing its technical spirit or essential features. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
Claims (7)
복수의 객체들에 대한 심전도 데이터들 중에서 상기 촬영 시점 및 상기 식별 정보에 대응하는 적어도 하나의 심전도 데이터를 상기 객체에 대한 심전도 데이터로 획득하는 단계;
상기 복수의 객체들의 질환 정보들 중에서 상기 촬영 시점 및 상기 식별 정보에 대응하는 질환 정보를 상기 객체의 질환 정보로 획득하는 단계;
상기 의료 이미지, 상기 객체에 대한 심전도 데이터 및 상기 객체의 질환 정보를 매칭하여 학습 데이터 셋을 생성하는 단계; 및
상기 학습 데이터 셋에 기초하여 질환을 예측하는 예측 모델을 학습하는 단계;
를 포함하는,
질환 예측 방법.obtaining a medical image of an object, a photographing time of the medical image, and identification information of the object;
acquiring at least one electrocardiogram data corresponding to the photographing time point and the identification information from among electrocardiogram data for a plurality of objects as electrocardiogram data for the object;
acquiring disease information corresponding to the photographing time point and the identification information from among the disease information of the plurality of objects as disease information of the object;
generating a training data set by matching the medical image, electrocardiogram data of the object, and disease information of the object; and
learning a predictive model for predicting a disease based on the training data set;
containing,
Methods for predicting disease.
상기 의료 이미지는 상기 객체의 흉부에 대한 흉부 엑스선 이미지이고,
상기 촬영 시점은 상기 흉부 엑스선 이미지를 생성하기 위하여 상기 객체의 흉부를 촬영한 시간이고,
상기 적어도 하나의 심전도 데이터는 상기 촬영 시점과 동일하거나 유사한 시점에 상기 복수의 심전도 유도 방식들 중에서 적어도 하나의 심전도 유도 방식을 통해 상기 객체로부터 측정된 심전도 데이터이고,
상기 객체의 질환 정보는 상기 촬영 시점과 동일하거나 유사한 시점에 수행된 건강 검진에 기초하여 진단된 질환에 대한 정보이고,
상기 객체의 질환 정보는 상기 건강 검진에 기초하여 상기 객체가 보유하거나 상기 객체에 발병될 질환에 대한 정보를 포함하고,
상기 질환은 심혈관 질환인,
질환 예측 방법.According to claim 1,
The medical image is a chest X-ray image of the chest of the object,
The photographing time is a time when the chest of the object is photographed to generate the chest X-ray image,
The at least one electrocardiogram data is electrocardiogram data measured from the object through at least one electrocardiogram induction method among the plurality of electrocardiogram induction methods at the same or similar time point as the photographing time,
The disease information of the object is information on a disease diagnosed based on a medical examination performed at the same or similar time point as the photographing time,
The disease information of the object includes information about a disease that the object possesses or is to be developed in the object based on the health checkup,
The disease is a cardiovascular disease,
Methods for predicting disease.
상기 생성하는 단계는:
상기 의료 이미지의 전체 영역 중에서 상기 객체의 심장에 대응하는 심장 영역의 밝기값, 및 상기 심장 영역 중에서 상기 심장의 관상 동맥에 대응하는 관상 동맥 영역의 밝기값 중에서 어느 하나의 밝기값을 상기 의료 이미지의 특징값으로 결정하는 단계; 및
상기 의료 이미지, 상기 특징값, 상기 객체에 대한 심전도 데이터 및 상기 객체의 질환 정보를 매칭하여 상기 학습 데이터 셋을 생성하는 단계;
를 포함하는,
질환 예측 방법.3. The method of claim 2,
The generating step is:
Any one of the brightness values of the heart region corresponding to the heart of the object among the entire region of the medical image and the brightness value of the coronary artery region corresponding to the coronary artery of the heart among the heart regions is selected from the medical image. determining the feature value; and
generating the learning data set by matching the medical image, the feature value, the electrocardiogram data of the object, and the disease information of the object;
containing,
Methods for predicting disease.
상기 결정하는 단계는:
상기 전체 영역 중에서 상기 심장 영역에 대응하지 않는 영역, 및 상기 심장 영역 중에서 어느 하나의 영역을 관심 영역으로 결정하는 단계;
상기 관심 영역에 기초하여 상기 엑스선 이미지를 전처리함으로써, 상기 엑스선 이미지에서 상기 심장 영역에 대응하는 심장 엑스선 이미지를 추출하는 단계; 및
상기 심장 엑스선 이미지의 밝기값을 상기 심장 영역의 밝기값으로 결정하는 단계;
를 포함하는,
질환 예측 방법.4. The method of claim 3,
The determining step is:
determining any one of a region that does not correspond to the cardiac region and a region of the cardiac region among the entire region as a region of interest;
extracting a cardiac X-ray image corresponding to the heart region from the X-ray image by pre-processing the X-ray image based on the region of interest; and
determining a brightness value of the cardiac X-ray image as a brightness value of the heart region;
containing,
Methods for predicting disease.
상기 어느 하나의 밝기값을 상기 엑스선 이미지의 특징값으로 결정하는 단계는:
상기 심장 영역 중에서 상기 관상 동맥 영역에 대응하지 않는 영역, 및 상기 관상 동맥 영역 중에서 어느 하나의 영역을 상기 관심 영역으로 재결정하는 단계;
상기 재결정된 관심 영역에 기초하여 상기 심장 엑스선 이미지를 전처리함으로써, 상기 관상 동맥 영역에 대응하는 관상 동맥 엑스선 이미지를 추출하는 단계; 및
상기 관상 동맥 엑스선 이미지의 밝기값을 상기 관상 동맥 영역의 밝기값으로 결정하는 단계;
를 포함하는,
질환 예측 방법.5. The method of claim 4,
The step of determining the one brightness value as a feature value of the X-ray image includes:
recrystallizing any one of a region that does not correspond to the coronary artery region and a region of the coronary artery region among the heart region as the region of interest;
extracting a coronary X-ray image corresponding to the coronary artery area by pre-processing the cardiac X-ray image based on the recrystallized area of interest; and
determining a brightness value of the coronary X-ray image as a brightness value of the coronary artery region;
containing,
Methods for predicting disease.
상기 타겟 객체에 대한 타겟 의료 이미지 및 타겟 심전도 데이터를 학습된 예측 모델에 입력하여 상기 타겟 객체의 질환을 예측하는 단계;
를 더 포함하고,
상기 예측하는 단계는:
상기 타겟 의료 이미지 및 상기 타겟 심전도 데이터가 입력된 예측 모델을 통해 상기 타겟 의료 이미지의 촬영 시점과 동일하거나 유사한 시점에 상기 타겟 객체가 질환을 보유했는지 여부, 상기 타겟 객체가 보유한 질환 및 상기 동일하거나 유사한 시점 이후에 상기 타겟 객체에 발병할 질환 중에서 적어도 하나를 예측하는 단계;
를 포함하는,
질환 예측 방법.3. The method of claim 2,
predicting a disease of the target object by inputting a target medical image and target electrocardiogram data of the target object into a learned prediction model;
further comprising,
The predicting step is:
Whether the target object has a disease at the same or similar time point when the target medical image is captured through a predictive model to which the target medical image and the target electrocardiogram data are inputted, the disease possessed by the target object, and the same or similar predicting at least one of diseases that will occur in the target object after a time point;
containing,
Methods for predicting disease.
상기 타겟 의료 이미지는 상기 타겟 객체의 흉부에 대한 흉부 엑스선 이미지이고,
상기 타겟 의료 이미지의 촬영 시점은 상기 타겟 의료 이미지를 생성하기 위해서 상기 타겟 객체의 흉부를 촬영한 시점이고,
상기 타겟 심전도 데이터는 상기 타겟 의료 이미지의 촬영 시점과 동일하거나 유사한 시점에 복수의 심전도 유도 방식들 중에서 적어도 하나의 심전도 유도 방식을 통해 상기 타겟 객체로부터 측정된 심전도 데이터인,
질환 예측 방법.7. The method of claim 6,
The target medical image is a chest X-ray image of the chest of the target object,
The imaging time of the target medical image is the timing of photographing the chest of the target object in order to generate the target medical image,
The target electrocardiogram data is electrocardiogram data measured from the target object through at least one electrocardiogram induction method among a plurality of electrocardiogram induction methods at the same or similar time point as when the target medical image is taken,
Methods for predicting disease.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20200015339 | 2020-02-10 | ||
| KR1020200015339 | 2020-02-10 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210102102A true KR20210102102A (en) | 2021-08-19 |
Family
ID=77291571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210019197A KR20210102102A (en) | 2020-02-10 | 2021-02-10 | Method for predicting disease and apparatus for performing the same |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20210102102A (en) |
| WO (1) | WO2021162488A2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023239150A1 (en) * | 2022-06-07 | 2023-12-14 | 서울대학교병원 | Functional analysis device and method |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105474219B (en) * | 2013-08-28 | 2019-10-18 | 西门子公司 | System and method for estimating physiology cardiac measurement according to medical image and clinical data |
| US9547894B2 (en) * | 2013-10-08 | 2017-01-17 | Toshiba Medical Systems Corporation | Apparatus for, and method of, processing volumetric medical image data |
| US9700219B2 (en) * | 2013-10-17 | 2017-07-11 | Siemens Healthcare Gmbh | Method and system for machine learning based assessment of fractional flow reserve |
| US10282588B2 (en) * | 2016-06-09 | 2019-05-07 | Siemens Healthcare Gmbh | Image-based tumor phenotyping with machine learning from synthetic data |
| KR102022667B1 (en) * | 2017-02-28 | 2019-09-18 | 삼성전자주식회사 | Method and apparatus for monitoring patient |
| KR101857624B1 (en) * | 2017-08-21 | 2018-05-14 | 동국대학교 산학협력단 | Medical diagnosis method applied clinical information and apparatus using the same |
| KR102100698B1 (en) * | 2019-05-29 | 2020-05-18 | (주)제이엘케이 | System for diagnosis auxiliary based on artificial intelligence using ensemble learning algorithm |
-
2021
- 2021-02-10 KR KR1020210019197A patent/KR20210102102A/en not_active Application Discontinuation
- 2021-02-10 WO PCT/KR2021/001846 patent/WO2021162488A2/en active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023239150A1 (en) * | 2022-06-07 | 2023-12-14 | 서울대학교병원 | Functional analysis device and method |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021162488A3 (en) | 2021-09-30 |
| WO2021162488A2 (en) | 2021-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7262452B2 (en) | ECG-based Cardiac Ejection Fraction Screening | |
| JP7082332B2 (en) | Computerized localization of fibrillation sources | |
| CN110996785B (en) | Machine discrimination of anomalies in biological electromagnetic fields | |
| US20200211713A1 (en) | Method and system to characterize disease using parametric features of a volumetric object and machine learning | |
| KR102141617B1 (en) | Method, system and non-transitory computer-readable recording medium for estimating arrhythmia by using artificial neural network | |
| US11903714B2 (en) | Systems, devices, software, and methods for diagnosis of cardiac ischemia and coronary artery disease | |
| US20210166812A1 (en) | Apparatus and methods for the management of patients in a medical setting | |
| US20210401349A1 (en) | Two-lead qt interval prediction | |
| KR20210102102A (en) | Method for predicting disease and apparatus for performing the same | |
| JP7394133B2 (en) | System and method for diagnosing cardiac ischemia and coronary artery disease | |
| JP2021112479A (en) | Electrocardiographic signal analyzer and electrocardiographic signal analysis program | |
| Sinha et al. | Predicting the presence of left ventricular hypertrophy using este’s criteria with support vector machine | |
| KR20230133230A (en) | Method, program and apparatus for contrasitive pre-training of neural network model based on electrocardiogram | |
| CN115337018A (en) | Electrocardiosignal classification method and system based on overall dynamic characteristics | |
| KR20210102098A (en) | Method for predicting coronary artery calcium score and disease | |
| RU2442529C1 (en) | Means of diagnosis the cardiovascular system | |
| Majee et al. | Moth-Flame Optimization-Based Deep Feature Selection for Cardiovascular Disease Detection Using ECG Signal | |
| Klinge et al. | Towards automatic pathology classification for a 24/7 ECG-based telemonitoring service | |
| John et al. | E-health biosensor platform for non-invasive health monitoring for the elderly in low resource setting | |
| Shcheglov et al. | The contemporary ways of introduction ECG technology: ML, telemetry and bioauthentification. | |
| Marc | Feasibility of monitoring congestive heart failure with seismocardiography: a literature review | |
| KR20240009349A (en) | Method, program and apparatus for providing visualization contents based on electrocardiogram interpreting | |
| Zhan et al. | Applications of Artificial Intelligence in Cardiac Electrophysiology and Clinical Diagnosis with Magnetic Resonance Imaging and Computational Modeling Techniques | |
| KR20240009348A (en) | Method, program and apparatus for providing visualization contents based on electrocardiogram interpreting | |
| Vashishth et al. | Enhancing biomedical signal processing with machine learning: A comprehensive review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application |