KR102043829B1 - Method, Device and Program for Estimating Time of Lesion Occurrence - Google Patents
Method, Device and Program for Estimating Time of Lesion Occurrence Download PDFInfo
- Publication number
- KR102043829B1 KR102043829B1 KR1020170168475A KR20170168475A KR102043829B1 KR 102043829 B1 KR102043829 B1 KR 102043829B1 KR 1020170168475 A KR1020170168475 A KR 1020170168475A KR 20170168475 A KR20170168475 A KR 20170168475A KR 102043829 B1 KR102043829 B1 KR 102043829B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- region
- lesion
- image data
- interest
- Prior art date
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 153
- 238000000034 method Methods 0.000 title claims abstract description 49
- 210000004556 brain Anatomy 0.000 claims abstract description 106
- 230000006870 function Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 239000007788 liquid Substances 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 27
- 208000026106 cerebrovascular disease Diseases 0.000 description 22
- 206010008118 cerebral infarction Diseases 0.000 description 19
- 238000012545 processing Methods 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 9
- 238000011282 treatment Methods 0.000 description 9
- 230000006378 damage Effects 0.000 description 7
- 210000004204 blood vessel Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 210000005013 brain tissue Anatomy 0.000 description 5
- 238000009792 diffusion process Methods 0.000 description 5
- 238000002610 neuroimaging Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 201000001320 Atherosclerosis Diseases 0.000 description 2
- 208000006011 Stroke Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002075 inversion recovery Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000000250 revascularization Effects 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 230000000451 tissue damage Effects 0.000 description 2
- 231100000827 tissue damage Toxicity 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 206010003658 Atrial Fibrillation Diseases 0.000 description 1
- 208000022540 Consciousness disease Diseases 0.000 description 1
- 208000005189 Embolism Diseases 0.000 description 1
- 206010061216 Infarction Diseases 0.000 description 1
- 206010060860 Neurological symptom Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 206010053648 Vascular occlusion Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 230000008344 brain blood flow Effects 0.000 description 1
- 230000009426 cardioembolic effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- CGIGDMFJXJATDK-UHFFFAOYSA-N indomethacin Chemical compound CC1=C(CC(O)=O)C2=CC(OC)=CC=C2N1C(=O)C1=CC=C(Cl)C=C1 CGIGDMFJXJATDK-UHFFFAOYSA-N 0.000 description 1
- 230000007574 infarction Effects 0.000 description 1
- 238000011221 initial treatment Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 208000021331 vascular occlusion disease Diseases 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G06K9/3233—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Psychiatry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법은, 대상자의 뇌 영상 데이터로부터 상기 대상자의 병변 위치에 대응하는 관심 영역을 선택하는 관심 영역 선택 단계, 상기 관심 영역과 대칭인 대칭 영역을 선택하는 대칭 영역 선택 단계, 상기 관심 영역과 상기 대칭 영역을 이용하여 상기 관심 영역의 복셀(voxel) 별 비대칭도 데이터를 산출하는 비대칭도 산출 단계, 상기 복셀 별 비대칭도 데이터로부터 입력 데이터를 획득한 후, 상기 병변의 발생 시점을 추정하기 위한 추정 모델에 입력하는 입력 단계 및 상기 추정 모델의 출력값을 기초로, 상기 병변의 발생 시점에 관한 정보를 출력하는 출력 단계를 포함한다. 이때 상기 추정 모델은, 복수 명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터와 병변 발생 시점의 상관관계를 표현하는 입출력함수이다. In a method for estimating lesion occurrence time according to an embodiment of the present invention, a region of interest selection step of selecting a region of interest corresponding to the position of the subject from the brain image data of the subject, selecting a symmetric region symmetrical with the region of interest Selecting a symmetry region, calculating asymmetry data for each voxel of the region of interest by using the region of interest and the symmetry region, obtaining input data from the asymmetry data for each voxel, and And an input step of inputting into an estimation model for estimating the time of occurrence of the lesion, and an output step of outputting information about the time of occurrence of the lesion, based on an output value of the estimation model. In this case, the estimation model is an input / output function expressing a correlation between learning input data obtained from brain image data of a plurality of data providers and a lesion occurrence time point.
Description
본 발명은 뇌경색 환자의 병변 발생 시점을 추정하는 방법, 장치 및 프로그램에 관한 것이다. The present invention relates to a method, apparatus and program for estimating the time of lesion development in a cerebral infarction patient.
뇌경색은 뇌의 혈관이 막혀 뇌의 일부 세포가 죽는 질병이다. 뇌경색은 뇌혈관의 동맥경화에 의한 혈관 폐색 및 심방세동(atrial fibrillation)에 의해 심장에서 발생하였다가 뇌로 이동한 혈전(cardioembolic clot)에 의해 뇌혈관이 막혀 발생한다. 뇌혈관이 막히면서 뇌 조직으로 가는 혈액의 공급이 차단되어 막힌 혈관에 의해 혈액을 공급받던 뇌 조직이 경색되어 의식장애나 신체 마비 등의 신경학적 증상이 나타난다. Cerebral infarction is a disease in which the blood vessels in the brain are blocked and some cells in the brain die. Cerebral infarction occurs due to vascular occlusion due to atherosclerosis of the cerebrovascular vessels and atrial fibrillation, which results in blockage of the cerebrovascular vessels by cardioembolic clots that migrate from the heart to the brain. As the blood vessels are blocked by the blood vessels of the brain, the blood supply to the brain is blocked, and the brain tissues supplied by the blocked blood vessels are infarcted, resulting in neurological symptoms such as consciousness disorder and physical paralysis.
뇌경색이 발병한 경우, 혈관을 조기에 재개통하여 뇌 조직이 완전히 경색에 빠지기 전에 뇌 혈류를 회복시키는 방식의 치료가 수행된다. 이때 막힌 혈관을 얼마나 빨리 뚫어주느냐가 뇌경색 예후에 가장 큰 영향을 미치는 요소이다. 뇌경색에 의한 후유증을 최소화하기 위한 발병 후 최초 치료까지의 시간(골든 타임)은 약 4.5-6시간 정도로 알려져 있으며 증상 발생 후 혈관 재개통의 시간이 빠를수록 신경학적 증상 회복의 확률이 증가하여, 빠른 진단과 치료가 요구된다. 그러나, 초급성 뇌경색 환자의 20-30%는 정확한 뇌경색의 발생 시점을 알지 못하여 혈관재개통 치료에서 배제되어 왔다. In the case of cerebral infarction, treatment is performed in which blood vessels are reopened early to restore brain blood flow before brain tissue is completely infarcted. At this time, how fast the blocked blood vessels are the most influential factor in the prognosis of cerebral infarction. The time to initial treatment (Golden time) is about 4.5-6 hours after the onset to minimize the sequelae caused by cerebral infarction. Diagnosis and treatment are required. However, 20-30% of patients with acute cerebral infarction have been excluded from vascular revascularization treatment because they do not know the exact time of onset of infarction.
본 발명은 뇌 영상 데이터를 이용해 객관적으로 정량적인 방식으로 뇌경색 환자의 병변 발생 시점을 추정하는 방법, 장치 및 프로그램을 제공하는 것을 목적으로 한다. 그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.It is an object of the present invention to provide a method, apparatus and program for estimating the time of lesion occurrence in a cerebral infarction patient in an objective and quantitative manner using brain image data. However, these problems are exemplary, and the scope of the present invention is not limited thereby.
본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법은, 대상자의 뇌 영상 데이터로부터 상기 대상자의 병변 위치에 대응하는 관심 영역을 선택하는 관심 영역 선택 단계; 상기 관심 영역과 대칭인 대칭 영역을 선택하는 대칭 영역 선택 단계; 상기 관심 영역과 상기 대칭 영역을 이용하여 상기 관심 영역의 복셀(voxel) 별 비대칭도 데이터를 산출하는 비대칭도 산출 단계; 상기 복셀 별 비대칭도 데이터로부터 입력 데이터를 획득한 후, 상기 병변의 발생 시점을 추정하기 위한 추정 모델에 입력하는 입력 단계; 및 상기 추정 모델의 출력값을 기초로, 상기 병변의 발생 시점에 관한 정보를 출력하는 출력 단계;를 포함한다. 이때 상기 추정 모델은, 복수 명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터와 병변 발생 시점의 상관관계를 표현하는 입출력함수이다. In accordance with an aspect of the present invention, a method for estimating a lesion occurrence time point includes: selecting a region of interest from a brain image data of a subject to select a region of interest corresponding to a position of the subject; A symmetric region selection step of selecting a symmetric region symmetrical with the region of interest; Calculating asymmetry data for each voxel of the region of interest by using the region of interest and the symmetry region; An input step of acquiring input data from the asymmetry data for each voxel and inputting it into an estimation model for estimating the occurrence time of the lesion; And an output step of outputting information on a time point of occurrence of the lesion, based on an output value of the estimation model. In this case, the estimation model is an input / output function expressing a correlation between learning input data obtained from brain image data of a plurality of data providers and a lesion occurrence time point.
일 실시예에 따르면, 상기 추정 모델은, 상기 병변의 발생 시점이 상기 뇌 영상 데이터를 기정 시점 이전 또는 이후일 확률을 출력하는 입출력함수일 수 있다. According to an embodiment, the estimation model may be an input / output function that outputs a probability that the time of occurrence of the lesion is before or after the predetermined time of the brain image data.
본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법은, 상기 관심 영역 선택 단계 전에, 상기 추정 모델을 트레이닝하는 단계를 더 포함할 수 있다. The method for estimating lesion occurrence time according to an embodiment of the present invention may further include training the estimation model before the selecting the ROI.
일 실시예에 따르면, 상기 관심 영역 선택 단계는, 상기 대상자의 제1 뇌 영상 데이터 및 제2 뇌 영상 데이터를 획득하는 데이터 획득 단계; 상기 제1 뇌 영상 데이터 및 상기 제2 뇌 영상 데이터를 정합하는 단계; 상기 제1 뇌 영상 데이터에서, 상기 대상자의 병변이 위치하는 것으로 추정되는 병변 영역을 선택하는 단계; 및 상기 제2 뇌 영상 데이터에서, 상기 병변 영역에 정합하는 영역을 관심 영역으로 선택하는 단계;를 포함할 수 있다. According to an embodiment, the ROI selection step may include: a data acquisition step of acquiring first brain image data and second brain image data of the subject; Registering the first brain image data and the second brain image data; Selecting, from the first brain image data, a lesion area in which the lesion of the subject is estimated to be located; And selecting a region matching the lesion region as the region of interest from the second brain image data.
일 실시예에 따르면, 상기 데이터 획득 단계는, 확산강조영상(DWI) 데이터로부터 상기 제1 뇌 영상 데이터를 획득하는 단계; 액체감쇠역전회복영상(FLAIR) 데이터로부터 상기 제2 뇌 영상 데이터를 획득하는 단계;를 포함할 수 있다. According to an embodiment, the data acquiring step may include: acquiring the first brain image data from DWI data; And acquiring the second brain image data from liquid attenuation reverse recovery image (FLAIR) data.
본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법은, 상기 대칭 영역 선택 단계 전에 수행되고, 상기 뇌 영상 데이터의 대칭선을 산출하는 단계를 더 포함할 수 있다. The method for estimating lesion occurrence time according to an embodiment of the present invention may be performed before the step of selecting the symmetry region, and may further include calculating a line of symmetry of the brain image data.
일 실시예에 따르면, 상기 비대칭도 산출 단계는, 상기 관심 영역의 각 복셀의 신호 크기와 상기 대칭 영역의 전체 복셀 신호의 평균값의 차이를 계산하는 단계를 포함할 수 있다. According to an embodiment, the calculating of the asymmetry may include calculating a difference between a signal magnitude of each voxel of the ROI and an average value of all voxel signals of the symmetrical area.
일 실시예에 따르면, 상기 비대칭도 산출 단계는, 상기 관심 영역의 크기가 기정 크기 이하인 경우, 상기 대칭 영역보다 크기가 큰 확장 영역을 선택하는 단계; 및 상기 관심 영역의 각 복셀의 신호 크기와 상기 확장 영역의 전체 복셀 신호의 평균값의 차이를 계산하는 단계를 포함할 수 있다. According to an embodiment, the calculating of the asymmetry may include selecting an extended area having a larger size than the symmetric area when the size of the ROI is equal to or smaller than a predetermined size; And calculating a difference between a signal magnitude of each voxel of the region of interest and an average value of all voxel signals of the extended region.
본 발명의 일 실시예에 따른 병변 발생 시점 추정 장치는, 대상자의 뇌 영상 데이터로부터 상기 대상자의 병변 위치에 대응하는 관심 영역을 선택하고, 상기 관심 영역에 대칭인 대칭 영역을 선택하고, 상기 관심 영역과 상기 대칭 영역을 이용하여 상기 관심 영역의 복셀 별 비대칭도 데이터를 산출하고, 상기 복셀 별 비대칭도 데이터로부터 상기 복셀 별 비대칭도 데이터로부터 입력 데이터를 획득한 후, 상기 병변의 발생 시점을 추정하기 위한 추정 모델에 입력하는 제어부; 및 상기 추정 모델의 출력값을 기초로, 상기 병변의 발생 시점에 관한 정보를 출력하는 출력부;를 포함한다. 이때 상기 추정 모델은, 복수 명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터와 병변 발생 시점의 상관관계를 표현하는 입출력함수이다. The apparatus for estimating lesion occurrence time according to an embodiment of the present invention selects a region of interest corresponding to the position of the subject from the brain image data of the subject, selects a symmetric region symmetric to the region of interest, and selects the region of interest And calculating the asymmetry data for each voxel of the ROI using the symmetric region, obtaining input data from the asymmetry data for the voxel from the asymmetry data for the voxel, and then estimating the timing of occurrence of the lesion. A control unit inputting the estimation model; And an output unit configured to output information about a time point of occurrence of the lesion, based on an output value of the estimation model. In this case, the estimation model is an input / output function expressing a correlation between learning input data obtained from brain image data of a plurality of data providers and a lesion occurrence time point.
본 발명의 일 실시예는 상술한 병변 발생 시점 추정 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램을 개시한다. An embodiment of the present invention discloses a computer program stored in a medium for executing the above-described method for estimating lesion occurrence time.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다. Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.
본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법, 장치, 프로그램에 의하면, 객관적으로 정량적인 방식으로 병변 발생 시점을 추정할 수 있어 정성적인 방법으로 병변 발생 시점을 추정할 때 관찰자 내 차이 및 관찰자 간 차이(intra- & inter-observer variability)가 높은 문제를 해결할 수 있다. 또한, 병변 발생 시점을 수 분 내로 빠르게 파악할 수 있어, 대상자의 치료 방안을 신속하게 결정하는 데 도움을 줄 수 있다. 이를 통해 뇌경색 등 비가역적으로 뇌에 손상을 줄 수 있는 뇌혈관 폐색 증상을 신속하게 치료할 수 있어 치료 효과를 높일 수 있다. According to the method, apparatus, or program for estimating lesion occurrence time according to an embodiment of the present invention, it is possible to estimate the lesion occurrence time in an objective and quantitative manner, so that the difference between the observer and the observer when estimating the lesion occurrence time in a qualitative manner. The problem of high intra- and inter-observer variability can be solved. In addition, the onset of lesions can be quickly identified within minutes, which can help to quickly determine treatment options for the subject. Through this, it is possible to rapidly treat cerebrovascular occlusion, which can irreversibly damage the brain, such as cerebral infarction, thereby increasing the therapeutic effect.
한편, 본 발명의 일 실시예에서는 '복셀 별' 비대칭도 데이터를 통해 병변의 불균질성(heterogeneity) 정보를 획득하여, 상기 불균질성 정보를 추정 모델의 학습에 반영하므로, 병변 발생 시점 추정의 정확도가 향상된다. Meanwhile, in one embodiment of the present invention, the heterogeneity information of the lesion is obtained through 'by voxel' asymmetry data, and the heterogeneity information is reflected in the learning of the estimation model, thereby improving the accuracy of the estimation of lesion occurrence time. .
본 발명의 일 실시예에서와 같이 MRI 자동 분석 기법을 바탕으로 환자의 뇌경색 발생 시점을 예측/판단하는 것은 뇌경색 환자의 치료에 중요한 정보를 제공하여 혈관재개통 치료를 받을 수 있는 환자의 수를 증대하여 뇌경색 이후 후유증의 중증도를 낮출 수 있다.Predicting / determining the incidence of cerebral infarction of a patient based on MRI automatic analysis technique as in one embodiment of the present invention provides important information for the treatment of cerebral infarction and increases the number of patients who can undergo vascular revascularization treatment. This can reduce the severity of sequelae after cerebral infarction.
도 1은 본 발명의 일 실시예에 따른 병변 발생 시점 추정 장치의 구성을 개략적으로 도시한 그림이다.
도 2는 본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법을 나타낸 흐름도이다.
도 3은 영상 정합 전후의 뇌 영상 데이터를 나타낸 그림이다.
도 4는 중앙 맞춤 전후의 뇌 영상 데이터를 나타낸 그림이다.
도 5는 제1 뇌 영상 데이터의 병변 영역(L)을 나타낸 그림이다.
도 6은 제1 뇌 영상 데이터의 병변 영역과 제2 뇌 영상 데이터의 관심 영역 및 대칭 영역을 나타낸 그림이다.
도 7은 일 실시예에 따른 비대칭도 산출 방법을 나타낸 그림이다.
도 8은 복셀 별 비대칭도를 시각화하여 나타낸 그림이다.
도 9는 입력 단계 및 출력 단계를 개략적으로 나타낸 개념도이다.
도 10은 rFLAIR의 구간별 복셀 개수 그래프이다.
도 11은 일 실시예에 따른 추정 모델의 인공신경망 구조를 예시한 그림이다.
도 12는 SIR(signal intensity ratio)를 이용하여 기계 학습시킨 추정 모델과 rFLAIR를 이용하여 기계 학습시킨 추정 모델의 ROC 그래프를 비교한 그림이다.
도 13은 일 실시예에 따른 제어부의 블록도이다.
도 14는 일 실시예에 따른 데이터 학습부의 블록도이다.
도 15는 일 실시예에 따른 데이터 인식부의 블록도이다.1 is a diagram schematically illustrating a configuration of an apparatus for estimating lesion occurrence time according to an embodiment of the present invention.
2 is a flowchart illustrating a method for estimating lesion occurrence time according to an embodiment of the present invention.
3 is a diagram illustrating brain image data before and after image registration.
4 is a diagram illustrating brain image data before and after centering.
5 is a diagram illustrating a lesion area L of the first brain image data.
6 is a diagram illustrating a lesion area of the first brain image data, an ROI of the second brain image data, and a symmetric area.
7 is a diagram illustrating a method of calculating asymmetry according to an embodiment.
8 is a diagram visualizing the asymmetry of each voxel.
9 is a conceptual diagram schematically illustrating an input step and an output step.
10 is a graph illustrating the number of voxels per section of rFLAIR.
11 is a diagram illustrating an artificial neural network structure of the estimation model in accordance with an embodiment.
12 is a diagram comparing ROC graphs of an estimation model machine trained using signal intensity ratio (SIR) and an estimation model machine trained using rFLAIR.
13 is a block diagram of a controller according to an exemplary embodiment.
14 is a block diagram of a data learner, according to an exemplary embodiment.
15 is a block diagram of a data recognizer according to an exemplary embodiment.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail. Effects and features of the present invention, and methods of achieving them will be apparent with reference to the embodiments described below in detail together with the drawings. However, the present invention is not limited to the embodiments disclosed below but may be implemented in various forms.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "메커니즘", "요소", "수단" 및 "구성" 등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented in various numbers of hardware and / or software configurations that perform particular functions. For example, the functional blocks of the present disclosure may be implemented by one or more microprocessors or by circuit configurations for a given function. In addition, for example, the functional blocks of the present disclosure may be implemented in various programming or scripting languages. The functional blocks may be implemented in algorithms running on one or more processors. In addition, the present disclosure may employ the prior art for electronic configuration, signal processing, and / or data processing. Terms such as "mechanism", "element", "means" and "configuration" may be used widely and are not limited to mechanical and physical configurations.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" with another part, this includes not only a "direct connection" but also an "electrical connection" between other elements in between. In addition, when a part is said to "include" a certain component, which means that it may further include other components, except to exclude other components unless otherwise stated.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.In addition, the connecting lines or connecting members between the components shown in the drawings are merely illustrative of functional connections and / or physical or circuit connections. In an actual device, the connections between components may be represented by various functional connections, physical connections, or circuit connections that are replaceable or added.
또한, 본 명세서에서 사용되는 "제1" 또는 "제2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.In addition, terms including ordinal numbers such as "first" or "second" as used herein may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
어떤 실시예가 달리 구현 가능한 경우에 특정한 단계는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 단계는 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 수행될 수도 있다.Where certain embodiments are otherwise implementable, certain steps may be performed out of the order described. For example, two steps described in succession may be performed substantially concurrently, or may be performed in a reverse order.
본 명세서에서 용어 "뇌 영상"은 직간접적인 방법을 통해 뇌의 내부 구조 및/또는 기능을 시각화한 영상을 의미하며, 자기공명영상, 전산화단층촬영(CT, Computed Tomography) 영상, 양전자단층촬영(PET, Positron Emission Tomography) 영상, 단일광자단층촬영(SPECT, Single Photon Emission Computed Tomography) 영상 등을 포함할 수 있다. As used herein, the term "brain image" refers to an image visualizing the internal structure and / or function of the brain by a direct or indirect method, magnetic resonance imaging, computed tomography (CT) imaging, positron emission tomography (PET) , Positron Emission Tomography (POS) images, Single Photon Emission Computed Tomography (SPECT) images, and the like.
본 명세서에서 용어 "자기공명영상(MRI, magnetic resonance image)"은 자기장을 사용하여 체내 구조물의 영상 또는 사진을 생성하는 진단 기술 및 이를 통해 얻은 영상을 의미한다. As used herein, the term “magnetic resonance image (MRI)” refers to a diagnostic technique for generating an image or a picture of an internal structure using a magnetic field and an image obtained through the magnetic resonance image.
본 명세서에서 용어 "복셀(voxel)"은 3차원 공간의 정규 격자 단위를 의미하며, 2차원 평면의 영상에서는 픽셀(pixel)을 의미할 수 있다. As used herein, the term “voxel” refers to a regular grid unit in a three-dimensional space, and may mean a pixel in an image of a two-dimensional plane.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 같거나 대응하는 구성 요소는 같은 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, and the same or corresponding components will be denoted by the same reference numerals, and redundant description thereof will be omitted. .
도 1은 본 발명의 일 실시예에 따른 병변 발생 시점 추정 장치(1000)의 구성을 개략적으로 도시한 그림이다.1 is a diagram schematically illustrating a configuration of an apparatus for estimating
도 1에 도시된 병변 발생 시점 추정 장치(1000)는 본 실시예의 특징이 흐려지는 것을 방지하기 위하여 본 실시예와 관련된 구성요소들만을 도시한 것이다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.The lesion occurrence
일 실시예에 따른 병변 발생 시점 추정 장치(1000)는 적어도 하나 이상의 프로세서(processor)에 해당하거나, 적어도 하나 이상의 프로세서를 포함할 수 있다. 이에 따라, 병변 발생 시점 추정 장치(1000)는 마이크로프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.The apparatus for estimating
일 실시예에 따른 병변 발생 시점 추정 장치(1000)는, 대상자의 뇌 영상 데이터를 수신받아 이를 가공하여 대상자의 뇌에 발생한 병변(lesion)의 발생 시점을 추정하여 출력하는 장치이다. 도 1을 참조하면, 병변 발생 시점 추정 장치(1000)는 제어부(1100)와 출력부(1200)를 포함한다.The apparatus for estimating
제어부(1100)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이처럼 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The
우선, 제어부(1100)는 대상자의 뇌 영상 데이터를 수신한다. 대상자는 뇌혈관의 동맥경화증에 의한 혈전 및 심장에서 유래된 색전으로 인해 뇌경색(stroke)이 발생한 환자일 수 있으나, 대상자가 이에 제한되는 것은 아니다. First, the
뇌 영상 데이터는 예컨대 자기공명영상(MRI, magnetic resonance image) 데이터를 포함할 수 있다. 자기공명영상 데이터는 확산 강조 영상(DWI, diffusion weighted image) 데이터, 액체감쇠역전회복(FLAIR, fluid attenuated inversion recovery) 영상 데이터, 자화율 강조 영상(SWI, susceptibility weighted image) 데이터, T1 강조(T1-weighted) 영상 데이터, T2 강조(T2-weighted) 영상 데이터를 포함할 수 있으나 자기공명영상 데이터의 종류가 이에 제한되는 것은 아니다. 병변 발생 시점 추정 장치(1000)는 외부의 자기공명영상 장치 또는 기 저장되어 있던 의료 데이터베이스(DB)에서 자기공명영상 데이터를 수신할 수 있으나 본 발명이 이에 제한되는 것은 아니다. Brain image data may include, for example, magnetic resonance image (MRI) data. Magnetic resonance imaging data include diffusion weighted image (DWI) data, fluid attenuated inversion recovery (FLAIR) image data, susceptibility weighted image (SWI) data, and T1-weighted ) May include image data, T2-weighted image data, but the type of magnetic resonance image data is not limited thereto. The lesion occurrence
제어부(1100)는 획득한 뇌 영상 데이터로부터, 병변 위치에 대응하는 관심 영역(ROI, region of interest, 도 6 참조)을 선택할 수 있다. 제어부(1100)는 영상 처리 기법을 통해 자동(auto)으로 또는 반자동(semi-auto)으로 관심 영역(ROI)을 선택할 수 있다. 예컨대 제어부(1100)는 뇌 영상 데이터의 신호 세기가 특정 값(threshold)보다 낮거나 높은 영역을 '병변'이 위치한 것으로 판단하여 자동으로 관심 영역(ROI)을 선택할 수 있다. 또는, 제어부(1100)는 사용자가 입력 또는 설정한 특정 값(threshold)보다 낮거나 높은 영역을 '병변'이 위치한 것으로 판단하여 반자동으로 관심 영역(ROI)을 선택할 수 있다.The
이후 제어부(1100)는 관심 영역(ROI)에 대칭인 대칭 영역(C_ROI, contralateral ROI, 도 6 참조)을 선택할 수 있다. 이때 '대칭'은 대상자를 좌우로 나누는 시상면(sagittal plane)을 기준으로 할 수 있다. 예를 들어, 관심 영역(ROI)이 대상자 뇌의 좌반구(left hemisphere)에 위치하는 경우, 대칭 영역(C_ROI)은 뇌의 우반구(right hemisphere)에 위치한다. 대칭의 기준이 되는 대칭면(symmetry plane) 또는 대칭선(SL, symmetry line, 도 4 참조)은 사용자가 직접(manually) 설정할 수도 있으나, 영상 처리 기법 등을 통해 자동(auto) 또는 반자동(semi-auto)으로 설정될 수도 있다. 예컨대 제어부(1100)가 대상자 뇌 영상의 대칭면 또는 대칭선(SL)을 산출한 후에, 사용자는 대칭면 또는 대칭선(SL)의 각도 및/또는 위치를 미세하게 조정하여 최종 대칭면 또는 대칭선(SL)을 설정할 수 있다. Thereafter, the
이후 제어부(1100)는 관심 영역(ROI)과 대칭 영역(C_ROI)을 이용하여 관심 영역(ROI)의 복셀 별 비대칭도 데이터를 산출할 수 있다. "비대칭도"는 뇌 조직 손상 정도 또는 병변의 진행 정도를 정량화한 지표를 의미할 수 있다. 비대칭도는 관심 영역(ROI) 각각의 복셀 별로 산출될 수 있다. 이때 복셀 별 비대칭도 데이터는 정상 영역인 대칭 영역(C_ROI)의 신호 세기 대비 관심 영역(ROI)의 신호 세기의 상대 비율 정보를 포함할 수 있다. 비대칭도는 예컨대 'rFLAIR'라는 지표를 통해 정량화될 수 있는데 이에 관해서는 도 6에 관련된 설명에서 후술한다. Thereafter, the
이후, 제어부(1100)는 복셀 별 비대칭도 데이터를 가공하여 입력 데이터를 획득한 후, 병변의 발생 시점을 추정하기 위한 추정 모델에 입력할 수 있다. 이때 '추정 모델'은 복수 명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터와 병변 발생 시점의 상관관계를 표현하는 입출력함수일 수 있다. Thereafter, the
일 실시예에 따른 추정 모델은 기계 학습(Machine Learning) 기법으로 생성된 것일 수 있다. 병변 발생 시점 추정 장치(1000)는 이와 같은 추정 모델을 트레이닝 및/또는 학습시키기 위해 다양한 기법들을 사용할 수 있다. 가령 병변 발생 시점 추정 장치(1000)는 복수 명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터를 분류하기 위해 Logistic regression, Decision tree, Nearest-neighbor classifier, Kernel discriminate analysis, Neural network, Support Vector Machine, Random forest, Boosted tree 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다. 다만 이는 예시적인 것으로 본 발명이 이에 제한되는 것은 아니다. The estimation model according to an embodiment may be generated by a machine learning technique. The lesion occurrence
일 실시예에 따른 추정 모델은, 벡터 형태로 표현될 수 있는 병변 발생 시점 추정 데이터에 학습용 입력 데이터를 매핑(mapping)하는 행렬 데이터 세트일 수 있다. 이때 추정 모델을 '트레이닝' 또는 '학습'시킨다는 것은, 학습용 입력 데이터를 추정 모델에 입력하였을 때 나온 출력값이 라벨링(labeling) 된 실제의 병변 발생 시점 데이터에 가까워지도록 오류 역전파(error back-propagation) 기법 등을 통해 상기 행렬 데이터 세트의 값을 조절하는 것을 의미할 수 있다.The estimation model according to an embodiment may be a matrix data set for mapping learning input data to lesion occurrence time estimation data that may be expressed in a vector form. 'Training' or 'learning' the estimation model means error back-propagation so that the output from inputting the training input data into the estimation model is closer to the actual point of occurrence data labeled. The technique may mean adjusting the value of the matrix data set.
일 실시예에 따르면, 추정 모델은 특정 대상자의 병변 발생 시점이 기정 시점 이전 또는 이후일 확률을 출력하는 입출력함수일 수 있다. 상기 기정 시점은 촬영을 통해 뇌 영상 데이터가 최초로 획득된 시점, 예컨대 자기공명영상 촬영 시점으로부터 4.5시간 전 또는 6시간 전일 수 있으나 본 발명이 이에 제한되는 것은 아니다. 즉 추정 모델은 병변 또는 뇌경색의 발병 시점(stroke onset time)으로부터 뇌 영상을 획득한 시점까지의 간격이 기정된 기간 이내인지 아닌지를 판단할 수 있다. 예컨대, 추정 모델은 대상자의 병변 발생 시점이 뇌 영상이 촬영된 시점으로부터 6시간 전일 확률을 계산할 수 있다. 이때, 추정 모델은 복셀 별 비대칭도 데이터와 병변 발생 시점의 상관관계를 학습하여 병변 발생 시점을 추정하는 모델일 수 있다.According to an embodiment, the estimation model may be an input / output function that outputs a probability that the lesion occurrence time of a specific subject is before or after the predetermined time point. The predetermined time point may be 4.5 hours or 6 hours before the brain image data is first obtained, for example, when the MR image is captured, but the present invention is not limited thereto. That is, the estimation model may determine whether the interval from the stroke onset time of the lesion or cerebral infarction to the point of time of acquiring the brain image is within a predetermined period. For example, the estimation model may calculate a probability that the lesion occurrence time of the subject is 6 hours before the time when the brain image was taken. In this case, the estimation model may be a model for estimating a lesion occurrence time by learning a correlation between voxel asymmetry data and a lesion occurrence time.
출력부(1200)는 병변 발생 시점 추정 장치(1000)에서 처리되는 정보를 표시 출력한다. 출력부(1200)는 병변 발생 시점 추정 결과 및 뇌 영상 데이터를 입력받기 위한 사용자 인터페이스 등을 디스플레이하는 디스플레이부를 포함할 수 있다. 사용자는 출력부(1200)에 나타난 병변 발생 시점 결과를 참고하여 대상자의 치료법을 결정할 수 있다. The
도 2는 본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법을 나타낸 흐름도이다. 일 실시예에 따른 병변 발생 시점 추정 방법은 관심 영역 선택 단계(S210), 대칭 영역 선택 단계(S220), 비대칭도 산출 단계(S230), 입력 단계(S240) 및 출력 단계(S250)를 포함한다. 2 is a flowchart illustrating a method for estimating lesion occurrence time according to an embodiment of the present invention. A method for estimating lesion occurrence time according to an embodiment includes a region of interest selection step S210, a symmetry region selection step S220, an asymmetry calculation step S230, an input step S240, and an output step S250.
도 2를 참조하면, 대상자의 뇌 영상 데이터에서 대상자의 병변 위치에 대응하는 관심 영역(ROI)을 선택하는 관심 영역 선택 단계(S210)가 수행된다. 상기 단계(S210)는 제어부(1100)에 의해 자동 또는 반자동으로 수행될 수 있다. 관심 영역 선택 단계(S210)는 정합(coregistration) 단계, 중앙 정렬 단계 등을 포함할 수 있는데 이에 관해서는 도 3 내지 도 6과 관련된 설명에서 후술하기로 한다. Referring to FIG. 2, a region of interest selection step S210 of selecting a region of interest ROI corresponding to a lesion location of a subject from brain image data of the subject is performed. The step S210 may be performed automatically or semi-automatically by the
이후, 관심 영역(ROI)에 대칭인 대칭 영역(C_ROI)을 선택하는 대칭 영역 선택 단계(S220)가 수행된다. 대칭 영역(C_ROI)을 선택하기 전에는 뇌 영상 데이터를 중앙 맞춤하는 단계가 수행될 수 있는데 이에 관해서는 도 5와 관련된 설명에서 후술하기로 한다.Thereafter, a symmetric region selection step S220 of selecting a symmetric region C_ROI symmetrical to the ROI is performed. Before selecting the symmetry region C_ROI, centering the brain image data may be performed, which will be described later with reference to FIG. 5.
이후, 비대칭도 산출 단계(S230)가 수행된다. 비대칭도 산출 단계(S230)에서는 관심 영역(ROI)과 대칭 영역(C_ROI)의 신호 세기 차이를 이용하여 관심 영역(ROI)에 포함된 복셀 각각의 비대칭도 데이터를 산출한다. Thereafter, asymmetry calculation step S230 is performed. In the asymmetry calculation step S230, asymmetry data of each of the voxels included in the ROI is calculated by using signal strength differences between the ROI and the symmetry region C_ROI.
이후, 복셀 별 비대칭도 데이터로부터 입력 데이터를 획득한 후, 추정 모델에 입력 데이터를 입력하는 입력 단계(S240)가 수행된다. 입력 데이터는 비대칭도에 따른 복셀의 개수 분포(distribution) 정보를 포함할 수 있는데, 이에 관해서는 도 10과 관련된 설명에서 후술하기로 한다. 입력 단계(S240)는 추정 모델에 입력할 입력 데이터를 선택, 생성 또는 전처리(pre-processing)하는 단계를 포함할 수 있다. Subsequently, after input data is obtained from asymmetry data for each voxel, an input step S240 of inputting input data into an estimation model is performed. The input data may include information on the number distribution of voxels according to asymmetry, which will be described later in the description of FIG. 10. The input step S240 may include selecting, generating, or pre-processing input data to be input to the estimation model.
한편, 추정 모델은 외부의 장치에서 학습/생성된 것일 수 있으나, 본 발명의 일 실시예에 따른 병변 발생 시점 추정 장치(1000)의 제어부(1100)에서 학습/생성된 것일 수도 있다. 추정 모델이 제어부(1100)에서 트레이닝 되는 경우에는, 특정 대상자의 병변 발생 시점을 추정하기 이전에 추정 모델을 트레이닝하는 단계를 수행하여야 한다. The estimation model may be learned / generated by an external device, or may be learned / generated by the
일 실시예에 따른 병변 발생 시점 추정 방법은, 관심 영역 선택 단계(S210) 이전에 추정 모델을 트레이닝하는 단계를 더 포함할 수 있다. 이때 추정 모델 트레이닝 단계는 복수 명의 데이터 제공자의 뇌 영상 데이터 및 병변 발생 시점 데이터로부터 학습용 데이터를 획득하는 단계 및 상기 학습용 데이터를 이용하여 추정 모델을 기계 학습시키는 단계를 포함할 수 있다.The method of estimating lesion occurrence time according to an embodiment may further include training the estimation model before the region of interest selection step S210. In this case, the estimating model training step may include acquiring training data from brain image data and lesion occurrence time data of a plurality of data providers, and machine learning the estimation model using the training data.
입력 단계(S240) 이후에는 추정 모델의 출력값을 기초로 병변의 발생 시점을 추정하여 출력하는 출력 단계(S250)가 수행된다. After the input step S240, an output step S250 of estimating and generating a lesion occurrence time based on an output value of the estimation model is performed.
즉, 본 발명의 일 실시예에 의한 병변 발생 시점 추정 방법에서는, 뇌 영상 데이터를 처리하여 얻은 복셀 별 비대칭도 데이터로부터 입력 데이터를 획득한 후, 이를 병변 발생 시점을 추정하도록 미리 학습/생성된 추정 모델에 입력하여 나온 값을 출력해 특정 대상자의 병변 발생 시점을 추정한다. That is, in the method for estimating lesion occurrence time according to an embodiment of the present invention, after obtaining input data from asymmetry data for each voxel obtained by processing brain image data, the pre-learned / generated estimation is performed to estimate the lesion occurrence time. Output the input values to the model to estimate the time of lesion occurrence in a particular subject.
이하, 도 3 내지 도 9를 참조하여 트레이닝 된 추정 모델을 이용해 특정 대상자의 병변 발생 시점을 추정하는 방법을 단계별로 상세히 설명한다. Hereinafter, a method of estimating a lesion occurrence time of a specific subject using a trained estimation model will be described in detail with reference to FIGS. 3 to 9.
도 3은 영상 정합 전후의 뇌 영상 데이터를 나타낸 그림이다. 3 is a diagram illustrating brain image data before and after image registration.
일 실시예에 따르면, 관심 영역 선택 단계(S210)는, 대상자의 제1 뇌 영상 데이터 및 제2 뇌 영상 데이터를 획득하는 데이터 획득 단계를 포함할 수 있다. 이때 데이터 획득 단계는, 확산강조영상(DWI) 데이터(이하, DWI 데이터)로부터 제1 뇌 영상 데이터를 획득하는 단계 및 액체감쇠역전회복영상(FLAIR) 데이터(이하, FLAIR 데이터)로부터 제2 뇌 영상 데이터를 획득하는 단계를 포함할 수 있다. According to an embodiment, the region of interest selection step S210 may include a data acquisition step of acquiring first brain image data and second brain image data of the subject. In this case, the data acquiring step may include acquiring first brain image data from DWI data (hereinafter referred to as DWI data) and second brain image from FLAM data (hereinafter referred to as FLAIR data). Obtaining data.
데이터 획득 단계에서는, 복수 종류의 뇌 영상 데이터가 획득될 수 있다. 예컨대 뇌 영상 데이터는 제1 뇌 영상 데이터 및 제2 뇌 영상 데이터를 포함할 수 있다. 일 실시예에 따르면 제1 뇌 영상 데이터는 DWI 데이터를 가공하여 얻은 ADC(Apparent Diffusion Coefficient) 영상 데이터일 수 있고, 제2 뇌 영상 데이터는 FLAIR 데이터를 처리하여 얻은 영상 데이터일 수 있다. In the data acquisition step, a plurality of types of brain image data may be acquired. For example, the brain image data may include first brain image data and second brain image data. According to an embodiment, the first brain image data may be ADC (Apparent Diffusion Coefficient) image data obtained by processing DWI data, and the second brain image data may be image data obtained by processing FLAIR data.
DWI 데이터는 조직 내 물 분자의 확산 속도를 측정하는 기법을 통해 얻은 영상 데이터로, 일반적으로 뇌혈관 폐색에 의한 병변을 발견할 수 있는 영상 처리 방식이다. 이때, 확산 속도는 경사 자장의 세기를 나타내는 b 값(b-value)에 의해 정해진다.DWI data is image data obtained by measuring the diffusion rate of water molecules in tissues. In general, DWI data is an image processing method for detecting lesions caused by cerebrovascular occlusion. At this time, the diffusion speed is determined by a b-value indicating the strength of the gradient magnetic field.
ADC 영상 데이터는 서로 다른 b 값을 가지는 DWI 영상의 신호 세기 변화를 나타낸다. 본 발명의 일 실시예에서는, 아래의 <수학식 1>과 같이 b=0, b=1000일 때의 DWI 영상의 신호 세기 차이를 이용하여 ADC 값을 산출하였으나 본 발명이 이에 제한되는 것은 아니다. The ADC image data represents a change in signal strength of DWI images having different b values. In an embodiment of the present invention, the ADC value is calculated using the signal strength difference of the DWI image when b = 0 and b = 1000 as shown in
<수학식 1><
한편, FLAIR 데이터는 뇌척수액의 신호를 억제하는 반전회복(inversion recovery) 기법을 통해 얻은 영상의 일종이다. FLAIR 데이터는 아급성 뇌경색 환자에서 높은 민감도를 보이며 뇌 조직 손상이 심할수록 신호 세기가 강해지는 특징을 가진다. On the other hand, FLAIR data is a kind of image obtained through the inversion recovery technique that suppresses the signal of the cerebrospinal fluid. FLAIR data show high sensitivity in patients with subacute cerebral infarction, and the more severe the brain tissue damage, the stronger the signal strength.
ADC 영상 데이터와 FLAIR 데이터는 각기 다른 기법을 통해 얻은 데이터이므로, 뇌경색 발병 후 시간에 따른 조직의 손상 정도가 다르게 나타날 수 있다. 본 발명의 일 실시예에서는 이러한 ADC 영상 데이터와 FLAIR 데이터의 차이를 이용하여 병변 발생 시점을 추정한다. Since ADC image data and FLAIR data are obtained through different techniques, the degree of damage to tissues may vary over time after cerebral infarction. In one embodiment of the present invention, the lesion occurrence time is estimated using the difference between the ADC image data and the FLAIR data.
그런데, ADC 영상 데이터와 FLAIR 데이터는 각각 다른 방식과 시점에서 촬영하여 얻은 데이터이므로 복셀의 크기 및 좌표상에서의 뇌의 위치가 다를 수 있다. 따라서 ADC 영상 데이터와 FLAIR 데이터를 '비교'하기 전, 두 영상을 '정합'하는 단계가 수행될 수 있다. 즉 일 실시예에 따르면, 대상자의 제1 뇌 영상 데이터 및 제2 뇌 영상 데이터를 획득하는 데이터 획득 단계 후에는 제1 뇌 영상 데이터 및 제2 뇌 영상 데이터를 정합하는 단계가 수행될 수 있다. 본 발명의 일 실시예에서는, ADC 영상을 리샘플링(resampling)하여 복셀의 크기를 FLAIR와 일치시킨 후 강체 정합(rigid registration)을 수행하였다. However, since the ADC image data and the FLAIR data are obtained by photographing images from different methods and viewpoints, the size of the voxel and the brain position on the coordinates may be different. Therefore, the step of 'matching' the two images may be performed before 'compare' the ADC image data and the FLAIR data. That is, according to an embodiment, after the data acquisition step of acquiring the first brain image data and the second brain image data of the subject, the step of matching the first brain image data and the second brain image data may be performed. In one embodiment of the present invention, by resampling the ADC image to match the size of the voxel with FLAIR, rigid registration was performed.
도 3의 (a) 및 (b)를 참조하면, 영상 처리 및 정합 전후의 DWI (b=0) 영상, DWI (b=1000) 영상, ADC(Apparent Diffusion Coefficient) 영상, FLAIR 영상이 각각 나타난다. 정합 단계 이전에는 영상 처리를 통해 두개골(skull) 영역을 제거하는 단계가 수행될 수 있다. Referring to FIGS. 3A and 3B, before and after image processing and registration, DWI (b = 0) images, DWI (b = 1000) images, ADC (Apparent Diffusion Coefficient) images, and FLAIR images are displayed. Prior to the matching step, a step of removing a skull region through image processing may be performed.
도 4는 중앙 맞춤 전후의 뇌 영상 데이터를 나타낸 그림이다. 4 is a diagram illustrating brain image data before and after centering.
일 실시예에 따른 뇌경색 환자의 병변 발생 시점 추정 방법은, 대칭 영역(C_ROI) 선택 단계 전에 뇌 영상 데이터의 대칭선(SL)을 산출하는 단계를 더 포함할 수 있다. 본 발명의 일 실시예에서는, b=0인 DWI 영상에서 뇌에 해당하는 영역을 바이너리 마스크(binary mask)를 이용하여 선택하고, 영상의 중앙선(ML)을 기준으로 오른쪽의 뇌 영역을 왼쪽으로 반전(inversion)시켰을 때 왼쪽의 뇌 영역과 중첩(overlap)되는 정도를 정량화하여 대칭선(SL)을 추출한다. 이때 반전된 오른쪽의 뇌 영역과 왼쪽의 뇌 영역이 중첩되는 정도를 정량화하는 척도인 DSC(Dice similarity coefficient) 값은 아래 <수학식 2>와 같이 정해질 수 있다. According to an embodiment, the method of estimating a lesion occurrence time of a cerebral infarction may further include calculating a symmetry line SL of brain image data before selecting a symmetry region C_ROI. In an embodiment of the present invention, a region corresponding to the brain is selected using a binary mask in a DWI image having b = 0, and the right brain region is inverted to the left based on the centerline ML of the image. When inversion, the symmetry line SL is extracted by quantifying the degree of overlap with the left brain region. In this case, a DSC (Dice similarity coefficient) value, which is a measure of quantifying the degree of overlapping the inverted right brain region and the left brain region, may be determined as in
<수학식 2><
여기서 |X|는 바이너리 마스크(binary mask)를 통해 얻은 뇌 영역의 복셀의 개수이며, |Y|는 중앙선(ML)을 기준으로 반전시킨 영역의 복셀의 개수이며, |X∩Y|는 중첩 영역의 복셀의 개수이다. 이때 중앙선(ML) 또는 뇌 영역을 평행이동 및/또는 회전이동하여, DSC 값을 가장 크게 하는 선을 대칭선(SL)으로 산출할 수 있다. Where | X | is the number of voxels in the brain region obtained through a binary mask, | Y | is the number of voxels in the inverted region with respect to the center line ML, and | X∩Y | is the overlap region. Is the number of voxels. At this time, the center line ML or the brain region may be parallelly moved and / or rotated to calculate a line having the largest DSC value as the symmetric line SL.
도 4의 (a)를 참조하면, 뇌 영상 촬영 당시 대상자의 움직임 등으로 인하여 영상의 중앙선(midline, ML)이 시상면(sagittal plane)을 지나는 대칭선(SL)과 어긋나 있다. 그러나 중앙 맞춤을 수행하는 경우, 도 4 (b)와 같이 중앙선(ML)과 대칭선(SL)이 일치하게 된다. Referring to (a) of FIG. 4, the midline (ML) of the image is shifted from the symmetry line (SL) passing through the sagittal plane due to the movement of the subject during brain imaging. However, when centering is performed, the center line ML and the symmetry line SL coincide with each other as shown in FIG. 4 (b).
도 5는 제1 뇌 영상 데이터의 병변 영역(L)을 나타낸 그림이다. 5 is a diagram illustrating a lesion area L of the first brain image data.
병변(lesion)이 위치하는 영역은 DWI 또는 ADC 영상 데이터에서의 신호 세기가 정상 영역과 다르기 때문에, ADC 영상 데이터에서 신호 세기가 일정 크기(threshold, T) 이하인 영역을 선택하여 병변이 위치하는 것으로 추정되는 영역을 선택할 수 있다. 이때 상기 일정 크기(T)는 기 설정되거나 사용자가 조절할 수 있다. 도 5의 (a), (b), (c), (d)는 각각 역치 값(T)을 500, 550, 600, 650으로 설정하였을 때의 병변 영역(L)을 예시한 그림이다. 이때 사용자는 출력부(1200)에 표시된 ADC 영상의 병변 영역(L)의 모양(contour)이 DWI 영상의 밝은 영역과 일치하는지를 등을 기준으로 적절한 역치 값(T)을 결정할 수 있다. Since the signal intensity in the DWI or ADC image data is different from the normal region in the region where the lesion is located, it is assumed that the lesion is located by selecting an area where the signal strength is less than a predetermined size (T) in the ADC image data. Can be selected. In this case, the predetermined size T may be preset or adjusted by the user. (A), (b), (c), and (d) of FIG. 5 are diagrams illustrating the lesion area L when the threshold values T are set to 500, 550, 600, and 650, respectively. In this case, the user may determine an appropriate threshold value T based on whether the contour of the lesion area L of the ADC image displayed on the
도 6은 제1 뇌 영상 데이터의 병변 영역(L)과 제2 뇌 영상 데이터의 관심 영역(ROI) 및 대칭 영역(C_ROI)을 나타낸 그림이다. FIG. 6 is a diagram illustrating a lesion area L of the first brain image data, a region of interest ROI, and a symmetry region C_ROI of the second brain image data.
본 발명의 일 실시예에서는, 제1 뇌 영상 데이터에서 병변이 위치한 것으로 추정되는 병변 영역(L)을 선택한 후, 이에 병변 영역(L)에 정합하는 제2 뇌 영상 데이터의 영역을 관심 영역(ROI)으로 선택할 수 있다. 예컨대 일 실시예에서는, ADC 영상 데이터에서 병변 영역(L)을 선택하고, 이를 정합된 FLAIR 데이터에 매핑(mapping)하여 FLAIR 데이터에서 관심 영역(ROI)을 선택한다. 이러한 매핑 과정을 통해, DWI 데이터와 FLAIR 데이터의 신호 차이 정보가 반영되어, 뇌경색 시점 예측 정확도가 향상된다. In an embodiment of the present invention, after selecting the lesion area L from which the lesion is estimated in the first brain image data, the region of the second brain image data matching the lesion area L is selected as the ROI. Can be selected. For example, in one embodiment, the lesion area L is selected from the ADC image data, and mapped to the matched FLAIR data to select the ROI from the FLAIR data. Through this mapping process, signal difference information between the DWI data and the FLAIR data is reflected, thereby improving the prediction accuracy of cerebral infarction.
이후, 대칭 영역 선택 단계(S220)가 수행된다. 대칭 영역(C_ROI)은 상술한 대칭선(SL)을 기준으로 관심 영역(ROI)과 좌우 대칭일 수 있다. 이때 관심 영역(ROI)은 대상자 뇌의 병변에 대응할 수 있고, 대칭 영역(C_ROI)은 대상자 뇌의 정상 부위에 대응할 수 있다. 한편, 대칭 영역(C_ROI) 선택 시, 노이즈(noise)를 제거하는 단계가 수행될 수 있다. 예컨대, 대칭 영역(C_ROI)에서 제2 뇌 영상 데이터의 신호 세기가 일정 크기 이상 또는 이하인 값은 제거될 수 있다. 이와 같은 과정에서, 예컨대 '뇌척수액'에 대응하는 영역 대칭 영역(C_ROI)으로부터 제거될 수 있다. 이에 따라 '조직(tissue)'에 해당하는 복셀만이 대칭 영역(C_ROI)에 포함될 수 있다. Thereafter, a symmetric region selection step S220 is performed. The symmetry region C_ROI may be symmetrical with the ROI based on the above-described symmetry line SL. In this case, the ROI may correspond to a lesion of the subject brain, and the symmetry region C_ROI may correspond to a normal region of the subject brain. Meanwhile, when selecting the symmetry region C_ROI, a step of removing noise may be performed. For example, a value in which the signal strength of the second brain image data is greater than or equal to a predetermined size or less in the symmetry region C_ROI may be removed. In this process, for example, it may be removed from the region symmetry region (C_ROI) corresponding to the 'cerebrospinal fluid'. Accordingly, only voxels corresponding to 'tissue' may be included in the symmetry region C_ROI.
관심 영역(ROI)과 대칭 영역(C_ROI)을 선택한 후에는 복셀 별 비대칭도 데이터를 얻는 비대칭도 산출 단계(S230)가 수행된다. 상술하였듯, "비대칭도"는 뇌의 손상 정도 또는 병변의 진행 정도를 정량화한 지표일 수 있다. 비대칭도는 관심 영역(ROI)에 포함된 각각의 복셀마다 산출될 수 있다. 이때 복셀 별 비대칭도 데이터는 정상 영역인 대칭 영역(C_ROI)의 신호 세기 대비 관심 영역(ROI)의 신호 세기의 비율 정보를 포함할 수 있다. After selecting the ROI and the symmetry region C_ROI, an asymmetry calculation step S230 of obtaining asymmetry data for each voxel is performed. As described above, "asymmetry" may be an indicator for quantifying the degree of damage to the brain or the progression of the lesion. Asymmetry may be calculated for each voxel included in the region of interest (ROI). In this case, the asymmetry data for each voxel may include ratio information of signal strength of the ROI of the ROI of the symmetric region C_ROI which is a normal region.
일 실시예에 따르면, 비대칭도 산출 단계는, 관심 영역(ROI)의 각 복셀의 신호 크기와 대칭 영역(C_ROI)의 전체 복셀 신호의 평균값의 차이를 계산하는 단계를 포함할 수 있다. According to an embodiment, calculating the asymmetry may include calculating a difference between a signal size of each voxel of the ROI and an average value of all voxel signals of the symmetry area C_ROI.
비대칭도는 예컨대 'rFLAIR'라는 지표를 통해 아래의 <수학식 3>과 같이 정량화될 수 있다.The degree of asymmetry can be quantified as shown in
<수학식 3><
여기서, x 및 y는 각 복셀의 좌표를 나타내고, 는 관심 영역(ROI)에 위치한 각 복셀에서의 FLAIR 신호의 크기를 나타내며, 는 대칭 영역(C_ROI)의 FLAIR 신호 평균값을 나타낸다. Where x and y represent the coordinates of each voxel, Represents the magnitude of the FLAIR signal in each voxel located in the region of interest (ROI), Denotes the average value of the FLAIR signal in the symmetry region C_ROI.
본 발명의 일 실시예에서는 위의 <수학식 3>과 같이 '대칭 영역(C_ROI)의 전체 복셀 신호의 평균값'을 기준으로 관심 영역(ROI)의 각 복셀의 비대칭도를 산출할 수 있다. 이 경우, 관심 영역(ROI)의 특정 복셀에 대응하는 대칭 영역(C_ROI)의 복셀 하나의 신호 크기를 기준으로 하는 것보다 더욱 강건하게(robust) 각 복셀의 비대칭도를 산출할 수 있다.In an embodiment of the present invention, as shown in
도 7은 일 실시예에 따른 비대칭도 산출 방법을 나타낸 그림이다. 7 is a diagram illustrating a method of calculating asymmetry according to an embodiment.
일 실시예에 따르면, 비대칭도 산출 단계(S230)는, 관심 영역(ROI)의 크기가 기정 크기 이하인 경우, 대칭 영역(C_ROI)보다 크기가 큰 확장 영역(E_ROI, extended ROI)을 선택하는 단계 및 관심 영역(ROI)의 각 복셀의 신호 크기와 확장 영역(E_ROI)의 전체 복셀 신호의 평균값의 차이를 계산하는 단계를 포함할 수 있다. According to an embodiment, the asymmetry calculation step S230 may include selecting an extended ROI (E_ROI) having a larger size than the symmetry area C_ROI when the size of the ROI is less than or equal to the predetermined size. The method may include calculating a difference between a signal size of each voxel of the ROI and an average value of all voxel signals of the extended area E_ROI.
도 7의 (a)를 참조하면, 제1 뇌 영상 데이터(ADC 영상 데이터로 예시됨) 크기가 작은 병변 영역(L)이 표시되어 있다. 이에 따라, 제1 뇌 영상 데이터와 정합된 제2 뇌 영상 데이터(FLAIR 데이터로 예시됨)에서도 역시 관심 영역(ROI)의 크기가 작게 나타난다. 이 경우, 관심 영역(ROI)과 대칭인 대칭 영역(C_ROI)의 신호 세기만을 기준으로 비대칭도를 산출하게 되면, 각 복셀의 신호 비대칭도가 대칭 영역(C_ROI)의 위치에 민감해지게(un-robust)된다. 따라서 본 발명의 일 실시예에서는, 관심 영역(ROI)의 크기가 일정 크기 이하인 경우 대칭 영역(C_ROI)보다 큰 '확장 영역(E_ROI)'을 선택한다. 이후, 확장 영역(E_ROI)의 신호 세기를 기준으로 관심 영역(ROI) 각 복셀의 비대칭도를 산출한다. Referring to FIG. 7A, a lesion area L having a small size of first brain image data (illustrated as ADC image data) is displayed. Accordingly, the size of the ROI is also small in the second brain image data (exemplified as FLAIR data) matched with the first brain image data. In this case, when the asymmetry is calculated based only on the signal strength of the symmetric region C_ROI symmetric with the ROI, the signal asymmetry of each voxel becomes unsensitive to the position of the symmetric region C_ROI. become robust. Therefore, in an embodiment of the present invention, when the size of the ROI is equal to or less than a predetermined size, the 'extended area E_ROI' is selected to be larger than the symmetric area C_ROI. Thereafter, the asymmetry of each voxel of the ROI is calculated based on the signal strength of the extended region E_ROI.
예컨대, 관심 영역(ROI)의 크기가 작은 경우, 관심 영역(ROI)의 각 복셀의 비대칭도는 아래의 <수학식 4>과 같이 정량화될 수 있다.For example, when the size of the ROI is small, the asymmetry of each voxel of the ROI may be quantified as shown in
<수학식 4><
여기서, x 및 y는 각 복셀의 좌표를 나타내고, 는 관심 영역(ROI)에 위치한 각 복셀에서의 FLAIR 신호의 크기를 나타내며, 는 "확장 영역(E_ROI)"의 FLAIR 신호 평균값을 나타낸다. Where x and y represent the coordinates of each voxel, Represents the magnitude of the FLAIR signal in each voxel located in the region of interest (ROI), Denotes the average value of the FLAIR signal of the "extended area E_ROI".
확장 영역(E_ROI)은, 대칭 영역(C_ROI)의 중심을 기준으로 일정 거리(r) 이내에 있는 영역일 수 있다. 이때 일정 거리(r)에 포함된 영역에 포함된 복셀 중 신호 세기가 기정 값(threshold) 이상 또는 이하의 복셀은 노이즈(noise)로 처리되어 제거될 수 있다. 본 발명의 일 실시예에서는 관심 영역(ROI)의 크기가 100mm2 이내인 경우에, 대칭 영역(C_ROI)의 중심과의 거리(r)가 13mm 이내인 영역을 확장 영역(E_ROI)으로 선택하도록 설정하였으나 본 발명이 이에 제한되는 것이 아님은 물론이다. The extended area E_ROI may be an area within a predetermined distance r with respect to the center of the symmetry area C_ROI. In this case, among the voxels included in the region included in the predetermined distance r, voxels having a signal strength greater than or equal to a threshold may be processed as noise and removed. According to an embodiment of the present invention, when the size of the ROI is within 100 mm 2 , an area where the distance r from the center of the symmetry area C_ROI is within 13 mm is set to be selected as the extended area E_ROI. However, the present invention is not limited thereto.
도 8은 복셀 별 비대칭도를 시각화하여 나타낸 그림이다. 복셀 별 비대칭도는 도 8과 같이 컬러 등고선도(color contour map)의 형태로 시각화될 수 있다. 이를 통해, 사용자는 위치에 따른 병변의 손상도를 쉽게 파악할 수 있다. 8 is a diagram visualizing the asymmetry of each voxel. Voxel-specific asymmetry can be visualized in the form of a color contour map (color contour map) as shown in FIG. Through this, the user can easily determine the degree of damage of the lesion according to the location.
도 9는 입력 단계(S240) 및 출력 단계(S250)를 개략적으로 나타낸 개념도이다. 9 is a conceptual diagram schematically illustrating an input step S240 and an output step S250.
복셀 별 비대칭도 데이터는 병변의 위치마다 손상이 어느 정도 진행되었는지에 관한 정보를 포함한다. 이때, 특정 대상자의 복셀 별 비대칭도 데이터를 가공해 입력 데이터를 획득한 후 추정 모델에 입력할 수 있다. 기 학습된 추정 모델은 입력 데이터를 받아 출력값(p)을 출력할 수 있다. 이때 출력값(p)은 병변 발생 시점이 특정 시점 이전 또는 이후일 확률을 의미하는 값일 수 있다. 예컨대, 병변 발생 시점이 뇌 영상 촬영 전 6시간 이전인지 이후인지를 판별(classification)하도록 추정 모델을 학습시키는 경우, 출력값(p)은 병변 발생 시점이 6시간 이내일 확률을 의미할 수 있다. 제어부는, 출력값(p)이 특정 값(threshold, T) 이상인 경우 병변 발생 시점이 특정 시점(t) 이후라고 판단할 수 있다. 특정 값(T)은 추정 모델의 학습 과정에서, 예측 정확도를 가장 높게 하는 값으로 설정될 수 있다. The voxel-specific asymmetry data contains information about how much damage progressed for each location of the lesion. In this case, the asymmetry data for each voxel of a specific subject may be processed and input data may be input to the estimation model. The previously trained estimation model may receive input data and output an output value p. In this case, the output value p may be a value representing the probability that the lesion occurrence time is before or after the specific time point. For example, when the estimation model is trained to classify whether the lesion occurrence time is 6 hours before or after brain imaging, the output value p may mean a probability that the lesion occurrence time is within 6 hours. If the output value p is equal to or greater than a specific value T, the controller may determine that the lesion occurrence time is after the specific time t. The specific value T may be set to a value having the highest prediction accuracy in the learning process of the estimation model.
출력부(1200)에 의해 병변 발생 시점을 출력하는 출력 단계(S250)가 완료되면, 사용자는 출력된 병변 발생 시점 추정 결과를 바탕으로 대상자의 치료 방안을 결정할 수 있다. When the output step S250 of outputting the lesion occurrence time is completed by the
<< MATLAB을MATLAB 이용한 Used 실시예Example >>
이하에서는 실시예를 통하여 본 발명의 구성 및 효과를 더욱 상세히 설명한다. 후술하는 실시예는 본 발명을 예시하기 위한 것일 뿐, 본 발명의 범위가 실시예에 의해 한정되는 것은 아니다.Hereinafter, the configuration and effects of the present invention through the embodiments will be described in more detail. The following examples are only for illustrating the present invention, but the scope of the present invention is not limited by the examples.
본 발명의 일 실시예에서는 MATLAB (Mathworks 社, MA, 미국)을 이용하여 병변 발생 시점을 추정하는 프로그램을 개발하였다. 한편, 기계 학습에는 통계 전문 소프트웨어인 R (R Foundation for Statistical Computing, Vienna, Austria)을 활용하였다. In an embodiment of the present invention, a program for estimating lesion incidence time was developed using MATLAB (Mathworks, MA, USA). The machine learning software, R (R Foundation for Statistical Computing, Vienna, Austria), was used.
본 발명의 일 실시예에서는 뇌경색 환자인 240명의 데이터 제공자에게서 학습용 입력 데이터를 획득하였고, 49명의 데이터 제공자로부터 얻은 데이터를 통해 추정 모델을 외적 검증(external validation)하였다. In one embodiment of the present invention, the learning input data was obtained from 240 data providers who are cerebral infarction patients, and the estimation model was externally validated using data obtained from 49 data providers.
도 10은 rFLAIR의 구간별 복셀 개수 그래프이다. 도 10에서는 0~1, 1~2, 2~3, … , 29~30, 30~100%와 같이 rFLAIR가 31개의 구간으로 나누어진 것을 예시하였으나 본 발명이 이에 제한되는 것은 아니다. 10 is a graph illustrating the number of voxels per section of rFLAIR. In Fig. 10, 0 to 1, 1 to 2, 2 to 3,. For example, rFLAIR is divided into 31 sections, such as 29 to 30 and 30 to 100%, but the present invention is not limited thereto.
일 실시예에 따르면, 추정 모델에 입력되는 입력 데이터는 비대칭도의 구간별 복셀 개수 데이터를 포함할 수 있다. According to an embodiment, the input data input to the estimation model may include voxel number data for each section of asymmetry.
병변 발생이 처음 시작된 후로부터 시간이 지날수록, 뇌 조직의 손상은 심해지고 이에 따라 비대칭도 역시 커지게 된다. 예컨대, 비대칭도(예컨대, rFLAIR)가 큰 복셀의 개수가 많으면, 병변 발생 시점이 뇌 영상 촬영 시점에서 먼 것으로 추정할 수 있다. 반대로 비대칭도가 작은 복셀의 개수가 많으면, 병변 발생 시점이 뇌 영상 촬영 시점과 가까운 것으로 추정할 수 있다. 즉 비대칭도가 어떻게 분포(distribution)하는지 정보를 통해 '병변 발생 시점'을 추론할 수 있다. 본 발명의 일 실시예에서는 기계 학습, 특히 인공신경망을 통해 비대칭도의 분포와 병변 발생 시점의 상관관계를 학습한다. Over time from the onset of lesion development, the damage to brain tissue becomes more severe and thus the asymmetry also increases. For example, when the number of voxels having a large asymmetry (eg, rFLAIR) is large, it may be estimated that the time of lesion occurrence is far from the time of brain imaging. On the contrary, when the number of voxels with small asymmetry is large, it may be estimated that the time of lesion occurrence is close to the time of brain imaging. That is, the time point of lesion occurrence can be inferred from the information on how the asymmetry is distributed. In an embodiment of the present invention, the correlation between the distribution of asymmetry and the time of lesion occurrence is learned through machine learning, in particular, an artificial neural network.
도 11은 일 실시예에 따른 추정 모델의 인공신경망 구조를 예시한 그림이다. 11 is a diagram illustrating an artificial neural network structure of the estimation model in accordance with an embodiment.
본 발명의 일 실시예에 따른 추정 모델은 인공신경망(Artificial Neural Network)을 기반으로 하는 모델일 수 있다. 인공신경망은 입력층(input layer), 은닉층(hidden layer), 출력층(output layer)을 포함하는 가상의 네트워크 구조일 수 있다. 도 11에서는 은닉층의 개수가 하나이고, 입력층의 노드(IL1, IL2, IL3, …, IL31) 개수가 31개, 은닉층의 노드(HL1, HL2, HL3, …, HL6)의 개수가 6개, 출력층의 노드(OL1, OL2)의 개수가 2개인 것을 예시하였으나 본 발명이 이에 제한되는 것이 아님은 물론이다. The estimation model according to an embodiment of the present invention may be a model based on an artificial neural network. The artificial neural network may be a virtual network structure including an input layer, a hidden layer, and an output layer. In FIG. 11, the number of hidden layers is one, the number of nodes IL 1 , IL 2 , IL 3 ,..., And IL 31 of the input layer is 31, and the nodes HL 1 , HL 2 , HL 3 ,. 6 ) and the number of nodes OL 1 and OL 2 of the output layer is 6, but the present invention is not limited thereto.
인공신경망의 입력층에는 입력 데이터가 입력될 수 있다. 이때 일 실시예에 따르면 입력층의 각각의 노드(IL1, IL2, IL3, …, IL31)에는 rFLAIR의 구간별 복셀 개수가 입력될 수 있다. 예컨대, 입력층의 제1 노드(IL1), 제2 노드(IL2), 제3 노드(IL3)에는 각각 0~1%, 1~2%, 2~3%의 rFLAIR 구간에서의 복셀 개수가 입력될 수 있다. 한편, 입력층의 제31 노드(IL31)에는 30~100%의 rFLAIR 구간에서의 복셀 개수가 입력될 수 있다. Input data may be input to an input layer of an artificial neural network. In this case, according to an embodiment, the number of voxels for each section of rFLAIR may be input to each node IL 1 , IL 2 , IL 3 ,..., IL 31 of the input layer. For example, the voxels in the rFLAIR intervals of 0-1%, 1-2%, and 2-3% are respectively provided to the first node IL 1 , the second node IL 2 , and the third node IL 3 of the input layer. The number can be input. Meanwhile, the number of voxels in an rFLAIR section of 30 to 100% may be input to the thirty-first node IL 31 of the input layer.
인공신경망의 은닉층의 각 노드(HL1, HL2, HL3, …, HL6)는 입력층의 노드(IL1, IL2, IL3, …, IL31)와 출력층의 노드(OL1, OL2)를 연결한다. Each node HL 1 , HL 2 , HL 3 ,…, HL 6 of the hidden layer of the artificial neural network is a node IL 1 , IL 2 , IL 3 ,…, IL 31 of the input layer and the node OL 1 , of the output layer. Connect OL 2 ).
인공신경망의 출력층에는 병변 발생 시점에 관한 정보가 출력될 수 있다. 예컨대, 출력층의 제1 노드(OL1)는 병변 발생 시점이 특정 시점 이후일 확률을 출력할 수 있고, 출력층의 제2 노드(OL2)는 병변 발생 시점이 특정 시점 이전일 확률을 출력할 수 있으나 본 발명이 이에 제한되는 것은 아니다. The output layer of the neural network may output information about the time point of the lesion. For example, the first node OL 1 of the output layer may output a probability that the point of occurrence of the lesion is after a specific point in time, and the second node OL 2 of the output layer may output a probability that the point of occurrence of the lesion is before a certain point in time. However, the present invention is not limited thereto.
즉 본 발명의 일 실시예에서는, 복셀 별 비대칭도 데이터를 통해 병변 발생 시점이 특정 시점 이전 또는 이후를 판별(classification)하도록 추정 모델을 학습시킬 수 있다. 이때 특정 시점은 예컨대 4.5시간, 6시간 등일 수 있으나 본 발명이 이에 제한되는 것은 아니다. That is, in one embodiment of the present invention, the estimation model may be trained so that the lesion occurrence time is classified before or after a specific time point through asymmetry data for each voxel. In this case, the specific time point may be, for example, 4.5 hours, 6 hours, and the like, but the present invention is not limited thereto.
아래의 [표 1]은 240명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터를 이용하여 병변 발생 시점을 추정하도록 기계 학습시킨 추정 모델의 정확도를 나타낸다. Table 1 below shows the accuracy of the estimation model that was machine-learned to estimate the time of lesion occurrence using learning input data obtained from brain image data of 240 data providers.
환자 수 (<시간)
Number of patients (<hour)
195
195
218
218
환자 수 (>시간)
Number of patients (> hours)
45
45
22
22
10-fold cross-validation accuracy
(평균표준편차)
10-fold cross-validation accuracy
(Average Standard Deviation)
0.83 0.04
0.83 0.04
0.89 0.07
0.89 0.07
위 표에서 보듯, 병변 발생 시점이 4.5시간 전인지 또는 6시간 전인지를 추정하도록 학습된 각 추정 모델의 교차 타당성 검증 정확도는 각각 약 0.83, 0.89로 높게 나타났다. As shown in the above table, the cross-validation verification accuracy of each estimation model trained to estimate whether the lesion occurred before 4.5 hours or 6 hours was high, about 0.83 and 0.89, respectively.
도 12는 SIR(signal intensity ratio)를 이용하여 기계 학습시킨 추정 모델과 rFLAIR를 이용하여 기계 학습시킨 추정 모델의 ROC 그래프를 비교한 그림이다. 각 추정 모델은 240명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터를 이용하여 병변 발생 시점이 6시간 이내인지를 판별하도록 기계 학습된 후, 다른 49명의 데이터 제공자의 뇌 영상 데이터를 통해 성능을 검증하였다. 12 is a diagram comparing ROC graphs of an estimation model machine trained using signal intensity ratio (SIR) and an estimation model machine trained using rFLAIR. Each estimation model is machine-learned to determine whether a lesion occurs within 6 hours using learning input data from brain image data of 240 data providers, and then verify performance through brain image data of 49 other data providers. It was.
도 12의 (a)는 SIR을 이용한 추정 모델의 ROC 그래프이다. SIR은 아래의 <수학식 5>를 통해 정의된다. 12A is a graph of ROC of the estimation model using SIR. SIR is defined by
<수학식 5><
여기서, 는 관심 영역(ROI)의 FLAIR 신호 평균값을 나타내고, 는 대칭 영역(C_ROI)의 FLAIR 신호 평균값을 나타낸다. 즉 SIR은 병변에 해당하는 관심 영역(ROI)의 신호 '평균값'을 이용하므로, '복셀 별'로 비대칭도를 산출하지 않고 '병변 전체'의 비대칭도만을 산출한다. here, Represents the average value of the FLAIR signal of the region of interest (ROI), Denotes the average value of the FLAIR signal in the symmetry region C_ROI. That is, since the SIR uses a signal 'average value' of a region of interest (ROI) corresponding to the lesion, only the asymmetry of the 'whole lesion' is calculated without calculating the asymmetry for each voxel.
반면, 도 12의 (b)는 본 발명의 일 실시예에 따른 rFLAIR를 이용한 추정 모델의 ROC 그래프이다. 상술하였듯 rFLAIR는 병변의 '복셀 별' 비대칭도 정보를 포함한다. 12 (b) is a ROC graph of an estimation model using rFLAIR according to an embodiment of the present invention. As mentioned above, rFLAIR contains 'voxel' asymmetry information of the lesion.
도 12를 참조하면, (a), (b) 그래프 각각의 AUC 값은 0.644, 0.758로, '복셀 별' 비대칭도를 활용한 rFLAIR 방식을 통해 학습시킨 추정 모델의 성능이 더 좋은 것을 확인할 수 있다. 또한, 아래의 [표 2]를 참조하면, 병변 발생 시점이 4.5시간 이내인지를 판별하도록 기계 학습시킨 경우에도 rFLAIR를 이용한 추정 모델의 AUC 값이 더 높음을 확인할 수 있다. Referring to FIG. 12, the AUC values of the graphs (a) and (b) are 0.644 and 0.758, respectively, and the performance of the estimated model trained through the rFLAIR method using the 'by voxel' asymmetry is better. . In addition, referring to [Table 2] below, even when the machine learning to determine whether the lesion occurred within 4.5 hours, it can be seen that the AUC value of the estimation model using the rFLAIR is higher.
AUC
AUC
4.5시간4.5 hours
6시간6 hours
SIR
SIR
0.524
0.524
0.644
0.644
rFLAIR
rFLAIR
0.647
0.647
0.758
0.758
즉 본 발명의 일 실시예에서는 '복셀 별' 비대칭도 데이터를 통해 병변의 불균질성(heterogeneity) 정보를 획득하여, 상기 불균질성 정보를 추정 모델의 학습에 반영할 수 있다. 즉 본 발명의 일 실시예에서는 병변의 불균질성(heterogeneity) 정보를 포함해 병변 발생 시점을 추정하므로, 병변 발생 시점 추정의 정확도가 향상된다. That is, in an embodiment of the present invention, the heterogeneity information of the lesion may be obtained through 'by voxel' asymmetry data, and the heterogeneity information may be reflected in the learning of the estimation model. That is, in one embodiment of the present invention, since the lesion occurrence time is estimated including heterogeneity information of the lesion, the accuracy of the lesion occurrence time estimation is improved.
이하에서는 제어부(1100)의 일 실시예를 구체적으로 서술한다. Hereinafter, an embodiment of the
도 13은 일 실시예에 따른 제어부(1100)의 블록도이다.13 is a block diagram of the
도 13을 참조하면, 일 실시예에 따른 제어부(1100)는 데이터 학습부(1110) 및 데이터 인식부(1120)를 포함할 수 있다.Referring to FIG. 13, the
데이터 학습부(1110)는 병변 발생 시점을 추정하는 기준을 학습할 수 있다. 일 실시예에서 데이터 학습부(1110)는 데이터 학습부(1110)에 입력된 학습용 입력 데이터를 이용하여 소정의 기준을 학습할 수 있다. 데이터 학습부(1110)는 특히 복셀 별 비대칭도 데이터와 병변의 발생 시점의 상관관계를 학습할 수 있다. The
데이터 인식부(1120)는 데이터에 기초하여 병변 발생 시점을 추정할 수 있다. 데이터 인식부(1120)는 학습된 데이터 인식 모델을 이용하여, 소정의 데이터로부터 병변 발생 시점을 추정할 수 있다. 데이터 인식부(1120)는 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델을 이용함으로써, 소정의 데이터에 기초하여 병변 발생 시점을 추정할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델에 의해 출력된 결과 값은, 데이터 인식 모델을 갱신하는데 이용될 수 있다.The
데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.At least one of the
이 경우, 데이터 학습부(1110) 및 데이터 인식부(1120)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1110) 및 데이터 인식부(1120) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(1110) 및 데이터 인식부(1120)는 유선 또는 무선으로 통하여, 데이터 학습부(1110)가 구축한 모델 정보를 데이터 인식부(1120)로 제공할 수도 있고, 데이터 인식부(1120)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1110)로 제공될 수도 있다.In this case, the
한편, 데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나가 소프트웨어 모듈(또는, 명령(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다. Meanwhile, at least one of the
도 14는 일 실시예에 따른 데이터 학습부(1110)의 블록도이다.14 is a block diagram of a
도 14를 참조하면, 일부 실시예에 따른 데이터 학습부(1110)는 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115)를 포함할 수 있다.Referring to FIG. 14, the
데이터 획득부(1111)는 예컨대 외부의 뇌 영상 촬영 장치 또는 기 저장되어 있던 의료 데이터베이스(DB)에서 뇌 영상 데이터, 예컨대 자기공명영상 데이터를 수신할 수 있다. The
전처리부(1112)는 병변 발생 시점을 추정하기 위한 학습/트레이닝에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1112)는 후술할 모델 학습부(1114)가 병변 발생 시점을 추정하기 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다. 예를 들어, 전처리부(1112)는 입력된 뇌 영상으로부터 학습용 입력 데이터 및 입력 데이터를 선택/생성하는 작업을 수행할 수 있다.The
학습 데이터 선택부(1113)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(1114)에 제공될 수 있다. 학습 데이터 선택부(1113)는 기설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1113)는 후술할 모델 학습부(1114)에 의한 학습에 의해 기설정된 기준에 따라 데이터를 선택할 수도 있다.The
모델 학습부(1114)는 상술한 '추정 모델'에 대응할 수 있는 구성요소로, 학습 데이터에 기초하여 병변 발생 시점을 어떻게 판별할지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(1114)는 병변 발생 시점을 추정하기 위하여 어떤 학습 데이터를 이용해야 하는지에 대한 기준을 학습할 수도 있다. The
또한, 모델 학습부(1114)는 병변 발생 시점을 추정하는데 이용되는 데이터 인식 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 데이터 인식 모델은 미리 구축된 모델일 수 있다. In addition, the
데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 본 발명이 이에 한정되는 것은 아니다.The data recognition model may be constructed in consideration of the application field of the recognition model, the purpose of learning, or the computer performance of the device. The data recognition model may be, for example, a model based on a neural network. For example, a model such as a deep neural network (DNN), a recurrent neural network (RNN), and a bidirectional recurrent deep neural network (BRDNN) may be used as the data recognition model, but the present invention is not limited thereto.
다양한 실시예에 따르면, 모델 학습부(1114)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다. According to various embodiments of the present disclosure, when there are a plurality of pre-built data recognition models, the
또한, 모델 학습부(1114)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 인식 모델을 학습시킬 수 있다.In addition, the
또한, 모델 학습부(1114)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1114)는, 예를 들어, 별다른 지도 없이 병변 발생 시점을 추정하는 데 필요한 데이터의 종류를 스스로 학습함으로써, 병변 발생 시점을 추정하기 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1114)는, 예를 들어, 학습에 따른 병변 발생 시점 추정 결과가 올바른지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.In addition, the
또한, 데이터 인식 모델이 학습되면, 모델 학습부(1114)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1114)는 학습된 데이터 인식 모델을 데이터 인식부(1120)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1114)는 학습된 데이터 인식 모델을 후술할 데이터 인식부(1120)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1114)는 학습된 데이터 인식 모델을 전자 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.In addition, when the data recognition model is trained, the
이 경우, 학습된 데이터 인식 모델이 저장되는 메모리는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. In this case, the memory in which the learned data recognition model is stored may store, for example, commands or data related to at least one other element of the electronic device. The memory may also store software and / or programs.
모델 평가부(1115)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1114)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기설정된 데이터일 수 있다. The
예를 들어, 모델 평가부(1115)는 평가 데이터에 대한 학습된 데이터 인식 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 데이터 인식 모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(1115)는 학습된 데이터 인식 모델이 적합하지 않은 것으로 평가할 수 있다.For example, the
한편, 학습된 데이터 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(1115)는 각각의 학습된 데이터 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 데이터 인식 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(1115)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 데이터 인식 모델로서 결정할 수 있다.On the other hand, when there are a plurality of trained data recognition models, the
한편, 데이터 학습부(1110) 내의 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.At least one of the
또한, 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.In addition, the
또한, 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115) 중 적어도 하나가 소프트웨어 모듈(또는, 명령(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.In addition, at least one of the
도 15는 일 실시예에 따른 데이터 인식부(1120)의 블록도이다.15 is a block diagram of a
도 15를 참조하면, 일부 실시예에 따른 데이터 인식부(1120)는 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125)를 포함할 수 있다.Referring to FIG. 15, the
데이터 획득부(1121)는 병변 발생 시점을 추정하는 데 필요한 데이터를 획득할 수 있으며, 전처리부(1122)는 획득된 데이터가 이용될 수 있도록 획득된 데이터를 전처리할 수 있다. 전처리부(1122)는 후술할 인식 결과 제공부(1124)가 병변 발생 시점을 추정하기 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기설정된 포맷으로 가공할 수 있다. The
인식 데이터 선택부(1123)는 전처리된 데이터 중에서 병변 발생 시점을 추정하는데 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(1124)에 제공될 수 있다. 인식 데이터 선택부(1123)는 병변 발생 시점을 추정하기 위한 기설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(1123)는 후술할 모델 학습부(1114)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.The
인식 결과 제공부(1124)는 선택된 데이터를 데이터 인식 모델에 적용하여 병변 발생 시점을 예측할 수 있다. 인식 결과 제공부(1124)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 인식 결과 제공부(1124)는 인식 데이터 선택부(1123)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 데이터 인식 모델에 적용할 수 있다. 또한, 인식 결과는 데이터 인식 모델에 의해 결정될 수 있다.The recognition
모델 갱신부(1125)는 인식 결과 제공부(1124)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(1125)는 인식 결과 제공부(1124)에 의해 제공되는 인식 결과를 모델 학습부(1114)에게 제공함으로써, 모델 학습부(1114)가 데이터 인식 모델을 갱신하도록 할 수 있다.The
한편, 데이터 인식부(1120) 내의 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.Meanwhile, at least one of the
또한, 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.In addition, the
또한, 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125) 중 적어도 하나가 소프트웨어 모듈(또는, 명령(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.In addition, at least one of the
한편, 본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성할 수 있고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.Meanwhile, the method for estimating lesion occurrence time according to an embodiment of the present invention may be written as a computer executable program, and may be implemented in a general-purpose digital computer operating the program using a computer readable recording medium. . The computer-readable recording medium may include a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical reading medium (eg, a CD-ROM, a DVD, etc.).
본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법, 장치, 프로그램에 의하면, 객관적으로 정량적인 방식으로 병변 발생 시점을 추정할 수 있어 정성적인 방법으로 병변 발생 시점을 추정할 때 관찰자 내 차이 및 관찰자 간 차이(intra- & inter-observer variability)가 높은 문제를 해결할 수 있다. 또한, 병변 발생 시점을 수 분 내로 빠르게 파악할 수 있어, 대상자의 치료 방안을 신속하게 결정하는 데 도움을 줄 수 있다. 이를 통해 뇌경색 등 비가역적으로 뇌에 손상을 줄 수 있는 뇌혈관 폐색 증상을 신속하게 치료할 수 있어 치료 효과를 높일 수 있다. According to the method, apparatus, or program for estimating lesion occurrence time according to an embodiment of the present invention, it is possible to estimate the lesion occurrence time in an objective and quantitative manner, so that the difference between the observer and the observer when estimating the lesion occurrence time in a qualitative manner. The problem of high intra- and inter-observer variability can be solved. In addition, the onset of lesions can be quickly identified within minutes, which can help to quickly determine treatment options for the subject. Through this, it is possible to rapidly treat cerebrovascular occlusion, which can irreversibly damage the brain, such as cerebral infarction, thereby increasing the therapeutic effect.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.
1000: 병변 발생 시점 추정 장치 1100: 제어부
1200: 출력부 L: 병변 영역
ROI: 관심 영역 C_ROI: 대칭 영역
E_ROI: 확장 영역1000: lesion occurrence time estimation apparatus 1100: control unit
1200: output portion L: lesion area
ROI: region of interest C_ROI: region of symmetry
E_ROI: extended area
Claims (10)
상기 관심 영역과 대칭인 대칭 영역을 선택하는 대칭 영역 선택 단계;
상기 관심 영역과 상기 대칭 영역을 이용하여 상기 관심 영역의 복셀(voxel) 별 비대칭도 데이터를 산출하는 비대칭도 산출 단계;
상기 복셀 별 비대칭도 데이터로부터 입력 데이터를 획득한 후, 상기 병변의 발생 시점을 추정하기 위한 추정 모델에 입력하는 입력 단계; 및
상기 추정 모델의 출력값을 기초로, 상기 병변의 발생 시점에 관한 정보를 출력하는 출력 단계;를 포함하며,
상기 추정 모델은,
복수 명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터와 병변 발생 시점의 상관관계를 표현하는 입출력함수이고,
상기 비대칭도 산출 단계는,
상기 관심 영역의 크기가 기정 크기 이하인 경우,
상기 대칭 영역보다 크기가 큰 확장 영역을 선택하는 단계; 및
상기 관심 영역의 각 복셀의 신호 크기와 상기 확장 영역의 전체 복셀 신호의 평균값의 차이를 계산하는 단계를 포함하는, 병변 발생 시점 추정 방법.
A region of interest selection step of selecting a region of interest corresponding to a lesion location of the subject from brain image data of the subject;
A symmetric region selection step of selecting a symmetric region symmetrical with the region of interest;
Calculating asymmetry data for each voxel of the region of interest by using the region of interest and the symmetry region;
An input step of acquiring input data from the asymmetry data for each voxel and inputting it into an estimation model for estimating the occurrence time of the lesion; And
And outputting information on a time point of occurrence of the lesion based on an output value of the estimation model.
The estimation model,
It is an input / output function expressing the correlation between the learning input data obtained from brain image data of multiple data providers and the time of lesion occurrence,
The asymmetry calculation step,
If the size of the region of interest is less than or equal to the predetermined size,
Selecting an extended area having a larger size than the symmetric area; And
And calculating a difference between a signal magnitude of each voxel of the region of interest and an average value of all voxel signals of the extended region.
상기 추정 모델은,
상기 병변의 발생 시점이 상기 뇌 영상 데이터를 기정 시점 이전 또는 이후일 확률을 출력하는 입출력함수인, 병변 발생 시점 추정 방법.
The method of claim 1,
The estimation model is
And an input / output function for outputting a probability that the point of occurrence of the lesion is before or after the predetermined point in time of the brain image data.
상기 관심 영역 선택 단계 전에,
상기 추정 모델을 트레이닝하는 단계를 더 포함하는, 병변 발생 시점 추정 방법.
The method of claim 1,
Before the step of selecting the region of interest,
And training the estimated model.
상기 관심 영역 선택 단계는,
상기 대상자의 제1 뇌 영상 데이터 및 제2 뇌 영상 데이터를 획득하는 데이터 획득 단계;
상기 제1 뇌 영상 데이터 및 상기 제2 뇌 영상 데이터를 정합하는 단계;
상기 제1 뇌 영상 데이터에서, 상기 대상자의 병변이 위치하는 것으로 추정되는 병변 영역을 선택하는 단계; 및
상기 제2 뇌 영상 데이터에서, 상기 병변 영역에 정합하는 영역을 관심 영역으로 선택하는 단계;를 포함하는, 병변 발생 시점 추정 방법.
The method of claim 1,
The region of interest selection step,
A data acquisition step of acquiring first brain image data and second brain image data of the subject;
Registering the first brain image data and the second brain image data;
Selecting, from the first brain image data, a lesion area in which the lesion of the subject is estimated to be located; And
And selecting a region matching the lesion region as the region of interest in the second brain image data.
상기 데이터 획득 단계는,
확산강조영상(DWI) 데이터로부터 상기 제1 뇌 영상 데이터를 획득하는 단계;
액체감쇠역전회복영상(FLAIR) 데이터로부터 상기 제2 뇌 영상 데이터를 획득하는 단계;를 포함하는, 병변 발생 시점 추정 방법.
The method of claim 4, wherein
The data acquisition step,
Obtaining the first brain image data from DWI data;
And acquiring the second brain image data from liquid attenuation reverse recovery image (FLAIR) data.
상기 대칭 영역 선택 단계 전에 수행되고,
상기 뇌 영상 데이터의 대칭선을 산출하는 단계를 더 포함하는, 병변 발생 시점 추정 방법.
The method of claim 1,
Before the symmetric area selection step,
Comprising the step of calculating the symmetry line of the brain image data, lesion occurrence time estimation method.
상기 비대칭도 산출 단계는,
상기 관심 영역의 각 복셀의 신호 크기와 상기 대칭 영역의 전체 복셀 신호의 평균값의 차이를 계산하는 단계를 포함하는, 병변 발생 시점 추정 방법.
The method of claim 1,
The asymmetry calculation step,
And calculating a difference between a signal size of each voxel of the region of interest and an average value of all voxel signals of the symmetric region.
상기 관심 영역의 크기가 기정 크기 이하인 경우, 상기 대칭 영역보다 크기가 큰 확장 영역을 선택하고, 상기 관심 영역의 각 복셀의 신호 크기와 상기 확장 영역의 전체 복셀 신호의 평균값의 차이를 계산하는 제어부; 및
상기 추정 모델의 출력값을 기초로, 상기 병변의 발생 시점에 관한 정보를 출력하는 출력부;를 포함하며,
상기 추정 모델은,
복수 명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터와 병변 발생 시점의 상관관계를 표현하는 입출력함수인, 병변 발생 시점 추정 장치.
From the brain image data of the subject, selecting a region of interest corresponding to the lesion location of the subject, selecting a symmetric region symmetrical to the region of interest, using the region of interest and the symmetric region asymmetry of the voxel of the region of interest Calculates data, obtains input data from the voxel-specific asymmetry data from the voxel-specific asymmetry data, and inputs it to an estimation model for estimating the time of occurrence of the lesion,
A controller configured to select an extended area having a larger size than the symmetrical area when the size of the ROI is equal to or less than a predetermined size and calculate a difference between a signal size of each voxel of the ROI and an average value of all voxel signals of the extended area; And
And an output unit configured to output information about a time point of occurrence of the lesion, based on an output value of the estimation model.
The estimation model,
A lesion occurrence time estimation apparatus, which is an input / output function representing a correlation between learning input data obtained from brain image data of a plurality of data providers and a lesion occurrence time point.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170168475A KR102043829B1 (en) | 2017-12-08 | 2017-12-08 | Method, Device and Program for Estimating Time of Lesion Occurrence |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170168475A KR102043829B1 (en) | 2017-12-08 | 2017-12-08 | Method, Device and Program for Estimating Time of Lesion Occurrence |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190068254A KR20190068254A (en) | 2019-06-18 |
KR102043829B1 true KR102043829B1 (en) | 2019-11-12 |
Family
ID=67103241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170168475A KR102043829B1 (en) | 2017-12-08 | 2017-12-08 | Method, Device and Program for Estimating Time of Lesion Occurrence |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102043829B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3798971A1 (en) * | 2019-09-30 | 2021-03-31 | Siemens Healthcare GmbH | Method and data processing system for providing a stroke information |
KR102646955B1 (en) * | 2021-12-16 | 2024-03-13 | 재단법인 차세대융합기술연구원 | Method for quantifying cerebral blood flow in the whole brain in a diffusion model |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005131011A (en) * | 2003-10-29 | 2005-05-26 | Toshiba Corp | Acute cerebral infarction diagnosing and treatment support apparatus |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100946350B1 (en) | 2008-03-20 | 2010-03-09 | 인하대학교 산학협력단 | Method for computing infarct volume in a stroke model |
KR101611489B1 (en) * | 2013-09-13 | 2016-04-11 | 재단법인 아산사회복지재단 | Method for estimating onset time of infarct region based on brain image |
-
2017
- 2017-12-08 KR KR1020170168475A patent/KR102043829B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005131011A (en) * | 2003-10-29 | 2005-05-26 | Toshiba Corp | Acute cerebral infarction diagnosing and treatment support apparatus |
Non-Patent Citations (1)
Title |
---|
박병래 외 1명, 자기공명영상에서 신경회로망을 이용한 뇌경색의 시기 분류기 구현, 대한의료정보학회 2004년도 추계학술대회, [online], 2004년 11월20일,[2019년2월8일 검색], 인터넷<URL: https://kosmi.snubi.org/2004_fall>* |
Also Published As
Publication number | Publication date |
---|---|
KR20190068254A (en) | 2019-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11207045B2 (en) | Systems and methods for estimating healthy lumen diameter and stenosis quantification in coronary arteries | |
Chen et al. | Development of a quantitative intracranial vascular features extraction tool on 3 D MRA using semiautomated open‐curve active contour vessel tracing | |
Bron et al. | Standardized evaluation of algorithms for computer-aided diagnosis of dementia based on structural MRI: the CADDementia challenge | |
JP6005663B2 (en) | Automatic measurement of arteriovenous ratio in blood vessel images | |
Guizard et al. | Rotation-invariant multi-contrast non-local means for MS lesion segmentation | |
Ganiler et al. | A subtraction pipeline for automatic detection of new appearing multiple sclerosis lesions in longitudinal studies | |
Estienne et al. | Deep learning-based concurrent brain registration and tumor segmentation | |
JP7462055B2 (en) | Method and system for automated segmentation of white matter hyperintensities in magnetic resonance images of the brain - Patents.com | |
US20220020152A1 (en) | Apparatus for identifying regions in a brain image | |
Coupé et al. | LesionBrain: an online tool for white matter lesion segmentation | |
WO2009146703A2 (en) | System and method for volumetric analysis of medical images | |
CN112819800A (en) | DSA image recognition method, device and storage medium | |
KR102043829B1 (en) | Method, Device and Program for Estimating Time of Lesion Occurrence | |
Rachmadi et al. | Limited one-time sampling irregularity map (LOTS-IM) for automatic unsupervised assessment of white matter hyperintensities and multiple sclerosis lesions in structural brain magnetic resonance images | |
Arega et al. | Leveraging uncertainty estimates to improve segmentation performance in cardiac MR | |
KR20200114228A (en) | Method and system for predicting isocitrate dehydrogenase (idh) mutation using recurrent neural network | |
KR102427265B1 (en) | Method and Apparatus for Predicting Cerebral Infarction Based on Cerebral Infarction Volume Calculation | |
US20220301177A1 (en) | Updating boundary segmentations | |
CN112784928A (en) | DSA image recognition method, device and storage medium | |
Delmoral et al. | Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study | |
WO2019190641A1 (en) | System and method for evaluation of dynamic data | |
US11748878B2 (en) | Methods and systems for generating surrogate marker based on medical image data | |
Amaludin et al. | Toward more accurate diagnosis of multiple sclerosis: Automated lesion segmentation in brain magnetic resonance image using modified U‐Net model | |
Rajasree et al. | Deep Convolutional Neural Networks for Multi-Modality Brain Image Classification | |
Vakalopoulou et al. | Deep patch-based priors under a fully convolutional encoder-decoder architecture for interstitial lung disease segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |