KR102043829B1 - Method, Device and Program for Estimating Time of Lesion Occurrence - Google Patents

Method, Device and Program for Estimating Time of Lesion Occurrence Download PDF

Info

Publication number
KR102043829B1
KR102043829B1 KR1020170168475A KR20170168475A KR102043829B1 KR 102043829 B1 KR102043829 B1 KR 102043829B1 KR 1020170168475 A KR1020170168475 A KR 1020170168475A KR 20170168475 A KR20170168475 A KR 20170168475A KR 102043829 B1 KR102043829 B1 KR 102043829B1
Authority
KR
South Korea
Prior art keywords
data
region
lesion
image data
interest
Prior art date
Application number
KR1020170168475A
Other languages
Korean (ko)
Other versions
KR20190068254A (en
Inventor
방오영
김윤철
정종원
서우근
Original Assignee
사회복지법인 삼성생명공익재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사회복지법인 삼성생명공익재단 filed Critical 사회복지법인 삼성생명공익재단
Priority to KR1020170168475A priority Critical patent/KR102043829B1/en
Publication of KR20190068254A publication Critical patent/KR20190068254A/en
Application granted granted Critical
Publication of KR102043829B1 publication Critical patent/KR102043829B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G06K9/3233
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법은, 대상자의 뇌 영상 데이터로부터 상기 대상자의 병변 위치에 대응하는 관심 영역을 선택하는 관심 영역 선택 단계, 상기 관심 영역과 대칭인 대칭 영역을 선택하는 대칭 영역 선택 단계, 상기 관심 영역과 상기 대칭 영역을 이용하여 상기 관심 영역의 복셀(voxel) 별 비대칭도 데이터를 산출하는 비대칭도 산출 단계, 상기 복셀 별 비대칭도 데이터로부터 입력 데이터를 획득한 후, 상기 병변의 발생 시점을 추정하기 위한 추정 모델에 입력하는 입력 단계 및 상기 추정 모델의 출력값을 기초로, 상기 병변의 발생 시점에 관한 정보를 출력하는 출력 단계를 포함한다. 이때 상기 추정 모델은, 복수 명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터와 병변 발생 시점의 상관관계를 표현하는 입출력함수이다. In a method for estimating lesion occurrence time according to an embodiment of the present invention, a region of interest selection step of selecting a region of interest corresponding to the position of the subject from the brain image data of the subject, selecting a symmetric region symmetrical with the region of interest Selecting a symmetry region, calculating asymmetry data for each voxel of the region of interest by using the region of interest and the symmetry region, obtaining input data from the asymmetry data for each voxel, and And an input step of inputting into an estimation model for estimating the time of occurrence of the lesion, and an output step of outputting information about the time of occurrence of the lesion, based on an output value of the estimation model. In this case, the estimation model is an input / output function expressing a correlation between learning input data obtained from brain image data of a plurality of data providers and a lesion occurrence time point.

Figure 112017122636507-pat00016
Figure 112017122636507-pat00016

Description

병변 발생 시점 추정 방법, 장치 및 프로그램{Method, Device and Program for Estimating Time of Lesion Occurrence}Method, Device and Program for Estimating Time of Lesion Occurrence

본 발명은 뇌경색 환자의 병변 발생 시점을 추정하는 방법, 장치 및 프로그램에 관한 것이다. The present invention relates to a method, apparatus and program for estimating the time of lesion development in a cerebral infarction patient.

뇌경색은 뇌의 혈관이 막혀 뇌의 일부 세포가 죽는 질병이다. 뇌경색은 뇌혈관의 동맥경화에 의한 혈관 폐색 및 심방세동(atrial fibrillation)에 의해 심장에서 발생하였다가 뇌로 이동한 혈전(cardioembolic clot)에 의해 뇌혈관이 막혀 발생한다. 뇌혈관이 막히면서 뇌 조직으로 가는 혈액의 공급이 차단되어 막힌 혈관에 의해 혈액을 공급받던 뇌 조직이 경색되어 의식장애나 신체 마비 등의 신경학적 증상이 나타난다. Cerebral infarction is a disease in which the blood vessels in the brain are blocked and some cells in the brain die. Cerebral infarction occurs due to vascular occlusion due to atherosclerosis of the cerebrovascular vessels and atrial fibrillation, which results in blockage of the cerebrovascular vessels by cardioembolic clots that migrate from the heart to the brain. As the blood vessels are blocked by the blood vessels of the brain, the blood supply to the brain is blocked, and the brain tissues supplied by the blocked blood vessels are infarcted, resulting in neurological symptoms such as consciousness disorder and physical paralysis.

뇌경색이 발병한 경우, 혈관을 조기에 재개통하여 뇌 조직이 완전히 경색에 빠지기 전에 뇌 혈류를 회복시키는 방식의 치료가 수행된다. 이때 막힌 혈관을 얼마나 빨리 뚫어주느냐가 뇌경색 예후에 가장 큰 영향을 미치는 요소이다. 뇌경색에 의한 후유증을 최소화하기 위한 발병 후 최초 치료까지의 시간(골든 타임)은 약 4.5-6시간 정도로 알려져 있으며 증상 발생 후 혈관 재개통의 시간이 빠를수록 신경학적 증상 회복의 확률이 증가하여, 빠른 진단과 치료가 요구된다. 그러나, 초급성 뇌경색 환자의 20-30%는 정확한 뇌경색의 발생 시점을 알지 못하여 혈관재개통 치료에서 배제되어 왔다. In the case of cerebral infarction, treatment is performed in which blood vessels are reopened early to restore brain blood flow before brain tissue is completely infarcted. At this time, how fast the blocked blood vessels are the most influential factor in the prognosis of cerebral infarction. The time to initial treatment (Golden time) is about 4.5-6 hours after the onset to minimize the sequelae caused by cerebral infarction. Diagnosis and treatment are required. However, 20-30% of patients with acute cerebral infarction have been excluded from vascular revascularization treatment because they do not know the exact time of onset of infarction.

한국등록특허공보 제10-0946350호 (공고일 2010.03.09)Korea Patent Publication No. 10-0946350 (Notice date 2010.03.09)

본 발명은 뇌 영상 데이터를 이용해 객관적으로 정량적인 방식으로 뇌경색 환자의 병변 발생 시점을 추정하는 방법, 장치 및 프로그램을 제공하는 것을 목적으로 한다. 그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.It is an object of the present invention to provide a method, apparatus and program for estimating the time of lesion occurrence in a cerebral infarction patient in an objective and quantitative manner using brain image data. However, these problems are exemplary, and the scope of the present invention is not limited thereby.

본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법은, 대상자의 뇌 영상 데이터로부터 상기 대상자의 병변 위치에 대응하는 관심 영역을 선택하는 관심 영역 선택 단계; 상기 관심 영역과 대칭인 대칭 영역을 선택하는 대칭 영역 선택 단계; 상기 관심 영역과 상기 대칭 영역을 이용하여 상기 관심 영역의 복셀(voxel) 별 비대칭도 데이터를 산출하는 비대칭도 산출 단계; 상기 복셀 별 비대칭도 데이터로부터 입력 데이터를 획득한 후, 상기 병변의 발생 시점을 추정하기 위한 추정 모델에 입력하는 입력 단계; 및 상기 추정 모델의 출력값을 기초로, 상기 병변의 발생 시점에 관한 정보를 출력하는 출력 단계;를 포함한다. 이때 상기 추정 모델은, 복수 명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터와 병변 발생 시점의 상관관계를 표현하는 입출력함수이다. In accordance with an aspect of the present invention, a method for estimating a lesion occurrence time point includes: selecting a region of interest from a brain image data of a subject to select a region of interest corresponding to a position of the subject; A symmetric region selection step of selecting a symmetric region symmetrical with the region of interest; Calculating asymmetry data for each voxel of the region of interest by using the region of interest and the symmetry region; An input step of acquiring input data from the asymmetry data for each voxel and inputting it into an estimation model for estimating the occurrence time of the lesion; And an output step of outputting information on a time point of occurrence of the lesion, based on an output value of the estimation model. In this case, the estimation model is an input / output function expressing a correlation between learning input data obtained from brain image data of a plurality of data providers and a lesion occurrence time point.

일 실시예에 따르면, 상기 추정 모델은, 상기 병변의 발생 시점이 상기 뇌 영상 데이터를 기정 시점 이전 또는 이후일 확률을 출력하는 입출력함수일 수 있다. According to an embodiment, the estimation model may be an input / output function that outputs a probability that the time of occurrence of the lesion is before or after the predetermined time of the brain image data.

본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법은, 상기 관심 영역 선택 단계 전에, 상기 추정 모델을 트레이닝하는 단계를 더 포함할 수 있다. The method for estimating lesion occurrence time according to an embodiment of the present invention may further include training the estimation model before the selecting the ROI.

일 실시예에 따르면, 상기 관심 영역 선택 단계는, 상기 대상자의 제1 뇌 영상 데이터 및 제2 뇌 영상 데이터를 획득하는 데이터 획득 단계; 상기 제1 뇌 영상 데이터 및 상기 제2 뇌 영상 데이터를 정합하는 단계; 상기 제1 뇌 영상 데이터에서, 상기 대상자의 병변이 위치하는 것으로 추정되는 병변 영역을 선택하는 단계; 및 상기 제2 뇌 영상 데이터에서, 상기 병변 영역에 정합하는 영역을 관심 영역으로 선택하는 단계;를 포함할 수 있다. According to an embodiment, the ROI selection step may include: a data acquisition step of acquiring first brain image data and second brain image data of the subject; Registering the first brain image data and the second brain image data; Selecting, from the first brain image data, a lesion area in which the lesion of the subject is estimated to be located; And selecting a region matching the lesion region as the region of interest from the second brain image data.

일 실시예에 따르면, 상기 데이터 획득 단계는, 확산강조영상(DWI) 데이터로부터 상기 제1 뇌 영상 데이터를 획득하는 단계; 액체감쇠역전회복영상(FLAIR) 데이터로부터 상기 제2 뇌 영상 데이터를 획득하는 단계;를 포함할 수 있다. According to an embodiment, the data acquiring step may include: acquiring the first brain image data from DWI data; And acquiring the second brain image data from liquid attenuation reverse recovery image (FLAIR) data.

본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법은, 상기 대칭 영역 선택 단계 전에 수행되고, 상기 뇌 영상 데이터의 대칭선을 산출하는 단계를 더 포함할 수 있다. The method for estimating lesion occurrence time according to an embodiment of the present invention may be performed before the step of selecting the symmetry region, and may further include calculating a line of symmetry of the brain image data.

일 실시예에 따르면, 상기 비대칭도 산출 단계는, 상기 관심 영역의 각 복셀의 신호 크기와 상기 대칭 영역의 전체 복셀 신호의 평균값의 차이를 계산하는 단계를 포함할 수 있다. According to an embodiment, the calculating of the asymmetry may include calculating a difference between a signal magnitude of each voxel of the ROI and an average value of all voxel signals of the symmetrical area.

일 실시예에 따르면, 상기 비대칭도 산출 단계는, 상기 관심 영역의 크기가 기정 크기 이하인 경우, 상기 대칭 영역보다 크기가 큰 확장 영역을 선택하는 단계; 및 상기 관심 영역의 각 복셀의 신호 크기와 상기 확장 영역의 전체 복셀 신호의 평균값의 차이를 계산하는 단계를 포함할 수 있다. According to an embodiment, the calculating of the asymmetry may include selecting an extended area having a larger size than the symmetric area when the size of the ROI is equal to or smaller than a predetermined size; And calculating a difference between a signal magnitude of each voxel of the region of interest and an average value of all voxel signals of the extended region.

본 발명의 일 실시예에 따른 병변 발생 시점 추정 장치는, 대상자의 뇌 영상 데이터로부터 상기 대상자의 병변 위치에 대응하는 관심 영역을 선택하고, 상기 관심 영역에 대칭인 대칭 영역을 선택하고, 상기 관심 영역과 상기 대칭 영역을 이용하여 상기 관심 영역의 복셀 별 비대칭도 데이터를 산출하고, 상기 복셀 별 비대칭도 데이터로부터 상기 복셀 별 비대칭도 데이터로부터 입력 데이터를 획득한 후, 상기 병변의 발생 시점을 추정하기 위한 추정 모델에 입력하는 제어부; 및 상기 추정 모델의 출력값을 기초로, 상기 병변의 발생 시점에 관한 정보를 출력하는 출력부;를 포함한다. 이때 상기 추정 모델은, 복수 명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터와 병변 발생 시점의 상관관계를 표현하는 입출력함수이다. The apparatus for estimating lesion occurrence time according to an embodiment of the present invention selects a region of interest corresponding to the position of the subject from the brain image data of the subject, selects a symmetric region symmetric to the region of interest, and selects the region of interest And calculating the asymmetry data for each voxel of the ROI using the symmetric region, obtaining input data from the asymmetry data for the voxel from the asymmetry data for the voxel, and then estimating the timing of occurrence of the lesion. A control unit inputting the estimation model; And an output unit configured to output information about a time point of occurrence of the lesion, based on an output value of the estimation model. In this case, the estimation model is an input / output function expressing a correlation between learning input data obtained from brain image data of a plurality of data providers and a lesion occurrence time point.

본 발명의 일 실시예는 상술한 병변 발생 시점 추정 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램을 개시한다. An embodiment of the present invention discloses a computer program stored in a medium for executing the above-described method for estimating lesion occurrence time.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다. Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법, 장치, 프로그램에 의하면, 객관적으로 정량적인 방식으로 병변 발생 시점을 추정할 수 있어 정성적인 방법으로 병변 발생 시점을 추정할 때 관찰자 내 차이 및 관찰자 간 차이(intra- & inter-observer variability)가 높은 문제를 해결할 수 있다. 또한, 병변 발생 시점을 수 분 내로 빠르게 파악할 수 있어, 대상자의 치료 방안을 신속하게 결정하는 데 도움을 줄 수 있다. 이를 통해 뇌경색 등 비가역적으로 뇌에 손상을 줄 수 있는 뇌혈관 폐색 증상을 신속하게 치료할 수 있어 치료 효과를 높일 수 있다. According to the method, apparatus, or program for estimating lesion occurrence time according to an embodiment of the present invention, it is possible to estimate the lesion occurrence time in an objective and quantitative manner, so that the difference between the observer and the observer when estimating the lesion occurrence time in a qualitative manner. The problem of high intra- and inter-observer variability can be solved. In addition, the onset of lesions can be quickly identified within minutes, which can help to quickly determine treatment options for the subject. Through this, it is possible to rapidly treat cerebrovascular occlusion, which can irreversibly damage the brain, such as cerebral infarction, thereby increasing the therapeutic effect.

한편, 본 발명의 일 실시예에서는 '복셀 별' 비대칭도 데이터를 통해 병변의 불균질성(heterogeneity) 정보를 획득하여, 상기 불균질성 정보를 추정 모델의 학습에 반영하므로, 병변 발생 시점 추정의 정확도가 향상된다. Meanwhile, in one embodiment of the present invention, the heterogeneity information of the lesion is obtained through 'by voxel' asymmetry data, and the heterogeneity information is reflected in the learning of the estimation model, thereby improving the accuracy of the estimation of lesion occurrence time. .

본 발명의 일 실시예에서와 같이 MRI 자동 분석 기법을 바탕으로 환자의 뇌경색 발생 시점을 예측/판단하는 것은 뇌경색 환자의 치료에 중요한 정보를 제공하여 혈관재개통 치료를 받을 수 있는 환자의 수를 증대하여 뇌경색 이후 후유증의 중증도를 낮출 수 있다.Predicting / determining the incidence of cerebral infarction of a patient based on MRI automatic analysis technique as in one embodiment of the present invention provides important information for the treatment of cerebral infarction and increases the number of patients who can undergo vascular revascularization treatment. This can reduce the severity of sequelae after cerebral infarction.

도 1은 본 발명의 일 실시예에 따른 병변 발생 시점 추정 장치의 구성을 개략적으로 도시한 그림이다.
도 2는 본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법을 나타낸 흐름도이다.
도 3은 영상 정합 전후의 뇌 영상 데이터를 나타낸 그림이다.
도 4는 중앙 맞춤 전후의 뇌 영상 데이터를 나타낸 그림이다.
도 5는 제1 뇌 영상 데이터의 병변 영역(L)을 나타낸 그림이다.
도 6은 제1 뇌 영상 데이터의 병변 영역과 제2 뇌 영상 데이터의 관심 영역 및 대칭 영역을 나타낸 그림이다.
도 7은 일 실시예에 따른 비대칭도 산출 방법을 나타낸 그림이다.
도 8은 복셀 별 비대칭도를 시각화하여 나타낸 그림이다.
도 9는 입력 단계 및 출력 단계를 개략적으로 나타낸 개념도이다.
도 10은 rFLAIR의 구간별 복셀 개수 그래프이다.
도 11은 일 실시예에 따른 추정 모델의 인공신경망 구조를 예시한 그림이다.
도 12는 SIR(signal intensity ratio)를 이용하여 기계 학습시킨 추정 모델과 rFLAIR를 이용하여 기계 학습시킨 추정 모델의 ROC 그래프를 비교한 그림이다.
도 13은 일 실시예에 따른 제어부의 블록도이다.
도 14는 일 실시예에 따른 데이터 학습부의 블록도이다.
도 15는 일 실시예에 따른 데이터 인식부의 블록도이다.
1 is a diagram schematically illustrating a configuration of an apparatus for estimating lesion occurrence time according to an embodiment of the present invention.
2 is a flowchart illustrating a method for estimating lesion occurrence time according to an embodiment of the present invention.
3 is a diagram illustrating brain image data before and after image registration.
4 is a diagram illustrating brain image data before and after centering.
5 is a diagram illustrating a lesion area L of the first brain image data.
6 is a diagram illustrating a lesion area of the first brain image data, an ROI of the second brain image data, and a symmetric area.
7 is a diagram illustrating a method of calculating asymmetry according to an embodiment.
8 is a diagram visualizing the asymmetry of each voxel.
9 is a conceptual diagram schematically illustrating an input step and an output step.
10 is a graph illustrating the number of voxels per section of rFLAIR.
11 is a diagram illustrating an artificial neural network structure of the estimation model in accordance with an embodiment.
12 is a diagram comparing ROC graphs of an estimation model machine trained using signal intensity ratio (SIR) and an estimation model machine trained using rFLAIR.
13 is a block diagram of a controller according to an exemplary embodiment.
14 is a block diagram of a data learner, according to an exemplary embodiment.
15 is a block diagram of a data recognizer according to an exemplary embodiment.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail. Effects and features of the present invention, and methods of achieving them will be apparent with reference to the embodiments described below in detail together with the drawings. However, the present invention is not limited to the embodiments disclosed below but may be implemented in various forms.

본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "메커니즘", "요소", "수단" 및 "구성" 등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented in various numbers of hardware and / or software configurations that perform particular functions. For example, the functional blocks of the present disclosure may be implemented by one or more microprocessors or by circuit configurations for a given function. In addition, for example, the functional blocks of the present disclosure may be implemented in various programming or scripting languages. The functional blocks may be implemented in algorithms running on one or more processors. In addition, the present disclosure may employ the prior art for electronic configuration, signal processing, and / or data processing. Terms such as "mechanism", "element", "means" and "configuration" may be used widely and are not limited to mechanical and physical configurations.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" with another part, this includes not only a "direct connection" but also an "electrical connection" between other elements in between. In addition, when a part is said to "include" a certain component, which means that it may further include other components, except to exclude other components unless otherwise stated.

또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.In addition, the connecting lines or connecting members between the components shown in the drawings are merely illustrative of functional connections and / or physical or circuit connections. In an actual device, the connections between components may be represented by various functional connections, physical connections, or circuit connections that are replaceable or added.

또한, 본 명세서에서 사용되는 "제1" 또는 "제2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.In addition, terms including ordinal numbers such as "first" or "second" as used herein may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

어떤 실시예가 달리 구현 가능한 경우에 특정한 단계는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 단계는 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 수행될 수도 있다.Where certain embodiments are otherwise implementable, certain steps may be performed out of the order described. For example, two steps described in succession may be performed substantially concurrently, or may be performed in a reverse order.

본 명세서에서 용어 "뇌 영상"은 직간접적인 방법을 통해 뇌의 내부 구조 및/또는 기능을 시각화한 영상을 의미하며, 자기공명영상, 전산화단층촬영(CT, Computed Tomography) 영상, 양전자단층촬영(PET, Positron Emission Tomography) 영상, 단일광자단층촬영(SPECT, Single Photon Emission Computed Tomography) 영상 등을 포함할 수 있다. As used herein, the term "brain image" refers to an image visualizing the internal structure and / or function of the brain by a direct or indirect method, magnetic resonance imaging, computed tomography (CT) imaging, positron emission tomography (PET) , Positron Emission Tomography (POS) images, Single Photon Emission Computed Tomography (SPECT) images, and the like.

본 명세서에서 용어 "자기공명영상(MRI, magnetic resonance image)"은 자기장을 사용하여 체내 구조물의 영상 또는 사진을 생성하는 진단 기술 및 이를 통해 얻은 영상을 의미한다. As used herein, the term “magnetic resonance image (MRI)” refers to a diagnostic technique for generating an image or a picture of an internal structure using a magnetic field and an image obtained through the magnetic resonance image.

본 명세서에서 용어 "복셀(voxel)"은 3차원 공간의 정규 격자 단위를 의미하며, 2차원 평면의 영상에서는 픽셀(pixel)을 의미할 수 있다. As used herein, the term “voxel” refers to a regular grid unit in a three-dimensional space, and may mean a pixel in an image of a two-dimensional plane.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 같거나 대응하는 구성 요소는 같은 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, and the same or corresponding components will be denoted by the same reference numerals, and redundant description thereof will be omitted. .

도 1은 본 발명의 일 실시예에 따른 병변 발생 시점 추정 장치(1000)의 구성을 개략적으로 도시한 그림이다.1 is a diagram schematically illustrating a configuration of an apparatus for estimating lesion occurrence time 1000 according to an embodiment of the present invention.

도 1에 도시된 병변 발생 시점 추정 장치(1000)는 본 실시예의 특징이 흐려지는 것을 방지하기 위하여 본 실시예와 관련된 구성요소들만을 도시한 것이다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.The lesion occurrence time estimating apparatus 1000 shown in FIG. 1 illustrates only the components related to the present embodiment in order to prevent the features of the present embodiment from being blurred. Therefore, it will be understood by those skilled in the art that other general purpose components may be further included in addition to the components illustrated in FIG. 1.

일 실시예에 따른 병변 발생 시점 추정 장치(1000)는 적어도 하나 이상의 프로세서(processor)에 해당하거나, 적어도 하나 이상의 프로세서를 포함할 수 있다. 이에 따라, 병변 발생 시점 추정 장치(1000)는 마이크로프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.The apparatus for estimating lesion occurrence time 1000 may correspond to at least one processor or may include at least one processor. Accordingly, the lesion occurrence time estimation apparatus 1000 may be driven in a form included in another hardware device such as a microprocessor or a general purpose computer system.

일 실시예에 따른 병변 발생 시점 추정 장치(1000)는, 대상자의 뇌 영상 데이터를 수신받아 이를 가공하여 대상자의 뇌에 발생한 병변(lesion)의 발생 시점을 추정하여 출력하는 장치이다. 도 1을 참조하면, 병변 발생 시점 추정 장치(1000)는 제어부(1100)와 출력부(1200)를 포함한다.The apparatus for estimating lesion occurrence time 1000 according to an embodiment is a device for receiving brain image data of a subject, processing the same, and estimating and outputting a timing of occurrence of a lesion occurring in the subject's brain. Referring to FIG. 1, the lesion occurrence time estimating apparatus 1000 includes a controller 1100 and an output unit 1200.

제어부(1100)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이처럼 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The controller 1100 may include all kinds of devices capable of processing data, such as a processor. Here, the 'processor' may refer to a data processing apparatus embedded in hardware having, for example, a circuit physically structured to perform a function represented by code or instructions included in a program. Examples of such data processing devices embedded in hardware include a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, and an application-specific integrated circuit (ASIC). ), But may include a processing device such as a field programmable gate array (FPGA), but the scope of the present invention is not limited thereto.

우선, 제어부(1100)는 대상자의 뇌 영상 데이터를 수신한다. 대상자는 뇌혈관의 동맥경화증에 의한 혈전 및 심장에서 유래된 색전으로 인해 뇌경색(stroke)이 발생한 환자일 수 있으나, 대상자가 이에 제한되는 것은 아니다. First, the controller 1100 receives brain image data of a subject. The subject may be a patient who has a stroke due to thrombus caused by atherosclerosis of the cerebrovascular vessel and an embolism derived from the heart, but the subject is not limited thereto.

뇌 영상 데이터는 예컨대 자기공명영상(MRI, magnetic resonance image) 데이터를 포함할 수 있다. 자기공명영상 데이터는 확산 강조 영상(DWI, diffusion weighted image) 데이터, 액체감쇠역전회복(FLAIR, fluid attenuated inversion recovery) 영상 데이터, 자화율 강조 영상(SWI, susceptibility weighted image) 데이터, T1 강조(T1-weighted) 영상 데이터, T2 강조(T2-weighted) 영상 데이터를 포함할 수 있으나 자기공명영상 데이터의 종류가 이에 제한되는 것은 아니다. 병변 발생 시점 추정 장치(1000)는 외부의 자기공명영상 장치 또는 기 저장되어 있던 의료 데이터베이스(DB)에서 자기공명영상 데이터를 수신할 수 있으나 본 발명이 이에 제한되는 것은 아니다. Brain image data may include, for example, magnetic resonance image (MRI) data. Magnetic resonance imaging data include diffusion weighted image (DWI) data, fluid attenuated inversion recovery (FLAIR) image data, susceptibility weighted image (SWI) data, and T1-weighted ) May include image data, T2-weighted image data, but the type of magnetic resonance image data is not limited thereto. The lesion occurrence time estimation apparatus 1000 may receive magnetic resonance image data from an external magnetic resonance imaging apparatus or a previously stored medical database (DB), but the present invention is not limited thereto.

제어부(1100)는 획득한 뇌 영상 데이터로부터, 병변 위치에 대응하는 관심 영역(ROI, region of interest, 도 6 참조)을 선택할 수 있다. 제어부(1100)는 영상 처리 기법을 통해 자동(auto)으로 또는 반자동(semi-auto)으로 관심 영역(ROI)을 선택할 수 있다. 예컨대 제어부(1100)는 뇌 영상 데이터의 신호 세기가 특정 값(threshold)보다 낮거나 높은 영역을 '병변'이 위치한 것으로 판단하여 자동으로 관심 영역(ROI)을 선택할 수 있다. 또는, 제어부(1100)는 사용자가 입력 또는 설정한 특정 값(threshold)보다 낮거나 높은 영역을 '병변'이 위치한 것으로 판단하여 반자동으로 관심 영역(ROI)을 선택할 수 있다.The controller 1100 may select a region of interest (ROI) corresponding to the lesion location from the acquired brain image data. The controller 1100 may select an ROI automatically or semi-automatically through an image processing technique. For example, the controller 1100 may automatically select a region of interest (ROI) by determining that the lesion is located in a region where the signal intensity of the brain image data is lower or higher than a specific value. Alternatively, the controller 1100 may select a region of interest (ROI) semi-automatically by determining that the lesion is located in a region lower or higher than a specific value input or set by the user.

이후 제어부(1100)는 관심 영역(ROI)에 대칭인 대칭 영역(C_ROI, contralateral ROI, 도 6 참조)을 선택할 수 있다. 이때 '대칭'은 대상자를 좌우로 나누는 시상면(sagittal plane)을 기준으로 할 수 있다. 예를 들어, 관심 영역(ROI)이 대상자 뇌의 좌반구(left hemisphere)에 위치하는 경우, 대칭 영역(C_ROI)은 뇌의 우반구(right hemisphere)에 위치한다. 대칭의 기준이 되는 대칭면(symmetry plane) 또는 대칭선(SL, symmetry line, 도 4 참조)은 사용자가 직접(manually) 설정할 수도 있으나, 영상 처리 기법 등을 통해 자동(auto) 또는 반자동(semi-auto)으로 설정될 수도 있다. 예컨대 제어부(1100)가 대상자 뇌 영상의 대칭면 또는 대칭선(SL)을 산출한 후에, 사용자는 대칭면 또는 대칭선(SL)의 각도 및/또는 위치를 미세하게 조정하여 최종 대칭면 또는 대칭선(SL)을 설정할 수 있다. Thereafter, the controller 1100 may select a symmetric region C_ROI, contralateral ROI (see FIG. 6) that is symmetric to the ROI. In this case, 'symmetry' may be based on a sagittal plane dividing the subject from side to side. For example, when the ROI is located in the left hemisphere of the subject brain, the symmetry area C_ROI is located in the right hemisphere of the brain. The symmetry plane or the symmetry line (SL, symmetry line (see FIG. 4)), which is a reference for symmetry, may be manually set by the user, but may be automatically or semi-automatic through image processing techniques. It may also be set to). For example, after the controller 1100 calculates the plane of symmetry or the line of symmetry of the subject brain image, the user finely adjusts the angle and / or the position of the plane of symmetry or the line of symmetry line SL to make the final plane of symmetry or the line of symmetry SL. Can be set.

이후 제어부(1100)는 관심 영역(ROI)과 대칭 영역(C_ROI)을 이용하여 관심 영역(ROI)의 복셀 별 비대칭도 데이터를 산출할 수 있다. "비대칭도"는 뇌 조직 손상 정도 또는 병변의 진행 정도를 정량화한 지표를 의미할 수 있다. 비대칭도는 관심 영역(ROI) 각각의 복셀 별로 산출될 수 있다. 이때 복셀 별 비대칭도 데이터는 정상 영역인 대칭 영역(C_ROI)의 신호 세기 대비 관심 영역(ROI)의 신호 세기의 상대 비율 정보를 포함할 수 있다. 비대칭도는 예컨대 'rFLAIR'라는 지표를 통해 정량화될 수 있는데 이에 관해서는 도 6에 관련된 설명에서 후술한다. Thereafter, the controller 1100 may calculate asymmetry data for each voxel of the ROI by using the ROI and the symmetry region C_ROI. “Asymmetry” may refer to an indicator that quantifies the extent of brain tissue damage or the progression of a lesion. The asymmetry may be calculated for each voxel of each ROI. In this case, the asymmetry data for each voxel may include information about a relative ratio of the signal strength of the ROI to the signal strength of the symmetric region C_ROI which is a normal region. The degree of asymmetry can be quantified, for example, via an indicator 'rFLAIR', which will be described later in the description related to FIG. 6.

이후, 제어부(1100)는 복셀 별 비대칭도 데이터를 가공하여 입력 데이터를 획득한 후, 병변의 발생 시점을 추정하기 위한 추정 모델에 입력할 수 있다. 이때 '추정 모델'은 복수 명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터와 병변 발생 시점의 상관관계를 표현하는 입출력함수일 수 있다. Thereafter, the controller 1100 may process the asymmetry data for each voxel to obtain input data, and then input the same to an estimation model for estimating the occurrence time of the lesion. In this case, the 'estimate model' may be an input / output function expressing a correlation between learning input data obtained from brain image data of a plurality of data providers and a lesion occurrence time.

일 실시예에 따른 추정 모델은 기계 학습(Machine Learning) 기법으로 생성된 것일 수 있다. 병변 발생 시점 추정 장치(1000)는 이와 같은 추정 모델을 트레이닝 및/또는 학습시키기 위해 다양한 기법들을 사용할 수 있다. 가령 병변 발생 시점 추정 장치(1000)는 복수 명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터를 분류하기 위해 Logistic regression, Decision tree, Nearest-neighbor classifier, Kernel discriminate analysis, Neural network, Support Vector Machine, Random forest, Boosted tree 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다. 다만 이는 예시적인 것으로 본 발명이 이에 제한되는 것은 아니다. The estimation model according to an embodiment may be generated by a machine learning technique. The lesion occurrence time estimation apparatus 1000 may use various techniques for training and / or learning such an estimation model. For example, the lesion occurrence estimation apparatus 1000 may classify learning input data obtained from brain image data of a plurality of data providers, such as Logistic regression, Decision tree, Nearest-neighbor classifier, Kernel discriminate analysis, Neural network, Support Vector Machine, Random Algorithms and / or methods (such as forests and boosted trees) can be used. However, this is merely exemplary and the present invention is not limited thereto.

일 실시예에 따른 추정 모델은, 벡터 형태로 표현될 수 있는 병변 발생 시점 추정 데이터에 학습용 입력 데이터를 매핑(mapping)하는 행렬 데이터 세트일 수 있다. 이때 추정 모델을 '트레이닝' 또는 '학습'시킨다는 것은, 학습용 입력 데이터를 추정 모델에 입력하였을 때 나온 출력값이 라벨링(labeling) 된 실제의 병변 발생 시점 데이터에 가까워지도록 오류 역전파(error back-propagation) 기법 등을 통해 상기 행렬 데이터 세트의 값을 조절하는 것을 의미할 수 있다.The estimation model according to an embodiment may be a matrix data set for mapping learning input data to lesion occurrence time estimation data that may be expressed in a vector form. 'Training' or 'learning' the estimation model means error back-propagation so that the output from inputting the training input data into the estimation model is closer to the actual point of occurrence data labeled. The technique may mean adjusting the value of the matrix data set.

일 실시예에 따르면, 추정 모델은 특정 대상자의 병변 발생 시점이 기정 시점 이전 또는 이후일 확률을 출력하는 입출력함수일 수 있다. 상기 기정 시점은 촬영을 통해 뇌 영상 데이터가 최초로 획득된 시점, 예컨대 자기공명영상 촬영 시점으로부터 4.5시간 전 또는 6시간 전일 수 있으나 본 발명이 이에 제한되는 것은 아니다. 즉 추정 모델은 병변 또는 뇌경색의 발병 시점(stroke onset time)으로부터 뇌 영상을 획득한 시점까지의 간격이 기정된 기간 이내인지 아닌지를 판단할 수 있다. 예컨대, 추정 모델은 대상자의 병변 발생 시점이 뇌 영상이 촬영된 시점으로부터 6시간 전일 확률을 계산할 수 있다. 이때, 추정 모델은 복셀 별 비대칭도 데이터와 병변 발생 시점의 상관관계를 학습하여 병변 발생 시점을 추정하는 모델일 수 있다.According to an embodiment, the estimation model may be an input / output function that outputs a probability that the lesion occurrence time of a specific subject is before or after the predetermined time point. The predetermined time point may be 4.5 hours or 6 hours before the brain image data is first obtained, for example, when the MR image is captured, but the present invention is not limited thereto. That is, the estimation model may determine whether the interval from the stroke onset time of the lesion or cerebral infarction to the point of time of acquiring the brain image is within a predetermined period. For example, the estimation model may calculate a probability that the lesion occurrence time of the subject is 6 hours before the time when the brain image was taken. In this case, the estimation model may be a model for estimating a lesion occurrence time by learning a correlation between voxel asymmetry data and a lesion occurrence time.

출력부(1200)는 병변 발생 시점 추정 장치(1000)에서 처리되는 정보를 표시 출력한다. 출력부(1200)는 병변 발생 시점 추정 결과 및 뇌 영상 데이터를 입력받기 위한 사용자 인터페이스 등을 디스플레이하는 디스플레이부를 포함할 수 있다. 사용자는 출력부(1200)에 나타난 병변 발생 시점 결과를 참고하여 대상자의 치료법을 결정할 수 있다. The output unit 1200 displays and outputs information processed by the lesion occurrence time estimating apparatus 1000. The output unit 1200 may include a display unit for displaying a lesion occurrence time estimation result and a user interface for receiving brain image data. The user may determine the treatment of the subject by referring to the result of the lesion occurrence time displayed on the output unit 1200.

도 2는 본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법을 나타낸 흐름도이다. 일 실시예에 따른 병변 발생 시점 추정 방법은 관심 영역 선택 단계(S210), 대칭 영역 선택 단계(S220), 비대칭도 산출 단계(S230), 입력 단계(S240) 및 출력 단계(S250)를 포함한다. 2 is a flowchart illustrating a method for estimating lesion occurrence time according to an embodiment of the present invention. A method for estimating lesion occurrence time according to an embodiment includes a region of interest selection step S210, a symmetry region selection step S220, an asymmetry calculation step S230, an input step S240, and an output step S250.

도 2를 참조하면, 대상자의 뇌 영상 데이터에서 대상자의 병변 위치에 대응하는 관심 영역(ROI)을 선택하는 관심 영역 선택 단계(S210)가 수행된다. 상기 단계(S210)는 제어부(1100)에 의해 자동 또는 반자동으로 수행될 수 있다. 관심 영역 선택 단계(S210)는 정합(coregistration) 단계, 중앙 정렬 단계 등을 포함할 수 있는데 이에 관해서는 도 3 내지 도 6과 관련된 설명에서 후술하기로 한다. Referring to FIG. 2, a region of interest selection step S210 of selecting a region of interest ROI corresponding to a lesion location of a subject from brain image data of the subject is performed. The step S210 may be performed automatically or semi-automatically by the controller 1100. The ROI selection step S210 may include a matching step, a centering step, and the like, which will be described later with reference to FIGS. 3 to 6.

이후, 관심 영역(ROI)에 대칭인 대칭 영역(C_ROI)을 선택하는 대칭 영역 선택 단계(S220)가 수행된다. 대칭 영역(C_ROI)을 선택하기 전에는 뇌 영상 데이터를 중앙 맞춤하는 단계가 수행될 수 있는데 이에 관해서는 도 5와 관련된 설명에서 후술하기로 한다.Thereafter, a symmetric region selection step S220 of selecting a symmetric region C_ROI symmetrical to the ROI is performed. Before selecting the symmetry region C_ROI, centering the brain image data may be performed, which will be described later with reference to FIG. 5.

이후, 비대칭도 산출 단계(S230)가 수행된다. 비대칭도 산출 단계(S230)에서는 관심 영역(ROI)과 대칭 영역(C_ROI)의 신호 세기 차이를 이용하여 관심 영역(ROI)에 포함된 복셀 각각의 비대칭도 데이터를 산출한다. Thereafter, asymmetry calculation step S230 is performed. In the asymmetry calculation step S230, asymmetry data of each of the voxels included in the ROI is calculated by using signal strength differences between the ROI and the symmetry region C_ROI.

이후, 복셀 별 비대칭도 데이터로부터 입력 데이터를 획득한 후, 추정 모델에 입력 데이터를 입력하는 입력 단계(S240)가 수행된다. 입력 데이터는 비대칭도에 따른 복셀의 개수 분포(distribution) 정보를 포함할 수 있는데, 이에 관해서는 도 10과 관련된 설명에서 후술하기로 한다. 입력 단계(S240)는 추정 모델에 입력할 입력 데이터를 선택, 생성 또는 전처리(pre-processing)하는 단계를 포함할 수 있다. Subsequently, after input data is obtained from asymmetry data for each voxel, an input step S240 of inputting input data into an estimation model is performed. The input data may include information on the number distribution of voxels according to asymmetry, which will be described later in the description of FIG. 10. The input step S240 may include selecting, generating, or pre-processing input data to be input to the estimation model.

한편, 추정 모델은 외부의 장치에서 학습/생성된 것일 수 있으나, 본 발명의 일 실시예에 따른 병변 발생 시점 추정 장치(1000)의 제어부(1100)에서 학습/생성된 것일 수도 있다. 추정 모델이 제어부(1100)에서 트레이닝 되는 경우에는, 특정 대상자의 병변 발생 시점을 추정하기 이전에 추정 모델을 트레이닝하는 단계를 수행하여야 한다. The estimation model may be learned / generated by an external device, or may be learned / generated by the controller 1100 of the apparatus for estimating lesion occurrence time 1000 according to an embodiment of the present invention. When the estimation model is trained in the control unit 1100, the estimation model should be trained before estimating a lesion occurrence time of a specific subject.

일 실시예에 따른 병변 발생 시점 추정 방법은, 관심 영역 선택 단계(S210) 이전에 추정 모델을 트레이닝하는 단계를 더 포함할 수 있다. 이때 추정 모델 트레이닝 단계는 복수 명의 데이터 제공자의 뇌 영상 데이터 및 병변 발생 시점 데이터로부터 학습용 데이터를 획득하는 단계 및 상기 학습용 데이터를 이용하여 추정 모델을 기계 학습시키는 단계를 포함할 수 있다.The method of estimating lesion occurrence time according to an embodiment may further include training the estimation model before the region of interest selection step S210. In this case, the estimating model training step may include acquiring training data from brain image data and lesion occurrence time data of a plurality of data providers, and machine learning the estimation model using the training data.

입력 단계(S240) 이후에는 추정 모델의 출력값을 기초로 병변의 발생 시점을 추정하여 출력하는 출력 단계(S250)가 수행된다. After the input step S240, an output step S250 of estimating and generating a lesion occurrence time based on an output value of the estimation model is performed.

즉, 본 발명의 일 실시예에 의한 병변 발생 시점 추정 방법에서는, 뇌 영상 데이터를 처리하여 얻은 복셀 별 비대칭도 데이터로부터 입력 데이터를 획득한 후, 이를 병변 발생 시점을 추정하도록 미리 학습/생성된 추정 모델에 입력하여 나온 값을 출력해 특정 대상자의 병변 발생 시점을 추정한다. That is, in the method for estimating lesion occurrence time according to an embodiment of the present invention, after obtaining input data from asymmetry data for each voxel obtained by processing brain image data, the pre-learned / generated estimation is performed to estimate the lesion occurrence time. Output the input values to the model to estimate the time of lesion occurrence in a particular subject.

이하, 도 3 내지 도 9를 참조하여 트레이닝 된 추정 모델을 이용해 특정 대상자의 병변 발생 시점을 추정하는 방법을 단계별로 상세히 설명한다. Hereinafter, a method of estimating a lesion occurrence time of a specific subject using a trained estimation model will be described in detail with reference to FIGS. 3 to 9.

도 3은 영상 정합 전후의 뇌 영상 데이터를 나타낸 그림이다. 3 is a diagram illustrating brain image data before and after image registration.

일 실시예에 따르면, 관심 영역 선택 단계(S210)는, 대상자의 제1 뇌 영상 데이터 및 제2 뇌 영상 데이터를 획득하는 데이터 획득 단계를 포함할 수 있다. 이때 데이터 획득 단계는, 확산강조영상(DWI) 데이터(이하, DWI 데이터)로부터 제1 뇌 영상 데이터를 획득하는 단계 및 액체감쇠역전회복영상(FLAIR) 데이터(이하, FLAIR 데이터)로부터 제2 뇌 영상 데이터를 획득하는 단계를 포함할 수 있다. According to an embodiment, the region of interest selection step S210 may include a data acquisition step of acquiring first brain image data and second brain image data of the subject. In this case, the data acquiring step may include acquiring first brain image data from DWI data (hereinafter referred to as DWI data) and second brain image from FLAM data (hereinafter referred to as FLAIR data). Obtaining data.

데이터 획득 단계에서는, 복수 종류의 뇌 영상 데이터가 획득될 수 있다. 예컨대 뇌 영상 데이터는 제1 뇌 영상 데이터 및 제2 뇌 영상 데이터를 포함할 수 있다. 일 실시예에 따르면 제1 뇌 영상 데이터는 DWI 데이터를 가공하여 얻은 ADC(Apparent Diffusion Coefficient) 영상 데이터일 수 있고, 제2 뇌 영상 데이터는 FLAIR 데이터를 처리하여 얻은 영상 데이터일 수 있다. In the data acquisition step, a plurality of types of brain image data may be acquired. For example, the brain image data may include first brain image data and second brain image data. According to an embodiment, the first brain image data may be ADC (Apparent Diffusion Coefficient) image data obtained by processing DWI data, and the second brain image data may be image data obtained by processing FLAIR data.

DWI 데이터는 조직 내 물 분자의 확산 속도를 측정하는 기법을 통해 얻은 영상 데이터로, 일반적으로 뇌혈관 폐색에 의한 병변을 발견할 수 있는 영상 처리 방식이다. 이때, 확산 속도는 경사 자장의 세기를 나타내는 b 값(b-value)에 의해 정해진다.DWI data is image data obtained by measuring the diffusion rate of water molecules in tissues. In general, DWI data is an image processing method for detecting lesions caused by cerebrovascular occlusion. At this time, the diffusion speed is determined by a b-value indicating the strength of the gradient magnetic field.

ADC 영상 데이터는 서로 다른 b 값을 가지는 DWI 영상의 신호 세기 변화를 나타낸다. 본 발명의 일 실시예에서는, 아래의 <수학식 1>과 같이 b=0, b=1000일 때의 DWI 영상의 신호 세기 차이를 이용하여 ADC 값을 산출하였으나 본 발명이 이에 제한되는 것은 아니다. The ADC image data represents a change in signal strength of DWI images having different b values. In an embodiment of the present invention, the ADC value is calculated using the signal strength difference of the DWI image when b = 0 and b = 1000 as shown in Equation 1 below, but the present invention is not limited thereto.

<수학식 1><Equation 1>

Figure 112017122636507-pat00001
Figure 112017122636507-pat00001

한편, FLAIR 데이터는 뇌척수액의 신호를 억제하는 반전회복(inversion recovery) 기법을 통해 얻은 영상의 일종이다. FLAIR 데이터는 아급성 뇌경색 환자에서 높은 민감도를 보이며 뇌 조직 손상이 심할수록 신호 세기가 강해지는 특징을 가진다. On the other hand, FLAIR data is a kind of image obtained through the inversion recovery technique that suppresses the signal of the cerebrospinal fluid. FLAIR data show high sensitivity in patients with subacute cerebral infarction, and the more severe the brain tissue damage, the stronger the signal strength.

ADC 영상 데이터와 FLAIR 데이터는 각기 다른 기법을 통해 얻은 데이터이므로, 뇌경색 발병 후 시간에 따른 조직의 손상 정도가 다르게 나타날 수 있다. 본 발명의 일 실시예에서는 이러한 ADC 영상 데이터와 FLAIR 데이터의 차이를 이용하여 병변 발생 시점을 추정한다. Since ADC image data and FLAIR data are obtained through different techniques, the degree of damage to tissues may vary over time after cerebral infarction. In one embodiment of the present invention, the lesion occurrence time is estimated using the difference between the ADC image data and the FLAIR data.

그런데, ADC 영상 데이터와 FLAIR 데이터는 각각 다른 방식과 시점에서 촬영하여 얻은 데이터이므로 복셀의 크기 및 좌표상에서의 뇌의 위치가 다를 수 있다. 따라서 ADC 영상 데이터와 FLAIR 데이터를 '비교'하기 전, 두 영상을 '정합'하는 단계가 수행될 수 있다. 즉 일 실시예에 따르면, 대상자의 제1 뇌 영상 데이터 및 제2 뇌 영상 데이터를 획득하는 데이터 획득 단계 후에는 제1 뇌 영상 데이터 및 제2 뇌 영상 데이터를 정합하는 단계가 수행될 수 있다. 본 발명의 일 실시예에서는, ADC 영상을 리샘플링(resampling)하여 복셀의 크기를 FLAIR와 일치시킨 후 강체 정합(rigid registration)을 수행하였다. However, since the ADC image data and the FLAIR data are obtained by photographing images from different methods and viewpoints, the size of the voxel and the brain position on the coordinates may be different. Therefore, the step of 'matching' the two images may be performed before 'compare' the ADC image data and the FLAIR data. That is, according to an embodiment, after the data acquisition step of acquiring the first brain image data and the second brain image data of the subject, the step of matching the first brain image data and the second brain image data may be performed. In one embodiment of the present invention, by resampling the ADC image to match the size of the voxel with FLAIR, rigid registration was performed.

도 3의 (a) 및 (b)를 참조하면, 영상 처리 및 정합 전후의 DWI (b=0) 영상, DWI (b=1000) 영상, ADC(Apparent Diffusion Coefficient) 영상, FLAIR 영상이 각각 나타난다. 정합 단계 이전에는 영상 처리를 통해 두개골(skull) 영역을 제거하는 단계가 수행될 수 있다. Referring to FIGS. 3A and 3B, before and after image processing and registration, DWI (b = 0) images, DWI (b = 1000) images, ADC (Apparent Diffusion Coefficient) images, and FLAIR images are displayed. Prior to the matching step, a step of removing a skull region through image processing may be performed.

도 4는 중앙 맞춤 전후의 뇌 영상 데이터를 나타낸 그림이다. 4 is a diagram illustrating brain image data before and after centering.

일 실시예에 따른 뇌경색 환자의 병변 발생 시점 추정 방법은, 대칭 영역(C_ROI) 선택 단계 전에 뇌 영상 데이터의 대칭선(SL)을 산출하는 단계를 더 포함할 수 있다. 본 발명의 일 실시예에서는, b=0인 DWI 영상에서 뇌에 해당하는 영역을 바이너리 마스크(binary mask)를 이용하여 선택하고, 영상의 중앙선(ML)을 기준으로 오른쪽의 뇌 영역을 왼쪽으로 반전(inversion)시켰을 때 왼쪽의 뇌 영역과 중첩(overlap)되는 정도를 정량화하여 대칭선(SL)을 추출한다. 이때 반전된 오른쪽의 뇌 영역과 왼쪽의 뇌 영역이 중첩되는 정도를 정량화하는 척도인 DSC(Dice similarity coefficient) 값은 아래 <수학식 2>와 같이 정해질 수 있다. According to an embodiment, the method of estimating a lesion occurrence time of a cerebral infarction may further include calculating a symmetry line SL of brain image data before selecting a symmetry region C_ROI. In an embodiment of the present invention, a region corresponding to the brain is selected using a binary mask in a DWI image having b = 0, and the right brain region is inverted to the left based on the centerline ML of the image. When inversion, the symmetry line SL is extracted by quantifying the degree of overlap with the left brain region. In this case, a DSC (Dice similarity coefficient) value, which is a measure of quantifying the degree of overlapping the inverted right brain region and the left brain region, may be determined as in Equation 2 below.

<수학식 2><Equation 2>

Figure 112017122636507-pat00002
Figure 112017122636507-pat00002

여기서 |X|는 바이너리 마스크(binary mask)를 통해 얻은 뇌 영역의 복셀의 개수이며, |Y|는 중앙선(ML)을 기준으로 반전시킨 영역의 복셀의 개수이며, |X∩Y|는 중첩 영역의 복셀의 개수이다. 이때 중앙선(ML) 또는 뇌 영역을 평행이동 및/또는 회전이동하여, DSC 값을 가장 크게 하는 선을 대칭선(SL)으로 산출할 수 있다. Where | X | is the number of voxels in the brain region obtained through a binary mask, | Y | is the number of voxels in the inverted region with respect to the center line ML, and | X∩Y | is the overlap region. Is the number of voxels. At this time, the center line ML or the brain region may be parallelly moved and / or rotated to calculate a line having the largest DSC value as the symmetric line SL.

도 4의 (a)를 참조하면, 뇌 영상 촬영 당시 대상자의 움직임 등으로 인하여 영상의 중앙선(midline, ML)이 시상면(sagittal plane)을 지나는 대칭선(SL)과 어긋나 있다. 그러나 중앙 맞춤을 수행하는 경우, 도 4 (b)와 같이 중앙선(ML)과 대칭선(SL)이 일치하게 된다. Referring to (a) of FIG. 4, the midline (ML) of the image is shifted from the symmetry line (SL) passing through the sagittal plane due to the movement of the subject during brain imaging. However, when centering is performed, the center line ML and the symmetry line SL coincide with each other as shown in FIG. 4 (b).

도 5는 제1 뇌 영상 데이터의 병변 영역(L)을 나타낸 그림이다. 5 is a diagram illustrating a lesion area L of the first brain image data.

병변(lesion)이 위치하는 영역은 DWI 또는 ADC 영상 데이터에서의 신호 세기가 정상 영역과 다르기 때문에, ADC 영상 데이터에서 신호 세기가 일정 크기(threshold, T) 이하인 영역을 선택하여 병변이 위치하는 것으로 추정되는 영역을 선택할 수 있다. 이때 상기 일정 크기(T)는 기 설정되거나 사용자가 조절할 수 있다. 도 5의 (a), (b), (c), (d)는 각각 역치 값(T)을 500, 550, 600, 650으로 설정하였을 때의 병변 영역(L)을 예시한 그림이다. 이때 사용자는 출력부(1200)에 표시된 ADC 영상의 병변 영역(L)의 모양(contour)이 DWI 영상의 밝은 영역과 일치하는지를 등을 기준으로 적절한 역치 값(T)을 결정할 수 있다. Since the signal intensity in the DWI or ADC image data is different from the normal region in the region where the lesion is located, it is assumed that the lesion is located by selecting an area where the signal strength is less than a predetermined size (T) in the ADC image data. Can be selected. In this case, the predetermined size T may be preset or adjusted by the user. (A), (b), (c), and (d) of FIG. 5 are diagrams illustrating the lesion area L when the threshold values T are set to 500, 550, 600, and 650, respectively. In this case, the user may determine an appropriate threshold value T based on whether the contour of the lesion area L of the ADC image displayed on the output unit 1200 matches the bright area of the DWI image.

도 6은 제1 뇌 영상 데이터의 병변 영역(L)과 제2 뇌 영상 데이터의 관심 영역(ROI) 및 대칭 영역(C_ROI)을 나타낸 그림이다. FIG. 6 is a diagram illustrating a lesion area L of the first brain image data, a region of interest ROI, and a symmetry region C_ROI of the second brain image data.

본 발명의 일 실시예에서는, 제1 뇌 영상 데이터에서 병변이 위치한 것으로 추정되는 병변 영역(L)을 선택한 후, 이에 병변 영역(L)에 정합하는 제2 뇌 영상 데이터의 영역을 관심 영역(ROI)으로 선택할 수 있다. 예컨대 일 실시예에서는, ADC 영상 데이터에서 병변 영역(L)을 선택하고, 이를 정합된 FLAIR 데이터에 매핑(mapping)하여 FLAIR 데이터에서 관심 영역(ROI)을 선택한다. 이러한 매핑 과정을 통해, DWI 데이터와 FLAIR 데이터의 신호 차이 정보가 반영되어, 뇌경색 시점 예측 정확도가 향상된다. In an embodiment of the present invention, after selecting the lesion area L from which the lesion is estimated in the first brain image data, the region of the second brain image data matching the lesion area L is selected as the ROI. Can be selected. For example, in one embodiment, the lesion area L is selected from the ADC image data, and mapped to the matched FLAIR data to select the ROI from the FLAIR data. Through this mapping process, signal difference information between the DWI data and the FLAIR data is reflected, thereby improving the prediction accuracy of cerebral infarction.

이후, 대칭 영역 선택 단계(S220)가 수행된다. 대칭 영역(C_ROI)은 상술한 대칭선(SL)을 기준으로 관심 영역(ROI)과 좌우 대칭일 수 있다. 이때 관심 영역(ROI)은 대상자 뇌의 병변에 대응할 수 있고, 대칭 영역(C_ROI)은 대상자 뇌의 정상 부위에 대응할 수 있다. 한편, 대칭 영역(C_ROI) 선택 시, 노이즈(noise)를 제거하는 단계가 수행될 수 있다. 예컨대, 대칭 영역(C_ROI)에서 제2 뇌 영상 데이터의 신호 세기가 일정 크기 이상 또는 이하인 값은 제거될 수 있다. 이와 같은 과정에서, 예컨대 '뇌척수액'에 대응하는 영역 대칭 영역(C_ROI)으로부터 제거될 수 있다. 이에 따라 '조직(tissue)'에 해당하는 복셀만이 대칭 영역(C_ROI)에 포함될 수 있다. Thereafter, a symmetric region selection step S220 is performed. The symmetry region C_ROI may be symmetrical with the ROI based on the above-described symmetry line SL. In this case, the ROI may correspond to a lesion of the subject brain, and the symmetry region C_ROI may correspond to a normal region of the subject brain. Meanwhile, when selecting the symmetry region C_ROI, a step of removing noise may be performed. For example, a value in which the signal strength of the second brain image data is greater than or equal to a predetermined size or less in the symmetry region C_ROI may be removed. In this process, for example, it may be removed from the region symmetry region (C_ROI) corresponding to the 'cerebrospinal fluid'. Accordingly, only voxels corresponding to 'tissue' may be included in the symmetry region C_ROI.

관심 영역(ROI)과 대칭 영역(C_ROI)을 선택한 후에는 복셀 별 비대칭도 데이터를 얻는 비대칭도 산출 단계(S230)가 수행된다. 상술하였듯, "비대칭도"는 뇌의 손상 정도 또는 병변의 진행 정도를 정량화한 지표일 수 있다. 비대칭도는 관심 영역(ROI)에 포함된 각각의 복셀마다 산출될 수 있다. 이때 복셀 별 비대칭도 데이터는 정상 영역인 대칭 영역(C_ROI)의 신호 세기 대비 관심 영역(ROI)의 신호 세기의 비율 정보를 포함할 수 있다. After selecting the ROI and the symmetry region C_ROI, an asymmetry calculation step S230 of obtaining asymmetry data for each voxel is performed. As described above, "asymmetry" may be an indicator for quantifying the degree of damage to the brain or the progression of the lesion. Asymmetry may be calculated for each voxel included in the region of interest (ROI). In this case, the asymmetry data for each voxel may include ratio information of signal strength of the ROI of the ROI of the symmetric region C_ROI which is a normal region.

일 실시예에 따르면, 비대칭도 산출 단계는, 관심 영역(ROI)의 각 복셀의 신호 크기와 대칭 영역(C_ROI)의 전체 복셀 신호의 평균값의 차이를 계산하는 단계를 포함할 수 있다. According to an embodiment, calculating the asymmetry may include calculating a difference between a signal size of each voxel of the ROI and an average value of all voxel signals of the symmetry area C_ROI.

비대칭도는 예컨대 'rFLAIR'라는 지표를 통해 아래의 <수학식 3>과 같이 정량화될 수 있다.The degree of asymmetry can be quantified as shown in Equation 3 below, for example, through an indicator of 'rFLAIR'.

<수학식 3><Equation 3>

Figure 112017122636507-pat00003
Figure 112017122636507-pat00003

여기서, x 및 y는 각 복셀의 좌표를 나타내고,

Figure 112017122636507-pat00004
는 관심 영역(ROI)에 위치한 각 복셀에서의 FLAIR 신호의 크기를 나타내며,
Figure 112017122636507-pat00005
는 대칭 영역(C_ROI)의 FLAIR 신호 평균값을 나타낸다. Where x and y represent the coordinates of each voxel,
Figure 112017122636507-pat00004
Represents the magnitude of the FLAIR signal in each voxel located in the region of interest (ROI),
Figure 112017122636507-pat00005
Denotes the average value of the FLAIR signal in the symmetry region C_ROI.

본 발명의 일 실시예에서는 위의 <수학식 3>과 같이 '대칭 영역(C_ROI)의 전체 복셀 신호의 평균값'을 기준으로 관심 영역(ROI)의 각 복셀의 비대칭도를 산출할 수 있다. 이 경우, 관심 영역(ROI)의 특정 복셀에 대응하는 대칭 영역(C_ROI)의 복셀 하나의 신호 크기를 기준으로 하는 것보다 더욱 강건하게(robust) 각 복셀의 비대칭도를 산출할 수 있다.In an embodiment of the present invention, as shown in Equation 3, the asymmetry of each voxel of the ROI may be calculated based on the average value of all voxel signals of the symmetrical region C_ROI. In this case, the asymmetry of each voxel may be calculated more robustly than the signal size of one voxel of the symmetric area C_ROI corresponding to the specific voxel of the ROI.

도 7은 일 실시예에 따른 비대칭도 산출 방법을 나타낸 그림이다. 7 is a diagram illustrating a method of calculating asymmetry according to an embodiment.

일 실시예에 따르면, 비대칭도 산출 단계(S230)는, 관심 영역(ROI)의 크기가 기정 크기 이하인 경우, 대칭 영역(C_ROI)보다 크기가 큰 확장 영역(E_ROI, extended ROI)을 선택하는 단계 및 관심 영역(ROI)의 각 복셀의 신호 크기와 확장 영역(E_ROI)의 전체 복셀 신호의 평균값의 차이를 계산하는 단계를 포함할 수 있다. According to an embodiment, the asymmetry calculation step S230 may include selecting an extended ROI (E_ROI) having a larger size than the symmetry area C_ROI when the size of the ROI is less than or equal to the predetermined size. The method may include calculating a difference between a signal size of each voxel of the ROI and an average value of all voxel signals of the extended area E_ROI.

도 7의 (a)를 참조하면, 제1 뇌 영상 데이터(ADC 영상 데이터로 예시됨) 크기가 작은 병변 영역(L)이 표시되어 있다. 이에 따라, 제1 뇌 영상 데이터와 정합된 제2 뇌 영상 데이터(FLAIR 데이터로 예시됨)에서도 역시 관심 영역(ROI)의 크기가 작게 나타난다. 이 경우, 관심 영역(ROI)과 대칭인 대칭 영역(C_ROI)의 신호 세기만을 기준으로 비대칭도를 산출하게 되면, 각 복셀의 신호 비대칭도가 대칭 영역(C_ROI)의 위치에 민감해지게(un-robust)된다. 따라서 본 발명의 일 실시예에서는, 관심 영역(ROI)의 크기가 일정 크기 이하인 경우 대칭 영역(C_ROI)보다 큰 '확장 영역(E_ROI)'을 선택한다. 이후, 확장 영역(E_ROI)의 신호 세기를 기준으로 관심 영역(ROI) 각 복셀의 비대칭도를 산출한다. Referring to FIG. 7A, a lesion area L having a small size of first brain image data (illustrated as ADC image data) is displayed. Accordingly, the size of the ROI is also small in the second brain image data (exemplified as FLAIR data) matched with the first brain image data. In this case, when the asymmetry is calculated based only on the signal strength of the symmetric region C_ROI symmetric with the ROI, the signal asymmetry of each voxel becomes unsensitive to the position of the symmetric region C_ROI. become robust. Therefore, in an embodiment of the present invention, when the size of the ROI is equal to or less than a predetermined size, the 'extended area E_ROI' is selected to be larger than the symmetric area C_ROI. Thereafter, the asymmetry of each voxel of the ROI is calculated based on the signal strength of the extended region E_ROI.

예컨대, 관심 영역(ROI)의 크기가 작은 경우, 관심 영역(ROI)의 각 복셀의 비대칭도는 아래의 <수학식 4>과 같이 정량화될 수 있다.For example, when the size of the ROI is small, the asymmetry of each voxel of the ROI may be quantified as shown in Equation 4 below.

<수학식 4><Equation 4>

Figure 112017122636507-pat00006
Figure 112017122636507-pat00006

여기서, x 및 y는 각 복셀의 좌표를 나타내고,

Figure 112017122636507-pat00007
는 관심 영역(ROI)에 위치한 각 복셀에서의 FLAIR 신호의 크기를 나타내며,
Figure 112017122636507-pat00008
는 "확장 영역(E_ROI)"의 FLAIR 신호 평균값을 나타낸다. Where x and y represent the coordinates of each voxel,
Figure 112017122636507-pat00007
Represents the magnitude of the FLAIR signal in each voxel located in the region of interest (ROI),
Figure 112017122636507-pat00008
Denotes the average value of the FLAIR signal of the "extended area E_ROI".

확장 영역(E_ROI)은, 대칭 영역(C_ROI)의 중심을 기준으로 일정 거리(r) 이내에 있는 영역일 수 있다. 이때 일정 거리(r)에 포함된 영역에 포함된 복셀 중 신호 세기가 기정 값(threshold) 이상 또는 이하의 복셀은 노이즈(noise)로 처리되어 제거될 수 있다. 본 발명의 일 실시예에서는 관심 영역(ROI)의 크기가 100mm2 이내인 경우에, 대칭 영역(C_ROI)의 중심과의 거리(r)가 13mm 이내인 영역을 확장 영역(E_ROI)으로 선택하도록 설정하였으나 본 발명이 이에 제한되는 것이 아님은 물론이다. The extended area E_ROI may be an area within a predetermined distance r with respect to the center of the symmetry area C_ROI. In this case, among the voxels included in the region included in the predetermined distance r, voxels having a signal strength greater than or equal to a threshold may be processed as noise and removed. According to an embodiment of the present invention, when the size of the ROI is within 100 mm 2 , an area where the distance r from the center of the symmetry area C_ROI is within 13 mm is set to be selected as the extended area E_ROI. However, the present invention is not limited thereto.

도 8은 복셀 별 비대칭도를 시각화하여 나타낸 그림이다. 복셀 별 비대칭도는 도 8과 같이 컬러 등고선도(color contour map)의 형태로 시각화될 수 있다. 이를 통해, 사용자는 위치에 따른 병변의 손상도를 쉽게 파악할 수 있다. 8 is a diagram visualizing the asymmetry of each voxel. Voxel-specific asymmetry can be visualized in the form of a color contour map (color contour map) as shown in FIG. Through this, the user can easily determine the degree of damage of the lesion according to the location.

도 9는 입력 단계(S240) 및 출력 단계(S250)를 개략적으로 나타낸 개념도이다. 9 is a conceptual diagram schematically illustrating an input step S240 and an output step S250.

복셀 별 비대칭도 데이터는 병변의 위치마다 손상이 어느 정도 진행되었는지에 관한 정보를 포함한다. 이때, 특정 대상자의 복셀 별 비대칭도 데이터를 가공해 입력 데이터를 획득한 후 추정 모델에 입력할 수 있다. 기 학습된 추정 모델은 입력 데이터를 받아 출력값(p)을 출력할 수 있다. 이때 출력값(p)은 병변 발생 시점이 특정 시점 이전 또는 이후일 확률을 의미하는 값일 수 있다. 예컨대, 병변 발생 시점이 뇌 영상 촬영 전 6시간 이전인지 이후인지를 판별(classification)하도록 추정 모델을 학습시키는 경우, 출력값(p)은 병변 발생 시점이 6시간 이내일 확률을 의미할 수 있다. 제어부는, 출력값(p)이 특정 값(threshold, T) 이상인 경우 병변 발생 시점이 특정 시점(t) 이후라고 판단할 수 있다. 특정 값(T)은 추정 모델의 학습 과정에서, 예측 정확도를 가장 높게 하는 값으로 설정될 수 있다. The voxel-specific asymmetry data contains information about how much damage progressed for each location of the lesion. In this case, the asymmetry data for each voxel of a specific subject may be processed and input data may be input to the estimation model. The previously trained estimation model may receive input data and output an output value p. In this case, the output value p may be a value representing the probability that the lesion occurrence time is before or after the specific time point. For example, when the estimation model is trained to classify whether the lesion occurrence time is 6 hours before or after brain imaging, the output value p may mean a probability that the lesion occurrence time is within 6 hours. If the output value p is equal to or greater than a specific value T, the controller may determine that the lesion occurrence time is after the specific time t. The specific value T may be set to a value having the highest prediction accuracy in the learning process of the estimation model.

출력부(1200)에 의해 병변 발생 시점을 출력하는 출력 단계(S250)가 완료되면, 사용자는 출력된 병변 발생 시점 추정 결과를 바탕으로 대상자의 치료 방안을 결정할 수 있다. When the output step S250 of outputting the lesion occurrence time is completed by the output unit 1200, the user may determine a treatment plan of the subject based on the output lesion estimation time point output.

<< MATLAB을MATLAB 이용한  Used 실시예Example >>

이하에서는 실시예를 통하여 본 발명의 구성 및 효과를 더욱 상세히 설명한다. 후술하는 실시예는 본 발명을 예시하기 위한 것일 뿐, 본 발명의 범위가 실시예에 의해 한정되는 것은 아니다.Hereinafter, the configuration and effects of the present invention through the embodiments will be described in more detail. The following examples are only for illustrating the present invention, but the scope of the present invention is not limited by the examples.

본 발명의 일 실시예에서는 MATLAB (Mathworks 社, MA, 미국)을 이용하여 병변 발생 시점을 추정하는 프로그램을 개발하였다. 한편, 기계 학습에는 통계 전문 소프트웨어인 R (R Foundation for Statistical Computing, Vienna, Austria)을 활용하였다. In an embodiment of the present invention, a program for estimating lesion incidence time was developed using MATLAB (Mathworks, MA, USA). The machine learning software, R (R Foundation for Statistical Computing, Vienna, Austria), was used.

본 발명의 일 실시예에서는 뇌경색 환자인 240명의 데이터 제공자에게서 학습용 입력 데이터를 획득하였고, 49명의 데이터 제공자로부터 얻은 데이터를 통해 추정 모델을 외적 검증(external validation)하였다. In one embodiment of the present invention, the learning input data was obtained from 240 data providers who are cerebral infarction patients, and the estimation model was externally validated using data obtained from 49 data providers.

도 10은 rFLAIR의 구간별 복셀 개수 그래프이다. 도 10에서는 0~1, 1~2, 2~3, … , 29~30, 30~100%와 같이 rFLAIR가 31개의 구간으로 나누어진 것을 예시하였으나 본 발명이 이에 제한되는 것은 아니다. 10 is a graph illustrating the number of voxels per section of rFLAIR. In Fig. 10, 0 to 1, 1 to 2, 2 to 3,. For example, rFLAIR is divided into 31 sections, such as 29 to 30 and 30 to 100%, but the present invention is not limited thereto.

일 실시예에 따르면, 추정 모델에 입력되는 입력 데이터는 비대칭도의 구간별 복셀 개수 데이터를 포함할 수 있다. According to an embodiment, the input data input to the estimation model may include voxel number data for each section of asymmetry.

병변 발생이 처음 시작된 후로부터 시간이 지날수록, 뇌 조직의 손상은 심해지고 이에 따라 비대칭도 역시 커지게 된다. 예컨대, 비대칭도(예컨대, rFLAIR)가 큰 복셀의 개수가 많으면, 병변 발생 시점이 뇌 영상 촬영 시점에서 먼 것으로 추정할 수 있다. 반대로 비대칭도가 작은 복셀의 개수가 많으면, 병변 발생 시점이 뇌 영상 촬영 시점과 가까운 것으로 추정할 수 있다. 즉 비대칭도가 어떻게 분포(distribution)하는지 정보를 통해 '병변 발생 시점'을 추론할 수 있다. 본 발명의 일 실시예에서는 기계 학습, 특히 인공신경망을 통해 비대칭도의 분포와 병변 발생 시점의 상관관계를 학습한다. Over time from the onset of lesion development, the damage to brain tissue becomes more severe and thus the asymmetry also increases. For example, when the number of voxels having a large asymmetry (eg, rFLAIR) is large, it may be estimated that the time of lesion occurrence is far from the time of brain imaging. On the contrary, when the number of voxels with small asymmetry is large, it may be estimated that the time of lesion occurrence is close to the time of brain imaging. That is, the time point of lesion occurrence can be inferred from the information on how the asymmetry is distributed. In an embodiment of the present invention, the correlation between the distribution of asymmetry and the time of lesion occurrence is learned through machine learning, in particular, an artificial neural network.

도 11은 일 실시예에 따른 추정 모델의 인공신경망 구조를 예시한 그림이다. 11 is a diagram illustrating an artificial neural network structure of the estimation model in accordance with an embodiment.

본 발명의 일 실시예에 따른 추정 모델은 인공신경망(Artificial Neural Network)을 기반으로 하는 모델일 수 있다. 인공신경망은 입력층(input layer), 은닉층(hidden layer), 출력층(output layer)을 포함하는 가상의 네트워크 구조일 수 있다. 도 11에서는 은닉층의 개수가 하나이고, 입력층의 노드(IL1, IL2, IL3, …, IL31) 개수가 31개, 은닉층의 노드(HL1, HL2, HL3, …, HL6)의 개수가 6개, 출력층의 노드(OL1, OL2)의 개수가 2개인 것을 예시하였으나 본 발명이 이에 제한되는 것이 아님은 물론이다. The estimation model according to an embodiment of the present invention may be a model based on an artificial neural network. The artificial neural network may be a virtual network structure including an input layer, a hidden layer, and an output layer. In FIG. 11, the number of hidden layers is one, the number of nodes IL 1 , IL 2 , IL 3 ,..., And IL 31 of the input layer is 31, and the nodes HL 1 , HL 2 , HL 3 ,. 6 ) and the number of nodes OL 1 and OL 2 of the output layer is 6, but the present invention is not limited thereto.

인공신경망의 입력층에는 입력 데이터가 입력될 수 있다. 이때 일 실시예에 따르면 입력층의 각각의 노드(IL1, IL2, IL3, …, IL31)에는 rFLAIR의 구간별 복셀 개수가 입력될 수 있다. 예컨대, 입력층의 제1 노드(IL1), 제2 노드(IL2), 제3 노드(IL3)에는 각각 0~1%, 1~2%, 2~3%의 rFLAIR 구간에서의 복셀 개수가 입력될 수 있다. 한편, 입력층의 제31 노드(IL31)에는 30~100%의 rFLAIR 구간에서의 복셀 개수가 입력될 수 있다. Input data may be input to an input layer of an artificial neural network. In this case, according to an embodiment, the number of voxels for each section of rFLAIR may be input to each node IL 1 , IL 2 , IL 3 ,..., IL 31 of the input layer. For example, the voxels in the rFLAIR intervals of 0-1%, 1-2%, and 2-3% are respectively provided to the first node IL 1 , the second node IL 2 , and the third node IL 3 of the input layer. The number can be input. Meanwhile, the number of voxels in an rFLAIR section of 30 to 100% may be input to the thirty-first node IL 31 of the input layer.

인공신경망의 은닉층의 각 노드(HL1, HL2, HL3, …, HL6)는 입력층의 노드(IL1, IL2, IL3, …, IL31)와 출력층의 노드(OL1, OL2)를 연결한다. Each node HL 1 , HL 2 , HL 3 ,…, HL 6 of the hidden layer of the artificial neural network is a node IL 1 , IL 2 , IL 3 ,…, IL 31 of the input layer and the node OL 1 , of the output layer. Connect OL 2 ).

인공신경망의 출력층에는 병변 발생 시점에 관한 정보가 출력될 수 있다. 예컨대, 출력층의 제1 노드(OL1)는 병변 발생 시점이 특정 시점 이후일 확률을 출력할 수 있고, 출력층의 제2 노드(OL2)는 병변 발생 시점이 특정 시점 이전일 확률을 출력할 수 있으나 본 발명이 이에 제한되는 것은 아니다. The output layer of the neural network may output information about the time point of the lesion. For example, the first node OL 1 of the output layer may output a probability that the point of occurrence of the lesion is after a specific point in time, and the second node OL 2 of the output layer may output a probability that the point of occurrence of the lesion is before a certain point in time. However, the present invention is not limited thereto.

즉 본 발명의 일 실시예에서는, 복셀 별 비대칭도 데이터를 통해 병변 발생 시점이 특정 시점 이전 또는 이후를 판별(classification)하도록 추정 모델을 학습시킬 수 있다. 이때 특정 시점은 예컨대 4.5시간, 6시간 등일 수 있으나 본 발명이 이에 제한되는 것은 아니다. That is, in one embodiment of the present invention, the estimation model may be trained so that the lesion occurrence time is classified before or after a specific time point through asymmetry data for each voxel. In this case, the specific time point may be, for example, 4.5 hours, 6 hours, and the like, but the present invention is not limited thereto.

아래의 [표 1]은 240명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터를 이용하여 병변 발생 시점을 추정하도록 기계 학습시킨 추정 모델의 정확도를 나타낸다. Table 1 below shows the accuracy of the estimation model that was machine-learned to estimate the time of lesion occurrence using learning input data obtained from brain image data of 240 data providers.

4.5시간4.5 hours 6시간6 hours
환자 수 (<시간)

Number of patients (<hour)

195

195

218

218

환자 수 (>시간)

Number of patients (> hours)

45

45

22

22

10-fold cross-validation accuracy
(평균

Figure 112017122636507-pat00009
표준편차)
10-fold cross-validation accuracy
(Average
Figure 112017122636507-pat00009
Standard Deviation)
0.83
Figure 112017122636507-pat00010
0.04

0.83
Figure 112017122636507-pat00010
0.04

0.89
Figure 112017122636507-pat00011
0.07

0.89
Figure 112017122636507-pat00011
0.07

위 표에서 보듯, 병변 발생 시점이 4.5시간 전인지 또는 6시간 전인지를 추정하도록 학습된 각 추정 모델의 교차 타당성 검증 정확도는 각각 약 0.83, 0.89로 높게 나타났다. As shown in the above table, the cross-validation verification accuracy of each estimation model trained to estimate whether the lesion occurred before 4.5 hours or 6 hours was high, about 0.83 and 0.89, respectively.

도 12는 SIR(signal intensity ratio)를 이용하여 기계 학습시킨 추정 모델과 rFLAIR를 이용하여 기계 학습시킨 추정 모델의 ROC 그래프를 비교한 그림이다. 각 추정 모델은 240명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터를 이용하여 병변 발생 시점이 6시간 이내인지를 판별하도록 기계 학습된 후, 다른 49명의 데이터 제공자의 뇌 영상 데이터를 통해 성능을 검증하였다. 12 is a diagram comparing ROC graphs of an estimation model machine trained using signal intensity ratio (SIR) and an estimation model machine trained using rFLAIR. Each estimation model is machine-learned to determine whether a lesion occurs within 6 hours using learning input data from brain image data of 240 data providers, and then verify performance through brain image data of 49 other data providers. It was.

도 12의 (a)는 SIR을 이용한 추정 모델의 ROC 그래프이다. SIR은 아래의 <수학식 5>를 통해 정의된다. 12A is a graph of ROC of the estimation model using SIR. SIR is defined by Equation 5 below.

<수학식 5><Equation 5>

Figure 112017122636507-pat00012
Figure 112017122636507-pat00012

여기서,

Figure 112017122636507-pat00013
는 관심 영역(ROI)의 FLAIR 신호 평균값을 나타내고,
Figure 112017122636507-pat00014
는 대칭 영역(C_ROI)의 FLAIR 신호 평균값을 나타낸다. 즉 SIR은 병변에 해당하는 관심 영역(ROI)의 신호 '평균값'을 이용하므로, '복셀 별'로 비대칭도를 산출하지 않고 '병변 전체'의 비대칭도만을 산출한다. here,
Figure 112017122636507-pat00013
Represents the average value of the FLAIR signal of the region of interest (ROI),
Figure 112017122636507-pat00014
Denotes the average value of the FLAIR signal in the symmetry region C_ROI. That is, since the SIR uses a signal 'average value' of a region of interest (ROI) corresponding to the lesion, only the asymmetry of the 'whole lesion' is calculated without calculating the asymmetry for each voxel.

반면, 도 12의 (b)는 본 발명의 일 실시예에 따른 rFLAIR를 이용한 추정 모델의 ROC 그래프이다. 상술하였듯 rFLAIR는 병변의 '복셀 별' 비대칭도 정보를 포함한다. 12 (b) is a ROC graph of an estimation model using rFLAIR according to an embodiment of the present invention. As mentioned above, rFLAIR contains 'voxel' asymmetry information of the lesion.

도 12를 참조하면, (a), (b) 그래프 각각의 AUC 값은 0.644, 0.758로, '복셀 별' 비대칭도를 활용한 rFLAIR 방식을 통해 학습시킨 추정 모델의 성능이 더 좋은 것을 확인할 수 있다. 또한, 아래의 [표 2]를 참조하면, 병변 발생 시점이 4.5시간 이내인지를 판별하도록 기계 학습시킨 경우에도 rFLAIR를 이용한 추정 모델의 AUC 값이 더 높음을 확인할 수 있다. Referring to FIG. 12, the AUC values of the graphs (a) and (b) are 0.644 and 0.758, respectively, and the performance of the estimated model trained through the rFLAIR method using the 'by voxel' asymmetry is better. . In addition, referring to [Table 2] below, even when the machine learning to determine whether the lesion occurred within 4.5 hours, it can be seen that the AUC value of the estimation model using the rFLAIR is higher.


AUC

AUC

4.5시간4.5 hours

6시간6 hours

SIR

SIR

0.524

0.524

0.644

0.644

rFLAIR

rFLAIR

0.647

0.647

0.758

0.758

즉 본 발명의 일 실시예에서는 '복셀 별' 비대칭도 데이터를 통해 병변의 불균질성(heterogeneity) 정보를 획득하여, 상기 불균질성 정보를 추정 모델의 학습에 반영할 수 있다. 즉 본 발명의 일 실시예에서는 병변의 불균질성(heterogeneity) 정보를 포함해 병변 발생 시점을 추정하므로, 병변 발생 시점 추정의 정확도가 향상된다. That is, in an embodiment of the present invention, the heterogeneity information of the lesion may be obtained through 'by voxel' asymmetry data, and the heterogeneity information may be reflected in the learning of the estimation model. That is, in one embodiment of the present invention, since the lesion occurrence time is estimated including heterogeneity information of the lesion, the accuracy of the lesion occurrence time estimation is improved.

이하에서는 제어부(1100)의 일 실시예를 구체적으로 서술한다. Hereinafter, an embodiment of the controller 1100 will be described in detail.

도 13은 일 실시예에 따른 제어부(1100)의 블록도이다.13 is a block diagram of the controller 1100 according to an exemplary embodiment.

도 13을 참조하면, 일 실시예에 따른 제어부(1100)는 데이터 학습부(1110) 및 데이터 인식부(1120)를 포함할 수 있다.Referring to FIG. 13, the controller 1100 according to an embodiment may include a data learner 1110 and a data recognizer 1120.

데이터 학습부(1110)는 병변 발생 시점을 추정하는 기준을 학습할 수 있다. 일 실시예에서 데이터 학습부(1110)는 데이터 학습부(1110)에 입력된 학습용 입력 데이터를 이용하여 소정의 기준을 학습할 수 있다. 데이터 학습부(1110)는 특히 복셀 별 비대칭도 데이터와 병변의 발생 시점의 상관관계를 학습할 수 있다. The data learner 1110 may learn a criterion for estimating a lesion occurrence time. In an embodiment, the data learner 1110 may learn a predetermined criterion by using the learning input data input to the data learner 1110. In particular, the data learner 1110 may learn the correlation between the asymmetry data of each voxel and the time of occurrence of the lesion.

데이터 인식부(1120)는 데이터에 기초하여 병변 발생 시점을 추정할 수 있다. 데이터 인식부(1120)는 학습된 데이터 인식 모델을 이용하여, 소정의 데이터로부터 병변 발생 시점을 추정할 수 있다. 데이터 인식부(1120)는 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델을 이용함으로써, 소정의 데이터에 기초하여 병변 발생 시점을 추정할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델에 의해 출력된 결과 값은, 데이터 인식 모델을 갱신하는데 이용될 수 있다.The data recognizer 1120 may estimate a lesion occurrence time based on the data. The data recognizing unit 1120 may estimate a lesion occurrence time from predetermined data by using the learned data recognition model. The data recognizing unit 1120 may acquire predetermined data according to a predetermined criterion by learning, and estimate a lesion occurrence time based on the predetermined data by using a data recognition model using the acquired data as an input value. have. In addition, the result value output by the data recognition model using the acquired data as an input value may be used to update the data recognition model.

데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.At least one of the data learner 1110 and the data recognizer 1120 may be manufactured in the form of at least one hardware chip and mounted on the electronic device. For example, at least one of the data learner 1110 and the data recognizer 1120 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or an existing general purpose processor (eg, a CPU). Alternatively, the electronic device may be manufactured as a part of an application processor or a graphics dedicated processor (eg, a GPU) and mounted on the aforementioned various electronic devices.

이 경우, 데이터 학습부(1110) 및 데이터 인식부(1120)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1110) 및 데이터 인식부(1120) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(1110) 및 데이터 인식부(1120)는 유선 또는 무선으로 통하여, 데이터 학습부(1110)가 구축한 모델 정보를 데이터 인식부(1120)로 제공할 수도 있고, 데이터 인식부(1120)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1110)로 제공될 수도 있다.In this case, the data learner 1110 and the data recognizer 1120 may be mounted on one electronic device or may be mounted on separate electronic devices, respectively. For example, one of the data learner 1110 and the data recognizer 1120 may be included in the electronic device, and the other may be included in the server. In addition, the data learner 1110 and the data recognizer 1120 may provide model information constructed by the data learner 1110 to the data recognizer 1120 via a wired or wireless connection. The data input to 1120 may be provided to the data learner 1110 as additional learning data.

한편, 데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나가 소프트웨어 모듈(또는, 명령(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다. Meanwhile, at least one of the data learner 1110 and the data recognizer 1120 may be implemented as a software module. When at least one of the data learning unit 1110 and the data recognizing unit 1120 is implemented as a software module (or a program module including an instruction), the software module may be computer readable non-transitory reading. It may be stored in a non-transitory computer readable media. In this case, at least one software module may be provided by an operating system (OS) or by a predetermined application. Alternatively, some of the at least one software module may be provided by an operating system (OS), and others may be provided by a predetermined application.

도 14는 일 실시예에 따른 데이터 학습부(1110)의 블록도이다.14 is a block diagram of a data learner 1110 according to an embodiment.

도 14를 참조하면, 일부 실시예에 따른 데이터 학습부(1110)는 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115)를 포함할 수 있다.Referring to FIG. 14, the data learner 1110 may include a data acquirer 1111, a preprocessor 1112, a training data selector 1113, a model learner 1114, and a model evaluator ( 1115).

데이터 획득부(1111)는 예컨대 외부의 뇌 영상 촬영 장치 또는 기 저장되어 있던 의료 데이터베이스(DB)에서 뇌 영상 데이터, 예컨대 자기공명영상 데이터를 수신할 수 있다. The data acquirer 1111 may receive brain image data, for example, magnetic resonance image data, from an external brain imaging apparatus or a previously stored medical database DB.

전처리부(1112)는 병변 발생 시점을 추정하기 위한 학습/트레이닝에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1112)는 후술할 모델 학습부(1114)가 병변 발생 시점을 추정하기 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다. 예를 들어, 전처리부(1112)는 입력된 뇌 영상으로부터 학습용 입력 데이터 및 입력 데이터를 선택/생성하는 작업을 수행할 수 있다.The preprocessor 1112 may preprocess the acquired data so that the acquired data may be used for learning / training for estimating the time of lesion occurrence. The preprocessor 1112 may process the acquired data into a preset format so that the model learner 1114, which will be described later, uses the acquired data for learning to estimate a lesion occurrence time. For example, the preprocessor 1112 may perform a task of selecting / generating learning input data and input data from the input brain image.

학습 데이터 선택부(1113)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(1114)에 제공될 수 있다. 학습 데이터 선택부(1113)는 기설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1113)는 후술할 모델 학습부(1114)에 의한 학습에 의해 기설정된 기준에 따라 데이터를 선택할 수도 있다.The training data selector 1113 may select data necessary for learning from the preprocessed data. The selected data may be provided to the model learner 1114. The training data selector 1113 may select data necessary for learning from preprocessed data according to a predetermined criterion. In addition, the training data selector 1113 may select data according to a predetermined criterion by learning by the model learner 1114 to be described later.

모델 학습부(1114)는 상술한 '추정 모델'에 대응할 수 있는 구성요소로, 학습 데이터에 기초하여 병변 발생 시점을 어떻게 판별할지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(1114)는 병변 발생 시점을 추정하기 위하여 어떤 학습 데이터를 이용해야 하는지에 대한 기준을 학습할 수도 있다. The model learner 1114 is a component that may correspond to the above-described 'estimate model' and may learn a criterion on how to determine a lesion occurrence time based on the training data. In addition, the model learner 1114 may learn a criterion about what learning data should be used to estimate a time point of lesion occurrence.

또한, 모델 학습부(1114)는 병변 발생 시점을 추정하는데 이용되는 데이터 인식 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 데이터 인식 모델은 미리 구축된 모델일 수 있다. In addition, the model learner 1114 may train the data recognition model used to estimate a lesion occurrence time using the training data. In this case, the data recognition model may be a pre-built model.

데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 본 발명이 이에 한정되는 것은 아니다.The data recognition model may be constructed in consideration of the application field of the recognition model, the purpose of learning, or the computer performance of the device. The data recognition model may be, for example, a model based on a neural network. For example, a model such as a deep neural network (DNN), a recurrent neural network (RNN), and a bidirectional recurrent deep neural network (BRDNN) may be used as the data recognition model, but the present invention is not limited thereto.

다양한 실시예에 따르면, 모델 학습부(1114)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다. According to various embodiments of the present disclosure, when there are a plurality of pre-built data recognition models, the model learner 1114 may determine a data recognition model having a high correlation between input training data and basic training data as a data recognition model to be trained. have. In this case, the basic training data may be previously classified by the type of data, and the data recognition model may be pre-built by the type of data. For example, the basic training data is classified based on various criteria such as the region where the training data is generated, the time at which the training data is generated, the size of the training data, the genre of the training data, the creator of the training data, and the types of objects in the training data. It may be.

또한, 모델 학습부(1114)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 인식 모델을 학습시킬 수 있다.In addition, the model learner 1114 may train the data recognition model using, for example, a learning algorithm including an error back-propagation method or a gradient descent method.

또한, 모델 학습부(1114)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1114)는, 예를 들어, 별다른 지도 없이 병변 발생 시점을 추정하는 데 필요한 데이터의 종류를 스스로 학습함으로써, 병변 발생 시점을 추정하기 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1114)는, 예를 들어, 학습에 따른 병변 발생 시점 추정 결과가 올바른지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.In addition, the model learner 1114 may train the data recognition model through, for example, supervised learning using learning data as an input value. In addition, the model learner 1114 learns the type of data necessary for estimating the lesion occurrence point without guidance, for example, thereby unsupervised learning to find a criterion for estimating the lesion occurrence point. ), You can train the data recognition model. In addition, the model learner 1114 may train the data recognition model through, for example, reinforcement learning using feedback on whether the lesion occurrence time estimation result according to the learning is correct.

또한, 데이터 인식 모델이 학습되면, 모델 학습부(1114)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1114)는 학습된 데이터 인식 모델을 데이터 인식부(1120)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1114)는 학습된 데이터 인식 모델을 후술할 데이터 인식부(1120)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1114)는 학습된 데이터 인식 모델을 전자 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.In addition, when the data recognition model is trained, the model learner 1114 may store the trained data recognition model. In this case, the model learner 1114 may store the learned data recognition model in a memory of the electronic device including the data recognizer 1120. Alternatively, the model learner 1114 may store the learned data recognition model in a memory of an electronic device including the data recognizer 1120, which will be described later. Alternatively, the model learner 1114 may store the learned data recognition model in a memory of a server connected to the electronic device through a wired or wireless network.

이 경우, 학습된 데이터 인식 모델이 저장되는 메모리는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. In this case, the memory in which the learned data recognition model is stored may store, for example, commands or data related to at least one other element of the electronic device. The memory may also store software and / or programs.

모델 평가부(1115)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1114)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기설정된 데이터일 수 있다. The model evaluator 1115 may input the evaluation data into the data recognition model, and may cause the model learner 1114 to relearn if the recognition result output from the evaluation data does not satisfy a predetermined criterion. In this case, the evaluation data may be preset data for evaluating the data recognition model.

예를 들어, 모델 평가부(1115)는 평가 데이터에 대한 학습된 데이터 인식 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 데이터 인식 모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(1115)는 학습된 데이터 인식 모델이 적합하지 않은 것으로 평가할 수 있다.For example, the model evaluator 1115 does not satisfy a predetermined criterion when the number or ratio of the evaluation data that is not accurate among the recognition results of the learned data recognition model for the evaluation data exceeds a preset threshold. It can be evaluated as not. For example, when a predetermined criterion is defined at a ratio of 2%, when the trained data recognition model outputs an incorrect recognition result for more than 20 evaluation data out of a total of 1000 evaluation data, the model evaluator 1115 learns. The data recognition model can be evaluated as not suitable.

한편, 학습된 데이터 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(1115)는 각각의 학습된 데이터 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 데이터 인식 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(1115)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 데이터 인식 모델로서 결정할 수 있다.On the other hand, when there are a plurality of trained data recognition models, the model evaluator 1115 evaluates whether each learned data recognition model satisfies a predetermined criterion, and uses the model satisfying the predetermined criterion as the final data recognition model. You can decide. In this case, when there are a plurality of models satisfying a predetermined criterion, the model evaluator 1115 may determine any one or a predetermined number of models which are preset in the order of the highest evaluation score as the final data recognition model.

한편, 데이터 학습부(1110) 내의 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.At least one of the data acquirer 1111, the preprocessor 1112, the training data selector 1113, the model learner 1114, and the model evaluator 1115 in the data learner 1110 is at least one. May be manufactured in the form of a hardware chip and mounted on an electronic device. For example, at least one of the data acquirer 1111, the preprocessor 1112, the training data selector 1113, the model learner 1114, and the model evaluator 1115 may be artificial intelligence (AI). It may be manufactured in the form of a dedicated hardware chip, or may be manufactured as a part of an existing general purpose processor (eg, a CPU or an application processor) or a graphics dedicated processor (eg, a GPU) and mounted on the aforementioned various electronic devices.

또한, 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.In addition, the data acquirer 1111, the preprocessor 1112, the training data selector 1113, the model learner 1114 and the model evaluator 1115 may be mounted on one electronic device or may be separate. The electronic devices may be mounted on the electronic devices. For example, some of the data acquirer 1111, the preprocessor 1112, the training data selector 1113, the model learner 1114, and the model evaluator 1115 are included in the electronic device, and the other part is Can be included on the server.

또한, 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115) 중 적어도 하나가 소프트웨어 모듈(또는, 명령(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.In addition, at least one of the data acquirer 1111, the preprocessor 1112, the training data selector 1113, the model learner 1114, and the model evaluator 1115 may be implemented as a software module. At least one of the data acquirer 1111, the preprocessor 1112, the training data selector 1113, the model learner 1114, and the model evaluator 1115 includes a software module (or an instruction). If implemented as a program module, the software module may be stored in a computer readable non-transitory computer readable media. In this case, at least one software module may be provided by an operating system (OS) or by a predetermined application. Alternatively, some of the at least one software module may be provided by an operating system (OS), and others may be provided by a predetermined application.

도 15는 일 실시예에 따른 데이터 인식부(1120)의 블록도이다.15 is a block diagram of a data recognizer 1120 according to an exemplary embodiment.

도 15를 참조하면, 일부 실시예에 따른 데이터 인식부(1120)는 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125)를 포함할 수 있다.Referring to FIG. 15, the data recognizer 1120 according to an exemplary embodiment may include a data acquirer 1121, a preprocessor 1122, a recognition data selector 1123, a recognition result provider 1124, and a model updater. 1125.

데이터 획득부(1121)는 병변 발생 시점을 추정하는 데 필요한 데이터를 획득할 수 있으며, 전처리부(1122)는 획득된 데이터가 이용될 수 있도록 획득된 데이터를 전처리할 수 있다. 전처리부(1122)는 후술할 인식 결과 제공부(1124)가 병변 발생 시점을 추정하기 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기설정된 포맷으로 가공할 수 있다. The data acquirer 1121 may acquire data necessary for estimating the time of lesion occurrence, and the preprocessor 1122 may preprocess the acquired data so that the acquired data may be used. The preprocessing unit 1122 may process the acquired data into a predetermined format so that the recognition result providing unit 1124, which will be described later, may use the acquired data to estimate a lesion occurrence time.

인식 데이터 선택부(1123)는 전처리된 데이터 중에서 병변 발생 시점을 추정하는데 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(1124)에 제공될 수 있다. 인식 데이터 선택부(1123)는 병변 발생 시점을 추정하기 위한 기설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(1123)는 후술할 모델 학습부(1114)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.The recognition data selector 1123 may select data required for estimating a lesion occurrence time from the preprocessed data. The selected data may be provided to the recognition result provider 1124. The recognition data selector 1123 may select some or all of the preprocessed data according to a predetermined criterion for estimating a lesion occurrence time. In addition, the recognition data selector 1123 may select data according to a preset criterion by learning by the model learner 1114 to be described later.

인식 결과 제공부(1124)는 선택된 데이터를 데이터 인식 모델에 적용하여 병변 발생 시점을 예측할 수 있다. 인식 결과 제공부(1124)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 인식 결과 제공부(1124)는 인식 데이터 선택부(1123)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 데이터 인식 모델에 적용할 수 있다. 또한, 인식 결과는 데이터 인식 모델에 의해 결정될 수 있다.The recognition result providing unit 1124 may apply the selected data to the data recognition model to predict the time of lesion occurrence. The recognition result providing unit 1124 may provide a recognition result according to the recognition purpose of the data. The recognition result provider 1124 may apply the selected data to the data recognition model by using the data selected by the recognition data selector 1123 as an input value. In addition, the recognition result may be determined by the data recognition model.

모델 갱신부(1125)는 인식 결과 제공부(1124)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(1125)는 인식 결과 제공부(1124)에 의해 제공되는 인식 결과를 모델 학습부(1114)에게 제공함으로써, 모델 학습부(1114)가 데이터 인식 모델을 갱신하도록 할 수 있다.The model updater 1125 may cause the data recognition model to be updated based on the evaluation of the recognition result provided by the recognition result provider 1124. For example, the model updater 1125 may allow the model learner 1114 to update the data recognition model by providing the recognition result provided by the recognition result provider 1124 to the model learner 1114. have.

한편, 데이터 인식부(1120) 내의 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.Meanwhile, at least one of the data acquisition unit 1121, the preprocessing unit 1122, the recognition data selection unit 1123, the recognition result providing unit 1124, and the model updating unit 1125 in the data recognizing unit 1120 is at least one. It may be manufactured in the form of one hardware chip and mounted on an electronic device. For example, at least one of the data acquirer 1121, the preprocessor 1122, the recognition data selector 1123, the recognition result provider 1124, and the model updater 1125 may be artificial intelligence (AI). ) May be manufactured in the form of a dedicated hardware chip, or may be manufactured as a part of an existing general purpose processor (eg, a CPU or an application processor) or a graphics dedicated processor (eg, a GPU) and mounted on the aforementioned various electronic devices.

또한, 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.In addition, the data obtaining unit 1121, the preprocessor 1122, the recognition data selecting unit 1123, the recognition result providing unit 1124, and the model updating unit 1125 may be mounted in one electronic device or may be separate. May be mounted on the electronic devices. For example, some of the data obtaining unit 1121, the preprocessing unit 1122, the recognition data selecting unit 1123, the recognition result providing unit 1124, and the model updating unit 1125 are included in the electronic device, and some of the remaining units are included in the electronic device. May be included in the server.

또한, 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125) 중 적어도 하나가 소프트웨어 모듈(또는, 명령(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.In addition, at least one of the data acquirer 1121, the preprocessor 1122, the recognition data selector 1123, the recognition result provider 1124, and the model updater 1125 may be implemented as a software module. At least one of the data obtaining unit 1121, the preprocessing unit 1122, the recognition data selecting unit 1123, the recognition result providing unit 1124, and the model updating unit 1125 includes a software module (or an instruction). When implemented as a program module, the software module may be stored in a computer-readable non-transitory computer readable media. In this case, at least one software module may be provided by an operating system (OS) or by a predetermined application. Alternatively, some of the at least one software module may be provided by an operating system (OS), and others may be provided by a predetermined application.

한편, 본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성할 수 있고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.Meanwhile, the method for estimating lesion occurrence time according to an embodiment of the present invention may be written as a computer executable program, and may be implemented in a general-purpose digital computer operating the program using a computer readable recording medium. . The computer-readable recording medium may include a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical reading medium (eg, a CD-ROM, a DVD, etc.).

본 발명의 일 실시예에 따른 병변 발생 시점 추정 방법, 장치, 프로그램에 의하면, 객관적으로 정량적인 방식으로 병변 발생 시점을 추정할 수 있어 정성적인 방법으로 병변 발생 시점을 추정할 때 관찰자 내 차이 및 관찰자 간 차이(intra- & inter-observer variability)가 높은 문제를 해결할 수 있다. 또한, 병변 발생 시점을 수 분 내로 빠르게 파악할 수 있어, 대상자의 치료 방안을 신속하게 결정하는 데 도움을 줄 수 있다. 이를 통해 뇌경색 등 비가역적으로 뇌에 손상을 줄 수 있는 뇌혈관 폐색 증상을 신속하게 치료할 수 있어 치료 효과를 높일 수 있다. According to the method, apparatus, or program for estimating lesion occurrence time according to an embodiment of the present invention, it is possible to estimate the lesion occurrence time in an objective and quantitative manner, so that the difference between the observer and the observer when estimating the lesion occurrence time in a qualitative manner. The problem of high intra- and inter-observer variability can be solved. In addition, the onset of lesions can be quickly identified within minutes, which can help to quickly determine treatment options for the subject. Through this, it is possible to rapidly treat cerebrovascular occlusion, which can irreversibly damage the brain, such as cerebral infarction, thereby increasing the therapeutic effect.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

1000: 병변 발생 시점 추정 장치 1100: 제어부
1200: 출력부 L: 병변 영역
ROI: 관심 영역 C_ROI: 대칭 영역
E_ROI: 확장 영역
1000: lesion occurrence time estimation apparatus 1100: control unit
1200: output portion L: lesion area
ROI: region of interest C_ROI: region of symmetry
E_ROI: extended area

Claims (10)

대상자의 뇌 영상 데이터로부터, 상기 대상자의 병변 위치에 대응하는 관심 영역을 선택하는 관심 영역 선택 단계;
상기 관심 영역과 대칭인 대칭 영역을 선택하는 대칭 영역 선택 단계;
상기 관심 영역과 상기 대칭 영역을 이용하여 상기 관심 영역의 복셀(voxel) 별 비대칭도 데이터를 산출하는 비대칭도 산출 단계;
상기 복셀 별 비대칭도 데이터로부터 입력 데이터를 획득한 후, 상기 병변의 발생 시점을 추정하기 위한 추정 모델에 입력하는 입력 단계; 및
상기 추정 모델의 출력값을 기초로, 상기 병변의 발생 시점에 관한 정보를 출력하는 출력 단계;를 포함하며,
상기 추정 모델은,
복수 명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터와 병변 발생 시점의 상관관계를 표현하는 입출력함수이고,
상기 비대칭도 산출 단계는,
상기 관심 영역의 크기가 기정 크기 이하인 경우,
상기 대칭 영역보다 크기가 큰 확장 영역을 선택하는 단계; 및
상기 관심 영역의 각 복셀의 신호 크기와 상기 확장 영역의 전체 복셀 신호의 평균값의 차이를 계산하는 단계를 포함하는, 병변 발생 시점 추정 방법.
A region of interest selection step of selecting a region of interest corresponding to a lesion location of the subject from brain image data of the subject;
A symmetric region selection step of selecting a symmetric region symmetrical with the region of interest;
Calculating asymmetry data for each voxel of the region of interest by using the region of interest and the symmetry region;
An input step of acquiring input data from the asymmetry data for each voxel and inputting it into an estimation model for estimating the occurrence time of the lesion; And
And outputting information on a time point of occurrence of the lesion based on an output value of the estimation model.
The estimation model,
It is an input / output function expressing the correlation between the learning input data obtained from brain image data of multiple data providers and the time of lesion occurrence,
The asymmetry calculation step,
If the size of the region of interest is less than or equal to the predetermined size,
Selecting an extended area having a larger size than the symmetric area; And
And calculating a difference between a signal magnitude of each voxel of the region of interest and an average value of all voxel signals of the extended region.
제1항에 있어서,
상기 추정 모델은,
상기 병변의 발생 시점이 상기 뇌 영상 데이터를 기정 시점 이전 또는 이후일 확률을 출력하는 입출력함수인, 병변 발생 시점 추정 방법.
The method of claim 1,
The estimation model is
And an input / output function for outputting a probability that the point of occurrence of the lesion is before or after the predetermined point in time of the brain image data.
제1항에 있어서,
상기 관심 영역 선택 단계 전에,
상기 추정 모델을 트레이닝하는 단계를 더 포함하는, 병변 발생 시점 추정 방법.
The method of claim 1,
Before the step of selecting the region of interest,
And training the estimated model.
제1항에 있어서,
상기 관심 영역 선택 단계는,
상기 대상자의 제1 뇌 영상 데이터 및 제2 뇌 영상 데이터를 획득하는 데이터 획득 단계;
상기 제1 뇌 영상 데이터 및 상기 제2 뇌 영상 데이터를 정합하는 단계;
상기 제1 뇌 영상 데이터에서, 상기 대상자의 병변이 위치하는 것으로 추정되는 병변 영역을 선택하는 단계; 및
상기 제2 뇌 영상 데이터에서, 상기 병변 영역에 정합하는 영역을 관심 영역으로 선택하는 단계;를 포함하는, 병변 발생 시점 추정 방법.
The method of claim 1,
The region of interest selection step,
A data acquisition step of acquiring first brain image data and second brain image data of the subject;
Registering the first brain image data and the second brain image data;
Selecting, from the first brain image data, a lesion area in which the lesion of the subject is estimated to be located; And
And selecting a region matching the lesion region as the region of interest in the second brain image data.
제4항에 있어서,
상기 데이터 획득 단계는,
확산강조영상(DWI) 데이터로부터 상기 제1 뇌 영상 데이터를 획득하는 단계;
액체감쇠역전회복영상(FLAIR) 데이터로부터 상기 제2 뇌 영상 데이터를 획득하는 단계;를 포함하는, 병변 발생 시점 추정 방법.
The method of claim 4, wherein
The data acquisition step,
Obtaining the first brain image data from DWI data;
And acquiring the second brain image data from liquid attenuation reverse recovery image (FLAIR) data.
제1항에 있어서,
상기 대칭 영역 선택 단계 전에 수행되고,
상기 뇌 영상 데이터의 대칭선을 산출하는 단계를 더 포함하는, 병변 발생 시점 추정 방법.
The method of claim 1,
Before the symmetric area selection step,
Comprising the step of calculating the symmetry line of the brain image data, lesion occurrence time estimation method.
제1항에 있어서,
상기 비대칭도 산출 단계는,
상기 관심 영역의 각 복셀의 신호 크기와 상기 대칭 영역의 전체 복셀 신호의 평균값의 차이를 계산하는 단계를 포함하는, 병변 발생 시점 추정 방법.
The method of claim 1,
The asymmetry calculation step,
And calculating a difference between a signal size of each voxel of the region of interest and an average value of all voxel signals of the symmetric region.
삭제delete 대상자의 뇌 영상 데이터로부터 상기 대상자의 병변 위치에 대응하는 관심 영역을 선택하고, 상기 관심 영역에 대칭인 대칭 영역을 선택하고, 상기 관심 영역과 상기 대칭 영역을 이용하여 상기 관심 영역의 복셀 별 비대칭도 데이터를 산출하고, 상기 복셀 별 비대칭도 데이터로부터 상기 복셀 별 비대칭도 데이터로부터 입력 데이터를 획득한 후, 상기 병변의 발생 시점을 추정하기 위한 추정 모델에 입력하고,
상기 관심 영역의 크기가 기정 크기 이하인 경우, 상기 대칭 영역보다 크기가 큰 확장 영역을 선택하고, 상기 관심 영역의 각 복셀의 신호 크기와 상기 확장 영역의 전체 복셀 신호의 평균값의 차이를 계산하는 제어부; 및
상기 추정 모델의 출력값을 기초로, 상기 병변의 발생 시점에 관한 정보를 출력하는 출력부;를 포함하며,
상기 추정 모델은,
복수 명의 데이터 제공자의 뇌 영상 데이터로부터 얻은 학습용 입력 데이터와 병변 발생 시점의 상관관계를 표현하는 입출력함수인, 병변 발생 시점 추정 장치.
From the brain image data of the subject, selecting a region of interest corresponding to the lesion location of the subject, selecting a symmetric region symmetrical to the region of interest, using the region of interest and the symmetric region asymmetry of the voxel of the region of interest Calculates data, obtains input data from the voxel-specific asymmetry data from the voxel-specific asymmetry data, and inputs it to an estimation model for estimating the time of occurrence of the lesion,
A controller configured to select an extended area having a larger size than the symmetrical area when the size of the ROI is equal to or less than a predetermined size and calculate a difference between a signal size of each voxel of the ROI and an average value of all voxel signals of the extended area; And
And an output unit configured to output information about a time point of occurrence of the lesion, based on an output value of the estimation model.
The estimation model,
A lesion occurrence time estimation apparatus, which is an input / output function representing a correlation between learning input data obtained from brain image data of a plurality of data providers and a lesion occurrence time point.
컴퓨터를 이용하여 제1항 내지 제7항 중 어느 한 항의 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램. A computer program stored in a medium for carrying out the method of claim 1 using a computer.
KR1020170168475A 2017-12-08 2017-12-08 Method, Device and Program for Estimating Time of Lesion Occurrence KR102043829B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170168475A KR102043829B1 (en) 2017-12-08 2017-12-08 Method, Device and Program for Estimating Time of Lesion Occurrence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170168475A KR102043829B1 (en) 2017-12-08 2017-12-08 Method, Device and Program for Estimating Time of Lesion Occurrence

Publications (2)

Publication Number Publication Date
KR20190068254A KR20190068254A (en) 2019-06-18
KR102043829B1 true KR102043829B1 (en) 2019-11-12

Family

ID=67103241

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170168475A KR102043829B1 (en) 2017-12-08 2017-12-08 Method, Device and Program for Estimating Time of Lesion Occurrence

Country Status (1)

Country Link
KR (1) KR102043829B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3798971A1 (en) * 2019-09-30 2021-03-31 Siemens Healthcare GmbH Method and data processing system for providing a stroke information
KR102646955B1 (en) * 2021-12-16 2024-03-13 재단법인 차세대융합기술연구원 Method for quantifying cerebral blood flow in the whole brain in a diffusion model

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005131011A (en) * 2003-10-29 2005-05-26 Toshiba Corp Acute cerebral infarction diagnosing and treatment support apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100946350B1 (en) 2008-03-20 2010-03-09 인하대학교 산학협력단 Method for computing infarct volume in a stroke model
KR101611489B1 (en) * 2013-09-13 2016-04-11 재단법인 아산사회복지재단 Method for estimating onset time of infarct region based on brain image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005131011A (en) * 2003-10-29 2005-05-26 Toshiba Corp Acute cerebral infarction diagnosing and treatment support apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
박병래 외 1명, 자기공명영상에서 신경회로망을 이용한 뇌경색의 시기 분류기 구현, 대한의료정보학회 2004년도 추계학술대회, [online], 2004년 11월20일,[2019년2월8일 검색], 인터넷<URL: https://kosmi.snubi.org/2004_fall>*

Also Published As

Publication number Publication date
KR20190068254A (en) 2019-06-18

Similar Documents

Publication Publication Date Title
US11207045B2 (en) Systems and methods for estimating healthy lumen diameter and stenosis quantification in coronary arteries
Chen et al. Development of a quantitative intracranial vascular features extraction tool on 3 D MRA using semiautomated open‐curve active contour vessel tracing
Bron et al. Standardized evaluation of algorithms for computer-aided diagnosis of dementia based on structural MRI: the CADDementia challenge
JP6005663B2 (en) Automatic measurement of arteriovenous ratio in blood vessel images
Guizard et al. Rotation-invariant multi-contrast non-local means for MS lesion segmentation
Ganiler et al. A subtraction pipeline for automatic detection of new appearing multiple sclerosis lesions in longitudinal studies
Estienne et al. Deep learning-based concurrent brain registration and tumor segmentation
JP7462055B2 (en) Method and system for automated segmentation of white matter hyperintensities in magnetic resonance images of the brain - Patents.com
US20220020152A1 (en) Apparatus for identifying regions in a brain image
Coupé et al. LesionBrain: an online tool for white matter lesion segmentation
WO2009146703A2 (en) System and method for volumetric analysis of medical images
CN112819800A (en) DSA image recognition method, device and storage medium
KR102043829B1 (en) Method, Device and Program for Estimating Time of Lesion Occurrence
Rachmadi et al. Limited one-time sampling irregularity map (LOTS-IM) for automatic unsupervised assessment of white matter hyperintensities and multiple sclerosis lesions in structural brain magnetic resonance images
Arega et al. Leveraging uncertainty estimates to improve segmentation performance in cardiac MR
KR20200114228A (en) Method and system for predicting isocitrate dehydrogenase (idh) mutation using recurrent neural network
KR102427265B1 (en) Method and Apparatus for Predicting Cerebral Infarction Based on Cerebral Infarction Volume Calculation
US20220301177A1 (en) Updating boundary segmentations
CN112784928A (en) DSA image recognition method, device and storage medium
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
WO2019190641A1 (en) System and method for evaluation of dynamic data
US11748878B2 (en) Methods and systems for generating surrogate marker based on medical image data
Amaludin et al. Toward more accurate diagnosis of multiple sclerosis: Automated lesion segmentation in brain magnetic resonance image using modified U‐Net model
Rajasree et al. Deep Convolutional Neural Networks for Multi-Modality Brain Image Classification
Vakalopoulou et al. Deep patch-based priors under a fully convolutional encoder-decoder architecture for interstitial lung disease segmentation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant