KR102612400B1 - Training method, device, program for predictive model that can predict cancer prognosis by analyzing tumor image - Google Patents
Training method, device, program for predictive model that can predict cancer prognosis by analyzing tumor image Download PDFInfo
- Publication number
- KR102612400B1 KR102612400B1 KR1020220115822A KR20220115822A KR102612400B1 KR 102612400 B1 KR102612400 B1 KR 102612400B1 KR 1020220115822 A KR1020220115822 A KR 1020220115822A KR 20220115822 A KR20220115822 A KR 20220115822A KR 102612400 B1 KR102612400 B1 KR 102612400B1
- Authority
- KR
- South Korea
- Prior art keywords
- tumor
- prediction
- cancer
- prognosis
- image
- Prior art date
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 410
- 238000004393 prognosis Methods 0.000 title claims abstract description 127
- 201000011510 cancer Diseases 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 title claims description 6
- 238000010801 machine learning Methods 0.000 claims abstract description 33
- 238000011156 evaluation Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 13
- 230000004083 survival effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims 1
- 238000010191 image analysis Methods 0.000 abstract description 13
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 14
- 230000005855 radiation Effects 0.000 description 8
- 210000000621 bronchi Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 4
- 208000020816 lung neoplasm Diseases 0.000 description 4
- 210000001370 mediastinum Anatomy 0.000 description 4
- 210000000779 thoracic wall Anatomy 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 3
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 206010041067 Small cell lung cancer Diseases 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000002154 non-small cell lung carcinoma Diseases 0.000 description 2
- 208000000587 small cell lung carcinoma Diseases 0.000 description 2
- 208000029729 tumor suppressor gene on chromosome 11 Diseases 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 208000037841 lung tumor Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- High Energy & Nuclear Physics (AREA)
- Physiology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
본 발명은 종양 주변 이미지 분석을 통한 머신러닝 기반 암 예후 예측 방법에 관한 것으로, 다수의 암 치료 환자의 종양과 종양 주변의 방사성 특징을 해당 환자의 암 예후 정보와 함께 머신러닝 기반으로 학습하여 구축된 예측 모델을 이용함으로써 환자의 암 예후를 정확하게 예측하는 효과가 있다.The present invention relates to a machine learning-based cancer prognosis prediction method through image analysis around the tumor, which is constructed by learning the radiomic characteristics of the tumor and surrounding tumor of multiple cancer treatment patients along with the cancer prognosis information of the patient based on machine learning. Using a prediction model has the effect of accurately predicting a patient's cancer prognosis.
Description
본 개시는 종양 이미지를 분석하여 암 예후에 대한 예측이 가능한 예측 모델을 학습시키는 방법에 관한 것이다.The present disclosure relates to a method of learning a prediction model capable of predicting cancer prognosis by analyzing tumor images.
암 환자의 예후를 예측하는 것은 환자의 치료 방향을 결정할 수 있는 등의 이점이 있기 때문에 임상에서 매우 중요한 일이다.Predicting the prognosis of cancer patients is very important in clinical practice because it has the advantage of determining the direction of treatment for the patient.
이러한 중요성 때문에 최근 들어 암 환자의 예후를 예측하는 다양한 시도가 이루어지고 있다.Because of this importance, various attempts have been made recently to predict the prognosis of cancer patients.
대표적으로 종양의 방사선 이미지를 분석하여 암 환자의 예후를 예측하는 방법이 이용되고 있는데, 현재로서는 이 방법은 예측 성능이 다소 떨어진다는 문제점이 있다.A representative method is used to predict the prognosis of cancer patients by analyzing radiological images of tumors. However, this method currently has a problem in that its prediction performance is somewhat poor.
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 다수의 암 치료 환자의 종양과 종양 주변의 방사성 특징을 해당 환자의 암 예후 정보와 함께 머신러닝 기반으로 학습하여 구축된 예측 모델을 이용하여 환자의 암 예후를 예측하고자 한다.The present invention, in order to solve the above-mentioned problems, uses a prediction model built by learning the radiological characteristics of the tumor and surrounding tumor of a large number of cancer treatment patients along with the cancer prognosis information of the patient based on machine learning. We want to predict the prognosis.
또한, 본 발명은 종양의 방사선 이미지와 함께 종양 주변의 방사선 이미지를 이용하여 환자의 암 예후를 예측하고자 한다.In addition, the present invention seeks to predict a patient's cancer prognosis by using radiological images of the tumor and surrounding areas of the tumor.
또한, 본 발명은 예측 모델을 이용하여 예후 예측을 위하여 최적의 종양 주변 범위를 특정하고자 한다.In addition, the present invention seeks to specify the optimal area around the tumor to predict prognosis using a prediction model.
또한, 본 발명은 예후 예측의 성능 향상을 위해서 종양 주변 영역의 이미지에서 예후 예측에 불필요한 영역을 제거하고자 한다.In addition, the present invention seeks to remove unnecessary areas for prognosis prediction from images of the area surrounding the tumor in order to improve the performance of prognosis prediction.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned can be clearly understood by those skilled in the art from the description below.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 암 예후 예측을 위한 예측 모델 학습 방법은, 컴퓨터에 의해 수행되는 방법으로, 다수의 암 환자의 종양과 종양 주변 영역의 방사성 특징(Radiomic Features)을 상기 다수의 암 환자 각각의 실제 암 예후 정보와 함께 머신러닝 기반으로 학습하여 예측 모델을 구축하는 단계; 특정 환자의 방사선 이미지 내 종양의 외곽으로부터 서로 다른 범위를 갖는 복수의 종양 주변 영역 이미지를 추출하는 단계; 상기 예측 모델을 이용하여 상기 종양의 이미지와 상기 복수의 종양 주변 영역 이미지를 분석하여 각각의 종양 주변 영역 범위에 따른 상기 특정 환자의 예후를 예측하는 단계; 및 상기 특정 환자의 실제 예후 정보를 입력하여 상기 복수의 종양 주변 영역 이미지에 대한 예측 성능 평가를 수행하고, 상기 예측 성능 평가 수행 결과를 상기 예측 모델에 학습시키는 단계를 포함한다.The prediction model learning method for predicting cancer prognosis according to an embodiment of the present invention to solve the above-mentioned problems is a method performed by a computer, and is a method that uses radiomic features of tumors and surrounding areas of multiple cancer patients. ), along with actual cancer prognosis information for each of the plurality of cancer patients, based on machine learning to build a prediction model; Extracting a plurality of images of surrounding areas of a tumor having different ranges from the outskirts of a tumor in a radiological image of a specific patient; predicting the prognosis of the specific patient according to the extent of each tumor region by analyzing the tumor image and the plurality of images of the tumor region using the prediction model; And a step of inputting the actual prognosis information of the specific patient to perform a prediction performance evaluation on the plurality of images of the surrounding areas of the tumor, and training the prediction model with the results of the prediction performance evaluation.
또한, 상기 특정 환자는, 종양 치료 후 일정 기간 내에 암이 재발하였는지 여부 및 생존 여부에 대한 데이터가 보유된 암 환자이고, 상기 예측 모델은, 상기 예측 성능 평가 결과를 기반으로, 예측 성공률이 가장 높은 종양 주변 영역 이미지의 범위에 대하여 학습하는 것을 특징으로 한다.In addition, the specific patient is a cancer patient who has data on whether the cancer has recurred and survival within a certain period of time after tumor treatment, and the prediction model has the highest prediction success rate based on the results of the prediction performance evaluation. It is characterized by learning about the range of the image of the area surrounding the tumor.
또한, 상기 예측 모델은, 상기 특정 환자의 종양 사이즈와 종양의 종류에 대한 정보를 함께 학습함으로써, 실제 환자의 방사선 이미지 내 종양의 사이즈 및 종양의 종류에 따라 상기 실제 환자의 암 예후 예측을 위한 종양 주변 영역의 범위 특정이 가능한 것을 특징으로 한다.In addition, the prediction model learns information about the tumor size and type of the tumor of the specific patient, thereby predicting the cancer prognosis of the actual patient according to the size and type of tumor in the radiological image of the actual patient. It is characterized by being able to specify the range of the surrounding area.
또한, 상기 예측 모델은, 상기 특정 환자의 방사선 이미지에서 인식된 종양의 사이즈 및 상기 종양의 발생 부위에 따라서 상기 종양 주변 영역의 범위를 설정하여 상기 종양 주변 영역의 이미지를 추출하고, 상기 특정 환자의 종양 이미지 및 상기 종양 주변 영역의 이미지를 분석하여 상기 특정 환자의 예후에 대한 예측이 가능한 것을 특징으로 한다.In addition, the prediction model extracts an image of the area around the tumor by setting the range of the area around the tumor according to the size of the tumor recognized in the radiological image of the specific patient and the site of occurrence of the tumor, and extracts the image of the area around the tumor. It is characterized in that it is possible to predict the prognosis of the specific patient by analyzing the tumor image and the image of the area surrounding the tumor.
또한, 상기 다수의 암 환자 각각의 실제 암 예후 정보는, 향후 일정 기간 내 암 재발생 여부 및 생존 여부를 포함하고, 상기 예측 모델은, 상기 특정 기간의 향후 일정 기간 내 암 재발생 여부 및 생존 여부가 예측 가능한 것을 특징으로 한다.In addition, the actual cancer prognosis information for each of the plurality of cancer patients includes whether the cancer recurs within a certain period of time and whether the cancer survives, and the prediction model predicts whether the cancer recurs within a certain period of time and whether the cancer survives. It is characterized by being possible.
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 학습 모델 기반으로 종양 이미지를 분석하여 암 예후를 예측하는 방법은, 컴퓨터에 의해 수행되는 학습 모델 기반으로 종양 이미지를 분석하여 암 예후 예측 방법에 있어서, 특정 환자의 방사선 이미지에서 종양을 인식하는 단계; 상기 인식된 종양의 사이즈에 따라서 상기 종양의 주변 영역의 범위를 설정하고, 종양 주변 영역 이미지를 추출하는 단계; 및 예측 모델을 이용하여 상기 종양의 이미지 및 상기 종양 주변 영역 이미지의 적어도 일부 영역을 분석하여 상기 특정 환자의 예후를 예측하는 단계를 포함하며, 상기 예측 모델은, 다수의 암 환자의 종양과 종양 주변의 방사성 특징(Radiomic features)을 상기 다수의 암 환자 각각의 실제 암 예후 정보와 함께 학습하여 구축된 것을 특징으로 한다.The present invention to solve the problems described above is a method of predicting cancer prognosis by analyzing tumor images based on a learning model. In the method of predicting cancer prognosis by analyzing tumor images based on a learning model performed by a computer, Recognizing a tumor in a radiological image of a specific patient; Setting a range of the area surrounding the tumor according to the size of the recognized tumor and extracting an image of the area surrounding the tumor; And a step of predicting the prognosis of the specific patient by analyzing at least a portion of the image of the tumor and the image of the area around the tumor using a prediction model, wherein the prediction model includes the tumor and the area around the tumor of a plurality of cancer patients. It is characterized by being constructed by learning the radiomic features of together with the actual cancer prognosis information of each of the plurality of cancer patients.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned can be clearly understood by those skilled in the art from the description below.
상기와 같은 본 발명에 따르면, 다수의 암 치료 환자의 종양과 종양 주변의 방사성 특징을 해당 환자의 암 예후 정보와 함께 머신러닝 기반으로 학습하여 구축된 예측 모델을 이용함으로써 환자의 암 예후를 정확하게 예측하는 효과가 있다.According to the present invention as described above, the cancer prognosis of a patient is accurately predicted by using a prediction model built by learning the radiological characteristics of the tumor and surrounding tumor of a large number of cancer treatment patients along with the cancer prognosis information of the patient based on machine learning. There is an effect.
또한, 본 발명에 따르면, 종양의 방사선 이미지와 함께 종양 주변의 방사선 이미지를 분석함으로써, 예후 예측 성능이 향상되는 효과가 있다.In addition, according to the present invention, the prognosis prediction performance is improved by analyzing the radiation images around the tumor along with the radiation images of the tumor.
또한, 본 발명에 따르면, 종양의 크기, 종류에 따라서 예후 예측을 위한 최적의 종양 주변 범위를 특정할 수 있는 효과가 있다.In addition, according to the present invention, it is possible to specify the optimal area around the tumor for predicting prognosis depending on the size and type of the tumor.
또한, 본 발명에 따르면, 종양 주변 영역의 이미지에서 예후 예측에 불필요한 영역을 제거한 후 분석함으로써, 예측 성능을 향상시키는 효과가 있다.In addition, according to the present invention, there is an effect of improving prediction performance by removing and analyzing unnecessary areas for predicting prognosis in images of the area surrounding the tumor.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1은 본 발명의 실시예에 따른 종양 주변 이미지 분석을 통한 머신러닝 기반 암 예후 예측 방법의 흐름도이다.
도 2는 머신러닝 기반으로 학습하여 예측 모델을 구축하는 것을 예시한 도면이다.
도 3은 환자의 방사선 이미지에서 종양을 인식하는 것을 예시한 도면이다.
도 4는 종양으로부터 특정 범위의 종양 주변 범위를 설정하는 것을 예시한 도면이다.
도 5는 다양한 범위의 종양 주변 영역 특정을 예시한 도면이다.
도 6은 종양 이미지와 종양 주변 영역의 이미지 각각으로부터 유효 특징을 추출하는 것을 예시한 도면이다.
도 7은 종양 이미지만을 이용하여 암 예후 예측 정보를 생성했을 때와 종양 주변 영역 이미지를 함께 이용하여 암 예후 예측 정보를 생성했을 때의 p-value 결과를 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 종양 주변 이미지 분석을 통한 머신러닝 기반 암 예후 예측 시스템의 블록도이다.Figure 1 is a flowchart of a machine learning-based cancer prognosis prediction method through image analysis around a tumor according to an embodiment of the present invention.
Figure 2 is a diagram illustrating building a prediction model by learning based on machine learning.
Figure 3 is a diagram illustrating recognition of a tumor in a patient's radiology image.
Figure 4 is a diagram illustrating setting a specific range around a tumor from a tumor.
Figure 5 is a diagram illustrating various ranges of specification of surrounding areas of a tumor.
Figure 6 is a diagram illustrating extracting effective features from each of the tumor image and the image of the area surrounding the tumor.
Figure 7 is a diagram showing p-value results when cancer prognosis prediction information is generated using only tumor images and when cancer prognosis prediction information is generated using images of the area around the tumor.
Figure 8 is a block diagram of a machine learning-based cancer prognosis prediction system through image analysis around the tumor according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to provide a general understanding of the technical field to which the present invention pertains. It is provided to fully inform the skilled person of the scope of the present invention, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for describing embodiments and is not intended to limit the invention. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other elements in addition to the mentioned elements. Like reference numerals refer to like elements throughout the specification, and “and/or” includes each and every combination of one or more of the referenced elements. Although “first”, “second”, etc. are used to describe various components, these components are of course not limited by these terms. These terms are merely used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may also be a second component within the technical spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention pertains. Additionally, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless clearly specifically defined.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
도 1은 본 발명의 실시예에 따른 종양 주변 이미지 분석을 통한 머신러닝 기반 암 예후 예측 방법의 흐름도이다.Figure 1 is a flowchart of a machine learning-based cancer prognosis prediction method through image analysis around a tumor according to an embodiment of the present invention.
도 2는 머신러닝 기반으로 학습하여 예측 모델을 구축하는 것을 예시한 도면이다.Figure 2 is a diagram illustrating building a prediction model by learning based on machine learning.
도 3은 환자의 방사선 이미지에서 종양을 인식하는 것을 예시한 도면이다.Figure 3 is a diagram illustrating recognition of a tumor in a patient's radiology image.
도 4는 종양으로부터 특정 범위의 종양 주변 범위를 설정하는 것을 예시한 도면이다.Figure 4 is a diagram illustrating setting a specific range around a tumor from a tumor.
도 5는 다양한 범위의 종양 주변 영역 특정을 예시한 도면이다.Figure 5 is a diagram illustrating various ranges of specification of surrounding areas of a tumor.
도 6은 종양 이미지와 종양 주변 영역의 이미지 각각으로부터 유효 특징을 추출하는 것을 예시한 도면이다.Figure 6 is a diagram illustrating extracting effective features from each of the tumor image and the image of the area surrounding the tumor.
도 1 내지 도 6을 참조하여, 본 발명의 실시예에 따른 종양 주변 이미지 분석을 통한 머신러닝 기반 암 예후 예측 방법에 대해서 설명하도록 한다.With reference to FIGS. 1 to 6 , a machine learning-based cancer prognosis prediction method through analysis of images around a tumor according to an embodiment of the present invention will be described.
본 발명의 실시예에 따른 종양 주변 이미지 분석을 통한 머신러닝 기반 암 예후 예측 방법은 컴퓨터에 의해 수행되는 것으로, 예를 들어 예측 장치(100), 예측 서버 등이 수행 주체로 적용될 수 있다.The machine learning-based cancer prognosis prediction method through image analysis around the tumor according to an embodiment of the present invention is performed by a computer, and for example, the prediction device 100, the prediction server, etc. may be applied as the performing entity.
이하 실시예에서는 예측 장치(100)가 주체인 것으로 설명하도록 한다.In the following embodiment, the prediction device 100 will be described as the subject.
본 발명의 실시예에 따른 예측 장치(100)는 다수의 암 치료 환자의 종양과 종양 주변의 방사성 특징(Radiomic features)을 해당 환자의 암 예후 정보와 함께 머신러닝 기반으로 학습하여 구축된 예측 모델을 이용하여 특정 환자의 암 예후를 예측한다.The prediction device 100 according to an embodiment of the present invention uses a prediction model built by learning the radiomic features of tumors and surrounding tumors of multiple cancer treatment patients along with the cancer prognosis information of the patients based on machine learning. It is used to predict the cancer prognosis of a specific patient.
본 발명의 실시예에서 머신러닝 기반으로 학습하는 것을 언급하였지만 예측 모델을 학습시키는 방법이 머신러닝으로 한정되는 것은 아니다.Although machine learning-based learning is mentioned in the embodiment of the present invention, the method of training the prediction model is not limited to machine learning.
먼저, 예측 장치(100)의 인식부(110)가 특정 환자의 방사선 이미지에서 종양을 인식한다. (S100)First, the recognition unit 110 of the prediction device 100 recognizes a tumor in a radiation image of a specific patient. (S100)
보다 상세하게는, 인식부(110)가 예측 장치(100)로 입력되었거나 조회된 특정 환자의 방사선 이미지 내에서 종양을 인식하고, 종양의 영역을 확정하는 것을 의미한다.More specifically, this means that the recognition unit 110 recognizes a tumor in a radiology image of a specific patient input or viewed by the prediction device 100 and determines the area of the tumor.
도 3을 참조하면, 인식부(110)가 입력된 방사선 이미지에서 종양(50)을 인식하는 것이 예시되어 있다.Referring to FIG. 3 , it is illustrated that the recognition unit 110 recognizes a tumor 50 in an input radiation image.
인식부(110)는 종양 인식을 위해서 종양 인식 알고리즘이 설치되어 있거나 학습되어 있을 수 있으며, 종양을 인식하는 것은 물론 입력된 방사선 이미지가 환자의 어느 부위에 해당되는지 인식할 수 있다. (예: 폐, 위, 간 등)The recognition unit 110 may have a tumor recognition algorithm installed or learned for tumor recognition, and can recognize the tumor as well as recognize which part of the patient the input radiation image corresponds to. (e.g. lungs, stomach, liver, etc.)
또한, 종양 인식 단계(S100)는 예후 예측 성능 향상을 위해서 범위 특정부(130)가 인식부(110)를 통해 인식된 종양이 위치하는 장기 이외의 영역에 해당되는 이미지를 제거하는 단계가 더 포함될 수 있다.In addition, the tumor recognition step (S100) further includes a step in which the range specification unit 130 removes images corresponding to areas other than the organ where the tumor recognized through the recognition unit 110 is located in order to improve prognosis prediction performance. You can.
예를 들어, 특정 환자의 폐에 위치하고 있는 종양이 포함된 방사선 이미지가 입력된 경우, 인식부(110)는 종양을 인식하고 종양이 위치하는 곳이 폐인 것을 확인하게 되고, 범위 특정부(130)는 폐 이외의 영역은 제외하는 프로세스를 수행할 수 있다.For example, when a radiation image containing a tumor located in the lung of a specific patient is input, the recognition unit 110 recognizes the tumor and confirms that the tumor is located in the lung, and the range specification unit 130 You can perform a process to exclude areas other than the lungs.
또한, 인식부(110)는 종양의 인식하고 종양의 사이즈를 측정한다.Additionally, the recognition unit 110 recognizes the tumor and measures the size of the tumor.
S100 다음으로, 서버의 범위 특정부(130)가 S100에서 인식된 종양의 사이즈에 따라서 종양의 주변 영역 범위를 특정하고, 종양 주변 영역 이미지를 추출한다. (S200)Next to S100, the range specification unit 130 of the server specifies the range of the area around the tumor according to the size of the tumor recognized in S100 and extracts an image of the area around the tumor. (S200)
도 4를 참조하면, 범위 특정부(130)가 인식부(110)를 통해 인식된 종양 주변 영역을 특정하는 것이 예시되어 있다.Referring to FIG. 4 , it is illustrated that the range specification unit 130 specifies the area around the tumor recognized through the recognition unit 110.
본 발명의 실시예에 따른 종양 주변 이미지 분석을 통한 머신러닝 기반 암 예후 예측 방법은 종양의 이미지와 종양 주변 일정 범위의 이미지를 함께 분석하여 예후 예측을 하게 된다.The machine learning-based cancer prognosis prediction method through image analysis around the tumor according to an embodiment of the present invention predicts the prognosis by analyzing the tumor image and images of a certain range around the tumor together.
따라서, S200에서 종양의 주변 영역 범위를 특정하는 이유는 종양의 주변 영역 이미지를 추출하기 위하여 종양의 외곽으로부터 얼마만큼의 영역을 종양 주변 영역으로 선택하고 종양 주변 영역 이미지를 추출할 것인지 결정하기 위한 것이다.Therefore, the reason for specifying the range of the surrounding area of the tumor in S200 is to determine how much of the area from the outskirts of the tumor will be selected as the surrounding area of the tumor and extract the image of the surrounding area of the tumor in order to extract the image of the surrounding area of the tumor. .
도 5를 참조하면, 종양의 영역으로부터 소정 거리씩 늘어나며 종양 주변 영역 범위가 특정되는 것이 예시되어 있다. 이와 같이 범위 특정부(130)는 다양한 범위의 종양 주변 영역을 특정할 수 있다.Referring to FIG. 5, it is illustrated that the area around the tumor is specified by increasing a predetermined distance from the tumor area. In this way, the range specification unit 130 can specify various ranges of areas surrounding the tumor.
또한, 범위 특정부(130)는 인식부(110)를 통해 인식된 종양의 사이즈 및 종양의 발생 부위에 따라서 범위를 특정하는 것을 특징으로 한다.In addition, the range specification unit 130 is characterized in that it specifies the range according to the size of the tumor and the tumor occurrence site recognized through the recognition unit 110.
도 2를 참조하면, 다수의 환자들에 대한 종양 영역의 이미지와 종양 주변 영역의 이미지가 입력되고, Intensity, Texture, Shape와 같은 특징들이 추출되어 선택되고, 환자들의 예후정보(예: 2년 이내에 암이 재발생할지 여부, 해당 환자의 생존 확률)가 입력되어 예측 모델이 학습되며, 예후 예측을 수행하는 것이 예시되어 있다.Referring to Figure 2, images of the tumor area and images of the area surrounding the tumor for multiple patients are input, features such as Intensity, Texture, and Shape are extracted and selected, and patients' prognosis information (e.g., within 2 years) is input. A prediction model is learned by inputting information (whether the cancer will recur and the patient's survival probability), and performing prognosis prediction is shown as an example.
예측 모델은 이와 같은 머신러닝 기반의 학습을 통해서 종양의 사이즈, 종류(종양 발생 부위)에 따라서 종양의 외곽으로부터 얼마만큼의 영역을 종양 주변 영역으로 설정하는 것이 예후 예측 성능이 우수한지 학습하고, 실제 환자의 방사선 이미지가 입력되면 위와 같이 종양의 사이즈, 종류(종양 발생 부위)에 따라서 종양 주변 영역의 범위를 특정할 수 있게 된다.Through this machine learning-based learning, the prediction model learns how much of the area from the outskirts of the tumor is set as the area around the tumor, depending on the size and type of the tumor (tumor occurrence site), to determine how much of the area around the tumor has excellent prognosis prediction performance, and When the patient's radiology image is input, the extent of the area surrounding the tumor can be specified according to the size and type (tumor occurrence site) of the tumor as shown above.
예측 모델을 구축하는 것에 대해서는 차후에 보다 상세하게 설명하도록 한다.Building a prediction model will be explained in more detail later.
S200에서 범위 특정부(130)는 종양의 주변 영역을 특정할 때, 종양의 형상을 유지하며 범위만을 특정하는 것을 특징으로 한다.In S200, when specifying the surrounding area of a tumor, the range specifying unit 130 maintains the shape of the tumor and specifies only the range.
도 6을 참조하면, 종양(50)과 종양의 주변 영역(55)이 도시되어 있으며, 종양의 주변 영역(55)은 종양(50)과 형태는 동일하고 범위만 넓은 것을 확인할 수 있다.Referring to FIG. 6, the tumor 50 and the surrounding area 55 of the tumor are shown, and it can be seen that the surrounding area 55 of the tumor has the same shape as the tumor 50 and is only wide in scope.
종양이 자라면 종양 주변의 혈관에서부터 끌어오는 혈액이 증가하게 되고, 이는 종양 주변에 특정 패턴의 형성으로 이어지게 된다.As a tumor grows, the blood drawn from blood vessels around the tumor increases, which leads to the formation of a specific pattern around the tumor.
위와 같이 종양의 형태를 유지한 상태로 종양 주변 영역을 설정하게 되면, 종양 주변에 형성된 특정 패턴을 분석하여 특징을 추출하는 것이 용이하게 된다.If the area around the tumor is set while maintaining the shape of the tumor as above, it becomes easy to extract features by analyzing the specific pattern formed around the tumor.
S200 다음으로, 서버의 인식부(110)가 S200에서 추출된 종양 주변 영역 이미지에서 암 예후 예측에 불필요한 영역을 인식하고 이를 제거한다. (S300)Next to S200, the recognition unit 110 of the server recognizes and removes areas unnecessary for predicting cancer prognosis in the image of the area around the tumor extracted in S200. (S300)
보다 상세하게는, 인식부(110)는 종양 주변 영역의 이미지 내에서 예후 예측에 필요하지 않거나 예후 예측 성능을 저하시키는 구조물을 인식할 수 있으며, 이를 종양 주변 영역 이미지 내에서 제거할 수 있다.More specifically, the recognition unit 110 can recognize structures that are not necessary for prognosis prediction or that deteriorate prognosis prediction performance in the image of the area surrounding the tumor, and can remove them from the image of the area surrounding the tumor.
따라서, 인식부(110)는 예측 모델을 이용하여 종양 주변 영역 이미지 내에서 암 예후 예측에 필요하지 않거나 예후 예측 성능을 저하시키는 영역(구조물)을 제거하여 예후 예측 성능을 향상시키는 효과를 발휘하게 된다.Therefore, the recognition unit 110 uses the prediction model to remove areas (structures) that are not necessary for predicting cancer prognosis or that deteriorate prognosis prediction performance in the image of the area surrounding the tumor, thereby improving prognosis prediction performance. .
이때, 암 예후 예측에 불필요한 영역은 종양이 위치하는 기관, 장기에 따라서 달라질 수 있다.At this time, the area unnecessary for predicting cancer prognosis may vary depending on the organ or organ in which the tumor is located.
예를 들어, 인식부(110)는 특정 환자의 종양이 폐 종양인 것으로 판단된 경우, 종양 주변 영역 이미지에서 흉벽, 종격 및 기관지에 해당되는 영역을 제외하는 것을 특징으로 한다.For example, when the recognition unit 110 determines that a specific patient's tumor is a lung tumor, the recognition unit 110 excludes the areas corresponding to the chest wall, mediastinum, and bronchial tubes from the image of the area surrounding the tumor.
종양 주변 영역 이미지에서 흉벽, 종격 및 기관지에 해당되는 영역을 제외하는 방법은 아래와 같은 방법들이 사용될 수 있다.The following methods can be used to exclude the areas corresponding to the chest wall, mediastinum, and bronchial tubes from the image of the area surrounding the tumor.
첫째로, 흉벽과 종격에 해당되는 영역은 밝기값을 특정값(예: -224HU)을 기준으로 threshold를 적용해준 후 해당 영역에 대해서 region growing을 수행함으로써, 흉벽과 종격 영역을 분할한 제1마스크를 생성할 수 있다.First, the first mask divides the chest wall and mediastinum regions by applying a threshold to the brightness value based on a specific value (e.g. -224HU) and then performing region growing on the region. can be created.
둘째로, 기관지(1차, 2차 기관지)에 해당되는 영역은 기관지 시작점을 기준으로 밝기값 기반의 seed region growing을 수행하여 1차 기관지와 2차 기관지 영역을 자동 분할한 3D의 제2마스크를 생성할 수 있다.Second, for the areas corresponding to the bronchi (primary and secondary bronchi), a 3D second mask was created that automatically divided the primary and secondary bronchi regions by performing brightness value-based seed region growing based on the bronchi starting point. can be created.
그리고, 종양 주변 영역의 이미지에서 제1마스크와 제2마스크를 삭제해줌으로써, 흉벽, 종격 및 기관지에 해당되는 영역 제거를 수행할 수 있다.Also, by deleting the first mask and the second mask from the image of the area surrounding the tumor, areas corresponding to the chest wall, mediastinum, and bronchial tubes can be removed.
S300 다음으로, 서버의 예측부(150)가 예측 모델을 이용하여 종양의 이미지와 종양 주변 영역의 이미지를 분석하여 해당 환자의 예후를 예측한다. (S400)Next to S300, the prediction unit 150 of the server predicts the prognosis of the patient by analyzing the image of the tumor and the image of the area surrounding the tumor using a prediction model. (S400)
이때, 환자의 예후를 예측하는 것은 해당 환자의 향후 일정 기간(예: 2년) 내에 암이 재발생할 지의 여부, 해당 환자의 생존 여부를 예측하는 것을 의미한다.At this time, predicting the patient's prognosis means predicting whether the cancer will recur within a certain period of time (e.g., 2 years) and whether the patient will survive.
일 실시예로, 예측부(150)는 종양 이미지와 종양 주변 영역 이미지 전체를 분석하여 환자의 예후를 예측할 수도 있고, 종양 이미지와 종양 주변 영역 이미지의 적어도 일부 영역을 분석하여 환자의 예후를 예측할 수도 있다.In one embodiment, the prediction unit 150 may predict the patient's prognosis by analyzing the entire tumor image and the image of the area surrounding the tumor, or may predict the prognosis of the patient by analyzing at least a portion of the tumor image and the image of the area surrounding the tumor. there is.
이는, 종양 주변 영역의 전체 영역이 예후 예측에 영향을 끼치는 것은 아닐 수 있으므로, 종양 주변 영역 이미지에서 예후 예측에 영향을 미치는 영역만을 선택하여 종양 이미지와 함께 분석하는 것을 의미한다.This means that since the entire area around the tumor may not affect the prognosis prediction, only the area that affects the prognosis prediction is selected from the image of the area around the tumor and analyzed together with the tumor image.
몇몇 실시예에서, 예측부(150)는 종양 이미지, 종양 주변 영역 이미지 이외에도 해당 환자에게 저장되어 있는 종양의 정보, 환자의 정보들이 필요할 경우에는 함께 분석 요소로 포함시킬 수도 있다.In some embodiments, the prediction unit 150 may include tumor information and patient information stored in the patient as analysis elements in addition to the tumor image and the image of the area surrounding the tumor, if necessary.
또한, 예후 예측 단계(S400)는 예측부(150)가 예측 모델을 이용하여 종양의 이미지와 종양 주변 영역 이미지 각각에서 암 예후 예측에 영향을 미치는 유효 특징을 추출하는 단계와, 예측부(150)가 예측 모델을 이용하여 종양 내 유효 특징 및 종양 주변 영역 내 유효 특징 중 적어도 하나를 분석하여 해당 환자의 예후를 예측하는 단계가 포함될 수 있다.In addition, the prognosis prediction step (S400) is a step in which the prediction unit 150 extracts effective features that affect cancer prognosis prediction from each of the tumor image and the image of the tumor surrounding area using a prediction model, and the prediction unit 150 A step of predicting the prognosis of the patient may be included by analyzing at least one of the valid features within the tumor and the valid features within the area surrounding the tumor using a tentative prediction model.
예측 모델을 이용하여 예후를 예측할 때 종양 이미지를 분석하는 기준과 종양 주변 영역 이미지를 분석하는 기준이 상이할 수 있으므로, 이와 같이 각각의 유효 특징을 추출하여 분석하는 것을 의미한다.When predicting prognosis using a prediction model, the standard for analyzing the tumor image and the standard for analyzing the image of the area surrounding the tumor may be different, so this means extracting and analyzing each effective feature.
도 7은 종양 이미지만을 이용하여 암 예후 예측 정보를 생성했을 때와 종양 주변 영역 이미지를 함께 이용하여 암 예후 예측 정보를 생성했을 때의 p-value 결과를 도시한 도면이다.Figure 7 is a diagram showing p-value results when cancer prognosis prediction information is generated using only tumor images and when cancer prognosis prediction information is generated using images of the area around the tumor.
도 7의 예후 결과를 이미 알고 있는 환자의 방사선 이미지를 예측 장치(100)에 입력시키고, 도 1 내지 도 5를 통해 설명한 예측 방법대로 환자의 암 예후 예측을 한 후 해당 환자의 실제 예후와 비교하여 유의 확률(p-value)을 계산하여 도시한 것이다.The radiological image of a patient whose prognosis result in FIG. 7 is already known is input into the prediction device 100, the patient's cancer prognosis is predicted according to the prediction method described in FIGS. 1 to 5, and then compared with the patient's actual prognosis. It is shown by calculating the probability of significance (p-value).
도 7의 (A)는 종래와 같이 종양 이미지만을 이용하여 암 예후를 예측한 것의 유의 확률이고, 도 7의 (B)는 본 발명의 실시예에 따른 종양 주변 이미지 분석을 통한 머신러닝 기반 암 예후 예측 방법을 이용하여 종양 이미지와 종양 주변 영역 이미지를 함께 이용하여 암 예후를 예측한 것의 유의 확률이다.Figure 7 (A) is the significance probability of predicting cancer prognosis using only tumor images as in the past, and Figure 7 (B) is machine learning-based cancer prognosis through analysis of images around the tumor according to an embodiment of the present invention. This is the significance probability of predicting cancer prognosis using a prediction method using both the tumor image and the image of the area around the tumor.
도면상으로 도시된 바와 같이, 도 7 (B)의 p-value가 (A)보다 확연하게 낮으며, 이를 통해 종양 이미지와 종양 주변 영역 이미지를 함께 이용하여 암 예후 예측을 할 경우 예측 성능이 현저하게 상승되는 것을 알 수 있다.As shown in the drawing, the p-value in Figure 7 (B) is significantly lower than that in (A), and this shows that when predicting cancer prognosis using the tumor image and the image of the area surrounding the tumor together, the prediction performance is remarkable. You can see that it is rising.
다음으로, 예측 모델을 구축하는 것에 대해서 설명하도록 한다.Next, we will explain how to build a prediction model.
본 발명의 실시예에 따른 암 예후 예측을 위한 예측 모델 구축 방법은 다수의 암 치료 환자의 종양과 종양 주변의 방사선 이미지의 방사성 특징(Radiomic features)을 해당 환자의 암 예후 정보와 함께 머신러닝 기반으로 학습하여 예측 모델을 구축하게 된다.The method of building a prediction model for predicting cancer prognosis according to an embodiment of the present invention is based on machine learning using radiomic features of radiological images of tumors and surrounding tumors of multiple cancer treatment patients along with cancer prognosis information of the patients. By learning, a prediction model is built.
이하 실시예에서는 폐암 환자들의 데이터를 이용하여 학습을 수행한다.In the following examples, learning is performed using data from lung cancer patients.
비소 세포 폐암(NSCLC)은 소세포 폐암(SCLC) 이외의 모든 유형의 상피 폐암이며, 모든 폐암 중 약 85%를 차지한다.Non-small cell lung cancer (NSCLC) is any type of epithelial lung cancer other than small cell lung cancer (SCLC) and accounts for approximately 85% of all lung cancers.
그리고, 임상 결과의 예후를 예측, 결정하기 위해서 CT 방사선 특성을 사용하며, 예측 모델 구축을 위해서 통계 분석 및 기계 학습 방법을 이용한다.Additionally, CT radiation characteristics are used to predict and determine the prognosis of clinical results, and statistical analysis and machine learning methods are used to build a prediction model.
예측 모델이 종양 이미지와 종양 주변 영역 이미지를 분석하여 암 예후 예측할 수 있도록 하기 위해서, 아래 표 1, 표 2와 같은 다수 개의 Feature를 선정하여 학습시킨다.In order for the prediction model to predict cancer prognosis by analyzing the tumor image and the image of the area surrounding the tumor, a number of features as shown in Tables 1 and 2 below are selected and trained.
표 1은 종양 영역의 Feature 리스트이고, 표 2는 종양 주변 영역의 Feature 리스트이다.Table 1 is the feature list of the tumor area, and Table 2 is the feature list of the area around the tumor.
본 발명의 실시예에 따른 종양 주변 이미지 분석을 통한 머신러닝 기반 암 예후 예측 방법에서 중요한 포인트 중 하나는 종양 뿐 아니라 종양 주변 영역에 대한 분석을 진행하여 암 예후를 예측하고, 종양의 크기, 종류(종양 발생 부위)에 따라서 분석에 사용할 종양 주변 영역의 범위를 특정하는 것이다.One of the important points in the machine learning-based cancer prognosis prediction method through image analysis around the tumor according to an embodiment of the present invention is to predict the cancer prognosis by analyzing not only the tumor but also the area around the tumor, and predicting the tumor's size and type ( The scope of the area around the tumor to be used for analysis is specified depending on the tumor occurrence site.
이를 위해서, 위와 같은 Feature에 대하여 학습된 예측 모델을 이용하여 서로 다른 종양 주변 영역 범위에 따른 예측 성능을 테스트하고, 성능 테스트 결과를 다시 학습시켜, 실제 환자의 예후 예측에 활용하게 된다.For this purpose, the prediction performance according to the range of different tumor surrounding areas is tested using the prediction model learned for the above features, and the performance test results are relearned and used to predict the prognosis of actual patients.
보다 상세하게는, 컴퓨터는 특정 환자의 방사선 이미지를 입력시키고 소정 범위를 갖는 종양 주변 영역 이미지를 추출한 다음, 예측 모델을 이용하여 종양의 이미지와 종양 주변 영역 이미지를 분석하여 해당 환자의 암 예후를 예측한다.More specifically, the computer inputs a radiological image of a specific patient, extracts an image of the area around the tumor with a predetermined range, and then analyzes the image of the tumor and the image of the area around the tumor using a prediction model to predict the patient's cancer prognosis. do.
그리고, 컴퓨터는 동일 환자의 방사선 이미지에 대하여 위와 동일하게 암 예후를 예측하되 이번에는 위와 다른 범위를 갖는 종양 주변 영역 이미지를 추출하고, 예측 모델을 이용하여 종양의 이미지와 종양 주변 영역 이미지를 분석하여 해당 환자의 암 예후를 예측한다.Then, the computer predicts the cancer prognosis in the same way as above for the radiological image of the same patient, but this time extracts an image of the area around the tumor with a different range than above, and analyzes the image of the tumor and the image of the area around the tumor using a prediction model. Predict the patient’s cancer prognosis.
컴퓨터는 이와 같은 과정을 복수의 서로 다른 범위를 갖는 종양 주변 영역 이미지에 대하여 수행하고, 예측 성능을 평가하게 된다.The computer performs this process on images of the area surrounding the tumor with multiple different ranges and evaluates the prediction performance.
예를 들어, 종양의 외곽으로부터 3mm의 범위를 갖는 제1 종양 주변 영역 이미지, 5mm의 범위를 갖는 제2 종양 주변 영역 이미지, 9mm의 범위를 갖는 제3 종양 주변 영역 이미지, 15mm의 범위를 갖는 제4 종양 주변 영역 이미지와 같은 복수의 종양 주변 영역 이미지를 이용할 수 있다.For example, a first peritumoral region image with an extent of 3 mm from the outskirts of the tumor, a second peritumoral region image with an extent of 5 mm, a third peritumoral area image with an extent of 9 mm, a third with an extent of 15 mm. 4 Multiple images of the surrounding tumor area, such as images of the area surrounding the tumor, can be used.
여기서, 특정 환자란 이미 어느정도 시간이 지난 암 환자로 종양의 치료 후 일정 기간 내에 암이 재발하였는지와, 생존 여부에 대한 데이터가 보유된 환자를 의미한다.Here, a specific patient refers to a patient whose cancer has already passed for a certain period of time and for whom data is available on whether the cancer has recurred within a certain period of time after tumor treatment and whether the cancer has survived.
따라서, 이미 결과를 알고 있는 상태이기 때문에 컴퓨터는 위에서 예후 예측을 수행한 복수의 결과 데이터에 대하여 예측 성능을 평가할 수 있게 된다.Therefore, because the result is already known, the computer can evaluate the prediction performance of the plurality of result data for which the prognosis prediction was performed above.
컴퓨터는 복수의 서로 다른 범위를 갖는 종양 주변 영역 이미지를 이용하여 예측을 수행한 결과와 해당 환자의 실제 예후 정보를 예측 모델에 입력하고, 예측 모델은 예측 성공률이 가장 높은 종양 주변 영역 이미지의 범위에 대해서 학습하게 된다.The computer inputs the results of prediction using images of the tumor area with multiple different ranges and the patient's actual prognosis information into the prediction model, and the prediction model is based on the range of images of the area around the tumor with the highest prediction success rate. You will learn about
또한, 이 과정에서 컴퓨터는 해당 환자의 종양의 사이즈와 종양의 종류(종양 발생 부위)에 대한 정보도 입력시켜, 향후 예측 모델이 실제 환자의 방사선 이미지 내 종양의 사이즈와 종양의 종류(종양 발생 부위)에 따라서 종양 주변 영역의 범위를 특정할 수 있도록 한다.In addition, during this process, the computer inputs information about the patient's tumor size and tumor type (tumor occurrence site), so that the future prediction model can be used to determine the tumor size and tumor type (tumor occurrence site) in the actual patient's radiology image. ), so that the extent of the area surrounding the tumor can be specified.
이와 같은 과정을 복수의 서로 다른 환자 데이터를 이용하여 반복하게 되고, 예측 모델은 실제로 환자의 방사선 이미지가 입력되었을 때 종양의 주변 영역의 범위를 특정할 수 있게 된다.This process is repeated using a plurality of different patient data, and the prediction model can specify the extent of the surrounding area of the tumor when the patient's radiological image is actually input.
본 발명의 실시예에 따른 암 예후 예측을 위한 예측 모델 구축 방법은, 다수의 암 환자의 종양과 종양 주변 영역의 방사성 특징(Radiomic features)을 해당 환자의 실제 암 예후 정보와 함께 머신러닝 기반으로 학습하여 예측 모델을 구축하는 단계, 특정 환자의 방사선 이미지 내 종양의 외곽으로부터 서로 다른 범위를 갖는 복수 개의 종양 주변 영역 이미지를 추출하는 단계, 예측 모델을 이용하여 상기 종양의 이미지와 상기 복수 개의 종양 주변 영역 이미지를 분석하여 각각의 종양 주변 영역 범위에 따른 환자의 예후를 예측하는 단계, 상기 특정 환자의 실제 예후 정보를 입력하여 상기 복수 개의 종양 주변 영역 이미지에 대한 성능 평가를 수행하고 이를 예측 모델에 학습시키는 단계로 구성될 수 있다.The method of building a prediction model for predicting cancer prognosis according to an embodiment of the present invention is based on machine learning by learning radiomic features of tumors and surrounding areas of multiple cancer patients together with the actual cancer prognosis information of the patients. Building a prediction model, extracting images of a plurality of tumor-surrounding areas with different ranges from the outskirts of a tumor in a radiological image of a specific patient, using the prediction model to extract images of the tumor and the plurality of tumor-surrounding areas. Predicting the patient's prognosis according to the area around each tumor by analyzing images, inputting the actual prognosis information of the specific patient, performing performance evaluation on the plurality of images of the area around the tumor, and learning them into a prediction model. It may consist of steps.
이상으로 설명한 암 예후 예측을 위한 예측 모델 구축 방법을 통해서, 예측 모델은 방사선 이미지 내 종양의 사이즈, 종류(종양 발생 부위)에 따라서 예측 데이터로 사용할 종양 주변 영역의 범위를 특정할 수 있게 되고, 종양 이미지와 종양 주변 영역 이미지를 이용하여 암 환자의 예후를 정확하게 예측할 수 있게 된다.Through the method of building a prediction model for predicting cancer prognosis described above, the prediction model can specify the range of the area surrounding the tumor to be used as prediction data according to the size and type (tumor occurrence site) of the tumor in the radiological image. It is possible to accurately predict the prognosis of cancer patients using images and images of the area surrounding the tumor.
도 8은 본 발명의 실시예에 따른 종양 주변 이미지 분석을 통한 머신러닝 기반 암 예후 예측 시스템(10)의 블록도이다.Figure 8 is a block diagram of a machine learning-based cancer prognosis prediction system 10 through image analysis around the tumor according to an embodiment of the present invention.
본 발명의 실시예에 따른 종양 주변 이미지 분석을 통한 머신러닝 기반 암 예후 예측 시스템(10)은 다수의 암 환자의 종양과 종양 주변의 방사성 특징(Radiomic features)을 해당 환자의 실제 암 예후 정보와 함께 머신러닝 기반으로 학습하여 구축된 예측 모델을 이용하여 특정 환자의 암 예후를 예측한다.The machine learning-based cancer prognosis prediction system 10 through image analysis around the tumor according to an embodiment of the present invention combines the radiomic features of the tumor and surrounding tumor of multiple cancer patients with the actual cancer prognosis information of the patient. The cancer prognosis of a specific patient is predicted using a prediction model built by learning based on machine learning.
본 발명의 실시예에 따른 종양 주변 이미지 분석을 통한 머신러닝 기반 암 예후 예측 시스템(10)은 예측 장치(100)에 의해 수행되며, 예측 장치(100)는 인식부(110), 범위 특정부(130), 예측부(150)를 포함한다.The machine learning-based cancer prognosis prediction system 10 through image analysis around the tumor according to an embodiment of the present invention is performed by a prediction device 100, and the prediction device 100 includes a recognition unit 110, a range specification unit ( 130), and includes a prediction unit 150.
다만, 몇몇 실시예에서 서버는 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.However, in some embodiments, the server may include fewer or more components than those shown in FIG. 1.
인식부(110)는 특정 환자의 방사선 이미지에서 종양을 인식한다.The recognition unit 110 recognizes a tumor in a radiation image of a specific patient.
범위 특정부(130)는 인식부(110)를 통해 인식된 종양의 사이즈에 따라서 종양의 주변 영역의 범위를 특정하고, 종양 주변 영역 이미지를 추출한다.The range specification unit 130 specifies the range of the area surrounding the tumor according to the size of the tumor recognized through the recognition unit 110 and extracts an image of the area surrounding the tumor.
그리고, 인식부(110)는 범위 특정부(130)가 종양 주변 영역 이미지를 추출하면, 종양 주변 영역 이미지 내에서 암 예후 예측에 불필요한 영역을 제거한다.Then, when the range specification unit 130 extracts the image of the area around the tumor, the recognition unit 110 removes an area unnecessary for predicting cancer prognosis from the image of the area around the tumor.
예측부(150)는 종양의 이미지와 종양 주변 영역 이미지를 분석하여 해당 환자의 암 예후를 예측한다.The prediction unit 150 predicts the cancer prognosis of the patient by analyzing the image of the tumor and the image of the area surrounding the tumor.
이상으로 설명한 본 발명의 실시예에 따른 종양 주변 이미지 분석을 통한 머신러닝 기반 암 예후 예측 시스템(10)은 도 1 내지 도 7를 통해 설명한 종양 주변 이미지 분석을 통한 머신러닝 기반 암 예후 예측 방법과 발명의 카테고리만 다를 뿐, 동일한 내용이므로 중복되는 설명, 예시는 생략하도록 한다.The machine learning-based cancer prognosis prediction system 10 through image analysis around the tumor according to the embodiment of the present invention described above is a machine learning-based cancer prognosis prediction method and invention through image analysis around the tumor described with reference to FIGS. 1 to 7. Since the content is the same, only the categories are different, so redundant explanations and examples will be omitted.
이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.The method according to an embodiment of the present invention described above may be implemented as a program (or application) and stored in a medium in order to be executed in conjunction with a server, which is hardware.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-mentioned program is C, C++, JAVA, machine language, etc. that can be read by the processor (CPU) of the computer through the device interface of the computer in order for the computer to read the program and execute the methods implemented in the program. It may include code coded in a computer language. These codes may include functional codes related to functions that define the necessary functions for executing the methods, and include control codes related to execution procedures necessary for the computer's processor to execute the functions according to predetermined procedures. can do. In addition, these codes may further include memory reference-related codes that indicate at which location (address address) in the computer's internal or external memory additional information or media required for the computer's processor to execute the above functions should be referenced. there is. In addition, if the computer's processor needs to communicate with any other remote computer or server in order to execute the above functions, the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes regarding whether communication should be performed and what information or media should be transmitted and received during communication.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short period of time, such as a register, cache, or memory. Specifically, examples of the storage medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., but are not limited thereto. That is, the program may be stored in various recording media on various servers that the computer can access or on various recording media on the user's computer. Additionally, the medium may be distributed to computer systems connected to a network, and computer-readable code may be stored in a distributed manner.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of the method or algorithm described in connection with embodiments of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof. The software module may be RAM (Random Access Memory), ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which the present invention pertains.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Above, embodiments of the present invention have been described with reference to the attached drawings, but those skilled in the art will understand that the present invention can be implemented in other specific forms without changing its technical idea or essential features. You will be able to understand it. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive.
10: 종양 주변 이미지 분석을 통한 머신러닝 기반 암 예후 예측 시스템
100: 예측 장치
110: 인식부
130: 범위 특정부
150: 예측부10: Machine learning-based cancer prognosis prediction system through image analysis around tumor
100: prediction device
110: Recognition unit
130: Range specification part
150: prediction unit
Claims (11)
다수의 암 환자의 종양과 종양 주변 영역의 방사성 특징(Radiomic Features)을 상기 다수의 암 환자 각각의 실제 암 예후 정보와 함께 머신러닝 기반으로 학습하여 예측 모델을 구축하는 단계;
특정 환자의 방사선 이미지 내 종양의 외곽으로부터 서로 다른 범위를 갖는 복수의 종양 주변 영역 이미지를 추출하는 단계;
상기 예측 모델을 이용하여 상기 종양의 이미지와 상기 복수의 종양 주변 영역 이미지를 분석하여 각각의 종양 주변 영역 범위에 따른 상기 특정 환자의 예후를 예측하는 단계; 및
상기 특정 환자의 실제 예후 정보를 입력하여 상기 복수의 종양 주변 영역 이미지에 대한 예측 성능 평가를 수행하고, 상기 예측 성능 평가 수행 결과를 상기 예측 모델에 학습시키는 단계를 포함하며,
상기 특정 환자는, 종양 치료 후 일정 기간 내에 암이 재발하였는지 여부 및 생존 여부에 대한 데이터가 보유된 암 환자이고,
상기 예측 모델은, 상기 예측 성능 평가 결과를 기반으로, 예측 성공률이 가장 높은 종양 주변 영역 이미지의 범위에 대하여 학습하는 것을 특징으로 하는,
암 예후 예측을 위한 예측 모델 학습 방법.
In a method performed by a computer,
Building a prediction model by learning radiomic features of tumors and surrounding areas of multiple cancer patients based on machine learning along with actual cancer prognosis information for each of the multiple cancer patients;
Extracting a plurality of images of surrounding areas of a tumor having different ranges from the outskirts of a tumor in a radiological image of a specific patient;
predicting the prognosis of the specific patient according to the extent of each tumor region by analyzing the tumor image and the plurality of images of the tumor region using the prediction model; and
Inputting the actual prognosis information of the specific patient to perform a prediction performance evaluation on the images of the plurality of tumor surrounding areas, and training the prediction model with the results of the prediction performance evaluation,
The specific patient is a cancer patient who has data on whether the cancer has recurred and survival within a certain period of time after tumor treatment,
The prediction model is characterized in that it learns the range of the image of the area surrounding the tumor with the highest prediction success rate, based on the prediction performance evaluation results.
Prediction model learning method for cancer prognosis prediction.
상기 예측 모델은, 상기 특정 환자의 종양 사이즈와 종양의 종류에 대한 정보를 함께 학습함으로써, 실제 환자의 방사선 이미지 내 종양의 사이즈 및 종양의 종류에 따라 상기 실제 환자의 암 예후 예측을 위한 종양 주변 영역의 범위 특정이 가능한 것을 특징으로 하는,
암 예후 예측을 위한 예측 모델 학습 방법.
According to paragraph 1,
The prediction model learns information about the tumor size and type of the tumor of the specific patient, thereby predicting the cancer prognosis of the actual patient according to the tumor size and tumor type in the radiological image of the actual patient. Characterized by being able to specify the range of
Prediction model learning method for cancer prognosis prediction.
상기 예측 모델은,
상기 특정 환자의 방사선 이미지에서 인식된 종양의 사이즈 및 상기 종양의 발생 부위에 따라서 상기 종양 주변 영역의 범위를 설정하여 상기 종양 주변 영역의 이미지를 추출하고,
상기 특정 환자의 종양 이미지 및 상기 종양 주변 영역의 이미지를 분석하여 상기 특정 환자의 예후에 대한 예측이 가능한,
암 예후 예측을 위한 예측 모델 학습 방법.
According to paragraph 3,
The prediction model is,
Extracting an image of the area around the tumor by setting the range of the area around the tumor according to the size of the tumor recognized in the radiological image of the specific patient and the site of occurrence of the tumor,
Possible to predict the prognosis of the specific patient by analyzing the tumor image of the specific patient and the image of the area surrounding the tumor,
Prediction model learning method for cancer prognosis prediction.
상기 다수의 암 환자 각각의 실제 암 예후 정보는, 향후 일정 기간 내 암 재발생 여부 및 생존 여부를 포함하고,
상기 예측 모델은, 상기 특정 환자의 향후 일정 기간 내 암 재발생 여부 및 생존 여부가 예측 가능한 것을 특징으로 하는,
암 예후 예측을 위한 예측 모델 학습 방법.
According to paragraph 4,
The actual cancer prognosis information for each of the plurality of cancer patients includes whether cancer reoccurs within a certain period of time and whether the cancer survives,
The prediction model is characterized in that it is possible to predict whether cancer will reoccur and whether the specific patient will survive within a certain period of time in the future.
Prediction model learning method for cancer prognosis prediction.
상기 예측 모델 학습 장치는,
예측 모델;
특정 환자의 방사선 이미지 내 종양의 외곽으로부터 서로 다른 범위를 갖는 복수의 종양 주변 영역 이미지를 추출하는 범위 특정부를 포함하며,
상기 예측 모델 학습 장치는,
상기 예측 모델을 이용하여 상기 종양의 이미지와 상기 복수의 종양 주변 영역 이미지를 분석하여 각각의 종양 주변 영역 범위에 따른 상기 특정 환자의 예후를 예측하고,
상기 특정 환자의 실제 예후 정보를 입력하여 상기 복수의 종양 주변 영역 이미지에 대한 예측 성능 평가를 수행하고, 상기 예측 성능 평가 수행 결과를 상기 예측 모델에 학습시키고,
상기 특정 환자는, 종양 치료 후 일정 기간 내에 암이 재발하였는지 여부 및 생존 여부에 대한 데이터가 보유된 암 환자이고,
상기 예측 모델은, 상기 예측 성능 평가 결과를 기반으로, 예측 성공률이 가장 높은 종양 주변 영역 이미지의 범위에 대하여 학습하는 것을 특징으로 하는,
암 예후 예측을 위한 예측 모델 학습 장치.
A prediction model learning device that builds a prediction model by learning the radiomic features of the tumor and surrounding tumor area of multiple cancer patients along with the actual cancer prognosis information of each of the multiple cancer patients based on machine learning,
The prediction model learning device,
predictive model;
It includes a range specification unit that extracts a plurality of images of surrounding areas of a tumor having different ranges from the outer edge of the tumor in a radiological image of a specific patient,
The prediction model learning device,
Analyzing the image of the tumor and the plurality of images of the tumor surrounding area using the prediction model to predict the prognosis of the specific patient according to the extent of each tumor surrounding area,
Inputting the actual prognosis information of the specific patient to perform a predictive performance evaluation on the plurality of images of the surrounding areas of the tumor, and training the prediction performance evaluation results into the prediction model,
The specific patient is a cancer patient who has data on whether the cancer has recurred and survival within a certain period of time after tumor treatment,
The prediction model is characterized in that it learns the range of the image of the area surrounding the tumor with the highest prediction success rate, based on the prediction performance evaluation results.
Predictive model learning device for predicting cancer prognosis.
제1 환자의 방사선 이미지에서 종양을 인식하는 단계;
상기 인식된 종양의 사이즈에 따라서 상기 종양의 주변 영역의 범위를 설정하고, 종양 주변 영역 이미지를 추출하는 단계; 및
예측 모델을 이용하여 상기 종양의 이미지 및 상기 종양 주변 영역 이미지의 적어도 일부 영역을 분석하여 상기 제1 환자의 예후를 예측하는 단계를 포함하며,
상기 예측 모델은, 다수의 암 환자의 종양과 종양 주변의 방사성 특징(Radiomic features)을 상기 다수의 암 환자 각각의 실제 암 예후 정보와 함께 머신러닝 기반으로 학습하여 구축된 것이고,
상기 예측 모델은, 제2 환자의 방사선 이미지 내 종양의 외곽으로부터 서로 다른 범위를 갖는 복수의 종양 주변 영역 이미지를 추출하고,
상기 예측 장치는, 상기 예측 모델을 이용하여 상기 종양의 이미지와 상기 복수의 종양 주변 영역 이미지를 분석하여 각각의 종양 주변 영역 범위에 따른 상기 제2 환자의 예후를 예측하고,
상기 예측 장치는, 상기 제2 환자의 실제 예후 정보를 입력하여 상기 복수의 종양 주변 영역 이미지에 대한 예측 성능 평가를 수행하고, 상기 예측 성능 평가 수행 결과를 상기 예측 모델에 학습시키고,
상기 제2 환자는, 종양 치료 후 일정 기간 내에 암이 재발하였는지 여부 및 생존 여부에 대한 데이터가 보유된 암 환자이고,
상기 예측 모델은, 상기 예측 성능 평가 결과를 기반으로, 예측 성공률이 가장 높은 종양 주변 영역 이미지의 범위에 대하여 학습된 것을 특징으로 하는,
학습 모델 기반으로 종양 이미지를 분석하여 암 예후를 예측하는 방법.
In the method of predicting cancer prognosis by analyzing tumor images based on a learning model performed by a prediction device,
Recognizing a tumor in a radiological image of a first patient;
Setting a range of the area surrounding the tumor according to the size of the recognized tumor and extracting an image of the area surrounding the tumor; and
Predicting the prognosis of the first patient by analyzing at least a portion of the image of the tumor and the image of the area surrounding the tumor using a prediction model,
The prediction model is constructed by learning the radiomic features of tumors and surrounding tumors of multiple cancer patients together with the actual cancer prognosis information of each of the multiple cancer patients based on machine learning,
The prediction model extracts a plurality of images of areas around the tumor having different ranges from the outline of the tumor in the radiological image of the second patient,
The prediction device analyzes the image of the tumor and the plurality of images of the tumor surrounding area using the prediction model to predict the prognosis of the second patient according to each area around the tumor,
The prediction device inputs the actual prognosis information of the second patient to perform a prediction performance evaluation on the plurality of images of the surrounding areas of the tumor, and trains the prediction model with the results of the prediction performance evaluation,
The second patient is a cancer patient who has data on whether cancer has recurred and survival within a certain period of time after tumor treatment,
The prediction model is characterized in that it is learned for the range of images of the tumor surrounding area with the highest prediction success rate, based on the prediction performance evaluation results.
A method of predicting cancer prognosis by analyzing tumor images based on a learning model.
상기 종양 주변 영역 이미지 추출 단계는, 상기 인식된 종양의 사이즈 및 상기 종양의 발생 부위에 따라서 상기 종양 주변 영역의 범위를 설정하는 것을 특징으로 하는,
학습 모델 기반으로 종양 이미지를 분석하여 암 예후를 예측하는 방법.
In clause 7,
The image extraction step of the area surrounding the tumor is characterized in that setting the range of the area surrounding the tumor according to the size of the recognized tumor and the site of occurrence of the tumor.
A method of predicting cancer prognosis by analyzing tumor images based on a learning model.
상기 예후 예측 단계는, 상기 제1 환자의 향후 일정 기간 내 암 재발생 여부 및 생존 여부를 예측하는 것을 특징으로 하는,
학습 모델 기반으로 종양 이미지를 분석하여 암 예후를 예측하는 방법.
According to clause 8,
The prognosis prediction step is characterized by predicting whether cancer will reoccur and whether the first patient will survive within a certain period of time.
A method of predicting cancer prognosis by analyzing tumor images based on a learning model.
상기 인식된 종양의 사이즈에 따라서 상기 종양의 주변 영역의 범위를 설정하고, 종양 주변 영역 이미지를 추출하는 범위 특정부; 및
예측 모델을 이용하여 상기 종양의 이미지 및 상기 종양 주변 영역 이미지의 적어도 일부 영역을 분석하여 상기 제1 환자의 예후를 예측하는 예측부를 포함하며,
상기 예측 모델은, 다수의 암 환자의 종양과 종양 주변의 방사성 특징(Radiomic features)을 상기 다수의 암 환자 각각의 실제 암 예후 정보와 함께 머신러닝 기반으로 학습하여 구축된 것이고,
상기 예측 모델은, 제2 환자의 방사선 이미지 내 종양의 외곽으로부터 서로 다른 범위를 갖는 복수의 종양 주변 영역 이미지를 추출하고,
상기 예측 모델을 이용하여 상기 종양의 이미지와 상기 복수의 종양 주변 영역 이미지를 분석하여 각각의 종양 주변 영역 범위에 따른 상기 제2 환자의 예후를 예측하고,
상기 제2 환자의 실제 예후 정보를 입력하여 상기 복수의 종양 주변 영역 이미지에 대한 예측 성능 평가를 수행하고, 상기 예측 성능 평가 수행 결과를 상기 예측 모델에 학습시키고,
상기 제2 환자는, 종양 치료 후 일정 기간 내에 암이 재발하였는지 여부 및 생존 여부에 대한 데이터가 보유된 암 환자이고,
상기 예측 모델은, 상기 예측 성능 평가 결과를 기반으로, 예측 성공률이 가장 높은 종양 주변 영역 이미지의 범위에 대하여 학습된 것을 특징으로 하는,
학습 모델 기반으로 종양 이미지를 분석하여 암 예후를 예측하는 장치.
a recognition unit that recognizes a tumor in a radiological image of a first patient;
a range specification unit that sets a range of the surrounding area of the tumor according to the size of the recognized tumor and extracts an image of the area surrounding the tumor; and
A prediction unit that predicts the prognosis of the first patient by analyzing at least a portion of the image of the tumor and the image of the area surrounding the tumor using a prediction model,
The prediction model is constructed by learning the radiomic features of tumors and surrounding tumors of multiple cancer patients together with the actual cancer prognosis information of each of the multiple cancer patients based on machine learning,
The prediction model extracts a plurality of images of areas around the tumor having different ranges from the outer edge of the tumor in the radiological image of the second patient,
Analyzing the image of the tumor and the plurality of images of the surrounding tumor area using the prediction model to predict the prognosis of the second patient according to the extent of each area surrounding the tumor,
Inputting the actual prognosis information of the second patient to perform a prediction performance evaluation on the plurality of images of the surrounding areas of the tumor, and training the prediction model to perform the results of the prediction performance evaluation,
The second patient is a cancer patient who has data on whether cancer has recurred and survival within a certain period of time after tumor treatment,
The prediction model is characterized in that it is learned for the range of images of the tumor surrounding area with the highest prediction success rate, based on the prediction performance evaluation results.
A device that predicts cancer prognosis by analyzing tumor images based on a learning model.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220115822A KR102612400B1 (en) | 2020-05-29 | 2022-09-14 | Training method, device, program for predictive model that can predict cancer prognosis by analyzing tumor image |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200065481A KR102444919B1 (en) | 2020-05-29 | 2020-05-29 | Method, system and program for deep learning-based cancer prognosis prediction through image analysis around the tumor |
| KR1020220115822A KR102612400B1 (en) | 2020-05-29 | 2022-09-14 | Training method, device, program for predictive model that can predict cancer prognosis by analyzing tumor image |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200065481A Division KR102444919B1 (en) | 2020-05-29 | 2020-05-29 | Method, system and program for deep learning-based cancer prognosis prediction through image analysis around the tumor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220129521A KR20220129521A (en) | 2022-09-23 |
| KR102612400B1 true KR102612400B1 (en) | 2023-12-08 |
Family
ID=78868721
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200065481A KR102444919B1 (en) | 2020-05-29 | 2020-05-29 | Method, system and program for deep learning-based cancer prognosis prediction through image analysis around the tumor |
| KR1020220115822A KR102612400B1 (en) | 2020-05-29 | 2022-09-14 | Training method, device, program for predictive model that can predict cancer prognosis by analyzing tumor image |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200065481A KR102444919B1 (en) | 2020-05-29 | 2020-05-29 | Method, system and program for deep learning-based cancer prognosis prediction through image analysis around the tumor |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR102444919B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023240363A1 (en) * | 2022-06-16 | 2023-12-21 | Jalalifar Seyed Ali | System and methods for automatic assessment of radiotherapy outcome in tumours using longitudinal tumour segmentation on serial mri |
| KR102651589B1 (en) * | 2023-07-20 | 2024-03-27 | 주식회사 크레스콤 | Disease prognosis integrated prediction method, device and computer program Using mage and non-image data |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190087532A1 (en) * | 2017-09-15 | 2019-03-21 | Case Western Reserve University | Predicting recurrence in early stage non-small cell lung cancer (nsclc) with integrated radiomic and pathomic features |
| WO2019087791A1 (en) * | 2017-10-31 | 2019-05-09 | 富士フイルム株式会社 | Diagnosis support device, endoscope device, management device, diagnosis support method, management method, diagnosis support program, and management program |
| US20200005931A1 (en) | 2018-06-28 | 2020-01-02 | Case Western Reserve University | Predicting prostate cancer risk of progression with multiparametric magnetic resonance imaging using machine learning and peritumoral radiomics |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017096248A1 (en) | 2015-12-02 | 2017-06-08 | Clearlight Diagnostics Llc | Methods for preparing and analyzing tumor tissue samples for detection and monitoring of cancers |
| KR102172374B1 (en) * | 2017-03-16 | 2020-10-30 | 사회복지법인 삼성생명공익재단 | Apparatus, Method and Computer Program for Predicting the Prognosis of Synovial Sarcoma Using Artificial Neural Network |
-
2020
- 2020-05-29 KR KR1020200065481A patent/KR102444919B1/en active IP Right Grant
-
2022
- 2022-09-14 KR KR1020220115822A patent/KR102612400B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190087532A1 (en) * | 2017-09-15 | 2019-03-21 | Case Western Reserve University | Predicting recurrence in early stage non-small cell lung cancer (nsclc) with integrated radiomic and pathomic features |
| WO2019087791A1 (en) * | 2017-10-31 | 2019-05-09 | 富士フイルム株式会社 | Diagnosis support device, endoscope device, management device, diagnosis support method, management method, diagnosis support program, and management program |
| US20200005931A1 (en) | 2018-06-28 | 2020-01-02 | Case Western Reserve University | Predicting prostate cancer risk of progression with multiparametric magnetic resonance imaging using machine learning and peritumoral radiomics |
Non-Patent Citations (1)
| Title |
|---|
| Tai H. Dou 외. Peritumoral radiomics features predict distant metastasis in locally advanced NSCLC. https://doi.org/10.1371/journal.pone.0206108. 2018년 11월 2일 공개.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102444919B1 (en) | 2022-09-19 |
| KR20220129521A (en) | 2022-09-23 |
| KR20210147765A (en) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102612400B1 (en) | Training method, device, program for predictive model that can predict cancer prognosis by analyzing tumor image | |
| Fuhrman et al. | A review of explainable and interpretable AI with applications in COVID‐19 imaging | |
| US10019796B2 (en) | System and method for blood vessel analysis and quantification in highly multiplexed fluorescence imaging | |
| CN105809175B (en) | Cerebral edema segmentation method and system based on support vector machine algorithm | |
| CN105653858A (en) | Image omics based lesion tissue auxiliary prognosis system and method | |
| WO2021114130A1 (en) | Unsupervised self-adaptive mammary gland lesion segmentation method | |
| US20150254493A1 (en) | Tumor Plus Adjacent Benign Signature (TABS) For Quantitative Histomorphometry | |
| CN111583246A (en) | Method for classifying liver tumors by utilizing CT (computed tomography) slice images | |
| Xu et al. | Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients | |
| JP2013027636A (en) | Image processing apparatus, image processing method, and image processing program | |
| CN114140378A (en) | Scanned image processing method, electronic device, and readable medium | |
| CN113160153A (en) | Lung nodule screening method and system based on deep learning technology | |
| CN112907581A (en) | MRI (magnetic resonance imaging) multi-class spinal cord tumor segmentation method based on deep learning | |
| CN111027548B (en) | Brain glioma molecular marker nondestructive prediction method and system based on image histology | |
| US11935234B2 (en) | Method for detecting abnormality, non-transitory computer-readable recording medium storing program for detecting abnormality, abnormality detection apparatus, server apparatus, and method for processing information | |
| Tian et al. | Radiomics and its clinical application: artificial intelligence and medical big data | |
| CN110706217A (en) | Deep learning-based lung tumor automatic delineation method | |
| CN110807785A (en) | Research method for postoperative recurrence correlation factors of non-small cell lung cancer patient | |
| CN113435469A (en) | Kidney tumor enhanced CT image automatic identification system based on deep learning and training method thereof | |
| CN115187512B (en) | Method, system, device and medium for predicting invasion risk of large blood vessel of hepatocellular carcinoma | |
| CN115424081A (en) | Interpretable cancer pathological section image identification method and device and computer equipment | |
| Mousavi Moghaddam et al. | Lung parenchyma segmentation from CT images with a fully automatic method | |
| US20210304403A1 (en) | Systems and methods for tumor characterization | |
| CN112329876A (en) | Colorectal cancer prognosis prediction method and device based on image omics | |
| KR102667231B1 (en) | System and method for contouring a set of medical images based on deep learning algorighm and anatomical characteristics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |