KR20230158264A - Radiomix-based machine learning model for predictive diagnosis of invasive cancer using medical images - Google Patents
Radiomix-based machine learning model for predictive diagnosis of invasive cancer using medical images Download PDFInfo
- Publication number
- KR20230158264A KR20230158264A KR1020220057762A KR20220057762A KR20230158264A KR 20230158264 A KR20230158264 A KR 20230158264A KR 1020220057762 A KR1020220057762 A KR 1020220057762A KR 20220057762 A KR20220057762 A KR 20220057762A KR 20230158264 A KR20230158264 A KR 20230158264A
- Authority
- KR
- South Korea
- Prior art keywords
- features
- image
- invasive cancer
- segmented image
- segmented
- Prior art date
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 91
- 201000011510 cancer Diseases 0.000 title claims abstract description 77
- 238000003745 diagnosis Methods 0.000 title claims abstract description 29
- 238000010801 machine learning Methods 0.000 title abstract description 13
- 238000000034 method Methods 0.000 claims description 32
- 239000000284 extract Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000012706 support-vector machine Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 230000002601 intratumoral effect Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 3
- 208000028715 ductal breast carcinoma in situ Diseases 0.000 abstract description 14
- 208000037396 Intraductal Noninfiltrating Carcinoma Diseases 0.000 abstract description 13
- 206010073094 Intraductal proliferative breast lesion Diseases 0.000 abstract description 12
- 201000007273 ductal carcinoma in situ Diseases 0.000 abstract description 12
- 238000002595 magnetic resonance imaging Methods 0.000 abstract description 10
- 238000001356 surgical procedure Methods 0.000 abstract description 7
- 239000011159 matrix material Substances 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 8
- 238000002591 computed tomography Methods 0.000 description 7
- 238000001574 biopsy Methods 0.000 description 6
- 208000026310 Breast neoplasm Diseases 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000002059 diagnostic imaging Methods 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 206010006187 Breast cancer Diseases 0.000 description 3
- 208000014581 breast ductal adenocarcinoma Diseases 0.000 description 3
- 201000010983 breast ductal carcinoma Diseases 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000011065 in-situ storage Methods 0.000 description 3
- 206010073095 invasive ductal breast carcinoma Diseases 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010009944 Colon cancer Diseases 0.000 description 2
- 201000010915 Glioblastoma multiforme Diseases 0.000 description 2
- 208000008839 Kidney Neoplasms Diseases 0.000 description 2
- 206010035226 Plasma cell myeloma Diseases 0.000 description 2
- 206010038389 Renal cancer Diseases 0.000 description 2
- 206010039491 Sarcoma Diseases 0.000 description 2
- 208000005718 Stomach Neoplasms Diseases 0.000 description 2
- 210000002469 basement membrane Anatomy 0.000 description 2
- 239000000090 biomarker Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 206010017758 gastric cancer Diseases 0.000 description 2
- 208000005017 glioblastoma Diseases 0.000 description 2
- 208000024312 invasive carcinoma Diseases 0.000 description 2
- 201000010982 kidney cancer Diseases 0.000 description 2
- 238000009607 mammography Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 201000011549 stomach cancer Diseases 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 206010005003 Bladder cancer Diseases 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000283707 Capra Species 0.000 description 1
- 241000282693 Cercopithecidae Species 0.000 description 1
- 206010008342 Cervix carcinoma Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 206010014733 Endometrial cancer Diseases 0.000 description 1
- 206010014759 Endometrial neoplasm Diseases 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 208000006168 Ewing Sarcoma Diseases 0.000 description 1
- 208000016937 Extranodal nasal NK/T cell lymphoma Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 206010017993 Gastrointestinal neoplasms Diseases 0.000 description 1
- 208000021309 Germ cell tumor Diseases 0.000 description 1
- 208000032612 Glial tumor Diseases 0.000 description 1
- 206010018338 Glioma Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 208000034578 Multiple myelomas Diseases 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000034176 Neoplasms, Germ Cell and Embryonal Diseases 0.000 description 1
- 206010029260 Neuroblastoma Diseases 0.000 description 1
- 206010033128 Ovarian cancer Diseases 0.000 description 1
- 206010061535 Ovarian neoplasm Diseases 0.000 description 1
- 238000012879 PET imaging Methods 0.000 description 1
- 206010061902 Pancreatic neoplasm Diseases 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 208000006265 Renal cell carcinoma Diseases 0.000 description 1
- 206010041067 Small cell lung cancer Diseases 0.000 description 1
- 208000021712 Soft tissue sarcoma Diseases 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 208000024770 Thyroid neoplasm Diseases 0.000 description 1
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 description 1
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 201000007455 central nervous system cancer Diseases 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 201000010881 cervical cancer Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 description 1
- 201000010536 head and neck cancer Diseases 0.000 description 1
- 208000014829 head and neck neoplasm Diseases 0.000 description 1
- 206010073071 hepatocellular carcinoma Diseases 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000000050 myeloid neoplasm Diseases 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 208000002154 non-small cell lung carcinoma Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 201000008968 osteosarcoma Diseases 0.000 description 1
- 201000002528 pancreatic cancer Diseases 0.000 description 1
- 208000008443 pancreatic carcinoma Diseases 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 208000015347 renal cell adenocarcinoma Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 201000009410 rhabdomyosarcoma Diseases 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 208000000587 small cell lung carcinoma Diseases 0.000 description 1
- 206010041823 squamous cell carcinoma Diseases 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 201000002510 thyroid cancer Diseases 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 208000029729 tumor suppressor gene on chromosome 11 Diseases 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 201000005112 urinary bladder cancer Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
- A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
- A61B5/4312—Breast evaluation or disorder diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Reproductive Health (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Gynecology & Obstetrics (AREA)
- Mathematical Physics (AREA)
- High Energy & Nuclear Physics (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
본 발명은 의료 영상을 이용하여 침윤암을 예측 진단하기 위한 라디오믹스 기반의 머신러닝 모델에 관한 것으로, 더욱 상세하게는, 자기공명영상을 이용하여 수술 전에 관상피내암 (ductal carcinoma in situ) 환자로부터 침윤암 (invasive cancer)을 예측 또는 진단할 수 있는 모델에 관한 것으로, 본 발명에 따른 침윤암 진단 모델은 대상에게서 침윤암을 정확히 진단할 수 있어, 침윤암 진단과 관련한 진단 수술 및 다양한 의료분야에 이용될 수 있다.The present invention relates to a radiomics-based machine learning model for predicting and diagnosing invasive cancer using medical images, and more specifically, to detect invasive cancer from patients with ductal carcinoma in situ before surgery using magnetic resonance imaging. It relates to a model that can predict or diagnose invasive cancer. The invasive cancer diagnosis model according to the present invention can accurately diagnose invasive cancer in a subject, and can be used in diagnostic surgery and various medical fields related to invasive cancer diagnosis. It can be.
Description
본 발명은 의료 영상을 이용하여 침윤암을 예측 진단하기 위한 라디오믹스 기반의 머신러닝 모델에 관한 것으로, 더욱 상세하게는, 자기공명영상을 이용하여 수술 전에 관상피내암 (ductal carcinoma in situ) 환자로부터 침윤암 (invasive cancer)을 예측 또는 진단할 수 있는 모델에 관한 것이다.The present invention relates to a radiomics-based machine learning model for predicting and diagnosing invasive cancer using medical images, and more specifically, to detect invasive cancer from patients with ductal carcinoma in situ before surgery using magnetic resonance imaging. This relates to a model that can predict or diagnose invasive cancer.
유방 관상피내암 (ductal carcinoma in situ; DCIS)은 기저막(basement membrane)을 침범하지 않은 유방 악성종양으로 이론적으로 전이의 가능성이 없기 때문에 수술적인 치료로 완치를 기대할 수 있는 질환인 반면, 관상피내암이 기저막을 침범하게 되면 침윤암 (invasive cancer)으로 진행하게 된다. 침윤암으로 진단될 경우 약 7%에서 액와림프절 전이 가능성이 있다고 알려져 있기 때문에 추가적인 액와림프절 조직검사가 필수적으로 필요하다.Breast ductal carcinoma in situ (DCIS) is a breast malignant tumor that does not invade the basement membrane. In theory, it is a disease that can be cured through surgical treatment because there is no possibility of metastasis, whereas ductal carcinoma in situ (DCIS) is a breast malignant tumor that does not invade the basement membrane. If it invades, it progresses to invasive cancer. When diagnosed with invasive cancer, it is known that there is a possibility of axillary lymph node metastasis in approximately 7% of cases, so additional axillary lymph node biopsy is essential.
초음파 유도 중심핵조직검사는 침습적인 조직검사로써 유방암 진단의 표준술식으로 알려져 있으나 병변의 일부만을 조직검사하기 때문에 초음파 유도 중심핵조직검사에서 관상피내암으로 진단된 경우에 수술 후 최종 조직검사에서 침윤암으로 진단되는 과소평가 (underestimation)가 발생할 수 있다. 또한, 유방암을 진단하는데 있어서 유방촬영술, 초음파, 자기공명영상 (magnetic resonance imaging; MRI)이 검사방법으로 사용되고 있는데 역동적 조영증강 MRI는 유방 병변을 진단하는데 가장 민감도가 높은 검사이긴 하지만 특이도가 낮은 단점이 있다. Ultrasound-guided central core biopsy is an invasive biopsy and is known to be the standard technique for breast cancer diagnosis. However, since only a portion of the lesion is biopsied, if intraductal carcinoma is diagnosed through ultrasound-guided core biopsy, invasive cancer is diagnosed at the final biopsy after surgery. Underestimation may occur. In addition, mammography, ultrasound, and magnetic resonance imaging (MRI) are used as testing methods to diagnose breast cancer. Although dynamic contrast-enhanced MRI is the most sensitive test for diagnosing breast lesions, it has the disadvantage of low specificity. There is.
현재까지 중심핵조직검사에서 관상피내암으로 진단된 경우에 침윤암을 예측하고자 하는 많은 연구가 이루어졌고, 수술전 관상피내암에서 바늘의 굵기, 조직등급, 크기, 유방촬영 소견, 촉지 여부가 침윤암 진단가능성을 결정하는 유의한 인자로 제시되어왔다. 한편 근래에 개인별 맞춤 치료 (personalized treatment)와 예방을 위한 정밀 의료 (precision medicine)라는 분야가 대두되고 있는데, 최근에는 라디오믹스 (radiomics)를 이용하여 환자에 대한 의료 행위를 결정하는 데 사용하는 분야가 주목받고 있다. 라디오믹스란 개인에 맞춤화된 의료서비스를 제공하기 위해 의료 영상으로부터 추출된 정량적인 특징 정보를 통합하여 진단 및 예후 예측 모델을 만드는 것을 목표로 한다. 환자 진단에 의료 영상의 활용이 증가하면서, 대량의 의료영상 정보들을 분석하고, 그 속에서 추출된 유용한 진단표지자 (biomarker) 관련 정보들을 바탕으로 질환의 진단, 감별 및 예후를 예측하기 위하여 이 연구분야가 주목받게 되었다. 컴퓨터 단층 촬영 스캔(CT), MRI 또는 양전자 방출 단층 촬영(PET)과 같은 의료 영상에 대한 기존 분석은 일반적으로 종양 크기 및 전체 형태, 대조도 (contrast) 향상과 같은 단순한 특징의 시각적 해석을 기반으로 하나, 라디오믹스 기법의 경우, 이러한 영상들을 컴퓨터로 분석하여, 정량적 복합 데이터로 변환한 후 텍스처 (texture), 고급 형상 모델링 및 이질성 분야를 포함하여 고효율 정량적 특징을 추출하게 된다. 더불어 해상도 특질이 증가함에 따라, 분석에 이용 가능한 수백만 개의 복셀 (voxel)을 포함하는 3차원 영상 획득이 가능해지고 이에 따라 증가한 대용량 의료 영상 데이터에서 더 많은 정보를 효율적으로 활용하기 위해 라디오믹스의 발전이 자연적으로 진행되어왔다. To date, many studies have been conducted to predict invasive cancer in cases diagnosed with ductal carcinoma in situ through central core biopsy, and the possibility of diagnosing invasive cancer in preoperative ductal carcinoma in situ is determined by the thickness of the needle, tissue grade, size, mammography findings, and palpability. has been suggested as a significant factor in determining . Meanwhile, the field of precision medicine for personalized treatment and prevention has been emerging in recent years. Recently, radiomics has been used to determine medical treatment for patients. It is attracting attention. Radiomics aims to create a diagnosis and prognosis prediction model by integrating quantitative feature information extracted from medical images to provide personalized medical services. As the use of medical images in patient diagnosis increases, this research field is designed to analyze large amounts of medical image information and predict disease diagnosis, differentiation, and prognosis based on useful diagnostic marker information extracted from it. came into focus. Traditional analyzes of medical images, such as computed tomography scans (CT), MRI, or positron emission tomography (PET), are typically based on visual interpretation of simple features such as tumor size and overall shape, and contrast enhancement. First, in the case of radiomics techniques, these images are analyzed by a computer, converted into quantitative complex data, and then highly efficient quantitative features are extracted, including texture, advanced shape modeling, and heterogeneity. In addition, as resolution characteristics increase, it becomes possible to acquire three-dimensional images containing millions of voxels available for analysis, and accordingly, advances in radiomics are made to efficiently utilize more information from the increased large volume of medical imaging data. It has progressed naturally.
이에, 라디오믹스 기법을 이용한 의료 영상 분석을 통해, 치료 과정 전반에 걸쳐 영상을 정기적으로 획득함으로써 시간 경과에 따라 종양을 모니터링할 수 있을 뿐만 아니라 영상 바이오마커들이 암 검출, 진단, 치료 전략의 선택, 예후 추론, 반응 예측 및 관리에 사용될 수 있는 모델에 대한 필요성이 대두되고 있다.Accordingly, through medical image analysis using radiomics techniques, not only can tumors be monitored over time by regularly acquiring images throughout the treatment process, but also image biomarkers can be used for cancer detection, diagnosis, and selection of treatment strategies. There is an emerging need for models that can be used for prognostic inference, response prediction, and management.
이에 본 발명자들은 의료 영상을 이용하여 침윤암을 예측 진단하기 위한 라디오믹스 기반의 머신러닝 모델을 제작하였으며, 이의 진단 성능이 월등히 우수한 것을 확인하였다. Accordingly, the present inventors created a radiomics-based machine learning model to predict and diagnose invasive cancer using medical images, and confirmed that its diagnostic performance was significantly excellent.
이에, 본 발명의 목적은 컴퓨팅 장치에 의해 의료 영상데이터에서 침윤암 진단을 위한 정보를 제공하는 방법을 제공하는 것이다.Accordingly, the purpose of the present invention is to provide a method of providing information for diagnosing invasive cancer from medical image data by a computing device.
본 발명의 다른 목적은 침윤암 진단을 위한 정보를 제공하기 위한 컴퓨팅 장치를 제공하는 것이다. Another object of the present invention is to provide a computing device for providing information for diagnosing invasive cancer.
본 발명의 또 다른 목적은 침윤암 진단을 위해 저장 매체에 저장된 컴퓨터 프로그램을 제공하는 것이다.Another object of the present invention is to provide a computer program stored in a storage medium for diagnosing invasive cancer.
본 발명은 의료 영상을 이용하여 침윤암을 예측 진단하기 위한 라디오믹스 기반의 머신러닝 모델에 관한 것으로, 본 발명에 따른 모델은 높은 정확도로 침윤암을 진단할 수 있다. The present invention relates to a radiomics-based machine learning model for predicting and diagnosing invasive cancer using medical images. The model according to the present invention can diagnose invasive cancer with high accuracy.
이하 본 발명을 더욱 자세히 설명하고자 한다.Hereinafter, the present invention will be described in more detail.
본 발명의 일 양태는, 컴퓨팅 장치에 의해 의료 영상데이터에서 침윤암 진단을 위한 정보를 제공하는 방법에 있어서, 의료 영상데이터를 기초로 관심영역의 분할 영상을 생성하는 처리 단계; 분할 영상에서 하나 이상의 피쳐를 추출하는 추출 단계; 및 추출된 피쳐를 미리 학습된 침윤암 진단 모델에 입력하여 진단 정보를 생성하는 생성 단계; 를 포함하는, 침윤암 진단을 위한 정보 제공 방법이다.One aspect of the present invention provides a method of providing information for diagnosing invasive cancer from medical image data by a computing device, comprising: a processing step of generating a segmented image of a region of interest based on the medical image data; An extraction step of extracting one or more features from the segmented image; and a generation step of generating diagnostic information by inputting the extracted features into a pre-learned invasive cancer diagnosis model; A method of providing information for diagnosing invasive cancer, including.
본 명세서 상의 용어 "침윤암 (invasive cancer)"은 악성종앙이 번져 인접한 조직이나 세포로 침입한 암으로, 양성종양과 달리 빠르게 성장하고 덩어리를 둘러싼 피막이 없어 주위의 조직을 밀치거나 뚫고 나가며 이 과정에서 정상세포의 영양분을 빼앗아 주위 조직을 쇠약하게 하거나 하괴하는 질환을 의미한다.The term "invasive cancer" in this specification refers to cancer that spreads and invades adjacent tissues or cells. Unlike benign tumors, it grows quickly and does not have a sheath surrounding the mass, so it pushes or penetrates surrounding tissues and in this process, It refers to a disease that deprives normal cells of nutrients and weakens or destroys surrounding tissues.
본 발명에 있어서 침윤암은 편평 세포 암종 (squamous cell carcinoma), 소세포 폐암 (small-cell lung cancer), 비소세포 폐암 (non-small cell lung cancer), 신경교종 (glioma), 위장암, 신세포암 (renal cancer), 난소암, 간암, 결장직장암, 자궁내막암 (endometrial cancer), 신장암 (kidney cancer), 전립선암, 갑상선암, 신경아세포종 (neuroblastoma), 뇌암, 중추신경계암, 췌장암, 다형성 교모세포종 (glioblastoma multiforme), 자궁경부암, 위암, 방광암, 악성 간암(malignant hepatoma), 유방 관상피내암 (ductal carcinoma in situ; DCIS), 유방암, 결장 암종, 두경부암, 위암, 생식세포 종양, 소아 육종 (pediatric sarcoma), 횡문근육종 (rhabdomyosarcoma), 유잉 육종 (Ewing's sarcoma), 골육종 (osteosarcoma), 연조직 육종 (soft tissue sarcoma), 비부비동 NK/T 세포 림프종 (sinonasal NK/T-cell lymphoma), 골수종 (myeloma), 흑색종 (melanoma), 다발성 골수종 (multiple myeloma)으로 이루어진 군으로부터 선택되는 하나 이상에 의해 유발된 것일 수 있고, 예를 들어, 유방 관상피내암 (ductal carcinoma in situ; DCIS)에 의해 유발된 것일 수 있으나, 이에 한정되는 것은 아니다.In the present invention, invasive cancer includes squamous cell carcinoma, small-cell lung cancer, non-small cell lung cancer, glioma, gastrointestinal cancer, and renal cell cancer. (renal cancer), ovarian cancer, liver cancer, colorectal cancer, endometrial cancer, kidney cancer, prostate cancer, thyroid cancer, neuroblastoma, brain cancer, central nervous system cancer, pancreatic cancer, glioblastoma multiforme (glioblastoma multiforme), cervical cancer, stomach cancer, bladder cancer, malignant hepatoma, breast ductal carcinoma in situ (DCIS), breast cancer, colon carcinoma, head and neck cancer, stomach cancer, germ cell tumor, pediatric sarcoma ), rhabdomyosarcoma, Ewing's sarcoma, osteosarcoma, soft tissue sarcoma, sinonasal NK/T-cell lymphoma, myeloma, It may be caused by one or more selected from the group consisting of melanoma and multiple myeloma, for example, it may be caused by breast ductal carcinoma in situ (DCIS). , but is not limited to this.
본 명세서 상의 용어 "의료 영상데이터"는, 이산적 영상 요소들 (예를 들어, 2차원 영상에 있어서는 픽셀)로 구성된 다차원 의료 영상 데이터를 포함하는 것일 수 있다. 구체적으로, 의료데이터는 눈으로 볼 수 있는 대상 또는 (예컨대, CT, MRI 검출기 등의 픽셀 출력에 대응되는 파일과 같은) 그 대상의 디지털 표현물을 포함할 수 있다. 의료 영상데이터는 전산화 단층 촬영 (computed tomography; CT), 자기 공명 영상 (magnetic resonance imaging; MRI), 안저 영상, 초음파 또는 본 발명의 기술분야에서 공지된 임의의 다른 의료 영상 시스템의 의하여 수집된 대상 (subject)의 의료 영상을 포함하는 것일 수 있다. The term “medical image data” in this specification may include multidimensional medical image data composed of discrete image elements (eg, pixels in a two-dimensional image). Specifically, medical data may include a visible object or a digital representation of that object (e.g., a file corresponding to the pixel output of a CT, MRI detector, etc.). Medical imaging data may be collected by computed tomography (CT), magnetic resonance imaging (MRI), fundus imaging, ultrasound, or any other medical imaging system known in the art ( It may include a medical image of a subject).
본 명세서 상의 용어 "대상"은 침윤암 질환을 가지거나, 또는 침윤암 질환이 의심되는 객체 (또는 피검체)일 수 있다. 본 발명의 일 구현예에서, 대상은 포유류 일 수 있고, 예를 들어, 대상은 인간, 원숭이, 개, 고양이, 마우스, 래트, 소, 말, 돼지, 염소 및 양으로 이루어지는 그룹에서 선택되는 하나 이상일 수 있다.The term “subject” in this specification may be an object (or subject) that has an invasive cancer disease or is suspected of having an invasive cancer disease. In one embodiment of the invention, the subject may be a mammal, for example, the subject may be one or more selected from the group consisting of humans, monkeys, dogs, cats, mice, rats, cattle, horses, pigs, goats and sheep. You can.
본 발명의 일 구현예에서, 분할 영상은, 차이영상 (subtraction image)를 포함하는 제1분할영상; 종양내 (intratumor) 영상을 포함하는 제2분할영상; 및 종양내 및 종양 주변부 (peritumor) 영상을 포함하는 제3분할영상;을 포함하는 것일 수 있다.In one embodiment of the present invention, the segmented image includes: a first segmented image including a difference image (subtraction image); a second segmented image including an intratumor image; and a third segmented image including images within the tumor and around the tumor.
그리고, 하나 이상의 피쳐는 차이영상을 포함하는 제1분할영상을 기초로, 종양내 (intratumor) 영상을 포함하는 제2분할영상 및 종양내 및 종양 주변부 (peritumor) 영상을 포함하는 제3분할영상에서 추출될 수 있다. And, one or more features are based on the first segment image including the difference image, the second segment image including the intratumor image, and the third segment image including the intratumor and tumor periphery images. can be extracted.
본 발명에 있어서 차이 영상은 조영증강 후 영상 (post-contrast)에서 조영증강 전 영상 (pre-contrast)을 차감한 영상인 것일 수 있다.In the present invention, the difference image may be an image obtained by subtracting the pre-contrast image from the post-contrast image.
본 발명의 일 구현예에서, 피쳐는 라디오믹 시그니쳐 (radiomic signature)인 것일 수 있다.In one implementation of the present invention, the feature may be a radiomic signature.
본 발명의 일 구현예에서, 라디오믹 시그니쳐는, 모양 (shape) 특징 및 세기 (intensity) 특징을 포함하는 1차 특징, 및 질감 (texture) 특징을 포함하는 2차 특징 측정값에 기초하여 계산되는 것일 수 있다.In one implementation of the invention, the radiomic signature is calculated based on primary feature measurements including shape features and intensity features, and secondary feature measurements including texture features. It may be.
본 발명의 일 구현예에서, 라디오믹 시그니쳐는, 모양 (shape) 특징 및 세기 (intensity) 특징을 포함하는 1차 특징, 및 질감 (texture) 특징을 포함하는 2차 특징을 포함하는 것일 수 있다.In one embodiment of the present invention, the radiomic signature may include primary features including shape features and intensity features, and secondary features including texture features.
본 발명의 일 구현예에서, 추출 단계는 PyRadiomics 모듈을 통해 수행되는 것일 수 있다.In one embodiment of the present invention, the extraction step may be performed through the PyRadiomics module.
본 발명의 일 구현예에서, 모양 특징은 연장 (Elongation), 편평도 (Flatness), LeastAxisLength, MajorAxisLength, Maximum2DDiameterColumn, Maximum2DDiameterRow, Maximum2DDiameterSlice, Maximum3DDiameter, MeshVolume, MinorAxisLength, Sphericity, SurfaceArea, 표면 부피 비율 (SurfaceVolumeRatio), VoxelVolume을 포함하는 것일 수 있다.In one embodiment of the invention, the shape features include Elongation, Flatness, LeastAxisLength, MajorAxisLength, Maximum2DDiameterColumn, Maximum2DDiameterRow, Maximum2DDiameterSlice, Maximum3DDiameter, MeshVolume, MinorAxisLength, Sphericity, SurfaceArea, SurfaceVolumeRatio, and VoxelVolume. to It may include
본 발명의 일 구현예에서, 세기 특징은 10Percentile, 90Percentile, 에너지 (Energy), 엔트로피 (Entropy), InterquartileRange, Kurtosis, Maximum, MeanAbsoluteDeviation, Mean, Median, Minimum, Range, RobustMeanAbsoluteDeviation, RootMeanSquared, 편포도 (Skewness), 총 에너지 (TotalEnergy), Uniformity, Variance를 포함하는 것일 수 있다.In one embodiment of the present invention, the intensity features are 10Percentile, 90Percentile, Energy, Entropy, InterquartileRange, Kurtosis, Maximum, MeanAbsoluteDeviation, Mean, Median, Minimum, Range, RobustMeanAbsoluteDeviation, RootMeanSquared, Skewness , may include Total Energy, Uniformity, and Variance.
본 발명의 일 구현예에서, 질감 특징은 명암도 동시 발생 행렬 (GLCM), 명암도 의존성 행렬 (GLDM), 명암도 구간 길이 행렬 (GLRLM), 명암도 크기 구역 행렬 (GLSZM), 이웃 계조 차이 행렬 (NGTDM)을 포함하는 것일 수 있다.In one implementation of the invention, the texture features include the intensity co-occurrence matrix (GLCM), intensity dependence matrix (GLDM), intensity interval length matrix (GLRLM), intensity magnitude zone matrix (GLSZM), and neighboring grayscale difference matrix (NGTDM). It may include
본 발명의 일 구현예에서, 라디오믹 시그니쳐는 표면 부피 비율 (Surface Volume Ratio), 구형도 (Sphericity), 에너지 (Energy), 종속성 분산 (Dependence Variance), 영역백분율 (ZonePercentage), 편포도 (Skewness), 넓은 영역 강조 (Large Area Emphasis), 연장 (Elongation), 넓은 영역 높은 그레이 레벨 강조 (Large Area High Gray Level Emphasis), 영역차 (Zone Variance) 및 단기 하이 그레이 레벨 강조 (Short Run High Gray Level Emphasis)로 이루어지는 그룹에서 선택되는 하나 이상 특징을 포함하는 것일 수 있다.In one embodiment of the present invention, the radiomic signature includes Surface Volume Ratio, Sphericity, Energy, Dependence Variance, ZonePercentage, and Skewness. , Large Area Emphasis, Elongation, Large Area High Gray Level Emphasis, Zone Variance, and Short Run High Gray Level Emphasis. It may include one or more features selected from the group consisting of.
본 발명의 일 구현예에서 침윤암 진단 모델은 라디오믹 시그니쳐를 포함하는 피쳐에 의해 학습된 것일 수 있다. In one embodiment of the present invention, the invasive cancer diagnosis model may be learned using features including radiomic signatures.
본 발명의 일 구현예에서, 라디오믹 시그니쳐는, 모양 (shape) 특징 및 세기 (intensity) 특징을 포함하는 1차 특징, 및 질감 (texture) 특징을 포함하는 것일 수 있다.In one embodiment of the present invention, the radiomic signature may include primary features including shape features and intensity features, and texture features.
본 발명의 일 구현예에서, 침윤암 진단모델은 표면 부피 비율 (Surface Volume Ratio), 구형도 (Sphericity), 에너지 (Energy), 종속성 분산 (Dependence Variance), 영역백분율 (ZonePercentage), 편포도 (Skewness), 넓은 영역 강조 (Large Area Emphasis), 연장 (Elongation), 넓은 영역 높은 그레이 레벨 강조 (Large Area High Gray Level Emphasis), 영역차 (Zone Variance) 및 단기 하이 그레이 레벨 강조 (Short Run High Gray Level Emphasis)로 이루어지는 그룹에서 선택되는 하나 이상 특징을 포함하는 라디오믹 시그니쳐에 의해 학습된 것일 수 있다.In one embodiment of the present invention, the invasive cancer diagnostic model includes Surface Volume Ratio, Sphericity, Energy, Dependence Variance, ZonePercentage, and Skewness. ), Large Area Emphasis, Elongation, Large Area High Gray Level Emphasis, Zone Variance, and Short Run High Gray Level Emphasis It may be learned by a radiomic signature containing one or more features selected from the group consisting of ).
본 발명의 일 구현예에서, 침윤암 진단 모델은 머신러닝 모델 또는 딥 뉴럴 네트워크 모델인 것일 수 있다.In one embodiment of the present invention, the invasive cancer diagnosis model may be a machine learning model or a deep neural network model.
침윤암 진단모델이 머신러닝 모델인 경우, 본 발명에 따른 침윤암 진단모델은 랜덤 포레스트 (Random Forest), 나이브 베이즈 (Naive Bayes) 의사결정나무 (Decision Tree), 베이지안 망 (Bayesian network) 또는 서포트벡터머신 (support vector machine; SVM) 알고리즘을 포함하는 것일 수 있다.If the invasive cancer diagnosis model is a machine learning model, the invasive cancer diagnosis model according to the present invention may be a random forest, Naive Bayes decision tree, Bayesian network, or support It may include a vector machine (support vector machine (SVM)) algorithm.
본 명세서 상의 용어 "딥 뉴럴 네트워크"는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 용어 "딥 뉴럴 네트워크"는 본 명세서에 걸쳐 용어 "신경망", "네트워크 함수", "뉴럴 네트워크 (neural network)"와 상호교차되어 사용될 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조 (latent structures)를 파악하는 것이 가능하다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조 (예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 본 발명에 있어서, 딥 뉴럴 네트워크는 컨볼루셔널 뉴럴 네트워크 (convolutional neural network; CNN), 리커런트 뉴럴 네트워크(recurrent neural network; RNN), 제한 볼츠만 머신 (restricted boltzmann machine; RBM), 심층 신뢰 네트워크(deep belief network; DBN), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있으나, 이에 제한되는 것은 아니다.The term “deep neural network” in this specification may refer to a neural network that includes a plurality of hidden layers in addition to an input layer and an output layer. The term “deep neural network” may be used interchangeably with the terms “neural network,” “network function,” and “neural network” throughout this specification. Using deep neural networks, it is possible to identify latent structures in data. In other words, it is possible to identify the potential structure of a photo, text, video, voice, or music (e.g., what object is in the photo, what the content and emotion of the text are, what the content and emotion of the voice are, etc.) . In the present invention, the deep neural network includes a convolutional neural network (CNN), a recurrent neural network (RNN), a restricted Boltzmann machine (RBM), and a deep trust network (deep neural network). It may include, but is not limited to, belief network (DBN), Q network, U network, Siamese network, etc.
본 발명의 다른 양태는, 침윤암 진단을 위한 정보를 제공하기 위한 컴퓨팅 장치로서, 하나 이상의 코어를 포함하는 프로세서; 및 메모리;를 포함하고, 프로세서는, 의료 영상데이터를 기초로 관심영역의 분할 영상을 생성하고, 분할 영상에서 하나 이상의 피쳐를 추출하고, 및 진단 정보를 통해 정상, 추출된 피쳐를 미리 학습된 침윤암 진단 모델에 입력하여 진단 정보를 생성하는, 컴퓨팅장치이다.Another aspect of the present invention is a computing device for providing information for diagnosing invasive cancer, comprising: a processor including one or more cores; and a memory, wherein the processor generates a segmented image of the region of interest based on medical image data, extracts one or more features from the segmented image, and applies the extracted features to normal and pre-learned infiltrates through diagnostic information. It is a computing device that generates diagnostic information by inputting it into a cancer diagnosis model.
본 발명의 일 구현예에서, 분할 영상은, 차이영상 (subtraction image)를 포함하는 제1분할영상; 종양내 (intratumor) 영상을 포함하는 제2분할영상; 및 종양내 및 종양 주변부 (peritumor) 영상을 포함하는 제3분할영상;을 포함하는 것일 수 있다.In one embodiment of the present invention, the segmented image includes: a first segmented image including a difference image (subtraction image); a second segmented image including an intratumor image; and a third segmented image including images within the tumor and around the tumor.
본 발명의 일 구현예에서, 피쳐는 라디오믹 시그니쳐 (radiomic signature)인 것일 수 있다.In one implementation of the present invention, the feature may be a radiomic signature.
본 발명의 일 구현예에서, 라디오믹 시그니쳐는, 모양 (shape) 특징 및 세기 (intensity) 특징을 포함하는 1차 특징, 및 질감 (texture) 특징을 포함하는 2차 특징을 포함하는 것일 수 있다.In one embodiment of the present invention, the radiomic signature may include primary features including shape features and intensity features, and secondary features including texture features.
본 발명의 또 다른 양태는, 저장 매체에 저장된 컴퓨터 프로그램으로서, 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 침윤암 진단을 위한 정보를 제공하기 위한 이하의 동작들을 수행하도록 하며, 동작들은: 의료 영상데이터를 기초로 관심영역의 분할 영상을 생성하는 처리 동작; 분할 영상에서 하나 이상의 피쳐를 추출하는 추출 동작; 및 추출된 피쳐를 미리 학습된 침윤암 진단 모델에 입력하여 진단 정보를 생성하는 생성 동작;을 포함하는 것인, 저장 매체에 저장된 컴퓨터 프로그램이다.Another aspect of the present invention is a computer program stored in a storage medium, wherein the computer program, when executed on one or more processors, performs the following operations for providing information for diagnosing invasive cancer, the operations being: medical imaging. A processing operation of generating a segmented image of a region of interest based on data; An extraction operation for extracting one or more features from a segmented image; and a generating operation of inputting the extracted features into a pre-learned invasive cancer diagnostic model to generate diagnostic information. It is a computer program stored in a storage medium.
본 발명의 일 구현예에서, 분할 영상은, 차이영상 (subtraction image)를 포함하는 제1분할영상; 종양내 (intratumor) 영상을 포함하는 제2분할영상; 및 종양내 및 종양 주변부 (peritumor) 영상을 포함하는 제3분할영상;을 포함하는 것일 수 있다.In one embodiment of the present invention, the segmented image includes: a first segmented image including a difference image (subtraction image); a second segmented image including an intratumor image; and a third segmented image including images within the tumor and around the tumor.
본 발명의 일 구현예에서, 피쳐는 라디오믹 시그니쳐 (radiomic signature)인 것일 수 있다.In one implementation of the present invention, the feature may be a radiomic signature.
본 발명의 일 구현예에서, 라디오믹 시그니쳐는, 모양 (shape) 특징 및 세기 (intensity) 특징을 포함하는 1차 특징, 및 질감 (texture) 특징을 포함하는 2차 특징을 포함하는 것일 수 있다.In one embodiment of the present invention, the radiomic signature may include primary features including shape features and intensity features, and secondary features including texture features.
본 발명은 의료 영상을 이용하여 침윤암을 예측 진단하기 위한 라디오믹스 기반의 머신러닝 모델에 관한 것으로, 더욱 상세하게는, 자기공명영상을 이용하여 수술 전에 관상피내암 (ductal carcinoma in situ) 환자로부터 침윤암 (invasive cancer)을 예측 또는 진단할 수 있는 모델에 관한 것으로, 본 발명에 따른 침윤암 진단 모델은 대상에게서 침윤암을 정확히 진단할 수 있어, 침윤암 진단과 관련한 진단 수술 및 다양한 의료분야에 이용될 수 있다.The present invention relates to a radiomics-based machine learning model for predicting and diagnosing invasive cancer using medical images, and more specifically, to detect invasive cancer from patients with ductal carcinoma in situ before surgery using magnetic resonance imaging. It relates to a model that can predict or diagnose invasive cancer. The invasive cancer diagnosis model according to the present invention can accurately diagnose invasive cancer in a subject, and can be used in diagnostic surgery and various medical fields related to invasive cancer diagnosis. It can be.
도 1은 본 발명의 일 실시예에 따른 침윤암 진단을 위한 정보를 제공하기 위한 동작을 수행하는 컴퓨팅 장치의 블록구성도를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 침윤암 진단을 위한 정보를 제공하는 과정을 설명하기 위한 블록구성도를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 침윤암 진단을 위해 분할영상을 생성한 결과를 나타내는 사진이다.
도 4는 본 발명의 일 실시예에 따른 침윤암 진단 모델을 통해 진단한 결과를, 수신자 조작 특성 그래프 아래의 면적 (area under receiver operating characteristic curve; AUROC)을 통해 정확도를 분석한 결과를 나타낸 그래프이다.Figure 1 is a block diagram of a computing device that performs an operation to provide information for diagnosing invasive cancer according to an embodiment of the present invention.
Figure 2 is a block diagram illustrating a process for providing information for diagnosing invasive cancer according to an embodiment of the present invention.
Figure 3 is a photograph showing the results of generating a segmented image for diagnosis of invasive cancer according to an embodiment of the present invention.
Figure 4 is a graph showing the results of analyzing the accuracy of the diagnosis using the invasive cancer diagnosis model according to an embodiment of the present invention through the area under the receiver operating characteristic curve (AUROC). .
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Below, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In order to clearly explain the present invention in the drawings, parts that are not related to the description are omitted, and similar parts are given similar reference numerals throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. Throughout the specification, when a part "includes" a certain component, this means that it may further include other components rather than excluding other components, unless specifically stated to the contrary. The term “and/or,” “and/or” includes any one and all combinations of the associated listed items.
또한, 명세서에 기재된 "… 부", "… 모듈"의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. In addition, the terms “…unit” and “…module” used in the specification refer to a unit that processes at least one function or operation, which may be implemented as hardware, software, or a combination of hardware and software.
본 명세서 상에서 실시예들과 관련되어 설명된 다양한 예시적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있다. 다만, 그러한 구현의 결정들이 본 개시내용의 영역을 벗어나게 하는 것으로 해석되어서는안된다.The various illustrative logical blocks, components, modules, circuits, means, logic, and algorithm steps described in connection with embodiments herein may be implemented in electronic hardware, computer software, or combinations of both. We must recognize that it can be implemented. To clearly illustrate the interchangeability of hardware and software, various illustrative components, blocks, configurations, means, logics, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented in hardware or software will depend on the specific application and design constraints imposed on the overall system. A skilled technician can implement the described functionality in a variety of ways for each specific application. However, such implementation decisions should not be construed as causing a departure from the scope of the present disclosure.
도 1은 본 발명의 일 실시예에 따른 침윤암 진단을 위한 정보를 제공하기 위한 동작을 수행하는 컴퓨팅 장치의 블록구성도를 도시한 도면이다.Figure 1 is a block diagram of a computing device that performs an operation to provide information for diagnosing invasive cancer according to an embodiment of the present invention.
도 1을 참조하면, 일 실시예에 따른 침윤암 진단을 위한 정보를 제공하기 위한 동작을 수행하는 컴퓨팅 장치 (1000)는 프로세서 (100) 및 메모리 (200)를 포함할 수 있다. Referring to FIG. 1, a computing device 1000 that performs an operation to provide information for diagnosing invasive cancer according to an embodiment may include a processor 100 and a memory 200.
프로세서 (100)는, 의료 영상데이터에서 의료 영상데이터를 기초로 관심영역의 분할 영상을 생성하는 처리하고, 분할 영상에서 하나 이상의 피쳐를 추출하는 추출하고, 추출된 피쳐를 미리 학습된 침윤암 진단 모델에 입력하여 진단 정보를 생성하는 생성하는 동작을 수행할 수 있다.The processor 100 processes medical image data to generate a segmented image of the region of interest based on the medical image data, extracts one or more features from the segmented image, and uses the extracted features to create a pre-learned invasive cancer diagnostic model. You can perform an operation to generate diagnostic information by entering it in .
프로세서 (100)는, 의료 영상데이터를 기초로 관심영역의 분할 영상을 생성하는 처리할 때, 하나 이상의 분할 영상을 생성할 수 있다. 예를 들어, 프로세서는 차이영상 (subtraction image)를 포함하는 제1분할영상, 종양내 (intratumor) 영상을 포함하는 제2분할영상, 및 종양내 및 종양 주변부 (peritumor) 영상을 포함하는 제3분할영상을 포함하는 분할영상을 생성할 수 있다.When processing to generate a segmented image of a region of interest based on medical image data, the processor 100 may generate one or more segmented images. For example, the processor may generate a first segment image including a subtraction image, a second segment image including an intratumor image, and a third segment image including the intratumoral and tumor periphery images. A segmented image containing an image can be created.
의료 영상데이터는 침윤암 및 침윤암 주변부의 의료 영상을 포함할 수 있다. 이때, 의료데이터는 이산적 영상 요소들로 구성된 다차원 의료 영상 데이터를 포함하는 것일 수 있다. 예를 들어, 의료 데이터는 전산화 단층 촬영 (computed tomography; CT), 자기 공명 영상 (magnetic resonance imaging; MRI), 안저 영상, 초음파 또는 본 발명의 기술분야에서 공지된 임의의 다른 의료 영상 시스템의 의하여 수집된 대상 (subject)의 의료 영상일 수 있다.Medical image data may include medical images of invasive cancer and the area around the invasive cancer. At this time, the medical data may include multidimensional medical image data composed of discrete image elements. For example, medical data may be collected by computed tomography (CT), magnetic resonance imaging (MRI), fundus imaging, ultrasound, or any other medical imaging system known in the art. It may be a medical image of a subject.
프로세서 (100)는, 분할 영상에서 하나 이상의 피쳐를 추출하는 추출할 때, 분할영상에서 하나 이상의 라디오믹 시그니쳐 (radiomic signature)를 추출할 수 있다. 이때, 라디오믹 시그니쳐는 모양 (shape) 특징 및 세기 (intensity) 특징을 포함하는 1차 특징, 및 질감 (texture) 특징을 포함하는 2차 특징을 포함하는 것일 수 있다. 이때, 모양 특징은 연장 (Elongation), 편평도 (Flatness), LeastAxisLength, MajorAxisLength, Maximum2DDiameterColumn, Maximum2DDiameterRow, Maximum2DDiameterSlice, Maximum3DDiameter, MeshVolume, MinorAxisLength, Sphericity, SurfaceArea, 표면 부피 비율 (SurfaceVolumeRatio), VoxelVolume을 포함하는 것일 수 있다. 세기 특징은 10Percentile, 90Percentile, 에너지 (Energy), 엔트로피 (Entropy), InterquartileRange, Kurtosis, Maximum, MeanAbsoluteDeviation, Mean, Median, Minimum, Range, RobustMeanAbsoluteDeviation, RootMeanSquared, 편포도 (Skewness), 총 에너지 (TotalEnergy), Uniformity, Variance를 포함하는 것일 수 있다. 질감 특징은 질감 특징은 명암도 동시 발생 행렬 (GLCM), 명암도 의존성 행렬 (GLDM), 명암도 구간 길이 행렬 (GLRLM), 명암도 크기 구역 행렬 (GLSZM), 이웃 계조 차이 행렬 (NGTDM)를 포함하는 것일 수 있다.When extracting one or more features from a segmented image, the processor 100 may extract one or more radiomic signatures from the segmented image. At this time, the radiomic signature may include primary features including shape features and intensity features, and secondary features including texture features. At this time, the shape features may include Elongation, Flatness, LeastAxisLength, MajorAxisLength, Maximum2DDiameterColumn, Maximum2DDiameterRow, Maximum2DDiameterSlice, Maximum3DDiameter, MeshVolume, MinorAxisLength, Sphericity, SurfaceArea, SurfaceVolumeRatio, and VoxelVolume. . The intensity features are 10Percentile, 90Percentile, Energy, Entropy, InterquartileRange, Kurtosis, Maximum, MeanAbsoluteDeviation, Mean, Median, Minimum, Range, RobustMeanAbsoluteDeviation, RootMeanSquared, Skewness, TotalEnergy, Uniformity , may include Variance. The texture features may include a intensity co-occurrence matrix (GLCM), a intensity dependence matrix (GLDM), a intensity interval length matrix (GLRLM), a intensity magnitude zone matrix (GLSZM), and a neighboring grayscale difference matrix (NGTDM). .
프로세서 (100)는, 분할 영상에서 하나 이상의 피쳐를 추출하는 추출할 때, 분할영상에서 표면 부피 비율 (Surface Volume Ratio), 구형도 (Sphericity), 에너지 (Energy), 종속성 분산 (Dependence Variance), 영역백분율 (ZonePercentage), 편포도 (Skewness), 넓은 영역 강조 (Large Area Emphasis), 연장 (Elongation), 넓은 영역 높은 그레이 레벨 강조 (Large Area High Gray Level Emphasis), 영역차 (Zone Variance) 및 단기 하이 그레이 레벨 강조 (Short Run High Gray Level Emphasis)로 이루어지는 그룹에서 선택되는 하나 이상 라디오믹 시그니쳐를 추출할 수 있다.When extracting one or more features from a segmented image, the processor 100 extracts Surface Volume Ratio, Sphericity, Energy, Dependence Variance, and Area from the segmented image. ZonePercentage, Skewness, Large Area Emphasis, Elongation, Large Area High Gray Level Emphasis, Zone Variance and Short-Term High Gray One or more radiomic signatures selected from the group consisting of Level Emphasis (Short Run High Gray Level Emphasis) can be extracted.
프로세서 (100)는, 분할 영상에서 하나 이상의 피쳐를 추출하는 추출할 때, PyRadiomics 모듈을 사용하여 하나 이상의 피쳐를 추출할 수 있다.When extracting one or more features from a segmented image, the processor 100 may extract one or more features using the PyRadiomics module.
학습된 침윤암 진단 모델은 기계 학습 모델 또는 딥 뉴럴 네트워크일 수 있다. 학습된 침윤암 진단 모델이 기계 학습 모델인 경우, 침윤암 진단 모델은 랜덤 포레스트 (Random Forest), 나이브 베이즈 (Naive Bayes) 의사결정나무 (Decision Tree), 베이지안 망 (Bayesian network) 또는 서포트벡터머신 (support vector machine; SVM) 알고리즘을 포함하는 것일 수 있다. 학습된 침윤암 진단 모델이 딥 뉴럴 네트워크인 경우, 딥 뉴럴 네트워크는 입력 레이어, 출력 레이어를 포함할 수 있고, 또는 입력 레이어 및 출력 레이어 외의 별개의 복수의 히든 레이어를 포함하는 것일 수 있다. 딥 뉴럴 네트워크는 컨볼루셔널 뉴럴 네트워크 (convolutional neural network; CNN), 리커런트 뉴럴 네트워크(recurrent neural network; RNN), 제한 볼츠만 머신 (restricted boltzmann machine; RBM), 심층 신뢰 네트워크(deep belief network; DBN), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있고, 예를 들어, 딥 뉴럴 네트워크는 컨볼루셔널 뉴럴 네트워크일 수 있다.The learned invasive cancer diagnosis model may be a machine learning model or a deep neural network. If the learned invasive cancer diagnosis model is a machine learning model, the invasive cancer diagnosis model is Random Forest, Naive Bayes Decision Tree, Bayesian network, or Support Vector Machine. It may include a (support vector machine; SVM) algorithm. When the learned invasive cancer diagnosis model is a deep neural network, the deep neural network may include an input layer and an output layer, or may include a plurality of separate hidden layers other than the input layer and the output layer. Deep neural networks include convolutional neural network (CNN), recurrent neural network (RNN), restricted Boltzmann machine (RBM), and deep belief network (DBN). , may include a Q network, U network, Siamese network, etc., and for example, a deep neural network may be a convolutional neural network.
침윤암 진단 모델은 라디오믹 시그니쳐를 포함하는 피쳐에 의해 학습된 것일 수 있다. 라디오믹 시그니쳐는, 모양 (shape) 특징 및 세기 (intensity) 특징을 포함하는 1차 특징, 및 질감 (texture) 특징을 포함하는 것일 수 있다. 예를 들어, 침윤암 진단모델은 표면 부피 비율 (Surface Volume Ratio), 구형도 (Sphericity), 에너지 (Energy), 종속성 분산 (Dependence Variance), 영역백분율 (ZonePercentage), 편포도 (Skewness), 넓은 영역 강조 (Large Area Emphasis), 연장 (Elongation), 넓은 영역 높은 그레이 레벨 강조 (Large Area High Gray Level Emphasis), 영역차 (Zone Variance) 및 단기 하이 그레이 레벨 강조 (Short Run High Gray Level Emphasis)로 이루어지는 그룹에서 선택되는 하나 이상 특징을 포함하는 라디오믹 시그니쳐에 의해 학습된 것일 수 있다.The invasive cancer diagnosis model may be learned by features including radiomic signatures. The radiomic signature may include primary features including shape features and intensity features, and texture features. For example, the invasive cancer diagnosis model includes Surface Volume Ratio, Sphericity, Energy, Dependence Variance, ZonePercentage, Skewness, and Large Area. A group consisting of Large Area Emphasis, Elongation, Large Area High Gray Level Emphasis, Zone Variance, and Short Run High Gray Level Emphasis. It may be learned by a radiomic signature containing one or more features selected from .
프로세서 (100)는, 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치 (central processing unit; CPU), 그래픽 처리 장치 (graphics processing unit; GPU), 텐서 처리 장치(tensor processing unit; TPU) 등의 데이터 분석, 머신러닝 또는 딥러닝을 위한 프로세서를 포함할 수 있다. 프로세서는, 메모리에 저장된 컴퓨터 프로그램을 판독하여 일 실시예에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다. 일실시예에 따라 프로세서는, 신경망의 학습을 위한 연산을 수행할 수 있다. 프로세서는, 딥러닝 (deep learning; DL)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파 (backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다. 프로세서(100)의 CPU, GPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다. The processor 100 may be comprised of one or more cores, and may include a central processing unit (CPU), a graphics processing unit (GPU), or a tensor processing unit (TPU) of a computing device. It may include a processor for data analysis, machine learning, or deep learning. The processor may read a computer program stored in a memory and perform data processing for machine learning according to an embodiment. According to one embodiment, the processor may perform calculations for learning a neural network. The processor performs calculations for neural network learning, such as processing input data for learning in deep learning (DL), extracting features from input data, calculating errors, and updating the weights of the neural network using backpropagation. It can be done. At least one of the CPU, GPU, and TPU of the processor 100 may process learning of the network function.
메모리 (200)는, 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory; RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory; ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The memory 200 includes a flash memory type, hard disk type, multimedia card micro type, card type memory (for example, SD or XD memory, etc.), RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory; ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, It may include at least one type of storage medium among magnetic disks and optical disks.
일 실시예에 따른 침윤암 진단을 위한 정보를 제공하기 위한 동작을 수행하는 컴퓨팅 장치는 필요에 따라 뇌 영상 및 기타 데이터를 송수신하기 위한 네트워크부 및 기타 컴퓨팅 과정에서 이용되는 데이터를 저장 및 관리하기 위한 데이터베이스를 더 포함할 수 있다. 따라서, 일 실시예에 따른 침윤암 진단을 위한 정보를 제공하기 위한 동작을 수행하는 컴퓨팅 장치는 MRI 촬영장치, PET 촬영장치 등을 포함하는 촬영 장치들과 유무선 통신이 가능할 수 있다. 또한, 가중치 데이터, 대뇌피질 두께 데이터 및 바이오마커 축적 데이터 등의 데이터는 데이터베이스에 저장될 수 있으며, 데이터베이스에 저장된 데이터는 사용자로부터 인가된 외부 입력에 의해 삭제, 수정 등의 관리가 이루어질 수 있다.A computing device that performs an operation to provide information for diagnosing invasive cancer according to an embodiment includes a network unit for transmitting and receiving brain images and other data as needed, and a network unit for storing and managing data used in other computing processes. Additional databases may be included. Accordingly, a computing device that performs an operation to provide information for diagnosing invasive cancer according to an embodiment may be capable of wired or wireless communication with imaging devices including an MRI imaging device and a PET imaging device. Additionally, data such as weight data, cerebral cortex thickness data, and biomarker accumulation data can be stored in a database, and data stored in the database can be managed, such as deletion and modification, by external input authorized by the user.
도 2는 본 발명의 일 실시예에 따른 침윤암 진단을 위한 정보를 제공하는 과정을 설명하기 위한 블록구성도를 도시한 도면이다.Figure 2 is a block diagram illustrating a process for providing information for diagnosing invasive cancer according to an embodiment of the present invention.
도 2를 참조하면, 일 실시예에 따른 침윤암 진단을 위한 정보를 제공하는 컴퓨팅 장치는, 의료 영상데이터를 기초로 관심영역의 분할 영상을 생성하고, 분할 영상에서 하나 이상의 피쳐를 추출하고, 추출된 피쳐를 미리 학습된 침윤암 진단 모델에 입력하여 진단 정보를 생성할 수 있다.Referring to FIG. 2, a computing device that provides information for diagnosing invasive cancer according to an embodiment generates a segmented image of a region of interest based on medical image data, extracts one or more features from the segmented image, and extracts Diagnostic information can be generated by inputting the obtained features into a pre-learned invasive cancer diagnosis model.
이때, 컴퓨팅 장치는 차이영상 (subtraction image)를 포함하는 제1분할영상, 종양내 (intratumor) 영상을 포함하는 제2분할영상, 및 종양내 및 종양 주변부 (peritumor) 영상을 포함하는 제3분할영상을 포함하는 분할영상을 생성할 수 있다.At this time, the computing device generates a first segment image including a subtraction image, a second segment image including an intratumor image, and a third segment image including an intratumoral and tumor periphery image. A segmented image containing can be generated.
컴퓨팅 장치는, 분할 영상에서 하나 이상의 피쳐를 추출하는 추출할 때, 분할영상에서 하나 이상의 라디오믹 시그니쳐 (radiomic signature)를 추출할 수 있다. 이때, 라디오믹 시그니쳐는 모양 (shape) 특징 및 세기 (intensity) 특징을 포함하는 1차 특징, 및 질감 (texture) 특징을 포함하는 2차 특징을 포함하는 것일 수 있다. 이때, 모양 특징은 연장 (Elongation), 편평도 (Flatness), LeastAxisLength, MajorAxisLength, Maximum2DDiameterColumn, Maximum2DDiameterRow, Maximum2DDiameterSlice, Maximum3DDiameter, MeshVolume, MinorAxisLength, Sphericity, SurfaceArea, 표면 부피 비율 (SurfaceVolumeRatio), VoxelVolume을 포함하는 것일 수 있다. 세기 특징은 10Percentile, 90Percentile, 에너지 (Energy), 엔트로피 (Entropy), InterquartileRange, Kurtosis, Maximum, MeanAbsoluteDeviation, Mean, Median, Minimum, Range, RobustMeanAbsoluteDeviation, RootMeanSquared, 편포도 (Skewness), 총 에너지 (TotalEnergy), Uniformity, Variance를 포함하는 것일 수 있다. 질감 특징은 질감 특징은 명암도 동시 발생 행렬 (GLCM), 명암도 의존성 행렬 (GLDM), 명암도 구간 길이 행렬 (GLRLM), 명암도 크기 구역 행렬 (GLSZM), 이웃 계조 차이 행렬 (NGTDM)를 포함하는 것일 수 있다.When extracting one or more features from a segmented image, the computing device may extract one or more radiomic signatures from the segmented image. At this time, the radiomic signature may include primary features including shape features and intensity features, and secondary features including texture features. At this time, the shape features may include Elongation, Flatness, LeastAxisLength, MajorAxisLength, Maximum2DDiameterColumn, Maximum2DDiameterRow, Maximum2DDiameterSlice, Maximum3DDiameter, MeshVolume, MinorAxisLength, Sphericity, SurfaceArea, SurfaceVolumeRatio, and VoxelVolume. . The intensity features are 10Percentile, 90Percentile, Energy, Entropy, InterquartileRange, Kurtosis, Maximum, MeanAbsoluteDeviation, Mean, Median, Minimum, Range, RobustMeanAbsoluteDeviation, RootMeanSquared, Skewness, TotalEnergy, Uniformity , may include Variance. The texture features may include a intensity co-occurrence matrix (GLCM), a intensity dependence matrix (GLDM), a intensity interval length matrix (GLRLM), a intensity magnitude zone matrix (GLSZM), and a neighboring grayscale difference matrix (NGTDM). .
컴퓨팅 장치는, 분할 영상에서 하나 이상의 피쳐를 추출하는 추출할 때, 분할영상에서 표면 부피 비율 (Surface Volume Ratio), 구형도 (Sphericity), 에너지 (Energy), 종속성 분산 (Dependence Variance), 영역백분율 (ZonePercentage), 편포도 (Skewness), 넓은 영역 강조 (Large Area Emphasis), 연장 (Elongation), 넓은 영역 높은 그레이 레벨 강조 (Large Area High Gray Level Emphasis), 영역차 (Zone Variance) 및 단기 하이 그레이 레벨 강조 (Short Run High Gray Level Emphasis)로 이루어지는 그룹에서 선택되는 하나 이상 라디오믹 시그니쳐를 추출할 수 있다.When extracting one or more features from a segmented image, the computing device extracts Surface Volume Ratio, Sphericity, Energy, Dependence Variance, and Area Percentage ( ZonePercentage, Skewness, Large Area Emphasis, Elongation, Large Area High Gray Level Emphasis, Zone Variance, and Short-term High Gray Level Emphasis One or more radiomic signatures selected from the group consisting of (Short Run High Gray Level Emphasis) can be extracted.
컴퓨팅 장치는, 분할 영상에서 하나 이상의 피쳐를 추출하는 추출할 때, PyRadiomics 모듈을 사용하여 하나 이상의 피쳐를 추출할 수 있다. When extracting one or more features from a segmented image, the computing device may extract one or more features using the PyRadiomics module.
이하, 본 발명을 하기의 실시예에 의하여 더욱 상세히 설명한다. 그러나 이들 실시예는 본 발명을 예시하기 위한 것일 뿐이며, 본 발명의 범위가 이들 실시예에 의하여 한정되는 것은 아니다.Hereinafter, the present invention will be described in more detail through the following examples. However, these examples are only for illustrating the present invention, and the scope of the present invention is not limited by these examples.
실시예 1: MRI영상 및 관심영역 데이터 수집Example 1: MRI image and region of interest data collection
관상피내암 및 침윤암 환자의 T1강조영상 (T1WI) 이미지와 환자의 임상 정보를 화순전남대학교병원으로부터 수집하였다. 획득한 데이터는 두 환자군을 합하여 359 케이스였다. 수집한 데이터는 하기 표 1과 같이 트레이닝 (training), 벨리데이션 (validation), 테스트 셋으로 나누어 구분하였다.T1-weighted imaging (T1WI) images and clinical information of patients with ductal carcinoma in situ and invasive carcinoma were collected from Chonnam National University Hwasun Hospital. The data obtained was 359 cases, including the two patient groups. The collected data was divided into training, validation, and test sets as shown in Table 1 below.
실시예 2: 관심 영역 분할Example 2: Region of Interest Segmentation
관심영역의 반자동 영상분할 (semi-automatic segmentation)하기 위해 3D Slicer (ver.4.11, http://download.slicer.org/)에서 3차원의 값이 잘 영상 분할 되었는지 확인하였다. 반자동 분할된 영상의 정확성은 영상의학과 전문의의 확인 결과를 통해 평가받았으며, 도 3에 나타내었다. 도 3에서 확인할 수 있듯이, 반자동 분할한 영상은 조영증강 후 영상 (post-contrast)에서 조영증강 전 영상 (pre-contrast)을 차감한 영상인 차이영상 (subtraction image)을 이용하였다. 그리고, 종양내 (intratumor) 및 종양내에 종양 주변부를 합친 (intratumor+peritumor) 부위의 관심영역 (regions-of-interest)을 분할하여 영상 특징(features)을 추출하였다. 이때, 병변 밖의 부분에도 생물학적으로 종양세포가 존재할 가능성이 있기 때문에 이를 고려하여 종양 주변부의 분할영상을 추출하였다. In order to perform semi-automatic segmentation of the region of interest, 3D Slicer (ver.4.11, http://download.slicer.org/) was used to check whether the 3D values were well segmented. The accuracy of the semi-automatically segmented images was evaluated through the results confirmed by a radiologist, and is shown in Figure 3. As can be seen in Figure 3, the semi-automatically segmented image used a difference image (subtraction image), which is an image obtained by subtracting the pre-contrast image (pre-contrast) from the post-contrast image (post-contrast). Then, image features were extracted by dividing the regions-of-interest of the intratumor (intratumor) and the tumor periphery (intratumor+peritumor). At this time, since there is a biological possibility that tumor cells exist in areas outside the lesion, segmented images of the tumor periphery were extracted taking this into consideration.
실시예 3: 특징 추출Example 3: Feature extraction
육안을 이용한 시각적 영상 분석은 의료진의 숙련도와 주관적인 경험에 영향을 받으며, 정량적인 분석이 어려워 병변 진단을 객관화하는데 한계가 있다. 라디오믹스는 영상데이터에서 수학적, 통계적 기법을 이용하여 병변의 특성을 추출함으로써 기존의 시각적 영상분석에서 얻을 수 없는 객관적 정보를 추출해 낼 수 있다. 따라서 관상피내암 및 침윤암의 특징을 정량적인 수치로 표현하기 위해 MR영상에서 라디오믹스 기반의 특징 추출을 수행하였는데, python의 PyRadiomics 모듈을 사용하여 1차 특징 (first order) 및 2차 특징 (second order)들을 추출하였고, 추출한 특징을 표 2에 나타내었다. Visual image analysis using the naked eye is influenced by the skill level and subjective experience of the medical staff, and quantitative analysis is difficult, which limits the ability to objectively diagnose lesions. Radiomics can extract objective information that cannot be obtained from existing visual image analysis by extracting lesion characteristics from image data using mathematical and statistical techniques. Therefore, in order to express the characteristics of ductal carcinoma in situ and invasive carcinoma in quantitative numbers, radiomics-based feature extraction was performed on MR images. First order features (first order) and second order features (second order) were extracted using Python's PyRadiomics module. ) were extracted, and the extracted features are shown in Table 2.
1차 특징에서는 모양(shape) 특징과 세기(intensity) 특징을 추출하였다. 2차 특징에서는 명암도 동시 발생 행렬 (gray-level co-occurrence matrix; GLCM), 명암도 의존성 행렬 (gray-level dependence matrix; GLDM), 명암도 구간 길이 행렬 (gray-level run length matrix; GLRLM), 명암도 크기 구역 행렬 (gray-level size zone matrix; GLSZM) 및 이웃 계조 차이 행렬 (neighboring gray tone difference matrix; NGTDM) 특징들을 추출하여 한 영상당 총 추출한 특징의 개수는 107개였다.From the primary features, shape features and intensity features were extracted. In the secondary features, gray-level co-occurrence matrix (GLCM), gray-level dependence matrix (GLDM), gray-level run length matrix (GLRLM), and grayscale size. By extracting gray-level size zone matrix (GLSZM) and neighboring gray tone difference matrix (NGTDM) features, the total number of features extracted per image was 107.
실시예 4: 특징 선택Example 4: Feature Selection
영상으로부터 다양한 방법과 필터들을 이용하여 추출한 특징들은 서로 연관되어 중복되는 정보들을 담고 있기 때문에 추출한 특징 정보들을 전부 활용하여 예측 모델을 학습시킬 경우 모델의 정확도에 악영향을 끼치거나 모델이 과적합(overfitting)되어 노이즈에 민감하게 반응할 수 있다. 이 때, 선별하는 라디오믹스 특징들은 재생산이 가능한 안정적인 특징이어야 하며, 예측하고자 하는 값과 연관이 있어야 하고, 추출된 특징들끼리의 연관성은 낮아야 한다.Because features extracted from images using various methods and filters contain overlapping information that is related to each other, learning a prediction model using all extracted feature information may have a negative impact on the accuracy of the model or cause overfitting of the model. It can react sensitively to noise. At this time, the selected radiomics features must be stable features that can be reproduced, must be related to the value to be predicted, and the correlation between the extracted features must be low.
이에, 과적합을 줄이기 위해 계수 크기의 절대값과 제곱에 해당하는 패널티를 부여함으로써 정규화를 수행하는 방법으로, 내부적으로 패널티 성향을 지닌 임베디드 방법의 least absolute shrinkage and selection operator (LASSO)를 적용하여 하기 표 3과 같은 11개의 특징을 선별하였다.Accordingly, in order to reduce overfitting, normalization is performed by assigning a penalty corresponding to the absolute value and square of the coefficient size, and the least absolute shrinkage and selection operator (LASSO) of the embedded method with an internal penalty tendency is applied as follows. Eleven features as shown in Table 3 were selected.
(Category)Feature
(Category)
(Shape)SurfaceVolumeRatio*
(Shape)
실시예 5: 서포트 벡터 머신 (Support Vector Machine; SVM)Example 5: Support Vector Machine (SVM)
마지막으로 예측하고자 하는 결과에 적합한 통계 모델이나 머신러닝 모델을 선택하여 분석하기 위해, 주어진 데이터 셋이 사상된 공간에서 경계로 표현될 때 초평면 (hyperplane)과 데이터와의 거리의 합이 가장 큰 경계를 찾는 알고리즘인 서포트 벡터 머신을 이용하여 분석하였다. 라디오믹스의 통계적인 분석을 진행할 때는 비선형 분류를 적용하였고, 다항식 커널을 사용하였다. 실험 결과, 표 4 및 도 4에서 확인할 수 있듯이 실험적으로 초평면의 차수가 높아질수록 모델이 과적합이 되어 차수가 2인 경우 가장 좋은 결과를 보여주었으며, AUC가 0.76이상으로 진단적 유용성이 높게 나타난 것을 확인하였다. Lastly, in order to select and analyze a statistical model or machine learning model suitable for the results to be predicted, when a given data set is expressed as a boundary in the mapped space, the boundary with the largest sum of the distance between the hyperplane and the data is selected. It was analyzed using the support vector machine, a search algorithm. When conducting statistical analysis of radiomics, nonlinear classification was applied and a polynomial kernel was used. As can be seen from the experimental results in Table 4 and Figure 4, the model overfits as the hyperplane degree increases, and the best result was shown when the degree was 2. The AUC was over 0.76, showing high diagnostic usefulness. Confirmed.
Claims (15)
의료 영상데이터를 기초로 관심영역의 분할 영상을 생성하는 처리 단계;
분할 영상에서 하나 이상의 피쳐를 추출하는 추출 단계; 및
추출된 피쳐를 미리 학습된 침윤암 진단 모델에 입력하여 진단 정보를 생성하는 생성 단계;
를 포함하는, 침윤암 진단을 위한 정보 제공 방법.In a method of providing information for diagnosing invasive cancer from medical image data by a computing device,
A processing step of generating a segmented image of a region of interest based on medical image data;
An extraction step of extracting one or more features from the segmented image; and
A generation step of generating diagnostic information by inputting the extracted features into a pre-learned invasive cancer diagnosis model;
Method for providing information for diagnosing invasive cancer, including.
차이영상 (subtraction image)를 포함하는 제1분할영상;
종양내 (intratumor) 영상을 포함하는 제2분할영상; 및
종양내 및 종양 주변부 (peritumor) 영상을 포함하는 제3분할영상;
을 포함하는 것인, 침윤암 진단을 위한 정보 제공 방법.The method of claim 1, wherein the segmented image is:
A first segmented image including a subtraction image;
a second segmented image including an intratumor image; and
Third segment image including intratumoral and peritumor images;
A method of providing information for diagnosing invasive cancer, comprising:
모양 (shape) 특징 및 세기 (intensity) 특징을 포함하는 1차 특징, 및 질감 (texture) 특징을 포함하는 2차 특징을 포함하는 것인, 침윤암 진단을 위한 정보 제공 방법.The method of claim 3, wherein the radiomic signature is:
A method of providing information for diagnosing invasive cancer, comprising primary features including shape features and intensity features, and secondary features including texture features.
표면 부피 비율 (Surface Volume Ratio), 구형도 (Sphericity), 에너지 (Energy), 종속성 분산 (Dependence Variance), 영역백분율 (ZonePercentage), 편포도 (Skewness), 넓은 영역 강조 (Large Area Emphasis), 연장 (Elongation), 넓은 영역 높은 그레이 레벨 강조 (Large Area High Gray Level Emphasis), 영역차 (Zone Variance) 및 단기 하이 그레이 레벨 강조 (Short Run High Gray Level Emphasis)로 이루어지는 그룹에서 선택되는 하나 이상 특징의 측정값에 기초하여 계산되는 것인, 침윤암 진단을 위한 정보 제공 방법.The method of claim 4, wherein the radiomic signature is:
Surface Volume Ratio, Sphericity, Energy, Dependence Variance, ZonePercentage, Skewness, Large Area Emphasis, Extension ( A measure of one or more features selected from the group consisting of Elongation, Large Area High Gray Level Emphasis, Zone Variance, and Short Run High Gray Level Emphasis. A method of providing information for diagnosing invasive cancer, which is calculated based on.
서포트 벡터 머신 (Support Vector Machine; SVM)인 것인, 침윤암 진단을 위한 정보 제공 방법.The method of claim 1, wherein the invasive cancer diagnosis model is:
A method of providing information for diagnosing invasive cancer, which is a support vector machine (SVM).
차이영상 (subtraction image)를 포함하는 제1분할영상;
종양내 (intratumor) 영상을 포함하는 제2분할영상; 및
종양내 및 종양 주변부 (peritumor) 영상을 포함하는 제3분할영상;
을 포함하는 것인, 컴퓨팅장치.The method of claim 8, wherein the segmented image is:
A first segmented image including a subtraction image;
a second segmented image including an intratumor image; and
Third segment image including intratumoral and peritumor images;
A computing device comprising:
모양 (shape) 특징 및 세기 (intensity) 특징을 포함하는 1차 특징, 및 질감 (texture) 특징을 포함하는 2차 특징을 포함하는 것인, 컴퓨팅장치.The method of claim 10, wherein the radiomic signature is:
A computing device comprising primary features including shape features and intensity features, and secondary features including texture features.
차이영상 (subtraction image)를 포함하는 제1분할영상;
종양내 (intratumor) 영상을 포함하는 제2분할영상; 및
종양내 및 종양 주변부 (peritumor) 영상을 포함하는 제3분할영상;
을 포함하는 것인, 저장 매체에 저장된 컴퓨터 프로그램.The method of claim 12, wherein the segmented image is:
A first segmented image including a subtraction image;
a second segmented image including an intratumor image; and
Third segment image including intratumoral and peritumor images;
A computer program stored on a storage medium that includes a.
모양 (shape) 특징 및 세기 (intensity) 특징을 포함하는 1차 특징, 및 질감 (texture) 특징을 포함하는 2차 특징을 포함하는 것인, 저장 매체에 저장된 컴퓨터 프로그램.The method of claim 14, wherein the radiomic signature is:
A computer program stored in a storage medium, comprising primary features including shape features and intensity features, and secondary features including texture features.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220057762A KR20230158264A (en) | 2022-05-11 | 2022-05-11 | Radiomix-based machine learning model for predictive diagnosis of invasive cancer using medical images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220057762A KR20230158264A (en) | 2022-05-11 | 2022-05-11 | Radiomix-based machine learning model for predictive diagnosis of invasive cancer using medical images |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230158264A true KR20230158264A (en) | 2023-11-20 |
Family
ID=88974131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220057762A KR20230158264A (en) | 2022-05-11 | 2022-05-11 | Radiomix-based machine learning model for predictive diagnosis of invasive cancer using medical images |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230158264A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118570204A (en) * | 2024-08-01 | 2024-08-30 | 深圳市龙岗中心医院 | Medical image analysis system based on artificial intelligence |
-
2022
- 2022-05-11 KR KR1020220057762A patent/KR20230158264A/en not_active Application Discontinuation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118570204A (en) * | 2024-08-01 | 2024-08-30 | 深圳市龙岗中心医院 | Medical image analysis system based on artificial intelligence |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chitalia et al. | Role of texture analysis in breast MRI as a cancer biomarker: A review | |
Cattell et al. | Robustness of radiomic features in magnetic resonance imaging: review and a phantom study | |
CN107492090B (en) | Image-based analysis of tumor phenotype from synthetic data using machine learning | |
Alksas et al. | A novel computer-aided diagnostic system for accurate detection and grading of liver tumors | |
Sahiner et al. | Effect of CAD on radiologists' detection of lung nodules on thoracic CT scans: analysis of an observer performance study by nodule size | |
Ikedo et al. | Development of a fully automatic scheme for detection of masses in whole breast ultrasound images | |
Aghaei et al. | Computer‐aided breast MR image feature analysis for prediction of tumor response to chemotherapy | |
Banzato et al. | Accuracy of deep learning to differentiate the histopathological grading of meningiomas on MR images: a preliminary study | |
Xu et al. | Quantifying the margin sharpness of lesions on radiological images for content‐based image retrieval | |
US20210217524A1 (en) | Performing a prognostic evaluation | |
Kang et al. | Fully automated MRI segmentation and volumetric measurement of intracranial meningioma using deep learning | |
Abbaspour et al. | Endorectal ultrasound radiomics in locally advanced rectal cancer patients: despeckling and radiotherapy response prediction using machine learning | |
Agarwal et al. | Lesion segmentation in automated 3D breast ultrasound: volumetric analysis | |
Yardimci et al. | Radiomics of locally advanced rectal cancer: machine learning-based prediction of response to neoadjuvant chemoradiotherapy using pre-treatment sagittal T2-weighted MRI | |
Gundreddy et al. | Assessment of performance and reproducibility of applying a content‐based image retrieval scheme for classification of breast lesions | |
Chen et al. | CT-based deep learning radiomics signature for the preoperative prediction of the muscle-invasive status of bladder cancer | |
Liang et al. | [Retracted] Evaluation of the Effectiveness of Artificial Intelligence Chest CT Lung Nodule Detection Based on Deep Learning | |
Lee et al. | Machine Learning–Aided Chronic Kidney Disease Diagnosis Based on Ultrasound Imaging Integrated with Computer-Extracted Measurable Features | |
Gong et al. | Deep‐learning model observer for a low‐contrast hepatic metastases localization task in computed tomography | |
Satoh et al. | Diagnostic performance of the support vector machine model for breast cancer on ring-shaped dedicated breast positron emission tomography images | |
VK | An intelligent brain tumor segmentation using improved Deep Learning Model Based on Cascade Regression method | |
Pham et al. | Identifying an optimal machine learning generated image marker to predict survival of gastric cancer patients | |
KR20230158264A (en) | Radiomix-based machine learning model for predictive diagnosis of invasive cancer using medical images | |
Bhushan | Liver cancer detection using hybrid approach-based convolutional neural network (HABCNN) | |
Liu et al. | Predicting axillary lymph node metastasis in breast cancer patients: A radiomics-based multicenter approach with interpretability analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |