KR20220001985A - 진단 영상에서 심층신경망을 이용한 국소종양진행을 진단하기 위한 장치 및 이를 위한 방법 - Google Patents
진단 영상에서 심층신경망을 이용한 국소종양진행을 진단하기 위한 장치 및 이를 위한 방법 Download PDFInfo
- Publication number
- KR20220001985A KR20220001985A KR1020200080578A KR20200080578A KR20220001985A KR 20220001985 A KR20220001985 A KR 20220001985A KR 1020200080578 A KR1020200080578 A KR 1020200080578A KR 20200080578 A KR20200080578 A KR 20200080578A KR 20220001985 A KR20220001985 A KR 20220001985A
- Authority
- KR
- South Korea
- Prior art keywords
- feature images
- patch
- residual
- layer
- image
- Prior art date
Links
- 206010061309 Neoplasm progression Diseases 0.000 title claims abstract description 49
- 230000005751 tumor progression Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013528 artificial neural network Methods 0.000 title abstract description 20
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 107
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000012800 visualization Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 84
- 230000006870 function Effects 0.000 claims description 64
- 230000004913 activation Effects 0.000 claims description 46
- 238000000926 separation method Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 2
- 238000002591 computed tomography Methods 0.000 abstract description 11
- 206010073071 hepatocellular carcinoma Diseases 0.000 description 21
- 231100000844 hepatocellular carcinoma Toxicity 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 238000003745 diagnosis Methods 0.000 description 9
- 210000004185 liver Anatomy 0.000 description 8
- 238000007674 radiofrequency ablation Methods 0.000 description 8
- 238000002059 diagnostic imaging Methods 0.000 description 7
- 238000002679 ablation Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 101100194362 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res1 gene Proteins 0.000 description 5
- 101100194363 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res2 gene Proteins 0.000 description 5
- 230000003416 augmentation Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000011282 treatment Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000002271 resection Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- HCUOEKSZWPGJIM-YBRHCDHNSA-N (e,2e)-2-hydroxyimino-6-methoxy-4-methyl-5-nitrohex-3-enamide Chemical compound COCC([N+]([O-])=O)\C(C)=C\C(=N/O)\C(N)=O HCUOEKSZWPGJIM-YBRHCDHNSA-N 0.000 description 2
- 229920001621 AMOLED Polymers 0.000 description 2
- 101001109689 Homo sapiens Nuclear receptor subfamily 4 group A member 3 Proteins 0.000 description 2
- 101000598778 Homo sapiens Protein OSCP1 Proteins 0.000 description 2
- 101001067395 Mus musculus Phospholipid scramblase 1 Proteins 0.000 description 2
- 102100022673 Nuclear receptor subfamily 4 group A member 3 Human genes 0.000 description 2
- 230000007882 cirrhosis Effects 0.000 description 2
- 208000019425 cirrhosis of liver Diseases 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010008 shearing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 206010016654 Fibrosis Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000009109 curative therapy Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 208000019423 liver disease Diseases 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000011521 systemic chemotherapy Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Pulmonology (AREA)
- Physiology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명의 국소종양진행을 진단하기 위한 장치는 축 방향의 복수의 슬라이스 영상으로 구성된 CT 영상으로부터 복수의 2D 패치를 추출하여 복수의 3D 패치를 구성하는 전처리부와, 상기 CT 영상의 3차원 좌표계에 따라 상기 복수의 3D 패치 각각의 상기 CT 영상에서의 중심 좌표를 저장하는 좌표저장부와, 분류망을 통해 상기 복수의 3D 패치 각각에 대해 학습된 가중치에 따른 복수의 연산을 수행하여 종양 존재 여부에 대한 확률을 산출하고, 상기 종양 존재 여부에 대한 확률에 따라 상기 복수의 3D 패치 중 종양이 존재하는 적어도 하나의 3D 패치를 검출하고, 상기 좌표저장부로부터 검출된 3D 패치의 중심 좌표를 추출하는 분류부와, 상기 검출된 3D 패치의 중심 좌표를 참조하여 상기 CT 영상에서 상기 검출된 3D 패치가 차지하는 영역을 시각화하는 시각화부를 포함한다.
Description
본 발명은 국소종양재발(LTP: local tumor progression) 진단 기술에 관한 것으로, 보다 상세하게는, 간세포암종(HCC: hepatocellular carcinoma)에 대한 영상 유도 종양 절제(image guided tumor ablation) 후, 추적 관찰을 위해 후속으로 촬영된 진단 영상, 즉, 컴퓨터단층(CT: computerized tomography) 영상에서 심층신경망, 예컨대, 3차원 심층컨벌루션신경망(3D-DCNN: 3 dimension deep convolutional neural network)을 이용하여 국소종양진행 여부를 진단하기 위한 장치 및 이를 위한 방법에 관한 것이다.
간세포암종(HCC: Hepatocellular carcinoma)은 만성 간질환 및 간경변 환자의 주요 의학적 고려 사항 중 하나이다. 일반적으로, HCC는 컴퓨터 단층 촬영(CT: computed tomography), 자기 공명 영상(MRI: magnetic resonance imaging) 및 초음파 촬영(US: ultrasonography)을 이용한 DCE (Dynamic Contrast Enhancement) 검사에서 동맥 강화 및 지연된 세척을 보여줌으로써 종양을 진단하고 종양 부담 추적을 평가할 수 있는 신뢰성 있고 재현 가능한 이미징 데이터를 제공한다. HCC의 재발은 조기 진단에 따른 요치료 후에도 자주 발생한다. 재발된 HCC는 유사한 영상 특징을 보여준다. 이러한 영상 후속 조치는 치료 반응을 평가하고 HCC의 새로운 병소, 간 내 전이 또는 종양 재발을 검출하는 데 중요하다.
외과적 절제술, 영상 유도 종양 제거 요법, 동맥 화학 요법(TACE), 전신 화학 요법, 간 이식 등을 포함하여 HCC에 대한 많은 치료 옵션이 있다. 그 중에서 영상 유도 종양 제거는 RFA(Radiofrequency Ablation), MWA(Microwave Ablation) 및 냉동 절제(Cryoablation)와 같은 초기 단계의 HCC에 대한 근치적 치료법 중 하나이다. 이들 중 RFA는 국내에서 HCC에 대한 영상 유도 종양 제거 중 가장 널리 사용되는 방법이다. RFA는 초음파 촬영(US: ultrasonography) 또는 컴퓨터 단층 촬영(CT: computed tomography) 지침에 따라 바늘 전극을 종양에 직접 배치하여 종양을 응고 괴사시킨다.
절제 구역(ablation zone)은 전형적으로 조영 증강 후 CT영상에서 저음영 혹은 비균일한 고음영 영역으로 시각화된다. HCC에 대한 외과적 절제술 및 영상 유도 종양 절제의 치료 결과는 비슷하다. 그러나 HCC에 대한 RFA 후 5년 및 10년 국소종양진행(LTP) 비율은 각각 20.4% 및 25.1%로 보고될 정도로 드물지 않다. RFA로 치료받은 환자는 일반적으로 HCC의 새로운 병소 발생에 대한 일반적인 간경변 집단과 비교하여 위험이 더 높은 것으로 간주된다. 또한, 환자 치료를 위해서는 신속하고 정확한 재발 검사가 요구된다.
본 발명은 간세포암종(HCC)에 대한 영상 유도 종양 제거(image guided tumor ablation) 후, 후속으로 촬영된 컴퓨터단층(CT) 영상에서 심층컨벌루션신경망(DCNN)을 이용하여 국소종양진행(LTP)을 진단하기 위한 장치 및 이를 위한 방법을 제공하기 위한 것이다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 국소종양진행을 진단하기 위한 장치는 축 방향의 복수의 슬라이스 영상으로 구성된 CT 영상으로부터 복수의 2D 패치를 추출하여 복수의 3D 패치를 구성하는 전처리부와, 상기 CT 영상의 3차원 좌표계에 따라 상기 복수의 3D 패치 각각의 중심 좌표를 저장하는 좌표저장부와, 분류망을 통해 상기 복수의 3D 패치 각각에 대해 학습된 가중치에 따른 복수의 연산을 수행하여 종양 존재 여부에 대한 확률을 산출하고, 상기 종양 존재 여부에 대한 확률에 따라 상기 복수의 3D 패치 중 종양이 존재하는 적어도 하나의 3D 패치를 검출하고, 상기 좌표저장부로부터 검출된 3D 패치의 중심 좌표를 추출하는 분류부와, 상기 검출된 3D 패치의 중심 좌표를 참조하여 상기 CT 영상에서 상기 검출된 3D 패치가 차지하는 영역을 시각화하는 시각화부를 포함한다. 상기 전처리부는 상기 CT 영상으로부터 서로 다른 복수의 윈도우에 따라 상기 복수의 3D 패치를 추출하는 것을 특징으로 한다.
상기 복수의 윈도우는 윈도우 레벨이 60, 윈도우 폭이 400인 채널에 대한 제1 윈도우(간 윈도우), 윈도우 레벨이 80, 윈도우 폭이 60인 채널에 대한 제2 윈도우(제거 부위 윈도우) 및 윈도우 레벨이 120, 윈도우 폭이 40인 채널에 대한 제3 윈도우(종양 윈도우) 중 적어도 하나를 포함한다.
상기 분류망은 3D 패치를 입력받는 입력층과, 상기 3D 패치에 대해 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제1 추출특징영상을 도출하는 제1 컨벌루션층과, 상기 복수의 제1 추출특징영상에 대해 필터를 이용한 풀링 연산을 수행하여 복수의 제1 축소특징영상을 도출하는 제1 풀링층과 상기 복수의 제1 축소특징영상에 대해 상기 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제2 추출특징영상을 도출하는 제2 컨벌루션층과, 상기 복수의 제2 추출특징영상에 대해 제2 필터를 이용한 풀링 연산을 수행하여 복수의 제2 축소특징영상을 도출하는 제2 풀링층과, 상기 복수의 제2 축소특징영상에 대해 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제3 추출특징영상을 도출하는 제3 컨벌루션층과, 상기 복수의 제3 추출특징영상에 대해 필터를 이용한 풀링 연산을 수행하여 복수의 제3 축소특징영상을 도출하는 제3 풀링층과, 복수의 제1 연산노드가 상기 제3 풀링층의 복수의 제3 축소특징영상에 대해 활성화함수에 의한 연산을 통해 복수의 제1 노드값을 산출하는 제1 완결연결층과, 복수의 제2 연산노드가 상기 복수의 제1 노드값에 대해 활성화함수에 의한 연산을 통해 복수의 제2 노드값을 산출하는 제2 완결연결층과, 출력노드가 상기 복수의 제2 노드값에 대해 활성화함수에 의한 연산을 통해 종양이 존재할 확률을 나타내는 출력값을 산출하는 출력층을 포함한다.
상기 장치는 상기 복수의 제3 축소특징영상이 입력되면, 잔차 연산을 수행하여 종양 영역과 다른 영역을 구분하는 특징을 가지는 복수의 집중특징영상을 도출하는 잔차망을 더 포함한다.
상기 잔차망은 제1 잔차연산부 및 제2 잔차연산부를 포함한다.
상기 제1 잔차연산부는 상기 입력되는 복수의 제3 축소특징영상에 대해 잔차 연산을 수행하여 복수의 제1 잔차특징영상을 산출하는 제1 잔차연산모듈과, 상기 복수의 제1 잔차특징영상을 정규화하는 제1 정규화모듈과 상기 정규화된 복수의 제1 잔차특징영상에 상기 복수의 제3 축소특징영상인 제1 잔차 입력을 결합하여 상기 복수의 제3 축소특징영상이 부가된 복수의 제1 잔차특징영상을 도출하는 제1 결합모듈을 포함한다.
상기 제2 잔차연산부는 상기 복수의 제3 축소특징영상이 부가된 상기 복수의 제1 잔차특징영상에 대해 잔차 연산을 수행하여 복수의 제2 잔차특징영상을 산출하는 제2 잔차연산모듈과, 상기 복수의 제2 잔차특징영상을 정규화하는 제2 정규화모듈과, 상기 정규화된 복수의 제2 잔차특징영상에 상기 복수의 제3 축소특징영상인 제2 잔차 입력을 결합하여 상기 복수의 제3 축소특징영상이 부가된 복수의 제2 잔차특징영상을 복수의 어텐션특징영상으로 도출하는 제2 결합모듈을 포함한다.
상기 제1 잔차연산모듈 및 상기 제2 잔차연산모듈 각각은 입력값 전체에 대해 컨벌루션 연산을 수행하여 입력특징값을 산출한 후, 산출된 입력특징값을 순서를 가지는 복수의 서브 입력특징값으로 균등 분할하는 분할입력층과, 상기 순서에 따라 복수의 서브 입력특징영상 각각에 대해 컨벌루션 연산을 수행하여 복수의 서브 출력특징영상을 산출하되, 복수의 서브 출력특징영상 중 일부를 다음 순서의 컨벌루션 연산의 잔차 입력으로 사용하여 컨벌루션 연산을 수행하는 잔차연산층과 상기 복수의 서브 출력특징영상에 대해 컨벌루션 연산을 수행하여 잔차특징영상을 산출하는 병합출력층을 포함한다
상기 장치는 종양 존재 여부가 알려진 학습용 3D 패치를 마련하고, 상기 종양 존재 여부에 따라 상기 학습용 3D 패치의 레이블을 설정하고, 상기 학습용 3D 패치를 분리망에 입력한 후, 상기 분리망이 상기 학습용 3D 패치에 대해 복수의 연산을 통해 출력값을 산출하면, 손실함수를 통해 상기 출력값과 상기 레이블의 차이인 손실값이 최소가 되도록 상기 분리망의 파라미터를 갱신하는 학습부를 더 포함한다.
상기 학습부는 종양이 존재하는 CT 영상에서 종양의 중심 좌표를 기준으로 추출된 학습용 3D 패치를 실험군으로 마련하고, 상기 종양의 중심 좌표로부터 소정 반경의 외부 영역에서 추출된 학습용 3D 패치를 대조군으로 마련하는 것을 특징으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 국소종양진행을 진단하기 위한 장치는 축 방향의 복수의 슬라이스 영상으로 구성된 CT 영상에서 복수의 3D 패치가 추출될 때, CT 영상의 3차원 좌표계에 따라 상기 복수의 3D 패치 각각의 중심 좌표를 저장하는 좌표저장부와, 분류망을 포함하며, 상기 분류망이 상기 복수의 3D 패치 각각에 대해 가중치가 적용되는 복수의 연산을 수행하여 종양 존재 여부에 대한 확률을 산출하면, 상기 확률에 따라 상기 복수의 3D 패치 중 종양이 존재하는 적어도 하나의 3D 패치를 검출하고, 상기 좌표저장부로부터 검출된 3D 패치의 중심 좌표를 추출하는 분류부와, 상기 검출된 3D 패치의 중심 좌표를 참조하여 상기 CT 영상에서 상기 검출된 3D 패치가 차지하는 영역을 시각화하는 시각화부를 포함한다.
상기 장치는 상기 CT 영상으로부터 서로 다른 복수의 윈도우에 따라 복수의 2D 패치를 추출하여 복수의 3D 패치를 구성하는 전처리부를 더 포함한다.
상기 복수의 윈도우는 윈도우 레벨이 60, 윈도우 폭이 400인 채널에 대한 간 윈도우, 윈도우 레벨이 80, 윈도우 폭이 60인 채널에 대한 제거 부위 윈도우 및 윈도우 레벨이 120, 윈도우 폭이 40인 채널에 대한 종양 윈도우 중 적어도 하나를 포함한다.
상기 분류망은 3D 패치를 입력받는 입력층과, 상기 3D 패치에 대해 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제1 추출특징영상을 도출하는 제1 컨벌루션층과, 상기 복수의 제1 추출특징영상에 대해 필터를 이용한 풀링 연산을 수행하여 복수의 제1 축소특징영상을 도출하는 제1 풀링층과, 상기 복수의 제1 축소특징영상에 대해 상기 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제2 추출특징영상을 도출하는 제2 컨벌루션층과, 상기 복수의 제2 추출특징영상에 대해 제2 필터를 이용한 풀링 연산을 수행하여 복수의 제2 축소특징영상을 도출하는 제2 풀링층과, 상기 복수의 제2 축소특징영상에 대해 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제3 추출특징영상을 도출하는 제3 컨벌루션층과, 상기 복수의 제3 추출특징영상에 대해 필터를 이용한 풀링 연산을 수행하여 복수의 제3 축소특징영상을 도출하는 제3 풀링층과, 복수의 제1 연산노드가 상기 제3 풀링층의 복수의 제3 축소특징영상에 대해 활성화함수에 의한 연산을 통해 복수의 제1 노드값을 산출하는 제1 완결연결층과, 복수의 제2 연산노드가 상기 복수의 제1 노드값에 대해 활성화함수에 의한 연산을 통해 복수의 제2 노드값을 산출하는 제2 완결연결층과, 출력노드가 상기 복수의 제2 노드값에 대해 활성화함수에 의한 연산을 통해 종양이 존재할 확률을 나타내는 출력값을 산출하는 출력층을 포함한다.
상기 장치는 상기 복수의 제3 축소특징영상이 입력되면, 잔차 연산을 수행하여 종양 영역과 다른 영역을 구분하는 특징을 가지는 복수의 집중특징영상을 도출하는 잔차망을 더 포함한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 국소종양진행을 진단하기 위한 방법은 전처리부가 축 방향의 복수의 슬라이스 영상으로 구성된 CT 영상으로부터 복수의 2D 패치를 추출하여 복수의 3D 패치를 구성하는 단계와, 좌표저장부가 상기 CT 영상의 3차원 좌표계에 따라 상기 복수의 3D 패치 각각의 중심 좌표를 저장하는 단계와, 분류망이 상기 복수의 3D 패치 각각에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 종양 존재 여부에 대한 확률을 산출하는 단계와, 분류부가 상기 산출된 확률에 따라 상기 복수의 3D 패치 중 종양이 존재하는 적어도 하나의 3D 패치를 검출하는 단계와, 상기 분류부가 상기 좌표저장부로부터 검출된 3D 패치의 중심 좌표를 추출하는 단계와, 시각화부가 상기 검출된 3D 패치의 중심 좌표를 참조하여 상기 CT 영상에서 상기 검출된 3D 패치가 차지하는 영역을 시각화하는 단계를 포함한다.
상기 복수의 3D 패치를 구성하는 단계는 상기 전처리부가 상기 CT 영상으로부터 서로 다른 복수의 윈도우에 따라 상기 복수의 3D 패치를 추출하는 것을 특징으로 한다.
상기 복수의 윈도우는 윈도우 레벨이 60, 윈도우 폭이 400인 채널에 대한 제1 윈도우(간 윈도우), 윈도우 레벨이 80, 윈도우 폭이 60인 채널에 대한 제2 윈도우(제거 부위 윈도우) 및 윈도우 레벨이 120, 윈도우 폭이 40인 채널에 대한 제3 윈도우(종양 윈도우) 중 적어도 하나를 포함한다.
상기 종양 존재 여부에 대한 확률을 산출하는 단계는 상기 분류망의 입력층이 상기 3D 패치를 입력받는 단계와, 상기 분류망의 제1 컨벌루션층이 상기 3D 패치에 대해 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제1 추출특징영상을 도출하는 단계와, 상기 분류망의 제1 풀링층이 상기 복수의 제1 추출특징영상에 대해 필터를 이용한 풀링 연산을 수행하여 복수의 제1 축소특징영상을 도출하는 단계와, 상기 분류망의 제2 컨벌루션층이 상기 복수의 제1 축소특징영상에 대해 상기 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제2 추출특징영상을 도출하는 단계와, 상기 분류망의 제2 풀링층이 상기 복수의 제2 추출특징영상에 대해 제2 필터를 이용한 풀링 연산을 수행하여 복수의 제2 축소특징영상을 도출하는 단계와, 상기 분류망의 제3 컨벌루션층이 상기 복수의 제2 축소특징영상에 대해 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제3 추출특징영상을 도출하는 단계와, 상기 분류망의 제3 풀링층이 상기 복수의 제3 추출특징영상에 대해 필터를 이용한 풀링 연산을 수행하여 복수의 제3 축소특징영상을 도출하는 단계와, 상기 분류망의 제1 완결연결층의 복수의 제1 연산노드가 상기 제3 풀링층의 복수의 제3 축소특징영상에 대해 활성화함수에 의한 연산을 통해 복수의 제1 노드값을 산출하는 단계와 상기 분류망의 제2 완결연결층의 복수의 제2 연산노드가 상기 복수의 제1 노드값에 대해 활성화함수에 의한 연산을 통해 복수의 제2 노드값을 산출하는 단계와, 상기 분류망의 출력층의 출력노드가 상기 복수의 제2 노드값에 대해 활성화함수에 의한 연산을 통해 종양이 존재할 확률을 나타내는 출력값을 산출하는 단계를 포함한다.
상기 방법은 상기 복수의 제3 축소특징영상을 도출하는 단계 후, 상기 복수의 제1 노드값을 산출하는 단계 전, 상기 분류망의 잔차망이 상기 복수의 제3 축소특징영상이 입력되면, 잔차 연산을 수행하여 종양 영역과 다른 영역을 구분하는 특징을 가지는 복수의 집중특징영상을 도출하는 단계를 더 포함한다.
상기 방법은 상기 복수의 3D 패치를 구성하는 단계 전, 학습부가 종양 존재 여부가 알려진 학습용 3D 패치를 마련하는 단계와, 상기 학습부가 상기 종양 존재 여부에 따라 상기 학습용 3D 패치의 레이블을 설정하는 단계와, 상기 학습부가 상기 학습용 3D 패치를 분리망에 입력하는 단계와, 상기 분리망이 상기 학습용 3D 패치에 대해 복수의 계층의 복수의 연산을 통해 출력값을 산출하는 단계와, 상기 학습부가 손실함수를 통해 상기 출력값과 상기 레이블의 차이인 손실값이 최소가 되도록 상기 분리망의 파라미터를 갱신하는 단계를 더 포함한다.
본 발명에 따르면 간세포암종(HCC)에 대한 종양 제거 후, 후속으로 촬영된 컴퓨터단층 영상에서 국소종양진행 여부 및 국소종양진행이 있는 영역을 용이하게 검출하고 시각화 할 수 있다. 이에 따라, 보다 나은 의료 서비스를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 진단 영상에서 심층신경망을 이용하여 국소종양진행을 진단하기 위한 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 진단 영상에서 심층신경망을 이용하여 국소종양진행을 진단하기 위한 장치의 세부 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 진단 영상에서 심층신경망을 이용하여 국소종양진행을 진단하기 위한 장치의 세부 구성을 설명하기 위한 도면이다.
도 4 내지 도 6은 본 발명의 제1 실시예에 따른 분류망의 세부적인 구성을 설명하기 위한 도면이다.
도 7 내지 도 9는 본 발명의 제2 실시예에 따른 분류망의 세부적인 구성을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 분류망을 학습시키는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 진단 영상에서 심층신경망을 이용한 국소종양진행을 진단하기 위한 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명의 실시예에 따른 진단장치를 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 진단 영상에서 심층신경망을 이용하여 국소종양진행을 진단하기 위한 장치의 세부 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 진단 영상에서 심층신경망을 이용하여 국소종양진행을 진단하기 위한 장치의 세부 구성을 설명하기 위한 도면이다.
도 4 내지 도 6은 본 발명의 제1 실시예에 따른 분류망의 세부적인 구성을 설명하기 위한 도면이다.
도 7 내지 도 9는 본 발명의 제2 실시예에 따른 분류망의 세부적인 구성을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 분류망을 학습시키는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 진단 영상에서 심층신경망을 이용한 국소종양진행을 진단하기 위한 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명의 실시예에 따른 진단장치를 나타내는 도면이다.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
먼저, 본 발명의 실시예에 따른 진단 영상에서 심층신경망을 이용하여 국소종양진행(LTP)을 진단하기 위한 시스템에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 진단 영상에서 심층신경망을 이용하여 국소종양진행(LTP)을 진단하기 위한 시스템의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 진단 영상에서 심층신경망을 이용하여 국소종양진행(LTP)을 진단하기 위한 장치의 세부 구성을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 진단 시스템은 진단장치(10) 및 진단영상촬영장치(20)을 포함한다.
진단영상촬영장치(20)는 컴퓨터단층(CT: computerized tomography) 영상을 촬영하기 위한 장치이며, 간세포암종(HCC: hepatocellular carcinoma)에 대한 종양 제거(tumor ablation) 후, 후속으로 CT 영상을 촬영하여 진단장치(10)에 제공한다.
진단장치(10)는 진단영상촬영장치(20)로부터 CT 영상을 입력받고, 심층신경망, 예컨대, 심층컨벌루션신경망(DCNN: deep convolutional neural network)을 이용하여 CT 영상을 분석하여 국소종양진행 여부를 진단하기 위한 장치이다. 이러한 진단장치(10)는 인터페이스부(11), 입력부(12), 표시부(13), 저장부(14) 및 제어부(15)를 포함한다.
인터페이스부(11)는 진단영상촬영장치(20)로부터 CT 영상을 수신하기 위한 것이다. 인터페이스부(11)는 필요에 따라 무선 통신, 유선 통신 등을 통해 진단영상촬영장치(20)와 연결되어 CT 영상을 수신할 수 있다.
입력부(12)는 진단장치(10)의 각 종 기능, 동작 등을 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어부(15)에 전달한다. 입력부(12)는 키보드, 마우스 등을 예시할 수 있다. 입력부(12)는 전원 on/off를 위한 전원키, 문자키, 숫자키, 방향키 등을 포함할 수 있다. 입력부(12)의 기능은 표시부(13)가 터치스크린으로 구현된 경우, 표시부(13)에서 이루어질 수 있으며, 표시부(13)만으로 모든 기능을 수행할 수 있는 경우, 입력부(12)는 생략될 수도 있다.
표시부(13)는 진단장치(10)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 특히, 본 발명의 실시예에 따르면, 제어부(15)는 입력된 CT 영상에 종양이 존재하는 영역을 다른 영역과 구분되도록 박스 형태로 표시하여 시각화할 수 있다. 이러한 경우, 표시부(13)는 제어부(15)의 제어에 따라 종양이 존재하는 영역이 박스 형태로 표시된 CT 영상을 표시부(13)를 통해 표시될 수 있다. 표시부(13)는 진단장치(10)의 부팅 화면, 대기 화면, 메뉴 화면, 등의 화면을 출력하는 기능을 수행한다. 이러한 표시부(13)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다.
저장부(14)는 진단장치(10)의 동작에 필요한 각 종 데이터, 애플리케이션, 진단장치(10)의 동작에 따라 구성되는 각 종 데이터를 저장하는 역할을 수행한다. 이러한 저장부(14)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 프로그램 영역은 진단장치(10)의 부팅(booting) 및 운영(operation)을 위한 운영체제(OS, Operating System), 본 발명의 실시예에 따른 애플리케이션 등을 저장할 수 있다. 데이터 영역은 본 발명의 실시예에 따른 진단을 위한 각 종 데이터를 저장할 수 있다. 저장부(14)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다.
제어부(15)는 진단장치(10)의 전반적인 동작 및 진단장치(10)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(15)는 중앙처리장치(CPU: Central Processing Unit), 디지털신호처리기(DSP: Digital Signal Processor) 등이 될 수 있다. 또한, 제어부(15)는 추가로 이미지 프로세서(Image processor) 혹은 GPU(Graphic Processing Unit)를 더 구비할 수 있다.
도 2를 참조하면, 제어부(15)는 진단부(100) 및 학습부(200)를 포함한다. 진단부(100)는 심층신경망을 이용하여 CT 영상을 분석하여 국소종양진행 여부를 판별하고, 만약, 종양이 존재하는 경우, 해당 부분을 다른 부분과 구분하기 위한 시각화를 하기 위한 것이다. 학습부(200)는 본 발명의 실시예에 다른 심층신경망이 국소종양진행 여부에 대한 확률을 산출하도록 학습시키기 위한 것이다.
그러면, 전술한 본 발명의 실시예에 따른 진단 영상에서 심층신경망을 이용하여 국소종양진행(LTP)을 진단하기 위한 진단부(100) 및 학습부(200) 각각에 대해 보다 구체적으로 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 진단 영상에서 심층신경망을 이용하여 국소종양진행(LTP)을 진단하기 위한 장치의 세부 구성을 설명하기 위한 도면이다. 도 4 내지 도 6은 본 발명의 제1 실시예에 따른 분류망의 세부적인 구성을 설명하기 위한 도면이다. 도 7 내지 도 9는 본 발명의 제2 실시예에 따른 분류망의 세부적인 구성을 설명하기 위한 도면이다.
도 3을 참조하면, 진단부(100)는 영상입력부(110), 등록부(120), 전처리부(130), 좌표저장부(140), 증강부(150), 분류부(160) 및 시각화부(170)를 포함한다.
영상입력부(110)는 CT 영상을 입력받기 위한 것이다. 여기서, CT 영상은 예컨대, RFA(Radiofrequency Ablation) 등과 같은 치료법에 의해 종양 제거가 이루어진 후, 간을 CT 촬영하여 생성된 것이다. 이러한 CT 영상은 DICOM(Digital Imaging COmmunication in Medicine) 파일의 형식을 가진다. 특히, CT 영상은 복셀(voxel)이 볼륨(volume)을 이루는 CT 볼륨 복셀(CT volume voxel)의 형태이며, 도 4에 도시된 바와 같이, 축 방향(도 3의 3차원 좌표계의 Z축 방향)으로 적층된 복수의 슬라이드 영상(2D 영상)으로 구분될 수 있다.
등록부(120)는 윈도우를 등록하여 새로운 채널을 등록하기 위한 것이다. 윈도우는 CT 영상의 2D 패치의 표현 형식을 나타낼 수 있다. 등록부(120)는 복수의 윈도우를 미리 등록할 수 있다. 이때, 윈도우에 대해 윈도우 폭(WW: window width) 및 윈도우 레벨(WL: window level)이 등록된다. 윈도우 폭(WW)은 흑백의 여러 단계인 그레이 스케일로 표현할 수 있는 CT 번호(Number)들의 범위이다. 윈도우 레벨(WL)은 그레이 스케일의 중앙값이다. 본 발명의 실시예에 따르면, 등록되는 윈도우는 윈도우 레벨(WL)이 60, 윈도우 폭(WW)이 400인 채널을 위한 간 윈도우(LW: liver window), 윈도우 레벨(WL)이 80, 윈도우 폭(WW)이 60인 채널을 위한 제거 부위 윈도우(AW: ablation window) 및 윈도우 레벨(WL)이 120, 윈도우 폭(WW)이 40인 채널을 위한 종양 윈도우(TW: tumor window) 중 적어도 하나를 포함한다.
CT 영상(CTV)에서 절제된 조직이 주변의 절제되지 않은 간 실질(liver parenchyma)에 비해 HU(Hounsfield Units) 밀도가 낮기 때문에 복수의 윈도우를 통해 멀티채널을 등록하여 분류망(161)이 절제된 영역에 초점을 맞추는 것을 학습할 수 있다. 또한 종양 윈도우(tumor window)는 절제된 영역 근처에서 LTP의 모양을 부각시킬 수 있다.
전처리부(130)는 복수의 슬라이스 영상으로부터 복수의 2D 패치(2DP)를 추출하여 복수의 3D 패치(3DP)를 구성한다. 이때, 전처리부(130)는 CT 영상(CTV)으로부터 등록된 윈도우 및 2D 패치(2DP)의 면적에 따라 복수의 3D 패치를 구성할 수 있다. 도 4에 어느 하나의 3D 패치(3DP)를 구성하는 일례가 도시되었다. 도 3에 도시된 바와 같이, 8개의 슬라이스 영상(S1 내지 S8)으로 이루어진 CT 영상(CTV)이 존재할 수 있다. 기본적으로, 어느 하나의 슬라이스 영상(S)에서 하나의 2D 패치(2DP)가 추출된다. 하지만, 등록된 윈도우의 수에 비례하여 추출되는 2D 패치(2DP)의 수가 증가된다. 예컨대, 등록된 윈도우가 간 윈도우(LV), 제거 윈도우(AW) 및 종양 윈도우(TW)를 포함하는 3개인 경우, 어느 하나의 슬라이스 영상(S)에서 3개의 2D 패치(2DP)가 추출된다. 보다 정확하게 설명하면, 하나의 2D 패치(2DP)를 추출하여 추출된 2D 패치(2DP)의 표현 형식을 등록된 윈도우 별로 그 형식, 즉, 윈도우 레벨 및 윈도우 폭에 맞춰 새로 생성하는 것이다. 따라서 윈도우가 기본 윈도우만 존재하는 경우, 도 3의 예에서는 8개의 슬라이스 영상(S1 내지 S8)으로부터 8개의 2D 패치(2DP1 내지 2DP8)를 추출하여 8개의 2D 패치(2DP1 내지 2DP8)로 1개의 3D 패치(3DP)를 구성한다. 반면, 간 윈도우(LV), 제거 윈도우(AW) 및 종양 윈도우(TW)를 포함하는 3개의 윈도우가 등록된 경우, 8개의 슬라이스 영상(S1 내지 S8)으로부터 24(8×3)개의 2D 패치(2DP)가 추출되어 24(8×3)개의 2D 패치(2DP)가 1개의 3D 패치(3DP)를 구성한다. 앞서, 도 3을 참조로 CT 영상(CTV)에서 복수의 2D 패치(2DP)를 추출하여 1개의 3D 패치(3DP)를 구성하는 것에 대해 설명하였다. 전처리부(130)는 앞서 설명된 바와 동일한 방법을 통해 CT 영상(CTV) 전체에서 복수의 2D 패치(2DP)를 추출하여 CT 영상(CTV) 전체를 복수의 3D 패치(3DP)로 구분하여 재구성할 수 있다. 본 발명의 일 실시예에 따르면, 2D 패치(2DP)의 X-Y 평면의 면적은 32×32이며, Z축의 길이는 8이고, 윈도우의 수는 3이다. 이에 따라, 어느 하나의 3D 패치(3DP)는 3채널을 가지며, 8×32×32의 규격을 가진다.
좌표저장부(140)는 복수의 3D 패치 각각의 중심 좌표 cc(xc, yc, zc)를 저장한다. 이러한 중심 좌표는 복수의 슬라이스 영상(예컨대, S1 내지 S8)을 포함하는 CT 영상(CTV)에서 종양이 존재하는 영역을 다른 영역과 구분하여 시각화하기 위해 사용된다. 이에 따라, 복수의 슬라이스 영상(예컨대, S1 내지 S8)을 포함하는 CT 영상(CTV)에서 복수의 3D 패치 각각이 차지하는 영역을 구분하기 위하여 복수의 슬라이스 영상(예컨대, S1 내지 S8)을 포함하는 CT 영상(CTV)에 대한 3차원 좌표계(도 3 참조)에 따라 복수의 3D 패치 각각의 중심 좌표 cc(xc, yc, zc)를 저장한다.
증강부(150)는 본 발명의 실시예에 따른 학습 데이터 중 실험군의 수를 증강시키기 위한 것이다. 본 발명의 실시예에 따르면, 종양 진행 여부가 알려진 CT 영상에서 종양의 중심 좌표를 기준으로 추출된 학습용 3D 패치를 실험군으로 마련하고, 종양의 중심 좌표로부터 소정 반경의 외부 영역에서 추출된 학습용 3D 패치를 대조군으로 마련할 수 있다. 실험군은 전체 CT 영상의 복셀의 1~2% 미만이 LTP에 속하고, 나머지 98~99 % 이상의 복셀은 LTP가 아닌 영역이기 때문에 실험군과 대족군의 학습 데이터 불균형이 발생할 수 있다. 따라서 증강부(150)는 실험군에 대해 종양의 중심 좌표를 포함하는 학습용 3D 패치인 실험군에 대해 플립핑(flipping), 시프트(shift), 쉬어(shear), 확대/축소 및 회전 등의 변형을 통해 실험군의 수를 증강시킬 수 있다.
분류부(160)는 분류망(161)을 포함한다. 분류망(161)은 심층신경망(DNN: deep neural network)이다. 제1 실시예에 따르면, 분류망(161)은 심층신경망 중 3차원 심층컨벌루션신경망(3D-DCNN: 3 dimension deep convolutional neural network)이 될 수 있다. 본 발명의 추가적인 제2 실시예에 따르면, 분류망(161)은 심층신경망 중 어텐션 메커니즘(Attention Mechanism)이 적용된 3차원 심층컨벌루션신경망(3D-DCNN)이 될 수 있다. 분류부(160)는 분류망(161)을 통해 3D 패치에 대해 학습된 가중치에 따라 복수의 연산을 수행하여 종양 존재 여부에 대한 확률을 산출할 수 있다.
도 4에 본 발명의 제1 실시예에 따른 분류망(161)이 도시되었다. 도시된 바와 같이, 본 발명의 제1 실시예에 따른 분류망(161)은 복수의 계층을 포함한다. 즉, 분류망(161)은 입력층(input layer: IN), 은닉층(Hidden Layer) 및 출력층(output layer: OL)을 포함한다. 입력층(IL)은 3D 패치(3DP)를 입력받기 위한 것이다. 은닉층(HL)은 입력층(IL)에 입력된 3D 패치(3DP)에 대해 가중치가 적용되는 복수의 연산을 수행하여 연산값을 산출하고, 산출된 연산값을 출력층(OL)에 제공한다. 그러면, 출력층(OL)은 연산값을 기초로 출력값을 산출한다. 분류부(160)는 출력값에 따라 종양 존재 여부를 판단할 수 있다.
은닉층(HL)은 복수의 컨볼루션계층(convolution layer: CL), 복수의 풀링계층(pooling layer: PL) 및 복수의 완전연결계층(fully-connected layer: FL)을 포함한다. 도 3에 따르면, 본 발명의 분류망(161)은 순차로 입력층(IL), 제1 컨볼루션층(CL1), 제1 풀링층(PL1), 제2 컨볼루션층(CL2), 제2 풀링층(PL2), 제3 컨볼루션층(CL3), 제3 풀링층(PL3), 제1 완전연결계층(FL1), 제2 완전연결계층(FL2) 및 출력계층(OL)을 포함한다.
제1, 제2 및 제3 컨볼루션층(CL1, CL2, CL3) 및 제1, 제2 및 제3 풀링층(PL1, PL2, PL3)은 적어도 하나의 특징영상(FM: Feature Map)으로 구성된다. 특징영상(FM)은 복셀(Voxel)로 구성되거나, 혹은 X-Y 평면을 이루는 픽셀로 구성되는 복수의 영상이 축(Z축) 방향으로 적층되어 구성될 수 있다. 특징영상(FM)은 이전 계층의 값에 대해 가중치가 적용된 연산 수행 결과로 생성된다. 이러한 가중치는 필터 혹은 커널(W)을 통해 적용된다. 본 발명의 실시예에서 제1, 제2 및 제3 컨볼루션층(CL1, CL2, CL3)의 컨벌루션 연산은 제1 필터(W1)가 사용되며, 제1, 제2 및 제3 풀링층(PL1, PL2, PL3)의 풀링 연산은 제2 필터(W2)가 사용된다. 본 발명의 실시예에서 제1 필터(W1)의 크기는 3 × 3 × 3이고, 제2 필터(W2)의 크기는 2 × 2 × 2인 것이 바람직하다.
입력층(IL)에 3D 패치(3DP)가 입력되면, 제1 컨볼루션층(CL1)은 3D 패치(3DP)에 대해 제1 필터(W1)를 이용한 컨벌루션(convolution) 연산 및 활성화함수에 의한 연산을 수행하여 복수의 제1 추출특징영상(extractedFM1)을 도출한다. 예컨대, 8 × 32 × 32 크기의 16개의 제1 추출특징영상(extractedFM1)이 도출될 수 있다.
이어서, 제1 풀링층(PL1)은 제1 컨볼루션층(CL1)의 복수의 제1 추출특징영상(extractedFM1)에 대해 제2 필터(W2)를 이용한 풀링(pooling 또는 sub-sampling) 연산을 수행하여 복수의 제1 축소특징영상(subsampledFM1)을 도출한다. 예컨대, 4 × 16 × 16 크기의 16개의 제1 축소특징영상(subsampledFM1)이 도출될 수 있다.
다음으로, 제2 컨벌루션층(CL2)은 제1 풀링층(PL1)의 복수의 제1 축소특징영상(subsampledFM1)에 대해 제1 필터(W1)를 이용한 컨벌루션 연산 및 활성화함수에 의한 연산을 수행하여 복수의 제2 추출특징영상(extractedFM2)을 도출한다. 예컨대, 4 × 16 × 16 크기의 32개의 제2 추출특징영상(extractedFM2)이 도출될 수 있다.
이어서, 제2 풀링층(PL2)은 제2 컨벌루션층(CL2)의 복수의 제2 추출특징영상(extractedFM2)에 대해 제2 필터(W2)를 이용한 풀링 연산을 수행하여 복수의 제2 축소특징영상(subsampledFM2)을 도출한다. 예컨대, 2 × 8 × 8 크기의 32개의 제2 축소특징영상(subsampledFM2)이 도출될 수 있다.
다음으로, 제3 컨벌루션층(CL3)은 제2 풀링층(PL2)의 복수의 제2 축소특징영상(subsampledFM2)에 대해 제1 필터(W1)를 이용한 컨벌루션 연산 및 활성화함수에 의한 연산을 수행하여 복수의 제3 추출특징영상(extractedFM3)을 도출한다. 예컨대, 2 × 8 × 8 크기의 64개의 제3 추출특징영상(extractedFM3)이 도출될 수 있다.
이어서, 제3 풀링층(PL3)은 제3 컨벌루션층(CL3)의 복수의 제3 추출특징영상(extractedFM3)에 대해 제2 필터(W2)를 이용한 풀링 연산을 수행하여 복수의 제3 축소특징영상(subsampledFM3)을 도출한다. 예컨대, 1 × 4 × 4 크기의 64개의 제3 축소특징영상(subsampledFM3)이 도출될 수 있다.
제1 완결연결층(FL1)은 복수의 제1 노드(f1 내지 fm)로 이루어진다. 일 실시예에 따르면, 제1 완결연결층(FL1)은 512개의 제1 노드(f1 내지 f512)를 포함한다(m=512). 제1 완결연결층(FL1)의 복수의 제1 노드(f1 내지 fm)는 제3 풀링층(PL3)의 복수의 제3 축소특징영상(subsampledFM3)에 대해 활성화함수에 의한 연산을 통해 복수의 제1 노드값을 산출한다. 예컨대, 512개의 제1 노드값이 산출될 수 있다.
제2 완결연결층(FL2)은 복수의 제2 노드(g1 내지 gn)로 이루어진다. 일 실시예에 따르면, 제2 완결연결층(FL2)은 128개의 제2 노드(g1 내지 g128)를 포함한다(n=128). 제2 완결연결층(FL2)의 복수의 제2 노드(f1 내지 fm)는 제1 완전연결층(FL1)의 복수의 제1 노드값에 대해 활성화함수에 의한 연산을 통해 복수의 제2 노드값을 산출한다. 예컨대, 128개의 제2 노드값이 산출될 수 있다.
전술한 제1 내지 제3 컨벌루션층(CL1, CL2, CL3)와 제1 및 제2 완결연결층(FL1, FL2)에서 사용되는 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. 본 발명의 실시예에서 활성화함수는 ReLU(Rectified Linear Unit)을 사용하는 것이 바람직하다.
출력층(OL)은 1개의 출력노드(O)를 포함한다. 도 5를 참조하면, 제2 완결연결층(FL2)의 복수의 제2 노드(g1 내지 gn)는 가중치(W: weight)를 가지는 채널(점선으로 표시)로 출력층(OL)의 출력노드(O)와 연결된다. 다른 말로, 복수의 제2 노드(g1 내지 gn)의 복수의 제2 노드값은 가중치가 적용되어 출력노드(O)의 입력이 된다. 이에 따라, 출력층(OL)의 출력노드(O)는 제2 완결연결층(FL2)의 가중치가 적용되는 복수의 제2 노드값에 대해 활성화함수에 의한 연산을 통해 종양이 존재할 확률을 나타내는 출력값을 산출한다.
도 6에 보다 자세히 본 발명의 실시예에 따른 출력노드(O)가 도시되었다. 출력노드(O)는 복수의 제2 노드(g1 내지 gn)로부터 입력되는 복수의 제2 노드값 x=[x1, x2, … , xn]에 가중치 w=[w1, w2, … , wn]를 적용한 후, 그 결과에 함수 F를 취한다. 여기서, 함수 F는 활성화함수(activation function)이다. 전술한 바와 같이, 다양한 활성화함수가 존재하며, 이 중 어느 하나가 선택되어 출력노드(O)에 사용될 수 있다. 본 발명의 실시예에 따르면, 출력노드(O)의 활성화함수는 시그모이드(Sigmoid)를 사용하는 것이 바람직하다.
이러한 시그모이드(Sigmoid) 함수를 이용한 출력노드(O)의 출력값은 다음의 수학식 1과 같다.
설명되지 않은 변수 b는 임계치 혹은 바이어스이며, 이러한 임계치는 수학식 4에서 
의 값이 임계치 보다 작을 때 해당 노드가 활성화되지 않도록 하는 역할을 한다.
예컨대, 출력노드(O)의 출력값이 0.833이면, 입력층(IL)에 입력된 3D 패치(3DP)가 CT 영상에서 위치하는 영역에 종양이 존재할 확률이 83%라는 것을 의미한다. 또한, 출력값이 0.167라면, 입력층(IL)에 입력된 3D 패치(3DP)가 CT 영상에서 위치하는 영역에 종양이 존재할 확률이 17%임을 의미한다. 따라서 분류부(160)는 출력값이 소정 수치 이상인 경우(예컨대, 0.750), 입력층(IL)에 입력된 3D 패치(3DP)가 CT 영상에서 위치하는 영역에 종양이 존재하는 것으로 판단할 수 있다.
다음으로, 본 발명의 제2 실시예에 따른 분류망(161)에 대해서 설명하기로 한다. 도 7을 참조하면, 본 발명의 제2 실시예에 따른 분류망(161)은 제1 실시예와 마찬가지로 입력층(input layer: IN), 은닉층(Hidden Layer) 및 출력층(output layer: OL)을 포함한다. 특히, 본 발명의 제2 실시예에 따른 은닉층(HL)은 복수의 컨볼루션계층(convolution layer: CL), 복수의 풀링계층(pooling layer: PL), 잔차망(RN: Residual Network) 및 복수의 완전연결계층(fully-connected layer: FL)을 포함한다. 이와 같이, 제2 실시예에 따른 은닉층(HL)은 제1 실시예에 추가로 잔차망(RN)이 부가된다. 도 7에 따르면, 본 발명의 제2 실시예에 따른 분류망(161)은 순차로 입력층(IL), 제1 컨볼루션층(CL1), 제1 풀링층(PL1), 제2 컨볼루션층(CL2), 제2 풀링층(PL2), 제3 컨볼루션층(CL3), 제3 풀링층(PL3), 잔차망(RN), 제1 완전연결계층(FL1), 제2 완전연결계층(FL2) 및 출력계층(OL)을 포함한다. 이와 같이, 제2 실시예의 경우, 잔차망(RN)을 제외한 나머지는 제1 실시예와 동일하기 때문에 잔차망(RN)에 대해 보다 상세하게 설명하기로 한다.
도 7을 참조하면, 잔차망(RN)은 제3 풀링층(PL3)의 복수의 제3 축소특징영상(subsampledFM3)을 입력받는다. 그러면, 잔차망(RN)은 적어도 하나의 잔차연산모듈(RES)을 통한 잔차 연산을 수행하여 복수의 집중특징영상(attentionFM)을 도출한다. 집중특징영상(attentionFM)은 종양 영역에 집중(attention)하여 종양 영역과 다른 영역의 특징을 구분하기 위한 것이다. 즉, 잔차망(RN)은 어텐션 메커니즘(Attention Mechanism)을 제공하여 종양 영역의 특징을 부각시킨다.
도 8을 참조하면, 잔차망(RN)은 제1 잔차연산부(RC1) 및 제2 잔차연산부(RC2)를 포함한다.
제1 잔차연산부(RC1)는 제3 축소특징영상(subsampledFM3)을 메인 입력과 잔차 입력으로 사용하여 제3 축소특징영상(subsampledFM3)의 전체적인 영역의 특징도 유지하면서 제3 축소특징영상(subsampledFM3)의 세부적인 영역의 특징을 도출하는 제1 잔차특징영상(residualFM1)을 생성하기 위한 것이다. 제1 잔차연산부(RC1)는 제1 잔차연산모듈(RES1), 제1 정규화모듈(NOR1) 및 제1 결합모듈(AD1)을 포함한다.
제1 잔차연산모듈(RES1)은 입력되는 복수의 제3 축소특징영상(subsampledFM3)에 대해 잔차 연산을 수행하여 복수의 제1 잔차특징영상(residualFM1)을 산출한다.
제1 정규화모듈(NOR1)은 복수의 제1 잔차특징영상(residualFM1)을 정규화(batch normalization)한다.
제1 결합모듈(AD1)은 정규화된 복수의 제1 잔차특징영상(residualFM1)에 제3 축소특징영상(subsampledFM3)인 제1 잔차 입력(r1)을 결합하여 제3 축소특징영상(subsampledFM3)이 부가된 제1 잔차특징영상(residualFM1)을 도출한다.
제2 잔차연산부(RC2)는 제3 축소특징영상(subsampledFM3)이 부가된 복수의 제1 잔차특징영상(residualFM1)을 메인 입력으로 이용하고, 제3 축소특징영상(subsampledFM3)을 잔차 입력으로 사용하여 제3 축소특징영상(subsampledFM3)의 특징도 유지하면서 제3 축소특징영상(subsampledFM3)의 세부적인 영역의 특징을 도출하는 제2 잔차특징영상(residualFM2)을 생성하기 위한 것이다. 제2 잔차연산부(RC2)는 제2 잔차연산모듈(RES2), 제2 정규화모듈(NOR2) 및 제2 결합모듈(AD2)을 포함한다.
제2 잔차연산모듈(RES2)은 입력되는 제3 축소특징영상(subsampledFM3)이 부가된 복수의 제1 잔차특징영상(residualFM1)에 대해 잔차 연산을 수행하여 복수의 제2 잔차특징영상(residualFM2)을 산출한다.
제2 정규화모듈(NOR2)은 복수의 제2 잔차특징영상(residualFM2)을 정규화(batch normalization)한다.
제2 결합모듈(AD2)은 정규화된 복수의 제2 잔차특징영상(residualFM2)에 복수의 제3 축소특징영상(subsampledFM3)인 제2 잔차 입력(r2)을 결합하여 제3 축소특징영상(subsampledFM3)이 부가된 제2 잔차특징영상(residualFM2)을 어텐션특징영상(attentionFM)으로 도출한다.
전술한 바와 같이, 잔차연산모듈(RES: RES1, RES2)이 잔차 연산을 수행하며, 이러한 잔차연산모듈(RES: RES1, RES2)에 대해 보다 상세하게 설명하기로 한다. 도 9를 참조하면, 잔차연산모듈(RES: RES1, RES2)은 분할입력층(DIL), 잔차연산층(RCL) 및 병합출력층(COL)을 포함한다.
분할입력층(DIL)은 입력되는 특징영상 예컨대, 복수의 제3 축소특징영상(subsampledFM3) 혹은 제1 잔차특징영상(residualFM1)에 대해 컨벌루션 연산(1×1×1)을 수행하여 입력특징영상을 산출한 후, 산출된 입력특징영상을 순서를 가지는 복수의 서브 입력특징영상(X1, X2, X3, X4)으로 균등 분할한다.
잔차연산층(RCL)은 순서를 가지는 소정의 복수의 서브 입력특징영상(X1, X2, X3, X4)에 대해 컨벌루션 연산(3×3×3)을 수행하여 복수의 서브 출력특징영상(Y1, Y2, Y3, Y4)을 산출하되, 복수의 서브 출력특징영상(Y1, Y2, Y3, Y4) 중 일부(Y2, Y3)를 다음 순서의 컨벌루션 연산의 잔차 입력으로 사용하여 컨벌루션 연산을 수행한다. 이러한 잔차 연산에 대해 보다 자세히 설명하면, 다음과 같다.
먼저, 잔차연산층(RCL)은 제1 서브 입력특징영상(X1)을 연산 없이 그대로 제1 서브 출력특징영상(Y1)으로 생성한다. 이어서, 잔차연산층(RCL)은 제2 서브 입력특징영상(X2)에 대해 컨벌루션 연산(3×3×3)을 수행하여 제2 서브 출력특징영상(Y2)을 생성한다. 이와 함께, 잔차연산층(RCL)은 제2 서브 출력특징영상(Y2)을 다음 순서의 제3 서브 입력특징영상(X3)에 대한 컨벌루션 연산(3×3×3)의 잔차 입력으로 입력한다.
잔차연산층(RCL)은 제3 서브 입력특징영상(X3)과 잔차 입력인 제2 서브 출력특징영상(Y2)을 합산한 특징 영상에 대해 컨벌루션 연산(3×3×3)을 수행하여 제3 서브 출력특징영상(Y3)을 생성한다. 또한, 잔차연산층(RCL)은 제3 서브 출력특징영상(Y3)을 다음 순서의 제4 서브 입력특징영상(X4)에 대한 컨벌루션 연산(3×3×3)의 잔차 입력으로 입력한다.
잔차연산층(RCL)은 제4 서브 입력특징영상(X4)과 잔차 입력인 제3 서브 출력특징영상(Y3)을 합산한 특징 영상에 대해 컨벌루션 연산(3×3×3)을 수행하여 제4 서브 출력특징영상(Y4)을 생성한다.
이와 같이, 어느 하나의 특징영상(feature map)을 복수의 서브 특징영상(feature map)으로 분할하고, 어느 하나의 서브 특징영상(feature map)의 연산 결과를 다른 서브 특징영상의 영상의 잔차 입력으로 사용함으로써, 서브 특징영상(feature map) 단위의 세부적인 특징이 도출될 수 있다.
병합출력층(COL)은 복수의 서브 출력특징영상(Y1, Y2, Y3, Y4)에 대해 컨벌루션 연산(1×1×1)을 수행하여 잔차특징영상(residualFM)을 산출한다.
다시, 도 7을 참조하여 제2 실시예에 따른 분류망(161)의 연산 과정을 살펴보면 다음과 같다. 먼저, 입력층(IL)에 3D 패치(3DP)가 입력되면, 제1 컨볼루션층(CL1)은 3D 패치(3DP)에 대해 제1 필터(W1)를 이용한 컨벌루션(convolution) 연산 및 활성화함수에 의한 연산을 수행하여 복수의 제1 추출특징영상(extractedFM1)을 도출한다.
이어서, 제1 풀링층(PL1)은 제1 컨볼루션층(CL1)의 복수의 제1 추출특징영상(extractedFM1)에 대해 제2 필터(W2)를 이용한 풀링(pooling 또는 sub-sampling) 연산을 수행하여 복수의 제1 축소특징영상(subsampledFM1)을 도출한다.
다음으로, 제2 컨벌루션층(CL2)은 제1 풀링층(PL1)의 복수의 제1 축소특징영상(subsampledFM1)에 대해 제1 필터(W1)를 이용한 컨벌루션 연산 및 활성화함수에 의한 연산을 수행하여 복수의 제2 추출특징영상(extractedFM2)을 도출한다.
이어서, 제2 풀링층(PL2)은 제2 컨벌루션층(CL2)의 복수의 제2 추출특징영상(extractedFM2)에 대해 제2 필터(W2)를 이용한 풀링 연산을 수행하여 복수의 제2 축소특징영상(subsampledFM2)을 도출한다.
다음으로, 제3 컨벌루션층(CL3)은 제2 풀링층(PL2)의 복수의 제2 축소특징영상(subsampledFM2)에 대해 제1 필터(W1)를 이용한 컨벌루션 연산 및 활성화함수에 의한 연산을 수행하여 복수의 제3 추출특징영상(extractedFM3)을 도출한다.
이어서, 제3 풀링층(PL3)은 제3 컨벌루션층(CL3)의 복수의 제3 추출특징영상(extractedFM3)에 대해 제2 필터(W2)를 이용한 풀링 연산을 수행하여 복수의 제3 축소특징영상(subsampledFM3)을 도출한다.
그런 다음, 잔차망(RN)은 제3 풀링층(PL3)의 복수의 제3 축소특징영상(subsampledFM3)에 대해 적어도 한 번의 잔차 연산을 수행하여 복수의 집중특징영상(attentionFM)을 도출한다. 잔차 연산은 컨벌루션 연산의 결과가 잔차 입력을 통해 다른 연산에 대한 입력으로 다시 사용되는 연산을 나타낸다.
다음으로, 제1 완결연결층(FL1)의 복수의 제1 노드(f1 내지 fm)는 잔차망(RN)의 복수의 집중특징영상(attentionFM)에 대해 활성화함수에 의한 연산을 통해 복수의 제1 노드값을 산출한다.
이어서, 제2 완결연결층(FL2)의 복수의 제2 노드(f1 내지 fm)는 제1 완전연결층(FL1)의 복수의 제1 노드값에 대해 활성화함수에 의한 연산을 통해 복수의 제2 노드값을 산출한다.
마지막으로, 출력층(OL)의 출력노드(O)는 복수의 제2 노드값에 대해 활성화함수에 의한 연산을 통해 종양이 존재할 확률과 종양이 존재할 확률을 나타내는 출력값을 산출한다.
전술한 바와 같이, 어느 하나의 3D 패치(3DP)가 본 발명의 제1 실시예 혹은 제2 실시예에 따른 분류망(161)에 입력되면, 분류망(161)은 복수의 계층의 복수의 가중치가 적용되는 연산을 통해 종양 존재 여부에 대한 확률을 나타내는 출력값을 산출할 것이다. 그러면, 분류부(160)는 출력값이 나타내는 종양 존재 여부에 대한 확률에 따라 CT 영상(CTV)에서의 3D 패치(3DP)의 영역에 종양 존재 여부를 판단한다. 즉, 분류부(160)는 출력값이 나타내는 종양 존재 여부에 대한 확률이 임계치 이상이면, 해당 영역에 종양이 존재하는 것으로 판단할 수 있다.
예컨대, 임계치가 75%라고 가정한다. 이러한 경우, 출력노드(O)의 출력값이 0.759481이면, 그 확률은 76%이기 때문에 분류부(160)는 분류망(161)에 입력된 3D 패치(3DP)에 해당하는 영역에 종양이 존재하는 것으로 판단할 수 있다. 이와 같이, 분류부(160)는 3D 패치(3DP)에 해당하는 영역에 종양이 존재하는 것으로 판단한 경우, 좌표저장부(140)로부터 입력되는 해당 3D 패치(3DP)의 중심 좌표 cc(xc, yc, zc)를 시각화부(170)에 제공할 수 있다.
정리하면, 분류부(160)는 하나의 CT 영상(CTV)으로부터 추출된 복수의 3D 패치(3DP) 각각을 순차로 분류망(161)에 입력하고, 분류망(161)의 출력값에 따라 해당 3D 패치(3DP)에 종양이 존재하는지 여부를 판별할 수 있다. 이에 따라, 분류부(160)는 복수의 3D 패치(3DP) 중 종양이 존재하는 것으로 판단되는 3D 패치(3DP)의 중심 좌표 cc(xc, yc, zc)를 좌표저장부(140)로부터 입력받아서 시각화부(170)에 제공한다.
시각화부(170)는 분류부(160)로부터 입력되는 3D 패치(3DP)의 중심 좌표 cc(xc, yc, zc)를 기초로 CT 영상(CTV)에서 해당 3D 패치(3DP)가 차지하는 영역을 시각화함으로써 종양이 존재하는 영역을 시각화할 수 있다.
다음으로, 본 발명의 실시예에 따른 분류망(161)을 학습시키는 방법에 대해서 설명하기로 한다. 도 10은 본 발명의 실시예에 따른 분류망을 학습시키는 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 학습부(200)는 S110 단계에서 학습용 3D 패치를 마련한다. 이때, 학습부(200)는 종양 진행 여부가 알려진 CT 영상에서 종양의 중심 좌표를 기준으로 추출된 학습용 3D 패치를 실험군으로 마련하고, 종양의 중심 좌표로부터 소정 반경의 외부 영역에서 추출된 학습용 3D 패치를 대조군으로 마련할 수 있다. 학습부(200)가 실험군의 학습용 3D 패치를 마련한 경우, 선택적으로, 증강부(150)를 통해 실험군의 학습용 3D 패치에 대해 플립핑(flipping), 시프트(shift), 쉬어(shear), 확대/축소 및 회전 등의 변형을 통해 실험군의 수를 증강시킬 수 있다.
전술한 바와 같이, 학습용 3D 패치를 마련한 후, 학습부(200)는 S120 단계에서 학습용 3D 패치의 레이블을 설정한다. 예컨대, 실험군의 학습용 3D 패치인 경우, 레이블을 1로 설정할 수 있다. 역으로, 학습부(200)는 대조군 학습용 3D 패치에 대해서, 레이블을 0으로 설정할 수 있다.
다음으로, 학습부(200)는 S130 단계에서 학습용 3D 패치를 분류망(161)에 입력한다. 그러면, 분류망(161)은 S140 단계에서 입력된 학습용 3D 패치에 대해 학습되지 않은 가중치가 적용되는 복수의 연산을 통해 출력값을 산출할 것이다. 출력값은 제1 출력노드(O1)의 출력값인 종양 존재 확률과 제2 출력노드(O2)의 출력값인 종양 부존재 확률을 포함한다.
학습부(200)는 S150 단계에서 다음의 수학식 2와 같은 손실함수를 이용하여 설정된 레이블과 출력값의 차이를 나타내는 수학식 2의 손실함수의 손실값이 최소가 되도록 분류망(161)의 파라미터, 예컨대, 가중치, 바이어스 등을 갱신한다.
수학식 1에서 E는 레이블과 출력값과의 차이를 산출하기 위한 손실함수를 나타낸다. 여기서, hi는 출력노드에 대한 레이블이다. 이 레이블은 실험군에 대해 1이며, 대조군에 대해서는 0의 값을 갖는다. pi는 출력값을 의미한다.
다음으로, 진단 영상에서 심층신경망을 이용한 국소종양진행을 진단하기 위한 방법에 대해서 설명하기로 한다. 도 11은 본 발명의 실시예에 따른 진단 영상에서 심층신경망을 이용한 국소종양진행을 진단하기 위한 방법을 설명하기 위한 흐름도이다.
도 11을 참조하면, 영상입력부(110)는 S210 단계에서 CT 영상이 입력되면, 전처리부(130)는 S220 단계에서 CT 영상으로부터 복수의 3D 패치를 추출한다.
그런 다음, 좌표저장부(140)는 S230 단계에서 복수의 3D 패치 각각의 CT 영상의 3차원 좌표계에 따라 복수의 3D 패치 각각의 CT 영상에서의 중심 좌표를 저장한다. 3D 패치의 규격은 예컨대, 8×32×32와 같이 미리 설정되며, 이에 따라, CT 영상 내에서의 중심 좌표를 통해 3D 패치로 추출된 영역을 식별할 수 있다.
그런 다음, 분류부(160)는 S230 단계에서 복수의 3D 패치를 순차로 분류망(161)에 입력한다. 그러면, 분류망(161)은 S240 단계에서 순차로 입력되는 복수의 3D 패치 각각에 대해 가중치가 적용되는 복수의 연산을 통해 출력값을 산출한다.
제1 일 실시예에 따르면 S240 단계는 다음과 같이 진행된다. 입력층(IL)에 3D 패치(3DP)가 입력되면, 제1 컨볼루션층(CL1)은 3D 패치(3DP)에 대해 3 × 3 × 3 크기의 제1 필터(W1)를 이용한 컨벌루션(convolution) 연산 및 활성화함수(예컨대, ReLU)에 의한 연산을 수행하여 복수의 제1 추출특징영상(extractedFM1), 예컨대, 8 × 32 × 32 크기의 16개의 제1 추출특징영상(extractedFM1)을 도출한다.
이어서, 제1 풀링층(PL1)은 제1 컨볼루션층(CL1)의 복수의 제1 추출특징영상(extractedFM1)에 대해 2 × 2 × 2 크기의 제2 필터(W2)를 이용한 풀링(pooling 또는 sub-sampling) 연산을 수행하여 복수의 제1 축소특징영상(subsampledFM1), 예컨대, 예컨대, 4 × 16 × 16 크기의 16개의 제1 축소특징영상(subsampledFM1)을 도출한다.
다음으로, 제2 컨벌루션층(CL2)은 제1 풀링층(PL1)의 복수의 제1 축소특징영상(subsampledFM1)에 대해 3 × 3 × 3 크기의 제1 필터(W1)를 이용한 컨벌루션 연산 및 활성화함수(예컨대, ReLU)에 의한 연산을 수행하여 복수의 제2 추출특징영상(extractedFM2)을 도출한다. 예컨대, 4 × 16 × 16 크기의 32개의 제2 추출특징영상(extractedFM2)이 도출될 수 있다.
이어서, 제2 풀링층(PL2)은 제2 컨벌루션층(CL2)의 복수의 제2 추출특징영상(extractedFM2)에 대해 2 × 2 × 2 크기의 제2 필터(W2)를 이용한 풀링 연산을 수행하여 복수의 제2 축소특징영상(subsampledFM2)을 도출한다. 예컨대, 2 × 8 × 8 크기의 32개의 제2 축소특징영상(subsampledFM2)이 도출될 수 있다.
다음으로, 제3 컨벌루션층(CL3)은 제2 풀링층(PL2)의 복수의 제2 축소특징영상(subsampledFM2)에 대해 3 × 3 × 3 크기의 제1 필터(W1)를 이용한 컨벌루션 연산 및 활성화함수(예컨대, ReLU)에 의한 연산을 수행하여 복수의 제3 추출특징영상(extractedFM3), 예컨대, 2 × 8 × 8 크기의 64개의 제3 추출특징영상(extractedFM3)을 도출한다.
이어서, 제3 풀링층(PL3)은 제3 컨벌루션층(CL3)의 복수의 제3 추출특징영상(extractedFM3)에 대해 2 × 2 × 2 크기의 제2 필터(W2)를 이용한 풀링 연산을 수행하여 복수의 제3 축소특징영상(subsampledFM3), 예컨대, 1 × 4 × 4 크기의 64개의 제3 축소특징영상(subsampledFM3)을 도출한다.
다음으로, 제1 완결연결층(FL1)의 예컨대, 512개의 제1 노드(f1 내지 f512)는 제3 풀링층(PL3)의 복수의 제3 축소특징영상(subsampledFM3)에 대해 활성화함수(예컨대, ReLU)에 의한 연산을 통해 예컨대, 512개의 제1 노드값을 산출한다.
이어서, 제2 완결연결층(FL2)의 예컨대, 128개의 제2 노드(f1 내지 fm)는 제1 완전연결층(FL1)의 복수의 제1 노드값에 대해 활성화함수(예컨대, ReLU)에 의한 연산을 통해 예컨대, 128개의 제2 노드값을 산출한다.
다음으로, 출력층(OL)의 출력노드(O)는 제2 완결연결층(FL2)의 가중치가 적용되는 복수의 제2 노드값에 대해 활성화함수(예컨대, Sigmoid)에 의한 연산을 통해 종양이 존재할 확률을 나타내는 출력값을 산출한다.
한편, 제2 일 실시예에 따르면 S240 단계는 다음과 같이 진행된다. 입력층(IL)에 3D 패치(3DP)가 입력되면, 제1 컨볼루션층(CL1)은 3D 패치(3DP)에 대해 3 × 3 × 3 크기의 제1 필터(W1)를 이용한 컨벌루션(convolution) 연산 및 활성화함수(예컨대, ReLU)에 의한 연산을 수행하여 복수의 제1 추출특징영상(extractedFM1), 예컨대, 8 × 32 × 32 크기의 16개의 제1 추출특징영상(extractedFM1)을 도출한다.
이어서, 제1 풀링층(PL1)은 제1 컨볼루션층(CL1)의 복수의 제1 추출특징영상(extractedFM1)에 대해 2 × 2 × 2 크기의 제2 필터(W2)를 이용한 풀링(pooling 또는 sub-sampling) 연산을 수행하여 복수의 제1 축소특징영상(subsampledFM1), 예컨대, 예컨대, 4 × 16 × 16 크기의 16개의 제1 축소특징영상(subsampledFM1)을 도출한다.
다음으로, 제2 컨벌루션층(CL2)은 제1 풀링층(PL1)의 복수의 제1 축소특징영상(subsampledFM1)에 대해 3 × 3 × 3 크기의 제1 필터(W1)를 이용한 컨벌루션 연산 및 활성화함수(예컨대, ReLU)에 의한 연산을 수행하여 복수의 제2 추출특징영상(extractedFM2)을 도출한다. 예컨대, 4 × 16 × 16 크기의 32개의 제2 추출특징영상(extractedFM2)이 도출될 수 있다.
이어서, 제2 풀링층(PL2)은 제2 컨벌루션층(CL2)의 복수의 제2 추출특징영상(extractedFM2)에 대해 2 × 2 × 2 크기의 제2 필터(W2)를 이용한 풀링 연산을 수행하여 복수의 제2 축소특징영상(subsampledFM2)을 도출한다. 예컨대, 2 × 8 × 8 크기의 32개의 제2 축소특징영상(subsampledFM2)이 도출될 수 있다.
다음으로, 제3 컨벌루션층(CL3)은 제2 풀링층(PL2)의 복수의 제2 축소특징영상(subsampledFM2)에 대해 3 × 3 × 3 크기의 제1 필터(W1)를 이용한 컨벌루션 연산 및 활성화함수(예컨대, ReLU)에 의한 연산을 수행하여 복수의 제3 추출특징영상(extractedFM3), 예컨대, 2 × 8 × 8 크기의 64개의 제3 추출특징영상(extractedFM3)을 도출한다.
이어서, 제3 풀링층(PL3)은 제3 컨벌루션층(CL3)의 복수의 제3 추출특징영상(extractedFM3)에 대해 2 × 2 × 2 크기의 제2 필터(W2)를 이용한 풀링 연산을 수행하여 복수의 제3 축소특징영상(subsampledFM3), 예컨대, 1 × 4 × 4 크기의 64개의 제3 축소특징영상(subsampledFM3)을 도출한다.
그런 다음, 잔차망(RN)은 제3 풀링층(PL3)의 예컨대, 1 × 4 × 4 크기의 64개의 제3 축소특징영상(subsampledFM3)에 대해 적어도 한 번의 잔차 연산을 수행하여 예컨대, 1 × 4 × 4 크기의 64개의 집중특징영상(attentionFM)을 도출한다.
다음으로, 제1 완결연결층(FL1)의 복수의 제1 노드(f1 내지 fm)는 잔차망(RN)의 예컨대, 1 × 4 × 4 크기의 집중특징영상(attentionFM)에 대해 활성화함수(예컨대, ReLU)에 의한 연산을 통해 예컨대, 512개의 제1 노드값을 산출한다.
이어서, 제2 완결연결층(FL2)의 예컨대, 128개의 제2 노드(f1 내지 fm)는 제1 완전연결층(FL1)의 복수의 제1 노드값에 대해 활성화함수(예컨대, ReLU)에 의한 연산을 통해 예컨대, 128개의 제2 노드값을 산출한다.
마지막으로, 출력층(OL)의 출력노드(O)는 제2 완결연결층(FL2)의 가중치가 적용되는 복수의 제2 노드값에 대해 활성화함수(예컨대, Sigmoid)에 의한 연산을 통해 종양이 존재할 확률을 나타내는 출력값을 산출한다.
전술한 바와 같이, 복수의 3D 패치(3DP)가 본 발명의 제1 실시예 혹은 제2 실시예에 따른 분류망(161)에 입력되면, 분류망(161)은 복수의 3D 패치(3DP) 각각에 대해 종양 존재 여부에 대한 확률을 나타내는 출력값을 산출할 것이다.
그러면, 분류부(160)는 분류망(161)이 산출한 출력값에 따라 복수의 3D 패치(3DP) 각각에 대해 종양 존재 여부를 판단할 수 있다. 이때, 분류부(160)는 출력값이 나타내는 종양 존재 여부에 대한 확률이 임계치 이상이면, 해당 3D 패치(3DP)의 영역에 종양이 존재하는 것으로 판단할 수 있다. 예컨대, 임계치가 75%라고 가정한다. 이러한 경우, 출력노드(O)의 출력값이 0.8001이면, 그 확률은 80%이기 때문에 분류부(160)는 분류망(161)에 입력된 3D 패치(3DP)에 해당하는 영역에 종양이 존재하는 것으로 판단할 수 있다. 이에 따라, 분류부(160)는 S250 단계에서 분류망(161)의 출력값에 따라 복수의 3D 패치(3DP) 중 종양이 존재하는 것으로 판단되는 3D 패치(3DP)를 검출한다.
그런 다음, 분류부(160)는 S260 단계에서 좌표저장부(140)로부터 검출된 3D 패치(3DP)의 중심 좌표 cc(xc, yc, zc)를 추출하여 시각화부(170)에 제공한다.
그러면, 시각화부(170)는 S270 단계에서 분류부(160)로부터 입력되는 3D 패치(3DP)의 중심 좌표 cc(xc, yc, zc)를 기초로 CT 영상(CTV)에서 해당 3D 패치(3DP)가 차지하는 영역을 다른 영역과 구분되도록 박스 형태로 표시하여 시각화한다. 이로써, 종양이 존재하는 영역을 시각화할 수 있다. 시각화부(170)는 종양이 존재하는 것으로 판단되는 3D 패치(3DP)가 차지하는 영역을 CT 영상(CTV)에 박스 형태로 표시한 영상을 표시부(13)를 통해 표시될 수 있다.
제안된 분류망(161)은 테스트 세트(160 LTP 포지티브 패치, 640 LTP 네거티브 패치)를 사용하여 97.59 %의 정확도를 나타냈다. 종합하면, 제안된 분류망(161)은 LTP의 병리학적 단계를 정확하게 예측하고 차별화 할 수 있다. 분류망(161)은 AUC가 0.92인 간 CT에서 LTP 영역을 정확하게 분류 할 수 있다. 슬라이스 내 정보를 고려하여 2D 모델 대신 3D 모델을 통합하여 작은 혈관과 같은 오탐지율을 줄였다. 3D 모델은 2D 모델에 비해 더 많은 계산 메모리가 필요하지만 패치 추출에 의해 비교적 작은 입력을 사용하여 메모리 소모를 피할 수 있다. 또한 LTP 병리에 최적화된 윈도우 설정으로 12 비트(픽셀 당 4,096 개의 회색 음영) 범위의 CT 이미지를 전송하여 LTP 영역의 선명도가 향상된 8 비트 회색조 이미지를 얻을 수 있다. 결론적으로, 분류망(161)을 사용한 HCC에 대한 국소 절제 후 후속 CT 이미지에서의 LTP 검출은 높은 정확도를 보여 주었고, LTP를 정상 혈관계를 포함한 다른 것들로부터 정확하게 예측하고 구별 할 수 있다.
도 12는 본 발명의 실시예에 따른 진단장치를 나타내는 도면이다. 도 12의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치, 예컨대, 진단장치(10)일 수 있다.
도 12의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
10: 진단장치
11: 인터페이스부
12: 입력부 13: 표시부
14: 저장부 15: 제어부
20: 진단영상촬영장치 100: 진단부
110: 영상입력부 120: 등록부
130: 전처리부 140: 좌표저장부
150: 증강부 160: 분류부
161: 분류망 170: 시각화부
200: 학습부
12: 입력부 13: 표시부
14: 저장부 15: 제어부
20: 진단영상촬영장치 100: 진단부
110: 영상입력부 120: 등록부
130: 전처리부 140: 좌표저장부
150: 증강부 160: 분류부
161: 분류망 170: 시각화부
200: 학습부
Claims (20)
- 국소종양진행을 진단하기 위한 장치에 있어서,
축 방향의 복수의 슬라이스 영상으로 구성된 CT 영상으로부터 복수의 2D 패치를 추출하여 복수의 3D 패치를 구성하는 전처리부;
상기 CT 영상의 3차원 좌표계에 따라 상기 복수의 3D 패치 각각의 중심 좌표를 저장하는 좌표저장부;
분류망을 통해 상기 복수의 3D 패치 각각에 대해 학습된 가중치에 따른 복수의 연산을 수행하여 종양 존재 여부에 대한 확률을 산출하고, 상기 종양 존재 여부에 대한 확률에 따라 상기 복수의 3D 패치 중 종양이 존재하는 적어도 하나의 3D 패치를 검출하고, 상기 좌표저장부로부터 검출된 3D 패치의 중심 좌표를 추출하는 분류부; 및
상기 검출된 3D 패치의 중심 좌표를 참조하여 상기 CT 영상에서 상기 검출된 3D 패치가 차지하는 영역을 시각화하는 시각화부;
를 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 장치. - 제1항에 있어서,
상기 전처리부는
상기 CT 영상으로부터 서로 다른 복수의 윈도우에 따라 상기 복수의 3D 패치를 추출하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 장치. - 제2항에 있어서,
상기 복수의 윈도우는
윈도우 레벨이 60, 윈도우 폭이 400인 채널에 대한 제1 윈도우,
윈도우 레벨이 80, 윈도우 폭이 60인 채널에 대한 제2 윈도우 및
윈도우 레벨이 120, 윈도우 폭이 40인 채널에 대한 제3 윈도우 중 적어도 하나를 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 장치. - 제1항에 있어서,
상기 분류망은
3D 패치를 입력받는 입력층;
상기 3D 패치에 대해 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제1 추출특징영상을 도출하는 제1 컨벌루션층;
상기 복수의 제1 추출특징영상에 대해 필터를 이용한 풀링 연산을 수행하여 복수의 제1 축소특징영상을 도출하는 제1 풀링층;
상기 복수의 제1 축소특징영상에 대해 상기 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제2 추출특징영상을 도출하는 제2 컨벌루션층;
상기 복수의 제2 추출특징영상에 대해 제2 필터를 이용한 풀링 연산을 수행하여 복수의 제2 축소특징영상을 도출하는 제2 풀링층;
상기 복수의 제2 축소특징영상에 대해 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제3 추출특징영상을 도출하는 제3 컨벌루션층;
상기 복수의 제3 추출특징영상에 대해 필터를 이용한 풀링 연산을 수행하여 복수의 제3 축소특징영상을 도출하는 제3 풀링층;
복수의 제1 연산노드가 상기 제3 풀링층의 복수의 제3 축소특징영상에 대해 활성화함수에 의한 연산을 통해 복수의 제1 노드값을 산출하는 제1 완결연결층;
복수의 제2 연산노드가 상기 복수의 제1 노드값에 대해 활성화함수에 의한 연산을 통해 복수의 제2 노드값을 산출하는 제2 완결연결층; 및
출력노드가 상기 복수의 제2 노드값에 대해 활성화함수에 의한 연산을 통해 종양이 존재할 확률을 나타내는 출력값을 산출하는 출력층;
을 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 장치. - 제4항에 있어서,
상기 복수의 제3 축소특징영상이 입력되면, 잔차 연산을 수행하여 종양 영역과 다른 영역을 구분하는 특징을 가지는 복수의 집중특징영상을 도출하는 잔차망;
을 더 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 장치. - 제5항에 있어서,
상기 잔차망은
제1 잔차연산부 및
제2 잔차연산부를 포함하며,
상기 제1 잔차연산부는
상기 입력되는 복수의 제3 축소특징영상에 대해 잔차 연산을 수행하여 복수의 제1 잔차특징영상을 산출하는 제1 잔차연산모듈과,
상기 복수의 제1 잔차특징영상을 정규화하는 제1 정규화모듈과
상기 정규화된 복수의 제1 잔차특징영상에 상기 복수의 제3 축소특징영상인 제1 잔차 입력을 결합하여 상기 복수의 제3 축소특징영상이 부가된 복수의 제1 잔차특징영상을 도출하는 제1 결합모듈
을 포함하며,
상기 제2 잔차연산부는
상기 복수의 제3 축소특징영상이 부가된 상기 복수의 제1 잔차특징영상에 대해 잔차 연산을 수행하여 복수의 제2 잔차특징영상을 산출하는 제2 잔차연산모듈과,
상기 복수의 제2 잔차특징영상을 정규화하는 제2 정규화모듈과,
상기 정규화된 복수의 제2 잔차특징영상에 상기 복수의 제3 축소특징영상인 제2 잔차 입력을 결합하여 상기 복수의 제3 축소특징영상이 부가된 복수의 제2 잔차특징영상을 복수의 어텐션특징영상으로 도출하는 제2 결합모듈
을 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 장치. - 제6항에 있어서,
상기 제1 잔차연산모듈 및 상기 제2 잔차연산모듈 각각은
입력값 전체에 대해 컨벌루션 연산을 수행하여 입력특징값을 산출한 후, 산출된 입력특징값을 순서를 가지는 복수의 서브 입력특징값으로 균등 분할하는 분할입력층;
상기 순서에 따라 복수의 서브 입력특징영상 각각에 대해 컨벌루션 연산을 수행하여 복수의 서브 출력특징영상을 산출하되, 복수의 서브 출력특징영상 중 일부를 다음 순서의 컨벌루션 연산의 잔차 입력으로 사용하여 컨벌루션 연산을 수행하는 잔차연산층; 및
상기 복수의 서브 출력특징영상에 대해 컨벌루션 연산을 수행하여 잔차특징영상을 산출하는 병합출력층;
을 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 장치. - 제1항에 있어서,
종양 존재 여부가 알려진 학습용 3D 패치를 마련하고,
상기 종양 존재 여부에 따라 상기 학습용 3D 패치의 레이블을 설정하고,
상기 학습용 3D 패치를 분리망에 입력한 후,
상기 분리망이 상기 학습용 3D 패치에 대해 복수의 연산을 통해 출력값을 산출하면, 손실함수를 통해 상기 출력값과 상기 레이블의 차이인 손실값이 최소가 되도록 상기 분리망의 파라미터를 갱신하는 학습부;
를 더 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 장치. - 제8항에 있어서,
상기 학습부는
종양이 존재하는 CT 영상에서 종양의 중심 좌표를 기준으로 추출된 학습용 3D 패치를 실험군으로 마련하고,
상기 종양의 중심 좌표로부터 소정 반경의 외부 영역에서 추출된 학습용 3D 패치를 대조군으로 마련하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 장치. - 국소종양진행을 진단하기 위한 장치에 있어서,
축 방향의 복수의 슬라이스 영상으로 구성된 CT 영상에서 복수의 3D 패치가 추출될 때, CT 영상의 3차원 좌표계에 따라 상기 복수의 3D 패치 각각의 중심 좌표를 저장하는 좌표저장부;
분류망을 포함하며, 상기 분류망이 상기 복수의 3D 패치 각각에 대해 가중치가 적용되는 복수의 연산을 수행하여 종양 존재 여부에 대한 확률을 산출하면, 상기 확률에 따라 상기 복수의 3D 패치 중 종양이 존재하는 적어도 하나의 3D 패치를 검출하고, 상기 좌표저장부로부터 검출된 3D 패치의 중심 좌표를 추출하는 분류부; 및
상기 검출된 3D 패치의 중심 좌표를 참조하여 상기 CT 영상에서 상기 검출된 3D 패치가 차지하는 영역을 시각화하는 시각화부;
를 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 장치. - 제10항에 있어서,
상기 CT 영상으로부터 서로 다른 복수의 윈도우에 따라 복수의 2D 패치를 추출하여 복수의 3D 패치를 구성하는 전처리부;
를 더 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 장치. - 제11항에 있어서,
상기 복수의 윈도우는
윈도우 레벨이 60, 윈도우 폭이 400인 채널에 대한 제1 윈도우,
윈도우 레벨이 80, 윈도우 폭이 60인 채널에 대한 제2 윈도우 및
윈도우 레벨이 120, 윈도우 폭이 40인 채널에 대한 제3 윈도우 중 적어도 하나를 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 장치. - 제10항에 있어서,
상기 분류망은
3D 패치를 입력받는 입력층;
상기 3D 패치에 대해 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제1 추출특징영상을 도출하는 제1 컨벌루션층;
상기 복수의 제1 추출특징영상에 대해 필터를 이용한 풀링 연산을 수행하여 복수의 제1 축소특징영상을 도출하는 제1 풀링층;
상기 복수의 제1 축소특징영상에 대해 상기 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제2 추출특징영상을 도출하는 제2 컨벌루션층;
상기 복수의 제2 추출특징영상에 대해 제2 필터를 이용한 풀링 연산을 수행하여 복수의 제2 축소특징영상을 도출하는 제2 풀링층;
상기 복수의 제2 축소특징영상에 대해 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제3 추출특징영상을 도출하는 제3 컨벌루션층;
상기 복수의 제3 추출특징영상에 대해 필터를 이용한 풀링 연산을 수행하여 복수의 제3 축소특징영상을 도출하는 제3 풀링층;
복수의 제1 연산노드가 상기 제3 풀링층의 복수의 제3 축소특징영상에 대해 활성화함수에 의한 연산을 통해 복수의 제1 노드값을 산출하는 제1 완결연결층;
복수의 제2 연산노드가 상기 복수의 제1 노드값에 대해 활성화함수에 의한 연산을 통해 복수의 제2 노드값을 산출하는 제2 완결연결층; 및
출력노드가 상기 복수의 제2 노드값에 대해 활성화함수에 의한 연산을 통해 종양이 존재할 확률을 나타내는 출력값을 산출하는 출력층;
을 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 장치. - 제13항에 있어서,
상기 복수의 제3 축소특징영상이 입력되면, 잔차 연산을 수행하여 종양 영역과 다른 영역을 구분하는 특징을 가지는 복수의 집중특징영상을 도출하는 잔차망;
을 더 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 장치. - 국소종양진행을 진단하기 위한 방법에 있어서,
전처리부가 축 방향의 복수의 슬라이스 영상으로 구성된 CT 영상으로부터 복수의 2D 패치를 추출하여 복수의 3D 패치를 구성하는 단계;
좌표저장부가 상기 CT 영상의 3차원 좌표계에 따라 상기 복수의 3D 패치 각각의 중심 좌표를 저장하는 단계;
분류망이 상기 복수의 3D 패치 각각에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 종양 존재 여부에 대한 확률을 산출하는 단계;
분류부가 상기 산출된 확률에 따라 상기 복수의 3D 패치 중 종양이 존재하는 적어도 하나의 3D 패치를 검출하는 단계;
상기 분류부가 상기 좌표저장부로부터 검출된 3D 패치의 중심 좌표를 추출하는 단계; 및
시각화부가 상기 검출된 3D 패치의 중심 좌표를 참조하여 상기 CT 영상에서 상기 검출된 3D 패치가 차지하는 영역을 시각화하는 단계;
를 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 방법. - 제15항에 있어서,
상기 복수의 3D 패치를 구성하는 단계는
상기 전처리부가 상기 CT 영상으로부터 서로 다른 복수의 윈도우에 따라 상기 복수의 3D 패치를 추출하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 방법. - 제16항에 있어서,
상기 복수의 윈도우는
윈도우 레벨이 60, 윈도우 폭이 400인 채널에 대한 제1 윈도우,
윈도우 레벨이 80, 윈도우 폭이 60인 채널에 대한 제2 윈도우 및
윈도우 레벨이 120, 윈도우 폭이 40인 채널에 대한 제3 윈도우 중 적어도 하나를 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 방법. - 제15항에 있어서,
상기 종양 존재 여부에 대한 확률을 산출하는 단계는
상기 분류망의 입력층이 상기 3D 패치를 입력받는 단계;
상기 분류망의 제1 컨벌루션층이 상기 3D 패치에 대해 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제1 추출특징영상을 도출하는 단계;
상기 분류망의 제1 풀링층이 상기 복수의 제1 추출특징영상에 대해 필터를 이용한 풀링 연산을 수행하여 복수의 제1 축소특징영상을 도출하는 단계;
상기 분류망의 제2 컨벌루션층이 상기 복수의 제1 축소특징영상에 대해 상기 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제2 추출특징영상을 도출하는 단계;
상기 분류망의 제2 풀링층이 상기 복수의 제2 추출특징영상에 대해 제2 필터를 이용한 풀링 연산을 수행하여 복수의 제2 축소특징영상을 도출하는 단계;
상기 분류망의 제3 컨벌루션층이 상기 복수의 제2 축소특징영상에 대해 제1 필터를 이용한 컨벌루션 연산을 수행하여 복수의 제3 추출특징영상을 도출하는 단계;
상기 분류망의 제3 풀링층이 상기 복수의 제3 추출특징영상에 대해 필터를 이용한 풀링 연산을 수행하여 복수의 제3 축소특징영상을 도출하는 단계;
상기 분류망의 제1 완결연결층의 복수의 제1 연산노드가 상기 제3 풀링층의 복수의 제3 축소특징영상에 대해 활성화함수에 의한 연산을 통해 복수의 제1 노드값을 산출하는 단계;
상기 분류망의 제2 완결연결층의 복수의 제2 연산노드가 상기 복수의 제1 노드값에 대해 활성화함수에 의한 연산을 통해 복수의 제2 노드값을 산출하는 단계; 및
상기 분류망의 출력층의 출력노드가 상기 복수의 제2 노드값에 대해 활성화함수에 의한 연산을 통해 종양이 존재할 확률을 나타내는 출력값을 산출하는 단계;
을 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 방법. - 제18항에 있어서,
상기 복수의 제3 축소특징영상을 도출하는 단계 후,
상기 복수의 제1 노드값을 산출하는 단계 전,
상기 분류망의 잔차망이 상기 복수의 제3 축소특징영상이 입력되면, 잔차 연산을 수행하여 종양 영역과 다른 영역을 구분하는 특징을 가지는 복수의 집중특징영상을 도출하는 단계;
를 더 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 방법. - 제15항에 있어서,
상기 복수의 3D 패치를 구성하는 단계 전,
학습부가 종양 존재 여부가 알려진 학습용 3D 패치를 마련하는 단계;
상기 학습부가 상기 종양 존재 여부에 따라 상기 학습용 3D 패치의 레이블을 설정하는 단계;
상기 학습부가 상기 학습용 3D 패치를 분리망에 입력하는 단계;
상기 분리망이 상기 학습용 3D 패치에 대해 복수의 계층의 복수의 연산을 통해 출력값을 산출하는 단계;
상기 학습부가 손실함수를 통해 상기 출력값과 상기 레이블의 차이인 손실값이 최소가 되도록 상기 분리망의 파라미터를 갱신하는 단계;
를 더 포함하는 것을 특징으로 하는
국소종양진행을 진단하기 위한 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200080578A KR102431173B1 (ko) | 2020-06-30 | 2020-06-30 | 진단 영상에서 심층신경망을 이용한 국소종양진행을 진단하기 위한 장치 및 국소종양진행 진단에 필요한 정보를 제공하는 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200080578A KR102431173B1 (ko) | 2020-06-30 | 2020-06-30 | 진단 영상에서 심층신경망을 이용한 국소종양진행을 진단하기 위한 장치 및 국소종양진행 진단에 필요한 정보를 제공하는 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220001985A true KR20220001985A (ko) | 2022-01-06 |
| KR102431173B1 KR102431173B1 (ko) | 2022-08-10 |
Family
ID=79347990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200080578A KR102431173B1 (ko) | 2020-06-30 | 2020-06-30 | 진단 영상에서 심층신경망을 이용한 국소종양진행을 진단하기 위한 장치 및 국소종양진행 진단에 필요한 정보를 제공하는 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102431173B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115035912A (zh) * | 2022-06-08 | 2022-09-09 | 哈尔滨工程大学 | 基于moc模型的水声信号样本自动标注方法 |
| CN115035346A (zh) * | 2022-06-23 | 2022-09-09 | 温州大学 | 一种基于协作学习方法增强的阿尔兹海默病的分类方法 |
| CN115049605A (zh) * | 2022-06-09 | 2022-09-13 | 栢华科技(南京)有限公司 | 肝病病理组织图像的人工智能处理分析方法 |
| KR20240056074A (ko) | 2022-10-21 | 2024-04-30 | 연세대학교 산학협력단 | Mr 이미지의 뇌종양 분할 장치 및 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8687863B2 (en) * | 2008-12-19 | 2014-04-01 | Canon Kabushiki Kaisha | Image processing apparatus, control method thereof and computer program |
| KR20190060606A (ko) | 2017-11-24 | 2019-06-03 | 삼성전자주식회사 | 의료 영상 진단 장치 및 방법 |
| KR20190080388A (ko) * | 2017-12-28 | 2019-07-08 | 포항공과대학교 산학협력단 | Cnn을 이용한 영상 수평 보정 방법 및 레지듀얼 네트워크 구조 |
| KR20190084426A (ko) * | 2018-01-08 | 2019-07-17 | 고려대학교 산학협력단 | 병변 스크리닝 장치 및 방법 |
| KR20190105180A (ko) * | 2018-02-23 | 2019-09-16 | 광운대학교 산학협력단 | 합성곱 신경망 기반의 병변 진단 장치 및 방법 |
-
2020
- 2020-06-30 KR KR1020200080578A patent/KR102431173B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8687863B2 (en) * | 2008-12-19 | 2014-04-01 | Canon Kabushiki Kaisha | Image processing apparatus, control method thereof and computer program |
| KR20190060606A (ko) | 2017-11-24 | 2019-06-03 | 삼성전자주식회사 | 의료 영상 진단 장치 및 방법 |
| KR20190080388A (ko) * | 2017-12-28 | 2019-07-08 | 포항공과대학교 산학협력단 | Cnn을 이용한 영상 수평 보정 방법 및 레지듀얼 네트워크 구조 |
| KR20190084426A (ko) * | 2018-01-08 | 2019-07-17 | 고려대학교 산학협력단 | 병변 스크리닝 장치 및 방법 |
| KR20190105180A (ko) * | 2018-02-23 | 2019-09-16 | 광운대학교 산학협력단 | 합성곱 신경망 기반의 병변 진단 장치 및 방법 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115035912A (zh) * | 2022-06-08 | 2022-09-09 | 哈尔滨工程大学 | 基于moc模型的水声信号样本自动标注方法 |
| CN115035912B (zh) * | 2022-06-08 | 2024-04-26 | 哈尔滨工程大学 | 基于moc模型的水声信号样本自动标注方法 |
| CN115049605A (zh) * | 2022-06-09 | 2022-09-13 | 栢华科技(南京)有限公司 | 肝病病理组织图像的人工智能处理分析方法 |
| CN115035346A (zh) * | 2022-06-23 | 2022-09-09 | 温州大学 | 一种基于协作学习方法增强的阿尔兹海默病的分类方法 |
| KR20240056074A (ko) | 2022-10-21 | 2024-04-30 | 연세대학교 산학협력단 | Mr 이미지의 뇌종양 분할 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102431173B1 (ko) | 2022-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102431173B1 (ko) | 진단 영상에서 심층신경망을 이용한 국소종양진행을 진단하기 위한 장치 및 국소종양진행 진단에 필요한 정보를 제공하는 방법 | |
| JP7293118B2 (ja) | インスタンス重み付けを伴うランダムフォレストを使用するマルチパラメトリックｍｒｉにおける前立腺がんの検出、およびホリスティックネスト型ネットワークを用いたディープラーニングによるｍｒ前立腺セグメント化 | |
| Gong et al. | Automatic detection of pulmonary nodules in CT images by incorporating 3D tensor filtering with local image feature analysis | |
| Xia et al. | 3D vessel-like structure segmentation in medical images by an edge-reinforced network | |
| Ruan et al. | MB-FSGAN: Joint segmentation and quantification of kidney tumor on CT by the multi-branch feature sharing generative adversarial network | |
| Banerjee et al. | Automated 3D segmentation of brain tumor using visual saliency | |
| US11701066B2 (en) | Device and method for detecting clinically important objects in medical images with distance-based decision stratification | |
| JP2008520322A (ja) | 新規な３ｄ特徴を備えるコンピュータ支援検出（ｃａｄ）における誤検出の低減 | |
| Araújo et al. | An automatic method for segmentation of liver lesions in computed tomography images using deep neural networks | |
| Brutti et al. | Deep learning to automatically segment and analyze abdominal aortic aneurysm from computed tomography angiography | |
| CN112348818B (zh) | 一种图像分割方法、装置、设备以及存储介质 | |
| JP2021069793A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| Midya et al. | Computerized diagnosis of liver tumors from CT scans using a deep neural network approach | |
| JP2020062355A (ja) | 画像処理装置、データ生成装置及びプログラム | |
| Cifci | SegChaNet: a novel model for lung cancer segmentation in CT scans | |
| Zhao et al. | Mms-net: multi-level multi-scale feature extraction network for medical image segmentation | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
| Yang et al. | Lung Nodule Segmentation and Uncertain Region Prediction with an Uncertainty-Aware Attention Mechanism | |
| CN112862786B (zh) | Cta影像数据处理方法、装置及存储介质 | |
| CN112862785B (zh) | Cta影像数据识别方法、装置及存储介质 | |
| JP7130107B2 (ja) | 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 | |
| US11282193B2 (en) | Systems and methods for tumor characterization | |
| CN115393246A (zh) | 图像分割系统及图像分割方法 | |
| Yang et al. | Multi-Task Dual Boundary Aware Network for Retinal Layer Segmentation | |
| JP2022133479A (ja) | 予後推定装置及び予後推定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |