KR20220042072A - 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 및 그 컴퓨터 프로그램 - Google Patents
의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 및 그 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR20220042072A KR20220042072A KR1020220032494A KR20220032494A KR20220042072A KR 20220042072 A KR20220042072 A KR 20220042072A KR 1020220032494 A KR1020220032494 A KR 1020220032494A KR 20220032494 A KR20220032494 A KR 20220032494A KR 20220042072 A KR20220042072 A KR 20220042072A
- Authority
- KR
- South Korea
- Prior art keywords
- region
- images
- interest
- shape model
- neural network
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S128/00—Surgery
- Y10S128/92—Computer assisted medical diagnostics
- Y10S128/922—Computer assisted medical diagnostics including image analysis
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법은 복부 장기가 포함된 2차원 의료 영상의 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지를 2차원 딥 뉴럴 네트워크에 입력하는 단계; 상기 2차원 딥 뉴럴 네트워크를 통해 관심 영역(region of interest)의 복수의 레이블(Label) 데이터 및 복수의 예측맵(Prediction map)을 생성하되, 상기 복수의 예측맵은 상기 복수의 축상(Axial) 이미지에 대응하는 복수의 예측맵, 상기 복수의 관상(Coronal) 이미지에 대응하는 복수의 예측맵 및 상기 복수의 시상(Sagittal) 이미지에 대응하는 복수의 예측맵을 포함하는, 생성 단계; 상기 생성된 복수의 예측맵을 각각 가중 융합(weighted fusion)함으로써 상기 관심 영역의 사전형상모델을 생성하는 단계; 복부 장기가 포함된 3차원 의료 영상과 상기 사전형상모델을 3차원 딥 뉴럴 네트워크에 입력하는 단계; 및 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함하고, 상기 관심 영역의 분할 결과 획득 단계는, 상기 사전형상모델에서 상기 관심 영역과 다른 밝기를 가지는 경계 부분을 크롭하는 단계; 및 상기 경계 부분이 크롭된 상기 사전형상모델을 상기 3차원 딥 뉴럴 네트워크에 입력하여 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함하여 이루어진다.
Description
본 발명은 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 및 그 컴퓨터 프로그램에 관한 것으로, 보다 자세하게는 2차원 딥 뉴럴 네트워크와 3차원 딥 뉴럴 네트워크를 이용한 복부 장기 자동분할 방법에 관한 것이다.
방사선 치료는 종양의 주변 정상 조직에 방사선 투입량을 최소화하면서 종양에 정확하게 방사선을 투입하는 것이 중요하다. 이를 위해 치료 직전 환자의 영상을 다시 얻어 치료계획 당시의 환자 자세 및 종양 위치와 비교하여 환자의 위치를 보정하거나 치료계획을 수정하여 치료의 정확성을 높이는 영상유도 방사선 치료가 많이 사용되고 있다.
암의 예후 및 치료 반응 평가를 위해서는 종양 크기를 측정하는 것이 필수적이다. 종양 크기는 현재 일차원 RECIST 또는 2차원 WHO를 사용하여 정량화되지만, 종양의 3D 측정과 비교하여 선-길이 측정이 오도될 수 있음을 암시하는 입증되지 않은 증거가 계속 나오고 있다. 또한, 이미지 특징을 분석하고 치료 계획을 위해 종양 볼륨(volume)을 파악하기 위해서는 용적 분할(volumetric segmentation)이 필요하다.
이러한 종양을 치료하기 위해 의료 영상(예: 전산화단층촬영영상(CT: Computed Tomography)에서 복부 장기 분할은 우선적으로 수행되어야 할 과정이다. 또한 복부 장기에서 발생하는 암 주변 장기의 방사선 조사를 최소화하기 위한 방사선 치료 계획을 세우는데도 복부 장기 분할이 선행되어야 한다. 이때, 임상 전문의가 수동으로 장기를 분할하거나 반자동 분할 프로그램을 이용하여 복부 장기를 분할하는 경우, 시간이 오래 걸리고, 임상 전문의 간 분할 결과에 차이가 발생하는 한계가 있어 복부 장기를 자동으로 분할하는 연구가 진행되고 있다. 그러나 도 1과 같이 복부 CT 영상에서 복부 장기들(간(liver), 심장(heart), 비장(spleen) 등)의 위치가 서로 인접해 있고, 밝기값이 유사하여 자동 분할 시 주변에 유사한 밝기값을 가진 장기로의 누출(leakage)이 발생하고, 사람에 따라 간의 형태와 크기가 다양하게 나타나기 때문에 정확한 장기 분할에 한계가 있다.
한편, 최근에는 기계 학습 알고리즘들 중 딥 러닝(deep learning)이라는 기술이 다양한 분야에서 각광받고 있다. 특히, 객체 인식(object recognition) 분야에서는 딥 러닝의 일종인 CNN(convolutional neural network)이라는 기술이 각광받고 있다. CNN은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다. CNN은 일반적으로 컨볼루션(convolution) 연산을 통해 영상의 특징을 추출하기 위한 다양한 필터와 비선형적인 특성을 더하기 위한 풀링(pooling) 또는 비선형 활성화(non-linear activation) 함수(예: sigmod, ReLU(rectified linear unit) 등) 등을 사용할 수 있다.
이러한, 딥 러닝에 대한 관심의 증가와 함께, 다양한 의료 기기(예: 초음파, CT(computed tomography), MRI(magnetic resonance imaging) 등) 분야에서도 딥 러닝에 대한 관심이 증가하고 있다.
Peng et al, "Large Kernel Matters: Improve Semantic Segmentation by Global Convolutional Network", arXiv, March 2017.
iηek et al., "3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation", MICCAI 2016.
본 발명이 해결하고자 하는 과제는 2차원 딥 뉴럴 네트워크를 통해 생성된 사전형상모델과 복부의 바운딩 볼륨(bounding volume)을 3차원 딥 뉴럴 네트워크에 입력함으로써 복부 장기 중 어느 하나의 장기와 밝기값이 유사하게 나타나는 주변기관의 경계부위에서 정확하게 분할하는 복부 장기 자동분할 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명에 따른 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법은, 복부 장기가 포함된 2차원 의료 영상의 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지를 2차원 딥 뉴럴 네트워크에 입력하는 단계; 상기 2차원 딥 뉴럴 네트워크를 통해 관심 영역(region of interest)의 복수의 레이블(Label) 데이터 및 복수의 예측맵(Prediction map)을 생성하되, 상기 복수의 예측맵은 상기 복수의 축상(Axial) 이미지에 대응하는 복수의 예측맵, 상기 복수의 관상(Coronal) 이미지에 대응하는 복수의 예측맵 및 상기 복수의 시상(Sagittal) 이미지에 대응하는 복수의 예측맵을 포함하는, 생성 단계; 상기 생성된 복수의 예측맵을 각각 가중 융합(weighted fusion)함으로써 상기 관심 영역의 사전형상모델을 생성하는 단계; 복부 장기가 포함된 3차원 의료 영상과 상기 사전형상모델을 3차원 딥 뉴럴 네트워크에 입력하는 단계; 및 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함하고, 상기 관심 영역의 분할 결과 획득 단계는, 상기 사전형상모델에서 상기 관심 영역과 다른 밝기를 가지는 경계 부분을 크롭하는 단계; 및 상기 경계 부분이 크롭된 상기 사전형상모델을 상기 3차원 딥 뉴럴 네트워크에 입력하여 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함하여 이루어진다.
이때, 상기 관심 영역은 상기 복부 장기 중 어느 하나의 장기가 배치된 영역일 수 있다.
또한, 상기 관심 영역의 분할 결과 획득 단계는, 상기 사전형상모델에서 상기 관심 영역을 제외한 나머지 영역의 적어도 일부를 크롭(crop)하는 단계; 상기 3차원 의료 영상에서 상기 관심 영역을 제외한 나머지 영역의 적어도 일부를 크롭(crop)하는 단계; 및 상기 크롭된 사전형상모델과 상기 크롭된 3차원 의료 영상을 상기 3차원 딥 뉴럴 네트워크에 입력하여, 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역의 분할 결과를 획득하는 단계;를 더 포함할 수 있다.
또한, 상기 사전형상모델은, 상기 관심 영역의 3차원 공간적 형상 정보를 확률맵(probability map) 형태로 포함할 수 있다.
또한, 상기 사전형상모델은, 상기 복수의 축상 이미지에 대응하는 복수의 예측맵, 상기 복수의 관상 이미지에 대응하는 복수의 예측맵 및 상기 복수의 시상 이미지에 대응하는 복수의 예측맵의 가중 평균에 의하여 연산되고, 상기 사전형상모델은, 하기 수학식 1에 의하여 연산될 수 있다.
[수학식 1]
y는 사전형상모델이고, n은 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지 각각의 개수이고, yi는 복수의 예측맵의 복부 장기가 관심 영역일 확률이고, wi는 하기 수학식 2에 의해 결정되는 가중치를 나타낸다.
[수학식 2]
또한, 상술한 과제를 해결하기 위한 본 발명은 하드웨어인 컴퓨터와 결합되어, 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램은, 복부 장기가 포함된 2차원 의료 영상의 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지를 2차원 딥 뉴럴 네트워크에 입력하는 단계; 상기 2차원 딥 뉴럴 네트워크를 통해 관심 영역(region of interest)의 복수의 레이블(Label) 데이터 및 복수의 예측맵(Prediction map)을 생성하되, 상기 복수의 예측맵은 상기 복수의 축상(Axial) 이미지에 대응하는 복수의 예측맵, 상기 복수의 관상(Coronal) 이미지에 대응하는 복수의 예측맵 및 상기 복수의 시상(Sagittal) 이미지에 대응하는 복수의 예측맵을 포함하는, 생성 단계; 상기 생성된 복수의 예측맵을 각각 가중 융합(weighted fusion)함으로써 상기 관심 영역의 사전형상모델을 생성하는 단계; 복부 장기가 포함된 3차원 의료 영상과 상기 사전형상모델을 3차원 딥 뉴럴 네트워크에 입력하는 단계; 및 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함하고, 상기 관심 영역의 분할 결과 획득 단계는, 상기 사전형상모델에서 상기 관심 영역과 다른 밝기를 가지는 경계 부분을 크롭하는 단계; 및 상기 경계 부분이 크롭된 상기 사전형상모델을 상기 3차원 딥 뉴럴 네트워크에 입력하여 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
본 발명은 복부 장기의 자동 분할을 정확하게 수행할 수 있다.
또한, 본 발명은 사전형상모델을 이용하여 3차원 딥 뉴럴 네트워크에서의 과분할(over-segmentation)을 방지할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1 은 조영증강 복부 CT 영상에서 간 분할의 한계점을 나타낸 도면으로서, (a)는 축상 단면도에서의 간과 심장을 나타내며, (b)는 간과 주변기관의 관상 단면도를 나타내고, (c)는 간과 비장의 시상 단면도를 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법을 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 2D FCN을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 3D U-Net을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법의 효과를 설명하기 위한 테이블이다.
도 7은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법의 효과를 설명하기 위한 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법을 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 2D FCN을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 3D U-Net을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법의 효과를 설명하기 위한 테이블이다.
도 7은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법의 효과를 설명하기 위한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
의미적 영상 분할(sementic segmentation)은 일반적인 영상 분할과 같이 단순히 어떤 특징이나 계산된 속성의 관점에서 유사한 영역으로 나누는데 그치는 것이 아니라, 의미적으로 같은 부분까지 나누고 그 부분이 어떠한 범주에 속하는지 판별하는 기술을 말한다.
즉, 영상의 모든 픽셀에 대해서 미리 정의된 범주안에서 어떤 범주에 속하는지 분류하는 기술에 상응할 수 있고, 픽셀단위 분류(pixelwise classification)에 상응할 수도 있다.
의미적 영상 분할하는 방법은 크게 2가지 분류로 나뉜다. 첫째는 입력된 영상에서 수제 특징(Hand-craft features)을 뽑아서 수퍼 픽셀(Super-pixel) 단위로 분할한 뒤, 의미기반으로 영상을 분할하는 기법이다. 보다 상세하게는, 주어진 영상 데이터를 분석하여 단서가 될 수 있는 특징(Feature)들을 사용자가 직접 설계하여 추출할 수 있다. 이후 추출된 특징들의 패턴을 근거로 수퍼 픽셀 단위로 세그맨테이션을 수행할 수 있다. 이 과정은 정확도와 속도의 향상을 이끌어 낼 수 있다. 이후, 각각의 수퍼 픽셀 단위로 서포트 벡터 머신 (Support Vector Machine)을 이용하여 의미적 영상 분할을 진행하여 해당하는 픽셀 혹은 수퍼 픽셀이 어떤 분류에 속하는지 판단할 수 있다. 이러한 방법은 시스템에 입력되는 영상의 종류가 달라지면 그에 맞는 수제 특징을 매번 다시 설계해야 하기 때문에 시스템 활용 범위에 제한이 있다는 단점이 있으며, 수제 특징 추출은 처리 속도가 느리다는 단점도 있다.
둘째는 딥 러닝(Deep Learning)을 이용하여 특징(Features)을 추출한 뒤, 이것을 기반으로 픽셀(pixel) 단위로 분류(Classification)하는 기법이다. 딥 러닝(Deep Learning) 기반 분류의 성능이 우수함이 입증됨에 따라 의미 기반 영상 분할에서도 콘볼루션 인공신경망(Convolutional Neutral Network, CNN) 구조를 이용한 접근법이 제시되고 있다. 이러한 CNN 구조를 변경한 FCN(Fully Convolutional Networks)는 영상 분할(Image Segmentation)에도 뛰어난 성능을 보인다. 수퍼픽셀 단위의 분할을 진행한 후, 학습 데이터셋을 이용하여 CNN 필터를 학습하고 영상을 분할한 후 CRF (Conditional Random Field)와 같은 후 처리를 거칠 수 있다.
이하에서, 본 발명에서 설명하는 분할은 의미적 영상 분할을 의미할 수 있고, 딥 러닝에 기반한 의미적 영상 분할 방법이 적용될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법을 설명하기 위한 흐름도이다. 도 3은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법을 설명하기 위한 블록도이다. 도 4는 본 발명의 일 실시 예에 따른 2D FCN을 설명하기 위한 예시도이다. 도 5는 본 발명의 일 실시 예에 따른 3D U-Net을 설명하기 위한 예시도이다. 도 6은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법의 효과를 설명하기 위한 테이블이다. 도 7은 본 발명의 일 실시 예에 따른 복부 장기 자동분할 방법의 효과를 설명하기 위한 예시도이다.
본 발명은 복부 장기 자동분할 시스템으로 구현될 수 있고, 영상 입력부, 2차원 딥러닝부, 사전형상모델 생성부, 영역 크롭부 및 3차원 딥러닝부를 포함할 수 있다.
도 2 내지 도 4를 참조하면, 일 실시 예에서, 동작 21에서, 영상 입력부가 복부 장기가 포함된 의료 영상(100)의 복수의 축상(Axial) 이미지(110), 복수의 관상(Coronal) 이미지(120) 및 복수의 시상(Sagittal) 이미지(130)를 2차원 딥 뉴럴 네트워크(200)에 입력할 수 있다. 예를 들어, 2차원 딥 뉴럴 네트워크(200)는 2D FCN(fully convolutional network) 및 2D U-net 중 적어도 하나를 포함할 수 있다. 예를 들어, 의료 영상은 2차원 의료 영상(예: x-ray 이미지) 및/또는 3차원 의료 영상(예: CT 이미지, MRI, PET 이미지)을 포함하며, 의료 영상이라면 특별한 제한은 없다. "영상"은 전산화 단층 촬영(CT; computed tomography), 자기 공명 영상(MRI; magnetic resonance imaging), 초음파 또는 본 발명의 기술분야에서 공지된 임의의 다른 의료 영상 시스템에 의하여 수집된 피검체(subject)의 의료 영상일 수 있다. 의료 영상(100)은 복셀 데이터로서, 복수의 슬라이스 즉, 복수 개의 단위 이미지들로 이루어진다.
일 실시 예에서, 동작 22에서, 2차원 딥러닝부는 2차원 딥 뉴럴 네트워크(200)를 통해 관심 영역(region of interest)의 복수의 레이블(Label) 데이터(310, 320, 330) 및 복수의 예측맵(410, 420, 430, Prediction map)을 생성할 수 있다. 예를 들어, 관심 영역은 복부 장기 중 어느 하나의 장기(예: 간)가 배치된 영역일 수 있다.
일 실시 예에서, 도 4에 도시된 2D FCN(fully convolutional network)은 "Large Kernel Matters -- Improve Semantic Segmentation by Global Convolutional Network", arXiv, Mar 2017에서 제안하는 콘볼루션 네트워크 구조에 상응할 수 있다. 예를 들어, 도 4에 도시된 바와 같이 의료 영상(20)은 컨볼루션 레이어에 입력되어 컨볼루셔널 필터와 매칭되는 성분을 추출한 이후, 4 번의 리사이징을 거친 각각의 성분들이 GCN(global convolutional network), BR(boundary refinement)에 입출력될 수 있고, 가장 사이즈가 낮은 성분들부터 디컨볼루션 필터에 매칭되는 성분들이 추출되어 가장 인접한 상위 사이즈의 성분들과 합쳐질 수 있고, BR에 입출력됨에 따라 레이블 데이터(30)와 예측맵이 생성될 수 있다. 도 4에 개시된 x, y, 채널의 숫자는 예시적이고 다양하게 변형될 수 있다.
일 실시 예에서, 복수의 예측맵(410, 420, 430, Prediction map)은 입력된 의료 영상보다 해상도는 낮지만 다수의 채널을 가질 수 있다. 생성된 복수의 예측맵(410, 420, 430, Prediction map)을 통해 영역 구분 단계와 물체 검출 단계에서 서로 공유하여 영역을 구분하고 관심 영역(복부 장기 중 어느 하나의 장기)를 검출할 수 있다. 즉, 복수의 예측맵(410, 420, 430, Prediction map)으로부터 픽셀 레이블링을 수행하여 영상의 영역을 구분할 수 있다. 이때, 픽셀 레이블링은 입력 영상의 유사한 특징(feature)을 가지는 인접 픽셀에 모두 같은 번호(lable)를 붙이는 방법으로 수행할 수 있다. 또한, 복수의 레이블(Label) 데이터(310, 320, 330)에 포함된 픽셀 레이블링 결과는 영상의 분류할 클래스에 대한 각 픽셀별 확률 분포 정보를 포함할 수 있다.
일 실시 예에서, 복수의 레이블(Label) 데이터(310, 320, 330) 및 복수의 예측맵(410, 420, 430, Prediction map)의 생성은 컨볼루션 신경망(Convolution Neural Network, CNN)을 사용할 수 있으나, 이에 한정되지 않으며 심층 신경망(Deep Neural Network, DNN), 순환 신경망(Recurrent Neural Network, RNN)등 영상처리장치의 사용 목적에 따라 달라질 수 있다. 여기에서 일 예로서 2D FCN(fully convolutional network)에 따라 복수의 레이블(Label) 데이터(310, 320, 330) 및 복수의 예측맵(410, 420, 430, Prediction map)이 생성될 수 있다.
일 실시 예에서, 동작 23에서, 사전형상모델 생성부는 복수의 축상(Axial) 이미지(110), 복수의 관상(Coronal) 이미지(120) 및 복수의 시상(Sagittal) 이미지 각각에서 분할한 결과로 생성된 복수의 예측맵(410, 420, 430)을 각각 가중 융합(500, weighted fusion)함으로써 레이블 3차원 데이터(600)와 관심 영역의 사전형상모델(700)을 생성할 수 있다. 예를 들어, 사전형상모델(700)은 관심 영역의 3차원 공간적 형상 정보를 확률맵(probability map) 형태로 포함할 수 있다. 예컨대, 사전형상모델(700)은 의료 영상(100)에서 영역을 구분하고 물체를 검출하는데 의미 있는 정보를 포함할 수 있으며 예컨대, 의료 영상(100)의 광도, 색채, 윤곽 등을 포함할 수 있다.
일 실시 예에서, 사전형상모델(700)은 복수의 축상(Axial) 이미지(310)에 대응하는 복수의 예측맵(410), 복수의 관상(Coronal) 이미지(120)에 대응하는 복수의 예측맵(420) 및 복수의 시상(Sagittal) 이미지(130)에 대응하는 복수의 예측맵(430)의 가중 평균에 의하여 연산될 수 있다. 구체적으로, 사전형상모델(700)은 하기 수학식 1에 의하여 연산될 수 있다.
[수학식 1]
y는 사전형상모델(700)이고, n은 복수의 축상(Axial) 이미지(310), 복수의 관상(Coronal) 이미지(320) 및 복수의 시상(Sagittal) 이미지(330) 각각의 개수이고, yi는 복수의 예측맵(410, 420, 430)의 복부 장기가 관심 영역일 확률이고, wi는 하기 수학식 2에 의해 결정되는 가중치일 수 있다.
[수학식 2]
따라서, 사전형상모델(700)은 관심 영역이 존재할 확률이 0.5 이상인 복수의 예측맵(410, 420, 430)만을 통합하여 생성될 수 있다.
일 실시 예에서, 동작 24에서, 영역 크롭부는 사전형상모델(700)에서 관심 영역을 제외한 나머지 영역의 적어도 일부를 크롭(crop)할 수 있다. 예를 들어, 3차원 딥 뉴럴 네트워크의 연산 과정을 줄이기 위해 사전형상모델(700)에서 경계 영역의 일부를 크롭할 수 있다.
일 실시 예에서, 동작 25에서, 영역 크롭부는 3차원 의료 영상(800)에서 관심 영역을 제외한 나머지 영역의 적어도 일부를 크롭(crop)할 수 있다. 예를 들어, 3차원 딥 뉴럴 네트워크의 연산 과정을 줄이기 위해 3차원 의료 영상(800)에서 경계 영역의 일부를 크롭할 수 있다. 구체적으로, 예를 들어, 밝기값 정보를 이용하여 간과 주변 기관들이 갖는 밝기값 정보와 전혀 다른 경계 부분을 크롭할 수 있다.
일 실시 예에서, 동작 26에서, 영상 입력부는 복부 장기가 포함된 3차원 의료 영상(800)과 사전형상모델(700)을 3차원 딥 뉴럴 네트워크(900)에 입력할 수 있다. 예를 들어, 3차원 딥 뉴럴 네트워크(900)는 3D U-net을 포함할 수 있다. 또한 이와 달리 크롭한 사전형상모델과 크롭한 3차원 의료 영상(810)을 3차원 딥 뉴럴 네트워크(900)에 입력할 수 있다.
일 실시 예에서, 도 5에 도시된 3D U-net은 “3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation", MICCAI 2016. 에서 제안하는 콘볼루션 네트워크 구조에 상응할 수 있다. 예를 들어, 3D U-Net은 왼쪽에 도시된 수축 경로(40, contracting path) 및 오른쪽에 도시된 팽창 경로(50, expansive path)를 포함할 수 있다. 수축 경로는 합성곱 신경망의 전형적인 구조를 따르고 있는바, 이는 2번의 3x3 합성곱(unpadded convolutions; 패딩되지 않은 합성곱)의 반복적 적용을 포함하는데, 그 각각의 합성곱에는 보정 선형 유닛(rectified linear unit; ReLU) 및 다운샘플링(downsampling)을 위한 스트라이드(stride) 2의 2x2 최대 풀링 연산이 뒤따른다. 각각의 다운샘플링 단계에 있어서 특징 채널(feature channel)들의 개수는 2배가 취해진다. 팽창 경로에 있어서의 모든 단계는 특징 맵(feature map)의 업샘플링(upsampling) 및 이에 뒤따르는 특징 채널들의 개수를 절반으로 줄이는 2x2 합성곱(“up-convolution”), 이에 대응되도록 절단된(cropped) 수축 경로로부터의 특징 맵과의 결합(concatenation), 및 2번의 3x3 합성곱으로 구성되는데, 2번의 3x3 합성곱 각각에는 ReLU가 뒤따른다. 전술한 절단은 모든 합성곱에 있어서의 경계선 픽셀들(border pixels)의 손실 때문에 필수적이다. 최종 층(final layer)에서 1x1 합성곱이 각각의 64 차원(64-component) 특징 벡터를 원하는 개수의 클래스(class)에 맵핑하는 데에 이용된다. 이 예시적 신경망에서는 모두 22개의 합성곱 층들이 포함되었는데, 이개수는 임의적인 것이다. 출력으로 나오는 분할 맵(segmentation map)이 깔끔하게 이어지도록, 모든 2x2 최대 풀링 연산(max-pooling operation)이 짝수의 x 크기 및 y 크기를 가지는 층에 적용되도록 입력 타일의 크기(input tile size)를 선택하는 것이 중요하다는 것을 통상의 기술자는 이해할 수 있을 것이다.
일 실시 예에서, 동작 27에서, 3차원 딥러닝부는 3차원 딥 뉴럴 네트워크(900)를 통해 관심 영역의 분할 결과(10)를 획득할 수 있다. 여기서 분할 결과(10)는 관심 영역에 해당하는 특정 장기가 분할된 영상일 수 있다.
즉, 본 발명은 2차원 딥 뉴럴 네트워크와 사전형상모델을 통해 관심영역이 배치된 복부 장기 영역의 전체 맥락 정보를 고려하고, 사전형상모델을 이용하여 3차원 의료 영상을 통해 관심 영역이 위치한 지역 맥락 정보를 파악하는 연산을 줄임으로써 복부 장기 분할의 속도와 정확도를 높일 수 있다.
한편, 본 발명의 효과를 확인하기 위해 사용된 데이터 세트는 간암 환자에서 방사선 치료를 위해 얻은 155 개의 동맥 위상 CT 영상을 포함하고, 이 중에서 75개는 학습용, 33개는 유효성 검증용, 47명은 테스트용으로 나뉘었다. 이미지의 픽셀 간격과 슬라이스 두께는 0.65 내지 0.79 mm 또는 3.0 내지 7.0 mm일 수 있다.
상기 분할 결과(10)의 정확성 평가를 위해 다이스 유사계수(Dice similarity coefficient, DSC), 볼륨 중복 오차(VOE: Volumetric Overlap Error), 민감도(Sensitivity, Sens), 특이도(Specificity, Spec), 정확도(Accuracy)를 수학식 3을 통해 계산하여 비교하였다.
[수학식 3]
이때, A는 수동 분할 결과, B는 비교 방법 또는 제안 방법 결과, TP(True Positive)는 수동 분할한 장기 영역에서 자동 분할된 영역의 화소 개수, TN(True Negative)은 수동 분할한 장기 영역이 아닌 영역에서 자동 분할되지 않은 영역의 화소 개수, FP(False Positive)는 수동 분할한 장기 영역이 아닌 곳에서 자동 분할된 영역의 화소 개수, FN(False Negative)은 수동 분할한 장기 영역에서 자동 분할되지 않은 영역의 화소 개수를 의미한다.
도 6에 도시된 바와 같이. 본 발명의 2.5D+3D with shape-enhanced prior(사전형상모델)의 DSC는 94.3 %였으며 이전에 제안된 분할방법(2.5D+3D without shape-enhanced prior) 보다 5.4 % 더 높았고, 2.5D 분할 방법보다 3.4 % 더 높았다. 한편, 여기서 2.5D는 2차원 딥 뉴럴 네트워크를 통해 레이블 데이터 및 예측맵을 형성하는 것을 의미할 수 있다. 특이도의 경우, 본 발명의 분할 방법은 2.5D 분할 방법보다 2.5 % 및 1.4 % 더 높은 특이성을 나타낸다. 이는 본 발명의 분할 방법이 3D 딥 뉴럴 네트워크를 사용하여 미세한 디테일을 보정 할뿐만 아니라 사전형상모델 및 형상이 개선(예: 크롭)된 3차원 의료 영상을 사용하여 관심 영역과 인접한 장기에 영향 받은 것을 최대한 피함으로써 과다 세그먼테이션을 감소시키기 때문이다. 민감도의 경우, 2.5D+3D without shape-enhanced prior는 2.5D 분할 방법보다 8.6 % 낮은 민감도를 나타낸다. 이는 2.5D+3D without shape-enhanced prior가 복부 장기의 모양 변화가 클 때 과소분할(under-segmentation) 경향을 보여주기 때문이다. 그러나 본 발명에서 제안하는 분할 방법은 2.5D+3D without shape-enhanced prior 보다 4.4 % 더 높은 민감도를 보여준다. 이는 본 발명의 분할 방법이 복부 장기의 큰 변형을 파악하는 데 보다 적합하기 때문이다.
도 7에 도시된 바와 같이, 각각의 case 1, case 2, case 3, case 4, case 5 모두 본 발명에서 제안하는 분할 방법(2.5D+3D with shape-enhanced prior)이 간을 복부 장기에서 가장 정확하게 분할함을 알 수 있다. 여기서 파란색은 트루 양성(True Positive), 녹색은 거짓 양성 (False Negative), 빨간색은 거짓 양성 (False Positive)이다. 2.5D 분할 방법은 인접한 기관으로의 누출로 인해 과도한 세분화 경향을 보여주고, 사전형상모델 없이 분할을 수행한 2.5D+3D without shape-enhanced prior는 3D 딥 뉴럴 네트워크를 학습하여 과소분할의 개선을 보여 주지만 인접한 기관으로의 누출이 여전히 발생한다. 그러나 사전형상모델을 이용한 본 발명의 분할 방법은 분할 대상 장기의 디테일한 부분을 수정하고 인접한 기관으로의 누출을 줄일 수 있다.
본 발명의 일 실시예에 따른 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법은, 복부 장기가 포함된 2차원 의료 영상의 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지를 2차원 딥 뉴럴 네트워크에 입력하여. 상기 2차원 딥 뉴럴 네트워크를 통해 관심 영역(region of interest)의 복수의 레이블(Label) 데이터 및 복수의 예측맵(Prediction map)을 생성하는 단계; 상기 생성된 복수의 예측맵을 각각 가중 융합(weighted fusion)함으로써 상기 관심 영역의 사전형상모델을 생성하는 단계; 및 상기 복부 장기가 포함된 3차원 의료 영상과 상기 사전형상모델을 3차원 딥 뉴럴 네트워크에 입력하여. 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 관심 영역은 상기 복부 장기 중 어느 하나의 장기가 배치된 영역일 수 있다.
다양한 실시 예에 따르면, 상기 사전형상모델에서 상기 관심 영역을 제외한 나머지 영역의 적어도 일부를 크롭(crop)하는 단계; 및 상기 크롭한 사전형상모델을 상기 3차원 딥 뉴럴 네트워크에 입력하는 단계;를 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 3차원 의료 영상에서 상기 관심 영역을 제외한 나머지 영역의 적어도 일부를 크롭(crop)하는 단계; 및 상기 크롭한 3차원 의료 영상을 상기 3차원 딥 뉴럴 네트워크에 입력하는 단계;를 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 크롭한 사전형상모델과 상기 크롭한 3차원 의료 영상을 상기 3차원 딥 뉴럴 네트워크에 입력하여. 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 사전형상모델은 상기 복수의 축상(Axial) 이미지에 대응하는 복수의 예측맵, 상기 복수의 관상(Coronal) 이미지에 대응하는 복수의 예측맵 및 상기 복수의 시상(Sagittal) 이미지에 대응하는 복수의 예측맵의 가중 평균에 의하여 연산될 수 있다.
다양한 실시 예에 따르면, 상기 사전형상모델은 하기 수학식 1에 의하여 연산되고, [수학식 1] y는 사전형상모델이고, n은 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지 각각의 개수이고, yi는 복수의 예측맵의 복부 장기가 관심 영역일 확률이고, wi는 하기 수학식 2 에 의해 결정되는 가중치일 수 있다.
다양한 실시 예에 따르면, 상기 사전형상모델은 상기 관심 영역의 3차원 공간적 형상 정보를 확률맵(probability map) 형태로 포함할 수 있다.
다양한 실시 예에 따르면, 상기 2차원 딥 뉴럴 네트워크는 2D FCN(fully convolutional network) 및 2D U-net 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 3차원 딥 뉴럴 네트워크는 3D U-net을 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 의료영상
200 : 2차원 딥 뉴럴 네트워크
310,320,330: 레이블 데이터
410,420,430: 예측맵
700: 사전형상모델
800: 3차원 의료영상
900: 3차원 딥 뉴럴 네트워크
200 : 2차원 딥 뉴럴 네트워크
310,320,330: 레이블 데이터
410,420,430: 예측맵
700: 사전형상모델
800: 3차원 의료영상
900: 3차원 딥 뉴럴 네트워크
Claims (10)
- 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법에 있어서,
복부 장기가 포함된 2차원 의료 영상의 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지를 2차원 딥 뉴럴 네트워크에 입력하는 단계;
상기 2차원 딥 뉴럴 네트워크를 통해 관심 영역(region of interest)의 복수의 레이블(Label) 데이터 및 복수의 예측맵(Prediction map)을 생성하되, 상기 복수의 예측맵은 상기 복수의 축상(Axial) 이미지에 대응하는 복수의 예측맵, 상기 복수의 관상(Coronal) 이미지에 대응하는 복수의 예측맵 및 상기 복수의 시상(Sagittal) 이미지에 대응하는 복수의 예측맵을 포함하는, 생성 단계;
상기 생성된 복수의 예측맵을 각각 가중 융합(weighted fusion)함으로써 상기 관심 영역의 사전형상모델을 생성하는 단계;
복부 장기가 포함된 3차원 의료 영상과 상기 사전형상모델을 3차원 딥 뉴럴 네트워크에 입력하는 단계; 및
상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함하고,
상기 관심 영역의 분할 결과 획득 단계는,
상기 사전형상모델에서 상기 관심 영역과 다른 밝기를 가지는 경계 부분을 크롭하는 단계; 및
상기 경계 부분이 크롭된 상기 사전형상모델을 상기 3차원 딥 뉴럴 네트워크에 입력하여 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함하는 것을 특징으로 하는 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법. - 제1 항에 있어서,
상기 관심 영역은 상기 복부 장기 중 어느 하나의 장기가 배치된 영역인 것을 특징으로 하는 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법. - 제1 항에 있어서,
상기 관심 영역의 분할 결과 획득 단계는,
상기 사전형상모델에서 상기 관심 영역을 제외한 나머지 영역의 적어도 일부를 크롭(crop)하는 단계;
상기 3차원 의료 영상에서 상기 관심 영역을 제외한 나머지 영역의 적어도 일부를 크롭(crop)하는 단계; 및
상기 크롭된 사전형상모델과 상기 크롭된 3차원 의료 영상을 상기 3차원 딥 뉴럴 네트워크에 입력하여, 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역의 분할 결과를 획득하는 단계;를 더 포함하는 것을 특징으로 하는 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법. - 제1 항에 있어서,
상기 사전형상모델은, 상기 관심 영역의 3차원 공간적 형상 정보를 확률맵(probability map) 형태로 포함하는 것을 특징으로 하는 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법. - 제1 항에 있어서,
상기 사전형상모델은, 상기 복수의 축상 이미지에 대응하는 복수의 예측맵, 상기 복수의 관상 이미지에 대응하는 복수의 예측맵 및 상기 복수의 시상 이미지에 대응하는 복수의 예측맵의 가중 평균에 의하여 연산되고,
상기 사전형상모델은, 하기 수학식 1에 의하여 연산되고,
[수학식 1]
y는 사전형상모델이고, n은 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지 각각의 개수이고, yi는 복수의 예측맵의 복부 장기가 관심 영역일 확률이고, wi는 하기 수학식 2에 의해 결정되는 가중치인 것을 특징으로 하는 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법.
[수학식 2]
- 하드웨어인 컴퓨터와 결합되어, 딥러닝에 기반한 의료 영상에서 복부 장기 자동분할 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은,
복부 장기가 포함된 2차원 의료 영상의 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지를 2차원 딥 뉴럴 네트워크에 입력하는 단계;
상기 2차원 딥 뉴럴 네트워크를 통해 관심 영역(region of interest)의 복수의 레이블(Label) 데이터 및 복수의 예측맵(Prediction map)을 생성하되, 상기 복수의 예측맵은 상기 복수의 축상(Axial) 이미지에 대응하는 복수의 예측맵, 상기 복수의 관상(Coronal) 이미지에 대응하는 복수의 예측맵 및 상기 복수의 시상(Sagittal) 이미지에 대응하는 복수의 예측맵을 포함하는, 생성 단계;
상기 생성된 복수의 예측맵을 각각 가중 융합(weighted fusion)함으로써 상기 관심 영역의 사전형상모델을 생성하는 단계;
복부 장기가 포함된 3차원 의료 영상과 상기 사전형상모델을 3차원 딥 뉴럴 네트워크에 입력하는 단계; 및
상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함하고,
상기 관심 영역의 분할 결과 획득 단계는,
상기 사전형상모델에서 상기 관심 영역과 다른 밝기를 가지는 경계 부분을 크롭하는 단계; 및
상기 경계 부분이 크롭된 상기 사전형상모델을 상기 3차원 딥 뉴럴 네트워크에 입력하여 상기 관심 영역의 분할 결과를 획득하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터 프로그램. - 제6 항에 있어서,
상기 관심 영역은, 상기 복부 장기 중 어느 하나의 장기가 배치된 영역인 것을 특징으로 하는 컴퓨터 프로그램. - 제6 항에 있어서,
상기 관심 영역의 분할 결과 획득 단계는,
상기 사전형상모델에서 상기 관심 영역을 제외한 나머지 영역의 적어도 일부를 크롭(crop)하는 단계;
상기 3차원 의료 영상에서 상기 관심 영역을 제외한 나머지 영역의 적어도 일부를 크롭(crop)하는 단계; 및
상기 크롭된 사전형상모델과 상기 크롭된 3차원 의료 영상을 상기 3차원 딥 뉴럴 네트워크에 입력하여, 상기 3차원 딥 뉴럴 네트워크를 통해 상기 관심 영역의 분할 결과를 획득하는 단계;를 더 포함하는 것을 특징으로 하는 컴퓨터 프로그램. - 제6 항에 있어서,
상기 사전형상모델은, 상기 관심 영역의 3차원 공간적 형상 정보를 확률맵(probability map) 형태로 포함하는 것을 특징으로 하는 컴퓨터 프로그램. - 제6 항에 있어서,
상기 사전형상모델은, 상기 복수의 축상 이미지에 대응하는 복수의 예측맵, 상기 복수의 관상 이미지에 대응하는 복수의 예측맵 및 상기 복수의 시상 이미지에 대응하는 복수의 예측맵의 가중 평균에 의하여 연산되고,
상기 사전형상모델은, 하기 수학식 1에 의하여 연산되고,
[수학식 1]
y는 사전형상모델이고, n은 복수의 축상(Axial) 이미지, 복수의 관상(Coronal) 이미지 및 복수의 시상(Sagittal) 이미지 각각의 개수이고, yi는 복수의 예측맵의 복부 장기가 관심 영역일 확률이고, wi는 하기 수학식 2에 의해 결정되는 가중치인 것을 특징으로 하는 컴퓨터 프로그램.
[수학식 2]
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220032494A KR102410955B1 (ko) | 2019-08-16 | 2022-03-16 | 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 및 그 컴퓨터 프로그램 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190100356A KR102378746B1 (ko) | 2019-08-16 | 2019-08-16 | 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 |
KR1020220032494A KR102410955B1 (ko) | 2019-08-16 | 2022-03-16 | 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 및 그 컴퓨터 프로그램 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190100356A Division KR102378746B1 (ko) | 2019-08-16 | 2019-08-16 | 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220042072A true KR20220042072A (ko) | 2022-04-04 |
KR102410955B1 KR102410955B1 (ko) | 2022-06-22 |
Family
ID=74688950
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190100356A KR102378746B1 (ko) | 2019-08-16 | 2019-08-16 | 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 |
KR1020220032494A KR102410955B1 (ko) | 2019-08-16 | 2022-03-16 | 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 및 그 컴퓨터 프로그램 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190100356A KR102378746B1 (ko) | 2019-08-16 | 2019-08-16 | 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102378746B1 (ko) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113689369B (zh) * | 2021-07-06 | 2022-12-02 | 清华大学 | 一种基于深度学习的医学分割多阶段融合方法及装置 |
KR102620790B1 (ko) * | 2021-07-09 | 2024-01-05 | 한국과학기술원 | 적응적 인스턴스 정규화 기반 흉부 방사선 영상 분할 방법 및 그 장치 |
KR102615545B1 (ko) * | 2021-07-16 | 2023-12-19 | 오스템임플란트 주식회사 | 상악동 영상 제공 장치와 방법 및 그 학습 방법 |
CN113487591A (zh) * | 2021-07-22 | 2021-10-08 | 上海嘉奥信息科技发展有限公司 | 一种基于ct的整条脊柱的分割方法、系统 |
KR102385689B1 (ko) | 2021-08-30 | 2022-04-14 | 인그래디언트 주식회사 | 의료 영상 이미지의 3d 크롭핑 방법 및 이를 위한 장치 |
KR20240003880A (ko) | 2022-07-04 | 2024-01-11 | 인하대학교 산학협력단 | 의료영상 영역화를 위한 비지도형 도메인 적응 생성 네트워크 기법 |
KR102527376B1 (ko) | 2022-07-29 | 2023-06-14 | 인그래디언트 주식회사 | 의료 영상 이미지의 임계처리를 이용한 자동 라벨링 방법 및 이를 위한 장치 |
KR20240032436A (ko) * | 2022-09-02 | 2024-03-12 | 아주대학교산학협력단 | 복부 내 공기 분포를 측정하는 장치 및 방법 |
KR102613718B1 (ko) * | 2022-09-06 | 2023-12-14 | 주식회사 에어스메디컬 | 의료 영상 기반의 객체 추적 방법, 프로그램 및 장치 |
KR20240045980A (ko) | 2022-09-30 | 2024-04-08 | 연세대학교 산학협력단 | 단일 2차원 혈관조영 이미지로부터 3차원 혈관 형상을 재구성하는 방법 및 그 시스템 |
CN115801980A (zh) * | 2022-11-08 | 2023-03-14 | 北京沃东天骏信息技术有限公司 | 视频生成方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108154468A (zh) * | 2018-01-12 | 2018-06-12 | 平安科技(深圳)有限公司 | 肺结节探测方法、应用服务器及计算机可读存储介质 |
KR20180064863A (ko) * | 2016-12-06 | 2018-06-15 | 부산대학교 산학협력단 | 딥러닝을 이용한 수완부 방사선 영상으로부터 골 성숙도(smi) 자동 분석방법 |
KR20190092299A (ko) * | 2018-01-30 | 2019-08-07 | 연세대학교 원주산학협력단 | 딥러닝 기술을 통한 흉부 물질 분리 영상 획득 방법 및 시스템 |
-
2019
- 2019-08-16 KR KR1020190100356A patent/KR102378746B1/ko active IP Right Grant
-
2022
- 2022-03-16 KR KR1020220032494A patent/KR102410955B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180064863A (ko) * | 2016-12-06 | 2018-06-15 | 부산대학교 산학협력단 | 딥러닝을 이용한 수완부 방사선 영상으로부터 골 성숙도(smi) 자동 분석방법 |
CN108154468A (zh) * | 2018-01-12 | 2018-06-12 | 平安科技(深圳)有限公司 | 肺结节探测方法、应用服务器及计算机可读存储介质 |
KR20190092299A (ko) * | 2018-01-30 | 2019-08-07 | 연세대학교 원주산학협력단 | 딥러닝 기술을 통한 흉부 물질 분리 영상 획득 방법 및 시스템 |
Non-Patent Citations (3)
Title |
---|
iηek et al., "3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation", MICCAI 2016. |
Olaf Ronneberger 등, U-Net: Convolutional Networks..,1-8면(2015.5.18.) 1부. * |
Peng et al, "Large Kernel Matters: Improve Semantic Segmentation by Global Convolutional Network", arXiv, March 2017. |
Also Published As
Publication number | Publication date |
---|---|
KR102410955B1 (ko) | 2022-06-22 |
KR20210020618A (ko) | 2021-02-24 |
KR102378746B1 (ko) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102410955B1 (ko) | 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 및 그 컴퓨터 프로그램 | |
US10769791B2 (en) | Systems and methods for cross-modality image segmentation | |
CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
EP3035287B1 (en) | Image processing apparatus, and image processing method | |
KR102349515B1 (ko) | 의료 영상에서 딥러닝에 기반한 종양 자동분할 방법 | |
JP4879028B2 (ja) | 画像処理方法および画像解析方法ならびにプログラム記憶媒体 | |
US20110158491A1 (en) | Method and system for lesion segmentation | |
KR20230059799A (ko) | 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델 | |
CN108961274B (zh) | 一种mri图像中自动头颈肿瘤分割方法 | |
KR102332032B1 (ko) | 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법 | |
MX2014007380A (es) | Procesamiento y representacion de una imagen de mama. | |
CN111583246A (zh) | 利用ct切片图像对肝脏肿瘤进行分类的方法 | |
CN115136189A (zh) | 基于图像处理的肿瘤的自动化检测 | |
US11783476B2 (en) | System and method for analyzing three-dimensional image data | |
US8306354B2 (en) | Image processing apparatus, method, and program | |
Skounakis et al. | ATD: A multiplatform for semiautomatic 3-D detection of kidneys and their pathology in real time | |
Zhang et al. | A local ROI-specific atlas-based segmentation of prostate gland and transitional zone in diffusion MRI | |
CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
US20240169544A1 (en) | Methods and systems for biomedical image segmentation based on a combination of arterial and portal image information | |
KR102332472B1 (ko) | 의료 영상에서 듀얼 윈도우 설정에 기반한 딥러닝을 이용한 종양 자동 분할 방법 | |
EP4216156A1 (en) | Analysing liver lesions in medical images | |
CN118302791A (zh) | 医学图像中生物对象的基于机器学习的分割 | |
WO2021197176A1 (en) | Systems and methods for tumor characterization | |
KR101494975B1 (ko) | 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템 및 그 검출 방법 | |
Alirr | Dual attention U-net for liver tumor segmentation in CT images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |