KR20210043764A - 딥 러닝 기반 종양 치료 반응 예측 방법 - Google Patents

딥 러닝 기반 종양 치료 반응 예측 방법 Download PDF

Info

Publication number
KR20210043764A
KR20210043764A KR1020190125787A KR20190125787A KR20210043764A KR 20210043764 A KR20210043764 A KR 20210043764A KR 1020190125787 A KR1020190125787 A KR 1020190125787A KR 20190125787 A KR20190125787 A KR 20190125787A KR 20210043764 A KR20210043764 A KR 20210043764A
Authority
KR
South Korea
Prior art keywords
tumor
neural network
deep neural
generating
treatment response
Prior art date
Application number
KR1020190125787A
Other languages
English (en)
Other versions
KR102280047B1 (ko
Inventor
홍헬렌
이한상
성진실
김진성
Original Assignee
서울여자대학교 산학협력단
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울여자대학교 산학협력단, 연세대학교 산학협력단 filed Critical 서울여자대학교 산학협력단
Priority to KR1020190125787A priority Critical patent/KR102280047B1/ko
Publication of KR20210043764A publication Critical patent/KR20210043764A/ko
Application granted granted Critical
Publication of KR102280047B1 publication Critical patent/KR102280047B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103Treatment planning systems
    • A61N5/1038Treatment planning systems taking into account previously administered plans applied to the same patient, i.e. adaptive radiotherapy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103Treatment planning systems
    • A61N5/1039Treatment planning systems using functional images, e.g. PET or MRI
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00Surgery
    • Y10S128/92Computer assisted medical diagnostics
    • Y10S128/922Computer assisted medical diagnostics including image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Animal Behavior & Ethology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

딥러닝 기반 종양 치료 반응 예측 방법이 제공된다. 본 발명의 일 면에 따른 딥러닝 기반 종양 치료 반응 예측 방법은, 종양을 포함하는 의료 영상에서 종양 영상 패치(tumor image patch)와 맥락 영상 패치(context image patch)를 생성하는 단계; 상기 종양 영상 패치를 사전 학습한 제1 딥 뉴럴 네트워크에 입력하고 상기 맥락 영상 패치를 사전 학습한 제2 딥 뉴럴 네트워크에 입력하여, 상기 제1 딥 뉴럴 네트워크를 통해 상기 종양 영상 패치의 제1 특징 값을 생성하고 상기 제2 딥 뉴럴 네트워크를 통해 상기 맥락 영상 패치의 제2 특징 값을 생성하는 단계; 상기 제1 특징 값과 상기 제2 특징 값을 연결(concatenate)하여 통합 특징 값을 생성하는 단계; 및 상기 통합 특징값을 사전 학습한 분류 모델에 입력하여, 상기 분류 모델을 통해 치료 반응 예측 정보를 생성하는 단계;를 포함한다.

Description

딥 러닝 기반 종양 치료 반응 예측 방법{METHOD FOR PREDICTING TUMOR TREATMENT RESPONSE BASED ON DEEP LEARNING}
본 발명은 딥러닝에 기반한 종양 치료 반응 예측 방법에 관한 것으로, 보다 자세하게는 종양 영상 패치와 맥락 영상 패치를 이용하여 딥러닝을 수행한 결과에 기반하여 종양 치료 반응을 예측하는 방법에 관한 것이다.
방사선 치료는 종양 치료를 위한 주요 옵션 중 하나이며, 방사선 치료에 대한 개별 환자의 치료 반응(treatment response)을 예측하는 작업은 환자의 치료 계획 수립 및 생존 확률 예측을 위한 중요한 정보를 제공한다. 치료 반응은 (1) 치료 이후 종양의 크기가 줄어들었는지 여부를 결정하는 국소제어(local control) 예측 및 (2) 치료 후 5년 이내 환자의 생존을 결정하는 생존율(overall survival)을 포함한다. 예를 들어, 국소제어 예측은 종양을 포함하는 의료 영상을 LC(local control) 클래스와 PD(progressive disease) 클래스로 분류하는 작업으로 정의될 수 있다. 여기서 LC 클래스는 치료 전보다 종양의 크기가 25% 이내의 범위에서 감소 또는 증가일 경우이고, PD 클래스는 치료 전보다 25% 이상의 종양 크기 증가일 경우일 수 있다. 생존율 예측은 의료 영상에서 치료 후 12, 24 또는 60 개월과 같은 특정 기간 동안 환자의 생존 여부를 나타낼 수 있다.
환자를 치료하기 전에 환자의 의료 영상으로부터 치료 반응을 예측하는 작업은 치료 계획 수립에 있어서 필요성이 점점 증대하고 있으나, 서로 상이한 치료 반응을 갖는 환자들 간의 영상 차이점은 모호한 경우가 많고 동일한 치료 반응을 갖는 환자들간의 영상 일관성이 클러스터링을 할 정도로 높지 않으므로 의료 영상을 통한 치료 반응 예측이 매우 어렵다는 문제점이 있었다.
한편, 기존에는 치료 반응 예측별로 의료 영상을 분류할 경우, 사전에 정의된 특징값을 추출하여 분류기 학습을 수행하는 수제 특징값(hand-crafted feature) 기반 분류를 수행하였으나 의료 영상의 특성상 밝기값 기반의 분류가 어려워 분류 정확도에 한계가 있었다.
또한, 기존의 딥러닝 기반 신경망 학습의 경우, 종양 영상 패치(tumor image patch)만을 기반으로 학습하는 과정에서 종양의 외곽 정보나 외부 기관 조직과의 상호 작용 정보를 상실하여 분류 정확도에 한계가 있었다.
US 2019-0254611
본 발명이 해결하고자 하는 과제는 종양 영상 패치와 맥락 영상 패치를 모두 이용함으로써 치료 반응 예측의 정확성을 높이는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 딥러닝 기반 종양 치료 반응 예측 방법은, 종양을 포함하는 의료 영상에서 종양 영상 패치(tumor image patch)와 맥락 영상 패치(context image patch)를 생성하는 단계; 상기 종양 영상 패치를 사전 학습한 제1 딥 뉴럴 네트워크에 입력하고 상기 맥락 영상 패치를 사전 학습한 제2 딥 뉴럴 네트워크에 입력하여, 상기 제1 딥 뉴럴 네트워크를 통해 상기 종양 영상 패치의 제1 특징 값을 생성하고 상기 제2 딥 뉴럴 네트워크를 통해 상기 맥락 영상 패치의 제2 특징 값을 생성하는 단계; 상기 제1 특징 값과 상기 제2 특징 값을 연결(concatenate)하여 통합 특징 값을 생성하는 단계; 및 상기 통합 특징값을 사전 학습한 분류 모델에 입력하여, 상기 분류 모델을 통해 치료 반응 예측 정보를 생성하는 단계;를 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
본 발명은 종양 내부의 텍스쳐 정보와 종양의 형상 및 정상 조직 영역과의 상호작용 정보를 동시에 학습할 수 있다.
또한, 본 발명은 특징 값 연결을 통해 종양의 내부 텍스처 및 맥락 정보를 모두 반영한 국소제어 예측 및 생존율 예측의 학습이 가능할 수 있다.
또한, 본 발명은 딥러닝을 통한 사전기계학습을 통해 수제 특징값(hand-crafted feature)을 이용한 분류 한계를 극복하고 분류의 정확성을 높일 수 있다.
또한, 본 발명은 종양 치료 반응 예측의 정확도를 높일 수 있고 이를 통해 환자의 치료 계획 수립에 활용될 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1 은 본 발명의 일 실시 예에 따른 딥 러닝 기반 종양 치료 반응 예측 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 딥 러닝 기반 종양 치료 반응 예측 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 딥 러닝 기반 종양 치료 반응 예측 방법을 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 종양 영상 패치와 맥락 영상 패치를 나타낸 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 LC 클래스와 PD 클래스를 나타낸 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 생존율의 생존과 사망을 나타낸 예시도이다.
도 7은 본 발명의 일 실시 예에 따른 치료 반응 예측 결과를 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1 은 본 발명의 일 실시 예에 따른 딥 러닝 기반 종양 치료 반응 예측 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 종양 치료 반응 예측 장치(100)는 획득한 의료 영상을 이용하여 종양 치료 반응을 예측할 수 있다. 예를 들어, 종양 치료 반응 예측 장치(100)는 종양 영상 패치와 제1 딥 뉴럴 네트워크를 이용하여 제1 특징 값을 출력할 수 있고, 맥락 영상 패치와 제2 딥 뉴럴 네트워크를 이용하여 제2 특징 값을 출력할 수 있고, 종양 국소 제어 예측과 생존율 예측을 할 수 있다.
일 실시 예에서, 종양 치료 반응 예측 장치(100)는 서버일 수 있고, 종양 치료 반응 예측 방법을 설정할 수 있는 전용 프로그램이 설치될 수 있다. 예를 들어, 종양 치료 반응 예측 장치(100)는 의료 영상을 획득할 수 있는 영상 획득부(110), 획득한 의료 영상을 전처리(예: 데이터 증강, 영상 crop)할 수 있고 종양 영상 패치와 맥락 영상 패치를 생성할 수 있는 영상 처리부(120), 학습데이터와 딥 뉴럴 네트워크를 이용하여 기계학습을 수행하고 제1 특징 값과 제2 특징 값을 각각 생성하는 제1 특징 추출부(140)와 제2 특징 추출부(140), 제1 특징 값과 제2 특징 값을 연결하여 통합 특징 값을 생성하는 특징 통합부(150), 통합 특징 값을 통해 치료 반응 예측을 최종 분류하는 치료반응 분류부(160) 및 학습 결과, 딥 뉴럴 네트워크의 구조 및 필터 값, 환자 데이터, 치료 반응 예측 결과 데이터 등을 빅데이터화하여 저장할 수 있는 데이터베이스(170)를 포함할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 딥 러닝 기반 종양 치료 반응 예측 방법을 설명하기 위한 흐름도이다. 도 3은 본 발명의 일 실시 예에 따른 딥 러닝 기반 종양 치료 반응 예측 방법을 설명하기 위한 블록도이다. 도 4는 본 발명의 일 실시 예에 따른 종양 영상 패치와 맥락 영상 패치를 나타낸 예시도이다. 도 5는 본 발명의 일 실시 예에 따른 LC 클래스와 PD 클래스를 나타낸 예시도이다. 도 6은 본 발명의 일 실시 예에 따른 생존율의 생존과 사망을 나타낸 예시도이다. 도 7은 본 발명의 일 실시 예에 따른 치료 반응 예측 결과를 나타낸 도면이다. 도 2의 동작들은 도 1의 각 구성들에 의해 수행될 수 있다.
도 2 내지 도 7을 참조하면, 일 실시 예에서, 동작 21에서, 영상 처리부(120)는 종양을 포함하는 의료 영상에서 종양 영상 패치(tumor image patch)와 맥락(context) 영상 패치를 생성할 수 있다. 종양 영상 패치는 종양 자체의 형상 등에 대한 정보를 포함할 수 있고, 맥락 영상 패치는 종양의 장기 내에서의 위치, 종양이외에 장기 내 다른 영역의 맥락(context)과의 상관 관계 등에 대한 정보를 얻을 수 있다.
일 실시 예에서, 종양 영상 패치는 원본 의료 영상에서 종양을 둘러싸는 영역을 중심으로 정방형의 영상 패치를 추출함으로써 생성될 수 있다. 서로 다른 크기를 갖는 종양 영상 패치는 종양을 분류하기 위한 딥 뉴럴 네트워크(예: CNN)의 입력 사이즈(예: 227X227 pixels)에 대응하도록 리사이즈될 수 있다. 종양 영상 패치는 종양 내부의 조직(intratumoral texture) 정보 및 종양 형상(tumor shape) 정보를 포함할 수 있다. 예를 들어, 도 4에 도시된 바와 같이 종양 영상 패치는 장기(예: 간)의 일부에 발생한 종양 내부가 잘 보이도록 종양과 그 인접 영역만이 포함될 수 있다.
일 실시 예에서, 맥락 영상 패치는 종양, 종양이 생성된 장기, 또는 종양 주변의 장기들이 포함되도록 원본 의료 영상에서 추출함으로써 생성될 수 있다. 맥락 영상 패치는 종양이 생성된 장기 내에서의 종양의 상대적인 위치 정보, 장기 정보, 종양 외곽의 형상 정보 및 정상 장기 조직과의 상호작용 정보를 포함할 수 있다. 예를 들어, 도 4에 도시된 바와 같이 맥락 영상 패치는 종양이 발생한 장기(예: 간) 이외에도 그 장기와 인접한 장기들도 포함될 수 있다.
한편, 도면에는 도시되지 않았지만 동작 21 이전에 영상 획득부(110)가 복수의 의료 영상을 획득할 수 있다. 의료 영상은 2차원 의료 영상(예: x-ray 이미지) 및/또는 3차원 의료 영상(예: CT 이미지, MRI, PET 이미지)을 포함하며, 의료 영상이라면 특별한 제한은 없다. "영상"은 전산화 단층 촬영(CT; computed tomography), 자기 공명 영상(MRI; magnetic resonance imaging), 초음파 또는 본 발명의 기술분야에서 공지된 임의의 다른 의료 영상 시스템에 의하여 수집된 피검체(subject)의 의료 영상일 수 있다. 의료 영상은 복셀 데이터로서, 복수의 슬라이스 즉, 복수 개의 단위 이미지들로 이루어질 수 있다.
일 실시 예에서, 동작 22에서, 제1 특징 추출부(130)가 종양 영상 패치를 사전 학습한 제1 딥 뉴럴 네트워크에 입력하고 제1 딥 뉴럴 네트워크를 통해 종양 영상 패치의 제1 특징 값을 생성할 수 있다. 또한, 제2 특징 추출부(140)는 맥락 영상 패치를 사전 학습한 제2 딥 뉴럴 네트워크에 입력하여, 제2 딥 뉴럴 네트워크를 통해 맥락 영상 패치의 제2 특징 값을 생성할 수 있다. 제1 특징 추출부(130)와 제2 특징 추출부(140)의 동작은 병렬로 수행될 수 있다.
일 실시 예에서, 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크는 AlexNet 일 수 있다. 물론 이외에도 다른 종류의 심층 신경망 구조로도 대체 가능하다. 구체적으로, AlexNet은 가장 많이 사용되는 CNN(convolutional neural network)이다. AlexNet은 다섯 개의 컨벌루션 레이어와 3개의 FC(fully connected) 레이어로 구성되며, 최종 레이어에서 클래스 레이블 확률(class label probability)이 생성될 수 있다. 예를 들어, AlexNet의 첫 번째 연산 과정은 입력 데이터로부터 5번의 convolution 연산 과정을 거쳐 256개의 특징을 추출하는 과정이고, 두 번째 연산 과정은 추출된 특징을 이용하여 full connect 연산 과정을 거쳐 데이터를 분류하는 과정이다. 모델에 전처리 과정을 거쳐 1차원 배열로 펼쳐진 224x224 크기의 이미지가 데이터로 입력되면, 11x11의 크기와 4의 stride를 가진 96개 커널과 합성곱 연산을 거칠 수 있다. 이렇게 첫 번째 합성곱 층을 지나게 되면 55x55x96 크기의 영상이 출력되고, 이는 다시 5x5의 크기와 1의 stride를 가진 256개 커널과 합성곱 연산을 하게 된다. 이를 반복하여 마지막 다섯 번째 합성곱 층과 max-pooling 층을 지나는 동작 이후 6x6 크기의 256가지 특징을 얻을 수 있다.
일 실시 예에서, 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크는 입력 패치 유형이 서로 다르므로 훈련 과정과 동작도 다를 수 있다. 예를 들어, 제1 딥 뉴럴 네트워크는 종양 내부 조직 정보와 치료 반응 사이의 상관 관계를 학습할 수 있고, 제2 딥 뉴럴 네트워크는 종양과 장기간 맥락 정보와 치료 반응 사이의 관계를 학습할 수 있다.
일 실시 예에서, 제1 특징 값은 종양 내부의 조직 정보 및 종양 형상 정보를 나타낼 수 있고, 제2 특징 값은 종양이 생성된 장기 내에서의 종양의 상대적인 위치 정보, 장기 정보, 종양 외곽의 형상 정보 및 정상 장기 조직과의 상호작용 정보를 나타낼 수 있다. 예를 들어, 제1 특징 값과 제2 특징 값은 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크 각각의 fc7 레이어로부터 추출될 수 있고, 각각 4096 차원(4096-dimensinal)의 특징을 포함할 수 있다.
한편, 일 실시 예에서, 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크는 사전학습될 수 있다. 예를 들어, 사전학습 과정은 복수의 의료 영상에서 복수의 종양 영상 패치를 제1 학습 데이터로서 생성하고 복수의 맥락 영상 패치를 제2 학습 데이터로서 생성하는 단계; 제1 학습 데이터를 제1 딥 뉴럴 네트워크에 입력하고 제2 학습 데이터를 제2 딥 뉴럴 네트워크에 입력하여, 제1 딥 뉴럴 네트워크를 통해 제1 학습 데이터의 제1 특징 값들을 생성하고 제2 딥 뉴럴 네트워크를 통해 제2 학습 데이터의 제2 특징 값들을 생성하는 단계; 및 제1 학습 데이터 생성 동작, 제2 학습 데이터 생성 동작, 제1 특징값들 생성 동작 및 제2 특징값들 생성 동작을 반복 수행함으로써 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크를 병렬로 기계학습하는 단계를 포함할 수 있다.
즉, 종양 영상 패치에서의 딥러닝 신경망 학습을 통해 종양 내부의 조직 정보에 대한 신경망 학습이 가능하고 맥락 영상 패치에서의 딥러닝 신경망 학습을 통해 종양이 생성된 장기 내에서 종양의 상대적인 위치 정보, 장기 정보, 종양 외곽의 형상 정보 및 정상 장기 조직과의 상호작용 정보에 대한 신경망 학습이 가능하다.
일 실시 예에서, 동작 23에서, 특징 통합부(150)는 제1 특징 값과 제2 특징 값을 연결(concatenate)하여 통합 특징 값을 생성할 수 있다. 예를 들어, 제1 특징 값은 tumor patch에서부터 딥러닝 네트워크(예: Alexnet)을 통해 fc7 layer에서 추출한 feature(특징)일 수 있고, 제2 특징 값은 organ patch에서부터 딥러닝 네트워크(예: Alexnet)을 통해 fc7 layer에서 추출한 feature(특징)일 수 있다. 따라서, 통합 특징 값은 제1 특징 값과 제2 특징 값을 연결한 특징 값이고, 제1 특징 값의 4096 차원과 제2 특징 값의 4096 차원을 연결한 8192 차원(8192 dimensinal)의 결합된 특징을 포함할 수 있고, 종양 내부의 조직 정보와 장기와의 맥락 정보를 모두 포함할 수 있다.
일 실시 예에서, 동작 24에서, 치료 반응 분류부(160)는 통합 특징 값을 사전 학습한 분류 모델에 입력하여, 분류 모델을 통해 치료 반응 예측 정보를 생성할 수 있다. 예를 들어, 치료 반응 예측 정보는 치료 이후 종양의 크기가 줄어들었는지 여부를 결정하는 국소제어(local control) 예측 및 치료 후 일정 기간(예: 5년) 이내 환자의 생존을 결정하는 생존율(overall survival)을 포함할 수 있다. 예를 들어, 도 5 및 도 6에서 노란색 화살표는 간 내부의 간암 부위를 나타내는 화살표일 수 있고, 국소제어 예측은 도 5에 도시된 바와 같이 LC(local control) 클래스와 PD(progressive disease) 클래스 분류 정보를 포함할 수 있고, LC 클래스는 치료 전보다 종양의 크기가 25% 이내의 범위에서 감소 또는 증가일 경우이고, PD 클래스는 치료 전보다 25% 이상의 종양 크기 증가일 경우이다. 생존율 예측은 도 6에 도시된 바와 같이 의료 영상에서 치료 후 12, 24 또는 60 개월과 같은 특정 기간 동안 환자의 생존 또는 사망 여부를 나타낼 수 있다.
일 실시 예에서, 분류 모델은 LC 클래스 또는 PD 클래스의 분류와 환자의 생존 또는 사망의 분류를 위해 통합 특징 값에 대해 사전학습 될 수 있다. 예를 들어, 분류 모델은 랜덤 포레스트 분류기(Random Forest Classifier, RFC)일 수 있고, RFC를 구성하는 트리의 수는 실험을 통해 100개로 결정되었다.
또한, 분류 모델의 학습의 정밀도를 높이기 위해 학습 데이터의 증강이 미리 수행될 수 있다. 예를 들어, 복수의 의료 영상을 회전(rotation)시키거나 플립(flip)시킴으로써 제1 학습 데이터와 제2 학습 데이터를 증강(augmentation)할 수 있다.
일 실시 예에서, 분류 모델은 복수의 의료 영상으로부터 생성된 학습데이터를 통해 입력 받는 통합 특징값들을 반복적으로 분류함으로써 사전 학습을 수행할 수 있다.
이와 같이 본 발명은 제1 특징 값과 제2 특징 값의 연결을 통해 종양 내부의 텍스처 정보 및 맥락 정보를 모두 반영한 치료 반응 예측의 학습이 가능하고 치료 반응 예측의 정확도를 높일 수 있다.
한편, 본 발명의 효과를 확인하기 위해, 국소제어 예측과 생존율에 대응하는 치료 반응 기록을 가진 171 명의 Hepatocellular carcinoma (HCC) 환자를 학습 데이터로 활용하였다. 국소제어 예측과 관련하여, 학습 데이터에서 LC 클래스 및 PD 클래스로 진단 된 환자의 수는 각각 129 명 및 42 명이었다. 생존율 측면에서 학습 데이터에서 생존 및 사망 진단을 받은 환자 수는 각각 112 명과 59 명이었다. 512 × 512의 해상도, 0.5 × 0.5 mm2 ~ 0.8 × 0.8 mm2 사이의 픽셀 크기, 3 ~ 5 mm 사이의 슬라이스 두께를 가진 CT 영상을 의료 영상으로 사용하였다. 본 발명과 비교하기 위해, 임상 전문가에 의해 수동으로 (hand-crafted) 분류, 종양 영상 패치만 CNN을 이용하여 분류 및 맥락 영상 패치만 CNN을 이용하여 분류를 수행하였고 그 결과들을 본 발명의 결과와 정확도(accuracy) 및 AUC(area-under-ROC-curve, 곡선 아래 면적) 측면에서 비교하였다. 도 7에 도시된 바와 같이, 국소제어 예측 결과는 정확도 측면에서 본 발명이 수동 분류, 종양 영상 패치만 CNN을 이용하여 분류 및 맥락 영상 패치만을 CNN을 이용하여 분류한 경우보다 수치가 높음을 확인할 수 있었고, AUC 또한 본 발명의 수치가 가장 높음을 확인할 수 있었다. 즉, 종양 영상 패치와 맥락 영상 패치를 모두 조합한 본 발명의 방법은 종양 영상 패치만 이용한 경우보다 정확도를 약 5 % p 개선하고 AUC를 약 2 % p 개선 하였고, 맥락 영상 패치만 이용한 경우보다도 개선됨을 확인할 수 있었다. 한편, 생존율 예측 결과는 정확도 측면에서 본 발명이 수동 분류, 종양 영상 패치만 CNN을 이용하여 분류 및 맥락 영상 패치만을 CNN을 이용하여 분류한 경우보다 수치가 높음을 확인할 수 있었고, AUC는 종양 영상 패치만을 이용한 경우와 거의 동등한 수준의 결과를 얻음을 확인할 수 있었다. 따라서, 두 정보를 결합한 본 발명의 치료 반응 예측 방법은 전체 성능을 향상시킬 수 있다.
본 발명의 일 면에 따른 딥러닝 기반 종양 치료 반응 예측 방법은, 종양을 포함하는 의료 영상에서 종양 영상 패치(tumor image patch)와 맥락 영상 패치(context image patch)를 생성하는 단계; 상기 종양 영상 패치를 사전 학습한 제1 딥 뉴럴 네트워크에 입력하고 상기 맥락 영상 패치를 사전 학습한 제2 딥 뉴럴 네트워크에 입력하여, 상기 제1 딥 뉴럴 네트워크를 통해 상기 종양 영상 패치의 제1 특징 값을 생성하고 상기 제2 딥 뉴럴 네트워크를 통해 상기 맥락 영상 패치의 제2 특징 값을 생성하는 단계; 상기 제1 특징 값과 상기 제2 특징 값을 연결(concatenate)하여 통합 특징 값을 생성하는 단계; 및 상기 통합 특징값을 사전 학습한 분류 모델에 입력하여, 상기 분류 모델을 통해 치료 반응 예측 정보를 생성하는 단계;를 포함한다.
다양한 실시 예에 따르면, 상기 종양 영상 패치는 종양 내부의 조직(intratumoral texture) 정보 및 종양 형상(tumor shape) 정보를 포함하고, 상기 맥락 영상 패치는 상기 종양이 생성된 장기 내에서 종양의 상대적인 위치 정보와 장기 정보를 포함할 수 있다.
다양한 실시 예에 따르면, 복수의 의료 영상에서 복수의 종양 영상 패치를 제1 학습 데이터로서 생성하고 복수의 맥락 영상 패치를 제2 학습 데이터로서 생성하는 단계;
상기 제1 학습 데이터를 상기 제1 딥 뉴럴 네트워크에 입력하고 상기 제2 학습 데이터를 상기 제2 딥 뉴럴 네트워크에 입력하여, 상기 제1 딥 뉴럴 네트워크를 통해 상기 제1 학습 데이터의 제1 특징 값들을 생성하고 상기 제2 딥 뉴럴 네트워크를 통해 상기 제2 학습 데이터의 제2 특징 값들을 생성하는 단계; 및 상기 제1 학습 데이터 생성 동작, 상기 제2 학습 데이터 생성 동작, 상기 제1 특징값들 생성 동작 및 상기 제2 특징값들 생성 동작을 반복 수행함으로써 상기 제1 딥 뉴럴 네트워크와 상기 제2 딥 뉴럴 네트워크를 병렬로 기계학습하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 복수의 의료 영상을 회전(rotation)시키거나 플립(flip)시킴으로써 상기 제1 학습 데이터와 상기 제2 학습 데이터를 증강(augmentation)시킬 수 있다.
다양한 실시 예에 따르면, 상기 제1 딥 뉴럴 네트워크와 상기 제2 딥 뉴럴 네트워크는 Alexnet일 수 있다.
다양한 실시 예에 따르면, 상기 치료 반응 예측 정보는 국소제어(local control) 예측 및 생존율(overall survival)을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 분류 모델은 랜덤 포레스트 분류기(random forest classifier)고, 상기 분류 모델은 상기 통합 특징값을 입력 받아 상기 치료 반응 예측 정보를 생성하는 동작을 반복적으로 수행함으로써 사전 학습을 수행할 수 있다.
다양한 실시 예에 따르면, 딥러닝 기반 종양 치료 반응 예측 프로그램은 하드웨어인 컴퓨터와 결합되어, 본 발명의 실시예들에 따른 딥러닝 기반 종양 치료 반응 예측 방법을 실행시키기 위하여 매체에 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 종양 치료 반응 예측 장치
110 : 영상 획득부
120 : 영상 처리부
130 : 제1 특징 추출부
140 : 제2 특징 추출부
150 : 특징 통합부
160 : 치료반응 분류부
170 : 데이터베이스

Claims (8)

  1. 딥러닝 기반 종양 치료 반응 예측 방법에 있어서,
    종양을 포함하는 의료 영상에서 종양 영상 패치(tumor image patch)와 맥락 영상 패치(context image patch)를 생성하는 단계;
    상기 종양 영상 패치를 사전 학습한 제1 딥 뉴럴 네트워크에 입력하고 상기 맥락 영상 패치를 사전 학습한 제2 딥 뉴럴 네트워크에 입력하여, 상기 제1 딥 뉴럴 네트워크를 통해 상기 종양 영상 패치의 제1 특징 값을 생성하고 상기 제2 딥 뉴럴 네트워크를 통해 상기 맥락 영상 패치의 제2 특징 값을 생성하는 단계;
    상기 제1 특징 값과 상기 제2 특징 값을 연결(concatenate)하여 통합 특징 값을 생성하는 단계; 및
    상기 통합 특징값을 사전 학습한 분류 모델에 입력하여, 상기 분류 모델을 통해 치료 반응 예측 정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 종양 치료 반응 예측 방법.
  2. 제1 항에 있어서,
    상기 종양 영상 패치는 종양 내부의 조직(intratumoral texture) 정보 및 종양 형상(tumor shape) 정보를 포함하고, 상기 맥락 영상 패치는 상기 종양이 생성된 장기 내에서 종양의 상대적인 위치 정보와 장기 정보를 포함하는 것을 특징으로 하는 딥러닝 기반 종양 치료 반응 예측 방법.
  3. 제1 항에 있어서,
    복수의 의료 영상에서 복수의 종양 영상 패치를 제1 학습 데이터로서 생성하고 복수의 맥락 영상 패치를 제2 학습 데이터로서 생성하는 단계;
    상기 제1 학습 데이터를 상기 제1 딥 뉴럴 네트워크에 입력하고 상기 제2 학습 데이터를 상기 제2 딥 뉴럴 네트워크에 입력하여, 상기 제1 딥 뉴럴 네트워크를 통해 상기 제1 학습 데이터의 제1 특징 값들을 생성하고 상기 제2 딥 뉴럴 네트워크를 통해 상기 제2 학습 데이터의 제2 특징 값들을 생성하는 단계; 및
    상기 제1 학습 데이터 생성 동작, 상기 제2 학습 데이터 생성 동작, 상기 제1 특징값들 생성 동작 및 상기 제2 특징값들 생성 동작을 반복 수행함으로써 상기 제1 딥 뉴럴 네트워크와 상기 제2 딥 뉴럴 네트워크를 병렬로 기계학습하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 종양 치료 반응 예측 방법.
  4. 제3 항에 있어서,
    상기 복수의 의료 영상을 회전(rotation)시키거나 플립(flip)시킴으로써 상기 제1 학습 데이터와 상기 제2 학습 데이터를 증강(augmentation)시키는 것을 특징으로 하는 딥러닝 기반 종양 치료 반응 예측 방법.
  5. 제1 항에 있어서,
    상기 제1 딥 뉴럴 네트워크와 상기 제2 딥 뉴럴 네트워크는 Alexnet인 것을 특징으로 하는 딥러닝 기반 종양 치료 반응 예측 방법.
  6. 제1 항에 있어서,
    상기 치료 반응 예측 정보는 국소제어(local control) 예측 및 생존율(overall survival)을 포함하는 것을 특징으로 하는 딥러닝 기반 종양 치료 반응 예측 방법.
  7. 제1 항에 있어서,
    상기 분류 모델은 랜덤 포레스트 분류기(random forest classifier)고, 상기 분류 모델은 상기 통합 특징값을 입력 받아 상기 치료 반응 예측 정보를 생성하는 동작을 반복적으로 수행함으로써 사전 학습을 수행하는 것을 특징으로 하는 딥러닝 기반 종양 치료 반응 예측 방법.
  8. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제7항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 딥러닝 기반 종양 치료 반응 예측 프로그램.
KR1020190125787A 2019-10-11 2019-10-11 딥 러닝 기반 종양 치료 반응 예측 방법 KR102280047B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190125787A KR102280047B1 (ko) 2019-10-11 2019-10-11 딥 러닝 기반 종양 치료 반응 예측 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190125787A KR102280047B1 (ko) 2019-10-11 2019-10-11 딥 러닝 기반 종양 치료 반응 예측 방법

Publications (2)

Publication Number Publication Date
KR20210043764A true KR20210043764A (ko) 2021-04-22
KR102280047B1 KR102280047B1 (ko) 2021-07-21

Family

ID=75730917

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190125787A KR102280047B1 (ko) 2019-10-11 2019-10-11 딥 러닝 기반 종양 치료 반응 예측 방법

Country Status (1)

Country Link
KR (1) KR102280047B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102383495B1 (ko) * 2021-06-03 2022-04-08 라크(주) 의료 영상데이터 추출 방법
KR20230026699A (ko) * 2021-08-18 2023-02-27 재단법인대구경북과학기술원 의료 이미지 분류 방법 및 장치
CN117334347A (zh) * 2023-12-01 2024-01-02 北京大学 评估治疗效果方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170357844A1 (en) * 2016-06-09 2017-12-14 Siemens Healthcare Gmbh Image-based tumor phenotyping with machine learning from synthetic data
US20190254611A1 (en) 2018-02-21 2019-08-22 Case Western Reserve University Predicting disease recurrence following trimodality therapy in non-small cell lung cancer using computed tomography derived radiomic features and clinico-patholigic features

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170357844A1 (en) * 2016-06-09 2017-12-14 Siemens Healthcare Gmbh Image-based tumor phenotyping with machine learning from synthetic data
US20190254611A1 (en) 2018-02-21 2019-08-22 Case Western Reserve University Predicting disease recurrence following trimodality therapy in non-small cell lung cancer using computed tomography derived radiomic features and clinico-patholigic features

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102383495B1 (ko) * 2021-06-03 2022-04-08 라크(주) 의료 영상데이터 추출 방법
KR20230026699A (ko) * 2021-08-18 2023-02-27 재단법인대구경북과학기술원 의료 이미지 분류 방법 및 장치
CN117334347A (zh) * 2023-12-01 2024-01-02 北京大学 评估治疗效果方法、装置、设备及存储介质
CN117334347B (zh) * 2023-12-01 2024-03-22 北京大学 评估治疗效果方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR102280047B1 (ko) 2021-07-21

Similar Documents

Publication Publication Date Title
US12115015B2 (en) Deep convolutional neural networks for tumor segmentation with positron emission tomography
US11403750B2 (en) Localization and classification of abnormalities in medical images
US10565707B2 (en) 3D anisotropic hybrid network: transferring convolutional features from 2D images to 3D anisotropic volumes
CN105765629B (zh) 病变的早期治疗反应评估
US20190030371A1 (en) Automated image segmentation using dcnn such as for radiation therapy
Ahmad et al. A lightweight convolutional neural network model for liver segmentation in medical diagnosis
US11080895B2 (en) Generating simulated body parts for images
Liu et al. Spatial feature fusion convolutional network for liver and liver tumor segmentation from CT images
JP2023507109A (ja) 医用画像による自動化された腫瘍識別およびセグメンテーション
US20230154007A1 (en) Few-shot semantic image segmentation using dynamic convolution
KR102280047B1 (ko) 딥 러닝 기반 종양 치료 반응 예측 방법
CN112529834A (zh) 病理图像模式在3d图像数据中的空间分布
CN111583246A (zh) 利用ct切片图像对肝脏肿瘤进行分类的方法
Xiao et al. A cascade and heterogeneous neural network for CT pulmonary nodule detection and its evaluation on both phantom and patient data
US20230097224A1 (en) Ai-based atlas mapping slice localizer for deep learning autosegmentation
Jiang et al. A hybrid enhanced attention transformer network for medical ultrasound image segmentation
Nallasivan et al. A Novel Approaches for Detect Liver Tumor Diagnosis using Convolution Neural Network
Xu et al. Improved cascade R-CNN for medical images of pulmonary nodules detection combining dilated HRNet
Shi Lung nodule detection using convolutional neural networks
CN118435235A (zh) 用于对病变进行分类的系统和方法
Bhagavan et al. A compressive survey on different image processing techniques to identify the brain tumor.
WO2021197176A1 (en) Systems and methods for tumor characterization
Kularathne et al. Liver Tumor Identification GUI using MATLAB Image Processing
Diez et al. Deep reinforcement learning and convolutional autoencoders for anomaly detection of congenital inner ear malformations in clinical CT images
US12039721B2 (en) Classification of organ of interest shapes for autosegmentation quality assurance

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant