KR102280047B1

KR102280047B1 - 딥 러닝 기반 종양 치료 반응 예측 방법

Info

Publication number: KR102280047B1
Application number: KR1020190125787A
Authority: KR
Inventors: 홍헬렌; 이한상; 성진실; 김진성
Original assignee: 서울여자대학교 산학협력단; 연세대학교 산학협력단
Priority date: 2019-10-11
Filing date: 2019-10-11
Publication date: 2021-07-21
Also published as: KR20210043764A

Abstract

딥러닝 기반 종양 치료 반응 예측 방법이 제공된다. 본 발명의 일 면에 따른 딥러닝 기반 종양 치료 반응 예측 방법은, 종양을 포함하는 의료 영상에서 종양 영상 패치(tumor image patch)와 맥락 영상 패치(context image patch)를 생성하는 단계; 상기 종양 영상 패치를 사전 학습한 제1 딥 뉴럴 네트워크에 입력하고 상기 맥락 영상 패치를 사전 학습한 제2 딥 뉴럴 네트워크에 입력하여, 상기 제1 딥 뉴럴 네트워크를 통해 상기 종양 영상 패치의 제1 특징 값을 생성하고 상기 제2 딥 뉴럴 네트워크를 통해 상기 맥락 영상 패치의 제2 특징 값을 생성하는 단계; 상기 제1 특징 값과 상기 제2 특징 값을 연결(concatenate)하여 통합 특징 값을 생성하는 단계; 및 상기 통합 특징값을 사전 학습한 분류 모델에 입력하여, 상기 분류 모델을 통해 치료 반응 예측 정보를 생성하는 단계;를 포함한다.

Description

딥 러닝 기반 종양 치료 반응 예측 방법{METHOD FOR PREDICTING TUMOR TREATMENT RESPONSE BASED ON DEEP LEARNING}

본 발명은 딥러닝에 기반한 종양 치료 반응 예측 방법에 관한 것으로, 보다 자세하게는 종양 영상 패치와 맥락 영상 패치를 이용하여 딥러닝을 수행한 결과에 기반하여 종양 치료 반응을 예측하는 방법에 관한 것이다.

방사선 치료는 종양 치료를 위한 주요 옵션 중 하나이며, 방사선 치료에 대한 개별 환자의 치료 반응(treatment response)을 예측하는 작업은 환자의 치료 계획 수립 및 생존 확률 예측을 위한 중요한 정보를 제공한다. 치료 반응은 (1) 치료 이후 종양의 크기가 줄어들었는지 여부를 결정하는 국소제어(local control) 예측 및 (2) 치료 후 5년 이내 환자의 생존을 결정하는 생존율(overall survival)을 포함한다. 예를 들어, 국소제어 예측은 종양을 포함하는 의료 영상을 LC(local control) 클래스와 PD(progressive disease) 클래스로 분류하는 작업으로 정의될 수 있다. 여기서 LC 클래스는 치료 전보다 종양의 크기가 25% 이내의 범위에서 감소 또는 증가일 경우이고, PD 클래스는 치료 전보다 25% 이상의 종양 크기 증가일 경우일 수 있다. 생존율 예측은 의료 영상에서 치료 후 12, 24 또는 60 개월과 같은 특정 기간 동안 환자의 생존 여부를 나타낼 수 있다.

환자를 치료하기 전에 환자의 의료 영상으로부터 치료 반응을 예측하는 작업은 치료 계획 수립에 있어서 필요성이 점점 증대하고 있으나, 서로 상이한 치료 반응을 갖는 환자들 간의 영상 차이점은 모호한 경우가 많고 동일한 치료 반응을 갖는 환자들간의 영상 일관성이 클러스터링을 할 정도로 높지 않으므로 의료 영상을 통한 치료 반응 예측이 매우 어렵다는 문제점이 있었다.

한편, 기존에는 치료 반응 예측별로 의료 영상을 분류할 경우, 사전에 정의된 특징값을 추출하여 분류기 학습을 수행하는 수제 특징값(hand-crafted feature) 기반 분류를 수행하였으나 의료 영상의 특성상 밝기값 기반의 분류가 어려워 분류 정확도에 한계가 있었다.

또한, 기존의 딥러닝 기반 신경망 학습의 경우, 종양 영상 패치(tumor image patch)만을 기반으로 학습하는 과정에서 종양의 외곽 정보나 외부 기관 조직과의 상호 작용 정보를 상실하여 분류 정확도에 한계가 있었다.

US 2019-0254611

본 발명이 해결하고자 하는 과제는 종양 영상 패치와 맥락 영상 패치를 모두 이용함으로써 치료 반응 예측의 정확성을 높이는 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 딥러닝 기반 종양 치료 반응 예측 방법은, 종양을 포함하는 의료 영상에서 종양 영상 패치(tumor image patch)와 맥락 영상 패치(context image patch)를 생성하는 단계; 상기 종양 영상 패치를 사전 학습한 제1 딥 뉴럴 네트워크에 입력하고 상기 맥락 영상 패치를 사전 학습한 제2 딥 뉴럴 네트워크에 입력하여, 상기 제1 딥 뉴럴 네트워크를 통해 상기 종양 영상 패치의 제1 특징 값을 생성하고 상기 제2 딥 뉴럴 네트워크를 통해 상기 맥락 영상 패치의 제2 특징 값을 생성하는 단계; 상기 제1 특징 값과 상기 제2 특징 값을 연결(concatenate)하여 통합 특징 값을 생성하는 단계; 및 상기 통합 특징값을 사전 학습한 분류 모델에 입력하여, 상기 분류 모델을 통해 치료 반응 예측 정보를 생성하는 단계;를 포함한다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.

본 발명은 종양 내부의 텍스쳐 정보와 종양의 형상 및 정상 조직 영역과의 상호작용 정보를 동시에 학습할 수 있다.

또한, 본 발명은 특징 값 연결을 통해 종양의 내부 텍스처 및 맥락 정보를 모두 반영한 국소제어 예측 및 생존율 예측의 학습이 가능할 수 있다.

또한, 본 발명은 딥러닝을 통한 사전기계학습을 통해 수제 특징값(hand-crafted feature)을 이용한 분류 한계를 극복하고 분류의 정확성을 높일 수 있다.

또한, 본 발명은 종양 치료 반응 예측의 정확도를 높일 수 있고 이를 통해 환자의 치료 계획 수립에 활용될 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1 은 본 발명의 일 실시 예에 따른 딥 러닝 기반 종양 치료 반응 예측 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 딥 러닝 기반 종양 치료 반응 예측 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 딥 러닝 기반 종양 치료 반응 예측 방법을 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 종양 영상 패치와 맥락 영상 패치를 나타낸 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 LC 클래스와 PD 클래스를 나타낸 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 생존율의 생존과 사망을 나타낸 예시도이다.
도 7은 본 발명의 일 실시 예에 따른 치료 반응 예측 결과를 나타낸 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1 은 본 발명의 일 실시 예에 따른 딥 러닝 기반 종양 치료 반응 예측 장치를 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 종양 치료 반응 예측 장치(100)는 획득한 의료 영상을 이용하여 종양 치료 반응을 예측할 수 있다. 예를 들어, 종양 치료 반응 예측 장치(100)는 종양 영상 패치와 제1 딥 뉴럴 네트워크를 이용하여 제1 특징 값을 출력할 수 있고, 맥락 영상 패치와 제2 딥 뉴럴 네트워크를 이용하여 제2 특징 값을 출력할 수 있고, 종양 국소 제어 예측과 생존율 예측을 할 수 있다.

일 실시 예에서, 종양 치료 반응 예측 장치(100)는 서버일 수 있고, 종양 치료 반응 예측 방법을 설정할 수 있는 전용 프로그램이 설치될 수 있다. 예를 들어, 종양 치료 반응 예측 장치(100)는 의료 영상을 획득할 수 있는 영상 획득부(110), 획득한 의료 영상을 전처리(예: 데이터 증강, 영상 crop)할 수 있고 종양 영상 패치와 맥락 영상 패치를 생성할 수 있는 영상 처리부(120), 학습데이터와 딥 뉴럴 네트워크를 이용하여 기계학습을 수행하고 제1 특징 값과 제2 특징 값을 각각 생성하는 제1 특징 추출부(140)와 제2 특징 추출부(140), 제1 특징 값과 제2 특징 값을 연결하여 통합 특징 값을 생성하는 특징 통합부(150), 통합 특징 값을 통해 치료 반응 예측을 최종 분류하는 치료반응 분류부(160) 및 학습 결과, 딥 뉴럴 네트워크의 구조 및 필터 값, 환자 데이터, 치료 반응 예측 결과 데이터 등을 빅데이터화하여 저장할 수 있는 데이터베이스(170)를 포함할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 딥 러닝 기반 종양 치료 반응 예측 방법을 설명하기 위한 흐름도이다. 도 3은 본 발명의 일 실시 예에 따른 딥 러닝 기반 종양 치료 반응 예측 방법을 설명하기 위한 블록도이다. 도 4는 본 발명의 일 실시 예에 따른 종양 영상 패치와 맥락 영상 패치를 나타낸 예시도이다. 도 5는 본 발명의 일 실시 예에 따른 LC 클래스와 PD 클래스를 나타낸 예시도이다. 도 6은 본 발명의 일 실시 예에 따른 생존율의 생존과 사망을 나타낸 예시도이다. 도 7은 본 발명의 일 실시 예에 따른 치료 반응 예측 결과를 나타낸 도면이다. 도 2의 동작들은 도 1의 각 구성들에 의해 수행될 수 있다.

도 2 내지 도 7을 참조하면, 일 실시 예에서, 동작 21에서, 영상 처리부(120)는 종양을 포함하는 의료 영상에서 종양 영상 패치(tumor image patch)와 맥락(context) 영상 패치를 생성할 수 있다. 종양 영상 패치는 종양 자체의 형상 등에 대한 정보를 포함할 수 있고, 맥락 영상 패치는 종양의 장기 내에서의 위치, 종양이외에 장기 내 다른 영역의 맥락(context)과의 상관 관계 등에 대한 정보를 얻을 수 있다.

일 실시 예에서, 종양 영상 패치는 원본 의료 영상에서 종양을 둘러싸는 영역을 중심으로 정방형의 영상 패치를 추출함으로써 생성될 수 있다. 서로 다른 크기를 갖는 종양 영상 패치는 종양을 분류하기 위한 딥 뉴럴 네트워크(예: CNN)의 입력 사이즈(예: 227X227 pixels)에 대응하도록 리사이즈될 수 있다. 종양 영상 패치는 종양 내부의 조직(intratumoral texture) 정보 및 종양 형상(tumor shape) 정보를 포함할 수 있다. 예를 들어, 도 4에 도시된 바와 같이 종양 영상 패치는 장기(예: 간)의 일부에 발생한 종양 내부가 잘 보이도록 종양과 그 인접 영역만이 포함될 수 있다.

일 실시 예에서, 맥락 영상 패치는 종양, 종양이 생성된 장기, 또는 종양 주변의 장기들이 포함되도록 원본 의료 영상에서 추출함으로써 생성될 수 있다. 맥락 영상 패치는 종양이 생성된 장기 내에서의 종양의 상대적인 위치 정보, 장기 정보, 종양 외곽의 형상 정보 및 정상 장기 조직과의 상호작용 정보를 포함할 수 있다. 예를 들어, 도 4에 도시된 바와 같이 맥락 영상 패치는 종양이 발생한 장기(예: 간) 이외에도 그 장기와 인접한 장기들도 포함될 수 있다.

한편, 도면에는 도시되지 않았지만 동작 21 이전에 영상 획득부(110)가 복수의 의료 영상을 획득할 수 있다. 의료 영상은 2차원 의료 영상(예: x-ray 이미지) 및/또는 3차원 의료 영상(예: CT 이미지, MRI, PET 이미지)을 포함하며, 의료 영상이라면 특별한 제한은 없다. "영상"은 전산화 단층 촬영(CT; computed tomography), 자기 공명 영상(MRI; magnetic resonance imaging), 초음파 또는 본 발명의 기술분야에서 공지된 임의의 다른 의료 영상 시스템에 의하여 수집된 피검체(subject)의 의료 영상일 수 있다. 의료 영상은 복셀 데이터로서, 복수의 슬라이스 즉, 복수 개의 단위 이미지들로 이루어질 수 있다.

일 실시 예에서, 동작 22에서, 제1 특징 추출부(130)가 종양 영상 패치를 사전 학습한 제1 딥 뉴럴 네트워크에 입력하고 제1 딥 뉴럴 네트워크를 통해 종양 영상 패치의 제1 특징 값을 생성할 수 있다. 또한, 제2 특징 추출부(140)는 맥락 영상 패치를 사전 학습한 제2 딥 뉴럴 네트워크에 입력하여, 제2 딥 뉴럴 네트워크를 통해 맥락 영상 패치의 제2 특징 값을 생성할 수 있다. 제1 특징 추출부(130)와 제2 특징 추출부(140)의 동작은 병렬로 수행될 수 있다.

일 실시 예에서, 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크는 AlexNet 일 수 있다. 물론 이외에도 다른 종류의 심층 신경망 구조로도 대체 가능하다. 구체적으로, AlexNet은 가장 많이 사용되는 CNN(convolutional neural network)이다. AlexNet은 다섯 개의 컨벌루션 레이어와 3개의 FC(fully connected) 레이어로 구성되며, 최종 레이어에서 클래스 레이블 확률(class label probability)이 생성될 수 있다. 예를 들어, AlexNet의 첫 번째 연산 과정은 입력 데이터로부터 5번의 convolution 연산 과정을 거쳐 256개의 특징을 추출하는 과정이고, 두 번째 연산 과정은 추출된 특징을 이용하여 full connect 연산 과정을 거쳐 데이터를 분류하는 과정이다. 모델에 전처리 과정을 거쳐 1차원 배열로 펼쳐진 224x224 크기의 이미지가 데이터로 입력되면, 11x11의 크기와 4의 stride를 가진 96개 커널과 합성곱 연산을 거칠 수 있다. 이렇게 첫 번째 합성곱 층을 지나게 되면 55x55x96 크기의 영상이 출력되고, 이는 다시 5x5의 크기와 1의 stride를 가진 256개 커널과 합성곱 연산을 하게 된다. 이를 반복하여 마지막 다섯 번째 합성곱 층과 max-pooling 층을 지나는 동작 이후 6x6 크기의 256가지 특징을 얻을 수 있다.

일 실시 예에서, 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크는 입력 패치 유형이 서로 다르므로 훈련 과정과 동작도 다를 수 있다. 예를 들어, 제1 딥 뉴럴 네트워크는 종양 내부 조직 정보와 치료 반응 사이의 상관 관계를 학습할 수 있고, 제2 딥 뉴럴 네트워크는 종양과 장기간 맥락 정보와 치료 반응 사이의 관계를 학습할 수 있다.

일 실시 예에서, 제1 특징 값은 종양 내부의 조직 정보 및 종양 형상 정보를 나타낼 수 있고, 제2 특징 값은 종양이 생성된 장기 내에서의 종양의 상대적인 위치 정보, 장기 정보, 종양 외곽의 형상 정보 및 정상 장기 조직과의 상호작용 정보를 나타낼 수 있다. 예를 들어, 제1 특징 값과 제2 특징 값은 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크 각각의 fc7 레이어로부터 추출될 수 있고, 각각 4096 차원(4096-dimensinal)의 특징을 포함할 수 있다.

한편, 일 실시 예에서, 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크는 사전학습될 수 있다. 예를 들어, 사전학습 과정은 복수의 의료 영상에서 복수의 종양 영상 패치를 제1 학습 데이터로서 생성하고 복수의 맥락 영상 패치를 제2 학습 데이터로서 생성하는 단계; 제1 학습 데이터를 제1 딥 뉴럴 네트워크에 입력하고 제2 학습 데이터를 제2 딥 뉴럴 네트워크에 입력하여, 제1 딥 뉴럴 네트워크를 통해 제1 학습 데이터의 제1 특징 값들을 생성하고 제2 딥 뉴럴 네트워크를 통해 제2 학습 데이터의 제2 특징 값들을 생성하는 단계; 및 제1 학습 데이터 생성 동작, 제2 학습 데이터 생성 동작, 제1 특징값들 생성 동작 및 제2 특징값들 생성 동작을 반복 수행함으로써 제1 딥 뉴럴 네트워크와 제2 딥 뉴럴 네트워크를 병렬로 기계학습하는 단계를 포함할 수 있다.

즉, 종양 영상 패치에서의 딥러닝 신경망 학습을 통해 종양 내부의 조직 정보에 대한 신경망 학습이 가능하고 맥락 영상 패치에서의 딥러닝 신경망 학습을 통해 종양이 생성된 장기 내에서 종양의 상대적인 위치 정보, 장기 정보, 종양 외곽의 형상 정보 및 정상 장기 조직과의 상호작용 정보에 대한 신경망 학습이 가능하다.

일 실시 예에서, 동작 23에서, 특징 통합부(150)는 제1 특징 값과 제2 특징 값을 연결(concatenate)하여 통합 특징 값을 생성할 수 있다. 예를 들어, 제1 특징 값은 tumor patch에서부터 딥러닝 네트워크(예: Alexnet)을 통해 fc7 layer에서 추출한 feature(특징)일 수 있고, 제2 특징 값은 organ patch에서부터 딥러닝 네트워크(예: Alexnet)을 통해 fc7 layer에서 추출한 feature(특징)일 수 있다. 따라서, 통합 특징 값은 제1 특징 값과 제2 특징 값을 연결한 특징 값이고, 제1 특징 값의 4096 차원과 제2 특징 값의 4096 차원을 연결한 8192 차원(8192 dimensinal)의 결합된 특징을 포함할 수 있고, 종양 내부의 조직 정보와 장기와의 맥락 정보를 모두 포함할 수 있다.

일 실시 예에서, 동작 24에서, 치료 반응 분류부(160)는 통합 특징 값을 사전 학습한 분류 모델에 입력하여, 분류 모델을 통해 치료 반응 예측 정보를 생성할 수 있다. 예를 들어, 치료 반응 예측 정보는 치료 이후 종양의 크기가 줄어들었는지 여부를 결정하는 국소제어(local control) 예측 및 치료 후 일정 기간(예: 5년) 이내 환자의 생존을 결정하는 생존율(overall survival)을 포함할 수 있다. 예를 들어, 도 5 및 도 6에서 노란색 화살표는 간 내부의 간암 부위를 나타내는 화살표일 수 있고, 국소제어 예측은 도 5에 도시된 바와 같이 LC(local control) 클래스와 PD(progressive disease) 클래스 분류 정보를 포함할 수 있고, LC 클래스는 치료 전보다 종양의 크기가 25% 이내의 범위에서 감소 또는 증가일 경우이고, PD 클래스는 치료 전보다 25% 이상의 종양 크기 증가일 경우이다. 생존율 예측은 도 6에 도시된 바와 같이 의료 영상에서 치료 후 12, 24 또는 60 개월과 같은 특정 기간 동안 환자의 생존 또는 사망 여부를 나타낼 수 있다.

일 실시 예에서, 분류 모델은 LC 클래스 또는 PD 클래스의 분류와 환자의 생존 또는 사망의 분류를 위해 통합 특징 값에 대해 사전학습 될 수 있다. 예를 들어, 분류 모델은 랜덤 포레스트 분류기(Random Forest Classifier, RFC)일 수 있고, RFC를 구성하는 트리의 수는 실험을 통해 100개로 결정되었다.

또한, 분류 모델의 학습의 정밀도를 높이기 위해 학습 데이터의 증강이 미리 수행될 수 있다. 예를 들어, 복수의 의료 영상을 회전(rotation)시키거나 플립(flip)시킴으로써 제1 학습 데이터와 제2 학습 데이터를 증강(augmentation)할 수 있다.

일 실시 예에서, 분류 모델은 복수의 의료 영상으로부터 생성된 학습데이터를 통해 입력 받는 통합 특징값들을 반복적으로 분류함으로써 사전 학습을 수행할 수 있다.

이와 같이 본 발명은 제1 특징 값과 제2 특징 값의 연결을 통해 종양 내부의 텍스처 정보 및 맥락 정보를 모두 반영한 치료 반응 예측의 학습이 가능하고 치료 반응 예측의 정확도를 높일 수 있다.

한편, 본 발명의 효과를 확인하기 위해, 국소제어 예측과 생존율에 대응하는 치료 반응 기록을 가진 171 명의 Hepatocellular carcinoma (HCC) 환자를 학습 데이터로 활용하였다. 국소제어 예측과 관련하여, 학습 데이터에서 LC 클래스 및 PD 클래스로 진단 된 환자의 수는 각각 129 명 및 42 명이었다. 생존율 측면에서 학습 데이터에서 생존 및 사망 진단을 받은 환자 수는 각각 112 명과 59 명이었다. 512 × 512의 해상도, 0.5 × 0.5 mm² ~ 0.8 × 0.8 mm² 사이의 픽셀 크기, 3 ~ 5 mm 사이의 슬라이스 두께를 가진 CT 영상을 의료 영상으로 사용하였다. 본 발명과 비교하기 위해, 임상 전문가에 의해 수동으로 (hand-crafted) 분류, 종양 영상 패치만 CNN을 이용하여 분류 및 맥락 영상 패치만 CNN을 이용하여 분류를 수행하였고 그 결과들을 본 발명의 결과와 정확도(accuracy) 및 AUC(area-under-ROC-curve, 곡선 아래 면적) 측면에서 비교하였다. 도 7에 도시된 바와 같이, 국소제어 예측 결과는 정확도 측면에서 본 발명이 수동 분류, 종양 영상 패치만 CNN을 이용하여 분류 및 맥락 영상 패치만을 CNN을 이용하여 분류한 경우보다 수치가 높음을 확인할 수 있었고, AUC 또한 본 발명의 수치가 가장 높음을 확인할 수 있었다. 즉, 종양 영상 패치와 맥락 영상 패치를 모두 조합한 본 발명의 방법은 종양 영상 패치만 이용한 경우보다 정확도를 약 5 % p 개선하고 AUC를 약 2 % p 개선 하였고, 맥락 영상 패치만 이용한 경우보다도 개선됨을 확인할 수 있었다. 한편, 생존율 예측 결과는 정확도 측면에서 본 발명이 수동 분류, 종양 영상 패치만 CNN을 이용하여 분류 및 맥락 영상 패치만을 CNN을 이용하여 분류한 경우보다 수치가 높음을 확인할 수 있었고, AUC는 종양 영상 패치만을 이용한 경우와 거의 동등한 수준의 결과를 얻음을 확인할 수 있었다. 따라서, 두 정보를 결합한 본 발명의 치료 반응 예측 방법은 전체 성능을 향상시킬 수 있다.

본 발명의 일 면에 따른 딥러닝 기반 종양 치료 반응 예측 방법은, 종양을 포함하는 의료 영상에서 종양 영상 패치(tumor image patch)와 맥락 영상 패치(context image patch)를 생성하는 단계; 상기 종양 영상 패치를 사전 학습한 제1 딥 뉴럴 네트워크에 입력하고 상기 맥락 영상 패치를 사전 학습한 제2 딥 뉴럴 네트워크에 입력하여, 상기 제1 딥 뉴럴 네트워크를 통해 상기 종양 영상 패치의 제1 특징 값을 생성하고 상기 제2 딥 뉴럴 네트워크를 통해 상기 맥락 영상 패치의 제2 특징 값을 생성하는 단계; 상기 제1 특징 값과 상기 제2 특징 값을 연결(concatenate)하여 통합 특징 값을 생성하는 단계; 및 상기 통합 특징값을 사전 학습한 분류 모델에 입력하여, 상기 분류 모델을 통해 치료 반응 예측 정보를 생성하는 단계;를 포함한다.

다양한 실시 예에 따르면, 상기 종양 영상 패치는 종양 내부의 조직(intratumoral texture) 정보 및 종양 형상(tumor shape) 정보를 포함하고, 상기 맥락 영상 패치는 상기 종양이 생성된 장기 내에서 종양의 상대적인 위치 정보와 장기 정보를 포함할 수 있다.

다양한 실시 예에 따르면, 복수의 의료 영상에서 복수의 종양 영상 패치를 제1 학습 데이터로서 생성하고 복수의 맥락 영상 패치를 제2 학습 데이터로서 생성하는 단계;

상기 제1 학습 데이터를 상기 제1 딥 뉴럴 네트워크에 입력하고 상기 제2 학습 데이터를 상기 제2 딥 뉴럴 네트워크에 입력하여, 상기 제1 딥 뉴럴 네트워크를 통해 상기 제1 학습 데이터의 제1 특징 값들을 생성하고 상기 제2 딥 뉴럴 네트워크를 통해 상기 제2 학습 데이터의 제2 특징 값들을 생성하는 단계; 및 상기 제1 학습 데이터 생성 동작, 상기 제2 학습 데이터 생성 동작, 상기 제1 특징값들 생성 동작 및 상기 제2 특징값들 생성 동작을 반복 수행함으로써 상기 제1 딥 뉴럴 네트워크와 상기 제2 딥 뉴럴 네트워크를 병렬로 기계학습하는 단계;를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 복수의 의료 영상을 회전(rotation)시키거나 플립(flip)시킴으로써 상기 제1 학습 데이터와 상기 제2 학습 데이터를 증강(augmentation)시킬 수 있다.

다양한 실시 예에 따르면, 상기 제1 딥 뉴럴 네트워크와 상기 제2 딥 뉴럴 네트워크는 Alexnet일 수 있다.

다양한 실시 예에 따르면, 상기 치료 반응 예측 정보는 국소제어(local control) 예측 및 생존율(overall survival)을 포함할 수 있다.

다양한 실시 예에 따르면, 상기 분류 모델은 랜덤 포레스트 분류기(random forest classifier)고, 상기 분류 모델은 상기 통합 특징값을 입력 받아 상기 치료 반응 예측 정보를 생성하는 동작을 반복적으로 수행함으로써 사전 학습을 수행할 수 있다.

다양한 실시 예에 따르면, 딥러닝 기반 종양 치료 반응 예측 프로그램은 하드웨어인 컴퓨터와 결합되어, 본 발명의 실시예들에 따른 딥러닝 기반 종양 치료 반응 예측 방법을 실행시키기 위하여 매체에 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 종양 치료 반응 예측 장치
110 : 영상 획득부
120 : 영상 처리부
130 : 제1 특징 추출부
140 : 제2 특징 추출부
150 : 특징 통합부
160 : 치료반응 분류부
170 : 데이터베이스

Claims

딥러닝 기반 종양 치료 반응 예측 방법에 있어서,
종양을 포함하는 의료 영상에서 종양 영상 패치(tumor image patch)와 맥락 영상 패치(context image patch)를 생성하는 단계;
상기 종양 영상 패치를 사전 학습한 제1 딥 뉴럴 네트워크에 입력하고 상기 맥락 영상 패치를 사전 학습한 제2 딥 뉴럴 네트워크에 입력하여, 상기 제1 딥 뉴럴 네트워크를 통해 상기 종양 영상 패치의 제1 특징 값을 생성하고 상기 제2 딥 뉴럴 네트워크를 통해 상기 맥락 영상 패치의 제2 특징 값을 생성하는 단계;
상기 제1 특징 값과 상기 제2 특징 값을 연결(concatenate)하여 통합 특징 값을 생성하는 단계; 및
상기 통합 특징 값을 사전 학습한 분류 모델에 입력하여, 상기 분류 모델을 통해 치료 반응 예측 정보를 생성하는 단계;를 포함하고,
상기 방법은 상기 종양 영상 패치와 맥락 영상 패치 생성 단계 이전에,
복수의 의료 영상에서 복수의 종양 영상 패치를 제1 학습 데이터로서 생성하고 복수의 맥락 영상 패치를 제2 학습 데이터로서 생성하는 단계;
상기 제1 학습 데이터를 상기 제1 딥 뉴럴 네트워크에 입력하고 상기 제2 학습 데이터를 상기 제2 딥 뉴럴 네트워크에 입력하여, 상기 제1 딥 뉴럴 네트워크를 통해 상기 제1 학습 데이터의 제1 특징 값들을 생성하고 상기 제2 딥 뉴럴 네트워크를 통해 상기 제2 학습 데이터의 제2 특징 값들을 생성하는 단계; 및
상기 제1 학습 데이터 생성 동작, 상기 제2 학습 데이터 생성 동작, 상기 제1 특징 값들 생성 동작 및 상기 제2 특징 값들 생성 동작을 반복 수행함으로써 상기 제1 딥 뉴럴 네트워크와 상기 제2 딥 뉴럴 네트워크를 병렬로 기계학습하는 단계;를 포함하고,
상기 분류 모델은 상기 제1 학습 데이터 및 상기 제2 학습 데이터를 통해 입력 받는 통합 특징 값을 이용하여 상기 치료 반응 예측 정보를 생성하는 동작을 반복적으로 수행함으로써 사전 학습을 수행하고,
상기 종양 영상 패치는, 의료 영상에서 종양을 둘러싸는 영역을 중심으로 정방형의 영상 패치를 추출함으로써 생성되고,
상기 맥락 영상 패치는, 의료 영상에서 종양, 종양이 생성된 장기 또는 종양 주변의 장기가 포함되도록 영상 패치를 추출함으로써 생성되는 것을 특징으로 하는 딥러닝 기반 종양 치료 반응 예측 방법.
제1 항에 있어서,
상기 종양 영상 패치는 종양 내부의 조직(intratumoral texture) 정보 및 종양 형상(tumor shape) 정보를 포함하고, 상기 맥락 영상 패치는 상기 종양이 생성된 장기 내에서 종양의 상대적인 위치 정보와 장기 정보를 포함하는 것을 특징으로 하는 딥러닝 기반 종양 치료 반응 예측 방법.
삭제
제1 항에 있어서,
상기 복수의 의료 영상을 회전(rotation)시키거나 플립(flip)시킴으로써 상기 제1 학습 데이터와 상기 제2 학습 데이터를 증강(augmentation)시키는 것을 특징으로 하는 딥러닝 기반 종양 치료 반응 예측 방법.
제1 항에 있어서,
상기 제1 딥 뉴럴 네트워크와 상기 제2 딥 뉴럴 네트워크는 Alexnet인 것을 특징으로 하는 딥러닝 기반 종양 치료 반응 예측 방법.
제1 항에 있어서,
상기 치료 반응 예측 정보는 국소제어(local control) 예측 및 생존율(overall survival)을 포함하는 것을 특징으로 하는 딥러닝 기반 종양 치료 반응 예측 방법.
제1 항에 있어서,
상기 분류 모델은 랜덤 포레스트 분류기(random forest classifier)인 것을 특징으로 하는 딥러닝 기반 종양 치료 반응 예측 방법.
하드웨어인 컴퓨터와 결합되어, 제1항, 제2항, 제4항 내지 제7항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 딥러닝 기반 종양 치료 반응 예측 프로그램.