KR20210041242A

KR20210041242A - 정상 조직 영역의 예측 방법 및 이를 이용한 정상 조직 영역 예측용 디바이스

Info

Publication number: KR20210041242A
Application number: KR1020190123661A
Authority: KR
Inventors: 김진성; 김용배; 장지석; 천재희
Original assignee: 연세대학교 산학협력단
Priority date: 2019-10-07
Filing date: 2019-10-07
Publication date: 2021-04-15
Also published as: KR102311472B1

Abstract

본 발명은, 유방 내 종양 조직과 구별되는, 유방의 정상 조직 또는 유방 인근 기관의 정상 조직을 포함하는 의료 영상을 수신하는 단계, 의료 영상에 기초하여 정상 조직의 영역을 예측하도록 구성된 제1 정상 조직 영역 예측 모델을 이용하여, 의료 영상 내에서 제1 정상 조직 후보 영역을 예측하는 단계, 제1 정상 조직 영역 예측 모델과 상이한, 제2 정상 조직 영역 예측 모델을 이용하여, 제1 정상 조직 후보 영역에 기초하여 의료 영상 내에서 제2 정상 조직 후보 영역을 예측하는 단계, 및 제2 정상 조직 후보 영역을 유방의 정상 조직 또는 유방 인근 기관의 정상 조직으로 분류하는 단계를 포함하는, 정상 조직 영역의 예측 방법 및 이를 이용한 디바이스를 제공한다.

Description

정상 조직 영역의 예측 방법 및 이를 이용한 정상 조직 영역 예측용 디바이스{METHOD FOR PREDICTING REGIONS OF NORMAL TISSUE AND DEVICE FOR PREDICTING REGIONS OF NORMAL TISSUE USING THE SAME}

본 발명은 정상 조직 영역의 예측 방법 및 이를 이용한 정상 조직 영역 예측용 디바이스에 관한 것으로, 보다 구체적으로 주변 조직과의 구별이 어려워 방사선 치료의 신뢰도가 떨어질 수 있는 목적 부위에 대하여, 이의 의료 영상 내에서 효과적으로 정상 조직 영역을 예측하는 방법 및 이를 이용한 정상 조직 영역 예측용 디바이스에 관한 것이다.

유방암이란 유방에 생긴 암 세포로 이루어진 종괴이다. 유방암의 발병 원인으로 여성 호르몬, 가족력, 과거력, 출산력, 식생활 습관 등 다양한 인자들이 거론되고 있지만 아직까지 명확하게 규명된 것은 없다. 유방암의 발생은 유선조직의 민감도 증가, 식생활의 서구화, 생활환경의 오염 등의 이유로 급격하게 증가하고 있다.

한편, 유방암의 치료 방법으로는 수술적 치료, 방사선 치료, 항암화학 요법, 항호르몬 치료 등의 다양한 치료 방법이 알려져 있다.

특히, 유방암의 치료를 위한 방사선 치료는, 방사선을 종양에 조사해 종양 조직을 제거하는 것으로, 유방 절제 수술과 같은 수술적 치료 후 국소 재발을 방지하고 생명을 연장시키는 목적으로 이용되고 있다.

한편, 방사선 치료에 있어서, 유방 내 종양의 제거를 위한 방사선의 조사는, 타깃 조직인 유방 종양 조직뿐만 아니라, 정상 조직, 나아가 심장, 폐 등의 인접 장기에 영향을 미칠 수 있다.

이에, 환자의 종양 조직으로 방사선을 조사하기 전에, 환자의 유방 내에 존재하는 종양의 크기, 위치, 나아가 정상 조직 등을 고려하여, 손상 위험 장기 (organ at risk, OAR) 를 피해, 방사선의 조사 위치 및 조사량을 결정하는 등의 정밀한 방사선 치료 계획이 요구될 수 있다.

이때, 방사선 치료 계획 이전에 필수적으로 수행되는, 손상 위험 장기에 대한 컨투어링 (contouring) 작업은 환자에 따라 수시간이 요구될 수 있어, 의료진으로 하여금 번거로움을 수반하는 절차이다. 또한, 의료진의 숙련도에 따라 컨투어링 결과가 상이할 수도 있다.

이에, 손상 위험 장기와 같은 정상 조직의 손상을 줄이도록 정확도 높은 방사선 선량 조사가 수행될 수 있고, 나아가 빠른 치료 계획 수립이 가능할 수 있는, 정상 조직에 대한 컨투어링 시스템에 대한 개발이 지속적으로 요구되고 있다.

발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.

한편, 보다 정확한 정상 조직에 대한 컨투어링을 위해, 유방과 같은 목적 부위에 대하여 선명한 해상도를 갖는 최적의 의료 영상의 이용이 제안되었다. 그러나, 이러한 방법은, 작업의 정확도는 높일 수 있으나, 사용자가 파라미터를 직접 미세 조정해야 하기 때문에 사용자로 하여금 높은 작업 피로도를 유발할 뿐만 아니라, 복잡한 조정 절차로 인해 분석 시간이 증대될 수 있다는 문제가 발생할 수 있다.

한편, 본 발명의 발명자들은 종래의 컨투어링 시스템이 갖는 문제점을 해결하기 위해, 의료 영상 데이터 세트에 의해 학습된 예측 모델을 이용할 수 있음을 인지할 수 있었다.

특히, 본 발명의 발명자들은, 예측 모델이 유방 내 종양 조직에 대한 방사선 조사 시 손상 위험 장기일 수 있는, 우측 유방의 정상 조직, 좌측 유방의 정상 조직과 같은 유방 내 정상 조직과 우측 폐의 정상 조직, 좌측 폐의 정상 조직, 및 심장의 정상 조직과 같은 유방 인근 기관의 정상 조직을 의료 영상 내에서 높은 정확도로 예측할 수 있음을 인지할 수 있었다.

그 결과, 본 발명의 발명자들은, 의료 영상 내에서 유방 종양 조직과 구별되는 정상 조직의 영역에 대한 분할의 정확도를 높일 수 있고, 이에 정확한 방사선 치료 계획 수립이 가능한, 새로운 정상 조직 영역 예측 시스템을 개발할 수 있었다.

한편, 본 발명의 발명자들은, 정상 조직 영역 예측 시스템에 대한 예측 모델의 적용에 있어서, 의료 영상 내의 영역 분할 과정에서 나타나는 예측 모델의 한계점을 인지하였다.

보다 구체적으로, 본 발명의 발명자들은 한 번에 대용량의 의료 영상 (예를 들어, 3D CT 영상) 에 대한 정상 조직 영역 분할을 진행할 경우, 적용 가능한 네트워크에 제한이 있으며, GPU 메모리의 한계로 의료 영상에 대한 다운 샘플링 (down sampling) 작업이 필수적일 수 있음에 주목하였다.

즉, 본 발명의 발명자들은, 예측 모델에 기초한 정상 조직 영역의 분할 프로세싱에 있어서, 의료 영상에 대한 고해상도의 유지가 어려울 수 있음을 인지할 수 있었다.

이때, 본 발명의 발명자들은, 두 단계에 거친 영역 분할 과정을 통해, 의료 영상에 대하여 지엽적인 영역 분할을 진행함으로써, 높은 해상도를 유지하면서도 GPU 메모리의 한계를 극복할 수 있음에 주목하였다.

결과적으로, 본 발명의 발명자들은, 두 개의 예측 모델을 정상 조직 영역 예측 시스템에 적용할 수 있었고, 그 결과 의료 영상에 대한 높은 해상도를 유지하면서 효율적인 처리가 가능한 것을 발견할 수 있었다.

나아가 본 발명의 발명자들은, 정상 조직 영역 예측 시스템에 두 개의 예측 모델을 적용했을 때, 단일의 모델을 이용했을 때보다 의료 영상 내에서 정상 조직 영역을 높은 정확도로 예측하는 것을 확인할 수 있었다.

이때, 본 발명의 발명자들은, 복수의 정상 조직 영역을 예측한 후 이에 대한 ROI (region of interest) 를 결정하도록 구성된 예측 모델과, ROI에 대한 위치 정보에 기초하여 해당 ROI에 대한 정상 조직을 정확하게 예측하도록 구성된 예측 모델을 정상 조직 영역 예측 시스템에 적용할 수 있었다.

이에, 본 발명이 해결하고자 하는 과제는 수신된 의료 영상을 기초로 제1 정상 조직 후보 영역을 예측하도록 구성된 제1 정상 조직 영역 예측 모델과, 제1 정상 조직 영역 예측 모델에 의해 결정된 결과에 기초하여, 제2 정상 조직 후보 영역을 예측하도록 구성된 제2 정상 조직 영역 예측 모델을 이용한, 정상 조직 영역의 예측 방법 및 이를 이용한 정상 조직 영역 예측용 디바이스를 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 정상 조직 영역의 예측 방법이 제공된다. 본 방법은, 유방 내 종양 조직과 구별되는, 유방의 정상 조직 또는 유방 인근 기관의 정상 조직을 포함하는 의료 영상을 수신하는 단계, 의료 영상에 기초하여 정상 조직의 영역을 예측하도록 구성된 제1 정상 조직 영역 예측 모델을 이용하여, 의료 영상 내에서 제1 정상 조직 후보 영역을 예측하는 단계, 제1 정상 조직 영역 예측 모델과 상이한, 제2 정상 조직 영역 예측 모델을 이용하여, 제1 정상 조직 후보 영역에 기초하여 의료 영상 내에서 제2 정상 조직 후보 영역을 예측하는 단계, 및 제2 정상 조직 후보 영역을 유방의 정상 조직 또는 유방 인근 기관의 정상 조직으로 분류하는 단계를 포함한다.

본 발명의 특징에 따르면, 상기 방법은, 제1 정상 조직 후보 영역을 예측하는 단계 이후에 수행되는, 제1 정상 조직 후보 영역을 포함하는 ROI (region of interest) 를 결정하는 단계, 및 ROI의 좌표, 해상도 및 크기 중 적어도 하나를 포함하는 ROI의 정보에 기초하여, ROI에 해당하는 상세 의료 영상을 수신하는 단계를 더 포함할 수 있다. 한편, 제2 정상 조직 후보 영역을 예측하는 단계는, 제2 정상 조직 영역 예측 모델을 이용하여, 상세 의료 영상 내에서 제2 정상 조직 후보 영역을 예측하는 단계를 포함할 수 있다.

본 발명의 다른 특징에 따르면, ROI의 정보는, ROI의 좌표를 포함하고, 제2 정상 조직 후보 영역을 예측하는 단계 이후에 수행되는, 제2 정상 조직 후보 영역의 좌표를 결정하는 단계, 및 제2 정상 조직 후보 영역의 좌표 및 ROI의 좌표를 하나의 좌표로 통합하는 단계를 더 포함할 수 있다.

본 발명의 다른 특징에 따르면, 의료 영상은, 정상 조직을 포함하는 저해상도 의료 영상 또는 고해상도 의료 영상일 수 있다.

본 발명의 다른 특징에 따르면, 정상 조직은, 유방의 정상 조직 및 유방 인근 기관의 정상 조직을 포함할 수 있다. 이때, 유방의 정상 조직은, 우측 유방의 정상 조직 또는 좌측 유방의 정상 조직이고, 유방 인근 기관의 정상 조직은, 우측 폐의 정상 조직, 좌측 폐의 정상 조직, 및 심장의 정상 조직 중 적어도 하나일 수 있다.

본 발명의 다른 특징에 따르면, 제2 정상 조직 영역 예측 모델은, 유방의 정상 조직 및 유방 인근 기관의 정상 조직에 대한 제2 정상 조직 후보 영역을 각각 예측하도록 구성된, 복수의 예측 모델일 수 있다.

본 발명의 다른 특징에 따르면, 의료 영상은, 복수의 단층 의료 영상을 포함하는, 3차원 의료 영상일 수 있다. 나아가, 제1 정상 조직 후보 영역을 예측하는 단계는, 제1 정상 조직 영역 예측 모델을 이용하여, 복수의 단층 의료 영상 각각에 대하여 제1 정상 조직 후보 영역을 예측하는 단계를 포함할 수 있다. 또한, 제2 정상 조직 후보 영역을 예측하는 단계는, 제2 정상 조직 영역 예측 모델을 이용하여, 복수의 단층 의료 영상 각각에 대하여 예측된 제1 정상 조직 후보 영역에 기초하여, 복수의 단층 의료 영상 각각에 대한 제2 정상 조직 후보 영역을 예측하는 단계를 포함할 수 있다.

본 발명의 다른 특징에 따르면, 상기 방법은, 유방의 정상 조직 또는 유방 인근 기관의 정상 조직으로 분류하는 단계 이후에 수행되는, 제2 정상 조직 영역 예측 모델에 의한 분류 결과에 기초하여 방사선 치료 계획을 결정하는 단계를 더 포함할 수 있다.

본 발명의 다른 특징에 따르면, 상기 방법은, 유방의 정상 조직 또는 유방 인근 기관의 정상 조직으로 분류하는 단계 이후에 수행되는, 예측된 정상 조직 후보 영역 및 분류 결과를 의료 영상 내에 표시하여 제공하는 단계를 더 포함할 수 있다.

본 발명의 다른 특징에 따르면, 제1 정상 조직 영역 예측 모델 또는 제2 정상 조직 영역 예측 모델은, DenseNet, GoogLeNet, ResNet, AlexNet, U-net 및 VGG-Net 중 적어도 하나의 네트워크에 기초한 모델일 수 있다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 정상 조직 영역의 예측용 디바이스가 제공된다. 본 디바이스는, 유방 내 종양 조직과 구별되는, 유방의 정상 조직 또는 유방 인근 기관의 정상 조직을 포함하는 의료 영상을 수신하도록 구성된 수신부, 및 수신부와 연결된 프로세서를 포함한다. 이때, 프로세서는, 의료 영상에 기초하여 정상 조직의 영역을 예측하도록 구성된 제1 정상 조직 영역 예측 모델을 이용하여, 의료 영상 내에서 제1 정상 조직 후보 영역을 예측하고, 제1 정상 조직 영역 예측 모델과 상이한, 제2 정상 조직 영역 예측 모델을 이용하여, 제1 정상 조직 후보 영역에 기초하여 의료 영상 내에서 제2 정상 조직 후보 영역을 예측하고, 제2 정상 조직후보 영역을 유방의 정상 조직 또는 유방 인근 기관의 정상 조직으로 분류하도록 구성된다.

본 발명의 특징에 따르면, 프로세서는, 제1 정상 조직 후보 영역을 포함하는 ROI (region of interest) 를 결정하도록 더 구성될 수 있다. 나아가, 수신부는, ROI의 좌표, 해상도 및 크기 중 적어도 하나를 포함하는 ROI의 정보에 기초하여, ROI에 해당하는 상세 의료 영상을 수신하도록 더 구성될 수 있다. 이때, 프로세서는, 제2 정상 조직 영역 예측 모델을 이용하여, 상세 의료 영상 내에서 제2 정상 조직 후보 영역을 예측하도록 더 구성될 수 있다.

본 발명의 다른 특징에 따르면, ROI의 정보는, ROI의 좌표를 포함할 수 있다. 이때, 프로세서는, 제2 정상 조직 후보 영역의 좌표를 결정하고, 제2 정상 조직 후보 영역의 좌표 및 ROI의 좌표를 하나의 좌표로 통합하도록 더 구성될 수 있다.

본 발명의 또 다른 특징에 따르면, 의료 영상은, 정상 조직을 포함하는 저해상도 의료 영상 또는 고해상도 의료 영상일 수 있다.

본 발명의 또 다른 특징에 따르면, 정상 조직은, 유방의 정상 조직 및 유방 인근 기관의 정상 조직을 포함할 수 있다. 이때, 유방의 정상 조직은, 우측 유방의 정상 조직 또는 좌측 유방의 정상 조직이고, 유방 인근 기관의 정상 조직은, 우측 폐의 정상 조직, 좌측 폐의 정상 조직, 및 심장의 정상 조직 중 적어도 하나일 수 있다.

본 발명의 또 다른 특징에 따르면, 제2 정상 조직 영역 예측 모델은, 유방의 정상 조직 및 유방 인근 기관의 정상 조직에 대한 제2 정상 조직 후보 영역을 각각 예측하도록 구성된, 복수의 예측 모델일 수 있다.

본 발명의 또 다른 특징에 따르면, 의료 영상은, 복수의 단층 의료 영상을 포함하는, 3차원 의료 영상일 수 있다. 이때, 프로세서는, 제1 정상 조직 영역 예측 모델을 이용하여, 복수의 단층 의료 영상 각각에 대하여 제1 정상 조직 후보 영역을 예측하고, 제2 정상 조직 영역 예측 모델을 이용하여, 복수의 단층 의료 영상 각각에 대하여 예측된 제1 정상 조직 후보 영역에 기초하여, 복수의 단층 의료 영상 각각에 대한 제2 정상 조직 후보 영역을 예측하도록 더 구성될 수 있다.

본 발명의 또 다른 특징에 따르면, 프로세서는, 제2 정상 조직 영역 예측 모델에 의한 분류 결과에 기초하여 방사선 치료 계획을 결정하도록 더 구성될 수 있다.

본 발명의 또 다른 특징에 따르면, 프로세서는, 예측된 정상 조직 후보 영역 및 분류 결과를 의료 영상 내에 표시하도록 구성될 수 있다. 상기 디바이스는, 정상 조직 후보 영역 및 분류 결과가 표시된 의료 영상을 제공하도록 구성된 출력부를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 제1 정상 조직 영역 예측 모델 또는 제2 정상 조직 영역 예측 모델은, DenseNet, GoogLeNet, ResNet, AlexNet, U-net 및 VGG-Net 중 적어도 하나의 네트워크에 기초한 모델일 수 있다.

본 발명은, 의료 영상 내에서 정상 조직 영역을 예측 하도록 구성된 두 개의 예측 모델을 이용한, 정상 조직 영역의 예측 방법 및 이를 이용한 디바이스를 제공함으로써, 손상 위험 장기에 대한 정보를 제공할 수 있는 효과가 있다.

이에, 본 발명은, 환자에 따라 수시간이 요구될 수 있어, 의료진으로 하여금 번거로움을 수반하고, 의료진의 숙력도에 따라 결과가 상이할 수 있는, 종래의 정상 조직 컨투어링 시스템의 한계를 극복할 수 있는 효과가 있다.

또한, 본 발명은 두 단계에 거친 영역 분할 과정을 통해, 의료 영상에 대하여 지엽적인 영역 분할이 가능한 정상 조직 영역 예측 시스템을 제공함으로써, 해상도를 유지하면서 GPU 메모리의 한계를 극복할 수 있다.

보다 구체적으로, 본 발명은 3D CT 영상과 같은 대용량, 또는 고해상도의 의료 영상에 대한 정상 조직 영역 분할을 진행할 경우, 적용 가능한 네트워크에 제한을 해결할 수 있고, 의료 영상에 대한 다운 샘플링 (down sampling) 작업이 필수적일 수 있는 GPU 메모리의 한계를 극복할 수 있는 효과가 있다.

따라서, 본 발명은, 의료 영상 내 정상 조직 영역의 예측에 있어서, 의료 영상에 대한 높은 해상도를 유지하면서 효율적인 처리가 가능할 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1a는 본 발명의 일 실시예에 따른 정상 조직 영역 예측용 디바이스에 기초한, 정상 조직 영역 예측 시스템을 예시적으로 도시한 것이다.
도 1b은 본 발명의 일 실시예에 따른 정상 조직 영역 예측용 디바이스의 구성을 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 정상 조직 영역의 예측 방법의 절차를 도시한 것이다.
도 2b는 본 발명의 일 실시예에 따른 정상 조직 영역의 예측 방법에서, 조직 영역 예측 모델을 이용한 의료 영상 내의 정상 조직 영역의 예측 절차를 예시적으로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 정상 조직 영역의 예측 방법 및 이를 이용한 정상 조직 영역 예측용 디바이스에서 이용되는, 정상 조직 영역 예측 모델의 구조를 예시적으로 도시한 것이다.
도 4a는 본 발명의 일 실시예에 따른 정상 조직 영역의 예측 방법 및 이를 이용한 정상 조직 영역 예측용 디바이스에서 이용되는, 두 개의 정상 조직 영역 예측 모델에 대한 평가 기준을 예시적으로 도시한 것이다.
도 4b 내지 4e는 본 발명의 일 실시예에 따른 정상 조직 영역의 예측 방법 및 이를 이용한 정상 조직 영역 예측용 디바이스에서 이용되는, 제1 및 제2 정상 조직 영역 예측 모델에 대한 평가 결과를 도시한 것이다.

발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.

구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.

본 명세서에서 사용되는 용어, "의료 영상"은 CT, MRI, X-ray와 같은 의료 영상 촬영용 디바이스로부터 수신된, 목적 부위에 대한 영상을 의미할 수 있다. 본 발명의 일 실시예에 따르면, 의료 영상은, 3D CT 영상일 수 있으나, 이에 제한되는 것은 아니다.

한편, 본원 명세서 내에서 의료 영상은, 유방 부위에 대한 의료 영상으로, 유방 내 종양 조직과 함께, 이와 구별되는 정상 조직을 포함할 수 있다. 예를 들어, 의료 영상은, 우측 유방의 정상 조직, 좌측 유방의 정상 조직, 우측 폐의 정상 조직, 좌측 폐의 정상 조직, 및 심장의 정상 조직 중 적어도 하나를 포함할 수 있다. 나아가, 의료 영상은 상기 정상 조직을 포함하는 고해상도 의료 영상 및 저해상도 의료 영상을 포함할 수 있다.

한편, 의료 영상은, 목적 부위를 포함하는 2차원 영상, 3차원 영상, 한 컷의 스틸 영상, 복수개의 컷으로 구성된 동영상 등을 의미할 수 있다. 예를 들어, 의료 영상은 복수개의 컷으로 구성된 동영상 영상일 경우, 본 발명의 일 실시예에 따른 정상 조직 영역의 예측 방법에 따라 복수개의 의료 영상 각각에 대한 정상 조직 영역 예측이 가능할 수 있다. 그 결과, 본 발명의 일 실시예에 정상 조직 영역의 예측 방법 및 이를 이용한 디바이스는 의료 영상의 수신과 동시에 정상 조직 영역의 예측 결과를 함께 제공할 수 있다.

본 명세서에서 사용되는 용어, "정상 조직 영역"은 종양 조직 이외의 영역으로, 정상 조직을 포함하는 모든 영역을 의미할 수 있다. 예를 들어, 정상 조직 영역은 다른 영역에 대하여 상이한 픽셀 값, 질감 (texture) 을 가질 수 있다.

한편, 본원 명세서 내에서, 정상 조직 영역은, 우측 유방의 정상 조직, 좌측 유방의 정상 조직, 우측 폐의 정상 조직, 좌측 폐의 정상 조직, 및 심장의 정상 조직 중 적어도 하나에 대한 영역을 포함할 수 있다.

본 명세서에서 사용되는 용어, "제1 정상 조직 영역"은, 의료 영상 내에 존재하는 정상 조직에 대한 모든 후보 영역일 수 있다. 예를 들어, 제1 정상 조직 영역은, 우측 유방의 정상 조직, 좌측 유방의 정상 조직, 우측 폐의 정상 조직, 좌측 폐의 정상 조직, 및 심장의 정상 조직에 대한 영역을 포함하는 복수의 영역일 수 있다.

본 명세서에서 사용되는 용어, "제1 정상 조직 영역 예측 모델"은 의료 영상 내에서 제1 정상 조직 후보 영역을 예측하도록 학습된 예측 모델일 수 있다. 예를 들어, 제1 정상 조직 영역 예측 모델은, 종양 조직과 구별되는 복수의 정상 조직의 영역을 포함하는 의료 영상으로 구성된 데이터 세트를 이용하여, 모든 정상 조직 영역을 예측하도록 학습된 모델일 수 있다. 이러한 학습 방법에 의해, 제1 정상 조직 영역 예측 모델은, 의료 영상 내에서 분할을 목표로 하는 모든 손상 위험 장기들을 분할하여 제공할 수 있다.

한편, 제1 정상 조직 영역의 학습에 이용되는 의료 영상은, 다운 샘플링된 저해상도의 의료 영상일 수 있으나, 이에 제한되는 것은 아니다.

이때, 제1 정상 조직 영역 예측 모델의 출력 채널 수는, 전체 정상 조직의 개수에 배경을 더한 개수일 수 있다. 예를 들어, 분할을 목표로 하는 정상 조직이 우측 유방의 정상 조직, 유방의 정상 조직, 우측 폐의 정상 조직, 좌측 폐의 정상 조직, 및 심장의 정상 조직일 경우, 출력 채널의 개수는 6 (정상 조직의 개수 5 + 배경 1) 개일 수 있다.

본 발명의 다른 특징에 따르면, 제1 정상 조직 영역 예측 모델에 의해 예측된 정상 조직 영역들에 각각에 대하여 복수의 ROI가 설정될 수 있다.

나아가, 복수의 ROI들 각각에 대한 위치 정보 (좌표), 해상도 및 크기가 결정되고, 저장될 수도 있다.

본 명세서에서 사용되는 용어, "제2 정상 조직 영역"은, ROI가 설정된 의료 영상 내에 존재하는 단일의 정상 조직에 대한 영역일 수 있다. 예를 들어, 제2 정상 조직 영역은, 우측 유방의 정상 조직, 또는 좌측 유방의 정상 조직, 또는 우측 폐의 정상 조직, 또는 좌측 폐의 정상 조직, 또는 심장의 정상 조직에 대한 영역일 수 있다.

본 명세서에서 사용되는 용어, "제2 정상 조직 영역 예측 모델"은 제1 정상 조직 영역 예측 모델에 의해 결정된 분할 결과에 기초하여, 상세 의료 영상에 존재하는 단일의 정상 조직 영역인 제2 정상 조직 후보 영역을 예측하도록 학습된 예측 모델일 수 있다. 보다 구체적으로, 제2 정상 조직 영역 예측 모델은, 제1 정상 조직 영역 예측 모델에 의해 결정된 정상 조직 영역들 각각에 대한 복수의 ROI 정보에 기초하여, 고해상도의 의료 영상 내에서 단일의 ROI에 대한 상세 의료 영상을 수신하고, 상세 의료 영상 내에서 단일의 정상 조직 영역을 추가 예측하도록 구성된 모델일 수 있다. 이에, 제2 정상 조직 영역 예측 모델은 해당 ROI의 정확한 분할 결과를 출력할 수 있다.

즉, 본 명세서에서 사용되는 용어, "상세 의료 영상"은, 단일의 정상 조직 후보 영역을 포함하는 고해상도의 의료 영상일 수 있다.

이때, 제2 정상 조직 영역 예측 모델의 출력 채널 수는, 해당 ROI 내의 단일의 정상 조직의 개수에 배경을 더한 개수일 수 있다. 예를 들어, 제2 분할을 목표로 하는 정상 조직이 우측 유방의 정상 조직, 또는 유방의 정상 조직, 또는 우측 폐의 정상 조직, 또는 좌측 폐의 정상 조직, 또는 심장의 정상 조직일 경우, 출력 채널의 개수는 2 (정상 조직의 개수 1 + 배경 1) 개일 수 있다.

즉, 제2 정상 조직 영역 예측 모델은, 유방의 정상 조직 및 유방 인근 기관의 정상 조직에 대한 제2 정상 조직 후보 영역을 각각 예측하도록 구성된, 복수의 예측 모델로 구성될 수 있다. 그러나, 이에 제한되는 것은 아니다.

따라서, 본 발명의 다양한 실시예에서, 의료 영상 내에서의 ROI 설정을 위한 제1 정상 조직 영역 예측 모델 및 ROI 정보에 기초하여 해당 ROI에 대한 정확한 분할 결과를 출력하도록 구성된 제2 정상 조직 영역 예측 모델이 이용됨에 따라, 높은 해상도를 갖는 신뢰도 높은 손상 위험 장기에 대한 컨투어링 결과가 제공될 수 있다.

한편, 예측된 정상 조직 영역에 대한 최종 분류 결과는, 제2 정상 조직 영역 예측 모델에 대하여 미리 결정된 목표 정상 조직에 따라 최종 결정될 수 있다.

그러나 이에 제한되지 않고, 제2 정상 후보 영역에 대하여, 우측 유방의 정상 조직, 또는 유방의 정상 조직, 또는 우측 폐의 정상 조직, 또는 좌측 폐의 정상 조직, 또는 심장의 정상 조직으로 각각 분류하도록 학습된 분류 모델에 기초할 수도 있다.

나아가, 본 발명의 다양한 실시예에서 이용되는 정상 조직 영역 예측 모델들은, 본 명세서에서 학습 조건에 따라 제1 정상 조직 영역 예측 모델, 제2 정상 조직 영역 예측 모델로서 구별되어 개시될 뿐, 이들의 목적이 상이한 것을 의미하는 것은 아니다.

더욱이, 본 명세서에서 개시되는 정상 조직 영역 예측 모델들은, 픽셀 단위로 복수의 영역에 대한 확률, 예를 들어, 정상 조직 영역일 확률, 또는 배경일 확률을 각각 산출하여, 최종 영역을 예측하도록 구성될 수도 있다.

이하에서는 도 1a 및 1b를 참조하여, 본 발명의 일 실시예에 따른 정상 조직 영역 예측용 디바이스를 설명한다.

도 1a는 본 발명의 일 실시예에 따른 정상 조직 영역 예측용 디바이스에 기초한, 정상 조직 영역 예측 시스템을 예시적으로 도시한 것이다. 도 1b은 본 발명의 일 실시예에 따른 정상 조직 영역 예측용 디바이스의 구성을 도시한 것이다.

먼저, 도 1a를 참조하면, 정상 조직 영역 예측 시스템 (1000) 은, 본 발명의 정상 조직 예측용 디바이스 (100) 및 의료 영상 촬영용 디바이스 (300) 로 구성된다.

보다 구체적으로, 본 발명의 정상 조직 예측용 디바이스 (100) 는, 의료 영상 촬영용 디바이스 (300) 로부터 피검자에 대한 의료 영상을 수신할 수 있다.

이때, 의료 영상은, 피검자에 대한 유방부에 대한 의료영상일 수 있다. 보다 구체적으로, 의료 영상은, 유방 내 종양 조직과 구별되는, 유방의 정상 조직 또는 유방 인근 기관의 정상 조직을 포함할 수 있다. 이때, 유방의 정상 조직은, 우측 유방의 정상 조직 또는 좌측 유방의 정상 조직이고, 유방 인근 기관의 정상 조직은, 우측 폐의 정상 조직, 좌측 폐의 정상 조직, 및 심장의 정상 조직 중 적어도 하나 포함할 수 있다.

한편, 본 발명의 특징에 따르면, 의료 영상은, 3D CT 영상일 수 있으나 이에 제한되는 것은 아니다.

본 발명의 정상 조직 예측용 디바이스 (100) 는, 의료 영상 촬영용 디바이스 (300) 로부터 수신한 의료 영상 내에서, 복수의 정상 조직 후보 영역을 예측하여 제공할 수 있다.

보다 구체적으로, 도 1b를 함께 참조하면, 본 발명의 정상 조직 예측용 디바이스 (100) 는 수신부 (110), 입력부 (120), 출력부 (130), 저장부 (140) 및 프로세서 (150) 를 포함한다.

이때, 수신부 (110) 는, 전술한 바와 같이 의료 영상 촬영용 디바이스 (300) 로부터, 유방의 정상 조직 또는 유방 인근 기관의 정상 조직을 포함하는 의료 영상을 수신하도록 구성될 수 있다.

본 발명의 특징에 따르면, 수신부 (110) 는, 후술할 프로세서에 의해 결정된 ROI의 좌표, 해상도 및 크기 중 적어도 하나를 포함하는 ROI의 정보에 기초하여, ROI에 해당하는 상세 의료 영상을 수신하도록 더 구성될 수 있다.

이때, 상세 의료 영상은 단일의 정상 조직 후보 영역을 포함하는 고해상도 영상일 수 있으나, 이에 제한되는 것은 아니다.

본 발명의 다른 특징에 따르면 수신부 (110) 는, 복수의 단층 의료 영상을 포함하는, 3차원 의료 영상을 수신하도록 더 구성될 수 있다.

다음으로, 입력부 (120) 는 키보드, 마우스, 터치 스크린 패널 등 제한되지 않는다. 입력부 (120) 는 정상 조직 영역 예측용 디바이스 (100) 를 설정하고, 정상 조직 영역 예측용 디바이스 (100) 의 동작을 지시할 수 있다. 예를 들어, 사용자는 입력부 (120) 를 통해, 수신부 (110) 에 의해 수신된 의료 영상 내에서, 정상 조직 후보 영역을 직접 결정할 수 있다.

출력부 (130) 는 수신부 (110) 에 의해 수신된 의료 영상을 시각적으로 표시할 수 있다. 나아가, 출력부 (130) 는 프로세서에 의해 결정된 컨투어링에 관한 정보를 출력하도록 더욱 구성될 수 있다. 또한, 출력부 (130) 는 정상 조직 후보 영역 및 분류 결과가 표시된 의료 영상을 제공하도록 구성될 수 있다.

한편, 출력부 (130) 는 후술할 프로세서 (150) 에 의해 정상 조직 후보 영역이 결정되지 않은 경우, 사용자가 이 사실을 용이하게 인지할 수 있게 알림을 출력하도록 구성될 수도 있다.

저장부 (140) 는 수신부 (110) 를 통해 수신한 피검자의 의료 영상을 저장하고, 입력부 (120) 를 통해 설정된 정상 조직 영역 예측용 디바이스 (100) 의 지시를 저장하도록 구성될 수 있다. 나아가, 저장부 (140) 는 후술될 프로세서 (150) 에 의해 결정된 정상 조직 후보 영역을 저장할 수 있고, 결정된 각각의 영역에 대하여 예측된 확률의 결과를 저장하도록 구성될 수도 있다. 그러나, 전술한 것에 제한되지 않고 저장부 (140) 는, 정상 조직 영역 예측을 위해 프로세서 (150) 에 의해 결정된 다양한 정보들을 저장할 수 있다.

프로세서 (150) 는 정상 조직 영역 예측용 디바이스 (100) 에 대하여 정확한 예측 결과를 제공하기 위한 구성 요소일 수 있다. 이때, 정상 조직 영역의 예측을 위해 프로세서 (150) 는 의료 영상 내에서 모든 정상 조직 후보 영역을 예측하여 위치 정보를 결정하도록 구성된 예측 모델과, 해당 위치 정보에 기초하여 단일의 정상 후보 영역을 예측하도록 구성된 예측 모델을 이용하도록 구성될 수 있다. 예를 들어, 프로세서 (150) 는 의료 영상 내에서 모든 제1 정상 조직 후보 영역을 예측하도록 구성된 제1 정상 조직 영역 예측 모델을 이용할 수 있다. 나아가, 프로세서 (150) 는, 제1 정상 조직 영역 예측 모델에 의해 예측된 제1 정상 조직 후보 영역에 대한 위치 정보에 기초하여, 제2 정상 조직 후보 영역을 예측하도록 구성된 제2 정상 조직 영역 예측 모델을 이용할 수 있다. 이에, 프로세서 (150) 는 수신부 (110) 로부터 수신한 의료 영상 내에서 보다 정확하게 정상 조직 영역을 예측할 수 있다.

본 발명의 특징에 따르면, 프로세서 (150) 는, 제1 정상 조직 후보 영역을 포함하는 ROI (region of interest) 를 결정하고, 제2 정상 조직 영역 예측 모델을 이용하여, 상세 의료 영상 내에서 상기 제2 정상 조직 후보 영역을 예측하도록 더 구성될 수 있다.

본 발명의 다른 특징에 따르면, 프로세서 (150) 는, 제2 정상 조직 후보 영역의 좌표를 결정하고, 제2 정상 조직 후보 영역의 좌표 및 ROI의 좌표를 하나의 좌표로 통합하도록 더 구성될 수 있다.

이때, 프로세서 (150) 에 의해 통합된 좌표에 기초하여, 의료 영상 내에서 정상 조직 영역이 최종 결정될 수도 있다.

본 발명의 또 다른 특징에 따르면, 프로세서 (150) 는, 제1 정상 조직 영역 예측 모델을 이용하여, 수신부 (110) 를 통해 획득된 3차원 의료 영상에 대하여 제1 정상 조직 후보 영역을 예측하고, 제2 정상 조직 영역 예측 모델을 이용하여, 3차원 의료 영상에 대하여 예측된 제1 정상 조직 후보 영역에 기초하여, 제2 정상 조직 후보 영역을 예측하도록 더 구성될 수 있다.

본 발명의 또 다른 특징에 따르면, 프로세서 (150) 는, 제2 정상 조직 영역 예측 모델에 의한 분류 결과에 기초하여 방사선 치료 계획을 결정하도록 더 구성될 수 있다.

즉, 방사선 치료 계획에 있어서, 프로세서 (150) 에 의해 결정된 정상 조직 영역은 손상 위험 장기로 설정되고, 이후 손상 위험 장기를 피해 방사선이 조사되도록 치료 계획이 결정될 수 있다.

본 발명의 다른 실시예에 따르면, 프로세서 (150) 에 이용되는 제1 정상 조직 영역 예측 모델 또는 상기 제2 정상 조직 영역 예측 모델은, DenseNet, GoogLeNet, ResNet, AlexNet, U-net 및 VGG-Net 중 적어도 하나의 네트워크에 기초한 모델일 수 있으나, 이에 제한되는 것은 아니다.

이상의 본 발명의 정상 조직 예측용 디바이스 (100) 에 기초한, 정상 조직 영역 예측 시스템에 따라, 의료 영상 내에서 정상 조직에 대한 컨투어링이 가능할 수 있다. 특히, 본 발명의 정상 조직 예측용 디바이스 (100) 는, 두 개의 예측 모델을 이용함에 따라, 사용자의 숙련도에 영향을 받지 않는, 정확하고 신속한 컨투어링 결과를 제공할 수 있다.

이하에서는, 도 2a 내지 도 2b를 참조하여, 본 발명의 일 실시예에 따른 정상 조직 영역의 예측 방법을 구체적으로 설명한다. 이때, 예측을 목표로하는 정상 조직 영역은, 우측 유방의 정상 조직, 좌측 유방의 정상 조직과 같은 유방 내 정상 조직에 대한 영역과 우측 폐의 정상 조직, 좌측 폐의 정상 조직, 및 심장의 정상 조직과 같은 유방 인근 기관의 정상 조직에 대한 영역일 수 있으나, 이에 제한되는 것은 아니다.

도 2a는 본 발명의 일 실시예에 따른 정상 조직 영역의 예측 방법의 절차를 도시한 것이다. 도 2b는 본 발명의 일 실시예에 따른 정상 조직 영역의 예측 방법에서, 조직 영역 예측 모델을 이용한 의료 영상 내의 정상 조직 영역의 예측 절차를 예시적으로 도시한 것이다.

도 2a를 참조하면, 본 발명의 일 실시예에 따른 정상 조직 영역의 예측 절차는 다음과 같다. 먼저, 유방의 정상 조직 또는 유방 인근 기관의 정상 조직을 포함하는 의료 영상이 수신된다 (S210). 그 다음, 제1 정상 조직 영역 예측 모델에 의해, 의료 영상 내에서 제1 정상 조직 후보 영역이 예측된다 (S220). 다음으로, 제2 정상 조직 영역 예측 모델에 의해, 의료 영상 내에서 제2 정상 조직 후보 영역이 예측된다 (S230). 마지막으로, 제2 정상 조직 후보 영역이 유방의 정상 조직 또는 유방 인근 기관의 정상 조직으로 분류된다 (S240).

보다 구체적으로, 의료 영상을 수신하는 단계 (S210) 에서, 우측 유방의 정상 조직 또는 좌측 유방의 정상 조직의 유방의 정상 조직 및/또는 우측 폐의 정상 조직, 좌측 폐의 정상 조직, 및 심장의 정상 조직 중 적어도 하나의 유방 인근 기관의 정상 조직을 포함하는 의료 영상이 수신될 수 있다.

본 발명의 특징에 따르면, 의료 영상을 수신하는 단계 (S210) 에서, 복수의 단층 의료 영상을 포함하는, 3차원 의료 영상이 수신될 수 있다.

본 발명의 다른 특징에 따르면, 의료 영상을 수신하는 단계 (S210) 에서, 정상 조직을 포함하는 저해상도 의료 영상 또는 고해상도 의료 영상이 수신될 수 있다.

한편, 의료 영상을 수신하는 단계 (S210) 에서, 수신된 의료 영상이 3차원 CT 영상과 같은 고용량 및 고해상도 영상일 경우, 의료 영상을 수신하는 단계 (S210) 이후에, 고해상도 의료 영상에 대한 다운 샘플링이 진행될 수 있다.

예를 들어, 도 2b를 참조하면, 의료 영상을 수신하는 단계 (S210) 에서, 피검자의 유방 부위에 대한 고해상도 의료 영상 (212) 이 수신될 수 있다. 이때, 고해상도 의료 영상 (212) 은 x, y 방향 1/2 수준으로 다운 샘플링 될 수 있고, 그 결과 저해상도 의료 영상 (214) 이 획득될 수 있다.

다시 도 2a를 참조하면, 의료 영상 내에서 제1 정상 조직 후보 영역을 예측하는 단계 (S220) 가 수행된다.

보다 구체적으로, 제1 정상 조직 후보 영역을 예측하는 단계 (S220) 에서, 의료 영상에 대하여, 우측 유방의 정상 조직에 대한 후보 영역, 좌측 유방의 정상 조직에 대한 후보 영역, 우측 폐의 정상 조직에 대한 후보 영역, 좌측 폐의 정상 조직에 대한 후보 영역, 및 심장의 정상 조직에 대한 후보 영역 중 적어도 하나의 정상 조직 영역이 예측될 수 있다.

보다 구체적으로, 제1 정상 조직 후보 영역을 예측하는 단계 (S220) 에서, 제1 정상 조직 영역 예측 모델에 의해, 정상 조직으로 예측되는 모든 후보 영역이 분할될 수 있다.

본 발명의 특징에 따르면, 제1 정상 조직 후보 영역을 예측하는 단계 (S220) 에서, 제1 정상 조직 영역 예측 모델에 의해, 복수의 단층 의료 영상을 포함하는, 3차원 의료 영상에 대한, 제1 정상 조직 후보 영역이 예측될 수 있다.

한편, 본 발명의 다른 특징에 따르면, 제1 정상 조직 후보 영역을 예측하는 단계 (S220) 이후에, 제1 정상 조직 후보 영역을 포함하는 ROI를 결정하는 단계, 및 결정된 ROI의 정보에 기초하여, ROI에 해당하는 상세 의료 영상을 수신하는 단계가 더 수행될 수 있다.

예를 들어, 도 2b를 함께 참조하면, 제1 정상 조직 후보 영역을 예측하는 단계 (S220) 에서, 제1 정상 조직 영역 예측 모델 (222) 에, 저해상도 의료 영상 (214) 이 입력된다. 그 다음, 저해상도 의료 영상 (214) 에 대하여 복수의 제1 정상 조직 후보 영역 (224a, 224b, 224c, 224d 및 224e) 이 분할 및 예측된다.

다음으로, 복수의 제1 정상 조직 후보 영역 (224a, 224b, 224c, 224d 및 224e) 각각에 대하여 복수의 ROI (226a, 226b, 226c, 226d 및 226e) 가 결정된다. 이때, 복수의 ROI (226a, 226b, 226c, 226d 및 226e) 는, ROI의 좌표, 해상도 및 크기 중 적어도 하나의 ROI 정보를 포함할 수 있다.

이에, 복수의 ROI가 결정된 이후, ROI 각각에 대한 정보에 기초하여, 고해상도 의료 영상 (212) 내에서 복수의 상세 의료 영상 (228a, 228b, 228c, 228d 및 228e) 가 결정된다. 즉, 단일의 정상 조직 후보 영역에 대한 ROI를 포함하는 고해상도의 의료 영상이 획득될 수 있다.

다시 도 2a를 참조하면, 제2 정상 조직 후보 영역을 예측하는 단계 (S230) 가 수행된다.

보다 구체적으로, 제2 정상 조직 후보 영역을 예측하는 단계 (S230) 에서, 제2 정상 조직 영역 예측 모델에 의해, 단일의 정상 조직 후보 영역이 분할될 수 있다.

본 발명의 특징에 따르면, 제2 정상 조직 후보 영역을 예측하는 단계 (S230) 에서, 제2 정상 조직 영역 예측 모델에 의해, 3차원 의료 영상에 대한, 제2 정상 조직 후보 영역이 예측될 수 있다.

본 발명의 다른 특징에 따르면, 제2 정상 조직 후보 영역을 예측하는 단계 (S230) 에서, 제2 정상 조직 영역 예측 모델을 이용하여, 상세 의료 영상 내에서 제2 정상 조직 후보 영역이 예측될 수 있다.

예를 들어, 도 2b를 다시 참조하면, 제2 정상 조직 후보 영역을 예측하는 단계 (S230) 에서, 복수의 상세 의료 영상 (228a, 228b, 228c, 228d 및 228e) 중 선택된 상세 의료 영상 (228d) 이 제2 정상 조직 영역 예측 모델 (232) 에 입력된다. 이때, 제2 정상 조직 영역 예측 모델 (232) 은, 복수의 정상 조직 후보 영역 중 미리 결정된, 단일의 정상 조직을 분할하도록 구성될 수 있다.

그 다음, 상세 의료 영상 (228d) 에 대하여 단일의 제2 정상 조직 후보 영역 (234d) 이 분할 및 예측된다.

이때, 제2 정상 조직 후보 영역 예측 모델 (232) 은, 정상 조직 영역의 종류에 따라, 복수개로 구성될 수 있다. 즉, 제2 정상 조직 후보 영역을 예측하는 단계 (S230) 에서, 나머지 상세 의료 영상들 (228a, 228b, 228c 및 228e) 각각을 분할하도록 학습된 복수의 제2 정상 조직 영역 예측 모델 (미도시) 을 이용하여, 제2 정상 조직 후보 영역 (미도시) 이 각각 예측될 수 있다.

다시 도 2a를 참조하면, 제2 정상 조직 후보 영역을 유방의 정상 조직 또는 유방 인근 기관의 정상 조직으로 분류하는 단계 (S240) 에서, 제2 정상 조직 후보 영역이, 우측 유방의 정상 조직, 또는 좌측 유방의 정상 조직, 또는 우측 폐의 정상 조직, 또는 좌측 폐의 정상 조직, 또는 심장의 정상 조직으로 분류될 수 있다.

예를 들어, 도 2b를 함께 참조하면, 제2 정상 조직 후보 영역을 유방의 정상 조직 또는 유방 인근 기관의 정상 조직으로 분류하는 단계 (S240) 에서, 제2 정상 조직 영역 예측 모델 (232) 에 의해 예측된 단일의 제2 정상 조직 후보 영역 (234d) 이, 최종적으로 좌측 폐의 정상 조직 (Lung L) 으로 결정될 수 있다.

한편, 본 발명의 특징에 따르면, 제2 정상 조직 후보 영역을 유방의 정상 조직 또는 유방 인근 기관의 정상 조직으로 분류하는 단계 (S240) 이후에, 제2 정상 조직 후보 영역의 좌표를 결정하고, 제2 정상 조직 후보 영역의 좌표 및 상기 ROI의 좌표를 하나의 좌표로 통합하는 단계가 더욱 수행될 수 있다.

본 발명의 다른 특징에 따르면, 제2 정상 조직 후보 영역을 유방의 정상 조직 또는 유방 인근 기관의 정상 조직으로 분류하는 단계 (S240) 이후에, 제2 정상 조직 영역 예측 모델에 의한 분류 결과에 기초하여 방사선 치료 계획을 결정하는 단계가 더욱 수행될 수도 있다.

본 발명의 또 다른 특징에 따르면, 제2 정상 조직 후보 영역을 유방의 정상 조직 또는 유방 인근 기관의 정상 조직으로 분류하는 단계 (S240) 이후에, 예측된 정상 조직 후보 영역 및 분류 결과를 상기 의료 영상 내에 표시하여 제공하는 단계가 더욱 수행될 수 있다.

예를 들어, 도 2b를 함께 참조하면, 예측된 정상 조직 후보 영역 및 분류 결과를 상기 의료 영상 내에 표시하여 제공하는 단계에서, 복수의 제2 정상 조직 영역 예측 모델 (미도시) 각각에 의해 예측된 복수의 제2 정상 조직 후보 영역 (미도시) 에 대한 분류 결과가 통합될 수 있다. 즉, 제2 정상 조직 후보 영역 (234a, 234b, 234c, 234d 및 234e) 및 이들 각각에 대하여 결정된, 좌측 유방의 정상 조직 (Breast L), 우측 유방의 상 조직 (Breast R), 심장의 정상 조직 (Heart), 좌측 폐의 정상 조직 (Lung L) 및 우측 폐의 정상 조직 (Lung R) 의 분할 결과가 표시된 의료 영상 (242) 이 제공될 수 있다.

이상의 본 발명의 일 실시예에 따른 정상 조직 영역의 예측 방법에 의해, 손상 위험 장기에 대한 정보를 제공함에 따라, 의료진은 빠르고 정확한 컨투어링 작업이 가능할 수 있다. 이에, 본 발명은, 유방암을 진단 받은 개체에 대하여, 보다 정확하고 빠르게 방사선 치료 계획을 결정할 수도 있다.

이하에서는, 도 3을 참조하여, 본 발명의 다른 실시예에 따른 정상 조직 영역의 예측 방법에 적용되는 정상 조직 영역 예측 모델을 구체적으로 설명한다. 이때, 제1 정상 조직 영역 예측 모델 및 제2 정상 조직 영역 예측 모델로, DenseNet이 이용될 수 있다. 그러나, 이에 제한되지 않고, 의료 영상 내에서 정상 조직 영역을 분할하는 한, GoogLeNet, ResNet, AlexNet, U-net 또는 VGG-Net 등의 다양한 네트워크에 기반한 예측 모델이 적용될 수 있다.

보다 구체적으로, 도 3을 참조하면, 본 발명의 본 발명의 다양한 실시예에서 이용되는 제1 정상 조직 영역 예측 모델 및 제2 정상 조직 영역 예측 모델은, 크게 복수의 DB (Dense Block) 층, TB (Transition Down) 층, TU (Transition Up) 층으로 이루어진 네트워크이다. 이때, 네트워크에 적용되는 DB는, 하이-레벨 특징 (high-level feature) 정보의 손실을 최소화함으로써, 로우-레벨 특징 (low-level feature) 정보에 의존하여 학습되는 BB (Bottleneck Block) 의 한계를 극복할 수 있다.

제1 정상 조직 영역 예측 모델의 경우, 복수의 정상 조직 영역을 포함하는 의료 영상이 입력되면, 컨볼루션 (Convolution) 층을 지나, 반복되는 DB 층 및 TB 층을 거친 후, 다시 DB 층을 지나, 영역 분할 과정을 거친다. 이후, 반복되는 TU 층 및 DB 층을 거친 후 최종적으로, 컨볼루션 층을 지나, 배경 영역과 구별되는 제1 정상 조직 후보 영역, 예를 들어 우측 유방의 정상 조직, 좌측 유방의 정상 조직, 우측 폐의 정상 조직, 좌측 폐의 정상 조직, 및 심장의 정상 조직에 대한 영역이 분할되어 출력된다.

나아가, 제2 정상 조직 영역 예측 모델의 경우, 단일의 ROI를 포함하는 상세 의료 영상이 입력되면, 컨볼루션 층을 지나, 반복되는 DB 층 및 TB 층을 거친 후, 다시 DB 층을 지나, 영역 분할 과정을 거친다. 이후, 반복되는 TU 층 및 DB 층을 거친 후 최종적으로, 컨볼루션 층을 지나, 배경 영역과 구별되는, 제2 정상 조직 후보 영역, 예를 들어 우측 유방의 정상 조직, 또는 좌측 유방의 정상 조직, 또는 우측 폐의 정상 조직, 또는 좌측 폐의 정상 조직, 또는 심장의 정상 조직에 대한 영역이 분할되어 출력된다.

한편, 본 발명의 다양한 실시예에서 이용되는 제1 정상 조직 영역 예측 모델 및 제2 정상 조직 영역 예측 모델의 구조적 특징은 이에 제한되는 것이 아니다.

예를 들어, 제1 정상 조직 영역 예측 모델 및 제2 정상 조직 영역 예측 모델은, 3D 의료 영상에 대한 분할이 가능함에 따라 3D 네트워크가 적용될 수 있다. 나아가, 각 블록별 뎁스 (depth) 는, [3, 4, 4, 5, 10] 으로 설정될 수 있고, 성장률 (growth rate) 은 12로 설정될 수 있다. 또한, 배치 정규화 (Batch normalization) 층이 제거된 네트워크가 적용될 수 있고, 배치 사이즈가 1로 설정된 후 학습될 수 있다. 한편, 특징 추출 과정인 인코딩 단계에서 드롭아웃 (dropout) 이 적용될 경우, 최종 하이-레벨 특징이 안정적으로 생성되지 않을 가능성이 있어, 본 발명의 네트워크는 디코딩 이전에 한 번 드롭아웃이 적용될 수도 있다.

이상의 구조적 특징에 따라, 본 발명의 제1 정상 조직 영역 예측 모델 및 제2 정상 조직 영역 예측 모델은, 입력된 의료 영상에 대하여 빠르고 정확하게 정상 조직 영역을 분할하여 제공할 수 있다.

실시예: 정상 조직 영역 예측 모델의 평가

이하의 실시예에서는, 도 4a 내지 4e를 참조하여, 본 발명의 다양한 실시예에 이용되는 제1 정상 조직 영역 예측 모델 및 제2 정상 조직 영역 예측 모델의 평가 방법 및 결과를 설명한다.

도 4a는 본 발명의 일 실시예에 따른 정상 조직 영역의 예측 방법 및 이를 이용한 정상 조직 영역 예측용 디바이스에서 이용되는, 두 개의 정상 조직 영역 예측 모델에 대한 평가 기준을 예시적으로 도시한 것이다. 도 4b 내지 4e는 본 발명의 일 실시예에 따른 정상 조직 영역의 예측 방법 및 이를 이용한 정상 조직 영역 예측용 디바이스에서 이용되는, 제1 및 제2 정상 조직 영역 예측 모델에 대한 평가 결과를 도시한 것이다.

본 평가는 3D CT 영상에 대한, 우측 유방의 정상 조직, 좌측 유방의 정상 조직, 우측 폐의 정상 조직, 좌측 폐의 정상 조직, 및 심장의 정상 조직에 대한 영역 예측 결과에 기초하여 수행되었다. 이때, 1 및 제2 정상 조직 영역 예측 모델에 의해 분할된 최종 분할 결과에 대한 평가가 수행되었으나, 본 발명의 효과는 이에 제한되는 것이 아니다.

이때, 총 30 명의 유방암 환자 중, 26 명의 유방암 환자들에 대한 3D CT 영상이 예측 모델의 학습에 이용되었고, 2 명의 유방암 유방암 환자들에 대한 3D CT 영상이 검증에 이용되었으며, 2 명의 유방암 환자들에 대한 3D CT 영상이 평가에 이용되었다.

먼저, 도 4a를 참조하면, 미리 의료 영상 내에 마스킹된 정답 영역 (A) 와 1 정상 조직 영역 예측 모델 또는 제2 정상 조직 영역 예측 모델에 의해 의료 영상 내에서 분할된 예측 영역 (B) 에 대한 다이스 계수 (Dice Coefficient) 가 산출됨으로써, 예측 모델에 대한 평가가 수행될 수 있다.

[수학식 1]

다이스 계수 =

도 4b 및 4c를 참조하면, 입력된 3D CT 영상에 대한 시계열적 영역 분할 결과가 도시된다. 보다 구체적으로, 제1 정상 조직 영역 예측 모델 및 제2 정상 조직 영역 예측 모델에 의한 분할 결과 (Segmented result) 와 미리 라벨링된 영역 (Label) 을 비교하면, 본 발명의 정상 조직 영역 예측 모델에 의한 정상 조직의 분할된 영역이 미리 라벨링된 영역과 유사한 것으로 나타난다. 특히, 도 4c를 참조하면, 정상 조직 영역 예측 모델에 의해 분할된 좌측 유방의 정상 조직 (Breast_L), 우측 유방의 상 조직 (Breast_R), 심장의 정상 조직 (Heart), 좌측 폐의 정상 조직 (Lung_L) 및 우측 폐의 정상 조직 (Lung_R) 각각에 대한 다이스 계수가 0.92, 0.91, 0.92, 0.96 및 0.96으로 매우 높은 수준으로 나타난다.

도 4d 및 4e를 더욱 참조하면, 입력된 3D CT 영상에 대한 시계열적 영역 분할 결과가 도시된다. 보다 구체적으로, 제1 정상 조직 영역 예측 모델 및 제2 정상 조직 영역 예측 모델에 의한 분할 결과 (Segmented result) 와 미리 라벨링된 영역 (Label) 을 비교하면, 본 발명의 정상 조직 영역 예측 모델에 의한 정상 조직의 분할된 영역이 미리 라벨링된 영역과 유사한 것으로 나타난다. 특히, 도 4c를 참조하면, 정상 조직 영역 예측 모델에 의해 분할된 좌측 유방의 정상 조직 (Breast_L), 우측 유방의 상 조직 (Breast_R), 심장의 정상 조직 (Heart), 좌측 폐의 정상 조직 (Lung_L) 및 우측 폐의 정상 조직 (Lung_R) 각각에 대한 다이스 계수가 0.92, 0.91, 0.92, 0.96 및 0.96으로 매우 높은 수준으로 나타난다.

즉, 이와 같은 결과는, 본 발명의 정상 조직 영역 예측 모델들이, 의료 영상 내에서 정상 조직들에 대한 신뢰도 높은 컨투어링 결과를 제공하는 것을 의미할 수 있다.

이상의 실시예의 결과로, 본 발명의 다양한 실시예에 따른 정상 조직 영역의 예측 방법 및 이를 이용한 디바이스는, 정상 조직 영역 예측 모델을 이용함에 따라, 의료 영상 내에서 정상 조직 영역을 예측할 수 있는 효과가 있다.

특히, 본 발명은, 두 개의 정상 조직 영역 예측 모델을 이용함으로써, 사용자의 숙련도에 따라 컨투어링의 오차율이 높은 부위에 대하여, 정확한 분할 결과를 제공할 수 있다.

나아가, 본 발명은 3D CT 영상과 같은 대용량, 또는 고해상도의 의료 영상에 대한 정상 조직 영역 분할을 진행할 경우, 적용 가능한 네트워크에 제한을 해결할 수 있고, 의료 영상에 대한 다운 샘플링 (down sampling) 작업이 필수적일 수 있는 GPU 메모리의 한계를 극복할 수 있는 효과가 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 정상 조직 영역 예측용 디바이스
110: 수신부
120: 입력부
130: 출력부
140: 저장부
212: 고해상도 의료 영상
214: 저해상도 의료 영상
222: 제1 정상 조직 영역 예측 모델
224a, 224b, 224c, 224d 및 224e: 제1 정상 조직 후보 영역
226a, 226b, 226c, 226d 및 226e: ROI
228a, 228b, 228c, 228d 및 228e: 상세 의료 영상
232: 제2 정상 조직 영역 예측 모델
234a, 234b, 234c, 234d 및 234e: 제2 정상 조직 후보 영역
242: 분할 결과가 표시된 의료 영상
300: 의료 영상 촬영용 디바이스
1000: 정상 조직 영역 예측 시스템

Claims

유방 내 종양 조직과 구별되는, 유방의 정상 조직 또는 유방 인근 기관의 정상 조직을 포함하는 의료 영상을 수신하는 단계;
의료 영상에 기초하여 정상 조직의 영역을 예측하도록 구성된 제1 정상 조직 영역 예측 모델을 이용하여, 상기 의료 영상 내에서 제1 정상 조직 후보 영역을 예측하는 단계;
상기 제1 정상 조직 영역 예측 모델과 상이한, 제2 정상 조직 영역 예측 모델을 이용하여, 상기 제1 정상 조직 후보 영역에 기초하여 상기 의료 영상 내에서 제2 정상 조직 후보 영역을 예측하는 단계, 및
상기 제2 정상 조직 후보 영역을 유방의 정상 조직 또는 상기 유방 인근 기관의 정상 조직으로 분류하는 단계를 포함하는, 정상 조직 영역의 예측 방법.
제1항에 있어서,
상기 제1 정상 조직 후보 영역을 예측하는 단계 이후에 수행되는,
상기 제1 정상 조직 후보 영역을 포함하는 ROI (region of interest) 를 결정하는 단계, 및
결정된 상기 ROI의 좌표, 해상도 및 크기 중 적어도 하나를 포함하는 상기 ROI의 정보에 기초하여, 상기 ROI에 해당하는 상세 의료 영상을 수신하는 단계를 더 포함하고,
상기 제2 정상 조직 후보 영역을 예측하는 단계는,
상기 제2 정상 조직 영역 예측 모델을 이용하여, 상기 상세 의료 영상 내에서 상기 제2 정상 조직 후보 영역을 예측하는 단계를 포함하는, 정상 조직 영역의 예측 방법.
제2항에 있어서,
상기 ROI의 정보는, 상기 ROI의 좌표를 포함하고,
상기 제2 정상 조직 후보 영역을 예측하는 단계 이후에 수행되는,
상기 제2 정상 조직 후보 영역의 좌표를 결정하는 단계, 및
상기 제2 정상 조직 후보 영역의 좌표 및 상기 ROI의 좌표를 하나의 좌표로 통합하는 단계를 더 포함하는, 정상 조직 영역의 예측 방법.
제1항에 있어서,
상기 의료 영상은,
상기 정상 조직을 포함하는 저해상도 의료 영상 또는 고해상도 의료 영상인, 정상 조직 영역의 예측 방법.
제1항에 있어서,
상기 정상 조직은,
상기 유방의 정상 조직 및 상기 유방 인근 기관의 정상 조직을 포함하고,
상기 유방의 정상 조직은,
우측 유방의 정상 조직 또는 좌측 유방의 정상 조직이고,
상기 유방 인근 기관의 정상 조직은,
우측 폐의 정상 조직, 좌측 폐의 정상 조직, 및 심장의 정상 조직 중 적어도 하나인, 정상 조직 영역의 예측 방법.
제5항에 있어서,
상기 제2 정상 조직 영역 예측 모델은,
상기 유방의 정상 조직 및 상기 유방 인근 기관의 정상 조직에 대한 제2 정상 조직 후보 영역을 각각 예측하도록 구성된, 복수의 예측 모델인, 정상 조직 영역의 예측 방법.
제1항에 있어서,
상기 의료 영상은,
복수의 단층 의료 영상을 포함하는, 3차원 의료 영상이고,
상기 제1 정상 조직 후보 영역을 예측하는 단계는,
상기 제1 정상 조직 영역 예측 모델을 이용하여, 상기 복수의 단층 의료 영상 각각에 대하여 상기 제1 정상 조직 후보 영역을 예측하는 단계를 포함하고,
상기 제2 정상 조직 후보 영역을 예측하는 단계는,
상기 제2 정상 조직 영역 예측 모델을 이용하여, 상기 복수의 단층 의료 영상 각각에 대하여 예측된 제1 정상 조직 후보 영역에 기초하여, 상기 복수의 단층 의료 영상 각각에 대한 상기 제2 정상 조직 후보 영역을 예측하는 단계를 포함하는, 정상 조직 영역의 예측 방법.
제1항에 있어서,
상기 유방의 정상 조직 또는 상기 유방 인근 기관의 정상 조직으로 분류하는 단계 이후에 수행되는,
상기 제2 정상 조직 영역 예측 모델에 의한 분류 결과에 기초하여 방사선 치료 계획을 결정하는 단계를 더 포함하는, 정상 조직 영역의 예측 방법.
제1항에 있어서,
상기 유방의 정상 조직 또는 상기 유방 인근 기관의 정상 조직으로 분류하는 단계 이후에 수행되는,
예측된 정상 조직 후보 영역 및 분류 결과를 상기 의료 영상 내에 표시하여 제공하는 단계를 더 포함하는, 정상 조직 영역의 예측 방법.
제1항에 있어서,
상기 제1 정상 조직 영역 예측 모델 또는 상기 제2 정상 조직 영역 예측 모델은,
DenseNet, GoogLeNet, ResNet, AlexNet, U-net 및 VGG-Net 중 적어도 하나의 네트워크에 기초한 모델인, 정상 조직 영역의 예측 방법.
유방 내 종양 조직과 구별되는, 유방의 정상 조직 또는 유방 인근 기관의 정상 조직을 포함하는 의료 영상을 수신하도록 구성된 수신부, 및
상기 수신부와 연결된 프로세서를 포함하고,
상기 프로세서는,
의료 영상에 기초하여 정상 조직의 영역을 예측하도록 구성된 제1 정상 조직 영역 예측 모델을 이용하여, 상기 의료 영상 내에서 제1 정상 조직 후보 영역을 예측하고, 상기 제1 정상 조직 영역 예측 모델과 상이한, 제2 정상 조직 영역 예측 모델을 이용하여, 상기 제1 정상 조직 후보 영역에 기초하여 상기 의료 영상 내에서 제2 정상 조직 후보 영역을 예측하고, 상기 제2 정상 조직후보 영역을 유방의 정상 조직 또는 상기 유방 인근 기관의 정상 조직으로 분류하도록 구성된, 정상 조직 영역의 예측용 디바이스.
제11항에 있어서,
상기 프로세서는,
상기 제1 정상 조직 후보 영역을 포함하는 ROI (region of interest) 를 결정하도록 더 구성되고,
상기 수신부는,
상기 ROI의 좌표, 해상도 및 크기 중 적어도 하나를 포함하는 상기 ROI의 정보에 기초하여, 상기 ROI에 해당하는 상세 의료 영상을 수신하도록 더 구성되고,
상기 프로세서는,
상기 제2 정상 조직 영역 예측 모델을 이용하여, 상기 상세 의료 영상 내에서 상기 제2 정상 조직 후보 영역을 예측하도록 더 구성된, 정상 조직 영역의 예측용 디바이스.
제12항에 있어서,
상기 ROI의 정보는, 상기 ROI의 좌표를 포함하고,
상기 프로세서는,
상기 제2 정상 조직 후보 영역의 좌표를 결정하고, 상기 제2 정상 조직 후보 영역의 좌표 및 상기 ROI의 좌표를 하나의 좌표로 통합하도록 더 구성된, 정상 조직 영역의 예측용 디바이스.
제11항에 있어서,
상기 의료 영상은,
상기 정상 조직을 포함하는 저해상도 의료 영상 또는 고해상도 의료 영상인, 정상 조직 영역의 예측용 디바이스.
제11항에 있어서,
상기 정상 조직은,
상기 유방의 정상 조직 및 상기 유방 인근 기관의 정상 조직을 포함하고,
상기 유방의 정상 조직은,
우측 유방의 정상 조직 또는 좌측 유방의 정상 조직이고,
상기 유방 인근 기관의 정상 조직은,
우측 폐의 정상 조직, 좌측 폐의 정상 조직, 및 심장의 정상 조직 중 적어도 하나인, 정상 조직 영역의 예측용 디바이스.
제15항에 있어서,
상기 제2 정상 조직 영역 예측 모델은,
상기 유방의 정상 조직 및 상기 유방 인근 기관의 정상 조직에 대한 제2 정상 조직 후보 영역을 각각 예측하도록 구성된, 복수의 예측 모델인, 정상 조직 영역의 예측용 디바이스.
제11항에 있어서,
상기 의료 영상은,
복수의 단층 의료 영상을 포함하는, 3차원 의료 영상이고,
상기 프로세서는,
상기 제1 정상 조직 영역 예측 모델을 이용하여, 상기 복수의 단층 의료 영상 각각에 대하여 상기 제1 정상 조직 후보 영역을 예측하고, 상기 제2 정상 조직 영역 예측 모델을 이용하여, 상기 복수의 단층 의료 영상 각각에 대하여 예측된 제1 정상 조직 후보 영역에 기초하여, 상기 복수의 단층 의료 영상 각각에 대한 상기 제2 정상 조직 후보 영역을 예측하도록 더 구성된, 정상 조직 영역의 예측용 디바이스.
제11항에 있어서,
상기 프로세서는,
상기 제2 정상 조직 영역 예측 모델에 의한 분류 결과에 기초하여 방사선 치료 계획을 결정하도록 더 구성된, 정상 조직 영역의 예측용 디바이스.
제11항에 있어서,
상기 프로세서는,
예측된 정상 조직 후보 영역 및 분류 결과를 상기 의료 영상 내에 표시하도록 구성되고,
상기 디바이스는,
상기 정상 조직 후보 영역 및 상기 분류 결과가 표시된 의료 영상을 제공하도록 구성된 출력부를 더 포함하는, 정상 조직 영역의 예측용 디바이스.
제11항에 있어서,
상기 제1 정상 조직 영역 예측 모델 또는 상기 제2 정상 조직 영역 예측 모델은, DenseNet, GoogLeNet, ResNet, AlexNet, U-net 및 VGG-Net 중 적어도 하나의 네트워크에 기초한 모델인, 정상 조직 영역의 예측용 디바이스.