KR20200041772A - 암 영역 상태 평가 장치 및 방법 - Google Patents

Abstract

본 개시에 따른 암 영역 평가장치가 제공될 수 있다. 상기 암 영역 평가장치는 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 입력으로 하고, 상기 적어도 하나의 파라메트릭 MRI로부터 진단 영역을 추출하여 구성한 진단 영역의 파라메트릭 MRI를 출력으로 하는 진단 영역 검출모델을 포함하는 진단 영역 검출부와, 상기 진단 영역의 파라메트릭 MRI를 입력으로 하고, 암 영역 정보를 출력으로 하는 암 영역 검출모델을 포함하는 암 영역 검출부와, 상기 암 영역 정보 및 상기 암 영역에 대응되는 진단 영역의 파라메트릭 MRI를 입력으로 하여 암 특징 벡터를 추출하는 암 특징 벡터 추출부와, 상기 암 특징 벡터를 입력으로 사용하여 상기 암 영역의 상태를 분류한 평가정보를 생성하는 인공 신경망 학습 기반의 암 영역 평가부를 포함할 수 있다.

Description

암 영역 상태 평가 장치 및 방법{APPARATUS FOR EVALUATING STATE OF CANCER REGION AND METHOD FOR THE SAME}

본 개시는 암 영역의 상태를 확인하는 기술에 관한 것이며, 보다 구체적으로는 영상 정보 분석을 기반으로 검출된 암 영역의 상태를 평가하는 방법 및 장치에 대한 것이다.

딥러닝(deep learning)은 매우 방대한 양의 데이터를 학습하여, 새로운 데이터가 입력될 경우 학습 결과를 바탕으로 확률적으로 가장 높은 답을 선택하는 것이다. 이러한, 딥러닝은 영상에 따라 적응적으로 동작할 수 있으며, 데이터에 기초하여 모델을 학습하는 과정에서 특성인자를 자동으로 찾아내기 때문에 최근 인공 지능 분야에서 이를 활용하려는 시도가 늘어나고 있는 추세이다.

한편, 영상 인식과 관련하여 딥러닝을 이용한 종래의 영상 분석 기술은 합성곱 신경망(Convolutional Neural Network, CNN)과 최대 풀링(max pooling)기법을 이용하여 영상의 각 영역마다 국소적인 특징을 추출하고 이를 바탕으로 영상을 인식한다. 그러나, 이러한 방법은 실제 영상의 내용은 상이하지만 국소적인 정보 형태가 유사한 영상에 대해서는 정확한 인식 결과를 제공하지 못하는 문제가 있다.

한편, 사용자 또는 환자의 신체를 촬영한 자기공명영상(MRI; Magnetic Resonance Imaging)에 다양한 파라미터를 적용하여 다양한 영상, 즉, 파라메트릭 MRI를 재구성할 수 있다. 이러한 파라메트릭 MRI는 신체의 변화나, 질병을 나타내는 중요한 요소로 사용될 수 있다.

그러나, 특정 질병에 대하여 사용자 또는 환자의 상태는 다양하게 나타날 수 있으며, 또한, 질병 역시 다양한 특성이나 형태를 나타낼 수 있다. 따라서, 파라메트릭 MRI가 나타내는 정보와 신체의 변화 또는 질병과의 상관관계를 정형화하기 어려운 문제가 있다.

본 개시의 기술적 과제는 영상의 국소적인 특징 및 전역적인 맥락에 기초하여 다양한 파라메트릭 MRI와 암 영역 사이의 관계를 학습하고, 학습에 의해 구축된 딥러닝 모델을 통해 암 영역의 상태를 평가하는 방법 및 장치에 대한 것이다.

본 개시의 다른 기술적 과제는 다양한 파라메트릭 MRI를 기반으로 구축된 딥러닝 모델을 사용하여, 암 영역의 상태를 보다 정확하게 평가하는 방법 및 장치에 대한 것이다.

본 개시의 또 다른 기술적 과제는 다양한 파라메트릭 MRI를 입력함으로써, 암 영역의 검출 및 검출된 영역의 상태 평가를 모두 수행할 수 있는 방법 및 장치에 대한 것이다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 양상에 따르면, 암 영역 평가장치가 제공될 수 있다. 상기 장치는 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 입력으로 하고, 상기 적어도 하나의 파라메트릭 MRI로부터 진단 영역을 추출하여 구성한 진단 영역의 파라메트릭 MRI를 출력으로 하는 진단 영역 검출모델을 포함하는 진단 영역 검출부와, 상기 진단 영역의 파라메트릭 MRI를 입력으로 하고, 암 영역 정보를 출력으로 하는 암 영역 검출모델을 포함하는 암 영역 검출부와, 상기 암 영역 정보 및 상기 암 영역에 대응되는 진단 영역의 파라메트릭 MRI를 입력으로 하여 암 특징 벡터를 추출하는 암 특징 벡터 추출부와, 상기 암 특징 벡터를 입력으로 사용하여 상기 암 영역의 상태를 분류한 평가정보를 생성하는 인공 신경망 학습 기반의 암 영역 평가부를 포함할 수 있다.

본 개시의 다른 양상에 따르면, 암 영역 평가방법이 제공될 수 있다. 상기 방법은 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 입력으로 하고, 상기 적어도 하나의 파라메트릭 MRI로부터 진단 영역을 추출하여 구성한 진단 영역의 파라메트릭 MRI를 출력으로 하는 진단 영역 검출모델을 구축하는 과정과, 상기 진단 영역의 파라메트릭 MRI를 입력으로 하고, 암 영역 정보를 출력으로 하는 암 영역 검출모델을 구축하는 과정과, 상기 진단 영역의 파라메트릭 MRI를 분석 대상 영상으로서 입력받는 과정과, 상기 진단 영역 검출모델 및 암 영역 검출모델을 사용하여, 상기 분석 대상 영상에 대응되는 암 영역 정보를 확인하는 과정과, 상기 암 영역 정보 및 상기 암 영역에 대응되는 진단 영역의 파라메트릭 MRI를 입력으로 하여 암 특징 벡터를 추출하는 과정과, 상기 암 특징 벡터를 입력으로 사용하여 상기 암 영역의 상태를 분류한 평가정보를 생성하는 과정을 포함할 수 있다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 개시에 따르면, 영상의 국소적인 특징 및 전역적인 맥락에 기초하여 다양한 파라메트릭 MRI와 암 영역 사이의 관계를 학습하고, 학습에 의해 구축된 딥러닝 모델을 통해 암 영역의 상태를 평가하는 방법 및 장치가 제공될 수 있다.

또한, 본 개시에 따르면, 다양한 파라메트릭 MRI를 기반으로 구축된 딥러닝 모델을 사용하여, 암 영역의 상태를 보다 정확하게 평가할 수 있다.

또한, 본 개시에 따르면, 다양한 파라메트릭 MRI를 입력하는 것만으로, 암 영역의 검출 및 검출된 영역의 상태 평가를 모두 수행할 수 있는 방법 및 장치가 제공될 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시 예에 따른 암 영역 학습 장치의 구성을 나타내는 블록도이다.
도 2a 내지 도 2g는 본 개시의 일 실시 예에 따른 암 영역 학습 장치의 동작에 의해 처리되는 정보를 예시하는 도면이다.
도 3은 본 개시의 일 실시 예에 따른 암 영역 학습 장치에 구비되는 암 검출모델 학습부의 구성을 나타내는 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 영상의 맥락 정보를 생성하고 분석하는 과정을 나타내는 도면이다.
도 5는 다채널 특징맵을 생성하는 합성곱 신경망의 일 실시 예를 설명하기 위한 도면이다.
도 6은 풀링 기법의 일 실시 예를 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 암 영역의 평가장치의 구성을 나타내는 블록도이다.
도 8a 내지 도 8e는 본 개시의 일 실시 예에 따른 암 영역의 평가장치에 의해 처리되는 데이터를 예시하는 도면이다.
도 9는 본 개시의 일 실시예에 따른 암 영역의 평가방법의 순서를 도시하는 흐름도이다.
도 10은 본 개시의 일 실시예에 따른 암 영역의 평가방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.

우선, 본 개시의 일 실시 예에 따른 암 영역의 평가장치는 진단 영역 검출모델 및 암 영역 검출모델을 사용하여 상기 암 영역 정보를 검출하고, 이를 바탕으로 암 영역의 특징 벡터를 추출할 수 있다.

본 개시의 일 실시 예에 따른 암 영역의 평가장치에 사용되는 진단 영역 검출모델 및 암 영역 검출모델은 본 개시의 일 실시예에 따른 암 영역 학습 장치에 의해 구축될 수 있다.

이하, 도 1 내지 도 6을 참조하여, 암 영역 학습 장치와 이를 사용하여 진단 영역 검출모델 및 암 영역 검출모델을 구축하는 동작을 상세하게 설명한다.

도 1은 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치의 구성을 나타내는 블록도이다.

도 1을 참조하면, 딥러닝 모델 학습 장치(10)는 암 검출모델 학습부(11), 파라메트릭 MRI 입력부(13), 라벨링 참조정보 제공부(15), 및 라벨링 처리부(17)를 포함할 수 있다.

우선, 암 검출모델 학습부(11)는 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법에 기초하여, 암 검출모델의 학습을 수행할 수 있다. 특히, 암 검출모델 학습부(11)가 암 검출모델의 학습을 수행하기 위해서 분석 대상 영상을 입력받을 수 있으며, 분석 대상 영상에 포함된 특정 객체 또는 특정 영역을 암 영역으로 입력받는 동작, 즉, 라벨링(Labeling) 동작을 수행할 수 있다.

그리고, 암 검출모델 학습부(11)는 분석 대상 영상의 특징을 추출하고, 추출된 특징을 기반으로 소정의 맥락 정보를 생성함으로써, 암 검출모델을 학습할 수 있다. 그리고, 암 검출모델 학습부(11)는 암 검출모델의 학습을 반복적으로 수행하여 암 검출모델(100)을 구축할 수 있다.

암 검출모델 학습부(11)는 분석 대상 영상으로서 MRI 영상을 입력받을 수 있는데, 이러한 분석 대상 영상의 입력은 파라메트릭 MRI 입력부(13)에 의해 처리될 수 있다. 파라메트릭 MRI 입력부(13)는 사용자의 신체를 자기공명영상(MRI; Magnetic Resonance Imaging) 촬영 장치에 의해 촬영된 영상, 즉, MRI를 암 검출모델 학습부(11)에 제공할 수 있다.

나아가, MRI에 다양한 파라미터를 적용하여 다양한 영상을 재구성할 수 있는데, 본 개시의 일 실시예에서는 MRI에 소정의 파라미터를 적용하여 재구성한 영상을 파라메트릭 MRI라 지시한다.

이에 기초하여, 파라메트릭 MRI 입력부(13)는 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI를 암 검출모델 학습부(11)에 제공할 수 있다. 여기서, 적어도 하나의 파라메트릭 MRI는 T1(T1-weighted) 영상, T2(T2-weighted) 영상, T2* (T2 star) 영상, ADC(apparent diffusion coefficients) 영상, FLAIR (Fluid Attenuated inversion recovery) 영상, STIR (Short TI inversion recovery) 영상, PWI (Perfusion weighted image) 등을 포함할 수 있다.

나아가, 암 검출모델 학습부(11)는 사용자(또는 환자)의 신체에 마련된 다양한 신체 기관 또는 진단 영역에 대한 암 검출모델을 학습할 수 있는데, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 적어도 하나의 파라메트릭 MRI가 선택적으로 사용할 수 있다. 이를 위해, 파라메트릭 MRI 입력부(13)는 신체 기관 또는 진단 영역에 대응되는 적어도 하나의 파라메트릭 MRI를 선택적으로 암 검출모델 학습부(11)에 입력할 수 있다.

예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 파라메트릭 MRI 입력부(13)는 T2(T2-weighted) 영상, ADC(apparent diffusion coefficients) 영상 등을 입력할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 파라메트릭 MRI 입력부(13)는 STIR 영상, T1 영상, T1 with Agents 영상, T2 영상 등을 입력할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 파라메트릭 MRI 입력부(13)는 T1 영상, T2 영상, FLAIR 등을 입력할 수 있다.

또한, 파라메트릭 MRI 입력부(13)는 MRI를 암 검출모델 학습부(11)에 제공한 파라메트릭 MRI를 디스플레이 등을 통해 표시할 수 있다.

추가적으로, 파라메트릭 MRI 입력부(13)는 사용자의 진단 영역이 위치한 신체를 촬영한 MRI를 기준으로 한 파라메트릭 MRI(이하, '원본 파라메트릭 MRI'라 함)를 입력받을 수 있으며, 원본 파라메트릭 MRI로부터 진단 영역을 추출한 파라메트릭 MRI(이하, '진단 영역의 파라메트릭 MRI'라 함)를 검출할 수 있다. 그리고, 진단 영역의 파라메트릭 MRI를 암 검출모델 학습부(11)에 제공하거나, 디스플레이 등을 통해 표시할 수 있다.

파라메트릭 MRI 입력부(13)가 원본 파라메트릭 MRI로부터 진단 영역의 파라메트릭 MRI를 추출하는 동작은 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법 등에 기초하여 수행할 수 있다. 예를 들어, 파라메트릭 MRI 입력부(13)는 원본 파라메트릭 MRI를 입력으로 하고, 진단 영역의 파라메트릭 MRI를 출력으로 하는 학습을 통해 소정의 학습모델을 구축할 수 있다. 그리고, 파라메트릭 MRI 입력부(13)는 원본 파라메트릭 MRI가 입력됨에 따라, 진단 영역의 파라메트릭 MRI를 검출하여 출력할 수 있다.

한편, 라벨링 참조정보 제공부(15)는 상기 암 영역의 라벨링 처리에 기여하는 정보를 제공할 수 있다.

사용자(또는 환자)의 진단 영역을 수술을 통하여 적출하고, 적출된 진단 영역에서 암 조직이 존재하는 영역을 가시화한 병리영상(Pathology image)을 구성할 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(15)는 병리 영상을 입력받을 수 있는 환경을 제공할 수 있으며, 입력받은 병리영상을 디스플레이 등을 통해 표시할 수 있다. 예컨대, 병리영상은 추출된 진단 영역의 암이 존재하는 영역을 지도화한 병리지도(pathology map)를 이미지 형태로 구성한 영상을 포함할 수 있다.

나아가, T2 영상이나, ADC 영상 등은 2차원 형태의 영상으로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직을 확인하기가 어려울 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(15)는 MRI에 포함된 정보를 조직 내에 포함된 물분자가 특정방향으로 확산된 정보를 나타내는 DWI(Diffusion-weighted imaging)를 확인하고, 이를 디스플레이 등을 통해 표시할 수 있다. 여기서, DWI는 MRI 촬영 장치로부터 제공받거나, MRI 촬영 장치로부터 제공받은 MRI를 가공하여 획득할 수 있다.

마찬가지로, T2 영상이나, ADC 영상 등은 2차원 형태의 영상으로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직이나, 조직의 특성을 확인하기가 어려울 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(15)는 DCE(Dynamic Contrast Enhanced) 신호정보를 확인할 수 있으며, 확인된 DCE 신호정보를 제공할 수 있는 환경을 구축할 수 있다. 예컨대, 라벨링 처리부(17)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 표시하면서, 사용자에 의해 지정되는 영역을 표시하는 표시자를 제공할 수 있으며, 사용자에 의해 선택되는 영역을 암 영역으로 설정할 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(15)는 라벨링 처리부(17)에 의해 생성 및 표시되는 상기 표시자가 지시하는 영역에 대한 DCE 신호정보를 확인하고, 확인된 DCE 신호정보를 디스플레이 등을 통해 표시할 수 있다.

라벨링 참조정보 제공부(15)는 적어도 하나의 참조정보(예, 병리영상, DWI, DCE 신호정보 등)를 디스플레이 등을 통해 표시할 수 있다.

다른 예로서, 라벨링 참조정보 제공부(15)는 적어도 하나의 참조정보(예, 병리영상, DWI, DCE 신호정보 등)를 순차적으로 선택하여 표시할 수 있다. 특히, 라벨링 참조정보 제공부(15)는 라벨링 처리부(17)와 연동하여 병리영상, DWI, 및 DCE 신호정보를 순차적으로 선택하여 표시할 수 있다. 예를 들어, 라벨링 참조정보 제공부(15)는 T2 영상, ADC 영상과 함께 병리영상을 디스플레이할 수 있다. 그리고, 병리영상이 디스플레이되는 상태에서, 라벨링 처리부(17)에 의해 1차적으로 암 영역을 라벨링한 정보가 입력됨에 따라, 라벨링 참조정보 제공부(15)는 T2 영상, ADC 영상과 함께 DWI를 디스플레이할 수 있다. 또한, DWI가 디스플레이되는 상태에서, 라벨링 처리부(17)에 의해 2차적으로 암 영역을 라벨링한 정보가 입력됨에 따라, 라벨링 참조정보 제공부(15)는 표시자가 지시하는 영역을 확인하고, 해당 영역에 대응되는 DCE 신호정보를 확인하여 표시할 수 있다.

본 개시의 일 실시예에서, 라벨링 참조정보 제공부(15)가 적어도 하나의 참조정보를 순차적으로 제공하는 것을 예시하면서, 적어도 하나의 참조정보를 병리영상, DWI, DCE 신호정보 등으로 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 본 개시의 기술분야에서 통상의 지식을 가진자에 의해 다양하게 변경될 수 있다. 또한, 라벨링 참조정보 제공부(15)가 제공하는 적어도 하나의 참조정보의 순서 역시 다양하게 변경될 수 있음은 물론이다.

나아가, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 따라, 라벨링의 참조정보로서 사용될 수 있는 정보(즉, 참조정보)는 다양하게 변경될 수 있다. 이에 따라, 라벨링 참조정보 제공부(15)는, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 상기 암 영역의 라벨링 처리에 기여하는 참조정보를 선택적으로 제공할 수 있다.

예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 라벨링 참조정보 제공부(15)는 T1 Contrast 영상, T2 Contrast 영상, PET(Positron Emission Tomography), SPECT(single photon emission computed tomography), DSA(Digital Subtraction Angiography) 등을 참조정보로서 제공할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 라벨링 참조정보 제공부(15)는 T1 Contrast 영상, T2 Contrast 영상 등을 참조정보로서 제공할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 라벨링 참조정보 제공부(15)는 FDG-PET, SPECT 등을 참조정보로서 제공할 수 있다.

한편, 라벨링 처리부(17)는 전술한 바와 같이, 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 제공하면서, 암 검출모델 학습부(11)가 암 검출모델을 학습하기 위한 출력값을 지정하는 동작, 즉 라벨링을 수행할 수 있는 환경을 제공할 수 있다.

구체적으로, 라벨링 처리부(17)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 디스플레이에 출력하고, 출력되는 적어도 하나의 파라메트릭 MRI(예, T2 영상)에서 암이 존재하는 영역, 즉 암 영역을 입력받을 수 있는 인터페이스를 제공할 수 있다. 예를 들어, 라벨링 처리부(17)는 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 소정의 표시자를 출력하고, 외부 입력장치를 통해 선택되는 영역을 암 영역으로 설정할 수 있다.

이하, 도 1, 도 2a 내지 도 2g를 참조하여, 전술한 딥러닝 모델 학습 장치의 동작을 설명한다.

본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치의 동작 설명에서, 진단 영역은 전립선 영역으로 예시하고, 진단 영역에 존재하는 암은 전립선 암으로 예시하고, 암이 존재하는 영역은 전립선 암 영역으로 예시한다.

도 2a 내지 도 2g는 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치의 동작에 의해 처리되는 정보를 예시하는 도면이다.

우선, 파라메트릭 MRI 입력부(13)는 적어도 하나의 파라메트릭 MRI를 암 검출모델 학습부(11)에 제공할 수 있다. 여기서, 적어도 하나의 파라메트릭 MRI는, MRI에 다양한 파라미터를 적용하여 재구성한 영상으로서, T2(T2-weighted) 영상, ADC(apparent diffusion coefficients) 영상 등을 포함할 수 있다.

파라메트릭 MRI 입력부(13)는 원본 파라메트릭 MRI(201, 202, 도 2a 참조)를 입력받을 수 있으며, 원본 파라메트릭 MRI(201, 202)로부터 전립선 영역을 추출한 파라메트릭 MRI, 즉, 전립선 영역의 파라메트릭 MRI(203, 204)를 검출할 수 있다. 그리고, 파라메트릭 MRI 입력부(13)는 전립선 영역의 파라메트릭 MRI(203, 204)를 암 검출모델 학습부(11)에 제공할 수 있다.

파라메트릭 MRI 입력부(13)는 전립선 영역의 파라메트릭 MRI(203, 204)를 제공하는 화면(200, 도 2b 참조)을 디스플레이할 수 있다.

한편, 사용자(또는 환자)의 전립선을 추출하고, 추출된 전립선에서 암 조직이 존재하는 영역을 가시화한 병리영상을 구성할 수 있는데, 라벨링 참조정보 제공부(15)는 이러한 병리영상을 입력받을 수 있는 환경을 제공할 수 있다. 그리고, 라벨링 참조정보 제공부(15)는 입력받은 병리영상(205)을 화면(200)의 일 영역을 통해 디스플레이할 수 있다.

그리고, 라벨링 처리부(17)는 파라메트릭 MRI 입력부(13)가 제공하는 전립선 영역의 파라메트릭 MRI(203, 204)와, 라벨링 참조정보 제공부(15)가 제공하는 병리영상(205)을 표시하는 화면의 일 영역에 라벨링을 수행할 수 있는 사용자 인터페이스(210)를 제공할 수 있다.

상기 사용자 인터페이스(210)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)(211)를 포함할 수 있다. 또한, 상기 사용자 인터페이스(210)는 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자(212)를 포함할 수 있다. 또한, 라벨링 처리부(17)는 표시자(212)를 통해 선택되는 소정의 영역을 전립선 암 영역으로 설정할 수 있으며, 사용자 인터페이스(210)는 전립선 암 영역으로 설정된 해당 영역을 표시하는 라벨링 지시자(213)를 포함할 수 있다.

사용자 인터페이스(210)를 통해 전립선 암 영역이 설정되면, 라벨링 처리부(17)는 라벨링된 영역을 암 검출모델 학습부(11)에 제공한다. 이에 따라, 암 검출모델 학습부(11)는 전립선 영역의 파라메트릭 MRI(203, 204)를 입력으로 하고, 라벨링된 영역을 출력으로 하여 암 검출모델을 학습할 수 있다.

나아가, MRI는 다양한 파라미터를 포함할 수 있는데, T2 영상이나, ADC 영상 등은 2차원 형태의 영상로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직을 확인하기가 어려울 수 있다.

한편, MRI에 기초하여 획득되는 영상 중, DWI(Diffusion-weighted imaging)는 MRI에 포함된 정보를 조직 내에 포함된 물분자가 특정방향으로 확산된 정보를 나타낼 수 있으므로, T2 영상이나, ADC 영상 등에 표시되지 않는 정보를 표현할 수 있다. 라벨링 참조정보 제공부(15)는 DWI(206)를 화면(200)의 일 영역을 통해 디스플레이할 수 있다.

또한, 라벨링 참조정보 제공부(15)는 DCE(Dynamic Contrast Enhanced) 신호정보를 확인할 수 있으며, DCE 신호정보(207)를 화면(200)의 일 영역을 통해 디스플레이할 수도 있다. DCE 신호정보(207)는 해당 기관의 밝기를 확인하는 정보로서 MRI에 기초하여 획득되는 영상으로부터 소정의 영역을 선택하고, 선택된 영역에 대한 밝기 정보를 나타내는 정보일 수 있다. 따라서, 라벨링 참조정보 제공부(15)는 라벨링 처리부(17)와 연동되어 선택된 영역을 확인하고, 이에 대응되는 DCE 신호정보(207)를 표시할 수 있다.

다른 예로서, 라벨링 참조정보 제공부(15)는 병리영상(205), DWI(206), 및 DCE 신호정보(207)를 순차적으로 제공할 수 있다.

추가적으로, 라벨링 참조정보 제공부(15)는 참조정보로서 T1 Contrast 영상, T2 Contrast 영상, PET(Positron Emission Tomography), SPECT(single photon emission computed tomography), DSA(Digital Subtraction Angiography) 등을 제공할 수도 있다.

라벨링 참조정보 제공부(15)는 병리영상(205)을 제공하고, 라벨링 처리부(17)가 병리영상(205)을 기반으로 한 라벨링 처리를 수행하면, DWI(206)를 제공할 수 있다. 이후, 라벨링 처리부(17)가 DWI(206)를 기반으로 한 라벨링 처리를 완료하면, DCE 신호정보(207)를 제공할 수 있다.

좀 더 구체적으로, 전술한 바와 같이, 라벨링 참조정보 제공부(15)가 제1화면(220, 도 2c 참조)을 통해 전립선 영역의 파라메트릭 MRI(203, 204)와 병리영상(205)을 제공하고, 라벨링 처리부(17)가 제1사용자 인터페이스(230)를 통해 선택되는 영역을 전립선 암 영역으로 설정함으로써, 병리영상(205)을 기반으로 한 라벨링 처리를 수행할 수 있다.

그리고, 암 검출모델 학습부(11)는 전립선 영역의 파라메트릭 MRI(203, 204)를 입력으로하고, 병리영상(205)을 기반으로 라벨링된 영역을 출력으로 하여 암 검출모델을 학습할 수 있다.

이후, 라벨링 참조정보 제공부(15)는 제2화면(240, 도 2d 참조)을 통해 전립선 영역의 파라메트릭 MRI(203, 204)와 DWI(206)를 디스플레이 할 수 있다. 그리고, 라벨링 처리부(17)는 파라메트릭 MRI 입력부(13)가 제공하는 전립선 영역의 파라메트릭 MRI(203, 204)와, 라벨링 참조정보 제공부(15)가 제공하는 DWI(206)를 표시하는 화면(240)의 일 영역에 라벨링을 수행할 수 있는 제2사용자 인터페이스(250)를 제공할 수 있다. 여기서, 제2사용자 인터페이스(250)는 전술한 제1사용자 인터페이스(230)와 마찬가지로, 적어도 하나의 파라메트릭 MRI(예, T2 영상)(251), 표시자(252), 라벨링 지시자(253)를 포함할 수 있다.

이러한 환경에서, 라벨링 처리부(17)는 제2사용자 인터페이스(250)를 통해 선택되는 영역을 전립선 암 영역으로 설정함으로써, DWI(206)를 기반으로 한 라벨링 처리를 수행할 수 있다. 그리고, 암 검출모델 학습부(11)는 전립선 영역의 파라메트릭 MRI(203, 204)를 입력으로 하고, DWI(206)를 기반으로 라벨링된 영역을 출력으로 하여 암 검출모델을 학습할 수 있다.

추가적으로, 암 검출모델 학습부(11)는 병리영상(205)을 기반으로 라벨링된 전립선 암 영역을 입력으로서 처리할 수도 있다.

또한, 라벨링 참조정보 제공부(15)는 제3화면(260, 도 2e 참조)을 통해 전립선 영역의 파라메트릭 MRI(203, 204)와 DCE 신호정보(207)를 디스플레이 할 수 있다. 그리고, 라벨링 처리부(17)는 파라메트릭 MRI 입력부(13)가 제공하는 전립선 영역의 파라메트릭 MRI(203, 204)와, 라벨링 참조정보 제공부(15)가 제공하는 DCE 신호정보(207)를 표시하는 화면(260)의 일 영역에 라벨링을 수행할 수 있는 제3사용자 인터페이스(270)를 제공할 수 있다. 여기서, 제3사용자 인터페이스(270)는 전술한 제1사용자 인터페이스(230)와 마찬가지로, 적어도 하나의 파라메트릭 MRI(예, T2 영상)(271), 표시자(272), 라벨링 지시자(273) 등을 포함할 수 있다.

이러한 환경에서, 라벨링 처리부(17)는 제3사용자 인터페이스(270)를 통해 선택되는 영역을 전립선 암 영역으로 설정함으로써, DCE 신호정보(207)를 기반으로 한 라벨링 처리를 수행할 수 있다. 그리고, 암 검출모델 학습부(11)는 전립선 영역의 파라메트릭 MRI(203, 204)를 입력으로하고, DCE 신호정보(207)를 기반으로 라벨링된 영역을 출력으로 하여 암 검출모델을 학습할 수 있다.

추가적으로, 암 검출모델 학습부(11)는 DWI(206)를 기반으로 라벨링된 전립선 암 영역을 입력으로서 처리할 수도 있다.

본 개시의 일 실시예에서, 라벨링 참조정보 제공부(15)가 병리영상(205), DWI(206), 및 DCE 신호정보(207) 순서로 참조정보를 제공하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 라벨링 참조정보 제공부(15)가 참조정보를 제공하는 순서는 다양하게 변경될 수 있다.

또한, 본 개시의 일 실시예에서, 라벨링 참조정보 제공부(15)가 제공하는 참조정보를 병리영상(205), DWI(206), DCE 신호정보(207) 등으로 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 라벨링 참조정보 제공부(15)가 제공하는 참조정보는 본 개시의 기술분야에서 통상의 지식을 가진자에 의해 다양하게 변경될 수 있다.

또한, 본 개시의 일 실시예에서, 암 검출모델 학습부(11)가 상기 적어도 하나의 파라메트릭 MRI를 기본적인 입력으로 하여 딥러닝 모델을 학습하는 것을 예시하였다. 본 개시가 이를 한정하는 것은 아니며, 다양하게 변경될 수 있음은 물론이다. 예컨대, 암 검출모델 학습부(11)는 DWI 및 DCE 신호정보 중 적어도 하나를 입력으로서 사용할 수 있다. 즉, 암 검출모델 학습부(11)는 적어도 하나의 파라메트릭 MRI 및 DWI에 기초한 라벨링 정보를 사용하여 딥러닝 모델 학습시, 적어도 하나의 파라메트릭 MRI와 함께 DWI를 입력으로서 사용할 수 있다. 마찬가지로, 암 검출모델 학습부(11)는 적어도 하나의 파라메트릭 MRI 및 DCE 신호정보에 기초한 라벨링 정보를 사용하여 딥러닝 모델 학습시, 적어도 하나의 파라메트릭 MRI와 함께 DCE 신호정보를 입력으로서 사용할 수 있다.

추가적으로, 암 검출모델 학습부(11)는 적어도 하나의 파라메트릭 MRI 및 병리정보에 기초한 라벨링 정보를 사용하여 딥러닝 모델 학습시, 적어도 하나의 파라메트릭 MRI와 함께 병리정보를 입력으로서 사용할 수도 있다.

비록, 본 개시의 실시예에서 진단 영역을 전립선 영역으로 예시하고 암이 존재하는 영역은 전립선 암 영역으로 예시하고 있으나, 본 개시가 이를 한정하는 것은 아니며, 다른 진단 영역에 다양하게 변경하여 적용할 수 있음은 물론이다.

예컨대, 도 2f 및 도 2g에 예시되는 바와 같이, 진단 영역을 간이 존재하는 영역으로 적용할 수 있으며, 암이 존재하는 영역은 간암 영역으로 적용할 수 있다. 이에 따라, 암 검출모델 학습부(11)는 간이 존재하는 영역 또는 간암 영역을 고려하여 동작할 수 있다.

구체적으로, 파라메트릭 MRI 입력부(13)는 적어도 하나의 파라메트릭 MRI로서 STIR (Short TI inversion recovery) 영상, T1(T1-weighted) 영상, T1 with Agents 영상 등의 원본 파라메트릭 MRI(281, 282, 283, 284, 도 2f 참조)로부터 간 영역을 추출한 파라메트릭 MRI, 즉, 간 영역의 파라메트릭 MRI(285, 286, 287, 288)를 검출 및 제공할 수 있다.

라벨링 처리부(17)는 라벨링 참조정보 제공부(15)가 제공하는 참조정보(예, T1 Contrast, T2 Contrast 등)에 기초하여 선택되는 영역을 간암 영역으로 설정함으로써, 참조정보를 기반으로 한 라벨링 처리를 수행할 수 있다. 그리고, 암 검출모델 학습부(11)는 간 영역의 파라메트릭 MRI(285, 286, 287, 288)를 입력으로 하고, 참조정보를 기반으로 라벨링된 영역(291, 292, 293, 294, 도 2g 참조)을 출력으로 하여 간암 검출모델을 학습할 수 있다.

또 다른 예로서, 진단 영역을 뇌가 존재하는 영역으로 적용할 수 있으며, 암이 존재하는 영역은 뇌암 영역으로 적용할 수 있다. 이에 따라, 암 검출모델 학습부(11)는 뇌가 존재하는 영역 또는 뇌암 영역을 고려하여 동작할 수 있다. 즉, 파라메트릭 MRI 입력부(13)는 적어도 하나의 파라메트릭 MRI로서 T1, T2, FLAIR 영상 등의 원본 파라메트릭 MRI로부터 뇌 영역을 추출한 파라메트릭 MRI, 즉, 뇌 영역의 파라메트릭 MRI를 검출 및 제공할 수 있다. 그리고, 라벨링 처리부(17)는 라벨링 참조정보 제공부(15)가 제공하는 참조정보(예, FDG-PET, SPECT 등)에 기초하여 선택되는 영역을 뇌암 영역으로 설정함으로써, 참조정보를 기반으로 한 라벨링 처리를 수행할 수 있다. 이러한 동작을 통해, 암 검출모델 학습부(11)는 뇌 영역의 파라메트릭 MRI를 입력으로 하고, 참조정보를 기반으로 라벨링된 영역을 출력으로 하여 뇌암 검출모델을 학습할 수 있다.

도 3은 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치에 구비되는 암 검출모델 학습부의 구성을 나타내는 블록도이다.

도 3을 참조하면, 암 검출모델 학습부(30)는 특징 추출부(31), 맥락 생성부(32), 특징 및 맥락 분석부(33)를 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 암 검출모델 학습부(30)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.

암 검출모델 학습부(30)는 분석 대상 영상의 특징을 추출하고, 추출된 특징에 기초하여 맥락 정보를 생성하고, 추출된 특징 및 생성된 맥락 정보에 기초하여 분석 대상 영상을 분석할 수 있다. 예컨대, 암 검출모델 학습부(30)는 추출된 특징 및 생성된 맥락 정보를 이용하여 영상을 분류하거나 관심 객체의 위치를 찾아낼 수 있다.

암 검출모델 학습부(30)의 입력 영상은 적어도 하나의 파라메트릭 MRI일 수 있다. 상기 적어도 하나의 파라메트릭 MRI(예, T2 영상, ADC 영상 등)은 MRI로부터 소정의 파라미터에 기초하여 재구성된 원본(raw) 이미지이거나 상기 원본 이미지를 저장 또는 전송하기 위한 임의의 형태(포맷)의 이미지일 수 있다.

특징 추출부(31)는 입력 영상을 분석하여 영상의 특징을 추출할 수 있다. 예컨대, 상기 특징은 영상의 각 영역마다의 국소적인 특징일 수 있다. 일 실시 예에 따른 특징 추출부(31)는 일반적인 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법을 이용하여 입력 영상의 특징을 추출할 수 있다. 상기 풀링 기법은 맥스(max) 풀링 기법 및 평균(average) 풀링 기법 중 적어도 하나를 포함할 수 있다. 그러나, 본 개시에서 언급되는 풀링 기법은 맥스 풀링 기법 또는 평균 풀링 기법에 한정되지 않으며, 소정 크기의 영상 영역의 대표값을 획득하는 임의의 기법을 포함한다. 예컨대, 풀링 기법에 사용되는 대표값은 최대값 및 평균값 외에, 분산값, 표준 편차값, 중간값(mean value), 최빈값(most frequent value), 최소값, 가중 평균값 등 중 적어도 하나일 수 있다.

본 개시의 합성곱 신경망은 입력 데이터(영상)로부터 테두리, 선 색 등과 같은 "특징들(features)"을 추출하기 위해 이용될 수 있으며, 복수의 계층들(layers)을 포함할 수 있다. 각각의 계층은 입력 데이터를 수신하고, 해당 계층의 입력 데이터를 처리하여 출력 데이터를 생성할 수 있다. 합성곱 신경망은 입력된 영상 또는 입력된 특징맵(feature map)을 필터 커널들(filter kernels)과 컨볼루션하여 생성한 특징맵을 출력 데이터로서 출력할 수 있다. 합성곱 신경망의 초기 계층들은 입력으로부터 에지들 또는 그레디언트들과 같은 낮은 레벨의 특징들을 추출하도록 동작될 수 있다. 신경망의 다음 계층들은 눈, 코 등과 같은 점진적으로 더 복잡한 특징들을 추출할 수 있다. 합성곱 신경망의 구체적인 동작에 대해서는 도 5를 참고하여 후술한다.

합성곱 신경망은 컨볼루션 연산이 수행되는 합성곱 계층 외에도 풀링 연산이 수행되는 풀링 계층도 포함할 수 있다. 풀링 기법은 풀링 계층에서 데이터의 공간적 크기를 축소하는데 사용되는 기법이다. 구체적으로, 풀링 기법에는 해당 영역에서 최대값을 선택하는 맥스 풀링(max pooling) 기법과 해당 영역의 평균값을 선택하는 평균 풀링(average pooling) 기법이 있으며, 이미지 인식 분야에서는 일반적으로 맥스 풀링 기법이 사용된다. 풀링 기법에서는 일반적으로 풀링의 윈도우 크기와 간격(스트라이드, stride)을 같은 값으로 설정한다. 여기서, 스트라이드란 입력 데이터에 필터를 적용할 때 이동할 간격을 조절하는 것, 즉 필터가 이동할 간격을 의미하며, 스트라이드 또한 출력 데이터의 크기를 조절하기 위해 사용될 수 있다. 풀링 기법의 구체적인 동작에 대해서는 도 6을 참고하여 후술한다.

본 개시의 일 실시 예에 따른 특징 추출부(31)는 분석 대상 영상의 특징을 추출하기 위한 전처리(pre-processing)로서, 분석 대상 영상에 필터링을 적용할 수 있다. 상기 필터링은 고속 푸리에 변환(Fast Fourier Transform, FFT), 히스토그램 평활화(histogram equalization), 모션 아티팩트(motion artifact) 제거 또는 노이즈(noise) 제거 등일 수 있다. 그러나, 본 개시의 필터링은 상기 열거한 방법으로 제한되지 않으며, 영상의 품질을 개선할 수 있는 모든 형태의 필터링을 포함할 수 있다.

맥락 생성부(32)는 특징 추출부(31)로부터 추출된 입력 영상의 특징을 이용하여 입력 영상(분석 대상 영상)의 맥락 정보를 생성할 수 있다. 예컨대, 상기 맥락 정보는 분석 대상 영상의 전체 또는 일부 영역을 나타내는 대표값일 수 있다. 또한 상기 맥락 정보는 입력 영상의 전역적인 맥락 정보일 수 있다. 일 실시 예에 따른 맥락 생성부(32)는 합성곱 신경망 기법 또는 풀링 기법을 특징 추출부(31)로부터 추출된 특징에 적용하여 맥락 정보를 생성할 수 있다. 상기 풀링 기법은 예컨대, 평균 풀링(average pooling) 기법일 수 있다.

특징 및 맥락 분석부(33)는 특징 추출부(31)에서 추출된 특징 및 맥락 생성부(32)에서 생성된 맥락 정보에 기초하여 영상을 분석할 수 있다. 일 실시예에 따른 특징 및 맥락 분석부(33)는 특징 추출부(31)에서 추출된 영상의 각 영역마다의 국소적인 특징 및 맥락 생성부(32)에서 재구성된 전역적인 맥락을 결합(concatenate)하는 등의 방식으로 함께 사용하여, 입력 영상을 분류하거나 입력 영상에 포함된 관심 객체의 위치 등을 찾는데 이용할 수 있다. 입력 영상 내 특정 2차원 위치에서의 정보는 국소적인 특징 정보뿐만 아니라 전역적인 맥락 정보까지 포함하게 되므로, 특징 및 맥락 분석부(33)는 이들 정보를 이용함으로써, 실제 내용은 상이하지만 국소적인 특징 정보가 유사한 입력 영상들에 대해 보다 정확한 인식 또는 분류 등이 가능하게 된다.

전술한 바와 같이, 본 개시의 일 실시 예에 따른 발명은, 일반적인 합성곱 신경망 기법이 사용하는 국소적인 특징뿐만 아니라 전역적인 맥락 정보를 함께 사용함으로써, 보다 더 정확하고 효율적인 학습 및 영상 분석이 가능하게 된다. 이러한 관점에서 본 개시에 따른 발명을 '맥락 분석을 통한 심층 신경망'이라 할 수 있다.

도 4는 본 개시의 일 실시 예에 따른 영상의 맥락 정보를 생성하고 분석하는 과정을 나타내는 도면이다.

도 4를 참조하면, 특징 추출부(31)는 입력 영상(401)을 이용하여 입력 영상(401)으로부터 특징을 추출하고, 추출된 특징 정보를 포함하는 특징 영상(402)을 생성할 수 있다. 상기 추출된 특징은 입력 영상의 국소 영역에 대한 특징일 수 있다. 상기 입력 영상(401)은 영상 분석 장치의 입력 영상 또는 합성곱 신경망 모델 내의 각 계층에서의 특징맵을 포함할 수 있다. 또한 상기 특징 영상(402)은 입력 영상(401)에 대해 합성곱 신경망 기법 및/또는 풀링 기법을 적용하여 획득된 특징맵 및/또는 특징 벡터를 포함할 수 있다.

맥락 생성부(32)는 특징 추출부(31)에서 추출된 특징 영상(402)에 대해 합성곱 신경망 기법 및/또는 풀링 기법을 적용하여 맥락 정보를 생성할 수 있다. 예컨대, 맥락 생성부(32)는 풀링의 간격(stride)을 다양하게 조절함으로써 영상 전체, 4등분 영역, 9등분 영역 등의 다양한 크기(scale)의 맥락 정보를 생성할 수 있다. 도 4를 참조하면, 영상 전체 크기의 영상에 대한 맥락 정보를 포함하는 전체 맥락 정보 영상(411), 영상 전체를 4등분한 크기의 4등분 영상에 대한 맥락 정보를 포함하는 4등분 맥락 정보 영상(412) 및 영상 전체를 9등분한 크기의 9등분 영상에 대한 맥락 정보를 포함하는 9등분 맥락 정보 영상(413)이 획득될 수 있다.

특징 및 맥락 분석부(33)는 상기 특징 영상(402)과 상기 맥락 정보 영상(411, 412, 413)을 모두 이용하여 분석 대상 영상의 특정 영역에 대한 분석을 보다 정확히 수행할 수 있다.

예컨대, 전립선 암과 유사한 형태를 갖는 양성종양이 포함된 영상이 입력 영상인 경우, 특징 추출부(31)가 추출한 국소적인 특징을 포함하는 특징 영상(402)으로부터는 상기 식별된 객체가 전립선 암인지 양성종양인지 정확히 판단할 수 없다. 즉, 특징 추출부(31)는 국소적인 특징에 기초하여 객체의 형상을 인식할 수 있으나, 해당 객체의 형상만 가지고는 정확히 객체를 식별하고 분류할 수 없는 경우가 있다.

본 개시의 일 실시 예에 따른 맥락 생성부(32)는 상기 분석 대상 영상 또는 상기 특징 영상(402)에 기초하여 맥락 정보(411, 412, 413)를 생성함으로써, 보다 정확히 객체를 식별하고 분류할 수 있다.

본 개시의 일 실시 예에 따른 특징 및 맥락 분석부(33)는 상기 맥락 정보를 활용함으로써, 상기 전립선 암 또는 양성종양의 형상을 갖는 객체를 "전립선 암"으로 식별할 수 있다.

도 4를 참조하여 설명한 실시 예에서는 전체 영상에 대한 맥락 정보, 4등분 영상에 대한 맥락 정보, 9등분 영상에 대한 맥락 정보를 생성하고 활용하는 것에 대해 설명하였으나, 맥락 정보를 추출하는 영상의 크기는 이에 한정되지 않는다. 예컨대, 전술한 크기의 영상 이외의 크기를 갖는 영상에 대한 맥락 정보를 생성하고 활용할 수도 있다.

한편, 본 개시의 일 실시 예에 따른 합성곱 신경망 기법 및 풀링에 대해서는 도 5 및 도 6을 참조하여 후술한다.

도 5는 다채널 특징맵을 생성하는 합성곱 신경망의 일 실시 예를 설명하기 위한 도면이다.

합성곱 신경망 기반의 영상 처리는 다양한 분야에 활용될 수 있다. 예컨대, 영상의 객체 인식(object recognition)을 위한 영상 처리 장치, 영상 복원(image reconstruction)을 위한 영상 처리 장치, 시맨틱 세그먼테이션(semantic segmentation)을 위한 영상 처리 장치, 장면 인식(scene recognition)을 위한 영상 처리 장치 등에 이용될 수 있다.

입력 영상(510)은 합성곱 신경망(500)을 통해 처리됨으로써 특징맵 영상을 출력할 수 있다. 출력된 특징맵 영상은 전술한 다양한 분야에 활용될 수 있다.

합성곱 신경망(500)은 복수의 계층들(520, 530, 540)을 통해 처리될 수 있으며, 각 계층은 다채널 특징맵 영상들(525, 535)을 출력할 수 있다. 일 실시예에 따른 복수의 계층들(520, 530, 540)은 입력받은 데이터의 좌측 상단으로부터 우측 하단까지 일정한 크기의 필터를 적용하여 영상의 특징을 추출할 수 있다. 예를 들어, 복수의 계층들(520, 530, 540)은 입력 데이터의 좌측 상단 NХM 픽셀에 가중치를 곱해서 특징맵의 좌측 상단의 한 뉴런에 매핑시킨다. 이 경우, 곱해지는 가중치도 N×M가 될 것이다. 상기 NХM은 예컨대, 3Х3일 수 있으나, 이에 한정되지 않는다. 이후, 동일한 과정으로, 복수의 계층들(520, 530, 540)은 입력 데이터를 좌측에서 우측으로, 그리고 상단에서 하단으로 k 칸씩 스캔하면서 가중치를 곱하여 특징맵의 뉴런에 매핑한다. 상기 k 칸은 합성곱 수행시 필터를 이동시킬 간격(stride)을 의미하며, 출력 데이터의 크기를 조절하기 위해 적절히 설정될 수 있다. 예컨대, k는 1일 수 있다. 상기 NХM 가중치는 필터 또는 필터 커널이라고 한다. 즉, 복수의 계층들(520, 530, 540)에서 필터를 적용하는 과정은 필터 커널과의 컨볼루션 연산을 수행하는 과정이며, 그 결과 추출된 결과물을 "특징맵(feature map)" 또는 "특징맵 영상"이라고 한다. 또한, 컨볼루션 연산이 수행된 계층을 합성곱 계층이라 할 수 있다.

"다채널 특징맵(multiple-channel feature map)"의 용어는 복수의 채널에 대응하는 특징맵들의 세트를 의미하고, 예를 들어 복수의 영상 데이터일 수 있다. 다채널 특징맵들은 합성곱 신경망의 임의의 계층에서의 입력일 수 있고, 컨볼루션 연산 등의 특징맵 연산 결과에 따른 출력일 수 있다. 일 실시예에 따르면, 다채널 특징맵들(525, 535)은 합성곱 신경망의 "특징 추출 계층들" 또는 "컨볼루션 계층들"이라고도 불리는 복수의 계층들(520, 530, 540)에 의해 생성된다. 각각의 계층은 순차적으로 이전 계층에서 생성된 다채널 특징맵들을 수신하고, 출력으로서 그 다음의 다채널 특징맵들을 생성할 수 있다. 최종적으로 L(L은 정수)번째 계층(540)에서는 L-1번째 계층(미도시)에서 생성한 다채널 특징맵들을 수신하여 미도시의 다채널 특징맵들을 생성할 수 있다.

도 5를 참조하면, 채널 K1개를 가지는 특징맵들(525)은 입력 영상(510)에 대해 계층 1에서의 특징맵 연산(520)에 따른 출력이고, 또한 계층 2에서의 특징맵 연산(530)을 위한 입력이 된다. 또한, 채널 K2개를 가지는 특징맵들(535)은 입력 특징맵들(525)에 대해 계층 2에서의 특징맵 연산(530)에 따른 출력이고, 또한 계층 3에서의 특징맵 연산(미도시)을 위한 입력이 된다.

도 5를 참조하면, 첫 번째 계층(520)에서 생성된 다채널 특징맵들(525)은 K1(K1은 정수)개의 채널에 대응하는 특징맵들을 포함한다. 또한, 두 번째 계층(530)에서 생성된 다채널 특징맵들(535)은 K2(K2은 정수)개의 채널에 대응하는 특징맵들을 포함한다. 여기서, 채널의 개수를 나타내는 K1 및 K2는, 첫 번째 계층(520) 및 두 번째 계층(530)에서 각각 사용된 필터 커널의 개수와 대응될 수 있다. 즉, M(M은 1 이상 L-1 이하의 정수)번째 계층에서 생성된 다채널 특징맵들의 개수는 M번째 계층에서 사용된 필터 커널의 개수와 동일할 수 있다.

도 6은 풀링 기법의 일 실시 예를 설명하기 위한 도면이다.

도 6에 도시된 바와 같이, 풀링의 윈도우 사이즈는 2×2, 스트라이드는 2이며, 맥스 풀링을 입력 영상(610)에 적용하여 출력 영상(690)을 생성할 수 있다.

도 6의 (a)에서, 입력 영상(610)의 좌측 상단에 2Х2 윈도우(610)를 적용하고, 윈도우(610) 영역 내의 값들 중 대표값(여기서는, 최대값 4)을 계산하여 출력 영상(690)의 대응 위치(620)에 입력한다.

이후, 도 6의 (b)에서, 스트라이드만큼, 즉, 2만큼 윈도우를 이동하고, 윈도우(630) 영역 내의 값들 중 최대값 3을 출력 영상(690)의 대응 위치(640)에 입력한다.

더 이상 우측으로 윈도우를 이동시킬 없는 경우, 다시 입력 영상의 좌측에서 스트라이드만큼 아래의 위치부터 상기 과정을 반복한다. 즉, 도 6의 (c)에 도시된 바와 같이, 윈도우(650) 영역 내의 값들 중 최대값 5를 출력 영상(690)의 대응 위치(660)에 입력한다.

이후, 도 6의 (d)에 도시된 바와 같이, 스트라이드만큼 윈도우를 이동하고, 윈도우(670) 영역 내의 값들 중 최대값 2를 출력 영상(690)의 대응 위치(680)에 입력한다.

상기 과정은 입력 영상(610)의 우측 하단 영역에 윈도우가 위치할 때까지 반복적으로 수행됨으로써, 입력 영상(610)에 풀링을 적용한 출력 영상(690)을 생성할 수 있다.

본 개시의 딥러닝 기반의 모델은 완전 합성곱 신경망(완전 컨볼루션 뉴럴 네트워크, fully convolutional neural network), 합성곱 신경망(컨볼루션 뉴럴 네트워크, convolutional neural network), 순환 신경망(회귀 뉴럴 네트워크, recurrent neural network), 제한 볼츠만 머신(restricted Boltzmann machine, RBM) 및 심층 신뢰 신경망(deep belief neural network, DBN) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다. 또는, 딥러닝 이외의 머신 러닝 방법도 포함할 수 있다. 또는 딥러닝과 머신 러닝을 결합한 하이브리드 형태의 모델도 포함할 수 있다. 예컨대, 딥러닝 기반의 모델을 적용하여 영상의 특징을 추출하고, 상기 추출된 특징에 기초하여 영상을 분류하거나 인식할 때는 머신 러닝 기반의 모델을 적용할 수도 있다. 머신 러닝 기반의 모델은 서포트 벡터 머신(Support Vector Machine, SVM), 에이다부스트(AdaBoost) 등을 포함할 수 있으나, 이에 한정되지 않는다.

이하 도 7 내지 도 8을 참조하여, 본 개시의 일 실시 예에 따른 암 영역의 평가장치의 구성 및 동작을 설명한다.

후술되는 본 개시의 일 실시 예에 따른 암 영역의 평가장치의 설명에 있어서, 진단 영역은 전립선 영역으로 예시하고, 진단 영역에 존재하는 암은 전립선 암으로 예시하고, 암이 존재하는 영역은 전립선 암 영역으로 예시한다. 비록, 본 개시의 일 실시 예에서, 전립선 영역, 전립선 암을 중심으로 예시하고 있으나, 본 개시가 이를 한정하는 것은 아니며, 진단 영역과 암이 존재하는 영역은 다양하게 변경될 수 있음은 물론이다.

도 7은 본 개시의 일 실시 예에 따른 암 영역의 평가장치의 구성을 나타내는 블록도이다.

도 7을 참조하면, 본 개시의 일 실시 예에 따른 암 영역의 평가장치(70)는 진단 영역 검출부(71)와, 암 영역 검출부(73)와, 가이드 정보 제공부(75)를 포함할 수 있다.

진단 영역 검출부(71)는 전술한 암 영역 학습 장치(10)에 의해 구축된 진단 영역 검출모델(100)을 포함할 수 있으며, 암 영역 검출부(73)는 전술한 암 영역 학습 장치(10)에 의해 구축된 암 영역 검출모델(100')을 포함할 수 있다.

진단 영역 검출부(71)는 원본 파라메트릭 MRI(801, 802, 803, 도 8a 참조)를 입력 받음에 따라, 진단 영역 검출모델(100)을 사용하여 진단 영역의 파라메트릭 MRI(811, 812, 813)를 검출하여 출력할 수 있다.

이에 대응하여, 암 영역 검출부(73)는 진단 영역 검출부(71)로부터 출력되는 전립선 영역의 파라메트릭 MRI(811, 812, 813)를 입력받을 수 있으며, 암 영역 검출모델(100')을 통해 암 영역에 대한 정보(이하, '암 영역 정보'라 함)를 출력할 수 있다.

특히, 암 영역 검출부(73)는 진단 영역의 파라메트릭 MRI(811, 812, 813) 중 적어도 하나에 암이 예상되는 영역(821, 도 8b 참조)을 마킹한 영상(820)을 암 영역 정보로서 출력할 수 있다.

암 특징 벡터 추출부(75)는 암 영역 검출부(73)가 제공하는 암 영역 정보를 사용하여 암 영역의 특징을 나타내는 특징 벡터를 추출할 수 있다.

구체적으로, 암 특징 벡터 추출부(75)는 암 영역 검출부(73)가 제공한 암이 예상되는 영역(821)을 마킹한 영상(820)을 확인하고, 상기 영상(820)에서 암 영역(831, 도 8c)을 표시한 바이너리 영상(830)을 구성할 수 있다.

또한, 암 특징 벡터 추출부(75)는 적어도 하나의 파라메트릭 MRI에 암이 예상되는 영역(841, 851, 861, 도 8d 참조)을 마킹한 적어도 하나의 CR(Cancer Region) 파라메트릭 MRI(840, 850, 860)를 구성할 수 있다.

그리고, 암 특징 벡터 추출부(75)는 암 특징 검출 모델(200)을 포함할 수 있다. 여기서, 암 특징 검출 모델(200)은 비지도 학습기반의 딥러닝 모델로서, 암 영역(831)을 표시한 바이너리 영상(830)과, 적어도 하나의 CR 파라메트릭 MRI(840, 850, 860)를 입력받고, 적어도 하나의 암 특징 벡터(870-1, 870-2, 870-n)를 출력할 수 있다.

암 영역 평가부(77)는 암 특징 벡터 추출부(75)에서 추출된 적어도 하나의 암 특징 벡터(870-1, 870-2, 870-n)를 수신할 수 있다. 암 영역 평가부(77)는 수신된 입력에 기초하여 진단 영역을 분류함으로써, 최종적으로 진단 영역의 상태를 평가한 평가정보(880, 도 8e 참조)를 출력할 수 있다.

나아가, 평가정보는 PI-RAD scores 기반의 정보로 구성될 수 있다. 예컨대, 평가정보는 하기의 표 1에 예시되는 바와 같이, PI-RAD scores 값으로 이루어질 수 있다.

PI-RAD scores	진단 영역 상태
1	매우 낮음 (임상적으로 의미있는 암은 존재할 가능성이 매우 낮음)
2	낮음 (임상적으로 의미있는 암은 존재하지 않을 것임)
3	중급 (임상적으로 의미있는 암의 존재는 불분명 함)
4	높음 (임상적으로 의미있는 암이 존재할 가능성이 있음)
5	매우 높음 (임상적으로 의미있는 암이 존재할 가능성이 높음)

암 영역 평가부(77)는 상기 분류를 수행하기 위해, 인공 신경망 기반의 학습 모델을 적용할 수 있다. 암 영역 평가부(77)에 적용되는 인공 신경망 기반의 학습 모델은 추출된 영상의 특징에 기초하여 영상을 분류하기 위한 모델로서, 멀티레이어 퍼셉트론(Multi-Layer Perceptron), 서포트 벡터 머신(Support Vector Machine, SVM), 에이다부스트(AdaBoost) 등을 포함할 수 있으나, 이에 한정되지 않는다.바람직하게, 본 개시의 일 실시 예에 따른 암 영역의 평가장치는 평가정보를 보정하는 평가정보 보정부(79)를 더 포함할 수 있다. 평가정보 보정부(79)는 적어도 하나의 암 특징 벡터(870-1, 870-2, 870-n)와, 암 영역 평가부(77)가 제공한 평가정보와, 생체검사를 바탕으로 결정되는 보조 평가정보(예컨대, Gleason score, prognostic grade groupings(PGGs) 등)를 조합하여 보정된 평가정보를 생성할 수 있다. 나아가, 평가정보 보정부(79)는 생체검사를 바탕으로 결정되는 보조 평가정보(예컨대, Gleason score, prognostic grade groupings(PGGs) 등)를 입력받을 수 있는 환경(사용자 인터페이스 등)을 제공할 수 있다.

평가정보 보정부(79)는 보정된 평가정보를 생성하기 위해, 인공 신경망 기반의 학습 모델을 구비할 수 있다. 예컨대, 적어도 하나의 암 특징 벡터(870-1, 870-2, 870-n)와, 암 영역 평가부(77)가 제공한 평가정보와, 생체검사를 바탕으로 결정되는 보조 평가정보(예컨대, Gleason score, prognostic grade groupings(PGGs) 등)를 입력으로 하고, 보정된 평가정보를 출력으로 하는 학습을 통해 평가정보 보정부(79)에 적용되는 인공 신경망 기반의 학습 모델을 구축할 수 있다.

평가정보 보정부(79)에 적용되는 인공 신경망 기반의 학습 모델은 멀티레이어 퍼셉트론(Multi-Layer Perceptron), 서포트 벡터 머신(Support Vector Machine, SVM), 에이다부스트(AdaBoost) 등을 포함할 수 있으나, 이에 한정되지 않는다.

도 9는 본 개시의 일 실시예에 따른 암 영역의 평가방법의 순서를 도시하는 흐름도이다.

본 개시의 일 실시예에 따른 암 영역의 평가방법은 전술한 암 영역의 평가장치에 의해 수행될 수 있다.

우선, 본 개시의 일 실시 예에 따른 암 영역의 평가방법은 진단 영역 검출모델과 암 영역 검출모델을 기반으로 가이드 정보를 생성 및 제공할 수 있다. 가이드 정보의 생성에 기초가 되는 진단 영역 검출모델과 암 영역 검출모델을 준비하기 위한 동작으로서, 진단 영역 검출모델을 구축하는 단계(S901)와 암 영역 검출모델을 구축하는 단계(S902)가 수행될 수 있다.

진단 영역 검출모델을 구축하는 단계(S901)와 암 영역 검출모델을 구축하는 단계(S902)는 암 영역 학습 장치(10)에 의해 수행될 수 있으며, 구체적인 동작은 전술한 암 영역 학습 장치(10)의 구성 및 동작 설명을 참조한다.

S901 단계에서, 암 영역 학습 장치는 적어도 하나의 파라메트릭 MRI를 제공할 수 있다. 사용자의 신체를 자기공명영상(MRI; Magnetic Resonance Imaging) 촬영 장치에 의해 촬영된 영상, 즉, MRI에 다양한 파라미터를 적용하여 다양한 영상을 재구성할 수 있는데, 본 개시의 일 실시예에서는 MRI에 소정의 파라미터를 적용하여 재구성한 영상을 파라메트릭 MRI라 지시한다.

여기서, 적어도 하나의 파라메트릭 MRI는 T1(T1-weighted) 영상, T2(T2-weighted) 영상, T2*(T2 star) 영상, ADC(apparent diffusion coefficients) 영상, FLAIR(Fluid Attenuated inversion recovery) 영상, STIR(Short TI inversion recovery) 영상, PWI(Perfusion weighted image) 등을 포함할 수 있다.

나아가, 암 영역 학습 장치는 사용자(또는 환자)의 신체에 마련된 다양한 신체 기관 또는 진단 영역에 대한 암 검출모델을 학습할 수 있는데, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 적어도 하나의 파라메트릭 MRI가 선택적으로 사용할 수 있다. 이를 위해, 암 영역 학습 장치는 신체 기관 또는 진단 영역에 대응되는 적어도 하나의 파라메트릭 MRI를 선택적으로 딥러닝 모델에 입력할 수 있다.

예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 암 영역 학습 장치는 T2(T2-weighted) 영상, ADC(apparent diffusion coefficients) 영상 등을 입력할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 암 영역 학습 장치는 TIR 영상, T1 영상, T1 with Agents 영상, T2 영상 등을 입력할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 암 영역 학습 장치는 T1 영상, T2 영상, FLAIR 등을 입력할 수 있다.

나아가, 적어도 하나의 파라메트릭 MRI는 진단 영역을 추출한 영상일 수 있다. 구체적으로, 암 영역 학습 장치는 원본 파라메트릭 MRI(201, 202, 도 2a 참조)를 입력받을 수 있으며, 진단 영역의 파라메트릭 MRI(203, 204)를 출력으로 하는 학습을 통해 소정의 학습모델, 즉, 진단 영역 검출모델(100)을 구축할 수 있다.

S902 단계에서, 암 영역 학습 장치는 진단 영역의 파라메트릭 MRI(203, 204)를 딥러닝 모델의 입력으로서 사용하고, 진단 영역의 파라메트릭 MRI(203, 204)를 제공하는 화면(200, 도 2b 참조)을 구성하여 디스플레이 등을 통해 출력할 수 있다. 그리고, 암 영역 학습 장치는 진단 영역의 파라메트릭 MRI(203, 204)에서 암이 위치한 영역을 지정하는데 참조할 수 있는 정보(이하, '참조정보'라 함)를 제공할 수 있다.

예를 들어, 사용자(또는 환자)의 전립선을 추출하고, 추출된 전립선에서 암 조직이 존재하는 영역을 지도화하여 병리지도(pathology map)를 구성할 수 있는데, 암 영역 학습 장치는 이러한 병리지도를 입력받을 수 있는 환경을 제공할 수 있다. 그리고, 암 영역 학습 장치는 입력받은 병리지도(205)를 화면(200)의 일 영역을 통해 디스플레이할 수 있다.

MRI는 다양한 파라미터를 포함할 수 있는데, T2 영상이나, ADC 영상 등은 2차원 형태의 영상로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직을 확인하기가 어려울 수 있다. 한편, MRI에 기초하여 획득되는 영상 중, DWI(Diffusion-weighted imaging)는 MRI에 포함된 정보를 조직 내에 포함된 물분자가 특정방향으로 확산된 정보를 나타낼 수 있으므로, T2 영상이나, ADC 영상 등에 표시되지 않는 정보를 표현할 수 있다. 이를 고려하여, 암 영역 학습 장치는 DWI(206)를 화면(200)의 일 영역을 통해 더 디스플레이할 수 있다.

나아가, 암 영역 학습 장치는 DCE(Dynamic Contrast Enhanced) 신호정보를 확인할 수 있으며, DCE 신호정보(207)를 화면(200)의 일 영역을 통해 더 디스플레이할 수도 있다. DCE 신호정보(207)는 해당 기관의 밝기를 확인하는 정보로서 MRI에 기초하여 획득되는 영상으로부터 소정의 영역을 선택하고, 선택된 영역에 대한 밝기 정보를 나타내는 정보일 수 있다. 따라서, 암 영역 학습 장치는 사용자 인터페이스를 통해, 사용자에 의해 선택되는 영역을 확인하고, 이에 대응되는 DCE 신호정보(207)를 표시할 수 있다.

각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 따라, 라벨링의 참조정보로서 사용될 수 있는 정보는 다양하게 변경될 수 있다. 이에 따라, 암 영역 학습 장치는, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 상기 암 영역의 라벨링 처리에 기여하는 참조정보를 선택적으로 제공할 수 있다.

예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 암 영역 학습 장치는 T1 Contrast 영상, T2 Contrast 영상, PET(Positron Emission Tomography), SPECT(single photon emission computed tomography), DSA(Digital Subtraction Angiography) 등을 참조정보로서 제공할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 암 영역 학습 장치는 T1 Contrast 영상, T2 Contrast 영상 등을 참조정보로서 제공할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 암 영역 학습 장치는 FDG-PET, SPECT 등을 참조정보로서 제공할 수 있다.

또한, 암 영역 학습 장치는 참조정보(병리지도(205), DWI(206), DCE 신호정보(207) 등)를 표시하면서, 라벨링을 수행할 수 있는 사용자 인터페이스(210)를 제공할 수 있다.

상기 사용자 인터페이스(210)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)(211)를 포함할 수 있다. 또한, 상기 사용자 인터페이스(210)는 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자(212)를 포함할 수 있다. 또한, 암 영역 학습 장치는 표시자(212)를 통해 선택되는 소정의 영역을 암 영역으로 설정할 수 있으며, 사용자 인터페이스(210)는 암 영역으로 설정된 해당 영역을 표시하는 라벨링 지시자(213)를 포함할 수 있다.

사용자 인터페이스(210)를 통해 암 영역이 설정되면, 암 영역 학습 장치는 전립선 영역의 파라메트릭 MRI(203, 204)를 입력으로하고, 라벨링된 영역을 출력으로 하여 암 영역 검출모델을 학습할 수 있다.

암 영역 검출모델의 학습은 전술한 도 3 내지 도 6에서 제시되는 방식에 기초하여 수행될 수 있다.

한편, S903 단계에서, 암 영역의 평가장치는 분석 대상 영상을 입력받을 수 있다. 여기서, 분석 대상 영상은 암을 진단할 대상이 되는 사용자(또는 환자)의 신체를 촬영한 MRI로서, 전술한 적어도 하나의 파라메트릭 MRI를 포함할 수 있다.

분석 대상 영상이 입력됨에 따라(S903-예), 암 영역의 평가장치는 전술한 진단 영역 검출모델과 암 영역 검출모델을 사용하여 암 영역 정보를 확인할 수 있다(S904).

구체적으로, 분석 대상 영상으로서 원본 파라메트릭 MRI(801, 802, 803, 도 8a 참조)를 입력 받음에 따라, 암 영역의 평가장치는 진단 영역 검출모델을 사용하여 진단 영역의 파라메트릭 MRI(811, 812, 813)를 검출하여 출력할 수 있다.

이에 대응하여, 암 영역의 평가장치는 진단 영역의 파라메트릭 MRI(811, 812, 813)를 암 영역 검출모델에 입력하여, 암 영역 정보를 출력할 수 있다.

특히, 암 영역의 평가장치는 진단 영역의 파라메트릭 MRI(811, 812, 813)에 암 영역이 위치한 영역(821, 도 8b 참조)을 마킹한 영상(820)을 암 영역 정보로서 출력할 수 있다.

S905 단계에서, 암 영역의 평가장치는 S904 단계를 통해 확인된 암 영역 정보를 사용하여 암 영역의 특징을 나타내는 특징 백벡터를 추출할 수 있다.

구체적으로, 암 영역의 평가장치는 암이 예상되는 영역(821)을 마킹한 영상(820)을 확인하고, 상기 영상(820)에서 암 영역(831, 도 8c)을 표시한 바이너리 영상(830)을 구성할 수 있다. 또한, 암 영역의 평가장치는 적어도 하나의 파라메트릭 MRI에 암이 예상되는 영역(841, 851, 861, 도 8d 참조)을 마킹한 적어도 하나의 CR(Cancer Region) 파라메트릭 MRI(840, 850, 860)를 구성할 수 있다.

그리고, 암 영역의 평가장치는 암 특징 검출 모델(200)을 포함할 수 있다. 여기서, 암 특징 검출 모델(200)은 비지도 학습기반의 딥러닝 모델로서, 암 영역(831)을 표시한 바이너리 영상(830)과, 적어도 하나의 CR 파라메트릭 MRI(840, 850, 860)를 입력받고, 적어도 하나의 암 특징 벡터(870-1, 870-2, 870-n)를 출력할 수 있다.

이에 기초하여, 암 영역의 평가장치는 적어도 하나의 암 특징 벡터(870-1, 870-2, 870-n)의 입력에 기초하여 진단 영역을 분류함으로써, 진단 영역의 상태를 평가한 평가정보(880, 도 8e 참조)를 출력할 수 있다(S906).

예컨대, 암 영역이 전립선 암 영역일 경우, 평가정보는 PI-RAD scores 기반의 정보로 구성될 수 있다.

비록, 본 개시의 일 실시예에서, 평가정보가 PI-RAD scores 기반의 정보임을 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 본 개시의 기술분야에서 통상의 지식을 가진자에 의해 다양하게 변경 또는 준용할 수 있음은 물론이다.

S906 단계에서, 암 영역의 평가장치는 상기 분류를 수행하기 위해, 인공 신경망 기반의 학습 모델이 사용될 수 있으며, 이때 사용되는 인공 신경망 기반의 학습 모델은 추출된 영상의 특징에 기초하여 영상을 분류하기 위한 모델로서, 멀티레이어 퍼셉트론(Multi-Layer Perceptron), 서포트 벡터 머신(Support Vector Machine, SVM), 에이다부스트(AdaBoost) 등을 포함할 수 있으나, 이에 한정되지 않는다.

나아가, 암 영역의 평가장치는 S906 단계에서 생성된 평가정보를 보정하는 단계(S907)를 더 수행할 수 있다.

구체적으로, S907 단계에서, 암 영역의 평가장치는 적어도 하나의 암 특징 벡터(870-1, 870-2, 870-n)와, S906 단계에서 확인된 평가정보와, 생체검사를 바탕으로 결정되는 보조 평가정보(예컨대, Gleason score, prognostic grade groupings(PGGs) 등)를 조합하여 보정된 평가정보를 생성할 수 있다.

나아가, 암 영역의 평가장치는 보정된 평가정보를 생성하기 위해, 인공 신경망 기반의 학습 모델을 사용할 수 있다. 여기서 사용되는 인공 신경망 기반의 학습 모델은, 적어도 하나의 암 특징 벡터(870-1, 870-2, 870-n)와, S906 단계에서 확인된 평가정보와, 생체검사를 바탕으로 결정되는 보조 평가정보(예컨대, Gleason score, prognostic grade groupings(PGGs) 등)를 입력으로 하고, 보정된 평가정보를 출력으로 하는 학습을 통해 구축될 수 있다.

이때 사용되는 인공 신경망 기반의 학습 모델은, 멀티레이어 퍼셉트론(Multi-Layer Perceptron), 서포트 벡터 머신(Support Vector Machine, SVM), 에이다부스트(AdaBoost) 등을 포함할 수 있으나, 이에 한정되지 않는다.

도 10은 본 개시의 일 실시예에 따른 암 영역의 평가방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.

도 10을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (8)

1. 암 영역 평가장치에 있어서,
   서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 입력받고, 진단 영역의 파라메트릭 MRI를 출력으로 하는 진단 영역 검출모델을 포함하는 진단 영역 검출부와,
   상기 진단 영역의 파라메트릭 MRI를 입력받고, 암 영역 정보를 출력으로 하는 암 영역 검출모델을 포함하는 암 영역 검출부와,
   상기 암 영역 정보 및 상기 암 영역에 대응되는 진단 영역의 파라메트릭 MRI를 입력으로 하여 암 특징 벡터를 추출하는 암 특징 벡터 추출부와,
   상기 암 특징 벡터를 입력받고 이에 대응되는 상기 진단 영역의 상태를 분류한 평가정보를 생성하는 암 영역 평가모델, 및 상기 암 특징 벡터와 상기 암 영역 평가모델에 의해 출력되는 상기 평가정보와 상기 암 영역에 대한 생체검사(biopsy) 결과를 기반으로 하는 보조 평가정보를 입력받고, 상기 암 특징 벡터와 상기 평가정보와 상기 보조 평가정보에 대응되는 보정된 평가정보를 출력하는 평가정보 보정 학습모델을 구비하는 암 영역 평가부를 포함하는,
   암 영역 평가장치.
2. 제1항에 있어서, 상기 암 특징 벡터 추출부는,
   상기 암 영역 정보 및 상기 암 영역에 대응되는 진단 영역의 파라메트릭 MRI를 입력으로 사용하고, 상기 암 특징 벡터를 출력으로서 추출하는 비지도 학습 기반의 암 특징 검출모델을 포함하는,
   암 영역 평가장치.
3. 제1항에 있어서, 상기 평가정보는,
   PI-RAD scores 기반의 정보를 포함하는,
   암 영역 평가장치.
4. 제4항에 있어서, 상기 보조 평가정보는,
   Gleason score 및 PGGs(Prognostic grade groupings) 중 적어도 하나를 포함하는,
   암 영역 평가장치.
5. 적어도 하나의 프로세서, 사용자 인터페이스 입력 장치, 사용자 인터페이스 출력 장치를 포함하는 컴퓨팅 시스템이 암 영역을 평가하는 방법에 있어서,
   상기 적어도 하나의 프로세서가, 진단 영역 검출모델, 암 영역 검출모델, 암 특징 검출모델, 암 영역 평가모델, 및 평가정보 보정 학습모델을 구축하는 과정과,
   상기 적어도 하나의 프로세서가, 상기 진단 영역 검출모델을 사용하여, 적어도 하나의 원본 파라메트릭 MRI에 대응되는 진단 영역의 파라메트릭 MRI를 출력하는 과정과,
   상기 적어도 하나의 프로세서가, 상기 진단 영역의 파라메트릭 MRI를 분석 대상 영상으로서 입력받고, 상기 암 영역 검출모델을 사용하여, 상기 분석 대상 영상에 대응되는 암 영역 정보를 확인하는 과정과,
   상기 적어도 하나의 프로세서가, 상기 암 특징 검출모델을 사용하여, 상기 암 영역 정보 및 상기 암 영역에 대응되는 진단 영역의 파라메트릭 MRI에 대응되는 암 특징 벡터를 추출하는 과정과,
   상기 적어도 하나의 프로세서가, 상기 암 영역 평가모델을 통해, 상기 암 특징 벡터의 입력에 대응되는 상기 진단 영역의 상태를 분류한 평가정보를 출력하는 과정과,
   상기 적어도 하나의 프로세서가, 상기 평가정보 보정 학습모델에, 상기 상기 암 특징 벡터와 상기 암 영역 평가모델에 의해 출력되는 상기 평가정보와 상기 암 영역에 대한 생체검사(biopsy) 결과를 기반으로 하는 보조 평가정보를 입력하고, 상기 평가정보 보정 학습모델에 의해 출력되는 보정된 평가정보를 확인하는 과정을 포함하는,
   암 영역 평가방법.
6. 제5항에 있어서, 상기 암 특징 검출모델은,
   상기 암 영역 정보 및 상기 암 영역에 대응되는 진단 영역의 파라메트릭 MRI를 입력으로 사용하고, 상기 암 특징 벡터를 출력으로서 추출하는 비지도 학습 기반의 학습모델인 것을 특징으로 하는,
   암 영역 평가방법.
7. 제5항에 있어서, 상기 평가정보는,
   PI-RAD scores 기반의 정보를 포함하는,
   암 영역 평가방법.
8. 제5항에 있어서, 상기 보조 평가정보는,
   Gleason score 및 PGGs(Prognostic grade groupings) 중 적어도 하나를 포함하는,
   암 영역 평가방법.

Images