KR20230055035A

KR20230055035A - 3d ct 영상에서 추출한 2d 영상들을 이용하여 병변을 예측하는 방법 및 분석장치

Info

Publication number: KR20230055035A
Application number: KR1020210138268A
Authority: KR
Inventors: 김경수; 정명진; 오성제
Original assignee: 사회복지법인 삼성생명공익재단
Priority date: 2021-10-18
Filing date: 2021-10-18
Publication date: 2023-04-25
Also published as: KR20230147589A

Abstract

3D CT 영상에서 추출한 2D 영상들을 이용하여 병변을 예측하는 방법은 분석장치가 대상자의 관심 영역에 대한 3D CT(Computed Tomography) 영상을 입력받는 단계, 상기 분석장치가 상기 3D CT 영상을 서로 다른 시점(viewpoint)으로 투사하여 복수의 2D 영상들을 산출하는 단계 및 상기 분석장치가 상기 복수의 2D 영상들을 분류 모델에 입력하여 상기 관심 영역의 병변을 예측하는 단계를 포함한다.

Description

3D CT 영상에서 추출한 2D 영상들을 이용하여 병변을 예측하는 방법 및 분석장치{PRESENCE OR ABSENCE OF LESION PREDICTION METHOD USING 2 DIMENSIONAL IMAGES EXTRACTED FROM 3 DIMENSIONAL COMPUTED TOMOGRAPHY IMAGE AND ANALYSIS APPARATUS}

이하 설명하는 기술은 3D CT 영상에서 산출되는 2D 영상들을 이용하여 병변을 예측하는 기법에 관한 것이다.

전통적으로 의료 기관은 환자의 CT(Computed Tomography) 영상 등을 이용하여 질병의 진단을 하고 있다. 최근 AI(Artificial Intelligence)를 이용하여 의료 영상을 분석하여 병변을 진단하는 다양한 연구가 진행되고 있다.

한국공개특허 제10-2021-0035381호

CT 영상은 복수의 슬라이드 영상이 적층되어 3차원 영상으로 제공된다. 종래 AI 모델은 2차원 영상에서 특징을 추출하여 일정한 정보를 산출한다. CT 영상을 입력받는 AI 모델은 하나 또는 복수의 슬라이드를 분석하여 병변을 평가하였다. 따라서 종래 기술은 다수의 슬라이드 중 일부 슬라이드에 병변이 있는 경우 분석이 쉽지 않았다. 또한, 폐와 같은 장기의 3차원 구조를 갖는데 종래 기술은 3차원 공간에서 전체 정보를 활용하는데 한계가 있었다.

이하 설명하는 기술은 3D CT 영상에서 서로 다른 시점의 2D 영상을 생성하여 3차원 공간에서 주어지는 포괄적인 정보를 기계학습모델에 전달하고자 한다. 이하 설명하는 기술은 복수의 2D 영상을 이용하여 대상자의 병변을 예측하는 기법을 제공하고자 한다.

3D CT 영상에서 추출한 2D 영상들을 이용하여 병변을 예측하는 분석장치는 대상자의 관심 영역에 대한 3D CT(Computed Tomography) 영상을 입력받는 입력장치, 3D CT 영상에서 관심 영역을 분리하는 세그멘테이션 모델 및 복수의 2D 영상을 입력받아 병변을 예측하는 복수의 분류 모델들을 저장하는 저장장치 및 상기 세그멘테이션 모델을 이용하여 상기 대상자의 3D CT 영상을 서로 다른 시점(viewpoint)으로 투사하여 복수의 2D 영상들을 산출하고, 상기 복수의 2D 영상들을 상기 복수의 분류 모델들에 입력하여 상기 대상자의 관심 영역의 병변을 예측하는 연산장치를 포함한다.

이하 설명하는 기술은 고정된 하나의 시점이 아닌 다양한 시점의 2D 영상을 사용하여 강인한 병변 예측이 가능하다. 나아가 이하 설명하는 기술은 복수의 2D 영상들을 처리하는 앙상블(ensemble) 모델을 이용하여 보다 정확도 높은 병변 예측이 가능하다.

도 1은 3D CT 영상에서 추출한 2D 영상을 이용한 병변 예측 시스템에 대한 예이다.
도 2는 3D CT 영상에서 추출한 2D 영상을 이용한 병변 예측 과정에 대한 예이다.
도 3은 3D CT 영상에서 폐 영역을 분리하는 과정에 대한 예이다.
도 4는 3D CT 영상에서 특정 시점의 투사를 통해 2D 영상을 획득하는 예이다.
도 5는 3D CT 영상에서 절단 최댓값 투사에 따른 2D 영상 생성 과정의 예이다.
도 6은 2D CT 영상들을 이용하여 병변을 예측하는 분류 모델에 대한 예이다.
도 7은 2D CT 영상들을 이용하여 병변을 예측하는 분류 모델에 대한 다른 예이다.
도 8은 3D CT 영상에서 추출한 2D 영상을 이용하여 병변을 예측하는 분석장치의 예이다.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설명된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

이하 설명하는 기술은 3D CT 영상에서 특정 시점의 2D 영상(들)을 추출하고, 추출한 2D 영상을 이용하여 병변을 예측하는 기법이다.

3D CT 영상은 CT 장비에서 산출되며 일정한 포맷의 디지털 데이터로 제공된다. CT 장비가 3D 영상을 재구성하는 알고리즘이나 모델은 다양할 수 있다. 이하 설명은 일정한 3D CT 영상이 제공되는 것을 전제로 하며, 3D CT 영상의 구성 방법을 한정하지 않는다.

이하 분석장치가 일정한 기계학습모델을 이용하여 영상에서 병변을 예측한다고 설명한다. 분석 장치는 데이터 처리가 가능한 다양한 장치로 구현될 수 있다. 예컨대, 분석 장치는 PC, 네트워크상의 서버, 스마트 기기, 전용 프로그램이 임베딩된 칩셋 등으로 구현될 수 있다.

기계 학습 모델은 결정 트리, 랜덤 포레스트(random forest), KNN(K-nearest neighbor), 나이브 베이즈(Naive Bayes), SVM(support vector machine), ANN(artificial neural network) 등이 있다. 특히 이하 설명하는 기술은 ANN을 이용하여 CT 영상에서 병변을 예측할 수 있다.

ANN은 생물의 신경망을 모방한 통계학적 학습 알고리즘이다. 다양한 신경망 모델이 연구되고 있다. 최근 딥러닝 신경망(deep learning network, DNN)이 주목받고 있다. DNN은 입력 계층(input layer)과 출력 계층(output layer) 사이에 여러 개의 은닉 계층(hidden layer)들로 이뤄진 인공신경망 모델이다. DNN은 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다. DNN은 다양한 유형의 모델이 연구되었다. 예컨대, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), GAN(Generative Adversarial Network), RL(Relation Networks) 등이 있다.

도 1은 3D CT 영상에서 추출한 2D 영상을 이용한 병변 예측 시스템(100)에 대한 예이다. 도 1에서 분석장치는 컴퓨터 단말(130) 및 서버(140)인 예를 도시하였다.

CT 장비(110)는 대상자에 대한 CT 영상을 생성한다. 이때, CT 장비(110)가 최종 생성하는 영상은 3D CT 영상이다. 대상자의 3D CT 영상은 EMR(Electronic Medical Record, 120)에 저장될 수 있다.

도 1에서 사용자(A)는 컴퓨터 단말(130)을 이용하여 대상자의 영상을 이용하여 병변을 예측할 수 있다. 컴퓨터 단말(130)은 대상자의 3D CT 영상을 입력받는다. 컴퓨터 단말(130)은 유선 또는 무선 네트워크를 통해 CT 장비(110) 또는 EMR(120)로부터 3D CT 영상을 입력받을 수 있다. 경우에 따라 컴퓨터 단말(130)은 CT 장비(110)와 물리적으로 연결된 장치일 수도 있다.

컴퓨터 단말(130)은 대상자의 3D CT 영상에서 2D 영상(들)을 생성한다. 이때 2D 영상(들)은 3차원 공간에서 일정한 방향에 대한 영상에 해당한다. 컴퓨터 단말(130)은 기계학습모델을 이용하여 2D 영상을 분석하고, 병변을 예측한다. 사용자 A는 분석 결과를 확인할 수 있다.

서버(140)는 CT 장비(110) 또는 EMR(120)로부터 대상자의 3D CT 영상을 수신할 수 있다. 서버(140)는 대상자의 3D CT 영상에서 2D 영상(들)을 생성한다. 이때 2D 영상(들)은 3차원 공간에서 일정한 방향에 대한 영상에 해당한다. 서버(140)는 기계학습모델을 이용하여 2D 영상을 분석하고, 병변을 예측한다. 서버(140)는 분석 결과는 사용자 A의 단말에 전송할 수 있다. 사용자 A는 분석 결과를 확인할 수 있다.

컴퓨터 단말(130) 및/또는 서버(140)는 분석 결과를 EMR(120)에 저장할 수도 있다.

이하 설명하는 기술은 3D CT 영상에서 추출한 2D 영상(들)을 이용하여 대상자의 병변을 예측하거나 확인하는 기술이다. 따라서, 이하 설명하는 기술은 해부학적 특정 부위의 종류에 관계없이 3D CT 영상에 대하여 적용 가능하다. 예컨대, 뇌, 폐, 복부 등 다양한 부위의 영상에 대하여 적용 가능하다. 다만, 이하 설명의 편의를 위하여 폐를 기준으로 설명한다.

도 2는 3D CT 영상에서 추출한 2D 영상을 이용한 병변 예측 과정(200)에 대한 예이다. 분석장치가 전체 과정을 수행한다고 가정한다. 다만, 실시 형태에 따라서 3D CT 영상에서 2D 영상을 생성하는 장치와 2D 영상을 기준으로 병변을 분류하는 장치가 서로 다를 수도 있다.

분석장치는 폐 3D CT 영상을 입력받는다. 분석장치는 3D CT 영상에서 폐 영역을 분리(segmentation)한다(210). 분석장치는 영상에서 특정 객체를 분리하는 모델(세그멘테이션 모델)을 사용하여 3D 영상에서 폐 영역을 분리할 수 있다.

세그멘테이션 모델은 다양한 모델이 연구되었다. 예컨대, 세그멘테이션 모델은 FCN(Fully Convolutinal Network), DeebLab, U-net 등과 같은 모델이 있다. 도 2는 FCN 기반 모델의 구조를 예시하였다. 폐 영역을 분리(segmentation)하는 과정은 도 3에서 상세하게 설명한다.

분석장치는 폐 3D CT에서 폐 영역을 분리하고, 3차원 공간에서 특정 시점으로 투사를 하여 원하는 2D 영상(들)을 획득한다(220). 특정 시점은 사용자가 설정할 수 있다. 사용자가 원하는 특정 시점의 2D 영상을 관심 2D 영상이라고 명명한다. 관심 2D 영상을 생성하는 과정은 도 4 및 도 5에서 상세하게 설명한다.

분석장치는 관심 2D 영상(들)을 기반으로 대상자의 병변을 예측한다(230). 예측 결과는 정상 또는 병변 검출일 수 있다. 분석장치는 사전에 학습된 분류 모델에 관심 2D 영상(들)을 입력하고, 분류 모델이 산출하는 확률값을 기준으로 병변을 예측할 수 있다. 분류 모델은 입력된 영상의 특징을 기준으로 출력값을 산출하는 모델이다. 대표적인 분류 모델은 CNN 등이 있다. 예컨대, CNN은 컨볼루션 계층이 입력 영상의 특징을 추출하고, 전연결 계층이 입력된 특징에서 일정한 확률값을 산출한다.

도 3은 3D CT 영상에서 폐 영역을 분리하는 과정에 대한 예이다. 먼저, 분석장치는 3D CT 영상에서 관심 영역(폐 영역)을 분리하기 위하여 마스크(mask)를 생성한다. 이후 분석장치는 마스크를 이용하여 3D CT 영상에서 폐 영역을 분리할 수 있다.

도 3(A)는 폐 마스크를 생성하는 과정에 대한 예이다. 분석장치는 폐 3D CT 영상을 세그멘테이션 모델에 입력하여 폐 마스크를 생성할 수 있다. FCN은 컨볼루션 계층(Conv)이 입력 영상에서 특징을 추출하고, 디컨볼루션 계층(Deconv)이 특징으로부터 영상을 복원하는 과정으로 폐 영역을 검출한다. 한편, 입력되는 영상이 3D CT 영상이므로 컨볼루션 계층 전에 3D 영상을 2D 형태로 샘플링하는 계층 및 디컨볼루션 계층 후에 2D 영상을 3D 영상으로 구성하는 계층이 더 사용될 수도 있다. 나아가, 분석장치는 3D 영상의 세그멘테이션을 위한 다양한 신경망 모델 중 어느 하나를 이용하여 폐 마스크를 산출할 수 있다.

도 3(B)는 폐 마스크를 이용하여 폐 3D CT 영상에서 폐 영역을 분리하는 예이다. 분석장치는 폐 마스크를 기준으로 폐 3D CT 영상에서 폐 영역을 분리할 수 있다. 폐는 좌 폐 및 우 폐로 구성된다. 이후 2D 영상을 생성하는 투사 과정에서 양쪽 폐가 겹치는 것을 방지하기 위하여, 분석장치는 분리된 폐 영역을 다시 좌 폐와 우 폐로 분리할 수 있다.

도 3은 좌우 구조를 갖는 폐를 대상으로 설명한 예이다. 좌뇌와 우뇌로 구성되는 뇌의 경우, 분석장치는 도 3과 유사한 과정으로 좌뇌와 우뇌를 분리할 수 있다. 한편, 대칭적 구조가 아닌 해부학적 부위의 경우 분석장치는 좌우를 분리하는 과정을 수행하지 않을 수 있다.

분석장치가 폐 3D CT에서 좌 폐와 우 폐를 분리한 상태라고 가정한다. 현재 좌 폐와 우 폐는 각각 3D 영상 객체이다. 따라서 3차원 공간에서 일정한 방향(시점)을 기준으로 투사가 가능하다.

도 4는 3D CT 영상에서 특정 시점의 투사를 통해 2D 영상을 획득하는 예이다.

도 4(A)는 좌 폐와 우 폐에 대하여 3차원 공간에서 투사 지점을 설정하는 예이다. 각 폐 영역은 해당 폐 영역을 둘러싸는 구를 갖는다. 이때 구내에서 폐 영역의 위치는 다양할 수 있다. 예컨대, 폐 영역의 무게 중심과 구의 중심이 일치할 수 있다. 도 4에서 점(point)은 투사 시작 위치를 나타낸다. 투사는 시작 위치에서 구의 중심을 향한 직선 방향으로 진행될 수 있다. 또는 투사는 시작 위치에서 폐 영역의 무게 중심을 향한 직선 방향으로 진행될 수도 있다.

도 4(B)는 하나의 폐 영역을 기준으로 다양한 투사 시작 지점을 설정하여 다양한 관심 2D 영상을 획득하는 예이다.

분석장치는 분리한 폐 영역을 화면에 출력할 수 있다. 이 경우 분석장치는 폐 영역과 가상의 구 표면을 이동하는 투사 시작 지점을 출력할 수 있다. 사용자는 입력장치를 이용하여 출력되는 화면을 보면서 투사 시작 지점을 설정할 수 있다. 이를 통해 사용자는 원하는 방향의 영상(들)을 확보할 수 있다. 사용자는 특정 방향에 있는 영상들을 중첩되도록 투사 시작 지점을 설정할 수 있다. 또는 사용자는 2D 영상이 중첩되지 않도록 다양한 방향에서 투사 시작 지점을 설정할 수도 있다.

투시 시작 지점은 폐의 해부학적 구조를 고려하여 정면, 상측면, 우측면, 좌측면 및 배면과 같이 일정한 방향이 설정될 수도 있다. 이 경우, 분석장치가 자동으로 폐 영역의 모양 내지 형태를 분석하여 특정 방향의 2D 영상이 생성되도록 투사 지점을 설정할 수도 있다.

3D CT 영상을 투사하여 2D 영상을 생성하는 다양한 기법이 있다. 시작 지점에서 투사를 시작하면 하나의 직선에서 다수의 픽셀들을 지나게 된다. 2D 영상은 이 직선상에 있는 다수의 픽셀들을 하나의 픽셀값으로 표현해야 한다. 몇 가지 기법을 설명하면 다음과 같다. 아래 기법은 다수의 픽셀의 값을 어떤 값으로 선택 내지 연산할지에 대한 지침에 해당한다. CT 영상에서 픽셀의 값은 명암을 나타내는 값일 수 있다.

(1) 평균 투사(average projection) 기법

투사로 생성된 2D 영상의 각 픽셀 값은 해당 픽셀을 생성하기 위한 3차원 폐 영역 내의 투사 각도의 픽셀 벡터 어레이(array) 내에 해당하는 값들의 평균(average)으로 주어진다. 어레이는 하나의 직선에 위치하는 픽셀들로 구성된다.

(2) 최댓값 투사(max projection) 기법

투사로 생성된 2D 영상의 각 픽셀 값은 해당 픽셀을 생성하기 위한 3차원 폐 영역 내의 해당 투사 각도의 픽셀 벡터 어레이 내의 값들 중에서 가장 큰 값(max)으로 주어진다.

(3) 절단 최댓값 투사(truncated max projection) 기법

이 기법은 일정한 조건을 만족하는 픽셀의 값만을 사용하는 방법이다. 이 기법은 픽셀 벡터 어레이에서 일정한 범위 [a,b]의 값을 갖는 픽셀만을 사용한다. 투사로 생성된 2D 영상의 각 픽셀 값은 해당 픽셀을 생성하기 위한 3차원 폐 영역 내의 해당 투사 각도의 픽셀 벡터 어레이에서 a~b 사이 값 중에서 가장 큰 값으로 주어진다.

(4) 절단 평균 투사(truncated average projection) 기법

이 기법은 일정한 조건을 만족하는 픽셀의 값만을 사용하는 방법이다. 이 기법은 픽셀 벡터 어레이에서 일정한 범위 [a,b]의 값을 갖는 픽셀만을 사용한다. 투사로 생성된 2D 영상의 각 픽셀 값은 해당 픽셀을 생성하기 위한 3차원 폐 영역 내의 해당 투사 각도의 픽셀 벡터 어레이에서 a~b 사이 값을 갖는 픽셀들의 평균값으로 주어진다.

도 5는 3D CT 영상에서 절단 최댓값 투사에 따른 2D 영상 생성 과정(300)의 예이다. 도 5는 픽셀 벡터 어레이 내에 위치하는 값들 중 특정함 범위를 -800 ~ 0으로 설정한 경우이다. 이때 범위는 사용자가 선택할 수 있다. 또는 범위는 CT 장비나 해부학적 부위 특성에 따라 사전에 설정된 값으로 설정될 수도 있다.

분석장치는 하나의 픽셀값을 결정하기 위한 픽셀 벡터 어레이를 선택(310)한다. 픽셀 벡터 어레이는 투사 방향에 평행하게 2D 평면 기준으로 모든 픽셀들에 대하여 설정된다. 분석장치는 선택한 픽셀 벡터 어레이 중 -800 ~ 0의 값을 갖는 픽셀들 중 가장 큰 값을 2D 영상에서 해당 픽셀의 값으로 설정한다(320). 분석장치는 2D 평면의 모든 픽셀에 대하여 동일한 과정을 수행한다.

나아가 분석장치는 이와 같은 과정으로 산출된 2D 영상에 대하여 일정하게 정규화를 할 수 있다(330). 예컨대, 분석장치는 산출된 2D 영상에 대하여 최솟값-최댓값(Min-Max) 정규화를 수행할 수 있다. 널리 알려진 바와 같이 최솟값-최댓값 정규화는 전체 영상에서 픽셀의 값 중 가장 큰 값과 가장 작은 값을 기준으로 다른 값들을 일정하게 스케일링하여 정규화하는 방식이다. 물론, 분석장치는 2D 영상에 대하여 다른 정규화 기법을 적용할 수도 있다.

전술한 바와 같이 분석장치는 폐 3D CT로부터 다수의 2D 영상들을 생성할 수 있다. 분석장치는 분류모델을 이용하여 2D 영상을 분류한다. 이때 분석장치는 다수의 2D 영상들을 개별 분류모델에 입력하는 방식(앙상블 모델)을 활용할 수 있다. 이하 설명의 편의를 위하여 폐 영역에 대하여 좌 폐 정면, 좌 폐 측면, 우 폐 정면 및 우 폐 측면의 영상을 생성했다고 가정한다.

도 6은 2D CT 영상들을 이용하여 병변을 예측하는 분류 모델에 대한 예이다. 도 6은 3개의 모델을 도시한다. 모델 1(model 1), 모델 2(model 2) 및 모델 3(model 3)은 각각 개별 분류 모델에 해당한다. 한편, 도 6의 개별 모델들은 학습 데이터를 이용하여 정상 또는 비정상(병변 존재)에 대한 확률값을 산출하도록 사전에 학습되어야 한다. 연구자는 정상인 데이터 및 환자 데이터를 모두 이용하여 도 6의 모델을 학습하였다.

폐의 정면 경우 좌 폐 및 우 폐를 하나의 영상에 나타낼 수 있다. 따라서, 정면 폐 영상을 좌 폐와 우 폐를 결합한 하나의 영상으로 구성할 수 있다. 모델 1은 하나의 정면 영상을 이용하는 모델의 예이다. 모델 1은 좌우 중 하나의 폐에만 병변이 있는 환자들 분류에 유용할 수 있다. 모델 1은 정면 폐 영상들로 구성된 학습 데이터와 해당 영상들의 라벨값을 이용하여 사전에 학습되어야 한다. 예측 과정에서 모델 1은 대상자의 정면 폐 영상(좌 폐 + 우 폐)을 입력받아 특징을 추출하고, 추출된 특징에 기반하여 병변에 대한 확률값(예컨대, 0~1 사이의 값)을 산출한다. 분석장치는 모델 1이 출력하는 값을 기준으로 대상자의 영상에 대한 병변을 예측한다. 예컨대, 분석장치는 모델 1이 출력하는 값이 0에 가까우면 정상, 1에 가까우면 병변이라고 예측할 수 있다.

측면의 폐의 영상은 양쪽의 폐의 정보를 한 영상으로 결합하기 어렵다. 따라서, 좌 폐와 우 폐에 대해서는 개별 분류 모델을 이용할 수 있다. 모델 2은 두 개의 측면 영상을 이용하는 모델의 예이다. 모델 2는 동일 대상자에 대한 2개의 측면 폐 영상(좌 폐 및 우 폐)들로 구성된 학습 데이터와 해당 영상들의 라벨값을 이용하여 사전에 학습되어야 한다. 모델 2는 좌 폐 측면 영상과 우 폐 측면 영상을 입력받아 병변에 대한 확률값을 산출한다. 두 개의 입력 영상을 이용하는 경우 모델은 다양한 구조로 구현될 수 있다. 모델 2는 2개의 입력 계층과 컨볼루션 계층을 갖는 모델 구조를 도시한다. 하나의 입력 계층에서 좌 폐 측면 영상을 입력받아 컨볼루션 계층을 통하여 특징을 추출한다. 또 다른 입력 계층에서 우 폐 측면 영상을 입력받아 컨볼루션 계층을 통하여 특징을 추출한다. 좌 폐 측면 영상의 특징들과 우 폐 측면 영상의 특징들을 결합하여 일련의 특징 벡터들을 구성할 수 있다. 전연결계층은 특징 벡터들을 입력받아 병변에 대한 확률값(예컨대, 0~1 사이의 값)을 산출한다. 분석장치는 모델 2가 출력하는 값을 기준으로 대상자의 영상에 대한 병변을 예측한다. 예컨대, 분석장치는 모델 2가 출력하는 값이 0에 가까우면 정상, 1에 가까우면 병변이라고 예측할 수 있다.

나아가, 모델 1과 모델 2를 모두 활용하는 앙상블 모델을 이용하여 대상자의 병변을 예측할 수도 있다. 모델 3은 모델 1이 출력하는 제1 값과 모델 2가 출력하는 제2 값을 모두 이용하여 최종적으로 대상자의 병변에 대한 예측 값을 출력할 수 있다. 예컨대, 모델 3은 제1 값 또는 제2 값 중 작은 값 또는 큰 값을 기준으로 병변에 대한 예측을 할 수 있다. 또는 모델 3은 제1 값 및 제2 값의 평균값을 기준으로 병변에 대한 예측을 할 수도 있다. 또는 모델 3은 제1 값 또는 제2 값 중 하나라도 비정상이라는 값이라면 병변이 있다고 분류할 수도 있다.

분석장치는 복수의 2D 영상들 중 일부를 결합한 영상(예컨대, 정면 영상)을 하나의 모델에 입력하여 산출되는 값과 복수의 2D 영상들 중 적어도 하나의 영상(예컨대, 좌 폐 측면 영상, 우 폐 측면 영상 또는 좌 폐 측면 영상 및 우 폐 측면 영상)을 제2 분류 모델에 입력하여 산출되는 값을 모두 이용하여 병변을 예측할 수도 있다.

연구자는 도 6과 같은 모델을 구성하여 모델을 검증하였다. 연구자는 정상인 500명과 결핵(Tuberculosis) 환자 255의 CT 데이터를 이용하여 검증을 하였다. 모델 3은 모델 1 또는 모델 2 중 하나라도 비정상이라고 판단하면 해당 영상에 대하여 비정상이라고 예측하는 것으로 설정하였다. 아래 표 1은 모델들에 대한 검증 결과이다.

	Accuracy	TB-Sensitivity
모델 1	90%	79%
모델 2	92%	79%
모델 3	92%	87%

모델 1의 결과 정확도(accuracy) 90%와 결핵의 민감도(sensitivity) 79%를 보였다. 모델 2는 결과 정확도 92%와 결핵의 민감도 79%를 보였다. 모델 3은 결과 정확도 92%와 결핵의 민감도 87%를 보였다. 앙상블 모델인 모델 3이 개별 모델에 비하여 나은 성능을 보였다.

도 7은 2D CT 영상들을 이용하여 병변을 예측하는 분류 모델에 대한 다른 예이다. 도 7은 4개의 영상(좌 폐 정면, 좌 폐 측면, 우 폐 정면 및 우 폐 측면)을 이용한 앙상블 모델에 대한 예이다. 도 7은 4개의 개별 영상을 각각 처리하는 4개의 분류 모델(모델 1, 모델 2, 모델 3 및 모델 4)을 도시한다.

모델 1은 우 폐 정면을 이용하는 모델의 예이다. 모델 1은 하나의 정면 폐 영상들로 구성된 학습 데이터와 해당 영상들의 라벨값을 이용하여 사전에 학습되어야 한다. 예측 과정에서 모델 1은 대상자의 우 폐 정면을 입력받아 특징을 추출하고, 추출된 특징에 기반하여 병변에 대한 확률값(예컨대, 0~1 사이의 값)을 산출한다. 모델 1가 산출하는 값을 일정한 점수(score)라고 할 수 있다.

모델 2는 우 폐 측면을 이용하는 모델의 예이다. 모델 2는 하나의 측면 폐 영상들로 구성된 학습 데이터와 해당 영상들의 라벨값을 이용하여 사전에 학습되어야 한다. 예측 과정에서 모델 2는 대상자의 우 폐 측면을 입력받아 특징을 추출하고, 추출된 특징에 기반하여 병변에 대한 확률값(예컨대, 0~1 사이의 값)을 산출한다. 모델 2가 산출하는 값을 일정한 점수(score)라고 할 수 있다.

모델 3은 좌 폐 정면을 이용하는 모델의 예이다. 모델 3은 하나의 정면 폐 영상들로 구성된 학습 데이터와 해당 영상들의 라벨값을 이용하여 사전에 학습되어야 한다. 예측 과정에서 모델 3은 대상자의 좌 폐 정면을 입력받아 특징을 추출하고, 추출된 특징에 기반하여 병변에 대한 확률값(예컨대, 0~1 사이의 값)을 산출한다. 모델 3이 산출하는 값을 일정한 점수(score)라고 할 수 있다.

모델 4는 좌 폐 측면을 이용하는 모델의 예이다. 모델 4는 하나의 측면 폐 영상들로 구성된 학습 데이터와 해당 영상들의 라벨값을 이용하여 사전에 학습되어야 한다. 예측 과정에서 모델 4는 대상자의 좌 폐 측면을 입력받아 특징을 추출하고, 추출된 특징에 기반하여 병변에 대한 확률값(예컨대, 0~1 사이의 값)을 산출한다. 모델 4가 산출하는 값을 일정한 점수(score)라고 할 수 있다.

분석장치는 모델 1, 모델 2, 모델 3 및 모델 4가 출력하는 점수를 종합하여 최종적으로 대상자가 정상인지 비정상인지 판단할 수 있다. 분석장치는 4개의 모델이 출력하는 점수를 합산한 값과 임계값을 비교하여 병변을 예측할 수 있다. 또는 분석장치는 4개의 모델이 출력하는 점수를 평균한 값과 임계값을 비교하여 병변을 예측할 수도 있다. 또는 분석장치는 모델 1 내지 모델 4가 출력하는 값에 따라 개별적으로 서로 다른 가중치를 부여하여 합산한 값과 임계값을 비교하여 병변을 예측할 수도 있다.

도 6 및 도 7에서 2D CT 영상들을 이용하여 병변을 분류하는 앙상블 모델을 설명하였다. 앙상블 모델은 도 6 또는 도 7과 다른 구조를 가질 수도 있다. 앙상블 모델은 다른 시점(각도)의 영상을 입력받을 수도 있고, 입력받는 영상의 개수가 다를 수도 있다.

도 7의 개별 모델들도 학습 데이터를 이용하여 사전에 학습되어야 하며, 하며 도 6과 도 7의 모델 학습 방식은 다양할 수 있다. 예컨대, 도 6 또는 도 7의 개별 모델은 정상인 데이터와 환자 데이터를 이용하여 혹은 정상인 데이터만을 이용하여 정상과 비정상을 분류하도록 학습될 수 있다. 연구자는 도 7과 같은 구조의 모델을 구성하면서, 정상인 데이터만을 이용하여 개별 모델들을 학습하였다. 즉, 개별 모델이 정상인 데이터에 대하여 특정 값(점수)을 산출하도록 학습하였다. 이 경우 개별 모델은 비정상 데이터에 대해서는 정상 데이터와는 다른 값을 산출하게 된다.

한편, 개별 모델들은 입력 데이터에 대하여 정상에 가까울 확률로 0~1 사이의 값을 출력할 수 있다(0에 가까우면 정상이고, 1에 가까우면 비정상). 연구자는 개별 모델들이 출력하는 값의 평균값을 기준으로 최종적으로 정상 여부를 분류하였다. 물론, 앙상블 모델이 출력하는 값을 이용하여 입력 데이터를 분류하는 기준은 다양할 수 있다.

연구자는 구축한 도 7의 앙상블 모델에 대한 성능도 검증하였다. 도 7의 앙상블 모델 검증은 도 6의 모델 검증에서 사용한 데이터와 동일한 데이터를 사용하였다. 연구자는 도 6의 모델 검증 데이터에 결핵 환자뿐만 아니라 폐렴 환자 데이터를 추가하여, 정상과 비정상(결핵+폐렴)을 구분한 결과를 검증하였다. 검증 결과 도 7의 구조를 갖는 앙상블 모델은 신뢰도가 AUC(Area under the Curve)= 0.948로 상당히 높은 성능을 보였다.

도 8은 3D CT 영상에서 추출한 2D 영상을 이용하여 병변을 예측하는 분석장치(400)의 예이다. 분석장치(400)는 전술한 분석장치(도 1의 130 및 140)에 해당한다. 분석장치(400)는 물리적으로 다양한 형태로 구현될 수 있다. 예컨대, 분석장치(400)는 PC와 같은 컴퓨터 장치, 네트워크의 서버, 데이터 처리 전용 칩셋 등의 형태를 가질 수 있다.

분석장치(400)는 저장장치(410), 메모리(420), 연산장치(430), 인터페이스 장치(440), 통신장치(450) 및 출력장치(460)를 포함할 수 있다.

저장장치(410)는 두부 계측 방사선 영상에서 계측점 검출 위한 강화학습모델을 저장할 수 있다.

저장장치(410)는 대상자의 3D CT 영상을 저장할 수 있다.

저장장치(410)는 영상 처리를 위한 다른 프로그램 내지 코드를 저장할 수 있다. 저장장치(410)는 3D CT 영상에서 2D CT 영상(들)을 추출하기 위한 프로그램을 저장할 수 있다. 저장장치(410)는 3D CT 영상에서 2D CT 영상(들)을 분리하는 신경망 모델을 저장할 수 있다. 저장장치(410)는 3D CT 영상에서 관심 영역을 분리하는 마스크를 생성하기 위한 세그멘테이션 모델을 저장할 수 있다.

저장장치(410)는 3D CT 영상에서 추출한 2D CT 영상(들)을 저장할 수 있다.

저장장치(410)는 2D CT 영상(들)을 입력받아 대상자의 병변을 예측하는 분류 모델을 저장할 수 있다. 분류 모델은 전술한 바와 같이 다수의 모델을 포함하는 앙상블 모델일 수도 있다.

저장장치(410)는 분석 결과(영상, 텍스트 등)를 저장할 수 있다.

메모리(420)는 분석장치(400)가 3D CT 영상에서 2D CT 영상(들)을 생성하는 과정 및 2D CT 영상(들)을 이용하여 병변을 예측하는 과정에서 생성되는 데이터 및 정보 등을 저장할 수 있다.

인터페이스 장치(440)는 외부로부터 일정한 명령 및 데이터를 입력받는 장치이다. 인터페이스 장치(440)는 물리적으로 연결된 입력 장치 또는 외부 저장장치로부터 분석 대상의 3D CT 영상을 입력받을 수 있다. 인터페이스 장치(440)는 분석 결과(영상, 텍스트 등)를 외부 객체에 전달할 수도 있다.

통신장치(450)는 유선 또는 무선 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다. 통신장치(450)는 외부 객체로부터 분석 대상의 3D CT 영상을 수신할 수 있다. 또는 통신장치(450)는 분석 결과(영상, 텍스트 등)를 사용자 단말과 같은 외부 객체에 송신할 수도 있다.

인터페이스 장치(440) 및 통신장치(450)는 사용자 또는 다른 물리적 객체로부터 일정한 데이터를 주고받는 구성이므로, 포괄적으로 입출력장치라고도 명명할 수 있다. 3D CT 영상을 입력받는 기능에 한정하면 인터페이스 장치(440) 및 통신장치(450)는 입력장치라고 할 수도 있다.

출력장치(460)는 일정한 정보를 출력하는 장치이다. 출력장치(460)는 데이터 처리 과정에 필요한 인터페이스, 분석 결과 등을 출력할 수 있다.

연산 장치(430)는 저장장치(410)에 저장된 명령어 내지 프로그램 코드를 이용하여 3D CT 영상을 입력받아 대상자의 병변을 예측할 수 있다.

연산 장치(430)는 3D CT 영상을 사전에 학습된 세그멘테이션 모델에 입력하여 관심 영역 검출을 위한 마스크를 생성할 수 있다. 연산 장치(430)는 3D CT 영상에 마스크를 적용하여 3D CT 영상에서 관심 영역(예컨대, 폐 영역)을 분리할 수 있다. 나아가 연산 장치(430)는 필요한 경우 관심 영역을 서브 영역(예컨대, 좌 폐 및 우 폐)로 분리할 수도 있다.

연산 장치(430)는 도 4에서 설명한 바와 같이 분리한 관심 영역 내지 서브 영역에 대하여 일정한 시점(각도)로 투사하여 2D 영상(들)을 생성할 수 있다.

연산 장치(430)는 생성한 2D 영상(들)을 분류 모델에 입력하여 대상자의 병변을 예측할 수 있다. 연산 장치(430)는 도 6 또는 도 7에서 설명한 모델과 같은 앙상블 모델을 이용하여 대상자의 병변을 예측할 수도 있다.

연산 장치(430)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.

또한, 상술한 바와 같은 3D CT 영상에서 2D 영상을 생성하는 방법, 2D CT 영상을 이용한 병변 분류 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.

본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims

분석장치가 대상자의 관심 영역에 대한 3D CT(Computed Tomography) 영상을 입력받는 단계;
상기 분석장치가 상기 3D CT 영상을 서로 다른 시점(viewpoint)으로 투사하여 복수의 2D 영상들을 산출하는 단계; 및
상기 분석장치가 상기 복수의 2D 영상들을 분류 모델에 입력하여 상기 관심 영역의 병변을 예측하는 단계를 포함하는 3D CT 영상에서 추출한 2D 영상들을 이용하여 병변을 예측하는 방법.
제1항에 있어서,
상기 복수의 2D 영상들을 산출하는 단계는
상기 분석장치가 세그멘테이션 모델을 이용하여 상기 3D CT 영상에서 상기 관심 영역 마스크를 생성하는 단계;
상기 분석장치가 상기 관심 영역 마스크를 이용하여 상기 3D CT 영상으로부터 상기 관심 영역을 분리하는 단계; 및
상기 분석장치가 3차원 공간에서 상기 관심 영역을 서로 다른 시작 지점에서 투사하여 상기 복수의 2D 영상들을 산출하는 단계를 포함하는 3D CT 영상에서 추출한 2D 영상들을 이용하여 병변을 예측하는 방법.
제2항에 있어서,
상기 복수의 2D 영상들을 산출하는 단계는
상기 분석 장치가 상기 관심 영역에서 해부학적으로 분리된 서브 영역들을 분리하는 단계를 더 포함하고, 상기 서브 영역들 각각에 대하여 서로 다른 시작 지점에서 투사하여 상기 복수의 2D 영상들을 산출하는 3D CT 영상에서 추출한 2D 영상들을 이용하여 병변을 예측하는 방법.
제2항에 있어서,
상기 복수의 2D 영상들을 산출하는 단계는
상기 복수의 2D 영상들 각각에 대하여
상기 분석장치가 상기 관심 영역을 포함하는 구의 표면에 위치하는 시작 지점에서 상기 구의 중심으로 방향으로 투사하여 생성되는 평면에서 상기 평면의 각 픽셀값을 평균 투사 기법, 최댓값 투사 기법, 절단 평균 투사 기법 및 절단 최댓값 투사 기법 중 어느 하나를 이용하여 결정하는 3D CT 영상에서 추출한 2D 영상들을 이용하여 병변을 예측하는 방법.
제1항에 있어서,
상기 분석장치는
상기 복수의 2D 영상들 중 일부를 결합한 영상을 제1 분류 모델에 입력하여 산출되는 값과 상기 복수의 2D 영상들 중 적어도 하나의 영상을 제2 분류 모델에 입력하여 산출되는 값을 모두 이용하여 상기 병변을 예측하는 3D CT 영상에서 추출한 2D 영상들을 이용하여 병변을 예측하는 방법.
제1항에 있어서,
상기 분석장치는
상기 복수의 2D 영상들을 각각 개별 분류 모델에 입력하여 산출되는 값들을 모두 이용하여 상기 병변을 예측하는 3D CT 영상에서 추출한 2D 영상들을 이용하여 병변을 예측하는 방법.
대상자의 관심 영역에 대한 3D CT(Computed Tomography) 영상을 입력받는 입력장치;
3D CT 영상에서 관심 영역을 분리하는 세그멘테이션 모델 및 복수의 2D 영상을 입력받아 병변을 예측하는 복수의 분류 모델들을 저장하는 저장장치; 및
상기 세그멘테이션 모델을 이용하여 상기 대상자의 3D CT 영상을 서로 다른 시점(viewpoint)으로 투사하여 복수의 2D 영상들을 산출하고, 상기 복수의 2D 영상들을 상기 복수의 분류 모델들에 입력하여 상기 대상자의 관심 영역의 병변을 예측하는 연산장치를 포함하는 3D CT 영상에서 추출한 2D 영상들을 이용하여 병변을 예측하는 분석장치.
제7항에 있어서.
상기 연산장치는 상기 세그멘테이션 모델을 이용하여 상기 3D CT 영상에서 상기 관심 영역 마스크를 생성하고, 상기 관심 영역 마스크를 이용하여 상기 3D CT 영상으로부터 상기 관심 영역을 분리하고, 3차원 공간에서 상기 관심 영역을 서로 다른 시작 지점에서 투사하여 상기 복수의 2D 영상들을 산출하는 3D CT 영상에서 추출한 2D 영상들을 이용하여 병변을 예측하는 분석장치.
제8항에 있어서.
상기 복수의 2D 영상들 각각에 대하여
상기 연산장치는 상기 관심 영역을 포함하는 구의 표면에 위치하는 시작 지점에서 상기 구의 중심으로 방향으로 투사하여 생성되는 평면에서 상기 평면의 각 픽셀값을 평균 투사 기법, 최댓값 투사 기법, 절단 평균 투사 기법 및 절단 최댓값 투사 기법 중 어느 하나를 이용하여 결정하는 3D CT 영상에서 추출한 2D 영상들을 이용하여 병변을 예측하는 분석장치.
제7항에 있어서.
상기 복수의 분류 모델들은 제1 분류 모델 및 제2 분류 모델을 포함하고,
상기 연산장치는 상기 복수의 2D 영상들 중 일부를 결합한 영상을 상기 제1 분류 모델에 입력하여 산출되는 값과 상기 복수의 2D 영상들 중 적어도 하나의 영상을 상기 제2 분류 모델에 입력하여 산출되는 값을 모두 이용하여 상기 병변을 예측하는 3D CT 영상에서 추출한 2D 영상들을 이용하여 병변을 예측하는 분석장치.
제7항에 있어서.
상기 복수의 2D 영상들을 각각 상기 복수의 분류 모델들에 입력하여 산출되는 값들을 모두 이용하여 상기 병변을 예측하는 3D CT 영상에서 추출한 2D 영상들을 이용하여 병변을 예측하는 분석장치.