KR102056989B1 - 머신러닝 기반의 gre 영상을 활용한 혈전 분류 방법 및 시스템 - Google Patents

Abstract

본 발명은 머신러닝 기반의 GRE 영상을 활용한 혈전 분류 방법 및 시스템에 관한 것이다. 본 발명은 영상획득부가 GRE(Gradient echo)영상을 획득하는 단계와, 병변검출부가 인공신경망 모델을 이용하여 획득한 GRE영상에서 병변 영역을 검출하는 단계와, 상기 패치영역설정부가 검출된 병변 영역을 일정한 크기의 패치영역으로 설정하고, 3차원 방향의 프로젝션을 통해 패치영역을 재설정하는 단계와, 혈전분류부가 인공신경망 모델을 이용하여 패치영역에서 혈전을 분류하는 단계를 포함한다.

Description

머신러닝 기반의 GRE 영상을 활용한 혈전 분류 방법 및 시스템{METHOD AND SYSTEM FOR CLASSIFYING BLOOD CLOT IN GRADIENT ECHO IMAGES BASED ON MACHINE LEARNING}

본 발명은 머신러닝 기반의 GRE(Gradient echo) 영상을 활용한 혈전 분류 방법 및 시스템에 관한 것으로, 특히 GRE 영상으로부터 인공신경망 모델을 통해 혈전영역을 검출하고, 혈전의 종류를 자동으로 분류하여 제공하는 방법 및 시스템에 관한 것이다.

컴퓨터를 이용하여 의료영상을 분석하고 진단하는 연구가 활발하게 진행되고 있으며, 특히 딥러닝을 기반으로 하는 인공지능 기술의 혁신적인 발전으로 의료영상을 통해 진단하는 기술이 발전하고 있다.

딥러닝 기반의 의료영상 분석은 영상을 분류(classification)하는 것을 시작으로 객체의 검출(Detection), 객체 경계의 추출(Segmentation), 서로 다른 영상의 정합(Registration)이 의료 영상 분석에서 중요한 이슈들이며, 영상을 입력으로 하기 때문에 영상에서 특징을 추출하는데 특화된 컨볼루션 신경망(Convolution neural networks; CNN)이 가장 많이 활용되고 있다.

한편, GRE(Gradient Echo)영상은 자기공명영상(MRI)의 자화성분을 신호화하여 측정하여 혈전을 민감하게 볼 수 있는 MRI 시퀀스로서 널리 이용되고 있으나, 2차원 기준의 GRE영상을 이용하여 의사가 직접 영상을 보고 혈전의 종류를 판단해야 하는 불편함이 있다.

선행기술로는 공개특허 제10-2018-0021635호(3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템)가 있으나, 3차원 의료 영상에서 컨벌루션 신경망과 재귀 신경망을 이용하여 병변 특징 표현을 추출하는 방법을 개시하고 있을 뿐이다.

본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, GRE(Gradient echo)영상으로부터 인공신경망 모델을 통해 혈전 영역을 검출하고, 혈전의 종류를 자동으로 분류하여 제공하는 머신러닝 기반의 GRE 영상을 활용한 혈전 분류 방법 및 시스템을 제공하는데 있다.

본 발명의 머신러닝 기반의 GRE 영상을 활용하여 혈전을 분류하는 방법에 있어서, 본 발명은 영상획득부가 GRE(Gradient echo)영상을 획득하는 단계와, 병변검출부가 인공신경망 모델을 이용하여 획득한 GRE영상에서 병변 영역을 검출하는 단계와, 상기 패치영역설정부가 검출된 병변 영역을 일정한 크기의 패치영역으로 설정하고, 3차원 방향의 프로젝션을 통해 패치영역을 재설정하는 단계와, 혈전분류부가 인공신경망 모델을 이용하여 패치영역에서 혈전을 분류하는 단계를 포함한다.

본 발명은 병변 영역 검출 및 혈전 종류를 자동으로 분류하여 제공함으로써 사용자에게 편의성을 제공할 수 있고, 3차원으로 재구성된 병변 영역을 다양한 방향으로 프로젝션시켜 분석함으로써 진단의 정확성을 높일 수 있다.

도 1은 본 발명의 실시예에 따른 머신러닝 기반의 GRE영상을 활용한 혈전 분류 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 혈전 분류 시스템의 데이터처리부의 구성도이다.
도 3은 본 발명의 실시예에 따른 머신러닝 기반의 GRE영상을 활용한 혈전 분류 방법을 설명하는 순서도이다.
도 4는 본 발명의 실시예에 따른 RED-CLOT과 WHITE-CLOT을 나타내는 GRE영상 예시도이다.
도 5는 본 실시예의 시스템 및 방법에 채용할 수 있는 합성곱 신경망에 대한 구조의 예시도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 머신러닝 기반의 GRE영상을 활용한 혈전 분류 시스템의 구성도이다.

도 1을 참조하면, 본 실시예에 따른 머신러닝 기반의 GRE영상을 활용한 혈전 분류 시스템은 제어부(2), 저장부(4), 영상획득부(6), 표시부(8), 데이터처리부(10)로 구성된다. GRE영상을 활용한 혈전 분류 시스템은 GRE(Gradient Echo)영상에서 병변 영역을 검출하여 자동으로 혈전을 분류하고, 분류결과에 따른 프로젝션 정보를 포함하는 영상을 제공할 수 있다.

제어부(2)는 저장부(4)에 저장되는 프로그램이나 소프트웨어 모듈을 수행하여 병변 영역을 검출하고 혈전을 자동으로 분류하는 방법을 구현하며, 시스템의 각 구성요소를 제어할 수 있다.

저장부(4)는 병변 영역을 검출하고 혈전을 자동으로 분류하는 방법을 구현하기 위한 프로그램이나 소프트웨어 모듈을 저장할 수 있다. 저장부(4)는 외부 장치로부터 전송된 GRE 영상을 저장할 수 있다.

또한, 저장부(4)는 머신러닝이나 딥러닝이나 인공지능을 위한 프로그램이나 소프트웨어 모듈을 저장할 수 있다. 딥러닝이나 인공지능은 정확도를 높이기 위한 아키텍처를 구비할 수 있다. 일례로, 딥러닝이나 인공지능 아키텍처는 CNN(convolutional neural network)과 풀링(pooling) 구조, 업샘플링(upsampling)을 위한 디컨볼루션(deconvolution) 구조, 학습 효율 향상을 위한 스킵 커넥션(skip connection) 구조 등을 이용하여 구현될 수 있다.

영상획득부(6)는 외부 장치로부터 GRE영상을 획득할 수 있다. 영상획득부(6)는 MRI(magnetic resonance images) 장치, MRA 장치, CT장치 등에 연결되어 환자를 촬영한 3차원 영상을 획득할 수 있다.

표시부(8)는 저장부(4)에 저장된 데이터 정보, 영상획득부(6)에서 획득한 영상 정보, 데이터처리부(10)에서 처리하는 병변 영역 검출 결과, 패치 영역 설정 결과, 혈전 분류 결과, 생성된 영상을 시각적, 청각적 또는 이들의 혼합 방식으로 출력하도록 이루어질 수 있다. 표시부(8)는 디스플레이 장치를 포함할 수 있다.

데이터처리부(10)는 기계학습을 이용하여 GRE영상에서 병변 영역을 검출하고, 패치영역을 설정하여 상기 패치영역 내에서 혈전을 분류하고, 분류결과에 기초하여 프로젝션 정보를 포함하는 영상을 생성할 수 있다.

도 2는 본 발명의 실시예에 따른 혈전 분류 시스템의 데이터처리부의 구성도이다. 도 2를 참조하면, 데이터처리부(10)는 병변영역추출부(100), 패치영역설정부(200), 혈전분류부(300), 영상생성부(400)로 구성된다.

병변영역추출부(100)는 인공신경망 모델을 이용하여 GRE영상에서 병변 영역을 검출할 수 있다. 병변영역추출부(100)는 GRE영상으로부터 2차원 합성곱 신경망(Convolutional Neural Network; CNN), 3차원 합성곱 신경망, 가상 3차원 합성곱 신경망 중 어느 하나를 이용하여 병변을 추출할 수 있다. 구체적으로 병변영역추출부(100)는 CNN, pooling, deconvolution, skip connection 로 구성된 딥러닝 구조를 통해 병변영역을 추출할 수 있다. 즉, GRE 영상 신호내 어노테이션(Annotation), CAM의 방법을 통해 인공신경망을 학습시킨 인공신경망 모델을 통해 병변 영역을 검출한다.

패치영역설정부(200)는 검출된 병변 영역을 일정 크기의 패치 영역으로 설정할 수 있다. 또한, 패치영역설정부(200)는 3차원 방향의 프로젝션을 통해 상기 패치 영역을 재설정할 수 있다.

혈전분류부(300)는 인공신경망 모델을 이용하여 패치 영역에서 혈전을 분류할 수 있다. 이때 상기 혈전은 RED-CLOT 또는 WHITE-CLOT 중 하나로 분류할 수 있다. 혈전분류부(300)는 상기 패치영역에서 YOLO 신경망을 이용한 인지를 통하여 분류를 수행할 수 있다.

혈전(CLOT)은 혈액이 고체상태로 엉킨 덩어리 또는 덩어리를 형성하는 과정을 의미한다. 혈관 통로를 막아 혈류량 감소를 유발할 수 있고, 혈소판 성분이 우세한 WHITE-CLOT과 적혈구 성분이 우세한 RED-CLOT으로 분류할 수 있다. 상기 WHITE-CLOT의 경우 비수술적 치료인 스텐트 시술이 가능하나 상기 RED-CLOT은 비수술적 치료가 불가능해 WHITE-CLOT과 RED-CLOT을 구분하는 방법이 중요하다.

영상생성부(400)는 병변영역 추출부와 혈전분류부에서 추출된 패치영역의 프로젝션 정보를 시각화하여 3차원 영상으로 생성할 수 있다. 실시예에 따라 RED-CLOT의 프로젝션 정보를 포함하는 영상은 W형상으로 생성될 수 있으나 이에 대해 한정하는 것은 아니다.

도 3은 본 발명의 실시예에 따른 머신러닝 기반의 GRE영상을 활용한 혈전 분류 방법을 설명하는 순서도이다.

도 3을 참조하면, 영상획득부가 GRE(Gradient echo) 영상을 획득한다(S310). 상기 GRE영상은 3차원 자기공명영상(MRI)의 자화성분을 신호화하여 측정한 영상이다. 이후에, 병변영역검출부가 인공신경망 모델을 이용하여 GRE영상에서 병변 영역을 검출한다(S320). 이때, 상기 인공신경망 모델은 2차원 합성곱 신경망(Convolutional Neural Network; CNN), 3차원 합성곱 신경망, 가상 3차원 합성곱 신경망 중 적어도 하나일 수 있다.

패치영역설정부가 검출된 병변 영역을 일정 크기의 패치영역으로 설정한다(S330). 이때, 사용자가 이미 지정한 크기로 패치영역을 설정할 수 있다. 이후에, 패치영역설정부가 다시 다양한 3차원 방향의 프로젝션을 통해 패치영역을 재설정한다(S340).

혈전분류부가 인공신경망 모델을 이용하여 패치영역에서 RED-CLOT 또는 WHITE-CLOT 중 하나로 분류한다(S350). 이미 학습된 인공신경망 모델에 따라 RED-CLOT과 WHITE-CLOT을 분류할 수 있다. 혈전분류부는 상기 패치영역에서 YOLO 신경망을 이용한 인지를 통하여 분류를 수행할 수 있다.

영상생성부가 분류결과에 기초하여 RED-CLOT 또는 WHITE-CLOT중 하나의 프로젝션 정보를 포함하는 영상을 생성한다(S360).

도 4는 본 발명의 실시예에 따른 RED-CLOT과 WHITE-CLOT을 나타내는 GRE영상 예시도이다. 도 5는 본 실시예의 시스템 및 방법에 채용할 수 있는 합성곱 신경망에 대한 구조의 예시도이다.

도 4(a)는 WHITE-CLOT이 발견되는 GRE영상이고, 도 4(b)는 RED-CLOT이 발견되는 GRE영상으로 해당 영상을 학습데이터로 하여 인공신경망 모델을 학습할 수 있다. 즉, CNN과 병변 정보 합을 위한 pooling 구조, upsampling을 위한 deconvolution 구조, 학습을 원할하게 하기 위한 skip connection 구조로 구성된 학습모듈에 의해 미리 학습할 수 있다.

일례로, 딥러닝 아키텍처는 컨볼루션 네트워크와 디컨볼루션 네트워크 및 숏컷(shortcut)을 포함한 형태를 구비할 수 있다. 도 5에 도시한 바와 같이, 딥러닝 아키텍처는 의료 영상(X)의 국소적인 특징을 추출하기 위하여 3x3 크기의 컬러 컨볼루션 레이어(convolution layer)와 액티베이션 레이어(ReLU)를 쌓고 2x2 크기의 필터를 스트라이드(stride) 1로 적용하여 다음 하위 깊이 레벨로 연결되는 컨볼루션 블록의 연산을 4회 반복하여 수행하고, 그 다음에 2x2 크기의 디컨볼루션 레이어(deconvolution layer)와 액티베이션 레이어(ReLU)를 적용하여 다음 상위 깊이 레벨로 연결한 후 3x3 크기의 컬러 컨볼루션 레이어와 액티베이션 레이어를 쌓는 역컨볼루션 블록의 연산을 4회 반복하여 수행하며, 여기서 각 레벨의 컨볼루션 블록의 연산을 포함한 컨볼루션 네트워크의 각 레벨의 컨볼루션 블록의 이미지에 동일 레벨의 역컨볼루션 네트워크의 대응 레벨의 컨볼루션 결과를 갖다 붙이고(copy and contatenate) 각 블록에서 컨볼루션 연산을 각각 수행하도록 이루어질 수 있다.

컨볼루션 네트워크와 디컨볼루션 네트워크 내 컨볼루션 블록은 conv-ReLU-conv 레이어들의 조합으로 구현될 수 있다. 그리고, 딥러닝 아키텍처의 출력은 컨볼루션 네트워크이나 디컨볼루션 네트워크에 연결되는 분류기를 통해 얻어질 수 있으나, 이에 한정되지는 않는다. 분류기는 FCN(fully connectivity network) 기법을 이용하여 영상에서 국소적인 특징을 추출하는데 이용될 수 있다.

또한, 딥러닝 아키텍처는 구현에 따라서 컨볼루션 블록 내에 인셉션 모듈(inseption module) 또는 멀티 필터 경로(multi filter pathway)를 추가로 사용하도록 구현될 수 있다. 인셉션 모듈 또는 멀티 필터 경로 내 서로 다른 필터는 1x1 필터를 포함할 수 있다.

참고로, 딥러닝 아키텍처에서 입력(input) 이미지가 가로 32, 세로 32, 그리고 RGB 채널을 가지는 경우, 의료 영상에 대응하는 입력 이미지(X)의 크기는 [32x32x3]일 수 있다. 딥러닝 아키텍처의 CNN(convloultional neural network)에서 콘볼루션(convolutional, CONV) 레이어는 입력 이미지의 일부 영역과 연결되며, 이 연결된 영역과 자신의 가중치의 내적 연산(dot product)을 계산하도록 설계될 수 있다.

여기서, ReLU(rectified linear unit) 레이어는 max(0,x)와 같이 각 요소에 적용되는 액티베이션 함수(activation function)이다. ReLU 레이어는 볼륨의 크기를 변화시키지 않는다. POOLING 레이어는 (가로, 세로)로 표현되는 차원에 대해 다운샘플링(downsampling) 또는 서브샘블링(subsampling)을 수행하여 감소된 볼륨을 출력할 수 있다.

그리고, 전연결(fully-connected, FC) 레이어는 클래스 점수들을 계산하여 예컨대 [1x1x10]의 크기를 갖는 볼륨을 출력할 수 있다. 이 경우, 10개 숫자들은 10개 카테고리에 대한 클래스 점수에 해당한다. 전연결 레이어는 이전 볼륨의 모든 요소와 연결된다. 거기서, 어떤 레이어는 모수(parameter)를 갖지만 어떤 레이어는 모수를 갖지 않을 수 있다. CONV/FC 레이어들은 액티베이션 함수로서 단순히 입력 볼륨만이 아니라 가중치(weight)와 바이어스(bias)를 포함할 수 있다. 한편, ReLU/POOLING 레이어들은 고정된 함수로서, CONV/FC 레이어의 모수들은 각 이미지에 대한 클래스 점수가 해당 이미지의 레이블과 같아지도록 그라디언트 디센트(gradient descent)로 학습될 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

2; 제어부 4; 저장부
6; 영상획득부 8; 표시부
10; 데이터처리부 100; 병변영역추출부
200; 패치영역설정부 300; 혈전분류부
400; 영상생성부

Claims (8)

1. 머신러닝 기반의 GRE 영상을 활용하여 혈전을 분류하는 방법에 있어서,
   (a) 영상획득부가 GRE(Gradient echo)영상을 획득하는 단계;
   (b) 병변검출부가 인공신경망 모델을 이용하여 획득한 GRE영상에서 병변 영역을 검출하는 단계;
   (c) 패치영역설정부가 검출된 병변 영역을 일정한 크기의 패치영역으로 설정하고, 3차원 방향의 프로젝션을 통해 패치영역을 재설정하는 단계;
   (d) 혈전분류부가 인공신경망 모델을 이용하여 패치영역을 포함한 병변 영역에서 혈전을 분류하는 단계; 및
   (e) 영상생성부가 분류결과에 기초하여 RED-CLOT 또는 WHITE-CLOT 중 어느 하나의 프로젝션 정보를 포함한 영상을 생성하는 단계를 포함하며,
   상기 (c)단계에서 상기 패치영역설정부는 상기 3차원 방향의 프로젝션을 통해 재설정된 상기 일정한 크기의 패치영역에서 나타나는 병변 특징 표현에 대한 형태를 비교하고,
   상기 (d)단계에서 상기 혈전분류부는 상기 패치영역설정부의 비교 결과에 따라 상기 병변 영역에서 RED-CLOT 및 WHITE-CLOT 중 어느 하나를 분류하는 머신러닝 기반의 GRE영상을 활용한 혈전 분류 방법.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제

Images