KR102250173B1

KR102250173B1 - 기계 학습 및 영상 처리 알고리즘을 이용하여 의료 영상의 혈관들을 자동으로 영역화하는 방법 및 시스템

Info

Publication number: KR102250173B1
Application number: KR1020210020995A
Authority: KR
Inventors: 조한용; 권순성; 조우상
Original assignee: 에이아이메딕(주)
Priority date: 2021-02-17
Filing date: 2021-02-17
Publication date: 2021-05-11
Also published as: KR20210021337A

Abstract

본 발명은 의료 영상 데이터로부터 혈관들을 자동으로 영역화하는 방법 및 시스템에 관한 것이다. 보다 상세하게는 기계 학습과 영상처리 알고리즘을 이용하여 의료 영상의 혈관들을 자동으로 영역화 하는 방법 및 시스템에 관한 것이다.
본 발명에 따른 3 차원 의료 영상으로 혈관을 자동으로 영역화하는 방법은, 컴퓨터를 이용하여 환자의 3차원 의료영상 데이터를 3차원 형상 혈관 데이터를 영역화하는 방법으로, 환자의 3 차원 의료영상 데이터를 입력받는 단계와, 인공지능 신경망을 이용하여 입력받은 환자의 3차원 의료 영상 데이터를 처리하여 1차 3차원 형상의 혈관 데이터를 생성하는 단계와, 상기 1차 3차원 형상의 혈관 데이터를 영상 처리하여 2차 3차원 형상의 혈관 데이터를 생성하는 단계를 포함하고, 상기 2차 3차원 형상의 혈관 데이터를 생성하는 단계는 1차 3차원 형상의 혈관 데이터를 시드로 사용하여 2차 3차원 형상의 혈관 데이터를 생성한다.
본 발명에 따른 방법은 작업자의 개입 없이 완전 자동으로, 동시에 신속하고 정확하게 3차원 형상의 혈관 데이터를 생성할 수 있다.

Description

기계 학습 및 영상 처리 알고리즘을 이용하여 의료 영상의 혈관들을 자동으로 영역화하는 방법 및 시스템{METHOD AND SYSTEM FOR AUTOMATIC SEGMENTATION OF VESSELS IN MEDICAL IMAGES USING MACHINE LEARNING AND IMAGE PROCESSING ALGORITHM}

본 발명은 의료 영상 데이터로부터 혈관들을 자동으로 영역화하는 방법 및 시스템에 관한 것이다. 보다 상세하게는 기계 학습과 영상처리 알고리즘을 이용하여 의료 영상의 혈관들을 자동으로 영역화 하는 방법 및 시스템에 관한 것이다.

3차원 의료 영상 데이터는 환자의 혈관, 뼈 등과 같은 다양한 인체의 부분에 대한 정보를 포함하고 있다. 혈관에 이상이 있는 환자의 진단과 치료를 하기 위하여, 3차원 의료 영상 데이터로부터 혈관을 추출하여 영역화(Segmentation) 하는 작업이 필요하다. 현재 의료 현장에서 3차원 의료 영상 데이터를 분석하여 혈관들을 추출하고 영역화하는 작업은 대부분 수작업으로 이루어지고 있다. 혈관의 영역화를 수작업으로 할 경우, 혈관 영역화에 시간이 오래 소요되고, 작업자(의사 또는 기술자)의 실수에 의한 혈관 영역화 오류가 발생할 수 있으며, 동일한 3차원 의료 영상에 대하여 작업자마다 동일한 결과를 얻기 위한 표준화가 어렵다는 문제점이 있다.

3차원 의료 영상 데이터로부터 작업자의 개입이 없이 혈관들을 자동으로 검출하고 영역화 하여 3차원 형상 데이타로 재구성하는 기술은 혈관과 관련된 질병의 진단, 치료, 및 모니터링을 보다 신속하고, 정확하게 할 수 있다.

예를 들면, 비특허 문헌 1에는 환자의 심장 CT 영상으로부터 관상 동맥의 3차원 형상을 구성하고, 3차원 형상 관상 동맥에 대하여 혈류 역학 시뮬레이션을 수행하여 비침습적으로 FFR 수치를 예측하여 관상동맥 질활을 진단하는 기술(CT-FFR 기술)이 공개되어 있다. 만약 심장 CT 영상으로부터 관상동맥을 자동으로 검출하고 영역화 할 수 있는 경우, CT 영상을 가지고 관상 동맥의 협착에 의한 질환의 진단을 보다 신속하고, 정확하게 할 수 있게 된다. 또한, 특허문헌 1에는 의료 영상으로부터 뇌혈관의 3차원 형상을 구성하고, 유체 구조 상호작용 모델링(FSI, Fluid Structure Interaction Modeling)과 시뮬레이션을 수행하여 뇌혈관의 기능을 예측하기 위한 기술이 공개되어 있다. 만약 뇌를 촬영한 3차원 영상으로부터 뇌혈관의 3차원 형상을 자동으로 검출하고 영역화 할 수 있는 경우, 뇌혈관에 대한 해부학적 상태를 신속하게 파악하여 진단에 활용할 수 있을 뿐만 아니라, 뇌혈관에 대한 시뮬레이션을 신속하고 정확하게 수행하여 뇌혈관의 압력 및 혈류의 속도를 예측하고 뇌혈관에 대한 상태를 기능적으로 파악하고 진단에 활용할 수 있다.

최근 기계 학습(Machine Learning)을 이용한 혈관의 영역화 기술이 개발되고 있다. 특허문헌 2에는 혈관 방향 텐서 크레시파이어 학습(trained vessel orientation tensor classifier)를 이용하여 복셀로부터 혈관을 영역화 하는 기술이 개시되어 있다. 또한, 기계 학습을 이용하여 혈관을 영역화 하는 기술에 대하여는 비특허 문헌 2 내지 4에 공개되어 있다. 또한, 특허문헌 3에는 사용자가 개입하여 3 차원 의료 영상 데이타로부터 자동으로 혈관을 영역화 하는 기술이 공개되어 있다.

본 발명의 발명자들이 기계학습에 의한 혈관의 영역화를 시도해본 결과, 혈관이 아닌 부분을 혈관으로 영역화하는 경우(노이즈 또는 아웃라이어 생성)와 혈관인 부분을 혈관이 아니라고 영역화에서 제외하는 경우(혈관 영역 누락)가 발생하는 것을 알게 되었다. 이러한 오류가 발생하는 원인으로 기계학습에 이용된 데이타의 양이 부족하거나 부정확하게 라벨링된 마스크 데이타가 기계 학습에 사용된 것으로 추정된다. 결국, 현재의 기술수준에서 기계 학습 방법으로 혈관을 영역화 할 경우 어느 정도의 혈관 노이즈와 혈관 누락을 피하기 어렵다는 것을 알게 되었다.

한편, 3차원 의료 영상 데이터를 알려진 영상처리 알고리즘으로 영역화 할 경우에 이제까지 알려진 영상 처리 알고리즘이 완벽하지 못하여 완전한 자동화되지 못하고 있다. 따라서 영역화 시작 전에 작업자가 영역화를 위한 시드를 입력하거나, 영역화 도중이나 완료된 후에 작업자가 개입하여 영역화가 잘못된 영역을 제거하거나 수정하는 과정이 필요하다.

<특허문헌>

(특허문헌 1) 1. US 2012/0203530 A1, METHOD AND SYSTEM FOR PATIENTSPECIFIC COMPUTATIONAL MODELING AND SIMULATION FOR COUPLED HEMODYNAMIC ANALYSIS OF CEREBRALVESSELS

(특허문헌 2) 2. US 2017/0262981 A1, METHOD AND SYSTEM FOR MACHINE LEARNING BASED ESTIMATION OF ANISOTROPIC VESSEL ORIENTATION TENSOR

(특허문헌 3) 3. US 6,754,376 B1, METHOD FOR AUTOMATIC SEGMENTATION OF MEDICAL IMAGES

<비특허문헌>

(비특허문헌 1)1. Kwon, Soon-Sung, et al. "A novel patient-specific model to compute coronary fractional flow reserve." Progress in biophysics and molecular biology 116.1 (2014): 48-55.

(비특허문헌 2)2. Manoj, S., Sandeep PM Muralidharan, and M. Sandeep. "Neural network based classifier for retinal blood vessel segmentation." International Journal of Recent Trends in Electrical & Electronics Engineering 3.1 (2013): 44-53.

(비특허문헌 3)3. Moeskops, Pim, et al. "Deep learning for multi-task medical image segmentation in multiple modalities." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2016.

(비특허문헌 4)4. Long, Jonathan, Evan Shelhamer, and Trevor Darrell. "Fully convolutional networks for semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2015.

(비특허문헌 5)5. Goodfellow, Ian, et al. "Generative adversarial nets." Advances in neural information processing systems. 2014.

작업자의 개입 없이 3차원 의료 영상 데이타로부터 신속하고 정확하게 3차원 형상 혈관 데이터를 완전 자동으로 영역화 할 수 있는 새로운 방법 및 장치에 대한 요구가 있다. 본 발명은 이러한 요구를 충족시킬 수 있는 새로운 혈관의 영역화 방법 및 장치를 제공하는 것을 목적으로 한다.

특히, 본 발명은 기계학습 방법의한 영역화 방법의 결점을 영상 처리 알고리즘에 의한 영역화 방법으로 보완하여 작업자의 개입 없이 혈관을 자동으로 영역화 할 수 있는 새로운 방법 및 시스템을 제공한다.

본 발명에 따른 환자의 3차원 의료영상 데이터로부터 3차원 형상 혈관 데이터를 영역화(Segmentation)하는 방법은 컴퓨터 시스템 내에서 프로그램 형태로 실행된다. 본 발명에 따른 3차원 형상 혈관 데이터를 영역화하는 방법은 환자의 3 차원 의료영상 데이터를 입력받는 단계와, 3 차원 형상 혈관 데이터를 생성하도록 기계 학습된 영역화 프로그램을 이용하여 상기 입력된 3차원 의료 영상 데이터로부터 3차원 형상의 기계-학습 혈관 데이터를 생성하는 단계와, 영상 처리 영역화 프로그램을 이용하여 상기 입력된 3차원 의료영상 데이터와 상기 생성된 3차원 형상 기계-학습 혈관 데이터로부터 보정된 3차원 형상 혈관데이터를 생성하는 단계를 포함한다. 또한, 상기 3차원 형상의 기계-학습 혈관 데이터는 혈관 영역이 아닌 적어도 하나의 노이즈 데이터 세트와 혈관 영역이 누락된 적어도 하나의 누락 데이터로 구성되고, 상기 영상처리 영역화 프로그램은 입력된 3차원 영상 데이터와 생성된 3차원 형상 기계-학습 데이터를 비교하여 혈관 영역을 매칭하고, 상기 누락된 데이터 세트를 보충하고 상기 노이즈 데이터 세트를 제거하도록 구성되어 상기 보정된 3차원 형상 혈관 데이터를 생성한다. 보다 구체적으로, 상기 영상처리 영역화 프로그램은, 입력된 3차원 영상 데이터와 생성된 3차원 형상 기계-학습 혈관 데이터를 비교하여 입력된 3차원 영상 데이터의 혈관 영역 데이터의 좌표를 매칭하는 단계와, 매칭된 혈관 영역 데이터를 시드로 사용하여 3차원 혈관 영상 데이터를 처리하여 누락된 혈관 영역을 연결하는 단계와, 연결된 혈관 영역화 데이타들의 볼륨을 계산하는 단계와, 상기 계산된 볼륨이 사전에 정해진 값 이하인 혈관 영역의 데이터를 노이즈로 제거하여 보정된 3차원 형상 혈관데이터를 생성하는 단계를 포함할 수 있다.

본 발명에 있어서 3차원 의료 영상 데이터는 CT 이미지, MRI 이미지, 초음파 이미지를 포함한다. 기계 학습된 영역화 프로그램은 CNN(convolutional neural network), FCN(fully convolutional network) 알고리즘을 포함할 수 있다.

몇몇 실시예에 있어서, 상기 기계 학습된 영역화 프로그램은 FCN 알고리즘을 포함하는 것이 바람직하다. 상기 기계 학습된 영역화 프로그램의 FCN 알고리즘은, 3차원 의료 영상의 엑시얼(axial) 방향 슬라이스 이미지(slice image)를 각각 비트맵 이미지로 변환하고, 각각의 변환된 비트맵 이미지의 혈관 영역을 라벨링(labeling) 하고, 각각의 라벨링 된 비트맵 이미지를 학습 데이터로 활용하기 위해 마스크 이미지로 변환하고, 상기 변환된 비트맵 이미지와 마스크 이미지를 한 쌍으로 하여 학습 된 알고리즘이다. 몇몇 실시예에 있어서, 상기 기계 학습된 영역화 프로그램은 GAN 알고리즘을 더 포함할 수 있다.

몇몇 실시예에 있어서, 상기 영상처리 영역화 프로그램은, 생성된 3차원 형상 기계-학습 데이터의 좌표 정보를 시드로 사용하여 상기 입력된 3차원 영상 데이터의 혈관 영역을 영역화 하고, 영역화 된 3차원 형상 혈관 데이터들의 볼륨을 연산하고, 연산된 볼륨이 정해진 값 이하인 혈관 데이터는 노이즈 데이터 세트로 판단하여 제거하도록 구성될 수 있다.

몇몇 실시예에 있어서, 상기 영상처리 프로그램은, 생성된 3차원 형상 기계-학습 데이터의 좌표 정보를 시드로 사용하여 상기 입력된 3차원 영상 데이터의 혈관 영역을 리전 그로잉 알고리즘(Region Growing Algorithm)을 사용하여 누락된 데이터 세트 영역을 연결하고, 누락된 데이터 세트 영역이 연결된 3차원 형상 혈관 데이터들의 볼륨을 연산하고, 연산된 볼륨이 정해진 값 이하인 혈관 데이터는 노이즈 데이터 세트로 판단하여 제거하도록 구성될 수 있다.

본 발명의 다른 측면에 따라서, 컴퓨터를 이용하여 환자의 3차원 의료영상 데이터를 3차원 형상 혈관 데이터를 영역화 하기 위한 의료 영상 처리 시스템이 제공된다. 본 발명에 따른 3 차원 의료 영상 처리 시스템은 청구항 제1항 내지 제6항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터 시스템이다. 상기 컴퓨터 시스템은 기계 학습 영역화 프로그램과 영상처리 영역화 프로그램을 포함한다. 상기 기계학습 영역화 프로그램은, 입력 받은 환자의 3 차원 의료영상 데이터를 처리하여, 혈관 영역이 아닌 적어도 하나의 노이즈 데이터 세트와 혈관 영역이 누락된 데이터 세트를 포함하는 3차원 형상의 기계-학습 혈관 데이터를 생성하도록 구성된다. 또한 상기 영상처리 영역화 프로그램은, 상기 입력 받은 3차원 영상 데이터와 상기 생성된 3차원 형상 기계-학습 혈관 데이터를 비교하여 입력된 3차원 영상 데이터의 혈관 영역 데이터의 좌표를 매칭하고, 매칭된 혈관 영역 데이터의 좌표를 시드로 사용하여 3차원 혈관 영상 데이터를 처리하여 누락된 혈관 영역을 연결하고, 연결되지 않은 노이즈 데이터 세트를 제거하여 보정된 3차원 형상 혈관 데이터를 생성하도록 구성된다.

본 발명에 따른 3 차원 의료 영상으로 혈관을 자동으로 영역화하는 방법은, 컴퓨터를 이용하여 환자의 3차원 의료영상 데이터를 3차원 형상 혈관 데이터를 영역화하는 방법이다. 먼저, 컴퓨터를 통하여 환자의 3 차원 의료영상 데이터를 입력받는다. 다음으로, 인공지능 신경망을 이용하여 입력받은 환자의 3차원 의료 영상 데이터를 처리하여 1차 3차원 형상의 혈관 데이터를 생성한다. 다음으로, 상기 1차 3차원 형상의 혈관 데이터를 시드로 사용하여 상기 환자의 3차원 의료영상 데이터를 영상 처리하여 2차 3차원 형상의 혈관 데이터를 생성한다. 상기 2차 3차원 형상의 혈관 데이터를 생성하는 단계는, 1차 3차원 형상의 혈관 데이터와 입력된 3차원 영상 데이터를 비교하여 입력된 3차원 영상 데이터의 혈관 영역 데이터의 좌표를 매칭하는 단계와, 상기 매칭된 혈관 영역 데이터의 좌표를 시드로 사용하여 3차원 혈관 영상 데이터를 처리하여 누락된 혈관 영역을 연결하는 단계와, 연결되지 않은 매칭된 좌표 영역을 노이즈 데이터 세트로 제거하는 단계를 포함한다. 본 발명에 있어서, 인공지능 신경망은 CNN 또는 FCN을 포함한다.

몇몇 실시예에 있어서, 상기 인공지능 신경망을 이용하여 1차로 혈관 영역을 영역화 하는 단계는, 인공지능 신경망을 구성하는 단계와, 복수의 환자의 3차원 의료 영상을 가공하여 인공지능 신경망을 학습시키는 단계와, 학습된 인공지능 신경망으로 학습자료로 사용되지 않은 환자의 3차원 의료 영상을 1차 영역화하는 단계를 포함한다. 또한, 상기 인공지능 신경망을 구성하는 단계는, 초동학습을 위해 FCN을 구성하는 단계와, GAN 알고리즘 적용하여 신경망 성능을 향상시키기 위해 상기 FCN을 생성자 모듈로 이용하는 단계와, GAN 알고리즘을 수행을 위해 검수자 모듈을 구축하는 단계를 포함할 수 있다.

본 발명에 있어서, 상기 인공지능 신경망을 이용하여 1차로 생성된 3차원 형상의 혈관 데이터는 혈관 영역이 아닌 적어도 하나의 노이즈 데이터 세트와, 혈관 영역이 누락된 적어도 하나의 누락 데이터 세트로 구성된다.

몇몇 실시예에 있어서, 상기 2차 3차원 형상의 혈관 데이터를 생성하는 단계는, 1차 3차원 형상의 혈관 데이터와 입력된 3차원 영상 데이터를 비교하여 혈관 영역을 매칭하는 단계와, 상기 누락 데이터를 세트를 보충하여 혈관을 연결하는 단계와, 상기 노이즈 데이터 세트를 제거하는 단계를 포함한다. 또한, 상기 누락 데이터를 세트를 보충하여 혈관을 연결하는 단계는, 생성된 1차 3차원 형상 혈관 데이터의 좌표 정보를 시드로 사용하여 상기 입력된 3차원 영상 데이터의 혈관 영역을 리전 그로잉 알고리즘을 사용하여 누락된 데이터 영역을 연결할 수 있다. 또한, 상기 노이즈 데이터 세트를 제거하는 단계는, 누락된 데이터 영역이 연결된 3차원 형상 혈관 데이터 세트들의 볼륨을 연산하는 단계와, 연산된 볼륨이 정해진 값 이하인 혈관 데이터 세트를 노이즈 데이터로 판단하여 제거하는 단계를 포함할 수 있다.

본 발명에 따른 환자의 3차원 의료영상 데이터를 3차원 형상 혈관 데이터를 영역화하는 방법은 기계 학습과 영상 처리 알고리즘의 단점을 보완하여 3차원 형상의 혈관 데이터 영역화를 완전 자동으로 처리한다.

본 발명에 따른 방법은 기계학습에 의하여 생성된 3차원 형상 혈관 데이터를 영상 처리 영역화 알고리즘의 시드로 사용한다. 기계학습에 의하여 생성된 3차원 형상 혈관 데이터는 혈관 이외의 부분이 영역화된 노이즈 데이터 세트를 포함하고 동시에 혈관 영역의 데이터가 누락된 부정확한 데이터이다. 3차원 영상처리 영역화 알고리즘은 부정확한 기계 학습에 의하여 생성된 3차원 형상 혈관 데이터를 시드로 사용하여 원본 3차원 의료 영상 데이터를 처리하여 누락된 혈관 데이터 세트를 보충하여 연결하고, 노이즈 데이터 세트를 제거하여, 3차원 형상 혈관 데이터를 생성한다.

따라서, 본 발명에 따른 방법은 작업자의 개입 없이 완전 자동으로, 동시에 신속하고 정확하게 3차원 형상의 혈관 데이터를 생성할 수 있다.

도 1은 본 발명에 따른 의료 영상 처리 시스템의 구성을 나타내는 개략도
도 2(a)는 기계학습을 위한 심장 CT 이미지의 원본 영상, 도 2(b)는 도 2(a)의 원본 영상에 혈관 영역을 라벨링한 영상
도 3은 기계 학습에 사용하기 위하여 도 2(b)의 라벨링된 영상을 이용하여 작성한 마스크 이미지
도 4는 신경망 학습을 위한 원본 이미지 세트(a)와 마스크 이미지 세트(b)를 나타내는 도
도 5는 슬라이드가 ± k장으로 중첩되는 windowing 기법 적용 시 영역화 대상인 혈관 부분이 중첩되는 분포를 나타 내는 설명도
도 6는 합성곱신경망 (Convolutional neural network, CNN)의 한 종류인 FCN(Fully Convolutional network)의 구조를 나타내는 설명도
도 7은 본 발명에 사용된 GAN 알고리즘에 대한 개략도
도 8은 심장 CT 슬라이드 한 장을 본 발명에 따른 기계학습 영역화 프로그램에 의해서 처리된 결과를 나타내는 이미지
도 9는 환자의 3차원 심장 CT 영상을 본 발명에 따른 기계학습 영역화 프로그램에 의해서 처리된 결과를 나타내는 관상동맥의 3차원 형상도
도 10은 본 발명에 따른 영상처리 영역화 프로그램에서 수행되는 2차 영역화 절차의 흐름도
도 11은 본 발명에 따른 영상처리 영역화 프로그램에서 수행된 도 9에 도시된 1차 영역화 결과를 2차 영역화 한 결과를 나타내는 관상동맥의 3차원 형상도

이하에서는 첨부의 도면을 참조하여 본 발명에 일 실시예에 따른 3차원 형상 혈관 데이터를 자동으로 영역화하는 방법을 설명한다.

도 1은 본 발명에 따른 의료 영상 처리 시스템의 구성을 나타내는 개략도이다. 본 발명에 따른 3 차원 의료 영상 처리 시스템(200)은 전형적인 컴퓨터 시스템을 사용하거나, CT 촬영 장치와 같은 3차원 의료영상 획득장치의 시스템에 임베디드 된 장치일 수 있다. 전형적인 컴퓨터 시스템은 프로세서, 메모리, 스토리지, 입력 및 출력 장치, 통신장치를 구비하고, 운영체제와 어플리케이션 프로그램를 구비한다.

본 발명에 따른 환자의 3차원 의료영상 데이터로부터 3차원 형상 혈관 데이터를 영역화(Segmentation)하는 방법은 컴퓨터 시스템(200) 내에서 프로그램 형태로 실행된다. 영상처리 시스템(200)은 어플리케이션 프로그램으로 기계 학습 영역화 프로그램(110)과 영상처리 영역화 프로그램(130)을 포함한다. 기계 학습 영역화 프로그램(110)은 3차원 의료영상 데이터(100, DICOM 표준 형식 파일이 바람직하나 이에 한정되는 것은 아니다)를 입력받아 3차원 형상 기계-학습 혈관 데이터(120)를 생성하여 출력한다. 출력된 3차원 형상 기계-학습 혈관 데이터(120)는 영상처리 시스템(200)의 메모리에 저장된다. 3차원 형상 기계-학습 혈관 데이터(120)는 혈관 이외의 부분이 영역화된 노이즈 데이터 세트를 포함하고 동시에 혈관 영역의 데이터가 누락된 부정확한 데이터이다. 영상처리 영역화 프로그램(130)은 기계-학습 영역화 프로그램(130)이 생성한 3차원 형상 기계-학습 혈관 데이터(120)와 3차원 의료영상 데이터(100)를 입력받아 보정된 3차원 형상 혈관 데이터(140)를 생성하여 출력한다. 보정된 3차원 형상 혈관 데이터(140)는 누락된 혈관 영역 데이터가 연결되고, 노이즈가 제거된 3차원 형상 혈관 데이터이다.

이하에서는 도 2 내지 도 9를 참조하여 기계 학습 영역화 프로그램(110)에 대하여 설명한다.

기계 학습(Machine Learning)을 알고리즘을 이용하여 3차원 의료 영상으로부터 3차원 형상 혈관 영역화를 수행하기 위해서 먼저 CNN(convolutional neural network) 또는 FCN(fully convolutional network) 신경망을 구축하고, 신경망에 대한 학습이 선행되어야 한다. 기계 학습을 위해서는 혈관이 포함된 원본 영상 데이터와 원본 영상의 혈관 영역을 나타내는 라벨링(labeling)된 데이터가 필요하다. 본 명세서에서 CNN, FCN과 같이 학습을 위한 신경만을 인공지능 신경망으로 표현한다.

도 2(a)는 심장 CT 이미지 원본 영상이고, 도 2(b)는 기계 학습에 사용되는 ground truth 영상인 mask 이미지 생성을 위해 도 2(a)의 원본 영상에 혈관 영역ㅇ을 라벨링한 영상이다. 라벨링은 심장 혈관에 대한 해부학 지식이 있고, CT 이미지 해석 능력을 구비한 전문가에 의하여 행해진다.

도 3은 기계 학습에 사용하기 위하여 도 2(b)의 라벨링된 영상을 이용하여 작성한 마스크 이미지를 나타낸다. Mask 이미지는 라벨링된 부분만을 분리하여 신경망 학습에 직접 이용하기 위한 목적으로 생성된다. 본 실시예에서 Mask 이미지는, 도 2에 나타난 것과 같이, 라벨링 된(영역화 된) 부분은 녹색으로, 나머지 영역은 모두 검정색으로 표시하였다. 녹색으로 표시된 mask 이미지는 도 2(a)의 원본 이미지에서 혈관의 위치와 면적에 대한 정보를 제공한다.

도 4는 신경망 학습을 위한 원본 이미지 세트와 마스크 이미지 세트를 나타넨다. 신경망 학습을 위한 데이터는 도 4에 나타난 것과 같이 원본 영상과 원본 영상에 대응하는 mask 이미지가 한 쌍으로 구성된다. 일반적으로 CT, MRA 등과 같은 의료 영상의 경우 환자를 촬영할 경우 약 100~300장 정도의 axial 시트 이미지가 생성된다. 그러므로 한 케이스의 학습데이터는 의료 영상 데이터 장수의 2배인 약 200~600장이 된다.

의료 영상은 Z축을 기준으로 순차적으로 연결된 각각의 슬라이드로 구성되어 있다. 이로 인해 영역화 하고 자 하는 혈관의 위치가 전 슬라이드와 비교하여 많이 이동하거나 변화되지 않는 특징을 가진다. 상기 특징을 통해 낱장의 슬라이드를 각각 신경망에 입력하지 않고, 한 장의 슬라이드에서 +Z축 방향으로 k장과, -Z축 방향으로 k장의 영상을 쌓아(windowing 기법) 전후의 혈관에 대한 정보를 포함한 데이터를 신경망에 입력한다. 상기 windowing 기법을 사용하면 의료영상 내 혈관 위치나, 혈관 연결에 관한 정보를 제공하기 때문에 픽셀 단위 학습을 반복적으로 진행하지 않아도 되는 이점이 있으며, 성능 향상에도 도움이 된다. 상기 windowing 기법은 기존 기계학습을 통한 혈관 영역화 방법에서 주로 사용되는 복셀(voxel) 단위의 학습과는 차별된다. 본 발명에서는 픽셀 단위의 학습만 진행하며, ± k장으로 구성된 데이터는 혈관에 대한 정보만을 신경망에 제공할 뿐, 학습에 직접적으로 이용하지 않는다. Windowing 기법을 적용하면 상기에 제기된 것과 같이 Z축을 기준으로 ± k장의 층으로 구성하기 때문에, target 혈관이 존재하는 슬라이드와 ± k장 내의 슬라이드에는 혈관이 겹치는 구간이 반드시 존재한다.

도 5는 슬라이드가 ± k장으로 중첩되는 windowing 기법 적용 시 영역화 대상인 혈관 부분이 중첩되는 분포를 나타낸다. 결과적으로 신경망 전후의 혈관 정보를 제공하기 위한 입력 데이터는 단일 영상이 아니라 2k+1의 windowing stack이 입력되며, 의료 영상을 픽셀 단위의 X축, Y축 크기를 각각 x, y로 정의할 경우 stack은 (x,y,2k+1) 차원의 텐서가 된다. 그러나 상기에서 제기된 것처럼 신경망 학습에는 직접적으로 이용되지 않는다.

도 6는 합성곱신경망 (Convolutional neural network, CNN)의 한 종류인 FCN(Fully Convolutional network)의 구조를 나타낸다. CNN 또는 FCN 신경망 학습을 딥 런닝(Deep learning) 또는 인공지능(AI, artificial intelligence) 학습이라고 한다. FCN의 구현은 python open library 중에서 가장 효율성이 높으며, 관련 기술에 많이 이용되고 있는 tensorflow를 사용한다. 본 발명에 있어서 FCN은 Convolution - Relu - Maxpooling을 하나의 세트로 하고, 한 세트를 4개의 층으로 구성하여 downsampling을 수행하도록 하였다. 또한, 신경망이 마지막 부분에는 upsampling과 동시에 영역화(segmentation)를 진행하기 위한 3개의 Deconvolution 층으로 구성하였다. 또한 Downsampling 과 upsampling을 수행하는 층 사이는 skip-connection을 수행하기 위한 층을 구성하였다. Skip-connection은 딥러닝 층이 깊어질수록 local feature의 정보는 잃고, global feature의 정보가 우세해지도록 하는 역할을 한다. 상기 skip-connection 기술은 의료 영상으로부터 혈관 위치는 잘 찾아내지만, 혈관 영역(lumen)을 면적을 정확하게 영역화하기 어려운 문제를 해결하기 위한 목적으로 적용하였다. 상기 skip-connection을 사용하면 local feature 정보의 손실이 발생하는 직전 층의 feature 정보를 저장하여, global feature 정보가 우세한 층의 feature 정보와 결합하기 때문에 혈관의 영역(면적)에 대한 문제를 해결할 수 있다.

상기 FCN으로 구성된 인공지능 신경망 학습은 gradient descent 알고리즘 중 가장 최적화된 기법인 ADAM(Adaptive Moment Estimation)을 사용해 weight와 bias를 반복적으로 업데이트하며 cross entropy를 최소값에 수렴하도록 한다. Cross entropy를 최소화하기 위해 10만 번 정도의 iteration을 통한 초동학습을 수행한다. 비특허 문헌 3 및 4에는 CNN 및 FCN에 대한 기술이 공개되어 있다.

또한 딥 런닝(Deep learning) 신경망의 정확도 향상을 위해 GAN(Generative Adversarial Networks) 알고리즘을 추가로 반영하였다. 도 7은 본 발명에 사용된 GAN 알고리즘에 대한 개략도이다. GAN 알고리즘은 혈관 영역화를 위한 신경망인 상기 개발된 FCN을 생성자 모듈(300)로 사용하고, 영역화 결과를 검수하기 위한 신경망인 검수자 모듈(310)을 개발하여 통합하였다. 생성자 모듈(300)과 검수자 모듈(310)의 출력이 완전 연결 신경망(320)으로 전달된다. 상기 검수자 모듈(310)과 생성자 모듈(300)의 min-max problem에서 검수자 모듈(310)은 max 값인 1에 근접하기 위해 학습을 수행하고, 생성자 모듈(300)은 min 값인 0에 근접한 값을 만들기 위한 학습을 수행한다. 완전연결 신경망(320)은 총 4개의 층으로 구성되어 있으며, 활성 함수(activation function)는 다른 층과 동일하게 Relu 함수를 사용하였다. 완전연결 신경망(320)은 입력받은 mask 이미지가 real 이미지 인지 생성자 모듈에서 출력된 fake 이미지 인지 여부를 검수한다. 일반적으로 GAN 모델은 처음부터 두 개의 신경망을 동시에 학습하며 검수자의 gradient를 생성자 모듈에 적용하여 변수를 수정하지만, 본 발명에서는 학습 과정을 두 단계로 분리하여 진행하였다. 본 발명에서도 두 개의 신경망이 동시에 학습되지만 초동학습 단계에서는 검수자의 gradient가 생성자 모듈에 전달되지 않는다. 10만 번 정도의 iteration을 통한 초동학습 과정에서 생성자 모듈은 실제 ground truth 데이터의 확률분포를 알아내어 모사하는 방향으로 학습된다. 초동학습 후 모델이 수렴하면 추가 학습을 수행하는데, 이때 검수자 모듈의 gradient를 생성자 모듈에 입력하여 weight, bias를 재수정한다. GAN 알고리즘의 학습은 일종의 min-max problem을 해결하기 위해 경쟁하는 방법이라 할 수 있다. 비특허 문헌 5에는 GAN 학습에 대한 기술이 공개되어 있다.

본 발명에 따른 인공지능 신경망의 학습 단계는 복수의 2차원 단층의 의료영상인 DIOCM 형식의 원본 파일을 학습에 이용하기 위한 데이터로 활용하기 위해 비트맵 이미지(bitmap image, BMP)로 변환하는 단계와, 복수의 2차원 단층 영상 내 혈관을 영역화하여 학습에 정답(labeling) 데이터로 사용하기 위해 비트맵 이미지(bitmap image, BMP) 저장하는 단계와, 신경망 학습에 직접적으로 이용할 수 있도록 가공된 정답(labeling)데이터를 통해 mask 이미지 생성하는 전처리(pre-processing)하는 단계와, 비드맵 이미지와 마스크 이미지로 FCN을 학습시키는 단계를 포함한다.

또한, 본 발명에 따른 인공지능 신경망의 학습에 GAN 알고리즘을 추가로 학습시킬 수 있다. 본 발명에 따른 GAN 알고리즘을 추가로 학습시키기 위한 인공지능 신경망의 학습 단계는, Z축을 기준으로 쌓은 2차원 단층 영상들을 Z축으로 쌓은 원본파일을 통해 비트맵 이미지로 변환한 데이터와 전처리를 단계에서 mask된 이미지를 한 쌍으로 하여 FCN(Fully Convolutional Network) 알고리즘(생성자 모듈)에 입력하는 단계와, FCN의 초기 3개 층과 후기에 구성된 deconvolutional 3개의 층 사이에 skip-connection을 구성하여 영상정보 보완을 하는 단계와, gradient descent 알고리즘인 ADAM(Adaptive Moment Estimation)을 사용해 cross entropy가 최소화 되도록 변수를 초동 학습시키는 단계와, GAN(Generative Adversarial Networks) 알고리즘을 신경망에 적용하기 위한 검수자(Discriminator) 모듈을 개발하는 단계와, 생성자(generator) 모듈인 FCN에서 출력한 가짜 이미지(fake image) 또는 mask된 이미지(real image)를 임의로 검수자 모듈에 입력하여 이미지를 구분하는 단계와, 상기 단계를 반복하며 검수자 모듈과 생성자 모듈의 min-max problem을 이용하여 경쟁 학습을 수행하는 단계와, 검수자의 gradient를 생성자 모듈에 적용해 weight 및 bias를 수정하며 cross entropy를 상기 단계에 비교하여 더욱 더 최소화 하는 변수를 추적하는 단계를 포함한다.

본 발명에 따른 기계학습 영역화 프로그램(110)은 상기의 방법에 의해서 학습된 알고리즘을 포함하고 있으나, 이에 한정되는 것은 아니고 알려진 다른 기계학습 알고리즘을 포함할 수도 있다. 도 8은 심장 CT 슬라이드 한 장을 본 발명에 따른 기계학습 영역화 프로그램에 의해서 처리된 결과를 나타내는 이미지이고, 도 9는 환자의 3차원 심장 CT 영상을 본 발명에 따른 기계학습 영역화 프로그램에 의해서 처리된 결과를 나타내는 관상동맥의 3차원 형상이다.

기계학습 영역화 프로그램(110)으로 심장 CT 한 장에 대하여 영역화를 수행한 경우 도 8에 도시된 것과 같이 혈관 영역에 대한 영역화가 잘 수행되었음을 볼 수 있으나, 환자의 심장 CT를 구성하는 200 내지 300 장의 슬라이스에 대하여 영역화를 수행한 경우, 도 9에 도시된 것과 같이 혈관이 아닌 곳이 영역화 된 부분(400)과 혈관인 영역을 영역화 하지 못한 누락된 부분(500)이 있는 것을 볼 수 있다.

일반적으로 기계학습 영역화 프로그램(110)으로 생성된 3차원 형상 기계-학습 혈관 데이터(120)는 혈관 이외의 부분이 영역화된 노이즈 데이터 세트를 포함하고 동시에 혈관 영역의 데이터가 누락된 누락 데이터 세트를 포함하는 부정확하게 영역화 된 데이터이다.

본 발명은 이처럼 부정확한 3차원 형상 기계-학습 혈관 데이터(120)를 보완하기 위하여 영상 처리 영역화 프로그램(130)을 기계학습 알고리즘에 의해서 1차로 영역화된 3차원 형상 기계-학습 혈관 데이터(120)를 2차로 영역화하여 보정하는 단계를 수행한다.

도 10은 본 발명에 따른 영상처리 영역화 프로그램에서 수행되는 2차 영역화 절차의 흐름도이다. 도 10을 참조하면, 먼저 영상 처리 영역화 프로그램(130)으로 부정확한 3차원 형상 기계-학습 혈관 데이터(120)와 3 차원 의료 영상 데이터(100)를 입력한다(S300). 다음으로, 영상처리 영역화 프로그램(130)에서 부정확한 3차원 형상 기계-학습 혈관 데이터(120)와 3 차원 의료 영상 데이터(100)를 비교하고 혈관 영역 데이터의 좌표를 매칭 한다(S310). 다음으로, 영상 처리 영역화 프로그램(130)에서 매칭된 혈관 영역 데이터의 좌표를 시드로 3 차원 의료 영상 데이터(100)에 리전 그로잉을 수행하여 누락된 혈관 영역을 연결한다(S320). 누락된 부분(500)의 연결은 리전 그로인 이외의 영상 처리 방법으로도 가능하다. 다음으로, 노이즈 데이타 세트(혈관 이외의 영역이 혈관으로 표시된 데이타 세트)를 제거하기 위하여, 영상 처리 영역화 프로그램(130)에서 연결된 혈관 영역화 데이터 세트들 각각의 볼륨을 계산하고(S330), 계산된 볼륨이 사전에 정해진 값 이하인 혈관 데이터 세트를 노이즈 데이터 세트로 판단하여 제거한다(S340).

도 11은 본 발명에 따른 영상처리 영역화 프로그램에서 수행된 도 9에 도시된 1차 영역화 결과를 2차 영역화 한 결과를 나타내는 관상동맥의 3차원 형상도이다. 도 11을 참조하면, 도 9에 나타난 혈관이 아닌 부분이 영역화 되었던 노이즈 부분(400)이 제거되고, 혈관인 부분이 영역화되지 않았던 누락된 부분(500)이 연결되어 있는 것을 볼 수 있다.

본 발명의 중심적인 아이디어는 기계학습 영역화 프로그램을 사용하여 1차로 3차원 형상 혈관 데이터를 영역화 한 후에, 영상 처리 프로그램에서 그 결과를 시드로 사용하여 2차로 3차원 형상 혈관 데이터를 영역화 하여 노이즈와 누락된 부분을 보정하는 것이다. 이하에서는 본 발명의 중심적인 아이디어를 가지고 본 발명의 다른 실시예의 방법을 설명한다.

본 발명에 따른 3 차원 의료 영상으로 혈관을 자동으로 영역화하는 방법은, 컴퓨터를 이용하여 환자의 3차원 의료영상 데이터를 3차원 형상 혈관 데이터를 영역화하는 방법으로, 환자의 3 차원 의료영상 데이터를 입력받는 단계와, 인공지능 신경망을 이용하여 입력받은 환자의 3차원 의료 영상 데이터를 처리하여 1차 3차원 형상의 혈관 데이터를 생성하는 단계와, 상기 1차 3차원 형상의 혈관 데이터를 영상 처리하여 2차 3차원 형상의 혈관 데이터를 생성하는 단계를 포함하고, 상기 2차 3차원 형상의 혈관 데이터를 생성하는 단계는 1차 3차원 형상의 혈관 데이터를 시드로 사용하여 2차 3차원 형상의 혈관 데이터를 생성한다. 본 발명에 있어서, 인공지능 신경망은 CNN 또는 FCN을 포함할 수 있다.

몇몇 실시예에 있어서, 상기 2차 3차원 형상의 혈관 데이터를 생성하는 단계는, 1차 3차원 형상의 혈관 데이터와 입력된 3차원 영상 데이터를 비교하여 혈관 영역을 매칭하는 단계와, 상기 누락 데이터를 세트를 보충하여 혈관을 연결하는 단계와, 상기 노이즈 데이터 세트를 제거하는 단계를 포함한다. 또한, 상기 누락 데이터를 세트를 보충하여 혈관을 연결하는 단계는, 생성된 1차 3차원 형상 혈관 데이터의 좌표 정보를 시드로 사용하여 상기 입력된 3차원 의료 영상 데이터의 혈관 영역을 리전 그로잉 알고리즘을 사용하여 누락된 데이터 영역을 연결할 수 있다. 또한, 상기 노이즈 데이터 세트를 제거하는 단계는, 누락된 데이터 영역이 연결된 3차원 의료 영상 데이터 세트들의 볼륨을 연산하는 단계와, 연산된 볼륨이 정해진 값 이하인 혈관 데이터 세트를 노이즈 데이터로 판단하여 제거하는 단계를 포함할 수 있다.

이상에서 설명된 실시예는 본 발명의 바람직한 실시예를 설명한 것에 불과하고, 본 발명의 권리범위는 설명된 실시예에 한정되는 것은 아니다. 본 발명의 아이디어는 이 분야의 당업자에 의하여 다양한 변경, 변형 또는 치환이 가능할 것이며, 그와 같은 실시예들은 본 발명의 범위에 속하는 것으로 이해되어야 한다. 예를 들면 다양한 방법으로 기계학습 영역화 프로그램을 구성할 수 있으며, 기계학습 영역화 프로그램으로 생성된 불완전한 3차원 형상 기계-학습 혈관 데이터를 보정하기 위한 다양한 영상 처리 영역화 프로그램을 구현할 수 있다.

100 3차원 의료 영상 데이타
110 기계 학습 영역화 프로그램
120 3차원 형상 기계-학습 혈관 데이터
130 영상처리 영역화 프로그램
140 보정된 3차원 형상 혈관 데이터
400 노이즈 데이터 세트
500 누락된 혈관 부분

Claims

컴퓨터를 이용하여 환자의 3차원 의료영상 데이터를 3차원 형상 혈관 데이터로 영역화하는 방법으로,
환자의 3 차원 의료영상 데이터를 입력받는 단계와,
인공지능 신경망을 이용하여 입력받은 환자의 3차원 의료 영상 데이터를 처리하여 1차 3차원 형상의 혈관 데이터를 생성하는 단계와,
상기 1차 3차원 형상의 혈관 데이터를 시드로 사용하여 상기 환자의 3차원 의료영상 데이터를 영상 처리하여 2차 3차원 형상의 혈관 데이터를 생성하는 단계를 포함하고,
상기 1차 3차원 형상의 혈관 데이터는, 혈관 영역이 아닌 적어도 하나의 노이즈 데이터 세트와, 혈관 영역이 누락된 적어도 하나의 누락 데이터 세트로 구성되고,
상기 2차 3차원 형상의 혈관 데이터를 생성하는 단계는, 1차 3차원 형상의 혈관 데이터와 입력된 3차원 의료영상 데이터를 비교하여 입력된 3차원 의료영상 데이터의 혈관 영역 데이터의 좌표를 매칭하는 단계와, 상기 매칭된 혈관 영역 데이터의 좌표를 시드로 사용하여 3차원 의료영상 데이터를 처리하여 의료 영상 데이터의 누락된 혈관 영역을 연결하는 단계와, 연결된 혈관 영역화 데이타들의 볼륨을 계산하는 단계와, 상기 계산된 볼륨이 사전에 정해진 값 이하인 3차원 의료 영상 데이터의 혈관 영역의 데이터를 노이즈로 제거하는 단계를 포함하는 3차원 형상 혈관 데이터를 자동으로 영역화 하는 방법.
제1항에 있어서,
상기 인공지능 신경망을 이용하여 1차로 혈관 영역을 영역화 하는 단계는, 인공지능 신경망을 구성하는 단계와, 복수의 환자의 3차원 의료 영상을 가공하여 인공지능 신경망을 학습시키는 단계와, 학습된 인공지능 신경망으로 학습자료로 사용되지 않은 환자의 3차원 의료 영상을 1차 영역화하는 단계를 포함하고,
상기 인공지능 신경망을 구성하는 단계는, 초동학습을 위해 FCN을 구성하는 단계와, GAN 알고리즘 적용하여 신경망 성능을 향상시키기 위해 상기 FCN을 생성자 모듈로 이용하는 단계와, GAN 알고리즘을 수행을 위해 검수자 모듈을 구축하는 단계를 포함하는 3차원 형상 혈관 데이터를 자동으로 영역화 하는 방법.
제1항에 있어서,
상기 누락된 혈관 영역을 연결하는 단계는, 매칭된 혈관 영역 데이터를 시드로 사용하여 3차원 의료 영상 데이터를 리전 그로잉 알고리즘으로 처리하여 3차원 의료영상 데이타의 누락된 혈관 영역을 연결하는 3차원 형상 혈관 데이터를 자동으로 영역화 하는 방법.