KR101902883B1 - 컴퓨터 단층촬영 영상에서 플라크를 분석하기 위한 방법 및 장치 - Google Patents

컴퓨터 단층촬영 영상에서 플라크를 분석하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR101902883B1
KR101902883B1 KR1020170023605A KR20170023605A KR101902883B1 KR 101902883 B1 KR101902883 B1 KR 101902883B1 KR 1020170023605 A KR1020170023605 A KR 1020170023605A KR 20170023605 A KR20170023605 A KR 20170023605A KR 101902883 B1 KR101902883 B1 KR 101902883B1
Authority
KR
South Korea
Prior art keywords
image
plaque
coronary artery
channel data
wall
Prior art date
Application number
KR1020170023605A
Other languages
English (en)
Other versions
KR20180097035A (ko
Inventor
장혁재
홍영택
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020170023605A priority Critical patent/KR101902883B1/ko
Priority to PCT/KR2017/005764 priority patent/WO2018155765A1/ko
Publication of KR20180097035A publication Critical patent/KR20180097035A/ko
Application granted granted Critical
Publication of KR101902883B1 publication Critical patent/KR101902883B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/504—Clinical applications involving diagnosis of blood vessels, e.g. by angiography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Abstract

의료영상에서 플라크(plaque)를 분석하기 위한 방법이 개시된다. 상기 방법은, 컴퓨터 단층촬영(CT) 영상을 포함하는 의료영상을 수신하는 단계; 상기 CT 영상의 창 너비(WW; window width) 및 창 수준(WL; window level)을 조정하여 n-채널 데이터를 생성하는 단계 ― 여기서, n은 2 이상의 자연수임 ― ; 상기 n-채널 데이터 각각에서 영상을 직각(orthogonal)으로 재구성하여 수평면(axial) 영상, 시상면(sagittal) 영상 및 관상면(coronal) 영상으로 재구성하는 단계; 기 재구성된 영상들에 대해 합성곱 신경망(CNN; convolutional neural network) 기반으로 기계 학습시키는 단계; 및 기계 학습된 직각으로 재구성된 영상 중 적어도 하나를 포함하는 영상으로부터 마스크 영상을 생성하고, 생성된 마스크 영상들에 기초하여 관상동맥 혈관의 단면 영상을 획득하는 단계를 포함하고, 여기서 상기 단계들이 관상동맥 내벽과 관상동맥 외벽에 대해 각각 개별적으로 또는 통합적으로 수행되는 것을 특징으로 한다.

Description

컴퓨터 단층촬영 영상에서 플라크를 분석하기 위한 방법 및 장치{A METHOD FOR ANALYZING PLAQUE IN A COMPUTED TOMOGRAPHY IMAGE AND AN APPARATUS THEREOF}
본 발명은 컴퓨터 단층촬영 영상에서 플라크를 분석하기 위한 방법 및 장치에 관한 발명이다. 보다 구체적으로, 딥러닝(deep learning) 기법을 이용하여 컴퓨터 단층촬영 영상에서 자동으로 관상동맥의 내벽과 외벽의 마스크를 생성하고 그에 따라 관상동맥 내 플라크의 보다 용이하고 정확한 분석을 가능하게 하는 플라크 분석 방법 및 그 영상 처리 장치에 관한 발명이다.
관상동맥 질환은 협착증(혈관이 비정상적으로 좁아지는 질환)과 같이 심장에 혈액을 제공하는 혈관에 관상동맥 플라크(plaque)를 생성할 수 있다. 관상동맥 플라크로 인해 심장으로의 혈류가 제한될 수 있고, 관상동맥 질환에 시달리는 환자는 휴식 중일 때에는 불안전 협심증, 또는 격렬한 신체 운동 중일 때에는 만성 불변성 협심증 등의 흉통을 겪을 수 있다.
통증에 시달리거나 관상동맥 질환의 증상을 나타내는 환자는 관상동맥 플라크에 관한 소정의 간접적 증거를 제공할 수 있는 하나 이상의 검사를 받을 수 있다. 예컨대, 비침습적 검사는 심전도, 혈액 검사로부터 바이오마커(biomarker) 평가, 트레드밀(treadmill) 검사, 심전도 기록, 단일 양전자 방출 CT(SPECT; single positron emission computed tomography) 및 양전자 방출 토모그래피(PET; positron emission tomography)를 포함할 수 있다. 해부학적 데이터는 관상동맥 CT 조영술(CCTA; coronary computed tomography angiography)을 이용하여 비침습적으로 얻을 수 있다. CCTA는 흉통을 갖는 환자의 이미징에 사용될 수 있고, 조영제의 정맥 내 투입에 이어 심장 및 관상동맥을 이미징하기 위해 컴퓨터 단층촬영(CT) 기술의 이용을 수반한다.
이와 같이, 심장 관상동맥(coronary artery)에서 죽상동맥경화 플라크(atheroscelerotic plaque)를 정량적으로 분석하는 것은 관상동맥 질환의 치료에 있어 매우 중요하다. CCTA는 해부학적으로 폐쇄된 관상동맥 질환의 진단을 위해 신뢰할 수 있는 검사 방법으로 자리 잡았고, CCTA는 분석 소프트웨어를 이용하여 CCTA 영상에서 죽상동맥경화반을 자동으로 또는 반자동으로 분석하는 것이 가능하다.
하지만, CCTA에서 분석 소프트웨어를 이용하여 관상동맥을 분석하는 과정에 있어 숙련된 전문가의 정교한 수정 작업이 필요한데, 이는 분석 소프트웨어가 관상동맥의 내벽과 외벽의 경계를 정밀하게 분석하지 못하기 때문이다. 그러므로, 임상적으로 유용한 결과를 도출하기 위해서는 수많은 수작업을 거쳐야만 하는 문제점이 있다.
게다가, CCTA에서 측정한 플라크와 실제 플라크가 얼마나 일치하는지를 비교한 연구에서 CCTA에서 측정된 플라크의 부피가 참조 표준인 IVUS(혈관 내 초음파; intravascular ultrasound)보다 과대 평가되는 경향이 발견되기도 하였다.
따라서, 관상동맥 내의 플라크를 분석함에 있어 실제 임상환경에서 활용될 수 있도록 정확한 결과를 도출하기 위한 새로운 플라크 분석 방법 및 장치에 대한 필요성이 점점 증가하고 있는 실정이다.
(특허 문헌 1) 대한민국특허출원공개번호 제10-2016-0079127호(발명의 명칭: "환자-특이적 해부학적 이미지 데이터로부터 관상동맥 플라크 취약성 예측 시스템 및 방법")
본 발명은 상기한 종래의 문제점들을 해결하고자 안출된 것으로서, 본 발명은 영상 학습을 위한 새로운 CNN 구조와 그러한 CNN 구조에 적합한 새로운 의료영상 포맷을 이용하여, 자동으로 관상동맥의 내벽과 외벽의 마스크를 생성하고 그에 따라 관상동맥 내 플라크를 보다 용이하고 정확하게 분석할 수 있는 방법 및 그 영상 처리 장치를 제공하는 것을 목적으로 한다.
상기의 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 영상 처리 장치에 의해 수행되는 의료영상에서 플라크(plaque)를 분석하기 위한 방법은, 컴퓨터 단층촬영(CT) 영상을 포함하는 의료영상을 수신하는 단계; 상기 CT 영상의 창 너비(WW; window width) 및 창 수준(WL; window level)을 조정하여 n-채널 데이터를 생성하는 단계 ― 여기서, n은 2 이상의 자연수임 ― ; 상기 n-채널 데이터 각각에서 영상을 직각(orthogonal)으로 재구성하여 수평면(axial) 영상, 시상면(sagittal) 영상 및 관상면(coronal) 영상으로 재구성하는 단계; 상기 재구성된 영상들에 대해 합성곱 신경망(CNN; convolutional neural network) 기반으로 기계 학습시키는 단계; 및 기계 학습된 직각으로 재구성된 영상 중 적어도 하나를 포함하는 영상으로부터 마스크 영상을 생성하고, 생성된 마스크 영상들에 기초하여 관상동맥 혈관의 단면 영상을 획득하는 단계를 포함하고, 상기 단계들이 관상동맥 내벽과 관상동맥 외벽에 대해 각각 개별적으로 또는 통합적으로 수행되는 것을 특징으로 한다.
또한, 상기 방법은, 획득된 상기 관상동맥 내벽의 단면 영상 및 획득된 상기 관상동맥 외벽의 단면 영상을 이용하여, 상기 관상동맥 내의 플라크를 분석하는 단계를 더 포함할 수 있다.
또한, 상기 CT 영상의 창 너비(WW) 및 창 수준(WL)을 조정하여 n-채널 데이터를 생성하는 단계는, 관상동맥 내강(lumen) 관찰을 위한 WW1 및 WL1, 칼슘 분석을 위한 WW2 및 WL2 및 지질 플라크를 위한 WW3 및 WL3를 설정함으로써 상기 n-채널 데이터를 생성하는 단계를 포함하고, 여기서 n은 3이다.
또한, 상기 합성곱 신경망(CNN)은 2개의 간략 합성곱망(BCN; brief convolutional network)을 연속적으로 적층하여 구성될 수 있다.
또한, 상기 2개의 간략 합성곱망(BCN) 중 선행하는 제1 BCN에서 자기부호화기(auto-encoder)를 이용하여 사전 학습이 수행될 수 있다.
추가하여, 상기의 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 영상 처리 장치는, 컴퓨터 단층촬영(CT) 영상을 수신하도록 구성되는 영상 수신부와, 상기 영상 수신부에서 수신된 심장 영상을 처리하도록 구성되는 영상 처리부와, 상기 영상 처리부에서 출력된 관상동맥 내벽 영상, 외벽 영상 및 플라크 영상 중 적어도 하나를 디스플레이하도록 구성되는 디스플레이부와, 상기 영상 수신부, 상기 영상 처리부 및 상기 디스플레이부를 제어하도록 구성되는 제어부를 포함하고, 상기 영상 처리부는, 상기 CT 영상의 창 너비(WW) 및 창 수준(WL)을 조정하여 n-채널 데이터를 생성하도록 구성되는 n-채널데이터생성유닛 ― 여기서, n은 2 이상의 자연수임 ―; 상기 n-채널 데이터 각각에서 영상을 직각으로 재구성하여 수평면 영상, 시상면 영상 및 관상면 영상으로 재구성하도록 구성되는 영상재구성유닛; 상기 재구성된 영상들에 대해 합성곱 신경망(CNN) 기반으로 기계 학습시키도록 구성되는 기계학습유닛; 및 기계 학습된 직각으로 재구성된 영상 중 어느 하나를 포함하는 영상으로부터 각각 마스크 영상을 생성하고, 생성된 마스크 영상들에 기초하여 관상동맥 혈관의 단면 영상을 획득하도록 구성되는 영상획득유닛을 포함할 수 있다.
또한, 상기 영상 처리부는, 획득된 상기 관상동맥 내벽의 단면 영상 및 획득된 상기 관상동맥 외벽의 단면 영상을 이용하여, 상기 관상동맥 내의 플라크를 분석하도록 구성되는 플라크분석유닛을 더 포함할 수 있다.
또한, 상기 n-채널데이터생성유닛은, 관상동맥 내강(lumen) 관찰을 위한 WW1 및 WL1, 칼슘 분석을 위한 WW2 및 WL2 및 지질 플라크를 위한 WW3 및 WL3를 설정함으로써 상기 n-채널 데이터를 생성하도록 구성되고, 여기서 n은 3이다.
또한, 상기 합성곱 신경망(CNN)은 2개의 간략 합성곱망(BCN; brief convolutional network)을 연속적으로 적층하여 구성될 수 있다.
또한, 상기 2개의 간략 합성곱망(BCN) 중 선행하는 제1 BCN에서 자기부호화기를 이용하여 사전 학습이 수행될 수 있다.
본 발명의 일 실시예에 따른 컴퓨터 단층촬영(CT) 영상에서 플라크를 분석하기 위한 방법 및 그 영상 처리 장치에 의하면, 딥러닝을 이용하여 컴퓨터 단층촬영(CT) 영상에서 관상동맥 내 플라크의 분석을 보다 용이하게 그리고 정확하게 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 컴퓨터 단층촬영(CT) 영상에서 플라크를 분석하기 위한 방법 및 그 영상 처리 장치에 의하면, 관상동맥의 플라크를 분석함에 있어 실제 임상환경에서 활용될 수 있도록 정확한 결과를 도출하는 것이 가능하다.
도 1은 일반적인 DICOM 표준 의료 영상의 포맷을 설명하기 위한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 컴퓨터 단층촬영(CT) 영상에서 플라크(plaque)를 분석하기 위한 방법(S200)의 순서도이다.
도 3은 본 발명의 일 실시예에 따라 3-채널 데이터를 생성하는 과정을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따라 도 3에서 생성된 3-채널 데이터를 수평면/관상면/시상면 영상으로 각각 재구성하는 과정을 설명하기 위한 예시도이다.
도 5a는 본 발명의 일 실시예에 따른 간략 합성곱망(BCN)의 개략적인 블록도이고, 도 5b는 본 발명의 일 실시예에 따른 기계 학습 로직을 설명하기 위한 개략적인 블록도이다.
도 6은 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 컴퓨터 단층촬영(CT) 영상에서 플라크를 분석하기 위한 방법의 전체 흐름을 개략적으로 도시한 순서도이다.
도 7은 본 발명의 일 실시예에 따른 컴퓨터 단층촬영(CT) 영상에서 플라크를 분석하기 위한 방법을 수행하도록 구성되는 영상 처리 장치(700)의 개략적인 블록도이다.
이하 본 발명의 바람직한 실시예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다. 이하의 설명에서 구체적인 특정 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해 제공된 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 본 발명이 속하는 기술 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 본 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
도 1은 일반적인 DICOM 표준 의료 영상의 포맷을 설명하기 위한 예시도이다.
의료용 디지털 영상 및 통신(DICOM; Digital Imaging and Communications in Medicine) 표준은 의료용 기기에서 디지털 영상 표현과 통신에 사용되는 다양한 표준을 지칭하는 용어로서, 미국방사선의학회(ACR; American College of Radiology)와 미국전기공업회(NEMA; National Electrical Manufacturers Association)에서 구성한 연합 위원회에서 발표한다.
도 1은 이러한 DICOM 표준 의료 영상의 포맷을 개략적으로 도시하는데, 도시된 바와 같이 DICOM 영상은 2 바이트(byte), 즉 16 비트(bit)의 크기를 갖고, 영상 관측을 위해 사용자가 직접 창 너비(WW; window width)와 창 수준(WL; window level)을 조정하는 방식을 사용하고 있다.
CT 영상은 기본적으로 물과 뼈 그리고 공기를 표준으로 하여 설정된 픽셀의 상대적인 선감약계수(linear attenuation coefficient)인 CT 넘버(CT number)를 이용하여 흑·백의 여러 단계를 나타낼 수 있다. 여기서, 창 너비(WW)는 흑백의 여러 단계인 그레이 스케일(gray-scale)로 표현할 수 있는 CT 넘버의 범위를 의미하며, 창 수준(WL)은 그레이 스케일의 중앙값을 의미한다.
예컨대, 복부 영상의 창 너비(WW)를 +300으로 설정하고 창 수준(WL)을 0으로 설정하면, 영상에 나타나는 하운스필트 유닛(HU; hounsfield unit)의 범위는 -150에서 +150이다. 그러므로, 흡수치가 -150보다 낮은 물질은 검게 나타나고, 흡수치가 +150보다 높은 물질을 밝게 나타나며, -149에서 +149 사이의 HU를 갖는 물질은 흑과 백 사이의 레벨로 표시될 수 있다.
하지만, 이러한 일반적인 DICOM 포맷 영상을 이용하여 관상동맥을, 특히 관상동맥의 내벽/외벽/플라크를 분석하는 경우, 대부분 숙련된 전문가의 정교한 수정을 필요로 하고 분석 알고리즘의 성능 한계로 인해 소프트웨어가 내벽과 외벽을 정밀하게 분석하지 못하여 수많은 수작업을 거쳐야 하는 불편함이 있다.
도 2는 본 발명의 일 실시예에 따른 컴퓨터 단층촬영(CT) 영상에서 플라크(plaque)를 분석하기 위한 방법(S200)의 순서도이다.
참고로, 이하의 본 발명의 명세서에서는 본 발명의 용이한 이해를 위해서, 관상동맥 컴퓨터 단층촬영 조영술(CCTA; coronary computed tomography angiography) 영상을 예시로 기술하지만, 이는 일 예에 불과할 뿐 CCTA 영상에 한정되지 않고 MRI 영상, X-선 영상 등 다른 의료영상에도 확장 적용가능할 것이다.
본 발명의 일 실시예에 따른 컴퓨터 단층촬영(CT) 영상에서 플라크를 분석하기 위한 방법(S200)은, 컴퓨터 단층촬영(CT) 영상을 포함하는 의료영상을 수신하는 단계(S210); 상기 CT 영상의 창 너비(WW; window width) 및 창 수준(WL; window level)을 조정하여 n-채널 데이터를 생성하는 단계(S220) ― 여기서, n은 2이상의 자연수임 ―; 상기 n-채널 데이터 각각에서 영상을 직각으로 재구성하여 수평면(axial) 영상, 시상면(sagittal) 영상 및 관상면(coronal) 영상으로 재구성하는 단계(S230); 상기 재구성된 영상들에 대해 합성곱 신경망(CNN; convolutional neural network) 기반으로 기계 학습시키는 단계(S240); 기계 학습된 직각으로 재구성된 영상 중 어느 하나를 포함하는 영상으로부터 각각 마스크 영상을 생성하고, 생성된 마스크 영상들에 기초하여 관상동맥 혈관의 단면 영상을 획득하는 단계(S250); 및 획득된 상기 관상동맥 내벽의 단면 영상 및 획득된 상기 관상동맥 외벽의 단면 영상을 이용하여, 상기 관상동맥 내의 플라크를 분석하는 단계(S260)를 포함할 수 있다.
참고로, 도 2에 도시된 각각의 단계(S210 내지 S260)는 본 발명의 용이한 이해를 위한 일 예에 해당하고, 따라서 도 2에 도시되지 않은 추가의 단계가 더 수행될 수도 있음은 명백할 것이다.
S210은 CT 영상, 예컨대 관상동맥 컴퓨터 단층촬영 조영술(CCTA; coronary computed tomography angiography) 영상을 수신하는 단계에 해당한다. 컴퓨터 단층촬영(CT)은 컴퓨터 처리가 만들어내는 단층 촬영을 이용하는 의학 화상 처리 방식 중 하나이며, 상기 CCTA 영상은 임의의 컴퓨터 단층촬영(CT) 장비/장치/기구에 의해서 획득될 수 있는 임의의 관상동맥 CT 영상을 포함할 수 있다.
S220은 수신된 CT 영상의 창 너비(WW) 및 창 수준(WL)을 조정하여 n-채널 데이터(n-channel data)를 생성하는 단계에 해당한다. 여기서, n은 2 이상의 자연수이며, 이하의 설명에서 본 발명의 용이한 이해를 위해 3-채널 데이터를 예시로 기술하기로 하지만, 다른 복수의 채널 데이터가 추가적으로 또는 대체적으로 구현될 수 있음은 명백할 것이다.
본 발명은 종래의 방식과 비교하여 보다 용이하고 정확하게 관상동맥 플라크를 분석할 수 있는 방법 및 장치를 제공하는 것을 목적으로 하고, 그러한 방법/장치를 구현함에 있어 영상의 기계 학습(예컨대, CNN)을 수반하며, 그러한 기계 학습에 최적화된 새로운 의료영상포맷을 갖는 3-채널 데이터를 제안하는 것을 특징으로 하며, 이는 종래 2 바이트 크기의 단일 채널을 갖는 DICOM 의료 영상과는 명백하게 대비되는 것이다.
보다 구체적으로, 본 발명의 일 실시예에 따른 3-채널 데이터는 CT 영상의 창 너비(WW)와 창 수준(WL)을 각각 조정한 3개의 데이터로 구성되고, 이들은 각각 관상동맥 내강(lumen) 관찰을 위한 데이터, 칼슘 분석을 위한 데이터 그리고 지질 플라크를 위한 데이터로 구성될 수 있다.
예컨대, 관상동맥 내강 관찰을 위한 영상은 창 너비 WW1 및 창 수준 WL1로 설정될 수 있고, 칼슘 분석을 위한 영상은 창 너비 WW2 및 창 수준 WL2로 설정될 수 있으며, 지질 플라크를 위한 영상은 창 너비 WW3 및 창 수준 WL3로 설정될 수 있다. 예를 들어, 관상동맥 루멘 관찰을 위해 740/220, 칼슘 분석을 위해 1500/550 및 지질 플라크를 위해 500/100의 값으로 창 너비/창 수준을 설정하는 것이 가능하며, 이러한 창 너비/창 수준의 구체적인 수치는 당업계에서 각각 '관상동맥 루멘 관찰' '칼슘 분석' 및 '지질 플라크'를 위한 최적의 수치로서 실험적으로 도출된 값에 해당할 수 있지만, 예시된 수치 이외의 다른 수치들이 추가로 또는 대체하여 사용될 수 있음은 명백할 것이다.
참고로, 관상동맥 루멘 관찰을 위한 제1 채널의 창 너비/창 수준인 740/220은, 논문 『Eur Radiol. 2016 Sep; 26(9): 3190-8, doi: 10.1007/s00330-015-4121-5. Epub 2015 Dec 2. "Optimal boundary detection method and window settings for coronary atherosclerotic plaque volume analysis in coronary computed tomography angiography: comparison with intravascular ultrasound."』에서 임상적으로 의미있는 수치로서 기술된 수치에 해당한다.
도 3은 본 발명의 일 실시예에 따라 3-채널 데이터를 생성하는 과정을 설명하기 위한 예시도이다. 참고로, 도 3에서는 관상동맥 내강의 영상을 예시적으로 도시한다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따르면, 동일한 관상동맥 내강 영상에 대해 창 너비/창 수준을 각각 WW1/WL1, WW2/WL2 및 WW3/WL3로 조정하여 3개의 채널 데이터(ch1, ch2 및 ch3)를 생성할 수 있다. 본 발명의 추가의 실시예에 따르면, 이렇게 생성된 3-채널 데이터(ch1, ch2 및 ch3)는 [0, 255]의 스케일로 재구성될 수 있으며, 이를 위해 [-150HU, 590HU], [-200HU, 1300HU] 및 [-150HU, 350HU]의 상이한 자르기 창이 사용될 수 있다.
이와 같은 3-채널 데이터를 구성하는 이유는 종래의 CT 영상 분석 방법에서 사용하는 기법을 모사하기 위한 것으로서, 실제로 영상 분석시 위 제시된 WW1/WL1, WW2/WL2 및 WW3/WL3로 창 너비/창 수준을 설정하여 관상동맥 내 플라크를 분석하며, 그러므로 본 발명은 실제 작업 환경을 모사하여 딥러닝 모델(deep learning model)이 이를 학습하도록 했다는 것에 중요한 의미를 갖는다.
다른 말로, 본 발명에 따른 새로운 3-채널 데이터의 목적은, 실제 전문가가 수작업으로 플라크를 분석할 때 그 특성에 맞게 데이터 표시 창의 너비와 수준을 조절하는 작업 과정을 모사하는 것이다.
상술한 과정을 통해 S220에서 3-채널 데이터가 생성된 이후에, S230은 그렇게 생성된 3-채널 데이터 각각에서 영상을 직각으로 재구성하여 수평면(axial) 영상과, 관상면(coronal) 영상과, 그리고 시상면(sagittal) 영상으로 재구성하는 단계에 해당한다.
참고로, 석회화된 플라크는 관상동맥 내에서 입체적으로 자리를 잡기 때문에 수평면 영상만을 학습해서는 플라크의 전반적인 특성을 학습하는데에 한계가 있다. 그러므로, 본 발명에서는 수평면 영상뿐만 아니라, 수평면 영상을 회전시켜 직각으로 재구성함으로써 관상면(coronal) 영상 및 시상면(sagittal) 영상을 추가로 생성하고 이들을 영상 기계 학습에 이용하는 것을 특징으로 한다.
도 4는 본 발명의 일 실시예에 따라 도 3에서 생성된 3-채널 데이터를 수평면/관상면/시상면 영상으로 각각 재구성하는 과정을 설명하기 위한 예시도이다. 도 4에 도시된 바와 같이, 3-채널 데이터(ch1, ch2 및 ch3) 각각이 수평면 영상, 관상면 영상 및 시상면 영상으로 재구성된다.
여기서, 수평면 영상의 크기는 64 × 64로 고정되어 있으나, 혈관 길이는 사람과 사람의 질병의 정도에 따라 상이하기 때문에 64 × 64 × 64 크기의 정육면체를 샘플링 단위로 정의할 수 있으며, 샘플링 후 남은 부분은 학습 대상에서 배제될 수 있다.
참고로, 도 4에서는 본 발명의 다양한 실시예들의 용이한 이해를 위해서 '수평면 영상' '관상면 영상' 및 '시상면 영상'을 예시적으로 도시하였으나, 다른 형태의 혈관 영상이 추가적으로 또는 대체적으로 사용될 수 있음은 당업계에서 명백할 것이다.
이와 같이, CT 영상의 창 너비(WW) 및 창 수준(WL)을 조정하여 3-채널 데이터를 생성하고(S220), 생성된 3-채널 데이터 각각에 대해 수평면/시상면 및 관상면 영상으로 재구성한(S230) 이후에, S240은 재구성된 영상들에 대해 합성곱 신경망(CNN)을 이용하여 기계 학습시키는 단계에 해당한다.
참고로, 합성곱 신경망(CNN; convolutional neural network)은 하나 또는 여러 개의 합성곱층과 그 위에 올려진 일반적인 인공 신경망층으로 이루어져 합성곱층에서 전처리를 수행하는 구조를 갖는 신경망에 해당하며, 적용 예에 따라 컨볼루션 신경망, 회선 신경망, 뇌회로망 등으로 지칭될 수도 있다.
참고로, 일반적인 합성곱 신경망(CNN) 구조는 관상동맥과 같이 세밀하고 정교한 영역화 작업에는 적합하지 않다. 따라서, 종래의 3-채널 컬러 영상에서 영역화를 수행하던 보통의 합성곱 신경망(CNN) 구조와는 달리, 본 발명에서는 압축층(compression layer)과 압축해제층(decompression layer)으로 구성된, 소위 "간략 합성곱망(BCN; brief convolutional network)"의 구조를 사용한다.
도 5a는 이러한 간략 합성곱망(BCN)의 개략적인 블록도를 도시한다. 도 5a에 도시된 바와 같이, 본 발명의 일 실시예에 따른 간략 합성곱망(BCN)은 3개의 합성곱층과 1개의 맥스-풀링(max-pooling)층으로 구성되는 압축층 2개와, 3개의 합성곱층과 1개의 업-샘플링(up-sampling)층으로 구성되는 압축해제층 2개로 구성될 수 있다. 여기서, 맥스-풀링층과 업-샘플링층은 2 픽셀 스트라이딩을 사용할 수 있다.
참고로, 합성곱층 모두는 0.0005의 정규화 패널티(L2-weight)가 적용되었으며, ReLU(Rectified Linear Unit)을 이용하여 활성화되었다. 또한, 그래디언트가 약해지거나 수렴하는 것을 방지하기 위해서 합성곱망의 활성화 이전에 배치 정규화(batch normalization)가 적용되었으며, 신경망의 과적합(overfitting)을 방지하기 위해서 각각의 합성곱망 끝에 드롭아웃(dropout) 기법이 사용되었으며 그 비율을 0.5로 설정하였다.
그러므로, n × m 크기의 입력 영상을 X, 그리고 이에 대응하는 같은 크기의 출력 영상을 Y라고 가정하면, 상기 제안된 간략 합성곱망(BCN)을 이용하여 x∈X 및 y∈Y에 대한 확률분포 p(y｜x)를 이용해 출력 영상에 대한 레이블링(labeling)을 수행하는 것이 가능하다.
도 5b는 본 발명의 일 실시예에 따른 기계 학습 로직을 설명하기 위한 개략적인 블록도이다. 도 5b에 도시된 바와 같이, 본 발명의 일 실시예에 따른 관상동맥 내벽/외벽/플라크 영역화를 위한 기계 학습이 간략 합성곱망(BCN)을 연속적으로 적층한 구조의 망을 이용하여 수행됨을 특징으로 한다.
즉, 본 발명에 따른 영상 기계 학습에 이용되는 합성곱 신경망(CNN)은 2개의 간략 합성곱망(BCN)을 연속적으로 적층하여 구성될 수 있다. 여기서, 상기 2개의 단략 합성곱망(BCN) 중 선행하는 제1 BCN(도 5b에서 좌측 BCN)에서는 자기부호화(auto-encoder)를 이용하여 사전-학습(pre-training)이 수행된다.
보다 구체적으로, 관상동맥 내벽 및 외벽 예측에 앞서 더 우수한 학습 초기값을 획득하기 위해서 간략 합성곱망(BCN) 구조를 이용하여 사전-학습이 진행되고, 사전-학습은 입력으로부터 계산되는 출력이 입력 자체와 유사하게 되도록 하는 자기부호화기(auto-encoder)를 사용하는 것을 특징으로 한다.
그러므로, 제1 BCN에 의한 자기부호화기 과정을 통해, 영상 잡음을 감소시킬 수 있을 뿐만 아니라 관상동맥의 내벽과 외벽의 경계를 명확하게 하며 석회화된 플라크에 대한 특징을 향상시켜 학습을 용이하게 한다.
도 5b에 도시된 바와 같이, 사전-학습을 위한 제1 BCN에 연속하여 제2 BCN 구조로 영상 학습이 진행되면, 관상동맥 내벽 및 외벽의 예측 모델이 완성될 수 있다. 참고로, 예측 모델은 수평면 영상, 시상면 영상 및 관상면 영상 각각에 대해서 개별적으로 학습되며, 관상동맥 내벽 및 관상동맥 외벽에 대한 학습 및 예측도 각각 개별적으로 또는 통합적으로 수행될 수 있다.
이와 같이, 재구성된 수평면/시상면/관상면 영상에 대해서 이중 간략 합성곱망(BCN) 기반으로 기계 학습이 진행되면(S240), S250은 기계 학습된 수평면 영상, 시상면 영상 및 관상면 영상으로부터 각각 마스크(mask) 영상을 생성하고, 생성된 마스크 영상들에 기초하여 관상동맥 혈관의 단면 영상을 획득하는 단계에 해당한다.
부언하면, 제1 BCN의 입력은 영상이고 출력 또한 영상이므로 자기 자신을 학습하게 되고, BCN 구조 내부의 다수의 합성곱층은 학습 과정에서 영상의 특징들을 학습한다. 즉, 의미가 없는 것들(예컨대, 노이즈)은 학습 과정에서 자연스럽게 사라지게 되고, 의미가 있는 것들(예컨대, 플라크)만 남아 있게 된다.
이러한 방식으로 자기-부호화 기법으로 학습된 층들에 영상을 입력하게 되면 동일한 영상이 출력되는 것처럼 보이겠지만, 실제로는 노이즈가 감소되고 플라크는 그대로 남아있는 영상을 획득하는 것이 가능하게 된다.
그 후 사전-학습된 BCN과 학습되지 않은 BCN을 적층하고, 적층 구조에서 보면 입력은 영상이고 출력은 마스크이며, 이 상태로 적층된 층들을 학습시킨다. 이러한 과정을 통해 학습이 완료되면 사전-학습된 제1 BCN에도 일부분 가중치-업데이트(weight-update)가 발생하는데, 이때 제2 BCN에 있는 모든 합성곱층의 가중치가 랜덤-가중치에서 학습된 가중치로 모두 업데이트된다. 그러므로, 학습에 사용되지 않은 새로운 영상을 입력시킬 경우에 학습된 모든 가중치를 거쳐 마스크가 출력될 수 있다.
도 6은 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 컴퓨터 단층촬영(CT) 영상에서 플라크를 분석하기 위한 방법의 전체 흐름을 개략적으로 도시한 순서도이다.
재구성된 수평면/시상면/관상면 영상에 대해서 이중 간략 합성곱망(BCN)(50) 기반으로 기계 학습이 진행되면, 그 기계 학습의 결과로서 각각의 채널(ch1, ch2 및 ch3)에 대한 마스크 영상(mask image)(61, 62, 63)이 생성될 수 있고, 이렇게 생성된 마스크 영상(60)에 기초하여 관상동맥 혈관의 단면 영상(70)이 획득될 수 있다. 참고로, 도 6의 전체 흐름도에서는 관상동맥 내강의 영역화를 예시로 도시하였다.
여기서, 입력 영상 각 픽셀에 대한 출력 영상 각 픽셀의 확률은 학습된 간략 합성곱망(BCN) 구조를 통해 획득될 수 있으며, 따라서 수평면, 시상면 및 관상면 영상에 대한 확률 맵 fa = pa(y｜x), fc = pc(y｜x) 및 fs = ps(y｜x)을 획득할 수 있다. 게다가, 보다 견고한 예측 결과를 획득하기 위해서, 각각의 픽셀에 대한 확률을 증폭한 증폭특징(amplified feature)을 아래와 같이 정의한다.
fm:= exp(pa(y｜x)) + exp(pc(y｜x)) + exp(ps(y｜x))
이와 같이, 각각의 픽셀에 대한 레이블을 결정하기 위한 특징벡터 {fa, fc, fs, fm}가 정의되고, 출력 영상의 각 픽셀에 대한 레이블 결정은 그래디언트 부스팅(gradient boosting) 기법을 사용하였으며, 그래디언트 부스팅 모델은 추출된 특징벡터와 레이블 참값으로 학습된다.
기계 학습의 결과로 마스크 영상(60)이 생성되고, 그에 기초하여 혈관의 단면 영상(70)이 획득되면(S250), S260은 획득된 관상동맥 내벽의 단면 영상 및 획득된 관상동맥 외벽의 단면 영상을 이용하여 관상동맥 내의 플라크를 분석하는 단계(S260)에 해당한다. 일반적으로, 관상동맥의 외벽의 영역에서 관상동맥 내벽의 영역을 제외하면 나머지 영역이 플라크 영역에 해당할 수 있다.
참고로, 도 2의 도시된 일련의 단계들(S210 내지 S260)은 관상동맥 내벽과 관상동맥 외벽에 대해 각각 개별적으로 또는 통합적으로 수행될 수 있다.
도 7은 본 발명의 일 실시예에 따른 컴퓨터 단층촬영(CT) 영상에서 플라크를 분석하기 위한 방법을 수행하도록 구성되는 영상 처리 장치(700)의 개략적인 블록도이다.
도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 컴퓨터 단층촬영(CT) 영상에서 플라크를 분석하기 위한 방법을 실행하도록 구성되는 영상 처리 장치(700)는, 컴퓨터 단층촬영(CT) 영상을 포함하는 의료영상을 수신하도록 구성되는 영상 수신부(720)와, 상기 영상 수신부(720)에서 수신된 심장 영상을 처리하도록 구성되는 영상 처리부(730)와, 상기 영상 처리부(730)에서 출력된 관상동맥 내벽 영상, 외벽 영상 및 플라크 영상 중 적어도 하나를 디스플레이하도록 구성되는 디스플레이부(740)와, 상기 영상 수신부(720), 상기 영상 처리부(730) 및 상기 디스플레이부(740)를 제어하도록 구성되는 제어부(710)를 포함할 수 있다.
참고로, 도 7에 도시된 블록도의 영상 처리 장치(700)의 각 엘리먼트들은 본원 발명의 용이한 이해를 위한 일 예에 불과할 뿐, 도 7에 도시된 엘리먼트 이외의 엘리먼트가 영상 처리 장치(700)에 추가적으로 포함될 수 있음은 명백할 것이다.
여기서, 상기 영상 처리부(730)는, 상기 CT 영상의 창 너비(WW) 및 창 수준(WL)을 조정하여 n-채널 데이터를 생성하도록 구성되는 n-채널데이터생성유닛(731) ― 여기서, n은 2 이상의 자연수임 ―; 상기 n-채널 데이터 각각에서 영상을 직각으로 재구성하여 수평면 영상, 시상면 영상 및 관상면 영상으로 재구성하도록 구성되는 영상재구성유닛(732); 상기 재구성된 영상들에 대해 합성곱 신경망(CNN) 기반으로 기계 학습시키도록 구성되는 기계학습유닛(733); 기계 학습된 직각으로 재구성된 영상 중 적어도 하나를 포함하는 영상으로부터 수평면 영상, 시상면 영상 및 관상면 영상으로부터 각각 마스크 영상을 생성하고, 생성된 마스크 영상들에 기초하여 관상동맥 혈관의 단면 영상을 획득하도록 구성되는 영상획득유닛(734); 및 획득된 상기 관상동맥 내벽의 단면 영상 및 획득된 상기 관상동맥 외벽의 단면 영상을 이용하여, 상기 관상동맥 내의 플라크를 분석하도록 구성되는 플라크분석유닛(735)을 포함할 수 있다.
영상 처리부(730)의 각 유닛들(731 내지 735)의 구체적인 기능들 및 동작들은 이미 상술하였으므로 본 단락에서는 이를 생략하기로 한다.
또한, 상기 제어부(710)는 영상 수신부(720), 영상 처리부(730) 및 디스플레이부(740)를 총괄적으로 제어하도록 구성될 수 있다. 예컨대, 상기 제어부(710)는 단일의 제어기(controller)로서 구현될 수 있거나, 또는 복수의 마이크로제어기(micro-controller)로서 구현될 수도 있다.
실험 결과 및 분석
참고로, 본 발명자들은 기계 학습된 모델의 성능을 10명의 관상동맥 데이터를 이용하여 실험하였고, 3-채널 데이터에 대한 효과를 확인하기 위해서 1 채널영상으로 획득한 결과와 3 채널영상으로 획득한 결과를 비교하였다. 또한, 모델 학습 단계와 마찬가지로 입력 데이터를 3-채널 데이터로 재구성하고, 이를 다시 수평면/시상면/관상면 영상으로 재구성하여 실험을 수행하였다. 모델 성능을 평가하기 위해서 참값과의 체적 일치도(DSC; Dice Similarity Coefficient)를 비교하였으며, 그 결과는 아래의 표와 같다.
Figure 112017018452844-pat00001
제안한 모델의 임상적 유효성을 검증하기 위해 간략 합성곱망(BCN) 모델에서 획득한 플라크의 부피와 임상적 참값인 IVUS에서의 플라크와 CT 영상에서의 플라크 영역을 서로 일치시키기 위해 두 개의 모달리티(modality) 영상에서 플라크의 위치를 지정하였다. 아래의 표는 간략 합성곱망(BCN)으로 측정한 플라크 부피와 임상적 참값 IVUS에서 측정한 플라크 부피를 비교한 결과를 나타낸다.
Figure 112017018452844-pat00002
본 발명과 관련하여 상기한 설명들 및 기술들을 통해 확인할 수 있는 바와 같이, 본 발명의 일 실시예에 따른 컴퓨터 단층촬영(CT) 영상에서 플라크를 분석하기 위한 방법 및 그 영상 처리 장치에 의하면, 딥러닝을 이용하여 컴퓨터 단층촬영(CT) 영상에서 관상동맥 내 플라크의 분석을 보다 용이하게 그리고 정확하게 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 컴퓨터 단층촬영(CT) 영상에서 플라크를 분석하기 위한 방법 및 그 영상 처리 장치에 의하면, 관상동맥의 플라크를 분석함에 있어 실제 임상환경에서 활용될 수 있도록 정확한 결과를 도출하는 것이 가능하다.
상술한 본 발명의 일 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 판독 가능한 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
50: 이중 간략 합성곱망(BCN) 60: 마스크 영상
61: 제1 채널의 마스크 영상 62: 제2 채널의 마스크 영상
63: 제3 채널의 마스크 영상 70: 혈관 단면 영상
700: 영상 처리 장치 710: 제어부
720: 영상 수신부 730: 영상 처리부
731: n-채널데이터 생성유닛 732: 영상재구성유닛
733: 기계학습유닛 734: 영상획득유닛
735: 플라크분석유닛 740: 디스플레이부

Claims (10)

  1. 영상 처리 장치에 의해 수행되는 의료영상에서 플라크(plaque)를 분석하기 위한 방법으로서,
    컴퓨터 단층촬영(CT) 영상을 포함하는 의료영상을 수신하는 단계;
    상기 CT 영상의 창 너비(WW; window width) 및 창 수준(WL; window level)을 조정하여 n-채널 데이터를 생성하는 단계 ― 여기서, n은 2 이상의 자연수임 ― ;
    상기 n-채널 데이터 각각에서 영상을 직각(orthogonal)으로 재구성하여 수평면(axial) 영상, 시상면(sagittal) 영상 및 관상면(coronal) 영상으로 재구성하는 단계;
    상기 재구성된 영상들에 대해 합성곱 신경망(CNN; convolutional neural network) 기반으로 기계 학습시키는 단계; 및
    기계 학습된 직각으로 재구성된 영상 중 적어도 하나를 포함하는 영상으로부터 마스크 영상을 생성하고, 생성된 마스크 영상들에 기초하여 관상동맥 혈관의 단면 영상을 획득하는 단계
    를 포함하고,
    상기 단계들이 관상동맥 내벽과 관상동맥 외벽에 대해 각각 개별적으로 또는 통합적으로 수행되는 것을 특징으로 하는,
    의료영상에서 플라크를 분석하기 위한 방법.
  2. 제 1 항에 있어서,
    획득된 상기 관상동맥 내벽의 단면 영상 및 획득된 상기 관상동맥 외벽의 단면 영상을 이용하여, 상기 관상동맥 내의 플라크를 분석하는 단계를 더 포함하는,
    의료영상에서 플라크를 분석하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 CT 영상의 창 너비(WW) 및 창 수준(WL)을 조정하여 n-채널 데이터를 생성하는 단계는,
    관상동맥 내강(lumen) 관찰을 위한 WW1 및 WL1, 칼슘 분석을 위한 WW2 및 WL2 및 지질 플라크를 위한 WW3 및 WL3를 설정함으로써 상기 n-채널 데이터를 생성하는 단계를 포함하고, 여기서 n은 3인,
    의료영상에서 플라크를 분석하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 합성곱 신경망(CNN)은 2개의 간략 합성곱망(BCN; brief convolutional network)을 연속적으로 적층하여 구성되는,
    의료영상에서 플라크를 분석하기 위한 방법.
  5. 제 4 항에 있어서,
    상기 2개의 간략 합성곱망(BCN) 중 선행하는 제1 BCN에서 자기부호화기(auto-encoder)를 이용하여 사전 학습이 수행되는,
    의료영상에서 플라크를 분석하기 위한 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 따른 방법을 수행하도록 구성되는 영상 처리 장치로서,
    컴퓨터 단층촬영(CT) 영상을 수신하도록 구성되는 영상 수신부와,
    상기 영상 수신부에서 수신된 심장 영상을 처리하도록 구성되는 영상 처리부와,
    상기 영상 처리부에서 출력된 관상동맥 내벽 영상, 외벽 영상 및 플라크 영상 중 적어도 하나를 디스플레이하도록 구성되는 디스플레이부와,
    상기 영상 수신부, 상기 영상 처리부 및 상기 디스플레이부를 제어하도록 구성되는 제어부
    를 포함하고,
    상기 영상 처리부는,
    상기 CT 영상의 창 너비(WW) 및 창 수준(WL)을 조정하여 n-채널 데이터를 생성하도록 구성되는 n-채널데이터생성유닛 ― 여기서, n은 2 이상의 자연수임 ―;
    상기 n-채널 데이터 각각에서 영상을 직각으로 재구성하여 수평면 영상, 시상면 영상 및 관상면 영상으로 재구성하도록 구성되는 영상재구성유닛;
    상기 재구성된 영상들에 대해 합성곱 신경망(CNN) 기반으로 기계 학습시키도록 구성되는 기계학습유닛; 및
    기계 학습된 직각으로 재구성된 영상 중 적어도 하나를 포함하는 영상으로부터 각각 마스크 영상을 생성하고, 생성된 마스크 영상들에 기초하여 관상동맥 혈관의 단면 영상을 획득하도록 구성되는 영상획득유닛
    을 포함하는,
    영상 처리 장치.
  7. 제 6 항에 있어서,
    상기 영상 처리부는, 획득된 상기 관상동맥 내벽의 단면 영상 및 획득된 상기 관상동맥 외벽의 단면 영상을 이용하여, 상기 관상동맥 내의 플라크를 분석하도록 구성되는 플라크분석유닛을 더 포함하는,
    영상 처리 장치.
  8. 제 6 항에 있어서,
    상기 n-채널데이터생성유닛은, 관상동맥 내강(lumen) 관찰을 위한 WW1 및 WL1, 칼슘 분석을 위한 WW2 및 WL2 및 지질 플라크를 위한 WW3 및 WL3를 설정함으로써 상기 n-채널 데이터를 생성하도록 구성되고, 여기서 n은 3인,
    영상 처리 장치.
  9. 제 6 항에 있어서,
    상기 합성곱 신경망(CNN)은 2개의 간략 합성곱망(BCN; brief convolutional network)을 연속적으로 적층하여 구성되는,
    영상 처리 장치.
  10. 제 9 항에 있어서,
    상기 2개의 간략 합성곱망(BCN) 중 선행하는 제1 BCN에서 자기부호화기를 이용하여 사전 학습이 수행되는,
    영상 처리 장치.
KR1020170023605A 2017-02-22 2017-02-22 컴퓨터 단층촬영 영상에서 플라크를 분석하기 위한 방법 및 장치 KR101902883B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170023605A KR101902883B1 (ko) 2017-02-22 2017-02-22 컴퓨터 단층촬영 영상에서 플라크를 분석하기 위한 방법 및 장치
PCT/KR2017/005764 WO2018155765A1 (ko) 2017-02-22 2017-06-02 컴퓨터 단층촬영 영상에서 플라크를 분석하기 위한 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170023605A KR101902883B1 (ko) 2017-02-22 2017-02-22 컴퓨터 단층촬영 영상에서 플라크를 분석하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180097035A KR20180097035A (ko) 2018-08-30
KR101902883B1 true KR101902883B1 (ko) 2018-10-01

Family

ID=63254360

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170023605A KR101902883B1 (ko) 2017-02-22 2017-02-22 컴퓨터 단층촬영 영상에서 플라크를 분석하기 위한 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101902883B1 (ko)
WO (1) WO2018155765A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102250164B1 (ko) * 2018-09-05 2021-05-10 에이아이메딕(주) 기계 학습 및 영상 처리 알고리즘을 이용하여 의료 영상의 혈관들을 자동으로 영역화하는 방법 및 시스템
CN109447969B (zh) * 2018-10-29 2021-08-10 北京青燕祥云科技有限公司 肝占位性病变识别方法、装置和实现装置
KR102219378B1 (ko) * 2018-10-31 2021-02-24 주식회사 휴이노 인공 신경망을 이용하여 부정맥을 인식하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN109813276B (zh) * 2018-12-19 2021-01-26 五邑大学 一种基站天线下倾角测量方法及其系统
US10387752B1 (en) * 2019-01-22 2019-08-20 StradVision, Inc. Learning method and learning device for object detector with hardware optimization based on CNN for detection at distance or military purpose using image concatenation, and testing method and testing device using the same
CN109859201B (zh) * 2019-02-15 2021-04-16 数坤（北京）网络科技有限公司 一种非钙化斑块检出方法及其设备
KR102206621B1 (ko) * 2019-03-11 2021-01-22 가천대학교 산학협력단 딥러닝 알고리즘을 이용한 근감소증 분석 프로그램 및 애플리케이션
CN111583260A (zh) * 2020-06-10 2020-08-25 中国医学科学院阜外医院 斑块易损性预测方法、装置、设备和存储介质
CN112700445B (zh) * 2021-03-23 2021-06-29 上海市东方医院（同济大学附属东方医院） 图像处理方法、装置及系统
CN113205509B (zh) * 2021-05-24 2021-11-09 山东省人工智能研究院 一种基于位置卷积注意力网络的血管斑块ct影像分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012071123A (ja) 2010-09-27 2012-04-12 General Electric Co <Ge> スペクトルｃｔ解析を用いた血管狭窄の視覚化及び定量化のシステム並びに方法
JP2013537445A (ja) 2010-07-26 2013-10-03 ケイジャヤ、エルエルシー 内科医が直接用いるのに適応したビジュアライゼーション
US20150112182A1 (en) 2013-10-17 2015-04-23 Siemens Aktiengesellschaft Method and System for Machine Learning Based Assessment of Fractional Flow Reserve
KR101529211B1 (ko) 2014-02-11 2015-06-16 연세대학교 산학협력단 플라크 변화 분석 장치 및 방법
US20170046616A1 (en) 2015-08-15 2017-02-16 Salesforce.Com, Inc. Three-dimensional (3d) convolution with 3d batch normalization

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9155512B2 (en) 2013-12-18 2015-10-13 Heartflow, Inc. Systems and methods for predicting coronary plaque vulnerability from patient-specific anatomic image data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013537445A (ja) 2010-07-26 2013-10-03 ケイジャヤ、エルエルシー 内科医が直接用いるのに適応したビジュアライゼーション
JP2012071123A (ja) 2010-09-27 2012-04-12 General Electric Co <Ge> スペクトルｃｔ解析を用いた血管狭窄の視覚化及び定量化のシステム並びに方法
US20150112182A1 (en) 2013-10-17 2015-04-23 Siemens Aktiengesellschaft Method and System for Machine Learning Based Assessment of Fractional Flow Reserve
KR101529211B1 (ko) 2014-02-11 2015-06-16 연세대학교 산학협력단 플라크 변화 분석 장치 및 방법
US20170046616A1 (en) 2015-08-15 2017-02-16 Salesforce.Com, Inc. Three-dimensional (3d) convolution with 3d batch normalization

Also Published As

Publication number Publication date
KR20180097035A (ko) 2018-08-30
WO2018155765A1 (ko) 2018-08-30

Similar Documents

Publication Publication Date Title
KR101902883B1 (ko) 컴퓨터 단층촬영 영상에서 플라크를 분석하기 위한 방법 및 장치
US11501485B2 (en) System and method for image-based object modeling using multiple image acquisitions or reconstructions
US10789706B2 (en) Systems and methods for medical acquisition processing and machine learning for anatomical assessment
US10478130B2 (en) Plaque vulnerability assessment in medical imaging
EP2875781B1 (en) Apparatus and method for processing a medical image of a body lumen
US20210015438A1 (en) Deep learning for perfusion in medical imaging
Di Cesare et al. Assessment of dose exposure and image quality in coronary angiography performed by 640-slice CT: a comparison between adaptive iterative and filtered back-projection algorithm by propensity analysis
Jafari et al. Automated diagnosis of cardiovascular diseases from cardiac magnetic resonance imaging using deep learning models: A review
Santhiyakumari et al. Medical decision-making system of ultrasound carotid artery intima–media thickness using neural networks
Zhang et al. Multiple adversarial learning based angiography reconstruction for ultra-low-dose contrast medium CT
WO2020165120A1 (en) Prediction of coronary microvascular dysfunction from coronary computed tomography
CN114864095A (zh) 一种结合多运动强度下的狭窄冠脉血运变化的分析方法
Lalitha et al. Medical imaging modalities and different image processing techniques: State of the art review
da Silva Corado Echocardiography Automatic Image Quality Enhancement Using Generative Adversarial Networks
Gupta et al. A survey of image quality assessment techniques for medical imaging
Gaborov et al. An overview of 4D medical image compression
RU2644928C1 (ru) Способ определения кадров, соответствующих границам фаз кровообращения, при проведении ангиографического исследования (варианты)
Krishnan et al. Inter-vendor harmonization of CT reconstruction kernels using unpaired image translation
Krishnan et al. Inter-vendor harmonization of Computed Tomography (CT) reconstruction kernels using unpaired image translation
Marques Fundamentals of Medical Image Analysis
CN115018947A (zh) 图像重建方法和计算机设备
Strzelecki Medical imaging
Fahad et al. Radiology Insights: Exploring Imaging Techniques for Accurate Diagnosis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant