KR20180008130A - 회선 신경망을 이용하여 관상동맥 영상에서의 움직임을 보정하기 위한 방법 - Google Patents
회선 신경망을 이용하여 관상동맥 영상에서의 움직임을 보정하기 위한 방법 Download PDFInfo
- Publication number
- KR20180008130A KR20180008130A KR1020160090020A KR20160090020A KR20180008130A KR 20180008130 A KR20180008130 A KR 20180008130A KR 1020160090020 A KR1020160090020 A KR 1020160090020A KR 20160090020 A KR20160090020 A KR 20160090020A KR 20180008130 A KR20180008130 A KR 20180008130A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- coronary artery
- motion
- neural network
- input image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013527 convolutional neural network Methods 0.000 title description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 210000004351 coronary vessel Anatomy 0.000 claims description 59
- 238000012937 correction Methods 0.000 claims description 12
- 210000004204 blood vessel Anatomy 0.000 claims description 10
- 238000002474 experimental method Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 208000029078 coronary artery disease Diseases 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 208000037260 Atherosclerotic Plaque Diseases 0.000 description 2
- 201000000057 Coronary Stenosis Diseases 0.000 description 2
- 206010011089 Coronary artery stenosis Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002308 calcification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000002586 coronary angiography Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 206010003210 Arteriosclerosis Diseases 0.000 description 1
- 201000001320 Atherosclerosis Diseases 0.000 description 1
- 241001325280 Tricardia watsonii Species 0.000 description 1
- 206010057469 Vascular stenosis Diseases 0.000 description 1
- 208000011775 arteriosclerosis disease Diseases 0.000 description 1
- 230000003143 atherosclerotic effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000010968 computed tomography angiography Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002107 myocardial effect Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/58—Testing, adjusting or calibrating thereof
- A61B6/582—Calibration
- A61B6/583—Calibration using calibration phantoms
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pulmonology (AREA)
- Theoretical Computer Science (AREA)
- Cardiology (AREA)
- Vascular Medicine (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
회선 신경망을 이용하여 관상동맥 영상에서의 움직임을 보정하기 위한 방법이 개시된다. 본원 발명의 일 실시예에 따른 움직임 보상 방법은, 상기 관상동맥 영상의 타겟 영상을 획득하는 단계; 상기 관상동맥 영상의 입력 영상을 획득하는 단계; 및 회선 신경망 기법을 이용하여 상기 입력 영상이 상기 타겟 영상의 스타일을 학습하고 상기 학습된 스타일을 재현하게 함으로써 상기 입력 영상의 움직임을 보정하는 단계를 포함한다.
Description
본원 발명은 관상동맥 영상에서의 움직임을 보정하기 위한 방법에 관한 발명이다. 보다 구체적으로, 본원 발명은 회선 신경망(CNN; convolutional neural network) 기법을 이용하여 관상동맥 단층 혈관조영술 영상에서 움직임을 보정하기 위한 방법에 관한 발명이다.
관상동맥은 심장의 심근 조직으로 혈액을 공급하는 주요 혈관으로서, 동맥경화 등에 의해 생성되는 혈관 협착으로 인해 혈액 공급이 제한되고, 궁극적으로 심근경색과 같은 심각한 증상을 초래할 수 있다.
관상동맥질환의 검사 방법 중 하나인 침습적(invasive) 관상동맥조영술은 관상동맥의 해부학적 구조를 직접 확인할 수 있다는 장점을 갖지만, 검사 도중 합병증이나 후유증을 가져올 확률이 상대적으로 높아 최근에 그 이용 빈도가 점점 낮아지고 있다.
따라서, 최근에는 비침습적(non-invasive) 검사 방법인 관상동맥 컴퓨터 단층 혈관조영술(CCTA; Coronary Computed Tomography Angiography)이 널리 이용되고 있다. CCTA는 합병증의 위험과 관련 비용을 감소시키는 장점을 갖는 동시에, 그 진단의 정밀도가 이미 침습적 관상동맥조영술과 대등할 정도로 발전하고 있다.
일반적으로 CCTA로 획득한 CT 영상에서 관상동맥 질환의 중증도를 평가함에 있어 관상동맥의 협착 정도, 죽상경화반의 양 등을 정량적으로 측정해야 할 필요가 있는데, 관상동맥의 협착 정도, 죽상경화반의 양 등의 값은 영상의 화질에 따라 오차가 발생할 수 있게 된다.
화질이 우수한 영상을 획득하기 위해서 심전도(ECG) 동조화 등을 통해 심장의 움직임이 상대적으로 적은 시각에 관상동맥 영상을 획득하는 방식을 취하고 있으나, 심박수가 높은 경우 또는 심박수가 일정하지 않은 경우에는 불가피하게 심장의 움직임으로 인한 영상 왜곡(motion artifact)이 발생하게 된다.
이러한 움직임 왜곡을 보정하기 위한 다양한 시도들이 수행되어 왔으나, 아직까지 관상동맥 영상의 움직임을 완전하게 보정하는 기법은 개발되지 않는 실정이다.
그러므로, 관상동맥 영상의 움직임을 효율적으로 보정함으로써 관상동맥의 3차원 모델의 정확도를 개선하는 요구가 증가하고 있다.
그러므로, 본원 발명은 상술한 종래의 문제점들을 해결하고자 안출된 것으로서, 본원 발명은 관상동맥 영상의 움직임을 보다 효율적이고 그리고 신뢰적으로 보정할 수 있는 방법을 제공하는 것을 목적으로 한다.
또한, 본원 발명은 관상동맥의 3차원 모델의 정확도를 개선하는 것을 목적으로 한다.
이러한 과제를 해결하기 위한 본원 발명의 일 실시예에 따른 회선 신경망을 이용하여 관상동맥 영상에서의 움직임을 보정하기 위한 방법은, 상기 관상동맥 영상의 타겟 영상을 획득하는 단계; 상기 관상동맥 영상의 입력 영상을 획득하는 단계; 및 회선 신경망 기법을 이용하여 상기 입력 영상이 상기 타겟 영상의 스타일을 학습하고 상기 학습된 스타일을 재현하게 함으로써 상기 입력 영상의 움직임을 보정하는 단계를 포함할 수 있다.
여기서, 상기 입력 영상의 움직임을 보정하는 단계는, 상기 입력 영상 및 상기 타겟 영상 각각의 스타일 표현의 차이를 목적 함수로서 설정하는 단계; 및 상기 입력 영상의 픽셀들을 입력 변수로 하여 상기 입력 영상에 대해 확률적 기울기 하강(SGD; stochastic gradient descent) 과정을 수행하는 단계를 포함할 수 있다.
또한, 상기 관상동맥 영상은, 심장의 움직임을 모사하는 팬텀(phantom)과 혈관을 모사하는 혈관모형을 이용한 팬텀모형실험에 후향적 동조화를 적용함으로써 획득되는 것을 특징으로 한다.
또한, 후향적 동조화에 의해 획득된 관상동맥 영상을 재구성하는 단계를 더 포함할 수 있고, 여기서 상기 관상동맥 영상의 타겟 영상을 획득하는 단계는, 상기 재구성된 관상동맥 영상 중 최소의 움직임을 갖는 영상을 획득하는 단계를 포함할 수 있다.
또한, 상기 후향적 동조화에 의해 획득된 관상동맥 영상을 재구성하는 단계는, 후향적 동조화에 의해 획득된 관상동맥 영상을 0 내지 90%까지 10%의 간격으로 재구성하는 단계를 더 포함할 수 있다.
본원 발명의 일 실시예에 따르면, 관상동맥 영상의 움직임을 보다 효율적이고 그리고 신뢰적으로 보상하는 것이 가능하다.
또한, 본원 발명의 일 실시예에 따르면, 관상동맥의 3차원 모델의 정확도가 개선될 수 있다.
또한, 본원 발명의 일 실시예에 따라 관상동맥 영상의 움직임 보상을 보다 완전하게 수행함으로써, 관상동맥의 내강(lumen), 동맥경화반(plaque), 석회화(calcification)를 보다 용이하게 구분하는 것이 가능하다.
도 1은 일반적인 회선 신경망(CNN) 기법을 설명하기 위한 예시도이다.
도 2는 본원 발명의 일 실시예에 따른 관상동맥 영상에서의 움직임 보정 절차를 설명하기 위한 흐름도이다.
도 3은 본원 발명의 일 실시예에 따른 움직임 보상 단계의 상세 흐름도이다.
도 4a는 본원 발명의 일 실시예에 따른 모션팬텀 실험장치의 예시도이고, 도 4b는 도 4a의 모션팬텀 실험장치로부터 획득되는 단면 영상의 예시도이다.
도 5는 본원 발명의 일 실시예에 따른 타겟 영상과 입력 영상의 획득을 설명하기 위한 개념도이다.
도 6은 본원 발명의 일 실시예에 따른 움직임 보정 방법을 적용한 결과를 나타내는 예시도이다.
도 7은 본원 발명에 따른 스타일 재구성 알고리즘을 반복하는 경우의 반복 회수에 따른 효과를 설명하기 위한 예시도이다.
도 2는 본원 발명의 일 실시예에 따른 관상동맥 영상에서의 움직임 보정 절차를 설명하기 위한 흐름도이다.
도 3은 본원 발명의 일 실시예에 따른 움직임 보상 단계의 상세 흐름도이다.
도 4a는 본원 발명의 일 실시예에 따른 모션팬텀 실험장치의 예시도이고, 도 4b는 도 4a의 모션팬텀 실험장치로부터 획득되는 단면 영상의 예시도이다.
도 5는 본원 발명의 일 실시예에 따른 타겟 영상과 입력 영상의 획득을 설명하기 위한 개념도이다.
도 6은 본원 발명의 일 실시예에 따른 움직임 보정 방법을 적용한 결과를 나타내는 예시도이다.
도 7은 본원 발명에 따른 스타일 재구성 알고리즘을 반복하는 경우의 반복 회수에 따른 효과를 설명하기 위한 예시도이다.
이하 본 발명의 바람직한 실시예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다. 이하의 설명에서 구체적인 특정 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해 제공된 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 본 발명이 속하는 기술 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 본 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
도 1은 일반적인 회선 신경망(CNN) 기법을 설명하기 위한 예시도이다.
용어 '회선 신경망(CNN; convolutional neural network)'은 이미지를 이해하고 이로부터 높은 수준의 추상화된 정보를 추출하거나 또는 새로운 질감(texture)을 갖는 그림을 그리는 등 다양한 영상 처리, 컴퓨터 비전 분야에서 활발하게 연구되고 있는 인공신경망(ANN; artificial neural network)의 한 종류이다.
또한, 이러한 회선 신경망(CNN) 기법은 사물이나 데이터를 분류하거나 군집하는데 사용되는 기술을 의미하는 딥 러닝(deep learning) 기술의 한 종류로서, 사람의 뇌가 사물을 구분하는 것처럼 컴퓨터가 사물을 분류하도록 훈련시키는 기계학습(machine learining)의 일종이다.
회선 신경망(CNN)은 비전(vision)에서 우수한 성능을 갖는데, 이는 회선 신경망(CNN)에서 각각의 레이어(layer)가 '피처(feature)'의 의미를 갖는 것으로 해석되기 때문이다. 각각의 레이어가 피처를 생성하고, 이러한 피처들이 계층적으로 쌓이면서 더 높은 레이어로 갈수록 더 우수한 피처를 생성하게 된다.
회선 신경망(CNN)의 경우, 이러한 피처를 하드-코딩(hard-coding)하여 추출하는 대신에, 데이터에서부터 가장 우수한 최종 피처를 생성하도록 학습시키기 때문에, 아주 우수한 피처를 이용하여 퍼셉트론(perceptron)과 같은 간단한 분류기를 이용해 높은 성능을 얻을 수 있다. 그러므로, 각각의 계층에서의 출력은 보통 피쳐 맵(feature map)으로서 표현될 수 있다.
최근 이러한 회선 신경망(CNN) 기법에 기반하여 예술적 스타일을 학습하는 신경망 알고리즘에 대한 논문이 발표되었다(Gatys, Leon A., Alexander S. Ecker, and Matthias Bethge, "A neural algorithm of artistic style," arXiv preprint arXiv:1508.06576(2015)).
참고로, 이 논문에서는 CNN 모델로서 VGG 19 네트워크를 사용하고, 이는 VGG(Visual Geometry Group)에서 제작한 네트워크로서 배치 정규화(batch normalization)가 적용되기 이전의 초기 네트워크와 비교하여 우수한 성능을 나타낸다. 또한, VGG 19 네트워크는 총 16개의 컨벌루션 레이어(convolution layer)와, 5개의 풀링 레이어(pooling layer)와, 그리고 3개의 완전 상호접속 레이어(fully interconnected layer)로 구성된다.
도 1은 이러한 회선 신경망(CNN) 기법의 기본적 알고리즘을 개략적으로 도시한다. 도 1에 도시된 바와 같이, 입력 영상(10)과 타겟 영상(20)을 선택하고, 이 두 영상(10, 20)에 회선 신경망(CNN, 30) 기법을 적용하면 출력 영상(40)이 획득된다.
도 1에 도시된 바와 같이, 출력 영상(40)은 입력 영상(10)의 내용(content)은 그대로 보존하면서 그 세부적인 스타일(style)은 타겟 영상(20)을 재현하게 된다.
여기서, 본원 발명의 발명자들은 도 1에서 설명된 회선 신경망(CNN) 기법을 관상동맥 컴퓨터 단층 혈관조영술(CCTA)에 적용하여 관상동맥 영상의 움직임 보상을 개선하는 방법을 제안하고자 한다. 참고로, 상기 회선 신경망(CNN) 기법은 입력 영상의 스타일을 타겟 영상의 스타일로 재구성하는 기법이므로, 이하에서 '스타일 재구성 알고리즘'으로 지칭하기로 한다.
도 2는 본원 발명의 일 실시예에 따른 관상동맥 영상에서의 움직임 보정 절차를 설명하기 위한 흐름도이다.
보다 구체적으로, 본원 발명의 일 실시예에 따른 관상동맥 영상에서의 움직임 보정 절차는, 심장의 움직임을 모사하는 팬텀과 혈관을 모사하는 혈관모형을 이용한 팬텀모형실험에 후향적 동조화를 적용함으로써 관상동맥 영상을 획득하는 단계(S210); 상기 후향적 동조화에 의해 획득된 관상동맥 영상을 0 내지 90%까지 10%의 간격으로 재구성하는 단계(S220); 관상동맥 영상의 타겟 영상을 획득하는 단계(S230); 관상동맥 영상의 입력 영상을 획득하는 단계(S240); 및 회선 신경망(CNN) 기법을 이용하여 상기 입력 영상이 상기 타겟 영상의 스타일을 학습하고 상기 학습된 스타일을 재현하게 함으로써 상기 입력 영상의 움직임을 보정하는 단계(S250)를 포함할 수 있다.
S210 단계는, 심장의 움직임을 모사하는 팬텀(phantom), 및 혈관을 모사하는 혈관모형을 이용한 팬텀모형실험에 후향적 동조화(retrospective gating)를 적용함으로써 관상동맥 영상을 획득하는 단계에 해당한다.
이와 관련하여, 도 4a에 도시된 바와 같이, 본원 발명자는 심장 박동과 가장 유사한 환경을 구축하기 위해 심장의 움직임을 모사하는 팬텀(51)을 제작하였고, 그 내부에 혈관을 모사한 혈관모형(52)을 거치함으로써 모션팬텀 실험장치를 마련하였다.
상기 혈관모형(52)의 거치 후에, 60, 70 및 80bmp 총 3가지의 심박수로 팬텀(51)이 움직이는 환경에서 실험을 진행하였고, 후향적 동조화를 적용함으로써 100kVp, 400mA의 프로토콜로 관상동맥 영상이 획득된다. 여기서, '후향적 동조화'는 심전도를 기록하며 심장을 주기에 상관없이 연속적으로 촬영 후 기록되어 있는 심전도를 이용하여 일정 시점의 심장 주기에서 영상을 재구성하는 것을 의미하며, 이는 전향적 동조화(prospective gating)와 구별된다.
참고로, 도 4b는 도 4a의 모션팬텀 실험장치로부터 획득되는 단면 영상을 예시적으로 도시한다.
본 명세서에서는 모션팬텀실험에 의해서 획득된 영상을 처리하는 것을 예시적으로 기술하지만, 본원 발명에 따른 움직임 보정 기법이 실제 촬영된 심장의 CCTA 이미지에도 확장 적용될 수 있음은 명백할 것이다.
다음으로, S220 단계는, S210 단계에서 후향적 동조화에 의해 획득된 관상동맥 영상을 재구성하는 단계에 해당한다. 예컨대, S220 단계는 획득된 관상동맥 영상을 0 내지 90%에서 10% 간격으로 재구성하는 단계를 포함할 수 있다. 예컨대, 도 5의 상단부는 심장 박동의 한 주기 동안의 관상동맥 영상을 10 단계(0~90%, 10% 간격)로 재구성하는 것을 예시적으로 도시한다.
여기서, 관상동맥 영상을 재구성하는 단계(phase)의 개수, 재구성의 범위, 및 재구성의 간격 등에 관한 값들(예컨대, 10%, 0 내지 90%, 등)은 본원 발명의 용이한 이해를 위한 예시적인 값들에 불과할 뿐이고, 따라서 본원 발명은 이러한 값들에 제한되지 않고 다른 임의의 값들이 사용될 수 있음은 명백할 것이다.
다음으로, S230 단계는, S220 단계에서 재구성된 관상동맥 영상들 중 타겟 영상(target image)을 획득하는 단계에 해당한다. 타겟 영상은 움직임이 적은 영상이 바람직하며, 따라서 상기 재구성된 관상동맥 영상 중 최소의 움직임을 갖는 영상이 타겟 영상으로서 선택될 수 있다. 또한, 본원 발명의 다른 실시예에 따르면, 움직임이 상대적으로 적은 두 개 이상의 영상들을 타겟 영상으로서 선택하는 것도 물론 가능하다.
도 5에 도시된 예에서, 심장(즉, 팬텀)의 움직임이 적은 시간(세로 음영 처리 부분)에 획득된 영상을 타겟 영상(120)으로 획득하고, 그 이외의 시간에 획득된 영상(즉, 움직임이 큰 영상)을 입력 영상(110)으로서 획득한다.
이에 더하여, 본원 발명의 다른 실시예에 따르면, CCTV 영상에서 혈관 모형의 중심점을 기준으로 단면을 잘라 움직임이 상대적으로 적은 패치(patch)와 움직임이 상대적으로 큰 패치를 각각 생성함으로써, 관상동맥 패치 데이터베이스(DB)를 구축하는 것도 가능하다.
다음으로, S240 단계는 관상동맥 영상의 입력 영상을 획득하는 단계에 해당한다. S230 단계에서 재구성된 관상동맥 영상들 중 타겟 영상이 획득되는데, 이 경우 타겟 영상을 제외한 나머지 관상동맥 영상들 중 소정의 개수의 영상들이 입력 영상으로서 획득될 수 있다. 본원 발명의 일 실시예에 따르면, 단지 하나의 영상만이 입력 영상으로서 획득될 수도 있고, 본원 발명의 다른 실시예에 따르면 두 개 이상의 영상이 입력 영상으로서 획득될 수도 있으며, 본원 발명의 추가의 실시예에 따르면 타겟 영상을 제외한 나머지 영상들 모두가이 입력 영상으로서 획득될 수 있다. 참고로, 도 5의 예에서는 두 개의 입력 영상(110)이 획득된 것을 예시적으로 도시한다.
다음으로, S250 단계는, 회선 신경망(CNN) 기법을 이용하여 상기 입력 영상이 본래의 내용은 유지하면서 타겟 영상의 스타일을 학습하고 상기 학습된 스타일을 재현하게 함으로써 상기 입력 영상의 움직임을 보정하는 단계에 해당한다.
일반적으로, 사전 학습된 회선 신경망(CNN) 기법을 기반으로 하여, 커널 별 컨벌루션 결과의 상관관계를 정량화한 영상의 질감적 특성을 스타일 표현이라 지칭한다. 이와 관련하여, 일반적인 회선 신경망(CNN) 기법에서는 커널의 계수들이 입력 변수가 되는 것과는 대조적으로, 본원 발명의 일 실시예에 따른 회선 신경망(CNN) 기반의 입력 영상 움직임 보정 단계(S250)는, 도 3의 상세 흐름도에서도 도시된 바와 같이, 입력 영상 및 타겟 영상 각각의 스타일 표현의 차이를 목적 함수로서 설정하는 단계(S251); 및 입력 영상의 픽셀들을 입력 변수로 하여 입력 영상에 대해 확률적 기울기 하강(SGD; stochastic gradient descent) 과정을 수행하는 단계(S252)를 포함할 수 있다.
여기서, 확률적 기울기 하강(SGD; stochastic gradient descent) 과정은 현재의 위치에서 기울기(또는 근사 기울기)에 비례하여 단계적으로 함수의 최소 또는 최대에 근접하는 점근적인 언덕 오르기(hill climbing) 알고리즘의 일종으로서, 신경망의 손실함수(loss function)를 최적화하기 위해 주로 사용될 수 있다. 확률적 기울기 하강(SGD) 알고리즘은 당업계에 잘 알려진 알고리즘과 실질상 동일하므로, 여기서는 확률적 기울기 하강(SGD) 알고리즘에 대한 구체적인 설명은 생략하기로 한다.
도 6은 본원 발명의 일 실시예에 따른 움직임 보정 방법을 적용한 결과를 나타내는 예시도이다.
도 6에 도시된 바와 같이, 도 2의 S230 단계에서 획득된 타겟 영상(120)과, 도 2의 S240 단계에서 획득된 입력 영상(110)에 회선 신경망(CNN, 130) 기법을 적용함으로써 출력 영상(140)이 출력될 수 있다. 도시된 바와 같이, 출력 영상(140)은 입력 영상(110)의 내용은 그대로 유지하면서 세부적인 스타일은 타겟 영상(120)을 재현하고 있으며, 따라서 입력 영상(110)의 움직임이 효과적으로 보상됨을 확인할 수 있다.
다른 말로, 움직임 왜곡이 발생한 입력 영상(110)의 특성을 움직임 왜곡이 없는 타겟 영상(120)처럼 변형하여 입력 영상(110)의 움직임 왜곡이 제거된 출력 영상(140)이 출력된다.
도 7은 본원 발명에 따른 스타일 재구성 알고리즘을 반복하는 경우의 반복 회수에 따른 효과를 설명하기 위한 예시도이다.
상술한 과정을 거쳐 확보한 데이터에 스타일 재구성 알고리즘을 200회까지 반복하여 적용한 결과, 도 7에 도시된 바와 같이 반복 회수가 증가할수록 영상 왜곡이 더욱 감소하고 그리고 혈관 모형의 경계가 더욱 뚜렷하게 됨을 확인할 수 있다.
또한, 본원 발명의 발명자들은, 본원 발명의 성능을 정성적으로 평가하기 위해서 영상 왜곡에 대한 5-포인트 리커트 스케일(5-point Likert scale)을 아래 표 1과 같이 정의하였다.
| 5-포인트 리커트 스케일 |
| 1 = 완전하게 판독불가 |
| 2 = 상당한 움직임 |
| 3 = 분명한 움직임 |
| 4 = 작은 움직임 |
| 5 = 움직임 없음 |
참고로, 스케일이 내림차순으로 갈수록 영상 왜곡의 정도가 심하고, 따라서 정확한 진단이 어려워짐을 의미한다.
또한, 아래의 표 2는 본원 발명에 따른 움직임 보정 방법을 적용하기 이전과 이후의 각각의 영상에서 리커트 스케일을 기초로 하여 점수를 매긴 결과를 나타낸다.
| 심박수 | 본원 발명 적용 전 | 본원 발명 적용 후 |
| 60bpm | 2.5 | 5 |
| 70bpm | 2 | 5 |
| 80bpm | 2 | 4.5 |
위 표 2에 제시된 바와 같이, 본원 발명에 따른 방법을 적용한 이후에 영상의 영상 왜곡 정도가 약 2.7점 상승한 것을 확인할 수 있다.
이와 같이, 본원 발명은 딥 러닝 기법의 하나인 회선 신경망(CNN) 기법을 관상동맥 컴퓨터 단층 촬영조영술 영상에 적용함으로써, 관상동맥의 내강, 동맥경화반, 석회화를 보다 용이하게 구별할 수 있게 하여, 추후 영상으로부터 추출된 관상동맥의 3차원 모델의 정확도를 개선할 수 있게 된다.
또한, 본원 발명은 보다 정확한 동맥경화반 정량화를 위해 활용될 수 있으며, 다른 정량적 영상 분석의 기초가 될 수 있다. 그러므로, 본원 발명은 관상동맥 질환의 중증도 측정에도 활용가능하다.
상술한 본 발명의 일 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 판독 가능한 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
10, 110: 입력 영상
20, 120: 타겟 영상
30: 회선 신경망 40: 출력 영상
51: 팬텀 52: 혈관모형
30: 회선 신경망 40: 출력 영상
51: 팬텀 52: 혈관모형
Claims (6)
- 회선 신경망을 이용하여 관상동맥 영상에서의 움직임을 보정하기 위한 방법으로서,
상기 관상동맥 영상의 타겟 영상을 획득하는 단계;
상기 관상동맥 영상의 입력 영상을 획득하는 단계; 및
회선 신경망 기법을 이용하여 상기 입력 영상이 상기 타겟 영상의 스타일을 학습하고 상기 학습된 스타일을 재현하게 함으로써 상기 입력 영상의 움직임을 보정하는 단계
를 포함하는,
회선 신경망을 이용하여 관상동맥 영상에서의 움직임을 보정하기 위한 방법. - 제 1 항에 있어서,
상기 입력 영상의 움직임을 보정하는 단계는,
상기 입력 영상 및 상기 타겟 영상 각각의 스타일 표현의 차이를 목적 함수로서 설정하는 단계; 및
상기 입력 영상의 픽셀들을 입력 변수로 하여 상기 입력 영상에 대해 확률적 기울기 하강(SGD; stochastic gradient descent) 과정을 수행하는 단계
를 포함하는,
회선 신경망을 이용하여 관상동맥 영상에서의 움직임을 보정하기 위한 방법. - 제 1 항에 있어서,
상기 관상동맥 영상은, 심장의 움직임을 모사하는 팬텀(phantom)과 혈관을 모사하는 혈관모형을 이용한 팬텀모형실험에 후향적 동조화를 적용함으로써 획득되는,
회선 신경망을 이용하여 관상동맥 영상에서의 움직임을 보정하기 위한 방법. - 제 3 항에 있어서,
상기 후향적 동조화에 의해 획득된 관상동맥 영상을 재구성하는 단계를 더 포함하고,
상기 관상동맥 영상의 타겟 영상을 획득하는 단계는, 상기 재구성된 관상동맥 영상 중 최소의 움직임을 갖는 영상을 획득하는 단계를 포함하는,
회선 신경망을 이용하여 관상동맥 영상에서의 움직임을 보정하기 위한 방법. - 제 4 항에 있어서,
상기 후향적 동조화에 의해 획득된 관상동맥 영상을 재구성하는 단계는, 상기 후향적 동조화에 의해 획득된 관상동맥 영상을 0 내지 90%에서 10% 간격으로 재구성하는 단계를 더 포함하는,
회선 신경망을 이용하여 관상동맥 영상에서의 움직임을 보정하기 위한 방법. - 제 1 항 내지 제 5 항 중 어느 한 항의 방법을 실행하도록 구성되는 프로그램이 저장되는,
컴퓨터 판독가능 저장 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160090020A KR102538329B1 (ko) | 2016-07-15 | 2016-07-15 | 회선 신경망을 이용하여 관상동맥 영상에서의 움직임을 보정하기 위한 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160090020A KR102538329B1 (ko) | 2016-07-15 | 2016-07-15 | 회선 신경망을 이용하여 관상동맥 영상에서의 움직임을 보정하기 위한 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180008130A true KR20180008130A (ko) | 2018-01-24 |
| KR102538329B1 KR102538329B1 (ko) | 2023-05-31 |
Family
ID=61029245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160090020A KR102538329B1 (ko) | 2016-07-15 | 2016-07-15 | 회선 신경망을 이용하여 관상동맥 영상에서의 움직임을 보정하기 위한 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102538329B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200139491A (ko) * | 2019-06-04 | 2020-12-14 | 사회복지법인 삼성생명공익재단 | 의료영상 처리 방법 |
| KR20210026934A (ko) * | 2019-09-02 | 2021-03-10 | 가천대학교 산학협력단 | 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011503569A (ja) * | 2007-11-09 | 2011-01-27 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Ｍｒ−ｐｅｔ周期運動ゲーティング及び補正 |
| KR20110111827A (ko) | 2010-04-05 | 2011-10-12 | 주식회사 비트컴퓨터 | 심박측정을 위한 관상혈관 자동인식 및 최적측정 위치 보정 시스템 |
| KR20160064562A (ko) * | 2014-11-28 | 2016-06-08 | 삼성전자주식회사 | ３ｄ ｃｔａ영상으로부터 관상동맥의 구조를 모델링하는 방법 및 장치 |
-
2016
- 2016-07-15 KR KR1020160090020A patent/KR102538329B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011503569A (ja) * | 2007-11-09 | 2011-01-27 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Ｍｒ−ｐｅｔ周期運動ゲーティング及び補正 |
| KR20110111827A (ko) | 2010-04-05 | 2011-10-12 | 주식회사 비트컴퓨터 | 심박측정을 위한 관상혈관 자동인식 및 최적측정 위치 보정 시스템 |
| KR20160064562A (ko) * | 2014-11-28 | 2016-06-08 | 삼성전자주식회사 | ３ｄ ｃｔａ영상으로부터 관상동맥의 구조를 모델링하는 방법 및 장치 |
Non-Patent Citations (2)
| Title |
|---|
| SanghyukChun's Blog. 'Machine Learning 스터디 (18) Neural Network Introduction'. 2015년 9월 13일 공개. <웹 URL : http://sanghyukchun.github.io/74/>* * |
| 오종갑. MDCT 관상동맥 조영 검사에서 전향적 동조화 및 후향적 동조화 기법의 화질과 선량 관계. 방사선기술과학 2011년 34권 4호. pp.315-321. 2011년 12월 공개. 1부.* * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200139491A (ko) * | 2019-06-04 | 2020-12-14 | 사회복지법인 삼성생명공익재단 | 의료영상 처리 방법 |
| KR20210026934A (ko) * | 2019-09-02 | 2021-03-10 | 가천대학교 산학협력단 | 팬텀에 대한 구조 영상 기반의 공간해상도와 화질의 동시 개선 신경망 학습을 통한 새로운 핵의학영상 재구성 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102538329B1 (ko) | 2023-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11501485B2 (en) | System and method for image-based object modeling using multiple image acquisitions or reconstructions | |
| Gessert et al. | Automatic plaque detection in IVOCT pullbacks using convolutional neural networks | |
| JP6542129B2 (ja) | リアルタイムの診断上有用な結果 | |
| US9514530B2 (en) | Systems and methods for image-based object modeling using multiple image acquisitions or reconstructions | |
| KR101902883B1 (ko) | 컴퓨터 단층촬영 영상에서 플라크를 분석하기 위한 방법 및 장치 | |
| Bhagalia et al. | Nonrigid registration‐based coronary artery motion correction for cardiac computed tomography | |
| CN112969412B (zh) | 深谱团注剂跟踪 | |
| CN110969633B (zh) | 一种心脏ct成像自动最优相位识别方法 | |
| US20230394654A1 (en) | Method and system for assessing functionally significant vessel obstruction based on machine learning | |
| KR102142934B1 (ko) | 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법 | |
| US20220138936A1 (en) | Systems and methods for calcium-free computed tomography angiography | |
| KR102538329B1 (ko) | 회선 신경망을 이용하여 관상동맥 영상에서의 움직임을 보정하기 위한 방법 | |
| Scherpf et al. | Deepperfusion: Camera-based blood volume pulse extraction using a 3d convolutional neural network | |
| US20240135502A1 (en) | Generalizable Image-Based Training Framework for Artificial Intelligence-Based Noise and Artifact Reduction in Medical Images | |
| CN111093506A (zh) | 运动补偿心脏瓣膜重建 | |
| Yan et al. | Calcium removal from cardiac CT images using deep convolutional neural network | |
| EP3667618A1 (en) | Deep partial-angle coronary restoration | |
| CN116630386B (zh) | Cta扫描图像处理方法及其系统 | |
| Dinescu et al. | XCAE: Deep Neural Network for X-ray Coronary Angiograms Quality Enhancement | |
| US20230371816A1 (en) | System and method for determining atherosclerotic pathological tissue types in a coronary artery oct image using trained engines | |
| DE102020211643A1 (de) | Technik zur Bestimmung einer Herzmetrik anhand von CMR-Bildern | |
| WO2024086197A1 (en) | Machine learning systems and related aspects for three material decomposition using a triple-layer flat-panel detector | |
| CN117934445A (zh) | 病灶检测方法、装置、设备及存储介质 | |
| EP4360063A1 (en) | Automated lumen and vessel segmentation in ultrasound images | |
| CN115688932A (zh) | 选定数据处理模型的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |