KR20220125853A - 기계 학습을 이용하여 2차원 x-선 혈관 조영술 이미지로부터 3차원 혈관 모델을 생성하는 방법 - Google Patents
기계 학습을 이용하여 2차원 x-선 혈관 조영술 이미지로부터 3차원 혈관 모델을 생성하는 방법 Download PDFInfo
- Publication number
- KR20220125853A KR20220125853A KR1020210028744A KR20210028744A KR20220125853A KR 20220125853 A KR20220125853 A KR 20220125853A KR 1020210028744 A KR1020210028744 A KR 1020210028744A KR 20210028744 A KR20210028744 A KR 20210028744A KR 20220125853 A KR20220125853 A KR 20220125853A
- Authority
- KR
- South Korea
- Prior art keywords
- blood vessel
- dimensional
- pair
- image
- generating
- Prior art date
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013135 deep learning Methods 0.000 title claims description 8
- 238000012545 processing Methods 0.000 claims abstract description 3
- 238000002583 angiography Methods 0.000 claims description 24
- 210000004351 coronary vessel Anatomy 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 abstract description 7
- 238000002586 coronary angiography Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 239000002872 contrast media Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 201000000057 Coronary Stenosis Diseases 0.000 description 2
- 206010011089 Coronary artery stenosis Diseases 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 208000029078 coronary artery disease Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000025033 vasoconstriction Effects 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 206010047139 Vasoconstriction Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명은 기계 학습을 이용하여 2차원 X-선 혈관 조영술 이미지로부터 3차원 혈관 모델을 생성하는 방법에 관한 것이다.
본 발명에 따른 컴퓨터를 이용하여 환자의 2차원 X-선 혈관 조영술 이미지로부터 3차원 혈관 모델을 생성하는 방법은, 서로 다른 각도에서 촬영된 한 쌍의 2차원 X-선 혈관 조영술 이미지를 입력받는 단계와, 기계 학습된 프로그램을 이용하여 상기 서로 다른 각도에서 촬영된 한 쌍의 2차원 X-선 혈관 조영술 이미지로부터 각각의 이미지에 대하여 주요 혈관의 입구와 출구가 표시된 한 쌍의 이미지를 생성하는 단계를 포함한다. 또한, 상기 한 쌍의 주요 혈관의 입구와 출구가 표시된 이미지를 처리하면 입구로부터 출구까지의 주요 혈관 영역을 자동으로 세그멘테이션 할 수 있다. 또한, 상기 한 쌍의 세그멘테이션된 주요 혈관 영역의 각각의 중심선을 구하고, 상기 한 쌍의 세그멘테이션된 주요 혈관 영역의 중심선에 대하여 대응점을 구하고, 각각의 대응점에서의 혈관 영역의 직경을 구하고, 백 프로젝션 알고리즘을 이용하여 상기 한 쌍의 세그멘테이션된 주요 혈관 영역의 중심선의 대응점에 대한 3차원 공간상의 좌표와 3차원 공간 상의 직경을 구할 수 있다.
본 발명에 따른 컴퓨터를 이용하여 환자의 2차원 X-선 혈관 조영술 이미지로부터 3차원 혈관 모델을 생성하는 방법은, 서로 다른 각도에서 촬영된 한 쌍의 2차원 X-선 혈관 조영술 이미지를 입력받는 단계와, 기계 학습된 프로그램을 이용하여 상기 서로 다른 각도에서 촬영된 한 쌍의 2차원 X-선 혈관 조영술 이미지로부터 각각의 이미지에 대하여 주요 혈관의 입구와 출구가 표시된 한 쌍의 이미지를 생성하는 단계를 포함한다. 또한, 상기 한 쌍의 주요 혈관의 입구와 출구가 표시된 이미지를 처리하면 입구로부터 출구까지의 주요 혈관 영역을 자동으로 세그멘테이션 할 수 있다. 또한, 상기 한 쌍의 세그멘테이션된 주요 혈관 영역의 각각의 중심선을 구하고, 상기 한 쌍의 세그멘테이션된 주요 혈관 영역의 중심선에 대하여 대응점을 구하고, 각각의 대응점에서의 혈관 영역의 직경을 구하고, 백 프로젝션 알고리즘을 이용하여 상기 한 쌍의 세그멘테이션된 주요 혈관 영역의 중심선의 대응점에 대한 3차원 공간상의 좌표와 3차원 공간 상의 직경을 구할 수 있다.
Description
본 발명은 기계 학습을 이용하여 2차원 X-선 혈관 조영술 이미지로부터 3차원 혈관 모델을 생성하는 방법에 관한 것이다. 보다 상세하게는 기계 학습에 의하여 혈관 조영술 영상으로부터 적어도 2개의 특징점을 자동으로 추출하여 3차원 혈관 모델을 생성하는 방법에 관한 것이다.
혈관의 좁아 짐에 의해서 나타나는 관상동맥질환(CAD, Coronary artery diseases)은 주요한 사망 원인 중의 하나이다(비특허문헌 1). 관상 동맥 협착의 심각성은 일차적으로 의료 영상에서 혈관 내부의 단면적을 검사하여 평가된다. 그러나 관상동맥을 흐르는 혈류는 반드시 시각적으로 관찰되는 혈관의 형상과 관련된 것이 아니라고 알려져 있다(비특허 문헌 2, 3).
관상동맥 혈류를 결정하는 방법 중의 하나는 압력 센서를 관상동맥에 삽입하여 협착부위를 따라서 혈압의 강하를 측정하는 것이다(비특허 문헌 4). 상기 혈압의 강하는 혈류 예비율(FFR, fractional flow reserve)로 표현되며, 관상동맥의 협착부위 전후의 압력의 비율로 정의된다(비특허문헌 4). 협류 예비율은 해석적 방법이나 수치해석적 방법에 의해서 계산될 수 있다(비특허 문헌 5 - 8). FFR 수치 계산에는 혈관 내부 볼륨을 재건한 3차원 모델이 사용되고, 따라서 3차원 모델의 정확도가 FFR의 수치계산에 있어서 중요하다.
X-선 관상동맥 조영술(XCA, X-ray coronary angiography) 이미지는 관상동맥의 3차원 재건에 사용되는 의료 영상 중의 하나이다. X-선 관상동맥 조영술 이미지는 비교적 명료한 관상동맥의 경계를 제공하므로 임상에서 널리 사용된다. 그러나, X-선 관상동맥 조영술 이미지는 2차원 이미지로서, 서로 다른 각도에서 촬영된 2차원 이미지를 가지고 3차원의 형상을 재건하는 것은 쉬운 일이 아니다. 백-프로젝션방법은 2차원 X-선 관상동맥 조영술 이미지를 이용하여 3차원 형상을 재건하는 데 자주 사용되는 방법으로 알려져 있다(비특허 문헌 9). 백 프로젝션 방법에서, 3차원 모델의 임의의 점은 삼각 측량법에 의해서 결정되고(비특허문헌 10), 삼각 측량법은 서로 다른 각도에서 촬영된 2차원 X-선 관상동맥 조영술 이미지의 혈관의 중심선을 연계한다. 그러나, 이러한 방법에 있어서 의한 3차원 혈관 내부의 볼륨을 재건하는 어려움은 서로 다른 각도에서 촬영된 2차원 X-선 관상동맥 조영술 이미지에서 혈관 영역을 세그멘테이션하고, 세그멘테이션된 각각의 2차원 혈관 영역에서 대응관계를 결정하는 것이다. 비록 대응관계의 결정에 에피폴라 제약조건(epipolar constraint)이 보편적으로 이용되나(비특허문헌 11, 12), 에피폴라 제약 조건이 항상 유일한 대응관계를 가져오지는 않는다고 알려져 있다(13, 14). 이는 영상 촬영 장치에 대한 혈관의 상대적인 방향과 위치에 기인하는 2차원 이미지의 중첩과 축소가 발생하기 때문이다.
1. Virani, S.S., Alonso, A., Benjamin, E.J., Bittencourt, M.S., Callaway, C.W., Carson, A.P., Chamberlain, A.M., Chang, A.R., Cheng, S., Delling, F.N., Djousse, L., Elkind, M.S.V., Ferguson, J.F., Fornage, M., Khan, S.S., Kissela, B.M., Knutson, K.L., Kwan, T.W., Lackland, D.T., Lewis, T.T., Lichtman, J.H., Longenecker, C.T., Loop, M.S., Lutsey, P.L., Martin, S.S., Matsushita, K., Moran, A.E., Mussolino, M.E., Perak, A.M., Rosamond, W.D., Roth, G.A., Sampson, U.K.A., Satou, G.M., Schroeder, E.B., Shah, S.H., Shay, C.M., Spartano, N.L., Stokes, A., Tirschwell, D.L., VanWagner, L.B., Tsao, C.W., American Heart Association Council on, E., Prevention Statistics, C., Stroke Statistics, S.: Heart Disease and Stroke Statistics-2020 Update: A Report From the American Heart Association. Circulation 141, e139-e596 (2020)
2. Toth, G., Hamilos, M., Pyxaras, S., Mangiacapra, F., Nelis, O., De Vroey, F., Di Serafino, L., Muller, O., Van Mieghem, C., Wyffels, E., Heyndrickx, G.R., Bartunek, J., Vanderheyden, M., Barbato, E., Wijns, W., De Bruyne, B.: Evolving concepts of angiogram: fractional flow reserve discordances in 4000 coronary stenoses. Eur Heart J 35, 2831-2838 (2014)
3. Park, S.J., Kang, S.J., Ahn, J.M., Shim, E.B., Kim, Y.T., Yun, S.C., Song, H., Lee, J.Y., Kim, W.J., Park, D.W., Lee, S.W., Kim, Y.H., Lee, C.W., Mintz, G.S., Park, S.W.: Visual-functional mismatch between coronary angiography and fractional flow reserve. JACC Cardiovasc Interv 5, 1029-1036 (2012)
4. Corcoran, D., Hennigan, B., Berry, C.: Fractional flow reserve: a clinical perspective. Int J Cardiovasc Imaging 33, 961-974 (2017)
5. Lee, K.E., Lee, S.H., Shin, E.S., Shim, E.B.: A vessel length-based method to compute coronary fractional flow reserve from optical coherence tomography images. Biomed Eng Online 16, 83 (2017)
6. Lee, K.E., Ryu, A.J., Shin, E.S., Shim, E.B.: Physiome approach for the analysis of vascular flow reserve in the heart and brain. Pflugers Arch 469, 613-628 (2017)
7. Lee, K.E., Kim, G.T., Lee, J.S., Chung, J.H., Shin, E.S., Shim, E.B.: A patient-specific virtual stenotic model of the coronary artery to analyze the relationship between fractional flow reserve and wall shear stress. Int J Cardiol 222, 799-805 (2016)
8. Kwon, S.S., Chung, E.C., Park, J.S., Kim, G.T., Kim, J.W., Kim, K.H., Shin, E.S., Shim, E.B.: A novel patient-specific model to compute coronary fractional flow reserve. Prog Biophys Mol Biol 116, 48-55 (2014)
9. Cimen, S., Gooya, A., Grass, M., Frangi, A.F.: Reconstruction of coronary arteries from X-ray angiography: A review. Med Image Anal 32, 46-68 (2016)
10. Hartley, R., Zisserman, A.: Multiple View Geometry in Computer Vision. Cambridge University Press (2004)
11. Delaere, D., Smets, C., Suetens, P., Marchal, G., Van de Werf, F.: Knowledge-based system for the three-dimensional reconstruction of blood vessels from two angiographic projections. Med Biol Eng Comput 29, NS27-36 (1991)
12. Dumay, A.M., Reiber, J.C., Gerbrands, J.J.: Determination of optimal angiographic viewing angles: basic principles and evaluation study. IEEE Trans Med Imaging 13, 13-24 (1994)
13. Zhang, Z., Deriche, R., Faugeras, O., Luong, Q.-T.: A robust technique formatching two uncalibrated images through the recovery of the unknown epipolar geometry. Artif Intell 78, 87-119 (1995)
14. Cong, W., Yang, J., Ai, D., Chen, Y., Liu, Y., Wang, Y.: Quantitative Analysis of Deformable Model-Based 3-D Reconstruction of Coronary Artery From Multiple Angiograms. IEEE Trans Biomed Eng 62, 2079-2090 (2015)
15. Frangi, A.F., Niessen, W.J., Vincken, K.L., Viergever, M.A.: Multiscale vessel enhancement filtering. In: Wells, W.M., Colchester, A., Delp, S. L. (ed.) Medical Image Computing and Computer-Assisted Intervention - MICCAI'98, vol. 1496, pp. 130-137. Springer Verlag, Berlin, Germany (1998)
16. Van Uitert, R., Bitter, I.: Subvoxel precise skeletons of volumetric data based on fast marching methods. Med Phys 34, 627-638 (2007)
17. Chung, J.H., Lee, K.E., Nam, C.W., Doh, J.H., Kim, H.I., Kwon, S.S., Shim, E.B., Shin, E.S.: Diagnostic Performance of a Novel Method for Fractional Flow Reserve Computed from Noninvasive Computed Tomography Angiography (NOVEL-FLOW Study). Am J Cardiol 120, 362-368 (2017)
본 발명은 서로 다른 각도에서 촬영된 한 쌍의 2차원 X-선 혈관 조영술 이미지를 가지고 3차원 혈관 모델을 생성하는 새로운 방법을 제공하는 것을 목적으로 한다. 특히, 본 발명은 영상 촬영 장치에 대한 혈관의 상대적인 방향과 위치에 기인하는 2차원 이미지의 중첩과 축소가 발생하는 문제점을 해결한다.
본 발명은 혈관 조영술 이미지에서 혈관의 입구와 출구를 기계학습 방법을 이용하여 정하는 방법을 제공한다. 본 발명은 서로 다른 각도에서 촬영된 2차원 X-선 관상동맥 조영술 이미지에서 혈관 영역을 각각 세그멘테이션하고, 세그멘테이션된 각각의 2차원 혈관 영역의 중심선에 대하여 자동적으로 대응점를 결정하는 새로운 방법을 제공한다. 또한, 본 발명은 템플레이트 모델을 이용하여 세그멘테이션된 각각의 2차원 혈관 영역의 중심선 사이의 대응점들은 결정하는 방법을 제공한다.
본 발명에 따른 컴퓨터를 이용하여 환자의 2차원 X-선 혈관 조영술 이미지로부터 3차원 혈관 모델을 생성하는 방법은, 서로 다른 각도에서 촬영된 한 쌍의 2차원 X-선 혈관 조영술 이미지를 입력받는 단계와, 기계 학습된 프로그램을 이용하여 상기 서로 다른 각도에서 촬영된 한 쌍의 2차원 X-선 혈관 조영술 이미지로부터 각각의 이미지에 대하여 주요 혈관의 입구와 출구가 표시된 한 쌍의 이미지를 생성하는 단계와, 상기 한 쌍의 주요 혈관의 입구와 출구가 표시된 이미지를 처리하여 입구로부터 출구까지의 주요 혈관 영역을 세그멘테이션하는 단계와, 상기 한 쌍의 세그멘테이션된 주요 혈관 영역의 각각의 중심선을 구하는 단계와, 상기 한 쌍의 세그멘테이션된 주요 혈관 영역의 중심선에 대하여 대응점을 구하고, 각각의 대응점에서의 혈관 영역의 직경을 구하는 단계와, 백 프로젝션 알고리즘을 이용하여 상기 한 쌍의 세그멘테이션된 주요 혈관 영역의 중심선의 대응점에 대한 3차원 공간상의 좌표와 3차원 공간 상의 직경을 구하는 단계를 포함한다.
몇몇 실시예에 있어서, 상기 기계학습된 프로그램은, 주요 혈관과 배경을 포함하는 제1 라벨링 이미지와 주요 혈관의 입구와 출구를 포함하는 제2 라벨링 이미지를 가지고 학습된 딥런닝 네트웍이다.
또한, 몇몇 실시예에 있어서, 상기 주요 혈관은 좌전하행관상동맥(LAD), 좌회전관상동맥(LCX), 우관상동맥(RCA)을 포함할 수 있다.
또한, 몇몇 실시예에 있어서, 상기 한 쌍의 세그멘테이션된 주요 혈관 영역의 중심선에 대하여 대응점을 구하는 단계는, 사전에 3차원 CT 이미지를 이용하여 생성된 주요 혈관에 대한 탬플레이트를 이용하여 주요 혈관 영역의 중심선에 대하여 대응점을 구하는 것이 바람직하다.
본 발명에 따라서, 서로 다른 각도에서 촬영된 한 쌍의 2차원 X-선 혈관 조영술 이미지를 가지고 3차원 혈관 모델을 생성하는 새로운 방법이 제공된다.
특히, 기계 학습된 프로그램을 이용하여 서로 다른 각도에서 촬영된 한 쌍의 2차원 X-선 혈관 조영술 이미지로부터 각각의 이미지에 대하여 주요 혈관의 입구와 출구가 표시된 한 쌍의 이미지를 생성하는 방법이 제공된다. 따라서, 한 쌍의 2차원 X-선 혈관 조영술 이미지를 가지고 3차원 혈관 모델을 자동으로 생성할 수 있게 된다.
본 발명에 따르면, 사전에 생성된 3차원 혈관의 템플레이트를 이용하여 한 쌍의 2차원 X-선 혈관 조영술 이미지를 가지고 3차원 혈관 모델을 생성하는 새로운 방법이 제공된다. 템플레이트 모델을 사용하면, 근사적으로 서로다른 각도에서 촬영된 2차원 X-선 혈관 조영술 이미지의 주요혈관의 중심선의 대응점을 자동으로 구할 수 있게 된다.
도 1은 기계학습 이미지 데이타의 개략도
도 2는 기계학습 네트웍의 개략도
도 3은 기계학습 네트웍에 2차원 X-선 혈관 조영술 이미지를 입력하여 주요 혈관의 입구와 출구가 출력되는 상태를 나타내는 설명도
도 4는 템플레이트를 생성하는 방법을 설명하는 개략도
도 5는 템플레이트와 혈관 조영술 이미지의 촬영 각도를 매칭하는 설명도
도 6은 서로 다른 각도에서 촬영된 2차원 X-선 혈관 조영술 이미지에서 중심선의 대응점을 구하는 방법을 설명하는 개략도
도 7은 본 발명에 따른 방법에 의하여 생성된 3차원 혈관 모델을 나타내는 개략도
도 2는 기계학습 네트웍의 개략도
도 3은 기계학습 네트웍에 2차원 X-선 혈관 조영술 이미지를 입력하여 주요 혈관의 입구와 출구가 출력되는 상태를 나타내는 설명도
도 4는 템플레이트를 생성하는 방법을 설명하는 개략도
도 5는 템플레이트와 혈관 조영술 이미지의 촬영 각도를 매칭하는 설명도
도 6은 서로 다른 각도에서 촬영된 2차원 X-선 혈관 조영술 이미지에서 중심선의 대응점을 구하는 방법을 설명하는 개략도
도 7은 본 발명에 따른 방법에 의하여 생성된 3차원 혈관 모델을 나타내는 개략도
이하에서는 첨부의 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
주요 혈관의 내부 영역의 입구 및 출구을 정하는 방법
서로 다른 각도에서 촬영된 2차원 X-선 관상동맥 조영술 이미지에서 주요 혈관의 입구와 출구 위치를 자동적으로 결정하기 위하여 딥 런닝(Deep learning) 방법을 적용한다. 주요 혈관은 좌전하행관상동맥(LAD), 좌회전관상동맥(LCX), 우관상동맥(RCA)이다. 딥런닝 방법을 적용하기 위하여 먼저 딥런닝 네트웍에 사용될 학습 이미지를 생성한다. 학습 이미지는 관상동맥 혈관 조영술 이미지들을 라벨링하여 생성한다. 도 1에는 라벨링된 이미지가 도시되어 있다. 라벨링은 도 1에 도시된 것과 같이, 2차원 X-선 관상동맥 조영술 이미지를 2개 클래스(배경과 주요 혈관)로 구분한 학습이미지(제1 라벨링 이미지)와 7개 클래스(배경, 주요 혈관, 주요 혈관 입구, 주요 혈관 출구, 2차 혈관 출구, 분지, 카테터)로 구분한 학습이미지(제2 라벨링 이미지)를 준비한다. 주요 혈관의 입구는 조영제가 투입되지 전 이미지에서 카테터의 말단을 라벨링하고, 주요 혈관의 출구는 조영제가 투입된 후의 이미지에서 하나의 심장 박동 주기의 마지막에 대응하는 이미지에서 조영제가 진행된 위치를 라벨링하였다.
딥 런닝 네트웍으로, 도 2에 도시된 것과 같은 엔코더(Resnet)와 디코더를 구비하는 U-net을 사용하였다. 딥 런닝 네트웍을 학습시키기 위하여 주요 혈관 각각에 대하여, 즉 LAD에 293 학습 이미지를, LCX에 대하여 204 학습 이미지를, RCA에 대하여 206 학습 이미지를 사용하여 학습을 진행하였다. 주요 혈관의 입출구 출력을 위한 딥 런닝 네트웍를 학습시키기 위하여, 주요 혈관과 배경이 라벨링된 2개 클레스 학습이미지를 먼저 학습시키고, 주요 혈관의 입구 및 출구가 라벨링 된 7개 클레스 학습이미지를 추가로 학습시켰다. 이렇게 학습된 딥 런닝 네트웍은 먼저 학습된 주요 혈관 이미지 픽셀에 대하여만 입구와 출구를 예측하여 출력한다.
도 3에는 상기와 같이 학습된 딥 런닝 네트웍에 테스트 이미지를 입력한 경우에 주요 혈관의 입구와 출구가 자동으로 출력된 결과를 도시되어 있다. 테스트 이미지에 대하여 입구는 카테터의 단부에 표시되고, 출구는 주요 혈관의 말단에만 표시되어 있는 것을 알 수 있다.
X-선 관상동맥 조영술 이미지에 대한 2차원 혈관 세그멘테이션
2차원 X-선 관상동맥 조영술 이미지에 대하여 주요 혈관의 입구와 출구가 정해지면, 주요 혈관 영역의 입구에서부터 출구까지 세그멘테이션을 수행한다. 조영제가 투입된 이미지에서 입구와 출구가 표시된 영역을 세그멘테이션 하는 방법으로 Frangi filter를 적용한다(비특허문헌 15). 세그멘테이션된 2차원 혈관 영역의 중심선을 결정하기 위하여 패스트 마칭 알고리즘(fast-marching algorithm)을 적용하였다(비특허문헌 16). 패스트 마칭 알고리즘은 가장 가까운 벽까지의 거리에 비례하는 속도 웨이트(velocity weight)를 이용하여 입구로부터 출구까지의 최단 경로를 찾는 데 적용된다. 혈관의 직경은 각각의 중심선 상의 점에서 수직인 방향으로 두 경계까지의 거리를 평균하여 구한다. 세그멘테이션된 2차원 이미지에서 구해진 직경은 후에 재건되는 3차원 모델의 직경으로 변환된다.
관상동맥 템플릿 모델을 이용한 2차원 이미지 중심선의 정합점 결정
서로 다른 각도에서 촬영된 2차원 X-선 관상동맥 조영술 이미지를 이용하여 정합점을 결정할 경우 발생하는 혈관 축소 문제를 극복하기 위하여, 관상 동맥 템플레이트 모델을 사용한다.
먼저 LAD, LCX, RCA와 같은 주요 혈관에 대한 템플레이트 모델을 생성한다. 템플레이트 모델은 비특허문헌 17에서 수행된 연구 결과에서 사용된 심장 CT 이미지 볼륨 데이타를 이용하였다. 도 4에는 심장 CT 볼륨 이미지 데이타를 이용하여 생성한 모델들의 예가 도시되어 있다. 도 4에서 템플레이트 모델은 10 개의 CT 이미지 데이타에 대하여 세그멘테이션에 의해서 관상 동맥을 주요 혈관의 3차원 모델을 구하고 이를 평균하여 템플레이트를 생성한다. 구체적으로 템플레이트를 생성하는 과정은 다음과 같다. 먼저, 10개의 3차원 관상동맥 모델들의 길이가 1이 되도록 스케일을 변환한 후, 각각 중심선을 따라 등간격으로 복수의 점(예 100개)들을 생성한다. 다음으로 각각의 주요 혈관에 대하여 시작점의 위치가 일치하도록 평행 이동시켜, 중심선을 따라 생성된 점들의 좌표 평균을 계산하여 템플릿 모델의 중심선을 생성한다.
다음으로 템플레이트 모델을 이용하여 서로 다른 각도에서 촬영된 한 쌍의 2차원 X-선 관상동맥 조영술 이미지로부터 세그멘테이션된 한 쌍의 2차원 이미지로 주요 혈관의 3차원 형상을 재건하기 위한 중심선 정합점을 구하는 방법을 설명한다.
먼저, 세그멘테이션된 2차원 이미지에 대하여 혈관 조영술이 시행되었을 때 촬영 각도와 동일한 각도로 템플릿 모델을 회전한다. 도 5에는 템플레이트를 촬영된 각도와 동일하게 회전한 예가 도시되어 있다.
다음으로, 회전된 템플릿 모델의 2차원 좌표(도 5에 예시)를 이용하여 중심선을 따라 생성된 점들 각각에 대해 시작점으로부터의 거리를 계산한 후, 총 길이에 대한 비율로 나타낸다.
중심선 상의 동일한 점이 2개의 촬영 각도에 대해 2차원 좌표상에서 계산된 총 길이에 대한 비율을 이용하여 혈관조영술 이미지에서의 정합점을 선정한다. 도 6은 이와 같은 선정방법의 예이다. 이때 혈관조영술 이미지에서의 시작점과 끝점은 템플릿 모델을 생성할 때 사용한 식별 가능한 동일 지점으로 한다. 이와 같이 결정된 정합점을 이용하여 3차원 모델을 생성한다. 도 7은 이와 같이 정합점을 정하여 생성된 3차원 모델의 예이다.
주요 혈관의 3차원 모델 생성
위에서 설명한 방법으로 서로 다른 각도에서 촬영된 한 쌍의 2차원 X-선 관상동맥 조영술 이미지를 세그멘테이션하고, 중심선의 정합점이 구해지면, 백 프로젝션 방법을 이용하여 센터 라인의 3차원 좌표를 구할 수 있다(비특허문헌 9).
간략히 설명하면, 3차원 공간에서 각각의 센터 라인 점은 두 각도에서의 X-선 소스의 위치와 두 각도에서의 2차원 이미지의 좌표 사이의 기하학적인 관계와 개 로부터 결정된다. 먼저, 첫번째 촬영 각도에서 X-선 소스와 2차원 이미지 사이에 가상의 선을 형성한다. 다음으로, 다른 각도에서 촬영된 2차원 이미지에 대한 투사가 대응하는 위치에 가장 가까운 점을 상기 가상의 선에서 탐색하여 3차원 좌표를 정한다. 다음으로, 중심선의 정합점들에 대한 3차원 좌표를 정한 후에 중심선의 정합점에 대하여 2차원 이미지 세그멘테이션 단계에서 계산된 혈관의 직경들을 3차원 직경으로 변환한다.
Claims (4)
- 컴퓨터를 이용하여 환자의 2차원 X-선 혈관 조영술 이미지로부터 3차원 혈관 모델을 생성하는 방법으로,
서로 다른 각도에서 촬영된 한 쌍의 2차원 X-선 혈관 조영술 이미지를 입력받는 단계와,
기계 학습된 프로그램을 이용하여 상기 서로 다른 각도에서 촬영된 한 쌍의 2차원 X-선 혈관 조영술 이미지로부터 각각의 이미지에 대하여 주요 혈관의 입구와 출구가 표시된 한 쌍의 이미지를 생성하는 단계와,
상기 한 쌍의 주요 혈관의 입구와 출구가 표시된 이미지를 처리하여 입구로부터 출구까지의 주요 혈관 영역을 세그멘테이션하는 단계와,
상기 한 쌍의 세그멘테이션된 주요 혈관 영역의 각각의 중심선을 구하는 단계와,
상기 한 쌍의 세그멘테이션된 주요 혈관 영역의 중심선에 대하여 대응점을 구하고, 각각의 대응점에서의 혈관 영역의 직경을 구하는 단계와,
백 프로젝션 알고리즘을 이용하여 상기 한 쌍의 세그멘테이션된 주요 혈관 영역의 중심선의 대응점에 대한 3차원 공간상의 좌표와 3차원 공간 상의 직경을 구하는 단계를 포함하는 2차원 X-선 혈관 조영술 이미지로부터 3차원 혈관 모델을 생성하는 방법. - 제1항에 있어서,
상기 기계학습된 프로그램은, 주요 혈관과 배경을 포함하는 제1 라벨링 이미지와 주요 혈관의 입구와 출구를 포함하는 제2 라벨링 이미지를 가지고 학습된 딥런닝 네트웍인 2차원 X-선 혈관 조영술 이미지로부터 3차원 혈관 모델을 생성하는 방법. - 제1항에 있어서,
상기 주요 혈관은 좌전하행관상동맥(LAD), 좌회전관상동맥(LCX), 우관상동맥(RCA)을 포함하는 2차원 X-선 혈관 조영술 이미지로부터 3차원 혈관 모델을 생성하는 방법. - 제1항에 있어서,
상기 한 쌍의 세그멘테이션된 주요 혈관 영역의 중심선에 대하여 대응점을 구하는 단계는, 사전에 3차원 CT 이미지를 이용하여 생성된 주요 혈관에 대한 탬플레이트를 이용하여 주요 혈관 영역의 중심선에 대하여 대응점을 구하는 2차원 X-선 혈관 조영술 이미지로부터 3차원 혈관 모델을 생성하는 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210028744A KR102631241B1 (ko) | 2021-03-04 | 2021-03-04 | 기계 학습을 이용하여 2차원 x-선 혈관 조영술 이미지로부터 3차원 혈관 모델을 생성하는 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210028744A KR102631241B1 (ko) | 2021-03-04 | 2021-03-04 | 기계 학습을 이용하여 2차원 x-선 혈관 조영술 이미지로부터 3차원 혈관 모델을 생성하는 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220125853A true KR20220125853A (ko) | 2022-09-15 |
| KR102631241B1 KR102631241B1 (ko) | 2024-01-31 |
Family
ID=83281479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210028744A KR102631241B1 (ko) | 2021-03-04 | 2021-03-04 | 기계 학습을 이용하여 2차원 x-선 혈관 조영술 이미지로부터 3차원 혈관 모델을 생성하는 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102631241B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024109822A1 (zh) * | 2022-11-23 | 2024-05-30 | 杭州脉流科技有限公司 | 获得冠脉血流储备分数的方法和计算机设备 |
| KR102691188B1 (ko) * | 2023-10-23 | 2024-08-05 | 주식회사 메디픽셀 | 혈관의 3차원 형상 복원 방법 및 장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170045390A (ko) * | 2010-08-12 | 2017-04-26 | 하트플로우, 인크. | 환자별 혈류 모델링 방법 및 시스템 |
| KR20190125592A (ko) * | 2018-04-30 | 2019-11-07 | 주식회사 실리콘사피엔스 | 의료 영상을 이용하여 혈관의 3차원 형상을 생성하기 위한 세그멘테이션 방법 |
-
2021
- 2021-03-04 KR KR1020210028744A patent/KR102631241B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170045390A (ko) * | 2010-08-12 | 2017-04-26 | 하트플로우, 인크. | 환자별 혈류 모델링 방법 및 시스템 |
| KR20190125592A (ko) * | 2018-04-30 | 2019-11-07 | 주식회사 실리콘사피엔스 | 의료 영상을 이용하여 혈관의 3차원 형상을 생성하기 위한 세그멘테이션 방법 |
Non-Patent Citations (18)
| Title |
|---|
| 1. Virani, S.S., Alonso, A., Benjamin, E.J., Bittencourt, M.S., Callaway, C.W., Carson, A.P., Chamberlain, A.M., Chang, A.R., Cheng, S., Delling, F.N., Djousse, L., Elkind, M.S.V., Ferguson, J.F., Fornage, M., Khan, S.S., Kissela, B.M., Knutson, K.L., Kwan, T.W., Lackland, D.T., Lewis, T.T., Lichtman, J.H., Longenecker, C.T., Loop, M.S., Lutsey, P.L., Martin, S.S., Matsushita, K., Moran, A.E., Mussolino, M.E., Perak, A.M., Rosamond, W.D., Roth, G.A., Sampson, U.K.A., Satou, G.M., Schroeder, E.B., Shah, S.H., Shay, C.M., Spartano, N.L., Stokes, A., Tirschwell, D.L., VanWagner, L.B., Tsao, C.W., American Heart Association Council on, E., Prevention Statistics, C., Stroke Statistics, S.: Heart Disease and Stroke Statistics-2020 Update: A Report From the American Heart Association. Circulation 141, e139-e596 (2020) |
| 10. Hartley, R., Zisserman, A.: Multiple View Geometry in Computer Vision. Cambridge University Press (2004) |
| 11. Delaere, D., Smets, C., Suetens, P., Marchal, G., Van de Werf, F.: Knowledge-based system for the three-dimensional reconstruction of blood vessels from two angiographic projections. Med Biol Eng Comput 29, NS27-36 (1991) |
| 12. Dumay, A.M., Reiber, J.C., Gerbrands, J.J.: Determination of optimal angiographic viewing angles: basic principles and evaluation study. IEEE Trans Med Imaging 13, 13-24 (1994) |
| 13. Zhang, Z., Deriche, R., Faugeras, O., Luong, Q.-T.: A robust technique formatching two uncalibrated images through the recovery of the unknown epipolar geometry. Artif Intell 78, 87-119 (1995) |
| 14. Cong, W., Yang, J., Ai, D., Chen, Y., Liu, Y., Wang, Y.: Quantitative Analysis of Deformable Model-Based 3-D Reconstruction of Coronary Artery From Multiple Angiograms. IEEE Trans Biomed Eng 62, 2079-2090 (2015) |
| 15. Frangi, A.F., Niessen, W.J., Vincken, K.L., Viergever, M.A.: Multiscale vessel enhancement filtering. In: Wells, W.M., Colchester, A., Delp, S. L. (ed.) Medical Image Computing and Computer-Assisted Intervention - MICCAI'98, vol. 1496, pp. 130-137. Springer Verlag, Berlin, Germany (1998) |
| 16. Van Uitert, R., Bitter, I.: Subvoxel precise skeletons of volumetric data based on fast marching methods. Med Phys 34, 627-638 (2007) |
| 17. Chung, J.H., Lee, K.E., Nam, C.W., Doh, J.H., Kim, H.I., Kwon, S.S., Shim, E.B., Shin, E.S.: Diagnostic Performance of a Novel Method for Fractional Flow Reserve Computed from Noninvasive Computed Tomography Angiography (NOVEL-FLOW Study). Am J Cardiol 120, 362-368 (2017) |
| 2. Toth, G., Hamilos, M., Pyxaras, S., Mangiacapra, F., Nelis, O., De Vroey, F., Di Serafino, L., Muller, O., Van Mieghem, C., Wyffels, E., Heyndrickx, G.R., Bartunek, J., Vanderheyden, M., Barbato, E., Wijns, W., De Bruyne, B.: Evolving concepts of angiogram: fractional flow reserve discordances in 4000 coronary stenoses. Eur Heart J 35, 2831-2838 (2014) |
| 3. Park, S.J., Kang, S.J., Ahn, J.M., Shim, E.B., Kim, Y.T., Yun, S.C., Song, H., Lee, J.Y., Kim, W.J., Park, D.W., Lee, S.W., Kim, Y.H., Lee, C.W., Mintz, G.S., Park, S.W.: Visual-functional mismatch between coronary angiography and fractional flow reserve. JACC Cardiovasc Interv 5, 1029-1036 (2012) |
| 4. Corcoran, D., Hennigan, B., Berry, C.: Fractional flow reserve: a clinical perspective. Int J Cardiovasc Imaging 33, 961-974 (2017) |
| 5. Lee, K.E., Lee, S.H., Shin, E.S., Shim, E.B.: A vessel length-based method to compute coronary fractional flow reserve from optical coherence tomography images. Biomed Eng Online 16, 83 (2017) |
| 6. Lee, K.E., Ryu, A.J., Shin, E.S., Shim, E.B.: Physiome approach for the analysis of vascular flow reserve in the heart and brain. Pflugers Arch 469, 613-628 (2017) |
| 7. Lee, K.E., Kim, G.T., Lee, J.S., Chung, J.H., Shin, E.S., Shim, E.B.: A patient-specific virtual stenotic model of the coronary artery to analyze the relationship between fractional flow reserve and wall shear stress. Int J Cardiol 222, 799-805 (2016) |
| 8. Kwon, S.S., Chung, E.C., Park, J.S., Kim, G.T., Kim, J.W., Kim, K.H., Shin, E.S., Shim, E.B.: A novel patient-specific model to compute coronary fractional flow reserve. Prog Biophys Mol Biol 116, 48-55 (2014) |
| 9. Cimen, S., Gooya, A., Grass, M., Frangi, A.F.: Reconstruction of coronary arteries from X-ray angiography: A review. Med Image Anal 32, 46-68 (2016) |
| Serkan, et al., "Reconstruction of Coronary Arteries from X-ray Angiography, A Review", Medical Image Analysis (2016)* * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024109822A1 (zh) * | 2022-11-23 | 2024-05-30 | 杭州脉流科技有限公司 | 获得冠脉血流储备分数的方法和计算机设备 |
| KR102691188B1 (ko) * | 2023-10-23 | 2024-08-05 | 주식회사 메디픽셀 | 혈관의 3차원 형상 복원 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102631241B1 (ko) | 2024-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10580526B2 (en) | System and method for calculating vessel flow parameters based on angiography | |
| EP2863802B1 (en) | Flow-related image processing in luminal organs | |
| JP5268365B2 (ja) | 脈管幾何形状及び流れ特性を決定するシステム | |
| JP2989878B2 (ja) | 血流量測定装置 | |
| US11636635B2 (en) | Medical information processing apparatus and medical information processing method | |
| US12042249B2 (en) | Apparatus for determining a functional index for stenosis assessment | |
| US8718338B2 (en) | System and method to compensate for respiratory motion in acquired radiography images | |
| US11282170B2 (en) | Contrast injection imaging | |
| JP6745875B2 (ja) | 圧力又は流量測定及び血管造影法からの流量、抵抗又は圧力の推定 | |
| CN105190630A (zh) | 计算血流储备分数 | |
| CN101448457A (zh) | 由投影成像得到的经运动补偿的冠状动脉血流 | |
| KR102631241B1 (ko) | 기계 학습을 이용하여 2차원 x-선 혈관 조영술 이미지로부터 3차원 혈관 모델을 생성하는 방법 | |
| Hwang et al. | A simple method for automatic 3D reconstruction of coronary arteries from X-ray angiography | |
| CN114173649A (zh) | 使用功能信息进行的血管配准 | |
| JP7173747B2 (ja) | 医用画像処理装置 | |
| US20230054891A1 (en) | Systems And Methods Of Identifying Vessel Attributes Using Extravascular Images | |
| KR20100025431A (ko) | 다중 페이즈 간 ｃｔ영상들의 정합을 이용한 간세포암 검출방법 | |
| US12062198B2 (en) | Method and system for multi-modality joint analysis of vascular images | |
| WO2023117820A1 (en) | Aortic abdominal aneurysm biomarkers | |
| JP7500538B2 (ja) | 血管マップの傾きに基づく血流測定 | |
| CN112446499A (zh) | 改进用于自动量化冠状动脉疾病的机器学习模型的性能 | |
| Altalhi et al. | Computation of aortic geometry using mr and ct 3d images | |
| US20230097133A1 (en) | Methods and devices for three-dimensional image reconstruction using single-view projection image | |
| EP4381460A1 (en) | Coronary artery narrowing detection based on patient imaging and 3d deep learning | |
| Bousse et al. | Coronary extraction and characterization in multi-detector computed tomography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |