KR102350998B1 - 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법, 이를 수행하기 위한 기록 매체 및 장치 - Google Patents
혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법, 이를 수행하기 위한 기록 매체 및 장치 Download PDFInfo
- Publication number
- KR102350998B1 KR102350998B1 KR1020200027121A KR20200027121A KR102350998B1 KR 102350998 B1 KR102350998 B1 KR 102350998B1 KR 1020200027121 A KR1020200027121 A KR 1020200027121A KR 20200027121 A KR20200027121 A KR 20200027121A KR 102350998 B1 KR102350998 B1 KR 102350998B1
- Authority
- KR
- South Korea
- Prior art keywords
- blood vessel
- graph
- candidate
- rigid body
- vertex
- Prior art date
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 222
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000002792 vascular Effects 0.000 claims abstract description 13
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 239000012634 fragment Substances 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000011478 gradient descent method Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 229940079593 drug Drugs 0.000 claims description 4
- 239000003814 drug Substances 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010968 computed tomography angiography Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 16
- 230000029058 respiratory gaseous exchange Effects 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 210000005166 vasculature Anatomy 0.000 description 3
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 2
- 210000000748 cardiovascular system Anatomy 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Optics & Photonics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- Vascular Medicine (AREA)
- Dentistry (AREA)
- General Physics & Mathematics (AREA)
- Robotics (AREA)
- Gynecology & Obstetrics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법은, 시술 전 촬영된 3D CTA 영상과 시술 중 촬영되는 2D XA 영상의 공간을 일치시키기 위한 강체 정합을 수행하는 단계; 상기 3D CTA 영상과 상기 2D XA 영상의 각 혈관 중심선으로부터 정점, 에지 및 루트로 표현되는 혈관 구조에 대한 3D 혈관 그래프 및 2D 혈관 그래프를 생성하는 단계; 상기 3D 혈관 그래프에서 부모와 자식 노드로 연결된 절편에 대응하는 상기 2D 혈관 그래프의 경로를 탐색하여, 상기 2D 혈관 그래프의 후보 절편들을 재구성하는 단계; 상기 3D CTA 영상의 한 정점에 대한 수직 기울기 및 상기 한 점과 미리 설정한 범위내의 인접하는 정점과의 거리를 기초로, 상기 3D 혈관 그래프의 정점과 상기 2D 혈관 그래프의 정점을 각각 매칭하는 단계; 상기 3D 혈관 그래프의 절편과 상기 2D 혈관 그래프의 후보 절편들의 유사성을 비교하여 2D 혈관의 후보 라인을 선정하는 단계; 및 미리 정의된 에너지 함수가 최소값을 갖도록 경사 하강법을 이용하여 상기 3D 혈관 그래프의 정점의 위치를 선정된 2D 혈관의 후보 라인의 정점으로 이동시키는 비강체 변형 단계;를 포함한다. 이에 따라, 3D CTA 영상과 2D XA 영상의 빠른 정합 기술을 제공하여 정확한 혈관 정보를 제공할 수 있다.
Description
본 발명은 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 시술자에게 유용한 가이딩 정보 제공을 위해 동일 환자의 시술 전 촬영된 3D CTA 영상과 시술 중 촬영된 2D XA 영상의 빠르고 정확한 정합 기술에 관한 것이다.
의료 시술이나 수술시에 사용되는 의료 영상 기술은 대표적으로 X-ray(X선 영상 기술, radiography)와 CT(전산화 단층 촬영 기술, Computed Tomography)가 있다.
X-ray는 각 부위 조직의 투과된 X선의 감쇄 특성을 이용하여 평면 형광판이나 필름에 생체 내부 구조를 영상화하는 반면, CT는 인체의 단면 주위를 돌면서 X-선을 투사하고 X-선이 인체를 통과하면서 감소되는 양을 측정하여 내부 구조를 영상화한다.
수술 전에는 주로 3D인 CT 영상을 찍고, 수술 중에는 2D X-ray 영상을 사용하는 경우가 많으므로, 두 이종 영상 간의 정확한 정합 기술은 의료 분야에서 매우 중요하다. 기존에 수행되었던 관상동맥의 2D 및 3D 비강체 정합 연구는 다음과 같다.
Rivest-Henault 등은 CTA 영상과 Biplane XA 영상으로부터 혈관 중심선을 추출하여 에너지 함수를 이용한 비강체 정합 기법을 제안하였다. 두 혈관의 정렬을 위해 아핀 변환을 통해 거리가 최소가 되는 지점으로 정합을 수행하였다. 지역적 변형을 위해 기울기 기반 대응점 탐색을 수행하였으며, Biplane 영상 간 Epipolar Constraint 적용을 통해 기하학적 관계에 대한 대응점 탐색 오류를 최소화하였다.
또한, 자연스러운 변형을 위해 혈관의 강성, 심근의 영향을 고려한 에너지 항을 설계 및 적용하였다. 그러나, 3D 공간상에서의 기하학적 관계를 활용하여 정확도를 높였지만, 단일 XA 영상에서는 수행할 수 없다는 단점이 존재한다. 또한, 수행시간이 매우 오래 걸린다는 단점이 존재한다.
Baka 등은 CTA 영상과 XA 영상에서 추출된 혈관 중심선 사이의 OGMM(Oriented Gaussian Mixture Model) 이용한 비강체 정합 기법을 제안하였다. 혈관 중심선에 대하여 방향 벡터를 추가하여 4D GMM으로 구성하고, SSM(Statistical Shape Model)과 변형된 L2 거리 측정법을 이용하여 두 혈관 사이의 거리 값이 최소가 되도록 정합을 수행하였다.
방향 정보를 추가함으로써 강건성을 향상시켰지만, 방향 벡터를 포함시킴으로써 차원 증가와 함께 연산 복잡도가 증가하였고, 이로 인해 수행시간이 오래 걸린다는 단점이 존재한다.
Gatta 등은 SIFT(Scale Invariant Feature Transform) flow를 이용한 비강체 정합 기법을 제안하였다. XA 영상은 혈관 증강 필터(Vessel Enhancement Filter)를 이용하여 불필요한 배경을 제거하여 사용하였고, CTA 영상은 혈관을 분할하여 C-arm의 Dicom 정보를 기반으로 DRR 영상을 생성하여 정합에 사용하였다.
두 혈관은 SIFT flow 에너지 함수 최소화를 통해 정합을 수행하였다. 하지만, 배경 제거의 한계로 인한 오정합이 발생할 수 있으며, DRR 영상의 생성과정에서 수행시간이 오래 걸린다는 단점이 존재한다.
Kim 등은 XA 영상과 CTA 영상으로부터 혈관의 Centerline을 추출하고, 3D 혈관을 2D 혈관으로 투영한 후 정합을 수행하였다. 정확한 정합을 위해 투영된 혈관에 대하여 회전, 이동, 크기변환을 반복적으로 수행하여 혈관들 사이의 거리 최적화를 수행하였다.
또한, Chui 등이 제안한 TPS-RPM 기반 비강체 정합을 수행하여 혈관의 부분적 변형을 통한 정확도 향상을 시도하였다. 하지만, 3D CTA 혈관의 Centerline을 2D 영상으로 일회 투영한 후, 정합과정은 오직 2D에서 이루어짐으로써 3D 객체의 변환을 고려하지 않아 3D CTA 혈관의 토폴로지 정보가 보존되지 못하는 문제점이 있다. 또한, 깊이 정보 부족으로 인해 지역적 오류가 존재하는 영역에서 국부 최소에 수렴하여 잘못된 정합 결과를 가져올 수 있는 한계가 있다.
수술 중 촬영된 2D XA 영상과 수술 전 촬영된 3D CTA 영상의 고속 강체 정합 기법, 박태용, 신용빈, 임선혜, 이정진, 한국멀티미디어학회논문지, 16권 12호 1454p ~ 1464p, 2013
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 동일 환자의 시술 전 촬영된 3D CTA 영상과 시술 중 촬영된 2D XA 영상의 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.
본 발명의 또 다른 목적은 상기 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법을 수행하기 위한 장치를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법은, 시술 전 촬영된 3D CTA 영상과 시술 중 촬영되는 2D XA 영상의 공간을 일치시키기 위한 강체 정합을 수행하는 단계; 상기 3D CTA 영상과 상기 2D XA 영상의 각 혈관 중심선(Centerline)으로부터 정점(Point), 에지(Edge) 및 루트(Root)로 표현되는 혈관 구조에 대한 3D 혈관 그래프 및 2D 혈관 그래프를 생성하는 단계; 상기 3D 혈관 그래프에서 부모와 자식 노드로 연결된 절편(Segment)에 대응하는 상기 2D 혈관 그래프의 경로를 탐색하여, 상기 2D 혈관 그래프의 후보 절편들을 재구성하는 단계; 상기 3D CTA 영상의 한 정점에 대한 수직 기울기 및 상기 한 점과 미리 설정한 범위내의 인접하는 정점과의 거리를 기초로, 상기 3D 혈관 그래프의 정점과 상기 2D 혈관 그래프의 정점을 각각 매칭하는 단계; 상기 3D 혈관 그래프의 절편과 상기 2D 혈관 그래프의 후보 절편들의 유사성을 비교하여 2D 혈관의 후보 라인을 선정하는 단계; 및 미리 정의된 에너지 함수가 최소값을 갖도록 경사 하강법(Gradient Decent Method)을 이용하여 상기 3D 혈관 그래프의 정점의 위치를 선정된 2D 혈관의 후보 라인의 정점으로 이동시키는 비강체 변형 단계;를 포함한다.
본 발명의 실시예에서, 상기 강체 정합을 수행하는 단계는, 상기 2D XA 영상 촬영 시 DICOM(Digital Imaging and Communications in Medicine) 정보를 획득하는 단계; 상기 DICOM 정보를 상기 3D CTA 영상으로부터 추출된 3D 혈관 중심선에 적용하여, 상기 2D XA 영상이 획득 될 당시의 가상환경을 생성하는 단계; 및 상기 3D 혈관 중심선과 2D 혈관 중심선을 상기 가상환경에 투영하여 정합공간을 일치시키는 정밀 정합을 수행하는 단계;를 포함할 수 있다.
본 발명의 실시예에서, 상기 정밀 정합을 수행하는 단계는, 상기 3D 혈관 중심선과 2D 혈관 중심선의 세선화 과정을 수행하는 단계; 세선화된 3D 혈관 중심선과 2D 혈관 중심선의 거리맵을 생성하는 단계; 상기 거리맵을 기초로 유사성 비교를 수행하는 단계; 및 파웰 최적화 기법을 적용한 변환 함수(Transformation Function)를 사용하여 정밀 정합을 수행하는 단계;를 포함할 수 있다.
본 발명의 실시예에서, 상기 정밀 정합을 수행하는 단계는, 상기 가상환경에 투영된 3D 혈관 중심선의 중심점을 원점으로 이동시키는 단계; 기 원점을 기준으로 상기 3D 혈관 중심선의 회전 벡터와 이동 벡터를 순차적으로 변환하는 단계; 및 상기 2D 혈관 중심선의 중심점으로 상기 3D 혈관 중심선의 중심점을 이동하는 단계;를 포함할 수 있다.
본 발명의 실시예에서, 상기 2D 혈관 그래프의 후보 절편들을 재구성하는 단계는, 상기 3D 혈관 그래프 및 상기 2D 혈관 그래프의 형태 속성은 유사하고, 일정 범위 내에 존재한다는 가정하에 수행될 수 있다.
본 발명의 실시예에서, 상기 2D 혈관 그래프의 후보 절편들을 재구성하는 단계는, 상기 3D 혈관 그래프 및 상기 2D 혈관 그래프의 형태 속성의 거리가 미리 설정한 임계치 보다 낮은 상기 2D 혈관 그래프의 후보 절편들을 추출하는 단계; 상기 2D 혈관 그래프의 후보 절편들 중 상기 3D 혈관 그래프의 형태 속성과 가장 유사한 하나의 후보 절편을 선정하는 단계; 선정된 후보 절편의 모든 경로를 탐색하여 연결 가능한 구조를 생성하는 단계; 및 선정된 후보 절편의 2D 혈관의 후보 라인에 대하여 연결 관계 분석을 수행하여 부모 후보 라인과 연결되지 않는 자식 후보 라인은 제거하는 단계;를 포함할 수 있다.
본 발명의 실시예에서, 상기 연결 관계 분석은 리프(Leaf) 노드를 포함하는 최하위 레벨(Level)에서 루트(Root) 노드를 포함하는 최상위 레벨까지 순서대로 수행할 수 있다.
본 발명의 실시예에서, 상기 유사성을 비교하여 2D 혈관의 후보 라인을 선정하는 단계는, 상기 3D 혈관 그래프의 절편과 상기 2D 혈관의 후보 라인 사이의 거리, 기울기, 길이 및 두께 차이를 이용하여 유사성을 비교할 수 있다.
본 발명의 실시예에서, 상기 3D 혈관 그래프의 정점의 위치를 선정된 2D 혈관의 후보 라인의 정점으로 이동시키는 비강체 변형 단계는, 상기 에너지 함수는 연속성(Continuous)을 계산하는 에너지 항, 곡률을 계산하는 에너지 항 및 3D 혈관을 2D 혈관에 맞추어 위치와 형태가 변화하도록 만들어주는 에너지 항을 포함할 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 상기 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 혈관 특징 정보 기반 다중 모달리티 비강체 정합 장치는, 시술 전 촬영된 3D CTA 영상과 시술 중 촬영되는 2D XA 영상의 공간을 일치시키기 위한 강체 정합을 수행하는 강체 정합부; 상기 3D CTA 영상과 상기 2D XA 영상의 각 혈관 중심선(Centerline)으로부터 정점(Point), 에지(Edge) 및 루트(Root)로 표현되는 혈관 구조에 대한 3D 혈관 그래프 및 2D 혈관 그래프를 생성하는 그래프 생성부; 상기 3D 혈관 그래프에서 부모와 자식 노드로 연결된 절편(Segment)에 대응하는 상기 2D 혈관 그래프의 경로를 탐색하여, 상기 2D 혈관 그래프의 후보 절편들을 재구성하는 혈관 분석부; 상기 3D CTA 영상의 한 정점에 대한 수직 기울기 및 상기 한 점과 미리 설정한 범위내의 인접하는 정점과의 거리를 기초로, 상기 3D 혈관 그래프의 정점과 상기 2D 혈관 그래프의 정점을 각각 매칭하는 매칭부; 상기 3D 혈관 그래프의 절편과 상기 2D 혈관 그래프의 후보 절편들의 유사성을 비교하여 2D 혈관의 후보 라인을 선정하는 유사도 비교부; 및 미리 정의된 에너지 함수가 최소값을 갖도록 경사 하강법(Gradient Decent Method)을 이용하여 상기 3D 혈관 그래프의 정점의 위치를 선정된 2D 혈관의 후보 라인의 정점으로 이동시키는 비강체 변형부;를 포함한다.
이와 같은 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법에 따르면, 혈관의 심장 박동과 호흡 등 기타 외부 요인에 따른 위치와 형태 변화를 반영 가능하도록 함으로써 강체 정합의 한계를 극복하여 보다 정확한 혈관 정보를 제공할 수 있다.
또한, 본 발명은 관상동맥 중재술 뿐 아니라 진단, 치료 확인, 혈관 자동 Labeling, 추적(Follow-up) 검사와 연구 등을 위한 보조 영상으로도 활용될 수 있다. 또한, 심혈관 뿐 아니라 다른 혈관 혹은 혈관과 유사한 시술/수술 도구를 분할하는 응용 분야에 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 혈관 특징 정보 기반 다중 모달리티 비강체 정합 장치의 블록도이다.
도 2는 도 1의 그래프 생성부에서 혈관 구조에 대한 그래프를 생성하는 과정을 설명하기 위한 도면이다.
도 3은 도 1의 혈관 분석부에서 3D 혈관의 절편(Segment)을 추출하는 과정을 설명하기 위한 도면이다.
도 4는 도 3의 3D 혈관의 절편과 대응하는 2D 혈관의 조합 가능한 모든 연결 구조를 생성하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 거리와 기울기를 이용한 정점 매칭을 종래 기술과 비교한 도면이다.
도 6은 본 발명의 일 실시예에 따른 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법의 흐름도이다.
도 2는 도 1의 그래프 생성부에서 혈관 구조에 대한 그래프를 생성하는 과정을 설명하기 위한 도면이다.
도 3은 도 1의 혈관 분석부에서 3D 혈관의 절편(Segment)을 추출하는 과정을 설명하기 위한 도면이다.
도 4는 도 3의 3D 혈관의 절편과 대응하는 2D 혈관의 조합 가능한 모든 연결 구조를 생성하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 거리와 기울기를 이용한 정점 매칭을 종래 기술과 비교한 도면이다.
도 6은 본 발명의 일 실시예에 따른 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법의 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 혈관 특징 정보 기반 다중 모달리티 비강체 정합 장치의 블록도이다.
본 발명에 따른 혈관 특징 정보 기반 다중 모달리티 비강체 정합 장치(10, 이하 장치)는 시술자에게 유용한 가이딩 정보 제공을 위해 동일 환자의 시술 전 촬영된 3D CTA 영상과 시술 중 촬영된 2D XA 영상의 빠르고 정확한 정합 기법을 제공한다.
도 1을 참조하면, 본 발명에 따른 장치(10)는 강체 정합부(100), 그래프 생성부(200), 혈관 분석부(300), 매칭부(400), 유사도 비교부(500) 및 비강체 변형부(600)를 포함한다.
본 발명의 상기 장치(10)는 혈관 특징 정보 기반 다중 모달리티 비강체 정합을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 강체 정합부(100), 상기 그래프 생성부(200), 상기 혈관 분석부(300), 상기 매칭부(400), 상기 유사도 비교부(500) 및 상기 비강체 변형부(600)의 구성은 상기 장치(10)에서 실행되는 상기 혈관 특징 정보 기반 다중 모달리티 비강체 정합을 수행하기 위한 소프트웨어에 의해 제어될 수 있다.
상기 장치(10)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 상기 강체 정합부(100), 상기 그래프 생성부(200), 상기 혈관 분석부(300), 상기 매칭부(400), 상기 유사도 비교부(500) 및 상기 비강체 변형부(600)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.
상기 장치(10)는 이동성을 갖거나 고정될 수 있다. 상기 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
상기 장치(10)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
상기 강체 정합부(100)는 시술 전 촬영된 3D CTA(Computed Tomography Angiography) 영상과 시술 중 촬영되는 2D XA(X-ray Angiogram) 영상의 공간을 일치시키기 위한 강체 정합을 수행한다.
다중 모달리티(Multi-Modality) 영상의 정합은 2D XA 영상과 3D CTA 영상의 정합 공간 일치를 선행한다. 이는 2D XA 영상 촬영 시 함께 획득되는 DICOM(Digital Imaging and Communications in Medicine) 정보를 기반으로 한다.
DICOM 정보는 3D CTA 영상으로부터 추출된 3D 혈관 중심선(Centerline)에 적용되며, 2D XA 영상이 획득 될 당시의 가상환경을 만들고, 이를 아래의 수학식 1에 적용 및 투영하여 정합공간을 일치한다.
[수학식 1]
그러나, DICOM 정보에는 이동 변수 t가 존재하지 않으며, 혈관의 위치는 환자의 자세, 심장 박동과 호흡 등 기타 외부 요인에 영향을 받기 때문에 오차를 최소화하기 위하여 정밀 정합을 수행한다.
빠르고 정확한 거리 비교를 위하여 세선화 과정을 수행한 후, 거리맵을 생성하여 유사성 비교를 수행한다. 또한, 파웰 최적화 기법을 적용한 변환 함수(Transformation Function)를 사용하여 정밀 정합을 수행한다.
상기 변환 함수는 x축, y축, z축 방향에 대한 이동 벡터(
, 
, 
)와 x축, y축, z축을 중심으로 하는 회전 벡터(
, 
, 
)로 이루어진다. 이를 위해 투영된 3D 혈관 Centerline의 중심점(
)을 원점으로 이동시킨 뒤 회전 벡터와 이동 벡터를 순차적으로 변환한다.
이어서 2D 혈관 중심선의 중심점(
)으로 3D 혈관 중심선의 중심점(
)을 이동하여 아래의 수학식 2와 같이 변환한다.
[수학식 2]
그러나, 상기 강체정합의 상세한 과정은 일 실시예에 불과하고, 2D XA 영상과 3D CTA 영상간의 다른 강체정합 기술로 대체하여 사용할 수도 있다.
상기 그래프 생성부(200)는 상기 3D CTA 영상과 상기 2D XA 영상의 각 혈관 중심선(Centerline)으로부터 정점(Point), 에지(Edge) 및 루트(Root)로 표현되는 혈관 구조에 대한 3D 혈관 그래프 및 2D 혈관 그래프를 생성한다.
도 2는 도 1의 그래프 생성부에서 혈관 구조에 대한 그래프를 생성하는 과정을 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명에서는 혈관 구조의 복잡도를 낮추어 효율적인 2D 혈관 및 3D 혈관 비교를 수행하기 위하여 혈관 구조에 대한 그래프 구조를 생성한다. 이는 그래프구조 
와 형태 속성 
로 구성된 
로 표현한다.
그래프 구조 
는 정점 
, Edge 
, Root 
로 구성되며 
로 표현한다. 형태 속성 
는 Edge당 n개의 혈관 중심선의 중점들(Centerline Points)로 구성되어 있고, 이는 
와 
로 표현한다.
상기 혈관 분석부(300)는 상기 3D 혈관 그래프에서 부모와 자식 노드로 연결된 절편(Segment)에 대응하는 상기 2D 혈관 그래프의 경로를 탐색하여, 상기 2D 혈관 그래프의 후보 절편들을 재구성한다.
도 3은 도 1의 혈관 분석부에서 3D 혈관의 절편(Segment)을 추출하는 과정을 설명하기 위한 도면이다. 도 4는 도 3의 3D 혈관의 절편과 대응하는 2D 혈관의 조합 가능한 모든 연결 구조를 생성하는 과정을 설명하기 위한 도면이다.
본 발명에서는 도 3과 같이 추출된 
에 대응하는 
에 대하여 혈관구조 재구성을 위해 다음과 같은 2가지 사실을 전제로 수행한다. 1) 동일 환자의 2D, 3D 혈관 데이터를 사용하기 때문에 정확하게 분할된 
와 
는 유사하다. 2) 강체정합을 통해 동일한 
와 
는 일정 범위 내에 존재한다.
이러한 가정을 기반으로 각 
에 대하여 
를 만족하는 
를 
에 대한 후보 절편(Candidate Segment)의 집합을 
라고 정의한다. 이때, 
은 2D 후보 절편 개수를 의미한다.
이어서, 
을 이용하여 
와 유사한 하나의 연결된 구조를 생성한다. 
에 대하여 생성된 연결된 구조를 
라 정의한다. 
은 모든 경로를 탐색하여 후보 절편 사이의 연결 가능한 모든 구조를 도 4와 같이 생성한다.
마지막으로, 후보 절편들을 구성하는 후보 라인(Candi-Line)에 대하여 연결 관계 분석을 수행하여 불필요한 후보 라인을 제거한다. 연결 관계 분석은 리프(Leaf) 노드를 포함하는 최하위 레벨(Level)에서 루트(Root) 노드를 포함하는 최상위 레벨 순서로 수행할 수 있다.
3D 혈관 구조는 끊어짐 없는 하나의 연결된 구조이기 때문에 인접한 부모-자식 노드로 연결된 3D 절편(Segment)을 기준으로 2D 후보 라인의 연결요소를 분석한다. 이때, 부모 후보 라인과 연결되지 않는 자식 후보 라인은 불필요한 후보 라인으로 간주하고 제거할 수 있다.
상기 매칭부(400)는 상기 3D CTA 영상의 한 정점에 대한 수직 기울기 및 상기 한 점과 미리 설정한 범위내의 인접하는 정점과의 거리를 기초로, 상기 3D 혈관 그래프의 정점과 상기 2D 혈관 그래프의 정점을 각각 매칭한다.
도 5는 본 발명의 거리와 기울기를 이용한 정점 매칭을 종래 기술과 비교한 도면이다.
도 5(a)는 거리 기반의 매칭 방법이고, 도 5(a)는 기울기 기반의 매칭 방법을 나타낸다. 3D 혈관 중심선의 각 정점(Point)과 매칭(Matching)되는 최적의 2D 혈관 중심선의 정점을 찾기 위해 혈관 중심선의 곡률 정보를 이용한다.
도 5를 참조하면, 단순 곡률만을 이용한 Point Matching을 수행할 경우, 분할 혹은 정합 과정에서 발생하는 오차, 박동, 호흡 등과 같은 변형으로 인해 일부 영역에서 잘못된 Point Matching이 이루어질 수 있다. 또한, 2D XA 영상의 깊이(Depth) 정보 부족으로 인해 여러 개의 Point가 Matching 될 수 있다.
이러한 오차를 고려하여 강건하고 정확한 Matching을 수행하기 위해, 본 발명에서는 주변 인접 Point의 정보를 함께 이용하여 아래의 수학식 3을 이용한다.
[수학식 3]
상기 유사도 비교부(500)는 상기 3D 혈관 그래프의 절편과 상기 2D 혈관 그래프의 후보 절편들의 유사성을 비교하여 2D 혈관의 후보 라인을 선정한다.
본 발명에서는 정확한 유사성 비교를 위해 3D 절편과 후보 라인(Candi-Line) 사이의 거리, 기울기, 길이, 두께 차이를 이용하여 아래의 수학식 4를 통해 최적의 후보 라인을 선별한다.
[수학식 4]
수학식 4 에서 
, 
, 
는 3D 절편과 후보 라인 사이의 기울기, 두께, 길이 차이를 의미한다. 
는 0이상의 값을 가지며, 각 항에 대해 끼치는 영향의 정도를 의미한다. 이는 실험적으로 결정될 수 있으며, 각각의 항들은 아래의 수학식 5 내지 수학식 7과 같이 정의된다.
[수학식 5]
[수학식 6]
[수학식 7]
[수학식 8]
[수학식 9]
여기서 
은 점 
의 차원을 나타낸다.상기 비강체 변형부(600)는 미리 정의된 에너지 함수가 최소값을 갖도록 경사 하강법(Gradient Decent Method)을 이용하여 상기 3D 혈관 그래프의 정점의 위치를 선정된 2D 혈관의 후보 라인의 정점으로 이동시킨다.
혈관 중심선의 위치와 형태를 변화시키기 위해 에너지 함수를 정의하고 에너지 함수가 최소값을 갖도록 경사 하강법(Gradient Decent Method)을 이용하여 3D 혈관 Centerline Point들의 위치를 변동시킨다. 에너지 함수는 아래의 수학식 10과 같이 3개의 항으로 정의된다.
[수학식 10]
각 에너지 항은 3D 혈관 중심선의 토폴로지 정보를 보존하면서 형태와 위치가 2D 혈관 중심선에 근사하도록 유도하는 역할을 한다. 
는 혈관 중심선의 연속성(Continuous)을 나타낸다. 혈관 중심선 
가 
개의 점
으로 구성될 때, 
번째 Point에서의 
는 아래의 수학식 11과 같다.
[수학식 11]
[수학식 12]
[수학식 13]
또한, 본 발명은 관상동맥 중재술 뿐 아니라 진단, 치료 확인, 혈관 자동 Labeling, 추적(Follow-up) 검사와 연구 등을 위한 보조 영상으로도 활용될 수 있다. 또한, 심혈관 뿐 아니라 다른 혈관 혹은 혈관과 유사한 시술/수술 도구를 분할하는 응용 분야에 적용될 수 있다.
도 6은 본 발명의 일 실시예에 따른 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법의 흐름도이다.
본 실시예에 따른 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법은, 도 1의 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다.
또한, 본 실시예에 따른 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법은 혈관 특징 정보 기반 다중 모달리티 비강체 정합을 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.
본 발명에 따른 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법은 시술자에게 유용한 가이딩 정보 제공을 위해 동일 환자의 시술 전 촬영된 3D CTA 영상과 시술 중 촬영된 2D XA 영상의 빠르고 정확한 정합 기법을 제공한다.
도 6을 참조하면, 본 실시예에 따른 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법은, 시술 전 촬영된 3D CTA 영상과 시술 중 촬영되는 2D XA 영상의 공간을 일치시키기 위한 강체 정합을 수행한다(단계 S10).
상기 강체 정합을 수행하는 단계(단계 S10)는, 상기 2D XA 영상 촬영 시 DICOM(Digital Imaging and Communications in Medicine) 정보를 획득하는 단계, 상기 DICOM 정보를 상기 3D CTA 영상으로부터 추출된 3D 혈관 중심선에 적용하여, 상기 2D XA 영상이 획득 될 당시의 가상환경을 생성하는 단계 및 상기 3D 혈관 중심선과 2D 혈관 중심선을 상기 가상환경에 투영하여 정합공간을 일치시키는 정밀 정합을 수행하는 단계를 수행할 수 있다.
상기 정밀 정합을 수행하는 단계는, 상기 3D 혈관 중심선과 2D 혈관 중심선의 세선화 과정을 수행하는 단계, 세선화된 3D 혈관 중심선과 2D 혈관 중심선의 거리맵을 생성하는 단계, 상기 거리맵을 기초로 유사성 비교를 수행하는 단계 및 파웰 최적화 기법을 적용한 변환 함수(Transformation Function)를 사용하여 정밀 정합을 수행하는 단계를 수행할 수 있다.
여기서, 상기 정밀 정합을 수행하는 단계는, 상기 가상환경에 투영된 3D 혈관 중심선의 중심점을 원점으로 이동시키는 단계, 상기 원점을 기준으로 상기 3D 혈관 중심선의 회전 벡터와 이동 벡터를 순차적으로 변환하는 단계 및 상기 2D 혈관 중심선의 중심점으로 상기 3D 혈관 중심선의 중심점을 이동하는 단계를 수행할 수 있다.
상기 3D CTA 영상과 상기 2D XA 영상의 각 혈관 중심선(Centerline)으로부터 정점(Point), 에지(Edge) 및 루트(Root)로 표현되는 혈관 구조에 대한 3D 혈관 그래프 및 2D 혈관 그래프를 생성한다(단계 S20).
본 발명에서는 혈관 구조의 복잡도를 낮추어 효율적인 2D 혈관 및 3D 혈관 비교를 수행하기 위하여 혈관 구조에 대한 그래프 구조를 생성한다. 이는 그래프구조 
와 형태 속성 
로 구성된 
로 표현한다.
그래프 구조 
는 정점 
, Edge 
, Root 
로 구성되며 
로 표현한다. 형태 속성 
는 Edge당 n개의 혈관 중심선의 중점들(Centerline Points)로 구성되어 있고, 이는 
와 
로 표현한다.
상기 3D 혈관 그래프에서 부모와 자식 노드로 연결된 절편(Segment)에 대응하는 상기 2D 혈관 그래프의 경로를 탐색하여, 상기 2D 혈관 그래프의 후보 절편들을 재구성한다(단계 S30).
상기 2D 혈관 그래프의 후보 절편들을 재구성하는 단계(단계 S30)는, 상기 3D 혈관 그래프 및 상기 2D 혈관 그래프의 형태 속성은 유사하고, 일정 범위 내에 존재한다는 가정하에 수행된다.
구체적으로, 상기 3D 혈관 그래프 및 상기 2D 혈관 그래프의 형태 속성의 거리가 미리 설정한 임계치 보다 낮은 상기 2D 혈관 그래프의 후보 절편들을 추출하고, 상기 2D 혈관 그래프의 후보 절편들 중 상기 3D 혈관 그래프의 형태 속성과 가장 유사한 하나의 후보 절편을 선정한다.
선정된 후보 절편의 모든 경로를 탐색하여 연결 가능한 구조를 생성하고, 선정된 후보 절편의 2D 혈관의 후보 라인에 대하여 연결 관계 분석을 수행하여 부모 후보 라인과 연결되지 않는 자식 후보 라인은 제거하는 과정을 거친다.
상기 연결 관계 분석은 리프(Leaf) 노드를 포함하는 최하위 레벨(Level)에서 루트(Root) 노드를 포함하는 최상위 레벨까지 순서대로 수행할 수 있다.
상기 3D CTA 영상의 한 정점에 대한 수직 기울기 및 상기 한 점과 미리 설정한 범위내의 인접하는 정점과의 거리를 기초로, 상기 3D 혈관 그래프의 정점과 상기 2D 혈관 그래프의 정점을 각각 매칭한다(단계 S40).
단순 곡률만을 이용한 Point Matching을 수행할 경우, 분할 혹은 정합 과정에서 발생하는 오차, 박동, 호흡 등과 같은 변형으로 인해 일부 영역에서 잘못된 Point Matching이 이루어질 수 있다. 또한, 2D XA 영상의 깊이(Depth) 정보 부족으로 인해 여러 개의 Point가 Matching 될 수 있다.
이러한 오차를 고려하여 강건하고 정확한 Matching을 수행하기 위해, 본 발명에서는 주변 인접 Point의 거리와 기울기 정보를 함께 이용한다.
상기 3D 혈관 그래프의 절편과 상기 2D 혈관 그래프의 후보 절편들의 유사성을 비교하여 2D 혈관의 후보 라인을 선정한다(단계 S50).
최적의 후보 라인을 선별하기 위해 상기 3D 혈관 그래프의 절편과 상기 2D 혈관의 후보 라인 사이의 거리, 기울기, 길이 및 두께 차이를 이용하여 유사성을 비교한다.
미리 정의된 에너지 함수가 최소값을 갖도록 경사 하강법(Gradient Decent Method)을 이용하여 상기 3D 혈관 그래프의 정점의 위치를 선정된 2D 혈관의 후보 라인의 정점으로 이동시키는 비강체 변형한다(단계 S60).
상기 에너지 함수는 연속성(Continuous)을 계산하는 에너지 항, 곡률을 계산하는 에너지 항 및 3D 혈관을 2D 혈관에 맞추어 위치와 형태가 변화하도록 만들어주는 에너지 항을 포함할 수 있다.
이에 따라, 본 발명은 혈관의 심장 박동과 호흡 등 기타 외부 요인에 따른 위치와 형태 변화를 반영 가능하도록 함으로써 강체 정합의 한계를 극복하여 보다 정확한 혈관 정보를 제공할 수 있다.
이와 같은, 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명은 동일 환자의 시술 전 촬영된 3D CTA 영상을 이용하여 시술 중 촬영되는 2D XA 영상과 융합 가시화하기 위한 빠르고 정확한 정합 기법을 제공하므로, 2D XA 영상을 활용하여 시술을 진행하는 임상의가 혈관 구조 파악을 쉽게 할 수 있도록 도움을 줄 수 있다. 이에 따라, 임상의에게 네비게이션 정보를 제공하고, 시술 및 수술 시간을 단축하여 의료 분야에 효율적으로 활용될 수 있다.
10: 혈관 특징 정보 기반 다중 모달리티 비강체 정합 장치
100: 강체 정합부
200: 그래프 생성부
300: 혈관 분석부
400: 매칭부
500: 유사도 비교부
600: 비강체 변형부
100: 강체 정합부
200: 그래프 생성부
300: 혈관 분석부
400: 매칭부
500: 유사도 비교부
600: 비강체 변형부
Claims (11)
- 혈관 특징 정보 기반 다중 모달리티 비강체 정합 장치에서 수행되는 다중 모달리티 비강체 정합 방법에 있어서,
시술 전 촬영된 3D CTA 영상과 시술 중 촬영되는 2D XA 영상의 공간을 일치시키기 위한 강체 정합을 수행하는 단계;
상기 3D CTA 영상과 상기 2D XA 영상의 각 혈관 중심선(Centerline)으로부터 정점(Point), 에지(Edge) 및 루트(Root)로 표현되는 혈관 구조에 대한 3D 혈관 그래프 및 2D 혈관 그래프를 생성하는 단계;
상기 3D 혈관 그래프에서 부모와 자식 노드로 연결된 절편(Segment)에 대응하는 상기 2D 혈관 그래프의 경로를 탐색하여, 상기 2D 혈관 그래프의 후보 절편들을 재구성하는 단계;
상기 3D CTA 영상의 한 정점에 대한 수직 기울기 및 상기 한 점과 미리 설정한 범위내의 인접하는 정점과의 거리를 기초로, 상기 3D 혈관 그래프의 정점과 상기 2D 혈관 그래프의 정점을 각각 매칭하는 단계;
상기 3D 혈관 그래프의 절편과 상기 2D 혈관 그래프의 후보 절편들의 유사성을 비교하여 2D 혈관의 후보 라인을 선정하는 단계; 및
미리 정의된 에너지 함수가 최소값을 갖도록 경사 하강법(Gradient Decent Method)을 이용하여 상기 3D 혈관 그래프의 정점의 위치를 선정된 2D 혈관의 후보 라인의 정점으로 이동시키는 비강체 변형 단계;를 포함하는, 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법.
- 제1항에 있어서, 상기 강체 정합을 수행하는 단계는,
상기 2D XA 영상 촬영 시 DICOM(Digital Imaging and Communications in Medicine) 정보를 획득하는 단계;
상기 DICOM 정보를 상기 3D CTA 영상으로부터 추출된 3D 혈관 중심선에 적용하여, 상기 2D XA 영상이 획득 될 당시의 가상환경을 생성하는 단계; 및
상기 3D 혈관 중심선과 2D 혈관 중심선을 상기 가상환경에 투영하여 정합공간을 일치시키는 정밀 정합을 수행하는 단계;를 포함하는, 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법.
- 제2항에 있어서, 상기 정밀 정합을 수행하는 단계는,
상기 3D 혈관 중심선과 2D 혈관 중심선의 세선화 과정을 수행하는 단계;
세선화된 3D 혈관 중심선과 2D 혈관 중심선의 거리맵을 생성하는 단계;
상기 거리맵을 기초로 유사성 비교를 수행하는 단계; 및
파웰 최적화 기법을 적용한 변환 함수(Transformation Function)를 사용하여 정밀 정합을 수행하는 단계;를 포함하는, 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법.
- 제3항에 있어서, 상기 정밀 정합을 수행하는 단계는,
상기 가상환경에 투영된 3D 혈관 중심선의 중심점을 원점으로 이동시키는 단계;
상기 원점을 기준으로 상기 3D 혈관 중심선의 회전 벡터와 이동 벡터를 순차적으로 변환하는 단계; 및
상기 2D 혈관 중심선의 중심점으로 상기 3D 혈관 중심선의 중심점을 이동하는 단계;를 포함하는, 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법.
- 제1항에 있어서, 상기 2D 혈관 그래프의 후보 절편들을 재구성하는 단계는,
상기 3D 혈관 그래프 및 상기 2D 혈관 그래프의 형태 속성은 유사하고, 일정 범위 내에 존재한다는 가정하에 수행되는, 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법.
- 제5항에 있어서, 상기 2D 혈관 그래프의 후보 절편들을 재구성하는 단계는,
상기 3D 혈관 그래프 및 상기 2D 혈관 그래프의 형태 속성의 거리가 미리 설정한 임계치 보다 낮은 상기 2D 혈관 그래프의 후보 절편들을 추출하는 단계;
상기 2D 혈관 그래프의 후보 절편들 중 상기 3D 혈관 그래프의 형태 속성과 가장 유사한 하나의 후보 절편을 선정하는 단계;
선정된 후보 절편의 모든 경로를 탐색하여 연결 가능한 구조를 생성하는 단계; 및
선정된 후보 절편의 2D 혈관의 후보 라인에 대하여 연결 관계 분석을 수행하여 부모 후보 라인과 연결되지 않는 자식 후보 라인은 제거하는 단계;를 포함하는, 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법.
- 제6항에 있어서,
상기 연결 관계 분석은 리프(Leaf) 노드를 포함하는 최하위 레벨(Level)에서 루트(Root) 노드를 포함하는 최상위 레벨까지 순서대로 수행하는, 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법.
- 제1항에 있어서, 상기 유사성을 비교하여 2D 혈관의 후보 라인을 선정하는 단계는,
상기 3D 혈관 그래프의 절편과 상기 2D 혈관의 후보 라인 사이의 거리, 기울기, 길이 및 두께 차이를 이용하여 유사성을 비교하는, 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법.
- 제1항에 있어서, 상기 3D 혈관 그래프의 정점의 위치를 선정된 2D 혈관의 후보 라인의 정점으로 이동시키는 비강체 변형 단계는,
상기 에너지 함수는 연속성(Continuous)을 계산하는 에너지 항, 곡률을 계산하는 에너지 항 및 3D 혈관을 2D 혈관에 맞추어 위치와 형태가 변화하도록 만들어주는 에너지 항을 포함하는, 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법.
- 제1항에 있어서,
상기 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 저장 매체.
- 시술 전 촬영된 3D CTA 영상과 시술 중 촬영되는 2D XA 영상의 공간을 일치시키기 위한 강체 정합을 수행하는 강체 정합부;
상기 3D CTA 영상과 상기 2D XA 영상의 각 혈관 중심선(Centerline)으로부터 정점(Point), 에지(Edge) 및 루트(Root)로 표현되는 혈관 구조에 대한 3D 혈관 그래프 및 2D 혈관 그래프를 생성하는 그래프 생성부;
상기 3D 혈관 그래프에서 부모와 자식 노드로 연결된 절편(Segment)에 대응하는 상기 2D 혈관 그래프의 경로를 탐색하여, 상기 2D 혈관 그래프의 후보 절편들을 재구성하는 혈관 분석부;
상기 3D CTA 영상의 한 정점에 대한 수직 기울기 및 상기 한 점과 미리 설정한 범위내의 인접하는 정점과의 거리를 기초로, 상기 3D 혈관 그래프의 정점과 상기 2D 혈관 그래프의 정점을 각각 매칭하는 매칭부;
상기 3D 혈관 그래프의 절편과 상기 2D 혈관 그래프의 후보 절편들의 유사성을 비교하여 2D 혈관의 후보 라인을 선정하는 유사도 비교부; 및
미리 정의된 에너지 함수가 최소값을 갖도록 경사 하강법(Gradient Decent Method)을 이용하여 상기 3D 혈관 그래프의 정점의 위치를 선정된 2D 혈관의 후보 라인의 정점으로 이동시키는 비강체 변형부;를 포함하는, 혈관 특징 정보 기반 다중 모달리티 비강체 정합 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200027121A KR102350998B1 (ko) | 2020-03-04 | 2020-03-04 | 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법, 이를 수행하기 위한 기록 매체 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200027121A KR102350998B1 (ko) | 2020-03-04 | 2020-03-04 | 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법, 이를 수행하기 위한 기록 매체 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210112436A KR20210112436A (ko) | 2021-09-15 |
| KR102350998B1 true KR102350998B1 (ko) | 2022-01-14 |
Family
ID=77793241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200027121A KR102350998B1 (ko) | 2020-03-04 | 2020-03-04 | 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법, 이를 수행하기 위한 기록 매체 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102350998B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116649995B (zh) * | 2023-07-25 | 2023-10-27 | 杭州脉流科技有限公司 | 基于颅内医学影像的血流动力学参数获取方法和装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130094745A1 (en) | 2011-09-28 | 2013-04-18 | Siemens Corporation | Non-rigid 2d/3d registration of coronary artery models with live fluoroscopy images |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7450743B2 (en) | 2004-01-21 | 2008-11-11 | Siemens Medical Solutions Usa, Inc. | Method and system of affine registration of inter-operative two dimensional images and pre-operative three dimensional images |
| EP2747695B1 (en) | 2011-10-26 | 2017-09-13 | Koninklijke Philips N.V. | Endoscopic registration of vessel tree images |
| KR101485899B1 (ko) | 2013-04-02 | 2015-01-26 | 연세대학교 산학협력단 | 방사선 불투과성 반구형 입체 표지를 기반으로 하는 ct 혈관 조영 영상과 x-선 혈관 조영 영상 간의 정합 방법 |
| KR101785293B1 (ko) * | 2015-12-02 | 2017-10-17 | 숭실대학교산학협력단 | 3d cta 영상 정보를 활용한 2d xa 영상에서의 자동 혈관 구조 해석 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| KR101900679B1 (ko) * | 2016-12-02 | 2018-09-20 | 숭실대학교산학협력단 | 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| KR102050649B1 (ko) * | 2018-01-08 | 2019-12-17 | 숭실대학교산학협력단 | 2차원 x-선 조영영상의 혈관 구조 추출 방법, 이를 수행하기 위한 기록매체 및 장치 |
-
2020
- 2020-03-04 KR KR1020200027121A patent/KR102350998B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130094745A1 (en) | 2011-09-28 | 2013-04-18 | Siemens Corporation | Non-rigid 2d/3d registration of coronary artery models with live fluoroscopy images |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210112436A (ko) | 2021-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11816837B2 (en) | Vascular characteristic determination with correspondence modeling of a vascular tree | |
| KR102050649B1 (ko) | 2차원 x-선 조영영상의 혈관 구조 추출 방법, 이를 수행하기 위한 기록매체 및 장치 | |
| JP6878439B2 (ja) | 体部の３次元モデル | |
| JP6636331B2 (ja) | 血流予備量比の算出 | |
| US8150113B2 (en) | Method for lung lesion location identification | |
| JP5950782B2 (ja) | ライブ蛍光透視画像を用いた冠動脈モデルの非剛体２ｄ／３ｄレジストレーション | |
| JP5584006B2 (ja) | 投影画像生成装置、投影画像生成プログラムおよび投影画像生成方法 | |
| US9715637B2 (en) | Method and system for automatic aorta segmentation | |
| Movassaghi et al. | A quantitative analysis of 3-D coronary modeling from two or more projection images | |
| US20120083696A1 (en) | Apparatus, method and medium storing program for reconstructing intra-tubular-structure image | |
| JP2014161734A (ja) | 医療画像を整合する方法及びその装置 | |
| CN109360209B (zh) | 一种冠状血管分割方法及系统 | |
| JP2009504297A (ja) | 自動４ｄ冠動脈モデリングおよび動きベクトル場推定のための方法および装置 | |
| EP1846753A2 (en) | System for the determination of vessel geometry and flow characteristics | |
| KR101900679B1 (ko) | 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| US8428316B2 (en) | Coronary reconstruction from rotational X-ray projection sequence | |
| US11017531B2 (en) | Shell-constrained localization of vasculature | |
| CN112862833A (zh) | 血管分段方法、电子装置和存储介质 | |
| KR102372046B1 (ko) | 인공지능 기술을 이용한 혈관 구조 추출 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| US20120069017A1 (en) | Method and System for Efficient Extraction of a Silhouette of a 3D Mesh | |
| KR101785293B1 (ko) | 3d cta 영상 정보를 활용한 2d xa 영상에서의 자동 혈관 구조 해석 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| CN107392891B (zh) | 血管树提取方法、装置、设备及存储介质 | |
| CN117115150A (zh) | 用于确定分支血管的方法、计算设备和介质 | |
| KR102350998B1 (ko) | 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| Schaap | Quantitative Image Analysis in Cardiac CT Angiography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |