KR101652641B1 - Ecg 신호를 이용한 영상 정합 장치 및 그 방법 - Google Patents

Ecg 신호를 이용한 영상 정합 장치 및 그 방법 Download PDF

Info

Publication number
KR101652641B1
KR101652641B1 KR1020150079825A KR20150079825A KR101652641B1 KR 101652641 B1 KR101652641 B1 KR 101652641B1 KR 1020150079825 A KR1020150079825 A KR 1020150079825A KR 20150079825 A KR20150079825 A KR 20150079825A KR 101652641 B1 KR101652641 B1 KR 101652641B1
Authority
KR
South Korea
Prior art keywords
dimensional image
matching
image
blood vessel
center line
Prior art date
Application number
KR1020150079825A
Other languages
English (en)
Inventor
이정진
박태용
신용빈
임선혜
구교영
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020150079825A priority Critical patent/KR101652641B1/ko
Application granted granted Critical
Publication of KR101652641B1 publication Critical patent/KR101652641B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A61B5/0456—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/504—Clinical applications involving diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound

Abstract

본 발명은 ECG 신호를 이용한 영상 정합 장치 및 그 방법에 관한 것이다. 본 발명에 따른 ECG 신호를 이용한 영상 정합 방법은 피검자로부터 측정된 ECG 신호를 의료 시술 중 실시간으로 촬영된 2차원 영상의 수에 맞추어 정규화하여, 상기 ECG 신호와 상기 2차원 영상을 매칭시키고, 상기 ECG 신호를 이용하여 RR인터벌을 추출하는 단계, 상기 RR인터벌 구간에서 상기 2차원 영상의 혈관 변화량을 측정하는 단계, 의료 시술 이전에 기 촬영된 3차원 영상을 기하변환하면서 2차원으로 투영하여 상기 3차원 영상과 상기 2차원 영상의 공간적 차원을 일치시키는 단계, 상기 3차원 영상의 각 픽셀에 대하여 상기 3차원 영상에 포함된 혈관에 대응되는 픽셀 간 거리를 이용하여 2차원 거리맵을 생성하는 단계, 그리고 상기 2차원 영상의 혈관 중심선(Centerline)과 상기 3차원 영상의 혈관 중심선(Centerline) 간 거리 차이가 최소가 되는 위치 정보를 획득하여, 해당 위치에서 상기 2차원 영상과 상기 3차원 영상을 정합하는 단계를 포함한다.
이와 같이 본 발명에 의하면, ECG 신호를 이용한 영상 정합 장치 및 그 방법을 이용함으로써, 정밀 정합 이전에 초기 정합을 수행하여 회전 벡터와 이동 벡터의 범위를 제한함으로써 불필요한 연산량을 최소화하고, 거리맵 생성에 소요되는 시간을 절감할 수 있다.

Description

ECG 신호를 이용한 영상 정합 장치 및 그 방법{Method for Image registration Using ECG signal and Apparatus Thereof}
본 발명은 ECG 신호를 이용한 영상 정합 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 수술 중 촬영한 2차원 영상과 수술 전 촬영된 3차원 영상을 신속하고 정확하게 정합하는 ECG 신호를 이용한 영상 정합 장치 및 그 방법에 관한 것이다.
최근 관상동맥 질환이 급격하게 증가하면서 금속 그물망인 스텐트를 병변에 삽입하여 전개시킴으로 협착을 완화시키는 스텐트 삽입술이 이용되고 있다. 스텐트 삽입술은 비수술적 치료방법으로 최소한의 절개와 마취, 침습적 조작을 이용하기 때문에 환자가 느끼는 육체적, 정신적, 경제적 부담이 적다.
그러나 스텐트 삽입술은 의료진이 2D(Xray Angiogram) 영상에 의존하여 의료진의 직관과 촉감적 피드백으로 3차원 구조를 파악하므로, 고난이도 시술의 정확성을 담보하기 어렵다. 이러한 단점을 보완하기 위하여 시술 중 획득되는 2D XA 영상과 시술 전 획득된 3D CTA(Computed Tomography Angiography) 영상을 정합하여 시술 중 실시간으로 보여줄 수 있는 시술보조기술에 대한 연구가 활발히 수행되고 있다.
2D 영상과 3D 영상을 정합하는 기법은 정합 과정에 따라 크게 명암도 기반 정합 기법과 특징 기반 정합 기법으로 구분된다. 명암도 기반 정합 기법은 영상 내 화소의 명암도 사이의 변화량을 계산하는 방법으로 영상 전체를 비교에 사용하기 때문에 정확도가 높은 반면, 수행시간이 오래 걸리고 명암도 변화 및 잡음에 민감하여 국부 최소점(local minimum)에 빠지는 문제가 발생할 수 있다.
대표적인 명암도 기반 정합 기반으로는 PI(Pattern Intensity), 그래디언트 상관관계, 그래디언트 차이를 이용하여 유사도를 측정하고, Best Neighbor 알고리즘을 이용하여 최적화하는 방법이 있다. 이 방법은 정확성은 높지만 수행 시간이 많이 소요된다.
또한, Calibration 과정을 통해 왜곡계수, 회전각도 및 크기변환 추정치를 측정하고, 정규화된 교차 상관값(Normalized Cross Correlation, NCC)을 이용하여 이동변수를 측정하는 방법도 연구되었다. 그러나 이 방법은 NCC의 최적화를 위하여 영상 전체를 검색하므로 수행에 많은 시간이 소요되며, 3D 영상과 2D 영상이 반드시 동일 장비에서 습득되어야 한다는 단점이 있다.
그리고 특징 기반 정합 기법은 정합을 위해 영상의 특징을 추출하고, 추출된 특징 간의 공통된 속성정보를 이용한 대응관계를 설정하여 영상을 정합시키는 방법이다. 특징 기반 정합 기법은 특징만을 이용하기 때문에 정확성이 떨어지는 반면, 빠른 정합이 가능하다. 또한 기하학적 거리를 평가하여 정합하기 때문에 명암도 변화에 강인하여 국소 최소점에 빠지지 않고 더욱 강건하다는 장점이 있다.
대표적인 특징 기반 정합 기법으로는 혈관의 중심선을 추출하여 중심선간의 거리값 최적화를 위해 Brent 알고리즘을 이용하는 방법이 있으나, Brent 알고리즘은 최적의 해를 찾을 수는 있으나 Complex roots를 찾지 못한다는 단점이 있다.
또한, N-Planes bicubic spline을 이용하여 X-ray 원점(source)으로부터 2D XA 영상의 윤곽선까지 투영선(projection line)을 연결하고 3D　CTA 영상의 표면과 유클리드 거리를 Levenberg-Marquardt 알고리즘을 이용하여 거리가 최소가 되도록 하는 방법이 연구되었다. 하지만, Levenberg-Marquardt 알고리즘은 데이터와의 반복적 연산이 필요하므로 데이터 양이 증가할수록 연산량이 기하급수적으로 증가한다.
그리고 특징 기반 정합 기법을 3단계로 구성한 기법도 제안되었다. 먼저 혈관의 중심선을 추출하여 Calibration 과정을 통해 생성된 변수를 이용하여 크기변환과 회전변환 후 투영함으로써 영상의 공간적 차원을 일치시켰다. 다음으로, 투영된 이차원 영상에 회전, 이동, 크기변환을 반복적으로 수행함으로써 혈관들 사이의 거리 최적화를 수행한다. 마지막으로 TPS-RPM 알고리즘을 이용하여 두 혈관의 중심선을 매칭하여 정합한다.
이때, TPS-RPM 알고리즘은 지역적 오류가 있는 지점에서 국부 최소점에 수렴하여 잘못된 결과를 도출할 수 있으며, 3D 객체의 변환을 고려하지 않으므로 정합 후 결과를 3D CTA 영상에 적용할 수 없다.
본 발명의 배경이 되는 기술은 한국공개특허 제10-2015-0027637호(2015.03.12 공개)에 개시되어 있다.
본 발명은 ECG 신호를 이용한 영상 정합 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 수술 중 촬영한 2차원 영상과 수술 전 촬영된 3차원 영상을 신속하고 정확하게 정합하는 ECG 신호를 이용한 영상 정합 장치 및 그 방법을 제공하는데 목적이 있다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 ECG 신호를 이용한 영상 정합 방법은, 피검자로부터 측정된 ECG 신호를 의료 시술 중 실시간으로 촬영된 2차원 영상의 수에 맞추어 정규화하여, 상기 ECG 신호와 상기 2차원 영상을 매칭시키고, 상기 ECG 신호를 이용하여 RR인터벌을 추출하는 단계, 상기 RR인터벌 구간에서 상기 2차원 영상의 혈관 변화량을 측정하는 단계, 의료 시술 이전에 기 촬영된 3차원 영상을 기하변환하면서 2차원으로 투영하여 상기 3차원 영상과 상기 2차원 영상의 공간적 차원을 일치시키는 단계, 상기 3차원 영상의 각 픽셀에 대하여 상기 3차원 영상에 포함된 혈관에 대응되는 픽셀 간 거리를 이용하여 2차원 거리맵을 생성하는 단계, 그리고 상기 2차원 영상의 혈관 중심선(Centerline)과 상기 3차원 영상의 혈관 중심선(Centerline) 간 거리 차이가 최소가 되는 위치 정보를 획득하여, 해당 위치에서 상기 2차원 영상과 상기 3차원 영상을 정합하는 단계를 포함한다.
또한, 상기 RR인터벌을 추출한 후, 상기 혈관 변화량을 임계치와 비교하여, 상기 혈관 변화량이 임계치 미만 구간에서 상기 2차원 영상의 혈관 중심선과 상기 3차원 영상의 혈관 중심선의 거리 차이의 절대값 평균이 최소가 되는 지점을 혈관 변화량이 최소가 되는 지점으로 판단하는 단계, 그리고 상기 혈관 변화량이 최소가 되는 지점을 정합 시작 지점으로 설정하는 단계를 더 포함할 수 있다.
또한, 상기 3차원 영상과 상기 2차원 영상의 공간적 차원을 일치시키는 단계는, 다음의 수학식과 같이, 보정(Calibration)과정에서 생성된 변수를 이용하여 상기 3차원 영상을 기하변환하고, 상기 기하변환된 3차원 영상을 상기 2차원 영상으로 투영하여 상기 2차원 영상과 상기 3차원 영상의 공간적 차원을 일치시키는 단계를 포함할 수 있다.
Figure 112015054424986-pat00001
여기서, x, y는 2차원 영상의 좌표를 의미하고, X, Y, Z는 3차원 영상의 좌표를 의미하며, K[R|t]는 캘리브레이션 행렬을 의미하고, f는 초점거리, mx, my는 pixel/mm로 물리적 단위를 화소 단위로 변환하는데 사용되는 변수이며, px, py는 주점을 의미하고, r은 회전, t는 이동에 사용되는 변수를 의미한다.
또한, 상기 3차원 영상과 상기 2차원 영상의 공간적 차원을 일치시키는 단계는, 상기 2차원 영상 및 상기 3차원 영상의 각각의 혈관 중심선의 시작점과 끝점을 잇는 주축을 생성하고, 상기 2차원 영상의 주축과 상기 3차원 영상의 주축을 정렬시키는 단계, 상기 2차원 영상과 상기 3차원 영상을 복수의 블록으로 분할하고, 혈관 중심선을 포함하는 블록을 추출하는 단계, 그리고 상기 정렬된 주축과 추출된 블록을 이용하여 초기 정합을 수행한 결과, 상기 2차원 영상 및 상기 3차원 영상에 포함된 혈관의 형태 정보의 차이가 임계값 이상인 경우, 상기 2차원 영상에 포함된 혈관과 상기 3차원 영상에 포함된 혈관 사이의 회전 추정치를 예측하고, 상기 2차원 영상 및 상기 3차원 영상으로부터 추출된 상기 혈관 중심선의 끝점을 일치시키는 단계를 더 포함할 수 있다.
또한, 상기 2차원 영상과 상기 3차원 영상을 정합하는 단계는, 상기 혈관 변화량이 임계치 이상인 구간에서의 정합 탐색 범위를 임계치 미만인 구간에서보다 넓게 설정하여 정합을 수행할 수 있다.
또한, 상기 2차원 영상과 상기 3차원 영상을 정합하는 단계는, 다음의 수학식과 같이 상기 2차원 영상의 혈관 중심선과 상기 3차원 영상의 혈관 중심선의 거리 차이의 절대값 평균을 연산하여 상기 2차원 영상의 혈관 중심선과 상기 3차원 영상의 혈관 중심선의 유사성을 측정할 수 있다.
Figure 112015054424986-pat00002
여기서,
Figure 112015054424986-pat00003
는 상기 2차원 영상의 혈관 중심선과 상기 3차원 영상의 혈관 중심선의 거리 차이의 절대값 평균을 의미하고,
Figure 112015054424986-pat00004
는 2차원으로 투영된 상기 3차원 영상의 혈관 중심선의 총 개수이며,
Figure 112015054424986-pat00005
는 2차원으로 투영된 상기 3차원 영상의 혈관 중심선의 i번째 위치를 의미하고,
Figure 112015054424986-pat00006
는 상기 2차원 거리맵을 의미한다.
본 발명의 다른 실시예에 따른 ECG 신호를 이용한 영상 정합 장치는, 피검자로부터 측정된 ECG 신호를 의료 시술 중 실시간으로 촬영된 2차원 영상의 수에 맞추어 정규화하여, 상기 ECG 신호와 상기 2차원 영상을 매칭시키고, 상기 ECG 신호를 이용하여 RR인터벌을 추출하며, 상기 RR인터벌 구간에서 상기 2차원 영상의 혈관 변화량을 측정하는 혈관 변화량 측정부, 의료 시술 이전에 기 촬영된 3차원 영상을 기하변환하면서 2차원으로 투영하여 상기 3차원 영상과 상기 2차원 영상의 공간적 차원을 일치시키는 정합 공간 매칭부, 상기 3차원 영상의 각 픽셀에 대하여 상기 3차원 영상에 포함된 혈관에 대응되는 픽셀 간 거리를 이용하여 2차원 거리맵을 생성하는 거리맵 생성부, 그리고 상기 2차원 영상의 혈관 중심선(Centerline)과 상기 3차원 영상의 혈관 중심선(Centerline) 간 거리 차이가 최소가 되는 위치 정보를 획득하여, 해당 위치에서 상기 2차원 영상과 상기 3차원 영상을 정합하는 영상 정합부를 포함한다.
따라서 본 발명에 따르면 ECG 신호를 이용한 영상 정합 장치 및 그 방법을 이용함으로써, 정밀 정합 이전에 초기 정합을 수행하여 회전 벡터와 이동 벡터의 범위를 제한함으로써 불필요한 연산량을 최소화하고, 거리맵 생성에 소요되는 시간을 절감할 수 있다.
또한, 본 발명에 따르면 심장의 생리학적 주기를 기반으로 혈관 변화량 구간을 사전에 예측하여 심장의 생리학적 주기에 따른 정합 오차를 최소화할 수 있다.
또한, 2차원 영상의 촬영 시점과 3차원 영상의 촬영 시점을 일치시켜, 촬영 시점 차이로 인한 혈관 형태의 오차를 보정할 수 있다.
도 1은 본 발명의 실시예에 따른 ECG 신호를 이용한 영상 정합 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 2차원 영상과 3차원 영상을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 영상 정합 방법을 설명하기 위한 순서도이다.
도 4는 도 3에 나타낸 S310 단계에서 RR인터벌을 추출하는 방법을 설명하기 위한 도면이다.
도 5는 도 3에 나타낸 S320 단계에서 측정된 혈관 변화량에 따른 구간을 나타낸 도면이다.
도 6은 도 3에 나타낸 S340 단계에서 정합 시작 시점을 예측하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 정합 시작 시점을 예측하는 과정을 설명하기 위한 도면이다.
도 8은 도 3에 나타낸 S360단계에서 초기 정합을 설명하기 위한 도면이다.
도 9는 도 3에 나타낸 S370 단계에서 생성된 2차원 거리맵을 나타낸 도면이다.
도 10은 본 발명의 실시예에 따라 정합된 영상을 나타낸 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 ECG 신호를 이용한 영상 정합 장치의 구성을 나타낸 블록도이고, 도 2는 본 발명의 실시예에 따른 2차원 영상과 3차원 영상을 나타낸 도면이다.
도 1에 나타낸 것처럼, 본 발명의 실시예에 따른 ECG 신호를 이용한 영상 정합 장치(100)는 혈관 변화량 측정부(110), 정합 시점 예측부(120), 정합 공간 매칭부(130), 거리맵 생성부(140) 및 영상 정합부(150)를 포함하며, 영상 정합 장치(100)는 2차원 영상과 3차원 영상을 정합한다.
도 2에 도시된 바와 같이, 2차원 영상과 3차원 영상은 피검자의 혈관을 촬영한 영상으로, 2차원 영상은 의료 시술 중 실시간으로 촬영된 것으로, XA(X-ray Angiogram) 영상일 수 있다. 또한, 3차원 영상의 의료 시술 전 촬영된 것으로, CTA(Computed Tomography Angiography) 영상일 수 있다.
먼저, 혈관 변화량 측정부(110)는 피검자로부터 측정된 ECG(electrocardiogram) 신호를 2차원 영상의 수에 맞추어 정규화하고, ECG 신호와 2차원 영상을 매칭시킨다. 그리고 혈관 변화량 측정부(110)는 ECG 신호를 이용하여 RR인터벌을 추출하고, RR인터벌 구간에서 2차원 영상의 혈관 변화량을 측정한다.
그리고 정합 시점 예측부(120)는 혈관 변화량과 임계치를 비교하여, 혈관 변화량이 임계치 미만인 구간에서, 2차원 영상의 혈관 중심선과 3차원 영상의 혈관 중심선의 거리 차이의 절대값의 평균이 최소가 되는 지점을 혈관 변화량이 최소가 되는 지점으로 판단한다. 또한, 정합 시점 예측부(120)는 혈관 변화량이 최소가 되는 지점을 정합 시작 지점으로 설정한다.
다음으로 정합 공간 매칭부(130)는 3차원 영상을 기하변환하고, 기하변환된 3차원 영상을 2차원으로 투영하여 3차원 영상과 2차원 영상의 공간적 차원을 일치시킨다. 이때, 3차원 영상은 의료 시술 이전에 기 촬영된 영상일 수 있다.
또한, 정합 공간 매칭부(130)는 2차원 영상 및 3차원 영상의 각각의 혈관 중심선의 시작점과 끝점을 잇는 주축을 생성하고, 2차원 영상의 주축과 3차원 영상의 주축을 정렬시킨다. 그리고, 정합 공간 매칭부(130)는 2차원 영상과 3차원 영상을 복수의 블록으로 분할하고, 분할된 블록 중에서 혈관 중심선을 포함하는 블록을 추출한다. 정합 공간 매칭부(130)는 주축 정렬 및 혈관 중심선을 포함하는 블록을 이용하여 초기 정합을 수행한다.
그리고 정합 공간 매칭부(130)는 초기 정합 수행 결과, 2차원 영상의 혈관 형태와 3차원 형상의 혈관 형태 차이가 기준치 이상인 경우, 2차원 영상의 혈관 형태 정보와 3차원 형상의 혈관 형태 정보를 일치시켜 위치 추정치를 보완할 수 있다.
다음으로, 거리맵 생성부(140)는 3차원 영상의 각 픽셀에 대하여 3차원 영상에 포함된 혈관에 대응되는 픽셀 간 거리를 이용하여 2차원 거리맵을 생성한다.
이때, 거리맵 생성부(140)는 혈관 중심선 주변의 인접 영역에 대해서만 혈관에 대응되는 픽셀과의 거리를 연산하므로, 전체 영역에 대한 거리맵을 생성하지 않아 거리맵 생성 시간을 단축할 수 있다.
마지막으로, 영상 정합부(150)는 2차원 영상의 혈관 중심선과 3차원 영상의 혈관 중심선 간 거리가 최소가 되는 위치 정보를 획득하고, 해당 위치에서 2차원 영상과 3차원 영상을 정합한다.
영상 정합부(150)는 x, y, z축 방향 이동 벡터와 x, y, z축 중심 회전 벡터를 포함하는 변환 함수를 이용하여 2차원 영상과 3차원 영상을 정합할 수 있다. 영상 정합부(150)는 3차원 영상의 혈관 중심선의 중심점을 원점으로 이동시키고, 회전 벡터와 이동 벡터 순으로 변환하며, 2차원 영상의 혈관 중심선의 중심점으로 이동시켜 3차원 영상과 2차원 영상을 정합할 수 있다.
이하에서는 도 3 내지 도 10을 통하여 본 발명의 실시예에 따른 영상 정합 방법에 대하여 더욱 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 영상 정합 방법을 설명하기 위한 순서도이고, 도 4는 도 3에 나타낸 S310 단계에서 RR인터벌을 추출하는 방법을 설명하기 위한 도면이다.
먼저, 영상 정합 장치(100)는 ECG 신호와 2차원 영상을 매칭시키고, RR인터벌을 추출한다(S310).
영상 정합 장치(100)는 의료용 디지털 영상 및 통신(DICOM, Digital Imaging and Communications in Medicine) 정보로부터 ECG 신호를 획득한다. 그리고 획득된 ECG 신호를 2차원 영상의 수에 맞춰 정규화한다.
이때, 영상 정합 장치(100)는 DICOM 파라미터를 이용하여 ECG 신호의 구성 신호수를 2차원 영상의 프레임 수에 맞춰 구간을 정규화 한 후, ECG 신호와 2차원 영상을 매칭할 수 있다. 매칭 과정 후, 영상 정합 장치(100)는 ECG 신호의 변화량을 이용하여 RR인터벌을 추출한다.
도 4와 같이, 영상 정합 장치(100)는 ECG 신호의 피크를 분석하여, 심박 간격인 RR인터벌을 추출할 수 있다.
그리고 영상 정합 장치(100)는 2차원 영상의 혈관 변화량을 측정한다(S320).
영상 정합 장치(100)는 S310 단계에서 추출된 RR인터벌의 구간에서의 2차원 영상의 혈관 변화량을 측정한다. 본 발명의 실시예에 따른 영상 정합 장치(100)는 측정된 혈관 변화량을 이용하여, RR인터벌 구간에서의 혈관 변화량을 정규화함으로써, 영상 정합을 수행하려는 피검자의 RR인터벌에 맞추어 적응적으로 영상 정합을 수행할 수 있다.
도 5는 도 3에 나타낸 S320 단계에서 측정된 혈관 변화량에 따른 구간을 나타낸 도면이다.
도 5에 나타낸 것처럼, 2차원 영상의 프레임별 혈관 변화량은 혈관 변화량이 많은 구간(HV)과 혈관 변화량이 적은 구간(LV)로 구분될 수 있다. 이때, 영상 정합 장치(100)는 혈관 변화량을 임계치와 비교하여, 혈관 변화량이 많은 구간(HV)과 혈관 변화량이 적은 구간(LV)으로 구분할 수 있다.
그리고, 혈관 변화량이 많은 구간(HV)과 혈관 변화량이 적은 구간(LV)은 다음의 수학식 1을 통하여 구간별로 탐색 범위가 설정된다.
Figure 112015054424986-pat00007
여기서, dmax는 이동에 대한 임계값을 의미하고, thR은 회전에 대한 임계값을 의미하며, M은 혈관 변화량이 많은 구간(HV)를 의미하고, m은 혈관 변화량이 적은 구간(LV)를 의미하며, M은 HV 구간에서의 이동 변위 및 회전 변위를 구간에 맞게 특정하기 위한 파라미터를 의미하고, μ는 LV 구간에서의 이동 변위 및 회전 변위를 구간에 맞게 특정하기 위한 파라미터를 의미한다.
수학식 1과 같이, 혈관 변화량이 많은 구간(HV)에서는 탐색 범위를 넓게 설정하고, 혈관 변화량이 적은 구간(LV)에서는 탐색 범위를 좁게 설정하여 영상 정합을 수행할 수 있다.
본 발명의 실시예에 따른 영상 정합 장치(100)는 심장의 움직임을 고려하여 정합을 수행할 탐색 범위를 설정함으로써, 정합에 소요되는 시간을 단축할 수 있다.
다음으로, 혈관 변화량이 최소가 되는 지점을 판단하고(S330), 해당 지점을 정합 시작 시점으로 설정한다(S340).
도 6은 도 3에 나타낸 S340 단계에서 정합 시작 시점을 예측하는 방법을 설명하기 위한 도면이다.
도 6과 같이, 영상 정합 장치(100)는 심장의 확장으로 인하여 혈관 변화량이 적은 구간(LV)에서 3차원 영상에 포함된 혈관 중심선과 2차원 영상에 포함된 혈관 중심선을 비교한다. 이때, 영상 정합 장치(100)는 다음의 수학식 2를 이용하여 연산된 AADD 값을 이용하여 혈관의 형태 차이가 최소가 되는 지점을 판단할 수 있다.
Figure 112015054424986-pat00008
여기서,
Figure 112015054424986-pat00009
는 2차원 영상의 혈관 중심선과 3차원 영상의 혈관 중심선의 거리 차이의 절대값 평균을 의미하고,
Figure 112015054424986-pat00010
는 2차원으로 투영된 3차원 영상의 혈관 중심선의 총 개수이며,
Figure 112015054424986-pat00011
는 2차원으로 투영된 3차원 영상의 혈관 중심선의 i번째 위치를 의미하고,
Figure 112015054424986-pat00012
는 2차원 거리맵을 의미한다.
도 7은 본 발명의 실시예에 따른 정합 시작 시점을 예측하는 과정을 설명하기 위한 도면이다.
도 7의 (a)와 같이, 영상 정합 장치(100)는 정합 오차율이 낮더라도 혈관 변화량이 큰 경우를 정합 시작 시점으로 판단하지 않고, 도 7의 (b)와 같이 혈관 변화량도 작고, 정합 오차율도 작은 경우를 정합 시작 시점으로 예측한다.
다음으로, 영상 정합 장치(100)는 2차원 영상과 3차원 영상의 공간적 차원을 일치시킨다(S350).
영상 정합 장치(100)는 수학식 3과 같이, 보정(Calibration)과정에서 생성된 변수를 이용하여 3차원 영상을 기하변환하고, 기하변환된 3차원 영상을 2차원 영상으로 투영하여 2차원 영상과 3차원 영상의 공간적 차원을 일치시킨다. 이후 서술되는 3차원 영상은 S350 단계에서 2차원으로 투영된 영상을 의미한다.
여기서, 보정(Calibration)과정은 실세계 좌표계에 대하여 영상을 촬영한 외부 변수와 내부 변수를 결정하는 일련의 과정을 의미하며, 내부 변수와 외부 변수는 호모그래피 행렬의 요소로 사용되어 실세계의 한 점 Q=(X, Y, Z)를 영상 평면 상의 한 점 q=(x, y)로 투영 변환하는데 사용된다. 이때, 투영 변환을 동차 좌표계로 표현하면 수학식 3과 같이 행렬의 곱셈으로 표현할 수 있다.
Figure 112015054424986-pat00013
여기서, x, y는 2차원 영상의 좌표를 의미하고, X, Y, Z는 3차원 영상의 좌표를 의미하며, K[R|t]는 캘리브레이션 행렬을 의미하고, f는 초점거리, mx, my는 pixel/mm로 물리적 단위를 화소 단위로 변환하는데 사용되는 변수이며, px, py는 주점을 의미하고, r은 회전, t는 이동에 사용되는 변수를 의미한다.
그리고, 영상 정합 장치(100)는 초기 정합을 수행한다(S360).
영상 정합 장치(100)는 주축을 생성하고, 복수의 블록으로 분할하며, 혈관 중심선이 포함된 블록을 추출하여 초기 정합을 수행한다.
영상 정합 장치(100)는 2차원 영상과 3차원 영상의 각각의 혈관 중심선의 시작점과 끝점을 잇는 주축을 생성하고, 생성된 2차원 영상의 주축과 3차원 영상의 주축이 같은 직선을 공유하도록 주축을 정렬시킨다.
또한, 영상 정합 장치(100)는 2차원 영상과 3차원 영상을 복수의 블록으로 분할하고, 각각의 블록에 혈관 중심선이 포함되어 있는지 여부를 판단하여, 혈관 중심선이 포함된 블록을 추출한다. 그리고 영상 정합 장치(100)는 2차원 영상에서 추출된 블록과 3차원 영상에서 추출된 블록이 겹치도록 2차원 영상 및 3차원 영상의 위치를 보정한다.
이때, 2차원 영상에서 추출된 블록과 3차원 영상에서 추출된 블록을 이용하여 초기 정합을 수행한 결과, 2차원 영상에 포함된 혈관의 형태 정보와 3차원 영상에 포함된 혈관의 형태 정보의 차이가 임계값 이상인 경우, 영상 정합 장치(100)는 회전 추정치를 예측하고, 예측된 회전 추정치를 이용하여 2차원 영상과 3차원 영상의 혈관 중심선의 끝 점을 일치시킬 수 있다.
도 8은 도 3에 나타낸 S360단계에서 초기 정합을 설명하기 위한 도면이다.
도 8의 a는 주축을 생성하는 과정을 나타낸 것이고, 도 8의 b는 주축을 정렬하는 과정을 나타낸 것이며, 도 8의 c는 영상을 복수의 블록으로 분할하고, 혈관 중심선이 포함된 블록을 추출하는 과정을 나타낸 것이고, 도 8의 d는 추출된 블록을 이용하여 초기 정합을 수행한 결과를 나타낸 것이다.
도 8의 (a)와 같이 2차원 영상의 혈관 중심선과 3차원 영상의 혈관 중심선이 불일치한 경우, S350의 초기 정합 과정을 수행하여 도 8의 (d)와 같이 2차원 영상과 3차원 영상을 1차적으로 정합할 수 있다.
본 발명의 실시예에 따른 영상 정합 방법은 주축을 정렬하고, 혈관 중심선이 포함된 블록을 추출하여 초기 정합을 수행함으로써 정합시의 회전 벡터와 이동 벡터의 변위를 제한할 수 있다. 이를 통하여, 영상 전체의 거리맵을 생성하지 않아도 되므로 영상 정합에 소요되는 연산량 및 시간을 절감할 수 있다.
그리고 영상 정합 장치(100)는 2차원 거리맵을 생성한다(S370).
영상 정합 장치(100)는 두 점 사이의 거리를 계산할 때 유클리드 거리(Euclidean distance)를 이용하여 2차원 거리맵을 생성할 수 있으며, 혈관 중심선에 대응되는 픽셀과의 거리를 해당 픽셀의 거리값으로 할당할 수 있다.
각 픽셀에 거리값을 할당할 때, 해당 픽셀이 복수의 혈관 중심선에 대응되는 픽셀과 인접한 경우, 영상 정합 장치(100)는 복수의 혈관에 대응되는 픽셀에 대응되도록 할당된 거리값 중에서 가장 작은 값을 해당 픽셀의 거리값으로 할당할 수 있다.
또한, 영상 정합 장치(100)는 각 픽셀에 할당된 거리값이 미리 결정된 값 보다 큰 경우, 해당 픽셀의 거리값을 할당하지 않을 수 있다.
도 9는 도 3에 나타낸 S370 단계에서 생성된 2차원 거리맵을 나타낸 도면이다.
도 9에서 흰 색으로 표시된 선은 혈관 중심선을 의미한다. 도 9와 같이, 영상 정합 장치(100)는 혈관 중심선으로부터 동일한 거리값을 갖는 픽셀들은 동일한 색상으로 표시할 수 있다. 그리고, 해당 픽셀의 거리값이 미리 결정된 값 보다 커서 거리값이 할당되지 않은 경우, 도 9에 도시한 바와 같이 동일한 색상으로 표시될 수 있다.
본 발명의 실시예에 따른 영상 정합 장치(100)는 혈관 중심선과 인접한 픽셀들에 대하여 거리값을 할당함으로써, 전체적으로 거리맵을 생성하는 방법에 비하여 거리맵 생성 시간을 단축할 수 있다.
마지막으로, 영상 정합 장치(100)는 2차원 영상과 3차원 영상을 정합한다(S380).
영상 정합 장치(100)는 2차원 영상의 혈관 중심선과 3차원 영상의 혈관 중심선 간 거리의 차이가 최소가 되는 위치 정보를 획득하여, 해당 위치에서 2차원 영상과 3차원 영상을 정합한다.
이때, 영상 정합 장치(100)는 수학식 2의 AADD를 이용하여 정렬된 혈관 중심선 간의 거리 차이의 절대값의 평균을 연산하고, 혈관 중심선 간 거리 차이가 최소가 되는 위치 정보를 획득할 수 있다.
또한, 영상 정합 장치(100)는 수학식 4의 변환함수를 이용하여 2차원 영상과 3차원 영상을 회전 및 이동시킴으로써 영상 정합을 수행한다.
Figure 112015054424986-pat00014
여기서, V3D는 3차원영상의 혈관 중심선를 의미하고, Rx는 x축 중심 회전 벡터를 의미하며, Ry는 y축 중심 회전 벡터를 의미하고, Rz는 z축 중심 회전 벡터를 의미하며, C2D는 2차원 영상의 혈관 중심선의 중심점을 의미하고, T는 이동 벡터를 의미하며, C3D는 3차원 영상의 혈관 중심선의 중심점을 의미한다.
영상 정합 장치(100)는 수학식 4의 변환함수를 이용하여, 3차원 영상의 혈관 중심선(C3D)을 원점으로 이동시키고, 회전 벡터와 이동 벡터 순으로 변환을 수행한다. 그리고, 2D 영상의 혈관 중심선의 중심점(C2D)으로 이동시킨다.
이때, 영상 정합 장치(100)는 DICOM 정보를 이용하여 초기 정합을 수행하므로, 수학식 4의 변환함수에서 회전 벡터와 이동 벡터의 변위가 수학식 5와 같이 제한될 수 있다.
Figure 112015054424986-pat00015
여기서, Tx은 x축 방향 이동 벡터를 의미하고, Ty는 y축 방향 이동 벡터를 의미하며, Tz는 z축 방향 이동 벡터를 의미하고, dmax는 이동에 대한 임계값을 의미하고, Rx는 x축 중심 회전 벡터를 의미하며, Ry는 y축 중심 회전 벡터를 의미하고, Rz는 z축 중심 회전 벡터를 의미하며, thR은 회전에 대한 임계값을 의미한다.
본 발명의 실시예에 따른 영상 정합 장치(100)는 수학식 5와 같이 이동 벡터와 회전 벡터의 변위를 제한하여 정합 수행시 소요되는 연산 시간을 단축할 수 있다. 또한, 영역 탐색을 위하여 파웰(Powell) 방법을 적용하여 빠른 시간 안에 최적의 위치로 수렴하도록 할 수 있다.
도 10은 본 발명의 실시예에 따라 정합된 영상을 나타낸 도면이다.
영상 정합 장치(100)가 변환함수를 이용하여 2차원 영상과 3차원 영상의 정합을 수행하면, 도 10에 도시된 바와 같이, 영상을 정합할 수 있다.
이와 같이 본 발명의 실시예에 따르면, 정밀 정합 이전에 초기 정합을 수행하여 회전 벡터와 이동 벡터의 범위를 제한함으로써 불필요한 연산량을 최소화하고, 거리맵 생성에 소요되는 시간을 절감할 수 있다. 또한, 심장의 생리학적 주기를 기반으로 혈관 변화량 구간을 사전에 예측하여 심장의 생리학적 주기에 따른 정합 오차를 최소화할 수 있다. 또한, 2차원 영상의 촬영 시점과 3차원 영상의 촬영 시점을 일치시켜, 촬영 시점 차이로 인한 혈관 형태의 오차를 보정할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100 : 영상 정합 장치 110 : 혈관 변화량 측정부
120 : 정합 시점 예측부 130 : 정합 공간 매칭부
140 : 거리맵 생성부 150 : 영상 정합부

Claims (12)

  1. 혈관 변화량 측정부가 피검자로부터 측정된 ECG 신호를 의료 시술 중 실시간으로 촬영된 2차원 영상의 수에 맞추어 정규화하여, 상기 ECG 신호와 상기 2차원 영상을 매칭시키고, 상기 ECG 신호를 이용하여 RR인터벌을 추출하는 단계,
    상기 혈관 변화량 측정부가 상기 RR인터벌 구간에서 상기 2차원 영상의 혈관 변화량을 측정하는 단계,
    정합 공간 매칭부가 의료 시술 이전에 기 촬영된 3차원 영상을 기하변환하면서 2차원으로 투영하여 상기 3차원 영상과 상기 2차원 영상의 공간적 차원을 일치시키는 단계,
    거리맵 생성부가 상기 3차원 영상의 각 픽셀에 대하여 상기 3차원 영상에 포함된 혈관에 대응되는 픽셀 간 거리를 이용하여 2차원 거리맵을 생성하는 단계, 그리고
    영상 정합부가 상기 2차원 영상의 혈관 중심선(Centerline)과 상기 3차원 영상의 혈관 중심선(Centerline) 간 거리 차이가 최소가 되는 위치 정보를 획득하여, 해당 위치에서 상기 2차원 영상과 상기 3차원 영상을 정합하는 단계를 포함하는 영상 정합 방법.
  2. 제1항에 있어서,
    정합 시점 예측부가 상기 RR인터벌을 추출한 후, 상기 혈관 변화량을 임계치와 비교하여, 상기 혈관 변화량이 임계치 미만 구간에서 상기 2차원 영상의 혈관 중심선과 상기 3차원 영상의 혈관 중심선의 거리 차이의 절대값 평균이 최소가 되는 지점을 혈관 변화량이 최소가 되는 지점으로 판단하는 단계, 그리고
    상기 정합 시점 예측부가 상기 혈관 변화량이 최소가 되는 지점을 정합 시작 지점으로 설정하는 단계를 더 포함하는 영상 정합 방법.
  3. 제1항에 있어서,
    상기 정합 공간 매칭부가 상기 3차원 영상과 상기 2차원 영상의 공간적 차원을 일치시키는 단계는,
    다음의 수학식과 같이, 보정(Calibration)과정에서 생성된 변수를 이용하여 상기 3차원 영상을 기하변환하고, 상기 기하변환된 3차원 영상을 상기 2차원 영상으로 투영하여 상기 2차원 영상과 상기 3차원 영상의 공간적 차원을 일치시키는 단계를 포함하는 영상 정합 방법:
    Figure 112016072541886-pat00016

    여기서, x, y는 2차원 영상의 좌표를 의미하고, X, Y, Z는 3차원 영상의 좌표를 의미하며, K[R|t]는 캘리브레이션 행렬을 의미하고, f는 초점거리, mx, my는 pixel/mm로 물리적 단위를 화소 단위로 변환하는데 사용되는 변수이며, px, py는 주점을 의미하고, r은 회전, t는 이동에 사용되는 변수를 의미한다.
  4. 제1항에 있어서,
    상기 정합 공간 매칭부가 상기 3차원 영상과 상기 2차원 영상의 공간적 차원을 일치시키는 단계는,
    상기 2차원 영상 및 상기 3차원 영상의 각각의 혈관 중심선의 시작점과 끝점을 잇는 주축을 생성하고, 상기 2차원 영상의 주축과 상기 3차원 영상의 주축을 정렬시키는 단계,
    상기 2차원 영상과 상기 3차원 영상을 복수의 블록으로 분할하고, 혈관 중심선을 포함하는 블록을 추출하는 단계, 그리고
    상기 정렬된 주축과 추출된 블록을 이용하여 초기 정합을 수행한 결과, 상기 2차원 영상 및 상기 3차원 영상에 포함된 혈관의 형태 정보의 차이가 임계값 이상인 경우, 상기 2차원 영상에 포함된 혈관과 상기 3차원 영상에 포함된 혈관 사이의 회전 추정치를 예측하고, 상기 2차원 영상 및 상기 3차원 영상으로부터 추출된 상기 혈관 중심선의 끝점을 일치시키는 단계를 더 포함하는 영상 정합 방법.
  5. 제1항에 있어서,
    상기 영상 정합부가 상기 2차원 영상과 상기 3차원 영상을 정합하는 단계는,
    상기 혈관 변화량이 임계치 이상인 구간에서의 정합 탐색 범위를 임계치 미만인 구간에서보다 넓게 설정하여 정합을 수행하는 영상 정합 방법.
  6. 제1항에 있어서,
    상기 영상 정합부가 상기 2차원 영상과 상기 3차원 영상을 정합하는 단계는,
    다음의 수학식과 같이 상기 2차원 영상의 혈관 중심선과 상기 3차원 영상의 혈관 중심선의 거리 차이의 절대값 평균을 연산하여 상기 2차원 영상의 혈관 중심선과 상기 3차원 영상의 혈관 중심선의 유사성을 측정하는 영상 정합 방법:
    Figure 112016072541886-pat00017

    여기서,
    Figure 112016072541886-pat00018
    는 상기 2차원 영상의 혈관 중심선과 상기 3차원 영상의 혈관 중심선의 거리 차이의 절대값 평균을 의미하고,
    Figure 112016072541886-pat00019
    는 2차원으로 투영된 상기 3차원 영상의 혈관 중심선의 총 개수이며,
    Figure 112016072541886-pat00020
    는 2차원으로 투영된 상기 3차원 영상의 혈관 중심선의 i번째 위치를 의미하고,
    Figure 112016072541886-pat00021
    는 상기 2차원 거리맵을 의미한다.
  7. ECG 신호를 이용한 영상 정합 장치에 있어서,
    피검자로부터 측정된 상기 ECG 신호를 의료 시술 중 실시간으로 촬영된 2차원 영상의 수에 맞추어 정규화하여, 상기 ECG 신호와 상기 2차원 영상을 매칭시키고, 상기 ECG 신호를 이용하여 RR인터벌을 추출하며, 상기 RR인터벌 구간에서 상기 2차원 영상의 혈관 변화량을 측정하는 혈관 변화량 측정부,
    의료 시술 이전에 기 촬영된 3차원 영상을 기하변환하면서 2차원으로 투영하여 상기 3차원 영상과 상기 2차원 영상의 공간적 차원을 일치시키는 정합 공간 매칭부,
    상기 3차원 영상의 각 픽셀에 대하여 상기 3차원 영상에 포함된 혈관에 대응되는 픽셀 간 거리를 이용하여 2차원 거리맵을 생성하는 거리맵 생성부, 그리고
    상기 2차원 영상의 혈관 중심선(Centerline)과 상기 3차원 영상의 혈관 중심선(Centerline) 간 거리 차이가 최소가 되는 위치 정보를 획득하여, 해당 위치에서 상기 2차원 영상과 상기 3차원 영상을 정합하는 영상 정합부를 포함하는 영상 정합 장치.
  8. 제7항에 있어서,
    상기 RR인터벌을 추출한 후, 상기 혈관 변화량을 임계치와 비교하여, 상기 혈관 변화량이 임계치 미만 구간에서 상기 2차원 영상의 혈관 중심선과 상기 3차원 영상의 혈관 중심선의 거리 차이의 절대값 평균이 최소가 되는 지점을 혈관 변화량이 최소가 되는 지점으로 판단하고, 상기 혈관 변화량이 최소가 되는 지점을 정합 시작 지점으로 설정하는 정합 시점 예측부를 더 포함하는 영상 정합 장치.
  9. 제7항에 있어서,
    상기 정합 공간 매칭부는,
    다음의 수학식과 같이, 보정(Calibration)과정에서 생성된 변수를 이용하여 상기 3차원 영상을 기하변환하고, 상기 기하변환된 3차원 영상을 상기 2차원 영상으로 투영하여 상기 2차원 영상과 상기 3차원 영상의 공간적 차원을 일치시키는 영상 정합 장치:
    Figure 112015054424986-pat00022

    여기서, x, y는 2차원 영상의 좌표를 의미하고, X, Y, Z는 3차원 영상의 좌표를 의미하며, K[R|t]는 캘리브레이션 행렬을 의미하고, f는 초점거리, mx, my는 pixel/mm로 물리적 단위를 화소 단위로 변환하는데 사용되는 변수이며, px, py는 주점을 의미하고, r은 회전, t는 이동에 사용되는 변수를 의미한다.
  10. 제7항에 있어서,
    상기 정합 공간 매칭부는,
    상기 2차원 영상 및 상기 3차원 영상의 각각의 혈관 중심선의 시작점과 끝점을 잇는 주축을 생성하고, 상기 2차원 영상의 주축과 상기 3차원 영상의 주축을 정렬시키며, 상기 2차원 영상과 상기 3차원 영상을 복수의 블록으로 분할하고, 혈관 중심선을 포함하는 블록을 추출하며, 상기 정렬된 주축과 추출된 블록을 이용하여 초기 정합을 수행한 결과, 상기 2차원 영상 및 상기 3차원 영상에 포함된 혈관의 형태 정보의 차이가 임계값 이상인 경우, 상기 2차원 영상에 포함된 혈관과 상기 3차원 영상에 포함된 혈관 사이의 회전 추정치를 예측하고, 상기 2차원 영상 및 상기 3차원 영상으로부터 추출된 상기 혈관 중심선의 끝점을 일치시키는 영상 정합 장치.
  11. 제7항에 있어서,
    상기 영상 정합부는,
    상기 혈관 변화량이 임계치 이상인 구간에서의 정합 탐색 범위를 임계치 미만인 구간에서보다 넓게 설정하여 정합을 수행하는 영상 정합 장치.
  12. 제7항에 있어서,
    상기 영상 정합부는,
    다음의 수학식과 같이 상기 2차원 영상의 혈관 중심선과 상기 3차원 영상의 혈관 중심선의 거리 차이의 절대값 평균을 연산하여 상기 2차원 영상의 혈관 중심선과 상기 3차원 영상의 혈관 중심선의 유사성을 측정하는 영상 정합 장치:
    Figure 112015054424986-pat00023

    여기서,
    Figure 112015054424986-pat00024
    는 상기 2차원 영상의 혈관 중심선과 상기 3차원 영상의 혈관 중심선의 거리 차이의 절대값 평균을 의미하고,
    Figure 112015054424986-pat00025
    는 2차원으로 투영된 상기 3차원 영상의 혈관 중심선의 총 개수이며,
    Figure 112015054424986-pat00026
    는 2차원으로 투영된 상기 3차원 영상의 혈관 중심선의 i번째 위치를 의미하고,
    Figure 112015054424986-pat00027
    는 상기 2차원 거리맵을 의미한다.
KR1020150079825A 2015-06-05 2015-06-05 Ecg 신호를 이용한 영상 정합 장치 및 그 방법 KR101652641B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150079825A KR101652641B1 (ko) 2015-06-05 2015-06-05 Ecg 신호를 이용한 영상 정합 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150079825A KR101652641B1 (ko) 2015-06-05 2015-06-05 Ecg 신호를 이용한 영상 정합 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101652641B1 true KR101652641B1 (ko) 2016-09-12

Family

ID=56950364

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150079825A KR101652641B1 (ko) 2015-06-05 2015-06-05 Ecg 신호를 이용한 영상 정합 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101652641B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101929412B1 (ko) 2017-02-28 2018-12-14 연세대학교 산학협력단 영상 데이터베이스 기반 2차원 x-선 영상 및 3차원 ct 영상의 실시간 정합 방법 및 그 장치
CN109427059A (zh) * 2017-08-18 2019-03-05 西门子医疗有限公司 解剖结构的平面可视化
KR101957605B1 (ko) * 2017-11-01 2019-03-13 숭실대학교산학협력단 3d cta 영상 간의 심혈관 강체 정합 방법, 이를 수행하기 위한 기록매체 및 장치
WO2019168372A1 (ko) * 2018-02-28 2019-09-06 삼성메디슨 주식회사 의료 영상 처리 장치 및 그 동작 방법
KR20190118454A (ko) * 2018-04-10 2019-10-18 광주과학기술원 혈관 조영 영상 및 x선 투시 영상의 정합 장치
CN112842349A (zh) * 2021-02-20 2021-05-28 无锡市中健科仪有限公司 一种基于注意力转换机制的室上性早搏智能分析方法
KR20210108178A (ko) * 2020-02-25 2021-09-02 숭실대학교산학협력단 2d xa 영상과 3d cta 영상 간의 강체 정합 방법, 이를 수행하기 위한 기록 매체 및 장치
US11419574B2 (en) 2019-03-08 2022-08-23 Samsung Medison Co., Ltd. Ultrasound imaging apparatus, method of controlling the same, and computer program product
KR102542972B1 (ko) * 2022-07-04 2023-06-15 재단법인 아산사회복지재단 3차원 혈관 구조를 생성하는 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100579936B1 (ko) * 2004-11-30 2006-05-15 주식회사 에스피메디텍 뇌혈관의 파라메타 측정 장치 및 방법
KR20080038512A (ko) * 2006-10-30 2008-05-07 현대자동차주식회사 심전도를 이용한 운전자 스트레스지수 제공시스템 및 방법
KR20100062974A (ko) * 2008-10-01 2010-06-10 주식회사이루메디 심혈관 분석 장치
KR20110031223A (ko) * 2008-07-18 2011-03-24 플렉스콘 컴퍼니 인코포레이티드 심전도 검출 시스템에서 사용하기 위한 고임피던스 신호 검출 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100579936B1 (ko) * 2004-11-30 2006-05-15 주식회사 에스피메디텍 뇌혈관의 파라메타 측정 장치 및 방법
KR20080038512A (ko) * 2006-10-30 2008-05-07 현대자동차주식회사 심전도를 이용한 운전자 스트레스지수 제공시스템 및 방법
KR20110031223A (ko) * 2008-07-18 2011-03-24 플렉스콘 컴퍼니 인코포레이티드 심전도 검출 시스템에서 사용하기 위한 고임피던스 신호 검출 시스템 및 방법
KR20100062974A (ko) * 2008-10-01 2010-06-10 주식회사이루메디 심혈관 분석 장치

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101929412B1 (ko) 2017-02-28 2018-12-14 연세대학교 산학협력단 영상 데이터베이스 기반 2차원 x-선 영상 및 3차원 ct 영상의 실시간 정합 방법 및 그 장치
CN109427059B (zh) * 2017-08-18 2022-05-24 西门子医疗有限公司 解剖结构的平面可视化
CN109427059A (zh) * 2017-08-18 2019-03-05 西门子医疗有限公司 解剖结构的平面可视化
KR101957605B1 (ko) * 2017-11-01 2019-03-13 숭실대학교산학협력단 3d cta 영상 간의 심혈관 강체 정합 방법, 이를 수행하기 위한 기록매체 및 장치
WO2019168372A1 (ko) * 2018-02-28 2019-09-06 삼성메디슨 주식회사 의료 영상 처리 장치 및 그 동작 방법
KR20190118454A (ko) * 2018-04-10 2019-10-18 광주과학기술원 혈관 조영 영상 및 x선 투시 영상의 정합 장치
KR102082270B1 (ko) * 2018-04-10 2020-02-27 광주과학기술원 혈관 조영 영상 및 x선 투시 영상의 정합 장치
US11419574B2 (en) 2019-03-08 2022-08-23 Samsung Medison Co., Ltd. Ultrasound imaging apparatus, method of controlling the same, and computer program product
KR20210108178A (ko) * 2020-02-25 2021-09-02 숭실대학교산학협력단 2d xa 영상과 3d cta 영상 간의 강체 정합 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102347029B1 (ko) * 2020-02-25 2022-01-04 숭실대학교 산학협력단 2d xa 영상과 3d cta 영상 간의 강체 정합 방법, 이를 수행하기 위한 기록 매체 및 장치
CN112842349A (zh) * 2021-02-20 2021-05-28 无锡市中健科仪有限公司 一种基于注意力转换机制的室上性早搏智能分析方法
CN112842349B (zh) * 2021-02-20 2022-03-11 无锡市中健科仪有限公司 一种基于注意力转换机制的室上性早搏智能分析方法
KR102542972B1 (ko) * 2022-07-04 2023-06-15 재단법인 아산사회복지재단 3차원 혈관 구조를 생성하는 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101652641B1 (ko) Ecg 신호를 이용한 영상 정합 장치 및 그 방법
US9665935B2 (en) Image processing device and program
CN108701170B (zh) 用于产生解剖部分的三维(3d)视图的图像处理系统和方法
US20180158201A1 (en) Apparatus and method for registering pre-operative image data with intra-operative laparoscopic ultrasound images
Stoyanov et al. Dense 3D depth recovery for soft tissue deformation during robotically assisted laparoscopic surgery
NL2026505B1 (en) Motion-compensated laser speckle contrast imaging
US10825190B2 (en) Dynamic image processing apparatus for aligning frame images obtained by photographing dynamic state of chest based on movement of lung-field region
JP2015096196A (ja) 医用画像処理装置および医用画像処理方法
KR20210051141A (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
JP2004008304A (ja) 複数方向の投影映像を用いた３次元形状の生成方法および表示方法
Wang et al. Gradient-based differential approach for 3-D motion compensation in interventional 2-D/3-D image fusion
Haque et al. Hierarchical model-based tracking of cervical vertebrae from dynamic biplane radiographs
US20180368686A1 (en) Apparatus and method for generating a fused scan image of a patient
KR101988531B1 (ko) 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법
JP2005536236A (ja) 画像調整手段を持つ医療用ビューイングシステム
Kumar et al. Automatic tracking of intraoperative brain surface displacements in brain tumor surgery
KR20210052270A (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
US11257219B2 (en) Registration of static pre-procedural planning data to dynamic intra-procedural segmentation data
US8103075B2 (en) Method for providing extended possibilities when imaging a patient's heart
McLeod et al. A near-incompressible poly-affine motion model for cardiac function analysis
Aghajani et al. Intensity based image registration by minimizing the complexity of weighted subtraction under illumination changes
KR102289327B1 (ko) 엑스선 장치의 캘리브레이션 방법 및 이를 위한 캘리브레이션 장치
JP4028209B2 (ja) Ｘ線ｃｔ装置
Morais et al. Dense motion field estimation from myocardial boundary displacements
Ciantar et al. Registration of dynamic thermography data of the abdomen of pregnant and non-pregnant women

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 4