KR101579948B1 - 심장 부위를 포함하는 의료 영상 오버레이 방법 및 그 장치 - Google Patents
심장 부위를 포함하는 의료 영상 오버레이 방법 및 그 장치 Download PDFInfo
- Publication number
- KR101579948B1 KR101579948B1 KR1020140040493A KR20140040493A KR101579948B1 KR 101579948 B1 KR101579948 B1 KR 101579948B1 KR 1020140040493 A KR1020140040493 A KR 1020140040493A KR 20140040493 A KR20140040493 A KR 20140040493A KR 101579948 B1 KR101579948 B1 KR 101579948B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- medical image
- cardiac
- dimensional
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 230000000747 cardiac effect Effects 0.000 claims abstract description 102
- 230000002526 effect on cardiovascular system Effects 0.000 claims abstract description 93
- 239000011159 matrix material Substances 0.000 claims abstract description 59
- 230000009466 transformation Effects 0.000 claims abstract description 55
- 210000002837 heart atrium Anatomy 0.000 claims description 20
- 230000002107 myocardial effect Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 8
- 210000001308 heart ventricle Anatomy 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 18
- 238000002583 angiography Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 8
- 238000002594 fluoroscopy Methods 0.000 description 8
- 210000004165 myocardium Anatomy 0.000 description 5
- 238000001574 biopsy Methods 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000010968 computed tomography angiography Methods 0.000 description 4
- 238000002513 implantation Methods 0.000 description 4
- 238000002324 minimally invasive surgery Methods 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 230000001746 atrial effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 208000010125 myocardial infarction Diseases 0.000 description 3
- 206010003658 Atrial Fibrillation Diseases 0.000 description 2
- 206010003119 arrhythmia Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007675 cardiac surgery Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013146 percutaneous coronary intervention Methods 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000002861 ventricular Effects 0.000 description 2
- 208000004434 Calcinosis Diseases 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000007887 coronary angioplasty Methods 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
- A61B2576/023—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- High Energy & Nuclear Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
심장 부위를 포함하는 의료 영상 오버레이 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 의료 영상 오버레이 방법은 피검자의 심장 부위의 영상을 포함하는 제1 의료 영상을 수신하는 단계; 상기 피검자의 상기 심장 부위의 영상을 포함하는 제2 의료 영상을 수신하는 단계; 상기 수신된 상기 제1 의료 영상으로부터 2차원 심혈관 정보를 추출하고, 상기 제2 의료 영상으로부터 3차원 심장 정보를 추출하는 단계; 상기 추출된 상기 2차원 심혈관 정보와 상기 3차원 심장 정보에 포함된 3차원 심혈관 정보의 정합을 이용하여 상기 제1 의료 영상과 상기 제2 의료 영상 간의 변환 행렬 정보를 추출하는 단계; 및 상기 추출된 상기 변환 행렬 정보를 상기 3차원 심장 정보에 적용하고, 상기 변환 행렬 정보가 적용된 상기 3차원 심장 정보를 상기 제1 의료 영상에 오버레이(overlay)시키는 단계를 포함한다.
Description
본 발명은 의료 영상 오버레이(overlay)에 대한 것으로, 상세하게는 심장 혈관 조영술이나 스텐트 시술 시 혈관의 정확한 위치를 찾는데 도움을 줄 수 있는 의료 영상 오버레이 방법 및 그 장치에 관한 것이다.
본 발명은 산업통상자원부 및 한국산업기술평가관리원의 산업융합원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 10044910, 과제명: 다중의료영상을 활용한 3차원 초정밀 시뮬레이션 기반 심,혈관 질환 진단-치료지원 통합소프트웨어 시스템 개발].
X선 투시법(X-ray fluoroscopy, 실시간 X-ray 동영상)은 만성 동맥 폐색증(CTO; chronic total occlusions)의 경피적 관상동맥 중재술(PCI; percutaneous coronary interventions)과 같은 많은 최소 침습 시술(minimally invasive procedures)의 가이드용으로 선택되는 모달리티(modality)이다. 최소 침습 시술이 이루어지는 동안, 가이드 와이어(guide-wire)를 이용한 CTO의 크로싱(crossing)은 혈관 폐색(occlusion)이 조영제(contrast agent)의 확산을 차단하고(block) 혈관의 폐색된 부분을 형광 투시법(fluoroscopy)에서 불가시적(invisible)으로 만들기 때문에 어려움을 유발할 수 있다. 게다가, 형광 투시법의 투영 성질(projective nature)은 3차원(3D) 구조의 해석을 불명확하게 하고, 그것이 중재(intervention)를 더욱 복잡하게 한다. 이와 같은 문제는 최소 침습 시술들에 무수히 존재하고 있다.
현재 중재 전 계획(pre-interventional planning)은 루틴하게(routinely) CT 혈관 조영(CTA; computed tomography angiography) 또는 다른 3D 이미징 모달리티의 취득을 포함하고, 시각적인 불확실성을 감소시킬 수 있다. 혈액 풀 조영제 주입(blood pool contrast injection)을 이용한 CTA의 성능 특성은 직접적인 조영제 주입을 이용한 중재 X선 투시법에 의해 인식되는 것과는 반대로 CTO의 원인이 되는 경화(calcifications)를 분명하게 구별 가능하게 한다. 이런 CTA는 계획 단계(planning stage)에서 매우 유익한 툴이지만, 이들의 데이터와 중재 영상들 간의 대응을 확립하는 것은 도전해야 될 문제로 판명되어 있다.
이러한 이슈에 대처하기 위해서, 사전 시술 3D 모델은 획득된 볼륨으로부터 추출되어 2D 형광 투시법의 뷰와 얼라인(align)되고, 라이브 영상 상에 오버레이되어 중재 영상을 증대시킬 수 있다. 하지만, 이런 얼라인먼트(alignment)를 달성하는 것은 그 자체만으로도 도전적인(challenging) 것인데, 이는 인터모달 대응(intermodal correspondence)을 찾는 과정이 쉽지 않고(non-trivial) 근본적으로 최적화 과정이 비선형적이기 때문이다. 게다가 간단한 강체(rigid) 변환은 만족스러운 2D/3D 정합(registration)을 제공하기에 충분하지 않을 수도 있다. 3D 계획 영상은 호흡 정지(breathhold) 상태로 획득되고, 자유로운 호흡 상태로 획득된 수술 중(intraoperative) 영상과 비교할 때 현저한 형상 변화가 존재한다. 비강체 정합 방법은 수술 전(preoperative) 모델과 라이브 수술 중 영상을 얼라인하는데 유용하다. 그러나, 비강체 정합 방법은 도전적인 불량조건 역 작업(challenging ill-posed inverse task)이다. 그럼에도 불구하고, 2D/3D 정합 방법은 기존의 임상의 흐름에 최소의 변경을 더하는 것만으로, 중재 X선 혈관 조영에 관한 불확실성을 크게 줄일 수 있는 포텐셜을 가지고 있다. 넓은 관점에서 보면, 2D/3D 정합 방법은 신경학(neurology), 정형외과(orthopedics) 및 심장학(cardiology)과 같은 분야에서 다양한 어플리케이션을 가질 수 있다.
2D/3D 정합의 최적화 면은 영상의 이산(discretization), 정합하고자 하는 구조의 복잡성 그리고 비강체 변환 모델과 같은 몇 가지의 이유로 비선형이 될 수 있다. 결과적으로, 비용 함수의 최소화는 해결하기 어려운 (challenging) 문제이다. 정합 과정에 의해 수행될 수 있는 최대 정확성은 관련된 변환 모델의 복잡성과 관련이 있다. 많은 2D/3D 정합 접근은 단지 강체 변환 모델 또는 조금 유연한 어파인 모델만을 고려하고 있다. 일반적으로, 강체 변환 모델 또는 조금 유연한 어파인 모델은 뼈와 같은 강체 구조들이나 모달리티들의 초기 얼라인먼트를 제공하는데 적합하지만, 유연한 구조의 형상 변화를 설명하기에는 불충분한 것으로 판명되고 있다. 결과적으로 비강체 변형 모델이 2D/3D 정합에 대해 제안되어 왔다.
임상 상황에서, 한 개 또는 두 개의 투시면은 중재 가이던스용으로 사용된다. 모노플레인(monoplane) 시나리오가 연구되어 왔지만, 면외(out-of-plane) 방향의 보고된 오차가 크고, 이런 정확성의 오차는 정합 과정에서 신뢰성을 제한한다. 바이플레인 취득은 이런 중재 시술과 관련하여 불명확성을 크게 감소시키고, 복잡한 심장 중재에서 실행되고 있다.
종래 2D/3D 정합 방법에 대한 선행기술의 일 예로, 미국공개특허공보 제2013-0094745호는 비강체 2D/3D 정합에 대한 것으로, 2D 심혈관 영상과 3D 심혈관 영상을 비강체 정합을 통해 오버레이시키는 기술이다.
하지만, 종래 선행기술은 2D 심혈관 영상과 3D 심혈관 영상만을 오버레이시키기 때문에 이를 이용하는 사용자는 심장의 심방과 심실, 심근의 위치를 알 수 없다. 이로 인하여 선행기술은 심혈관 조영술(angiography), 스텐트 삽입술 등 심혈관 정보를 필요로 하는 시술의 영상 지원용으로는 사용할 수 있으나, 심낭 천자술(pericardiocentesis), 심박동기(pacemaker) 삽입술, 심근 생검술(myocardial biopsy), 심근 괴사술(septal ablation)과 같이 심장의 구조 및 위치 정보가 필요한 시술 시 심방, 심실, 심근의 정확한 위치를 찾을 수 없는 문제점이 있다.
따라서, 심장의 구조 및 위치 정보가 필요한 시술 시 심장에서 심방, 심실, 심근의 위치를 정확하게 제공해줄 수 있는 방법의 필요성이 대두된다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하고자 도출된 것으로서, 심장 혈관 조영술이나 스텐트 시술과 같은 심장 시술 시 뿐만 아니라, 심장의 구조 및 위치 정보를 필요로 하는 시술 시 심혈관, 심방, 심실, 심근의 구조 및 위치를 찾는데 도움을 줄 수 있는 의료 영상 오버레이 방법 및 그 장치를 제공하는 것을 목적으로 한다.
구체적으로, 본 발명은 X선 혈관 조영술 영상과 3D 심장 정보를 오버레이시킴으로써, 심장에서의 심혈관 위치를 정확하게 알 수 있고, 이를 통해 심장 혈관 조영술이나 스텐트 시술 등에 도움을 줄 수 있는 것은 물론이고, 심낭 천자술, 심박동기 삽입술, 심근 생검술, 심근 괴사술과 같은 심장 구조 시술 시에도 심방, 심실, 심근의 위치를 알 수 있고, 이를 통해 정확한 기술을 지원할 수 있다.
또한, 본 발명은 시술자에게 심혈관, 심방, 심실, 심근 등 심장의 구조 및 위치 정보를 직관적으로 이해하기 쉬운 형태로 제공할 수 있는 의료 영상 오버레이 방법 및 그 장치를 제공하는 것을 목적으로 한다.
또한 본 발명은 최소 침습 시술의 종류 및 형태에 따라서 적응적으로 오버레이되는 의료 영상의 정보가 선택되어 중재 시술의 가이던스를 더욱 효과적으로 수행하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 의료 영상 오버레이 방법은 피검자의 심장 부위의 영상을 포함하는 제1 의료 영상을 수신하는 단계; 상기 피검자의 상기 심장 부위의 영상을 포함하는 제2 의료 영상을 수신하는 단계; 상기 수신된 상기 제1 의료 영상으로부터 2차원 심혈관 정보를 추출하고, 상기 제2 의료 영상으로부터 3차원 심장 정보를 추출하는 단계; 상기 추출된 상기 2차원 심혈관 정보와 상기 3차원 심장 정보에 포함된 3차원 심혈관 정보의 정합을 이용하여 상기 제1 의료 영상과 상기 제2 의료 영상 간의 변환 행렬 정보를 추출하는 단계; 및 상기 추출된 상기 변환 행렬 정보를 상기 3차원 심장 정보에 적용하고, 상기 변환 행렬 정보가 적용된 상기 3차원 심장 정보를 상기 제1 의료 영상에 오버레이(overlay)시키는 단계를 포함한다.
상기 오버레이시키는 단계는 상기 3차원 심장 정보에 포함된 복수의 영상들 중 상기 피검자의 시술 종류에 대응하는 적어도 하나 이상의 영상을 선택하고, 상기 선택된 상기 적어도 하나 이상의 영상을 상기 피검자의 시술 종류에 대해 미리 결정된 배치, 구조, 상기 적어도 하나 이상의 영상의 형태 중 적어도 하나를 고려하여 상기 제1 의료 영상에 오버레이시킬 수 있다.
상기 오버레이시키는 단계는 상기 오버레이되는 상기 3차원 영상 정보에 심장의 외곽벽이 포함되는 경우 상기 심장의 외곽벽에 대한 두께 정보를 함께 오버레이시킬 수 있다.
상기 3차원 심장 정보는 3차원 심혈관 정보, 심방과 심실을 포함하는 4-챔버(4-chamber) 정보, 심장 외곽 정보, 심근 정보를 포함할 수 있다.
상기 변환 행렬 정보를 추출하는 단계는 상기 2차원 심혈관 정보와 상기 3차원 심혈관 정보의 비강체(non-rigid) 정합을 이용하여 상기 변환 행렬 정보를 추출할 수 있다.
상기 제1 의료 영상에 오버레이된 상기 3차원 심장 정보는 사용자 인터페이스를 이용한 사용자의 입력에 의해 투명도가 조절될 수 있다.
본 발명의 일 실시예에 따른 의료 영상 오버레이 장치는 피검자의 심장 부위의 영상을 포함하는 제1 의료 영상과 제2 의료 영상을 수신하는 수신부; 상기 수신된 상기 제1 의료 영상으로부터 2차원 심혈관 정보를 추출하고, 상기 제2 의료 영상으로부터 3차원 심장 정보를 추출하는 영상 정보 추출부; 상기 추출된 상기 2차원 심혈관 정보와 상기 3차원 심장 정보에 포함된 3차원 심혈관 정보의 정합을 이용하여 상기 제1 의료 영상과 상기 제2 의료 영상 간의 변환 행렬 정보를 추출하는 변환 행렬 추출부; 및 상기 추출된 상기 변환 행렬 정보를 상기 3차원 심장 정보에 적용하고, 상기 변환 행렬 정보가 적용된 상기 3차원 심장 정보를 상기 제1 의료 영상에 오버레이(overlay)시키는 영상 처리부를 포함한다.
본 발명에 따르면, 심장 외곽 정보를 심혈관 영상에 오버레이시킴으로써, 심혈관, 심방, 심실, 및 심근의 정확한 구조와 위치를 찾는데 도움을 줄 수 있고 이를 통해 심혈관 정보가 필요한 심장 혈관 조영술, 스텐트 시술 등은 물론, 그 외에도 심장의 구조 및 위치 정보가 필요한 심장 시술에 도움을 줄 수 있다.
또한, 본 발명에 따르면, X선 투시법(X-ray fluoroscopy)에 심장 외곽 정보를 포함하는 3D 심장 정보를 오버레이시켜 디스플레이시킴으로써, 시술자에게 직관적인 심혈관, 심방, 심실, 심근의 구조 및 위치를 제공하고, 다양한 시술에 도움을 줄 수 있다.
예를 들어, 본 발명은 심낭 천자술, 심박동기 삽입술, 심근 생검술, 심근 괴사술, 부정맥 시술 중 심방세동 전극도자 절제술 등의 시술에 도움을 줄 수 있다. 이러한 시술은 심장의 구조 및 위치에 대한 정보를 필요로 하는 다양한 시술의 예이다.
본 발명에 따르면 다양한 종류의 심장/심혈관 중재 시술에 있어서, 시술의 종류와 유형에 따라서 적절한 시술 가이던스 정보를 영상으로 제공하므로 시술의 가이던스/네비게이션을 효과적으로 수행할 수 있다. 본 발명에 따르면 심장의 4-챔버(2 심실, 2 심방)의 위치와 윤곽 정보가 필요한 경우에는 심장의 4-챔버 정보를 오버레이하고, 심실 또는 심방의 외벽의 두께에 대한 정보가 필요한 경우에는 심실 또는 심방의 외벽의 영상을 오버레이하고, 심근의 위치에 대한 정보가 필요한 경우에는 심근의 영상을 오버레이할 수 있으므로, 시술자는 시술에 필요한 정보를 피검자의 실시간 영상 정보와 함께 효율적으로 확인할 수 있다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 오버레이 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 도 1에 도시된 단계 S150에 대한 일 실시예의 동작 흐름도를 나타낸 것이다.
도 3은 2차원 심혈관 정보를 추출하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 4는 3차원 심장 정보를 추출하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 5는 2차원 심혈관 정보와 3차원 심혈관 정보를 이용하여 변환 행렬 정보를 추출하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 6은 제1 의료 영상에 제2 의료 영상을 오버레이하여 디스플레이한 화면의 일 예시도를 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 의료 영상 오버레이 장치에 대한 구성을 나타낸 것이다.
도 2는 도 1에 도시된 단계 S150에 대한 일 실시예의 동작 흐름도를 나타낸 것이다.
도 3은 2차원 심혈관 정보를 추출하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 4는 3차원 심장 정보를 추출하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 5는 2차원 심혈관 정보와 3차원 심혈관 정보를 이용하여 변환 행렬 정보를 추출하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 6은 제1 의료 영상에 제2 의료 영상을 오버레이하여 디스플레이한 화면의 일 예시도를 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 의료 영상 오버레이 장치에 대한 구성을 나타낸 것이다.
상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시 예에 대한 설명을 통하여 명백히 드러나게 될 것이다.
본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하에서는, 본 발명의 일 실시 예에 따른 심장 부위를 포함하는 의료 영상 오버레이 방법 및 그 장치를 첨부된 도 1 내지 도 7을 참조하여 상세히 설명한다.
본 발명은 피검자의 심장 부위를 포함하는 X선 혈관 조영술 영상에 심장 외곽 정보를 포함하는 3D 심장 정보를 오버레이시킴으로써, 심장의 구조 및 위치 정보가 필요한 다양한 종류의 심장 시술에서 시술자에게 심장 시술 부위의 정확한 위치를 찾는데 도움을 주고자 하는 것이다. 이 때 본 명세서에서 표현된 '피검자'는 일반적으로 '환자'의 개념을 포함하는 용어이다. '피검자'는 반드시 질환을 앓고 있을 필요는 없으며, 중재 시술의 대상자를 가리키는 용어로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 오버레이 방법에 대한 동작 흐름도를 나타낸 것이다.
도 1을 참조하면, 본 발명에 따른 방법은 피검자의 심장 부위를 포함하는 제1 의료 영상을 수신한다(S110).
여기서, 제1 의료 영상은 예를 들면 X선 혈관 조영술(angiography)에 의해 촬영된 피검자의 실시간 의료 영상일 수 있다. 물론, 제1 의료 영상은 X선 혈관 조영술에 의해 촬영된 의료 영상에 한정되지 않으며, 피검자의 심혈관을 실시간으로 촬영할 수 있는 촬영 장치 또는 촬영법에 의해 촬영된 의료 영상을 포함할 수 있다. 당업계에서는 이러한 실시간 의료 영상을 fluoroscopy라 하기도 한다.
물론, 단계 S110에서 수신되는 제1 의료 영상은 실시간 동영상일 수도 있고, 촬영된 영상들 중 어느 하나의 영상일 수도 있다.
그 다음, 피검자의 심장 부위를 포함하는 제2 의료 영상을 수신한다(S120).
여기서, 제2 의료 영상은 3차원 모델을 형성할 수 있을 정도의 높은 해상도와 풍부한 정보를 가지고 있는 영상으로, 컴퓨터 단층촬영(CT: Computer Tomography) 장치, 자기공명영상(MRI: Magnetic Resonance Imaging) 장치 등에 의해 촬영된 3D 의료 영상을 포함할 수 있다.
단계 S120에서 수신되는 제2 의료 영상은 피검자의 심장 부위를 촬영하여 재구성된 3D 의료 영상일 수 있는데, 이런 3D 의료 영상은 미리 촬영되어 의료영상저장전송시스템(PACS)과 같은 시스템에 미리 저장된 후 사용자의 요청에 의해 제공될 수 있다.
물론, 3D 의료 영상은 피검자의 시술 시점을 기준으로 사용자 즉, 시술자에 의해 결정된 촬영 시점에 촬영된 의료 영상일 수 있다.
단계 S110과 S120에 의해 제1 의료 영상과 제2 의료 영상이 수신되면, 수신된 제1 의료 영상으로부터 2D 심혈관 정보를 추출하고, 제2 의료 영상으로부터 3D 심장 정보를 추출한다(S130).
여기서, 단계 S130에서 추출되는 3D 심장 정보는 3D 심혈관 정보, 심방과 심실을 포함하는 4-챔버 정보, 심장 외곽 정보, 심근 정보 등을 포함할 수 있으며, 추가적으로 심장의 외곽벽 정보와 외곽벽의 두께 정보를 포함할 수도 있다.
도 1에서 제1 의료 영상이 수신되는 단계 S110과 제2 의료 영상이 수신되는 단계 S120이 순차적으로 실행되는 것으로 도시되었으나, 단계 S110과 단계 S120은 서로 독립적인 이벤트로 실행될 수 있으며 그 순서에는 제한이 없다. 또한 단계 S110과 단계 S120은 제1 의료 영상과 제2 의료 영상 각각이 생성되는 과정을 의미하는 것은 아니며, 제1 의료 영상과 제2 의료 영상 각각은 사전에 미리 생성되거나 현재 생성되는 도중일 수 있고, 단계 S110과 단계 S120은 각 의료 영상을 수신하는 과정을 의미한다. 본 발명의 다양한 실시예에 따르면 제2 의료 영상은 CT 또는 MRI 영상과 같은 정밀하고 풍부한 정보를 가지고 있는 영상 집합(image set)으로서, 피검자의 시술 전에 미리 생성될 수 있으며, 단계 S130 중 제2 의료 영상으로부터 3D 심장 정보를 추출하는 부분은 오랜 시간이 걸릴 수도 있으므로 단계 S110보다 미리 실행될 수도 있다.
제1 의료 영상은 피검자의 시술 도중에 생성될 수 있는 것으로, 단계 S130 중 제1 의료 영상으로부터 2D 심혈관 정보를 추출하는 과정은 지속적으로 갱신되며 실시간으로 재실행될 수 있다.
제1 의료 영상으로부터 2D 심혈관 정보를 추출하는 과정에 대해 도 3을 참조하여 설명한다.
도 3a에 도시된 바와 같이, X선 혈관 조영술에 의해 촬영된 제1 의료 영상이 수신되면, 도 3b에 도시된 바와 같이, 이진화 기법(binarization or thresholding)을 이용하여 수신된 제1 의료 영상을 변환한다.
여기서, 이진화 기법은 특정 문턱값 또는 경계값을 기준으로 의료 영상을 구성하는 픽셀 값을 0, 1 두 값으로 분류하는 방법이다.
그리고, 도 3c에 도시된 바와 같이, 이진화 기법에 의해 변환된 제1 의료 영상에서 잡음을 제거하고(denoising), 도 3d에 도시된 바와 같이 잡음이 제거된 영상을 세선화 기법(thinning)을 이용하여 제1 의료 영상에 포함된 심혈관에 대한 2D 심혈관 정보를 추출한다.
마찬가지로, 제2 의료 영상으로부터 3D 심장 정보를 추출하는 과정에 대해 도 4를 참조하여 설명한다.
도 4a에 도시된 바와 같이, MRI 장치, CT 장치로부터 촬영되어 재구성된 피검자의 3D 의료 영상(410)이 수신되면, 도 4b에 도시된 바와 같이 3D 심혈관 정보를 추출하기 위하여 심혈관에 대한 특징점 또는 시드(seed)를 입력받고 입력된 특징점 또는 시드에 기초하여 영역 확장(region growing)을 수행하며, 엔드 포인트(end point) 탐색과 최소비용 패스(mincost path) 과정을 거친 후 세선화 기법을 이용하여 피검자의 3D 의료 영상으로부터 3D 심혈관 정보(420)를 추출한다.
이 때, 추출되는 3D 심혈관 정보는 도 4b에 도시된 바와 같이 특정 면에 투사됨으로써, 도 3에서 추출된 2D 심혈관 정보와 정합되는 심혈관 정보가 추출될 수 있다. 3D 심혈관 정보는 x,y,z 좌표를 가지는 복셀(voxel)로 나타내어질 수 있다. 이 때 3D 심혈관 정보는 일종의 3D 모델로서, 도 3에서 추출된 2D 심혈관 정보와 정합하기 위해서는 3D 심혈관 정보는 제1 의료 영상이 촬영된 방향에 수직인 면을 기준면으로 하여 기준면 상에 투사될 수 있다.
그리고 도 4c에 도시된 바와 같이, 심방과 심실을 포함하는 4-챔버 정보를 추출하기 위해서 4-챔버 또는 심장에 대한 아틀라스(Atlas) 모델을 이용한 정합(registration) 방법을 통해 피검자의 3D 의료 영상으로부터 4-챔버 정보를 추출하거나 피검자의 3D 의료 영상에서 특징점 또는 시드(seed)를 입력받고 입력된 특징점 또는 시드에 기초한 영역 확장(region growing)을 수행함으로써, 4-챔버 정보(430)를 추출할 수 있다.
마찬가지로, 도 4d에 도시된 바와 같이, 심장 외곽 정보를 추출하기 위해, 심장 외곽 또는 심장에 대한 아틀라스(Atlas) 모델을 이용한 정합(registration) 방법을 통해 피검자의 3D 의료 영상으로부터 심장 외곽 정보를 추출하거나 심장 외곽에 대한 사용자 입력을 통한 전달(propagation) 기법을 이용하거나 4-챔버와 시드를 이용한 전달 기법을 이용함으로써, 피검자의 심장 외곽 정보(440)를 추출할 수 있다.
물론 도 4에 도시하진 않았지만, 피검자의 3D 의료 영상으로부터 심방과 심방간, 심방과 심실간, 심방/심실과 외곽 간의 경계 정보 또는 심장 외곽벽에 대한 두께 정보를 추출할 수도 있으며, 심근 정보 또한 추출할 수 있다.
심장 외곽 정보 또는 심장 정보는 제2 의료 영상으로부터 얻어지는 3D 모델의 형태로 구현될 수 있다. 이 때 3D 모델이 제1 의료 영상 상의 2D 심혈관 정보와 오버레이되기 위해서는, 3D 심장 모델은 제1 의료 영상이 촬영된 방향에 수직인 면을 기준면으로 하여 기준면에 투사될 수 있다.
단계 S130에서 2D 심혈관 정보와 3D 심장 정보가 추출되면 추출된 2D 심혈관 정보와 3D 심장 정보 중 3D 심혈관 정보의 정합을 이용하여 제1 의료 정보와 제2 의료 정보 간의 변환 행렬 정보를 추출한다(S140).
여기서, 단계 S140은 2D 심혈관 정보와 3D 심혈관 정보의 비강체(non-rigid) 정합을 이용하여 제1 의료 정보와 제2 의료 정보 간의 변환 행렬 정보를 추출할 수 있다.
단계 S140의 심혈관 정합을 통해 변환 행렬 정보를 추출하는 과정에 대해 도 5를 이용하여 설명한다.
도 5a에 도시된 바와 같이, 단계 S130에 의해 추출된 2D 심혈관 정보와 3D 심혈관 정보를 입력 정보로 수신하고, 도 5b에 도시된 바와 같이 두 심혈관 정보의 비강체 정합을 통해 2D 심혈관 정보와 3D 심혈관 정보가 매칭되는 변환 행렬 정보를 추출한다.
변환 행렬 정보를 추출하기 위한 입력 정보는 도 5a에 도시된 심혈관 정보 뿐만 아니라 X선 소스와 제1 의료 영상을 디텍팅하는 디텍터까지의 거리/대상에서 디텍터까지의 거리를 나타내는 2D FOV(field of view), 및 각도(angle) 정보를 포함할 수 있다.
그리고 이런 입력 정보를 이용한 정합 과정은, 2D 심혈관 정보로부터 2D 센터 라인에서 특징을 추출하여 좌우를 판단하고 3D 심혈관 정보로부터 3D 센터 라인에서 좌측 혈관 또는 우측 혈관 중 어느 한쪽만을 선택하여 각도 정보로 회전시키며 FOV 정보로 스케일링한 후 비강체 정합으로 수행함으로써, 제1 의료 영상과 제2 의료 영상 간의 변환 행렬 정보를 추출할 수 있다. 물론, 2D 심혈관 정보와 3D 심혈관 정보의 정합을 통한 제1 의료 영상과 제2 의료 영상 간의 변환 행렬 정보를 추출하는 과정이 상술한 내용으로 한정되는 것은 아니며, 기존에 알려진 다양한 방법을 모두 사용할 수 있다.
제1 의료 영상과 제2 의료 영상 간의 변환 행렬 정보를 추출하는 과정을 보다 구체적으로 설명하면, A) 제1 의료 영상의 2D 심혈관 정보와 정합하기 위해서는 제2 의료 영상의 3D 심장 모델(특히 심혈관의 위치가 포함된 모델)이 제1 의료 영상이 촬영된 방향과 일치하는 방향으로 2D 투영(projection)된다. 즉 제2 의료 영상의 3D 심혈관 정보는 2D 투영에 의하여 제2 의료 영상의 2D 심혈관 정보(또는 3D 심혈관 정보의 2D 투영 버전)로 변환될 수 있다.
B) 제1 의료 영상의 2D 심혈관 정보와 제2 의료 영상의 2D 심혈관 정보(3D 심혈관 정보의 2D 투영 버전)는 동일한 디멘전인 2D에서 정합될 수 있다. C) 이러한 정합 과정에서 2D 심혈관 정보 간의 변환 행렬 정보가 추출될 수 있다. 즉, 제2 의료 영상의 3D 심혈관 정보의 2D 투영 버전과 제1 의료 영상의 2D 심혈관 정보 간의 정합을 통하여 변환 행렬 정보가 추출될 수 있다.
이와 같이, 단계 S140에 의해 변환 행렬 정보가 추출되면, 추출된 변환 행렬 정보를 3D 심장 정보에 적용시키고, 제1 의료 영상에 변환 행렬 정보가 적용된 3D 심장 정보를 오버레이시킨다(S150).
즉, 3D 심장 정보를 구성하는 3D 심혈관 정보, 4-챔버 정보, 심장 외곽 정보 등에 변환 행렬 정보를 곱함으로써, 변환 행렬 정보를 3D 심장 정보에 적용시킨다.
이 때 보다 구체적으로는, D) 단계 S130에서 추출된 제2 의료 영상의 3D 심장 정보(심방, 심실, 심근, 심장 외곽 등의 구조 및 위치 정보를 포함)가 제1 의료 영상이 촬영된 방향과 일치하는 방향으로 2D 투영될 수 있다.
D-1) 2D로 투영되어 표시되는 심장 정보의 표시 형태로는 3D 심장 외곽 경계선이 2D로 투영된 외곽 경계선 영상, 최대 강도 투영(MIP, maximum intensity projection) 영상, 최소 강도 투영 영상(minIP, minimum intensity projection) 영상 등이 있을 수 있다.
E) 2D 외곽 영상, 2D MIP 영상, 2D minIP 영상에, 단계 S140에서 추출된 2D 변환 행렬 정보를 곱함으로써, 2D 변환 행렬 정보가 적용될 수 있다. 즉, 제2 의료 영상의 3D 심장 정보의 2D 투영 버전에 변환 행렬 정보가 적용될 수 있다.
제1 의료 영상과 제2 의료 영상 간의 변환 행렬 정보가 적용된 제2 의료 영상의 심장 구조 정보는 변환 행렬 정보를 통하여 제1 의료 영상과 위치 정합이 이루어진 상태이다. 이처럼 위치 정합이 이루어진 제2 의료 영상의 심장 구조 정보는 제1 의료 영상 상에 오버레이하여 디스플레이될 수 있다. 즉, 제2 의료 영상의 3D 심장 구조 정보는 2D 투영 버전에 변환 행렬 정보가 적용된 채로 제1 의료 영상 상에 오버레이될 수 있다.
이 때, 단계 S150은 3D 심장 정보에 심장의 외곽벽 정보가 포함되는 경우 심장의 외곽벽에 대한 두께 정보를 함께 오버레이시킬 수도 있다.
단계 S150에서 오버레이시킨 제1 의료 영상과 변환 행렬 정보가 적용된 3D 심장 정보는 사용자 또는 시술자의 화면에 디스플레이되는데, 이에 한정하지 않으며 디스플레이됨과 동시에 의료 영상 파일로 PACS 등에 저장될 수도 있다. 즉, 단계 S150의 오버레이 단계는 오버레이된 영상을 화면에 디스플레이하는 것 뿐만 아니라 오버레이된 영상을 PACS 등의 시스템에 저장하는 것 모두를 포함할 수 있다.
예컨대, 도 6에 도시된 바와 같이, 본 발명은 제1 의료 영상(610)과 3D 심장 정보(620)가 오버레이된 영상을 화면의 일부 영역에 디스플레이하고 다른 영역에 3D 심장 정보를 별도로 디스플레이할 수 있으며, 디스플레이된 영상들 중 어느 하나의 영상에서 특정 포인트(630)가 선택되면 선택된 특정 포인트에 매칭되는 위치를 다른 영상에 함께 디스플레이할 수 있다. 여기서, 다른 디스플레이 영역에 디스플레이되는 3D 심장 정보는 시술 종류나 사용자의 선택에 따라 달라질 수도 있다.
또한, 단계 S150에 의해 제1 의료 영상에 오버레이된 3D 심장 정보는 미리 제공되는 사용자 인터페이스를 이용한 사용자의 입력을 통해 표시 형태와 투명도가 조정될 수 있다. 즉, 본 발명의 일 실시예에 따른 의료 영상 오버레이 장치에서는 제1 의료 영상에 오버레이되는 3D 심장 정보의 표시 형태와 투명도를 사용자가 조정할 수 있도록 사용자 인터페이스로서 선택 메뉴 등을 제공할 수 있다. 3D 심장 정보를 구성하는 영상 요소 각각, 즉, 심장의 외곽 경계, 4-챔버의 구획 정보, 또는 심장의 외벽 두께를 나타내는 영상, 심근 영상 등에 대한 투명도가 조정될 수도 있고, 3D 심장 정보 전체에 대한 투명도 또는 불투명도가 조정될 수도 있다. 여기서, 조절되는 투명도는 수치 값에 의해 조절될 수도 있지만, 투명도가 미리 설정된 항목 예를 들어, 최대/중간/투영 항목을 제공하고 사용자 선택에 의해 투명도가 조절될 수도 있다. 표시 형태는 3D 심장 정보가 2D로 투영된 영상의 외곽 경계선, 최대 강도 투영(maximum intensity projection), 최소 강도 투영(minimum intensity projection) 등의 영상 처리/표시 형태를 의미할 수도 있다.
그리고, 3D 심장 정보를 오버레이시킨 제1 의료 영상은 동영상을 포함할 수 있으며, 동영상 중 혈관 조영이 안된 프레임에서의 혈관은 혈관 조영된 앞과 뒤 프레임을 이용한 보간법(interpolation)에 의해 생성될 수 있다.
이와 같이, 본 발명에 따른 의료 영상 오버레이 방법은 X선 혈관 조영술 영상에 변환 행렬 정보가 적용된 3D 심혈관 정보만을 오버레이시키는 것이 아니라 4-챔버 정보, 심장 외곽 정보, 심장 외곽벽 두께, 심근 정보 등을 함께 오버레이시키기 때문에 시술자가 심장 시술 시 혈관 뿐만 아니라 심방, 심실, 심근의 정확한 구조 및 위치를 찾는데 많은 도움을 줄 수 있다.
또한, 본 발명에 따른 방법은 심장 시술 종류에 따라 제1 의료 영상에 오버레이되는 3D 심장 정보를 적응적으로 결정함으로써, 심장 시술 종류에 맞는 3D 심장 정보 예를 들어, 3D 심혈관 정보와 심장 외곽 정보만을 오버레이시킨 영상을 통해 해당 심장 시술의 시술자에게 보다 많은 도움을 줄 수 있다.
여기서, 심장 외곽 정보 등을 오버레이시킴으로써 시술자에게 도움을 줄 수 있는 심장 시술로는 Pericardiocentesis(심낭 천자술), Permanent pacemaker Insertion(영구형 심박동기 삽입술), Myocadial Biopsy(심근 생검술), Septal Ablation(심근 괴사술), 부정맥 시술 중 심방세동 전극도자 절제술, 등 심장의 구조 및 위치 정보가 필요한 다양한 structural heart disease의 emerging technology 등의 시술에 도움을 줄 수 있다.
도 2는 도 1에 도시된 단계 S150에 대한 일 실시예의 동작 흐름도를 나타낸 것으로, 심장 시술 종류에 따라 제1 의료 영상에 오버레이되는 3D 심장 정보를 적응적으로 결정하기 위한 동작 흐름도를 나타낸 것이다.
도 2를 참조하면, 오버레이시키는 단계(S150)는 시술하고자 하는 피검자의 시술 종류를 확인하고, 확인된 피검자의 시술 종류에 대응하는 적어도 하나 이상의 영상을 단계 S130에서 추출된 3D 심장 정보에서 선택 또는 결정한다(S210, S220).
단계 S220에서 선택되는 적어도 하나 이상의 영상은 3D 심혈관 정보를 기본적으로 선택할 수 있고, 시술 종류에 따라 심장 외곽 정보만을 추가적으로 선택할 수도 있으며, 4-챔버 정보만을 추가적으로 선택할 수도 있다. 물론, 심장 외곽 정보와 4-챔버 정보를 모두 추가적으로 선택할 수도 있으며, 심근 정보와 심장 외곽 정보만을 선택할 수도 있다. 선택된 3D 영상 정보를 2D로 나타내는 표시 형태는 기본적으로 2D 투영 영상의 외곽 경계선 영상일 수 있고, 이 외에도 최대 강도 투영 영상, 최소 강도 투영 영상 등의 다양한 방법이 추가로 있을 수 있으며, 또한 사용자가 이러한 표시 형태를 선택할 수 있는 사용자 인터페이스가 제공될 수 있다.
이와 같이, 단계 S220에서 시술 종류에 따른 적어도 하나 이상의 영상이 선택되면, 선택된 적어도 하나 이상의 영상에 단계 S140에서 추출된 변환 행렬 정보를 적용시키고, 변환 행렬 정보가 적용된 적어도 하나 이상의 영상을 확인된 시술 종류에 대해 미리 결정된 배치, 구조, 영상 형태를 고려하여 제1 의료 영상에 오버레이시킨다(S230, S240).
여기서, 시술 종류에 따른 배치, 구조, 영상 형태는 선택된 영상의 투명도가 시술 종류에 따라 달라지거나, 4-챔버가 선택된 경우 시술 종류에 따라 4-챔버 중 오버레이되는 챔버의 영역이 달라지거나 예를 들어, 심방만을 오버레이시키거나 심실만을 오버레이시킬 수 있으며, 시술 종류에 따라 심장의 외곽벽과 심장의 외곽벽 두께 정보를 함께 오버레이시키는 등을 모두 포함할 수 있다. 이런 시술 종류에 따른 배치, 구조, 영상 형태는 미리 결정될 수 있으며, 이와 같은 정보가 제1 의료 영상에 오버레이된 후에도 시술자에게 제공되는 사용자 인터페이스를 통해 투명도 등이 조절될 수도 있다.
예를 들면 시술의 종류에 따라 심장의 4-챔버(2 심실, 2 심방)의 위치와 윤곽 정보가 필요한 경우에는 심장의 4-챔버 정보를 오버레이하고, 심실 또는 심방의 외벽의 두께에 대한 정보가 필요한 경우에는 심실 또는 심방의 외벽의 영상을 오버레이하고, 심근의 위치에 대한 정보가 필요한 경우에는 심근의 영상을 오버레이할 수 있으므로, 시술자는 시술에 필요한 정보를 피검자의 실시간 영상 정보와 함께 효율적으로 확인할 수 있다.
도 7은 본 발명의 일 실시예에 따른 의료 영상 오버레이 장치에 대한 구성을 나타낸 것이다.
도 7을 참조하면, 본 발명에 따른 장치(700)는 수신부(710), 영상 정보 추출부(720), 변환 행렬 추출부(730), 및 영상 처리부(740)를 포함한다. 의료 영상 오버레이 장치(700)는 소프트웨어 프로그램 또는 코드의 형태로 제공되는 인스트럭션/커맨드에 의하여 도 1 및 도 2에 도시된 방법을 실행할 수 있다. 의료 영상 오버레이 장치(700)는 프로그램 또는 코드의 형태로 제공되는 인스트럭션/커맨드를 실행하는 적어도 하나 이상의 프로세서(도시되지 않음)를 포함할 수 있다. 도 7에 도시된 수신부(710), 영상 정보 추출부(720), 변환 행렬 추출부(730), 영상 처리부(740)는 장치(700) 내의 프로세서 내의 구성 요소로서 포함될 수 있다.
수신부(710)는 피검자의 심장 부위의 영상을 포함하는 제1 의료 영상과 제2 의료 영상을 수신한다.
이 때, 수신부(710)는 피검자의 제1 의료 영상을 X선 혈관 조영술에 의해 촬영된 실시간 의료 영상으로 수신할 수 있고, 피검자의 제2 의료 영상을 CT 장치나 MRI 장치 등에 의해 촬영된 3D 의료 영상으로 수신할 수 있다.
영상 정보 추출부(720)는 수신부(710)로 수신된 제1 의료 영상으로부터 2D 심혈관 정보를 추출하고, 제2 의료 영상으로부터 3D 심장 정보를 추출한다.
여기서, 3D 심장 정보는 3D 심혈관 정보, 심방과 심실을 포함하는 4-챔버 정보, 심장 외곽 정보, 심근 정보를 포함할 수 있으며, 필요에 따라 심장의 외곽벽에 대한 정보와 외곽벽의 두께 정보를 포함할 수도 있다.
영상 정보 추출부(720)는 도 3에서 설명한 바와 같이, 이진화 기법, 잡음 제거 기법 및 세선화 기법을 이용하여 제1 의료 영상으로부터 2D 심혈관 정보를 추출할 수 있으며, 마찬가지로, 아틀라스 모델, 특징점과 시드를 이용한 영역 확장 기법, 세선화 기법 등을 이용하여 제2 의료 영상으로부터 3D 심장 정보를 추출할 수 있다.
변환 행렬 추출부(730)는 영상 정보 추출부(720)에서 추출한 2D 심혈관 정보와 3D 심혈관 정보의 정합을 이용하여 제1 의료 영상과 제2 의료 영상 간의 변환 행렬 정보를 추출한다.
이 때, 변환 행렬 추출부(730)는 2D 심혈관 정보와 3D 심혈관 정보의 비강체(non-rigid) 정합을 이용하여 제1 의료 영상과 제2 의료 영상 간의 변환 행렬 정보를 추출할 수 있으며, 필요에 따라 X선 소스와 제1 의료 영상을 디텍팅하는 디텍터까지의 거리/대상에서 디텍터까지의 거리를 나타내는 2D FOV(field of view) 및 각도(angle) 정보를 이용하여 제1 의료 영상과 제2 의료 영상 간의 변환 행렬 정보를 추출할 수 있다.
영상 처리부(740)는 변환 행렬 추출부(730)에 의해 추출된 변환 행렬 정보를 3D 심장 정보에 적용하고, 변환 행렬 정보가 적용된 3D 심장 정보를 제1 의료 영상에 오버레이시킨다.
이 때, 영상 처리부(740)는 3D 영상 정보에 심장의 외곽벽이 포함되어 있는 경우 심장의 외곽벽에 대한 두께 정보를 함께 오버레이시킬 수 있으며, 사용자 인터페이스를 사용자에게 제공함으로써, 사용자 인터페이스를 이용한 사용자 입력에 기초하여 제1 의료 영상에 오버레이된 3D 심장 정보에 대한 투명도 또는 3D 심장 정보에 포함된 영상 각각에 대한 투명도를 조절할 수도 있다. 또한 영상 처리부(740)는 3D 영상 정보의 표시 형태에 따라 2D 투영 영상의 외곽 경계선 영상, 최대 강도 투영 영상, 최소 강도 투영 영상 등의 다양한 형태를 오버레이시킬 수 있다.
나아가, 영상 처리부(740)는 피검자의 시술 종류를 확인하고, 3D 심장 정보에 포함된 복수의 영상들 중 확인된 시술 종류에 대응하는 적어도 하나 이상의 영상을 선택 또는 결정하며, 피검자의 시술 종류에 대해 미리 결정된 배치, 구조, 적어도 하나 이상의 영상의 형태 중 적어도 하나를 고려하여 제1 의료 영상에 선택된 적어도 하나 이상의 영상을 오버레이시킬 수 있다.
본 발명의 일 실시예에 따른 의료 영상 오버레이 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
Claims (12)
- 피검자의 심장 부위의 영상을 포함하는 제1 의료 영상을 수신하는 단계;
상기 피검자의 상기 심장 부위의 영상을 포함하는 제2 의료 영상을 수신하는 단계;
상기 수신된 상기 제1 의료 영상으로부터 2차원 심혈관 정보를 추출하고, 상기 제2 의료 영상으로부터 3차원 심장 정보를 추출하는 단계;
상기 추출된 상기 2차원 심혈관 정보와 상기 3차원 심장 정보에 포함된 3차원 심혈관 정보의 정합을 이용하여 상기 제1 의료 영상과 상기 제2 의료 영상 간의 변환 행렬 정보를 추출하는 단계;
상기 피검자에게 시술될 시술 종류를 확인하는 단계;
상기 확인된 피검자의 시술 종류에 대응하여 상기 3차원 심장 정보 중 상기 3차원 심혈관 정보 이외에 추가적으로 제공될 3차원 심장 구조 정보를 적응적으로 선택하는 단계; 및
상기 추출된 상기 변환 행렬 정보를 상기 3차원 혈관 정보와 상기 선택된 3차원 심장 구조 정보를 포함하는 3차원 심장 정보에 적용하고, 상기 변환 행렬 정보가 적용된 3차원 심장 정보를 상기 제1 의료 영상에 오버레이(overlay)시키는 단계
를 포함하는 의료 영상 오버레이 방법. - 제1항에 있어서,
상기 오버레이시키는 단계는
상기 선택된 3차원 심장 구조 정보를 상기 피검자의 시술 종류에 대해 미리 결정된 배치, 구조, 및 상기 선택된 3차원 심장 구조 정보의 형태 중 적어도 하나를 고려하여 상기 제1 의료 영상에 오버레이시키는 것을 특징으로 하는 의료 영상 오버레이 방법. - 제1항에 있어서,
상기 오버레이시키는 단계는
상기 오버레이되는 상기 3차원 영상 정보에 심장의 외곽벽이 포함되는 경우 상기 심장의 외곽벽에 대한 두께 정보를 함께 오버레이시키는 것을 특징으로 하는 의료 영상 오버레이 방법. - 제1항에 있어서,
상기 3차원 심장 정보는
3차원 심혈관 정보, 심방과 심실을 포함하는 4-챔버 정보, 심장 외곽 정보, 심근 정보를 포함하는 것을 특징으로 하는 의료 영상 오버레이 방법. - 제1항에 있어서,
상기 변환 행렬 정보를 추출하는 단계는
상기 2차원 심혈관 정보와 상기 3차원 심혈관 정보의 비강체(non-rigid) 정합을 이용하여 상기 변환 행렬 정보를 추출하는 것을 특징으로 하는 의료 영상 오버레이 방법. - 제1항에 있어서,
상기 제1 의료 영상에 오버레이된 상기 3차원 심장 정보는
사용자 인터페이스를 이용한 사용자의 입력에 의해 투명도가 조절되는 것을 특징으로 하는 의료 영상 오버레이 방법. - 피검자의 심장 부위의 영상을 포함하는 제1 의료 영상과 제2 의료 영상을 수신하는 수신부;
상기 수신된 상기 제1 의료 영상으로부터 2차원 심혈관 정보를 추출하고, 상기 제2 의료 영상으로부터 3차원 심장 정보를 추출하는 영상 정보 추출부;
상기 추출된 상기 2차원 심혈관 정보와 상기 3차원 심장 정보에 포함된 3차원 심혈관 정보의 정합을 이용하여 상기 제1 의료 영상과 상기 제2 의료 영상 간의 변환 행렬 정보를 추출하는 변환 행렬 추출부; 및
상기 피검자에게 시술될 시술 종류를 확인하고, 상기 확인된 피검자의 시술 종류에 대응하여 상기 3차원 심장 정보 중 상기 3차원 심혈관 정보 이외에 추가적으로 제공될 3차원 심장 구조 정보를 적응적으로 선택하고, 상기 추출된 상기 변환 행렬 정보를 상기 3차원 혈관 정보와 상기 선택된 3차원 심장 구조 정보를 포함하는 3차원 심장 정보에 적용하고, 상기 변환 행렬 정보가 적용된 3차원 심장 정보를 상기 제1 의료 영상에 오버레이(overlay)시키는 영상 처리부
를 포함하는 의료 영상 오버레이 장치. - 제7항에 있어서,
상기 영상 처리부는
상기 선택된 3차원 심장 구조 정보를 상기 피검자의 시술 종류에 대해 미리 결정된 배치, 구조, 및 상기 선택된 3차원 심장 구조 정보의 형태 중 적어도 하나를 고려하여 상기 제1 의료 영상에 오버레이시키는 것을 특징으로 하는 의료 영상 오버레이 장치. - 제7항에 있어서,
상기 영상 처리부는
상기 오버레이되는 상기 3차원 영상 정보에 심장의 외곽벽이 포함되는 경우 상기 심장의 외곽벽에 대한 두께 정보를 함께 오버레이시키는 것을 특징으로 하는 의료 영상 오버레이 장치. - 제7항에 있어서,
상기 영상 정보 추출부는
3차원 심혈관 정보, 심방과 심실을 포함하는 4-챔버 정보, 심장 외곽 정보, 심근 정보를 포함하는 상기 3차원 심장 정보를 추출하는 것을 특징으로 하는 의료 영상 오버레이 장치. - 제7항에 있어서,
상기 변환 행렬 추출부는
상기 2차원 심혈관 정보와 상기 3차원 심혈관 정보의 비강체(non-rigid) 정합을 이용하여 상기 변환 행렬 정보를 추출하는 것을 특징으로 하는 의료 영상 오버레이 장치. - 제7항에 있어서,
상기 제1 의료 영상에 오버레이된 상기 3차원 심장 정보는
사용자 인터페이스를 이용한 사용자의 입력에 의해 투명도가 조절되는 것을 특징으로 하는 의료 영상 오버레이 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140040493A KR101579948B1 (ko) | 2014-04-04 | 2014-04-04 | 심장 부위를 포함하는 의료 영상 오버레이 방법 및 그 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140040493A KR101579948B1 (ko) | 2014-04-04 | 2014-04-04 | 심장 부위를 포함하는 의료 영상 오버레이 방법 및 그 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150115438A KR20150115438A (ko) | 2015-10-14 |
| KR101579948B1 true KR101579948B1 (ko) | 2015-12-23 |
Family
ID=54357586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140040493A KR101579948B1 (ko) | 2014-04-04 | 2014-04-04 | 심장 부위를 포함하는 의료 영상 오버레이 방법 및 그 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101579948B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101783172B1 (ko) | 2017-04-12 | 2017-09-28 | 국방과학연구소 | 탄환의 인체 관통 손상도 분석 장치 및 그 방법과 이를 이용한 스마트 총기 제어 장치 |
| KR20210108178A (ko) | 2020-02-25 | 2021-09-02 | 숭실대학교산학협력단 | 2d xa 영상과 3d cta 영상 간의 강체 정합 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| KR20210135682A (ko) | 2020-05-06 | 2021-11-16 | 인천대학교 산학협력단 | 심장 챔버 영상의 경계를 구분하는 영상 분석 장치 및 방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11031118B2 (en) * | 2019-08-12 | 2021-06-08 | Biosense Webster (Israel) Ltd. | Mixed electroanatomical map coloring tool having draggable geodesic overlay |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009022754A (ja) * | 2007-07-19 | 2009-02-05 | General Electric Co <Ge> | 放射線画像の位置揃えを補正する方法 |
| JP2011156402A (ja) * | 2005-03-10 | 2011-08-18 | Toshiba Medical Systems Corp | Ｘ線ｃｔ装置 |
| JP2012024582A (ja) * | 2010-07-21 | 2012-02-09 | Siemens Corp | 包括的な患者固有の心臓のモデリング方法およびシステム |
| JP2012130648A (ja) | 2010-12-20 | 2012-07-12 | Toshiba Medical Systems Corp | 画像処理装置および画像処理方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5878034B2 (ja) | 2012-02-16 | 2016-03-08 | キョーラク株式会社 | 発泡成形体 |
-
2014
- 2014-04-04 KR KR1020140040493A patent/KR101579948B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011156402A (ja) * | 2005-03-10 | 2011-08-18 | Toshiba Medical Systems Corp | Ｘ線ｃｔ装置 |
| JP2009022754A (ja) * | 2007-07-19 | 2009-02-05 | General Electric Co <Ge> | 放射線画像の位置揃えを補正する方法 |
| JP2012024582A (ja) * | 2010-07-21 | 2012-02-09 | Siemens Corp | 包括的な患者固有の心臓のモデリング方法およびシステム |
| JP2012130648A (ja) | 2010-12-20 | 2012-07-12 | Toshiba Medical Systems Corp | 画像処理装置および画像処理方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101783172B1 (ko) | 2017-04-12 | 2017-09-28 | 국방과학연구소 | 탄환의 인체 관통 손상도 분석 장치 및 그 방법과 이를 이용한 스마트 총기 제어 장치 |
| KR20210108178A (ko) | 2020-02-25 | 2021-09-02 | 숭실대학교산학협력단 | 2d xa 영상과 3d cta 영상 간의 강체 정합 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| KR20210135682A (ko) | 2020-05-06 | 2021-11-16 | 인천대학교 산학협력단 | 심장 챔버 영상의 경계를 구분하는 영상 분석 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150115438A (ko) | 2015-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10332253B2 (en) | Methods and devices for registration of image data sets of a target region of a patient | |
| US10687777B2 (en) | Vascular data processing and image registration systems, methods, and apparatuses | |
| CA2905203C (en) | Vascular data processing and image registration systems, methods, and apparatuses | |
| US8675996B2 (en) | Catheter RF ablation using segmentation-based 2D-3D registration | |
| US8625865B2 (en) | Method and apparatus for navigating a therapeutic device to a location | |
| US20100061611A1 (en) | Co-registration of coronary artery computed tomography and fluoroscopic sequence | |
| US10853956B2 (en) | Device and method for medical imaging of coronary vessels | |
| US20140347353A1 (en) | Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope | |
| KR101579948B1 (ko) | 심장 부위를 포함하는 의료 영상 오버레이 방법 및 그 장치 | |
| Metz et al. | Registration of $3 {\rm D}+{\rm t} $ Coronary CTA and Monoplane $2 {\rm D}+{\rm t} $ X-Ray Angiography | |
| Aksoy et al. | Template‐based CTA to x‐ray angio rigid registration of coronary arteries in frequency domain with automatic x‐ray segmentation | |
| CN108430376B (zh) | 提供投影数据集 | |
| Gatta et al. | Non-rigid multi-modal registration of coronary arteries using SIFTflow | |
| Kim et al. | Non-rigid registration of vascular structures for aligning 2D X-ray angiography with 3D CT angiography | |
| Miao et al. | Automatic pose initialization for accurate 2D/3D registration applied to abdominal aortic aneurysm endovascular repair | |
| Fallavollita | Acquiring multiview c-arm images to assist cardiac ablation procedures | |
| Groher et al. | New CTA protocol and 2D-3D registration method for liver catheterization | |
| Brost et al. | 3D model-based catheter tracking for motion compensation in EP procedures | |
| Aksoy et al. | 3D–2D registration of vascular structures | |
| Park et al. | Nonrigid 2D registration of fluoroscopic coronary artery image sequence with layered motion | |
| Aksoy | Template-based 3D-2D rigid registration of vascular structures in frequency domain from a single view | |
| 김지혜 | Locally Adaptive 2D-3D Registration using Vascular Structure Model for Liver Catheterization | |
| Aksoy et al. | Template-based CTA X-ray angio rigid registration of coronary arteries in frequency domain | |
| Verheyen et al. | Inferring brain deformation during open neurosurgery using CBCT angiography | |
| Zhang et al. | Coronary motion estimation from CTA using probability atlas and diffeomorphic registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20181210 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20191210 Year of fee payment: 5 |