KR100346363B1 - 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치, 및 그를 이용한 영상유도 수술 장치 - Google Patents

자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치, 및 그를 이용한 영상유도 수술 장치 Download PDF

Info

Publication number
KR100346363B1
KR100346363B1 KR1020000030406A KR20000030406A KR100346363B1 KR 100346363 B1 KR100346363 B1 KR 100346363B1 KR 1020000030406 A KR1020000030406 A KR 1020000030406A KR 20000030406 A KR20000030406 A KR 20000030406A KR 100346363 B1 KR100346363 B1 KR 100346363B1
Authority
KR
South Korea
Prior art keywords
image
images
marker
medical
patient
Prior art date
Application number
KR1020000030406A
Other languages
English (en)
Other versions
KR20010109777A (ko
Inventor
함영국
Original Assignee
주식회사 엔지티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔지티 filed Critical 주식회사 엔지티
Priority to KR1020000030406A priority Critical patent/KR100346363B1/ko
Publication of KR20010109777A publication Critical patent/KR20010109777A/ko
Application granted granted Critical
Publication of KR100346363B1 publication Critical patent/KR100346363B1/ko

Links

Abstract

본 발명은 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 방법 및 장치와 영상유도 수술 장치에 관한 것으로, 특히 MR(Magnetic Resonance), CT(Computed Tomography) 영상 등 의료 영상 분할을 통하여 구축된 3차원 볼륨데이터와 두 대의 카메라에 의해 환자의 수술 부위를 정합함으로써 수술도중 수술 도구(surgery instrument)를 모니터하고, 수술전의 시뮬레이션, 더욱 정확한 수술을 가능하게 하는 영상 유도 수술 시스템(image guided surgery system)을 제공한다.

Description

자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 방법/장치, 및 그를 이용한 영상유도 수술 장치{METHOD AND APPARATUS FOR 3D IMAGE DATA RECONSTRUCTION BY AUTOMATIC MEDICAL IMAGE SEGMENTATION AND IMAGE GUIDED SURGERY SYSTEM USING THE SAME}
본 발명은 2차원 의료영상을 자동 분할 알고리듬을 이용하여 각 부위를 분할하고, 분할된 영상을 3차원 데이터로 구축하는 방법 및 장치와 3차원으로 구축된 영상 데이터를 이용하는 영상 유도 수술 장치에 관계한다.
영상 유도 수술 시스템(image guided surgery system)은 일반적으로 수술도중 외과의사가 수술 도구(surgery instrument)의 위치를 정하는 것을 보조하기 위하여 이용되며, 더 나아가 수술전 시뮬레이션 또는 수술 계획 수립에 이용될 수 있다. 수술, 특히 뇌 수술과 같은 신경외과 수술(neuro-surgery)의 경우에 외과의사가 환자의 수술부위를 직접 보면서 수술 도구를 움직인다는 것은 매우 어렵고 심지어 불가능하기까지 하다. 일반적으로 영상 유도 수술 시스템은 수술전에 촬영한 CT(computed tomography) 영상 또는 MRI(magnetic resonance) 영상을 모니터와 같은 디스플레이장치상에 디스플레이하고 이러한 영상에 대응되는 수술 도구의 위치를 구하여 함께 디스플레이한다. 따라서, 외과 의사는 영상 유도 수술 시스템의 디스플레이 장치를 통해서 수술 진행중인 부위와 수술 도구의 상대적인 위치를 파악할 수 있고, 이러한 영상 유도 시스템에 의해 환자의 체내에서 위험한 부위를 다치지 않으면서 수술 도구들을 이용해 수술을 진행할 수 있다.
종래의 영상 유도 수술 시스템은 2차원 MR(magnetic resonance)이나 CT(computed tomography), 초음파 영상(ultrasonic images)을 이용하여 외과 의사에게 환자의 수술 부위에 대한 단면을 보여주는 시스템이었다. 이러한 영상 유도 수술 시스템은 입체적인 형상을 2차원 정지영상으로 이미지화한 것이다. 그러나, 이러한 영상 유도 수술 시스템에 의한 수술시에는 2차원 영상의 스케일과 방향이 외과의사가 실제로 보는 것과 상이하기 때문에, 뇌 수술과 같이 정밀도를 요구하는 수술에서 의사가 정확하게 수술부위의 위치를 파악하는데 어려움이 많았으며, 이로 인해 메스 등의 수술 도구의 위치를 여러 차례 변환하는 경우가 많아 수술시간도 지연되고 부작용 발생 확률도 높았다.
한편, 상술한 2차원 영상 유도 수술 시스템의 문제점을 보완하기 위한 종래의 3차원 영상 유도 수술 시스템은 3차원 영상 데이터 구축시 수작업으로 주요 부분을 분할한 후, 3차원으로 데이터를 구축하는 방법이 있으나, 이러한 방법은 3차원 영상 데이터 구축에 시간이 많이 소요되고 또한 일일이 수작업으로 해야 하기 때문에 인력 소모가 많은 문제점을 가지고 있다.
본 발명의 하나의 목적은 상술한 종래 기술의 문제점을 극복하는 것으로, 수작업에 의하지 않고 자동으로 2차원 의료영상을 자동으로 분할하여 3차원 영상 데이터를 구축함으로써, 영상 처리 시간이 단축되고 처리 비용도 절감되는 3차원 영상 데이터 구축 방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은 상술한 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 방법을 이용하여 구축된 3차원 영상 데이터와 환자의 수술 부위를 정합함으로써 수술전 시뮬레이션이나 영상 유도에 의한 수술이 정교하고 정확하게 이루어질 수 있게 하는 영상 유도 수술 장치를 제공하는 것이다.
즉, 상술한 목적을 달성하기 위한 본 발명의 제 1 양상은
여러 장의 2차원 영상에서 모델을 이용하여 영상 분할을 실시하고 이것을 이용하여 3차원 영상을 구축하는 방법에 있어서, 상기 방법이 아래의 단계들을 포함하는 것을 특징으로 하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 방법 및 이러한 방법을 구현하는 장치이다.
a) 여러 사람으로부터 취득된 같은 부위의 의료영상으로부터 원하는 부분의 윤곽선 점들의 집합으로 표현된 모델을 각각 생성하여 PCA(Principal Component Analysis)를 사용하여 하나의 대표 모델을 생성 단계;
b) 목적 함수(object function)를 정의하고 이러한 목적 함수를 최대화시키는 변환계수를 구하는 단계;
c) PCA를 통해 형성된 모델을 주어진 의료영상에 대응시킨 후 전체 모델을 확대/축소, 회전, 평행이동을 통해 주어진 의료영상에 맞도록 변환하는 전체 선형 변환 단계; 및
d) 변환 범위를 특정 범위로 제한하여 변환하는 부분 선형 변환단계.
상술한 목적을 달성하기 위한 본 발명의 제 2 양상은
환자의 신체의 특정 부위에 표시된 마커의 위치 신호를 검출하는 두 대의 카메라;
환자의 의료 영상을 저장하는 메모리;
상기 두 대의 카메라로부터 수득한 영상 신호를 처리하여 수술도구의 위치 및 마커의 위치를 검출하고 검출된 수술도구의 위치 및 마커의 위치를 수술전에 촬영된 환자의 의료 영상에 중첩시키는 영상처리부(image data processor);
수술전 촬영된 환자의 영상과 중첩된 상기 수술 도구 및 마커의 위치를 함께 디스플레이하는 디스플레이부;
수술 도구(surgical instrument);
수술 도구의 위치를 조절하는 조절부(controller)를 포함하는 영상 유도 수술 장치이다.
상술한 목적을 달성하기 위한 본 발명의 제 3 양상은
수술 도구의 위치 신호를 검출하는 두 대의 카메라;
환자의 의료 영상을 저장하는 메모리;
상기 두 대의 카메라로부터 수득한 영상 신호를 처리하여 수술도구의 위치 를 검출하고 검출된 수술도구의 위치를 수술전에 촬영된 환자의 의료 영상에 중첩시키는 영상처리부(image data processor)로서, 수술도구에 의해 지적되는 마커의 위치를 환자의 의료 영상상의 위치로 변환하는 영상처리부;
수술전 촬영된 환자의 영상과 중첩된 상기 수술 도구 및 마커의 위치를 함께 디스플레이하는 디스플레이부;
환자의 마커 위치 신호를 검출하는 기능을 갖는 수술 도구(surgical instrument);
수술 도구의 위치를 조절하는 조절부(controller)를 포함하는 영상 유도 수술 장치이다.
도 1은 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 방법의 흐름도,
도 2는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 장치의 블럭도,
도 3a-c는 본 발명에 의한 3차원 영상 데이터 구축 과정중에 사용되는 선형변환시의 모델, 입력영상, 및 결과 영상의 도면,
도 4a-c는 본 발명에 의한 3차원 영상 데이터 구축 과정중에 사용되는 부분선형변환시의 모델, 입력영상, 및 결과영상의 도면,
도 5는 본 발명의 영상 유도 수술 장치의 일실시예의 개략도이다.
＊도면의 주요 부분에 대한 부호의 설명＊
10: PCA 모델 생성부 20: 모델 특징 추출부
30: 선형변환부 40: 부분 선형변환부
100, 100': 카메라 110: 메모리
130: 디스플레이부 140: 수술도구
150: 조절부(controller) 160: 3차원 영상 구축장치
170: 볼륨 렌더링부 200: 영상 처리부
210: 마커 위치 결정부 220: 변환 행렬 산출부
이하에서 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
본 발명의 하나의 양상은 인간의 신체의 일부를 여러 장의 층으로 나누어 촬영한 MRI나 CT 영상을 모니터를 통하여 3차원으로 디스플레이하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 방법이다. 본 발명의 3차원 영상 데이터 구축 방법은 MRI나 CT와 같은 여러 장의 이차원 영상에서 모델을 이용한 영상 분할을 실시하고 이것을 이용하여 같은 부위를 3차원 렌더링 기법에 의해 3차원 영상 데이터로 복원하는 것이다. 본 발명에서는 의료 영상으로 MRI(magentic resonance) 영상, CT(computed tomography) 영상, CAT(computed axial tomography; 컴퓨터 X선 체측 단층촬영) 영상, PET(positron emission tpmography; 양전자 방사 단층 촬영) 영상 등을 이용할 수 있고, 바람직하게는 MRI의 PD, T1, T2 영상을 사용하는 것이 좋다.
인간의 신체는 여러 가지의 물체로 구성되어 있기 때문에, 이러한 것들이 혼합되어 표시할 때 혼동되기 쉬운 단점이 있다. 그래서 촬영된 영상에 사용자 원하는 물체만을 추출하여 표시할 경우 더욱 수술이나 진단에 용이할 것이다. 이러한 목적을 위해서는 영상을 각 부분별로 물체를 구별하여야 하는 과정이 필요하다. 이러한 과정을 분할이라 한다. 본 발명에서 분할(segmentation)이란 일단 분할할 모델을 만들어 놓고, 새로운 입력 영상이 입력될 경우 그 영상에서 찾고자 하는 모델을 덮어 씌워 놓고 선형 변환을 수행하면서 새로이 입력된 영상에 적합한 부분으로 분할하는 과정을 의미한다. 도 1에서와 같이 분할이 이루어지면 분할된 부분에서 사용자가 요구하는 부분만을 3차원 렌더링 기법을 통하여 디스플레이할 수 있다. 자기공명영상 분할을 위해 본 발명에서는 지식기반 분할 방법을 사용하였으며, 각 단계를 더욱 상세하게 설명하면 다음과 같다.
S1. PCA 모델 생성(PCA Model Generation)
여러 사람으로부터 취득된 같은 부위의 MRI 영상으로부터 원하는 부분의 윤곽선 점들의 집합으로 표현된 모델을 각각 생성하여 PCA(Principal Component Analysis)를 사용하여 하나의 대표 모델을 만든다. 여기서 모델이란 예를 들어 뇌의 하나의 영역 또는 물체의 외곽을 나타낼 수 있는 특징점들의 집합으로, 여러 사람의 뇌 영상에서 각 점에 대하여 점 주변의 영상 밝기값의 분포의 통계적 특성(평균, 분산 등)을 나타낸다. PCA는 임의의 데이터 셋(set)의 고유벡터(eigen vector)를 추출하는 일련의 방법을 의미한다. PCA를 통해 생성된 모델은 원하는 부분의 2차원 좌표값을 갖게 된다. 이 PCA 모델을 주어진 입력 영상에 대응시킨 후 변환 (확대, 축소, 회전, 평행 이동)을 통해 주어진 입력영상에서 원하는 부분을 영역 분할한다.
S2. 모델 특징 추출
상기 변환시에 최적의 변환을 이루기 위한 변환 계수를 결정하기 위하여 목적 함수를 정의하고 이 목적 함수를 최대화하는 계수를 변환에 사용한다. 본 발명에서 목적 함수로는 하기 수학식 1에 의해서 정의되는 함수를 사용한다.
상기 식에서, 그레이-레벨 어피어런스(grey level appearance)F GA 와 보더(border)F B 는 다음과 같다.
상기 식에서 그레이-레벨 어피어런스F GA 는 그레이 레벨 차이를 사용하여 사람마다 다를 수 있는 MR 영상의 그레이 레벨 값을 변화를 고려하여 주었는데, 이 때 그레이 레벨의 측정은 각 점에서 물체의 중심으로 수선을 그어서 수선 상의 점들y k 를 사용하였다. 보더F B 도 일정 구간의 그레이 레벨 값이 주변과 대비되는 정도를 측정하여 사용하였다. 즉, 보더 강도(border strength)가 강할수록, 그레이 레벨 차이(grey level difference)가 작을수록 원하는 목적함수의 값을 크게 할 수 있다. 위와 같이 정의한 목적 함수를 통해 주어진 모델과 현재 변환에 의해 형성된 새로운 모델을 비교함으로써 목적함수의 값을 크게 하는 최적의 변환 계수를 찾아낸다.
상기 목적함수로 여러 장의 영상에서 추출한 영상의 밝기 통계값들에 의한 특징벡터와 입력영상에서 얻은 특징벡터 사이의 차의 가중 선형합을 표시할 수 있다. 여기서 특징벡터란 영상에서 추출한 영상의 밝기 통계값들을 벡터로 표현한 것이다.
S3. 선형 변환(Linear Transformation)
PCA를 통해 형성된 모델을 주어진 MRI에 대응시킨 후 전체 모델을 확대/축소, 회전, 평행이동을 통해 주어진 MRI에 맞게 변환한다. 이 때 변환 계수는 위에서 정의된 목적 함수를 최대화하는 값을 사용한다.
다음은 PCA를 사용하지 않고 단일 영상을 사용하여 모델을 생성한 후 다른 MRI에 선형변환을 수행한 결과이다. 이 때 확대/축소 [0.9, 1.1] 스텝 0.1, 회전 [-8˚, 8˚] 스텝 4˚, 평행이동 [-4, 4] 픽셀 스텝 1 픽셀로 변환 범위를 제한시켜 실험을 수행하였다.
도 3a-c는 본 발명에 의한 3차원 영상 데이터 구축 과정중에 사용되는 선형변환시의 영상을 도시한 도면으로, 각각 모델(도 3a), 입력영상(도 3b) 및 결과 영상(도 3c)을 도시한 것이다. 영상은 16 비트 MRI T2 영상을 사용하였고 결과 영상은 편의상 그레이 레벨 히스토그램 이퀄리제이션(grey level histogram equalization)을 수행하여 나타내었다. 도 3에서 모델 영상(도 3a)과 입력 영상(도 3b)을 살펴보면 영역 분할을 하고자 하는 물체의 모양과 위치, 그레이 레벨의 값이 서로 다른 것을 알 수 있다.
S4. 부분 선형 변환(Piecewise Linear Transformation)
위에서 변환 수행한 선형변환은 모델 전체를 변환하여 사용한 것이다. 그러나 분할 영역의 모양이 사람마다 틀리기 때문에 위의 방법으로는 대략적인 대응만이 가능하다. 보다 더 정확한 영역 분할을 위해서 위에서 변환된 모델의 각 점에 대해 위와 동일한 변환을 수행할 수 있다. 도 4a-b는 이러한 부분 선형변환시의 모델(도 4a), 입력영상(도 4b), 및 결과영상(도 4c)을 도시한 것으로, 도 3에 도시된 것과 동일한 방법을 사용했으나 변환 범위만을 조금씩 다르게 하여 수행한 결과이다. 도 4a는 모델을 도시한 것이고, 도 4b는 입력영상의 도면이며, 도 4c는 부분선형변환한 결과 영상의 도면이다. 도 4c와 도 3c의 비교를 통해서 확인되는 바와 같이, 모델의 점들이 주어진 영역에 맞추어 움직이는 것을 볼 수 있다. 그러나 변환 범위가 제한되어 있기 때문에 찾아진 점이 가장 최적의 점이라고는 할 수 없다. 그러므로 이 수행 결과에서 대응이 잘못된 점을 제거한 후 이 과정을 다시 반복함으로써 보다 좋은 결과를 얻을 수 있다.
본 발명의 다른 양상은 여러 장의 2차원 영상에서 모델을 이용하여 영상 분할을 실시하고 이것을 이용하여 3차원 영상을 구축하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 장치이다. 도 2를 참조하면, 이러한 본 발명의 장치에서 PCA 모델 생성부(10)는 여러 사람으로부터 취득된 같은 부위의 의료영상으로부터 원하는 부분의 윤곽선 점들의 집합으로 표현된 모델을 각각 생성하여 PCA(Principal Component Analysis)를 사용하여 하나의 대표 모델을 생성한다. 모델 특징 추출부(20)는 목적 함수(object function)를 정의하고 이러한 목적 함수를 최대화시키는 변환계수를 구한다. 선형 변환부(30)는 PCA를 통해 형성된 모델을 주어진 의료영상에 대응시킨 후 전체 모델을 확대/축소, 회전, 또는 평행이동을 통해 주어진 의료영상에 맞도록 변환하고, 부분 선형 변환부(40)는 변환 범위를 특정 범위로 제한하여 변환한다.
도 2에 도시된 바와 같이, 상기 3차원 영상 데이터 구축 장치는 바람직하게 부분선형변환부 다음단에 물체의 외곽을 벗어난 불필요한 특징값들을 제거하는 수단을 추가로 포함할 수 있고, 부분선형변환부의 출력이 다시 선형 변환부로 피드백되도록 구성될 수 있다.
본 발명의 다른 양상은 수술시 환자의 수술부위(예컨대, 머리)에 특정 마크를 표시하고 이것을 3차원 영상에 대응점을 입력함으로써 수술 전이나 수술중에 수술장치의 위치와 인체의 내부 사이의 위치관계를 컴퓨터 모니터를 통하여 볼 수 있게 하는 영상 유도 수술장치이다.
도 5를 참조하면, 본 발명의 하나의 실시예에 의한 영상 유도 수술 장치에서 두 대의 카메라(100 및 100')는 환자의 신체의 특정 부위에 표시된 마커의 위치 신호를 검출한다. 본 발명의 영상 유도 수술장치에서 환자의 신체에 표시된 마커의 위치를 추정하는 수단으로는 상술한 카메라를 이용하는 이외에, 스테레오 비젼, 레이져 거리측정 수단, 기계적 변위 측정 수단을 이용할 수도 있다. 기계적 변위 측정 수단은 x, y, 및 z 축 기준점에 대하여 각각 얼마나 거리가 떨어져 있는지 측정하는 수단이다. 메모리(110)(예컨대, 하드디스크)는 수술전에 촬영한 환자의 의료 영상을 저장하고, 영상 좌표계 및 기타 환자의 인적 사항 등의 정보에 대한 데이터 베이스를 저장할 수 있다. 영상처리부(200)는 상기 두 대의 카메라(100 및 100')로부터 획득한 영상 신호를 처리하여 수술도구의 위치 및 마커의 위치를 검출하고 검출된 수술도구의 위치 및 마커의 위치를 수술전에 촬영된 환자의 의료 영상을 이용하여 구축한 3차원 모델에 중첩시킨다. 이러한 영상처리부(200)는 상기 두 대의 카메라를 이용하여 스테레오 정합을 실시하여 마커의 위치를 카메라 삼차원 좌표계에 대하여 구하는 마커 위치 결정부(210)와 사전에 촬영하여 저장한 환자의 의료 영상에 대하여 마커의 위치를 대응시키는 변환 행렬(transformation matrix)을 계산해내는 변환 행렬 산출부(220)를 포함한다. 이러한 영상처리부(200)는 일례로 컴퓨터 등으로 구현될 수 있고 상술한 기능 이외에 영상편집 기능 등의 부가 기능도 구비할 수 있다.
디스플레이부(130)는 컴퓨터의 모니터 등으로 수술전 촬영된 환자의 의료 영상과 상기 수술 도구 및 마커의 위치를 함께 디스플레이하기 때문에, 의사는 이러한 복합 영상을 보면서 수술을 집도할 수 있다. 본 발명의 영상 유도 수술 장치는 환자의 수술 부위에 삽입하여 수술을 진행하기 위한 수술 도구(surgicalinstrument)(140)와 이러한 수술 도구의 위치를 의사가 원하는 위치로 조정할 수 있는 조절부(controller)(150)를 포함하여 구성된다.
한편, 본 발명의 상술한 실시예의 영상 유도 수술 장치는 본 발명의 3차원 영상 데이터 구축 장치(160) 및 볼륨 렌더링 기법에 의해 3차원 신체 영상을 표시하는 볼륨 렌더링부(170)를 추가로 포함할 수 있다. 또한, 본 발명에서 상기 의료 영상으로는 MRI(magentic resonance) 영상, CT(computed tomography) 영상, CAT(computed axial tomography; 컴퓨터 X선 체측 단층촬영) 영상, PET(positron emmision tpmography; 양전자 방사 단층 촬영) 영상 등을 활용할 수 있다.
다음으로 본 발명의 상기 제 1 실시예의 영상 유도 수술 장치의 동작을 설명하면 다음과 같다. 본 발명의 영상 유도 수술 장치를 이용한 수술시에는 수술전에 환자의 MRI나 CT 영상을 촬영하여 메모리(110)(예컨대, 하드디스크)에 저장하여 준비하고, 이것을 의사가 요구하는 부위에 따라 분할한 결과를 이용하여 디스플레이부(130)에 디스플레이한다. 또한 환자가 침대에 누워 있을 때, 기준이 되는 몇 개의 신체 부위에 마커를 표시하고, 이 마커에 해당하는 부분을 의사가 기존에 촬영된 MRI나 CT 영상에 표시한다. 고정된 환자의 마커 위치와 기존에 촬영된 MRI나 CT 영상 사이의 대응 관계식을 구해야 기존의 MRI 또는 CT 영상에 마커의 위치를 표시할 수 있다. 이러한 관계식을 구하기 위해서는 마커의 3차원 위치와 촬영된 MRI나 CT 영상의 좌표를 알아야 한다. MRI나 CT 영상에서의 위치는 의사가 가르켜 주는 것으로 모든 좌표가 알려져 있다. 그러나 환자의 몸에 부착된 마커의3차원 위치 좌표는 두 개의 카메라(100 및 100')를 이용하여 스테레오 매칭(stereo matching) 기법을 통하여 카메라 3차원 좌표계에 대하여 대응시킨다. 즉 마커의 3차원 좌표와 영상의 위치가 주어졌고, 이러한 대응관계가 3개 이상일 때 두 좌표 변환식, 즉 회전과 이동, 스케일로 구성된 좌표 변환식을 최소자승법을 통하여 구할 수 있다. 이러한 결과를 이용하여 모니터 상에 환자의 신체 내부를 3차원으로 도시하면서, 마커의 위치도 함께 도시한다. 그리고 의사가 원하는 부위로 수술 도구를 삽입하기 위하여 수술 도구(140)를 조정할 수 있는 조절부(150)를 조작한다. 결과적으로 수술 도구(140)의 위치는 카메라 좌표계에 대한 좌표를 알 수 있고, 이것을 위에서 구한 변환식을 통하여 변환하면, MRI나 CT 영상상의 좌표로 변환할 수 있다. 이러한 방법으로 수술 도구 위치를 모니터 등의 디스플레이부(130)에 함께 디스플레이함으로써 수술 도구의 위치가 환자의 신체의 어느 부분에 해당하는지 알 수 있으며, 이 수술 도구가 삽일 될 경우 환자의 몸속을 어떻게 통과할지 알 수 있는 것이다. 이러한 과정은 수술전 시뮬레이션 또는 수술도중에 수술도구의 위치를 모니터하기 위해 사용되는데, 이러한 과정에 의해 의사는 수술 도구가 바른 위치로 들어감을 계속적으로 확인하며 정확하게 시술할 수 있다.
마커의 위치를 추정하기 위해서는 우선 카메라에 대한 보정이 이루어져야 하며, 보정이 이루어진 후 스테레오 매칭 기법을 이용하여 3차원상에서 위치를 추정할 수 있다. 카메라 보정은 3차원 상에서 어떤 한 점을 기준점으로 잡고 그 점을기준으로 카메라의 회전과 변이(translation) 계수, 그리고 카메라의 초점거리f를 구하는 것이다. 카메라를 통해 취득된 영상은 3차원 세계가 렌즈를 통해 투영되어 2차원으로 나타나게 된다. 이러한 2차원 영상을 좌·우측 카메라를 통해 각각 취득하여 3차원 정보를 복원하는 방법을 스테레오 매칭(stereo matching)이라고 한다. 스테레오 매칭(stereo matching) 기법을 이용해서 3차원 정보를 알아내는 방법을 상세하게 설명하면 다음과 같다.
임의의 한 점의 좌표를 (x,y,z)라고 하고 카메라의 초점 거리를f, 두 대의 카메라(100 및 100')간의 거리를b라고 하면 삼각법에 의해서 스테레오 영상의 대응되는 두 점의 관계는 하기 수학식 2로 표현된다.
이 때,x l '는 왼쪽 영상에 투영된 점,x r '은 오른쪽 영상에 투영된 점을 나타내고 두 점간의 차이(disparity)는x l '-x r '로 나타나게 된다. 위의 두 식을 계산하면 거리z는 하기 수학식 3에 의해 구해진다.
그러므로 두 영상간의 대응되는 점을 알 경우 차이(disparity) (x l '-x r ')를 구하여 거리z를 계산할 수 있다. 결과적으로 두 개의 카메라를 이용하여 마커의 위치를결정할 수 있는 것이다. 단, 이 때 두 대의 카메라(100 및 100')의 위치는 각각의 광축은 평행하고 두 대의 카메라(100 및 100')가 광축에 수직인 직선 상에 놓여 있어야 한다. 두 대의 카메라(100 및 100')의 정확한 위치를 추정하기 위해서는 카메라 보정이 필요하다.
본 발명의 제 2 실시예의 영상 유도 수술 장치는 카메라를 사용하지 않고 마커의 위치와 변환식을 결정하는 수단을 이용하는 장치이다. 구체적으로, 제 2 실시예의 영상 유도 수술 장치에서 두 대의 카메라는 마커의 위치를 검출하는 기능은 갖지 않고, 대신에 수술 도구(surgery instrument)의 위치 신호를 검출하는 역할만을 담당한다. 본 발명의 영상 유도 수술장치에서 수술 도구의 위치를 추정하는 수단으로는 상술한 카메라를 이용하는 이외에, 스테레오 비젼, 레이져 거리측정 수단, 기계적 변위 측정 수단을 이용할 수도 있다.
환자의 마커 위치 신호를 검출하는 기능은 수술 도구(surgical instrument)가 담당한다. 즉, 의사가 수술도구를 마커의 위치에 놓음으로써 마커의 위치가 특정된다. 메모리는 제 1 실시예의 영상 유도 수술장치에서와 마찬가지로 환자의 의료 영상을 저장하고, 조절부(controller)는 의사의 지시에 따라 수술 도구의 위치를 조정한다.
제 2 실시예의 영상 유도 수술 장치에서 영상 처리부는 상기 두 대의 카메라로부터 수득한 영상 신호를 처리하여 수술도구의 위치를 검출하고 검출된 수술도구의 위치를 수술전에 촬영된 환자의 의료 영상에 중첩시킨다. 또한 영상처리부는수술도구에 의해 지적되는 마커의 위치를 환자의 의료 영상상의 위치로 변환하는 기능도 담당하는데, 이를 위해 상기 수술 도구의 위치에 해당되는 마커의 위치를 삼차원 좌표계에 대하여 구하는 마커 위치 결정부 및 사전에 촬영하여 저장한 환자의 의료 영상에 대하여 마커의 위치를 대응시키는 변환 행렬(transformation matrix)을 계산해내는 변환 행렬 산출부를 포함한다. 제 2 실시예의 영상 유도 수술 장치의 디스플레이부는 수술전 촬영된 환자의 영상과 중첩된 상기 수술 도구 및 마커의 위치를 함께 디스플레이한다.
한편, 본 발명의 상술한 실시예의 영상 유도 수술 장치는 본 발명의 3차원 영상 데이터 구축 장치 및 볼륨 렌더링 기법에 의해 3차원 신체 영상을 표시하는 볼륨 렌더링부를 추가로 포함할 수 있다. 또한, 본 발명에서 상기 의료 영상으로는 MRI(magentic resonance) 영상, CT(computed tomography) 영상, CAT(computed axial tomography; 컴퓨터 X선 체측 단층촬영) 영상, PET(positron emmision tpmography; 양전자 방사 단층 촬영) 영상 등을 활용할 수 있다.
제 2 실시예에 의한 영상 유도 수술시에는 카메라를 사용하지 않고 마커의 위치와 변환식을 결정하며, 의사에 의하여 조정될 수 있는 수술 도구가 환자의 마커가 있는 부분이나 특징이 되는 부분에 놓이도록 조정한다. 이렇게 조정할 경우 수술 도구의 3차원 위치를 알 수 있을 것이다. 그리고 이 위치에 해당하는 부분을 MRI나 CT 영상에 표시한다. 이러한 과정을 몇 개의 점에 대하여 실시하고, 이러한 두 점들간의 대응관계를 이용하여 변환식을 추정할 수 있다. 이 변환식을추정한 후에는 수술 도구의 위치를 변환시켜, 그 3차원 위치를 알 경우 변환식에 의하여 MRI나 CT상에서의 위치를 알 수 있다. 결과적으로 이 위치를 모니터에 함께 디스플레이함으로써 수술 도구의 위치를 파악할 수 있다.
본 발명의 3차원 영상 데이터 구축 방법/장치에 의하면 수작업에 의하지 않고 자동으로 2차원 의료영상을 자동으로 분할하여 3차원 영상 데이터를 구축함으로써, 영상 처리 시간을 단축할 수 있고 처리 비용도 절약할 수 있는 효과를 수득할 수 있다.
또한, 본 발명의 영상 유도 수술 장치는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 방법을 이용하여 구축된 3차원 영상 데이터와 환자의 수술 부위를 정합함으로써 수술전 시뮬레이션이나 영상 유도에 의한 수술이 정교하고 정확하게 이루어질 수 있게 하므로, 환자의 수술, 특히 뇌수술과 같은 고난도의 신경외과 수술시 성공률을 획기적으로 높일 수 있다.

Claims (24)

  1. 여러 장의 2차원 영상에서 모델을 이용하여 영상 분할을 실시하고 이것을 이용하여 3차원 영상을 구축하는 방법에 있어서, 상기 방법이 아래의 단계들을 포함하는 것을 특징으로 하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 방법.
    a) 여러 사람으로부터 취득된 같은 부위의 의료영상으로부터 원하는 부분의 윤곽선 점들의 집합으로 표현된 모델을 각각 생성하여 PCA(Principal Component Analysis)를 사용하여 하나의 대표 모델을 생성 단계;
    b) 목적 함수(object function)를 정의하고 이러한 목적 함수를 최대화시키는 변환계수를 구하는 단계;
    c) PCA를 통해 형성된 모델을 주어진 의료영상에 대응시킨 후 전체 모델을 확대/축소, 회전, 평행이동을 통해 주어진 의료영상에 맞도록 변환하는 전체 선형 변환 단계; 및
    d) 변환 범위를 특정 범위로 제한하여 변환하는 부분 선형 변환단계.
  2. 제 1항에 있어서, 상기 의료 영상이 MRI(magentic resonance) 영상, CT(computed tomography) 영상, CAT(computed axial tomography; 컴퓨터 X선 체측 단층촬영) 영상, PET(positron emmision tpmography; 양전자 방사 단층 촬영) 영상인 것을 특징으로 하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 방법.
  3. 제 2항에 있어서, 상기 의료 영상으로 MRI의 PD, T1, T2 영상을 사용하는 것을 특징으로 하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 방법.
  4. 제 1항에 있어서, 상기 방법이 상기 목적함수로 하기 수학식 1에 의해 정의되는 함수를 사용하는 것을 특징으로 하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 방법.
    [수학식 1]
    상기 식에서, FGA및 FB는
  5. 제 1항에 있어서, 상기 목적함수로 여러 장의 영상에서 추출한 영상의 밝기 통계값들에 의한 특징벡터와 입력영상에서 얻은 특징벡터 사이의 차의 가중 선형합으로 표시하는 것을 특징으로 하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 방법.
  6. 제 1항에 있어서, 상기 방법이 부분선형변환 단계후 물체의 외곽을 벗어난 불필요한 특징값들을 제거하는 단계를 추가로 포함하는 것을 특징으로 하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 방법.
  7. 제 1항에 있어서, 상기 방법이 선형 변환 및 부분 선형변환 단계를 반복실시하는 과정을 추가로 포함하는 것을 특징으로 하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 방법.
  8. 여러 장의 2차원 영상에서 모델을 이용하여 영상 분할을 실시하고 이것을 이용하여 3차원 영상을 구축하는 3차원 영상 데이터 구축 장치로서, 상기 장치가 아래의 구성요소들을 포함하는 것을 특징으로 하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 장치.
    a) 여러 사람으로부터 취득된 같은 부위의 의료영상으로부터 원하는 부분의 윤곽선 점들의 집합으로 표현된 모델을 각각 생성하여 PCA(Principal Component Analysis)를 사용하여 하나의 대표 모델을 생성하는 PCA 모델 생성부;
    b) 목적 함수(object function)를 정의하고 이러한 목적 함수를 최대화시키는 변환계수를 구하는 모델 특징 추출부;
    c) PCA를 통해 형성된 모델을 주어진 의료영상에 대응시킨 후 전체 모델을 확대/축소, 회전, 평행이동을 통해 주어진 의료영상에 맞도록 변환하는 선형 변환부; 및
    d) 변환 범위를 특정 범위로 제한하여 변환하는 부분 선형 변환부.
  9. 제 8항에 있어서, 상기 의료 영상이 MRI(magentic resonance) 영상, CT(computed tomography) 영상, CAT(computed axial tomography; 컴퓨터 X선 체측 단층촬영) 영상, PET(positron emmision tpmography; 양전자 방사 단층 촬영) 영상인 것을 특징으로 하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 장치.
  10. 제 9항에 있어서, 상기 의료 영상이 MRI의 PD, T1, T2 영상인 것을 특징으로 하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 장치.
  11. 제 8항에 있어서, 상기 모델 특징 추출부가 목적함수로 하기 수학식 1에 으해 정의되는 함수를 사용하는 것임을 특징으로 하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 장치.
    [수학식 1]
    상기 식에서, FGA및 FB는
  12. 제 8항에 있어서, 상기 모델 특징 추출부가 상기 목적함수로 여러 장의 영상에서 추출한 영상의 밝기 통계값들에 의한 특징벡터와 입력영상에서 얻은 특징벡터 사이의 차의 가중 선형합으로 표시하는 것임을 특징으로 하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 장치.
  13. 제 8항에 있어서, 상기 장치가 부분선형변환부 다음단에 물체의 외곽을 벗어난 불필요한 특징값들을 제거하는 수단을 추가로 포함하는 것을 특징으로 하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 장치.
  14. 제 8항에 있어서, 상기 장치가 부분선형변환부의 출력이 다시 선형 변환부로 피드백되도록 구성되어 있는 것을 특징으로 하는 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축 장치.
  15. 환자의 신체의 특정 부위에 표시된 마커의 위치 신호를 검출하는 두 대의 카메라;
    환자의 의료 영상을 저장하는 메모리;
    상기 두 대의 카메라로부터 수득한 영상 신호를 처리하여 수술도구의 위치 및 마커의 위치를 검출하고 검출된 수술도구의 위치 및 마커의 위치를 수술전에 촬영된 환자의 의료 영상에 중첩시키는 영상처리부(image data processor);
    수술전 촬영된 환자의 영상과 중첩된 상기 수술 도구 및 마커의 위치를 함께 디스플레이하는 디스플레이부;
    수술 도구(surgical instrument);
    수술 도구의 위치를 조절하는 조절부(controller)를 포함하는 영상 유도 수술 장치.
  16. 제 15항에 있어서, 상기 영상 처리부가
    상기 두 대의 카메라를 이용하여 스테레오 정합을 실시하여 마커의 위치를 카메라 삼차원 좌표계에 대하여 구하는 마커 위치 결정부;
    사전에 촬영하여 저장한 환자의 의료 영상에 대하여 마커의 위치를 대응시키는 변환 행렬(transformation matrix)을 계산해내는 변환 행렬 산출부를 포함하는 것을 특징으로 하는 영상 유도 수술 장치.
  17. 제 15항에 있어서, 상기 장치가
    제 8항의 3차원 영상 데이터 구축 장치 및
    볼륨 렌더링 기법에 의해 3차원 신체 영상을 표시하는 볼륨 렌더링부를 추가로 포함하는 영상 유도 수술 장치.
  18. 제 15항에 있어서, 상기 의료 영상이 MRI(magentic resonance) 영상, CT(computed tomography) 영상, CAT(computed axial tomography; 컴퓨터 X선 체측 단층촬영) 영상, PET(positron emmision tpmography; 양전자 방사 단층 촬영) 영상인 것을 특징으로 하는 영상 유도 수술 장치.
  19. 제 15항에 있어서, 상기 장치가 수술도구와 마커의 위치를 추정하기 위하여 스테레오 비젼, 레이져 거리 측정, 또는 기계적 변위 측정 수단을 추가로 포함하는것을 특징으로 하는 영상 유도 수술 장치.
  20. 수술 도구의 위치 신호를 검출하는 두 대의 카메라;
    환자의 의료 영상을 저장하는 메모리;
    상기 두 대의 카메라로부터 수득한 영상 신호를 처리하여 수술도구의 위치 를 검출하고 검출된 수술도구의 위치를 수술전에 촬영된 환자의 의료 영상에 중첩시키는 영상처리부(image data processor)로서, 수술도구에 의해 지적되는 마커의 위치를 환자의 의료 영상상의 위치로 변환하는 영상처리부;
    수술전 촬영된 환자의 영상과 중첩된 상기 수술 도구 및 마커의 위치를 함께 디스플레이하는 디스플레이부;
    환자의 마커 위치 신호를 검출하는 기능을 갖는 수술 도구(surgical instrument);
    수술 도구의 위치를 조절하는 조절부(controller)를 포함하는 영상 유도 수술 장치.
  21. 제 20항에 있어서, 상기 영상 처리부가
    상기 수술 도구의 위치에 해당되는 마커의 위치를 삼차원 좌표계에 대하여 구하는 마커 위치 결정부;
    사전에 촬영하여 저장한 환자의 의료 영상에 대하여 마커의 위치를 대응시키는 변환 행렬(transformation matrix)을 계산해내는 변환 행렬 산출부를 포함하는것을 특징으로 하는 영상 유도 수술 장치.
  22. 제 20항에 있어서, 상기 장치가
    제 8항의 3차원 영상 데이터 구축 장치 및
    볼륨 렌더링 기법에 의해 3차원 신체 영상을 표시하는 볼륨 렌더링부를 추가로 포함하는 영상 유도 수술 장치.
  23. 제 20항에 있어서, 상기 의료 영상이 MRI(magentic resonance) 영상, CT(computed tomography) 영상, CAT(computed axial tomography; 컴퓨터 X선 체측 단층촬영) 영상, PET(positron emmision tpmography; 양전자 방사 단층 촬영) 영상인 것을 특징으로 하는 영상 유도 수술 장치.
  24. 제 20항에 있어서, 상기 장치가 수술도구와 마커의 위치를 추정하기 위하여 스테레오 비젼, 레이져 거리 측정, 또는 기계적 변위 측정 수단을 추가로 포함하는 것을 특징으로 하는 영상 유도 수술 장치.
KR1020000030406A 2000-06-02 2000-06-02 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치, 및 그를 이용한 영상유도 수술 장치 KR100346363B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020000030406A KR100346363B1 (ko) 2000-06-02 2000-06-02 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치, 및 그를 이용한 영상유도 수술 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000030406A KR100346363B1 (ko) 2000-06-02 2000-06-02 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치, 및 그를 이용한 영상유도 수술 장치

Publications (2)

Publication Number Publication Date
KR20010109777A KR20010109777A (ko) 2001-12-12
KR100346363B1 true KR100346363B1 (ko) 2002-08-01

Family

ID=45926270

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000030406A KR100346363B1 (ko) 2000-06-02 2000-06-02 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치, 및 그를 이용한 영상유도 수술 장치

Country Status (1)

Country Link
KR (1) KR100346363B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100920251B1 (ko) 2008-12-30 2009-10-05 동국대학교 산학협력단 피부의 산란에 의해 흐려진 적외선 정맥 영상 복원 방법
KR101049507B1 (ko) * 2009-02-27 2011-07-15 한국과학기술원 영상유도수술시스템 및 그 제어방법
KR101133503B1 (ko) * 2011-04-29 2012-04-05 서울대학교산학협력단 광학 및 ｘ선 융합 ｃｔ 장치와 그 데이터의 재구성 방법
KR101339452B1 (ko) 2012-03-28 2013-12-06 조선대학교산학협력단 가상 관절경 수술 시뮬레이션장치
KR20150109076A (ko) 2014-03-19 2015-10-01 조선대학교산학협력단 대장내시경 수술 시뮬레이션시스템
KR101657285B1 (ko) 2015-05-13 2016-09-19 조선대학교산학협력단 초음파 치료 시뮬레이션시스템
KR20190131243A (ko) 2018-05-16 2019-11-26 가톨릭대학교 산학협력단 관절경 시술을 위한 시뮬레이션 툴 제작 방법 및 이에 의해 제작된 관절경 시술용 시뮬레이션 툴

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100702534B1 (ko) * 2005-07-29 2007-04-02 (주)포스트미디어 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법
KR100756625B1 (ko) * 2006-04-10 2007-09-07 건국대학교 산학협력단 인체 수술용 로봇을 위한 레지스트레이션 시스템 및 방법
KR101258814B1 (ko) * 2011-11-09 2013-04-26 서울여자대학교 산학협력단 동적조영증강 유방 ｍｒ 영상에서 조직별 밝기값 보정 및 종양 강성 제약을 적용한 비강체 정합 방법 및 시스템
KR102131693B1 (ko) * 2013-06-24 2020-07-08 큐렉소 주식회사 수술로봇의 동작영역을 디스플레이하는 방법
CN107966823A (zh) * 2017-12-28 2018-04-27 河南科技大学第附属医院 一种ct平面影像三维立体转换装置及病灶定位的方法
KR102277023B1 (ko) * 2018-07-10 2021-07-14 주식회사 디오 3차원 구강 영상의 자동 정렬 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348863A (ja) * 1993-06-08 1994-12-22 Yokogawa Medical Syst Ltd 画像処理装置
JPH1031754A (ja) * 1996-07-17 1998-02-03 Ge Yokogawa Medical Syst Ltd ３次元イメージ作成方法，３次元イメージ作成装置および医用画像診断装置
KR19990023201A (ko) * 1997-08-26 1999-03-25 이데이 노부유끼 이미지 디스플레이 방법 및 이미지 디스플레이 장치
KR20010084670A (ko) * 2000-02-28 2001-09-06 윤종용 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법및 그 장치
KR100306341B1 (ko) * 1997-09-30 2001-10-19 니시무로 타이죠 의료용화상진단장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348863A (ja) * 1993-06-08 1994-12-22 Yokogawa Medical Syst Ltd 画像処理装置
JPH1031754A (ja) * 1996-07-17 1998-02-03 Ge Yokogawa Medical Syst Ltd ３次元イメージ作成方法，３次元イメージ作成装置および医用画像診断装置
KR19990023201A (ko) * 1997-08-26 1999-03-25 이데이 노부유끼 이미지 디스플레이 방법 및 이미지 디스플레이 장치
KR100306341B1 (ko) * 1997-09-30 2001-10-19 니시무로 타이죠 의료용화상진단장치
KR20010084670A (ko) * 2000-02-28 2001-09-06 윤종용 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법및 그 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100920251B1 (ko) 2008-12-30 2009-10-05 동국대학교 산학협력단 피부의 산란에 의해 흐려진 적외선 정맥 영상 복원 방법
KR101049507B1 (ko) * 2009-02-27 2011-07-15 한국과학기술원 영상유도수술시스템 및 그 제어방법
KR101133503B1 (ko) * 2011-04-29 2012-04-05 서울대학교산학협력단 광학 및 ｘ선 융합 ｃｔ 장치와 그 데이터의 재구성 방법
KR101339452B1 (ko) 2012-03-28 2013-12-06 조선대학교산학협력단 가상 관절경 수술 시뮬레이션장치
KR20150109076A (ko) 2014-03-19 2015-10-01 조선대학교산학협력단 대장내시경 수술 시뮬레이션시스템
KR101657285B1 (ko) 2015-05-13 2016-09-19 조선대학교산학협력단 초음파 치료 시뮬레이션시스템
KR20190131243A (ko) 2018-05-16 2019-11-26 가톨릭대학교 산학협력단 관절경 시술을 위한 시뮬레이션 툴 제작 방법 및 이에 의해 제작된 관절경 시술용 시뮬레이션 툴

Also Published As

Publication number Publication date
KR20010109777A (ko) 2001-12-12

Similar Documents

Publication Publication Date Title
US9990744B2 (en) Image registration device, image registration method, and image registration program
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8792963B2 (en) Methods of determining tissue distances using both kinematic robotic tool position information and image-derived position information
US20230355312A1 (en) Method and system for computer guided surgery
US20130245461A1 (en) Visualization of Anatomical Data by Augmented Reality
EP3286735A1 (en) Apparatus and method for registering pre-operative image data with intra-operative laparscopic ultrasound images
US10022199B2 (en) Registration correction based on shift detection in image data
WO2009045827A2 (en) Methods and systems for tool locating and tool tracking robotic instruments in robotic surgical systems
KR100346363B1 (ko) 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치, 및 그를 이용한 영상유도 수술 장치
US8704827B2 (en) Cumulative buffering for surface imaging
JP6290723B2 (ja) 手術支援装置および手術支援システム
US10667786B2 (en) Ultrasound imaging apparatus and method for segmenting anatomical objects
US10980509B2 (en) Deformable registration of preoperative volumes and intraoperative ultrasound images from a tracked transducer
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
KR102233585B1 (ko) 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법
Wengert et al. Markerless endoscopic registration and referencing
WO2001059708A1 (en) Method of 3d/2d registration of object views to a surface model
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
KR20160057024A (ko) 마커리스 ３차원 객체추적 장치 및 그 방법
KR20210052270A (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
US20220249174A1 (en) Surgical navigation system, information processing device and information processing method
CN111743628A (zh) 一种基于计算机视觉的自动穿刺机械臂路径规划的方法
EP1124201A1 (en) Method for 3D/2D registration using multiple views and a surface model of an object
Yang et al. A novel neurosurgery registration pipeline based on heat maps and anatomic facial feature points

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080715

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee