KR101592444B1 - 투명디스플레이를 이용한 의료용 영상증강 장치 및 구현 방법 - Google Patents

투명디스플레이를 이용한 의료용 영상증강 장치 및 구현 방법 Download PDF

Info

Publication number
KR101592444B1
KR101592444B1 KR1020140121331A KR20140121331A KR101592444B1 KR 101592444 B1 KR101592444 B1 KR 101592444B1 KR 1020140121331 A KR1020140121331 A KR 1020140121331A KR 20140121331 A KR20140121331 A KR 20140121331A KR 101592444 B1 KR101592444 B1 KR 101592444B1
Authority
KR
South Korea
Prior art keywords
transparent display
coordinate system
virtual model
dimensional
matching
Prior art date
Application number
KR1020140121331A
Other languages
English (en)
Other versions
KR20150069996A (ko
Inventor
이원진
김대승
우상윤
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Publication of KR20150069996A publication Critical patent/KR20150069996A/ko
Application granted granted Critical
Publication of KR101592444B1 publication Critical patent/KR101592444B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges

Abstract

본 발명의 하나의 실시예에 따른 의료용 영상증강 장치는 술자가 보는 3차원 물리적 공간 좌표계와 투명디스플레이에서 보이는 2차원 공간 좌표계의 캘리브레이션을 수행하는 캘리브레이션부, 실제물체, 투명디스플레이, 또는 술자 중 적어도 하나의 위치 변화를 추적하는 위치 추적부, 실제물체의 영상을 가공한 가상모델을 투명디스플레이를 투과해서 보이는 실제물체와 정합하는 영상 정합부, 그리고 영상 정합부에서 정합된 가상모델을 투명디스플레이 상에 중첩하여 표시하는 표시 처리부를 포함한다.

Description

투명디스플레이를 이용한 의료용 영상증강 장치 및 구현 방법{MEDICAL IMAGE AUGMENTATION DEVICE USING TRANSPARENT DISPLAY AND METHOD THEREOF}
투명디스플레이를 이용한 의료용 영상증강 장치 및 구현 방법이 제공된다.
종래에는 수술시 프로젝터(projector) 등을 이용하여 3차원 영상을 환자의 환부에 직접 중첩하여 표시하는 기술을 활용하고 있었다. 그러나 이러한 방법은 수술장의 조명이나 환자의 환부 조건 등의 요인으로 효율적으로 영상증강을 구현하기 어렵다.
최근 헤드마운트 디스플레이(head mounted display)를 이용하여 의사에게 환자 내부의 3차원 이미지를 제공함으로써 진단이나 수술의 정교함을 높이는 기술이 개발되고 있으나, 의사가 헤드마운트 디스플레이를 오래 착용할 경우 어지러움 등의 부작용이 나타날 수 있다는 점에서 활용도가 낮다.
본 발명의 하나의 실시예는 의사가 수술 시 수술 대상의 3차원 이미지를 쉽게 확인하여 수술의 편의성을 제공하기 위한 것이다.
상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 본 발명에 따른 실시예가 사용될 수 있다.
본 발명의 하나의 실시예에 따른 의료용 영상증강 장치는 술자가 보는 3차원 물리적 공간 좌표계와 투명디스플레이에서 보이는 2차원 공간 좌표계의 캘리브레이션을 수행하는 캘리브레이션부, 실제물체, 투명디스플레이, 또는 술자 중 적어도 하나의 위치 변화를 추적하는 위치 추적부, 실제물체의 영상을 가공한 가상모델을 투명디스플레이를 투과해서 보이는 실제물체와 정합하는 영상 정합부, 그리고 영상 정합부에서 정합된 가상모델을 투명디스플레이 상에 중첩하여 표시하는 표시 처리부를 포함한다.
여기서, 캘리브레이션부는, 캘리브레이션용 점들을 투명디스플레이 후면에 위치시키고, 투명디스플레이를 투과해서 보이는 점들의 2차원 영상 좌표계와 3차원 물리적 공간 좌표계간의 변환행렬
Figure 112014086760017-pat00001
을 계산할 수 있다.
또한, 영상 정합부는, 정합용 마커의 3차원 물리적 좌표계와 투명디스플레이를 투과해서 보이는 정합용 마커의 2차원 좌표계간의 변환행렬
Figure 112014086760017-pat00002
, 실제물체의 3차원 물리적 좌표계와 가상모델의 영상 좌표계간의 변환행렬
Figure 112014086760017-pat00003
, 그리고 정합용 마커의 3차원 물리적 좌표계와 실제물체의 3차원 물리적 좌표계간의 변환행렬
Figure 112014086760017-pat00004
를 계산하여, 가상모델을 투명디스플레이를 투과해서 보이는 실제물체와 정합할 수 있다.
또한, 가상모델을 투명디스플레이를 투과해서 보이는 실제물체와 정합하는 식은,
Figure 112014086760017-pat00005
일 수 있다.
또한, 위치 추적부는, 광학적 또는 전자기적 위치추적 시스템을 이용해 실제물체, 투명디스플레이, 또는 술자 중 적어도 하나에 부착된 추적 툴들의 위치를 추적하여 3차원 물리적 공간에서의 현재 위치를 획득할 수 있다.
또한, 의료용 영상증강 장치는 위치 추적부에서 추적한 위치 변화를 보상하는 움직인 보상부를 더 포함하고, 영상 정합부는 움직임 보상부에서 보상된 결과를 반영하여 가상모델을 투명디스플레이를 투과해서 보이는 실제물체와 정합하고, 움직임 보상부는 실제물체, 투명디스플레이, 그리고 또는 술자 중 어느 하나가 움직인 경우, 최초 위치에서 변동된 위치 변화의 변환행렬을 계산하여 위치 변화를 보상할 수 있다.
본 발명의 하나의 실시예에 따른 의료용 영상증강 방법은 술자가 투명디스플레이를 투과해서 보는 2차원 공간 좌표계와 3차원 물리적 공간 좌표계의 캘리브레이션을 하는 단계, 실제물체, 투명디스플레이, 또는 술자 중 적어도 하나의 위치 변화를 추적하는 단계, 실제물체의 영상을 가공한 가상모델을 투명디스플레이를 투과해서 보이는 실제물체와 정합하는 단계, 그리고 가상모델을 투명디스플레이를 투과해서 보이는 실제물체와 중첩하여 투명디스플레이에 표시하는 단계를 포함한다.
여기서, 캘리브레이션용 점들을 투명디스플레이 후면에 위치시키고, 투명디스플레이를 투과해서 보이는 점들의 2차원 영상 좌표계와 3차원 물리적 공간 좌표계간의 변환행렬
Figure 112014086760017-pat00006
을 계산할 수 있다.
또한, 정합용 마커의 3차원 물리적 좌표계와 투명디스플레이를 투과해서 보이는 정합용 마커의 2차원 좌표계간의 변환행렬
Figure 112014086760017-pat00007
, 실제물체의 3차원 물리적 좌표계와 가상모델의 영상 좌표계간의 변환행렬
Figure 112014086760017-pat00008
, 그리고 정합용 마커의 3차원 물리적 좌표계와 실제물체의 3차원 물리적 좌표계간의 변환행렬
Figure 112014086760017-pat00009
를 계산하여, 가상모델을 투명디스플레이를 투과해서 보이는 실제물체와 정합할 수 있다.
또한, 가상모델을 투명디스플레이를 투과해서 보이는 실제물체와 정합하는 식은,
Figure 112014086760017-pat00010
일 수 있다.
또한, 광학적 또는 전자기적 위치추적 시스템을 이용해 실제물체, 투명디스플레이, 또는 술자 중 적어도 하나에 부착된 추적 툴들의 위치를 추적하여 3차원 물리적 공간에서의 현재 위치를 획득할 수 있다.
또한, 의료용 영상증강 방법은 실제물체, 투명디스플레이, 또는 술자 중 어느 하나의 위치 변화가 있는 경우, 위치 변화를 반영하여 가상모델을 투명디스플레이를 투과해서 보이는 실제물체와 정합하는 단계, 그리고 위치 변화를 반영한 가상모델을 투명디스플레이를 투과해서 보이는 실제물체와 중첩하여 투명디스플레이에 표시하는 단계를 더 포함하고, 실제물체, 투명디스플레이, 또는 술자 중 어느 하나의 최초 위치에서 변동된 위치 변화의 변환행렬을 계산하여 위치 변화를 반영할 수 있다.
본 발명의 하나의 실시예는 의사가 수술 시 수술 대상의 3차원 이미지를 쉽게 확인하여 수술의 편의성을 제공할 수 있다.
도 1은 본 발명의 하나의 실시예에 따른 투명디스플레이(11)를 이용한 의료용 영상증강 장치(100)의 블록도이다.
도 2a 및 도 2b는 본 발명의 하나의 실시예에 따른 3차원 물리적 공간 좌표계와 투명디스플레이(11) 상의 2차원 공간 좌표계를 캘리브레이션하는 예를 보여주는 도면이다.
도 3은 본 발명의 하나의 실시예에 따른 정합용 마커 특징점(24)들의 위치를 PC 마우스(13)를 이용하여 2차원 영상 좌표로 획득하는 예를 보여주는 도면이다.
도 4는 본 발명의 하나의 실시예에 따른 정합용 마커 특징점(24)들의 물리적 위치를 위치추적 장비를 이용해 3차원 좌표로 획득하는 예를 보여주는 도면이다.
도 5는 본 발명의 하나의 실시예에 따른 투명디스플레이(11)를 투과해서 보이는 3차원 물리적 공간의 실제물체와 정합된 가상모델을 투명디스플레이(11)에 표시하는 예를 보여주는 도면이다.
도 6은 본 발명의 하나의 실시예에 따른 의료용 영상증강 장치(100)의 전체 개요도를 보여주는 도면이다.
도 7은 본 발명의 하나의 실시예에 따른 투명디스플레이(11)를 이용한 의료용 영상증강 방법을 나타내는 순서도이다.
도 8은 본 발명의 하나의 실시예에 따른 가상모델을 투명디스플레이(11)를 투과해서 보이는 실제물체와 정합하여 술자에게 표시하는 과정을 나타낸 순서도이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부"의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서 술자는 수술을 진행하는 사람이며, 의사를 포함한다. 그리고 본 명세서에서 투명디스플레이(11)는 화면이 투명 또는 반투명하여 화면 뒤쪽에 있는 물체가 투과해서 보이며, 동시에 화면 자체에서도 영상이 출력되는 디스플레이 장치이다.
도 1은 본 발명의 하나의 실시예에 따른 투명디스플레이(11)를 이용한 의료용 영상증강 장치(100)의 블록도이며, 도 2a 및 도 2b는 본 발명의 하나의 실시예에 따른 3차원 물리적 공간 좌표계와 투명디스플레이(11) 상의 2차원 공간 좌표계를 캘리브레이션하는 예를 보여주는 도면이며, 도 3은 본 발명의 하나의 실시예에 따른 정합용 마커 특징점(24)들의 위치를 PC 마우스(13)를 이용하여 2차원 영상 좌표로 획득하는 예를 보여주는 도면이며, 도 4는 본 발명의 하나의 실시예에 따른 정합용 마커 특징점(24)들의 물리적 위치를 위치추적 장비를 이용해 3차원 좌표로 획득하는 예를 보여주는 도면이며, 도 5는 본 발명의 하나의 실시예에 따른 투명디스플레이(11)를 투과해서 보이는 3차원 물리적 공간의 실제물체와 정합된 가상모델을 투명디스플레이(11)에 표시하는 예를 보여주는 도면이며, 도 6은 본 발명의 하나의 실시예에 따른 의료용 영상증강 장치(100)의 전체 개요도를 보여주는 도면이다.
의료용 영상증강 장치(100)는 캘리브레이션부(110), 위치 추적부(120), 움직임 보상부(130), 영상 정합부(140), 그리고 표시 처리부(150)를 포함한다.
의료용 영상증강 장치(100)는 기관, 뼈, 조직 등과 같은 수술 대상을 미리 스캔하여 획득하고 가공한 가상모델을 술자가 투명디스플레이(11)를 투과해서 보는 실제물체와 중첩하여 표시하는 장치이다. 여기서, 가상모델은 MRI(magnetic resonance imaging, 자기공명영상), CT(computed tomography, 컴퓨터 단층촬영), 초음파 장치 등을 통하여 얻을 수 있는 3차원 의료 영상일 수 있다.
수술 시 환자의 수술 부위에 영상을 직접 표시하는 대신에, 의료용 영상증강 장치(100)를 이용하면 투명디스플레이(11) 상에 환자의 영상과 가상모델 정보가 중첩되어 표시되기 때문에 의사는 3차원 의료 영상 데이터를 이용한 수술에서 직관적이고 빠른 이해를 바탕으로 수술을 수행할 수 있다.
예를 들어, 의료용 영상증강 장치(100)를 이용하는 경우, 실제 수술 중인 환자의 수술부위가 투명디스플레이(11)에 투과되어 나타나고, 수술 전 계획된 절제 부위의 위치가 투명디스플레이(11)에 중첩되어 표시될 수 있다. 따라서 의사가 시각적으로 수술 중에 두 위치간의 일치성 및 오차 여부를 실시간으로 판단할 수 있다.
캘리브레이션부(110)는 실제물체의 3차원 물리적 공간 좌표계와 투명디스플레이(11)를 투과해서 보이는 2차원 공간 좌표계를 정렬하기 위한 캘리브레이션을 수행한다. 캘리브레이션을 통하여 광축정렬, 왜곡보정, 그리고 초점거리 맞춤 등이 수행될 수 있다.
위치 추적부(120)는 실제물체, 투명디스플레이(11), 또는 술자 중 적어도 어느 하나의 위치를 추적 툴(22)을 이용하여 3차원 물리적 좌표로 획득한다. 의료용 영상증강 장치(100)는 위치 추적부(120)에서 획득한 좌표를 이용하여 좌표계의 정합을 수행할 수 있고, 실제물체, 투명디스플레이(11), 또는 술자 중 적어도 어느 하나가 수술 중에 움직이는 경우, 그 움직임을 보상할 수 있다.
위치 추적부(120)는 움직임을 보상하기 위하여 광학적 또는 전자기적 위치추적 시스템인 3차원 위치추적 장비를 이용할 수 있다. 예를 들어, 실제물체, 투명디스플레이(11), 그리고 술자에 추적 툴(22)을 부착하고 위치추적 장비로 부착된 추적 툴(22)의 3차원적 위치변화를 추적하여 3차원 물리적 공간에서의 현재 위치를 획득할 수 있다.
움직임 보상부(130)는 위치 추적부(120)에서 추적하여 획득한 실제물체, 투명디스플레이(11), 그리고 술자 등의 현재 위치에 기초하여 최초 위치에서 변동된 위치변화를 실제로 보상하는 역할을 한다.
움직임 보상부(130)는 실제물체, 투명디스플레이, 또는 술자 중 적어도 어느 하나가 움직인 경우, 최초 위치에서 변동된 위치변화의 변환행렬을 계산하여 위치변화를 보상할 수 있다.
영상 정합부(140)는 MRI, CT, 초음파 등으로 촬영한 수술 대상의 영상을 가공한 가상모델을 투명디스플레이(11)를 투과해서 보이는 실제물체와 정합한다. 영상 정합부(140)는 위치 추적부(120)에서 획득한 좌표와 캘리브레이션부(110), 그리고 움직임 보상부(130)에서 계산한 변환행렬 등을 이용하여 각 좌표계 간의 정합을 수행할 수 있다.
영상 정합부(140)는 움직임 보상부(130)에서 계산한 위치변화의 변환행렬을 이용하므로, 실제물체, 투명디스플레이(11), 또는 술자 중 어느 하나의 움직임이 있어도, 그 움직임을 반영하여 정합을 수행할 수 있다.
영상 정합부(140)는 최종적으로 투명디스플레이(11) 상의 가상모델을 투명디스플레이(11)를 투과해서 보이는 실제물체와 정합한다. 영상 정합부(140)는 여러 단계의 정합 과정을 거쳐 투명디스플레이(11) 상의 가상모델과 투명디스플레이(11)를 투과해서 보이는 실제물체의 정합을 수행할 수 있다.
표시 처리부(150)는 정합된 가상모델(26)을 투명디스플레이(11)에 표시하도록 처리한다. 표시 처리부(150)는 영상 접합부(140)에서 계산된 정합된 가상모델(26)의 투명디스플레이(11) 상 좌표를 이용하여 가상모델을 투명디스플레이(11)를 투과해서 보이는 실제물체와 중첩하여 투명디스플레이(11) 상에 표시하게 할 수 있다.
이하에서는 도 2 내지 도 6을 참고하여 의료용 영상증강 장치(100)의 구현 방법을 자세하게 설명한다.
가공한 가상모델을 투명디스플레이(11)를 투과해서 보이는 실제물체와 정합하여 표시하기 위해서는 정합된 가상모델(26)을 투명디스플레이(11)에 표시하기 위한 좌표를 계산해야 한다.
그리고, 정합된 가상모델(26)의 투명디스플레이(11) 상에서의 좌표를 얻기 위해서 캘리브레이션, 각 좌표계간의 정합, 그리고 움직임을 보상하는 과정에서 계산된 변환행렬을 이용할 수 있다. 따라서, 이하에서는 각각의 변환행렬을 계산하는 방법에 대하여 자세히 설명한다.
먼저,
Figure 112014086760017-pat00011
를 계산한다.
Figure 112014086760017-pat00012
는 캘리브레이션부(110)가 술자가 바라보는 3차원 물리적 공간 좌표계와 투명디스플레이(11) 상에서 보이는 2차원 공간 좌표계를 캘리브레이션하기 위한 변환행렬이다.
Figure 112014086760017-pat00013
는 3X4 행렬일 수 있다.
Figure 112014086760017-pat00014
를 계산하기 위해서, 도 2a를 참고하면, 투명디스플레이(11)를 투과해서 보이는 3차원 물리적 공간에 있는 물체의 투명디스플레이(11) 상에서의 2차원 영상 좌표(15)를 획득할 수 있다. 캘리브레이션을 위해 3차원 물리적 공간에 있는 물체의 위치를 변화시키면서 물체의 투명디스플레이(11) 상에서의 2차원 영상 좌표(15)를 여러 개 획득할 수 있다.
도 2a에서 볼 수 있듯이, 캘리브레이션용 점(12)들이 표시되어 있는 종이를 투명디스플레이(11) 후면에 위치시키고, 투명디스플레이(11)를 투과해서 보이는 점(12)들의 위치인 2차원 영상 좌표(빨강색 십자표시)(15)를 술자의 입력에 의해 획득할 수 있다.
예를 들어, 술자가 PC 마우스(13)로 투명디스플레이(11)를 투과해서 보이는 점(12)들의 위치를 투명디스플레이(11)에서 출력되는 윈도우(14)에 클릭함으로써, 각 점(12)들의 2차원 영상 좌표(15)가 획득될 수 있다.
그리고, 캘리브레이션부(110)는 획득된 각 점(12)들의 2차원 영상 좌표(15) 를 이용하여 변환행렬
Figure 112014086760017-pat00015
를 계산할 수 있다.
도 2b는 3차원 물리적 공간 좌표계와 2차원 디스플레이 공간 좌표계의 캘리브레이션을 보여주는 도면이다. 도 2a에서 볼 수 있듯이, 술자가 마우스(13)를 이용하여 투명디스플레이(11) 후면에 보이는 점(12)들을 클릭하면, 각 점(12)들의 2차원 영상 좌표(15)를 연결하는 선들(빨강색으로 표시)(16)이 윈도우(14)에 출력된다. 그리고 도 2b와 같이 후면의 캘리브레이션용 점(12)들을 기준으로 수직, 수평, 그리고 대각선 방향의 그리드(grid) 선(16)이 생성되고, 각 점(12)들의 좌표값을 획득함으로써 캘리브레이션을 수행할 수 있다. 또한 각 점(12)들의 좌표값을 획득하기 위한 입력은 마우스(11) 이외에도 터치, 키보드 등에 의해서도 이루어질 수 있다.
실제물체의 3차원 물리적 공간 좌표계와 투명디스플레이(11)를 투과해서 보이는 2차원 공간 좌표계의 캘리브레이션은 도 2a와 도 2b에서 보여주는 방법에 의해 한정되는 것은 아니다.
다음으로,
Figure 112014086760017-pat00016
를 계산한다.
Figure 112014086760017-pat00017
는 영상 정합부(140)가 정합용 마커 특징점(24)들에 대한 2차원 영상 좌표와 3차원 물리적 좌표를 이용하여 정합용 마커(23)의 3차원 물리적 공간 좌표계와 투명디스플레이(11) 상에 나타나는 정합용 마커(23)의 2차원 공간 좌표계의 정합을 하기 위한 변환행렬이다.
Figure 112014086760017-pat00018
는 4X4 행렬일 수 있다.
Figure 112014086760017-pat00019
의 변환행렬을 계산하기 위해 도 3과 같이 투명디스플레이(11) 후면인 3차원 물리적 공간 상에 물체를 배치시킬 수 있다. 도 3에서, 해골(21)은 투명디스플레이 상에 표시될 가상모델과 정합되는 실제물체이다. 실제 수술에서는 실제물체가 도 3의 해골(21) 대신에 수술 대상 물체일 수 있다.
그리고, 해골(21)의 입 쪽에 부착된 장치가 해골(21)의 위치를 획득하여 위치변화를 추적할 수 있는 추적 툴(22)이고, 사각형 모양의 물체가 정합용 마커(23)이며, 정합용 마커(23)의 각 모서리가 정합용 마커 특징점(24)이다.
정합용 마커 특징점(24)은 정합을 위한 좌표를 정확하게 얻기 위해서 별도로 3차원 물리적 공간 상에 배치된 정합용 마커(23)의 특징점(24)이다. 정합용 마커 특징점(24)을 얻기 위한 정합용 마커(23)는 투명디스플레이(11)를 투과해서 볼 수 있는 3차원 공간의 임의의 곳에 위치시킬 수 있으며, 정합을 위한 좌표를 정확하게 획득할 수 있는 모양을 갖는 임의의 물체일 수 있다. 정합용 마커(23)의 형상 및 위치는 특별히 제한되지 않는다.
Figure 112014086760017-pat00020
의 변환행렬을 계산하기 위해서 정합용 마커 특징점(24)들의 투명디스플레이(11) 상에서의 2차원 영상 좌표와 정합용 마커 특징점(24)들이 술자의 시야 좌표계의 원점에 위치했다고 가정했을 때의 정합용 마커 특징점(24)들의 3차원 물리적 좌표를 획득할 수 있다.
정합용 마커 특징점(24)들의 투명디스플레이(11) 상에서의 2차원 영상 좌표를 획득하기 위해서 정합용 마커(23)를 투명디스플레이(11) 후면에 위치시킨 후, 투과해서 보이는 정합용 마커 특징점(24)들의 위치를 투명디스플레이(11) 상의 2차원 영상 좌표로 획득할 수 있다.
예를 들어, 2차원적 영상 좌표는 술자가 정합용 마커 특징점(24)들의 위치를 투명디스플레이(11) 상의 2차원 평면에서 PC 마우스(13), 터치, 키보드 등으로 입력하여 획득될 수 있다.
정합용 마커 특징점(24)들의 3차원 물리적 좌표를 획득하기 위해서 위치 추적부(120)의 위치 추적 장비를 이용할 수 있다. 예를 들어, 도 4에서 볼 수 있듯이, 이동이 용이한 추적 툴(25)로 위치 추적을 하고자 하는 정합용 마커 특징점(24)을 직접 가리켜 위치 추적부(120)가 정합용 마커 특징점(24)의 3차원 물리적 좌표를 획득할 수 있다.
영상 정합부(140)는 획득한 정합용 마커 특징점(24)의 투명디스플레이(11) 상에서의 2차원 좌표와 3차원 물리적 좌표를 이용하여, 3차원 물리적 좌표를 2차원 좌표로 변환하기 위한 변환행렬,
Figure 112014086760017-pat00021
를 계산할 수 있다.
다음으로,
Figure 112014086760017-pat00022
을 계산한다.
Figure 112014086760017-pat00023
은 실제물체의 3차원 물리적 좌표계와 가상모델의 영상 좌표계간의 정합을 하기 위한 변환행렬이다. 여기서, 실제물체와 가상모델의 정합은 영상 정합부(140)가 최종적으로 수행하려는 투명디스플레이(11)를 투과해서 보이는 실제물체와 가상모델의 정합과 구별된다.
Figure 112014086760017-pat00024
의 변환행렬을 계산하기 위해서 실제물체의 3차원 물리적 좌표와 가상모델의 영상 좌표를 획득할 수 있다. 가상모델과 실제물체에서 좌표를 획득하고자 하는 부분을 설정할 수 있는데, 가상모델의 영상 좌표계와 실제 물체의 물리적 좌표계에서 동시에 3차원 위치 좌표를 획득할 수 있는 해부학적 표지점 또는 부가된 표지점들의 집합을 실제물체에 설정할 수 있다.
예를 들어, 도 3에서 실제 물체인 해골(21)과 해골(21)을 촬영하여 얻은 영상의 가상모델에서 치아 부분이 해부학적 표지점들의 집합으로 설정될 수 있고, 치아 부분에 표지점들을 부가하여 정합용 표지점들의 집합으로 설정할 수 있다.
설정된 표지점들의 집합을 정합용 표지점들로 하여 가상모델의 영상 좌표가 획득될 수 있다. 영상 좌표를 획득하는 방법으로 PC 마우스(13), 터치, 키보드 등을 이용할 수 있다.
그리고 정합용 표지점들의 위치를 3차원 물리적 좌표로 획득하기 위하여 광학적 또는 전자기적 위치추적 시스템과 같은 3차원 위치추적 장비가 이용될 수 있다. 예를 들어, 도 4와 같이 정합용 표지점들의 위치를 추적 툴(25)로 가리키면 3차원 위치추적 장비가 3차원 물리적 좌표를 획득할 수 있다.
영상 정합부(140)는 정합용 표지점들의 위치를 위치추적 장비를 이용하여 획득한 3차원 물리적 좌표와 가상모델의 영상 좌표계를 기준으로 획득한 영상 좌표를 이용하여 실제물체의 3차원 물리적 좌표계와 가상모델의 영상 좌표계간의 정합을 수행하기 위한 변환행렬을 계산할 수 있다.
다음으로,
Figure 112014086760017-pat00025
을 계산한다.
Figure 112014086760017-pat00026
은 정합용 마커(23)의 3차원 물리적 공간 좌표계와 실제물체의 좌표계간의 정합을 수행할 수 있는 변환행렬이다. 변환행렬은 4X4 행렬일 수 있다.
변환행렬,
Figure 112014086760017-pat00027
을 계산하기 위해서 정합용 마커 특징점(24)들의 위치인 3차원 물리적 좌표와 실제물체에 부착된 추적 툴(22)의 3차원 물리적 좌표를 획득할 수 있다.
정합용 마커 특징점(24)들의 3차원 물리적 좌표와 실제물체에 부착된 추적 툴(22)의 3차원 물리적 좌표는 광학적 또는 전자기적 위치추적 시스템과 같은 3차원 위치추적 장비를 이용하여 획득할 수 있다.
예를 들어, 도 4에서 볼 수 있듯이, 위치추적 장비(미도시)를 이용하여 정합용 마커(23)의 특징점(24)을 가리키는 추적 툴(25)의 위치를 3차원 물리적 좌표로 획득할 수 있고, 실제물체에 부착된 추적 툴(22)의 위치를 3차원 물리적 좌표로 획득할 수 있다.
영상 정합부(140)는 위치추적 장비를 이용하여 획득한 정합용 마커(23)의 특징점(24)을 가리키는 추적 툴(25)의 3차원 물리적 좌표와 실제물체에 부착된 추적 툴(22)의 3차원 물리적 좌표를 이용하여, 실제물체에 부착된 추적 툴(22)의 3차원 물리적 좌표를 위치를 정합용 마커(23)의 특징점(24)을 가리키는 추적 툴(25)의 3차원 물리적 좌표로 변환하기 위한 변환행렬,
Figure 112014086760017-pat00028
을 계산할 수 있다.
최종적으로 영상 정합부(140)는 캘리브레이션부(110)에서 계산한 변환행렬과 각각의 정합 과정을 통해 계산한 변환행렬을 이용해 투명디스플레이(11) 상의 3차원 가상모델을 투명디스플레이(11)를 투과해서 보이는 3차원 물리적 공간의 실제물체와 정합할 수 있다.
영상 정합부(140)는 술자에게 정합된 가상모델(26)을 투명디스플레이(11) 상에 표시하기 위한 좌표값을 아래의 식을 이용하여 계산할 수 있다.
Figure 112014086760017-pat00029
여기서, VM은 가상모델의 3차원 좌표의 행렬식을 나타낸다. 예를 들어, 가상모델은 실제물체에 대한 MRI, CT, 초음파 장치 등에 의해 얻을 수 있는 3차원 의료 영상일 수 있다. TM은 가상모델이 투명디스플레이(11)를 투과해서 보이는 실제물체와 정합되어 투명디스플레이(11) 상에 표시되기 위한 좌표의 행렬식을 나타낸다.
영상 정합부(140)는 최종적으로 위 식을 계산하여 투명디스플레이(11) 상의 3차원 가상모델을 투명디스플레이(11)를 투과해서 보이는 3차원 물리적 공간의 실제물체와 정합할 수 있다. 그리고 표시 처리부(150)는 영상 정합부(140)에서 계산한 가상모델의 좌표값을 이용해 정합된 가상모델(26)이 투명디스플레이(11)에 표시되도록 할 수 있다.
표시 처리부(150)를 통해 정합된 가상모델(26)이 투명디스플레이(11) 상에 중첩되어 표시되면 도 5와 같은 모양이 된다.
도 5는 투명디스플레이(11)를 투과해서 보이는 해골 모양의 실제물체와 정합된 가상모델(26)이 투명디스플레이(11) 상에 표시되는 모습을 보여준다. 따라서, 도 5는 투명디스플레이(11) 상에 정합된 가상모델(26)이 도 3 및 도 4의 실제물체인 해골(21)과 중첩되어 나타나는 모습을 보여준다.
따라서, 술자는 투명디스플레이(11)를 투과해서 보이는 수술 대상을 수술하는 경우, 투명디스플레이(11) 상에 중첩되어 표시되는 정합된 가상모델(26)을 참고하여 수술을 수행할 수 있다.
위와 같은 과정을 통해 가상모델을 투명디스플레이(11)를 투과해서 보이는 실제물체와 정합하여 술자에게 표시할 수 있다. 그러나, 실제물체, 투명디스플레이(11), 또는 술자 중 적어도 하나의 움직임으로 인하여 위치변화가 있을 수 있으므로, 이하에서는 움직임 보상부(130)를 통해 이러한 위치변화를 반영하여 가상모델을 투명디스플레이(11)를 투과해서 보이는 실제물체와 정합하는 과정에 대하여 자세히 설명한다.
움직임 보상부(130)는 실제물체, 투명디스플레이(11), 또는 술자 중 적어도 하나가 움직이는 경우, 연속적으로 그 움직임을 보상하기 위해 변환행렬을 이용할 수 있다.
움직임을 보상하기 위한 변환행렬을 계산하기 위해 먼저 위치 추적부(120)는 광학적 또는 전자기적 위치추적 시스템과 같은 3차원 위치추적 장비를 이용하여 실제물체, 투명디스플레이(11), 그리고 술자에 부착된 추적 툴(22)들의 3차원 물리적 공간에서의 현재 위치를 획득할 수 있다.
실제물체가 움직이는 경우, 움직임 보상부(130)는 최초에 결정된
Figure 112014086760017-pat00030
변환행렬에 최초 위치에서 변동된 위치변화의 역변환을 적용하여 실제물체의 움직임을 보상할 수 있다.
움직임 보상부(130)가 실제물체의 움직임을 보상하기 위한 식으로 아래의 변환식을 이용할 수 있다.
Figure 112014086760017-pat00031
여기서,
Figure 112014086760017-pat00032
는 실제물체의 좌표를 위치추적 장비를 기준으로 한 좌표계의 좌표로 변환해주는 변환행렬이고,
Figure 112014086760017-pat00033
는 실제물체가 최초에 위치한 좌표를 위치추적 장비를 기준으로 한 좌표계의 좌표로 변환해주는 변환행렬이다.
영상 정합부(140)는 움직임 보상부(130)에서 계산한 상기 변환식을 정합된 가상모델을 표시하기 위한 변환식에 적용하여 실제물체의 위치변화를 반영할 수 있다. 실제물체가 계속하여 움직일 수 있으므로 움직임 보상부(130)는 위치변화의 역변환을 적용한 상기 변환식의 계산을 연속적으로 수행할 수 있다.
투명디스플레이(11)가 움직이는 경우, 최초에 결정된
Figure 112014086760017-pat00034
변환행렬을 최초 위치에서 변동된 위치변화의 역변환을 적용하여 투명디스플레이(11)의 움직임을 보상할 수 있다.
움직임 보상부(130)가 투명디스플레이(11)의 움직임을 보상하기 위한 식으로 아래의 변환식을 이용할 수 있다.
Figure 112014086760017-pat00035
여기서,
Figure 112014086760017-pat00036
는 투명디스플레이(11)의 좌표를 위치추적 장비를 기준으로 한 좌표계의 좌표로 변환해주는 변환행렬이고,
Figure 112014086760017-pat00037
는 투명디스플레이(11)가 최초에 위치한 좌표를 위치추적 장비를 기준으로 한 좌표계의 좌표로 변환해주는 변환행렬이다.
영상 정합부(140)는 움직임 보상부(130)에서 계산한 상기 변환식을 정합된 가상모델을 표시하기 위한 변환식에 적용하여 투명디스플레이(11)의 위치변화를 반영할 수 있다. 투명디스플레이(11)가 계속하여 움직일 수 있으므로 움직임 보상부(130)는 위치변화의 역변환을 적용한 상기 변환식의 계산을 연속적으로 수행할 수 있다.
술자가 움직이는 경우, 최초에 결정된
Figure 112014086760017-pat00038
변환행렬을 최초 위치에서 변동된 위치변화의 역변환을 적용하여 술자의 움직임을 보상할 수 있다.
움직임 보상부(130)가 술자의 움직임을 보상하기 위한 식으로 아래의 변환식을 이용할 수 있다.
Figure 112014086760017-pat00039
여기서,
Figure 112014086760017-pat00040
는 술자의 좌표를 위치추적 장비를 기준으로 한 좌표계의 좌표로 변환해주는 변환행렬이고,
Figure 112014086760017-pat00041
는 투명디스플레이(11)가 최초에 위치한 좌표를 위치추적 장비를 기준으로 한 좌표계의 좌표로 변환해주는 변환행렬이다.
영상 정합부(140)는 움직임 보상부(130)에서 계산한 상기 변환식을 정합된 가상모델을 표시하기 위한 변환식에 적용하여 술자의 위치변화를 반영할 수 있게 된다. 술자가 계속하여 움직일 수 있으므로 움직임 보상부(130)는 위치변화의 역변환을 적용한 상기 변환식의 계산을 연속적으로 수행할 수 있다.
움직임 보상부(130)에서 위치변화를 반영하여 보상해 주기 때문에 의사가 수술 중 육안으로 조직 시편 재위치의 일치성 여부를 실시간으로 확인할 수 있다. 따라서, 수술의 정확성이 향상되고 수술 시 미리 계획된 대로 정확히 치료할 수 있어 치료의 질이 향상될 수 있다.
도 6은 본 발명의 하나의 실시예에 따른 의료용 영상증강 장치(100)의 전체 개요도를 보여주는 도면이다. 술자(10)와 실제물체(20), 투명디스플레이(30)에는 추적 툴(50)이 부착되어 있어 위치추적 시스템(40)을 이용하여 술자(10), 실제물체(20), 투명디스플레이(30) 각각의 위치변화가 추적될 수 있다. 도 6에 표시되는 변환행렬들을 통해 위에서 설명한 각각의 공간 좌표계간의 정합 과정과 위치변화 추적 과정을 파악할 수 있다.
이하에서는 도 7을 참고하여 투명디스플레이(11)를 이용한 의료용 영상증강 방법에 대해 설명한다. 앞에서 설명한 내용과 중복되는 내용은 생략할 수 있다.
도 7은 본 발명의 하나의 실시예에 따른 투명디스플레이(11)를 이용한 의료용 영상증강 방법을 나타내는 순서도이다.
먼저, 투명디스플레이(11)를 투과해서 보이는 2차원 공간 좌표계와 3차원 물리적 공간 좌표계의 캘리브레이션을 한다(S101). 그리고 실제물체, 투명디스플레이(11), 또는 술자 중 적어도 하나의 위치 변화를 추적한다(S102). 실제물체, 투명디스플레이(11), 그리고 술자의 움직임이 계속하여 생길 수 있으므로 위치변화를 추적하는 단계(S102)는 실시간으로 계속 이루어진다.
MRI, CT, 초음파 등으로 촬영한 수술 대상의 영상을 술자가 수술을 수행하는데 도움을 줄 수 있도록 가공하여 획득한 가상모델을 투명디스플레이(11)를 투과해서 보이는 실제물체와 정합한다(S103).
정합한 가상모델을 실제물체와 중첩하여 투명디스플레이(11)에 표시한다(S104).
실제물체, 투명디스플레이(11), 또는 술자 중 적어도 하나의 위치변화가 있는지 판단하여(S105) 실제물체, 투명디스플레이(11), 또는 술자 중 적어도 하나의 위치변화가 있는 경우, 위치변화를 반영하여 가상모델을 투명디스플레이(11)를 투과해서 보이는 실제물체와 정합한다(S106).
그리고, 위치변화를 반영한 가상모델을 투명디스플레이(11)를 투과해서 보이는 실제물체와 중첩하여 투명디스플레이(11)에 표시한다(S107).
도 8은 본 발명의 하나의 실시예에 따른 가상모델을 투명디스플레이(11)를 투과해서 보이는 실제물체와 정합하여 술자에게 표시하는 과정을 나타낸 순서도이다. 각 정합 과정은 이하에서 기재한 것과 같은 순서로 진행될 수도 있지만, 이에 한정되는 것은 아니고 다른 순서로 진행될 수도 있다. 앞에서 설명한 내용과 중복되는 내용은 생략할 수 있다.
먼저 투명디스플레이(11)를 투과해서 보이는 2차원 공간 좌표계와 3차원 물리적 공간 좌표계의 캘리브레이션을 위해 변환행렬을 계산한다(S101).
그리고 정합용 마커의 3차원 물리적 좌표계와 투명디스플레이(11)를 투과해서 보이는 2차원 좌표계와의 정합을 위한 변환행렬을 계산한다(S141).
또한, 실제물체의 3차원 물리적 좌표계와 가상모델의 영상 좌표계와의 정합을 위한 변환행렬을 계산한다(S142).
또한, 정합용 마커의 3차원 물리적 좌표계와 실제물체의 3차원 물리적 좌표계와의 정합을 위한 변환행렬을 계산한다(S143).
최종적으로 캘리브레이션과 각 정합 과정에서 계산한 변환행렬을 이용하여 가상모델을 투명디스플레이(11)를 투과해서 보이는 실제물체와 정합하여 술자에게 표시한다(S102).
투명디스플레이(11)를 이용한 의료용 영상증강 방법을 이용하는 경우, 수술전 계획된 절제 부위의 위치가 투명디스플레이(11)에 3차원 모델로 가시화되고, 실제 수술 중인 환자의 수술부위의 위치가 투명디스플레이(11)에 투과되어 나타난다. 따라서 술자가 수술중에 시각적으로 두 위치간의 일치성 및 오차 여부를 실시간으로 판단 할 수 있다. 또한 술자는 직관적이고 빠른 이해를 바탕으로 한 영상가이드 수술을 수행할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
10 : 술자 11 : 투명디스플레이
12 : 캘리브레이션용 점 13 : 마우스 표시
14 : 윈도우 15 : 십자표시
16 : 그리드 선 20 : 실제물체
21 : 해골 22 : 추적 툴
23 : 정합용 마커 24 : 정합용 마커 특징점
25 : 추적 툴 26 : 정합된 가상모델
30 : 투명디스플레이 40 : 위치추적 시스템
50 : 추적 툴 100 : 의료용 영상증강 장치
110 : 캘리브레이션부 120 : 위치 추적부
130 : 움직임 보상부 140 : 영상 정합부
150 : 표시 처리부

Claims (12)

  1. 술자가 보는 3차원 물리적 공간 좌표계와 투명디스플레이에서 보이는 2차원 공간 좌표계의 캘리브레이션을 수행하는 캘리브레이션부,
    실제물체, 상기 투명디스플레이, 또는 상기 술자 중 적어도 하나의 위치 변화를 추적하는 위치 추적부,
    상기 실제물체의 영상을 가공한 가상모델을 상기 투명디스플레이를 투과해서 보이는 상기 실제물체와 정합하는 영상 정합부, 그리고
    상기 영상 정합부에서 정합된 상기 가상모델을 상기 투명디스플레이 상에 중첩하여 표시하는 표시 처리부를 포함하며,
    상기 영상 정합부는,
    정합용 마커의 3차원 물리적 좌표계와 상기 투명디스플레이를 투과해서 보이는 상기 정합용 마커의 2차원 좌표계간의 변환행렬
    Figure 112015105938039-pat00061
    , 상기 실제물체의 3차원 물리적 좌표계와 상기 가상모델의 영상 좌표계간의 변환행렬
    Figure 112015105938039-pat00062
    , 그리고 상기 정합용 마커의 3차원 물리적 좌표계와 상기 실제물체의 3차원 물리적 좌표계간의 변환행렬
    Figure 112015105938039-pat00063
    를 계산하여, 상기 가상모델을 상기 투명디스플레이를 투과해서 보이는 상기 실제물체와 정합하는 의료용 영상증강 장치.
  2. 제1항에서,
    상기 캘리브레이션부는,
    캘리브레이션용 점들을 상기 투명디스플레이 후면에 위치시키고, 상기 투명디스플레이를 투과해서 보이는 상기 점들의 2차원 영상 좌표계와 3차원 물리적 공간 좌표계간의 변환행렬
    Figure 112014086760017-pat00042
    을 계산하는 의료용 영상증강 장치.
  3. 삭제
  4. 제1항에서,
    상기 가상모델을 상기 투명디스플레이를 투과해서 보이는 상기 실제물체와 정합하는 식은,
    Figure 112015105938039-pat00046

    이고,
    VM은 상기 가상모델의 3차원 좌표의 행렬식이고, TM은 상기 가상모델이 상기 실제물체와 정합되어 상기 투명디스플레이 상에 표시되기 위한 좌표의 행렬식인 의료용 영상증강 장치.
  5. 제1항에서,
    상기 위치 추적부는,
    광학적 또는 전자기적 위치추적 시스템을 이용해 상기 실제물체, 상기 투명디스플레이, 또는 상기 술자 중 적어도 하나에 부착된 추적 툴들의 위치를 추적하여 3차원 물리적 공간에서의 현재 위치를 획득하는 의료용 영상증강 장치.
  6. 제1항에서,
    상기 위치 추적부에서 추적한 위치 변화를 보상하는 움직인 보상부를 더 포함하고,
    상기 영상 정합부는 상기 움직임 보상부에서 보상된 결과를 반영하여 상기 가상모델을 상기 투명디스플레이를 투과해서 보이는 상기 실제물체와 정합하고,
    상기 움직임 보상부는 상기 실제물체, 상기 투명디스플레이, 그리고 또는 술자 중 어느 하나가 움직인 경우, 최초 위치에서 변동된 위치 변화의 변환행렬을 계산하여 상기 위치 변화를 보상하는 의료용 영상증강 장치.
  7. 술자가 투명디스플레이를 투과해서 보는 2차원 공간 좌표계와 3차원 물리적 공간 좌표계의 캘리브레이션을 하는 단계,
    실제물체, 상기 투명디스플레이, 또는 상기 술자 중 적어도 하나의 위치 변화를 추적하는 단계,
    상기 실제물체의 영상을 가공한 가상모델을 상기 투명디스플레이를 투과해서 보이는 상기 실제물체와 정합하는 단계, 그리고
    상기 가상모델을 상기 투명디스플레이를 투과해서 보이는 실제물체와 중첩하여 상기 투명디스플레이에 표시하는 단계를 포함하며,
    상기 정합 단계는,
    정합용 마커의 3차원 물리적 좌표계와 상기 투명디스플레이를 투과해서 보이는 상기 정합용 마커의 2차원 좌표계간의 변환행렬
    Figure 112015105938039-pat00064
    , 상기 실제물체의 3차원 물리적 좌표계와 상기 가상모델의 영상 좌표계간의 변환행렬
    Figure 112015105938039-pat00065
    , 그리고 상기 정합용 마커의 3차원 물리적 좌표계와 상기 실제물체의 3차원 물리적 좌표계간의 변환행렬
    Figure 112015105938039-pat00066
    를 계산하여, 상기 가상모델을 상기 투명디스플레이를 투과해서 보이는 상기 실제물체와 정합하는 의료용 영상증강 방법.
  8. 제7항에서,
    캘리브레이션용 점들을 상기 투명디스플레이 후면에 위치시키고, 상기 투명디스플레이를 투과해서 보이는 상기 점들의 2차원 영상 좌표계와 3차원 물리적 공간 좌표계간의 변환행렬
    Figure 112014086760017-pat00047
    을 계산하는 의료용 영상증강 방법.
  9. 삭제
  10. 제7항에서,
    상기 가상모델을 상기 투명디스플레이를 투과해서 보이는 상기 실제물체와 정합하는 식은,
    Figure 112015105938039-pat00051

    이고,
    VM은 상기 가상모델의 3차원 좌표의 행렬식이고, TM은 상기 가상모델이 상기 실제물체와 정합되어 상기 투명디스플레이 상에 표시되기 위한 좌표의 행렬식인 의료용 영상증강 방법.
  11. 제7항에서,
    광학적 또는 전자기적 위치추적 시스템을 이용해 상기 실제물체, 상기 투명디스플레이, 또는 상기 술자 중 적어도 하나에 부착된 추적 툴들의 위치를 추적하여 3차원 물리적 공간에서의 현재 위치를 획득하는 의료용 영상증강 방법.
  12. 제7항에서,
    상기 실제물체, 상기 투명디스플레이, 또는 상기 술자 중 어느 하나의 위치 변화가 있는 경우, 상기 위치 변화를 반영하여 상기 가상모델을 상기 투명디스플레이를 투과해서 보이는 상기 실제물체와 정합하는 단계, 그리고
    상기 위치 변화를 반영한 상기 가상모델을 상기 투명디스플레이를 투과해서 보이는 상기 실제물체와 중첩하여 상기 투명디스플레이에 표시하는 단계를 더 포함하고,
    상기 실제물체, 상기 투명디스플레이, 또는 상기 술자 중 어느 하나의 최초 위치에서 변동된 위치 변화의 변환행렬을 계산하여 위치 변화를 반영하는 의료용 영상증강 방법.
KR1020140121331A 2013-12-16 2014-09-12 투명디스플레이를 이용한 의료용 영상증강 장치 및 구현 방법 KR101592444B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130156376 2013-12-16
KR20130156376 2013-12-16

Publications (2)

Publication Number Publication Date
KR20150069996A KR20150069996A (ko) 2015-06-24
KR101592444B1 true KR101592444B1 (ko) 2016-02-05

Family

ID=53516968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140121331A KR101592444B1 (ko) 2013-12-16 2014-09-12 투명디스플레이를 이용한 의료용 영상증강 장치 및 구현 방법

Country Status (1)

Country Link
KR (1) KR101592444B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101894846B1 (ko) * 2017-05-19 2018-09-04 주식회사 맥스트 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이
US11574468B2 (en) * 2020-03-31 2023-02-07 Toyota Research Institute, Inc. Simulation-based learning of driver interactions through a vehicle window

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189708A (ja) 2005-01-07 2006-07-20 Mitsubishi Electric Corp 表示装置
KR101320683B1 (ko) 2012-07-26 2013-10-18 한국해양과학기술원 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189708A (ja) 2005-01-07 2006-07-20 Mitsubishi Electric Corp 表示装置
KR101320683B1 (ko) 2012-07-26 2013-10-18 한국해양과학기술원 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템

Also Published As

Publication number Publication date
KR20150069996A (ko) 2015-06-24

Similar Documents

Publication Publication Date Title
US20220296302A1 (en) Method and system for computer guided surgery
JP7213413B2 (ja) Ｃ－ａｒｍベースの医用画像システム及び２Ｄ画像と３Ｄ空間の整合方法
CN107374729B (zh) 基于ar技术的手术导航系统及方法
US9990744B2 (en) Image registration device, image registration method, and image registration program
EP2953569B1 (en) Tracking apparatus for tracking an object with respect to a body
JP6475324B2 (ja) オプティカルトラッキングシステム及びオプティカルトラッキングシステムの座標系整合方法
Gsaxner et al. Markerless image-to-face registration for untethered augmented reality in head and neck surgery
US11602397B2 (en) System and method to conduct bone surgery
WO2014120909A1 (en) Apparatus, system and method for surgical navigation
JP6510301B2 (ja) 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
JP6620252B2 (ja) 超音波融合撮像システムにおけるプローブ誘導変形の補正
AU2021354680A1 (en) Readable storage medium, bone modeling registration system and orthopedic surgical system
JP2010274044A (ja) 手術支援装置、手術支援方法及び手術支援プログラム
KR20190078853A (ko) 레이저 표적 투영장치 및 그 제어방법, 레이저 표적 투영장치를 포함하는 레이저 수술 유도 시스템
JP6450849B2 (ja) オプティカルトラッキングシステム及びオプティカルトラッキングシステムのトラッキング方法
KR20190096575A (ko) 의료 영상 시스템
CN108629845A (zh) 手术导航方法、装置、设备、系统和可读存储介质
Liu et al. On-demand calibration and evaluation for electromagnetically tracked laparoscope in augmented reality visualization
JP6806655B2 (ja) 放射線撮像装置、画像データ処理装置及び画像処理プログラム
KR101592444B1 (ko) 투명디스플레이를 이용한 의료용 영상증강 장치 및 구현 방법
KR101687934B1 (ko) 스프린트를 이용한 전자식 수술 내비게이션 시스템 및 방법
US20240016550A1 (en) Scanner for intraoperative application
Habert et al. [POSTER] Augmenting Mobile C-arm Fluoroscopes via Stereo-RGBD Sensors for Multimodal Visualization
US20230233258A1 (en) Augmented reality systems and methods for surgical planning and guidance using removable resection guide marker
CN117835914A (zh) 在x射线系统中提供引导数据的方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 5