KR101892631B1 - 2차원 영상 기반의 수술도구 3차원 위치 추적 장치 및 방법 - Google Patents

2차원 영상 기반의 수술도구 3차원 위치 추적 장치 및 방법 Download PDF

Info

Publication number
KR101892631B1
KR101892631B1 KR1020170028217A KR20170028217A KR101892631B1 KR 101892631 B1 KR101892631 B1 KR 101892631B1 KR 1020170028217 A KR1020170028217 A KR 1020170028217A KR 20170028217 A KR20170028217 A KR 20170028217A KR 101892631 B1 KR101892631 B1 KR 101892631B1
Authority
KR
South Korea
Prior art keywords
marker
surgical tool
frame
virtual
image
Prior art date
Application number
KR1020170028217A
Other languages
English (en)
Inventor
이득희
황상철
강성철
김영준
박세형
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020170028217A priority Critical patent/KR101892631B1/ko
Priority to US15/631,032 priority patent/US11317879B2/en
Application granted granted Critical
Publication of KR101892631B1 publication Critical patent/KR101892631B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/0009—Making of catheters or other medical or surgical tubes
    • A61M25/0012—Making of catheters or other medical or surgical tubes with embedded structures, e.g. coils, braids, meshes, strands or radiopaque coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/392—Radioactive markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5294—Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M2025/0008—Catheters; Hollow probes having visible markings on its surface, i.e. visible to the naked eye, for any purpose, e.g. insertion depth markers, rotational markers or identification of type
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M25/0108—Steering means as part of the catheter or advancing means; Markers for positioning using radio-opaque or ultrasound markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Pulmonology (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)

Abstract

실시예들은 촬영장치로, 3개 이상의 마커밴드로 구성된 물리적 마커 프레임을 포함하는 수술도구를 촬영하는 단계, 정보 처리장치로, 촬영된 영상 상기 각 마커밴드에 대한 상기 영상 내 중점을 검출하는 단계 및 정보 처리장치로, 상기 검출된 영상 내 중점과 실제 마커밴드 각각의 중점간 거리를 기초로 상기 수술도구의 3차원 위치를 추정하는 단계를 포함하는 것을 특징으로 하는 방사선 영상 기반의 수술도구 위치 추적 방법 및 이를 위한 추적 장치에 관련된다.

Description

2차원 영상 기반의 수술도구 3차원 위치 추적 장치 및 방법{APPRATUS AND METHOD FOR TRACKING LOCATION OF SURGICAL TOOLS IN THREE DIMENSION SPACE BASED ON TWO-DIMENSIONAL IMAGE}
본 발명은 수술도구의 위치를 추적하는 장치 및 방법에 관한 것으로서, 더욱 구체적으로는 2차원 영상에서 수술도구에 부착된 마커의 위치를 기초로 수술도구의 3차원 위치를 추적하는 장치 및 방법에 관련된다. 특히 본 발명은 경막외 내시경술시 카테터에 마커밴드를 부착하여 촬영한 단일(즉 복수가 아닌) X선 영상으로부터 카테터의 위치 및 형상 정보를 추정하는 것에 관련된다.
현재 허리질환은 노인뿐만 아니라 젊은 층에서도 빈 번하게 발생하는 질환이다. 허리질환 중 특히 소위 "디스크"로 알려진 추간판탈출증은 심한 경우 수술이 필요하게 된다.
이와 같은 수술 방법은 큰 절개로 인해 환자에게 부담이 될 수 있다. 따라서 최근에는 비침습적인 경막외 내시경술(epiduroscopy)의 비율이 증가하고 있다. 그러나 경막외 내시경술은 수술 전 의료 영상을 통한 해부학적 지식과 수술 중 촬영된 2차원 X-ray 이미지를 활용하여 카테터를 환부까지 삽입하기 때문에 카테터 삽입 시 주변 조직 (주요 혈관, 신경 근막 등)에 손상을 줄 수 있다.
또한, 카테터의 정확한 삽입을 위해 수술 중 여러 방향에서 X-ray 이미지를 촬영하게 되며, 이로 인해 환자와 의사 모두 장시간 동안 X-ray로 부터 발생하는 X 선 피폭이 불가피하게 된다.
이 문제를 해결하기 위해 최근 컴퓨터 비전 기술을 적용하여 외과 용 기기의 3 차원 위치를 추적하는 기술이 도입되고 있으며, 아래의 비특허문헌 1,2는 계측기의 동일 선상 마커를 이용하여 외과 용 기기의 3 차원 자세를 추정하는 알고리즘을 제안하였다. 그러나 제안된 방법은 강성 내시경에 적용된 사례이며 이와 같은 강성 내시경의 경우 선단부의 구동 각도가 제한됨으로써 다양한 수술에 적용하는데 제한적인 문제가 있다.
한국등록특허 제10-1449830호 한국등록특허 제10-1188715호
C. Doignon, "An Introduction to Model-Based Pose Estimation and 3D Tracking Techniques," Scene Reconstruction, Pose Estimation and Tracking, pp. 530, 2007. C. Doignon, F. Nageotte, B. Maurin and A. Krupa, "Pose estimation and feature tracking for robot assisted surgery with medical imaging," Unifying Perspectives in Computational and Robot Vision, Vol. 8, pp. 79-101, 2008.
위와 같은 문제를 해결하기 위해서, 본 발명의 실시예들은 내시경의 경우 선단부의 구동 각도 조절이 자유로운 수술도구를 수술부위에 침투시킨 상태에서 촬영된 영상으로부터 수술도구의 3차원 위치를 추정하는 방법 및 장치를 제안한다. 보다 구체적으로는 본 발명의 실시예들은 촬영된 영상에서 수술도구의 기준지점(예컨대 마커밴드의 중점)을 결정하는 방법 및 장치를 제안한다.
본 발명의 일 실시예에 따른 방사선 영상 기반의 수술도구 위치 추적 장치는 물리적 마커 프레임을 포함하는 수술도구를 촬영하는 촬영장치 및 촬영된 영상 내 상기 물리적 마커 프레임을 기초로 상기 수술도구의 3차원 위치를 추정하는 정보 처리장치를 포함하되, 상기 물리적 마커 프레임은 상기 수술도구의 일 부분을 감싸는 3개 이상의 마커밴드를 포함할 수 있다.
일 실시예에 있어서, 상기 정보 처리장치는, 상기 각 마커밴드에 대한 상기 영상 내 중점을 검출하고, 상기 검출된 영상 내 중점과 실제 마커밴드 각각의 중점간 거리를 기초로 상기 수술도구의 3차원 위치를 추정할 수 있다.
일 실시예에 있어서, 상기 수술도구는 둘 이상의 물리적 마커 프레임을 포함하고, 각 물리적 마커 프레임의 축은 서로 다른 것일 수 있다.
일 실시예에 있어서, 상기 마커밴드 사이의 간격은 상기 마커밴드의 폭 보다 1.5배 이상일 수 있다.
일 실시예에 있어서, 상기 촬영장치는 방사선 촬영장치이고, 상기 마커밴드는 전도체로 구성되고, 각 마커밴드 사이에는 비전도체가 구성될 수 있다.
일 실시예에 있어서, 상기 방사선 촬영장치는, X선 촬영장치일 수 있다.
일 실시예에 있어서, 수술도구는 휘어질 수 있는 카테터일 수 있다.
일 실시예에 있어서, 상기 수술도구를 더 포함할 수 있다.
일 실시예에 있어서, 상기 정보 처리장치는, 상기 추정된 수술도구의 3차원 위치를 기초로, 3차원 가상 공간상에 상기 수술도구에 대응되는 수술도구 모델을 생성하고, 생성된 수술 도구 모델을 디스플레이 상에 상기 영상과 함께 표시할 수 있다.
일 실시예에 있어서, 상기 정보 처리장치는, 촬영된 영상을 리샘플링하고, 리샘플링된 영상에서 상기 각 마커밴드에 대한 중점을 결정할 수 있다.
일 실시예에 있어서, 상기 정보 처리장치는, 3차원 가상공간 상에, 상기 물리적 마커 프레임에 대응되는 가상 마커 프레임을 생성하고, 생성된 가상 마커 프레임을 상기 촬영된 영상에 투영하고, 상기 영상에 투영된 가상 마커 프레임과 물리적 마커 프레임이 매칭되도록, 가상 마커 프레임의 3차원 공간 상의 위치를 조정하고, 투영된 가상 마커 프레임과 물리적 마커 프레임이 매칭될 때, 상기 영상 내 가상 마커 프레임의 마커 밴드의 중점을 상기 물리적 마커 프레임의 마커 밴드의 중점으로 결정할 수 있다.
일 실시예에 있어서, 상기 정보 처리장치는, 상기 3차원 가상공간 상에, 상기 촬영 장치와 상기 물리적 마커 프레임을 연결하는 선(line)을 따라서 상기 가상 마커 프레임의 위치를 조정할 수 있다.
본 발명의 일 실시예에 따른 방사선 영상 기반의 수술도구 위치 추적 방법은 촬영장치로, 3개 이상의 마커밴드로 구성된 물리적 마커 프레임을 포함하는 수술도구를 촬영하는 단계, 정보 처리장치로, 촬영된 영상 상기 각 마커밴드에 대한 상기 영상 내 중점을 검출하는 단계 및 정보 처리장치로, 상기 검출된 영상 내 중점과 실제 마커밴드 각각의 중점간 거리를 기초로 상기 수술도구의 3차원 위치를 추정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 방사선 영상 기반의 수술도구 위치 추적 방법은 촬영장치로, 3개 이상의 마커밴드로 구성된 물리적 마커 프레임을 포함하는 수술도구를 촬영하는 단계, 정보 처리장치로, 촬영된 영상 상기 각 마커밴드에 대한 상기 영상 내 중점을 검출하는 단계 및 정보 처리장치로, 촬영된 영상 내 각 마커밴드에 대한 중점을 검출하는 단계, 상기 검출된 영상 내 중점과 실제 마커벤드 각각의 중점간 거리를 기초로 상기 수술도구의 3차원 위치를 추정하는 단계 및 영상 내 상기 수술도구의 외곽선을 활용하여 3차원 위치를 보정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면 수술 중 촬영된 단일 X선 이미지를 사용하여 수술도구의 3차원 위치를 추적함으로써 종래에 비하여 X선 피폭량을 줄일 수 있다. 또한 삽입된 수술도구의 3차원 형상 정보를 통해 저침습성(less invasiveness), 정밀도(accuracy), 자유도(dexterity)를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 방사선 영상 기반의 수술도구 위치 추적 장치(1000)의 구성도이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 수술도구(200)이고, 도 3은 수술도구(200)에 포함되는 물리적 마커 프레임(210)의 예시를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 마커밴드 사이의 간격(b)을 설명하기 위한 도이다.
도 5는 본 발명의 일 실시예에 따라 마커밴드의 3차원 위치(즉, 수술도구의 3차원 위치)를 계산하기 위한 방법을 설명하기 위한 도이다.
도 6은 본 발명의 일 실시예에 따른 수술도구모델(200M)을 포함하는 영상이 표시되는 상태를 나타낸다.
도 7a 내지 도 7c는 잘못 추출된 영상 내 마커 밴드 중점을 기초로 추정된 마커 프레임의 3차원 위치와 실제 마커 프레임간의 오차가 발생한 경우를 설명하기 위한 실험예이다.
도 8a 내지 도 8c 및 도 9는 본 발명의 일 실시예에 따라서 마커밴드의 중점을 결정하기 위해 프로젝션 영상을 처리하는 과정을 나타낸다.
도 10은 3차원 공간 내 실제 마커밴드의 위치(pT)와 추정된 마커밴드의 위치pE1, pE2를 나타낸다.
도 11은 도 10의 마커밴드의 위치(pE2)에 존재하는 가상 마커 프레임과 실제 마커 밴드를 나타내고, 도 12는 도 11에 대한 프로젝션 영상을 나타낸다.
도 1은 위치가 조절되는 가상 마커 프레임과 실제 마커 밴드의 위치(pT)를 나타내고, 도 14는 프로젝션된 가상 마커 프레임과 프로젝션된 마커 밴드의 외곽선이 매칭된 상태를 나타낸다.
도 15는 일 실시예에서 매칭이 완료되어 최종적으로 이동된 가상 마커 프레임과 이 가상 마커 프레임에 포함되는 마커 밴드의 중점(pn1, pn2, pn3)과 실제 마커 밴드의 중점(pT1, pT2, pT3)을 나타낸다.
도 16 내지 도 18은 본 발명의 일 실시예에 따른 실험 조건(도 18 내지 도 19) 및 그 결과(도 20)를 나타낸다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 일 실시예에 따른 방사선 영상 기반의 수술도구 위치 추적 장치(1000)의 구성도이다. 도 1을 참조하면 수술대상부위(B)에 침투한 수술 도구(200)를 촬영장치(300)가 촬영하고, 촬영된 영상을 정보처리 장치(100)가 분석하여 수술도구(200)의 3차원 위치를 추정한다.
이를 위해서, 일 실시예에 따른 방사선 영상 기반의 수술도구 위치 추적 장치(1000)는 물리적 마커 프레임을 포함하는 수술도구를 촬영하는 촬영장치(300) 및 촬영된 영상 내 물리적 마커 프레임을 기초로 수술도구(200)의 3차원 위치를 추정하는 정보 처리장치(100)를 포함할 수 있다. 여기서 물리적 마커 프레임은 수술도구(200)의 일 부분을 감싸거나 수술도구의 내부에 삽입되는 3개 이상의 마커밴드를 포함할 수 있다.도 2a 및 도 2b는 본 발명의 일 실시예에 따른 수술도구(200)이고, 도 3은 수술도구(200)에 포함되는 물리적 마커 프레임(210)의 예시를 나타낸다. 일 실시예에 있어서 수술도구(200)는 휘어질 수 있는 연성 재료로 구성될 수 있다. 그러나 물리적 마커 프레임(210,220)이 감싸는 부분은 휘어지지 않도록 물리적 마커 프레임(210,220)에 의해 직선 형태로 고정될 수 있다. 즉 수술도구 자체는 연성 재료라 하더라도 물리적 마커 프레임은 강성 재료로서, 수술도구의 일 부분을 휘어지지 않게 감쌀 수 있다.
일 실시예에서 수술도구(200)는 막대 형태일 수 있고, 단면은 삼각형, 사각형, 오각형 등 N각형이거나 원형일 수 있다. 도 2에서는 원형의 단면을 갖는 원통형 수술도구가 예시적으로 도시되었다. 또한 수술도구(200)는 일 단부로 향할수록 둘레가 좁아지도록 구성될 수 있다. 이러한 경우 수술도구(200)의 침투가 더 용이할 수 있다. 또한 수술도구(200)는 카테터일 수 있다.
또한 수술도구(200)는 하나 이상의 물리적 마커 프레임(210,220)을 포함할 수 있으며, 적어도 2 이상의 물리적 마커 프레임(210,220)의 축은 서로 다른 곳을 향하도록 배치될 수 있다. 즉, 도 2a에 도시된 바와 같이, 한 물리적 마커 프레임(210)은 휘어진 수술도구(200)의 일 부분이 향하는 방향을 향하고, 다른 마커 프레임(220)은 휘어진 수술도구(200)의 다른 일 부분이 향하는 방향을 향하도록 구성될 수 있다.
또한 다른 일 실시예에서 물리적 마커 프레임은 도 2a에 도시된 바와 같이 수술도구200의 겉면을 둘러싸거나, 도 2b에 도시된 바와 같이 가이드 와이어 타입으로서 수술도구200에 삽입될 수 도 있다.
도 2a에서는 각 물리적 마커 프레임(210,220)이 서로 다른 방향을 향하도록 구성된 것이 도시되었으나, 다른 실시예에서는 같은 방향을 향하는 복수개의 물리적 마커 프레임(210,220)이 구성될 수도 있다. 예컨대 수술도구(200)의 길이가 길거나, 수술도구의 3차원 위치를 더 정확하게 요구하는 경우 추가적인 물리적 마커 프레임이 더해질 수 있다.
도 3은 물리적 마커 프레임(210)의 예시를 나타내나, 수술도구(200)에 포함되는 다른 물리적 마커 프레임들도 이와 같은 형태로 구성될 수 있다. 도 3을 참조하면 물리적 마커 프레임(210)은 수술도구(200)의 일 부분을 둘러싸는 3개 이상의 마커밴드(211)로 구성될 수 있다. 마커밴드(211)는 촬영된 영상에서 수술도구(200)의 위치를 추정하기 위한 식별자로 기능하게 된다. 한편 물리적 마커 프레임은 강성 재료로 구성되는바, 각 마커밴드의 중점은 일직선 상에 위치할 수 있다.
일 실시예에 있어서, 마커밴드(211) 사이의 간격(b)은 마커밴드의 폭(a) 보다 1.5배 이상일 수 있으나 이에 제한되는 것은 아니다. 또한 물리적 마커 프레임(210)의 길이(c)는 수 mm ~수십 mm 범위일 수 있다. 위 언급한 마커밴드의 폭(a), 밴드 사이의 간격(b) 및 물리적 마커 프레임의 길이(c)는 예시적인 것으로 필요에 따라 적절한 값이 적용될 수 있다.
또한 마커밴드(211)는 전도체로 구성될 수 있으며, 금, 구리와 같은 재료가 이용될 수 있다. 각 마커밴드(211) 사이(212)는 비전도체로 구성될 수 있으며, 알루미늄과 같은 재료가 이용될 수 있으나 이에 제한되지는 아니한다.
도 4는 본 발명의 일 실시예에 따른 마커밴드 사이의 간격(b)을 설명하기 위한 도이다. 도 3에서 간격(b)는 물리적 마커 프레임의 겉면 상에서 측정된 거리를 나타낸다. 그러나 다른 실시예에서 간격(b)은 각 마커밴드(211) 사이의 중점(C1-C3) 사이의 거리를 의미할 수 있다. 수술도구(200)의 둘레가 변화되는 형태인 경우, 마커밴드(211) 사이의 거리를 정의하기 위해서는 도 4에서와 같이 각 마커밴드의 중점을 이용할 수 있다. 즉 도 4를 참조하면 C1과 C2 사이의 거리 및 C2와 C3 사이의 거리가 밴드 사이의 간격(b)으로 정의될 수 있다.
본 발명의 일 실시예에 있어서, 촬영장치(300)는 방사선 촬영 장치이고, 바람직하게는 X선 촬영장치일 수 있다. 촬영장치(300)는 수술부위(B)에 침투한 수술도구(200)를 촬영하고, 촬영한 영상을 정보 처리장치(100)로 전달할 수 있다.
도 5는 본 발명의 일 실시예에 따라 마커밴드의 3차원 위치(즉, 수술도구의 3차원 위치)를 계산하기 위한 방법을 설명하기 위한 도이다. 도 5는 각 마커밴드의 실제 중점(C1-C3)이 x-ray 소스(즉 촬영장치)를 통해 투영 평면(50, 즉 디텍터)에 2차원 좌표로(x0-x2) 나타난다. 촬영된 영상(50)은 2차원 평면이기 때문에 이로부터 마커밴드의 3차원 위치를 추정하기 위해서는 추가적인 정보가 필요하다. 여기서 추가적인 정보는 실제 마커밴드의 중점간 거리 및/또는 촬영장치의 초점거리를 포함할 수 있다.
일 실시예에서, 정보 처리장치(100)는 촬영된 영상 내 물리적 마커 프레임을 기초로 수술도구(200)의 3차원 위치를 추정할 수 있다. 예컨대 정보 처리장치(100)는 물리적 마커 프레임 내 마커밴드(211) 에 대한 상기 영상 내 중점(x0-x2)를 검출하고, 검출된 영상 내 중점(x0-x2)과 실제 마커밴드 각각의 중점(C1-C3)간 거리 및 촬영장치(300)의 초점거리 f(촬영장치 소스(예컨대 X선 소스)에서 디텍터까지 거리)를 기초로 상기 수술도구의 3차원 위치를 추정할 수 있다. 이를 위한 전제로 마크 프레임 내 마커밴드는 동일 선상에 있으며, 마커밴드 사이의 거리를 미리 알고 있을 필요가 있다.
도 5를 참조하면 정보 처리장치(100)는 마커밴드가 포함된 수술도구를 투영 평면(50)상에서 각 마커의 중점(x0-x2)를 검출한 후 마커밴드의 3차원 위치를 계산할 수 있다.
구체적으로 도 5를 참조하면 정보 처리장치(100)는 물리적 마커 프레임 내 마커밴드 중 기준이 되는 마커밴드 C1의 좌표(p1,p2,p3)와 각 마커간 거리값 δ1, δ2와 방향 벡터b를 이용해 나머지 마커밴드들 Cn을 아래 수학식 1과 같이 표현할 수 있다. 도 5를 참조하면 여기서 n은 1과 2이다.
[수학식 1]
Cn = C1 + δnb
일 실시예에서 정보 처리장치(100)는 실제 3 개의 마커밴드는 직선상에 있으므로, 미리 측정한 마커밴드 간의 거리(δ1, δ2)(여기서 각 거리는 실제 마커밴드의 중점 간의 거리일 수 있다)와 초점거리를 이용하여 투영 평면(50)에 표시된 각 마커들의 2차원 이미지 좌표(un,vn)로 수식 2와 같이 정의할 수 있다.
[수학식 2]
Figure 112017022130628-pat00001
여기서 f는 촬영 장치의 초점거리이다. (예컨대 X선 촬영 장치인 경우 X 선 소스에서 디텍터까지의 거리)이다.
수학식 2는 3차원 위치벡터 (p1,p2,p3)와 방향 벡터(b1,b2,b3)를 이용하여 아래 수학식 3과 같이 표현할 수 있다.
[수학식 3]
Figure 112017022130628-pat00002
수학식 3은 최적화 조건을 찾기 위해서 아래의 수학식 4와 같이 표현할 수 있다. 또한 정보 처리장치(100)는 수학식 4를 풀기 위해서 특이값 분해(singular value decomposition)를 수행할 수 있다. 그 결과 정보 처리장치(100)는 수학식 5와 같이 대칭행렬 E를 구할 수 있다. 여기서 얻어진 E의 최소 고유치에 해당하는 고유 벡터는 상대 방향 벡터b를 의미할 수 있다.
그 후 정보 처리장치(100)는 최적화된 고유벡터 값b와 수학식 6을 통해 3차원 위치 벡터인 p를 산출할 수 있다.
[수학식 4]
Figure 112017022130628-pat00003
[수학식 5]
Figure 112017022130628-pat00004
[수학식 6]
Figure 112017022130628-pat00005
위와 같은 과정을 통해 정보 처리장치(100)는 2차원 프로젝션 영상(50)으로부터 마커밴드의 3차원 위치를 추정하고, 이를 통해 수술도구의 3차원 위치를 추정할 수 있다. 위에서 언급한 구체적인 방식 외에도 정보 처리장치(100)는 2차원 영상 내 복수의 포인트와 실제 포인트들 사이의 거리값을 이용하여 실제 포인트들의 3차원 위치값을 추정하는 방식은 종래의 다양한 방식이 이용될 수 있다.
도 6은 본 발명의 일 실시예에 따른 수술도구모델(200M)을 포함하는 영상이 표시되는 상태를 나타낸다. 도 5를 참조하면 본 발명의 일 실시예에 있어서, 정보 처리장치(100)는, 추정된 수술도구의 3차원 위치를 기초로, 수술도구 모델(200M)을 생성하고, 생성된 수술 도구 모델(200M)을 디스플레이(400) 상에 영상(B)과 함께 표시할 수 있다. 도 6에 도시된 디스플레이상의 영상을 통해서 사용자는 현재 수술도구의 위치를 판단할 수 있다.
실시예 - 보다 정확한 마커 밴드의 중점을 찾는 방법
한편 상술한 마커밴드의 3차원 위치 추정 방법은 촬영된 "프로젝션 영상 내 마커밴드의 중점"의 위치(즉 도 5를 참조하면 x0-x2의 위치)가 정확하게 계산되어야 추정된 3차원 위치가 정확할 수 있다. 만약 2차원 프로젝션 영상에서 마커밴드들의 정확한 중점이 추출되지 않는다면 잘못된 방향벡터 b가 계산되며, 이로 인해 마커밴드의 깊이 값(즉 z축)에 큰 오차가 발생할 수 있다. 예컨대 미세한 수술도구에 적용되는 미세 범위의 마커밴드와 같이 초점거리에 비해 마커 밴드간 사이의 거리가 매우 작을 경우 더 큰 오차가 발생할 수 있다.
본 발명에 있어서 마커밴드의 중점은 마커밴드를 촬영한 2차원 프로젝션 영상(50)에서, 마커밴드의 중점을 결정하고, 결정된 중점들의 좌표 또는 간격을 기초로 마커밴드의 3차원 위치를 결정할 수 있다. 그런데 마커밴드는 부피를 가지고 있기 때문에 프로젝션 영상에 투영되면 도 8a에 도시된 바와 같이 소정의 면적을 가진 상태로 나타난다. 또한 3차원 공간 내 물리적 마커 프레임의 기울어진 각도에 따라서 프로젝션 영상 내 투영된 마커밴드의 면적의 크기와 형태가 변화된다. 따라서 이러한 프로젝션 영상 내 각 마커밴드의 중점을 결정하는 것이 매우 중요하다.
도 7a 내지 도 7c는 잘못 추출된 영상 내 마커 밴드 중점을 기초로 추정된 마커 프레임의 3차원 위치와 실제 마커 프레임간의 오차가 발생한 경우를 설명하기 위한 실험예이다.
구체적으로 도 7a 내지 도 7c는 중점의 3차원 좌표를 알고 있는 마커 밴드를 3차원 공간에 생성하고, 생성한 마커밴드를 2차원 평면상에 투영하여 프로젝션 영상을 획득한다. 획득한 프로젝션 영상에는 소정의 면적을 갖는 마커밴드가 투영되어 나타나며, 마커밴드 중점이 투영된 위치도 알 수 있다. 도 7c에서 "the true position(실제 위치)"은 프로젝션 영상 내 투영된 마커 밴드의 중점의 위치를 나타낸다. 마커밴드는 3개로 이루어져 있어 3개의 2차원 좌표(x,y)값이 나타난다.
한편 도 7c에서 "Estimated position(추정 위치)"은 프로젝션 영상 내 소정의 면적을 갖는 마커밴드로부터 마커밴드의 중점을 계산한 결과를 나타낸다. 이와 같은 실험결과 프로젝션 영상 내 추정 위치와 실제 위치의 평균 오차는 대략 1픽셀 정도로 나타난다. 이러한 오차는 3차원 공간 상에서 도 7b에서 나타나는 바와 같이 200mm 정도의 깊이 방향(z축) 오차를 야기시킨다는 것이 도 7a 또는 7b에서와 같이 확인되었다.
구체적으로 도 7a 및 도7b에 있어서 pE1는 3차원 공간상에 생성한 가상의 마커밴드가 투영된 영상을 기반으로 종래 방식에 따라(면적 내 중점을 찾는 임의의 알고리즘을 이용) 마커밴드의 중점을 결정하고, 수학식 1 내지 6을 참조로 설명한 상기 방법에 따라서 3차원 위치를 결정한 결과(추정 위치)이고, pT는 이미 알고 있는 가상의 마커밴드의 중점이 투영된 2차원 평면상의 위치를 기초로 마커밴드의 3차원 위치를 결정한 결과(실제 위치)이다. 즉, pE1는 프로젝션 영상 내 '소정 면적을 갖는 마커밴드'에서 중점을 결정하고, 결정된 중점의 위치를 기초로 마커밴드의 3차원 위치를 결정한 것이고, pT는 '이미 알고 있는 3차원 공간 내 마커밴드의 중점'을 2차원 평면상에 투영하여 투영된 중점을 결정하고(즉 점이 투영되기 때문에 면적 내 중점을 계산할 필요가 없음) 결정된 중점의 위치를 기초로 마커밴드의 3차원 위치를 결정한 것이다.
따라서 이러한 오차를 줄이기 위해서, 2차원 프로젝션 영상 내 정확한 마커밴드의 중점을 찾는 것이 필요하다.
일 실시예에 있어서, 정보 처리장치(100)는, 촬영된 영상을 리샘플링하고, 리샘플링된 영상에서 상기 각 마커밴드에 대한 중점을 결정할 수 있다. 본 발명의 일 실시예에 따르면 정보 처리장치(100)는 촬영장치(300)로 촬영된 프로젝션 영상에서 마커밴드의 중점을 보다 정확히 결정하기 위해서 프로젝션 영상을 다음과 같이 처리할 수 있다.
도 8a 내지 도 8c 및 도 9는 본 발명의 일 실시예에 따라서 마커밴드의 중점을 결정하기 위해 프로젝션 영상을 처리하는 과정을 나타낸다.
도 8a 내지 도 8c를 참조하면 정보 처리장치(100) 는 촬영장치(300)로 획득한 원 프로젝션 영상(도 8a)을 밝기 히스토그램을 기초로 문턱치(specific threshold)를 계산하여 프로젝션 영상에서 객체(프로젝션된 마커밴드, projected marker band(pmb))와 배경을 분리하고 그 후 도8c에서처럼 바이너리 이미지로 표시할 수도 있다. 도8b는 프로젝션 영상에 대하여 단일 문턱치를 계산한 값을 나타낸 것으로서, 도 8b에서 x축은 밝기값이고, y축은 픽셀수이다. 상술한 바와 같이 소정 면적을 갖는 프로젝션된 마커밴드의 각 영역에 대한 중점은 종래의 다양한 기술이 이용될 수 있다.
일 실시예에 있어서, 도 9에 도시된 바와 같이, 정보 처리장치(100)는 마커밴드를 포함하는 2차원 영상 내 특정 부분(또는 전체)이 확대되도록 리샘플링하고, 영상 처리를 통해 화질의 변화를 최소화할 수 있다. 그 후 정보 처리장치(100)는 리샘플링된 영상에서 마커 밴드의 중점(x10, x11, x13)을 결정할 수 있다. 예컨대 도8a 내지 도 8c를 참조하여 설명된 방식으로 1차적으로 프로젝션 영상 내 마커밴드의 중점을 결정하고, 2차적으로 리샘플링을 통해 프로젝션 영상 내 마커밴드의 중점을 보정할 수 있다.
도 10은 3차원 공간 내 실제 마커밴드의 위치(pT)와 추정된 마커밴드의 위치pE1, pE2를 나타낸다. 구체적으로 도 10은 2차원 프로젝션 영상에 투영된 마커밴드의 실제 중점을 기초로 결정된 마커밴드(pT)와, 종래 방식에 따라 2차원 프로젝션 영상에 투영된 마커밴드의 면적으로부터 계산된 중점을 기초로 결정된 마커밴드(pE1), 도8a 내지 도8c 및 도9를 참조하여 설명된 방법에 따라 2차원 프로젝션 영상에 투영된 마커밴드의 면적으로부터 계산된 중점을 기초로 결정된 마커밴드(pE2)를 3차원 가상공간상에 함께 나타낸 것이다. 도 10을 참조하면 pE1 보다 pE2가 더 실제 마커밴드의 위치pT에 근접함을 알 수 있다.
도 10을 참조하면 본 발명에서 제안하는 방식에 따라서 프로젝션 영상 내 마커밴드의 중점을 보정하여 마커 밴드의 실제 위치pT와 추정 위치pE2의 간격은 pE1의 경우보다 적어 졌으나 여전히 오차가 존재한다. 보다 정확한 마커밴드의 중점을 결정하기 위해서 다음과 같은 방식이 추가적으로 또는 대안적으로 이용될 수 있다.
일 실시예에서 정보 처리장치(100)는, 3차원 가상공간 상에, 상기 물리적 마커 프레임에 대응되는 가상 마커 프레임을 생성하고, 생성된 가상 마커 프레임을 상기 촬영된 프로젝션 영상에 투영하고, 상기 프로젝션 영상에 투영된 가상 마커 프레임과 물리적 마커 프레임이 매칭되도록, 가상 마커 프레임의 3차원 공간 상의 위치를 조정하고, 투영된 가상 마커 프레임과 투영된 물리적 마커 프레임이 프레임 영상 내에서 매칭될 때, 상기 영상 내 가상 마커 프레임의 마커 밴드의 중점을 상기 물리적 마커 프레임의 마커 밴드의 중점으로 결정할 수 있다.
또한 일 실시예에서 정보 처리장치(100)는 상기 3차원 가상공간 상에, 촬영 장치와 물리적 마커 프레임을 연결하는 선(도 5 또는 도 7a 에서 l1~l3)을 따라서 상기 가상 마커 프레임의 위치를 조정할 수 있다.
일 실시예에 있어서, 정보 처리장치(100)는 가상 마커 프레임(virtual marker frame; vmp)을 생성하고, 생성된 가상 마커 프레임과 실제 마커 밴드가 투영된 영상을 기초로 프로젝션 영상 내 마커 밴드의 중점을 결정(또는 보정)할 수 있다.
도 11은 도 10의 마커밴드의 위치(pE2)에 존재하는 가상 마커 프레임(vmp)과 실제 마커 밴드를 나타낸다. 일 실시예에서 가상 마커 프레임은 1) 3차원 가상공간 상에 xy축에 평행한 자세를 갖고, 2) 실제 물리적 마커 프레임과 동일한 크기이며, 3) 가상 마커 프레임 내 마커 밴드의 중점과 실제 마커밴드 중 적어도 하나의 마커밴드의 중점(도 11에서는 p11) 대응되도록 설정될 수 있다.
도 12는 도 11에 대한 프로젝션 영상을 나타낸다. 도 12를 참조하면 프로젝션된 물리적 마커 프레임은 프로젝션된 마커 밴드의 외곽선에 매칭되지 않고 그 안에 포함된다.
일 실시예에서 정보 처리장치(100)는 프로젝션 영상 내 투영된 가상 마커 프레임(vpm)과 투영된 마커밴드가 매칭되도록 가상 마커 프레임의 3차원 공간상의 위치를 조정할 수 있다. 프로젝션 영상 내 투영된 가상 마커 프레임(vpm)과 투영된 마커밴드가 매칭되는 경우 3차원 공간 상에서 가상 마커 프레임과 실제 마커 밴드의 위치도 대응될 것이다.
따라서 정보 처리장치(100)는 프로젝션 영상 내 투영된 가상 마커 프레임(vpm)과 투영된 마커밴드가 매칭될 때 가상 마커 프레임의 위치를 실제 마커 밴드의 위치로 결정할 수 있다.
이러한 계산을 효율적으로 하기 위해서 정보 처리장치(100)는 프로젝션된 마커 밴드의 외곽선(ct)과 프로젝션된 가상 마커 프레임을 비교하여 매칭 여부를 판별할 수도 있다.
정보 처리장치(100)는 프로젝션 영상 내 투영된 가상 마커 프레임(vpm)과 투영된 마커밴드를 아래의 방법으로 매칭시킬 수 있다.
도 13은 위치가 조절되는 가상 마커 프레임과 실제 마커 밴드의 위치(pT)를 나타내고, 도 14는 프로젝션된 가상 마커 프레임과 프로젝션된 마커 밴드의 외곽선이 매칭된 상태를 나타낸다.
도 13을 참조하면 정보 처리장치(100)는 가상 마커 프레임을 이동시켜 프로젝션된 가상 마크 프레임과 프로젝션된 마커 밴드의 외곽선을 비교할 수 있다. 예컨대 프로젝션된 가상 마크 프레임이 프로젝션된 마커 밴드의 외곽선 내부에 존재하는 경우 프로젝션된 가상 마크 프레임을 +z축으로 이동시키거나, 그 반대로 이동시킬 수도 있다. 여기서 이동되는 단위는 적절하게 조절될 수 있다.
정보 처리장치(100)는 각 마커밴드의 중점과 촬영 장치(300) 사이를 나타내는 선(l1~l3) 중 적어도 하나를 따라서 가상 마커 프레임을 이동시킬 수 있다. 도 13에 도시된 바와 같이 정보 처리장치(100)는 가상 마커 프레임을 +z 축으로 조금씩 이동시키면서 프로젝션 영상에서 매칭 여부를 판별할 수 있다.
도 15는 일 실시예에서 매칭이 완료되어 최종적으로 이동된 가상 마커 프레임과 이 가상 마커 프레임에 포함되는 마커 밴드의 중점(pn1, pn2, pn3)과 실제 마커 밴드의 중점(p1, p1, p3)을 나타낸다. 도 15를 참조하면 가상 마커 프레임의 마커 밴드의 중점과 실제 마커 밴드의 중점은 매우 근접하게 위치하였음을 알 수 있다. 아래에서는 이러한 방식의 매칭을 통한 실험 결과를 설명한다.
한편 본 명세서에서는 설명의 편의를 위해서 가상 마커 프레임을 생성하고 프로젝션 영상에 투영하여 프로젝션 영상 내 마커밴드와 매칭시키는 점을 설명하였으나, 다른 실시예에서는 가상 마커 밴드를 생성하고 프로젝션 영상에 투영하여 프로젝션 영상 내 마커밴드와 매칭시키도록 가상 마커 밴드의 위치를 조절할 수도 있다.
도 16 내지 도 18은 본 발명의 일 실시예에 따른 실험 조건 및 결과를 나타낸다. 본 발명의 실시예 결과를 검증하기 위해 가상의 3차원 환경에서 총 7가지의 곡률반경이 다른 마커 밴드를 생성(도 16 참조)하고 이를 기반으로 가상의 프로젝션 이미지를 생성하였다. 이와 같이 생성된 이미지를 사용하여 본 발명에서 제안하는 방법을 통해 3차원 위치를 추출한 결과 평균 거리오차는 0.694mm이며, 최소 거리오차는 0.095mm, 최대 거리오차는 2.034mm이다. 이 결과는 검증을 위해 생성한 마커밴드의 두께 값인 4mm보다 작은 값으로써 추정된 마커밴드의 3차원 위치는 마커밴드 내에 포함된 결과이다.
본 발명의 일 실시예에 따른 영상 기반의 수술도구 위치 추적 방법은 상술한 영상 기반의 수술도구 위치 추적 장치(1000)의 구성요소들에 의해 구현될 수 있다. 일 예에서 영상 기반의 수술도구 위치 추적 방법은 촬영장치로, 3개 이상의 마커밴드로 구성된 물리적 마커 프레임을 포함하는 수술도구를 촬영하는 단계, 정보 처리장치로, 촬영된 영상 상기 각 마커밴드에 대한 상기 영상 내 중점을 검출하는 단계 및 정보 처리장치로, 상기 검출된 영상 내 중점과 실제 마커밴드 각각의 중점간 거리를 기초로 상기 수술도구의 3차원 위치를 추정하는 단계를 포함할 수 있다.
이와 같은 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
또한, 본 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.

Claims (14)

  1. 물리적 마커 프레임을 포함하는 수술도구를 촬영하는 촬영장치; 및
    촬영된 영상 내 상기 물리적 마커 프레임을 기초로 상기 수술도구의 3차원 위치를 추정하는 정보 처리장치로서, 상기 영상 내 각 마커밴드에 대한 중점을 검출하고, 상기 검출된 영상 내 중점과 실제 마커밴드 각각의 중점간 거리를 기초로 상기 수술도구의 3차원 위치를 추정하는 정보 처리장치를 포함하되,
    상기 물리적 마커 프레임은 상기 수술도구의 일 부분을 감싸는 3개 이상의 마커밴드를 포함하고,
    상기 정보 처리장치는 촬영된 영상을 리샘플링하고, 리샘플링된 영상에서 상기 각 마커밴드에 대한 중점을 결정하는, 방사선 영상 기반의 수술도구 위치 추적 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 수술도구는 2 이상의 물리적 마커 프레임을 포함하고,
    상기 2 이상의 물리적 마커 프레임의 축은 서로 다른 것을 특징으로 하는 방사선 영상 기반의 수술도구 위치 추적 장치.
  4. 제1항에 있어서,
    각 마커밴드 사이의 간격은 상기 마커밴드의 폭 보다 1.5배 이상인 것을 특징으로 하는 방사선 영상 기반의 수술도구 위치 추적 장치.
  5. 제1항에 있어서,
    상기 촬영장치는 방사선 촬영장치이고,
    상기 마커밴드는 전도체로 구성되고, 각 마커밴드 사이에는 비전도체가 구성된 것을 특징으로 하는 방사선 영상 기반의 수술도구 위치 추적 장치.
  6. 제5항에 있어서,
    상기 방사선 촬영장치는, X선 촬영장치인 것을 특징으로 하는 방사선 영상 기반의 수술도구 위치 추적 장치.
  7. 제5항에 있어서
    상기 수술도구는 휘어질 수 있는 카테터인 것을 특징으로 하는 방사선 영상 기반의 수술도구 위치 추적 장치.
  8. 제1항에 있어서,
    상기 정보 처리장치는,
    상기 추정된 수술도구의 3차원 위치를 기초로, 3차원 가상공간 상에 상기 수술도구에 대응되는 수술 도구 모델을 생성하고,
    생성된 수술 도구 모델을 디스플레이상에 상기 영상과 함께 표시하는 것을 특징으로 하는 방사선 영상 기반의 수술도구 위치 추적 장치.
  9. 삭제
  10. 물리적 마커 프레임을 포함하는 수술도구를 촬영하는 촬영장치; 및
    촬영된 영상 내 상기 물리적 마커 프레임을 기초로 상기 수술도구의 3차원 위치를 추정하는 정보 처리장치로서, 상기 영상 내 각 마커밴드에 대한 중점을 검출하고, 상기 검출된 영상 내 중점과 실제 마커밴드 각각의 중점간 거리를 기초로 상기 수술도구의 3차원 위치를 추정하는 정보 처리장치를 포함하되,
    상기 물리적 마커 프레임은 상기 수술도구의 일 부분을 감싸는 3개 이상의 마커밴드를 포함하고,
    상기 정보 처리장치는,
    3차원 가상공간 상에, 상기 물리적 마커 프레임에 대응되는 가상 마커 프레임을 생성하고,
    생성된 가상 마커 프레임을 상기 촬영된 영상에 투영하고,
    상기 영상에 투영된 가상 마커 프레임과 물리적 마커 프레임이 매칭되도록, 가상 마커 프레임의 3차원 공간 상의 위치를 조정하고,
    투영된 가상 마커 프레임과 물리적 마커 프레임이 매칭될 때, 상기 영상 내 가상 마커 프레임의 마커 밴드의 중점을 상기 물리적 마커 프레임의 마커 밴드의 중점으로 결정하는 것을 특징으로 하는 방사선 영상 기반의 수술도구 위치 추적 장치.
  11. 제10항에 있어서,
    상기 정보 처리장치는,
    상기 3차원 가상공간 상에, 상기 촬영 장치와 상기 물리적 마커 프레임을 연결하는 선(lane)을 따라서 상기 가상 마커 프레임의 위치를 조정하는 것을 특징으로 하는 방사선 영상 기반의 수술도구 위치 추적 장치.
  12. 촬영장치로, 3개 이상의 마커밴드로 구성된 물리적 마커 프레임을 포함하는 수술도구를 촬영하는 단계;
    정보 처리장치로, 촬영된 영상 내 상기 각 마커밴드에 대한 중점을 검출하는 단계; 및
    정보 처리장치로, 상기 검출된 중점과 실제 마커밴드 각각의 중점간 거리를 기초로 상기 수술도구의 3차원 위치를 추정하는 단계를 포함하되,
    상기 각 마커밴드에 대한 중점을 검출하는 단계는,
    상기 촬영된 영상을 리샘플링하는 단계; 및
    상기 리샘플링된 영상에서 상기 각 마커밴드에 대한 중점을 결정하는 단계를 포함하는 것을 특징으로 하는 방사선 영상 기반의 수술도구 위치 추적 방법.
  13. 촬영장치로, 3개 이상의 마커밴드로 구성된 물리적 마커 프레임을 포함하는 수술도구를 촬영하는 단계;
    정보 처리장치로, 촬영된 영상 내 상기 각 마커밴드에 대한 중점을 검출하는 단계; 및
    정보 처리장치로, 상기 검출된 중점과 실제 마커밴드 각각의 중점간 거리를 기초로 상기 수술도구의 3차원 위치를 추정하는 단계를 포함하되,
    상기 각 마커밴드에 대한 중점을 검출하는 단계는,
    정보 처리장치로, 3차원 가상공간 상에, 상기 물리적 마커 프레임에 대응되는 가상 마커 프레임을 생성하는 단계;
    생성된 가상 마커 프레임을 상기 촬영된 영상에 투영하는 단계;
    상기 영상에 투영된 가상 마커 프레임과 물리적 마커 프레임이 매칭되도록, 가상 마커 프레임의 3차원 공간 상의 위치를 조정하는 단계; 및
    투영된 가상 마커 프레임과 물리적 마커 프레임이 매칭될 때, 상기 영상 내 가상 마커 프레임의 마커 밴드의 중점을 상기 물리적 마커 프레임의 마커 밴드의 중점으로 결정하는 단계를 포함하는 것을 특징으로 하는 방사선 영상 기반의 수술도구 위치 추적 방법.
  14. 제13항에 있어서, 상기 가상 마커 프레임의 위치를 조정하는 단계는,
    상기 3차원 가상공간 상에, 상기 촬영 장치와 상기 물리적 마커 프레임을 연결하는 선(lane)을 따라서 상기 가상 마커 프레임의 위치를 조정하는 것을 특징으로 하는 방사선 영상 기반의 수술도구 위치 추적 방법.
KR1020170028217A 2017-03-06 2017-03-06 2차원 영상 기반의 수술도구 3차원 위치 추적 장치 및 방법 KR101892631B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170028217A KR101892631B1 (ko) 2017-03-06 2017-03-06 2차원 영상 기반의 수술도구 3차원 위치 추적 장치 및 방법
US15/631,032 US11317879B2 (en) 2017-03-06 2017-06-23 Apparatus and method for tracking location of surgical tools in three dimension space based on two-dimensional image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170028217A KR101892631B1 (ko) 2017-03-06 2017-03-06 2차원 영상 기반의 수술도구 3차원 위치 추적 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101892631B1 true KR101892631B1 (ko) 2018-08-28

Family

ID=63357089

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170028217A KR101892631B1 (ko) 2017-03-06 2017-03-06 2차원 영상 기반의 수술도구 3차원 위치 추적 장치 및 방법

Country Status (2)

Country Link
US (1) US11317879B2 (ko)
KR (1) KR101892631B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102161402B1 (ko) * 2020-04-02 2020-09-29 (주)메가메디칼 풍선 카테터와 연동하는 무선 방식의 네비게이션
KR102161401B1 (ko) * 2020-04-02 2020-09-29 (주)메가메디칼 카테터 위치 변화에 대응하여 결정된 정보를 표시하는 네비게이션
KR102307919B1 (ko) 2020-04-22 2021-10-05 한국과학기술연구원 단방향 x선 영상을 이용한 굽힘 가능한 중재의료 기구의 포즈 추정 방법
US11642180B2 (en) 2021-05-25 2023-05-09 The Asan Foundation Device and method for detecting guidewire
KR20230151642A (ko) 2022-04-26 2023-11-02 주식회사 디지트랙 수술도구의 3차원 위치 분석 시스템 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190350671A1 (en) * 2018-05-21 2019-11-21 University Of Maryland, College Park Augmented reality catheter tracking and visualization methods and systems
CN110488832B (zh) * 2019-08-27 2021-08-17 国以贤智能科技(上海)股份有限公司 一种视觉找孔方法、装置、设备及存储介质
CN110811836B (zh) * 2019-11-29 2023-06-16 周军 一种虚实结合的三维建模立体定位导航方法和系统
RU2767174C1 (ru) * 2021-04-09 2022-03-16 Федеральное государственное бюджетное образовательное учреждение высшего образования "Поволжский государственный технологический университет" Способ трекинга гибкого хирургического инструмента на основе инерциальных МЭМС датчиков

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204832A (ja) * 2001-01-10 2002-07-23 Kawasumi Lab Inc コイル状マーカー並びにカテーテル及びバルーンカテーテル
JP2009000389A (ja) * 2007-06-22 2009-01-08 Kaneka Corp 柔軟性スリットマーカー及びそれを備えたカテーテル
KR20120035021A (ko) * 2010-10-04 2012-04-13 한국과학기술연구원 수술 도구의 3차원 추적 시스템 및 이를 이용한 위치 감지 방법
KR101449830B1 (ko) 2013-01-28 2014-10-14 동국대학교 산학협력단 진단 위치 추적 장치, 진단 위치 추적 방법 및 진단기기
KR101826578B1 (ko) * 2012-11-15 2018-02-08 큐렉소 주식회사 마커를 이용한 수술 핀 삽입 홀 위치 검출시스템

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10210646A1 (de) * 2002-03-11 2003-10-09 Siemens Ag Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
KR100640761B1 (ko) 2005-10-31 2006-11-01 전자부품연구원 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법
US7756244B2 (en) 2006-06-22 2010-07-13 Varian Medical Systems, Inc. Systems and methods for determining object position
US8428690B2 (en) 2007-05-16 2013-04-23 General Electric Company Intracardiac echocardiography image reconstruction in combination with position tracking system
US8275201B2 (en) * 2008-03-06 2012-09-25 Tyco Healthcare Group Lp Image enhancement and application functionality for medical and other uses
US20090312629A1 (en) * 2008-06-13 2009-12-17 Inneroptic Technology Inc. Correction of relative tracking errors based on a fiducial
US8634896B2 (en) * 2010-09-20 2014-01-21 Apn Health, Llc 3D model creation of anatomic structures using single-plane fluoroscopy
US9265468B2 (en) * 2011-05-11 2016-02-23 Broncus Medical, Inc. Fluoroscopy-based surgical device tracking method
CN105326498A (zh) * 2011-09-08 2016-02-17 Apn健康有限责任公司 R波检测方法
WO2013106926A1 (en) * 2012-01-17 2013-07-25 Sunnybrook Health Sciences Centre Method for three-dimensional localization of an object from a two-dimensional medical image
JP6004464B2 (ja) * 2012-03-19 2016-10-05 国立大学法人北海道大学 放射線治療制御装置および放射線治療制御プログラム
EP2869751A4 (en) * 2012-07-04 2016-04-13 Cibiem Inc DEVICES AND SYSTEMS FOR HEADACHE BODY ABATEMENT
EP2887989B1 (en) * 2012-08-23 2021-02-24 Philips Image Guided Therapy Corporation Device for anatomical lesion length estimation
KR101652888B1 (ko) 2014-08-20 2016-09-01 재단법인 아산사회복지재단 수술 내비게이션에 의해 수술도구를 표시하는 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204832A (ja) * 2001-01-10 2002-07-23 Kawasumi Lab Inc コイル状マーカー並びにカテーテル及びバルーンカテーテル
JP2009000389A (ja) * 2007-06-22 2009-01-08 Kaneka Corp 柔軟性スリットマーカー及びそれを備えたカテーテル
KR20120035021A (ko) * 2010-10-04 2012-04-13 한국과학기술연구원 수술 도구의 3차원 추적 시스템 및 이를 이용한 위치 감지 방법
KR101188715B1 (ko) 2010-10-04 2012-10-09 한국과학기술연구원 수술 도구의 3차원 추적 시스템 및 이를 이용한 위치 감지 방법
KR101826578B1 (ko) * 2012-11-15 2018-02-08 큐렉소 주식회사 마커를 이용한 수술 핀 삽입 홀 위치 검출시스템
KR101449830B1 (ko) 2013-01-28 2014-10-14 동국대학교 산학협력단 진단 위치 추적 장치, 진단 위치 추적 방법 및 진단기기

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C. Doignon, "An Introduction to Model-Based Pose Estimation and 3D Tracking Techniques," Scene Reconstruction, Pose Estimation and Tracking, pp. 530, 2007.
C. Doignon, F. Nageotte, B. Maurin and A. Krupa, "Pose estimation and feature tracking for robot assisted surgery with medical imaging," Unifying Perspectives in Computational and Robot Vision, Vol. 8, pp. 79-101, 2008.

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102161402B1 (ko) * 2020-04-02 2020-09-29 (주)메가메디칼 풍선 카테터와 연동하는 무선 방식의 네비게이션
KR102161401B1 (ko) * 2020-04-02 2020-09-29 (주)메가메디칼 카테터 위치 변화에 대응하여 결정된 정보를 표시하는 네비게이션
KR102307919B1 (ko) 2020-04-22 2021-10-05 한국과학기술연구원 단방향 x선 영상을 이용한 굽힘 가능한 중재의료 기구의 포즈 추정 방법
US11600014B2 (en) 2020-04-22 2023-03-07 Korea Institute Of Science And Technology Pose estimation method of bendable interventional medical device using single-view x-ray image
US11642180B2 (en) 2021-05-25 2023-05-09 The Asan Foundation Device and method for detecting guidewire
KR20230151642A (ko) 2022-04-26 2023-11-02 주식회사 디지트랙 수술도구의 3차원 위치 분석 시스템 및 방법

Also Published As

Publication number Publication date
US20180249973A1 (en) 2018-09-06
US11317879B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
KR101892631B1 (ko) 2차원 영상 기반의 수술도구 3차원 위치 추적 장치 및 방법
EP3426134B1 (en) Methods and systems for using multi view pose estimation
JP6334052B2 (ja) 術中追跡方法
JP7505081B2 (ja) 狭い通路における侵襲的手順の内視鏡画像
JP7171220B2 (ja) 骨組織への近接に基づく解剖学的画像の位置追跡座標系との位置合わせ
JP7350470B2 (ja) 解剖学的画像における内視鏡の位置及び光軸の表示
US10154820B2 (en) Method and apparatus for navigating CT scan with a marker
JP2012525190A (ja) 単眼の内視鏡画像からのリアルタイム深度推定
CN109925054B (zh) 确定靶点路径的辅助方法、装置和系统、可读存储介质
US20230030343A1 (en) Methods and systems for using multi view pose estimation
CN112233155A (zh) 一种2d-3d影像配准算法
KR20010109777A (ko) 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치, 및 그를 이용한 영상유도 수술 장치
JP2023116743A (ja) 椎弓根スクリューの固定プランニングシステム及び方法
US20230113035A1 (en) 3d pathfinder visualization
KR102321349B1 (ko) 병변 검출 장치
JP7037810B2 (ja) 画像処理装置と画像処理プログラムと画像処理方法
Hwang et al. 3d pose estimation of catheter band markers based on single-plane fluoroscopy
JP2023508396A (ja) ２ｄ経路探索の可視化
US11600014B2 (en) Pose estimation method of bendable interventional medical device using single-view x-ray image

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant