KR102307919B1 - 단방향 x선 영상을 이용한 굽힘 가능한 중재의료 기구의 포즈 추정 방법 - Google Patents

단방향 x선 영상을 이용한 굽힘 가능한 중재의료 기구의 포즈 추정 방법 Download PDF

Info

Publication number
KR102307919B1
KR102307919B1 KR1020200048606A KR20200048606A KR102307919B1 KR 102307919 B1 KR102307919 B1 KR 102307919B1 KR 1020200048606 A KR1020200048606 A KR 1020200048606A KR 20200048606 A KR20200048606 A KR 20200048606A KR 102307919 B1 KR102307919 B1 KR 102307919B1
Authority
KR
South Korea
Prior art keywords
marker
circle
interventional medical
estimating
normalized
Prior art date
Application number
KR1020200048606A
Other languages
English (en)
Other versions
KR102307919B9 (ko
Inventor
이득희
임성환
하준형
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020200048606A priority Critical patent/KR102307919B1/ko
Priority to US17/024,293 priority patent/US11600014B2/en
Application granted granted Critical
Publication of KR102307919B1 publication Critical patent/KR102307919B1/ko
Publication of KR102307919B9 publication Critical patent/KR102307919B9/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/58—Testing, adjusting or calibrating thereof
    • A61B6/582—Calibration
    • A61B6/583—Calibration using calibration phantoms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M25/0133—Tip steering devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M2025/0166—Sensors, electrodes or the like for guiding the catheter to a target zone, e.g. image guided or magnetically guided
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M25/0108—Steering means as part of the catheter or advancing means; Markers for positioning using radio-opaque or ultrasound markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pulmonology (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Gynecology & Obstetrics (AREA)

Abstract

본 발명은 복수의 방사선 비투과성 마커를 장착한 굽힘 가능한 중재의료 기구 및 X선 소스를 통해 촬영되는 단방향 X선 영상을 이용한 중재의료 기구의 포즈 추정 방법에 관한 것이다. 본 발명의 방법은, (a) 상기 중재의료 기구가 일정한 곡률로 구부러지는 것으로 가정하여 원을 정의하는 단계; (b) 상기 X선 소스가 X선을 상기 마커에 투사하여 얻은 X선 영상에서 마커의 위치값을 추출하는 단계; 및 (c) 투영 평면을 설정하고, 상기 원을 상기 투영 평면에 원근 투영하여 얻은 투영 이미지에서의 마커의 위치값과, 상기 X선 영상에서의 마커의 위치값을 이용하여 상기 원의 형태를 추정하는 단계를 포함할 수 있다.

Description

단방향 X선 영상을 이용한 굽힘 가능한 중재의료 기구의 포즈 추정 방법{POSE ESTIMATION METHOD OF BENDABLE INTERVENTIONAL MEDICAL DEVICE USING SINGLE-VIEW X-RAY IMAGE}
본 발명은 단방향 X선 영상을 이용한 굽힘 가능한 중재의료 기구의 포즈 추정 방법에 관한 것이다.
연성 카테터 및 연성 내시경을 포함한 굽힘 가능한 중재의료 기구(interventional device)는, 심장 카테터 절제술(cardiac catheter ablation), 연성 요관내시경을 이용한 역행성 신요관 결석제거술(retrograde intra-renal surgery using flexible ureteroscopy), 경피적 관상동맥 중재술(percutaneous coronary intervention), 경막외 내시경술(epidural epiduroscopy) 등과 같은 수많은 임상 시술/수술에서 널리 이용된다.
이러한 시술/수술에서 요구되는 가장 중요한 과제는 굽힘 가능한 기구의 3차원 위치 및 포즈를 정확하게 파악하여 목표지점에 빠르고 정확하게 도달하는 것이다. 이를 위해, 단방향 X선 장치가 일반적으로 사용된다. 임상의가 환자에게 삽입된 중재의료 기구의 현재 위치를 확인할 필요가 있을 때 X선 영상이 획득된다. 그 다음, 임상의는 2차원 X선 영상 정보와 의학적 경험을 기반으로 중재의료 기구의 3차원 위치 및 포즈를 추정한다.
X선 영상을 이용하면 중재의료 기구의 현재 위치를 즉시 확인할 수 있지만, 이는 2차원 공간상의 위치 및 포즈로 제한되며, 2차원 X선 영상을 이용한 중재의료 기구의 3차원 위치 및 포즈 추정은 경험이 적은 임상의에게는 신속하게 수행하기 어려운 과정이다. 또한, 기구의 3차원 위치 및 포즈를 잘못 판단하면 시술/수술 시간이 지연될 뿐만 아니라 다수의 X선 촬영이 필요하여 환자 및 의료진은 방사선에 과도하게 노출될 수 있다.
2차원 영상을 기반으로 한 3차원 수술 기구의 위치 및 포즈 추적은 다른 연구자들에 의해 몇 가지 방법이 보고되었다.
비특허문헌 1은 점을 이용한 위치 및 포즈 추정 문제에 대한 해결책을 제안한다. 3점을 이용한 위치 및 포즈 추정 문제는 주어진 3점의 2차원 투영영상을 이용하여 3점의 3차원 위치와 포즈를 결정하는 것이다.
특허문헌 1 내지 2 및 비특허문헌 2는 이 아이디어를 활용하여 단일 X선 영상으로부터 카테터 끝단의 3차원 위치를 추정하는 방법을 제안한다.
비특허문헌 3 및 비특허문헌 4는 2차원 단일 투영 영상에서 직선형 수술 도구의 3차원 위치 및 포즈를 추정하는 방법을 제안한다.
비특허문헌 5는 'DaVinci' 수술 로봇에 통합된 복강경 초음파 프로브의 3차원 위치 및 포즈, 그리고 축방향 회전 각도를 추정하는 방법을 포함하는 시스템을 제안한다.
특허문헌 3 내지 4 및 비특허문헌 6은 단일 카메라를 사용하여 복강경 기구의 3차원 위치, 집게(grasper) 각도, 및 축방향 회전 각도를 추정하는 유사한 기술을 제안한다.
하지만, 이러한 연구는 모두 직선형 수술 도구의 3차원 위치 및 포즈를 추정하는 것을 목표로 한다. 비특허문헌 1 등에 개시된 해결책은 동일선상에 있지 않은 3개의 점에 대해 사용할 수 있지만, 3점의 상대 위치는 미리 알고 있어야 하고 변하지 않아야 한다. 반면, 굽힘 가능한 중재의료 기구의 경우 기구의 모양이 고정되어 있지 않고 시술/수술 중 계속 변한다. 따라서, 이 기술들은 연성 카테터 및 연성 내시경과 같은 굽힘 가능한 중재의료 기구의 3차원 위치 및 자세를 추정하는 데 직접 적용될 수 없다.
비특허문헌 7 내지 9을 참조하면, 몇몇 연구자들은 FBG(Fiber Bragg Grating) 센서를 사용하여 굽힘 가능한 중재의료 기구의 3D 포즈와 곡률을 추정했다. FBG 센서는 굽힘 가능한 중재의료 기구의 3차원 위치 및 포즈 그리고 곡률 정보를 실시간으로 제공하지만, 이는 높은 제조 비용과 난이도, 신호 처리를 위한 추가 장치의 필요성, 그리고 온도 의존 특성 등의 몇 가지 문제점을 갖는다.
의료 시술 중 굽힘 가능한 중재의료 기구의 3차원 위치와 포즈, 그리고 곡률을 신속하게 확인하는 기능은 수술 중 임상의가 더 나은 의사 결정을 내리는 데 아주 중요하다. 결국, 이러한 임상의의 더 나은 의사 결정은 시술/수술의 신속한 수행 및 환자/의료진의 방사선 노출 최소화로 이어질 수 있다.
한국등록특허 제10-1892631호 미국출원특허 15/631032 출원일 2017-06-23 한국등록특허 제10-1188715호 미국등록특허 8,682,062 등록일 2014-03-25
"R. M. Haralick, C.-n. Lee, K. Ottenburg, and M. N¨olle, "Analysis and solutions of the three points perspective pose estimation problem." In CVPR, vol. 91, 1991, pp. 592-598" "S. Hwang and D. Lee, "3d pose estimation of catheter band markers based on single-plane fluoroscopy," in 2018 15th International Conference on Ubiquitous Robots (UR). IEEE, 2018, pp. 723-728" " C. Doignon, F. Nageotte, and M. de Mathelin, "The role of insertion points in the detection and positioning of instruments in laparoscopy for robotic tasks," in International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, 2006, pp.527-534" "C. Doignon and M. de Mathelin, "A degenerate conic-based method for a direct fitting and 3-d pose of cylinders with a single perspective view," in Proceedings 2007 IEEE International Conference on Robotics and Automation. IEEE, 2007, pp. 4220-4225" "J. Leven, D. Burschka, R. Kumar, G. Zhang, S. Blumenkranz, X. D. Dai, M. Awad, G. D. Hager, M. Marohn, M. Choti et al., "Davinci canvas: a telerobotic surgical system with integrated, robot-assisted, laparoscopic ultrasound capability," in International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, 2005, pp. 811-818" "S. Shin, Y. Kim, H. Cho, D. Lee, S. Park, G. J. Kim, and L. Kim,"A single camera tracking system for 3d position, grasper angle, and rolling angle of laparoscopic instruments," International journal of precision engineering and manufacturing, vol. 15, no. 10, pp. 2155-2160, 2014" " Z. Lunwei, Q. Jinwu, S. Linyong, and Z. Yanan, "Fbg sensor devices for spatial shape detection of intelligent colonoscope," in IEEE International Conference on Robotics and Automation, 2004. Proceedings. ICRA'04. 2004, vol. 1. IEEE, 2004, pp. 834-840" "C. Gouveia, P. Jorge, J. Baptista, and O. Frazao, "Temperatureindependent curvature sensor using fbg cladding modes based on a core misaligned splice," IEEE Photonics Technology Letters, vol. 23, no. 12, pp. 804-806, 2011" "S. C. Ryu and P. E. Dupont, "Fbg-based shape sensing tubes for continuum robots," in 2014 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2014, pp. 3531-3537"
본 발명의 목적은 하나의 X선 영상만을 이용하여 굽힘 가능한 중재의료 기구의 3차원 위치 및 포즈를 추정하기 위한 중재의료 기구의 포즈 추정 방법을 제공함에 있다.
위와 같은 과제를 해결하기 위한 본 발명은 복수의 방사선 비투과성 마커를 장착한 굽힘 가능한 중재의료 기구 및 X선 소스를 통해 촬영되는 단방향 X선 영상을 이용한 중재의료 기구의 포즈 추정 방법에 관한 것이다. 상기 방법은, (a) 상기 중재의료 기구가 일정한 곡률로 구부러지는 것으로 가정하여 원을 정의하는 단계; (b) 상기 X선 소스가 X선을 상기 마커에 투사하여 얻은 X선 영상에서 마커의 위치값을 추출하는 단계; 및 (c) 투영 평면을 설정하고, 상기 원을 상기 투영 평면에 원근 투영하여 얻은 투영 이미지에서의 마커의 위치값과, 상기 X선 영상에서의 마커의 위치값을 이용하여 상기 원의 형태를 추정하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 (c) 단계는 상기 방사선 비투과성 마커가 4개인 경우, 상기 투영 이미지에서의 마커의 위치값은 상기 원의 중심 위치, 반경 및 회전행렬의 매개변수를 가질 수 있다.
본 발명의 실시예에 따르면, 상기 (c) 단계는 상기 원의 중심 위치, 반경, 및 회전행렬의 매개변수 값을 최소 제곱 최소화(least squares minimization)를 적용하여 계산하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 (c) 단계는 상기 방사선 비투과성 마커가 5개인 경우, 상기 투영 이미지에서의 마커의 위치값은 상기 원의 중심 위치, 반경 및 평면 법선벡터의 매개변수를 가질 수 있다.
본 발명의 실시예에 따르면, 상기 (c) 단계는 (c-1) 상기 투영 이미지에서 상기 마커의 위치값을 매개변수 행렬을 이용하여 정의하고, 상기 매개변수 행렬의 상기 마커의 위치값에 대응하는 각각의 행렬 성분을 사전에 설정된 기준을 통해 추정하는 단계; 및 (c-2) 상기 매개변수 행렬로부터 정규화된 반지름, 정규화된 중심 위치 및 평면 법선벡터를 포함하는 정규화된 원 매개변수를 계산하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 (c) 단계 이후에 (d) 상기 정규화된 원 매개변수로부터 상기 마커의 위치를 추정하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 (c-1) 단계는 상기 매개변수 행렬은 6개의 독립 성분을 갖는 대칭 3 x 3 행렬일 수 있다.
본 발명의 실시예에 따르면, 상기 (c-1) 단계는 상기 매개변수 행렬은 최소 제곱 최소화(least squares minimization)를 적용하여 추정될 수 있다.
본 발명의 실시예에 따르면, 상기 (c-1) 단계 이후 및 상기 (c-2) 단계 이전에 상기 매개변수 행렬의 두 번째로 큰 고유 값(eigenvalues)이 1이 되도록 상기 매개변수 행렬의 크기를 조정하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 (c-2) 단계는 사전에 설정된 고유 값 분해 기준을 이용하여 상기 매개변수 행렬의 고유벡터(eigenvector) 및 복수의 고유 값을 산출하여 정규화된 반지름을 계산하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 (c-2) 단계는 상기 정규화된 원 매개변수는 정규화된 중심 위치 및 평면 법선벡터를 더 포함하며, 상기 매개변수 행렬의 대각합(trace)이 상기 매개변수 행렬의 고유 값의 합이라는 점을 이용하여 고유 벡터 행렬을 계산하는 단계; 및 상기 매개변수 행렬의 고유 벡터가 대칭 행렬의 고유벡터와 직교하다는 점을 이용하여 상기 매개변수 행렬의 고유 값을 식별하고, 상기 고유 벡터 행렬을 인버팅함으로써 상기 정규화된 중심 위치 및 평면 법선벡터를 계산하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 (d) 단계는 상기 정규화된 원 상에서의 마커 위치를 계산하는 단계; 및 실제 마커 거리가 상기 투영 이미지 상의 마커 거리와 일치하도록 상기 정규화된 원과 상기 마커 위치의 크기를 스케일링하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 마커 위치를 계산하는 단계는, 상기 정규화된 원의 평면과 상기 투영 이미지 상의 마커 위치 벡터를 따르는 선과의 교차점을 계산하는 단계; 및 상기 정규화된 원에 상기 교차점을 투영함으로써 추정치를 산출하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 정규화된 원과 마커 위치를 스케일링하는 단계는, 상기 정규화된 원을 따라 상기 마커들 사이의 길이, 및 상기 마커들 사이의 실제 길이를 이용하여 최소 제곱 최소화를 통해 스케일을 산출하는 단계; 및 상기 스케일에 따라 상기 마커의 위치를 추정하는 단계를 포함할 수 있다.
본 발명에 따르면, 하나의 X선 영상만을 이용하여 굽힘 가능한 중재의료 기구의 3D 포즈와 곡률을 동시에 추정할 수 있다.
또한, 본 발명에 따르면 연성 카테터 및 연성 내시경과 같은 굽힘 가능한 중재의료 기구의 3D 포즈 및 곡률 정보를 제공하여 임상의가 더 나은 수술 중 의사 결정을 내릴 수 있도록 도와줌으로써 수술을 신속하게 하고 환자 및 의료진의 방사선에 대한 노출을 줄일 수 있도록 한다.
도 1은 본 발명의 실시예에 따른 단방향 X선 영상을 이용한 중재의료 기구의 포즈 추정 방법을 적용하기 위한, 방사선 비투과성 마커를 장착한 굽힘 가능한 중재의료 기구 및 X선 소스를 통해 마커가 촬영되는 상태를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 단방향 X선 영상를 이용한 굽힘 가능한 중재의료 기구의 포즈 추정 방법의 각 단계를 나타낸 순서도이다.
도 3은 도 2에 있어서 마커가 4개일 때, 원의 중심 위치, 반경, 회전행렬의 매개변수를 계산하기 위한 각 단계를 나타낸 도면이다.
도 4는 도 2에 있어서 마커가 5개일 때, 매개변수 행렬로부터 원의 중심 위치, 반경, 평면 법선벡터를 포함하는 정규화된 원 매개변수를 계산하기 위한 각 단계를 나타낸 순서도이다.
도 5는 도 4에 있어서 매개변수 행렬로부터 정규화된 원 매개변수 계산의 각 단계를 나타낸 순서도이다.
도 6은 도 2에 있어서 정규화된 원 매개변수로부터 마커의 위치를 추정하는 각 단계를 나타낸 순서도이다.
도 7의 (a)는 6개의 밴드 마커가 부착된 심장 카테터, 도 7의 (b)는 곡률이 다른 5개의 슬롯을 가진 카네터 마운트, 및 도 7의 (c)는 마운트에 고정된 심장 카테터의 X선 스캔을 나타낸 도면이다.
도 8의 (a)는 2D 캘리브레이션 모형, 도 8의 (b), (c)는 단일 X선 캘리브레이션을 위해 각각의 X선 영상에서 자동으로 추출된 격자점들, 및 도 8의 (d)는 3D 캘리브레이션 모형, 및 도 8의 (e), (f)는 스테레오 X선 보정을 위해 각각의 X선 영상에서 자동 추출된 특징점들을 나타낸 도면이다.
도 9는 각각의 마커를 따라 8개의 점이 수집되고 이 점들에 임의의 타원을 맞춤으로써 얻어지는 중심점을 X선 영상에서의 마커 위치로 측정하는 방법을 나타낸 도면이다.
도 10은 밴드 마커 위치의 3D 재구성을 나타낸 도면이며, 도 10의 (a)는 X선 영상 1, 도 10의 (b)는 본 발명의 실시예에 따른 방법으로 재구성된 마커 위치, 도 10의 (c)는 X선 영상 2, 및 도 10의 (d)는 스테레오 삼각 측량 방식으로 재구성된 마커 위치를 나타낸 도면이다.
도 11은 마커 위치, 곡률 반경, 및 평면 법선벡터의 에러를 나타낸 도면이다.
도 12는 추정 결과와 실측 자료의 비교를 나타낸 도면이며, 도 12의 (a)는 최선의 추정치, 및 도 12의 (b)는 최악의 추정치를 나타낸 도면이다.
도 13은 심장 팬텀안에 위치한 밴드 마커의 가시성 테스트를 나타낸 도면이며, 도 13의 (a)는 실험 설정, 도 13의 (b)는 심장 팬텀, 도 13의 (c)는 X선 영상(PA 뷰), 및 도 13의 (d)는 X선 영상(LL 뷰)을 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 내용을 설명한다. 그리고 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1은 본 발명의 실시예에 따른 단방향 X선 영상을 이용한 중재의료 기구의 포즈 추정 방법을 적용하기 위한, 방사선 비투과성 마커를 장착한 굽힘 가능한 중재의료 기구 및 X선 소스를 통해 마커가 촬영되는 상태를 개략적으로 나타낸 도면이다. 도 2는 본 발명의 실시예에 따른 중재의료 기구의 포즈 추정 방법의 각 단계를 나타낸 순서도이다.
도 1을 참조하면, 본 발명에 따른 중재의료 기구의 포즈 추정 방법은 복수의 방사선 비투과성 마커(10)를 장착한 굽힘 가능한 중재의료 기구(20)의 3D 포즈 및 곡률을 추정하는 데 사용되며, 각 단계는 프로세서와 같은 계산 장치에 의해 수행될 수 있다.
X선 소스(30)는 중재의료 기구(20)를 향해 X선을 조사하며, 조사된 X선은 중재의료 기구(20)를 통과하여 X선 필름(40)에 중재의료 기구(20)의 X선 영상을 생성한다. 중재의료 기구(20)에는 복수의 방사선 비투과성 마커(10)가 장착되어 있으므로, 생성된 X선 영상에는 마커(10)의 X선 이미지가 포함된다.
본 발명의 실시예에 따른 중재의료 기구의 포즈 추정 방법은 방사선 비투과성 마커를 장착한 굽힘 가능한 중재의료 기구에 적용될 수 있다. 상기 중재의료 기구가 일정한 곡률로 구부러지는 것으로 가정하여, 예를 들어 4개 이상의 마커를 장착하면 곡률과 3D 포즈를 동시에 측정할 수 있다.
도 2를 더 참조하면, 본 발명에 따른 중재의료 기구의 포즈 추정 방법은, 중재의료 기구(20)가 일정한 곡률로 구부러지는 것으로 가정하여 원(50)을 정의하는 단계(s100), X선 소스가 X선을 마커(10)에 투사하여 얻은 X선 영상에서 마커의 위치값을 추출하는 단계(s200), 및 투영 평면을 설정하고, 원(50)을 투영 평면에 원근 투영하여 얻은 투영 이미지에서의 마커(10)의 위치값과, X선 영상에서의 마커(10)의 위치값을 이용하여 원(50)의 형태를 추정하는 단계(s300)를 포함한다. 원(50)의 형태를 추정하는 단계(s300)는 마커가 4개인 경우의 추정 단계(s300a) 및 마커가 5개인 경우의 추정 단계(s300b)를 포함할 수 있다.
원(50)의 형태를 추정하는 단계(s300) 이후에는 원 매개변수로부터 마커의 위치를 추정하는 단계(s400)를 더 포함할 수 있다.
실시예에 따르면, 마커(10)가 4개인 경우 원(50)의 중심 위치, 반경, 및 회전행렬을 매개변수로 하여 중재기구의 포즈 및 곡률을 추정할 수 있다. 또한, 마커(10)가 5개인 경우 원(50)의 중심 위치, 반경, 및 평면 법선벡터를 매개변수로 하여 중재기구의 포즈 및 곡률을 추정할 수 있다.
이하, 마커(10)가 4개인 실시예를 설명하면 다음과 같다.∈
중재의료 기구가 일정한 곡률로 구부러진 경우, 중재의료 기구의 중심선은 원호이다. R>0일 때, R∈
Figure 112020041386660-pat00001
, X0∈
Figure 112020041386660-pat00002
3, 및 Y∈
Figure 112020041386660-pat00003
3x3가 원의 반경, 중심 위치, 및 회전행렬을 각각 나타내도록 하는 원을 정의한다(s100). 이때, 회전행렬 Y는 원의 중심에 부착된 좌표축을 나타낸다. 중재기구의 포즈 및 곡률는 R, X0, 및 Y를 결정하여 알아낼 수 있다. 회전행렬의 내재적 매개변수는 x, y, z 축 회전을 나타내는 3개의 변수이므로 총 미지수의 개수는 7개이다.
X선 소스가 X선을 마커에 투사하여 얻은 X선 영상에서 마커의 위치값을 추출한다(s200). 마커 하나가 x선 영상 평면에서 2차원 좌표로 표시되므로 2개의 측정값을 제공한다. 최소 4개의 마커가 있어야 7개 이상의 측정값이 존재하므로 7개의 미지수를 특정할 수 있다.
도 3은 도 2에 있어서 마커가 4개일 때, 원의 중심 위치, 반경, 회전행렬의 매개변수를 계산하기 위한 각 단계를 나타낸 도면이다.
도 3을 참조하면, 투영 평면을 설정하고 원을 투영 평면에 원근 투영하여 얻은 투영 이미지에서의 마커의 위치값과, X선 영상에서의 마커의 위치값을 이용하여 원의 중심 위치, 반경, 및 회전행렬을 계산할 수 있다(s300a). 구체적인 계산방법은 다음과 같다.
4개 이상의 마커를 부착한 중재기구를 x선 촬영하였을 때, x선 영상 위에서 측정된 i번째 마커의 2차원 위치값을 u∈
Figure 112020041386660-pat00004
2라고 정의한다. R, X0, 및 Y가 주어지면 각 마커의 이론적 3차원 위치를 얻을 수 있고, 이를 x선 투영 평면에 원근 투영하여 이론적 2차원 위치값을 얻을 수 있다. 이렇게 얻은 이론적 2차원 좌표값을 w∈
Figure 112020041386660-pat00005
2라고 정의할 때, wi는 R, X0, 및 Y의 함수이므로 다음과 같이 표현할 수 있다(s301).
Figure 112020041386660-pat00006
원의 중심 위치(X0), 반경(R), 및 회전행렬(Y)의 값은 다음과 같은 최소 제곱 최소화(least squares minimization)를 적용하여 계산될 수 있다(s302).
Figure 112020041386660-pat00007
상기 최소화 문제는 비선형 최소화 알고리즘을 적용하여 풀 수 있다. 비선형 최소화 시의 초기값은 임의로 입력하거나, 중재기구의 포즈에 대한 사전 지식이 있다면 이를 활용하여 초기값을 결정할 수 있다. 부착된 마커의 개수가 5개 이상일 경우 좋은 초기값을 해석적으로 결정할 수 있으며, 그 내용은 아래에서 설명한다.
이하, 마커(10)가 5개인 실시예를 설명하면 다음과 같다.
중재의료 기구가 일정한 곡률로 구부러진 경우, 중재의료 기구의 중심선은 원호이다. 중재의료 기구의 중심선을 포함하는 원을 고려한다. R>0, 및 ∥n∥=1일 때, R∈
Figure 112020041386660-pat00008
, X0∈
Figure 112020041386660-pat00009
3, 및 n∈
Figure 112020041386660-pat00010
3가 원의 반경, 중심 위치, 및 평면 법선벡터를 각각 나타내도록 하는 원을 정의한다(s100). 공식화의 편의를 위해, 정규화된 중심 위치 x0∈
Figure 112020041386660-pat00011
3 및 정규화된 반경 r∈
Figure 112020041386660-pat00012
이 다음과 같이 주어진 정규화된 원을 정의할 수 있다.
Figure 112020041386660-pat00013
(수식 1)
여기서, d는 d=nTX0에 의해 정의된다.
투영 평면 및 원의 원근 투영은 다음과 같이 정의될 수 있다.
원근 원점이 (0, 0, 0)이고 투영 평면이 z=1인 원근 투영을 가정한다. 원의 원근 투영은 정규화에 대하여 불변이다. 원의 원근 투영은 2차 함수이며, 이는 다음과 같은 대수 조작 후에 도출될 수 있다.
Figure 112020041386660-pat00014
(수식 2)
여기서, Q 및 p는 다음과 같이 주어진다.
Figure 112020041386660-pat00015
(수식 3)
Figure 112020041386660-pat00016
(수식 4)
여기서, p는 투영 곡선의 임의의 점이다.
수식 (3)을 사용하여, 투영 이미지가 주어진 반경, 중심, 원의 평면 법선벡터, 및 마커 위치를 추정하기 위한 비-반복적 방법을 설명한다. 설명될 방법은 다음 단계들로 구성된다.
1. 투영 이미지에서 매개변수 행렬(Q)를 추정
2. 매개변수 행렬(Q)로부터 정규화된 원 매개변수(x0, r, n)를 계산
3. 원에서 마커의 (X0, R) 및 위치를 계산
도 4는 도 2에 있어서 마커가 5개일 때, 매개변수 행렬로부터 원의 중심 위치, 반경, 평면 법선벡터를 포함하는 정규화된 원 매개변수를 계산하기 위한 각 단계를 나타낸 순서도이다.
도 4를 참조하면, 원의 중심 위치, 반경 및 평면 법선벡터를 계산하는 단계(s300b)는, 투영 이미지에서 마커의 위치값을 정의하고, 매개변수 행렬의 마커의 위치값에 대응하는 각각의 행렬 성분을 사전에 설정된 기준을 통해 추정하는 단계(s310), 및 매개변수 행렬로부터 정규화된 반지름을 포함하는 정규화된 원 매개변수를 계산하는 단계(s320)를 포함할 수 있다.
그 다음, 도 2를 다시 참조하면, 본 발명에 따른 방법은 및 정규화된 원 매개변수로부터 마커의 위치를 추정하는 단계(s400)를 더 포함할 수 있다.
이를 상세히 설명하면 다음과 같다.
[매개변수 행렬 Q 추정]
(ai, bi)는 투사 이미지에서 마커 i의 위치를 나타낸다. 그 다음 노이즈가 없는 (ai, bi) 측정을 위해 다음 수식을 적용한다.
Figure 112020041386660-pat00017
(수식 5)
여기서,
Figure 112020041386660-pat00018
(수식 6)
Figure 112020041386660-pat00019
(수식 7)
여기서, qij는 매개변수 행렬 Q의 {i, j} 번째 행렬 성분이다. 매개변수 행렬 Q는 6개의 독립 성분을 갖는 대칭 3 x 3 행렬이기 때문에 벡터 q는 이들 6개의 독립 성분들을 모아놓은 6차원 벡터이다. (ai, bi)에 측정 노이즈가 있는 경우, 최소 제곱 최소화(least square minimization)를 적용하여 다음을 통해 벡터 q를 추정할 수 있다(S310).
Figure 112020041386660-pat00020
(수식 8)
매개변수 행렬 Q의 스케일은 임의적이므로, 다음과 같은 스케일 제약을 유도함으로써 의미있는 해를 얻을 수 있다.
Figure 112020041386660-pat00021
(수식 9)
상기 최소화는 고유 값(eigenvalue) 문제이다. 여기서, 벡터 q의 해는 가장 작은 고유 값에 해당하는
Figure 112020041386660-pat00022
의 고유 벡터(eigenvector)이다. 마지막으로, 매개변수 행렬 Q는 벡터 q의 성분으로부터 구성된다.
다음 단계로 넘어가기 전에, 두 번째로 큰 고유 값이 1이 되도록 매개변수 행렬 Q의 크기를 조정해야 한다(s315). 이는 다음과 같은 간단한 치환을 행하여 수행될 수 있다.
Figure 112020041386660-pat00023
(수식 10)
여기서, λmiddle은 치환 전 매개변수 행렬 Q의 두 번째로 큰 고유 값이다. 이에 대한 이유는 다음 항목에서 상세하게 설명한다.
[매개변수 행렬 Q로부터 정규화된 원 매개변수 (x0, r, n) 도출]
도 5는 도 4에 있어서 매개변수 행렬로부터 정규화된 원 매개변수 계산의 각 단계를 나타낸 순서도이다.
도 5를 참조하면, 매개변수 행렬로부터 정규화된 원 매개변수 계산 단계 (s320)는 정규화된 반지름 계산 단계(s321), 고유 벡터 행렬 계산 단계(s322), 정규화된 중심 위치 및 평면 법선벡터 계산 단계(s323)을 포함할 수 있다.
이를 상세하게 설명하면 다음과 같다.
Q의 고유 벡터와 고유 값으로부터 정규화된 원 매개변수 (x0, r, n)를 계산하는 방법을 설명한다. v⊥x0 및 v⊥n과 같은 v∈
Figure 112020041386660-pat00024
3를 고려한다. V를 상기 수식 (3)의 오른쪽에 곱하면 다음을 산출한다.
Figure 112020041386660-pat00025
(수식 11)
따라서, v는 Q의 고유 벡터이고 해당 고유 값은 λ3=1이다(아래 첨자 '3'은 추후 의미가 있음). 다른 고유 벡터와 고유 값은 다음 수식을 처리함으로써 나타난다.
Figure 112020041386660-pat00026
(수식 12)
여기서,
Figure 112020041386660-pat00027
(수식 13)
x0의 정의에 의해 nTx0 = 1임을 주목하면, 상기 수식은 x0 및 n을 수식 (3)에 곱함으로써 쉽게 도출된다. 수식 (12)에서 고유 값 분해 S는 다음을 산출한다.
Figure 112020041386660-pat00028
(수식 14)
여기서, X∈
Figure 112020041386660-pat00029
2X2의 열은 S의 고유 벡터이고 λ1과 λ2는 해당 고유 값이다. 수식 (14)에 의해 [xo n]X의 열 벡터가 Q의 고유 벡터이고, 해당 고유 값이 S의 고유값, 즉, λ1과 λ2와 동일하다. 즉, λ1과 λ2는 det(S-λI)= 0의 근이다.
Figure 112020041386660-pat00030
(수식 15)
그 다음, λ1과 λ2의 곱은 -r2으로 0보다 작으므로 두 개의 고유 값 중 하나는 양수이고 다른 하나는 음수이다. 또한, 위의 수식 λ=1을 대입하면 좌변은 1-∥xo∥2가 되며, 이는 n과 x0에서 코시슈바르츠 부등식(Cauchy-Schwarz inequality)에 의해 0 또는 음수이다. 보다 구체적으로는, ∥n∥∥xo∥=∥xo∥≥ntxo=1이므로 1-∥xo∥2 < 0이다. 따라서 하나의 고유값은 1 이상이고 다른 하나는 음수이고, 이를 정리하면 λ1≥0 및 λ2 < 0이다. 이 결과는 이후 수식 (10)를 통해 매개변수 행렬 Q의 크기를 조정하는 이유를 설명할 때 중요하다.
detQ는 모든 고유 값의 곱이므로, 정규화된 반지름 r은 다음과 같이 도출된다(s321).
Figure 112020041386660-pat00031
(수식 16)
여전히 x0과 n은 알 수 없다. 그것들을 확인하기 위해, 행렬의 대각합(trace)이 모든 고유 값의 합이라는 사실을 이용한다. 그 다음, 다음 수식을 적용한다(s322).
Figure 112020041386660-pat00032
(수식 17)
수식 (13) 및 수식 (16)을 수식 (17)에 대입하여 다음을 산출한다.
Figure 112020041386660-pat00033
(수식 18)
수식 (16) 및 수식 (18)을 수식 (13)에 대입함으로써, S를 완전히 식별하고 고유 벡터 행렬 X를 계산할 수도 있다.
[xo n]X의 열은 매개변수 행렬 Q의 고유 벡터이지만, 그 크기는 여전히 미정이다. 이것은 다음과 같이 표현될 수 있다.
Figure 112020041386660-pat00034
(수식 19)
여기서, v1∈
Figure 112020041386660-pat00035
2 및 v2∈
Figure 112020041386660-pat00036
2는 각각 λ1과 λ2에 해당하는 Q의 고유 벡터이며, k1 및 k2는 아직 알 수 없는 그들의 크기이다. v1 및 v2는 대칭 행렬의 고유 벡터이므로 서로 직교하기 때문에, 수식 (19)의 전위행렬(transpose)를 그 자체로 곱하여 다음 수식을 얻을 수 있다.
Figure 112020041386660-pat00037
(수식 20)
수식 (20)의 좌측은 이제 모두 알려져 있으므로, k1과 k2는 이 수식으로 식별된다. 그 다음, 정규화된 중심 위치 x0 및 평면 법선벡터 n은 수식 (19)에서 X를 인버팅함으로써 쉽게 계산될 수 있다(s323).
(k1, k2)의 4개의 해를 획득할 수 있으므로 4개의 다른 (x0, n)(그러나 여전히 고유한 r)을 얻을 수 있다. 대칭된 해의 쌍 (x0, n) 및 (-x0, -n)이 존재한다는 점을 감안하면, 이 둘 중 하나는 투영 평면과 반대 방향으로서 비현실적이다. 이러한 해들을 제거하면 해의 수가 2개로 줄어든다.
여기까지의 전개는 행렬 Q가 올바르게 스케일링된 경우에만 유효하다. λ1≥0, λ2 < 0 및 λ1≥0 및 λ3=1이므로 두번째로 큰 고유값은 반드시 1이어야 한다. 두 번째로 큰 고유 값이 1인지 여부를 확인함으로써 이를 입증할 수 있다. 만약 아니라면, Q는 수식 (10)에 의해 조정되어야 한다.
[(X0,R) 및 마커 위치의 추정]
도 6은 도 2에 있어서 정규화된 원 매개변수로부터 마커의 위치를 추정하기 위한 각 단계를 나타낸 순서도이다.
도 6를 참조하면, 정규화된 원 매개변수로부터 마커의 위치를 추정하는 단계(s400)는 정규화된 원 상에서의 마커 위치를 계산하는 단계(s410), 및 정규화된 원과 마커 위치의 크기를 스케일링하는 단계(s420)를 포함할 수 있다.
정규화된 원 상에서의 마커 위치를 계산하는 단계(s410)는 정규화된 원 평면과 마커 위치 벡터를 따르는 선 사이의 교차점을 계산하는 단계(s411), 및 정규화된 원에 교차점을 투영함으로써 추정치를 산출하는 단계(s412)를 포함할 수 있다.
정규화된 원과 마커 위치의 크기를 스케일링하는 단계(s420)는 최소 제곱 최소화를 통해 스케일을 산출하는 단계(s421), 및 스케일에 따라 마커의 위치를 추정하는 단계(s422)를 포함할 수 있다.
이를 상세하게 설명하면 다음과 같다.
주어진 매개변수 행렬 Q에 대해 정규화된 원 매개변수가 계산되지만, 원래의 원 매개변수는 여전히 알 수 없다. 보다 정확하게는, 마커의 중심 위치 X0 및 반경 R은 수식 (1)로부터 다음과 같이 주어진다.
Figure 112020041386660-pat00038
(수식 21)
여기서, d는 알려지지 않은 스케일이다. 스케일 d는 중재의료 기구의 실제 마커 거리를 사용하여 계산될 수 있다. 이를 위해, 먼저 정규화된 원 상에서 마커 위치를 계산(s410)한 다음 실제 마커 거리가 스케일링된 원 상에서의 마커 거리와 일치하도록 원과 마커 위치의 크기를 스케일링(s420)할 수 있다.
먼저, 정규화된 원의 마커 위치를 계산한다. (ai, bi)에서의 측정 오류를 고려할 때, 정규화된 원에는 정확히 (ai, bi)에 투영되는 점이 없다. i) 정규화된 원의 평면과 벡터(ai, bi, 1)를 따르는 선과의 교차점을 계산(s411)하며, 그 다음 ii) 정규화된 원에 상기 교차점을 투영함으로써 합리적인 추정치를 얻을(s412) 수 있다. 이 방식으로 정규화된 원 xi∈
Figure 112020041386660-pat00039
3에서 마커 i의 위치를 추정하면 다음과 같다.
Figure 112020041386660-pat00040
(수식 22)
여기서, pi= [ai, bi, 1]이다. 정규화된 원을 따라 x1에서 xi까지의 아크 길이로서 δi∈
Figure 112020041386660-pat00041
로 정의하고 이를 수집한 벡터 δ∈
Figure 112020041386660-pat00042
를 다음과 같이 정의한다.
Figure 112020041386660-pat00043
(수식 23)
마커 1과 마커 i 사이의 실제 마커 거리를 li∈
Figure 112020041386660-pat00044
로 정의하고 이를 수집한 벡터 l=[l1 l2 ... ln]∈
Figure 112020041386660-pat00045
을 정의하면, 스케일 d는 다음 최소화를 통해 얻을 수 있다(s421).
Figure 112020041386660-pat00046
(수식 24)
여기서, d는 스케일이고, l0는 마커의 전체적 이동 거리이고,
Figure 112020041386660-pat00047
∈
Figure 112020041386660-pat00048
n는 n차원 일 벡터이다. 상기의 최소화 해는 다음과 같다.
Figure 112020041386660-pat00049
(수식 25)
여기서,
Figure 112020041386660-pat00050
(수식 26)
마지막으로, 스케일에 따라 마커의 위치를 추정할 수 있다.
원래의 원 매개변수는 d를 수식 (21)에 대입함으로써 얻어지고, 마커 i의 위치는 x1d에 대하여 원을 따라 l0+li만큼 이동된다. 상술한 [매개변수 행렬 Q로부터 정규화된 원 매개변수 (x0, r, n) 도출] 항목에서 주어진 (x0, n)의 두 개의 해가 있다. 수식 (24)에서 목적 함수 값이 작은 것을 선택하여 최종 해를 확인할 수 있다. 그러나, 상기 목적 함수 값은 특히 마커가 X선 소스에서 멀리 떨어져 있을 때 종종 크게 변별력있지 않다. 본 발명에 따르면, 두 개의 해는 z 축에 직교하는 평면에 대하여 서로에 대칭되어 있으므로 임상의가 수술 공간의 해부학적 구조에 따라 올바른 해를 쉽게 식별할 수 있게 된다.
본 방법의 실현가능성과 성능을 검증하기 위한 실험이 다음과 같이 수행되었다. 실험의 목적은 단일 X선 영상를 사용하여 굽힘 가능한 중재의료 기구의 3D 포즈 및 곡률 추정의 정확성을 검증하는 것이다.
[실험 설정]
도 7의 (a)는 6개의 밴드 마커가 부착된 심장 카테터, 도 7의 (b)는 곡률이 다른 5개의 슬롯을 가진 카네터 마운트, 및 도 7의 (c)는 마운트에 고정된 심장 카테터의 X선 스캔을 나타낸 도면이다.
도 7을 참조하면, 심장 카테터(THERMOCOOL® SF Catheter, Biosense Webster Inc, CA, USA)를 실험에 사용하였다. 얇은 쿠퍼 시트로 제조된 6개의 밴드 마커가 도 7의 (a)에 도시된 바와 같이 일정한 거리에서 카테터의 굽힘 가능한 부분에 부착되었다. 상부면에 다른 곡률을 갖는 5개의 슬롯을 갖는 아크릴 마운트는, 도 7의 (b)에 도시된 것처럼, 5개의 알려진 일정한 곡률로 카테터를 고정하는 데 설치되고 사용된다. 마운트의 상부면은 마운트의 하부면에 대해 45°의 각도를 갖도록 설계되었다. 바이플레인(biplane) X선 장치(XION-Artis, Siemens Healthneers, Erlangen, Germany)를 사용하여 도 7의 (c)에 도시된 바와 같이 마운트에 고정된 카테터의 X선 영상를 얻었다. 밴드 마커 사이의 거리는 약 15mm이다. 그들은 벡터 l을 얻기 위해 디지털 캘리퍼로 정확하게 측정되었다.
[X선 캘리브레이션]
도 8의 (a)는 2D 캘리브레이션 모형, 도 8의 (b), (c)는 단일 X선 캘리브레이션을 위해 각각의 X선 영상에서 자동으로 추출된 격자점들, 및 도 8의 (d)는 3D 캘리브레이션 모형, 및 도 8의 (e), (f)는 스테레오 X선 보정을 위해 각각의 X선 영상에서 자동 추출된 특징점들을 나타낸 도면이다.
도 8을 참조하면, 바이플레인 X선 영상을 캘리브레이션하기 위해 두 개의 서로 다른 캘리브레이션 모형을 제작했다. 알루미늄 보드로 제작된 첫 번째 모형은 도 8의 (a)에 도시된 바와 같이 설치되었다. 모형의 표면에 7x7 격자의 모서리 지점에 49개의 스틸 볼(ø2.0)이 부착되었다. 두 번째 모형은 3D프린터로 제작되었으며 31개의 스틸 볼(ø5.0)이 모형의 4개의 측면에 일정한 거리로 부착되어 있다(도 8d 참조). 첫 번째 캘리브레이션 모형은 단일 X선 보정에 사용되었고 두 번째 캘리브레이션 모형은 스테레오 X선 캘리브레이션에 사용되었다.
캘리브레이션 결과, 각 X선 장치의 내부 및 외부 매개변수가 추정되었다. 이들 매개변수에 기초하여, 스테레오 X선 캘리브레이션을 수행함으로써 제1 및 제2 X선 소스 좌표 사이의 3차원 관계가 추정되었다. 스테레오 캘리브레이션의 재 투영 에러는 1.7 픽셀이었고, X선 영상의 해상도는 1920x1920 픽셀이었다.
[실험 결과]
도 9는 각각의 마커를 따라 8개의 점이 수집되고 이 점들에 임의의 타원을 맞춤으로써 얻어지는 중심점을 X선 영상에서의 마커 위치로 측정하는 방법을 나타낸 도면이다. 도 10은 밴드 마커 위치의 3D 재구성을 나타낸 도면이며, 도 10의 (a)는 X선 영상 1, 도 10의 (b)는 본 발명의 실시예에 따른 방법으로 재구성된 마커 위치, 도 10의 (c)는 X선 영상 2, 및 도 10의 (d)는 스테레오 삼각 측량 방식으로 재구성된 마커 위치를 나타낸 도면이다.
도 9을 참조하면, 카테터 마운트의 5개 슬롯에 장착된 카테터에 대해 5쌍의 바이플레인 X선 영상이 획득된다. 마커는 명확하게 이미지화될 때 타원처럼 보이므로, 본 실험에서는 X선 영상에서 각 마커에 대해 8개의 점을 수동으로 수집하여, 타원을 맞추고 타원 중심을 (ai, bi)로 사용했다.
도 10를 참조하면, 모든 X선 영상에 대해 (ai, bi)가 수집되면, X선 영상 쌍을 삼각 분할하여 마커의 3D 위치를 계산한다. 이 위치는 실험을 통해 실측 자료로 사용된다. 그 다음, 각 이미지 쌍에서 하나의 X선 영상만 사용하여 마커의 3D 위치를 추정하는 방법을 적용하고 그 결과를 실측 자료와 비교했다. 본 발명의 실시예에 따른 방법에 사용된 이미지의 X선 소스는 카테터와 약 700mm 떨어져 있다. 본 발명에의 일 실시예로서 각 슬롯의 커브 부분에 배치된 5개의 마커만 사용하였다.
도 11은 마커 위치, 곡률 반경, 및 평면 법선벡터의 에러를 나타낸 도면이다. 도 12는 추정 결과와 실측 자료의 비교를 나타낸 도면이며, 도 12의 (a)는 최선의 추정치, 및 도 12의 (b)는 최악의 추정치를 나타낸 도면이다. 도 13은 심장 팬텀안에 위치한 밴드 마커의 가시성 테스트를 나타낸 도면이며, 도 13의 (a)는 실험 설정, 도 13의 (b)는 심장 팬텀, 도 13의 (c)는 X선 영상(PA 뷰), 및 도 13의 (d)는 X선 영상(LL 뷰)을 나타낸 도면이다.
도 11을 참조하면, 도 11의 표는 마커의 위치, 곡률 반경, 및 평면 법선 벡터의 실측 자료에 대한 본원발명에 따른 방법의 에러를 보여준다. 마커의 위치, 곡률 반경, 및 법선 벡터의 평균/최대 에러는 각각 3.48mm/7.86mm, 0.59mm/1.44mm, 및 0.77°/1.14°이다. 도 12를 참조하면, 최선 및 최악의 추정치가 제시되어 있다.
도 13를 참조하면, 카테터는 심장 팬텀(Normal Adult Model XC01T, CARDIO Simulator, crossMedical, Kyoto, Japan)에 삽입되었고, 카테터에 부착된 밴드 마커의 가시성은 후측 전방(PA) 및 측방 측면(LL)으로부터 확인되었다.
본 발명은 하나의 X선 영상만을 이용하여 굽힘 가능한 중재의료 기구의 3D 포즈와 곡률을 동시에 추정하는 방법을 개시한다. 본 방법의 정확도는 X선 소스로부터 약 700mm 떨어져 있을 때 평균/최대 3.48mm/7.86mm의 위치 오차를 달성하는 것으로 입증되었다.
임상용으로는 정확도가 더 향상되어야 하므로, 향후 정확도 향상을 위해 본 발명에는 다음과 같은 구성이 추가적으로 적용될 수 있다.
i) X선 영상의 선명도 측면에서 마커를 더 정교하게 만들어야 하며, 재료 선택 및 마커 디자인이 포함될 수 있다. ii) 현재 마커 위치는 수동으로 수집되지만 위치를 보다 철저하고 정확하게 얻으려면 자동화될 수도 있다. iii) 마커의 윤곽은 X선 소스와 관련하여 마커의 거리 및 각도를 유추하지만, 더 나은 추정을 위해서는 이 정보를 본원발명에 따른 접근 방식과 결합할 수 있다.
또한, 본원발명의 범위를 확장하기 위한 다음 단계로, 본원발명에 따른 방법을 일정하지 않은 곡률로 일반화할 수도 있다.
이 분야의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명의 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

Claims (14)

  1. 적어도 4개 이상의 방사선 비투과성 마커를 장착한 굽힘 가능한 중재의료 기구, X선 소스를 통해 촬영되는 단방향 X선 영상, 및 프로세서를 이용한, 중재의료 기구의 포즈 추정 방법으로서, 상기 프로세서가,
    (a) 상기 중재의료 기구가 일정한 곡률로 구부러지는 것으로 가정하여 원을 정의하는 단계;
    (b) 상기 X선 소스가 X선을 상기 마커에 투사하여 얻은 X선 영상에서 마커의 위치값을 추출하는 단계; 및
    (c) 투영 평면을 설정하고, 상기 원을 상기 투영 평면에 원근 투영하여 얻은 투영 이미지에서의 마커의 위치값과, 상기 X선 영상에서의 마커의 위치값을 이용하여 상기 원의 형태를 추정하는 단계를 포함하는 것을 특징으로 하는, 중재의료 기구의 포즈 추정 방법.
  2. 제1항에 있어서, 상기 (c) 단계는
    상기 방사선 비투과성 마커가 4개인 경우,
    상기 투영 이미지에서의 마커의 위치값은 상기 원의 중심 위치, 반경 및 회전행렬의 매개변수를 갖는 것을 특징으로 하는, 중재의료 기구의 포즈 추정 방법.
  3. 제2항에 있어서, 상기 (c) 단계는
    상기 원의 중심 위치, 반경, 및 회전행렬의 매개변수 값을 최소 제곱 최소화(least squares minimization)를 적용하여 계산하는 단계를 포함하는 것을 특징으로 하는, 중재의료 기구의 포즈 추정 방법.
  4. 제1항에 있어서, 상기 (c) 단계는
    상기 방사선 비투과성 마커가 5개인 경우,
    상기 투영 이미지에서의 마커의 위치값은 상기 원의 중심 위치, 반경 및 평면 법선벡터의 매개변수를 갖는 것을 특징으로 하는, 중재의료 기구의 포즈 추정 방법.
  5. 제4항에 있어서, 상기 (c) 단계는
    (c-1) 상기 투영 이미지에서 상기 마커의 위치값을 매개변수 행렬을 이용하여 정의하고, 상기 매개변수 행렬의 상기 마커의 위치값에 대응하는 각각의 행렬 성분을 사전에 설정된 기준을 통해 추정하는 단계; 및
    (c-2) 상기 매개변수 행렬로부터 정규화된 반지름, 정규화된 중심 위치 및 평면 법선벡터를 포함하는 정규화된 원 매개변수를 계산하는 단계를 포함하는 것을 특징으로 하는, 중재의료 기구의 포즈 추정 방법.
  6. 제5항에 있어서, 상기 (c) 단계 이후에
    (d) 상기 프로세서가, 상기 정규화된 원 매개변수로부터 상기 마커의 위치를 추정하는 단계를 더 포함하는 것을 특징으로 하는, 중재의료 기구의 포즈 추정 방법.
  7. 제5항에 있어서, 상기 (c-1) 단계는
    상기 매개변수 행렬은 6개의 독립 성분을 갖는 대칭 3 x 3 행렬인 것을 특징으로 하는, 중재의료 기구의 포즈 추정 방법.
  8. 제5항에 있어서, 상기 (c-1) 단계는
    상기 매개변수 행렬은 최소 제곱 최소화(least squares minimization)를 적용하여 추정되는 것을 특징으로 하는, 중재의료 기구의 포즈 추정 방법.
  9. 제5항에 있어서, 상기 (c-1) 단계 이후 및 상기 (c-2) 단계 이전에
    상기 프로세서가, 상기 매개변수 행렬의 두 번째로 큰 고유 값(eigenvalues)이 1이 되도록 상기 매개변수 행렬의 크기를 조정하는 단계를 더 포함하는 것을 특징으로 하는, 중재의료 기구의 포즈 추정 방법.
  10. 제5항에 있어서, 상기 (c-2) 단계는
    사전에 설정된 고유 값 분해 기준을 이용하여 상기 매개변수 행렬의 고유벡터(eigenvector) 및 복수의 고유 값을 산출하여 정규화된 반지름을 계산하는 단계를 포함하는 것을 특징으로 하는, 중재의료 기구의 포즈 추정 방법.
  11. 제10항에 있어서, 상기 (c-2) 단계는
    상기 정규화된 원 매개변수는 정규화된 중심 위치 및 평면 법선벡터를 포함하며,
    상기 매개변수 행렬의 대각합(trace)이 상기 매개변수 행렬의 고유 값의 합이라는 점을 이용하여 고유 벡터 행렬을 계산하는 단계; 및
    상기 매개변수 행렬의 고유 벡터가 대칭 행렬의 고유벡터와 직교하다는 점을 이용하여 상기 매개변수 행렬의 고유 값을 식별하고, 상기 고유 벡터 행렬을 인버팅함으로써 상기 정규화된 중심 위치 및 평면 법선벡터를 계산하는 단계를 더 포함하는 것을 특징으로 하는, 중재의료 기구의 포즈 추정 방법.
  12. 제6항에 있어서, 상기 (d) 단계는
    상기 정규화된 원 상에서의 마커 위치를 계산하는 단계; 및
    실제 마커 거리가 상기 투영 이미지 상의 마커 거리와 일치하도록 상기 정규화된 원과 상기 마커 위치의 크기를 스케일링하는 단계를 포함하는 것을 특징으로 하는, 중재의료 기구의 포즈 추정 방법.
  13. 제12항에 있어서,
    상기 마커 위치를 계산하는 단계는,
    상기 정규화된 원의 평면과 상기 투영 이미지 상의 마커 위치 벡터를 따르는 선과의 교차점을 계산하는 단계; 및
    상기 정규화된 원에 상기 교차점을 투영함으로써 추정치를 산출하는 단계를 포함하는 것을 특징으로 하는, 중재의료 기구의 포즈 추정 방법.
  14. 제12항에 있어서,
    상기 정규화된 원과 마커 위치를 스케일링하는 단계는,
    상기 정규화된 원을 따라 상기 마커들 사이의 길이, 및 상기 마커들 사이의 실제 길이를 이용하여 최소 제곱 최소화를 통해 스케일을 산출하는 단계; 및
    상기 스케일에 따라 상기 마커의 위치를 추정하는 단계를 포함하는 것을 특징으로 하는, 중재의료 기구의 포즈 추정 방법.
KR1020200048606A 2020-04-22 2020-04-22 단방향 x선 영상을 이용한 굽힘 가능한 중재의료 기구의 포즈 추정 방법 KR102307919B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200048606A KR102307919B1 (ko) 2020-04-22 2020-04-22 단방향 x선 영상을 이용한 굽힘 가능한 중재의료 기구의 포즈 추정 방법
US17/024,293 US11600014B2 (en) 2020-04-22 2020-09-17 Pose estimation method of bendable interventional medical device using single-view x-ray image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200048606A KR102307919B1 (ko) 2020-04-22 2020-04-22 단방향 x선 영상을 이용한 굽힘 가능한 중재의료 기구의 포즈 추정 방법

Publications (2)

Publication Number Publication Date
KR102307919B1 true KR102307919B1 (ko) 2021-10-05
KR102307919B9 KR102307919B9 (ko) 2022-04-11

Family

ID=78077518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200048606A KR102307919B1 (ko) 2020-04-22 2020-04-22 단방향 x선 영상을 이용한 굽힘 가능한 중재의료 기구의 포즈 추정 방법

Country Status (2)

Country Link
US (1) US11600014B2 (ko)
KR (1) KR102307919B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101188715B1 (ko) 2010-10-04 2012-10-09 한국과학기술연구원 수술 도구의 3차원 추적 시스템 및 이를 이용한 위치 감지 방법
KR101892631B1 (ko) 2017-03-06 2018-08-28 한국과학기술연구원 2차원 영상 기반의 수술도구 3차원 위치 추적 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104023625A (zh) * 2011-09-08 2014-09-03 Apn健康有限责任公司 R波检测方法
EP4049612B1 (en) * 2016-02-12 2024-04-10 Intuitive Surgical Operations, Inc. System and computer-readable medium storing instructions for registering fluoroscopic images in image-guided surgery
JP6828047B2 (ja) * 2016-02-12 2021-02-10 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導手術における透視撮像システムの姿勢推定及び較正のシステム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101188715B1 (ko) 2010-10-04 2012-10-09 한국과학기술연구원 수술 도구의 3차원 추적 시스템 및 이를 이용한 위치 감지 방법
US8682062B2 (en) 2010-10-04 2014-03-25 Korea Institute Of Science And Technology 3 dimension tracking system for surgery simulation and localization sensing method using the same
KR101892631B1 (ko) 2017-03-06 2018-08-28 한국과학기술연구원 2차원 영상 기반의 수술도구 3차원 위치 추적 장치 및 방법

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
"C. Doignon and M. de Mathelin, "A degenerate conic-based method for a direct fitting and 3-d pose of cylinders with a single perspective view," in Proceedings 2007 IEEE International Conference on Robotics and Automation. IEEE, 2007, pp. 4220-4225"
"C. Gouveia, P. Jorge, J. Baptista, and O. Frazao, "Temperatureindependent curvature sensor using fbg cladding modes based on a core misaligned splice," IEEE Photonics Technology Letters, vol. 23, no. 12, pp. 804-806, 2011"
"J. Leven, D. Burschka, R. Kumar, G. Zhang, S. Blumenkranz, X. D. Dai, M. Awad, G. D. Hager, M. Marohn, M. Choti et al., "Davinci canvas: a telerobotic surgical system with integrated, robot-assisted, laparoscopic ultrasound capability," in International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, 2005, pp. 811-818"
"R. M. Haralick, C.-n. Lee, K. Ottenburg, and M. N¨olle, "Analysis and solutions of the three points perspective pose estimation problem." In CVPR, vol. 91, 1991, pp. 592-598"
"S. C. Ryu and P. E. Dupont, "Fbg-based shape sensing tubes for continuum robots," in 2014 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2014, pp. 3531-3537"
"S. Hwang and D. Lee, "3d pose estimation of catheter band markers based on single-plane fluoroscopy," in 2018 15th International Conference on Ubiquitous Robots (UR). IEEE, 2018, pp. 723-728"
"S. Shin, Y. Kim, H. Cho, D. Lee, S. Park, G. J. Kim, and L. Kim,"A single camera tracking system for 3d position, grasper angle, and rolling angle of laparoscopic instruments," International journal of precision engineering and manufacturing, vol. 15, no. 10, pp. 2155-2160, 2014"
" C. Doignon, F. Nageotte, and M. de Mathelin, "The role of insertion points in the detection and positioning of instruments in laparoscopy for robotic tasks," in International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, 2006, pp.527-534"
" Z. Lunwei, Q. Jinwu, S. Linyong, and Z. Yanan, "Fbg sensor devices for spatial shape detection of intelligent colonoscope," in IEEE International Conference on Robotics and Automation, 2004. Proceedings. ICRA'04. 2004, vol. 1. IEEE, 2004, pp. 834-840"
3D Pose and Curvature Estimation of Bendable Interventional Device using Single-view X-ray Image, IEEE(2020.7.) *
3D Pose Estimation of Catheter Band Markers based on Single-Plane Fluoroscopy, IEEE(2018.6.) *

Also Published As

Publication number Publication date
US20210334999A1 (en) 2021-10-28
US11600014B2 (en) 2023-03-07
KR102307919B9 (ko) 2022-04-11

Similar Documents

Publication Publication Date Title
US11957629B2 (en) Systems and methods for assisting surgery
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
US20130094742A1 (en) Method and system for determining an imaging direction and calibration of an imaging apparatus
JP6776086B2 (ja) 複数目印ジグの識別及び位置合わせ
JP5547070B2 (ja) 対象の骨の取り込み投影画像におけるモーションアーチファクトを修正するための方法、および画像処理システム、コンピュータプログラムコード、およびコンピュータ読み取り可能な媒体
US20090088634A1 (en) Tool tracking systems and methods for image guided surgery
US9715739B2 (en) Bone fragment tracking
Ferguson et al. Toward image-guided partial nephrectomy with the da Vinci robot: exploring surface acquisition methods for intraoperative re-registration
Amiri et al. A low-cost tracked C-arm (TC-arm) upgrade system for versatile quantitative intraoperative imaging
Ourak et al. Fusion of biplane fluoroscopy with fiber Bragg grating for 3D catheter shape reconstruction
JP6340315B2 (ja) 画像処理方法
Lee et al. Simultaneous optimization of patient–image registration and hand–eye calibration for accurate augmented reality in surgery
CN112515766B (zh) 用于将x射线图像数据组与导航系统配准的方法和系统
Haliburton et al. A visual odometry base-tracking system for intraoperative C-arm guidance
KR102307919B1 (ko) 단방향 x선 영상을 이용한 굽힘 가능한 중재의료 기구의 포즈 추정 방법
Strydom et al. Robotic arthroscopy: The uncertainty in internal knee joint measurement
Bertelsen et al. Distortion correction and calibration of intra-operative spine X-ray images using a constrained DLT algorithm
Zhang et al. SIFT algorithm-based 3D pose estimation of femur
Lim et al. 3d pose and curvature estimation of bendable interventional device using single-view x-ray image
EP3533408B1 (en) Method, system, computer program product and computer-readable medium for temporarily marking a region of interest on a patient
JP7407831B2 (ja) 介入装置追跡
Gruijthuijsen et al. An automatic registration method for radiation-free catheter navigation guidance
He et al. Experimental and computational study of error and uncertainty in real-time camera-based tracking of a two-dimensional marker for orthopedic surgical navigation
Chen et al. Error analysis of the X-ray projection geometry of camera-augmented mobile C-arm

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]