KR20180104764A - 영상-안내 수술에서 정합되는 형광투시 영상을 사용하기 위한 시스템 및 방법 - Google Patents

영상-안내 수술에서 정합되는 형광투시 영상을 사용하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20180104764A
KR20180104764A KR1020187026147A KR20187026147A KR20180104764A KR 20180104764 A KR20180104764 A KR 20180104764A KR 1020187026147 A KR1020187026147 A KR 1020187026147A KR 20187026147 A KR20187026147 A KR 20187026147A KR 20180104764 A KR20180104764 A KR 20180104764A
Authority
KR
South Korea
Prior art keywords
fluoroscopic
reference frame
fluoroscopic image
anatomical
patient anatomy
Prior art date
Application number
KR1020187026147A
Other languages
English (en)
Inventor
타오 자오
페데리코 바르바그리
캐이틀린 큐 돈하우
빈센트 듀인담
미카엘 디 파리스
티모씨 디 소퍼
올리버 와그너
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Publication of KR20180104764A publication Critical patent/KR20180104764A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pulmonology (AREA)
  • Dentistry (AREA)
  • Human Computer Interaction (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

컴퓨팅 시스템에 의해 수행되는 방법은 의료 기구의 일 부분이 환자 해부구조 내에 위치되는 동안 환자 해부구조의 형광투시 영상을 수신하는 단계를 포함한다. 형광투시 영상은 형광투시 기준 프레임을 갖는다. 상기 부분은 해부학적 모델 기준 프레임에서 감지된 위치를 갖는다. 상기 방법은 형광투시 영상에서 상기 부분을 식별하는 단계 및 형광투시 영상에서 식별된 부분을 사용하여 형광투시 기준 프레임 내의 상기 부분의 추출된 위치를 식별하는 단계를 포함한다. 상기 방법은 형광투시 기준 프레임을 상기 부분의 감지된 위치 및 상기 부분의 추출된 위치에 기반하여 해부학적 모델 기준 프레임에 정합하는 단계를 추가로 포함한다.

Description

영상-안내 수술에서 정합되는 형광투시 영상을 사용하기 위한 시스템 및 방법
관련 출원
본 발명 출원은 발명의 명칭을 "영상-안내 수술에서 기구 내비게이션을 보조하도록 형광투시를 사용하기 위한 시스템 및 방법"으로 하여 2016년 2월 12일 자로 출원된 미국 가특허 출원 번호 62/294,870 및 "영상-안내 수술에서 정합된 형광투시 영상을 사용하기 위한 시스템 및 방법"으로 하여 2016년 2월 12일 자로 출원된 미국 가특허 출원 번호 62/294,879에 대한 우선권 및 이익을 주장하며, 두 출원 모두의 전체 내용이 본원에 참조로 통합된다.
본 개시내용은 영상-안내 시술을 수행하기 위한 시스템 및 방법에 관한 것이며, 더 구체적으로는, 영상-안내 시술에서 정합되는 실시간 형광투시 영상과 사전-시간 해부학적 영상을 사용하기 위한 시스템 및 방법에 관한 것이다.
최소 침습 의료 기술은 의료 시술 중에 손상되는 조직의 양을 감소시키도록 의도되고, 이에 의해 환자의 회복 시간, 불편함 및 해로운 부작용을 감소시킨다. 이러한 최소 침습 기술은 환자 해부구조 내의 자연적인 구멍을 통해서 또는 하나 이상의 수술 절개부를 통해서 수행될 수 있다. 이러한 자연적인 구멍 또는 절개부를 통해서, 임상의는 표적 조직 위치에 도달하기 위해 최소 침습 의료 기구(수술, 진단, 치료 또는 생검 기구를 포함)를 삽입할 수 있다. 표적 조직 위치에의 도달을 보조하기 위해서, 의료 기구의 위치 및 이동은 환자 해부구조의 수술전 또는 사전 수술중 정적 영상과 상관될 수 있다. 영상-안내 기구가 영상과 상관되는 것에 의해, 기구는 폐, 결장, 장, 신장, 심장, 순환 계통 등과 같은 해부학적 계통 내의 자연적 또는 수술적으로 생성된 통로를 내비게이션할 수 있다. 전통적으로 환자 해부구조의 수술전 또는 수술중 영상은, 대개 3차원의 자세한 영상이다. 그러나, 그는 환자 해부구조의 정적 사전-시간 표현이다. 형광투시는 환자 해부구조에 대한 의료 시술 중에 사용되는 임의의 방사선 불투과성 기구를 포함하는 환자 해부구조의 실시간 영상을 제공하는 영상화 양식이다. 그러나, 형광투시 영상은 조직의 소정의 유형의 고품질 영상을 포착할 수 없다. 시스템 및 방법은 영상-안내 수술을 수행하기 위한 강화된 내비게이션 정보를 제공하도록 실시간 형광투시 영상과 사전-시간 정적 영상을 정합(registration)하는 것을 필요로 한다.
본 발명의 실시예는 상세한 설명 이후의 청구항에 의해 요약된다.
일 실시예에서, 컴퓨팅 시스템에 의해 수행되는 방법은 의료 기구의 일 부분이 환자 해부구조 내에 위치되는 동안 환자 해부구조의 형광투시 영상을 수신하는 단계를 포함한다. 형광투시 영상은 형광투시 기준 프레임을 갖는다. 이 부분은 표시기 부분으로 지칭될 수 있고, 상기 부분은 비제한적 예시의 방법으로써, 근위부, 중간부, 원위부 및/또는 의료 기구의 원위 단부를 포함하는 의료 기구의 임의의 길이를 포함할 수 있다. 상기 부분은 해부학적 모델 기준 프레임에서 감지되거나 그렇지 않으면 공지된 위치를 갖는다. 이 방법은 형광투시 영상에서 상기 부분 위치를 식별하는 단계 및 형광투시 영상에서 상기 부분 위치를 사용하여 형광투시 기준 프레임 내의 상기 부분의 추출된 위치를 식별하는 단계를 추가로 포함한다. 상기 방법은 형광투시 기준 프레임을 상기 부분의 감지된 위치 및 상기 부분의 추출된 위치에 기반하여 해부학적 모델 기준 프레임에 정합하는 단계를 추가로 포함한다.
다른 실시예에서, 컴퓨팅 시스템에 의해 수행되는 방법은, 복수의 해부학적 랜드마크의 위치의 세트를 식별하는 단계로서, 복수의 해부학적 랜드마크는 모델 기준 프레임에서 환자 해부구조의 통로의 해부학적 모델에 렌더링되는 단계 및 의료 기구의 일 부분이 환자 해부구조의 통로 내의 복수의 해부학적 랜드마크를 횡단하는 동안 환자 해부구조의 형광투시 영상 데이터를 수신하는 단계를 추가로 포함한다. 형광투시 영상 데이터는 형광투시 기준 프레임을 갖는다. 상기 방법은 형광투시 기준 프레임 내의 복수의 해부학적 랜드마크에서의 부분 위치 세트를 식별하는 단계 및 모델 기준 프레임 내의 복수의 해부학적 랜드마크의 위치의 세트와 형광투시 기준 프레임 내의 부분 위치의 세트를 공통 기준 프레임에 정합하는 단계를 추가로 포함한다.
다른 실시예에서, 컴퓨팅 시스템에 의해 수행되는 방법은 모델 기준 프레임에서 환자 해부구조의 통로의 해부학적 모델을 위한 모델 지점의 세트를 수신하는 단계 및 의료 기구의 표시기 부분이 환자 해부구조의 통로를 횡단하는 동안 환자 해부구조의 형광투시 영상 데이터를 수신하는 단계를 포함한다. 형광투시 영상 데이터는 형광투시 기준 프레임을 갖는다. 상기 방법은 형광투시 영상 데이터, 형광투시 기준 프레임에서 표시기 부분 위치 지점의 세트를 식별하는 단계 및 각각의 표시기 부분 위치 지점을 매치 세트를 생성하도록 모델 지점의 세트 내의 모델 지점에 매칭시키는 단계를 추가로 포함한다. 상기 방법은 모델 기준 프레임을 매치 세트에 기반하여 형광투시 기준 프레임에 정합하는 단계를 추가로 포함한다.
다른 실시예에서, 컴퓨터-보조 의료 시스템은 수술 좌표 공간 내에 배향 평면을 갖는 형광투시 영상기 및 하나 이상의 프로세서를 포함한다. 하나 이상의 프로세서는 의료 기구의 일 부분이 환자 해부구조 내의 위치에 위치되는 동안 환자 해부구조의 형광투시 영상을 수신하는 단계를 포함하는 방법을 수행하도록 구성되고, 형광투시 영상은 배향 평면을 갖는다. 상기 방법은 또한 의료 기구의 부분의 움직임을 구동하라는 명령을 수신하는 단계, 부분의 활성화된 이동이 형광투시 영상의 배향 평면에 제약되도록 부분의 작동을 제약하는 단계 및 제약된 작동으로 부분의 움직임을 구동시키는 단계를 포함한다. 일 양태에서, 시스템은 제약된 작동으로 부분의 움직임을 구동시키는 동안 의료 기구로부터 센서 정보를 수신하는 단계, 수신된 센서 정보로부터 형광투시 영상의 배향 평면에서 부분의 이동을 인식하는 단계 및 형광투시 영상의 배향 평면 내로 부분을 조정하는 신호를 수신하는 단계를 추가로 포함한다.
다른 실시예에서, 컴퓨팅 시스템에 의해 수행되는 방법은 환자 해부구조의 해부학적 모델을 수신하는 단계를 포함하며, 관심 영역은 해부학적 모델 내에 식별된다. 상기 방법은 환자 해부구조 내에 위치하고 해부학적 모델에 정합되는 기구의 기구 형상 센서로부터 형상 센서 데이터를 수신하는 단계 및 수신된 형상 센서 데이터 및 관심 영역에 기반하여 표시하를 위한 형광투시 영상 평면을 결정하는 단계를 추가로 포함한다.
상기 일반적인 설명 및 하기 상세한 설명의 양자 모두는 오직 예시이고 설명인 것이며 본 개시내용의 범위를 제한하지 않으면서 본 개시내용의 이해를 제공하도록 의도되는 것으로 이해해야 한다. 그와 관련하여, 본 개시내용의 추가적인 양태, 특징, 및 이점은 이하의 상세한 설명으로부터 통상의 기술자에게 명확해질 것이다.
본 개시내용의 양태는, 첨부 도면과 함께 읽을 때, 이하의 상세한 설명으로부터 가장 잘 이해된다. 다양한 구성들은 본 산업 분야의 표준 실무에 따라서 비율에 맞게 도시된 것은 아님을 강조한다. 사실상, 다양한 구성의 치수는 설명을 명확하게 하기 위해 임의로 늘이거나 줄일 수 있다. 또한, 본 개시내용은 여러 예에서 참조 번호 및/또는 문자를 반복할 수 있다. 이러한 반복은 간단함과 명료함을 위한 것이고 그 자체가 설명된 다양한 실시예 및/또는 구성 사이의 관계를 지시하는 것은 아니다.
도 1은 본 개시내용의 실시예에 따른 원격조작 의료 시스템이다.
도 2a는 본 개시내용의 양태를 이용하는 의료 기구 시스템을 도시한다.
도 2b는 본 개시내용의 실시예에 따른, 연장된 의료 도구를 갖춘 도 2a의 의료 기구 시스템의 원위 단부를 도시한다.
도 3은 인간 폐 내에 위치된 도 2a의 의료 기구 시스템의 원위 단부를 도시한다.
도 4는 본 개시내용의 실시예에 따른 영상-안내 외과 시술에서 안내를 제공하기 위해 사용되는 방법을 도시하는 흐름도이다.
도 5는 본 개시내용의 실시예에 따른 의료 기구 및 형광투시 영상 시스템을 포함하는 수술 좌표 공간의 측면도이다.
도 6은 본 개시내용의 실시예에 따른 영상-안내 외과 시술의 흐름도를 도시한다.
도 7은 본 개시내용의 다른 실시예에 따른 영상-안내 외과 시술의 흐름도를 도시한다.
도 8은 본 개시내용의 다른 실시예에 따른 영상-안내 외과 시술의 일 부분의 흐름도를 도시한다.
도 9a, 9b 및 9c는 형광투시 기준 프레임에서 기구 부분 위치를 결정하기 위한 형광투시 영상을 도시한다.
도 10은 본 개시내용의 실시예에 따른 정합된 형광투시 및 해부학적 모델 영상이 표시된 표시 장치이다.
도 11은 본 개시내용의 실시예에 따른 형광투시 영상에 정합되고 중첩되는 해부학적 모델이 표시된 표시 장치이다.
도 12는 형광투시와 해부학적 기준 프레임 사이에서 상관된 해부학적 랜드마크를 설명한 상관 테이블을 도시한다.
도 13a 및 도 13b는 형광투시 영상의 세그먼트를 도시한다.
도 14는 본 개시내용의 다른 실시예에 따른 영상-안내 외과 시술의 일 부분의 흐름도를 도시한다.
도 15는 바람직한 형광투시 시야 평면을 결정하는 방법을 도시한다.
도 16은 2차원 형광투시 안내 하에 의료 기구를 구동하는 방법을 도시한다.
본 발명의 양태에 관한 이하의 상세한 설명에서, 개시된 실시예의 완전한 이해를 제공하기 위해서, 다수의 구체적인 상세 내용이 제시된다. 그러나, 본 기술분야의 통상의 기술자는, 이러한 구체적인 상세 내용이 없이도 본 개시내용의 실시예가 실시될 수 있다는 것을 명확하게 이해할 수 있다. 다른 경우에, 본 발명의 실시예의 양태를 불필요하게 불명확하게 하지 않기 위해서, 공지된 방법, 시술, 구성요소 및 회로는 상세히 설명하지 않는다. 그리고, 불필요한 설명적 반복을 피하기 위해서, 가능한 경우, 하나의 예시적 실시예에 따라서 설명된 하나 이상의 구성요소 또는 작용은 다른 예시적 실시예에서 사용될 수 있거나 그로부터 생략될 수 있다.
이하의 실시예는 다양한 기구 및 기구의 부분을 3차원 공간 내에서의 그들의 상태와 관련하여 설명할 것이다. 본 명세서에서 사용될 때, 용어 "위치"는 3차원 공간(예를 들어, 데카르트 X, Y, Z 좌표를 따르는 3개의 병진 자유도)에서 대상물 또는 대상물의 일 부분의 위치를 지칭한다. 본 명세서에서 사용될 때, 용어 "배향"은 대상물 또는 대상물의 일 부분의 회전적 배치(3개의 회전 자유도 - 예를 들어, 롤, 피치 및 요)를 지칭한다. 본 명세서에서 사용될 때, 용어 "자세"는 적어도 1 병진 자유도에서의 대상물 또는 대상물의 일 부분의 위치 및 적어도 1 회전 자유도에서의 대상물 또는 대상물의 일부의 배향을 지칭한다(최대 총 6 자유도). 본 명세서에서 사용될 때, 용어 "형상"은 대상물을 따라 측정된 자세, 위치 또는 배향의 세트를 지칭한다.
도면 중 도 1을 참고하면, 예를 들어 수술, 진단, 치료 또는 생검 시술에서의 사용을 위한 원격조작 의료 시스템이 일반적으로 원격조작 의료 시스템(100)으로 표시된다. 도 1에 도시된 바와 같이, 원격조작 시스템(100)은 일반적으로 환자(P)에 대한 다양한 시술을 수행함에 있어서 의료 기구 시스템(104)을 조작하기 위한 원격조작 조종기 조립체(102)를 포함한다. 원격조작 조종기 조립체(102)는 또한 원격조작 조립체(102) 또는 조종기 조립체(102)로 지칭될 수 있다. 의료 기구 시스템(104)은 또한 의료 기구(104)로 지칭될 수 있다. 조종기 조립체(102)는 수술 테이블(O)에 장착되거나 그 근처에 있다. 조작자 입력 시스템(106)(또한 "마스터 조립체(106)"로 불림)은 임상의 또는 외과의사(S)가 중재 부위를 보고 조종기 조립체(102)를 제어하는 것을 허용한다.
조작자 입력 시스템(106)은 통상적으로 수술 테이블(O)과 동일한 방 안에 위치되는 외과의사의 콘솔에 위치될 수 있다. 그러나, 외과의사(S)는 환자(P)로부터 다른 방 또는 완전히 다른 건물에 위치될 수도 있다는 것을 이해해야 한다. 조작자 입력 시스템(106)은 일반적으로 하나 이상의 조종기 조립체(102)를 제어하기 위한 하나 이상의 제어 장치를 포함한다. 제어 장치는 조이스틱, 트랙볼, 데이터 글러브, 트리거-건, 수조작식 제어기, 음성 인식 장치, 신체 운동 또는 존재 센서 등과 같은 임의의 수의 다양한 입력 장치를 포함할 수 있다. 일부 실시예에서, 외과의사가 직접적으로 기구(104)를 제어하는 강한 느낌이 들도록 제어 장치가 기구(104)와 일체라는 인식 또는 원격현존감(telepresence)을 외과의사에게 제공하기 위해 제어 장치에는 연관된 의료 기구(104)와 동일한 자유도가 제공될 것이다. 다른 실시예에서, 제어 장치는 연관된 의료 기구(104)보다 많거나 적은 자유도를 가지면서 여전히 외과의사에게 원격현존감을 제공할 수 있다. 일부 실시예에서, 제어 장치는 6개의 자유도로 이동하고, 그리고 또한 기구를 작동시키기 위한(예를 들어, 파지 조(grasping jaws)를 폐쇄하고, 전위를 전극에 인가하고, 의료적 치료법을 전달하는 등을 위한) 작동가능 핸들을 포함할 수 있는 수동 입력 장치이다.
원격조작 조립체(102)는 의료 기구 시스템(104)을 지지하며, 하나 이상의 비-서보 제어형 링크(예를 들어, 일반적으로 셋업 구조물로 지칭되고, 수동으로 위치되어 제 위치에 로킹될 수 있는 하나 이상의 링크)의 운동학적 구조물 및 원격조작 조종기를 포함할 수 있다. 원격조작 조립체(102)는 제어 시스템(예를 들어, 제어 시스템(112))으로부터의 명령에 응답하여 의료 기구 시스템(104)에 대한 입력을 구동하는 복수의 액추에이터 또는 모터를 포함한다. 모터는, 의료 기구 시스템(104)에 결합될 때 의료 기구를 자연적 또는 수술적으로 생성된 해부학적 구멍 내로 전진시킬 수 있는 구동 시스템을 포함한다. 다른 모터식(motorized) 구동 시스템이, 3개의 선형 운동도(degree of linear motion)(예를 들어, X, Y, Z 데카르트 축을 따른 선형 움직임)를 포함할 수 있는 다중 자유도 및 3개의 회전 운동도(예를 들어, X, Y, Z 데카르트 축 주위의 회전)로 의료 기구의 원위 단부를 이동시킬 수 있다. 추가적으로, 모터는 생검 장치 등의 조 내에 조직을 파지하기 위한 기구의 관절식 말단 실행기(articulable end effector)를 작동시키도록 사용될 수 있다. 리졸버, 인코더, 전위차계 및 다른 메커니즘과 같은 모터 위치 센서가 모터 샤프트의 회전 및 배향을 설명하는 원격조작 조립체에 센서 데이터를 제공할 수 있다. 이러한 위치 센서 데이터는 모터에 의해 조종되는 대상물의 움직임을 결정하기 위해 사용될 수 있다.
원격조작 의료 시스템(100)은 또한 원격조작 조립체의 기구에 대한 정보를 수신하기 위해 하나 이상의 하위시스템을 갖춘 센서 시스템(108)을 포함한다. 이러한 하위시스템은 위치설정/위치 센서 시스템(예를 들어, 전자기(EM) 센서 시스템), 의료 기구 시스템(104)의 가요성 본체를 따르는 하나 이상의 세그먼트 및/또는 카테터 팁의 위치, 배향, 속력, 속도, 자세 및/또는 형상을 결정하기 위한 형상 센서 시스템, 및/또는 카테터 시스템의 원위 단부로부터 영상을 포착하기 위한 시각화 시스템을 포함할 수 있다.
시각화 시스템(예를 들어, 도 2a의 시각화 시스템(231))은 수술 부위의 동시 또는 실시간 영상을 기록하고 그 영상을 임상의 또는 외과의사(S)에게 제공하는 관찰경 조립체를 포함할 수 있다. 동시 영상(concurrent image)은, 예를 들어, 수술 부위 내에 위치되는 내시경에 의해 포착되는 2차원 또는 3차원 영상일 수 있다. 본 실시예에서, 시각화 시스템은 의료 기구(104)에 일체로 또는 제거가능하게 결합될 수 있는 내시경 구성요소를 포함한다. 그러나, 대안적인 실시예에서, 개별적인 조종기 조립체에 부착되는 개별적인 내시경이 수술 부위를 영상화하기 위해 의료 기구와 함께 사용될 수 있다. 시각화 시스템은 제어 시스템(112)(이하에서 설명됨)의 프로세서를 포함할 수 있는 하나 이상의 컴퓨터 프로세서와 상호작용하거나 그에 의해 다른 방식으로 실행되는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 제어 시스템(112)의 프로세서는 본원에 개시된 프로세스에 대응하는 명령어를 포함하는 명령어를 실행할 수 있다.
원격조작 의료 시스템(100)은 또한 수술 부위의 영상 또는 표현을 표시하기 위한 표시 시스템(110)(또한 "표시부(110)")과, 센서 시스템(108)의 하위시스템에 의해 생성된 의료 기구 시스템(들)(104)을 포함할 수 있다. 표시 시스템(110)과 조작자 입력 시스템(106)은 조작자가 원격현존감을 인식하면서 조작자 입력 시스템(106) 및 의료 기구 시스템(104)을 제어할 수 있도록 배향될 수 있다.
표시 시스템(110)은 또한 시각화 시스템에 의해 포착된 수술 부위 및 의료 기구의 영상을 표시할 수 있다. 표시 시스템(110) 및 제어 장치는, 조작자가 마치 실질적으로 실존하는 작업공간을 관찰하는 것처럼 의료 기구(104) 및 손 제어를 조종할 수 있도록, 스코프 조립체 및 의료 기구 내의 영상화 장치의 상대 위치가 외과의사의 눈 및 손의 상대 위치와 유사하도록 배향될 수 있다. 실존은, 영상의 제시가 기구(104)를 물리적으로 조종하고 있는 조작자의 관점을 모사하는 실제 원근 영상인 것을 의미한다.
대안적으로 또는 추가적으로, 표시 시스템(110)은 컴퓨터 단층촬영(CT), 자기 공명 영상화(MRI), 형광투시, 열조영, 초음파, 광 간섭 단층촬영(OCT), 열 영상화, 임피던스 영상화, 레이저 영상화 또는 나노튜브 X-선 영상화 같은 영상화 기술로부터의 영상 데이터를 수술전 또는 수술중에 사용하여 기록된 수술 부위의 영상을 제시할 수 있다. 수술전 또는 수술중 영상 데이터는 2차원, 3차원 또는 4차원(예를 들어, 시간 기반 또는 속도 기반 정보 포함) 영상으로서, 또는 수술전 또는 수술중 영상 데이터 세트로부터 생성되는 모델로부터의 영상으로서 제시될 수 있다.
대개 영상화 안내식 외과 시술을 목적으로 하는 일부 실시예에서, 표시 시스템(110)은, 의료 기구(104)의 팁의 위치의 관점으로부터 내부 수술 부위의 가상 영상을 임상의 또는 외과의사(S)에게 제시하기 위해 의료 기구(104)의 실제 위치가 수술전 또는 동시적 영상/모델과 정합되는(즉, 동적으로 참조되는) 가상 내비게이션 영상을 표시할 수 있다. 기구(104)의 팁의 영상, 또는 다른 그래픽 또는 영숫자(alphanumeric) 지표가 의료 기구를 제어하는 외과의사를 보조하기 위해 가상 영상 상에 중첩될 수 있다. 대안적으로, 기구(104)는 가상 영상에서 보이지 않을 수 있다.
다른 실시예에서, 표시 시스템(110)은 임상의 또는 외과의사(S)에게 외부 관점으로부터 수술 부위 내의 의료 기구의 가상 영상을 제시하기 위해 의료 기구의 실제 위치가 수술전 또는 동시적 영상과 정합되는 가상 내비게이션 영상을 표시할 수 있다. 의료 기구의 일 부분의 영상, 또는 다른 그래픽 또는 영숫자 지표가 기구(104)를 제어하는 외과의사를 보조하기 위해 가상 영상 상에 중첩될 수 있다.
원격조작 의료 시스템(100)은 또한 제어 시스템(112)을 포함한다. 제어 시스템(112)은 의료 기구 시스템(104), 조작자 입력 시스템(106), 센서 시스템(108) 및 표시 시스템(110) 사이의 제어를 실행하기 위해 적어도 하나의 메모리 및 적어도 하나의 컴퓨터 프로세서(도시되지 않음), 그리고 통상적으로는 복수의 프로세서를 포함한다. 제어 시스템(112)은 또한 표시 시스템(110)에 정합되는 영상을 제공하기 위한 명령어를 포함하는, 본원에 개시된 양태에 따라 설명된 방법 중 일부 또는 모두를 구현하기 위해 프로그래밍된 명령어(예를 들어, 명령어를 저장하는 컴퓨터 판독가능 매체)를 포함한다. 제어 시스템(112)은 도 1의 단순화된 개요에서 단일 블록으로 도시되었지만, 시스템은 둘 이상의 데이터 처리 회로를 포함할 수 있는데, 여기에서 이러한 처리의 일 부분이 선택적으로 원격조작 조립체(102) 상에서 또는 그에 인접하여 수행되고, 처리의 다른 부분이 조작자 입력 시스템(106)에서 수행된다. 매우 다양한 중앙집중형 또는 분산형 데이터 처리 아키텍처 중 임의의 것이 채용될 수 있다. 유사하게, 프로그래밍된 명령어는 다수의 개별 프로그램 또는 하위구조로서 구현될 수 있거나, 또는 이들은 본원에서 설명된 원격조작 시스템의 다수의 다른 양태 내로 통합될 수 있다. 일 실시예에서, 제어 시스템(112)은 블루투스, IrDA, HomeRF, IEEE 802.11, DECT 및 무선 원격측정(Wireless Telemetry)과 같은 무선 통신 프로토콜을 지원한다.
일부 실시예에서, 제어 시스템(112)은 의료 기구 시스템(104)으로부터 힘 및/또는 토크 피드백을 수신하는 하나 이상의 서보 제어기를 포함할 수 있다. 피드백에 응답하여, 서보 제어기는 조작자 입력 시스템(106)으로 신호를 송신한다. 서보 제어기(들)는 또한 환자 신체 내의 개구부를 통해서 환자 신체 내의 내부 수술 부위 내로 연장되는 의료 기구 시스템(들)(104)을 이동시키기 위해 원격조작 조립체(102)에 명령하는 신호를 송신할 수 있다. 임의의 적합한 종래의 또는 특화된 서보 제어기가 사용될 수 있다. 서보 제어기는 원격조작 조립체(102)로부터 분리되거나, 또는 그와 통합될 수 있다. 일부 실시예에서, 서보 제어기 및 원격조작 조립체는 환자의 신체에 인접하여 배치되는 원격조작 아암 카트(teleoperational arm cart)의 일부로서 제공된다.
제어 시스템(112)은, 영상-안내 외과 시술에서 사용될 때 의료 기구 시스템(들)(104)에 내비게이션 보조를 제공하기 위해 가상 시각화 시스템을 추가로 포함할 수 있다. 가상 시각화 시스템을 사용하는 가상 내비게이션은 해부학적 통로의 취득된 수술전 또는 수술중 데이터세트에 대한 참조에 기반한다. 더 구체적으로, 가상 시각화 시스템은 컴퓨터처리 단층촬영(CT), 자기 공명 영상화(MRI), 형광투시, 열조영, 초음파, 광 간섭 단층촬영(OCT), 열 영상화, 임피던스 영상화, 레이저 영상화, 나노튜브 X-선 영상화 등과 같은 영상화 기술을 사용하여 영상화된 수술 부위의 영상을 처리한다. 기록된 영상을 부분적 또는 전체적 해부학적 장기 또는 해부학적 구역의 세그먼트화된 2차원 또는 3차원 복합 표현으로 변환하기 위해 소프트웨어가 단독으로 또는 수동 입력과 조합되어 사용된다. 영상 데이터 세트는 복합 표현과 연관된다. 복합 표현 및 영상 데이터 세트는 통로의 다양한 위치 및 형상, 그리고 그들의 연결성을 설명한다. 복합 표현을 생성하기 위해 사용되는 영상은 임상 시술 동안 사전 시간(prior time)에 수술전 또는 수술중에 기록될 수 있다. 대안적인 실시예에서, 가상 시각화 시스템은 표준 표현(즉, 환자에 특정되지 않음) 또는 표준 표현과 환자 특정 데이터의 혼합을 사용할 수 있다. 복합 표현 및 복합 표현에 의해 생성된 임의의 가상 영상은 하나 이상의 운동 단계 동안(예를 들어, 폐의 흡기/호기 주기 동안) 변형가능한 해부학적 구역의 정적 자세를 표현할 수 있다.
가상 내비게이션 시술 동안, 센서 시스템(108)은 환자 해부구조에 대한 기구의 근사 위치를 연산하기 위해 사용될 수 있다. 이 위치는 환자 해부구조의 거시-수준(외부) 추적 영상과 환자 해부구조의 가상 내부 영상 양자 모두를 생성하기 위해 사용될 수 있다. 가상 시각화 시스템으로부터의 영상들 같은 수술전 기록된 수술 영상과 함께 의료 기구를 정합 및 표시하기 위해 전자기(EM) 센서, 광섬유 센서 또는 다른 센서를 사용하기 위한 다양한 시스템이 공지되어 있다. 예를 들어, 미국 특허 출원 번호 13/107,562(2011년 5월 13일 출원)("영상-안내 수술을 위한 해부학적 구조물의 모델의 동적 정합을 제공하는 의료 시스템"을 개시)이 한 가지 이러한 시스템을 개시하고 있으며, 그 전문이 본 명세서에 참조로 통합된다.
원격조작 의료 시스템(100)은 조명 시스템, 조향 제어 시스템, 관류(irrigation) 시스템 및/또는 흡입 시스템과 같은 선택적인 조작 및 지원 시스템(도시되지 않음)을 추가로 포함할 수 있다. 대안적 실시예에서, 원격조작 시스템은 하나 초과의 원격조작 조립체 및/또는 하나 초과의 조작자 입력 시스템을 포함할 수 있다. 조종기 조립체의 정확한 수는 다른 요인들 중 외과 시술 및 수술실 내의 공간 제약에 의존할 것이다. 조작자 입력 시스템들은 함께 위치될 수 있거나, 또는 별도의 위치에 위치될 수 있다. 다중 조작자 입력 시스템은 1명 초과의 조작자가 1개 이상의 조종기 조립체를 다양한 조합으로 제어할 수 있게 한다.
도 2a는 원격조작 의료 시스템(100)으로 수행되는 영상 안내 의료 시술에서 의료 기구 시스템(104)으로 사용될 수 있는 의료 기구 시스템(200)(또한 "의료 기구(200)" 또는 "기구 시스템(200)")을 도시한다. 대안적으로, 의료 기구 시스템(200)은 비-원격조작 탐사 시술에 또는 내시경과 같은 전형적인 수동 조작식 의료 기구를 수반하는 시술에 사용될 수도 있다. 추가적으로 또는 대안적으로, 의료 기구 시스템(200)은 환자 해부학적 통로에 있어서의 위치에 대응하는 데이터 지점의 세트를 수집(즉, 측정)하기 위해 사용될 수 있다.
기구 시스템(200)은, 구성요소를 수납하기 위해 사용될 때 "하우징(204)"으로 지칭될 수 있는 기구 본체(204)에 결합되는 카테터 시스템(202)(또한, "카테터(202)")을 포함한다. 카테터 시스템(202)은 근위 단부(217) 및 원위 단부(218)(이는 카테터 본체(216")의 팁 부분일 때 "팁 부분(218)"으로 불릴 수 있음)를 갖는 세장형 가요성 카테터 본체(216)를 포함한다. 일 실시예에서, 가요성 본체(216)는 대략 3mm의 외부 직경을 갖는다. 다른 가요성 본체 외부 직경은 더 크거나 더 작을 수도 있다. 카테터 시스템(202)은 원위 단부(218)에 있는 카테터 팁 및/또는 카테터 본체(216)를 따르는 하나 이상의 세그먼트(224)의 위치, 배향, 속력, 속도, 자세 및/또는 형상을 결정하기 위한 형상 센서 시스템(222)(또한 "형상 센서(222)")을 선택적으로 포함할 수 있다. 원위 단부(218)와 근위 단부(217) 사이의 카테터 본체(216)의 전체 길이는 세그먼트(224)로 효과적으로 분할될 수 있다. 기구 시스템(200)이 원격조작 의료 시스템(100)의 의료 기구(104)인 경우, 형상 센서 시스템(222)은 센서 시스템(108)의 구성요소일 수 있다. 기구 시스템(200)이 수동적으로 조작되거나 다른 방식으로 비-원격조작 시술을 위해 사용되는 경우, 형상 센서 시스템(222)은 형상 센서에 질의하고 수신된 형상 데이터를 처리하는 추적 시스템(230)에 결합될 수 있다.
형상 센서 시스템(222)은 가요성 카테터 본체(216)와 정렬된 (예를 들어, 내측 채널(도시되지 않음) 내에 제공되거나 또는 외부에 장착된) 광섬유를 포함할 수 있다. 일 실시예에서, 광섬유는 대략 200㎛의 직경을 갖는다. 다른 실시예에서, 치수는 더 크거나 더 작을 수 있다. 형상 센서 시스템(222)의 광섬유는 카테터 시스템(202)의 형상을 결정하기 위한 광섬유 굴곡 센서를 형성한다. 일 대체예에서, FBGs(Fiber Bragg Gratings)를 포함하는 광섬유가 하나 이상의 차원으로 구조의 변형 측정을 제공하기 위해 사용된다. 3차원에서 광섬유의 형상 및 상대 위치를 감시하기 위한 다양한 시스템 및 방법이 미국 특허 출원 번호 11/180,389(2005년 7월 13일 출원)("광섬유 위치 및 형상 감지 장치 및 그에 관련된 방법"을 개시), 미국 특허 출원 번호 12/047,056(2004년 7월 16일 출원)("광섬유 형상 및 상대 위치 감지"를 개시), 및 미국 특허 번호 6,389,187(1998년 6월 17일 출원)("광섬유 굴곡 센서")에서 설명되며, 그 전문이 본 명세서에 참조로 통합된다. 대안적인 실시예에서의 센서는 레일리 산란(Rayleigh scattering), 라만 산란(Raman scattering), 브릴루앙 산란(Brillouin scattering) 및 형광 산란(Fluorescence scattering)과 같은 다른 적합한 변형 감지 기술을 채용할 수 있다. 다른 대안적 실시예에서, 카테터의 형상은 다른 기술을 사용하여 결정될 수 있다. 예를 들어, 카테터의 원위 팁 자세의 이력이 시간 간격에 걸쳐 장치의 형상을 재구성하기 위해 사용될 수 있다. 다른 예로서, 호흡과 같은 교번적인 운동의 주기를 따르는 기구 시스템의 공지된 지점에 대한 이력 자세, 위치 또는 배향 데이터가 저장될 수 있다. 이 저장된 데이터는 카테터에 대한 형상 정보를 제작하기 위해 사용될 수 있다. 대안적으로, 카테터를 따라 위치되는 전자기(EM) 센서 같은 일련의 위치 센서가 형상 감지를 위해 사용될 수 있다. 대안적으로, 시술 동안의 기구 시스템 상의 EM 센서 같은 위치 센서로부터의 데이터의 이력이, 특히 해부학적 통로가 일반적으로 정적인 경우에, 기구의 형상을 표현하기 위해 사용될 수 있다. 대안적으로, 외부 자기장에 의해 제어되는 위치 또는 배향을 갖는 무선 장치가 형상 감지를 위해 사용될 수 있다. 무선 장치의 위치의 이력은 내비게이션되는 통로에 대한 형상을 결정하기 위해 사용될 수 있다.
의료 기구 시스템은 위치 센서 시스템(220)을 선택적으로 포함할 수 있다. 위치 센서 시스템(220)은 외부에서 생성된 전자기장에 노출될 수 있는 하나 이상의 전도성 코일을 포함하는 센서 시스템(220)을 갖춘 EM 센서 시스템의 구성요소일 수 있다. 이러한 실시예에서, 위치 센서 시스템(220)을 포함하는 EM 센서 시스템의 각 코일은 외부에서 생성된 전자기장에 대한 코일의 위치 및 배향에 의존하는 특성을 갖는 유도 전기 신호를 생성한다. 일 실시예에서, EM 센서 시스템은 6 자유도, 예를 들어 3개의 위치 좌표(X, Y, Z) 및 기부 지점의 피치, 요, 및 롤을 지시하는 3개의 배향 각도 또는 5개의 자유도, 예를 들어 3개의 위치 좌표(X, Y, Z) 및 기부 지점의 피치 및 요를 지시하는 2개의 배향 각도를 측정하도록 구성 및 위치될 수 있다. EM 센서 시스템의 추가적인 설명이 미국 특허 번호 6,380,732(1999년 8월 11일 출원)("추적되는 대상에 대한 수동 트랜스폰더를 갖는 6-자유도 추적 시스템"을 개시)에 제공되어 있으며, 그 전문이 본원에 참조로 통합된다. 일부 실시예에서, 형상 센서는, 센서의 형상이 (환자의 고정된 좌표계에서의) 형상 센서의 기부의 위치에 대한 정보와 함께 원위 팁을 포함하는 형상 센서를 따르는 다양한 지점의 위치가 계산되는 것을 허용하기 때문에, 위치 센서로서도 기능할 수 있다.
추적 시스템(230)은 기구 시스템(200)을 따르는 1개 이상의 세그먼트(224) 및 원위 단부(218)의 위치, 배향, 속력, 자세 및/또는 형상을 결정하기 위한 위치 센서 시스템(220) 및 형상 센서 시스템(222)을 포함할 수 있다. 추적 시스템(230)은 제어 시스템(116)의 프로세서를 포함할 수 있는 1개 이상의 컴퓨터 프로세서와 상호작용하거나 또는 그에 의해 다른 방식으로 실행되는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다.
가요성 카테터 본체(216)는 의료 기구(226)를 수용하도록 크기 및 형상이 설정되는 채널(221)(도 2b 참조)을 포함한다. 의료 기구는, 예를 들어, 영상 포착 프로브, 생검 기구, 레이저 절제 섬유, 또는 다른 수술, 진단 또는 치료 도구를 포함할 수 있다. 의료 도구는 스칼펠(scalpel), 무딘 블레이드, 광섬유 또는 전극 같은 단일 작업 부재를 갖는 말단 실행기를 포함할 수 있다. 다른 말단 실행기는, 예를 들어, 겸자, 파지기, 가위 또는 클립 적용기를 포함할 수도 있다. 전기 작동식 말단 실행기의 예는 전기 수술용 전극, 변환기, 센서 등을 포함한다.
다양한 실시예에서, 의료 기구(들)(226)는, 표시를 위해 시각화 시스템(231)에 의해 처리되는 영상(비디오 영상을 포함)을 포착하기 위한 가요성 카테터 본체(216)의 원위 단부(218)에서 또는 그 근처에서 스테레오스코픽(stereoscopic) 또는 모노스코픽(monoscopic) 카메라를 갖춘 원위 부분을 포함하는 영상 포착 프로브일 수 있다. 영상 포착 프로브는 포착된 영상 데이터를 송신하기 위한 카메라에 결합된 케이블을 포함할 수 있다. 대안적으로, 영상 포착 기구는 시각화 시스템에 결합되는 파이버스코프와 같은 광섬유 다발일 수 있다. 영상 포착 기구는, 예를 들어, 가시적, 적외선 또는 자외선 스펙트럼 중 하나 이상에서 영상 데이터를 포착하는 단일 또는 다중 스펙트럼식일 수 있다.
다양한 실시예에서, 의료 기구(226)는 표적 해부학적 위치로부터 샘플 조직 또는 세포의 샘플을 제거하도록 사용되는 생검 기구이다. 기구(226)는 시술을 수행하기 위해 채널(221)의 개구부로부터 전진되고 그 후 시술이 완료되면 채널 내로 후퇴될 수 있다. 의료 기구(226)는 카테터 가요성 본체의 근위 단부(217) 또는 가요성 본체를 따르는 다른 선택적 기구 포트(도시되지 않음)로부터 제거될 수 있다.
의료 기구(226)는 기구의 원위 단부를 제어가능하게 굴곡시키기 위해 기구의 근위 단부와 원위 단부 사이에서 연장되는 케이블, 연동구 또는 다른 작동 제어부(도시되지 않음)를 수납할 수 있다. 조향가능한 기구는 미국 특허 번호 7,316,681(2005년 10월 4일 출원) ("향상된 민첩성과 감도로 최소 침습 수술을 수행하기 위한 관절 수술 기구"를 개시) 및 미국 특허 출원 번호 12/286,644(2008년 9월 30일 출원) ("수술 기구 용 수동 프리로드 및 캡스턴 구동"을 개시)에 상세히 기재되고, 그 전문이 본 명세서에 참조로 통합된다.
가요성 카테터 본체(216)는 또한, 예를 들어, 원위 단부의 파선 묘사(219)에 의해 도시된 바와 같이 원위 단부(218)를 제어가능하게 굴곡시키기 위해 하우징(204)과 원위 단부(218) 사이에서 연장되는 케이블, 연동구 또는 다른 조향 제어부(도시되지 않음)를 수납할 수 있다. 조향가능한 카테터는 미국 특허 출원 번호 13/274,208(2011년 10월 14일 출원) ("제거가능한 시력 프로브를 갖춘 카테터"를 개시)에 상세히 기재되고, 그 전문이 본 명세서에 참조로 통합된다. 기구 시스템(200)이 원격조작 조립체에 의해 작동되는 실시예에서, 하우징(204)은, 원격조작 조립체의 모터식 구동 요소에 제거가능하게 결합되고 그로부터 동력을 수용하는 구동 입력부를 포함할 수 있다. 기구 시스템(200)이 수동으로 조작되는 실시예에서, 하우징(204)은 기구 시스템의 운동을 수동으로 제어하기 위해 파지 특징부, 수동 액추에이터 또는 다른 구성요소를 포함할 수 있다. 카테터 시스템은 조향가능 하거나, 또는 대안적으로 카테터 시스템은 기구 굴곡의 조작자 제어를 위한 통합된 메커니즘이 없는 상태로 조향불가능할 수도 있다. 추가적으로 또는 대안적으로, 의료 기구가 이 루멘을 통해 전개되어 표적 수술 위치에서 사용될 수 있는 하나 이상의 루멘이 가요성 본체(216)의 벽 내에 형성된다.
다양한 실시예에서, 의료 기구 시스템(200)은 폐의 진찰, 진단, 생검 또는 치료에서의 사용을 위한 기관지경 또는 기관지 카테터와 같은 가요성 기관지 기구를 포함할 수 있다. 기구 시스템(200)은 또한 결장, 장, 신장, 뇌, 심장, 순환 계통 등을 포함하는 임의의 다양한 해부학적 계통 중에 자연적 또는 수술적으로 생성된 연결 통로를 통한 다른 조직의 내비게이션 및 치료에 적합하다.
추적 시스템(230)으로부터의 정보는, 기구 시스템(200)의 제어에서 사용하기 위해 표시 시스템(110) 상에 외과의사 또는 다른 조작자에게 실시간 위치 정보를 제공하도록 시각화 시스템(231)으로부터의 정보 및/또는 수술전 획득 모델과 조합되는, 내비게이션 시스템(232)에 발송될 수 있다. 제어 시스템(116)은 기구 시스템(200)의 위치설정을 위한 피드백으로 위치 정보를 이용할 수 있다. 수술 기구를 수술 영상과 정합하고 표시하기 위해 광섬유 센서를 사용하는 다양한 시스템이 "영상-안내를 위한 해부학적 구조의 모델의 동적 정합을 제공하는 의료 시스템"을 개시하는 2011년 5월 13일에 출원된 미국 특허 출원 번호 13/107,562에 제공되며, 그 전문이 본원에 참조로 통합된다.
도 2a의 실시예에서, 기구 시스템(200)은 원격조작 의료 시스템(100)에서 원격조작된다. 대안적 실시예에서, 원격조작 조립체(102)는 직접적 조작자 제어로 대체될 수 있다. 직접적 조작 대체예에는, 다양한 핸들과 조작자 인터페이스가 기구의 휴대식(hand-held) 조작을 위해 포함될 수 있다.
대안적 실시예에서, 원격조작 시스템은 1개 초과의 종속 조종기 조립체 및/또는 1개 초과의 마스터 조립체를 포함할 수 있다. 조종기 조립체의 정확한 수는 다른 요인들 중 의료 시술 및 수술실 내의 공간 제약에 의존할 것이다. 마스터 조립체는 함께 위치될 수 있거나, 또는 별개의 위치에 위치될 수 있다. 다중 마스터 조립체는 1명 초과의 조작자가 1개 이상의 종속 조종기 조립체를 다양한 조합으로 제어할 수 있게 한다.
도 3은 환자 해부구조의 해부학적 통로 내에 위치된 카테터 시스템(202)을 도시한다. 본 실시예에서, 해부학적 통로는 인간 폐(201)의 기도이다. 대안적 실시예에서, 카테터 시스템(202)은 해부구조의 다른 통로에서 사용될 수 있다.
도 4는 영상-안내 외과 시술에서 사용하기 위한 일반적인 방법(300)을 도시하는 흐름도이다. 다양하게 제공된 예시가 해부구조 내에서 수행되는 시술의 사용을 설명하지만, 대안적 실시예에서, 본 개시내용의 장치 및 방법은 해부구조 내에서 사용될 필요가 없으며, 오히려 환자 해부구조의 외측에서 사용될 수 있다. 프로세스(302)에서, 수술전 또는 수술중 영상 데이터가 포함되는 사전 영상 데이터가 컴퓨터 단층촬영(CT), 자기 공명 영상화(MRI), 형광투시, 열조영, 초음파, 광 간섭 단층촬영(OCT), 열 영상화, 임피던스 영상화, 레이저 영상화 또는 나노튜브 X-선 영상화 같은 영상화 기술로부터 획득된다. 수술전 또는 수술중 영상 데이터는 2차원, 3차원 또는 4차원(예를 들어, 시간 기반 또는 속도 기반 정보 포함) 영상에 대응할 수 있다. 예를 들어, 영상 데이터는 도 3의 인간 폐(201)를 표현할 수 있다.
프로세스(304)에서, 컴퓨터 소프트웨어가 단독으로 또는 수동 입력과 조합되어 기록된 영상을 부분적 또는 전체적 해부학적 장기 또는 해부학적 구역의 세그먼트화된 2차원 또는 3차원 복합 표현 또는 모델로 변환하기 위해 사용된다. 복합 표현 및 영상 데이터 세트는 통로의 다양한 위치 및 형상, 그리고 그들의 연결성을 설명한다. 더 구체적으로는, 세그먼트화 프로세스 동안, 영상은 색, 밀도, 강도, 및 질감 같은 소정의 특징 또는 계산된 특성을 공유하는 세그먼트 또는 요소(예를 들어, 픽셀 또는 복셀)로 구획된다. 이러한 세그먼트화 프로세스는 획득된 영상에 기반하여 표적 해부구조 또는 해부학적 모델을 형성하는 2차원 또는 3차원 재구성이 이루어진다. 모델을 표현하기 위해서, 세그먼트화 프로세스는 표적 해부구조를 표현하는 복셀의 세트를 표현할 수 있고 그 후 복셀을 에워싸는 3D 표면을 생성하기 위해 마칭 큐브 기능과 같은 기능을 적용할 수 있다. 모델은 메시, 체적 또는 복셀 지도에 의해 제작될 수 있다. 추가적으로 또는 대안적으로, 모델은 모델화된 통로의 중심을 통해 연장되는 상호연결된 라인 세그먼트 또는 지점의 세트를 포함하는 중심선 모델을 포함할 수 있다. 모델이 상호연결된 라인 세그먼트의 세트를 포함하는 중심선 모델을 포함하는 경우, 이들 라인 세그먼트는 클라우드 또는 지점의 세트로 변환될 수 있다. 라인 세그먼트를 변환함으로써, 상호연결된 라인 세그먼트에 대응하는 지점의 요구되는 양이 수동적 또는 자동적으로 선택될 수 있다.
프로세스(306)에서, 의료 시술을 수행하기 위해 사용되는 해부학적 모델, 의료 기구(예를 들어, 기구 시스템(200)) 및 환자 해부구조는 환자에 대한 영상-안내 외과 시술의 과정 전 및/또는 그 동안에 공통 기준 프레임 내에서 상호정합된다. 공통 기준 프레임은, 예를 들어, 수술 환경 기준 프레임 또는 환자 기준 프레임일 수 있다. 프로세스(306)는 환자에 대해 의료 기구의 위치를 측정하는 단계를 포함한다. 프로세스(306)는 또한 환자에 대해 해부학적 모델을 정합하는 단계를 포함한다. 일반적으로, 정합은 강체 및/또는 비강체 변환의 사용을 통한 모델의 지점에 대한 측정된 지점의 매칭을 수반한다. 측정된 지점은 해부구조 내의 랜드마크, 시술 동안 스캐닝되고 추적되는 전자기 코일, 또는 형상 센서 시스템을 사용하여 생성될 수 있다. 측정된 지점은 반복적 최근접 지점(ICP) 기술에서 사용되기 위해 생성될 수 있다. ICP 및 다른 정합 기술은 양자 모두 2015년 8월 14일 자로 출원된 미국 가특허 출원 번호 62/205,440 및 미국 가특허 출원 번호 62/205,433에서 설명되며, 그 전문이 본 명세서에 참조로 통합된다. 프로세스(308)에서, 의료 시술은 의료 기구의 이동을 안내하도록 해부학적 모델 데이터를 사용함으로써 수행될 수 있다.
사전 영상 데이터를 사용하여 생성된 해부학적 모델, 예를 들어, CT 스캔(즉, 컴퓨터처리 단층촬영 스캔)은, 많은 시술에 적합한 해부학적 세부사항을 제공하기 위해 영상 안내 외과 시술에 사용된다. 그러나, 사전 영상 데이터에 기반한 모델은 정합 오류가 발생하고 주기적 또는 비주기적 해부학적 운동으로 인한 임의의 변형, 의료 기구로 인한 조직 변형 및 그 존재, 또는 사전 영상 데이터가 획득된 후에 발생하였을 수 있는 환자 해부구조에 대한 다른 변경사항을 포함하는 해부구조의 실시간 구성을 도시할 수 없다. 형광투시는 X-선을 사용하여 환자 해부구조의 실시간 동영상을 획득하는 영상 투시 방식이다. 종래의 방사선 사진은 환자의 일 부분을 X-선 검출기 앞에 위치시킨 다음 짧은 X-선 펄스로 이를 조명하여 획득한 X-선 영상이다. 유사한 방식으로, 형광투시는 환자의 내측의 실시간 동영상을 획득하기 위해, 방사선 불투과성 의료 기구, 방사선 불투과성 염료 및/또는 수술 환경 내의 방사선 불투과성 기준 마커를 포함하여 X-선을 사용한다. 형광투시 시스템은 위치적 가요성을 제공하고 수동 또는 자동 제어를 통해 궤도적, 수평적 및/또는 수직적 이동을 가능하게 하는 C-아암 시스템을 포함할 수 있다. 비-C-아암 시스템은 고정되어서 이동에 대한 비교적 적은 가요성을 제공한다. 형광투시 시스템은 일반적으로 영상 증폭기 또는 평면-패널 검출기 중 하나를 사용하여 환자 해부구조의 2차원 실시간 영상을 생성한다. 양면 형광투시 시스템은 각각 상이한(대개 직교인) 관점에서 2개의 형광투시 영상을 동시에 포착한다. X-선 영상의 품질과 유용성은 영상화된 조직의 유형에 따라 다를 수 있다. 뼈 및 금속과 같은 밀도가 높은 물질은 일반적으로 공기가 채워진 폐의 연조직보다 X-선 영상에서 더 잘 보인다. 폐에 대한 시술을 위해, CT 모델은 형광투시 영상에서 식별하기 어려울 수 있는 기도 및 종양의 해부학적 세부사항을 제공하지만, 형광투시 영상은 의료 기구 및 밀도 높은 해부학적 조직의 실시간 시각화를 제공한다. 따라서 해부학적 모델과 정합되는 형광투시 영상은 폐와 같은 해부구조의 소정의 부분을 내비게이션하는 임상의에게 유용할 수 있다.
도 5는 환자(P)가 플랫폼(352) 상에 위치된 수술 좌표계(XS, YS, ZS)를 갖는 일부 실시예에 따른 예시적인 수술 환경(350)을 도시한다. 환자(P)는 총체적 환자 이동이 진정, 구속 또는 다른 수단에 의해 제한되는 의미로 수술 환경에서 정지 상태일 수 있다. 환자가 일시적으로 호흡 운동을 중지하지 않는 한, 환자(P)의 호흡 및 심장의 움직임을 포함하는 주기적 해부학적 움직임이 계속될 수 있다. 수술 환경(350) 내에서, 의료 기구(354)가 기구 캐리지(356)에 결합된다. 기구 캐리지(356)는 수술 환경(350) 내에서 고정되거나 이동가능한 삽입 스테이지(358)에 장착된다. 기구 캐리지(356)는 삽입 움직임(즉, XS 방향의 움직임) 및 선택적으로 요, 피치 및 롤을 포함하는 다중 방향에서 기구의 원위 단부의 움직임을 제어하기 위해 기구(354)에 결합되는 원격조작 조종기 조립체(예를 들어, 조립체(102))의 구성요소일 수 있다. 기구 캐리지(356) 또는 삽입 스테이지(358)는 삽입 스테이지를 따르는 기구 캐리지의 움직임을 제어하는 서보모터(도시되지 않음)를 포함할 수 있다. 의료 기구(354)는 근위 강성 기구 본체(362)에 결합된 가요성 카테터(360)를 포함할 수 있다. 강성 기구 본체(362)는 기구 캐리지(356)에 대해 결합 및 고정된다. 광섬유 형상 센서(364)는 기구(354)를 따라 연장되고 고정 또는 공지된 지점(366)으로부터 카테터(360)의 일 부분(368)과 같은 다른 지점까지의 형상을 측정하도록 조작될 수 있다. 도시된 실시예에서, 부분(368)은 원위 단부 부분으로 도시된다. 다른 실시예에서, 부분(368)은 카테터의 중간부분을 포함하여 카테터(360)의 길이를 따라 다른 곳에 위치될 수 있다. 부분(368)은 카테터(360)의 표시기 부분(예를 들어, 부분(368)은 영상화 데이터에서 식별될 수 있음)로서 작용할 수 있도록 형성 및 구성된다. 의료 기구(354)는 의료 기구 시스템(200)과 실질적으로 유사할 수 있다. 형광투시 영상화 시스템(370)(또한 형광투시 시스템(370)으로 불림)은 카테터(360)가 환자 내로 연장되는 동안 환자의 형광투시 영상을 획득하기 위해 환자(P)의 근처에 배열된다. 시스템(370)은, 예를 들어 모바일 C-아암 형광투시 영상화 시스템일 수 있다. 일부 실시예에서, 시스템(370)은 워싱턴 D.C의 지멘스사(Siemens Corporation)의 다중-축 아티스 지고(Artis Zeego) 형광투시 영상화 시스템일 수 있다.
도 6은 수술 환경(350) 내에서 영상 안내 수술을 수행하기 위한 방법(450)을 도시하는 흐름도이다. 방법(450)을 포함하는 본 설명의 방법은 블록, 단계, 조작 또는 프로세스의 세트로 도 6에 도시된다. 도시된 모두가 그러한 것은 아니지만, 열거된 조작은 방법(450)의 모든 실시예에서 수행될 수 있다. 추가적으로, 상기 방법에 명확하게 도시되지 않은 일부 추가적인 조작은 열거된 프로세스의 전, 후, 그 사이에, 또는 일부로서 포함될 수 있다. 본 설명의 방법의 일부 실시예는 메모리에 저장된 바와 같은 방법의 프로세스에 대응되는 명령어를 포함한다. 이들 명령어는 제어 시스템(112)의 프로세서 같은 프로세서에 의해 실행될 수 있다.
따라서, 방법(450)의 일부 실시예는 프로세스(452)에서 시작할 수 있고, 이 방법에서 수술전 또는 수술중 영상 데이터를 포함하는 사전 영상 데이터는 CT, MRI, 열조영, 초음파, OCT, 열 영상화, 임피던스 영상화, 레이저 영상화 또는 나노튜브 X-선 영상화와 같은 영상화 기술로부터 획득된다. 사전 영상 데이터는 2차원, 3차원 또는 4차원(예를 들어, 시간 기반 또는 속도 기반 정보 포함) 영상에 대응할 수 있다. 위에 설명한 바와 같이, 해부학적 모델은 해부학적 모델 기준 프레임에서 사전 영상 데이터로부터 생성된다. 프로세스(454)에서, 의료 기구(200)에 포함되는 형상 센서(222)와 연관될 수 있는 기구 센서 기준 프레임(XI, YI, ZI)은 해부학적 모델 기준 프레임 (XM, YM, ZM)에 정합될 수 있다. 모델과 기구 기준 프레임 사이의 정합은, 예를 들어, 본원에 참고로 통합된 미국 특허 가출원 번호 62/205,440 및 No. 62/205,433에 설명된 지점-기반 ICP 기술을 사용하여 달성될 수 있다. 추가적으로, 모델 기준 프레임은 센서 기준 프레임 또는 모델에 정합될 수 있고 센서 기준 프레임은 다른 공통 기준 프레임에 정합될 수 있다. 공통 기준 프레임은, 예를 들어, 수술 환경 기준 프레임(XS, YS, ZS) 또는 환자 기준 프레임일 수 있다.
프로세스(456)에서 도 9b를 참조하면, 자세 정보를 계산하기 위해 (영상화에서 결정된 형상 정보와 대조적으로) 센서 데이터가 사용된다. 예를 들어, 다양한 사례에서, 환자 해부구조 내의, 근처의, 인접한 또는 외측의 위치(L)에서의 의료 기구의 일 부분의 감지된 위치 및 배향이 의료 기구의 자세 정보를 결정하기 위해 사용된다. 감지된 위치 및 배향은 센서 데이터로부터 획득, 측정 또는 계산될 수 있다. 본 실시예에서, 의료 기구의 부분(368)은 표시기 부분으로 지칭될 수 있고 방사선 불투과성 원위 단부 부분을 포함할 수 있다. 다른 실시예에서, 형광투시 영상에서 볼 수 있는 의료 기구의 다른 방사선 불투과성 부분이 표시기 부분이 될 수 있다. 표시기 부분은 형광투시 영상에서 볼 수 있는 의료 기구의 임의의 길이를 포함할 수 있다. 센서 정보는 광섬유 형상 센서로부터 수신되고, 센스 기준 프레임에서 표시기 부분(368)의 감지된 위치 및 배향을 계산하기 위해 사용된다. 프로세스(454)에서 해부학적 모델 기준 프레임(또는 다른 공통 기준 프레임)에 대한 기구 센서 기준 프레임의 정합에 기반하여, 센서 프레임 내의 표시기 부분의 위치 및/또는 배향(즉, 감지된 자세)은 프로세스(458)에서 해부학적 모델 기준 프레임으로 해석된다.
프로세서(460)에서, 형광투시 시스템(370)은 환자(P) 및 환자 내로 연장되는 카테터(360)의 형광투시 영상 데이터를 포착한다. 형광투시 영상 데이터로부터 렌더링된 하나 이상의 형광투시 영상은 표시기 부분(368)이 해부학적 위치(L)에 위치되거나 또는 해부학적 위치(L)를 접촉하는 동안 획득된다. 표시기 부분(368)이 위치(L)에 있는 동안 획득된 영상은 단일 관점으로부터의 것일 수도 있고, 동일한 시점 및 동일한 위치에서 다수의 관점으로부터 표시기 부분(368)을 도시하는 영상의 다중-평면 세트(양면 영상 세트 포함)일 수 있다. 일부 예에서, 표시기 부분(368)이 하나 이상의 형광투시 영상에서 해부학적 위치(L)에 가시적으로 인접하도록 카테터(360)는 환자 외측에 위치될 수 있다.
프로세서(462)에서, 표시기 부분(368)은 형광투시 영상 데이터에서 식별되고, 따라서 형광투시 기준 프레임에서의 위치(L)의 위치 또한 식별된다. 다양한 실시예에서, 형광투시 시스템(370)은 다중-평면 영상을 생성할 수 있고, 따라서 3차원 형광투시 기준 프레임(XF, YF, ZF)을 제공한다. 다중 영상의 사용은 또한 표시기 부분(368)의 배향의 결정을 허용하고, 따라서 표시기 부분의 자세 정보를 제공한다. 다른 실시예에서, 형광투시 시스템은 2차원 형광투시 기준 프레임을 제공할 수 있다.
형광투시 영상에서 표시기 부분(368)의 위치 즉, 형광투시 기준 프레임에서 지시된 위치(L)을 추출하기 위해, 다양한 기술이 사용될 수 있다. 일 실시예에서, 도 9a 및 9b를 참조하면, 표시기 부분(368)이 존재하지 않는 영상(600)과 표시기 부분(368)이 존재하는 영상(610)을 비교함으로써 영상 데이터에서 표시기 부분(368)이 식별될 수 있다. 예를 들어, 제어 시스템(112)의 컴퓨터에 의해, 2개의 영상 사이의 그래픽 차이를 결정하기 위해 2개의 영상이 분석된다. 영상의 환자 해부구조 부분이 2개의 영상에서 같기 때문에, 표시기 부분(368)을 포함하는 카테터(360)는 영상(610)에서 고유한 구조로서 식별가능 하다. 식별된 카테터(360)와 연관된 그래픽 구성요소(예를 들어, 픽셀, 복셀)을 식별함으로써, 형광투시 프레임에서 표시기 부분(368)의 존재 및 위치가 계산될 수 있다. 표시기 부분(368)이 위치(L)에 위치되기 때문에, 위치(L)의 위치는 또한 표시기 부분을 추출하는 그래픽 분석에 의해 결정된다.
다른 실시예에서, 도 9b 및 9c를 참조하면, 표시기 부분(368)이 위치(K)에 있는 영상(620)과 표시기 부분(368)이 위치(L)에 있는 영상(610)을 비교함으로써 영상 데이터에서 표시기 부분(368)이 식별될 수 있다. 예를 들어, 제어 시스템(112)의 컴퓨터에 의해, 2개의 영상 사이의 그래픽 차이를 결정하기 위해 2개의 영상이 분석된다. 영상의 환자 해부구조 부분이 2개의 영상에서 같기 때문에, 표시기 부분(368)을 포함하는 카테터(360)는 각각의 영상(610, 620)에서 고유한 구조로서 식별가능 하다. 식별된 카테터(360)의 원위 단부와 연관된 그래픽 구성요소를 식별함으로써, 각 영상의 형광투시 프레임에서 표시기 부분(368)의 존재 및 위치가 계산될 수 있다. 표시기 부분(368)이 위치(L 및 K)에 위치되기 때문에, 위치(L 및 K)의 위치는 또한 표시기 부분을 추출하는 그래픽 분석에 의해 결정된다.
다른 실시예에서, 도 13a를 참조하면, 기구(1002)를 포함하는 형광투시 영상(1000)이 사용자에게 표시되는 반자동 추출 기술에 의해 영상 데이터에서 표시기 부분(368)이 식별될 수 있다. 사용자는 터치스크린, 마우스, 트랙볼 또는 시선 추적과 같은 입력 장치를 사용하여 기구(1002) 또는 원위 팁과 같은 기구의 일 부분의 윤곽(1004)을 생성한다. 사용자로부터 수신된 윤곽(1004) 입력에 기반하여, 세그먼트화 알고리즘은 영상(1000)에서 기구(1002)의 특성(예를 들어, 픽셀 음영, 크기)을 식별하고, 기구에 대응하는 영상의 세그먼트(예를 들어, 픽셀 또는 복셀)를 구획하도록 진행한다.
다른 실시예에서, 도 13b를 참조하면, 기구(1022)를 포함하는 형광투시 영상(1010)이 사용자에게 표시되는 반자동 추출 기술에 의해 영상 데이터에서 표시기 부분(368)이 식별될 수 있다. 검색 영역(1014)은 영상으로의 의료 기구의 진입 지점(1016)을 검색하기 위해 사용자에 의해 식별되거나 미리 정의될 수 있다(예를 들어, 영상의 좌측 하단 사분면). 세그먼트화 알고리즘은 의료 기구의 예상되는 형상과 연관되는 미리 결정된 형상을 검색할 수 있다(예를 들어, 예상되는 연속성 또는 음영의 포화도, 예상 폭, 예상 길이, 예상 곡률). 세그먼트화 알고리즘이 영상(1010)에서 의료 기구를 식별한 다음에, 알고리즘은 기구에 대응하는 영상의 세그먼트(예를 들어, 픽셀 또는 복셀)를 구획하도록 진행한다.
다른 실시예에서, 예상되는 형상은 형상 센서로부터 수신된 형상 정보에 의해 형성되며 예상되는 형상은 반-자동 추출 기술에 의한 사용을 위해 최초 검색 영역을 식별하도록 사용된다. 세그먼트화 알고리즘은 시간 및 컴퓨팅 자원을 최소화하기 위해 최초 검색 영역에서 예상되는 형상을 추가로 검색할 수 있다. 세그먼트화 알고리즘이 영상에서 예상되는 형상을 식별한 다음에, 알고리즘은 기구에 대응하는 영상의 세그먼트(예를 들어, 픽셀 또는 복셀)를 구획하도록 진행한다.
다른 실시예에서, 형상 센서에 의해 측정된 형상과 같은 미리 결정된(즉, 예상되거나 미리 알려진) 방사선 불투과성 형상에 대한 포착된 형광투시 영상을 그래픽적으로 분석 및 인식함으로써 또는 카테터의 단부에서 미리 결정된(즉, 예상되거나 미리 알려진) 형상 또는 마커에 의해 표시기 부분(368)이 식별될 수 있다. 예를 들어, 카테터 또는 카테터의 단부의 고정구로부터 연장된 바늘의 공지된 형상이 영상으로부터 확인 및 추출될 수 있다. 형광투시 영상에서 이들 표시기 부분의 그래픽적 인식은 형광투시 프레임에서 접촉된 위치(L)의 위치를 제공한다.
도 6을 다시 참조하면, 프로세스(464)에서, 형광투시 영상 기준 프레임은 해부학적 모델 기준 프레임에 정합된다. 대안적으로, 형광투시 영상 기준 프레임과 해부학적 모델 기준 프레임 모두 수술 기준 프레임과 같은 공통 기준 프레임에 정합된다. 프로세스(462)는 형광투시 영상 기준 프레임 내의 위치(L)에서의 표시기 부분(368)의 위치 및 배향을 제공하고 프로세스(458)는 모델 기준 프레임 내의 위치(L)에서의 표시기 부분(368)의 위치 및 배향을 제공하기 때문에, 표시기 부분(368)의 각각의 프레임 위치는 프레임들이 함께 정합되도록 상관된다. 프로세스(456, 458, 460, 462)는 환자 해부구조 내 복수의 위치에서 표시기 부분의 복수의 위치를 위해 반복될 수 있다. 프로세스(464)에서의 정합은 각각의 프레임에서 이들 다중 위치와 상관되고 다중 위치에 대응되는 지점의 강체 또는 비강체 변환의 수행함에 따라 수행되거나 강화될 수 있다.
프로세스(466)에서, 도 10 및 도 11을 참조하면, 카테터가 환자 해부구조를 횡단함에 따라 정합된 기준 프레임이 표시되고, 임상의가 사전-시간 영상(예를 들어, CT 영상)의 해부학적 세부사항과 함께 형광투시 영상에서 기구 추적의 이점을 이용하여 표시 영상을 보게 한다. 도 10은 형광투시 기준 프레임(XF, YF, ZF)을 갖는 형광투시 영상(710), 및 모델 기준 프레임(XM, YM, ZM)을 갖는 사전-시간 모델 영상(720)(예를 들어, 비제한적 예시의 방법으로, CT 기술에 의해 취득된 CT 영상 또는 임의의 다른 적절한 영상화 기술에 의해 취득된 영상)을 표시하는 표시부(700)를 도시한다. 형광투시 기준 프레임 및 모델 기준 프레임은 정합되고, 정합된 영상은 나란히 표시된다. 기준 프레임이 정합되면, 일 영상으로부터의 구조는 선택적으로 의료 시술을 수행하는 임상의를 보조하기 위해 다른 영상에 겹쳐지거나 중첩될 수 있다. 예를 들어, 형광투시 영상(710)에서 볼 수 있는 카테터(360)는 영상(720) 상에 추출 및 중첩될 수 있다. 추가적으로 또는 대안적으로, 영상(720)에서 볼 수 있는 표적 조직(730)(예를 들어, 종양)은 형광투시 영상(720) 상에 추출 및 중첩될 수 있다.
도 11은 사전 영상 데이터(820)가 형광투시 영상 데이터(830) 상에 중첩되는 단일 영상(810)을 표시하는 표시부(800)를 도시한다. 일부 실시예(도시되지 않음)에서, 표적 조직에 대한 경로가 사전-시간 모델 영상 데이터 내에서 계획될 수 있고, 사전-시간 모델 영상(예를 들어, CT 영상) 내에서 표시될 수 있다. 경로는 그 후 형광투시 영상 데이터 상에 추출 및 중첩된다.
선택적으로, 형광투시 영상 데이터가 해부학적 모델과 정합된 후에, 주요 구성은 형광투시 영상 데이터, 해부학적 모델 또는 그 둘의 조합으로부터 생성된 2차원 또는 3차원 영상으로부터 보여지고 분석될 수 있다. 예를 들어, 형광투시 영상 데이터에서 섀도우는 종양을 나타낼 수 있고, 또는 해부학적 모델을 생성하기 위해 사용되는 세그먼트화된 CT 데이터에서 종양을 찾을 곳을 나타낼 수 있다.
선택적으로, 형광투시 영상 데이터가 해부학적 모델에 정합된 후에, 가상 형광투시 시야(view)가 생성될 수 있다. 정합은 모델에 대해 형광투시 영상 평면을 나타내기 때문에, 다른 시야 평면으로부터의 환자 해부구조의 가상 시야가 생성될 수 있다. 예를 들어, 임상의에게 양면 형광투시 영상에 근사한 경험을 제공하기 위해 실제 형광투시 영상 평면에 직교인 평면으로부터의 가상 시야가 해부학적 모델로부터 생성될 수 있다.
추가적으로 또는 선택적으로, 형광투시 시야가 해부학적 모델에 정합되면, 표적 조직, 종양 또는 다른 랜드마크와 같은 해부학적 구성은 형광투시 영상에서 식별될 수 있고 해부학적 모델에서 대응하는 구성을 위치시키도록 사용될 수 있다. 예를 들어, 해부학적 모델에서 대응하는 종양을 식별하는 것을 돕기 위해 종양은 형광투시 시야에서 볼 수 있다. 해부학적 모델에서 식별될 때, 종양은 표적으로 분류될 수 있으며 해부학적 모델 내에서 표적에 대한 내비게이션 경로가 계획될 수 있다.
도 7은 수술 환경(350) 내에서 영상 안내 수술을 수행하기 위한 다른 방법(500)을 도시하는 흐름도이다. 방법(500)을 포함하는 본 설명의 방법은 블록, 단계, 조작 또는 프로세스의 세트로 도 7에 도시된다. 도시된 모두가 그러한 것은 아니지만, 열거된 조작은 방법(500)의 모든 실시예에서 수행될 수 있다. 추가적으로, 상기 방법에 명확하게 도시되지 않은 일부 추가적인 조작은 열거된 프로세스의 전, 후, 그 사이에, 또는 일부로서 포함될 수 있다. 본 설명의 방법의 일부 실시예는 메모리에 저장된 바와 같은 방법의 프로세스에 대응되는 명령어를 포함한다. 이들 명령어는 제어 시스템(112)의 프로세서 같은 프로세서에 의해 실행될 수 있다.
방법(500)은 수술전 CT 스캔과 같은 환자 해부구조의 사전-시간 영상화 데이터를 획득하는 앞서 설명한 프로세스(452)와 기구 센서 기준 프레임을 해부학적 모델 기준 프레임에 정합하는 프로세스(454)를 포함한다. 일련의 프로세스(502)는 해부학적 랜드마크 지점을 수집 및 매칭하고 형광투시 및 모델 기준 프레임을 정합하기 위한 하위프로세스를 설명한다. 프로세스(508)에서, 형광투시 시스템(370)은 표시기 부분(368)이 영상 데이터로부터 생성된 형광투시 영상에서 보여지는 해부학적 랜드마크와 접촉하거나 그에 인접하게 위치되는 동안 환자(P) 및 카테터(360)의 형광투시 영상 데이터를 포착한다. 해부학적 랜드마크는 척추, 흉곽, 흉골, 쇄골, 횡경막, 맥관구조 또는 기도 트리의 가시 부분과 같은 형광투시에서 볼 수 있는 임의의 고유한 구조일 수 있다. 프로세서(510)에서, 표시기 부분(368)이 형광투시 영상 데이터에서 식별되고, 따라서 형광투시 기준 프레임에서 표시된 해부학적 랜드마크의 위치도 또한 식별된다. 다양한 실시예에서, 형광투시 시스템(370)은 다중-평면 영상을 생성할 수 있고, 따라서 3차원 형광투시 기준 프레임(XF, YF, ZF)을 제공한다. 다른 실시예에서, 형광투시 시스템은 2차원 형광투시 기준 프레임을 제공할 수 있다. 형광투시 영상 데이터로부터 표시기 부분을 추출하는 방법은 위에 설명되었다. 프로세서(512)에서, 동일한 해부학적 랜드마크는 해부학적 모델에서 선택되고 형광투시 영상 데이터에서 해부학적 랜드마크와 상관된다. 예를 들어, 카테터의 표시기 부분이 해부학적 랜드마크를와 접촉하는 동안(실시간 형광투시 영상에서 임상의가 볼 때) 사용자는 해부학적 랜드마크의 위치에서 해부학적 모델을 표시하는 터치스크린을 터치할 수 있다. 모델에서 해부학적 랜드마크를 위치시키는 다른 마킹 방법이 사용될 수 있다. 따라서 형광투시 기준 프레임에서 해부학적 랜드마크의 좌표계 및 모델 기준 프레임에서 해부학적 랜드마크의 좌표계는 상관관계가 될 수 있다. 도 12에서, 각 랜드마크(910)를 형광투시 기준 프레임 내의 위치(920) 및 모델 기준 프레임 내의 위치(930)로 참조하는 상관 테이블(900)이 편집될 수 있다. 프로세스(502)는 복수의 해부학적 랜드마크 각각에 반복된다. 예를 들어, 3개 이상의 해부학적 랜드마크가 선택될 수 있다.
프로세스(514)에서, 형광투시 영상 기준 프레임은 해부학적 모델 기준 프레임에 정합된다. 해부학적 랜드마크 지점 정합은 참조로 통합된 미국 가특허 출원 번호 62/205,440 및 번호 62/205,433에서 설명된다. 예를 들어, 형광투시 영상 해부학적 기준 지점의 세트는 모델 내의 해부학적 랜드마크와 매칭된다. 1개 혹은 2개의 매칭된 지점의 세트는 그 후 형광투시 및 모델 기준 프레임에 정합하기 위해 강체 또는 비강체 변환에 의해 회전, 병진 또는 다른 방법으로 조종된다. 프로세스(516)에서, 도 10 및 도 11을 참조하면, 카테터가 환자 해부구조를 횡단함에 따라 정합된 기준 프레임이 표시되고, 임상의가 사전-시간 영상(예를 들어, CT 영상)의 해부학적 세부사항과 함께 형광투시 영상에서 기구 추적의 이점을 이용하여 표시 영상을 보게 한다.
도 8은 프로세스(502)를 대체하기 위해 방법(500)에서 사용되는 하위프로세스(550)를 도시하는 흐름도이다. 프로세스(552)에서, 형광투시 시스템(370)은 표시기 부분(368)이 환자 해부학적 통로를 횡단하는 동안 환자(P) 및 카테터(360)의 형광투시 영상 데이터를 포착한다. 프로세서(554)에서, 표시기 부분(368)의 복수의 위치 지점은 형광투시 영상 데이터에서 식별되고, 따라서 형광투시 기준 프레임에서의 위치 지점의 위치 또한 식별된다. 본 실시예에서, 형광투시 시스템(370)은 다중-평면 영상을 생성할 수 있고, 따라서 3차원 형광투시 기준 프레임(XF, YF, ZF)을 제공한다. 다른 실시예에서, 형광투시 시스템은 2차원 형광투시 기준 프레임을 제공할 수 있다. 형광투시 영상 데이터로부터 표시기 부분을 추출하는 방법은 위에 설명되었다. 프로세스(556)에서, 형광투시 영상 기준 프레임은 해부학적 모델 기준 프레임에 정합된다. 지점 클라우드 정합은 참조로 통합된 미국 가특허 출원 번호 62/205,440 및 번호 62/205,433에서 설명된다. 예를 들어, 형광투시 영상 해부학적 기준 지점의 세트가 해부학적 모델(예를 들어, 통로의 사전 또는 동시 CT 스캔으로 부터 수신된 모델 지점) 내의 모델 지점과 매칭되기 위해 강체 또는 비강체 변환에 의해 회전, 병진 또는 다른 방법으로 조종된다. ICP 또는 다른 지점 정합 기술에 의해, 형광투시와 모델 기준 프레임이 정합된다.
도 14는 수술 환경(350) 내에서 영상 안내 수술을 수행하기 위한 방법(1100)을 도시하는 흐름도이다. 방법(1100)은 프로세스(1102)에서 시작하고, 이 방법에서 수술전 또는 수술중 영상 데이터를 포함하는 사전 영상 데이터는 CT, MRI, 열조영, 초음파, OCT, 열 영상화, 임피던스 영상화, 레이저 영상화 또는 나노튜브 X-선 영상화와 같은 영상화 기술로부터 획득된다. 사전 영상 데이터는 2차원, 3차원 또는 4차원(예를 들어, 시간 기반 또는 속도 기반 정보 포함) 영상에 대응할 수 있다. 위에 설명한 바와 같이, 해부학적 모델은 사전 영상 데이터로부터 생성된다. 프로세스(1104)에서, 형상 센서 정보는 의료 기구의 표시기 부분이 환자 해부구조 내의 위치(L)에 위치되는 동안 의료 기구로부터 수신된다.
프로세서(1106)에서, 형광투시 시스템(370)은 환자(P) 및 환자 내로 연장되는 카테터(360)의 형광투시 영상 데이터를 포착한다. 형광투시 영상 데이터로부터 렌더링된 하나 이상의 형광투시 영상은 표시기 부분(368)이 해부학적 위치(L)에 위치되거나 또는 해부학적 위치(L)를 접촉하는 동안 획득된다. 표시기 부분(368)이 위치(L)에 있는 동안 획득된 영상은 단일 관점으로부터의 것일 수도 있고, 동일한 시점 및 동일한 위치에서 다수의 관점으로부터 표시기 부분(368)을 도시하는 영상의 다중-평면 세트(앙면 영상 세트 포함)일 수 있다.
프로세서(1108)에서, 카테터(360)의 형상은 형광투시 영상 데이터에서 식별되고, 따라서 형광투시 기준 프레임에서의 (카테터의 원위 팁에서)위치(L)의 위치 또한 식별된다. 다양한 실시예에서, 형광투시 시스템(370)은 다중-평면 영상을 생성할 수 있고, 따라서 3차원 형광투시 기준 프레임(XF, YF, ZF)을 제공한다. 다른 실시예에서, 형광투시 시스템은 2차원 형광투시 기준 프레임을 제공할 수 있다. 카테터의 형상 및/또는 표시기 부분의 자세를 추출하기 위한 다양한 실시예가 위에 설명되었다. 프로세스(1110)에서, 프로세서(1110)으로부터의 형상 센서 정보는 형광투시 영상 데이터로부터 결정된 형상 정보와 비교된다. 형상 센서가 비틀려지거나 급격하게 구부러지면, 광섬유 형상 센서로부터 결정된 형상 정보는 부정확성을 포함할 수 있다. 추가적으로, 오류가 광섬유 형상 센서의 길이와 함께 누적되므로, 기구의 길이가 길수록 형상 및 원위 팁 위치가 더욱 부정확할 수 있다. 센서 정보의 정확도는 다수의 소스에서 수신한 기구 형상 정보를 융합함으로써 향상시킬 수 있다. 프로세스(1110)에서, 의료 기구로부터의 형상 센서 정보는 형광투시 영상 형상 정보에 기반하여 수정된다. 예를 들어, 형상 센서 정보에서 원위 팁의 위치는 형광투시 영상 형상 정보에서 원위 팁의 위치로 조정될 수 있다. 다른 예에서, 형상 정보는 부정확성이 예상되는 부분(예를 들어, 원위 팁 부분)을 따라서만 평균화 또는 수정될 수 있다.
프로세스(1112)에서, 수정된 기구 센서 정보는 앞서 설명한 임의의 정합 방법을 사용하여 해부학적 모델에 정합된다. 프로세스(1114)에서, 영상 안내 의료 시술은 수정된 센서 정보를 갖춘 의료 기구로 수행되고 기구 원위 팁의 더욱 정확한 위치 측정을 제공한다. 위치 측정된 기구 원위 팁에 기반하여, 원위 팁의 시점(위치 및 방향)으로부터 환자 해부구조의 가상 영상이 해부학적 모델로부터 생성될 수 있다. 또한, 위치 측정된 기구 원위 팁에 기반하여, 해부학적 모델로부터의 영상 상에 중첩된 의료 기구의 가상 영상이 의료 기구의 이동을 안내하는데 사용될 수 있다.
도 15는 바람직한 형광투시 시야 평면을 결정하는 방법(1200)을 도시한다. 프로세스(1202)에서, 이 방법에서 수술전 또는 수술중 영상 데이터를 포함하는 사전 영상 데이터는 CT, MRI, 열조영, 초음파, OCT, 열 영상화, 임피던스 영상화, 레이저 영상화 또는 나노튜브 X-선 영상화와 같은 영상화 기술로부터 획득된다. 사전 영상 데이터는 2차원, 3차원 또는 4차원(예를 들어, 시간 기반 또는 속도 기반 정보 포함) 영상에 대응할 수 있다. 위에 설명한 바와 같이, 해부학적 모델은 사전 영상 데이터로부터 생성된다. 프로세스(1204)에서, 의료 기구(200)의 기구 센서(222)는 프로세스(454)에서 방법(450)에 대해 위에 설명한 바와 같이 해부학적 모델에 정합된다. 프로세스(1206)에서, 바람직한 형광투시 시야 평면이 결정되어 임상의에게 카테터의 원위 팁의 이동, 카테터의 원위 팁으로부터 나오는 생검 바늘 또는 다른 도구의 이동 및/또는 상기 도구에 의해 포획되는 조직 영역(예를 들어, 종양) 또는 도구가 피해야 하는 조직 영역(예를 들어, 천공을 피하기 위한 폐 흉막)을 가시화한다. 더 구체적으로는, 바람직한 형광투시 평면은 형상 센서 정보로부터 기구의 원위 팁 부분의 자세를 결정함에 따라 선택될 수 있다. 바람직한 형광투시 평면은 일반적으로 기구의 원위 팁 부분의 자세(예를 들어, 도 13b의 시야 평면)에 평행할 수 있다. 추가적으로 또는 대안적으로, 바람직한 형광투시 평면은 기구의 원위 팁 부분과 조직 관심 영역 사이의 거리를 측정하고 최장거리를 제공하는 형광투시 시야 평면을 결정함에 따라 결정될 수 있다. 형광투시 시야 평면은 일반적으로 기구의 원위 팁 부분과 조직 영역 사이의 궤도와 평행할 수 있어서, 생검 바늘이 표적 조직 영역을 가로채었는지 또는 환자에게 부상을 야기할 수 있는 영역을 피하였는지 여부에 대해 임상의에게 가장 정확한 정보를 제공한다.
도 16은 2차원 형광투시 안내 하에 의료 기구를 구동하는 방법(1300)을 도시한다. 프로세스(1302)에서, 수술 기준 프레임에서 환자 해부구조의 형광투시 영상 데이터가 형광투시 시스템(370)으로부터 획득된다. 형광투시 시스템의 배향 및 이에 따른 영상화 평면의 배향은 외부 추적 시스템, 영상화된 기점의 사용 또는 방법(450)에 대해 위에 설명한 바와 같은 형상 감지 데이터의 사용을 포함하는 다양한 방법을 통해 결정될 수 있다. 영상화의 형광투시 평면의 결정에 대한 설명은 그 전문이 본원에 참고로 통합되는, 2015년 9월 10일 자로 출원된 영상 안내 수술에서의 투시 영상화 시스템의 자세 추정 및 교정의 시스템 및 방법을 포괄하는 미국 가출원 번호 62/216,494에서 찾을 수 있다. 일부 예에서, 형광투시 시스템의 그래픽적 렌더링이 생성되어 원하는 형광투시 영상 평면에서 형광투시 영상을 획득하는 것을 용이하게 할 수 있다. 특히, 이러한 렌더링은 사용자가 요구되는 또는 미리 결정된 형광투시 평면에서 형광투시 영상을 적절하게 포착하기 위해 형광투시 시스템(예를 들어, 형광 아암 또는 X-선 영상기)의 요소를 위치시키는 것을 보조할 수 있다. 일부 예에서, 시스템 또는 사용자는 요구되는 또는 미리 결정된 형광투시 영상 평면에서 형광투시 영상을 획득하기 위한 시스템 구성을 더욱 잘 달성하기 위해 형광투시 시스템에 대한 합동 구성의 세트를 수신할 수 있다. 프로세스(1304)에서, 형광투시 영상 데이터로부터의 표시를 위해 2차원 형광투시 영상이 생성된다. 표시된 영상은 영상화 평면의 배향 평면에 기반한 배향 평면을 갖는다. 프로세스(1306)에서, 제어 시스템(112)이 카테터 시스템(202)의 이동을 구동하라는 명령을 수신한다. 프로세스(1308)에서, 카테터 시스템(202) 또는 카테터의 일 부분의 움직임이 표시된 형광투시 영상의 배향 평면의 평면에 제약된다. 일 실시예에서, 카테터의 표시기 부분의 움직임만이 형광투시 영상의 배향 평면에 제약될 수 있다. 카테터의 표시기 부분의 움직임은 원격조작 시스템에서 조작자 제어의 이동을 제약함으로써 제약될 수 있어서, 조작자가 제약 평면으로부터 카테터의 일 부분을 이동시키는 방향으로 제어를 이동시키는 것이 방지된다. 추가적으로 또는 대안적으로, 카테터의 표시기 부분의 움직임은 원격 조작 조종기 조립체에서 적어도 하나의 액추에이터 또는 작동 케이블의 움직임을 제약함으로써 제약될 수 있다. 위에 설명한 개방 루프 제약 시스템에서의 조작자 제어 또는 기구의 작동 메커니즘에 대한 제약에도 불구하고, 카테터의 표시기 부분은 인접한 조직으로부터의 해부학적 힘으로 인해 여전히 제약된 평면 밖으로 움직이는 것을 경험할 수 있다. 폐쇄 루프 시스템에서, 의료 기구의 형상, 위치 또는 다른 센서로부터 수신된 센서 정보는 형광투시 영상의 배향 평면 밖의 표시기 부분의 이동을 인식하기 위한 제어 시스템에 의해 수신 및 분석될 수 있다. 인식된 평면 밖의 이동에 응답하여, 제어 시스템은 표시기 부분을 배향 평면으로 다시 조정하기 위한 신호 또는 명령을 제공할 수 있다. 일부 예에서, 표시기 부분을 조정하기 위한 신호 및/또는 명령은 무효화 또는 무시될 수 있다. 다른 예에서, 표시기 부분을 조정하기 위한 신호 및/또는 명령은 자동적으로 표시기 부분을 배향 평면으로 다시 조정할 수 있다. 다양한 실시예에서, 하나 이상의 추가적인 형광투시 영상이 제약 평면에 대해 직교 또는 다른 비평행 평면으로부터 획득될 수 있어서, 임상의가 제약 평면 밖의 표시기 부분의 임의의 움직임을 관찰할 수 있게 한다. 다양한 실시예에서, 표시된 형광투시 영상의 배향 평면에 대한 표시기 부분의 움직임을 제약하는 것은 수동 스위치, 음성-작동 스위치, 발-작동 스위치 또는 조작자 제어 메커니즘을 포함할 수 있는 조작자 제어 스위치의 작동에 의해 개시될 수 있다. 추가적으로 또는 대안적으로, 표시된 형광투시 영상의 배향 평면에 대한 표시기 부분의 움직임을 제약하는 것은 형광투시 영상의 표시 또는 조작자가 형광투시 영상을 보고 있다는 인식에 응답하여 제어 시스템(112)에 의해 개시될 수 있다.
본 개시내용은 원격조작 시스템에 대한 다양한 시스템 및 방법을 설명하지만, 조종기 조립체 및 기구가 직접 제어되는 비-원격조작 시스템에서의 사용 또한 고려된다. 다양하게 제공된 예시가 해부구조 내에서 수행되는 시술의 사용을 설명하지만, 대안적 실시예에서, 본 개시내용의 장치 및 방법은 해부구조 내에서 사용될 필요가 없으며, 오히려 환자 해부구조의 외측에서 사용될 수 있다.
본 발명의 실시예의 하나 이상의 요소가 제어 시스템(112)과 같은 컴퓨터 시스템의 프로세서를 실행하기 위한 소프트웨어로 구현될 수 있다. 소프트웨어로 구현될 때, 본 발명의 실시예의 요소가 본질적으로 필요 과업을 실시하기 위한 코드 세그먼트이다. 프로그램 또는 코드 세그먼트는 광학 매체, 반도체 매체 및 자기 매체를 포함하는 정보를 저장할 수 있는 임의의 매체를 포함하는, 비일시적 프로세서 판독가능 저장 매체 또는 장치에 저장될 수 있다. 프로세서 판독가능 저장 장치 예는 전자 회로; 반도체 장치, 반도체 메모리 장치, 리드 온리 메모리(ROM), 플래시 메모리, 소거할 수 있는 프로그램가능 리드 온리 메모리(EPROM); 플로피 디스켓, CD-ROM, 광학 디스크, 하드 디스크 또는 다른 저장 장치를 포함하며, 코드 세그먼트는 인터넷, 인트라넷 등의 컴퓨터 네트워크를 통해 다운로드 될 수 있다.
제시되는 프로세스 및 표시부는 본질적으로 임의의 특별한 컴퓨터 또는 다른 장치와 관련되지 않을 수 있다는 점에 주의한다. 다양한 이들 시스템을 위한 요구된 구조는 청구항 내의 요소로서 나타날 것이다. 또한, 임의의 특별한 프로그래밍 언어를 참조하여 본 발명의 실시예를 설명하지 않았다. 본 명세서에 기술된 본 발명의 교시를 구현하기 위해 다양한 프로그래밍 언어가 이용될 수 있다는 것이 이해될 것이다.
본 발명의 특정의 예시적 실시예를 설명하고 첨부 도면에서 도시하였지만, 다양한 다른 변형이 통상의 기술자에게 보여질 수 있기 때문에, 이러한 실시예는 단지 예시적인 것이고 본 발명의 범위를 제한하지 않으며, 본 발명의 실시예는 도시되고 설명된 구체적인 구성 및 배열로 제한되지 않는다는 것을 이해해야 한다.

Claims (41)

  1. 컴퓨팅 시스템에 의해 수행되는 방법이며,
    의료 기구의 일 부분이 환자 해부구조 내에 위치되는 동안 환자 해부구조의 형광투시 영상을 수신하는 단계로서, 형광투시 영상은 형광투시 기준 프레임을 갖고, 상기 부분은 해부학적 모델 기준 프레임에서 감지된 위치를 갖는, 단계;
    형광투시 영상에서 상기 부분을 식별하는 단계;
    형광투시 영상에서 식별된 부분을 사용하여 형광투시 기준 프레임에서 상기 부분의 추출된 위치를 식별하는 단계; 및
    상기 부분의 감지된 위치 및 상기 부분의 추출된 위치에 기반하여 형광투시 기준 프레임을 해부학적 모델 기준 프레임에 정합하는 단계를 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  2. 제1항에 있어서,
    형광투시 영상에서 식별된 부분을 사용하여 형광투시 기준 프레임에서 상기 부분의 추출된 배향을 식별하는 단계를 추가로 포함하고,
    상기 부분은 해부학적 모델 기준 프레임에서 감지된 배향을 갖고,
    형광투시 기준 프레임을 해부학적 모델 기준 프레임에 정합하는 단계를 상기 부분의 감지된 배향 및 상기 부분의 추출된 배향에 추가로 기반하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  3. 제1항에 있어서, 형광투시 영상에서 상기 부분을 인식하는 단계는 형광투시 영상에서 상기 부분의 예상되는 형상을 식별하는 단계를 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  4. 제1항에 있어서, 형광투시 영상에서 상기 부분을 인식하는 단계는, 의료 기구의 상기 부분이 환자 해부구조 내에 위치되는 동안의 환자 해부구조의 형광투시 영상을 의료 기구의 상기 부분이 환자 해부구조 내에 위치되지 않을 때 기록된 환자 해부구조의 형광투시 영상과 비교하는 단계를 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  5. 제1항에 있어서, 형광투시 영상에서 상기 부분을 인식하는 단계는, 의료 기구의 상기 부분이 환자 해부구조 내의 제1 위치에 위치되는 동안의 환자 해부구조의 형광투시 영상을 의료 기구의 상기 부분이 환자 해부구조 내의 제2 위치에 위치될 때 기록된 환자 해부구조의 형광투시 영상과 비교하는 단계를 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  6. 제5항에 있어서, 해부학적 모델 기준 프레임에서 환자 해부구조의 통로의 해부학적 모델을 위한 모델 지점의 세트를 수신하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  7. 제6항에 있어서, 통로의 해부학적 모델을 위한 모델 지점의 세트가 컴퓨터처리 단층촬영 스캔으로부터 제작되는, 컴퓨팅 시스템에 의해 수행되는 방법.
  8. 제6항에 있어서, 형광투시 영상의 일 부분과 해부학적 모델의 일 부분의 상호정합된 영상 내에서 의료 기구의 상기 부분을 표시하는 단계를 추가로 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  9. 제8항에 있어서,
    해부학적 모델 내에서 표적 조직을 식별하고 표시하는 단계; 및
    형광투시 영상의 상기 부분의 상호정합된 영상에서 표적 조직을 중첩시키는 단계를 추가로 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  10. 제9항에 있어서,
    해부학적 모델에서 표적 조직에 대한 경로를 계획하는 단계; 및
    형광투시 영상의 상기 부분의 상호정합된 영상에서 상기 경로를 중첩시키는 단계를 추가로 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  11. 제1항에 있어서,
    의료 기구의 상기 부분의 감지된 위치를 결정하기 위해 의료 기구의 위치 센서로부터 센서 위치 정보를 수신하는 단계로서, 센서 위치 정보는 센서 기준 프레임에 있는, 단계;
    해부학적 모델 기준 프레임과 센서 기준 프레임을 정합하는 단계로서, 해부학적 모델 기준 프레임이 환자 해부구조의 해부학적 통로의 해부학적 모델과 연관되는, 단계;
    해부학적 모델 기준 프레임과 센서 기준 프레임의 정합으로부터 해부학적 모델 기준 프레임에서 상기 부분의 감지된 위치를 결정하는 단계를 추가로 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  12. 제11항에 있어서, 위치 센서는 의료 기구를 따라 연장되는 광섬유 형상 센서인, 컴퓨팅 시스템에 의해 수행되는 방법.
  13. 제11항에 있어서, 해부학적 모델 기준 프레임에서 의료 기구의 상기 부분의 감지된 위치를 결정하는 단계는 해부학적 모델 기준 프레임 내의 대응하는 좌표 세트와 함께 센서 기준 프레임의 센서 위치 정보의 좌표 세트를 참조하는 단계를 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  14. 제11항에 있어서, 해부학적 모델 기준 프레임과 센서 기준 프레임을 정합하는 단계는,
    해부학적 모델의 모델 지점의 세트를 수신하는 단계;
    해부학적 통로 내로부터 수집된 측정된 지점의 세트를 수신하는 단계로서, 각 지점이 센서 기준 프레임 내에서 좌표를 포함하는, 단계;
    매치의 세트를 생성하도록 모델 지점의 세트의 모델 지점에 측정된 지점의 세트의 측정된 지점을 매칭시키는 단계; 및
    매치의 세트에 기반하여 모델 지점의 세트에 대해 측정된 지점의 세트를 이동시키는 단계를 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  15. 컴퓨팅 시스템에 의해 수행되는 방법이며,
    복수의 해부학적 랜드마크의 위치의 세트를 식별하는 단계로서, 상기 복수의 해부학적 랜드마크는 모델 기준 프레임에서 환자 해부구조의 통로의 해부학적 모델에 렌더링되는, 단계;
    의료 기구의 일 부분이 환자 해부구조의 통로 내의 복수의 해부학적 랜드마크를 횡단하는 동안 환자 해부구조의 형광투시 영상 데이터를 수신하는 단계로서, 형광투시 영상 데이터는 형광투시 기준 프레임을 갖는, 단계;
    형광투시 기준 프레임 내의 복수의 해부학적 랜드마크에서 의료 기구의 상기 부분의 위치의 세트를 식별하는 단계; 및
    모델 기준 프레임 내의 복수의 해부학적 랜드마크의 위치의 세트와 형광투시 기준 프레임 내의 복수의 해부학적 랜드마크에서의 의료 기구의 상기 부분의 위치의 세트를 공통 기준 프레임에 정합하는 단계를 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  16. 제15항에 있어서, 형광투시 기준 프레임에서 의료 기구의 상기 부분의 위치의 세트를 식별하는 단계는 형광투시 기준 프레임에서 의료 기구의 상기 부분의 미리 결정된 형상을 식별하는 단계를 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  17. 제15항에 있어서, 형광투시 기준 프레임에서 의료 기구의 상기 부분의 위치의 세트를 식별하는 단계는, 의료 기구의 상기 부분이 복수의 랜드마크 중 적어도 하나에 위치되는 동안의 환자 해부구조의 형광투시 영상 데이터를 의료 기구의 상기 부분이 환자 해부구조 내에 위치되지 않을 때 기록된 환자 해부구조의 형광투시 영상과 비교하는 단계를 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  18. 제15항에 있어서, 형광투시 기준 프레임에서 위치의 세트를 식별하는 단계는, 의료 기구의 상기 부분이 복수의 랜드마크 중 적어도 하나에 위치되는 동안의 환자 해부구조의 형광투시 영상 데이터를 의료 기구의 상기 부분이 환자 해부구조 내의 다른 위치에 위치될 때 기록된 환자 해부구조의 형광투시 영상과 비교하는 단계를 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  19. 제15항에 있어서, 형광투시 영상의 일 부분, 해부학적 모델의 일 부분, 그리고 의료 기구의 상기 부분의 상호정합된 영상을 표시하는 단계를 추가로 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  20. 제15항에 있어서, 공통 기준 프레임은 모델 기준 프레임인, 컴퓨팅 시스템에 의해 수행되는 방법.
  21. 제15항에 있어서, 공통 기준 프레임은 형광투시 기준 프레임인, 컴퓨팅 시스템에 의해 수행되는 방법.
  22. 컴퓨팅 시스템에 의해 수행되는 방법이며,
    모델 기준 프레임에서 환자 해부구조의 통로의 해부학적 모델을 위한 모델 지점의 세트를 수신하는 단계;
    의료 기구의 표시기 부분이 환자 해부구조의 통로를 횡단하는 동안 환자 해부구조의 형광투시 영상 데이터를 수신하는 단계로서, 형광투시 영상 데이터는 형광투시 기준 프레임을 갖는 단계;
    형광투시 영상 데이터로부터 형광투시 기준 프레임 내의 표시기 부분 위치 지점의 세트를 식별하는 단계;
    매치의 세트를 생성하도록 모델 지점의 세트의 모델 지점에 각각의 표시기 부분 위치 지점을 매칭시키는 단계; 및
    모델 기준 프레임을 매치의 세트에 기반하여 형광투시 기준 프레임에 정합하는 단계를 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  23. 제22항에 있어서, 형광투시 기준 프레임에서 표시기 부분 위치 지점의 세트를 식별하는 단계는 형광투시 기준 프레임에서 표시기 부분의 예상되는 형상을 식별하는 단계를 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  24. 제22항에 있어서, 형광투시 기준 프레임에서 표시기 부분 위치의 세트를 인식하는 단계는, 의료 기구의 표시기 부분이 위치되는 동안의 환자 해부구조의 형광투시 영상 데이터를 의료 기구의 표시기 부분이 환자 해부구조 내에 위치되지 않을 때 기록된 환자 해부구조와 비교하는 단계를 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  25. 제22항에 있어서, 형광투시 영상 데이터로부터 생성된 형광투시 영상의 일 부분, 해부학적 모델의 일 부분, 그리고 의료 기구의 표시기 부분의 상호정합된 영상을 표시하는 단계를 추가로 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  26. 제22항에 있어서, 매치의 세트에 기반하여 모델 기준 프레임을 형광투시 기준 프레임에 정합하는 단계는 매치의 세트에 기반하여 모델 지점의 세트에 대해 표시기 부분 위치 지점의 세트를 이동시키는 단계를 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  27. 컴퓨터-보조 의료 시스템이며,
    수술 좌표 공간 내의 형광투시 영상기; 및
    하나 이상의 프로세서를 포함하는 프로세싱 유닛을 포함하고,
    프로세싱 유닛은,
    의료 기구의 일 부분이 환자 해부구조 내의 위치에 위치되는 동안 형광투시 영상기로부터, 배향 평면을 갖는 환자 해부구조의 형광투시 영상을 수신하고;
    의료 기구의 상기 부분의 움직임을 구동시키는 명령을 수신하고;
    상기 부분의 활성화된 이동이 형광투시 영상의 배향 평면에 제약되도록 상기 부분의 작동을 제약하고;
    제약된 작동으로 상기 부분의 움직임을 구동하도록 구성되는, 컴퓨터-보조 의료 시스템.
  28. 제27항에 있어서, 프로세싱 유닛은 형광투시 영상을 표시하도록 추가로 구성되는, 컴퓨터-보조 의료 시스템.
  29. 제28항에 있어서, 프로세싱 유닛은 상기 부분의 비활성화된 이동을 볼 수 있는 제2 배향 평면을 갖는 제2 형광투시 영상을 표시하도록 추가로 구성되는, 컴퓨터-보조 의료 시스템.
  30. 제27항에 있어서, 프로세싱 유닛은,
    제약된 작동으로 상기 부분의 움직임을 구동하는 동안 의료 기구로부터 센서 정보를 수신하고;
    수신된 센서 정보로부터 형광투시 영상의 배향 평면 밖으로의 상기 부분의 이동을 인식하며;
    형광투시 영상의 배향 평면 내로 의료 기구의 상기 부분을 조정하는 신호를 송신하도록 추가로 구성되는, 컴퓨터-보조 의료 시스템.
  31. 제30항에 있어서, 센서 정보는 광섬유 형상 센서로부터 수신되는, 컴퓨터-보조 의료 시스템.
  32. 제27항에 있어서, 상기 부분의 작동을 제약하는 것은 원격조작 제어 시스템에서 조작자 제어 장치의 이동을 제약하는 것을 포함하는, 컴퓨터-보조 의료 시스템.
  33. 제27항에 있어서, 상기 부분의 작동을 제약하는 것은 원격조작 조종기 조립체에서 적어도 하나의 액추에이터의 이동을 제약하는 것을 포함하는, 컴퓨터-보조 의료 시스템.
  34. 제27항에 있어서, 상기 부분의 작동을 제약하는 것은 제어 스위치 작동에 응답적인, 컴퓨터-보조 의료 시스템.
  35. 컴퓨팅 시스템에 의해 수행되는 방법이며,
    환자 해부구조의 해부학적 모델을 수신하는 단계로서, 관심 영역이 해부학적 모델에서 식별되는, 단계;
    환자 해부구조 내에 위치되고 해부학적 모델에 정합된 기구의 기구 형상 센서로부터 형상 센서 데이터를 수신하는 단계; 및
    수신된 형상 센서 데이터 및 관심 영역에 기반하여 표시를 위한 형광투시 영상 평면을 결정하는 단계를 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  36. 제35항에 있어서, 기구 형상 센서는 기구의 원위 팁 부분에 위치되고, 형광투시 영상 평면을 결정하는 단계는,
    수신된 형상 센서 데이터로부터 기구의 원위 팁 부분의 자세를 결정하는 단계; 및
    기구의 원위 팁 부분과 관심 영역 사이의 거리를 결정하는 단계를 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  37. 제36항에 있어서, 형광투시 영상 평면을 결정하는 단계는 기구의 원위 팁 부분과 관심 영역 사이의 거리가 가장 큰 형광투시 영상 평면을 결정하는 단계를 추가로 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  38. 제36항에 있어서, 형광투시 영상 평면을 결정하는 단계는 원위 팁 부분의 자세에 평행한 형광투시 영상 평면을 결정하는 단계를 추가로 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  39. 제35항에 있어서, 기구 형상 센서는 광섬유 형상 센서인, 컴퓨팅 시스템에 의해 수행되는 방법.
  40. 제35항에 있어서, 결정된 형광투시 영상 평면에서 형광투시 영상을 획득하기 위한 구성에서 형광투시 시스템의 그래픽 렌더링을 제공하는 단계를 추가로 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
  41. 제35항에 있어서, 결정된 형광투시 영상 평면에서 형광투시 영상을 획득하기 위한 시스템 구성을 달성하도록 형광투시 시스템을 위한 합동 구성의 세트를 제공하는 단계를 추가로 포함하는, 컴퓨팅 시스템에 의해 수행되는 방법.
KR1020187026147A 2016-02-12 2017-02-10 영상-안내 수술에서 정합되는 형광투시 영상을 사용하기 위한 시스템 및 방법 KR20180104764A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662294879P 2016-02-12 2016-02-12
US201662294870P 2016-02-12 2016-02-12
US62/294,870 2016-02-12
US62/294,879 2016-02-12
PCT/US2017/017433 WO2017139621A1 (en) 2016-02-12 2017-02-10 Systems and methods for using registered fluoroscopic images in image-guided surgery

Publications (1)

Publication Number Publication Date
KR20180104764A true KR20180104764A (ko) 2018-09-21

Family

ID=59563580

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187026147A KR20180104764A (ko) 2016-02-12 2017-02-10 영상-안내 수술에서 정합되는 형광투시 영상을 사용하기 위한 시스템 및 방법

Country Status (6)

Country Link
US (3) US10896506B2 (ko)
EP (3) EP4049612B1 (ko)
JP (1) JP7118890B2 (ko)
KR (1) KR20180104764A (ko)
CN (2) CN113729977A (ko)
WO (1) WO2017139621A1 (ko)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129359B2 (en) 2006-11-10 2015-09-08 Covidien Lp Adaptive navigation technique for navigating a catheter through a body channel or cavity
US8473032B2 (en) 2008-06-03 2013-06-25 Superdimension, Ltd. Feature-based registration method
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
CA2802482C (en) 2010-06-17 2017-06-06 Washington University Biomedical patches with aligned fibers
EP3824853B1 (en) 2012-09-21 2023-07-26 Washington University Biomedical patches with spatially arranged fibers
EP3164074B1 (en) 2014-07-02 2024-04-17 Covidien LP Alignment ct
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
EP4049612B1 (en) 2016-02-12 2024-04-10 Intuitive Surgical Operations, Inc. System and computer-readable medium storing instructions for registering fluoroscopic images in image-guided surgery
US10632228B2 (en) 2016-05-12 2020-04-28 Acera Surgical, Inc. Tissue substitute materials and methods for tissue repair
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
US11369440B2 (en) * 2017-04-17 2022-06-28 The John Hopkins University Tactile augmented reality for medical interventions
JP7257331B2 (ja) * 2017-05-09 2023-04-13 ボストン サイエンティフィック サイムド，インコーポレイテッド 手術室デバイス、方法、及びシステム
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
US10893843B2 (en) 2017-10-10 2021-01-19 Covidien Lp System and method for identifying and marking a target in a fluoroscopic three-dimensional reconstruction
US11364004B2 (en) 2018-02-08 2022-06-21 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US11464576B2 (en) 2018-02-09 2022-10-11 Covidien Lp System and method for displaying an alignment CT
US12004710B2 (en) 2018-06-19 2024-06-11 Intuitive Surgical Operations, Inc. Systems and methods for holding a flexible elongate device in a pose
US11678788B2 (en) 2018-07-25 2023-06-20 Intuitive Surgical Operations, Inc. Systems and methods for use of a variable stiffness flexible elongate device
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US10898276B2 (en) * 2018-08-07 2021-01-26 Auris Health, Inc. Combining strain-based shape sensing with catheter control
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US10973579B2 (en) 2018-12-28 2021-04-13 Industrial Technology Research Institute Optical system
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
DE102019203192A1 (de) * 2019-03-08 2020-09-10 Siemens Healthcare Gmbh Erzeugung eines digitalen Zwillings für medizinische Untersuchungen
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
EP3730055A1 (en) * 2019-04-22 2020-10-28 Canon Medical Systems Corporation Medical image processing apparatus, x-ray diagnostic apparatus, and computer-implemented method
US20210052240A1 (en) * 2019-08-19 2021-02-25 Covidien Lp Systems and methods of fluoro-ct imaging for initial registration
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
DE102019215001B4 (de) * 2019-09-30 2022-11-03 Siemens Healthcare Gmbh Verfahren zur Bildunterstützung bei der Navigation und System
EP3838159A1 (en) * 2019-12-17 2021-06-23 Koninklijke Philips N.V. Navigating bronchial pathways
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
KR102307919B1 (ko) * 2020-04-22 2021-10-05 한국과학기술연구원 단방향 x선 영상을 이용한 굽힘 가능한 중재의료 기구의 포즈 추정 방법
WO2022005870A1 (en) * 2020-06-29 2022-01-06 Bard Access Systems, Inc. Automatic dimensional frame reference for fiber optic
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
EP3944809A1 (en) * 2020-07-28 2022-02-02 Koninklijke Philips N.V. Arrangement and method for determining the position of an invasive device
US11980426B2 (en) 2020-08-03 2024-05-14 Warsaw Orthopedic, Inc. System and method for preliminary registration
US20220133228A1 (en) * 2020-11-03 2022-05-05 Biosense Webster (Israel) Ltd. Identification and visualization of non-navigated objects in medical images
US20240060770A1 (en) * 2020-12-24 2024-02-22 Katholieke Universiteit Leuven Method for shape sensing an optical fiber
WO2022146996A1 (en) * 2020-12-30 2022-07-07 Intuitive Surgical Operations, Inc. Systems for updating a graphical user interface based upon intraoperative imaging
US11950951B2 (en) 2021-01-29 2024-04-09 Covidien Lp Systems and methods for C-arm fluoroscope camera pose refinement with secondary movement compensation
WO2022240790A1 (en) 2021-05-11 2022-11-17 Intuitive Surgical Operations, Inc. Medical instrument guidance systems and associated methods
US20230068745A1 (en) * 2021-09-02 2023-03-02 Covidien Lp Real-time registration using near infrared fluorescence imaging
CN113796960B (zh) * 2021-09-07 2023-11-21 上海联影医疗科技股份有限公司 导管导航装置、设备和存储介质
WO2023060198A1 (en) 2021-10-08 2023-04-13 Intuitive Surgical Operations, Inc. Medical instrument guidance systems, including guidance systems for percutaneous nephrolithotomy procedures, and associated devices and methods
CN114387320B (zh) * 2022-03-25 2022-07-19 武汉楚精灵医疗科技有限公司 医学图像配准方法、装置、终端及计算机可读存储介质

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2567149B1 (fr) 1984-07-06 1986-12-05 Solvay Procede pour l'extraction de poly-beta-hydroxybutyrates au moyen d'un solvant a partir d'une suspension aqueuse de micro-organismes
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
AU1616497A (en) 1997-02-13 1998-09-08 Super Dimension Ltd. Six-degree tracking system
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
AU4365600A (en) * 1999-04-22 2000-11-10 Medtronic Surgical Navigation Technologies Apparatus and method for image guided surgery
US9833167B2 (en) * 1999-05-18 2017-12-05 Mediguide Ltd. Method and system for superimposing virtual anatomical landmarks on an image
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7450743B2 (en) 2004-01-21 2008-11-11 Siemens Medical Solutions Usa, Inc. Method and system of affine registration of inter-operative two dimensional images and pre-operative three dimensional images
CN100559397C (zh) * 2004-01-21 2009-11-11 美国西门子医疗解决公司 手术中二维图像与手术前三维图像的仿射配准方法和系统
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US8515527B2 (en) * 2004-10-13 2013-08-20 General Electric Company Method and apparatus for registering 3D models of anatomical regions of a heart and a tracking system with projection images of an interventional fluoroscopic system
WO2007069168A2 (en) 2005-12-15 2007-06-21 Koninklijke Philips Electronics, N.V. System and method for visualizing heart morphologyduring electrophysiology mapping and treatment
CA2642481C (en) * 2006-02-16 2016-04-05 David W. Smith System utilizing radio frequency signals for tracking and improving navigation of slender instruments during insertion into the body
JP5639764B2 (ja) * 2007-03-08 2014-12-10 シンク−アールエックス，リミティド 運動する器官と共に使用するイメージング及びツール
US9968256B2 (en) * 2007-03-08 2018-05-15 Sync-Rx Ltd. Automatic identification of a tool
AU2007351804B2 (en) * 2007-04-19 2013-09-05 Mako Surgical Corp. Implant planning using captured joint motion information
US9259274B2 (en) 2008-09-30 2016-02-16 Intuitive Surgical Operations, Inc. Passive preload and capstan drive for surgical instruments
US9554868B2 (en) * 2009-08-07 2017-01-31 DePuy Synthes Products, Inc. Method and apparatus for reducing malalignment of fractured bone fragments
US8494613B2 (en) * 2009-08-31 2013-07-23 Medtronic, Inc. Combination localization system
EP2493411A4 (en) 2009-10-28 2015-04-29 Imris Inc AUTOMATIC REGISTRATION OF PICTURES FOR IMAGE-CONTROLLED SURGERY
EP2512360B1 (en) 2009-12-14 2022-08-24 Smith&Nephew, Inc. Visualization guided acl localization system
CN102711650B (zh) * 2010-01-13 2015-04-01 皇家飞利浦电子股份有限公司 用于内窥镜手术的基于图像整合的配准和导航
CN103179916B (zh) * 2010-10-27 2017-06-27 皇家飞利浦电子股份有限公司 基于医疗器械的实时形状感测的自适应成像和帧率优化
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
CN103648394B (zh) 2011-06-27 2016-11-16 皇家飞利浦有限公司 使用外科工具曲线与x-射线图像的配准的实时3d血管造影
CN104023625A (zh) * 2011-09-08 2014-09-03 Apn健康有限责任公司 R波检测方法
WO2013040498A1 (en) * 2011-09-16 2013-03-21 Translucent Medical, Inc. System and method for virtually tracking a surgical tool on a movable display
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
CN104349715B (zh) * 2012-06-08 2018-02-16 皇家飞利浦有限公司 用于对生理特征的参考的分布式感测设备
US10799298B2 (en) * 2012-06-21 2020-10-13 Globus Medical Inc. Robotic fluoroscopic navigation
US10441236B2 (en) * 2012-10-19 2019-10-15 Biosense Webster (Israel) Ltd. Integration between 3D maps and fluoroscopic images
US9014851B2 (en) * 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9629595B2 (en) * 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US20150005745A1 (en) * 2013-06-26 2015-01-01 Corindus, Inc. 3-d mapping for guidance of device advancement out of a guide catheter
US11304621B2 (en) * 2013-07-09 2022-04-19 Biosense Webster (Israel) Ltd. Radiation-free position calibration of a fluoroscope
JP6266284B2 (ja) * 2013-09-19 2018-01-24 東芝メディカルシステムズ株式会社 Ｘ線診断装置
JP6509906B2 (ja) * 2014-01-06 2019-05-08 ボディ・ビジョン・メディカル・リミテッドＢｏｄｙ Ｖｉｓｉｏｎ Ｍｅｄｉｃａｌ Ｌｔｄ． 医療機器の作動方法
US9808230B2 (en) * 2014-06-06 2017-11-07 W. L. Gore & Associates, Inc. Sealing device and delivery system
US9633431B2 (en) * 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
CN110101355A (zh) * 2014-07-28 2019-08-09 直观外科手术操作公司 用于术中分割的系统和方法
US10610181B2 (en) * 2015-02-27 2020-04-07 Siemens Healthcare Gmbh Robust calcification tracking in fluoroscopic imaging
US10706543B2 (en) 2015-08-14 2020-07-07 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
US11202680B2 (en) 2015-08-14 2021-12-21 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
US11278354B2 (en) 2015-09-10 2022-03-22 Intuitive Surgical Operations, Inc. Systems and methods for using tracking in image-guided medical procedure
US10398509B2 (en) * 2015-09-18 2019-09-03 General Electric Company System and method for optimal catheter selection for individual patient anatomy
US10143526B2 (en) * 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
EP4049612B1 (en) 2016-02-12 2024-04-10 Intuitive Surgical Operations, Inc. System and computer-readable medium storing instructions for registering fluoroscopic images in image-guided surgery

Also Published As

Publication number Publication date
EP3413830A4 (en) 2019-09-04
US10896506B2 (en) 2021-01-19
EP4349294A3 (en) 2024-06-19
JP2019507623A (ja) 2019-03-22
JP7118890B2 (ja) 2022-08-16
US20200242767A1 (en) 2020-07-30
CN113729977A (zh) 2021-12-03
EP4049612A1 (en) 2022-08-31
US20230215007A1 (en) 2023-07-06
JP2022140730A (ja) 2022-09-27
US20210073989A1 (en) 2021-03-11
EP4049612B1 (en) 2024-04-10
US11636597B2 (en) 2023-04-25
CN108024838A (zh) 2018-05-11
CN108024838B (zh) 2021-10-01
EP3413830A1 (en) 2018-12-19
EP3413830B1 (en) 2022-06-15
EP4349294A2 (en) 2024-04-10
WO2017139621A1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
US11636597B2 (en) Systems and methods for using registered fluoroscopic images in image-guided surgery
US20240041531A1 (en) Systems and methods for registering elongate devices to three-dimensional images in image-guided procedures
US20220378517A1 (en) Systems and methods for intelligently seeding registration
US20190038365A1 (en) Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery
KR20190105107A (ko) 화상 안내식 시술을 위한 정치 시스템 및 방법
KR20170134598A (ko) 영상 안내 수술에서의 정합 보상의 시스템 및 방법
KR20180000733A (ko) 영상 안내 수술에서의 상관 보상의 시스템 및 방법
US20210100627A1 (en) Systems and methods related to elongate devices
KR20170043623A (ko) 영상 안내 절차에서의 병리학적 데이터의 표시를 위한 시스템 및 방법
KR20170083093A (ko) 정위 데이터를 필터링하기 위한 시스템 및 방법
US11514591B2 (en) Systems and methods related to registration for image guided surgery
US20220054202A1 (en) Systems and methods for registration of patient anatomy
WO2020190584A1 (en) Systems for enhanced registration of patient anatomy
JP7503603B2 (ja) 画像誘導手術において位置合わせされた蛍光透視画像を使用するためのシステム及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal