KR101759534B1 - 외과 수술 시 임상적으로 중요한 해부상의 랜드마크에 대한 시각 추적 및 주석 달기 - Google Patents

외과 수술 시 임상적으로 중요한 해부상의 랜드마크에 대한 시각 추적 및 주석 달기 Download PDF

Info

Publication number
KR101759534B1
KR101759534B1 KR1020127013988A KR20127013988A KR101759534B1 KR 101759534 B1 KR101759534 B1 KR 101759534B1 KR 1020127013988 A KR1020127013988 A KR 1020127013988A KR 20127013988 A KR20127013988 A KR 20127013988A KR 101759534 B1 KR101759534 B1 KR 101759534B1
Authority
KR
South Korea
Prior art keywords
surgical
annotation
image
surgical instrument
tracking
Prior art date
Application number
KR1020127013988A
Other languages
English (en)
Other versions
KR20120101040A (ko
Inventor
마르친 에이. 발리츠키
러셀 에이치. 테일러
그레고리 디. 헤이거
페터 엘. 게흐바츠
제임스 티. 한다
라제쉬 쿠마
Original Assignee
더 존스 홉킨스 유니버시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 존스 홉킨스 유니버시티 filed Critical 더 존스 홉킨스 유니버시티
Publication of KR20120101040A publication Critical patent/KR20120101040A/ko
Application granted granted Critical
Publication of KR101759534B1 publication Critical patent/KR101759534B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13—Ophthalmic microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0295—Operational features adapted for recording user messages or annotations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Urology & Nephrology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Endoscopes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

외과 수술을 위한 시각 추적 및 주석 달기 시스템은, 원하는 수술 부위 및 상기 원하는 수술 부위와 근접한 수술 기구의 이미지 스트림을 얻고, 상기 얻은 이미지를 사용자에게 보여주는 이미지 포착 및 디스플레이 시스템; 상기 원하는 수술 부위와 관련하여 상기 수술 기구를 추적하는 추적 시스템; 상기 이미지 포착 및 디스플레이 시스템 및 상기 추적 시스템과 통신하는 데이터 저장 시스템; 및 상기 데이터 저장 시스템, 상기 이미지 포착 및 디스플레이 시스템 및 상기 추적 시스템과 통신하는 데이터 처리 시스템을 포함한다. 상기 데이터 처리 시스템은 상기 사용자로부터의 입력 신호에 응답하여 상기 사용자에게 보여지는 이미지에 주석을 단다.

Description

외과 수술 시 임상적으로 중요한 해부상의 랜드마크에 대한 시각 추적 및 주석 달기 {VISUAL TRACKING AND ANNOTATION OF CLINICALLY IMPORTANT ANATOMICAL LANDMARKS FOR SURGICAL INTERVENTIONS}
본 출원은 미국 가특허 출원(Provisional Patent Application) 61/256,531(2009년 10월 30일에 출원됨)에 대하여 우선권을 주장하고, 상기 출원의 모든 내용은 여기서 참조로써 통합된다.
본 발명은 미국 보건복지부(Department of Health and Human Services, NIH)로부터 수여 받은 No.1R01 EB 007969-01 및 미국 국립과학재단(NSF)으로부터 수여 받은 No.EEC-9731478의 정부 지원으로 만들어졌다. 미국 정부는 본 발명에 대하여 일정 권리를 갖는다.
본 발명의 실시예에 대한 기술은 수술 과정 동안 정보를 얻고 이를 보여주는 시스템 및 방법에 관한 것으로, 더 상세하게는 외과용 기구의 시각적 추적 및 표시된 정보의 주석을 포함하는 정보를 얻고 이를 보여주는 시스템 및 방법에 관한 것이다.
현재 외과의들은 작은 조직 부위에 대한 수술을 위하여, 복강경 검사 초음파(laparoscopic ultrasound) 및/또는 고주파 열 치료(RF ablation) 장치와 같은 수많은 수술 중 진단 프로그램 및 외과용 및/또는 치료용 장치를 사용한다. 외과의는 비디오를 통해 인체 조직에 대한 상기 장치의 위치를 관찰한다. 진단 기구의 경우에는, 외과의는 그 위치 및 영상 결과에 주목해야 하고, 시간이 경과하는 동안 인체 조직 상의 그 위치를 추적해야 한다. 외과의는 시간이 경과한 뒤에 수술 또는 검사를 위해 특정 인체 조직을 다시 찾기를 원할 수 있다. 만약 외과의가 특정 영역에 대한 이전 진단 영상의 위치 또는 내용을 기억해낼 수 없거나 확신할 수 없다면, 상기 진단 장치는 수술 영역으로 재진입해야 할 것이고, 따라서 시간이 더 많이 소비될 것이다. 외과용 장치의 경우에는, 외과의는 몇몇의 보이는 랜드마크와 관련하여 이미 치료된 영역에 대해 지도를 그려야 한다. 이는 상기 치료가 목표 조직 내부에서 이뤄지는 경우 또는 상기 조직의 외형을 변경시키면 안 되는 경우 어렵다. 간과되거나 과치료된 또는 잘못 치료된 위치는 피해야 한다. 외과의는 예컨대 10 개의 랜드마크와 같이 드문드문하게 위치할 수 있는 다수의 해부 영역을 검사하거나 치료하도록 결정할 수 있다. 이는 이미 최소 절개 수술을 경험한 외과의에게 인지 부하를 증가시킨다. 게다가, 인체 조직은 자연적으로 또는 수술로부터 색깔을 변형시키거나 변경시킬 수 있고, 이는 관련된 랜드마크 및 연관된 수술 중 정보에 대한 추적의 어려움을 증가시킨다.
예를 들어 안과 수술의 경우, 안구 내의 이미지 프로브로 망막의 정보를 얻는 것은 매우 어렵다. 그러나, 새로운 실시간 수술 중 이미징 양식(그린(GRIN) 렌즈 내시경, 분광기, 초음파, 광간섭 단층 영상기(OCT)), 호환성 프로브 및 다기능 기구의 발견으로, 새로운 수술 기술이 가능하게 되었다. 이러한 새로운 기술로 아주 가까운 거리 및 아주 작은 체적의 조직의 이미지를 얻는다. 결과 데이터는 외과의가 현미경의 뷰로 해당하는 해부학적 위치에 대한 다수의 스캔 또는 이미지를 추적하도록 드문드문하게 위치하고, 이는 이미 도전적인 외과적 과제에 상당한 인지 부하를 가중시킨다. 이는 외과적 조작, 출혈, 생물 지표, 시각장에서의 내제적 변화와 더불어 붓기, 조명 방법 및/또는 방향 및 안구 내의 유체 상태 때문에 변경된 인체 조직에 대해 더욱 어려워질 수 있다.
따라서, 외과 수술을 위한 개선된 시각 추적 및 주석 달기 시스템 및 방법이 필요로되고 있다.
본 발명의 몇몇 실시예에 따른 외과 수술을 위한 시각 추적 및 주석 달기 시스템은, 원하는 수술 부위 및 상기 원하는 수술 부위와 근접한 수술 기구의 이미지 스트림을 얻고, 상기 얻은 이미지를 사용자에게 보여주는 이미지 포착 및 디스플레이 시스템을 포함한다; 추적 시스템은 상기 원하는 수술 부위와 관련하여 상기 수술 기구를 추적한다; 데이터 저장 시스템은 상기 이미지 포착 및 디스플레이 시스템 및 상기 추적 시스템과 통신한다; 데이터 처리 시스템은 상기 데이터 저장 시스템, 상기 이미지 포착 및 디스플레이 시스템 및 상기 추적 시스템과 통신한다. 상기 데이터 처리 시스템은 상기 사용자로부터의 입력 신호에 응답하여, 상기 사용자에게 보여지는 이미지에 주석을 단다.
본 발명의 몇몇 실시예에 따른 외과 수술을 위한 시각 추적 및 주석 달기 방법은 원하는 수술 부위 및 상기 원하는 수술 부위에 근접한 수술 기구의 이미지를 얻는 단계, 상기 원하는 수술 부위와 관련하여 상기 수술 기구를 추적하는 단계 및 상기 원하는 수술 부위 및 상기 수술 기구를 보여주는 단계를 포함한다. 상기 보여주는 단계는 상기 사용자로부터의 입력 신호에 응답하여 추가되는 주석 달기를 포함한다.
본 발명의 몇몇 실시예에 따른 컴퓨터 판독 가능 매체는 외과 수술 시 시각 추적 및 주석 달기를 위한 소프트웨어의 비임시 기억 장치를 포함하고, 이는 컴퓨터 시스템에 의하여 실행될 때, 원하는 수술 부위 및 수술 기구의 이미지를 제공하기 위하여 상기 원하는 수술 부위 및 상기 원하는 수술 부위에 근접한 상기 수술 기구의 이미지 데이터를 처리하는 단계; 상기 원하는 수술 부위와 관련한 상기 수술 기구를 추적하기 위하여 상기 이미지 데이터를 처리하는 단계; 상기 이미지에 주석을 달기 위하여 상기 이미지 데이터 및 사용자로부터의 입력 신호를 처리하는 단계; 및 상기 원하는 수술 부위 및 상기 수술 기구의 이미지를 상기 주석과 함께 보여주는 단계를 포함한다.
더 나아가, 본 발명이 해결하고자 하는 과제 및 발명의 효과는 상세한 설명, 도면 및 실시예들을 통하여 분명해질 것이다.
도 1은 본 발명의 일 실시예에 따른 외과 수술을 위한 시각 추적 및 주석 달기 시스템을 도식적으로 보여준다.
도 2는 본 발명의 일 실시예에 따른 외과 수술을 위한 시각 추적 및 주석 달기 시스템에 의해 보여지는 이미지의 예시를 도시한다.
도 3은 본 발명의 일 실시예에 따른 수술 기구의 실시예를 도시한다.
도 4는 본 발명의 일 실시예에 따른 집적 광섬유 OCT 프로브에 의한 현미 외과 수술의 피크의 캐드(CAD) 측면도(왼쪽 상부), 실제 원형의 사진(왼쪽 하부) 및 상기 원형을 사용한 샘플 스캔 데이터(오른쪽)를 도시한다.
도 5는 왼편에 본 발명의 일 실시예에 따른 수술 시스템의 도식적인 예시를 제공하고, 오른편은 축을 이루는 OCT 스캔 데이터를 도시한다.
도 6은 본 발명의 일 실시예에 따른 수술 기구의 구성도이다.
도 7은 본 발명의 일 실시예에 따른 수술 기구 및 초소형 로봇을 포함하는 수술 시스템을 도시한다.
도 8은 본 발명의 일 실시예에 따른 수술 시스템의 구성도이다.
본 발명의 몇몇 실시예들은 아래에서 상세하게 논의될 것이다. 실시예들을 설명하면서, 명확성을 위해 특정 기술이 사용된다. 하지만, 본 발명은 선택된 상기 특정 기술로 인해 한정되지 않는다. 당업자라면 다른 동일한 요소가 사용될 수 있고, 본 발명의 넓은 개념에서 벗어나지 않고 다른 방법들이 전개될 수 있음을 알 수 있을 것이다. 본 상세한 설명의 어떠한 부분에서 언급되는 모든 참조는 각각 개별적으로 통합된 것과 같이 참조로써 통합된다.
본 발명의 몇몇 실시예는 오버레이 주석이 추가된 비디오로서, 수술 중에 수집된 외과적으로 관련된 데이터를 보여주는 시스템 및 방법에 관한 것이다. 수술 중 이미지 및/또는 치료 정보는 수술 중 비디오 내의 해당하는 해부상의 랜드마크 위치에 등록될 수 있고, 시간 경과에 따라 상기 비디오 내에 다양한 표시로 추적되고 시각화될 수 있다. 덧붙여, 외부 장치 추적 시스템 및/또는 로봇은 또한 본 발명의 몇몇 실시예에 따라 포함될 수 있다. 이 경우에는, 이것들이 상기 비디오 시스템에 등록될 필요가 있을 수 있다. 본 발명의 몇몇 실시예에 따른 상기 시스템은 상기 수술 비디오 시야 내에서 보이는 어떠한 기구와 함께라도 사용될 수 있다. 간단한 경우에, 상기 기구는 원하는 부위를 그리는 데에 사용되는 지시 장치일 수 있고, 이는 그리고 나서 그 이후의 비디오(텔레스트레이션(telestration))에서 추적된다. 좀 더 복잡한 경우에, 상기 기구는 예컨대 초음파, 분광 프로브, 산소화 센서, 광 간섭 단층 영상기, 공초점 현미경 검사, 내시경, 그린 내시경, 신경 기능 측정, 자가 형광과 같은 어떠한 수술 중 진단 및/또는 이미지 장치가 될 수 있고, 또는 예컨대 RF 간 제거 레이저, 전기 자극, 냉동 수술 등과 같은 수술 치료 장치가 될 수 있다. 이러한 장치들로부터의 정보는 이 것이 수집된 위치에 링크될 수 있으며, 또는 치료의 경우에는 그것이 적용된 위치에 링크될 수 있다. 상기 정보는 예를 들어 실시간 수술 비디오 자료로서 동일한 스크린에 화면 속 화면으로 보여질 수 있고, 또는 분리된 스크린에 보여질 수 있다.
개별적인 주석이 외과의에 의해 설치 또는 제거되도록 추가될 수 있다. 상기 주석은 그들의 시간에 따른 특성, 즉 그들의 관련 인체조직이 보이는지(장치로부터의 흡장), 과정 도중 변형됐는지, 또는 일정 양만큼 자연적으로 변화했는지에 따라 다양한 상태들을 가질 수 있다. 이러한 상태들은 색깔, 강도, 가시도 또는 원문 주석으로 표시될 수 있다. 상기 주석은 그들 스스로 상기 기구의 형태 또는 상기 이미지 영역 및 체적의 형태에 대응하여 점, 선, 영역, 부피, 원문 주석, 이미지 형태가 될 수 있다. 이러한 주석은 랜드마크, 조직의 유형(상기 수술 중 이미지로부터 스스로 정보를 얻거나 치료되는 조직의 근본적인 특징), 또는 장치 유형에 근거하여 특별한 또는 문맥상 내재적 관계를 생성할 수 있다. 다수의 장치로부터의 정보는 본 발명의 몇몇 실시예에서 동일한 비디오 상에 주석으로 달릴 수 있다.
본 발명의 몇몇 실시예는 예컨대 페달, 컴퓨터 마우스, 터치 스크린, 음성 인식 입력을 포함할 수 있고, 또는 사용되는 기구 상의 센서 활동 수준과 연관될 수 있다. 몇몇 실시예에서는, 비디오 상에 상기 기구의 움직임 인식이 포함될 수 있다. 더 나아가, 비디오 상에 장치 위치 추적은 시스템이 본 발명의 일 실시예에 따라 간단한 센서로부터 풍부한 정보를 제공하도록 한다. 본 발명의 일 실시예는 상기 시스템이 A-스캔으로부터 B-스캔 이미지를 생성하고, 비디오 장치 추적 모듈로부터 대응하는 위치 평가를 생성할 수 있는 수술 중의 OCT를 포함할 수 있다. 다른 실시예는 예컨대 용적 측정의 C-스캔과 같은 정보 표시로 접근을 확장할 수 있다.
본 발명의 몇몇 실시예는 후술하는 내용을 포함하나, 이에 의해 제한되지 않는다.
1. 주석은 전체 이미지 스트림(비디오)에 걸쳐 인체 조직에 관련하여 취득된다. 센서 스트림 데이터로 상기 인체 조직(예를 들면, 장기) 상의 위치에 주석을 달수 있다.
2. "정보 결합": 센서 데이터는, 비디오에 상관될 수 있거나 상기 인체 조직에 대하여 위치 시퀀스를 공간적으로 추적할 수 있는 시계열적 데이터이다. 원하는 부위에 걸쳐 움직이는 상기 센서 위치는 추적될 수 있고, 해당 시간 동기된 장치 위치는 비디오 시퀀스에 걸쳐 이미지를 생성하기 위하여 장치 센서 데이터 스트림과 결합될 수 있다. 예를 들면, A-스캔 스트림은 B-스캔 및/또는 M-스캔 데이터로 변환된다.
3. 주석에 대한 검토는 주석에 대한 사용자 상호작용을 포함할 수 있다. 간단한 상호작용은 추적 장치 또는 다른 입력(음성, 페달 등)으로 가리키면서 "활성화된" 주석을 선택하는 것을 포함할 수 있다. 더 복잡한 상호작용은 기구가 스스로 주석 달기를 하는 것을 나타낼 수 있다.
4. 센서 스트림은 다수의 비디오 이미지 시퀀스에 걸쳐 상관될 수 있다.
도 1은 본 발명의 일 실시예에 따른 외과 수술을 위한 시각 추적 및 주석 달기 시스템(10)을 보여주는 도면이다. 상기 시각 추적 및 주석 달기 시스템(10)은 원하는 수술 부위 및 상기 원하는 수술 부위에 근접한 수술 기구의 이미지 스트림을 얻고, 상기 얻은 이미지를 사용자에게 보여주는 이미지 포착 및 디스플레이 시스템(12)을 포함한다. 상기 이미지 포착 및 디스플레이 시스템(12)은 예컨대, 수술용 현미경과 내시경 및/또는 비디오 카메라와 같은 광학 장치를 포함할 수 있으나 이에 한정되는 것은 아니다. 상기 이미지 포착 및 디스플레이 시스템(12)은 또한 비디오 디스플레이 또는 헤드 마운트 디스플레이와 같은 하나 또는 그 이상의 디스플레이를 포함할 수 있으나 이에 한정되는 것은 아니다. 상기 시각 추적 및 주석 달기 시스템(10)은 또한 상기 원하는 수술 부위와 관련하여 상기 수술 기구를 추적하는 추적 시스템(14), 상기 이미지 포착 및 디스플레이 시스템(12) 및 상기 추적 시스템(14)과 통신하는 데이터 저장 시스템(16), 및 상기 데이터 저장 시스템(16), 상기 이미지 포착 및 디스플레이 시스템(12), 그리고 상기 추적 시스템(14)과 통신하는 데이터 처리 시스템(18)을 포함한다. 상기 데이터 처리 시스템(18)은, 예컨대 특정 응용에서 원하는 것과 같이 지역적이거나 무리를 이루거나 또는 광범위해질 수 있는 하나 또는 그 이상의 개인용 컴퓨터의 프로세서를 포함할 수 있다. 상기 추적 시스템(14)은 본 발명의 몇몇 실시예에서 컴퓨터 상에서 실행될 수 있으며, 전통적으로 사용되는 이미지 인식 및 추적 알고리즘을 사용할 수 있다. 몇몇 실시예에 따르면, 상기 추적 시스템은 상기 데이터 처리 시스템(18) 상에서 실행될 수 있으며, 또는 다른 실시예에 따르면 분리된 시스템일 수 있다. 상기 데이터 저장 시스템(16)은 특정 응용에 따라 하나 또는 그 이상의 광범위하게 사용되는 데이터 저장 장치로부터 선택될 수 있다. 상기 데이터 처리 시스템(18)은 사용자로부터의 입력 신호에 응답하여, 상기 사용자에게 보여지는 이미지에 주석을 단다.
상기 시각 추적 및 주석 달기 시스템(10)은 또한, 본 발명의 몇몇 실시예에 따른 입력 신호를 제공하기 위하여 상기 데이터 처리 시스템과 통신하는 사용자 입력 장치(20)를 포함할 수 있다. 상기 입력 장치(20)는 본 발명의 몇몇 실시예에 따라 하나 또는 그 이상의 페달, 키패드, 스위치, 마이크, 시표 추적 시스템 또는 수술 기구일 수 있으나 이에 한정되는 것은 아니다.
본 발명의 몇몇 실시예에 따르면, 상기 데이터 처리 시스템(18)은 적어도 하나의 상기 수술 기구의 위치 또는 자취를 포함하도록 사용자에게 보여지는 이미지에 주석을 달 수 있다. 도 2는 본 발명의 일 실시예에 따라, A, B 및 C로 명명된 세 개의 OCT 경로로 주석이 달린 이미지의 예시를 도시한다. 도 2는 또한 수술 기구의 사용자 배치에 응답하여 보여지는 OCT M-모드 데이터의 화면 속 화면을 도시한다. 이는 본 발명의 다양한 실시예에 포함될 수 있는, 광범위하게 가능한 주석 달기의 오직 하나의 실시예이다. 본 발명의 넓은 개념은 본 특정 예시에 한정되지 않는다. 몇몇 실시예에 따르면, 상기 데이터 처리 시스템(18)은 상기 수술 기구의 위치에 대응하는 상기 데이터 저장 시스템으로부터 회수된 정보를 보여주기 위하여 사용자에게 보여지는 이미지에 주석을 달 수 있다. 예를 들면, 도 2의 상기 M-모드 데이터는 OCT 장치의 스캔으로 포착되고, 상기 OCT 장치가 이전에 스캔된 경로를 따라 위치할 때 보여지기 위하여 데이터 저장 시스템(16)으로부터 다시 상기된다.
본 발명의 몇몇 실시예에 따르면, 상기 사용자 입력 장치(20)는 상기 추적 시스템에 의해 추적되는 데에 적합한 수술 기구일 수 있다. 상기 수술 기구는 상기 원하는 수술 부위의 국지적인 부분에 관한 데이터 스트림을 제공하도록 설계된 센서 시스템을 포함할 수 있고, 상기 데이터 저장 시스템과 통신할 수 있다. 따라서 상기 수술 기구에 의해 얻은 데이터는 나중의 회수를 위해 저장될 수 있다. 본 발명의 몇몇 실시예에 따르면, 상기 센서 시스템은 광학 센서 시스템, 초음파 센서 시스템 또는 힘 센싱 시스템 중 적어도 하나를 포함할 수 있다.
본 발명의 몇몇 실시예에 따른 수술 기구는 동시 이미지 및 외과 수술 기능이 하나의 기구에 집적되도록 할 수 있다. 상기 광학 센서에 대한 기구의 등록은 본 발명의 일 실시예에 따른 상기 광학 센서의 시각장에서 보이는 상기 기구의 참고 영역에 의해 취득될 수 있다. 더 나아가, 다수의 이미지 프로브는 상승하는 이미지 체적, 다수의 이미지 방향, 상승하는 해상도를 위한 기구로 집적될 수 있고, 아니면 본 발명의 다른 실시예에 따른 동시의 다모드 이미지 기능을 위한 다른 종류의 이미지를 제공할 수 있다. 다수의 이미지 포인트 프로브(다수의 중심 섬유 또는 다심 광섬유 묶음)는 몇몇 실시예에서 상기 장치 팁의 등록을 광학 센서로 개선할 수 있다.
본 발명의 일 실시예에 따른 수술 기구(100)는 도 3에 도시되어 있다. 상기 수술 기구는 본 발명의 몇몇 실시예에 따른 사용자 입력 장치(20)로써 사용될 수 있다. 상기 수술 기구(100)는 근위 끝단(104) 및 원위 끝단(106)을 갖는 수술 도구(102) 및 상기 수술 도구(102)에 부착된 적어도 한 영역을 갖는 광학 센서를 포함한다. 도 3의 바로 보이지 않는 광섬유는 상기 수술 도구(102) 내에서 루멘(lumen)으로 동작하고, 상기 수술 도구(102)에 부착된다. 상기 광섬유는 보호 케이블(108)내에 에워싸이고, 본 실시예에서 기준 섬유 연결기(110)를 갖는다. 도 4에 좀 더 상세하게 도시된 바에 따르면, 상기 수술 도구(102)는 상기 수술 도구(102)의 기준 영역(112)을 제공하는 데에 적합한 영역을 갖는다. 상기 광학 센서(114)(도 5에 도시)는 상기 수술 도구(102)의 상기 기준 영역(112)에 대하여 고정된 끝단(116)을 갖는다. 따라서 상기 수술 도구(102)의 상기 기준 영역(112)은 사용하는 동안 상기 수술 도구(102)의 상기 원위 끝단(106)과 근접한 또는 접촉하는 조직(118)을 따라 감지될 수 있다.
도 3에 도시된 실시예에는, 상기 수술 기구(100)가 섬유 연결기(110)를 통해 상기 광학 센서의 나머지 부분과 연결될 수 있는 상기 광학 센서의 일 부분과 함께 도시되고 있다. 도 5에 도시된 실시예에서는, 상기 광학 센서(114)는 광간섭 단층 영상기(OCT) 시스템이다. 다른 실시예에서는, 본 발명의 넓은 개념의 범위 내에서 상기 수술 기구(100)에 하나 이상의 OCT 또는 다른 종류의 광학 센서를 포함할 수 있다. 덧붙여, 많은 응용으로 상기 도 3 내지 도 5에 도시된 실시예와 같이 상기 도구의 외부에 많은 상기 광학 센서(114)를 제공하도록 하는 장점이 있음에도 불구하고, 본 발명의 넓은 개념은 또한 모든 센서 또는 센서들이 상기 수술 도구 내에 포함되는 실시예를 포함한다. 도 5의 실시예에 따른 상기 광간섭 단층 영상기(OCT)는 광학 센서(114)의 고정된 끝단(116)을 제공하고 상기 수술 도구(102)의 양 기준 영역(112)으로 빛을 쏘는 단모드 광 섬유 및 상기 수술 도구(102)의 상기 양 기준 영역(112)으로부터 반사하여 빛을 쏘고 상기 수술 도구(102)의 상기 원위 끝단(106)의 상대적인 거리에 대한 정보를 선택된 조직(118)의 영역으로 제공하는 상기 조직(118)을 포함한다. 상기 "반사(reflected back) "라는 용어는 빛이 반사되기만 하면 산란뿐만 아니라 정반사 등등을 포함하는 광범위한 뜻을 갖도록 의도되었다. 또한, 상기 "빛(light) "이라는 용어는 가시광 및 적외선(IR) 및 자외선과 같은 인간에게 보이지 않는 광을 포함하는 광범위한 뜻을 갖도록 의도되었다. 본 발명의 몇몇 실시예에서는, 예를 들면 상기 OCT 시스템은 IR 소스를 사용하여 조직으로 가시광보다 상당한 투과 깊이를 제공할 수 있다. 본 발명의 몇몇 실시예는, 예를 들면 상기 OCT 시스템 내에 광대역 소스를 포함할 수 있다(도 6에 도시). 그러나, 본 발명의 일반적인 개념은 상기 광학 센서(114)에 사용되는 광 소스의 특정 종류에 의해 한정되지 않는다. 주파수 도메인 OCT 감지 시스템은 본 발명의 몇몇 특정 응용에 적합함을 알 수 있었다; 그러나, 본 발명의 일반적인 개념은 시간 도메인 OCT 시스템의 사용을 배제하지 않는다. 더 나아가, 상기 광학 센서의 몇몇 실시예는 광 소스가 없을 수 있고, 대신에 주변 또는 외부 광 소스에 의존할 수 있다.
대체적으로, 또는 상기 광학 센서(114)로서 설명된 상기 OCT 시스템에 덧붙여 상기 광학 센서(114)는 시각 이미지 시스템이거나 이를 포함할 수 있다. 예를 들면, 상기 광학 이미지 시스템은 상기 수술 도구(102)의 상기 원위 끝단(106)과 근접하거나 접촉하는 상기 수술 도구(102)의 상기 기준 영역(112) 및 상기 조직(118)을 동시에 이미징할 수 있도록, 하나의 광섬유 또는 한 다발의 광섬유를 포함할 수 있다. 몇몇 실시예에서는, 상기 수술 도구(102)는 예컨대 눈 수술 사용에 적합한 피크일 수 있다. 그러나, 본 발명의 일반적인 개념이 수술 도구의 특정 타입으로 한정되는 것은 아니다. 수술 도구(102)에 적합한 수술 도구의 다양한 종류로써 예컨대 피크, 핀셋, 나이프, 광 전달 장치, 가위, 주사기, 유리체 절제 도구 또는 다른 현미 수술 도구들을 생각해낼 수 있지만 이에 한정되는 것은 아니다. 상기 수술 기구는 예컨대 도 5의 수술 시스템(200) 또는 도 7에 도시된 초소형 로봇(300)에 의해 보여지는 것과 같이, 로봇 시스템으로 통합되도록 적용될 수 있다. 본 발명의 일 실시예에서는, 상기 조직 상에 비춰진 레이저 빛은 시각 추적을 용이하게 하거나 사용자 상호작용을 개선시키는 데에 사용될 수 있다. 몇몇 실시예에서는, 상기 도구의 본체와 관련된 상기 센서의 위치가 알려지기 때문에, 상기 센서의 위치는 도구 추적을 통해 추적될 수 있다.
도 8은 본 발명의 일 실시예에 따른 시각 추적 및 주석 달기 시스템을 포함할 수 있는 수술 시스템(400)의 구성도이다. 상기 수술 시스템(400)은 수술 기구(402), 상기 수술 기구(402)와 통신하는 데이터 프로세서(404), 상기 데이터 프로세서(404)와 통신하고 수술 과정 동안 외과의에게 정보를 보여주는 디스플레이 시스템(406)을 포함한다. 본 발명의 몇몇 실시예에 따르면, 상기 수술 기구(402)는 예컨대 앞서 설명된 것과 같은 수술 기구(100)일 수 있다. 도 8의 예시에서는, 상기 수술 기구(402)는 OCT PC(408)와 같은 전용 데이터 프로세서를 갖는다. 그러나, 본 발명의 넓은 개념은 도 8에 도시된 하나의 특정 구조로 인하여 한정되지 않는다. 예컨대 데이터 프로세서는 상기 수술 시스템(400)의 다른 부분뿐만 아니라 상기 OCT 시스템 처리를 수행할 수 있다. 상기 수술 시스템(410)은 또한 로봇 시스템(410)을 포함한다. 상기 로봇 시스템(410)은 예컨대 전용 데이터 프로세서(412)를 가질 수 있고, 또한 예컨대 상기 OCT 프로세서를 따라 하나의 다목적 프로세서에 포함될 수 있다. 상기 데이터 프로세서(404)는 일반적으로 하나 또는 그 이상의 원격 프로세서를 포함하는 하나 또는 그 이상의 데이터 프로세서를 포함하도록 고려될 수 있다. 상기 수술 시스템(400)은 디스플레이 시스템(406)의 일 실시예로서 비디오 디스플레이를 도시하고 있다. 그러나 본 발명의 일반적인 개념은 상기 특정 예시로써 한정되지 않는다. 상기 디스플레이는 수송 정보의 기능 및/또는 외과의에게 정보를 제공하는 수단으로 동작하는 헤드 마운트 디스플레이, 햅틱 또는 오디오 장치이거나 이를 포함할 수 있다. 상기 로봇 시스템(400)은 예컨대 고정 손 로봇 시스템 또는 초소형 로봇 시스템일 수 있으나 이에 한정되는 것은 아니다. 본 발명의 몇몇 실시예에서는 상기 데이터 프로세서(404)는 상기 수술 기구의 상기 원위 끝단의 상대적인 위치의 값에 기초하여 적어도 하나의 경고 신호 또는 피드백 응답 신호를 상기 조직에 제공하도록 구현될 수 있다. 본 발명의 몇몇 실시예는, 상기 데이터 프로세서(404)가 상기 로봇 시스템이 피드백 응답을 제공하도록, 상기 조직 또는 상기 기구의 위치로부터 상기 수술 기구의 상기 원위 끝단의 적어도 하나의 상대적인 거리의 값에 기초하여 피드백 응답 신호를 상기 로봇 시스템에 제공하도록 구현될 수 있다.
실시예
후술될 내용은 본 발명의 몇몇 실시예에 따른 시각 추적 및 주석 달기 시스템의 사용에 대한 몇몇 예시를 나타낸다. 이러한 예시는 설명을 위해 제공되는 것으로, 본 발명의 넓은 범위를 한정하는 것으로 의도된 것이 아니다.
유리체 수술(VitroRetinal Surgery)
- 외과의는 OCT 프로브를 원하는 부위 근처로 가져간다.
- 발 페달이 눌러지는 동안(또는 음성 명령 작동기), 외과의는 상기 프로브를 이용하여 상기 원하는 부위를 훑는다.
- 스캔의 위치는 상기 조직과 관련하여 추적되고, 시각 및/또는 외부 도구 추적을 통해 비디오 상에 나타난다. 시간 동기 센서 데이터 스트림은 상기 경로와 관련이 있다.
- 추적된 인체 영역 상의 상기 지점으로부터 따라서 추적되고 주석이 달린다.
- 외과의는 또 다른 스캔을 생성하거나 존재하는 것을 재시험하는 것을 선택할 수 있다.
- 외과의는 구두로 "스캔 3번"을 검토해달라고 요청할 수 있고 또는 상기 수술 기구로 이를 맴돌 수 있다.
본 상세한 설명에 개시되고 논의된 실시예는 오직 당업자로 하여금 발명자가 알고 있는 가장 적절한 방법으로 발명을 구성하고 사용할 수 있도록 의도되었다. 설명된 본 발명의 실시예에서 구체적인 용어는 명확함을 위해 사용되었다. 하지만 본 발명은 선택된 상기 구체적인 용어에 의해 한정되지 않는다. 앞서 설명된 본 발명의 실시예는 앞서 개시된 내용에 비추어 당업자에게 받아들여지는 본 발명의 범위 내에서 수정되고 변화될 수 있다. 그러므로, 청구항의 범위 및 그 동일성의 범위 내에서 본 발명은 구체적으로 설명된 것 이외로 실행될 수 있을 것이다.

Claims (47)

  1. 원하는 수술 부위 및 상기 원하는 수술 부위와 수술 기구의 복수의 이미지 스트림을 얻고, 상기 복수의 이미지 스트림을 사용자에게 보여주는 이미지 포착 및 디스플레이 시스템;
    상기 복수의 이미지 스트림을 처리하는 것에 기초하여 상기 원하는 수술 부위와 관련하여 상기 수술 기구를 추적하는 추적 시스템;
    상기 이미지 포착 및 디스플레이 시스템 및 상기 추적 시스템과 통신하는 데이터 저장 시스템; 및
    상기 데이터 저장 시스템, 상기 이미지 포착 및 디스플레이 시스템 및 상기 추적 시스템과 통신하는 데이터 처리 시스템을 포함하고,
    상기 데이터 처리 시스템은 상기 사용자로부터의 입력 신호에 응답하여, 외과 수술 중에 상기 사용자에게 보여지는 상기 복수의 이미지 스트림의 제 1 이미지로부터 주석을 생성하도록 구성되고,
    상기 추적 시스템은 수술 전의 이미지 또는 상기 복수의 이미지 스트림으로부터 얻은 적어도 하나의 대응하는 해부상의 랜드마크 위치와 관련된 상기 주석의 위치를 얻도록 더 구성되고,
    상기 데이터 저장 시스템은 상기 대응하는 해부상의 랜드마크 위치와 관련된 상기 주석 및 상기 주석의 상기 위치를 저장하도록 구성되고,
    상기 데이터 처리 시스템은 상기 주석을 상기 복수의 이미지 스트림 중 제 2 이미지 스트림 상에 오버레이시켜 상기 데이터 저장 시스템에 저장된 상기 대응하는 해부학적 랜드마크 위치와 관련된 상기 주석의 상기 위치에 기초하여 상기 제 1 이미지 스트림으로부터의 다른 방향 및 위치 중 적어도 하나를 얻는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 원하는 수술 부위 및 수술 기구의 복수의 이미지를 얻는 단계;
    상기 복수의 이미지를 처리하는 것에 기초하여 상기 원하는 수술 부위와 관련하여 상기 수술 기구를 추적하는 단계; 및
    사용자로부터의 입력 신호에 응답하여 외과 수술 중에 상기 복수의 이미지 중 제 1 이미지로부터 주석을 생성하는 단계;
    적어도 하나의 대응하는 해부상의 랜드마크 위치에 관련된 상기 주석의 위치를 얻고 저장하는 단계;
    수술 전 이미지 또는 상기 복수의 이미지로부터 얻은 상기 해부상의 랜드마크 위치와 관련된 상기 주석 및 상기 주석의 상기 위치를 회수하는 단계; 및
    상기 주석을 상기 사용자에 의해 보여지는 상기 복수의 이미지 중 제 2 이미지 상에 오버레이시킴으로써 상기 대응하는 해부상의 랜드마크 위치와 관련된 상기 주석의 상기 위치에 기초하여 상기 제 1 이미지로부터의 다른 방향 및 위치 중 적어도 하나를 얻는 단계를 포함하는 외과 수술을 위한 시각 추적 및 주석 달기 방법.
  20. 삭제
  21. 삭제
  22. 외과 수술 시 시각 추적 및 주석 달기를 위한 소프트웨어의 비임시 기억 장치를 포함하는 컴퓨터 판독 가능 매체(computer-readable medium)로서, 상기 컴퓨터 판독 가능 매체가 컴퓨터 시스템에 의해 실행되는 경우에,
    원하는 수술 부위 및 수술 기구의 이미지를 제공하기 위하여 상기 원하는 수술 부위 및 상기 수술 기구의 이미지 데이터를 처리하는 단계;
    상기 이미지 데이터를 처리하는 것에 기초하여 상기 원하는 수술 부위와 관련한 상기 수술 기구를 추적하기 위하여 상기 이미지 데이터를 처리하는 단계;
    상기 외과 수술 중에 상기 이미지 데이터의 제 1 이미지로부터의 주석을 생성하기 위해 상기 이미지 데이터 및 사용자로부터의 입력 신호를 처리하는 단계; 및
    적어도 하나의 대응하는 해부상의 랜드마크 위치와 관련된 상기 주석 및 상기 주석의 위치를 저장하도록 상기 주석을 처리하는 단계를 포함하고,
    상기 대응하는 해부상의 랜드마크 위치와 관련된 상기 주석 및 상기 주석의 상기 위치를 회수하도록 상기 주석을 처리하는 단계,
    상기 주석을 상기 이미지 데이터의 제 2 이미지 상에 오버레이시켜 상기 주석을 처리하는 단계를 포함하고,
    상기 주석을 상기 제 2 이미지 상에 오버레이시키는 것은 상기 대응하는 해부상의 랜드마크 위치와 관련된 상기 주석의 상기 위치에 기초하여 상기 주석을 이미지 데이터 상에 오버레이시키는 단계를 포함하는 컴퓨터 판독 가능 매체.
  23. 삭제
  24. 삭제
  25. 제 1 항에 있어서,
    상기 입력 신호를 제공하기 위해 상기 데이터 처리 시스템과 통신하는 사용자 입력 장치를 더 포함하는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  26. 제 25 항에 있어서,
    상기 사용자 입력 장치는 페달, 키패드, 마이크, 시표 추적 시스템 및 스위치 중 적어도 하나를 포함하는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  27. 제 1 항에 있어서,
    상기 데이터 처리 시스템은 적어도 하나의 상기 원하는 수술 부위와 관련된 상기 수술 기구의 위치 또는 자취를 포함하도록 상기 사용자에게 보여지는 상기 복수의 이미지 스트림에 주석을 달도록 더 구성되는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  28. 제 1 항에 있어서,
    상기 데이터 처리 시스템은, 나중의 회수를 위해 추석을 저장하고 상기 수술 기구의 위치에 대응하는 상기 데이터 저장 시스템으로부터 회수된 정보를 보여주기 위하여, 상기 사용자에게 보여지는 상기 복수의 이미지 스트림에 주석을 달도록 더 구성되는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  29. 제 1 항에 있어서,
    상기 수술 기구를 더 포함하고, 상기 수술 기구는 상기 원하는 수술 부위의 국지적인 부분에 관한 데이터를 수집하도록 설계된 센서 시스템을 포함하고,
    상기 수술 기구는 상기 수술 기구에 의해 얻은 데이터가 나중의 회수를 위해 저장될 수 있도록 상기 데이터 저장 시스템과 통신하는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  30. 제 29 항에 있어서,
    상기 센서 시스템은 광학 센서 시스템, 초음파 센서 시스템 또는 힘 센서 시스템 중 적어도 어느 하나인 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  31. 제 29 항에 있어서,
    상기 센서 시스템은 광간섭 단층 영상기(optical coherence tomography) 시스템을 포함하는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  32. 제 1 항에 있어서,
    상기 수술 기구를 더 포함하고, 상기 수술 기구는,
    근위 끝단 및 원위 끝단을 갖는 수술 도구; 및
    상기 수술 도구에 부착된 적어도 하나의 영역을 갖는 광학 센서를 포함하고,
    상기 수술 도구는 상기 수술 도구의 기준 영역을 제공하는 영역을 가지며,
    상기 광학 센서는 상기 수술 도구의 상기 기준 영역에 대하여 고정된 끝단을 가짐으로써, 사용하는 동안 상기 수술 도구의 상기 기준 영역은 상기 수술 도구의 상기 원위 끝단에 근접한 또는 접촉한 조직을 따라 감지될 수 있는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  33. 제 32 항에 있어서,
    상기 광학 센서는 시각 이미지 시스템을 포함하는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  34. 제 33 항에 있어서,
    상기 시각 이미지 시스템은 광 섬유를 포함하고,
    상기 시각 이미지 시스템은 상기 수술 도구의 상기 기준 영역 및 상기 수술 도구의 상기 원위 끝단에 근접한 또는 접촉한 상기 조직을 동시에 이미징하는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  35. 제 32 항에 있어서,
    상기 광학 센서는 광간섭 단층 영상기 시스템을 포함하는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  36. 제 35 항에 있어서,
    상기 광간섭 단층 영상기 시스템은 상기 광학 센서의 상기 고정된 끝단을 제공하는 광 섬유를 포함하고,
    상기 광섬유는, 상기 수술 도구의 상기 기준 영역 및 상기 수술 도구의 상기 원위 끝단과 근접한 또는 접촉한 상기 조직에 빛을 보내고, 상기 수술 도구의 상기 원위 끝단과의 상대적인 거리에 관한 정보를 상기 조직의 선택된 영역에 제공하도록 상기 수술 도구의 상기 기준 영역 및 상기 조직으로부터 반사된 빛을 감지하는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  37. 제 36 항에 있어서,
    상기 수술 도구는 눈 수술에 사용되는 피크(pick)를 포함하는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  38. 제 36 항에 있어서,
    상기 수술 도구는 피크, 핀셋, 나이프, 광 전달 장치, 가위, 주사기, 유리체 절제 도구 중 적어도 하나인 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  39. 제 37 항에 있어서,
    상기 수술 도구의 상기 원위 끝단은 외과의가 수술을 수행할 때 손으로 쥐게 되는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  40. 제 37 항에 있어서,
    상기 수술 도구의 상기 원위 끝단은 적어도 하나의 로봇식 또는 로봇 보조식 수술을 위한 로봇 시스템에 부착되는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  41. 제 1 항에 있어서,
    상기 수술 기구를 더 포함하고,
    상기 수술 기구는 상기 원하는 수술 부위의 국지적인 부분에 관한 데이터를 수집하도록 설계된 센서 시스템을 포함하고,
    상기 수술 기구는 상기 수술 기구에 의해 얻어진 상기 데이터에 주석을 달기 위해 상기 데이터 저장 시스템과 통신하는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  42. 제 1 항에 있어서,
    상기 수술 기구를 더 포함하고,
    상기 수술 기구는 상기 입력 신호를 제공하기 위해 상기 데이터 처리 시스템과 통신하는 사용자 입력 장치인 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  43. 제 25 항에 있어서,
    상기 사용자 입력 장치는 수술 기구를 포함하는 외과 수술을 위한 시각 추적 및 주석 달기 시스템.
  44. 제 19 항에 있어서,
    상기 주석은 적어도 하나의 상기 수술 기구의 위치 또는 자취를 포함하는 외과 수술을 위한 시각 추적 및 주석 달기 방법.
  45. 제 19 항에 있어서,
    상기 주석은 상기 수술 기구의 위치에 대응하는 데이터 저장 시스템으로부터 회수된 정보를 포함하는 외과 수술을 위한 시각 추적 및 주석 달기 방법.
  46. 제 22 항에 있어서,
    상기 주석은 적어도 하나의 상기 수술 기구의 위치 또는 자취를 포함하는 컴퓨터 판독 가능 매체.
  47. 제 22 항에 있어서,
    상기 주석은 상기 수술 기구의 위치에 대응하는 데이터 저장 시스템으로부터 회수된 정보를 포함하는 컴퓨터 판독 가능 매체.
KR1020127013988A 2009-10-30 2010-11-01 외과 수술 시 임상적으로 중요한 해부상의 랜드마크에 대한 시각 추적 및 주석 달기 KR101759534B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US25653109P 2009-10-30 2009-10-30
US61/256,531 2009-10-30
PCT/US2010/054988 WO2011053921A2 (en) 2009-10-30 2010-11-01 Visual tracking and annotation of clinically important anatomical landmarks for surgical interventions

Publications (2)

Publication Number Publication Date
KR20120101040A KR20120101040A (ko) 2012-09-12
KR101759534B1 true KR101759534B1 (ko) 2017-07-19

Family

ID=43923049

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127013988A KR101759534B1 (ko) 2009-10-30 2010-11-01 외과 수술 시 임상적으로 중요한 해부상의 랜드마크에 대한 시각 추적 및 주석 달기

Country Status (6)

Country Link
US (1) US9814392B2 (ko)
EP (1) EP2493387A4 (ko)
JP (1) JP5774596B2 (ko)
KR (1) KR101759534B1 (ko)
CN (1) CN102781336B (ko)
WO (1) WO2011053921A2 (ko)

Families Citing this family (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8308701B2 (en) * 2010-11-15 2012-11-13 Aquesys, Inc. Methods for deploying intraocular shunts
US8852256B2 (en) 2010-11-15 2014-10-07 Aquesys, Inc. Methods for intraocular shunt placement
US8721702B2 (en) 2010-11-15 2014-05-13 Aquesys, Inc. Intraocular shunt deployment devices
US10085884B2 (en) 2006-06-30 2018-10-02 Aquesys, Inc. Intraocular devices
US8663303B2 (en) 2010-11-15 2014-03-04 Aquesys, Inc. Methods for deploying an intraocular shunt from a deployment device and into an eye
US20120123316A1 (en) 2010-11-15 2012-05-17 Aquesys, Inc. Intraocular shunts for placement in the intra-tenon's space
US9526586B2 (en) * 2013-08-12 2016-12-27 Z Microsystems, Inc. Software tools platform for medical environments
US10758314B2 (en) * 2011-12-12 2020-09-01 Jack Wade Enhanced video enabled software tools for medical environments
US8645914B2 (en) * 2010-01-22 2014-02-04 AgentSheets, Inc. Conversational programming
US20160256319A1 (en) 2010-11-15 2016-09-08 Aquesys, Inc. Intraocular shunt placement in the suprachoroidal space
TW201238550A (en) * 2011-01-21 2012-10-01 Alcon Res Ltd Counter-rotating ophthalmic scanner drive mechanism
US11911117B2 (en) 2011-06-27 2024-02-27 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9498231B2 (en) 2011-06-27 2016-11-22 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
CN103764061B (zh) 2011-06-27 2017-03-08 内布拉斯加大学评议会 工具承载的追踪系统和计算机辅助外科方法
US9610195B2 (en) 2013-02-27 2017-04-04 Aquesys, Inc. Intraocular shunt implantation methods and devices
US9808373B2 (en) 2013-06-28 2017-11-07 Aquesys, Inc. Intraocular shunt implantation
US8765210B2 (en) 2011-12-08 2014-07-01 Aquesys, Inc. Systems and methods for making gelatin shunts
US8852136B2 (en) 2011-12-08 2014-10-07 Aquesys, Inc. Methods for placing a shunt into the intra-scleral space
US10080682B2 (en) 2011-12-08 2018-09-25 Aquesys, Inc. Intrascleral shunt placement
WO2013110025A2 (en) * 2012-01-22 2013-07-25 I22, Llc Graphical system for collecting, presenting and using medical data and the automated generation of surgical reports
CN108095761B (zh) 2012-03-07 2021-10-15 齐特奥股份有限公司 空间对准设备、空间对准系统及用于指导医疗过程的方法
EP2830485B1 (en) 2012-03-27 2021-03-10 Koninklijke Philips N.V. Integration delayed optical feedback in image guidance
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US9681982B2 (en) 2012-12-17 2017-06-20 Alcon Research, Ltd. Wearable user interface for use with ocular surgical console
US10159600B2 (en) 2013-02-19 2018-12-25 Aquesys, Inc. Adjustable intraocular flow regulation
US8854361B1 (en) * 2013-03-13 2014-10-07 Cambridgesoft Corporation Visually augmenting a graphical rendering of a chemical structure representation or biological sequence representation with multi-dimensional information
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
JP2014207976A (ja) * 2013-03-28 2014-11-06 株式会社ニデック 医療用観察装置および医療用画像処理プログラム
US20160128561A1 (en) * 2013-06-14 2016-05-12 National University Corporation Nagoya University Optical tomography device
US9517014B2 (en) * 2013-09-16 2016-12-13 Novartis Ag OCT probe with pivoting fiber
CN108403215B (zh) 2013-11-14 2021-03-23 阿奎西斯公司 眼内分流器插入器
US9339178B2 (en) * 2013-12-23 2016-05-17 Novartis Ag Forward scanning optical probes and associated devices, systems, and methods
US11547446B2 (en) 2014-01-13 2023-01-10 Trice Medical, Inc. Fully integrated, disposable tissue visualization device
CN103815972A (zh) * 2014-02-26 2014-05-28 上海齐正微电子有限公司 腹胸腔镜的手术区域自动跟踪系统及方法
US20150269229A1 (en) * 2014-03-18 2015-09-24 Nurep, Inc. Virtual Pointer and Annotations Through Real Time Communications
US9295384B2 (en) * 2014-05-16 2016-03-29 Novartis Ag Imaging probes and associated devices, systems, and methods utilizing lever arm actuators
DE102014007909A1 (de) 2014-05-27 2015-12-03 Carl Zeiss Meditec Ag Chirurgisches Mikroskop
US9958947B2 (en) 2014-06-25 2018-05-01 Comcast Cable Communications, Llc Ocular focus sharing for digital content
DE102014222629A1 (de) * 2014-11-05 2016-05-12 Carl Zeiss Meditec Ag Untersuchen eines Objekts mit OCT-Abtastlichtstrahlen
DE112015004581B4 (de) 2014-10-06 2024-02-22 Carl Zeiss Meditec Ag Operationssystem mit einer OCT-Einrichtung
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US10617401B2 (en) 2014-11-14 2020-04-14 Ziteo, Inc. Systems for localization of targets inside a body
DE102015002729A1 (de) * 2015-02-27 2016-09-01 Carl Zeiss Meditec Ag Ophthalmologische Lasertherapievorrichtung und Verfahren zur Erzeugung cornealer Zugangsschnitte
US20160331584A1 (en) * 2015-05-14 2016-11-17 Novartis Ag Surgical tool tracking to control surgical system
US9639917B2 (en) * 2015-05-19 2017-05-02 Novartis Ag OCT image modification
AU2016270974B2 (en) 2015-06-03 2018-08-23 Aquesys, Inc. Ab externo intraocular shunt placement
US10166080B2 (en) * 2015-06-12 2019-01-01 The Johns Hopkins University Cooperatively-controlled surgical robotic system with redundant force sensing
US9579017B2 (en) * 2015-06-15 2017-02-28 Novartis Ag Tracking system for surgical optical coherence tomography
US20170035287A1 (en) * 2015-08-04 2017-02-09 Novartis Ag Dynamic surgical data overlay
JP6603074B2 (ja) * 2015-08-25 2019-11-06 株式会社トプコン 眼底撮影装置
WO2017044965A1 (en) * 2015-09-10 2017-03-16 Duke University Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance
US20170083666A1 (en) * 2015-09-22 2017-03-23 Novartis Ag Presurgical planning for use during surgical procedure
DE102015116215B3 (de) * 2015-09-25 2017-03-16 Carl Zeiss Meditec Ag Visualisierungssystem für die Augenchirugie
IL243384A (en) 2015-12-28 2017-05-29 Schneider Ron A method and system for determining the position and orientation of an instrument's tip relative to eye tissue
US11484363B2 (en) 2015-12-28 2022-11-01 Elbit Systems Ltd. System and method for determining the position and orientation of a tool tip relative to eye tissue of interest
EP3429487A1 (en) 2016-03-17 2019-01-23 Trice Medical, Inc. Clot evacuation and visualization devices and methods of use
US11071449B2 (en) * 2016-03-31 2021-07-27 Alcon Inc. Visualization system for ophthalmic surgery
IL245560B1 (en) 2016-05-09 2024-01-01 Elbit Systems Ltd Optical coherence tomography (OCT) images are localized for surgical procedures in ophthalmology
KR20190019966A (ko) 2016-06-02 2019-02-27 아큐시스, 인코포레이티드 안구내 약물 전달
US10203491B2 (en) * 2016-08-01 2019-02-12 Verily Life Sciences Llc Pathology data capture
KR102107581B1 (ko) * 2016-12-19 2020-05-07 지멘스 메디컬 솔루션즈 유에스에이, 인크. 초음파 프로브의 주석 정보를 제공하는 방법 및 초음파 시스템
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US11497562B2 (en) * 2017-02-09 2022-11-15 Koninklijke Philips N.V. Position detection based on tissue discrimination
US20180317774A1 (en) * 2017-05-02 2018-11-08 Covidien Lp Infection detection devices and methods
US20190117459A1 (en) 2017-06-16 2019-04-25 Michael S. Berlin Methods and Systems for OCT Guided Glaucoma Surgery
US20180360655A1 (en) 2017-06-16 2018-12-20 Michael S. Berlin Methods and systems for oct guided glaucoma surgery
US11801114B2 (en) 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US10980560B2 (en) 2017-10-30 2021-04-20 Ethicon Llc Surgical instrument systems comprising feedback mechanisms
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11246753B2 (en) 2017-11-08 2022-02-15 Aquesys, Inc. Manually adjustable intraocular flow regulation
CN111479534B (zh) * 2017-12-12 2023-02-17 爱尔康公司 热鲁棒性激光探针组件
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11257589B2 (en) * 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11659023B2 (en) * 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11696760B2 (en) 2017-12-28 2023-07-11 Cilag Gmbh International Safety systems for smart powered surgical stapling
US11179175B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Controlling an ultrasonic surgical instrument according to tissue location
US11857152B2 (en) * 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
EP3737322A4 (en) * 2018-01-10 2021-09-01 Covidien LP GUIDANCE FOR THE PLACEMENT OF SURGICAL ORIFICES
EP3530173A1 (en) * 2018-02-23 2019-08-28 Leica Instruments (Singapore) Pte. Ltd. Medical observation apparatus with a movable beam deflector and method for operating the same
CN111819417B (zh) * 2018-03-01 2022-03-22 爱尔康公司 用于稳定光学相干断层扫描成像的共光路波导
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11337746B2 (en) 2018-03-08 2022-05-24 Cilag Gmbh International Smart blade and power pulsing
US11399858B2 (en) 2018-03-08 2022-08-02 Cilag Gmbh International Application of smart blade technology
US11135089B2 (en) 2018-03-09 2021-10-05 Aquesys, Inc. Intraocular shunt inserter
US10952898B2 (en) 2018-03-09 2021-03-23 Aquesys, Inc. Intraocular shunt inserter
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11589865B2 (en) 2018-03-28 2023-02-28 Cilag Gmbh International Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems
US10769443B2 (en) * 2018-06-14 2020-09-08 Sony Corporation Dominant tool detection system for surgical videos
CN109044531B (zh) * 2018-08-20 2024-02-06 真健康（北京）医疗科技有限公司 一种接触感应式的末端位置导航跟踪装置
CN109754651A (zh) * 2019-01-31 2019-05-14 北京汉博信息技术有限公司 手术示教方法及系统
KR102191633B1 (ko) * 2019-02-08 2020-12-16 주식회사 루트로닉 안과용 치료장치 및 이의 제어방법
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11298130B2 (en) 2019-02-19 2022-04-12 Cilag Gmbh International Staple cartridge retainer with frangible authentication key
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
WO2020210532A1 (en) 2019-04-09 2020-10-15 Ziteo, Inc. Methods and systems for high performance and versatile molecular imaging
US20220215539A1 (en) * 2019-05-31 2022-07-07 Intuitive Surgical Operations, Inc. Composite medical imaging systems and methods
IL294987B2 (en) * 2020-01-22 2024-01-01 Beyeonics Surgical Ltd A system and method for improving medical procedures with electronic assistance
US11200919B2 (en) 2020-03-10 2021-12-14 Sony Group Corporation Providing a user interface for video annotation tools
WO2022163188A1 (ja) * 2021-01-29 2022-08-04 ソニーグループ株式会社 画像処理装置、画像処理方法及び手術顕微鏡システム
US11819302B2 (en) 2021-03-31 2023-11-21 Moon Surgical Sas Co-manipulation surgical system having user guided stage control
US11844583B2 (en) 2021-03-31 2023-12-19 Moon Surgical Sas Co-manipulation surgical system having an instrument centering mode for automatic scope movements
AU2022247392A1 (en) 2021-03-31 2023-09-28 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery
US11812938B2 (en) 2021-03-31 2023-11-14 Moon Surgical Sas Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments
US11832909B2 (en) 2021-03-31 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having actuatable setup joints
US11839442B1 (en) 2023-01-09 2023-12-12 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force
CN117243642B (zh) * 2023-11-16 2024-01-26 山东皇圣堂药业有限公司 一种基于机器视觉的智能咽拭子采样设备控制系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008006169A (ja) * 2006-06-30 2008-01-17 Konica Minolta Medical & Graphic Inc 小規模施設用医用画像表示システム

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5554155A (en) * 1994-06-03 1996-09-10 Johns Hopkins University Fiber optic pick manipulator
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
JP2002510230A (ja) 1997-06-27 2002-04-02 ザ・ボード・オブ・トラスティーズ・オブ・ザ・リーランド・スタンフォード・ジュニア・ユニバーシティ 立体的画像ナビゲーション方法及び装置
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US6428553B1 (en) * 2000-03-08 2002-08-06 Nuvue Technologies, Inc. Illuminated ophthalmic membrane pick assembly
US6975898B2 (en) * 2000-06-19 2005-12-13 University Of Washington Medical imaging, diagnosis, and therapy using a scanning single optical fiber system
WO2002083003A1 (en) * 2001-04-11 2002-10-24 Clarke Dana S Tissue structure identification in advance of instrument
US7119814B2 (en) 2001-05-18 2006-10-10 Given Imaging Ltd. System and method for annotation on a moving image
WO2002100285A1 (en) * 2001-06-13 2002-12-19 Volume Interactions Pte Ltd A guide system and a probe therefor
US7697972B2 (en) * 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
EP1617779A1 (en) * 2003-04-28 2006-01-25 BRACCO IMAGING S.p.A. Surgical navigation imaging system
CN1802626A (zh) 2003-06-10 2006-07-12 皇家飞利浦电子股份有限公司 对超声图像进行注释的系统和方法
US7126303B2 (en) * 2003-07-08 2006-10-24 Board Of Regents Of The University Of Nebraska Robot for surgical applications
WO2005058137A2 (en) * 2003-12-12 2005-06-30 University Of Washington Catheterscope 3d guidance and interface system
EP1776652A2 (en) * 2004-08-06 2007-04-25 Invivo Corporation Method and apparatus for positioning a biopsy needle
US7831294B2 (en) * 2004-10-07 2010-11-09 Stereotaxis, Inc. System and method of surgical imagining with anatomical overlay for navigation of surgical devices
US7983733B2 (en) * 2004-10-26 2011-07-19 Stereotaxis, Inc. Surgical navigation using a three-dimensional user interface
US8147503B2 (en) * 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
US9867669B2 (en) 2008-12-31 2018-01-16 Intuitive Surgical Operations, Inc. Configuration marker design and detection for instrument tracking
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
EP2289454B1 (en) * 2005-06-06 2020-03-25 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system
EP3162318B1 (en) 2005-10-20 2019-10-16 Intuitive Surgical Operations, Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system
US7593559B2 (en) 2005-11-18 2009-09-22 Duke University Method and system of coregistrating optical coherence tomography (OCT) with other clinical tests
US20070167702A1 (en) 2005-12-30 2007-07-19 Intuitive Surgical Inc. Medical robotic system providing three-dimensional telestration
US20070238981A1 (en) 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US8075486B2 (en) * 2006-05-03 2011-12-13 Biosense Webster, Inc. Enhanced ultrasound image display
US20080039705A1 (en) 2006-05-03 2008-02-14 Viswanathan Raju R Map based intuitive device control and sensing to navigate a medical device
US20070276195A1 (en) 2006-05-12 2007-11-29 Kci Licensing, Inc. Systems and methods for wound area management
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US20080062429A1 (en) 2006-09-12 2008-03-13 Rongguang Liang Low coherence dental oct imaging
US20080119725A1 (en) * 2006-11-20 2008-05-22 General Electric Company Systems and Methods for Visual Verification of CT Registration and Feedback
US8088124B2 (en) * 2007-01-19 2012-01-03 Technolas Perfect Vision Gmbh System and method for precise beam positioning in ocular surgery
US20080287783A1 (en) * 2007-05-16 2008-11-20 General Electric Company System and method of tracking delivery of an imaging probe
US8320711B2 (en) 2007-12-05 2012-11-27 Biosense Webster, Inc. Anatomical modeling from a 3-D image and a surface mapping
US8325988B2 (en) * 2008-03-03 2012-12-04 California Institute Of Technology Image reconstruction by position and motion tracking
DE102008034490B4 (de) * 2008-07-24 2018-12-20 Carl Zeiss Meditec Ag Augenchirurgiesystem und Verfahren zur Vorbereitung und Durchführung einer Augenoperation
US8554307B2 (en) * 2010-04-12 2013-10-08 Inneroptic Technology, Inc. Image annotation in image-guided medical procedures
US8903475B2 (en) * 2009-03-08 2014-12-02 Oprobe, Llc Multi-function optical probe system for medical and veterinary applications
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
US9320428B2 (en) * 2009-08-05 2016-04-26 The Johns Hopkins University Programmable multispectral illumination system for surgery and visualization of light-sensitive tissues
US10045882B2 (en) * 2009-10-30 2018-08-14 The Johns Hopkins University Surgical instrument and systems with integrated optical sensor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008006169A (ja) * 2006-06-30 2008-01-17 Konica Minolta Medical & Graphic Inc 小規模施設用医用画像表示システム

Also Published As

Publication number Publication date
CN102781336B (zh) 2016-01-20
EP2493387A2 (en) 2012-09-05
JP2013509273A (ja) 2013-03-14
WO2011053921A3 (en) 2011-09-15
KR20120101040A (ko) 2012-09-12
US9814392B2 (en) 2017-11-14
EP2493387A4 (en) 2017-07-19
JP5774596B2 (ja) 2015-09-09
CN102781336A (zh) 2012-11-14
US20120226150A1 (en) 2012-09-06
WO2011053921A2 (en) 2011-05-05

Similar Documents

Publication Publication Date Title
KR101759534B1 (ko) 외과 수술 시 임상적으로 중요한 해부상의 랜드마크에 대한 시각 추적 및 주석 달기
JP6611612B2 (ja) 外科データのイントラモーダル同期化
US9925017B2 (en) Medical navigation image output comprising virtual primary images and actual secondary images
CN109982657B (zh) 具有多模态图像显示的外科手术系统
US10478162B2 (en) Systems and methods for display of pathological data in an image guided procedure
EP2785269B1 (en) Robotic guidance of ultrasound probe in endoscopic surgery
Rodrigues et al. Kidney targeting and puncturing during percutaneous nephrolithotomy: recent advances and future perspectives
US20110178395A1 (en) Imaging method and system
US11684337B2 (en) Micromanipulator-controlled local view with stationary overall views
JP2006198032A (ja) 手術支援システム
US20210307861A1 (en) Communication of detected tissue characterization in a surgical robotic platform
Schneider et al. Robot-assisted laparoscopic ultrasonography for hepatic surgery
WO2015091226A1 (en) Laparoscopic view extended with x-ray vision
EP2954846B1 (en) Swipe to see through ultrasound imaging for intraoperative applications
JP2014204904A (ja) 医用ガイドシステム
US11660158B2 (en) Enhanced haptic feedback system
US20220409300A1 (en) Systems and methods for providing surgical assistance based on operational context
Gao et al. Feasibility of laparoscopic photoacoustic imaging system based on diffusing side-illumination fibers
Zheng et al. Frameless optical computer-aided tracking of a microscope for otorhinology and skull base surgery
JP2002017751A (ja) 手術ナビゲーション装置
CN102028502B (zh) 具有彩色多普勒超声扫描功能的电子喉镜系统
Wollf et al. Real-time endoscope and intraoperative ultrasound integration in computer assisted navigated surgery
CN114052903A (zh) 一种近红外成像手术导航系统及方法
Arora et al. Telesurgery: Windows of opportunity

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant