KR20230054760A - 수술　절차　아틀라스를　갖는　수술시스템의　구성 - Google Patents

수술　절차　아틀라스를　갖는　수술시스템의　구성 Download PDF

Info

Publication number
KR20230054760A
KR20230054760A KR1020237012772A KR20237012772A KR20230054760A KR 20230054760 A KR20230054760 A KR 20230054760A KR 1020237012772 A KR1020237012772 A KR 1020237012772A KR 20237012772 A KR20237012772 A KR 20237012772A KR 20230054760 A KR20230054760 A KR 20230054760A
Authority
KR
South Korea
Prior art keywords
surgical
instrument
information
during
instance
Prior art date
Application number
KR1020237012772A
Other languages
English (en)
Other versions
KR102673560B1 (ko
Inventor
브렌트 토카룩
마흐디 아지잔
조이 차우
사이먼 디마이오
브라이언 디 호프먼
앤쏘니 마이클 자크
헨리 씨 린
이안 이 맥도웰
윌리엄 씨 놀린
존 디 2세 시맨
조나단 엠 소저
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Publication of KR20230054760A publication Critical patent/KR20230054760A/ko
Application granted granted Critical
Publication of KR102673560B1 publication Critical patent/KR102673560B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/77—Manipulators with motion or force scaling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40134—Force sensation of slave converted to vibration for operator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40137—Force sensation feedback from simulated tool
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40143—Slip, texture sensation feedback, by vibration stimulation of fingers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40144—Force sensation feedback from slave
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40161—Visual display of machining, operation, remote viewing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40167—Switch between simulated display of remote site, and actual display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40168—Simulated display of remote site, driven by operator interaction
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40169—Display of actual situation at the remote site
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40191—Autonomous manipulation, computer assists operator during manipulation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45118—Endoscopic, laparoscopic manipulator

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Urology & Nephrology (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Manipulator (AREA)

Abstract

원격 조종 수술 시스템(수술 시스템)에서의 사용을 위한 수술 방법이 제공되며, 방법은 수술 절차의 발생 동안 수술 시스템 내에 생성되는 수술 기구 모션을 나타내는 수술 기구 운동 정보를 기록하는 단계; 각각의 수술 기구 모션들과 연관되는 각각의 운동 시그니처들을 결정하는 단계; 각각의 운동 시그니처들을 각각의 제어 신호들과 연관시키는 정보 구조를 컴퓨터 판독가능 저장 디바이스에서 생성하는 단계; 수술 절차의 수행 동안, 수행 동안의 수술 기구 운동 정보를 적어도 하나의 각각의 운동 시그니처와 비교하는 단계; 수술 절차의 수행 동안, 수행 동안의 수술 기구 운동들과 각각의 운동 시그니처 사이의 매치에 응답하여 연관된 각각의 제어 신호를 론칭하는 단계를 포함한다.

Description

수술　절차　아틀라스를　갖는　수술　시스템의　구성{CONFIGURING SURGICAL SYSTEM WITH SURGICAL PROCEDURES ATLAS}
관련 출원들에 대한 상호참조
본 출원은 2015년 6월 9일에 출원된 가출원 일련 번호 제62/173,077호에 대한 우선권을 주장하며, 그것의 내용들은 전체적으로 참조로 이로써 포함되고 우선권의 이익은 본원에 주장된다.
1. 발명의 분야
발명의 양태들은 수술 동안 사용되는 의료 디바이스들과 연관된다. 더 구체적으로, 양태들은 사전 수술 절차들로부터의 운동 정보 및 해부 조직 이미지 정보에 기초하여 로봇 보조 수술 시스템 내의 수술 기구를 제어하는 것과 연관된다.
2. 배경기술
외과의들은 전형적으로 수술 절차를 수행하기 전에 광범위한 연구를 착수한다. 전통적으로, 외과의들은 사진들 또는 도면들과 같은, 포괄적 해부 모델들의 연구에 제한되었다. 더 최근에, 다양한 수술 전 진단 절차들(예를 들어, x-선, CT, MRI 등)은 환자 특정 해부 정보를 이용했다.
일부 경우들에서, 부가, 관련 해부 및 수술 절차 정보를 외과의에게 이용 가능하게 하는 것이 바람직하다. 일 양태에서, 특정 환자에 대해 수행되는 더 이른 수술 절차의 수술 부위 비디오 레코딩을 특정 환자에 대해 수술을 계획하는 외과의에게 제공하는 것이 바람직하다. 다른 양태에서, 특정 환자를 위해 계획되는 수술 절차와 유사한 다른 환자들에 대한 수술 절차들의 하나 이상의 수술 비디오 레코딩들을 외과의에게 제공하는 것이 바람직하다. 일 양태에서, 외과의가 특정 수술 절차를 착수하기 전에 그러한 정보를 외과의에게 제공하는 것이 바람직하다. 그리고, 다른 양태에서, 이러한 정보를 외과의에게 수술중에 제공하는 것이 바람직할 수 있다.
일 양태에서, 다양한 환자들에 의해 겪게 되는 다양한 절차들의 수술중 수술 부위 비디오 레코딩들을 포함하는 비디오 데이터베이스를 구성하는 것이 바람직하다. 일 양태에서, 비디오 레코딩이 기록되고 있음에 따라 의료 디바이스를 사용하는 외과의가 실시간으로 비디오 레코딩을 강조하고 비디오 레코딩에 주석을 달 수 있는 입력을 더 포함하기 위해 비디오 레코딩이 가능한 의료 디바이스를 구성하는 것이 바람직하다. 일 양태에서, 비디오 데이터베이스의 개별 기록들을 통해 검색하고, 관련 비디오 기록들을 식별하고, 특정 수술 절차를 위해 이러한 관련 정보를 외과의에게 제공하기 위해 컴퓨터 기반 패턴 매칭 알고리즘을 구성하는 것이 바람직하다.
미국특허공보 US 2014/0343913 A1
이하의 개요는 기본 이해를 제공하기 위해 창의적 발명 대상의 특정 양태들을 소개한다. 이러한 개요는 창의적 발명 대상의 광범위한 개관이 아니고, 가장 중요하거나 대단히 중대한 요소들을 식별하거나 창의적 발명 대상의 범위를 기술하도록 의도되지 않는다. 이러한 개요는 창의적 발명 대상의 다양한 양태들 및 실시예들과 관련있는 정보를 포함하지만, 그것의 유일한 목적은 아래의 더 상세한 설명에 대한 도입부로서 일부 양태들 및 실시예들을 포괄적 형태로 제시하는 것이다.
일 양태에서, 원격 조종 수술 시스템에서의 사용을 위한 방법이 제공된다. 수술 기구 모션을 나타내는 수술 기구 운동 정보는 수술 절차의 다수의 발생들을 위해 기록된다. 운동 시그니처들은 수술 기구 모션들을 나타내는 기록된 운동 정보에 기초하여 결정된다. 수술 시스템을 위해 각각의 운동 시그니처들을 각각의 전자 제어 신호들과 연관시키는 정보 구조는 컴퓨터 판독가능 저장 디바이스에서 생성된다. 수술 시스템을 사용하는 수술 절차의 수행 동안, 절차 동안 시스템에 의해 생성되는 수술 기구 운동 정보는 적어도 하나의 운동 시그니처와 비교된다. 적어도 하나의 운동 시그니처와 연관되는 전자 제어 신호는 수술 절차 동안 생성되는 운동 정보와 각각의 운동 시그니처 사이의 매치에 응답하여 수술 시스템 내에 론칭된다. 특히, 일부 시스템 작용은 운동 분석에 기초하여 트리거된다.
다른 양태에서, 원격 조종 수술 시스템에서의 사용을 위한 방법이 제공된다. 로봇 보조 수술 절차 동안 생성되는 수술 장면의 동영상 이미지들은 수술 절차의 다수의 발생들을 위해 기록된다. 수술 이미지 시그니처들은 기록된 동영상 이미지들에 기초하여 결정된다. 수술 시스템을 위해 각각의 수술 이미지 시그니처들을 각각의 전자 제어 신호들과 연관시키는 정보 구조는 컴퓨터 판독가능 저장 디바이스에서 생성된다. 수술 시스템을 사용하는 수술 절차의 수행 동안, 절차 동안 생성되는 동영상 이미지들은 적어도 하나의 수술 이미지 시그니처와 비교된다. 적어도 하나의 수술 이미지 시그니처와 연관되는 전자 제어 신호는 수술 절차 동안 생성되는 수술 이미지들과 각각의 수술 이미지 시그니처 사이의 매치에 응답하여 수술 시스템 내에 론칭된다. 특히, 일부 시스템 작용은 비디오 분석에 기초하여 트리거된다.
다른 양태에서, 원격 조종 수술 시스템에서의 사용을 위한 훈련 방법이 제공된다. 수술 절차 동안 수술 시스템의 뷰어 내에 디스플레이되는 수술 장면 내에 해부 조직을 나타내는 동영상 이미지들이 기록된다. 디스플레이된 해부 조직과의 접촉 동안 수술 기구에 부여되는 힘에 응답하여 수술 기구 제어에 부여되는 수술 시스템 제어 햅틱 정보가 기록된다. 기록된 동영상 이미지들은 수술 절차의 시뮬레이션 동안 수술 시스템 뷰어 내에 재생된다. 기록된 수술 기구 제어 햅틱스는 수술 절차의 시뮬레이션 동안의 기록된 동영상 이미지들의 재생 동안 수술 기구 제어에 부여된다. 일부 실시예들에서, 수술 제어 햅틱스는 제어 입력들의 진동-촉각 자극을 통해 재생된다.
다른 양태에서, 원격 조종 수술 시스템에서의 사용을 위한 훈련 방법이 제공된다. 진단 데이터 정보 인스턴스들은 로봇 보조 수술 시스템 내에 수술 절차의 많은 발생들 각각을 위해 기록된다. 각각의 진단 데이터 정보 인스턴스는 수술 절차 동안 수술 시스템의 뷰어 내에 디스플레이되는 수술 장면 내의 해부 조직의 각각의 동영상 이미지들을 포함한다. 각각의 진단 데이터 정보 인스턴스는 또한 수술 절차 동안의 디스플레이된 해부구조와의 접촉 동안 수술 기구에 부여되는 힘에 응답하여 수술 기구 제어에 부여되는 수술 기구 제어 햅틱스를 포함한다. 각각의 진단 데이터 정보 인스턴스들을 각각의 진단들과 연관시키는 정보 구조는 컴퓨터 판독가능 저장 디바이스에서 생성된다. 각각의 진단 데이터 정보 인스턴스가 선택된다. 선택된 각각의 기록 진단 데이터 정보 인스턴스로부터의 기록된 동영상 이미지들은 수술 절차의 시뮬레이션 동안 수술 시스템 뷰어 내에 재생된다. 선택된 각각의 기록 진단 데이터 정보 인스턴스로부터의 기록된 수술 기구 제어 햅틱 정보는 수술 절차의 시뮬레이션 동안의 기록된 동영상 이미지들의 재생 동안 수술 기구 제어에 부여된다.
다른 양태에서, 원격 조종 수술 시스템은 수술 이미지 시그니처들을 제어 신호들과 연관시키는 컴퓨터 판독가능 저장 디바이스 내의 정보 구조를 포함한다. 프로세서는 수술 절차 동안의 수술 장면 내에 생성되는 수술 이미지들을 적어도 하나의 수술 이미지 시그니처와 비교하도록 구성된다. 프로세서는 수술 이미지들과 적어도 하나의 수술 이미지 시그니처 사이의 매치에 응답하여 제어 신호를 론칭하도록 구성된다. 기구는 제어 신호에 응답하여 모션을 조정하도록 구성된다.
다른 양태에서, 원격 조종 수술 시스템은 각각의 수술 이미지 시그니처들을 각각의 제어 신호들과 연관시키는 컴퓨터 판독가능 저장 디바이스 내의 정보 구조를 포함한다. 프로세서는 수술 절차 동안의 수술 장면 내의 수술 이미지들을 적어도 하나의 수술 이미지 시그니처와 비교하도록 구성된다. 프로세서는 수술 절차 동안의 수술 이미지들과 적어도 하나의 수술 이미지 시그니처 사이의 매치에 응답하여 제어 신호를 론칭하도록 구성된다. 기구는 제어 신호에 응답하여 모션을 조정하도록 구성된다.
도 1은 최소 침습 원격 조종 수술 시스템의 평면도이다.
도 2는 외과의의 콘솔의 사시도이다.
도 3은 전자 장치 카트의 사시도이다.
도 4는 원격 조종 수술 시스템의 개략적 예시이다.
도 5a는 원격 조종 수술 시스템의 예시적 도해이다.
도 5b는 수술 시스템의 환자 측 카트의 사시도이다.
도 5c는 수술 장면의 예시적 도면이다.
도 6은 수술 기구의 정면도이다.
도 7은 기구 조작기의 사시도이다.
도 8은 수술 계획 도구의 개략적 예시이다.
도 9는 수술 계획 도구를 사용하는 방법의 흐름도이다.
도 10은 일부 실시예들에 따라 컴퓨터 판독가능 저장 디바이스에 저장 아틀라스를 표현하는 예시적 도면이다.
도 11은 일부 실시예들에 따라 개별 수술 절차에 관한 정보를 포함하는, 아틀라스 내에 포함되는 제1 데이터 정보 구조의 예시적 인스턴스를 표현하는 예시적 도면이다.
도 12는 일부 실시예들에 따라, 개별 수술 절차로부터의 기록된 동영상 이미지 세그먼트들, 대응하는 수술 기구 운동 정보 세그먼트들, 대응하는 수술 시스템 작동 상태들, 및 대응하는 주석들을 연관시키는, 아틀라스 내에 포함되는 제2 데이터 정보 구조의 예시적 인스턴스를 표현하는 예시적 도면이다.
도 13a 내지 도 13c는 일부 실시예들에 따라 수술 기구가 3개의 상이한 예시적 기구 상태들로 도시되는, 예시적 수술 기구 및 액추에이터 어셈블리를 도시하는 예시적 도면들이다.
도 14는 일부 실시예들에 따라 운동들, 이미지들 및 시스템 작동 상태들을 제어 신호들과 연관시키기 위해 규칙들을 포함하는, 제어 신호 규칙 정보 구조의 예시적 인스턴스를 표현하는 예시적 도면이다.
도 15는 일부 실시예들에 따라, 해부 이미지 정보, 기구 운동들 및 시스템 상태에 적어도 부분적으로 기초하여 제어 신호를 생성하는 프로세스를 표현하는 예시적 흐름도이다.
도 16은 일부 실시예들에 따라, 기록된 동영상 이미지 세그먼트들을 햅틱 정보 세그먼트들과 연관시키는, 아틀라스 내에 포함되는 제3 데이터 정보 구조의 예시적 인스턴스를 표현하는 예시적 도면이다.
도 17은 일부 실시예들에 따라, 수술 경험을 재생하기 위해 원격 조종된 로봇 보조 수술 시스템을 구성하는 프로세스를 표현하는 예시적 흐름도이다.
도 18은 일부 실시예들에 따라, 이미지 시그니처 정보 및 햅틱 피드백 정보를 진단들과 연관시키기 위해 규칙들을 포함하는, 아틀라스 내에 포함되는 진단 규칙 정보 구조의 예시적 인스턴스를 표현하는 예시적 도면이다.
도 19는 일부 실시예들에 따라, 해부 이미지 정보 및 햅틱 피드백 정보에 적어도 부분적으로 기초하여 진단을 생성하는 프로세스를 표현하는 예시적 흐름도이다.
이러한 설명 및 발명의 양태들, 실시예들, 구현들, 또는 응용들을 예시하는 첨부 도면들은 제한적인 것으로 해석되지 않아야 한다 ― 청구항들은 보호된 발명을 정의한다. 다양한 기계, 구성, 구조, 전기, 및 동작 변경들은 이러한 설명 및 청구항들의 범위로부터 벗어나는 것 없이 이루어질 수 있다. 일부 사례들에서, 널리 공지된 회로들, 구조들, 또는 기술들은 본 발명을 모호하게 하지 않도록 상세히 도시되거나 설명되지 않았다. 2개 이상의 도면들에서의 비슷한 번호들은 동일 또는 유사한 요소들을 표현한다.
일 실시예, 구현, 또는 응용을 참조하여 상세히 설명되는 요소들은 실현가능할 때마다, 그들이 구체적으로 도시되거나 설명되지 않는 다른 실시예들, 구현들, 또는 응용들에 포함될 수 있다. 예를 들어, 요소가 일 실시예를 참조하여 상세히 설명되고 제2 실시예를 참조하여 설명되지 않으면, 요소는 그럼에도 불구하고 제2 실시예에 포함되는 바와 같이 청구될 수 있다. 따라서, 이하의 설명에서 불필요한 반복을 회피하기 위해, 일 실시예, 구현, 또는 응용과 연관하여 도시되고 설명되는 하나 이상의 요소들은 달리 구체적으로 설명되지 않는 한, 하나 이상의 요소들이 일 실시예 또는 구현을 비기능적이게 하지 않는 한, 또는 요소들 중 2개 이상이 충돌하는 기능들을 제공하지 않는 한 다른 실시예들, 구현들, 또는 양태들로 포함될 수 있다.
본 발명의 양태들은 캘리포니아주 서니베일 소재의 인튜이티브 서지컬 인크에 의해 상업화되는, da Vinci® Surgical System(구체적으로, da Vinci® Xi™ HD™ Surgical System으로 광고되는 모델 IS4000)을 사용하는 일 구현에 관해 주로 설명된다. 그러나, 지식이 있는 사람들은 본원에 개시되는 발명의 양태들이 로봇, 및 적용가능하다면, 비로봇 실시예들 및 구현들을 포함하는, 다양한 방식들로 구체화되고 구현될 수 있는 것을 이해할 것이다. da Vinci® Surgical Systems(예를 들어, 모델 IS4000 da Vinci® Xi™ Surgical System, 모델 IS3000 da Vinci Si® Surgical System)에 관한 구현들은 예시적일 뿐이고 본원에 개시되는 발명의 양태들의 범위를 제한하는 것으로 간주되지 않아야 한다.
다양한 양태들에 따라, 본 개시내용은 수술 절차들의 수행을 비디오 기록하도록 구성되는 의료 디바이스를 포함하는 수술 계획 도구를 설명한다. 비디오 레코딩들은 다양한 메타데이터, 예를 들어 의료인에 의해 이루어지는 강조들로 내장될 수 있다. 부가적으로, 비디오 레코딩들은 다양한 메타데이터, 예를 들어 비디오의 특정 주제를 설명하는 텍스트 주석들, 비디오 레코딩이 대응하는 환자의 신원, 환자에 관한 신상 또는 의료 정보 등으로 태깅될 수 있다. 일 양태에서, 태깅된 메타데이터는 비디오 레코딩들에 구체화된다.
추가 양태들에 따라, 정보 패턴들은 다수의 원격 조종 수술 절차들로부터 수집되는 동영상 이미지들 및 수술 기구 운동 정보 내에서 식별된다. 동영상 정보는, 예를 들어 해부 조직 기하학 및 착색을 표시할 수 있다. 운동 정보는, 예를 들어 수술 기구 모션 특성들 예컨대 기구 모션의 방향, 기구 모션의 속도 및 가속도, 및 기구 모션의 시퀀스들을 표시할 수 있다. 정보 패턴들은 기록된 동영상에 기초하여 식별될 수 있고 운동 정보는 수술 동안 제어 수술 기구를 관리하거나 조절하는 기초로 사용될 수 있다. 정보 패턴들은 수술 내 안내를 외과의에게 제공하는 기초로 사용될 수 있다.
추가 양태들에 따라, 햅틱 피드백과 협력하는 동영상 이미지들은 수술 훈련을 위한 베이스들로 사용될 수 있다. 예를 들어, 외과의는 그러한 동일한 외과의에 의해 이전 수술 동안 생성되는 동영상 이미지들 및 대응하는 햅틱 피드백을 재생하는 수술 시뮬레이션을 통해 그러한 외과의에 의해 수행되는 사전 수술 절차를 다시 경험할 수 있다. 대안적으로, 예를 들어, 외과의는 다른 사람에 의해 그러한 이전 수술 동안 생성되는 동영상 이미지들 및 대응하는 햅틱 피드백을 재생하는 수술 시뮬레이션을 통해 상이한 외과의에 의해 수행되는 이전 수술 절차를 경험할 수 있다. 따라서, 외과의는 시각 큐들과 햅틱 큐들 사이의 관계의 그러한 외과의 또는 다른 외과의에 의해 실제 수술 경험을 재생하는 시뮬레이션된 실습 수술을 통해 수술 기술들을 개선하는 기회로서 수술 시뮬레이션을 사용할 수 있다.
또 추가 양태들에 따라, 제안된 수술 내 진단들은 다수의 원격 조종 수술 절차들로부터 수집되는 동영상 이미지들 및 수술 기구 운동 정보 내에서 식별되는 정보 패턴들에 기초하여 개발된다. 숙련된 외과의는 종종 조직 기하학 및 착색에 적어도 부분적으로 기초하여 조직 질병 상태 및 조직 트라우마 상태를 평가할 수 있다. 기록된 동영상들은 수술 시스템 내에 수술 장면 내의 해부 조직의 조직 기하학 및 조직 착색에 관한 정보를 제공한다. 더욱이, 숙련된 외과의는 조직의 촉진에 적어도 부분적으로 기초하여 조직 질병 상태 및 조직 트라우마 상태를 평가할 수 있다. 원격 조종 수술 시스템에서, 조직의 촉진은 조직 구조 상의 기구 터치에 응답하여 기구에 부여되는 반응력을 나타내는 제어를 조작하는 외과의에게 햅틱 피드백을 제공하는 외과의 조작 기구 제어를 사용하여 조직 구조 상의 터치를 통해 달성될 수 있다. 수집된 동영상 이미지들 및 수술 기구 운동 정보의 전문적 외과의 평가는 상이한 수술 내 진단들을 나타내는 이미지들 및 운동들의 상이한 패턴들을 식별하기 위해 사용된다. 동영상 이미지들을 수술 기구 운동 정보를 연관시키는 비디오 레코딩들 및 정보 구조들은 국부적으로 또는 원격으로 구현되는 전자 의료 기록 데이터베이스 상에(예를 들어, LAN 또는 WAN 상의 원격 컴퓨터 시스템 상에, 또는 클라우드 데이터 저장 서비스 상에) 보관될 수 있다. 유사하게, 일부 실시예들에서, 동영상 이미지들을 제어 햅틱 피드백 정보 및 대응하는 진단 권고들과 연관시키는 정보 구조들은, 예를 들어 외과의 훈련에서의 사용을 위해 국부적으로 또는 원격으로 구현되는 전자 의료 기록 데이터베이스 상에 보관될 수 있다. 비디오 레코딩들 및 정보 구조들은 관심 있는 건강 관리 제공자들에게 이용 가능해질 수 있다. 일부 실시예들에서, 저장된 정보 구조들은 제어 신호 정보를 발생시켜 수술 시스템에 제공하여 수술 내 수술 안내를 외과의에게 생성하고 수술 절차 동안 기구들의 로봇 보조 수술 제어를 제공하기 위해 원격 조종된 로봇 보조 수술 시스템에서의 사용을 위해 이용 가능해질 수 있다. 일부 실시예들에서, 저장된 정보 구조들은 수술 시스템을 조작하는 기계적 부분에서 외과의 훈련에서의 사용을 위해 수술 장면들 및 대응하는 햅틱 피드백을 제공하도록 수술 시뮬레이션 시스템에서의 사용을 위해 이용 가능해질 수 있다. 일부 실시예들에서, 저장된 정보 구조들은 수술 시스템을 사용하여 수술을 수행하면서 조직 구조 질병 상태 및 조직 트라우마 상태의 진단에서 외과의 훈련에서의 사용을 위해 수술 장면들 및 대응하는 햅틱 피드백을 재생하도록 수술 시뮬레이션 시스템에서의 사용을 위해 이용 가능해질 수 있다.
건강 관리 제공자들은, 예를 들어 상기 설명된 메타데이터 태그들을 사용하여 관심 있는 비디오들 및 정보 구조 관계들을 위해 수행되는 수술 절차들, 조직 구조 특성들, 및 수술 기구 운동들 중 하나 이상에 기초하여 의료 디바이스 데이터베이스를 검색할 수 있다. 부가적으로, 일 양태에서, 수술 계획 도구는 컴퓨터 기반 패턴 매칭 및 분석 알고리즘을 포함한다. 일 양태에서, 패턴 매칭 알고리즘은 비디오 레코딩들 내의 시각 특성들과 의료인들에 의해 이루어지는 연관된 메타데이터 태그들 사이의 상관들을 식별하기 위해 전자 의료 기록 데이터베이스 상에 저장되는 비디오들을 추려낸다. 수술 계획 도구는 이러한 상관들을 새롭게 직면된 해부구조에 적용하고, 그것에 의해 환자 해부구조, 바람직한 수술 접근법들, 질병 상태들, 잠재적 합병증들 등에 관한 결정들을 할 시에 절차를 수행하는 의료인들을 보조할 수 있다.
다른 양태에서, 패턴 매칭 알고리즘은, 예를 들어 해부 조직 특징들 예컨대 기하학 및 기구 모션 사이의 상관들을 식별하기 위해 기록된 동영상 이미지 정보, 및 임의로, 운동 정보를 추려낸다. 그러한 패턴들은, 예를 들어 기구 모션의 종류들과 연관되는 해부 특징들의 종류들을 식별하는데 유용할 수 있다. 그러한 패턴들은 또한, 예를 들어 기구 모션의 종류들과 연관되지 않는 해부 특징들의 종류들을 식별하는데 유용할 수 있다. 그러한 패턴 정보는, 예를 들어 동안 수술 동안 외과의 제시하기 위해 수술 안내를 생성하는 기초로 사용될 수 있다. 그러한 패턴 정보는, 예를 들어 수술 동안 수술 특정 수술 기구 모션을 방해하거나 부여하는 기초로 사용될 수 있다.
다른 양태에서, 패턴 매칭 알고리즘은, 예를 들어 해부 조직 특징들 예컨대 기하학과 수술 기구에 의한 터치에 응답하여 조직 구조에 의해 부여되는 반응력 사이의 상관들을 식별하기 위해 기록된 동영상 이미지 정보 및 햅틱 피드백 정보를 추려낸다. 그러한 패턴들은, 예를 들어 시각 해부 조직 구조들과 로봇 보조 기구에 의한 촉진에 응답하여 조직 구조에 의해 부여되는 햅틱 피드백 사이의 상관들을 식별하는데 유용할 수 있다. 일부 실시예들에서, 상관된 동영상 이미지 패턴들 및 햅틱 피드백 정보는 외과의 훈련에서의 사용을 위해 전문적 외과의 진단 평가들과 연관된다.
최소 침습 원격 조종 수술 시스템
원격 조종은 조금 떨어진 곳에서의 머신의 동작을 언급한다. 최소 침습 원격 조종 의료 시스템에서, 외과의는 환자의 신체 내의 수술 부위를 보기 위해 카메라를 포함하는 내시경을 사용할 수 있다. 일부 실시예들에서, 입체 이미지들이 캡처될 수 있으며, 그들은 수술 절차 동안 깊이의 지각을 허용한다.
유사한 참조 번호들이 수개의 도면들 도처에서 유사한 부분들을 표현하는 도면들을 이제 참조하면, 도 1은 전형적으로 수술대(14)에 누워 있는 환자(12)에 최소 침습 진단 또는 수술 절차를 수행하기 위해 사용되는 최소 침습 원격 조종 수술 시스템(10)의 평면도이다. 시스템은 절차 동안 외과의(18)에 의한 사용을 위한 외과의의 콘솔(16)을 포함한다. 하나 이상의 보조자들(20)은 또한 절차에 참여할 수 있다. 최소 침습 원격 조종 수술 시스템(10)은 환자 측 카트(들)(22) 및 전자 장치 카트(24)를 더 포함한다. 환자 측 카트(22)는 외과의(18)가 외과의의 콘솔(16)을 통해 수술 부위를 보면서 환자(12)의 신체에서 최소 침습 절개를 통해 적어도 하나의 수술 기구(26)를 조작할 수 있다. 수술 부위의 이미지는 내시경(28), 예컨대 입체 내시경에 의해 획득될 수 있으며, 그것은 내시경(28)을 지향시키기 위해 환자 측 카트(22)에 의해 조작될 수 있다. 전자 장치 카트(24) 상에 위치되는 컴퓨터 프로세서들은 외과의(18)에게 외과의의 콘솔(16)을 통한 후속 디스플레이를 위해 수술 부위의 이미지들을 처리하는데 사용될 수 있다. 별개의 시스템 구성요소들(즉, 환자 측 카트(22), 전자 장치 카트(24), 및 외과의의 콘솔(16))이 예시적 목적들을 위해 도시되고 설명되지만, 다양한 실시예들에서 그 안에 포함되는 요소들이 조합되고 및/또는 분리될 수 있다는 점을 주목한다. 예를 들어, 일부 실시예들에서, 전자 장치 카트(24)의 컴퓨터 프로세서들은 외과의의 콘솔(16) 및/또는 환자 측 카트(22)로 포함될 수 있다. 한 번에 사용되는 수술 기구들(26)의 수는 일반적으로 다른 인자들 중에서 수술 부위 내의 진단 또는 수술 절차 및 공간 제약들에 의존할 것이다. 절차 동안 사용되는 수술 기구들(26) 중 하나 이상을 변경하는 것이 필요하면, 보조자(20)는 환자 측 카트(22)로부터 수술 기구(26)를 제거하고, 그것을 수술실 내의 트레이(30)로부터의 다른 수술 기구(26)로 대체할 수 있다.
도 2는 외과의의 콘솔(16)의 사시도이다. 외과의의 콘솔(16)은 깊이 지각을 가능하게 하는 수술 부위의 조정된 입체 뷰를 외과의(18)에게 제시하기 위해 좌안 디스플레이(32) 및 우안 디스플레이(34)를 포함하는 뷰어(31)를 포함한다. 콘솔(16)은 하나 이상의 제어 입력들(36)을 더 포함한다. 환자 측 카트(22)(도 1에 도시됨) 상의 사용을 위해 설치되는 하나 이상의 수술 기구들은 하나 이상의 제어 입력들(36)의 외과의(18)의 조작에 응답하여 이동된다. 제어 입력들(36)은 외과의가 기구들(26)을 직접 제어하는 강한 감지를 갖도록 제어 입력들(36)이 기구들(26)과 통합된 것이라는 지각, 또는 텔레프레젠스를 외과의(18)에게 제공하기 위해 그들의 연관된 수술 기구들(26)(도 1에 도시됨)과 동일한 기계 자유도들을 제공할 수 있다. 이 때문에, 위치, 힘, 및 촉각 피드백 센서들(도시되지 않음)은 수술 기구들(26)로부터의 위치, 힘, 및 촉각 감각들을 통신 지연 제약들을 받는 제어 입력들(36)을 통해 외과의의 손들에 다시 전달하기 위해 이용될 수 있다. 고정 뷰어(31) 및 기계적으로 결합된 제어 입력들(36)을 갖는 물리 콘솔(16)이 예시적 목적들을 위해 도시되고 설명되지만, 다양한 다른 실시예들에서, "비접지" 제어 입력들 및/또는 디스플레이 구조들이 사용될 수 있다는 점을 주목한다. 예를 들어, 일부 실시예들에서, 뷰어(31)는 머리 장착 디스플레이일 수 있고 및/또는 제어 입력들(36)은 임의의 베이스 구조(예를 들어, 무선, 유선, 또는 제스처 기반, 예컨대 마이크로소프트로부터의 키넥트)와 기계적으로 독립적일 수 있다.
외과의의 콘솔(16)은 외과의가 절차를 직접 감시하고, 필요하다면 실제로 참석하고, 전화 또는 다른 통신 매체를 통하는 것보다는 오히려 환자 측 보조원에게 직접 말할 수 있도록 환자와 동일한 룸에 통상 위치된다. 그러나, 외과의는 원격 수술 절차들을 허용하는 환자와 상이한 룸, 완전히 상이한 빌딩, 또는 다른 원격 위치에 위치될 수 있다.
도 3은 전자 장치 카트(24)의 사시도이다. 전자 장치 카트(24)는 내시경(28)과 결합될 수 있고 예컨대 외과의의 콘솔 상에, 또는 국부적으로 및/또는 원격으로 위치되는 다른 적절한 디스플레이 상에 외과의에 대한 후속 디스플레이를 위해 캡처된 이미지들을 처리하는 컴퓨터 프로세서를 포함한다. 예를 들어, 입체 내시경이 사용되면, 전자 장치 카트(24) 상의 컴퓨터 프로세서는 수술 부위의 조정된 스테레오 이미지들을 외과의에게 제시하기 위해 캡처된 이미지들을 처리할 수 있다. 그러한 조정은 대향 이미지들 사이의 정렬을 포함할 수 있고 입체 내시경의 입체 작동 거리를 조정하는 것을 포함할 수 있다. 다른 예로서, 이미지 처리는 이미지 캡처 디바이스의 이미징 에러들, 예컨대 광학 수차들을 보상하기 위해 이전에 결정된 카메라 교정 파라미터들의 사용을 포함할 수 있다. 임의로, 전자 장치 카트 내의 장비는 외과의의 콘솔 또는 환자 측 카트로 통합될 수 있거나, 수술실 내의 여러가지 다른 위치들에 분배될 수 있다.
도 4는 원격 조종 수술 시스템(50)(예컨대 도 1의 최소 침습 원격 조종 수술 시스템(10))을 도표로 예시한다. 외과의의 콘솔(52)(예컨대, 도 1의 외과의의 콘솔(16))은 최소 침습 절차 동안 환자 측 카트(54)(예컨대, 도 1의 환자 측 카트(22))를 제어하기 위해 외과의에 의해 사용될 수 있다. 환자 측 카트(54)는 수술 부위의 이미지들을 캡처하고 캡처된 이미지들을 전자 장치 카트(56)(예컨대, 도 1의 전자 장치 카트(24)) 상에 위치되는 컴퓨터 프로세서에 출력하기 위해, 이미징 디바이스, 예컨대 입체 내시경을 사용할 수 있다. 컴퓨터 프로세서는 컴퓨터 프로세서의 비휘발성 메모리 디바이스에 저장되는 컴퓨터 판독가능 코드를 실행하기 위해 의도되는 하나 이상의 데이터 처리 보드들을 전형적으로 포함한다. 일 양태에서, 컴퓨터 프로세서는 임의의 후속 디스플레이 전에 캡처된 이미지들을 다양한 방식들로 처리할 수 있다. 예를 들어, 컴퓨터 프로세서는 조합된 이미지들을 외과의의 콘솔(52)을 통해 외과의에게 디스플레이하기 전에 가상 제어 인터페이스에 의해 캡처된 이미지들을 오버레잉할 수 있다.
부가적으로 또는 대안으로, 캡처된 이미지들은 전자 장치 카트(56) 외부에 위치되는 컴퓨터 프로세서에 의해 이미지 처리를 겪을 수 있다. 일 양태에서, 원격 조종 수술 시스템(50)은 전자 장치 카트(56) 상에 위치되는 컴퓨터 프로세서와 유사한 임의적 컴퓨터 프로세서(58)(파선에 의해 표시된 바와 같음)를 포함하고, 환자 측 카트(54)는 외과의의 콘솔(52) 상의 디스플레이 전에 캡처된 이미지들을 이미지 처리를 위한 컴퓨터 프로세서(58)에 출력한다. 다른 양태에서, 캡처된 이미지들은 우선 전자 장치 카트(56) 상의 컴퓨터 프로세서에 의해 이미지 처리를 겪고 그 다음에 외과의의 콘솔(52) 상의 디스플레이 전에 컴퓨터 프로세서(58)에 의해 부가 이미지 처리를 겪는다. 원격 조종 수술 시스템(50)은 파선에 의해 표시된 바와 같이, 임의적 디스플레이(60)를 포함할 수 있다. 디스플레이(60)는 전자 장치 카트(56) 상에 위치되는 컴퓨터 프로세서와 결합되고 컴퓨터 프로세서(58)와 결합되며, 이러한 컴퓨터 프로세서들에 의해 처리되는 캡처된 이미지들은 외과의의 콘솔(52)의 디스플레이 상에 디스플레이되는 것에 더하여 디스플레이(60) 상에 디스플레이될 수 있다.
도 5a는 일부 실시예들에 따라 하나 이상의 기계 지지 아암들(510)을 사용하여 수술 절차들을 수행하기 위해 원격 조종 수술 시스템(10)의 구성요소들의 배열을 도시하는 예시적인 간략한 블록도이다. 시스템(10)의 양태들은 로봇 보조 및 독자적으로 동작하는 특징들을 포함한다. 이러한 기계 지지 아암들(510)은 종종 수술 기구를 지지한다. 예컨대, 기계 수술 아암(예를 들어, 중심 기계 수술 아암(510C))은 스테레오 또는 삼차원 수술 이미지 캡처 디바이스(101C)를 갖는 내시경을 지지하기 위해 사용될 수 있다. 기계 수술 아암(510C)은 이미지 캡처 디바이스(101C)를 포함하는 내시경을 기계 아암에 기계적으로 고정하기 위해 살균 어댑터, 또는 클램프, 클립, 스크류, 슬롯/그루브, 또는 다른 파스너 메커니즘을 포함할 수 있다.
사용자 또는 조작자 O(일반적으로 외과의)은 제어 입력 디바이스들(36), 예컨대 핸드 그립들 및 풋 페달들을 마스터 제어 콘솔(16)에서 조작함으로써 환자 P에 대해 수술 절차를 수행한다. 조작자는 스테레오 디스플레이 뷰어(31)를 통해 환자의 신체 내부의 수술 부위의 이미지들의 비디오 프레임들을 볼 수 있다. 콘솔(16)의 컴퓨터 프로세서(58)는 제어 라인들(159)을 통해 원격 조종 제어 내시경 수술 기구들(101A 내지 101C)의 이동을 명령해서, 환자 측 시스템(24)(또한 환자 측 카트로 언급됨)을 사용하여 기구들의 이동을 달성한다.
환자 측 시스템(24)은 하나 이상의 기계 지지 아암들(510)을 포함한다. 전형적으로, 환자 측 시스템(24)은 대응하는 위치 결정 셋업 아암들(156)에 의해 지지되는 적어도 3개의 기계 수술 아암들(510A 내지 510C)(일반적으로 기계 수술 지지 아암들(510)로 언급됨)을 포함한다. 중심 기계 수술 아암(510C)은 카메라의 시야 내에서 이미지들의 캡처에 적절한 내시경 카메라(101C)를 지지할 수 있다. 중심의 좌측 및 우측에 대한 기계 수술 지지 아암들(510A 및 510B)은 기구들(101A 및 101B) 각각을 지지할 수 있으며, 이 기구들은 조직을 조작할 수 있다.
도 5b는 실시예들에 따라, 최소 침습 원격 조종 수술 시스템(10)의 환자 측 카트(500)의 사시도이다. 환자 측 카트(500)는 하나 이상의 지지 아암 어셈블리들(510)을 포함한다. 수술 기구 조작기(512)는 각각의 지지 아암 어셈블리(510)의 단부에 장착된다. 부가적으로, 각각의 지지 아암 어셈블리(510)는 수술을 위한 환자에 대해 부착된 수술 기구 조작기(512)를 위치시키기 위해 사용되는 하나 이상의 셋업 조인트들(예를 들어, 무전원임 및/또는 잠금가능)을 임의로 포함할 수 있다. 도시된 바와 같이, 환자 측 카트(500)는 바닥에 의지한다. 다른 실시예들에서, 환자 측 카트의 동작 부분들은 벽에, 천장에, 또한 환자의 신체(522)를 지지하는 수술대(526), 또는 다른 수술실 장비에 장착될 수 있다. 게다가, 환자 측 카트(500)가 4개의 수술 기구 조작기들(512)을 포함하는 것으로 도시되지만, 더 많거나 더 적은 수술 기구 조작기들(512)이 사용될 수 있다.
기능적 원격 조종 수술 시스템은 일반적으로 원격 조종 수술 시스템의 사용자가 환자의 신체(522) 외부로부터 수술 부위를 볼 수 있게 하는 시각 시스템 부분을 포함할 것이다. 시각 시스템은 비디오 이미지들을 캡처하는 카메라 기구(528) 및 캡처된 비디오 이미지들을 하는 디스플레이하는 하나 이상의 비디오 디스플레이들을 전형적으로 포함한다. 일부 수술 시스템 구성들에서, 카메라 기구(528)는 카메라 기구(528)의 원위 단부로부터의 이미지들을 환자의 신체(522) 외부의 하나 이상의 이미징 센서들(예를 들어, CCD 또는 CMOS 센서들)로 전송하는 옵틱스를 포함한다. 대안적으로, 이미징 센서(들)는 카메라 기구(528)의 원위 단부에 위치될 수 있고, 센서(들)에 의해 생성되는 신호들은 하나 이상의 비디오 디스플레이들 상의 처리 및 디스플레이를 위해 리드를 따라 또는 무선으로 송신될 수 있다. 비디오 디스플레이의 일 예는 캘리포니아주 서니베일 소재의 인튜이티브 서지컬 인크에 의해 상업화되는 수술 시스템들 내의 외과의의 콘솔 상의 입체 디스플레이이다.
도 5a 내지 도 5b를 참조하면, 환자의 신체(522) 내의 수술 부위에서 동작하는 수술 기구(520)는 각각의 수술 기구 조작기(512)에 장착된다. 각각의 수술 기구 조작기(512)는 연관된 수술 기구가 하나 이상의 기계 자유도들(예를 들어, 모든 6 데카르트 자유도들, 5 이하의 데카르트 자유도들 등)로 이동하는 것을 허용하는 다양한 형태들로 제공될 수 있다. 전형적으로, 기계 또는 제어 제약들은 환자에 대해 계속 정지해 있는 기구 상의 모션의 중심 주위에 그것의 연관된 수술 기구를 이동시키기 위해 각각의 조작기(512)를 제한하고, 이러한 모션의 중심은 기구가 신체에 들어가는 위치에 전형적으로 위치된다.
일 양태에서, 수술 기구들(520)은 컴퓨터 보조 원격 조종을 통해 제어된다. 기능적 최소 침습 원격 조종 수술 시스템은 원격 조종 수술 시스템의 사용자(예를 들어, 외과의 또는 다른 의료인)로부터 입력들을 수신하는 제어 입력을 포함한다. 제어 입력은 수술 기구(520)가 결합되는 하나 이상의 모터들과 같은 하나 이상의 컴퓨터 제어 원격 조종 액추에이터들과 통신한다. 이러한 방식으로, 수술 기구(520)는 제어 입력의 의료인의 이동들에 응답하여 이동한다. 일 양태에서, 하나 이상의 제어 입력들은 외과의의 콘솔, 예컨대 도 2에 도시된 외과의의 콘솔(16)에 포함된다. 외과의는 환자 측 카트(500)의 원격 조종 액추에이터들을 동작시키기 위해 외과의의 콘솔(16)의 제어 입력 디바이스들(36)을 조작할 수 있다. 원격 조종 액추에이터들에 의해 발생되는 힘들은 구동렬 메커니즘들을 통해 전송되며, 이 메커니즘들은 원격 조종 액추에이터들로부터의 힘들을 수술 기구(520)에 전달한다.
도 5a 내지 도 5b를 참조하면, 일 양태에서, 수술 기구(520) 및 캐뉼러(524)는 수술 기구(520)가 캐뉼러(524)를 통해 삽입된 상태에서, 조작기(512)에 제거가능하게 결합된다. 조작기(512)의 하나 이상의 원격 조종 액추에이터들은 수술 기구(512)를 전체로서 이동시킨다. 조작기(512)는 기구 캐리지(530)를 더 포함한다. 수술 기구(520)는 기구 캐리지(530)에 분리가능하게 연결된다. 일 양태에서, 기구 캐리지(530)는 수술 기구(520)가 수술 기구(520) 상의 엔드 이펙터의 다양한 이동들로 변환하는 다수의 컨트롤러 모션들을 제공하는 하나 이상의 원격 조종 액추에이터들을 내부에 수용한다. 따라서, 기구 캐리지(530) 내의 원격 조종 액추에이터들은 기구보다는 오히려 수술 기구(520)의 하나 이상의 구성요소들만을 전체로서 이동시킨다. 기구를 전체로서 또는 기구의 구성요소들을 제어하는 입력들은 외과의 또는 다른 의료인에 의해 제어 입력("마스터" 커맨드)에 제공되는 입력이 수술 기구에 의한 대응하는 액션("슬레이브" 응답)으로 변환되게 한다.
일부 실시예들에 따라, 수술 시스템(10)은 도킹, 이하, 기구 타입들 및 헤드-인을 포함하는 다수의 시스템 작동 상태들을 가질 수 있다. 도킹 시스템 상태 동안, 하나 이상의 조작기(512)는 캐뉼러(524)에 결합되었다. 이하의 시스템 상태 동안, 수술 기구("슬레이브")는 제어 입력("마스터" 커맨드)을 추적하고 있다. 기구 타입 시스템 상태 동안, 시스템은 특정 수술 절차의 수행에 적절하거나 수술 절차 동안 특정 수술 활동의 수행에 적절한 기구들의 세트를 그것에 설치했다. 헤드-인 시스템 상태 동안, 시스템은 그/그녀가 "마스터" 제어 입력 디바이스를 잡고 있었던 것을 표시하기 위해 외과의를 대기하고 있다.
대체 실시예에서, 기구 캐리지(530)는 원격 조종 액추에이터들을 수용하지 않는다. 수술 기구(520)의 엔드 이펙터의 다양한 이동들을 가능하게 하는 원격 조종 액추에이터들은 기구 캐리지(530)에서 떨어진 위치, 예를 들어 환자 측 카트(500) 상의 다른 곳에 수용된다. 케이블 기반 힘 전달 메카니즘 등은 원격으로 위치된 원격 조종 액추에이터들 각각의 모션들을 기구 캐리지(530) 상에 위치되는 대응하는 기구-인터페이싱 액추에이터 출력에 전달하기 위해 사용된다. 일부 실시예들에서, 수술 기구(520)는 제1 액추에이터에 기계 결합되며, 제1 액추에이터는 수술 기구의 제1 모션 예컨대 세로(z축) 회전을 제어한다. 수술 기구(520)는 제2 액추에이터에 기계 결합되며, 제2 액추에이터는 수술 기구의 제2 모션 예컨대 이차원(x, y) 모션을 제어한다. 수술 기구(520)는 제3 액추에이터에 기계 결합되며, 제3 액추에이터는 수술 기구의 제3 모션 예컨대 개방 및 폐쇄 또는 조 엔드 이펙터를 제어한다.
도 5c는 일부 실시예들에 따라 수술 장면(550)을 표현하고 또한 장면을 기록하기 위해 사용되는 카메라(528)를 장착하는 내시경(101C)을 도시하는 예시적 도면이다. 장면(550)은 환자의 신체 캐비티 내에 배치된다. 장면(550)은 기하학적 윤곽들(554)을 포함하는 예시적 가상 구면 해부 구조(552)를 포함한다. 장면(550)은 수술 기구(556)를 포함한다. 내시경(101C) 상에 장착되는 카메라(528)는 장면을 캡처하며, 장면은 뷰어(31) 내에 디스플레이되고 나중의 재생을 위해 기록된다.
도 6은 수술 기구(520)의 측면도이며, 수술 기구는 원위 부분(650) 및 세장형 튜브 중심선 축(611)을 갖는 세장형 튜브(610)에 의해 결합되는 근위 제어 메커니즘(640)을 포함한다. 수술 기구(520)는 환자의 신체로 삽입되도록 구성되고 수술 또는 진단 절차들을 수행하기 위해 사용된다. 수술 기구(520)의 원위 부분(650)은 도시된 겸자, 니들 드라이버, 소작 디바이스, 절단 도구, 이미징 디바이스(예를 들어, 내시경 또는 초음파 프로브) 등과 같은, 다양한 엔드 이펙터들(654) 중 어느 것을 제공할 수 있다. 수술 엔드 이펙터(654)는 기능적 기계 자유도, 예컨대 개방하거나 폐쇄하는 조스(jaws), 또는 경로를 따라 병진하는 나이프를 포함할 수 있다. 도시된 실시예에서, 엔드 이펙터(654)는 엔드 이펙터가 세장형 튜브 중심선 축(611)에 대해 지향되는 것을 허용하는 리스트(wrist)(652)에 의해 세장형 튜브(610)에 결합된다. 수술 기구(520)는 또한 저장된(예를 들어, 기구와 연관되는 반도체 메모리 상에) 정보를 포함할 수 있으며, 이 정보는 영구적일 수 있거나 수술 기구(520)를 동작시키도록 구성되는 수술 시스템에 의해 갱신가능할 수 있다. 따라서, 수술 시스템은 수술 시스템의 수술 기구(520)와 하나 이상의 구성요소들 사이에 일방향 또는 양방향 정보 통신을 제공할 수 있다.
도 7은 수술 기구 조작기(512)의 사시도이다. 기구 조작기(512)는 어떠한 수술 기구도 설치되지 않은 상태에서 도시된다. 기구 조작기(512)는 수술 기구(예를 들어, 수술 기구(520))가 분리가능하게 연결될 수 있는 기구 캐리지(530)를 포함한다. 기구 캐리지(530)는 복수의 원격 조종 액추에이터들을 수용한다. 각각의 원격 조종 액추에이터는 액추에이터 출력(705)을 포함한다. 수술 기구가 기구 조작기(512) 위로 설치될 때, 기구 근위 제어 메커니즘(예를 들어, 도 6에서의 근위 제어 메커니즘(640))의 하나 이상의 기구 입력들(도시되지 않음)은 대응하는 액추에이터 출력들(705)과 기계 결합된다. 일 양태에서, 이러한 기계 결합은 액추에이터 출력들(705)이 대응하는 기구 입력들과 직접 접촉하는 상태에서, 직접적이다. 다른 양태에서, 이러한 기계 결합은 기구 조작기(512)와 연관된 수술 기구 사이에 살균 장벽을 제공하도록 구성되는 드레이프(drape)의 구성요소와 같은 중간 인터페이스를 통해 발생한다.
일 양태에서, 대응하는 원격 조종 액추에이터들에 의한 하나 이상의 기구 입력들의 이동은 수술 기구 기계 자유도의 이동을 야기한다. 예를 들어, 일 양태에서, 기구 조작기(512) 상에 설치되는 수술 기구는 도 6에 도시된 수술 기구(520)이다. 도 6을 참조하면, 일 양태에서, 대응하는 원격 조종 액추에이터들에 의한 근위 제어 메커니즘(640)의 하나 이상의 기구 입력들의 이동은 세장형 튜브 중심선 축(611) 주위에서 근위 제어 메커니즘(640)에 대해 세장형 튜브(610)(및 부착된 리스트(652) 및 엔드 이펙터(654))를 회전시킨다. 다른 양태에서, 대응하는 원격 조종 액추에이터들에 의한 하나 이상의 기구 입력들의 이동은 리스트(652)의 이동을 야기하여, 세장형 튜브 중심선 축(611)에 대해 엔드 이펙터(654)를 지향시킨다. 다른 양태에서, 대응하는 원격 조종 액추에이터들에 의한 하나 이상의 기구 입력들의 이동은 엔드 이펙터(654)의 하나 이상의 이동가능 요소들(예를 들어, 조 부재, 나이프 부재 등)의 이동을 야기한다. 따라서, 기구 조작기(512) 위로 설치되는 수술 기구의 다양한 기계 자유도들은 기구 캐리지(530)의 원격 조종 액추에이터들의 동작에 의해 이동될 수 있다.
기록된 비디오에 주석 달기
도 8은 예시적 수술 계획 도구(800)의 개략도를 도시한다. 일 양태에서, 수술 계획 도구(800)는 전자 의료 디바이스 기록 데이터베이스(830)와 데이터 통신하는 원격 조종 수술 시스템(50)을 포함한다. 여기에 도시되는 원격 조종 수술 시스템(50)은 도 4에 도시된 원격 조종 수술 시스템(50)과 유사하다. 일 양태에서, 전자 의료 기록 데이터베이스(830)는 특정 병원 또는 복수의 병원들에서 치료를 받았던 환자들의 의료 기록들을 포함한다. 데이터베이스(830)는 병원에서의 현장에 위치되는 서버 상에 구현될 수 있다. 데이터베이스(830)에 포함되는 의료 기록 엔트리들은 병원 컴퓨터들로부터 인트라넷 네트워크를 통해 액세스될 수 있다. 대안적으로, 데이터베이스(830)는, 예를 들어 다수의 클라우드 데이터 저장 서비스들 중 하나를 사용하여, 병원에서 떨어져 위치되는 원격 서버 상에 구현될 수 있다. 이러한 경우에, 데이터베이스(830)의 의료 기록 엔트리들은 클라우드 서버 상에 저장되고, 인터넷 액세스를 갖는 컴퓨터에 의해 액세스될 수 있다.
일 양태에서, 수술 절차는 원격 조종 수술 시스템(50)을 사용하여 제1 환자에 대해 수행된다. 원격 조종 수술 시스템(50)과 연관되는 이미징 디바이스는 수술 부위의 이미지들을 캡처하고 캡처된 이미지들을 비디오의 프레임들로서 외과의의 콘솔(52)의 디스플레이 상에 디스플레이한다. 일 양태에서, 외과의의 콘솔(52)에 있는 의료인은 외과의의 콘솔(52)의 입력 디바이스를 사용하여 디스플레이된 비디오에 도시되는 특정 환자 해부구조를 강조하거나 특정 환자 해부구조에 주석을 단다. 그러한 입력 디바이스의 일 예는 도 2에 도시된 제어 입력(36)이며, 제어 입력은 디스플레이된 비디오 위로 오버레잉되는 그래픽 사용자 인터페이스와 함께 동작하는 커서에 결합된다. 그래픽 사용자 인터페이스는 데이터 또는 텍스트 입력 또는 음성 주석 / 또는 마이크로폰 및 프로세서를 통한 스피치 대 텍스트 변환을 위해 쿼티 키보드, 포인팅 디바이스, 예컨대 마우스 및 대화형 스크린 디스플레이, 터치 스크린 디스플레이, 또는 다른 수단을 포함할 수 있다. 따라서, 의료인은 디스플레이된 이미지에서 관심 있는 특정 조직을 강조하거나 텍스트 주석을 입력할 수 있다.
일 양태에서, 수술 부위 비디오는 전자 장치 카트(56) 상에 위치되는 디스플레이 상에 부가적으로 디스플레이된다. 일 양태에서, 전자 장치 카트의 디스플레이는 전자 장치 카트 상의 디스플레이를 보기하기 위해 디스플레이되는 이미지 상에 도시되는 환자 해부구조의 특정 부분들을 강조하고 특정 부분들에 주석을 달기 위해 의료인에 의해 사용가능한 터치 스크린 사용자 인터페이스이다. 사용자는 터치 스크린 사용자 인터페이스 상에 디스플레이되는 환자 해부구조의 부분들을 터치함으로써, 디스플레이된 이미지의 부분들을 강조할 수 있다. 부가적으로, 쿼티 키보드를 포함하는 그래픽 인터페이스는 디스플레이된 이미지 상에 오버레잉될 수 있다. 사용자는 텍스트 주석들을 입력하기 위해 쿼티 키보드를 사용할 수 있다.
일 양태에서, 원격 조종 수술 시스템(50)과 연관되는 이미징 디바이스에 의해 캡처되는 수술 부위 비디오는 실시간으로 또는 거의 실시간으로 사용자에게 디스플레이되는 것에 더하여, 원격 조종 수술 시스템(50)에 의해 기록되고, 데이터베이스(830) 상에 저장된다. 사용자에 의해 이루어진 기록된 비디오와 연관되는 강조들 및/또는 주석들은 또한 데이터베이스(830) 상에 저장될 수 있다. 일 양태에서, 사용자에 의해 이루어지는 강조들은 데이터베이스(830) 상의 그것의 저장 전에 기록된 비디오로 내장된다. 나중의 시간에, 기록된 비디오는 보기를 위해 검색될 수 있다. 일 양태에서, 기록된 비디오를 보는 사람은 강조들이 뷰로부터 디스플레이되거나 억제되는지를 선택할 수 있다. 유사하게, 기록된 비디오와 연관되는 주석들은 또한 데이터베이스(830) 상에 저장될 수 있다. 일 양태에서, 사용자에 의해 이루어지는 주석들은 기록된 비디오를 태깅하기 위해 사용되고, 기록된 비디오에 포함되는 주제를 식별하는 수단으로 제공되기 위해 사용될 수 있다. 예를 들어, 하나의 주석은 특정 질병 상태의 조건들을 설명할 수 있다. 이러한 주석은 기록된 비디오를 태깅하기 위해 사용된다. 나중의 시간에, 이러한 질병 상태에 관한 기록된 절차들을 보고 싶어하는 사람은 키 워드 검색을 사용하여 비디오를 위치시킬 수 있다.
저장된 비디오의 검색
일부 경우들에서, 의료인은 주어진 환자에 대해 수행되는 과거 수술 절차들의 비디오 레코딩들을 볼 수 있는 것이 바람직하다. 일 양태에서, 의료 조건을 치료하기 위해 제1 수술 절차를 이전에 겪은 환자는 동일한 의료 조건의 재발을 치료하거나 제1 수술 절차의 수술 부위의 인근에 위치되는 해부구조를 치료하기 위해 제2 수술 절차를 나중에 필요로 한다. 일 양태에서, 제1 수술 절차의 수술 부위 이벤트들은 수술 부위 비디오 레코딩에서 캡처되었고, 비디오 레코딩은 환자의 전자 의료 기록들의 일부로서 데이터베이스(830)에 보관되었다. 환자에 대해 제2 수술 절차를 수행하기 전에, 의료인은 환자의 더 이른 수술 절차의 비디오 레코딩을 위치시키기 위해 데이터베이스(830)의 검색을 수행할 수 있다.
일부 경우들에서, 환자에 대해 수술 절차를 수행할 계획인 의료인은 환자와 유사한 특정 특성들을 갖는 사람들에 대해 수행되는 유사한 수술 절차들의 비디오 레코딩들을 볼 수 있는 것이 바람직하다. 일 양태에서, 수술 절차들의 수술 부위 비디오 레코딩들은 각각의 비디오 레코딩이 데이터베이스(830)에 보관되기 전에, 메타데이터 정보 예컨대 환자의 나이, 성, 신체 질량 지수, 유전 정보, 환자가 겪은 절차의 타입 등으로 태깅될 수 있다. 일 양태에서, 비디오 레코딩을 태깅하기 위해 사용되는 메타데이터 정보는 환자의 당시 행해지고 있던 의료 기록들로부터 자동으로 검색되고, 그 다음에 비디오 레코딩이 데이터베이스(830)에 보관되기 전에 비디오 레코딩을 태깅하기 위해 사용된다. 따라서, 환자에 대해 의료 절차를 수행하기 위해, 의료인은 환자와 공통으로 특정 특성들을 공유하는 환자들에 대해 수행되는 유사한 절차들의 비디오 레코딩들을 위해 데이터베이스(830)를 검색할 수 있다. 예를 들어, 의료인이 상승된 신체 질량 지수를 갖는 65세 남자 환자에 대해 전립선절제를 수행하기 위해 원격 조종 수술 시스템(50)을 사용할 계획이면, 의료인은 유사한 나이이고 유사하게 상승된 신체 질량 지수를 갖는 다른 남자들에 대해 원격 조종 수술 시스템(50)을 사용하여 수행되는 전립선절제들의 수술 부위 비디오 레코딩들을 위해 데이터베이스(830)를 검색할 수 있다.
일 양태에서, 수술 절차의 비디오 레코딩은 (파선에 의해 표시된 바와 같이) 데이터베이스(830)에 의해 임의적 개인용 컴퓨터(820)에 통신되고, 수술 절차를 수행할 계획인 의료인에 의한 보기를 위해 이용 가능해진다. 부가적으로 또는 대안적으로, 더 이른 수술 절차의 비디오 레코딩은 데이터베이스(830)에 의해 원격 조종 수술 시스템(50)에 통신되고, 수술 전 또는 수술 중 보기를 위해 이용 가능해질 수 있다. 일 양태에서, 비디오 레코딩은 원격 조종 수술 시스템(50)에 의해 외과의의 콘솔(52) 상에 위치되는 디스플레이 상에 디스플레이된다. 다른 양태에서, 제1 수술 절차의 비디오 레코딩은 전자 장치 카트(56) 상에 위치되는 디스플레이 상에 디스플레이된다.
클라우드 기반 비디오 데이터베이스
일 양태에서, 데이터베이스(830)는 클라우드 데이터 저장 서비스를 사용하여 원격 서버 상에 구현되고 다수의 건강 관리 제공자들에 의해 액세스 가능하다. 도 8을 참조하면, 파선에 의해 도시된 바와 같이, 수술 계획 도구(800)는 원격 조종 수술 시스템(850)(파선에 의해 표시된 바와 같음) 및 개인용 컴퓨터(840)(파선에 의해 표시된 바와 같음)를 임의로 포함한다. 일 양태에서, 원격 조종 수술 시스템(50) 및 개인용 컴퓨터(820)가 제1 건강 관리 제공자에 위치되고 원격 조종 수술 시스템(850) 및 개인용 컴퓨터(840)가 제2 위치에 또는 심지어 제2 건강 관리 제공자와 위치되는 것을 제외하고, 원격 조종 수술 시스템(850)은 원격 조종 수술 시스템(50)과 유사하고 개인용 컴퓨터(840)는 개인용 컴퓨터(820)와 유사하다. 일 양태에서, 제1 환자는 의료 조건의 수술 치료를 필요로 하고, 제1 건강 관리 제공자에서 원격 조종 수술 시스템(50)을 사용하여 수술 절차를 겪는다. 수술 절차의 비디오 레코딩은 데이터베이스(830) 상에 보관된다. 나중의 시간에, 제2 환자는 동일한 의료 조건의 수술 치료를 필요로 하고, 제2 건강 관리 제공자에서 원격 조종 수술 시스템(850)을 사용하여 수술 치료를 수용할 계획이다. 제2 환자에 대해 수술 절차를 수행하기 전에, 의료인은 보안 인터넷 연결을 통해 데이터베이스(830)에 액세스하고 유사한 절차들의 수술 부위 비디오 레코딩들을 위해 데이터베이스(830)를 검색한다. 일 양태에서, 제2 환자를 치료하는 의료인은 제1 환자의 신원의 지식을 취득하는 것 없이, 데이터베이스(830)로부터 제1 환자의 수술 절차의 비디오 레코딩을 검색할 수 있다. 이러한 방식으로, 제1 환자의 사생활이 유지된다. 일 양태에서, 제1 환자의 수술 절차의 비디오 레코딩은 제1 환자를 치료한 의료인에 의해 이루어지는 강조들 및/또는 주석들을 포함한다.
컴퓨터 기반 패턴 매칭 및 분석
수술 계획 도구(800)는 컴퓨터 실행가능 코드의 형태로 구현되는 패턴 매칭 및 분석 알고리즘을 포함할 수 있다. 일 양태에서, 패턴 매칭 및 분석 알고리즘은 수술 계획 도구(800)의 비휘발성 메모리 디바이스에 저장되고, 데이터베이스(830)에 보관되는 비디오 레코딩들을 분석하도록 구성된다. 이전에 논의된 바와 같이, 데이터베이스(830)에 보관되는 비디오 레코딩들 각각은 특정 메타데이터 정보로 태깅되고 및/또는 내장될 수 있다. 이러한 메타데이터 정보는 환자 정보 예컨대 환자의 건강 또는 의료 이력을 설명하는 환자 나이, 성, 및 다른 정보를 포함할 수 있다. 부가적으로, 이전에 논의된 바와 같이, 메타데이터 정보는 의료인에 의해 이루어지는 강조들 또는 주석들을 포함할 수 있다. 일 양태에서, 이러한 강조들 및 주석들은 비디오 레코딩으로 내장되고 비디오와 함께 데이터베이스(830)에 보관된다.
일 양태에서, 패턴 매칭 및 분석 알고리즘은 데이터베이스(830) 상에 저장되는 다수의 비디오 레코딩들 사이에서 공유되는 형상들 및 컬러들로 패턴들을 식별하는 이미지 분석 구성요소를 포함한다. 그 다음, 패턴 매칭 및 분석 알고리즘은 임의의 단어들 또는 구들이 이러한 서브세트 내에서 비디오들과 자주 연관되는지를 결정하기 위해 이러한 서브세트의 비디오 레코딩들과 연관되는 태깅된 메타데이터를 재검토한다. 패턴 매칭 및 분석 알고리즘에 의해 수행되는 이러한 분석들은 환자 해부구조, 바람직한 수술 접근법들, 질병 상태들, 잠재적 합병증들 등에 관한 결정들을 할 시에 의료인들을 보조하기 위해 사용될 수 있다.
수술 계획 도구를 사용하는 방법
도 9는 수술 계획 도구를 사용하는 방법(900)을 도시한다. 일 양태에서, 수술 계획 도구는 도 8에서의 수술 계획 도구(800)와 유사하다. 910에서, 의료 환자를 설명하는 사실 또는 특성, 예를 들어 환자에 의해 겪게 되는 의료 조건은 의료 디바이스에 의해 수신된다. 의료 디바이스는 원격 조종 수술 시스템(예를 들어, 도 1에서의 원격 조종 수술 시스템(10) 또는 도 4에서의 원격 조종 수술 시스템(50)) 상의 사용자 인터페이스를 통해, 또는 대안적으로, 도 8에서의 개인용 컴퓨터(820)와 유사한 개인용 컴퓨터를 통해 이러한 사실 또는 상황을 수신할 수 있다. 920에서, 의료 디바이스는 의료 디바이스 데이터베이스로부터 수술 절차의 적어도 하나의 관련 비디오 레코딩을 검색하기 위해 910에서 수신되는 사실 또는 특성을 사용한다. 930에서, 의료 디바이스는 수술 계획 정보를 결정하기 위해 비디오 레코딩들을 사용한다. 일 양태에서, 수술 계획 정보는 기록된 절차에 사용되는 기구들의 타입들을 포함한다. 940에서, 의료 디바이스는 사용자에게 930에서 결정되는 수술 계획 정보를 디스플레이한다.
도 10은 일부 실시예들에 따라 컴퓨터 판독가능 저장 디바이스(1004)에 저장 아틀라스(1002)를 표현하는 예시적 도면이다. 저장 아틀라스(1002)는 이전에 수행된 수술 절차들의 인스턴스들을 표시하는 제1 데이터 정보 구조들(1006)을 포함한다. 제1 데이터 정보 구조들(1006)의 각각의 상이한 인스턴스는 상이한 수술에 대응한다. 개별 수술 이벤트들과 연관되는 제2 데이터 정보 구조들(1008)은 대응하는 시간 간격들(t1, t2,...tn)에서 동영상 이미지 세그먼트들(MPI1, MPI2,...MPIn)을 운동 정보 세그먼트들(KIN1, KIN2,...KINn), 수술 시스템 작동 상태들(Astate1, Astate2,...Astaten) 및 대응하는 주석들(ANOT1, ANOT2,...ANOTn)과 연관시킨다. 주어진 타입의 복수의 수술 이벤트들에 기초하여 생성되는 제1 제어 신호 규칙 정보 구조(1010)는 운동/이미지 시그니처/작동 상태 조합들을 제어 신호들, 예를 들어 (SigK1, SigI1, Astate1, CNTLKIA1).... (SigKn, SigIn, Astaten, CNTLKIAn)과 연관시킨다. 제1 규칙 정보 구조(1010)의 각각의 상이한 인스턴스는 수술의 상이한 카테고리에 대응한다. 개별 수술 이벤트들과 연관되는 제3 데이터 정보 구조들(1012)은 대응하는 시간 간격들(t1, t2,...tn)에서 동영상 이미지 세그먼트들(MPI1, MPI2,...MPIn)을 햅틱 정보 세그먼트들(HAP1, HAP2,...HAPn)과 연관시킨다. 주어진 타입의 복수의 수술 이벤트들에 기초하여 생성되는 제2 진단 규칙 정보 구조들(1014)은 진단 이미지 시그니처들(SigIDIAG1, SigIDIAG2,...SigIDIAGm)을 진단 운동 시그니처들(SigKDIAG1, SigKDIAG2,...SigKDIAGm) 및 진단들(DIAG1, DIAG2,...DIAGm)과 연관시킨다. 제2 진단 규칙 정보 구조(1014)의 각각의 상이한 인스턴스는 수술의 상이한 카테고리에 대응한다.
일부 실시예들에 따라, 이미지 정보는 전체 시각 스펙트럼, 형광, 초분광, CT/MRI에 걸쳐 비디오 이미지들의 형태일 수 있다. 이미지 정보 또는 이러한 이미지 정보의 일부의 조합은 질병 상태를 평가하고/진단을 결정하는 기초로 사용될 수 있다.
도 11은 일부 실시예들에 따라 개별 수술 절차에 관한 정보를 포함하는, 저장 디바이스(1004) 내의 아틀라스(1002) 내에 포함되는 제1 데이터 정보 구조(1006)의 예시적 인스턴스를 표현하는 예시적 도면이다. 다수의 수술 절차들이 본원에 설명되는 로봇 보조 수술 시스템의 많은 상이한 인스턴스들을 사용하여 많은 상이한 외과의들에 의해 다수의 상이한 환자들에 대해 수행된다는 점이 이해될 것이다. 제1 데이터 정보 구조(1006)의 인스턴스는 수행되는 각각의 수술 절차 동안 컴퓨터 판독가능 저장 디바이스에서 생성되고 저장될 수 있다. 예시적 제1 데이터 정보 구조(1006)는, 예를 들어 전립선절제, 자궁절제, 또는 부분 신장절제와 같은, 수술 절차의 타입을 표시하는 수술 타입 필드(1006-1)를 포함한다.
예시적 제1 데이터 정보 구조(1006)는, 예를 들어 수술받는 환자에 관한 정보 예컨대 나이, 신체 질량, 혈액형, 키, 성별, 및 인종을 제공하는 환자 건강 기록 필드(1006-2)를 포함한다. 예시적 제1 데이터 정보 구조(1006)는, 예를 들어 개별 수술을 수행하는 외과의에 관한 정보 예컨대 일반적으로 경험의 레벨 및 로봇 보조 수술 시스템을 조작하는 경험의 레벨을 제공하는 의사 정보 필드(1006-3)를 포함한다. 예시적 제1 데이터 정보 구조(1006)는, 예를 들어 수술을 수행하기 위해 사용되는 수술 시스템에 관한 정보 예컨대 제품, 모델 및 일련 번호를 제공하는 수술 시스템 필드(1006-4)를 포함한다. 예시적 제1 데이터 정보 구조(1006)는 정보 예컨대 수술 절차 동안 시스템을 사용하여 제공되는 동영상 이미지들, 기구 운동들 및 햅틱 피드백을 제공하는 수술 레코딩 필드(1006-5)를 포함한다. 예시적 제1 데이터 정보 구조(1006)는 주석 정보, 예컨대 예시적 제1 데이터 정보 구조(1006) 내의 이미지 정보, 운동 정보 또는 햅틱 정보와 연관되었던 서술 정보를 포함하는 태그들을 제공하는 수술 레코딩 필드(1006-6)를 포함한다.
도 12는 일부 실시예들에 따라, 개별 수술 절차로부터의 기록된 동영상 이미지 세그먼트들, 대응하는 수술 기구 운동 정보 세그먼트들, 대응하는 수술 시스템 작동 상태들, 및 대응하는 주석들을 연관시키는, 저장 디바이스(1004) 내의 아틀라스(1002) 내에 포함되는 제2 데이터 정보 구조(1008)의 예시적 인스턴스를 표현하는 예시적 도면이다. 예시적 제2 데이터 정보 구조(1008)는 제1 데이터 정보 구조(1006)의 레코딩 필드(1006-5) 내에 정보의 부가 상세들을 제공한다. 일 양태에서, 환자 해부구조 구조들의 동영상 이미지들, 대응하는 수술 기구 운동들, 및 대응하는 수술 시스템 작동 상태들은 수술 절차 동안 수술 활동들 및 대응하는 수술 기구 운동들의 연대순 기록을 생성하기 위해 수술 동안 기록되고 시간 스탬핑된다(t1, t2...tn). 일부 실시예들에서, 동영상 이미지들은 또한 수술 동안 해부 구조들을 수술하기 위해 사용되는 수술 기구들의 이미지들을 포함한다. 시간 스탬프들은 동영상 이미지들을 수술 기구 운동들과 일시적으로 정렬시킨다.
수술 동안, 사용자 예컨대 외과의 또는 수술 팀의 다른 구성원은, 예를 들어 대응하는 수술 활동 예컨대 절개 또는 봉합, 해부 특징들, 특정 수술 복합성들, 외과의 관찰들, 또는 절차의 단계를 표시하는 메타데이터를 갖는 기록된 동영상 정보 및 연관된 기록 수술 기구 운동 정보에 주석을 달 수 있다. 주석들은, 예를 들어 비디오 레코딩들에서의 이미지들의 기록된 동영상 정보 및/또는 기록된 수술 기구 운동 정보, 착색 또는 강조(예를 들어, 텔레스트레이션)로 태깅되는 기입된 메모들 중 하나 이상 또는 이 메모들의 조합을 포함할 수 있다. 주석들은, 예를 들어 시간 스탬핑된 기록 이미지 정보 및/또는 기록 운동 정보에 나중에 추가될 수 있다.
원격 조종 수술 절차 동안, 수술 시스템 작동 상태의 변화를 야기하는 수술 활동이 발생할 수 있다는 점이 이해될 것이다. 외과의는 자신의 머리를 뷰어(31) 내로 그리고 외로 이동시킬 수 있어 헤드-인 상태의 변화를 야기한다. 외과의는, 예를 들어 제어 입력들(36)과의 접촉에 상관없이 자신의 손들 또는 발들을 이동시킬 수 있어 이하의 상태의 변화를 야기한다. 사용되는 기구들의 조합이, 예를 들어 변화될 수 있어, 기구 타입 상태의 변화를 야기한다.
하나 이상의 수술 상태들에서 수술 활동을 지원하는 수술 기구의 조작은 기구 모션을 표시하는 수술 시스템 내의 운동 정보의 발생을 야기하며, 그것은 외과의가 수술 활동을 수행한 실제 방식을 나타낸다. 외과의는, 예를 들어 기구를 빠르게 또는 느리게 이동시킬 수 있었다. 외과의는, 예를 들어 수술 기구를 하나 또는 다른 경로를 따라 해부 구조를 향하는 방향 또는 해부 구조에서 떨어진 방향으로 이동시킬 수 있었다. 외과의는, 예를 들어 특정 기구를 작동시키기 전에, 상이한 기구의 위치를 조정했을 수 있다. 기록된 해부 구조 이미지 정보 및 기록된 기구 운동 정보, 및 기록된 시스템 작동 상태의 조합은 어떤 이미지들이 수술 동안 외과의에게 제시되었는지 및 외과의가 그러한 이미지들과 협력하여 어떤 활동들에 참여했는지 및 수술 시스템의 어떤 시스템 작동 상태가 그 당시에 있었는지의 기록을 제공한다는 점이 이해될 것이다. 대응하는 주석들은 부가 통찰력을 수술 절차 중에 기록되는 연관된 이미지들 및 운동들로 제공할 수 있다. 운동 정보가 수술 시스템으로부터 (예를 들어, 조인트 데이터 또는 다른 기계 추적을 통해) 직접 유도될 수 있지만, 다양한 다른 실시예들에서, 운동 정보가 이미지 처리 또는 센서 데이터(예를 들어, 내시경 이미지 내의 도구/기구 추적)로부터 추출될 수 있다는 점을 주목한다.
도 13a 내지 도 13c는 일부 실시예들에 따라 수술 기구가 3개의 상이한 예시적 수술 기구 작동 상태들로 도시되는, 예시적 수술 기구(1202) 및 액추에이터 어셈블리(1203)를 도시하는 예시적 도면들이다. 예시적 기구(1202)는 개방 및 폐쇄 상태들 및 그 사이의 부분 개방/부분 폐쇄 상태들의 연속체 사이에서 전이될 수 있는 조 엔드 이펙터(1204)를 포함한다. 예시적 기구(1202)는 또한 상이한 이차원(x, y) 위치 상태들 사이를 이동할 수 있는 2 자유도(2-dof) 리스트(1206)를 포함한다. 예시적 액추에이터 어셈블리(1203)는 제1 액추에이터(1208)를 포함하며, 그것은 일부 실시예들에서 조 엔드 이펙터(1204)를 작동시키기 위해 사용되는 조 모터(jaw motor)(JM)를 포함한다. 예시적 액추에이터 어셈블리(1203)는 제2 액추에이터(1210)를 포함하며, 그것은 일부 실시예들에서 리스트(1206)를 작동시키기 위해 사용되는 리스트 모터(wrist motor)(WM)를 포함한다. 수술 동안, 수술 기구(1202)는 수술 절차 동안 상이한 활동들에 대응하는 다수의 기구 작동 상태를 통해 전이할 수 있다. 각각의 전이는 하나의 상태에서의 물리적 위치 및 배치(예를 들어, 개방 또는 폐쇄)로부터 다른 상태에서의 물리적 위치 및 배치로 전이됨에 따라 캡처되고 저장되며 기구의 모션을 나타내는 운동 정보의 발생을 야기한다. 도 13a에 나타낸 바와 같이, 예를 들어, 수술 절차는 제1 액추에이터(1208)(JM)가 조 엔드 이펙터(1204)를 완전 개방 상태로 배치하고 제2 액추에이터(1210)(WM)가 리스트(1206)를 제1 위치 상태(x1, y1)로 배치하는 제1 수술 활동을 수반할 수 있다. 도 13b에 나타낸 바와 같이, 예를 들어, 수술 절차는 제1 액추에이터(1208)가 조 엔드 이펙터(1204)를 완전 폐쇄 상태로 전이시키고 제2 액추에이터(1210)가 리스트(1206)를 제2 위치 상태(x2, y2)로 전이시키는 제2 수술 활동을 수반할 수 있다. 도 13c에 나타낸 바와 같이, 예를 들어, 수술 절차는 제1 액추에이터(1208)가 조 엔드 이펙터(1104)를 부분 개방/부분 폐쇄 상태에서 배치하고 제2 액추에이터(1210)가 리스트(1206)를 제3 위치 상태(x3, y3)로 전이시키는 제3 수술 활동을 수반할 수 있다.
도 14는 일부 실시예들에 따라, 운동 시그니처 정보, 이미지 시그니처 정보, 및 시스템 작동 상태 정보를 제어 신호들과 연관시키기 위해 규칙들을 포함하는, 저장 디바이스(1004) 내의 아틀라스(1002) 내에 포함되는 제1 제어 신호 규칙 정보 구조(1010)의 예시적 인스턴스를 표현하는 예시적 도면이다. 규칙들은 제1 및 제2 데이터 정보 구조들(1006, 1008)에 표현되는 이전 수술들로부터의 데이터에 기초하여 개발된다. 제1 규칙들은 해부 이미지들, 기구 운동들 및 시스템 상태의 패턴들을 시스템의 동작을 제어하거나 수술 절차 동안 안내를 외과의에게 제공하기 위해 사용되는 제어 신호들과 상관시킨다.
일부 실시예들에 따라, 운동 시그니처는 다차원 벡터를 포함한다. 일부 실시예들에서, 기구의 기록된 운동 모션은, 예를 들어 운동 특징들 예컨대 순간 속도, 순간 가속도, 순간 삼차원 위치, 현재 모션 경로 및 예측된 모션 경로를 표현하는 다수의 벡터들로 분해된다. 기구의 모션 및 위치뿐만 아니라, 그것의 맥락 예컨대 기구에 대한 해부 구조의 물리적 위치, 다른 기구들의 물리적 위치, 환자의 건강 및 수술의 성질은 운동 정보의 해석과 관련될 수 있다. 더욱이, 이전 기구 모션들은 기구 운동들에 적어도 부분적으로 기초하는 평가, 예컨대 기구를 다음으로 이동시키는 곳과 관련될 수 있다. 따라서, 일부 실시예들에서, 기구 운동 벡터는 또한, 예를 들어 해부 구조들의 위치, 다른 기구들의 위치, 환자 건강, 수술의 타입 및 기구의 이전 모션을 나타내는 벡터들을 포함한다.
일부 실시예들에 따라, 이미지 시그니처는 다차원 벡터를 포함한다. 일부 실시예들에서, 해부 구조의 기록된 동영상 이미지들은, 예를 들어 이미지 특징들 예컨대 컬러, 텍스처 및 기하학을 표현하는 다수의 벡터들로 분해된다. 더욱이, 나선형 신경망에서, 하위 레벨 특징들(예를 들어, 컬러 에지들 등)이 있으며; 후속 층들에서, 상위 레벨 특징들이 습득되어, 예를 들어 해부 구조 또는 조직 타입의 분류를 궁극적으로 야기한다. 해부 구조의 출현뿐만 아니라, 그것의 맥락 예컨대 환자의 건강, 수술의 성질, 특정 타입의 로봇 보조 수술에서의 외과의의 기술 레벨, 및 정확한 수술 기구들이 현재 시스템에 설치되는 것을 시스템 상태가 표시하는지의 여부는 해부 이미지의 해석과 관련될 수 있다. 더욱이, 수술 절차 중에 해부 구조의 출현의 변화들은 해부 이미지의 해석과 관련될 수 있다. 따라서, 일부 실시예들에서, 이미지 벡터는 또한, 예를 들어 환자 건강 기록 정보, 수술 타입, 및 상이한 수술 단계에서의 해부 이미지 출현의 비교를 나타내는 벡터들을 포함한다.
일부 실시예들에 따라, 상이한 제어 신호들은 이미지 시그니처들, 운동 시그니처들 및 작동 시스템 상태의 상이한 조합들과 연관된다. 일부 실시예들에서, 일부 제어 신호들은 기구 작동 상태를 제어한다. 예를 들어, 이미지 시그니처, 운동 시그니처 및 작동 시스템 상태의 일부 조합은 불안전한 수술 활동에 대응할 수 있고, 대응하는 제어 신호는 수술 시스템으로 하여금 기구의 모션을 정지시키게 하도록 동작되고 및/또는 외과의에게 통지(예를 들어, 시각, 가청, 및/또는 촉각 경고, 또는 관련 안내/정보가 이용 가능하다는 표시)를 발생시킬 수 있다. 예를 들어, 기구 모션은 카메라의 시야 외에 있다. 대안적으로, 예를 들어, 이미지 시그니처, 운동 시그니처 및 작동 시스템 상태의 일부 조합은 특히 섬세한 수술 활동에 대응할 수 있고, 대응하는 제어 신호는 수술 시스템으로 하여금 기구의 모션의 속도를 더 안전한 속도로 둔화시키게 하도록 동작될 수 있거나 상처를 회피하기 위해 기구의 모션의 범위를 제한할 수 있거나 외과의에게 권고 통지(예를 들어, 뷰어 내에 디스플레이되는 수정/경고 정보의 오버레이 또는 관련 안내/정보에 대한 액세스의 제시)를 발생시킬 수 있다. 예를 들어, 전립선절제 동안의 신경들의 보존, 또는 승모판 사이의 봉합이 회복된다.
일부 실시예들에 따라, 머신 습득 기술들은 이미지 시그니처들을 발생시키고 운동 시그니처들을 발생시키기 위해 사용될 수 있다. 더 구체적으로, 예를 들어, 분류기들은 이미지 시그니처들 및 운동 시그니처들을 제어 신호들과 상관시키기 위해 전문적 지식과 함께 사용될 수 있다. 제1 및 제2 데이터 정보 구조들(1006, 1008) 내의 수술 데이터는, 예를 들어 상이한 해부 이미지들, 기구 운동들 및 수술 시스템 상태의 맥락에서 적절한 시스템 동작을 결정하기 위해, 전문적 외과의 입력에 기초하여, 평가된다. 결정된 시스템 동작을 달성하는 제어 신호들은 제1 규칙 정보 구조(1010)에서 해부 이미지 시그니처들, 기구 운동 시그니처들 및 시스템 상태들과 연관된다. 일부 실시예들에 따라, 이미지 시그니처들 및 운동 시그니처들은 제어 신호에 대응하는 하나의 전체 시그니처를 생성하기 위해 시스템 상태 정보와 함께 조합될 수 있다.
도 15는 일부 실시예들에 따라, 해부 이미지 정보, 기구 운동들 및 시스템 상태에 적어도 부분적으로 기초하여 제어 신호를 생성하는 프로세스(1502)를 표현하는 예시적 흐름도이다. 컴퓨터 프로세서(58)는 일부 실시예들에 따라 프로세스(1502)를 수행하도록 구성된다. 수술 절차의 수행 동안, 규칙 블록(1504)은 수술 동안의 동영상 이미지들, 기구 운동들 및 수술 시스템 상태 시스템 상태, 및 제1 규칙 정보 구조(1010)로부터의 규칙들에 기초하여 제어 신호의 론치를 야기하는지를 결정한다.
특히, 시스템(10)을 사용하는 수술 절차의 수행 동안, 규칙 블록(1504)은 수술 동안 발생되는 동영상 이미지 정보를 수신하고, 수술 동안 발생되는 기구 운동 정보를 수신하고 수술 동안 발생되는 시스템 상태 정보를 수신한다. 카메라(528)는 수술 동안 동영상 정보를 캡처한다. 컴퓨터 프로세서(58)는 블록(1506)에서, 대응하는 이미지 정보를 규칙 블록(1504)에 제공한다. 기구 액추에이터들, 예컨대 액추에이터들(1208, 1210)은 수술 동안 기구 모션을 야기하는 작동 커맨드들을 수신한다. 컴퓨터 프로세서(58)는 블록(1508)에서, 작동 커맨드들에 기초하여 기구 운동 정보를 결정하고 운동 정보를 규칙 블록(1504)에 제공한다. 시스템은 시스템 상태, 예컨대 조작자가 자신의 머리를 뷰어에 대해 배치했는지, 조작자가 손들 및/또는 발들에 의한 제어 입력들(36)을 예약(engage)했는지, 및 어느 기구들이 사용을 위해 삽입되는지를 감지하는 센서들(도시되지 않음)을 포함한다. 컴퓨터 프로세서(58)는 블록(1510)에서, 시스템 상태 정보를 규칙 블록(1504)에 제공한다.
또한, 수술 절차 동안, 제어 신호 규칙 저장 블록(1512)은 규칙 블록(1504)에, 제1 제어 신호 규칙 정보 구조(1010)의 제1 규칙 블록 부분(1010A) 내로부터의 이미지 시그니처 정보, 운동 시그니처 정보, 및 시스템 작동 상태 정보를 제공한다. 규칙 블록(1504)은 블록들(1506, 1508, 1510) 각각에 의해 제공되는 이미지, 운동들 및 시스템 정보를 제1 규칙 블록 부분(1010A)으로부터의 연관된 이미지 시그니처(SigI), 운동 시그니처(SigK) 및 시스템 상태(Astate) 정보와 비교한다. 일부 실시예들에서, 컴퓨터 프로세서(58)가 시스템(10)에 의해 발생되는 이미지, 운동들 및 시스템 정보를 제어 신호 규칙 정보 구조(1010)의 제1 부분(1010A)으로부터의 시그니처 및 상태 정보와 비교하는데 적절한 포맷으로 변환하도록 구성된다는 점이 이해될 것이다. 특히, 일부 실시예들에서, 미가공 이미지/운동들/시스템 상태는 결정된 분류에 기초하여 어떤 액션을 취하는지를 결정하기 위해 이때 표에서 룩업되는 분류(신호/확률)를 유도하기 위해 처리된다.
결정 모듈(1506)은 매치가 제1 규칙 블록 부분(1010A)으로부터의 제공된 이미지, 운동들 및 시스템 상태 정보와 규칙 정보 사이에 발생하는지를 결정한다. 머신 습득 실시예들에서 매치가 이미지, 운동들 및 시스템 상태 정보와 규칙 정보 사이의 유사성의 범위에 기초하여 결정된다는 점이 이해될 것이다. 따라서, 예를 들어, 특정 규칙의 일부 임계 제한 내에 있는 발생된 이미지, 발생된 운동들 및 발생된 시스템 상태 정보의 조합은 그러한 규칙과 매칭하기 위해 결정된다.
블록(1514)은 이미지, 운동들 및 시스템 상태 정보의 조합 및 규칙 사이의 매치의 결정에 응답하여, 매칭 규칙에 대응하는 제어 신호 규칙 정보 구조(1010)의 제2 규칙 부분(1010B) 내로부터 제어 신호를 론칭한다. 예를 들어, 수술 절차 동안 수신되는 이미지, 운동들 및 시스템 상태 정보가 제1 부분(1010A)의 SigI2, SigK2 및 Astate2와 매칭한다는 결정에 응답하여, 블록(1516)은 제어 신호 정보 구조(1010)의 제2 부분(101B) 내로부터 신호(CNTLIKA2)를 론칭한다. 따라서, 론칭된 제어 신호는 실제 시스템 정보에 의존한다. 더욱이, 론칭된 제어 신호는 기구 작동을 제어하기 위해 동작될 수 있다. 예를 들어, 특정 기구 모션을 방지하는 제어 신호는 예컨대 다른 기구와의 충돌을 회피하기 위해 론칭될 수 있다. 예를 들어, 특정 기구 모션이 어떻게 발생하는지를 제어하는 제어 신호는 예컨대 속도의 비율을 제한함으로써 론칭될 수 있다. 예를 들어, 기구가 다음에 행하는 것 예컨대 외과의가 다음에 사용할 가능성이 있는 기구와의 충돌을 방지하기 위해 기구를 중립 위치로 이동시키는 것을 제어하는 제어 신호가 론칭될 수 있다. 어떠한 매치도 검출되지 않지만, 결정 모듈은 제어 흐름을 규칙 블록(1504)으로 피드백한다. 유사하게, 제어 신호의 론치 후에, 제어 흐름들은 제어 신호 정보 구조(1010)로부터의 규칙들과 수술 동안 발생되는 이미지, 운동들 및 시스템 정보의 비교들을 계속하기 위해 규칙 블록(1504)으로 후퇴된다.
도 16은 일부 실시예들에 따라, 기록된 동영상 이미지 세그먼트들을 햅틱 정보 세그먼트들과 연관시키는, 저장 디바이스(1004) 내의 아틀라스(1002) 내에 포함되는 제3 데이터 정보 구조(1012)의 예시적 인스턴스를 표현하는 예시적 도면이다. 예시적 제3 데이터 정보 구조(1012)는 제1 데이터 정보 구조(1006)의 레코딩 필드(1006-5) 내에 정보의 부가 상세들을 제공한다. 일 양태에서, 환자 해부구조 구조들의 동영상 이미지들 및 외과의/조작자에게 부여되는 대응하는 햅틱 피드백 정보는 외과의가 관찰한 것 및 외과의가 수술 절차 동안 제어 입력에서 물리 터치 감각을 통해 감지한 것의 연대순 기록을 생성하기 위해 수술 동안 기록되고 시간 스탬핑된다(t1, t2...tn). 시간 스탬프들은 동영상 이미지들을 수술 기구 운동들과 일시적으로 정렬시킨다.
햅틱스는 일반적으로 터치 피드백을 설명하여, 터치 피드백은 진동 및 이동뿐만 아니라, 운동(힘) 및 피부(촉각) 피드백을 포함할 수 있다. 원격 조종 수술 시스템들에서, 자연 햅틱 피드백은 외과의가 기구를 직접 조작하지 않기 때문에 크게 제거된다. 도 6을 참조하면, 일부 실시예들에 따라, 수술 기구(520)의 환자 측 상에 장착되는 인공 햅틱 센서(660)는 감지된 정보를 외과의에게 전달하기 위해 외과의 측 상에서 햅틱 정보, 및 햅틱 디스플레이들을 취득할 수 있다. 도 5a를 참조하면, 운동 또는 힘 피드백 시스템들은 전형적으로 수술 기구에 의해 수술 장면 내에서 환자 해부구조에 인가되는 힘들을 측정하거나 평가하고, 분해된 힘들을 제어 입력(36) 상에 장착되는 힘 피드백 디바이스(39)를 통해 외과의의 손에 제공한다. 촉각 피드백은 조직 표면에 걸쳐 정보 예컨대 국부 조직 변형 및 압력 분포를 제공하기 위해 사용될 수 있다.
도 16을 다시 참조하면, 제3 데이터 정보 구조(1012)는 동영상 정보 세그먼트들을 힘 피드백 디바이스(39)에 전달되는 동시 햅틱 피드백 정보와 연관시킨다. 그와 같이, 제3 정보 구조 내의 데이터는 수술 절차 동안 외과의의 시각 및 촉각 입력의 기록을 표현할 수 있다. 이러한 정보는 기계 기술에서 외과의를 훈련시키는 것을 원조하고 또한 진단에서 외과의를 훈련시키는 원조로서 사용될 수 있다.
도 17은 일부 실시예들에 따라, 수술 경험을 재생하기 위해 원격 조종된 로봇 보조 수술 시스템을 구성하는 프로세스(1702)를 표현하는 예시적 흐름도이다. 컴퓨터 프로세서(58)는 일부 실시예들에 따라 프로세스(1702)를 수행하도록 구성된다. 프로세서(58)는 뷰어에서 기록된 동영상들을 재생하기 위해 카메라(528)를 구성하도록 기록된 동영상 정보를 사용한다. 프로세서(58)는 제어 입력(36)에서 기록된 햅틱 피드백을 부여하기 위해 힘 피드백 디바이스(39)를 구성하도록 기록된 햅틱 정보를 사용한다. 일부 실시예들에서, 힘 피드백 디바이스(39)는 진동촉각 디바이스를 포함한다.
그러한 재생은 외과의의 자체 이전 수술 경험에 기초하여 또는 다른 사람의 것에 기초하여 수술 시스템을 더 효과적으로 사용하기 위해 외과의를 훈련시키는 것에 도움이 될 수 있다는 점이 이해될 것이다. 이미지들 및 대응하는 햅틱 피드백 힘들이 재생되면서 뷰어(31)를 조사하고 제어 입력(36)을 터치함으로써, 외과의는 기록된 수술을 경험할 수 있다. 그 다음, 외과의는, 예를 들어 대체 수술 접근법들을 실험하고 그러한 대체 접근법들 동안의 시각 및 촉각 감각들을 이전 수술의 것들과 비교할 수 있다. 도 18은 일부 실시예들에 따라, 이미지 시그니처 정보 및 햅틱 피드백 정보를 진단들과 연관시키기 위해 규칙들을 포함하는, 저장 디바이스(1004) 내의 아틀라스(1002) 내에 포함되는 제2 진단 규칙 정보 구조(1014)의 예시적 인스턴스를 표현하는 예시적 도면이다. 규칙들은 제1 및 제3 데이터 정보 구조들(1006, 1012)에 표현되는 이전 수술들로부터의 데이터에 기초하여 개발된다. 제2 규칙들은 해부 이미지들 및 햅틱 피드백의 패턴들을 진단들과 상관시킨다.
상기 설명된 바와 같이, 이미지 시그니처는 다차원 벡터를 포함한다. 부가적으로, 일부 실시예들에 따라, 햅틱 피드백 시그니처는 다차원 벡터를 포함한다. 일부 실시예들에서, 기록된 햅틱 피드백은 햅틱 피드백 특징들 예컨대 피드백 힘들의 위치, 빈도 및 세기를 표현하는 다수의 벡터들로 분해된다. 피드백 힘들의 위치, 빈도 및 세기뿐만 아니라, 그것의 맥락 예컨대, 환자의 건강 및 수술의 성질은 피드백 신호의 해석과 관련될 수 있다. 따라서, 일부 실시예들에서, 다차원 햅틱 피드백 벡터는 또한, 예를 들어 환자 건강 및 수술의 타입을 나타내는 벡터들을 포함한다.
일부 실시예들에 따라, 머신 습득 기술들은 이미지 시그니처들을 발생시키고 햅틱 피드백 시그니처들을 발생시키기 위해 사용될 수 있다. 더 구체적으로, 예를 들어, 분류기들은 이미지 시그니처들 및 햅틱 시그니처들을 진단들과 상관시키기 위해 전문적 지식과 함께 사용될 수 있다. 제1 및 제3 데이터 정보 구조들(1006, 1012) 내의 수술 데이터는, 예를 들어 상이한 해부 이미지들, 및 햅틱 피드백 힘들의 맥락에서 적절한 진단들을 결정하기 위해, 전문적 외과의 입력에 기초하여 평가된다. 일부 실시예들에 따라, 이미지 시그니처들 및 햅틱 시그니처들은 진단에 대응하는 하나의 전체 시그니처를 생성하기 위해 함께 조합될 수 있다.
도 19는 일부 실시예들에 따라, 해부 이미지 정보 및 햅틱 피드백 정보에 적어도 부분적으로 기초하여 진단을 생성하는 프로세스(1902)를 표현하는 예시적 흐름도이다. 컴퓨터 프로세서(58)는 일부 실시예들에 따라 프로세스(1902)를 수행하도록 구성된다. 수술 절차의 수행 동안, 규칙 블록(1904)은 수술 동안의 동영상 이미지들 및 햅틱 피드백 힘들, 및 제2 규칙 정보 구조(1014)로부터의 규칙들에 기초하여 진단을 보고하는지를 결정한다.
특히, 시스템(10)을 사용하는 수술 절차의 수행 동안, 규칙 블록(1904)은 수술 동안 발생되는 동영상 이미지 정보를 수신하고 수술 동안 발생되는 햅틱 피드백 정보를 수신한다. 카메라(528)는 수술 동안 동영상 정보를 캡처한다. 컴퓨터 프로세서(58)는 블록(1906)에서, 대응하는 이미지 정보를 규칙 블록(1904)에 제공한다. 햅틱 피드백 힘 디바이스(39)는 햅틱 피드백 힘을 발생시킨다. 컴퓨터 프로세서(58)는 블록(1908)에서, 작동 커맨드들에 기초하여 햅틱 피드백 힘 정보를 결정하고 운동 정보를 규칙 블록(1904)에 제공한다.
또한, 수술 절차 동안, 진단 규칙 저장 블록(1912)은 규칙 블록(1904)에, 진단 규칙 정보 구조(1014)의 제1 규칙 블록 부분(1014A)으로부터의 이미지 시그니처 정보 및 햅틱 피드백 정보를 제공한다. 규칙 블록(1904)은 블록들(1906, 1908) 각각에 의해 제공되는 이미지 및 햅틱 피드백 정보를 규칙 진단 구조(1014)의 제1 규칙 블록 부분(1014A)으로부터의 연관된 이미지 시그니처들(SigI) 및 햅틱 피드백 시그니처들(SigH)과 비교한다. 일부 실시예들에서, 컴퓨터 프로세서(58)가 시스템(10)에 의해 발생되는 이미지 및 햅틱 피드백 정보를 진단 규칙 정보 구조(1014)의 제1 부분(1014A)으로부터의 시그니처 및 상태 정보와 비교하는데 적절한 포맷으로 변환하도록 구성된다는 점이 이해될 것이다.
결정 모듈(1914)은 매치가 제공된 이미지 및 햅틱 피드백 정보와 진단 규칙 정보 구조(1014)의 제1 규칙 부분(1014A)으로부터의 규칙 정보 사이에 발생하는지를 결정한다. 머신 습득 실시예들에서 매치가 이미지 및 햅틱 정보와 규칙 정보 사이의 유사성의 범위에 기초하여 결정된다는 점이 이해될 것이다. 따라서, 예를 들어, 특정 규칙의 일부 임계 제한 내에 있는 발생된 이미지 및 발생된 햅틱 정보의 조합은 그러한 규칙과 매칭하기 위해 결정된다.
블록(1914)은 이미지, 운동들 및 시스템 상태 정보의 조합과 규칙 사이의 매치의 결정에 응답하여, 매칭 규칙에 대응하는 제1 제어 신호 규칙 정보 구조(1010)의 제2 규칙 블록(1010B) 부분 내로부터 제어 신호를 론칭한다. 예를 들어, 수술 절차 동안 수신되는 이미지 및 햅틱 피드백 정보가 진단 정보 구조(1014)의 제1 부분(1014A)의 SigI2 및 SigH2와 매칭한다는 결정에 응답하여, 블록(1916)은 뷰어(31) 상에, 진단 정보 구조(1014)의 제2 부분으로부터의 진단(DIAG1)을 보고한다. 따라서, 수술 동안의 진단은 수술 동안 발생되는 실제 시스템 정보 및 수술 들 전에 기록되는 정보에 의존한다. 프로세스(1902) 동안, 어떠한 매치도 검출되지 않지만, 결정 모듈(1914)은 제어 흐름을 규칙 블록(1904)에 피드백한다. 유사하게, 진단 후에, 흐름 제어들은 진단 규칙 정보 구조(1014)로부터의 규칙들과 수술 동안 발생되는 이미지 및 햅틱스의 비교들을 계속하기 위해 규칙 블록(1904)으로 후퇴된다.
예시적 실시예들이 도시되고 설명되었지만, 광범위한 수정, 변경 및 치환은 상술한 개시내용에서 생각되고, 일부 사례들에서, 실시예들의 일부 특징들은 다른 특징들의 대응하는 사용 없이 이용될 수 있다. 본 기술분야의 통상의 기술자는 많은 변화들, 대안들, 및 수정들을 인식할 것이다. 따라서, 본 개시내용의 범위는 이하의 청구항들에 의해서만 제한되어야 하고, 청구항들이 넓게 그리고 본원에 개시되는 실시예들의 범위와 일치하는 방식으로 해석되는 것이 적절하다.

Claims (13)

  1. 원격 조종 수술 시스템(수술 시스템)에서의 사용을 위한 방법으로서,
    상기 수술 시스템의 하나 이상의 인스턴스들 내의 수술 절차의 다수의 발생들 각각을 위해, 상기 수술 절차의 발생 동안 상기 수술 시스템 내에 수술 장면의 이미지들을 기록하는 단계;
    수술 장면들의 각각의 이미지들과 연관되는 각각의 수술 이미지 시그니처들을 결정하는 단계;
    각각의 수술 이미지 시그니처들을 각각의 제어 신호들과 연관시키는 정보 구조를 컴퓨터 판독가능 저장 디바이스에서 생성하는 단계;
    상기 수술 시스템의 인스턴스 내의 상기 수술 절차의 수행 동안, 상기 수술의 인스턴스 내의 수술 장면 내의 수술 이미지들을 적어도 하나의 각각의 수술 이미지 시그니처와 비교하는 단계;
    상기 수술 시스템의 인스턴스 내의 상기 수술 절차의 수행 동안, 상기 수행 동안의 수술 이미지들과 각각의 수술 이미지 시그니처 사이의 매치에 응답하여 상기 수술 시스템 내에 연관된 각각의 제어 신호를 론칭하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 제어 신호에 응답하여, 기구가 이동하는 속도를 조정하는 단계를 더 포함하는 방법.
  3. 제1항에 있어서,
    상기 제어 신호에 응답하여, 기구의 모션의 범위를 조정하는 단계를 더 포함하는 방법.
  4. 제1항에 있어서,
    상기 제어 신호에 응답하여, 조작자에게 안내를 제공하는 시각 이미지를 제공하는 단계를 더 포함하는 방법.
  5. 원격 조종 수술 시스템(수술 시스템)에서의 사용을 위한 방법으로서,
    수술 절차 동안 상기 수술 시스템의 제1 인스턴스의 뷰어 내에 디스플레이되는 수술 장면 내에 해부 조직의 이미지들을 기록하는 단계;
    상기 수술 절차 동안 뷰어 내에 디스플레이되는 상기 수술 장면 내의 상기 해부 조직과의 접촉 동안 상기 수술 기구에 부여되는 힘들에 응답하여 상기 수술 시스템의 제1 인스턴스의 수술 기구 제어들에 부여되는 수술 기구 제어 햅틱스를 기록하는 단계;
    상기 수술 절차의 시뮬레이션 동안 상기 수술 시스템의 제2 인스턴스의 뷰어 내에 상기 기록된 이미지들을 재생하는 단계; 및
    상기 수술 절차의 시뮬레이션 동안의 기록된 이미지들의 재생 동안 상기 기록된 수술 기구 제어 햅틱스를 상기 수술 시스템의 제2 인스턴스의 수술 기구 제어들에 부여하는 단계
    를 포함하는 방법.
  6. 제5항에 있어서, 상기 부여된 기록된 수술 기구 제어 햅틱스는 진동-촉각력을 포함하는 방법.
  7. 원격 조종 수술 시스템(수술 시스템)에서의 사용을 위한 방법으로서,
    상기 수술 시스템의 하나 이상의 인스턴스들 내의 수술 절차의 다수의 발생들 각각을 위해, 각각의 진단 데이터 정보 인스턴스들을 기록하는 단계 - 상기 각각의 진단 데이터 정보 인스턴스들은,
    수술 절차 동안 상기 수술 시스템의 제1 인스턴스의 뷰어 내에 디스플레이되는 수술 장면 내의 해부 조직의 각각의 이미지들;
    상기 수술 절차 동안 뷰어 내에 디스플레이되는 상기 수술 장면 내의 상기 해부 조직과의 접촉 동안 상기 수술 기구에 부여되는 힘들에 응답하여 상기 수술 시스템의 제1 인스턴스의 수술 기구 제어들에 부여되는 각각의 수술 기구 제어 햅틱스를 포함함 -;
    각각의 진단 데이터 정보를 각각의 진단들과 연관시키는 정보 구조를 컴퓨터 판독가능 저장 디바이스에서 생성하는 단계;
    각각의 진단 데이터 정보 인스턴스를 선택하는 단계;
    상기 수술 절차의 시뮬레이션 동안 상기 수술 시스템의 제2 인스턴스의 뷰어 내의 상기 선택된 각각의 기록된 진단 데이터 정보 인스턴스로부터 상기 기록된 이미지들을 재생하는 단계;
    상기 수술 절차의 시뮬레이션 동안의 상기 기록된 이미지들의 재생 동안 상기 선택된 각각의 기록된 진단 데이터 정보 인스턴스로부터의 상기 기록된 수술 기구 제어 햅틱스를 상기 수술 시스템의 제2 인스턴스의 수술 기구 제어들에 부여하는 단계
    를 포함하는 방법.
  8. 제7항에 있어서,
    상기 각각의 기록된 진단 데이터 정보 인스턴스와 연관되는 각각의 진단 데이터 정보를 나타내는 상기 수술 시스템의 제2 인스턴스 내에 신호를 생성하는 단계를 더 포함하는 방법.
  9. 제7항에 있어서, 상기 부여된 기록된 수술 기구 제어 햅틱스는 진동-촉각력을 포함하는 방법.
  10. 원격 조종 수술 시스템으로서,
    각각의 수술 이미지 시그니처들을 각각의 제어 신호들과 연관시키는 컴퓨터 판독가능 저장 디바이스 내의 정보 구조;
    프로세서 - 상기 프로세서는,
    상기 수술 시스템 내의 수술 절차의 수행 동안, 수술 장면 내의 수술 이미지들을 적어도 하나의 수술 이미지 시그니처와 비교하고;
    상기 수술 절차의 수행 동안, 상기 수행 동안의 수술 이미지들과 상기 적어도 하나의 수술 이미지 시그니처 사이의 매치에 응답하여 제어 신호를 론칭하도록 구성됨 - ; 및
    상기 제어 신호에 응답하여 자신의 모션을 조정하도록 구성되는 기구
    를 포함하는 원격 조종 수술 시스템.
  11. 제10항에 있어서,
    상기 제어 신호에 응답하여, 상기 기구는 자신이 이동하는 속도를 조정하도록 구성되는 원격 조종 수술 시스템.
  12. 제10항에 있어서,
    상기 제어 신호에 응답하여, 상기 기구는 상기 기구의 모션의 범위를 조정하도록 구성되는 원격 조종 수술 시스템.
  13. 제10항에 있어서,
    상기 제어 신호에 응답하여, 상기 기구는 조작자에게 제공되는 시각 안내를 조정하도록 구성되는 원격 조종 수술 시스템.



KR1020237012772A 2015-06-09 2016-06-09 수술　절차　아틀라스를　갖는　수술시스템의　구성 KR102673560B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562173077P 2015-06-09 2015-06-09
US62/173,077 2015-06-09
KR1020177035301A KR102523779B1 (ko) 2015-06-09 2016-06-09 수술 절차 아틀라스를 갖는 수술 시스템의 구성
PCT/US2016/036733 WO2016201123A1 (en) 2015-06-09 2016-06-09 Configuring surgical system with surgical procedures atlas

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177035301A Division KR102523779B1 (ko) 2015-06-09 2016-06-09 수술 절차 아틀라스를 갖는 수술 시스템의 구성

Publications (2)

Publication Number Publication Date
KR20230054760A true KR20230054760A (ko) 2023-04-25
KR102673560B1 KR102673560B1 (ko) 2024-06-12

Family

ID=57504375

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177035301A KR102523779B1 (ko) 2015-06-09 2016-06-09 수술 절차 아틀라스를 갖는 수술 시스템의 구성
KR1020237012772A KR102673560B1 (ko) 2015-06-09 2016-06-09 수술　절차　아틀라스를　갖는　수술시스템의　구성

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177035301A KR102523779B1 (ko) 2015-06-09 2016-06-09 수술 절차 아틀라스를 갖는 수술 시스템의 구성

Country Status (6)

Country Link
US (3) US11058501B2 (ko)
EP (1) EP3307196A4 (ko)
JP (2) JP7166760B2 (ko)
KR (2) KR102523779B1 (ko)
CN (2) CN107847283B (ko)
WO (1) WO2016201123A1 (ko)

Families Citing this family (174)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10532466B2 (en) * 2008-08-22 2020-01-14 Titan Medical Inc. Robotic hand controller
US8332072B1 (en) 2008-08-22 2012-12-11 Titan Medical Inc. Robotic hand controller
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
EP3578119B1 (en) 2013-12-11 2021-03-17 Covidien LP Wrist and jaw assemblies for robotic surgical systems
US11504192B2 (en) * 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
JP6718463B2 (ja) 2015-02-19 2020-07-08 コヴィディエン リミテッド パートナーシップ ロボット外科用システムのための入力デバイスを再位置決めする方法
EP3267920A4 (en) 2015-03-10 2019-03-06 Covidien LP MEASURING THE HEALTH OF A CONNECTING ELEMENT OF A SURGICAL ROBOTIC SYSTEM
EP3307196A4 (en) * 2015-06-09 2019-06-19 Intuitive Surgical Operations Inc. SURGICAL SYSTEM CONFIGURATION WITH ATLAS OF SURGICAL PROCEDURES
AU2016284040B2 (en) 2015-06-23 2020-04-30 Covidien Lp Robotic surgical assemblies
EP3352699B1 (en) 2015-09-25 2023-08-23 Covidien LP Robotic surgical assemblies and instrument drive connectors thereof
US10912619B2 (en) 2015-11-12 2021-02-09 Intuitive Surgical Operations, Inc. Surgical system with training or assist functions
US10660714B2 (en) 2015-11-19 2020-05-26 Covidien Lp Optical force sensor for robotic surgical system
US11576562B2 (en) 2016-04-07 2023-02-14 Titan Medical Inc. Camera positioning method and apparatus for capturing images during a medical procedure
CN113180835A (zh) 2016-06-03 2021-07-30 柯惠Lp公司 用于机器人手术系统的控制臂
WO2017210497A1 (en) 2016-06-03 2017-12-07 Covidien Lp Systems, methods, and computer-readable program products for controlling a robotically delivered manipulator
US11690691B2 (en) 2017-02-15 2023-07-04 Covidien Lp System and apparatus for crush prevention for medical robot applications
EP3629979A4 (en) 2017-05-24 2021-02-17 Covidien LP PRESENCE DETECTION FOR ELECTROSURGICAL TOOLS IN A ROBOTIC SYSTEM
WO2018217431A1 (en) 2017-05-25 2018-11-29 Covidien Lp Robotic surgical system with automated guidance
US11628022B2 (en) 2017-09-05 2023-04-18 Covidien Lp Collision handling algorithms for robotic surgical systems
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11141160B2 (en) 2017-10-30 2021-10-12 Cilag Gmbh International Clip applier comprising a motor controller
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11129636B2 (en) 2017-10-30 2021-09-28 Cilag Gmbh International Surgical instruments comprising an articulation drive that provides for high articulation angles
US11756668B2 (en) * 2017-11-12 2023-09-12 Aleph Bot Ltd Systems methods devices circuits and computer executable code for tracking evaluating and facilitating a medical procedure
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US10849697B2 (en) 2017-12-28 2020-12-01 Ethicon Llc Cloud interface for coupled surgical devices
US20190201146A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Safety systems for smart powered surgical stapling
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US10987178B2 (en) 2017-12-28 2021-04-27 Ethicon Llc Surgical hub control arrangements
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US20190201140A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Surgical hub situational awareness
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11132462B2 (en) * 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
WO2019130116A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Surgical systems with prioritized data transmission capabilities
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11069012B2 (en) 2017-12-28 2021-07-20 Cilag Gmbh International Interactive surgical systems with condition handling of devices and data capabilities
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US10932872B2 (en) 2017-12-28 2021-03-02 Ethicon Llc Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US10695081B2 (en) 2017-12-28 2020-06-30 Ethicon Llc Controlling a surgical instrument according to sensed closure parameters
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US11058498B2 (en) 2017-12-28 2021-07-13 Cilag Gmbh International Cooperative surgical actions for robot-assisted surgical platforms
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11051876B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Surgical evacuation flow paths
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US11659023B2 (en) * 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11273001B2 (en) * 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US10898622B2 (en) 2017-12-28 2021-01-26 Ethicon Llc Surgical evacuation system with a communication circuit for communication between a filter and a smoke evacuation device
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11612408B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Determining tissue composition via an ultrasonic system
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US10755813B2 (en) 2017-12-28 2020-08-25 Ethicon Llc Communication of smoke evacuation system parameters to hub or cloud in smoke evacuation module for interactive surgical platform
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
JP2021509313A (ja) * 2017-12-28 2021-03-25 エシコン エルエルシーＥｔｈｉｃｏｎ ＬＬＣ 周術期情報に基づいてエンドエフェクタパラメータを調節するためのシステム
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11419667B2 (en) * 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11786245B2 (en) * 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11056244B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US10943454B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Detection and escalation of security responses of surgical instruments to increasing severity threats
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US10944728B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Interactive surgical systems with encrypted communication capabilities
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US10892899B2 (en) * 2017-12-28 2021-01-12 Ethicon Llc Self describing data packets generated at an issuing instrument
US10966791B2 (en) 2017-12-28 2021-04-06 Ethicon Llc Cloud-based medical analytics for medical facility segmented individualization of instrument function
JP2021510562A (ja) 2018-01-04 2021-04-30 コヴィディエン リミテッド パートナーシップ 手術付属品をロボット手術システムに搭載し、それを通したアクセスを提供するためのシステムおよびアセンブリ
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11707293B2 (en) 2018-03-08 2023-07-25 Cilag Gmbh International Ultrasonic sealing algorithm with temperature control
US11701162B2 (en) 2018-03-08 2023-07-18 Cilag Gmbh International Smart blade application for reusable and disposable devices
US11096688B2 (en) 2018-03-28 2021-08-24 Cilag Gmbh International Rotary driven firing members with different anvil and channel engagement features
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11589865B2 (en) 2018-03-28 2023-02-28 Cilag Gmbh International Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems
US10973520B2 (en) 2018-03-28 2021-04-13 Ethicon Llc Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
US11213294B2 (en) 2018-03-28 2022-01-04 Cilag Gmbh International Surgical instrument comprising co-operating lockout features
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
JP6730363B2 (ja) * 2018-04-13 2020-07-29 ファナック株式会社 操作訓練システム
CN111971150A (zh) 2018-04-20 2020-11-20 柯惠Lp公司 手术机器人手推车放置的系统和方法
CN112352285A (zh) * 2018-05-30 2021-02-09 直观外科手术操作公司 用于计算机辅助手术系统的上下文感知系统和方法
US11576739B2 (en) 2018-07-03 2023-02-14 Covidien Lp Systems, methods, and computer-readable media for detecting image degradation during surgical procedures
US11559298B2 (en) 2018-07-16 2023-01-24 Cilag Gmbh International Surgical visualization of multiple targets
CN112739282A (zh) 2018-09-17 2021-04-30 柯惠Lp公司 手术机器人系统
CN113016038B (zh) * 2018-10-12 2024-06-18 索尼集团公司 避免与机器人手术设备碰撞的触觉障碍
WO2020117982A1 (en) * 2018-12-05 2020-06-11 Intuitive Surgical Operations, Inc. Determining chromophore concentrations in tissues
US11478318B2 (en) * 2018-12-28 2022-10-25 Verb Surgical Inc. Methods for actively engaging and disengaging teleoperation of a surgical robotic system
CN109754651A (zh) * 2019-01-31 2019-05-14 北京汉博信息技术有限公司 手术示教方法及系统
US11576733B2 (en) 2019-02-06 2023-02-14 Covidien Lp Robotic surgical assemblies including electrosurgical instruments having articulatable wrist assemblies
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
US11272931B2 (en) 2019-02-19 2022-03-15 Cilag Gmbh International Dual cam cartridge based feature for unlocking a surgical stapler lockout
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
US11464511B2 (en) 2019-02-19 2022-10-11 Cilag Gmbh International Surgical staple cartridges with movable authentication key arrangements
IT201900002737A1 (it) * 2019-02-26 2020-08-26 Sparkbio S R L Metodo e sistema per l'identificazione e il trattamento di eventi in un sistema per la sincronizzazione e la visualizzazione combinata di informazioni
EP3745417A1 (en) * 2019-05-29 2020-12-02 Université de Rennes 1 Method for converting a virtual surgical process
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
US10758309B1 (en) * 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
US10671934B1 (en) 2019-07-16 2020-06-02 DOCBOT, Inc. Real-time deployment of machine learning systems
US11269173B2 (en) * 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
CN112397180B (zh) * 2019-08-19 2024-05-07 台北医学大学 手术影像的智能标记系统及其方法
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11911120B2 (en) 2020-03-27 2024-02-27 Verb Surgical Inc. Training and feedback for a controller workspace boundary
US11478124B2 (en) * 2020-06-09 2022-10-25 DOCBOT, Inc. System and methods for enhanced automated endoscopy procedure workflow
USD963851S1 (en) 2020-07-10 2022-09-13 Covidien Lp Port apparatus
US11100373B1 (en) 2020-11-02 2021-08-24 DOCBOT, Inc. Autonomous and continuously self-improving learning system
WO2022119766A1 (en) * 2020-12-01 2022-06-09 Intuitive Surgical Operations, Inc. Systems and methods for generating virtual reality guidance
US11948226B2 (en) 2021-05-28 2024-04-02 Covidien Lp Systems and methods for clinical workspace simulation
WO2023180963A1 (en) * 2022-03-23 2023-09-28 Verb Surgical Inc. Video-based analysis of stapling events during a surgical procedure using machine learning

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150569A (ja) * 2001-11-09 2003-05-23 Sony Corp 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、並びに情報処理装置
US20040106916A1 (en) * 2002-03-06 2004-06-03 Z-Kat, Inc. Guidance system and method for surgical procedures with improved feedback
US20140005684A1 (en) * 2012-06-29 2014-01-02 Children's National Medical Center Automated surgical and interventional procedures
US20140343913A1 (en) 2009-10-19 2014-11-20 Surgical Theater LLC Method and system for simulating surgical procedures
WO2015066565A1 (en) * 2013-10-31 2015-05-07 Health Research, Inc. System and method for a situation and awareness-based intelligent surgical system

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0820894B2 (ja) * 1987-07-01 1996-03-04 株式会社日立製作所 産業用ロボツトの動作制御方法
ATE238140T1 (de) 1992-01-21 2003-05-15 Stanford Res Inst Int Chirurgisches system
US5769640A (en) * 1992-12-02 1998-06-23 Cybernet Systems Corporation Method and system for simulating medical procedures including virtual reality and control method and system for use therein
US5882206A (en) 1995-03-29 1999-03-16 Gillio; Robert G. Virtual surgery system
US6074213A (en) 1998-08-17 2000-06-13 Hon; David C. Fractional process simulator with remote apparatus for multi-locational training of medical teams
US8527094B2 (en) 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6493608B1 (en) * 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
US6573889B1 (en) * 1999-02-08 2003-06-03 Adobe Systems Incorporated Analytic warping
JP2000287986A (ja) 1999-04-01 2000-10-17 Olympus Optical Co Ltd 手術具
WO2002005217A1 (en) 2000-07-07 2002-01-17 Kent Ridge Digital Labs A virtual surgery system with force feedback
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US20100312129A1 (en) * 2005-01-26 2010-12-09 Schecter Stuart O Cardiovascular haptic handle system
CA2598627C (en) 2005-02-22 2013-11-26 Mako Surgical Corp. Haptic guidance system and method
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US8079950B2 (en) * 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US20090017430A1 (en) 2007-05-15 2009-01-15 Stryker Trauma Gmbh Virtual surgical training tool
JP5394622B2 (ja) 2007-07-31 2014-01-22 オリンパスメディカルシステムズ株式会社 医用ガイドシステム
FR2920086A1 (fr) 2007-08-24 2009-02-27 Univ Grenoble 1 Systeme et procede d'analyse pour une operation chirurgicale par endoscopie
US8317744B2 (en) * 2008-03-27 2012-11-27 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter manipulator assembly
US9161817B2 (en) * 2008-03-27 2015-10-20 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US20100248200A1 (en) 2008-09-26 2010-09-30 Ladak Hanif M System, Method and Computer Program for Virtual Reality Simulation for Medical Procedure Skills Training
CN102341810B (zh) * 2009-01-06 2018-08-10 西门子医疗保健诊断公司 用于小瓶和容器上的帽体的存在和类型的自动化探测的方法和设备
US8126736B2 (en) 2009-01-23 2012-02-28 Warsaw Orthopedic, Inc. Methods and systems for diagnosing, treating, or tracking spinal disorders
US8884618B2 (en) * 2009-02-25 2014-11-11 Zimmer, Inc. Method of generating a patient-specific bone shell
WO2010108128A2 (en) 2009-03-20 2010-09-23 The Johns Hopkins University Method and system for quantifying technical skill
US8521331B2 (en) * 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US8864761B2 (en) * 2010-03-10 2014-10-21 Covidien Lp System and method for determining proximity relative to a critical structure
US9341704B2 (en) * 2010-04-13 2016-05-17 Frederic Picard Methods and systems for object tracking
US20110295248A1 (en) 2010-05-28 2011-12-01 Hansen Medical, Inc. System and method for automated minimally invasive instrument command
US20120178069A1 (en) 2010-06-15 2012-07-12 Mckenzie Frederic D Surgical Procedure Planning and Training Tool
JP2012065698A (ja) 2010-09-21 2012-04-05 Fujifilm Corp 手術支援システムおよびそれを用いた手術支援方法
US20140287393A1 (en) 2010-11-04 2014-09-25 The Johns Hopkins University System and method for the evaluation of or improvement of minimally invasive surgery skills
WO2012065175A2 (en) 2010-11-11 2012-05-18 The Johns Hopkins University Human-machine collaborative robotic systems
US20130307955A1 (en) * 2010-12-13 2013-11-21 Ortho Kinematics, Inc., Methods, systems and devices for a clinical data reporting and surgical navigation
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
KR101991034B1 (ko) * 2011-05-31 2019-06-19 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 로봇 수술 기구 엔드 이펙터의 능동 제어
US9498231B2 (en) * 2011-06-27 2016-11-22 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
AU2012289973B2 (en) * 2011-08-03 2017-01-19 Conformis, Inc. Automated design, selection, manufacturing and implantation of patient-adapted and improved articular implants, designs and related guide tools
US9554866B2 (en) 2011-08-09 2017-01-31 Covidien Lp Apparatus and method for using a remote control system in surgical procedures
US9268915B2 (en) * 2011-09-25 2016-02-23 Theranos, Inc. Systems and methods for diagnosis or treatment
US8992230B2 (en) 2012-01-23 2015-03-31 Virtamed Ag Medical training systems and methods
EP2819599B1 (en) * 2012-02-29 2018-05-23 Procept Biorobotics Corporation Automated image-guided tissue resection and treatment
CN113974689A (zh) 2012-03-07 2022-01-28 齐特奥股份有限公司 空间对准设备
US9198714B2 (en) 2012-06-29 2015-12-01 Ethicon Endo-Surgery, Inc. Haptic feedback devices for surgical robot
CA2879414A1 (en) * 2012-08-03 2014-02-06 Stryker Corporation Systems and methods for robotic surgery
KR101997566B1 (ko) * 2012-08-07 2019-07-08 삼성전자주식회사 수술 로봇 시스템 및 그 제어방법
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
JP5719819B2 (ja) 2012-09-28 2015-05-20 日本光電工業株式会社 手術支援システム
CN104661612B (zh) 2012-11-30 2017-04-05 奥林巴斯株式会社 手术支持系统和手术支持系统的控制方法
EP2925495B1 (en) 2012-12-03 2021-02-03 ABB Schweiz AG Teleoperation of machines having at least one actuated mechanism
WO2014110069A1 (en) * 2013-01-11 2014-07-17 The Cleveland Clinic Foundation Alignment of manipulable sensor assembly
CN103077633A (zh) 2013-01-11 2013-05-01 深圳超多维光电子有限公司 一种立体虚拟培训系统和方法
US20150356252A1 (en) * 2013-01-16 2015-12-10 Medaware Ltd. Medical database and system
CN103961178B (zh) 2013-01-30 2016-05-11 深圳先进技术研究院 远程手术规划与导航系统
CN105025835B (zh) * 2013-03-13 2018-03-02 史赛克公司 用于在外科程序的准备中布置手术室中的对象的系统
US9603665B2 (en) 2013-03-13 2017-03-28 Stryker Corporation Systems and methods for establishing virtual constraint boundaries
US9601030B2 (en) 2013-03-15 2017-03-21 Mark B. Ratcliffe System and method for performing virtual surgery
SG11201507611UA (en) * 2013-03-15 2015-10-29 Synaptive Medical Barbados Inc Intramodal synchronization of surgical data
JP6473919B2 (ja) * 2013-06-24 2019-02-27 パナソニックＩｐマネジメント株式会社 マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路
WO2015095715A1 (en) 2013-12-20 2015-06-25 Intuitive Surgical Operations, Inc. Simulator system for medical procedure training
EP3119320B1 (en) * 2014-03-17 2020-07-22 Intuitive Surgical Operations, Inc. Automated structure with pre-established arm positions in a teleoperated medical system
KR102365191B1 (ko) * 2014-10-20 2022-02-18 삼성전자주식회사 사용자의 동작을 인식하기 위한 장치 및 방법
KR20160066928A (ko) 2014-12-03 2016-06-13 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법, 프로브의 초음파 송신 패턴 조절 장치
EP3307196A4 (en) * 2015-06-09 2019-06-19 Intuitive Surgical Operations Inc. SURGICAL SYSTEM CONFIGURATION WITH ATLAS OF SURGICAL PROCEDURES
US10912619B2 (en) 2015-11-12 2021-02-09 Intuitive Surgical Operations, Inc. Surgical system with training or assist functions
BR112018068656A2 (pt) * 2016-03-14 2019-02-05 R Mahfouz Mohamed posicionamento de banda ultralarga para comunicação e rastreamento por ultrassom sem fio
FR3059541B1 (fr) 2016-12-07 2021-05-07 Bay Labs Inc Navigation guidee d'une sonde ultrason
WO2018117311A1 (ko) * 2016-12-23 2018-06-28 한양로보틱스 주식회사 사출성형기의 원격관제시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150569A (ja) * 2001-11-09 2003-05-23 Sony Corp 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、並びに情報処理装置
US20040106916A1 (en) * 2002-03-06 2004-06-03 Z-Kat, Inc. Guidance system and method for surgical procedures with improved feedback
US20140343913A1 (en) 2009-10-19 2014-11-20 Surgical Theater LLC Method and system for simulating surgical procedures
US20140005684A1 (en) * 2012-06-29 2014-01-02 Children's National Medical Center Automated surgical and interventional procedures
WO2015066565A1 (en) * 2013-10-31 2015-05-07 Health Research, Inc. System and method for a situation and awareness-based intelligent surgical system
US20160270861A1 (en) * 2013-10-31 2016-09-22 Health Research, Inc. System and methods for a situation and awareness-based intelligent surgical system

Also Published As

Publication number Publication date
WO2016201123A1 (en) 2016-12-15
US20180153632A1 (en) 2018-06-07
US11058501B2 (en) 2021-07-13
KR102523779B1 (ko) 2023-04-20
JP7166760B2 (ja) 2022-11-08
JP2018517506A (ja) 2018-07-05
US11737841B2 (en) 2023-08-29
EP3307196A1 (en) 2018-04-18
CN107847283A (zh) 2018-03-27
US20210315650A1 (en) 2021-10-14
KR20180006939A (ko) 2018-01-19
EP3307196A4 (en) 2019-06-19
CN107847283B (zh) 2022-02-22
KR102673560B1 (ko) 2024-06-12
JP2022162123A (ja) 2022-10-21
CN114376733A (zh) 2022-04-22
US20240024051A1 (en) 2024-01-25

Similar Documents

Publication Publication Date Title
KR102523779B1 (ko) 수술 절차 아틀라스를 갖는 수술 시스템의 구성
JP7503105B2 (ja) 患者健康記録ベース器具制御を備える遠隔操作手術システム
KR102654065B1 (ko) 스캔 기반 배치를 갖는 원격조작 수술 시스템
CN108472084B (zh) 具有训练或辅助功能的外科手术系统
KR102633401B1 (ko) 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템
JP7504154B2 (ja) 手術技能レベルベース器具制御を備える遠隔操作手術システム

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right