KR102633401B1 - 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템 - Google Patents
외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템 Download PDFInfo
- Publication number
- KR102633401B1 KR102633401B1 KR1020227044933A KR20227044933A KR102633401B1 KR 102633401 B1 KR102633401 B1 KR 102633401B1 KR 1020227044933 A KR1020227044933 A KR 1020227044933A KR 20227044933 A KR20227044933 A KR 20227044933A KR 102633401 B1 KR102633401 B1 KR 102633401B1
- Authority
- KR
- South Korea
- Prior art keywords
- virtual
- surgical instrument
- movement
- user
- robotic surgical
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 139
- 238000000034 method Methods 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 2
- 238000002432 robotic surgery Methods 0.000 claims 1
- 238000001356 surgical procedure Methods 0.000 description 104
- 230000000694 effects Effects 0.000 description 59
- 230000000875 corresponding effect Effects 0.000 description 31
- 239000012636 effector Substances 0.000 description 16
- 210000003484 anatomy Anatomy 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000036541 health Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 210000000707 wrist Anatomy 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000004424 eye movement Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000002405 diagnostic procedure Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000002224 dissection Methods 0.000 description 3
- 238000011471 prostatectomy Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000002266 amputation Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000004977 neurovascular bundle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/77—Manipulators with motion or force scaling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00477—Coupling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B2018/00571—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
- A61B2018/00595—Cauterization
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B2018/00988—Means for storing information, e.g. calibration constants, or for preventing excessive use, e.g. usage, service life counter
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
- A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Gynecology & Obstetrics (AREA)
- Radiology & Medical Imaging (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Urology & Nephrology (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
Abstract
원격조작 수술 시스템이 제공되고, 이 시스템은: 제1 로봇 수술 기구; 이미지 캡처; 사용자 디스플레이; 제1 로봇 수술 기구의 움직임을 제어하기 위해 사용자 입력 커맨드들을 수신하도록 커플링된 사용자 입력 커맨드 디바이스; 및 사용자 입력 커맨드 디바이스에서 수신된 사용자 입력 커맨드들에 의해 지시된 움직임 레이트로부터, 수신된 사용자 입력 커맨드들을 제공하는 사용자의 제1 로봇 수술 기구의 사용에서의 수술 숙련도 레벨에 적어도 부분적으로 기초하여, 제1 로봇 수술 기구의 움직임 레이트를 스케일링하도록 커플링된 움직임 제어기를 포함한다.
Description
우선권 주장
이 출원은, 이로써 그 전체가 참고로 본 명세서에 포함되는, 2016년 11월 11일자로 출원된 미국 특허 출원 제62/421,072호에 대한 우선권의 이익을 주장한다.
1. 발명의 분야
발명 양태들은 수술 동안 사용되는 의료 디바이스들과 연관되어 있다. 보다 구체적으로, 양태들은 외과의 숙련도 레벨에 따른 수술 기구 사용과 연관된다.
2. 종래 기술
외과의들은 일반적으로 수술 절차를 수행하기 전에 광범위한 공부에 착수한다. 전통적으로, 외과의들은, 사진들 또는 그림들과 같은, 일반 해부학적 모델들의 공부로 제한되었다. 보다 최근에는, 다양한 수술전 진단 절차들(예컨대, x-레이, CT, MRI 등)은 환자 특정 해부학적 정보를 이용가능하게 해주었다.
일부 경우들에서, 부가의 해부학적 및 수술 절차 정보를 외과의에게 이용가능하게 해주는 것이 바람직하다. 일 양태에서, 특정의 환자에 대한 수술을 계획하는 외과의에게 특정의 환자에 대해 수행된 이전의 수술 절차의 수술 부위 비디오 녹화를 제공하는 것이 바람직하다. 다른 양태에서, 특정의 환자에 대해 계획된 수술 절차와 유사한 다른 환자들에 대한 수술 절차들의 하나 이상의 수술 비디오 녹화를 외과의에게 제공하는 것이 바람직하다. 일 양태에서, 외과의가 특정의 수술 절차에 착수하기 전에 그러한 정보를 외과의에게 제공하는 것이 바람직하다. 그리고 다른 양태에서, 수술 중에(intraoperatively) 이러한 정보를 외과의에게 제공하는 것이 바람직할 수 있다.
일 양태에서, 다양한 환자들이 겪는 다양한 절차들의 수술중 수술 부위 비디오 녹화들을 포함하는 비디오 데이터베이스를 구성하는 것이 바람직하다. 일 양태에서, 의료 디바이스를 사용하는 외과의가 비디오 녹화가 녹화될 때 실시간으로 비디오 녹화를 하이라이트하고 주석첨부할 수 있게 해주는 입력을 추가로 포함하도록 비디오 녹화를 할 수 있는 의료 디바이스를 구성하는 것이 바람직하다. 일 양태에서, 비디오 데이터베이스의 개별 기록들을 검색하고, 관련 비디오 기록들을 식별하며, 특정의 수술 절차에 대한 이러한 관련 정보를 외과의에게 제공하도록 컴퓨터 기반 패턴 매칭 알고리즘을 구성하는 것이 바람직하다.
이하의 요약은 기본적인 이해를 제공하기 위해 발명 주제의 특정 양태들을 소개한다. 이 요약은 발명 주제에 대한 포괄적 개요가 아니며, 핵심 또는 중요 요소들을 식별하거나 발명 주제의 범위를 확정하는 것으로 의도되지 않는다. 이 요약이 발명 주제의 다양한 양태들 및 실시예들에 관련된 정보를 포함하지만, 그의 유일한 목적은 아래의 보다 상세한 설명의 서문으로서 일부 양태들 및 실시예들을 일반 형태로 제시하는 것이다.
로봇 수술 기구를 포함하는 원격조작 수술 시스템과 함께 사용하기 위한 수술 방법이 제공된다. 이미지 캡처 디바이스는 해부학적 조직 및 로봇 수술 기구의 이미지들을 캡처하기 위해 수술 부위를 향해 배향가능하다. 사용자 디스플레이는 해부학적 조직 및 로봇 수술 기구의 캡처된 이미지들을 사용자에게 보여주기 위해 이미지 캡처 디바이스에 커플링된다. 사용자 입력 커맨드 디바이스는 로봇 수술 기구의 움직임을 제어하기 위해 사용자 입력 커맨드들을 수신하도록 커플링된다. 움직임 제어기 회로는 입력 커맨드 디바이스로부터 사용자 입력 커맨드들을 수신하도록 커플링된다. 움직임 제어기 회로는 사용자 입력 커맨드들에 응답하여 로봇 수술 기구의 움직임을 제어하도록 구성된다. 움직임 제어기 회로는 사용자 입력 커맨드 디바이스에서 수신된 사용자 입력 커맨드들에 의해 지시된 움직임 레이트(rate of movement)로부터, 수신된 사용자 입력 커맨드들을 제공하는 사용자의 로봇 수술 기구의 사용에서의 수술 숙련도 레벨에 적어도 부분적으로 기초하여, 로봇 수술 기구의 움직임 레이트를 스케일링하도록 추가로 구성된다.
로봇 수술 기구 머니퓰레이터를 포함하는 원격조작 수술 시스템을 조작하기 위한 방법이 제공된다. 로봇 수술 기구 머니퓰레이터에 장착된 로봇 수술 기구의 움직임을 제어하기 위해 사용자로부터 사용자 입력 커맨드들이 수신된다. 사용자 입력 커맨드들을 수신하는 동안 로봇 수술 기구 머니퓰레이터에 장착된 로봇 수술 기구의 아이디 결정(identification determination)이 이루어진다. 로봇 수술 기구의 움직임 레이트는 사용자 입력 커맨드들에 의해 지시된 움직임 레이트로부터, 식별된 수술 기구의 사용에서의 사용자의 숙련도 레벨에 적어도 부분적으로 기초하여, 스케일링된다.
도 1은 최소 침습적 원격조작 수술 시스템의 평면도이다.
도 2는 외과의 콘솔의 사시도이다.
도 3은 전자기기 카트의 사시도이다.
도 4는 원격조작 수술 시스템의 도식적 예시이다.
도 5는 환자측 카트의 사시도이다.
도 6은 수술 기구의 입면도이다.
도 7은 기구 머니퓰레이터(instrument manipulator)의 사시도이다.
도 8은 수술 계획 툴의 도식적 예시이다.
도 9는 수술 계획 툴을 사용하는 방법의 흐름 다이어그램이다.
도 10은 일부 실시예들에 따른 컴퓨터 판독가능 스토리지 디바이스에서의 스토리지 아틀라스를 나타내는 예시적인 도면이다.
도 11은 일부 실시예들에 따른 개별 수술로부터의 녹화된 비디오 정보를 대응하는 수술 기구 액추에이터 상태 정보 및 외과의 눈 움직임 정보와 연관시키는, 스토리지 디바이스에서의 아틀라스 내에 포함된 제9 정보 구조의 일 예를 나타내는 예시적인 도면이다.
도 12a 내지 도 12c는 일부 실시예들에 따른 수술 기구가 3개의 상이한 예시적인 동작 상태로 도시되어 있는 예시적인 수술 기구 및 액추에이터 어셈블리를 도시하는 예시적인 도면들이다.
도 13은 예시적인 외과의에 의해 수행될 예시적인 수술 절차에 대응하는 컴퓨터 판독가능 스토리지 디바이스(1004)에 저장된 아틀라스의 예시적인 제10 정보 구조를 나타내는 예시적인 도면이다.
도 14는 일부 실시예들에 따른 외과의 숙련도 레벨 정보에 적어도 부분적으로 기초하여 수술 기구 안전 작동 상태에 따라 사용자 대 기구 움직임의 운동학적 병진운동(kinematic translation)을 스케일링하기 위한 프로세서의 구성을 나타내는 예시적인 흐름 다이어그램이다.
도 2는 외과의 콘솔의 사시도이다.
도 3은 전자기기 카트의 사시도이다.
도 4는 원격조작 수술 시스템의 도식적 예시이다.
도 5는 환자측 카트의 사시도이다.
도 6은 수술 기구의 입면도이다.
도 7은 기구 머니퓰레이터(instrument manipulator)의 사시도이다.
도 8은 수술 계획 툴의 도식적 예시이다.
도 9는 수술 계획 툴을 사용하는 방법의 흐름 다이어그램이다.
도 10은 일부 실시예들에 따른 컴퓨터 판독가능 스토리지 디바이스에서의 스토리지 아틀라스를 나타내는 예시적인 도면이다.
도 11은 일부 실시예들에 따른 개별 수술로부터의 녹화된 비디오 정보를 대응하는 수술 기구 액추에이터 상태 정보 및 외과의 눈 움직임 정보와 연관시키는, 스토리지 디바이스에서의 아틀라스 내에 포함된 제9 정보 구조의 일 예를 나타내는 예시적인 도면이다.
도 12a 내지 도 12c는 일부 실시예들에 따른 수술 기구가 3개의 상이한 예시적인 동작 상태로 도시되어 있는 예시적인 수술 기구 및 액추에이터 어셈블리를 도시하는 예시적인 도면들이다.
도 13은 예시적인 외과의에 의해 수행될 예시적인 수술 절차에 대응하는 컴퓨터 판독가능 스토리지 디바이스(1004)에 저장된 아틀라스의 예시적인 제10 정보 구조를 나타내는 예시적인 도면이다.
도 14는 일부 실시예들에 따른 외과의 숙련도 레벨 정보에 적어도 부분적으로 기초하여 수술 기구 안전 작동 상태에 따라 사용자 대 기구 움직임의 운동학적 병진운동(kinematic translation)을 스케일링하기 위한 프로세서의 구성을 나타내는 예시적인 흐름 다이어그램이다.
발명 양태들, 실시예들, 구현예들, 또는 응용례들을 예시하는 이 설명 및 첨부 도면들은 제한하는 것으로 취해져서는 안된다 - 청구항들은 보호된 발명을 한정한다. 이 설명 및 청구항들의 범위를 벗어나지 않으면서 다양한 기계적, 조성적, 구조적, 전기적, 및 동작적 변경들이 이루어질 수 있다. 일부 경우들에서, 발명을 불명료하게 하지 않기 위해 널리 공지된 회로들, 구조들, 및 기술들이 상세히 도시되지도 설명되지도 않았다. 2개 이상의 도면에서의 비슷한 번호들은 동일하거나 유사한 요소들을 나타낸다.
일 실시예, 구현예, 또는 응용례를 참조하여 상세히 설명된 요소들은, 실현가능할 때마다, 이들이 구체적으로 도시되지도 설명되지도 않은 다른 실시예들, 구현예들, 또는 응용례들에 포함될 수 있다. 예를 들어, 요소가 일 실시예를 참조하여 상세하게 설명되고 제2 실시예를 참조하여 설명되지 않는 경우, 요소는 그럼에도 불구하고 제2 실시예에 포함되는 것으로서 청구될 수 있다. 이에 따라, 이하의 설명에서 불필요한 반복을 피하기 위해, 일 실시예, 구현예, 또는 응용례와 관련하여 도시되고 설명된 하나 이상의 요소는, 달리 구체적으로 설명되지 않는 한, 하나 이상의 요소가 실시예 또는 구현예를 기능하지 않게(non-functional) 만들지 않는 한, 또는 요소들 중 2개 이상이 상충하는 기능들을 제공하지 않는 한, 다른 실시예들, 구현예들, 또는 양태들에 통합될 수 있다.
본 발명의 양태들은 주로 캘리포니아 서니베일의 Intuitive Surgical, Inc.에 의해 상업화된 da Vinci® 수술 시스템(구체적으로는, da Vinci® Xi™ HD™ 수술 시스템으로서 시판되는 Model IS4000)을 사용하는 구현예의 면에서 설명된다. 그렇지만, 통상의 지식을 가진 사람들은 본 명세서에 개시된 발명 양태들이, 로봇 및, 적용가능한 경우, 비-로봇 실시예들 및 구현예들을 포함하여, 다양한 방식들로 구체화되고 구현될 수 있음을 이해할 것이다. da Vinci® 수술 시스템들(예컨대, Model IS4000 da Vinci® Xi™ 수술 시스템, Model IS3000 da Vinci Si® 수술 시스템)에 대한 구현예들은 단지 예시적인 것이며 본 명세서에 개시된 발명 양태들의 범위를 제한하는 것으로 간주되어서는 안된다.
다양한 양태들에 따르면, 본 개시내용은 수술 절차들의 수행을 비디오 녹화하도록 구성된 의료 디바이스를 포함하는 수술 계획 툴을 설명한다. 비디오 녹화들은 다양한 메타데이터, 예컨대, 의료인에 의해 이루어진 하이라이트들과 함께 임베딩될 수 있다. 부가적으로, 비디오 녹화들은 다양한 메타데이터, 예컨대, 비디오의 특정 주제를 설명하는 텍스트 주석들, 비디오 녹화에 대응하는 환자의 신원, 환자에 관한 전기적(biographical) 또는 의학적 정보, 및 이와 유사한 것으로 태깅될 수 있다. 일 양태에서, 태깅된 메타데이터는 비디오 녹화들에 임베딩된다.
추가의 양태들에 따르면, 본 개시내용은 수술 절차 동안 적어도 하나의 수술 활동을 수행하는 데 사용되는 수술 기구를 포함하는 원격조작 의료 디바이스를 설명한다. 수술 활동들의 상이한 스테이지들은 상이한 수술 숙련도 레벨들을 요구할 수 있다. 일부 실시예들에서, 수술 활동에서의 수술 레벨은 수술 활동의 외과의의 수행 레벨과 그 활동에서의 다른 외과의들의 수행 레벨들의 비교에 적어도 부분적으로 기초하여 결정될 수 있다. 수술은 수술 절차의 상이한 부분들 동안 상이한 수술 기구들의 사용을 수반할 수 있다. 수술 동안 사용되는 각각의 수술 기구는 다수의 액추에이터 상태들에서 동작가능한 하나 이상의 수술 기구 액추에이터에 의해 제어된다. 수술의 상이한 부분들 동안 어느 수술 기구가 사용 중인지가 트래킹된다. 일부 실시예들에서, 수술 절차들 동안 사용 중인 수술 기구를 제어하는 액추에이터의 액추에이터 상태가 트래킹된다. 일부 실시예들에서, 수술 동안 외과의 시선의 방향을 결정하기 위해 카메라를 사용하여 외과의 눈 움직임이 또한 트래킹된다. 일부 실시예들에서, 컴퓨터 판독가능 스토리지 디바이스에서의 정보 구조는 사용 중인 수술 기구 및 수술 기구 액추에이터 상태들을 적어도 하나의 수술 활동을 수행하기 위한 수술 기구의 사용에 응답하여 외과의에게 제시하기 위한 수술 안내 정보와 연관시킨다. 일부 실시예들에서, 외과의에게 제시되는 수술 안내 정보는 외과의의 수술 숙련도 레벨에 적어도 부분적으로 기초하여 결정된다. 일부 실시예들에서, 컴퓨터 판독가능 스토리지 디바이스에서의 정보 구조는 수술 동안의 수술 기구 사용 또는 적어도 하나의 수술 활동의 수행 동안 수술 기구의 특정 액추에이터 상태들 중 적어도 하나를 수술 기구 액추에이터로 하여금 외과의의 숙련도 레벨과 매칭하는 액추에이터 안전 동작 상태로 전이하게 하기 위해 사용하기 위한 안전 전이 정보와 연관시킨다. 일부 실시예들에서, 수술 기구 액추에이터 안전 동작 상태는 외과의의 숙련도 레벨에 적어도 부분적으로 기초하여 결정된다.
원격조작 수술 시스템에서, 수술 절차의 상이한 스테이지들에서 상이한 기구들이 사용될 수 있다. 더욱이, 동일한 기구가 수술 절차의 상이한 스테이지들에서 상이한 액추에이터 상태들에서 사용될 수 있다. 본 명세서에서 사용되는 바와 같이, 용어 액추에이터 상태는, 외과의 또는 다른 수술 팀 멤버로부터 수신된 입력 커맨드들에 응답하여, 모터와 같은, 액추에이터에 의해 결정되는 바와 같은 수술 기구의 기계적 배치(mechanical disposition)를 지칭한다.
수술 기구의 사용 또는 특정 액추에이터 상태들을 수술 안내 또는 액추에이터 안전 상태 정보와 연관시키는 비디오 녹화들 및 정보 구조들은 로컬적으로 또는 클라우드 데이터 스토리지 서비스 상에 구현되는 전자 의료 기록 데이터베이스 상에 보관될(archived) 수 있다. 비디오 녹화들은 관심있는 건강 관리 제공자들에게 이용가능하게 될 수 있다. 정보 구조들은 수술 절차의 수행 동안의 적어도 하나의 수술 활동의 수행 동안 수술 기구 액추에이터 상태를 제어하기 위해 그리고 수술 안내를 제공하기 위해 원격조작 의료 디바이스와 함께 사용하는 데 이용가능하게 될 수 있다.
건강 관리 제공자들은 앞서 설명된 메타데이터 태그들을 사용하여 관심의 비디오들 및 정보 구조 관계들이 있는지 외과의 숙련도 레벨에 기초하여 의료 디바이스 데이터베이스를 탐색할 수 있다. 부가적으로, 일 양태에서, 수술 계획 툴은 컴퓨터 기반 패턴 매칭 및 분석 알고리즘을 포함한다. 일 양태에서, 패턴 매칭 알고리즘은 비디오 녹화들에서의 시각적 특성들과 의료인들에 의해 이루어진 연관된 메타데이터 태그들 사이의 상관들을 식별하기 위해 전자 의료 기록 데이터베이스 상에 저장된 비디오들을 골라낸다. 수술 계획 툴은 이러한 상관들을 새로 접하게 된 해부학적 구조(anatomy)에 적용할 수 있으며, 그로써 절차를 수행하는 의료인들이 환자 해부학적 구조, 선호된 수술 접근법들, 질병 상태들, 잠재적 합병증들 등에 관한 결정을 내리는 데 도움을 줄 수 있다. 다른 양태에서, 패턴 매칭 알고리즘은 비디오 녹화들에서의 시각적 특성들과 환자 건강 기록 정보 사이의 상관들을 식별하여 외과의 숙련도 레벨 정보와 상관되는 환자 해부학적 특성들을 식별하기 위해 전자 의료 기록 데이터베이스 상에 저장된 비디오들을 골라낸다. 수술 계획 툴은 해부학적 구조와 외과의 숙련도 레벨 기록들 간의 이러한 상관들을 현재 환자의 해부학적 구조 및 건강 기록들에 적용할 수 있으며, 그로써 의료인들이 현재 환자를 수반하는 수술 절차를 계획하고 수행하는 데 도움을 줄 수 있다.
최소 침습적 원격조작 수술 시스템
비슷한 참조 번호들이 몇 개의 도면에 걸쳐 비슷한 부분들을 나타내는 도면들을 이제 참조하면, 도 1은 수술 테이블(14) 상에 놓여 있는 환자(12)에 대해 최소 침습적 진단 또는 수술 절차를 수행하는 데 전형적으로 사용되는 최소 침습적 원격조작 수술 시스템(10)의 평면도이다. 이 시스템은 절차 동안 외과의(18)에 의한 사용을 위한 외과의 콘솔(16)을 포함한다. 하나 이상의 보조자(20)가 이 절차에 또한 참여할 수 있다. 최소 침습적 원격조작 수술 시스템(10)은 환자측 카트(22) 및 전자기기 카트(24)를 추가로 포함한다. 외과의(18)가 외과의 콘솔(16) 내의 사용자 디스플레이를 통해 수술 부위를 보면서 환자측 카트(22)는 환자(12)의 신체에서의 최소 침습적 절개를 통해 적어도 하나의 분리가능하게 커플링된 수술 기구(26)를 조작할 수 있다. 수술 부위의 이미지는 입체 내시경(28)과 같은 이미지 캡처 디바이스에 의해 획득될 수 있으며, 입체 내시경(28)은 수술 부위에서의 환자 해부학적 구조들 및 하나 이상의 수술 기구의 이미지들을 캡처하도록 내시경(28)을 배향시키기 위해 환자측 카트(22)에 의해 조작될 수 있다. 전자기기 카트(24) 상에 위치된 컴퓨터 프로세서들은 외과의 콘솔(16)에 있는 입체 디스플레이를 통한 외과의(18)에의 후속 디스플레이를 위해 수술 부위의 이미지들을 프로세싱하는 데 사용될 수 있다. 한 번에 사용되는 수술 기구들(26)의 수는 일반적으로, 인자들 중에서도 특히, 진단 또는 수술 절차 및 수술실 내에서의 공간 제약조건들에 의존할 것이다. 일반적으로 절차 동안 사용되는 수술 기구들(26) 중 하나 이상을 변경할 필요가 있는 경우, 보조자(20)는 수술 기구(26)를 환자측 카트(22)로부터 제거하고 이를 수술실 내의 트레이(30)로부터의 다른 수술 기구(26)로 대체할 수 있다.
도 2는 외과의 콘솔(16)의 사시도이다. 외과의 콘솔(16)은 외과의(18)에게 깊이 지각을 가능하게 해주는 수술 부위의 코디네이트된 입체 뷰를 제시하기 위한 좌안 디스플레이(32) 및 우안 디스플레이(34)를 포함하는 사용자 디스플레이를 포함한다. 콘솔(16)은 핸드 그립들(36, 38)을 포함하는 하나 이상의 수동 제어 입력부를 포함하는 입력 커맨드 디바이스를 추가로 포함한다. 하나 이상의 제어 입력부(36, 38)의 외과의(18)의 조작에 응답하여 환자측 카트(22)(도 1에 도시됨) 상에서 사용하기 위해 설치된 하나 이상의 수술 기구가 움직인다. 외과의(18)에게 텔레프레전스(telepresence), 또는 외과의가 기구들(26)을 직접 제어한다는 강한 느낌을 갖도록 제어 입력부들(36, 38)이 기구들(26)과 일체로 되어 있다는 지각을 제공하기 위해 제어 입력부들(36, 38)은 그들의 연관된 수술 기구들(26)(도 1에 도시됨)과 동일한 기계적 자유도들을 제공할 수 있다. 이를 위해, 위치, 힘 및 촉각 피드백 센서들(도시되지 않음)은 수술 기구들(26)로부터의 위치, 힘 및 촉각 감각들을 제어 입력부들(36, 38)을 통해 다시 외과의의 손으로 전달하는 데 이용될 수 있다.
외과의가 직접적으로 절차를 모니터링하고, 필요한 경우 물리적으로 존재하며, 전화 또는 다른 통신 매체를 통해서보다는 직접적으로 환자측 보조자에게 말할 수 있도록 외과의 콘솔(16)은 보통 환자와 동일한 방에 위치된다. 그러나, 외과의는 상이한 방, 완전히 상이한 건물, 또는 원격 수술 절차들을 가능하게 해주는 환자로부터의 다른 원격 위치에 위치될 수 있다.
도 3은 전자기기 카트(24)의 사시도이다. 전자기기 카트(24)는 내시경(28)과 커플링될 수 있으며, 외과의 콘솔(16)에 있는 외과의에게, 또는 로컬적으로 및/또는 원격으로 위치된 다른 적당한 디스플레이 상에서와 같이, 후속 디스플레이를 위해 캡처된 이미지들을 프로세싱하기 위한 컴퓨터 프로세서를 포함한다. 예를 들어, 입체 내시경이 사용되는 경우, 전자기기 카트(24) 상의 컴퓨터 프로세서는 수술 부위의 코디네이트된 스테레오 이미지들을 좌안 및 우안 디스플레이들(32, 34)에서 외과의에게 제시하기 위해 캡처된 이미지들을 프로세싱할 수 있다. 그러한 코디네이션은 대향하는 이미지들 간의 정렬을 포함할 수 있으며, 입체 내시경의 스테레오 작동 거리(stereo working distance)를 조정하는 것을 포함할 수 있다. 다른 예로서, 이미지 프로세싱은, 광학 수차들과 같은, 이미지 캡처 디바이스의 이미징 에러들을 보상하기 위해 이전에 결정된 카메라 캘리브레이션 파라미터들의 사용을 포함할 수 있다. 임의로, 전자기기 카트 내의 장비는 외과의 콘솔 또는 환자측 카트 내에 통합될 수 있거나, 수술실 내의 다양한 다른 위치들에 분산될 수 있다.
도 4는 (도 1의 최소 침습적 원격조작 수술 시스템(10)과 같은) 원격조작 수술 시스템(50)을 도식적으로 예시하고 있다. (도 1의 외과의 콘솔(16)과 같은) 외과의 콘솔(52)은 최소 침습적 절차 동안 (도 1의 환자측 카트(22)와 같은) 환자측 카트(54)를 제어하기 위해 외과의에 의해 사용될 수 있다. 환자측 카트(54)는 수술 부위의 이미지들을 캡처하고 캡처된 이미지들을 (도 1에서의 전자기기 카트(24)와 같은) 전자기기 카트(56) 상에 위치된 컴퓨터 프로세서에 출력하기 위해, 입체 내시경과 같은, 이미징 디바이스를 사용할 수 있다. 컴퓨터 프로세서는 전형적으로 컴퓨터 프로세서의 비휘발성 메모리 디바이스에 저장된 컴퓨터 판독가능 코드를 실행할 목적의 하나 이상의 데이터 프로세싱 보드를 포함한다. 일 양태에서, 컴퓨터 프로세서는 임의의 후속 디스플레이에 앞서 다양한 방식들로 캡처된 이미지들을 프로세싱할 수 있다. 예를 들어, 컴퓨터 프로세서는 결합된 이미지들을 외과의 콘솔(52)을 통해 외과의에게 디스플레이하기 전에 캡처된 이미지들을 가상 제어 인터페이스와 오버레이시킬 수 있다.
부가적으로 또는 대안에서, 캡처된 이미지들은 전자기기 카트(56)의 외부에 위치된 컴퓨터 프로세서에 의한 이미지 프로세싱을 거칠 수 있다. 일 양태에서, 원격조작 수술 시스템(50)은 전자기기 카트(56) 상에 위치된 컴퓨터 프로세서와 유사한 하나 이상의 중앙 프로세싱 유닛(CPU)을 포함하는 (파선에 의해 지시된 바와 같은) 임의적 컴퓨터 프로세서(58)를 포함하고, 환자측 카트(54)는 외과의 콘솔(52) 상에 디스플레이하기 전에 이미지 프로세싱을 위해 캡처된 이미지들을 컴퓨터 프로세서(58)에 출력한다. 다른 양태에서, 캡처된 이미지들은 먼저 전자기기 카트(56) 상의 컴퓨터 프로세서에 의한 이미지 프로세싱을 거치고 이어서 외과의 콘솔(52) 상에 디스플레이되기 전에 컴퓨터 프로세서(58)에 의한 부가의 이미지 프로세싱을 거친다. 원격조작 수술 시스템(50)은, 파선으로 지시된 바와 같이, 임의적 디스플레이(60)를 포함할 수 있다. 디스플레이(60)는 전자기기 카트(56) 상에 위치된 컴퓨터 프로세서와 그리고 컴퓨터 프로세서(58)와 커플링되고, 이러한 컴퓨터 프로세서들에 의해 프로세싱되는 캡처된 이미지들은 외과의 콘솔(52)의 디스플레이 상에 디스플레이되는 것에 부가하여 디스플레이(60) 상에 디스플레이될 수 있다.
더욱이, 제어 입력부들(36, 38)은 수술 부위에서의 하나 이상의 수술 기구의 움직임을 제어하기 위한 사용자 입력 커맨드들을 수신하도록 커플링된다. 프로세서(58)는 제어 입력부들(36, 38)로부터 사용자 입력 커맨드들을 수신하도록 커플링되는 운동학적 움직임 제어기 회로로서 기능한다. 프로세서(58)는 제어 입력부들(36, 38)의 물리적 움직임 형태의 사용자 입력을 환자측 카트(54) 내의 움직임 제어기에 대한 하나 이상의 수술 기구의 대응하는 움직임을 제어하는 모터들을 제어하기 위한 제어 신호들로 변환하여 대응하는 움직임을 내시경에 또는 하나 이상의 수술 기구에 부여한다. 제어 입력부들(36, 38) 상에서의 사용자의 손 모션들에 의해 부여되는 사용자 입력 움직임을 수술 기구들에 커플링된 모터들에 의해 부여되는 대응하는 기구 움직임으로 변환하는 것은 전형적으로 기구 움직임을 야기하기 위한 사용자 커맨드를 부여하기 위해 제어 입력부(36 또는 38)가 움직이게 되는 거리의 작은 비율만큼만 기구가 움직일 수 있도록 거리들의 스케일링을 수반하는 운동학적 움직임 변환을 수반한다. 환언하면, 사용자 공간에서 제어 입력부들(36, 38)에 부여되는 사용자 입력 움직임은 수술 부위에서의 기구 공간에서 대응하는 보다 작은 스케일 움직임들로 변환된다. 원격조작 수술 시스템에서의 운동학적 움직임 변환의 일 예가 미국 특허 제6,424,885호에 설명되어 있다.
도 5는 본 발명의 실시예들에 따른 최소 침습적 원격조작 수술 시스템의 환자측 카트(500)의 사시도이다. 환자측 카트(500)는 하나 이상의 지지 어셈블리(510)를 포함한다. 수술 기구 머니퓰레이터(512)는 각각의 지지 어셈블리(510)의 단부에 장착된다. 부가적으로, 각각의 지지 어셈블리(510)는 부착된 수술 기구 머니퓰레이터(512)를 수술을 위해 환자와 관련하여 배치하는 데 사용되는 하나 이상의 무동력 잠금가능 셋업 조인트(unpowered, lockable setup joints)를 임의로 포함할 수 있다. 묘사된 바와 같이, 환자측 카트(500)는 바닥에 놓여 있다. 다른 실시예들에서, 환자측 카트의 동작 부분들은 벽, 천장, 환자의 신체(522)를 또한 지지하는 수술대(526)에, 또는 다른 수술실 장비에 장착될 수 있다. 게다가, 환자측 카트(500)가 4개의 수술 기구 머니퓰레이터(512)를 포함하는 것으로 도시되어 있지만, 보다 많거나 보다 적은 수술 기구 머니퓰레이터들(512)이 사용될 수 있다.
기능상 최소 침습적 원격조작 수술 시스템은 일반적으로 원격조작 수술 시스템의 사용자가 환자의 신체(522) 외부로부터 수술 부위를 볼 수 있게 해주는 비전 시스템 부분을 포함할 것이다. 비전 시스템은 전형적으로 비디오 이미지들을 캡처하기 위한 카메라 기구(528) 및 캡처된 비디오 이미지들을 디스플레이하기 위한 하나 이상의 비디오 디스플레이를 포함한다. 일부 수술 시스템 구성들에서, 카메라 기구(528)는 카메라 기구(528)의 원위 단부로부터 환자의 신체(522) 외부의 하나 이상의 이미징 센서(예컨대, CCD 또는 CMOS 센서)로 이미지들을 전송하는 광학계를 포함한다. 대안적으로, 이미징 센서(들)는 카메라 기구(528)의 원위 단부에 배치될 수 있고, 센서(들)에 의해 생성된 신호들은 프로세싱하여 하나 이상의 비디오 디스플레이 상에 디스플레이하기 위해 리드(lead)를 따라 또는 무선으로 전송될 수 있다. 비디오 디스플레이의 일 예는 캘리포니아주 써니베일의 Intuitive Surgical, Inc.에 의해 상업화된 수술 시스템들에서의 외과의 콘솔 상의 입체 디스플레이이다.
도 5를 참조하면, 환자의 신체(522) 내의 수술 부위에서 동작하는 수술 기구(520)가 각각의 수술 기구 머니퓰레이터(512)에 장착된다. 각각의 수술 기구 머니퓰레이터(512)는 연관된 수술 기구가 하나 이상의 기계적 자유도(예컨대, 6개의 직교 자유도(Cartesian degrees of freedom) 전부, 5개 이하의 직교 자유도 등)로 움직일 수 있게 해주는 다양한 형태들로 제공될 수 있다. 전형적으로, 기계적 또는 제어 제약조건들은 각각의 머니퓰레이터(512)가 그의 연관된 수술 기구를 환자를 기준으로 정지된(stationary) 채로 있는 기구 상에서의 모션 중심(center of motion)을 중심으로 움직이도록 제한하며, 이 모션 중심은 전형적으로 기구가 신체에 들어가는 위치에 위치된다.
일 양태에서, 수술 기구들(520)은 컴퓨터 보조 원격조작을 통해 제어된다. 기능상 최소 침습적 원격조작 수술 시스템은 원격조작 수술 시스템의 사용자(예컨대, 외과의 또는 다른 의료인)로부터 입력들을 수신하는 제어 입력부를 포함한다. 제어 입력부는, 수술 기구(520)에 커플링되는 하나 이상의 모터와 같은, 하나 이상의 컴퓨터-제어 원격조작 액추에이터와 통신한다. 이러한 방식으로, 수술 기구(520)는 의료인의 제어 입력부의 움직임들에 응답하여 움직인다. 일 양태에서, 하나 이상의 제어 입력부는 도 2에 도시된 외과의 콘솔(16)과 같은 외과의 콘솔에 포함된다. 외과의는 환자측 카트(500)의 원격조작 액추에이터들을 작동시키기 위해 외과의 콘솔(16)의 제어 입력부들(36)을 조작할 수 있다. 원격조작 액추에이터들에 의해 생성된 힘들은 원격조작 액추에이터들로부터의 힘들을 수술 기구(520)에 전달하는 구동트레인(drivetrain) 메커니즘들을 통해 전달된다.
도 5를 참조하면, 일 양태에서, 수술 기구(520) 및 캐뉼라(524)는 머니퓰레이터(512)에 분리가능하게 커플링되고, 수술 기구(520)는 캐뉼라(524)를 통해 삽입된다. 머니퓰레이터(512)의 하나 이상의 원격조작 액추에이터들은 수술 기구(512)를 전체적으로 움직인다. 머니퓰레이터(512)는 기구 캐리지(instrument carriage)(530)를 추가로 포함한다. 수술 기구(520)는 기구 캐리지(530)에 착탈가능하게 접속된다. 일 양태에서, 기구 캐리지(530)는 다수의 제어기 운동들을 제공하는 하나 이상의 원격조작 액추에이터를 내부에 하우징하며, 수술 기구(520)는 이 제어기 운동들을 수술 기구(520) 상의 엔드 이펙터의 다양한 움직임들로 변환한다. 이에 따라, 기구 캐리지(530) 내의 원격조작 액추에이터들은 기구를 전체적으로 움직이기보다는 수술 기구(520)의 하나 이상의 컴포넌트만을 움직인다. 기구를 전체적으로 제어하거나 기구의 컴포넌트들을 제어하기 위한 입력들은 외과의 또는 다른 의료인에 의해 제어 입력부에 제공되는 입력("마스터" 커맨드)이 수술 기구에 의한 대응하는 액션("슬레이브" 응답)으로 변환되도록 되어 있다.
대안의 실시예에서, 기구 캐리지(530)는 원격조작 액추에이터들을 하우징하지 않는다. 수술 기구(520)의 엔드 이펙터의 다양한 움직임들을 가능하게 해주는 원격조작 액추에이터들은 기구 캐리지(530)로부터 멀리 떨어진 위치에, 예컨대, 환자측 카트(500) 상의 다른 곳에 하우징된다. 원격 위치된 원격조작 액추에이터들 각각의 운동들을 기구 캐리지(530) 상에 위치된 대응하는 기구-인터페이싱 액추에이터 출력에 전달하기 위해 케이블 기반 힘 전달 메커니즘 또는 이와 유사한 것이 사용된다. 일부 실시예들에서, 수술 기구(520)는 종방향(z-축) 회전과 같은 수술 기구의 제1 운동을 제어하는 제1 액추에이터에 기계적으로 커플링된다. 수술 기구(520)는 2차원 (x, y) 운동과 같은 수술 기구의 제2 운동을 제어하는 제2 액추에이터에 기계적으로 커플링된다. 수술 기구(520)는 죠 엔드 이펙터(jaws end effector)의 개방 및 폐쇄와 같은 수술 기구의 제3 운동을 제어하는 제3 액추에이터에 기계적으로 커플링된다.
도 6은 세장형 튜브 중심선 축(611)을 갖는 세장형 튜브(610)에 의해 커플링된 원위 부분(650) 및 근위 제어 메커니즘(640)을 포함하는 수술 기구(520)의 측면도이다. 수술 기구(520)는 환자의 신체 내로 삽입되도록 구성되고 수술 또는 진단 절차들을 수행하는 데 사용된다. 수술 기구(520)의 원위 부분(650)은, 도시된 겸자(forceps), 니들 드라이버(needle driver), 소작(cautery) 디바이스, 커팅 툴, 이미징 디바이스(예컨대, 내시경 또는 초음파 프로브), 또는 이와 유사한 것과 같은, 다양한 엔드 이펙터들(654) 중 임의의 것을 제공할 수 있다. 수술 엔드 이펙터(654)는, 개방되거나 폐쇄되는 죠, 또는 경로를 따라 병진운동하는 나이프와 같은, 기능상 기계적 자유도를 포함할 수 있다. 도시된 실시예에서, 엔드 이펙터(654)는 엔드 이펙터가 세장형 튜브 중심선 축(611)에 대해 배향될 수 있게 해주는 리스트(wrist)(652)에 의해 세장형 튜브(610)에 커플링된다. 수술 기구(520)는, 영구적일 수 있거나 수술 기구(520)를 작동시키도록 구성된 수술 시스템에 의해 업데이트가능할 수 있는, (예컨대, 기구 내부의 반도체 메모리 상에) 저장된 정보를 또한 포함할 수 있다. 그에 따라, 수술 시스템은 수술 기구(520)와 수술 시스템의 하나 이상의 컴포넌트 사이의 단방향 또는 양방향 정보 통신 중 어느 하나를 제공할 수 있다.
도 7은 수술 기구 머니퓰레이터(512)의 사시도이다. 수술 기구가 설치되지 않은 기구 머니퓰레이터(512)가 도시되어 있다. 기구 머니퓰레이터(512)는 수술 기구(예컨대, 수술 기구(520))에 착탈가능하게 접속될 수 있는 기구 캐리지(530)를 포함한다. 기구 캐리지(530)는 복수의 원격조작 액추에이터들을 하우징한다. 각각의 원격조작 액추에이터는 액추에이터 출력(705)을 포함한다. 수술 기구가 기구 머니퓰레이터(512) 상에 설치될 때, 기구 근위 제어 메커니즘(예컨대, 도 6에서의 근위 제어 메커니즘(640))의 하나 이상의 기구 입력부(도시되지 않음)는 대응하는 액추에이터 출력들(705)과 기계적으로 커플링된다. 일 양태에서, 이러한 기계적 커플링은 직접적이며, 액추에이터 출력들(705)은 대응하는 기구 입력들과 직접적으로 접촉한다. 다른 양태에서, 이러한 기계적 커플링은, 기구 머니퓰레이터(512)와 연관된 수술 기구 사이에 멸균 배리어(sterile barrier)를 제공하도록 구성된 드레이프(drape)의 컴포넌트와 같은, 중간 계면(intermediate interface)을 통해 발생한다.
일 양태에서, 대응하는 원격조작 액추에이터들에 의한 하나 이상의 기구 입력부의 움직임은 수술 기구 기계적 자유도의 움직임을 결과한다. 예를 들어, 일 양태에서, 기구 머니퓰레이터(512) 상에 설치된 수술 기구는, 도 6에 도시된, 수술 기구(520)이다. 도 6을 참조하면, 일 양태에서, 대응하는 원격조작 액추에이터들에 의한 근위 제어 메커니즘(640)의 하나 이상의 기구 입력부의 움직임은 세장형 튜브(610)(및 부착된 리스트(652) 및 엔드 이펙터(654))를 세장형 튜브 중심선 축(611)을 중심으로 근위 제어 메커니즘(640)에 대해 회전시킨다. 다른 양태에서, 대응하는 원격조작 액추에이터들에 의한 하나 이상의 기구 입력부의 움직임은 리스트(652)의 움직임을 결과하여, 엔드 이펙터(654)를 세장형 튜브 중심선 축(611)에 대해 배향시킨다. 다른 양태에서, 대응하는 원격조작 액추에이터들에 의한 하나 이상의 기구 입력부의 움직임은 엔드 이펙터(654)(예컨대, 죠 부재, 나이프 부재 등)의 하나 이상의 가동 요소의 움직임을 결과한다. 그에 따라, 기구 머니퓰레이터(512) 상에 설치된 수술 기구의 다양한 기계적 자유도들은 기구 캐리지(530)의 원격조작 액추에이터들의 작동에 의해 움직이게 될 수 있다.
녹화된 비디오에 주석첨부하기
도 8은 예시적인 수술 계획 툴(800)의 개략 다이어그램을 도시하고 있다. 일 양태에서, 수술 계획 툴(800)은 전자 의료 디바이스 기록 데이터베이스(830)와 데이터 통신하는 원격조작 수술 시스템(850)을 포함한다. 여기에 도시된 원격조작 수술 시스템(850)은 도 4에 도시된 원격조작 수술 시스템(850)과 유사하다. 일 양태에서, 전자 의료 기록 데이터베이스(830)는 특정의 병원에서 치료를 받은 환자들의 의료 기록들을 포함한다. 데이터베이스(830)는 병원 원내에(on-site) 위치된 서버 상에 구현될 수 있다. 데이터베이스(830)에 포함된 의료 기록 엔트리들은 인트라넷 네트워크를 통해 병원 컴퓨터들로부터 액세스될 수 있다. 대안적으로, 데이터베이스(830)는, 예컨대, 다수의 클라우드 데이터 스토리지 서비스들 중 하나를 사용하여 병원 원외에(off-site) 위치된 원격 서버 상에 구현될 수 있다. 이 경우에, 데이터베이스(830)의 의료 기록 엔트리들은 클라우드 서버 상에 저장되고, 인터넷 액세스를 갖는 컴퓨터에 의해 액세스될 수 있다.
일 양태에서, 수술 절차가 원격조작 수술 시스템(850)을 사용하여 제1 환자에 대해 수행된다. 원격조작 수술 시스템(850)과 연관된 이미징 디바이스는 수술 부위의 이미지들을 캡처하고, 캡처된 이미지들을 외과의 콘솔(52)의 디스플레이 상에 비디오의 프레임들로서 디스플레이한다. 일 양태에서, 외과의 콘솔(52)에 있는 의료인은 외과의 콘솔(52)의 입력 디바이스를 사용하여 디스플레이된 비디오에 보이는 특정 환자 해부학적 구조를 하이라이트하거나 그에 주석첨부한다. 그러한 입력 디바이스의 일 예는 도 2에 도시된 제어 입력부(36)이며, 이 제어 입력부(36)는 디스플레이된 비디오 상에 오버레이된 그래픽 사용자 인터페이스와 관련하여 동작하는 커서에 커플링된다. 그래픽 사용자 인터페이스는 QWERTY 키보드, 마우스와 같은 포인팅 디바이스 및 대화형 스크린 디스플레이, 터치 스크린 디스플레이, 또는 데이터 또는 텍스트 입력을 위한 다른 수단을 포함할 수 있다. 그에 따라, 의료인은 디스플레이된 이미지에서 관심의 특정 조직을 하이라이트하거나 텍스트 주석을 입력할 수 있다.
일 양태에서, 수술 부위 비디오는 전자기기 카트(56) 상에 위치된 디스플레이 상에 부가적으로 디스플레이된다. 일 양태에서, 전자기기 카트의 디스플레이는 전자기기 카트 상의 디스플레이 상에서 보도록 디스플레이되는 이미지 상에 보여지는 환자 해부학적 구조의 특정 부분들을 하이라이트하고 그에 주석첨부하기 위해 의료인에 의해 사용가능한 터치 스크린 사용자 인터페이스이다. 사용자는, 터치 스크린 사용자 인터페이스 상에 디스플레이된 환자 해부학적 구조의 부분들을 터치함으로써, 디스플레이된 이미지의 부분들을 하이라이트할 수 있다. 부가적으로, QWERTY 키보드를 포함하는 그래픽 인터페이스는 디스플레이된 이미지 상에 오버레이될 수 있다. 사용자는 텍스트 주석들을 입력하기 위해 QWERTY 키보드를 사용할 수 있다.
일 양태에서, 원격조작 수술 시스템(850)과 연관된 이미징 디바이스에 의해 캡처되는 수술 부위 비디오는 원격조작 수술 시스템(850)에 의해 녹화되고, 사용자에게 실시간으로 또는 거의 실시간으로 디스플레이되는 것에 부가하여, 데이터베이스(830) 상에 저장된다. 사용자에 의해 이루어진 녹화된 비디오와 연관된 하이라이트들 및/또는 주석들은 데이터베이스(830) 상에 또한 저장될 수 있다. 일 양태에서, 사용자에 의해 이루어진 하이라이트들은 녹화된 비디오가 데이터베이스(830) 상에 저장되기 전에 녹화된 비디오에 임베딩된다. 나중에, 녹화된 비디오는 보기 위해 검색될 수 있다. 일 양태에서, 녹화된 비디오의 시청자는 하이라이트들이 디스플레이되는지 또는 보이지 않게 억압되는지를 선택할 수 있다. 이와 유사하게, 녹화된 비디오와 연관된 주석들이 데이터베이스(830) 상에 또한 저장될 수 있다. 일 양태에서, 사용자에 의해 이루어진 주석들은 녹화된 비디오를 태깅하는 데 사용되며, 녹화된 비디오에 포함된 주제를 식별하는 수단으로서 제공하는 데 사용될 수 있다. 예를 들어, 하나의 주석은 특정 질병 상태의 조건들을 설명할 수 있다. 이 주석은 녹화된 비디오를 태깅하는 데 사용된다. 나중에, 이러한 질병 상태에 관한 녹화된 절차들을 보기를 원하는 사람은 키워드 탐색을 사용하여 비디오를 찾을 수 있다.
저장된 비디오의 검색
일부 경우들에서, 의료인이 주어진 환자에 대해 수행된 과거의 수술 절차들의 비디오 녹화들을 볼 수 있는 것이 바람직하다. 일 양태에서, 의학적 병태(medical condition)를 치료하기 위해 이전에 제1 수술 절차를 거친 환자는 동일한 의학적 병태의 재발을 치료하기 위해 또는 제1 수술 절차의 수술 부위 부근에 위치된 해부학적 구조를 치료하기 위해 후속하여 제2 수술 절차를 필요로 한다. 일 양태에서, 제1 수술 절차의 수술 부위 이벤트들은 수술 부위 비디오 녹화에 캡처되었고, 비디오 녹화는 환자의 전자 의료 기록들의 일부로서 데이터베이스(830)에 보관되었다. 환자에 대해 제2 수술 절차를 수행하기 전에, 의료인은 환자의 이전의 수술 절차의 비디오 녹화를 찾기 위해 데이터베이스(830)의 탐색을 수행할 수 있다.
일부 경우들에서, 의료인이 환자와 유사한 특정 특성들을 갖는 사람들에 대해 수행된 유사한 수술 절차들의 비디오 녹화들을 볼 수 있기 위해 환자에 대해 수술 절차를 수행할 계획을 세우는 것이 바람직하다. 일 양태에서, 수술 절차들의 수술 부위 비디오 녹화들은 각각의 비디오 녹화가 데이터베이스(830)에 보관되기 전에 환자의 나이, 성별, 체질량 지수, 유전 정보, 환자가 거친 절차의 타입 등과 같은 메타데이터 정보로 태깅될 수 있다. 일 양태에서, 비디오 녹화를 태깅하는 데 사용되는 메타데이터 정보는 환자의 당시의 의료 기록들로부터 자동으로 검색되고, 이어서 비디오 녹화가 데이터베이스(830)에 보관되기 전에 비디오 녹화를 태깅하는 데 사용된다. 그에 따라, 환자에 대해 의료 절차를 수행하기 전에, 의료인은 환자와 공통인 특정 특성들을 공유하는 환자들에 대해 수행된 유사한 절차들의 비디오 녹화들이 있는지 데이터베이스(830)를 탐색할 수 있다. 예를 들어, 의료인이 상승된 체질량 지수를 갖는 65세 남성 환자에 대해 전립선 절제술을 수행하기 위해 원격조작 수술 시스템(850)을 사용할 계획을 세우고 있는 경우, 의료인은 이와 유사하게 상승된 체질량 지수를 갖는 유사한 나이의 다른 남성들에 대해 원격조작 수술 시스템(850)을 사용하여 수행되는 전립선 절제술들의 수술 부위 비디오 녹화들이 있는지 데이터베이스(830)를 탐색할 수 있다.
일 양태에서, 수술 절차의 비디오 녹화는 데이터베이스(830)에 의해 (파선에 의해 지시된 바와 같은) 임의적 개인 컴퓨터(820)에 전달되고, 수술 절차를 수행할 계획을 세우는 의료인이 볼 수 있게 되어 있다. 부가적으로 또는 대안에서, 이전의 수술 절차의 비디오 녹화는 데이터베이스(830)에 의해 원격조작 수술 시스템(850)에 전달되고, 수술 전에 또는 수술 중에 볼 수 있게 되어 있다. 일 양태에서, 비디오 녹화는 외과의 콘솔(52) 상에 위치된 디스플레이 상에 원격조작 수술 시스템(850)에 의해 디스플레이된다. 다른 양태에서, 제1 수술 절차의 비디오 녹화는 전자기기 카트(56) 상에 위치된 디스플레이 상에 디스플레이된다.
클라우드 기반 비디오 데이터베이스
일 양태에서, 데이터베이스(830)는 클라우드 데이터 스토리지 서비스를 사용하여 원격 서버 상에 구현되고 다수의 건강 관리 제공자들에 의해 액세스가능하다. 도 8을 참조하면, 파선으로 도시된 바와 같이, 수술 계획 툴(800)은 (파선에 의해 지시된 바와 같은) 원격조작 수술 시스템(850) 및 (파선에 의해 지시된 바와 같은) 개인 컴퓨터(840)를 임의로 포함한다. 일 양태에서, 원격조작 수술 시스템(850) 및 개인 컴퓨터(820)가 제1 건강 관리 제공자에 위치되고 원격조작 수술 시스템(850) 및 개인 컴퓨터(840)가 제2 건강 관리 제공자에 위치되는 것을 제외하고는, 원격조작 수술 시스템(850)은 원격조작 수술 시스템(850)과 유사하고 개인 컴퓨터(840)는 개인 컴퓨터(820)와 유사하다. 일 양태에서, 제1 환자는 의학적 병태의 수술 치료를 필요로 하고, 제1 건강 관리 제공자에서 원격조작 수술 시스템(850)을 사용하여 수술 절차를 거친다. 수술 절차의 비디오 녹화는 데이터베이스(830) 상에 보관된다. 나중에, 제2 환자는 동일한 의학적 병태의 수술 치료를 필요로 하고, 제2 건강 관리 제공자에서 원격조작 수술 시스템(850)을 사용하여 수술 치료를 받을 계획을 세운다. 제2 환자에 대해 수술 절차를 수행하기 전에, 의료인은 보안 인터넷 접속을 통해 데이터베이스(830)에 액세스하고, 유사한 절차들의 수술 부위 비디오 녹화들이 있는지 데이터베이스(830)를 탐색한다. 일 양태에서, 제2 환자를 치료하는 의료인은, 제1 환자의 신원에 대한 지식을 취득하지 않으면서, 제1 환자의 수술 절차의 비디오 녹화를 데이터베이스(830)로부터 검색할 수 있다. 이러한 방식으로, 제1 환자의 프라이버시가 유지된다. 일 양태에서, 제1 환자의 수술 절차의 비디오 녹화는 제1 환자를 치료한 의료인에 의해 이루어진 하이라이트들 및/또는 주석들을 포함한다.
컴퓨터 기반 패턴 매칭 및 분석
수술 계획 툴(800)은 컴퓨터 실행가능 코드의 형태로 구현된 패턴 매칭 및 분석 알고리즘을 포함할 수 있다. 일 양태에서, 패턴 매칭 및 분석 알고리즘은 수술 계획 툴(800)의 비휘발성 메모리 디바이스에 저장되고, 데이터베이스(830)에 보관된 비디오 녹화들을 분석하도록 구성된다. 이전에 논의된 바와 같이, 데이터베이스(830)에 보관된 비디오 녹화들 각각은 특정 메타데이터 정보로 태깅되고 그리고/또는 임베딩될 수 있다. 이 메타데이터 정보는 환자 나이, 성별, 및 환자의 건강 또는 병력(medical history)을 설명하는 다른 정보와 같은 환자 정보를 포함할 수 있다. 부가적으로, 이전에 논의된 바와 같이, 메타데이터 정보는 의료인에 의해 이루어진 하이라이트들 또는 주석들을 포함할 수 있다. 일 양태에서, 이러한 하이라이트들 및 주석들은 비디오 녹화에 임베딩되고 비디오와 함께 데이터베이스(830)에 보관된다.
일 양태에서, 패턴 매칭 및 분석 알고리즘은 데이터베이스(830) 상에 저장된 다수의 비디오 녹화들 사이에 공유되는 형상들 및 컬러들의 패턴들을 식별하는 이미지 분석 컴포넌트를 포함한다. 패턴 매칭 및 분석 알고리즘은 이어서 임의의 단어들 또는 문구들이 비디오 녹화들의 이 서브세트 내의 비디오들과 빈번히 연관되는지를 결정하기 위해 이 서브세트와 연관된 태깅된 메타데이터를 검토한다. 패턴 매칭 및 분석 알고리즘에 의해 수행되는 이러한 분석들은 의료인들이 환자 해부학적 구조, 선호된 수술 접근법들, 질병 상태들, 잠재적 합병증들 등에 관한 결정을 내리는 것을 돕기 위해 사용될 수 있다.
수술 계획 툴을 사용하는 방법
도 9는 수술 계획 툴을 사용하는 방법(900)을 도시하고 있다. 일 양태에서, 수술 계획 툴은 도 8에서의 수술 계획 툴(800)과 유사하다. 910에서, 의료 환자를 설명하는 사실 또는 특성, 예컨대, 환자가 겪는 의학적 병태가 의료 디바이스에 의해 수신된다. 의료 디바이스는 원격조작 수술 시스템(예컨대, 도 1에서의 원격조작 수술 시스템(10) 또는 도 4에서의 원격조작 수술 시스템(50))에 위치된 사용자 인터페이스를 통해, 또는 대안적으로, 도 2에서의 개인 컴퓨터(820)와 유사한 개인 컴퓨터를 통해 이러한 사실 또는 상황을 수신할 수 있다. 920에서, 의료 디바이스는 의료 디바이스 데이터베이스로부터 수술 절차의 적어도 하나의 관련 비디오 녹화를 검색하기 위해 910에서 수신된 사실 또는 특성을 사용한다. 930에서, 의료 디바이스는 수술 계획 정보를 결정하기 위해 비디오 녹화들을 사용한다. 일 양태에서, 수술 계획 정보는 녹화된 절차에서 사용된 기구들의 타입들을 포함한다. 940에서, 의료 디바이스는 930에서 결정된 수술 계획 정보를 사용자에게 디스플레이한다.
수술 절차를 안내하기 위해 수술 숙련도 레벨을 사용하는 방법
차트 1은 ARCS(Assessment of Robotic Console Skills) 기준들에 따른 원격조작 수술 절차 동안 유용한 것으로 식별된 수술 기구 숙련도들의 몇 가지 예시적인 구별되는 코어 세트를 식별해준다.
[차트 1]
일부 실시예들에서, 카테고리에 대한 수술 숙련도 레벨은 초보자(novice), 중급자(intermediate) 및 숙련자(experienced)로서 등급이 매겨진다(rated). 외과의의 숙련도 레벨은 숙련도 카테고리별로 다를 수 있다. 숙련도 평가 스케일은, 수술 전문분야에 관계없이, 일반적으로 임의의 다중 포트 로봇 보조 수술 절차(multiport robotically assisted surgical procedure)에 적용가능하다.
도 10은 일부 실시예들에 따른 컴퓨터 판독가능 스토리지 디바이스(1004)에서의 스토리지 아틀라스를 나타내는 예시적인 도면이다. 스토리지 아틀라스(1002)는 이전에 수행된 수술 절차들의 인스턴스들을 나타내는 제1 정보 구조들(1006)을 포함한다. 이전에 수행된 수술 절차들 동안 원격조작 수술 기구 작동 상태들을 나타내는 제2 정보 구조들(1008). 제3 정보 구조(1010)는 수술 절차를 수술 절차 동안의 수술 활동들과 연관시킨다. 제4 정보 구조(1012)는 외과의를 외과의의 수술 숙련도 레벨들과 연관시킨다. 제5 정보 구조(1014)는 수술 절차들을 수술 기구 작동 상태들과 연관시킨다. 제6 정보 구조(1016)는 상이한 활동들 동안의 외과의 숙련도 레벨들을 상이한 메시지들과 연관시킨다. 제7 정보 구조(1018)는 상이한 활동들 동안의 외과의 숙련도 레벨들을 상이한 수술 기구 안전 작동 상태들과 연관시킨다. 제9 정보 구조(1019)는 일부 실시예들에 따른 개별 수술들로부터의 녹화된 비디오 정보를 수술들 동안의 대응하는 수술 기구 액추에이터 상태 정보 및 녹화된 외과의 눈 움직임들과 연관시킨다.
일부 실시예들에서, 외과의 숙련도 레벨들과 수술 절차 결과들/위험들 사이의 상관들을 식별하기 위해 다양한 정보 구조들(1004 내지 1019)에서의 정보가 평가된다. 일부 실시예들에서, 수술 절차 동안의 환자 안전 우려들/위험들과 수술 활동들 사이의 상관들을 식별하기 위해 다양한 정보 구조들(1004 내지 1019)에서의 정보가 평가된다. 일부 실시예들에서, 수술 활동 동안의 환자 안전 우려들/위험들과 수술 기구 액추에이터 상태 사이의 상관들을 외과의 숙련도 레벨의 함수로서 식별하기 위해 원격조작 수술 절차들이 평가된다. 일부 실시예들에서, 스토리지 아틀라스(1002)는 수술 활동 동안의 수술 결과들/위험들과 수술 기구 액추에이터 상태 사이의 상관을 외과의 숙련도 레벨의 함수로서 제공하는 제10 정보 구조들(1020)을 포함한다. 이러한 평가들은, 예를 들어, 머신 러닝(ML) 기술들을 수반할 수 있다.
스토리지 아틀라스(1002)는 종래의 환자들에 대한 수술들 및 종래의 수술들을 수행한 종래의 외과의들에 관한 데이터를 포함한다. 일부 실시예들에서, 스토리지 아틀라스(1002)는 종래의 수술들로부터의 수술 장면들의 비디오 이미지들과 텍스트 및 텔레스트레이션(telestration) 태그들(1022)과 같은 대응하는 주석들을 포함한다. 일부 실시예들에서, 스토리지 아틀라스(1002)는 종래의 수술들에서의 수술 활동들의 종래의 외과의들의 수행 동안 수술 기구 액추에이터 상태들의 녹화들(1024)을 포함한다.
도 11은 일부 실시예들에 따른 개별 수술로부터의 녹화된 비디오 정보를 대응하는 수술 기구 액추에이터 상태 정보와 연관시키는, 스토리지 디바이스(1004)에서의 아틀라스(1002) 내에 포함된 제7 정보 구조(1018)의 일 예를 나타내는 예시적인 도면이다. 일 양태에서, 수술 동안의 환자 해부학적 구조의 비디오 녹화 이미지들, 수술 동안의 수술 기구 액추에이터 상태들, 및 수술 동안의 외과의 눈 움직임이 환자 해부학적 구조에 대한 수술 활동들의 발생 시간들의 시간순 기록(chronological record)을 생성하기 위해, 수술 기구 액추에이터 상태들의 발생 시간들의 대응하는 시간순 기록을 제공하기 위해 그리고 수술 절차 동안 외과의 눈 움직임의 대응하는 시간순 기록을 제공하기 위해 타임 스탬핑된다(t1, t2 ... tn). 이에 따라, 수술 절차 동안 기록된 타임 스탬프들은 해부학적 구조의 비디오 이미지들을 수술 기구 액추에이터 상태들 및 외과의 눈 시선과 시간적으로 정렬시키는 데 사용된다.
수술 동안, 사용자는, 예를 들어, 혈관 결찰(vessel sealing), 봉합 매듭 묶기(suture knot-tying) 또는 둔한 조직 박리(blunt tissue dissection)와 같은 대응하는 수술 활동을 나타내는 메타데이터로 비디오 녹화 및 수술 기구 작동 상태 녹화에 주석첨부할 수 있다. 주석은, 예를 들어, 비디오 정보 및/또는 수술 기구 작동 상태 정보에 태깅된 수기 메모들(written notes), 비디오 녹화에서의 이미지들의 컬러링 또는 하이라이팅(예컨대, 텔레스트레이션) 중 하나 이상 또는 그 조합을 포함할 수 있다. 주석들은 이들을 대응하는 비디오 녹화 정보 및 대응하는 기록된 수술 기구 상태 정보와 시간적으로 정렬시키는 데 사용하기 위해 타임 스탬핑될 수 있다.
원격조작 수술 절차 동안, 신경 혈관 번들 박리(neurovascular bundle dissection)(신경 보존(nerve sparing))와 같은 수술 활동은, 각각이 그 자신의 액추에이터 상태를 갖는, 프로그래스퍼(prograsper) 및 로봇 가위(robotic scissors)와 같은 다수의 수술 기구들의 사용을 종종 수반한다. 이에 따라, 상이한 수술 활동들은 다수의 수술 기구 숙련도들의 조합을 종종 요구한다. 예를 들어, 연속적인 봉합 수술 활동의 수행은 다음과 같은 수술 숙련도들: 기구 리스트 조작(instrument wrist manipulation), 바늘 그래스핑(needle grasping), 2개의 기구 사이의 바늘 통과 및 배향(needle passing and orientation), 조직 그래스핑(tissue grasping), 및 바늘 꿰기(needle driving)의 조합을 종종 요구한다.
도 12a 내지 도 12c는 일부 실시예들에 따른 수술 기구가 3개의 상이한 예시적인 동작 상태로 도시되어 있는 예시적인 수술 기구(1202) 및 액추에이터 어셈블리(1203)를 도시하는 예시적인 도면들이다. 예시적인 기구(1202)는 개방 및 폐쇄 상태들 사이에서 전이할 수 있는 죠 엔드 이펙터(1204) 및 이들 사이의 부분적으로 개방된/부분적으로 폐쇄된 상태들의 연속체를 포함한다. 예시적인 기구(1202)는 상이한 2차원(x, y) 위치 상태들 사이에서 움직일 수 있는 2 자유도(2-dof) 리스트(1206)를 또한 포함한다. 예시적인 액추에이터 어셈블리(1203)는, 일부 실시예들에서 죠 엔드 이펙터(1204)를 작동시키는 데 사용되는 죠 모터(jaw motor)(JM)를 포함하는, 제1 액추에이터(1208)를 포함한다. 예시적인 액추에이터 어셈블리(1203)는, 일부 실시예들에서 리스트(1206)를 작동시키는 데 사용되는 리스트 모터(wrist motor)(WM)를 포함하는, 제2 액추에이터(1210)를 포함한다. 수술 동안, 수술 기구(1202)는 수술 절차 동안 상이한 활동들에 대응하는 다수의 작동 상태들을 통해 전이할 수 있다. 도 12a에 나타낸 바와 같이, 예를 들어, 수술 절차는 제1 액추에이터(1208)(JM)가 죠 엔드 이펙터(1204)를 완전 개방 상태로 배치하고 제2 액추에이터(1210)(WM)가 리스트(1206)를 제1 위치 상태(x1, y1)로 배치하는 제1 수술 활동을 수반할 수 있다. 도 12b에 나타낸 바와 같이, 예를 들어, 수술 절차는 제1 액추에이터(1208)가 죠 엔드 이펙터(1204)를 완전 폐쇄 상태로 전이하고 제2 액추에이터(1210)가 리스트(1206)를 제2 위치 상태(x2, y2)로 전이하는 제2 수술 활동을 수반할 수 있다. 도 12c에 나타낸 바와 같이, 예를 들어, 수술 절차는 제1 액추에이터(1208)가 죠 엔드 이펙터(1104)를 부분 개방/부분 폐쇄 상태에 배치하고 제2 액추에이터(1210)가 리스트(1206)를 제3 위치 상태(x3, y3)로 전이하는 제3 수술 활동을 수반할 수 있다.
일부 실시예들에서, 외과의의 입력 제어 커맨드들에 응답한 원격조작 수술 시스템의 수행은 수술 절차 동안 시스템을 사용하여 수행되는 수술 활동들에 대한 외과의의 숙련도 레벨에 기초하여 스케일링된다. 보다 상세하게는, 사용자 공간 내의 사용자 입력 커맨드 디바이스에서의 사용자 입력에 응답한 기구 공간 내의 수술 기구의 움직임 레이트는 사용자 숙련도 레벨에 적어도 부분적으로 기초하여 스케일링된다. 예를 들어, 외과의의 숙련도 레벨의 기록은 Large Suture Cut Needle Driver 수술 기구를 사용하는 니들 드라이빙 수술 활동의 수행에서의 초보자 숙련도 레벨을 나타낼 수 있다. 일부 실시예들에 따르면, 니들 드라이빙 수술 활동의 수행 동안, 기구 액추에이터는 Large Suture Cut Needle Driver가 각자의 조직의 근방에 있을 때 사용자 의도에 비례하여 매우 신중하게(1:0.333 스케일링) 자동으로 움직이는 제1(초보자) 모드에서 작동된다. 이에 따라, 프로세서(58)는 Large Suture Cut Needle Driver 수술 기구의 초보 사용자를 위해 구성되며 여기서 사용자 입력 움직임을 기구 움직임으로 변환하는 것은 기구 움직임을 느리게 하도록 스케일링된다. 제어 입력부들(36, 38)에서 부여된 사용자 공간에서의 1 단위 움직임은 수술 기구 공간에서 기구의 0.333 단위 움직임으로 운동학적으로 변환된다. 대안적으로, 예를 들어, 외과의의 숙련도 레벨의 기록은 Large Needle Driver 수술 기구를 사용하는 니들 드라이빙 수술 활동의 수행에서의 중급자 숙련도 레벨을 나타낼 수 있다. 일부 실시예들에 따르면, 니들 드라이빙 수술 활동의 수행 동안, 기구 액추에이터는 Large Needle Driver가 각자의 조직의 근방에 있을 때 사용자 의도에 비례하여 신중하게 1:0.5 스케일로 움직이는 제2(중급자) 모드에서 작동된다. 이에 따라, 프로세서(58)는 Large Needle Driver 수술 기구의 중급자 숙련도 레벨 사용자를 위해 구성되며 여기서 사용자 입력 움직임을 기구 움직임으로 변환하는 것은 기구 움직임을 느리게 하도록 스케일링된다. 제어 입력부들(36, 38)에서 부여된 사용자 공간에서의 1 단위 움직임은 수술 기구 공간에서 기구의 0.5 단위 움직임으로 운동학적으로 변환된다. 또 다른 대안으로서, 예를 들어, 외과의의 숙련도 레벨의 기록은 Mega Needle Driver 수술 기구를 사용하는 니들 드라이빙 수술 활동의 수행에서의 숙련자 숙련도 레벨을 나타낼 수 있다. 일부 실시예들에 따르면, 니들 드라이빙 수술 활동의 수행 동안, 기구 액추에이터는 Mega Needle Driver가 각자의 조직의 근방에 있을 때 사용자 의도에 비례하여 동일한 속도로 1:1 스케일로 움직이는 제3(숙련자) 모드에서 작동된다. 이에 따라, 프로세서(58)는 Mega Needle Driver 수술 기구의 숙련자 숙련도 레벨 사용자를 위해 구성되며 여기서 사용자 입력 움직임을 기구 움직임으로 변환하는 것은 기구 움직임과 매칭하도록 스케일링된다. 제어 입력부들(36, 38)에서 부여된 사용자 공간에서의 1 단위 움직임은 수술 기구 공간에서 기구의 1.0 단위 움직임으로 운동학적으로 변환된다.
도 13은 예시적인 외과의에 의해 수행될 예시적인 수술 절차에 대응하는 컴퓨터 판독가능 스토리지 디바이스(1004)에 저장된 아틀라스(1002)의 예시적인 제10 정보 구조(1020)를 나타내는 예시적인 도면이다. 정보 구조(1020)는 수술 절차 동안의 수술 활동들을 외과의 숙련도들과 연관시킨다. 정보 구조(1020)는 외과의 숙련도들을 외과의의 숙련도 레벨들과 연관시킨다. 정보 구조(1020)는 외과의 활동들을 수술 기구 액추에이터 상태들과 연관시킨다. 정보 구조(1020)는 수술 상태, 수술 숙련도, 수술 숙련도 레벨, 액추에이터 상태 튜플들을 수술 액추에이터 안전 상태들과 연관시킨다.
정보 구조(1020)의 제1 열은 예시적인 수술 절차 동안 수행될 수술 활동들(A1, A2 및 A3)의 목록을 나타낸다. 정보 구조(1020)의 제2 열은 숙련도들 각각에 대한 수술을 수행하는 외과의의 활동들 및 대응하는 숙련도 레벨들 각각 동안 요구되는 수술 숙련도들의 목록들을 나타낸다. 구체적으로는, 이 예에서, 활동 A1은 수술 숙련도 S1, 숙련도 S3 및 숙련도 S5와 연관되고, 외과의는 3 가지 숙련도 S1, S2 및 S5 전부에 대해 숙련자 숙련도 레벨 LE를 소유한다. 활동 A2는 수술 숙련도들 S1, S2, S3과 연관되고, 외과의는 숙련도들 S1 및 S3 및 S5에 대해 숙련자 숙련도 레벨 LE를 소유하고 숙련도 S2에 대해 초보자 숙련도 레벨 LN을 소유한다. 활동 A3은 수술 숙련도들 S1, S4, S6과 연관되며, 외과의는 숙련도들 S1 및 S6에 대해 숙련자 숙련도 레벨 LE를 소유하고 숙련도 S4에 대해 중급자 숙련도 레벨 LI를 소유한다. 정보 구조(1020)의 제3 열은 수술 활동들의 발생을 나타내는 수술 기구 작동 상태들을 나타낸다. 예를 들어, 수술 기구 액추에이터 상태 SIAA1은 수술 상태 A1의 발생을 나타낸다. 수술 기구 액추에이터 상태 SIAA2는 수술 상태 A2의 발생을 나타낸다. 수술 기구 액추에이터 상태 SIAA3은 수술 상태 A3의 발생을 나타낸다. 정보 구조(1020)의 제4 열은, 수술 활동 상태들에 기초하여, 수술 절차의 상이한 스테이지들에서 수술 팀에 제시될 메시지들을 나타낸다. 예를 들어, 수술 활동 상태 A1은 숙련자 숙련도 레벨 외과의에 관련된 메시지 MA1E와 연관되고; 수술 활동 상태 A2는 초보자 숙련도 레벨 외과의에 관련된 메시지 MA2N과 연관되며; 수술 활동 상태 A3은 중급자 숙련도 레벨 외과의에 관련된 메시지 MA3I와 연관된다.
정보 구조(1020)의 제5 열은 수술 절차의 상이한 수술 활동들 동안 사용될 수술 기구 액추에이터 안전 상태들을 나타낸다. 예를 들어, 수술 활동 A1은 외과의가 수술 활동 A1에 대해 숙련자 숙련도 레벨을 가지고 있음을 나타내는 기구 액추에이터 안전 상태 SAIA1E와 연관된다. 수술 활동 A2는 외과의가 수술 활동 A2에 대해 초보자 숙련도 레벨을 가지고 있음을 나타내는 기구 액추에이터 안전 상태 SIAA2N과 연관된다. 수술 활동 A3은 외과의가 수술 활동 A3에 대해 중급자 숙련도 레벨을 가지고 있음을 나타내는 기구 액추에이터 안전 상태 SIAA3I와 연관된다. 이 예에서, 연관된 기구 액추에이터 안전 상태가 수술 활동에 대해 적용가능한 가장 낮은 대응하는 외과의 숙련도 레벨의 레벨에 있음에 유의해야 한다. 예를 들어, 활동 A1의 경우, 외과의의 숙련도 레벨은 3 가지 숙련도 S1, S3, S5 전부에 대해 레벨 LE(숙련자)이며, 따라서 기구 액추에이터 안전 상태는 숙련자 레벨에 대응하는 SAIA1E이다. 활동 A2의 경우, 외과의의 최저 숙련도 레벨은 숙련도 S2에 대해 레벨 LN(초보자)이며, 따라서 기구 액추에이터 안전 상태는 초보자 레벨에 대응하는 SAIA21N이다. 활동 A3의 경우, 외과의의 최저 숙련도 레벨은 숙련도 S4에 대해 레벨 LI(중급자)이며, 따라서 기구 액추에이터 안전 상태는 중급자 레벨에 대응하는 SAIA3I이다.
도 13의 예시적인 정보 구조(1020)의 제1 행을 참조하면, 예를 들어, 관련 수술 절차 동안, 수술의 활동 A1은 숙련도 S1 = 기구 리스트 조작 및 배향, 숙련도 S3 = 조직 그래스핑 및 조작, 및 숙련도 S5 = 절단을 요구하는 조직 박리를 수반할 수 있다. 메시지 MA1E는 "작은 매끄러운 절단들을 행하는 것"을 나타낼 수 있다. 수술 기구 안전 작동 상태 A1E는 기구가 1:1 스케일링으로 설정되는 것을 수반할 수 있다.
도 13의 예시적인 정보 구조(1020)의 제2 행을 참조하면, 예를 들어, 관련 수술 절차 동안, 수술의 활동 A2는 숙련도 S1, 숙련도 S2 = 니들 드라이빙 및 숙련도 S3을 요구하는 조직 봉합을 수반할 수 있다. 메시지 MA2N은 "불필요한 조직 니들 피어싱들을 피하기 위해 니들 핸들링에 주의함"을 나타낼 수 있다. 수술 기구 안전 작동 상태 A2N은 기구가 1:0.333 스케일링으로 설정되는 것을 수반할 수 있다.
도 13의 예시적인 정보 구조(1020)의 제3 행을 참조하면, 예를 들어, 관련 수술 절차 동안, 수술의 활동 A3은 숙련도 S1, 숙련도 S4 = 봉합 핸들링 및 숙련도 S6 = 매듭 묶기를 요구하는 봉합 매듭 묶기를 수반할 수 있다. 메시지 MA3I는 "봉합선 테일(suture tail)의 길이의 관리에 주의함"을 나타낼 수 있다. 수술 기구 안전 작동 상태 A3I는 기구가 1:0.5 스케일링으로 설정되는 것을 수반할 수 있다.
도 14는 일부 실시예들에 따른 외과의 숙련도 레벨 정보에 적어도 부분적으로 기초하여 수술 기구 안전 작동 상태에 따라 사용자 대 기구 움직임의 운동학적 병진운동을 스케일링하기 위한 프로세서(58)의 구성을 나타내는 예시적인 흐름 다이어그램(1402)이다. 컴퓨터 프로그램 코드는 일부 실시예들에서 프로세스(1402)를 수행하도록 프로세서(58)의 하나 이상의 CPU를 구성하는 데 사용된다. 블록(1404)에서, 외과의 아이디(surgeon identification)가 전자기기 카트(56)와 연관된 컴퓨터 프로세싱 시스템에 대한 입력부에서 수신된다. 블록(1406)에서, 수술 절차의 아이디(identification)가 전자기기 카트(56)와 연관된 컴퓨터 프로세싱 시스템에 대한 입력부에서 수신된다. 블록(1408)에서, 정보 구조들(1010, 1012, 1014, 1016 및 1018) 내의 아틀라스(1002) 내에 포함된 정보는 식별된 외과의 및 식별된 수술 절차에 관한 도 13의 제10 정보 구조(1020)의 인스턴스를 생성하는 데 사용된다.
식별된 수술 절차의 수행 동안, 블록(1410)은, 하나 이상의 수술 기구(26) 각각에 대해, 어느 기구가 수술 기구 머니퓰레이터(512)에 장착되어 있는지를 트래킹하고, 제10 정보 구조(1020)의 생성된 인스턴스의 제3 열 내의 수술 기구 액추에이터 상태 정보에 기초하여, 수술 절차가 정보 구조(1020)의 제1 열에서 식별된 활동으로 전이할 때를 결정하기 위해 수술 기구 액추에이터의 동작 상태를 또한 트래킹한다. 결정 블록(1412)에서, 머니퓰레이터(512)에 장착된 기구(26) 및 현재 기구 액추에이터 상태 중 적어도 하나가 활동과 연관된 액추에이터 상태와 매칭하는지에 대한 결정이 이루어진다. 매치가 없는 것에 응답하여, 제어는 블록(1410)으로 루프백하고 트래킹이 계속된다. 매치에 응답하여, 블록(1414)은 수술 기구 액추에이터를 정보 구조(1020)의 제2 열에 지시된 연관된 외과의 숙련도 레벨과 머니퓰레이터(512)에 장착된 기구(26) 및 현재 기구 액추에이터 상태 중 적어도 하나와 연관된 정보 구조(1020)의 제5 열에서 식별된 기구 액추에이터 안전 상태로 전이시킨다. 블록(1416)은 현재 기구 액추에이터 상태 및 연관된 외과의 숙련도 레벨과 연관된 안전 메시지를 수술 팀에게 제시하도록 디스플레이 디바이스(32, 34 및/또는 60)를 구성한다. 일부 실시예들에서, 제어는 다음에, 예를 들어, 다른 식별된 액추에이터 상태 전이 정보에 기초하여 수술 기구 액추에이터 상태를 계속 추적하는, 블록(1410)으로 다시 진행한다.
예시적인 실시예들이 도시되고 설명되었지만, 전술한 개시내용에서 광범위한 수정, 변경 및 대체가 생각되며, 일부 경우들에서, 실시예들의 일부 특징들은 다른 특징들의 대응하는 사용 없이 이용될 수 있다. 예를 들어, 일부 실시예들에서, 가상 수술 시스템은 제1 가상 로봇 수술 기구를 포함한다. 이 시스템은 가상 해부학적 조직 및 제1 가상 로봇 수술 기구의 이미지들을 생성하기 위한 이미지 생성 디바이스를 포함한다. 사용자 디스플레이는 가상 해부학적 조직 및 제1 가상 로봇 수술 기구의 생성된 이미지들을 사용자에게 보여주기 위해 이미지 생성 디바이스에 커플링된다. 사용자 입력 커맨드 디바이스는 제1 가상 로봇 수술 기구의 가상 움직임을 제어하기 위해 사용자 입력 커맨드들을 수신하도록 커플링된다. 가상 움직임 제어기는 입력 커맨드 디바이스로부터 사용자 입력 커맨드들을 수신하도록 커플링되고 사용자 입력 커맨드들에 응답하여 제1 가상 로봇 수술 기구의 가상 움직임을 제어하도록 그리고 사용자 입력 커맨드 디바이스에서 수신된 사용자 입력 커맨드들에 의해 지시된 움직임 레이트로부터, 수신된 사용자 입력 커맨드들을 제공하는 사용자의 제1 가상 로봇 수술 기구의 사용에서의 수술 숙련도 레벨에 적어도 부분적으로 기초하여, 제1 가상 로봇 수술 기구의 가상 움직임 레이트를 스케일링하도록 구성된다.
더욱이, 일부 실시예들에서는, 가상 로봇 수술 기구 머니퓰레이터를 포함하는 가상 수술 시스템을 조작하기 위한 방법이 제공된다. 이 방법은 가상 로봇 수술 기구 머니퓰레이터에 장착된 가상 로봇 수술 기구의 움직임을 제어하기 위해 사용자로부터 사용자 입력 커맨드들을 수신하는 단계를 포함한다. 이 방법은 사용자 입력 커맨드들을 수신하는 동안 가상 로봇 수술 기구 머니퓰레이터에 장착된 가상 로봇 수술 기구의 아이디(identification)를 결정하는 단계를 추가로 포함한다. 이 방법은 가상 로봇 수술 기구의 움직임 레이트를 사용자 입력 커맨드들에 의해 지시된 움직임 레이트로부터, 식별된 가상 수술 기구의 사용에서의 사용자의 숙련도 레벨에 적어도 부분적으로 기초하여, 스케일링하는 단계를 또한 포함한다. 본 기술분야의 통상의 기술자는 많은 변형들, 대안들, 및 수정들을 인식할 것이다. 이에 따라, 본 개시내용의 범위는 이하의 청구항들에 의해서만 제한되어야 하고, 청구항들이 본 명세서에 개시된 실시예들의 범위와 일치하는 방식으로 광의적으로 해석되는 것이 적절하다.
Claims (15)
- 가상 수술 시스템으로서,
제1 가상 로봇 수술 기구;
가상 해부학적 조직 및 제1 가상 로봇 수술 기구의 이미지들을 생성하는 이미지 생성 디바이스;
가상 해부학적 조직 및 제1 가상 로봇 수술 기구의 생성된 이미지들을 사용자에게 보여주기 위해 이미지 생성 디바이스에 커플링된 사용자 디스플레이;
제어 입력부로서, 사용자 입력 커맨드들을 제어 입력부의 물리적 움직임의 형태로 수신하도록 그리고 제어 신호를 생성하도록 커플링된 제어 입력부; 및
제어 신호를 수신하도록 커플링되고, 제1 가상 로봇 수술 기구의 사용에서의 사용자의 제1 수술 숙련도 레벨에 적어도 부분적으로 기초하여 제어 신호에 응답하여 제1 가상 로봇 수술 기구의 가상 움직임을 제어하도록 그리고 제어 입력부의 움직임의 양에 대한 제1 가상 로봇 수술 기구의 가상 움직임의 양을 스케일링하도록 구성된 가상 움직임 제어기
를 포함하는, 가상 수술 시스템. - 제1항에 있어서,
가상 움직임 제어기는 제1 가상 로봇 수술 기구의 사용에서의 수신된 사용자 입력 커맨드들을 제어 입력부에 제공하는 사용자의 제1 수술 숙련도 레벨에 적어도 부분적으로 기초하여 제1 비율에 따라 제어 입력부의 움직임 레이트에 대한 제1 가상 로봇 수술 기구의 가상 움직임 레이트를 스케일링하도록 구성되어 있고,
가상 움직임 제어기는 제1 가상 로봇 수술 기구의 사용에서의 수신된 사용자 입력 커맨드들을 제어 입력부에 제공하는 사용자의 제2 수술 숙련도 레벨에 적어도 부분적으로 기초하여 제2 비율에 따라 제어 입력부의 움직임 레이트에 대한 제1 가상 로봇 수술 기구의 가상 움직임 레이트를 스케일링하도록 구성되어 있는, 가상 수술 시스템. - 제2항에 있어서,
제1 레이트에 따라 제1 가상 로봇 수술 기구의 움직임 레이트를 스케일링하는 것은 제1 가상 로봇 수술 기구의 제1 가상 움직임 레이트가 사용자 입력 커맨드 디바이스에서의 제1 수술 숙련도 레벨을 갖는 사용자로부터 수신된 사용자 입력 커맨드들에 의해 지시된 움직임 레이트와 매칭하게 하고,
제2 레이트에 따라 제1 가상 로봇 수술 기구의 움직임 레이트를 스케일링하는 것은 제1 가상 로봇 수술 기구의 제2 가상 움직임 레이트가 사용자 입력 커맨드 디바이스에서의 제2 수술 숙련도 레벨을 갖는 사용자로부터 수신된 사용자 입력 커맨드들에 의해 지시된 움직임 레이트와 매칭하게 하는, 가상 수술 시스템. - 제2항에 있어서,
제1 레이트에 따라 제1 가상 로봇 수술 기구의 움직임 레이트를 스케일링하는 것은 제1 가상 로봇 수술 기구의 제1 가상 움직임 레이트가 사용자 입력 커맨드 디바이스에서의 제1 수술 숙련도 레벨을 갖는 사용자로부터 수신된 사용자 입력 커맨드들에 의해 지시된 움직임 레이트와 매칭하게 하고,
제2 레이트에 따라 제1 가상 로봇 수술 기구의 움직임 레이트를 스케일링하는 것은 사용자 입력 커맨드 디바이스에서의 제2 수술 숙련도 레벨을 갖는 사용자로부터 수신된 사용자 입력 커맨드들에 의해 지시된 움직임 레이트보다 느린 제1 가상 로봇 수술 기구의 제2 가상 움직임 레이트를 야기하는, 가상 수술 시스템. - 제1항에 있어서,
가상 움직임 제어기는 제1 가상 로봇 수술 기구의 사용에서의 사용자의 제1 수술 숙련도 레벨에 적어도 부분적으로 기초한 제1 스케일링에 의해 제어 입력부의 움직임에 응답하여 제1 가상 로봇 수술 기구의 가상 움직임을 스케일링하도록 구성가능하고,
가상 움직임 제어기는 제1 가상 로봇 수술 기구의 사용에서의 사용자의 제2 숙련도 레벨에 적어도 부분적으로 기초한 제2 스케일링에 의해 제어 입력부의 움직임에 응답하여 제1 가상 로봇 수술 기구의 가상 움직임을 스케일링하도록 구성가능하고,
가상 움직임 제어기는 제1 가상 로봇 수술 기구의 사용에서의 사용자의 제3 숙련도 레벨에 적어도 부분적으로 기초한 제3 스케일링에 의해 사용자 입력 커맨드 디바이스의 움직임에 응답하여 제1 가상 로봇 수술 기구의 가상 움직임을 스케일링하도록 구성가능한, 가상 수술 시스템. - 제1항에 있어서,
사용자 디스플레이는 제어 입력부에 수신된, 수신된 사용자 입력 커맨드들을 제공하는 사용자의 제1 가상 로봇 수술 기구의 사용에서의 제1 숙련도 레벨에 적어도 부분적으로 기초하여 사용자 입력 커맨드들에 응답하여 제1 메시지를 디스플레이하도록 구성되어 있고,
가상 움직임 제어기는 제1 가상 로봇 수술 기구의 사용에서의 사용자의 제1 수술 숙련도 레벨에 적어도 부분적으로 기초한 제1 스케일링에 의해 제어 입력부의 움직임에 응답하여 제1 가상 로봇 수술 기구의 가상 움직임을 스케일링하도록 구성가능하고,
사용자 디스플레이는 제어 입력부에 수신된, 수신된 사용자 입력 커맨드들을 제공하는 사용자의 제2 가상 로봇 수술 기구의 사용에서의 제2 숙련도 레벨에 적어도 부분적으로 기초하여 사용자 입력 커맨드들에 응답하여 제2 메시지를 디스플레이하도록 구성되어 있고,
가상 움직임 제어기는 제2 가상 로봇 수술 기구의 사용에서의 사용자의 제2 숙련도 레벨에 적어도 부분적으로 기초한 제2 스케일링에 의해 제어 입력부의 움직임에 응답하여 제2 가상 로봇 수술 기구의 움직임을 스케일링하도록 구성가능한, 가상 수술 시스템. - 제1항에 있어서,
가상 움직임 제어기는 입력된 제어에서의 사용자 입력 커맨드들을 제공하는 사용자의 제1 수술 숙련도 레벨의 아이디(Identification)를 수신하도록 구성되어 있는, 가상 수술 시스템. - 제1항에 있어서,
사용자 디스플레이는 하나 이상의 가상 로봇 수술 기구의 사용에서의 사용자의 하나 이상의 대응하는 숙련도 레벨에 적어도 부분적으로 기초하여 사용자 입력 커맨드들에 응답하여 복수의 각자의 메시지 중 하나 이상을 디스플레이하도록 구성되어 있는, 가상 수술 시스템. - 가상 로봇 수술 기구를 포함하는 가상 수술 시스템을 조작하는 방법을 수행하도록 컴퓨터 프로세서를 구성하는 컴퓨터 프로그램 코드를 저장하는 메모리 디바이스로서,
상기 방법은
컴퓨터 프로세서를 사용하여, 사용자로부터의 사용자 입력 커맨드들을 제어 입력부의 물리적 움직임의 형태로 수신하여 가상 로봇 수술 기구의 움직을 제어하는 단계;
컴퓨터 프로세서를 사용하여, 사용자 입력 커맨드들을 제공하는 사용자의 로봇 수술 숙련도 레벨의 지시를 수신하는 단계; 및
컴퓨터 프로세서를 사용하여, 가상 로봇 수술 기구의 사용에서의 사용자의 숙련도 레벨에 적어도 부분적으로 기초하여 사용자 입력 커맨드들에 응답하여 가상 로봇 수술 기구의 움직임을 제어하는 단계
를 포함하는, 메모리 디바이스. - 제9항에 있어서,
상기 방법은
컴퓨터 프로세서를 사용하여, 사용자의 아이디를 수신하는 단계; 및
컴퓨터 프로세서를 사용하여, 식별된 가상 로봇 수술 기구의 사용에서의 식별된 사용자의 숙련도의 지시를 수신하는 단계
를 더 포함하는, 메모리 디바이스. - 제9항에 있어서,
가상 로봇 수술 기구의 움직임을 제어하는 단계는
컴퓨터 프로세서를 사용하여, 가상 로봇 수술 기구의 사용에서의 수신된 사용자 입력 커맨드들을 제공하는 사용자의 제1 수술 숙련도 레벨에 적어도 부분적으로 기초하여 제1 비율에 따라 제어 입력부의 움직임 레이트에 대한 가상 로봇 수술 기구의 가상 움직임 레이트를 스케일링하는 단계; 및
컴퓨터 프로세서를 사용하여, 가상 로봇 수술 기구의 사용에서의 수신된 사용자 입력 커맨드들을 제공하는 사용자의 제2 수술 숙련도 레벨에 적어도 부분적으로 기초하여 제2 비율에 따라 제어 입력부의 움직임 레이트에 대한 가상 로봇 수술 기구의 가상 움직임 레이트를 스케일링하는 단계
를 포함하는, 메모리 디바이스. - 제9항에 있어서,
상기 방법은
컴퓨터 프로세서를 사용하여, 제1 수술 기구의 사용에서의 사용자의 제1 숙련도 레벨의 지시를 수신하는 단계;
컴퓨터 프로세서를 사용하여, 제2 수술 기구의 사용에서의 사용자의 제2 숙련도 레벨의 지시를 수신하는 단계;
컴퓨터 프로세서를 사용하여, 제1 가상 로봇 수술 기구의 사용에서의 사용자의 제1 수술 숙련도 레벨에 적어도 부분적으로 기초한 제1 스케일링에 의해 제어 입력부의 움직임에 응답하여 제1 가상 로봇 수술 기구의 가상 움직임을 스케일링하는 단계;
컴퓨터 프로세서를 사용하여, 제2 가상 로봇 수술 기구의 사용에서의 사용자의 제2 숙련도 레벨에 적어도 부분적으로 기초한 제2 스케일링에 의해 제어 입력부의 움직임에 응답하여 제2 가상 로봇 수술 기구의 가상 움직임을 스케일링하는 단계
를 더 포함하는, 메모리 디바이스. - 제12항에 있어서,
상기 방법은
컴퓨터 프로세서를 사용하여, 제1 수술 기구의 사용에서의 사용자의 낮은 숙련도 레벨의 지시를 수신하는 단계; 및
컴퓨터 프로세서를 사용하여, 제2 수술 기구의 사용에서의 사용자의 정상 숙련도 레벨의 지시를 수신하는 단계
를 더 포함하고,
제1 스케일링에 의해 제1 가상 로봇 수술 기구의 움직임을 스케일링하는 단계는 제1 가상 로봇 수술 기구의 사용에서의 낮은 숙련도 레벨을 갖는 사용자에 의한 제1 가상 로봇 수술 기구의 사용 동안 제1 가상 로봇 수술 기구의 움직임을 사용자 입력 커맨드들에 의해 지시된 움직임 레이트보다 느린 제1 움직임 레이트로 조정하는 단계를 포함하는, 메모리 디바이스. - 제13항에 있어서,
제2 스케일링에 의해 제2 가상 로봇 수술 기구의 움직임을 스케일링하는 단계는 제2 가상 로봇 수술 기구의 사용에서의 정상 숙련도 레벨을 갖는 사용자에 의한 제2 가상 로봇 수술 기구의 사용 동안 제2 가상 로봇 수술 기구의 움직임을 사용자 입력 커맨드들에 의해 지시된 움직임 레이트와 매칭하는 제2 움직임 레이트로 조정하는 단계를 포함하는, 메모리 디바이스. - 제13항에 있어서,
제2 스케일링에 의해 제2 가상 로봇 수술 기구의 움직임을 스케일링하는 단계는 제2 가상 로봇 수술 기구의 사용에서의 정상 숙련도 레벨을 갖는 사용자에 의한 제2 가상 로봇 수술 기구의 사용 동안 제2 가상 로봇 수술 기구의 움직임을 사용자 입력 커맨드들에 의해 지시된 움직임 레이트보다 느린 제2 움직임 레이트로 조정하는 단계를 포함하는, 메모리 디바이스.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020247003670A KR20240018690A (ko) | 2016-11-11 | 2017-11-10 | 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662421072P | 2016-11-11 | 2016-11-11 | |
| US62/421,072 | 2016-11-11 | ||
| PCT/US2017/061136 WO2018089816A2 (en) | 2016-11-11 | 2017-11-10 | Teleoperated surgical system with surgeon skill level based instrument control |
| KR1020197016223A KR102523945B1 (ko) | 2016-11-11 | 2017-11-10 | 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197016223A Division KR102523945B1 (ko) | 2016-11-11 | 2017-11-10 | 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247003670A Division KR20240018690A (ko) | 2016-11-11 | 2017-11-10 | 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230003665A KR20230003665A (ko) | 2023-01-06 |
| KR102633401B1 true KR102633401B1 (ko) | 2024-02-06 |
Family
ID=62110057
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227044933A KR102633401B1 (ko) | 2016-11-11 | 2017-11-10 | 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템 |
| KR1020247003670A KR20240018690A (ko) | 2016-11-11 | 2017-11-10 | 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템 |
| KR1020197016223A KR102523945B1 (ko) | 2016-11-11 | 2017-11-10 | 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247003670A KR20240018690A (ko) | 2016-11-11 | 2017-11-10 | 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템 |
| KR1020197016223A KR102523945B1 (ko) | 2016-11-11 | 2017-11-10 | 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11931122B2 (ko) |
| EP (1) | EP3538012A4 (ko) |
| JP (2) | JP7073360B2 (ko) |
| KR (3) | KR102633401B1 (ko) |
| CN (1) | CN109996509B (ko) |
| WO (1) | WO2018089816A2 (ko) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11116587B2 (en) | 2018-08-13 | 2021-09-14 | Theator inc. | Timeline overlay on surgical video |
| EP3840685A1 (en) * | 2018-08-24 | 2021-06-30 | Intuitive Surgical Operations, Inc. | Off-camera calibration parameters for an image capture device |
| US11847936B2 (en) | 2018-11-15 | 2023-12-19 | Intuitive Surgical Operations, Inc. | Training users using indexed to motion pictures |
| BR112021016621A2 (pt) | 2019-02-21 | 2021-11-03 | Theator Inc | Sistemas e métodos para análise de vídeos cirúrgicos |
| US11452576B2 (en) | 2019-02-21 | 2022-09-27 | Theator inc. | Post discharge risk prediction |
| US11690690B2 (en) * | 2019-03-15 | 2023-07-04 | Cilag Gmbh International | Segmented control inputs for surgical robotic systems |
| JP2020162916A (ja) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | 制御装置及びマスタスレーブシステム |
| US11227686B2 (en) | 2020-04-05 | 2022-01-18 | Theator inc. | Systems and methods for processing integrated surgical video collections to identify relationships using artificial intelligence |
| CN114005022B (zh) * | 2021-12-30 | 2022-03-25 | 四川大学华西医院 | 一种手术器械使用的动态预测方法及系统 |
| WO2024194735A1 (en) * | 2023-03-22 | 2024-09-26 | Covidien Lp | Surgical robotic system and method for changing alert behavior based on surgeon experience |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100234857A1 (en) | 1998-11-20 | 2010-09-16 | Intuitve Surgical Operations, Inc. | Medical robotic system with operatively couplable simulator unit for surgeon training |
| US20120253360A1 (en) | 2011-03-30 | 2012-10-04 | University Of Washington | Motion and video capture for tracking and evaluating robotic surgery and associated systems and methods |
| JP2017528211A (ja) | 2014-08-22 | 2017-09-28 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | 適応入力マッピングのためのシステム及び方法 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0871072A (ja) | 1994-09-01 | 1996-03-19 | Olympus Optical Co Ltd | 手術用マニピュレータシステム |
| US20070172803A1 (en) | 2005-08-26 | 2007-07-26 | Blake Hannaford | Skill evaluation |
| US8079950B2 (en) | 2005-09-29 | 2011-12-20 | Intuitive Surgical Operations, Inc. | Autofocus and/or autoscaling in telesurgery |
| US8355818B2 (en) * | 2009-09-03 | 2013-01-15 | Battelle Energy Alliance, Llc | Robots, systems, and methods for hazard evaluation and visualization |
| JP4580973B2 (ja) | 2007-11-29 | 2010-11-17 | オリンパスメディカルシステムズ株式会社 | 処置具システム |
| JP2009142379A (ja) | 2007-12-12 | 2009-07-02 | Juki Corp | ミシン |
| DE102008036290A1 (de) | 2008-08-04 | 2010-02-11 | Olympus Medical Systems Corp. | Verfahren zum Ausüben einer Kraft auf eine Endoskopiekapsel |
| WO2010108128A2 (en) | 2009-03-20 | 2010-09-23 | The Johns Hopkins University | Method and system for quantifying technical skill |
| CN105342705A (zh) * | 2009-03-24 | 2016-02-24 | 伊顿株式会社 | 利用增强现实技术的手术机器人系统及其控制方法 |
| US8694968B2 (en) | 2009-12-30 | 2014-04-08 | Foneclay, Inc. | System for creating personalized and customized mobile devices |
| EP2636034A4 (en) * | 2010-11-04 | 2015-07-22 | Univ Johns Hopkins | SYSTEM AND METHOD FOR ASSESSING OR ENHANCING CAPACITIES IN NON-INVASIVE SURGERY |
| US8801710B2 (en) | 2010-12-07 | 2014-08-12 | Immersion Corporation | Electrosurgical sealing tool having haptic feedback |
| JP6169562B2 (ja) | 2011-05-05 | 2017-07-26 | ザ・ジョンズ・ホプキンス・ユニバーシティー | サンプルタスク軌跡を分析する、コンピュータで実現される方法、および、サンプルタスク軌跡を分析するシステム |
| US9770828B2 (en) * | 2011-09-28 | 2017-09-26 | The Johns Hopkins University | Teleoperative-cooperative robotic system |
| KR101876386B1 (ko) | 2011-12-29 | 2018-07-11 | 삼성전자주식회사 | 의료용 로봇 시스템 및 그 제어 방법 |
| KR101806195B1 (ko) * | 2012-07-10 | 2018-01-11 | 큐렉소 주식회사 | 수술로봇 시스템 및 수술로봇 제어방법 |
| US20140051049A1 (en) | 2012-08-17 | 2014-02-20 | Intuitive Surgical Operations, Inc. | Anatomical model and method for surgical training |
| DE102013100605A1 (de) * | 2013-01-22 | 2014-07-24 | Rg Mechatronics Gmbh | Robotersystem und Verfahren zum Steuern eines Robotersystems für die minimal invasive Chirurgie |
| CN203381739U (zh) | 2013-05-28 | 2014-01-08 | 中国科学院金属研究所 | 一种两轮自平衡电动车 |
| WO2015023513A1 (en) * | 2013-08-14 | 2015-02-19 | Intuitive Surgical Operations, Inc. | Endoscope control system |
| KR102306959B1 (ko) | 2013-09-04 | 2021-10-01 | 삼성전자주식회사 | 수술 로봇 및 수술 로봇 제어 방법 |
| CN203433729U (zh) | 2013-09-27 | 2014-02-12 | 淮阴师范学院 | 用于虚拟手术训练实现人机交互的手术刀接口装置 |
| EP4184483B1 (en) * | 2013-12-20 | 2024-09-11 | Intuitive Surgical Operations, Inc. | Simulator system for medical procedure training |
| WO2015164469A1 (en) | 2014-04-23 | 2015-10-29 | Abbott Medical Optics Inc. | System and apparatus for switch and foot pedal tap detection and filtering |
| FR3022147B1 (fr) * | 2014-06-12 | 2016-07-22 | Robocath | Module robotise d'entrainement d'organe medical souple allonge |
| WO2016053657A1 (en) | 2014-09-29 | 2016-04-07 | Covidien Lp | Dynamic input scaling for controls of robotic surgical system |
| WO2016097873A2 (en) * | 2014-12-19 | 2016-06-23 | Distalmotion Sa | Articulated handle for mechanical telemanipulator |
| WO2016133644A1 (en) * | 2015-02-20 | 2016-08-25 | Covidien Lp | Operating room and surgical site awareness |
| EP3294180B1 (en) * | 2015-05-15 | 2024-09-11 | MAKO Surgical Corp. | Systems for providing guidance for a robotic medical procedure |
| WO2017037705A1 (en) * | 2015-08-30 | 2017-03-09 | M.S.T. Medical Surgery Technologies Ltd | An intelligent surgical tool control system for laparoscopic surgeries |
| CN106054737A (zh) | 2016-07-19 | 2016-10-26 | 陈昊 | 基于光敏传感器的无人飞行器视觉识别装置及其使用方法 |
-
2017
- 2017-11-10 EP EP17869216.6A patent/EP3538012A4/en active Pending
- 2017-11-10 KR KR1020227044933A patent/KR102633401B1/ko active IP Right Grant
- 2017-11-10 WO PCT/US2017/061136 patent/WO2018089816A2/en unknown
- 2017-11-10 US US16/349,202 patent/US11931122B2/en active Active
- 2017-11-10 KR KR1020247003670A patent/KR20240018690A/ko active Application Filing
- 2017-11-10 JP JP2019521119A patent/JP7073360B2/ja active Active
- 2017-11-10 KR KR1020197016223A patent/KR102523945B1/ko active IP Right Grant
- 2017-11-10 CN CN201780073370.XA patent/CN109996509B/zh active Active
-
2022
- 2022-05-11 JP JP2022077991A patent/JP7504154B2/ja active Active
-
2024
- 2024-01-18 US US18/416,759 patent/US20240197421A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100234857A1 (en) | 1998-11-20 | 2010-09-16 | Intuitve Surgical Operations, Inc. | Medical robotic system with operatively couplable simulator unit for surgeon training |
| US20120253360A1 (en) | 2011-03-30 | 2012-10-04 | University Of Washington | Motion and video capture for tracking and evaluating robotic surgery and associated systems and methods |
| JP2017528211A (ja) | 2014-08-22 | 2017-09-28 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | 適応入力マッピングのためのシステム及び方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018089816A3 (en) | 2018-07-26 |
| EP3538012A4 (en) | 2020-07-15 |
| JP7504154B2 (ja) | 2024-06-21 |
| KR20230003665A (ko) | 2023-01-06 |
| JP7073360B2 (ja) | 2022-05-23 |
| JP2022105197A (ja) | 2022-07-12 |
| KR20240018690A (ko) | 2024-02-13 |
| CN109996509A (zh) | 2019-07-09 |
| KR102523945B1 (ko) | 2023-04-21 |
| CN109996509B (zh) | 2023-04-14 |
| US20240197421A1 (en) | 2024-06-20 |
| WO2018089816A2 (en) | 2018-05-17 |
| JP2019535364A (ja) | 2019-12-12 |
| US11931122B2 (en) | 2024-03-19 |
| US20190282312A1 (en) | 2019-09-19 |
| KR20190070357A (ko) | 2019-06-20 |
| EP3538012A2 (en) | 2019-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7503105B2 (ja) | 患者健康記録ベース器具制御を備える遠隔操作手術システム | |
| US11737841B2 (en) | Configuring surgical system with surgical procedures atlas | |
| KR102633401B1 (ko) | 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템 | |
| US20220160444A1 (en) | Teleoperated surgical system with surgical instrument wear tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |