KR20230082640A - 수술 로봇용 증강 현실 헤드셋 - Google Patents

수술 로봇용 증강 현실 헤드셋 Download PDF

Info

Publication number
KR20230082640A
KR20230082640A KR1020237014751A KR20237014751A KR20230082640A KR 20230082640 A KR20230082640 A KR 20230082640A KR 1020237014751 A KR1020237014751 A KR 1020237014751A KR 20237014751 A KR20237014751 A KR 20237014751A KR 20230082640 A KR20230082640 A KR 20230082640A
Authority
KR
South Korea
Prior art keywords
surgical
coordinate frame
robot system
surgical robot
component
Prior art date
Application number
KR1020237014751A
Other languages
English (en)
Inventor
티안유 송
블레이드 올슨
번하드 에이. 푸어스트
대니얼 퍼
Original Assignee
버브 서지컬 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 버브 서지컬 인크. filed Critical 버브 서지컬 인크.
Publication of KR20230082640A publication Critical patent/KR20230082640A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)

Abstract

수술 전에, 수술 동안에 또는 수술 후에 수술 로봇 시스템을 구성하거나, 작동시키거나 또는 문제 해결(troubleshoot)하는 데 있어서 착용자를 안내하기 위해 수술 로봇 시스템의 공간적, 시스템적 및 시간적 상황 정보를 착용자에게 제공하는 증강 현실(AR) 헤드셋이 개시된다. 공간적 상황 정보는 수술 로봇 시스템의 실제 위치 또는 배향과 일치하는 수술 로봇 시스템의 로봇 아암들, 기구들, 베드 및 다른 구성요소들의 공간적으로 고정된 3D-생성된 가상 모델들을 AR 헤드셋의 좌표 프레임에 디스플레이하도록 렌더링될 수 있다. AR 헤드셋은 수술 로봇 시스템의 구성요소들의 실시간 상태 정보를 수신하기 위해 수술 로봇 시스템과 통신할 수 있다. AR 헤드셋은 로봇 아암과 테이블을 이들의 목표 위치 및 배향으로 조작하는 것에 대해 또는 문제 해결 목적으로 상황 감응(context-sensitive) 사용자 인터페이스 정보, 예컨대 단서(tip), 제안, 시각적 또는 청각적 큐(cue)를 디스플레이하기 위해 실시간 상태 정보를 사용할 수 있다.

Description

수술 로봇용 증강 현실 헤드셋
본 기술은 일반적으로 로봇 공학 및 수술 시스템에 관한 것으로, 더 구체적으로는, 최소 침습 수술을 준비 또는 수행할 때 로봇-보조 수술 시스템의 수술 로봇 아암 또는 다른 구성요소를 셋업하기 위해 로봇-보조 수술 시스템의 사용자를 안내하는 증강 현실 헤드셋(augmented reality headset)에 관한 것이다.
복강경 수술과 같은 최소-침습 수술(MIS)은 수술적 시술(surgical procedure) 동안 조직 손상을 감소시키도록 의도된 기법을 수반한다. 예를 들어, 복강경 절차는 전형적으로 환자에(예컨대, 복부에) 다수의 작은 절개부를 생성하는 것, 및 하나 이상의 수술 도구(예컨대, 엔드 이펙터(end effector) 및 내시경)를 절개부를 통해 환자 내로 도입하는 것을 수반한다. 이어서 수술적 시술은 도입된 수술 도구를 사용하여 수행될 수 있으며, 이때 시각화 지원이 내시경에 의해 제공된다.
일반적으로, MIS는 감소된 환자 반흔 생성, 더 적은 환자 통증, 더 짧은 환자 회복 기간, 및 환자 회복과 연관된 더 낮은 의학적 치료 비용과 같은 다수의 이익을 제공한다. 최근의 기술 개발은 더 많은 MIS가 원격 조작자로부터의 명령에 기초하여 수술 도구를 조작하기 위한 하나 이상의 로봇 아암을 포함하는 로봇 시스템으로 수행될 수 있게 한다. 예를 들어, 로봇 아암은 그 원위 단부에서 다양한 장치들, 예컨대 수술 엔드 이펙터, 이미징 장치, 환자의 체강 및 장기에 대한 접근을 제공하기 위한 캐뉼러 등을 지지할 수 있다. 로봇 MIS 시스템에 있어서, 로봇 아암에 의해 지지되는 수술 기구에 대한 높은 위치 정확도를 확립하고 유지하는 것이 바람직할 수 있다.
의료 직원 및 요원은 전형적으로 수술 시작 전에 로봇 아암을 셋업한다. 중요하게는, 로봇 아암은 환자에 대해 정확한 자세(pose)에 있어야 하고; 그렇지 않으면, 합병증이 수술 동안 생길 수 있다. 로봇 아암 및 더 일반적으로 로봇 시스템의 셋업은 복잡하고 지루한 작업이며, 종종 수술용 로봇 아암의 자세를 적절하게 구성하는 방법에 대해 신규 수술실 직원을 훈련시키기 위해 광범위한 전문 교육 팀을 필요로 한다. 의료 직원은 또한 문제가 발생할 때 로봇 아암 또는 부착된 수술 도구의 셋업을 문제 해결(troubleshoot)해야 할 필요가 있을 수도 있다. 특히 시나리오가 드문 경우 문제 해결 방법에 대한 사전 훈련을 쉽게 잊어버릴 수 있다.
수술 중, 로봇 아암의 제어는 사용자로부터의 조작 또는 명령을 로봇 아암의 제어로 변환하는 하나 이상의 사용자 인터페이스 장치를 통한 사용자(예를 들어, 외과 의사 또는 다른 조작자)로부터의 제어 입력을 요구할 수 있다. 예를 들어, 사용자 명령에 응답하여, 하나 이상의 모터를 갖는 도구 구동기는 수술 도구가 환자 내의 수술 부위에 위치될 때 수술 도구의 1 이상의 자유도로 가동될 수 있다. 때때로 수술 동안, 예컨대 환자의 바이탈(vital)이 극적으로 떨어지는 경우, 의료 직원이 환자로부터 멀어지게 로봇 아암을 신속하게 이동시키는 것이 필요하다. 응급 상황에서 로봇 아암을 조작하는 방법에 대한 사전 훈련이 쉽게 잊어버릴 수 있는 경우 합병증이 생길 수 있다. 잘못된 로봇 아암을 이동시키는 것은 환자, 기타 장비 또는 베드옆 요원에게 심각한 피해를 유발할 수 있다.
이와 같이, 신규 사용자들에 대한 훈련의 복잡성을 완화하고, 전담 교육 팀의 고용 및 훈련 비용을 줄이고, 로봇 시스템 셋업에서의 지연을 방지하고, 문제 해결 또는 응급 시나리오 동안 사용자의 혼동으로부터 기인할 수 있는 참사를 제거하는 도구를 갖는 것이 바람직할 수 있다. 이 도구는 로봇-보조 수술을 준비하고 수행할 때 실수를 최소화하기 위해 의료 직원에 의해 사용될 수 있다.
외과 의사가 최소 침습 수술을 수행하도록 설계된 소프트웨어 제어식 전기-기계 시스템인 로봇-보조 수술 시스템(수술 로봇 시스템으로도 또한 지칭됨)을 셋업 및 작동시킬 때 의료 직원을 안내하기 위해 실시간 공간 및 상황 정보를 제공할 수 있는 증강 현실 헤드셋이 본 명세서에 개시되어 있다. 증강 현실 헤드셋은 수술 로봇 시스템의 공간적으로 고정된 3D-생성된 모델들 및 상황적으로 관련된 사용자 인터페이스 정보를 바이저(visor) 상으로 오버레이할 수 있다. 증강 현실 헤드셋의 착용자는 수술을 위해 로봇 아암과 같은 수술 로봇 시스템의 구성요소들을 준비하는 데 필요한 작업에 대한 직관적인 안내를 수신할 수 있다. 예를 들어, 착용자는 로봇 아암들의 위치 및 배향과 같은 공간 정보, 로봇 아암들의 아암 모드, 도구 유형, 도구 파지 상태 및 다른 실시간 정보와 같은 시스템 상태 정보, 및 로봇 아암들의 이동을 수행하기 위한 시간적 상황 정보를 수신할 수 있다.
증강 현실 헤드셋은 센서, 프로세서 및 디스플레이를 포함할 수 있다. 센서는 수술 로봇 시스템의 로봇 아암 또는 수술 테이블과 같은 구성요소의 이미지 데이터를 캡처할 수 있다. 프로세서는 이미지 데이터에 기초하여 증강 현실 장치와 수술 로봇 시스템 사이에 공통 좌표 프레임을 확립할 수 있다. 증강 현실 헤드셋은 수술 로봇 시스템의 공간 정보 및 실시간 시스템 상태 정보를 수신하기 위해 수술 로봇 시스템과 통신할 수 있다. 프로세서는 이미지 데이터가 취해진 구성요소와 동일하거나 상이한 구성요소일 수 있는 수술 로봇 시스템의 다른 구성요소의 3D 가상 모델을 생성할 수 있다. 3D 가상 모델은 수술 로봇 시스템의 공간 정보 및 실시간 시스템 상태 정보에 기초하여 그리고 증강 현실 장치와 수술 로봇 시스템 사이의 공통 좌표 프레임에 기초하여 증강 현실 헤드셋의 좌표 프레임에서 생성된다. 디스플레이는 구성요소의 3D 가상 모델을 증강 현실 헤드셋의 착용자에게 제시할 수 있다.
증강 현실 헤드셋이 수술 로봇 시스템과 상호작용하는 방법이 개시된다. 본 방법은 증강 현실 헤드셋이 수술 로봇 시스템의 아암 또는 수술 테이블과 같은 구성요소의 이미지 데이터를 캡처하는 단계를 포함한다. 본 방법은, 증강 현실 헤드셋에 의해 이미지 데이터에 기초하여, 증강 현실 헤드셋의 좌표 프레임에서 수술 로봇 시스템의 3D 위치 및 배향을 확립하는 단계를 또한 포함한다. 본 방법은 증강 현실 헤드셋에 의해 수술 로봇 시스템의 공간 정보 및 실시간 시스템 상태 정보를 수신하는 단계를 더 포함한다. 본 방법은, 증강 현실 헤드셋에 의해, 수술 로봇 시스템의 공간 정보 및 실시간 시스템 상태 정보에 기초하여 그리고 증강 현실 헤드셋의 좌표 프레임에서의 수술 로봇 시스템의 3D 위치 및 배향에 기초하여 증강 현실 헤드셋의 좌표 프레임에서 수술 로봇 시스템의 다른 구성요소의 3D 가상 모델을 생성하는 단계를 더 포함한다. 본 방법은 AR 장치의 좌표 프레임이 수술 로봇 시스템의 좌표 프레임에 대해 변할 때 증강 현실 헤드셋이 구성요소의 3D 가상 모델을 유지하는 단계를 더 포함한다.
첨부된 도면들이 본 발명의 더 나은 이해를 위해 본 기술의 다양한 태양들 및 실시예들에 대한 하기 설명과 함께 제공된다. 도면들 및 실시예들은 본 발명을 예시하는 것이며, 본 발명의 범주를 제한하도록 의도되지 않는다. 당업자는 여전히 본 발명의 범위 내에 속하는 다른 실시예들의 도면들을 생성하기 위해 도면들을 수정할 수 있는 것으로 이해된다.
도 1은 본 기술의 태양에 따른, 수술장에서의 예시적인 수술 로봇 시스템(1)의 회화도이다.
도 2는 본 기술의 태양에 따른, 이미지 센서들을 사용하여 증강 현실 헤드셋과 수술 로봇 시스템 사이에 공통 좌표 프레임을 설정하는 것에 기초하여 증강 현실 헤드셋이 수술 로봇 시스템의 구성요소들의 공간적, 시스템적 및 시간적 정보를 디스플레이하기 위한, 증강 현실 헤드셋과 수술 로봇 시스템 사이의 정보 교환을 도시한다.
도 3은 본 기술의 태양에 따른, 로봇 아암을 목표 자세로 이동시키는 데 있어서 의료 직원을 안내하기 위해 로봇 아암의 실제 자세 및 목표 자세를 보여주는 증강 현실 헤드셋에 의해 렌더링된 홀로그램(hologram)을 도시한다.
도 4는 본 기술의 태양에 따른, 로봇 아암을 실제 자세로부터 목표 자세로 이동시키는 데 있어서 의료 직원을 안내하기 위해 증강 현실 헤드셋에 렌더링된 바와 같은 중간 지점(waypoint)들을 생성하는 데 사용될 수 있는 로봇 아암의 실제 자세 및 목표 자세를 도시한다.
도 5는 본 기술의 태양에 따른, 의료 직원이 로봇 아암을 위치시키는 것을 돕기 위해 로봇 아암 및 부착된 내시경의 작업공간(workspace)을 하이라이팅(highlight)하는, 증강 현실 헤드셋에 의해 렌더링된 홀로그램을 도시한다.
도 6은 본 기술의 태양에 따른, 고정 기준 마커(fiduciary marker)들을 사용하여 증강 현실 헤드셋과 수술 로봇 시스템 사이에 공통 좌표 프레임을 설정하는 것에 기초하여 증강 현실 헤드셋이 수술 로봇 시스템의 구성요소들의 공간적, 시스템적 및 시간적 정보를 디스플레이하기 위한, 증강 현실 헤드셋과 수술 로봇 시스템 사이의 정보 교환을 도시한다.
도 7은 본 기술의 태양에 따른, 증강 현실 헤드셋 및 수술 로봇 시스템의 예시적인 하드웨어 구성요소들을 예시하는 블록도이다.
도 8은 본 기술의 태양에 따른, 증강 현실 헤드셋과 수술 로봇 시스템 사이의 공통 좌표 프레임을 확립하는, 그리고 구성요소들 및 시스템 정보를 가상 이미지들로서 렌더링하기 위해 증강 현실 헤드셋으로 수술 로봇 시스템의 구성요소들의 공간적, 시스템적 및 시간적 정보를 전송하기 위한, 증강 현실 헤드셋과 정보를 교환하는 수술 로봇 시스템의 방법을 예시하는 흐름도이다.
도 9는 본 기술의 태양에 따른, 고정 기준 마커들을 사용하여 증강 현실 헤드셋과 수술 로봇 시스템 사이의 공통 좌표 프레임을 확립하는, 그리고 이미지를 렌더링하기 위해 수술 로봇 시스템의 구성요소들의 공간적, 시스템적 및 시간적 정보를 수신하기 위한, 증강 현실 헤드셋의 방법을 예시하는 흐름도이다.
본 기술의 다양한 태양 및 변형의 예가 본 명세서에 기술되고 첨부 도면에 예시된다. 하기 설명은 본 발명을 이들 실시예로 제한하도록 의도되는 것이 아니라, 오히려 당업자가 본 발명을 제조 및 사용하는 것을 가능하게 하도록 의도된다.
수술 전에, 수술 동안에 또는 수술 후에 수술 로봇 시스템을 구성 및 문제 해결함에 있어서 착용자를 안내하기 위해 수술 로봇 시스템의 구성요소들의 공간적, 시스템적 및 시간적 상황 정보를 착용자에게 제공하는 증강 현실(AR) 헤드셋이 개시된다. 공간적 상황 정보는 수술 로봇 시스템의 실시간 실제 위치 또는 배향과 일치하는 수술 로봇 시스템의 로봇 아암들, 기구들, 베드들 및 다른 구성요소들의 공간적으로 고정된 3D-생성된 가상 모델들을 AR 헤드셋의 좌표 프레임에 디스플레이하도록 렌더링될 수 있다. 동시적 위치 추정 및 매핑(simultaneous localization and mapping; SLAM) 알고리즘은 AR 헤드셋의 위치 및 배향을 위치 추정하기 위해 AR 헤드셋 상에서 실행될 수 있어, 착용자가 수술실 내에서 이동할 때 수술 로봇 시스템의 실제 위치 및 배향을 유지하도록 수술 로봇 시스템의 가상 모델들이 렌더링된다. 일 실시예에서, 로봇 아암의 원하는 또는 목표로 하는 위치 및 배향을 나타내는 가상 모델들이 로봇 아암의 실제 위치 및 배향을 오버레이하도록 렌더링될 수 있다. 가상 모델들은 로봇 아암을 현재 위치 및 배향으로부터 목표 위치 및 배향으로 이동시키기 위해 AR 헤드셋의 착용자를 안내하는 데 사용될 수 있다.
AR 헤드셋은 수술 로봇 시스템의 구성요소들의 실시간 상태 정보를 수신하기 위해 수술 로봇 시스템과 또한 통신할 수 있다. AR 헤드셋은 이 상태 정보를 사용하여, 수술 로봇 시스템을 구성하거나, 작동시키거나 또는 문제 해결하는 데 있어서 착용자를 안내하기 위해 상황-감응 사용자 인터페이스 정보를 디스플레이할 수 있다. 일 실시예에서, 수술 로봇 시스템의 상태 정보에는 로봇 아암의 관절 각도, 도구 유형, 도구 파지 상태, 활성 도구 에너지, 아암 모드, 문제 해결 코드 등이 포함될 수 있다. 일 실시예에서, 상태 정보에는 베드의 위치, 배향, 각도, 작동 모드 등이 포함될 수 있다. AR 헤드셋은 로봇 아암을 장애물, 환자, 베드 또는 다른 로봇 아암들에 부딪히지 않고서 목표 위치로 로봇식으로 안내하기 위해 자동화된 시퀀스(sequence)를 수동으로 운전 또는 실행하는 방법에 대한 단서(tip), 제안, 시각적 또는 청각적 큐(cue) 등을 디스플레이할 수 있다.
도 1은 본 기술의 태양에 따른, 수술장에서의 예시적인 수술 로봇 시스템(1)의 회화도이다. 로봇 시스템(1)은 사용자 콘솔(2), 컨트롤 타워(3), 및 수술 로봇 플랫폼(5), 예컨대 테이블, 베드 등에서의 하나 이상의 수술 로봇 아암(4)을 포함한다. 시스템(1)은 환자(6)에 대해 수술을 수행하는 데 사용되는 임의의 개수의 장치, 도구, 또는 액세서리를 포함할 수 있다. 예를 들어, 시스템(1)은 수술을 수행하는 데 사용되는 하나 이상의 수술 도구(7)를 포함할 수 있다. 수술 도구(7)는 수술적 시술을 실행하기 위한, 수술 아암(4)의 원위 단부에 부착된 엔드 이펙터일 수 있다.
각각의 수술 도구(7)는 수술 동안 수동으로, 로봇식으로, 또는 이들 둘 모두로 조작될 수 있다. 예를 들어, 수술 도구(7)는 환자(6)의 내부 해부학적 구조에 들어가거나, 그것을 관찰하거나, 조작하는 데 사용되는 도구일 수 있다. 실시예에서, 수술 도구(7)는 환자의 조직을 파지할 수 있는 파지기(grasper)이다. 수술 도구(7)는 베드옆 조작자(8)에 의해 수동으로 제어될 수 있거나; 또는 그것이 부착되는 수술 로봇 아암(4)의 가동된 움직임을 통해 로봇식으로 제어될 수 있다. 로봇 아암(4)은 테이블-장착식 시스템으로서 도시되지만, 다른 구성에서 아암(4)은 카트(cart), 천장 또는 측벽에, 또는 다른 적합한 구조적 지지물에 장착될 수 있다.
대체적으로, 외과 의사 또는 다른 사람과 같은 원격 조작자(9)가 사용자 콘솔(2)을 사용하여 아암(4)들 및/또는 부착된 수술 도구(7)들을 원격으로 조작할 수 있다(예를 들어, 원격조작). 사용자 콘솔(2)은, 도 1에 도시된 바와 같이, 시스템(1)의 나머지 부분과 동일한 수술실에 위치될 수 있다. 그러나, 다른 환경에서, 사용자 콘솔(2)은 인접한 또는 부근의 방 안에 위치될 수 있거나, 그것은 원격 위치에, 예를 들어 상이한 건물, 도시, 또는 나라에 있을 수 있다. 사용자 콘솔(2)은 좌석(10), 발-작동식 제어부(13), 하나 이상의 핸드헬드 사용자 입력 장치(UID)(14), 및 예를 들어 환자(6) 내부의 수술 부위의 뷰(view)를 디스플레이하도록 구성된 적어도 하나의 사용자 디스플레이(15)를 포함할 수 있다. 예시적인 사용자 콘솔(2)에서, 원격 조작자(9)는 아암(4) 및 (아암(4)의 원위 단부 상에 장착된) 수술 도구(7)를 원격으로 제어하기 위해 발-작동식 제어부(13) 및 핸드헬드 UID(14)를 조작하면서 좌석(10)에 앉아 사용자 디스플레이(15)를 관찰하고 있다.
몇몇 변형에서, 베드옆 조작자(8)가 또한 "베드 위"(over the bed) 모드에서 시스템(1)을 동작시킬 수 있으며, 여기서 베드옆 조작자(8)(사용자)는 이제 환자(6)의 옆에 있고, 예를 들어 핸드헬드 UID(14)를 한 손에 쥔 채로, 로봇-구동식 도구(아암(4)에 부착된 바와 같은 엔드 이펙터)를, 그리고 수동 복강경 도구를 동시에 조작하고 있다. 예를 들어, 베드옆 조작자의 왼손은 로봇 구성요소를 제어하기 위해 핸드헬드 UID를 조작하고 있을 수 있는 반면, 베드옆 조작자의 오른손은 수동 복강경 도구를 조작하고 있을 수 있다. 이에 따라, 이러한 변형에서, 베드옆 조작자(8)는 환자(6)에 대해 로봇-보조식 최소 침습 수술 및 수동 복강경 수술 둘 모두를 수행할 수 있다.
예시적인 시술(수술) 동안, 환자(6)는 마취를 달성하기 위해 멸균 방식으로 수술 준비되고 드레이핑된다(draped). 수술 부위에 대한 초기 접근은 로봇 시스템(1)의 아암이 (수술 부위에 대한 접근을 용이하게 하기 위해) 격납된(stowed) 구성 또는 인출된(withdrawn) 구성에 있는 동안 수동으로 수행될 수 있다. 일단 접근이 완료되면, 그의 아암(4)을 포함하는 로봇 시스템(1)의 초기 위치설정 또는 준비가 수행될 수 있다. 예를 들어, 사용자 콘솔(2)에 있는 원격 조작자(9) 또는 베드옆 조작자(8)는 수술 전 셋업 동안 핸드헬드 UID(14)들을 사용하여 아암(4)을 격납된 구성으로부터 환자(6) 위의 준비 위치로 이동시킬 수 있다. 대안적으로, 테이블(5)을 직접적으로 볼 수 있는 외과 의사 또는 베드옆 요원은 본 명세서에 개시된 AR 헤드셋을 착용하여 아암(4)을 이동시키는 것에 대한 안내를 받을 수 있다. 예를 들어, AR 헤드셋은 아암(4)의 실제 격납된 구성의 가상 이미지, 원하는 준비 위치의 가상 이미지, 및 현재의 격납된 구성으로부터 준비 위치로 아암(4)을 이동시키는 방법에 대해 외과 의사 또는 베드옆 요원을 안내하기 위한 일련의 중간 지점들을 렌더링할 수 있다.
다음으로, 사용자 콘솔(2)에 있는 원격 조작자(9)가 수술을 수행하기 위해 발-작동식 제어부(13) 및 UID(14)를 이용하여 다양한 엔드 이펙터 및 아마도 이미징 시스템을 조작하여 수술이 진행된다. 조직을 후퇴시키는 것, 수동 재배치를 수행하는 것, 및 로봇 아암(4)들 중 하나 이상에 대한 도구 교환과 같은 작업들을 수행할 수 있는 멸균 가운을 입은 베드옆 요원, 예를 들어 베드옆 조작자(8)에 의해 수동 지원이 시술 침대 또는 테이블(5)에서 또한 제공될 수 있다. 사용자 콘솔(2)에 있는 원격 조작자(9)를 보조하기 위해 비-멸균 요원이 또한 존재할 수 있다. 시술 또는 수술이 완료될 때, 시스템(1) 및 사용자 콘솔(2)은 세정 또는 멸균, 및 사용자 콘솔(2)을 통한 건강관리 기록 입력 또는 인쇄와 같은 수술 후 절차를 용이하게 하는 상태로 구성되거나 설정될 수 있다. 수술 동안 또는 수술 후 시술 동안, 베드옆 요원은 아암(4)의 수동 또는 자동화된 재배치를 수행하는 데 있어서 안내를 수신하기 위해 본 명세서에 개시된 AR 헤드셋을 착용할 수 있다.
일 실시예에서, 원격 조작자(9)는 로봇 시스템(1) 내의 로봇 아암 액추에이터(17)를 움직이게 하기 위한 입력 명령을 제공하기 위해 UID(14)를 쥐고 움직이게 한다. UID(14)는, 예를 들어 콘솔 컴퓨터 시스템(16)을 통해, 로봇 시스템(1)의 나머지에 통신 가능하게 결합될 수 있다. UID(14)는 UID(14)의 움직임, 예컨대 UID의 핸드헬드 하우징의 위치 및 배향에 대응하는 공간 상태 신호를 생성할 수 있고, 공간 상태 신호는 로봇 아암 액추에이터(17)의 운동을 제어하기 위한 입력 신호일 수 있다. 로봇 시스템(1)은 액추에이터(17)의 비례 운동을 제어하기 위해 공간 상태 신호로부터 도출된 제어 신호를 사용할 수 있다. 일 실시예에서, 콘솔 컴퓨터 시스템(16)의 콘솔 프로세서는 공간 상태 신호를 수신하고 대응하는 제어 신호를 생성한다. 아암(4)의 세그먼트 또는 링크를 움직이게 하기 위해 액추에이터(17)가 어떻게 동력을 공급받는지를 제어하는 이러한 제어 신호에 기초하여, 아암에 부착된 대응하는 수술 도구의 움직임은 UID(14)의 움직임을 모방할 수 있다. 유사하게, 원격 조작자(9)와 UID(14) 사이의 상호작용은 예컨대 수술 도구(7)의 파지기의 조오(jaw)로 하여금 폐쇄되어 환자(6)의 조직을 파지하게 하는 파지 제어 신호를 생성할 수 있다.
수술 로봇 시스템(1)은 여러 개의 UID(14)들을 포함할 수 있으며, 여기서 각자의 제어 신호들은 각자의 아암(4)의 액추에이터들 및 수술 도구(엔드 이펙터)를 제어하는 각각의 UID에 대해 생성된다. 예를 들어, 원격 조작자(9)는 좌측 로봇 아암에 있는 액추에이터(17)의 운동을 제어하기 위해 제1 UID(14)를 움직이게 할 수 있으며, 여기서 액추에이터는 그 아암(4) 내의 링크 장치, 기어 등을 움직이게 함으로써 응답한다. 유사하게, 원격 조작자(9)에 의한 제2 UID(14)의 움직임은 다른 액추에이터(17)의 운동을 제어하며, 이는 결국 로봇 시스템(1)의 다른 링크 장치, 기어 등을 움직이게 한다. 로봇 시스템(1)은 환자의 우측에서 침대 또는 테이블(5)에 고정되는 우측 아암(4), 및 환자의 좌측에 있는 좌측 아암(4)을 포함할 수 있다. 액추에이터(17)는 아암(4)의 관절의 회전을 구동하여, 예를 들어 그 아암에 부착된 수술 도구(7)의 내시경 또는 파지기의 배향을, 환자에 대해, 변경하도록 제어되는 하나 이상의 모터를 포함할 수 있다. 동일한 아암(4) 내의 여러 개의 액추에이터(17)의 운동은 특정한 UID(14)로부터 생성된 공간 상태 신호에 의해 제어될 수 있다. UID(14)들은 또한 각자의 수술 도구 파지기들의 운동을 제어할 수 있다. 예를 들어, 각각의 UID(14)는 환자(6) 내의 조직을 파지하기 위해 수술 도구(7)의 원위 단부에 있는 파지기의 조오를 개방하거나 폐쇄하는 액추에이터, 예컨대 선형 액추에이터의 운동을 제어하기 위한 각자의 파지 신호를 생성할 수 있다.
몇몇 태양에서, 플랫폼(5)과 사용자 콘솔(2) 사이의 통신은 컨트롤 타워(3)를 통해 이루어질 수 있으며, 이 컨트롤 타워는 사용자 콘솔(2)로부터(그리고 더 구체적으로는 콘솔 컴퓨터 시스템(16)으로부터) 수신된 사용자 명령들을 로봇 플랫폼(5) 상의 아암(4)에 송신되는 로봇 제어 명령들로 변환할 수 있다. 컨트롤 타워(3)는 또한 플랫폼(5)으로부터 다시 사용자 콘솔(2)로 상태 및 피드백을 송신할 수 있다. 로봇 플랫폼(5), 사용자 콘솔(2), 및 컨트롤 타워(3) 사이의 통신 접속은 다양한 데이터 통신 프로토콜 중 임의의 적합한 것을 사용하여 유선 및/또는 무선 링크를 통해 이루어질 수 있다. 임의의 유선 접속이 선택적으로 수술실의 바닥 및/또는 벽 또는 천장에 구축될 수 있다. 로봇 시스템(1)은 수술실 내의 디스플레이뿐만 아니라 인터넷 또는 다른 네트워크를 통해 액세스 가능한 원격 디스플레이를 포함한, 하나 이상의 디스플레이에 비디오 출력을 제공할 수 있다. 비디오 출력 또는 피드(feed)는 또한 프라이버시를 보장하기 위해 암호화될 수 있고, 비디오 출력의 전부 또는 부분이 서버 또는 전자 건강관리 기록 시스템에 저장될 수 있다.
수술 로봇 시스템(1)을 이용한 수술을 개시하기 전에, 수술 팀은 수술 전 셋업을 수행할 수 있다. 수술 전 셋업 동안, 수술 로봇 시스템의 주요 구성요소(테이블(5) 및 로봇 아암(4)들, 컨트롤 타워(3), 및 사용자 콘솔(2))이 수술실 내에 위치되고, 연결되고, 전력을 공급받는다. 테이블(5) 및 로봇 아암(4)들은 보관 및/또는 운송 목적을 위해 아암(4)들이 테이블(5) 아래에 있는 완전하게 격납된 구성에 있을 수 있다. 수술 팀은 멸균 드레이핑을 위해 아암들을 그들의 격납된 위치로부터 연장시킬 수 있다. 드레이핑 후에, 아암(4)들은 사용을 위해 필요할 때까지 부분적으로 후퇴될 수 있다. 투관침(trocar) 배치 및 취입(insufflation)을 포함하는 다수의 통상적인 복강경 단계가 수행될 필요가 있을 수 있다. 예를 들어, 각각의 슬리브(sleeve)가 폐색구의 도움으로, 작은 절개부 내로 그리고 체벽을 통해 삽입될 수 있다. 슬리브 및 폐색구는 배치 동안의 손상의 위험을 최소화하기 위해 삽입 동안 조직 층의 시각화를 위한 광학적 진입을 허용한다. 전형적으로 다른 투관침의 배치를 위한 핸드헬드 카메라 시각화를 제공하기 위해 내시경이 맨 먼저 배치된다. 취입 후에, 요구되는 경우, 손으로 임의의 복강경 단계를 수행하기 위해 수동 기구가 슬리브를 통해 삽입될 수 있다.
다음에, 수술 팀은 로봇 아암(4)들을 환자 위에 위치시키고 각각의 아암을 그의 대응하는 슬리브에 부착할 수 있다. 일 실시예에서, 대응하는 슬리브 또는 도구에 안전하게 부착되도록 아암(4)을 조작하기 위한 안내는 수술 팀의 구성원에 의해 착용된 AR 헤드셋에 의해 제공될 수 있다. AR 헤드셋은 아암(4)들의 목표 위치 및 배향의 가상 이미지와, 아암(4)들을 그들의 현재 위치 및 배향으로부터 목표 위치 및 배향으로 조작하기 위한 일련의 중간 지점들을 렌더링할 수 있다. 수술 로봇 시스템(1)은 각각의 도구(내시경 및 수술 기구)가 부착되자마자 그것을 고유하게 식별하고, 사용자 콘솔(2)에 있는 개방형 또는 몰입형 디스플레이(15) 및 컨트롤 타워(3) 상의 터치스크린 디스플레이 상에 도구 유형 및 아암 위치를 디스플레이하는 능력을 갖는다. 대응하는 도구 기능이 인에이블되며, 마스터 UID(14) 및 풋 페달(13)을 사용하여 활성화될 수 있다. 환자측 보조원은 시술 전체에 걸쳐, 요구되는 바에 따라, 도구를 부착하고 분리할 수 있다. 사용자 콘솔(2)에 착석한 외과 의사는 2개의 마스터 UID(14) 및 풋 페달(13)에 의해 제어되는 도구를 사용하여 수술을 수행하기 시작할 수 있다. 시스템은 외과 의사의 손, 손목 및 손가락 움직임을 마스터 UID(14)를 통해 수술 도구의 정밀한 실시간 움직임으로 변환한다. 따라서, 시스템은 외과 의사의 모든 수술 조작을 끊임없이 모니터링하고, 시스템이 외과 의사의 손 동작을 정확하게 반영할 수 없는 경우 기구 이동을 일시 정지시킨다. 내시경이 수술 동안 하나의 아암으로부터 다른 아암으로 이동되는 경우에, 시스템은 기구 정렬을 위해 마스터 UID(14)를 조정하고 기구 제어 및 움직임을 계속할 수 있다. 풋 페달(13)은, 외과 의사의 손이 마스터 UID(116)로부터 제거되는 것을 수반함이 없이, 단극 및 양극 소작(cautery)을 포함하는 다양한 기구 기능 및 내시경 제어와 같은, 다양한 시스템 모드를 활성화하는 데 사용될 수 있다.
테이블(5)은 수술 중에 재배치될 수 있다. 안전상의 이유로, 모든 도구 팁들은 보이는 곳에, 그리고 사용자 콘솔(2)에 있는 외과 의사에 의한 능동적 제어 하에 있어야 한다. 외과 의사의 능동 제어 하에 있지 않은 기구는 제거되어야 하고, 테이블 풋(table foot)은 로킹되어야 한다. 테이블 움직임 동안, 통합 로봇 아암(4)은 테이블 움직임을 수동적으로 따를 수 있다. 청각적 및 시각적 큐들이 테이블 움직임 동안 수술 팀을 안내하는 데 사용될 수 있다. 청각적 큐들은 톤(tone) 및 음성 프롬프트(voice prompt)를 포함할 수 있다. 사용자 콘솔(2) 및 컨트롤 타워(3)에 있는 디스플레이 상의 시각적 메시징(messaging)은 테이블 움직임 상태를 수술 팀에 알릴 수 있다.
도 2는 본 기술의 태양에 따른, 이미지 센서들을 사용하여 증강 현실(AR) 헤드셋과 수술 로봇 시스템 사이에 공통 또는 글로벌 좌표 프레임을 설정하는 것에 기초하여 AR 헤드셋이 수술 로봇 시스템의 구성요소들의 공간적, 시스템적 및 시간적 정보를 디스플레이하기 위한, AR 헤드셋과 수술 로봇 시스템 사이의 정보 교환을 도시한다. AR 헤드셋은 실제 장면 물체(real scene object)들의 색상 및 깊이(depth) 정보를 캡처하는 하나 이상의 카메라들을 가질 수 있다. 예를 들어, AR 헤드셋은 AR 헤드셋의 착용자의 관점에서 수술 로봇 시스템(1)의 아암(4) 및 테이블(5)의 색상 이미지들 및 깊이 이미지 정보를 캡처하기 위한 RGB 및 깊이(RGBD) 센서들을 가질 수 있다. 따라서, AR 헤드셋에 의해 캡처된 RGBD 이미지는 AR 헤드셋의 좌표 프레임에 기초한 실제 장면 아암(4)들 및 테이블(5)의 이미지이다. 일 실시예에서, AR 헤드셋은 아암(4)들 및 테이블(5)을 인식하기 위해 물체 인식 알고리즘을 실행할 수 있다. 수술 로봇 시스템(1)은 아암(4)들 및 테이블(5)의 구성의 색상 이미지들 및 깊이 정보를 캡처하기 위해 다양한 위치들에 설치된 일 조의 RGBD 센서들을 가질 수 있다. 따라서, 수술 로봇 시스템(1)에 의해 캡처된 RGBD 이미지들은 수술 로봇 시스템(1)의 좌표 프레임에 기초한 아암(4)들 및 (5)의 이미지들이다. AR 헤드셋이 아암(4)들 및 테이블(5)의 실시간 실제 장면 위치 및 배향과 일치되는 아암(4)들 및 테이블(5)의 가상 재현(recreation)을 렌더링하거나 또는 아암(4)들 및 테이블(5)의 실시간 실제 장면 위치 및 배향과 융합될 수 있는 아암(4)들 및 테이블(5)의 가상 이미지를 렌더링하기 위해, 공통 좌표 프레임이 AR 헤드셋과 수술 로봇 시스템(1) 사이에 확립될 수 있다. 일 실시예에서, 수술 로봇 시스템(1)은 수술 로봇 시스템(1) 또는 환자의 아암(4)들 및 테이블(5)의 이미지 및 다른 정보를 캡처하기 위한 적외선 센서들과 같은 다른 유형의 센서들을 가질 수 있다.
AR 헤드셋은 포인트 클라우드(point cloud)로도 지칭되는 RGBD 이미지를 컨트롤 타워(3)와 같은 수술 로봇 시스템(1)으로 전송하여 포인트 클라우드를 분석하는 데 도움을 요청할 수 있다. 수술 로봇 시스템(1)은 AR 헤드셋으로부터의 분석된 포인트 클라우드, 수술 로봇 시스템(1)에 의해 캡처된 RGBD 이미지, 및 아암(4)들 및 테이블(5)의 위치 및 배향 정보를 기술하는 실시간 데이터 스트림을 처리하여, AR 헤드셋의 좌표 프레임에서 아암(4)들 및 테이블(5)의 3D 위치 및 배향을 인식하고 이들을 가상으로 확립할 수 있다. 따라서, 수술 로봇 시스템(1)은 AR 헤드셋과 수술 로봇 시스템(1) 사이에 공통 또는 글로벌 좌표 프레임을 확립할 수 있다. 공통 좌표 프레임에 기초하여, 수술 로봇 시스템(1)은 AR 헤드셋으로 정보를 전송하여, AR 헤드셋이 아암(4)들 및 테이블(5)의 실제 위치 및 배향과 일치하는 그들의 3D 가상 모델을 생성하거나 또는 아암(4)들 및 테이블(5)의 실시간 실제 장면 위치 및 배향과 융합될 수 있는 그들의 3D 가상 모델을 생성할 수 있다. 수술 로봇 시스템(1)은 글로벌 좌표 프레임을 AR 헤드셋으로 전송할 수 있다.
수술 로봇 시스템(1)이 AR 헤드셋으로 전송하는 정보에는 아암(4)들 및 테이블(5)의 위치 및 배향의 실시간 정보, AR 헤드셋으로부터 수신된 포인트 클라우드의 분석된 결과, 수술 로봇 시스템(1)의 구성요소들 또는 수술실의 3D 메시 모델, 수술 로봇 시스템(1)의 실시간 시스템 상태 정보 등이 포함될 수 있다. 일 실시예에서, 실시간 시스템 상태 정보에는 아암(4)들의 관절 각도 및 회전 각도, 아암(4)들에 부착된 도구들의 유형, 도구 파지 상태, 활성 도구 에너지, 아암 모드(예를 들어, 격납된 구성, 준비 자세, 클러치 모드, 원격조작 제어 등), 문제 해결 에러 코드 등이 포함될 수 있다. 수술 로봇 시스템(1)으로부터 수신된 정보를 사용하여, AR 헤드셋은 수술 로봇 시스템(1)의 아암(4)들 및 테이블(5) 또는 다른 구성요소들의 또는 수술실의 가상 이미지들을 렌더링하여, AR 헤드셋의 좌표 프레임에서 RGBD 센서들에 의해 캡처된 실제 장면 물체들과 융합될 수 있게 한다.
동시적 위치 추정 및 매핑(SLAM) 알고리즘은 AR 헤드셋의 위치 및 배향을 위치 추정하기 위해 AR 헤드셋 상에서 실행될 수 있어, 착용자가 수술실 내에서 이동할 때 수술 로봇 시스템(1)의 구성요소들의 가상 위치 및 배향을 유지하도록 그들의 가상 이미지들이 공간적으로 고정된다. 예를 들어, 아암(4)들 및 테이블(5)의 가상 재현은 AR 헤드셋의 좌표 프레임이 수술 로봇 시스템(1)의 좌표 프레임에 대해 변할 때 아암(4)들 및 테이블(5)의 실시간 실제 장면 위치 및 배향과 일치할 수 있다. 수술 로봇 시스템(1)으로부터 수신된 상태 정보를 사용하여 수술 로봇 시스템(1)의 실시간 공간 정보를 렌더링하는 것에 더하여, AR 헤드셋은 RGBD 센서들 및 컴퓨터 비전 알고리즘(computer vision algorithm)이 검출할 수 없는 수술 로봇 시스템(1)의 실시간 시스템 정보를 렌더링할 수 있다. AR 헤드셋에 의해 제공되는 수술 로봇 시스템(1)의 공간적, 시스템적, 및 시간적 상황 정보 감응 정보는 수술 전에, 수술 동안 또는 수술 후에 수술 로봇 시스템(1)을 구성하거나, 작동시키거나 또는 문제 해결하는 데 있어서 착용자를 안내하기 위해 사용될 수 있다.
도 3은 본 기술의 태양에 따른, 로봇 아암을 목표 자세로 이동시키는 데 있어서 의료 직원을 안내하기 위해 로봇 아암의 실제 자세 및 목표 자세를 보여주는 증강 현실 헤드셋에 의해 렌더링된 홀로그램을 도시한다. 로봇 아암은 멸균 드레이핑을 위한 드레이핑 자세로 연장될 수 있다. AR 헤드셋은 드레이핑 자세에서 아암(라벨링된 실제 아암)의 실시간 위치 및 배향을 일치시키기 위해 그의 가상 이미지를 재현할 수 있다. 일 실시예에서, AR 헤드셋은 RGBD 센서에 의해 캡처된 실제 장면 아암을 투영할 수 있다. 아암을 투관침에 도킹하기 위한 조작에서와 같이 수술 전 셋업 동안 아암을 환자 위에서 제조 자세로 이동시키는 것이 바람직하다.
AR 헤드셋은 제조 자세에서 아암의 목표 위치 및 배향에 대해 수술 로봇 시스템으로부터 정보를 수신하여, AR 헤드셋이 제조 자세에서 아암(라벨링된 가상 아암)의 가상 이미지를 렌더링할 수 있다. 실제 아암의 이미지 및 가상 아암의 이미지는 AR 헤드셋의 좌표 프레임이 착용자의 움직임으로 인해 변할 때 그들의 상대 자세를 유지할 수 있다. 일 실시예에서, 아암이 현재의 드레이핑 자세로부터 준비 자세로 로봇식으로 이동되고자 하는 경우, AR 헤드셋은 아암을 이동시키기 위한 로봇 제어 알고리즘에 의해 생성된 궤적에 대해 수술 로봇 시스템으로부터 정보를 수신할 수 있다. AR 헤드셋은 아암이 드레이핑 자세로부터 준비 자세로 궤적을 따라 로봇 제어 알고리즘에 의해 안내될 때 아암의 일련의 가상 이미지들을 생성할 수 있다. AR 헤드셋을 착용한 베드옆 요원은, 아암을 이동시키기 위해 수술 로봇 시스템이 로봇 제어 알고리즘을 실행하도록 명령하기 전에 잠재적인 장애물들에 의해 방해받지 않는 궤적을 따라 아암이 이동할 수 있음을 확인할 수 있다.
일 실시예에서, 아암이 제조 자세로 수동으로 이동되고자 하는 경우, AR 헤드셋은 다른 장애물, 환자, 베드옆 요원, 테이블, 다른 아암들 등을 피하기 위해 아암을 이동시키기 위한 권장된 궤적에 대해 수술 로봇 시스템으로부터 정보를 수신할 수 있다. AR 헤드셋은 아암을 이동시키는 방법에 대해 베드옆 요원을 안내하기 위해 일련의 중간 지점들을 생성할 수 있다. 중간 지점들은 아암을 로봇식으로 이동할 때와 같이 아암의 일련의 가상 이미지들로서 렌더링될 수 있다. 베드옆 요원은 아암을 조작하여, 권장된 궤적을 따라 아암의 가상 이미지들과 정렬하고 최종적으로 목표 자세로 정렬시킬 수 있다.
도 4는 본 기술의 태양에 따른, 로봇 아암을 실제 자세로부터 목표 자세로 이동시키는 데 있어서 의료 직원을 안내하기 위해 증강 현실 헤드셋에 렌더링된 바와 같은 중간 지점들을 생성하는 데 사용될 수 있는 로봇 아암의 실제 자세 및 목표 자세를 도시한다. 현재 자세(309)의 아암은 가상 이미지로서 렌더링되거나 RGBD 센서에 의해 캡처된 실제 장면 물체로서 투영될 수 있다. 아암은 또한 그 목표 자세의 가상 아암(311)으로서 렌더링된다. 아암은 궤적(310)을 따라 가상 아암(311)의 목표 자세로 이동될 것이다. AR 헤드셋은 현재 자세(309)의 아암과 동일한 고정/장착 지점에서 가상 아암(311)을 렌더링하여, 실제 및 가상 로봇 아암들에 공통 고정 기준 지점을 제공할 수 있다. 일 실시예에서, AR 헤드셋은 궤적(310)을 일련의 중간 지점들 또는 아암의 일련의 가상 이미지들로서 렌더링할 수 있다. AR 헤드셋을 착용한 베드옆 요인은 아암이 목표 위치의 가상 아암(311)과 최종적으로 정렬될 때까지 아암을 궤적(310)의 가상 이미지들과 정렬되도록 또는 중간 지점들을 따라 현재 자세(309)로부터 조작할 수 있다. 아암이 목표 자세에 또는 그 허용 오차 내에 있는 경우, AR 헤드셋은 예컨대 아암을 하이라이팅함으로써 사용자에게 표시로써 응답할 수 있다. 또한, AR 헤드셋은 사용자가 궤적(310)을 따라 아암을 조작하는 것을 돕기 위해 시각적 큐를 렌더링하거나 또는 청각적 큐를 생성할 수 있다.
일 실시예에서, AR 헤드셋은 사용자가 아암을 다른 아암들에게 방해가 되지 않게 이동시키도록 안내하는 상황 감응(context-sensitive) 정보를 제공할 수 있다. 예를 들어, 수술 전에 또는 수술 중에, 외과 의사가 수술을 위한 3개의 아암을 단지 사용하는 경우, AR 헤드셋은 베드옆 요원이 제4 아암을 준비 또는 사전 도킹 자세로부터 분리하여 이 아암을 3개의 다른 아암들과 베드(5)부터 멀어지게 안전하게 이동시키기 위해 제4 아암 상에 "자유 아암 움직임"(free arm movement) 버튼을 하이라이팅할 수 있다.
일 실시예에서, AR 헤드셋은 수술 도구들이 아암(4)들에 정확하게 연결되었는지 여부에 대한 정보 및 다른 상황 감응 문제 해결 정보를 제공할 수 있다. 예를 들어, AR 헤드셋은 아암(4)들에 부착된 도구들의 유형 및 도구들이 부착된 아암(4)들의 식별에 대해 수술 로봇 시스템(1)으로부터 시스템 상태 정보를 수신할 수 있다. 도구가 아암에 적절하게 부착되었을 때, AR 헤드셋은 도구가 작동 중인 것을 사용자에게 시각적으로 나타내기 위해 아암 또는 도구를 청색으로 하이라이팅할 수 있다. 아암 또는 이 아암에 부착된 도구가 청색으로 하이라이팅되지 않거나 적색으로 하이라이팅되는 경우, 사용자는 부정확하게 부착된 도구를 문제 해결하도록 경고를 받는다. 일 실시예에서, AR 헤드셋은 사용자가 문제를 진단하는 것을 돕기 위해 문제 해결 코드들을 디스플레이하거나 또는 청각적 안내를 생성할 수 있다.
일 실시예에서, AR 헤드셋은 응급 상황들을 처리하는 방법에 대해 베드옆 요원에게 안내를 제공할 수 있다. 예를 들어, 환자의 바이탈이 극적으로 떨어지고 치료 처치 대책을 가능하게 하기 위해 로봇 아암(4)들이 환자로부터 멀어지게 신속히 이동되어야 하는 경우, AR 헤드셋은 베드옆 요원에 긴급한 안내를 제공할 수 있다. AR 헤드셋은 도구를 해제하고, 아암(4)들을 도킹 위치로부터 분리하고, 아암(4)들을 환자로부터 멀어지게 조작하는 작동 시퀀스에 대해 수술 로봇 시스템(1)으로부터 명령을 수신할 수 있다. AR 헤드셋은 아암(4)들의 버튼들을 하이라이팅하는 것, 텍스트를 디스플레이하는 것, 또는 환자, 다른 장비 또는 베드옆 요원에게 손상을 유발하지 않으면서 아암(4)들을 신속하게 이동시키는 방법에 대한 다른 유형의 시각적 또는 청각적 명령을 제공하는 것과 같은 상황 감응 실시간 정보를 사용하여 작동 시퀀스를 통해 베드옆 요원을 안내할 수 있다. 따라서, AR 헤드셋은 베드옆 요원이 잊어버렸을 수 있는 응급 시술에 대한 안내를 제공하여, 응급 상황에서 사용자의 혼동 또는 실수로부터 기인할 수 있는 참사를 제거할 수 있다.
일 실시예에서, AR 헤드셋은 아암(4)들 및 이 아암(4)에 부착된 도구들의 작업공간에 대한 정보를 제공하는 것과 같은 현재 자세의 영향을 보여줄 수 있다. AR 헤드셋은 아암(4)들 또는 도구들이 현재 위치되어 있거나 배향되어 있는 때의 아암(4)들 및 도구들의 최대 및 최소 적용 범위(reach)에 대한 정보를 수술 로봇 시스템(1)으로부터 수신할 수 있다. AR 헤드셋은 베드옆 요원이 아암(4) 또는 도구를 더 정밀하게 위치시키는 것을 돕도록 작업공간 체적의 이미지를 렌더링할 수 있다. 일 실시예에서, AR 헤드셋은 수술 로봇 시스템(1)으로부터 환자의 3D 스캔(scan)을 수신할 수 있다. AR 헤드셋은 3D 스캔에 기초하여 투관침의 이미지를 렌더링하여 베드옆 요원이 아암을 투관침과 도킹하게 위치시키도록 안내할 수 있다.
도 5는 본 기술의 태양에 따른, 의료 직원이 로봇 아암을 위치시키는 것을 돕기 위해 로봇 아암 및 부착된 내시경의 작업공간을 하이라이팅하는, AR 헤드셋에 의해 렌더링된 홀로그램을 도시한다. 홀로그램은 수술에 대한 시작 위치를 셋업할 때 카메라 시각화를 제공하기 위해 아암 및 내시경을 위치시키는 데 있어서 사용자를 안내할 수 있다. 홀로그램은 내시경의 위치 및 배향에 대한 카메라로부터의 시야각 및 비디오 스트림을 디스플레이할 수 있다.
도 6은 본 기술의 태양에 따른, 고정 기준 마커들을 사용하여 증강 현실 헤드셋과 수술 로봇 시스템 사이에 공통 좌표 프레임을 설정하는 것에 기초하여 증강 현실 헤드셋이 수술 로봇 시스템의 구성요소들의 공간적, 시스템적 및 시간적 정보를 디스플레이하기 위한, 증강 현실 헤드셋과 수술 로봇 시스템 사이의 정보 교환을 도시한다. 도 2의 수술 로봇 시스템(1)과는 대조적으로, 도 6의 수술 로봇 시스템(1)에는 AR 헤드셋과 수술 로봇 시스템(1) 사이에 공통 좌표 프레임을 확립하기 위해 헤드셋의 RGBD 센서로부터 포인트 클라우드로 분석될 수 있는 수술 로봇 시스템(1)의 이미지들을 캡처하기 위한 일 조의 RGBD 센서들이 결여되어 있다.
대신에, AR 헤드셋의 좌표 프레임에서 아암(4)들 및 테이블(5)의 위치 및 배향 정보를 확립하기 위해, AR 헤드셋은 베드(5) 상에서 하나 이상의 미리 결정된 고정 기준 마커들을 캡처할 수 있다. 일 실시예에서, 기준 마커들은 QR 코드들일 수 있다. 기준 마커들의 위치는 수술 로봇 시스템(1)의 좌표 프레임에 기초하여 알려질 수 있다. 수술 로봇 시스템(1)의 좌표 프레임에서의 기준 마커들의 고정 위치에 대한 지식에 기초하여 AR 헤드셋의 좌표 프레임에서의 기준 마커들의 RGBD 이미지들을 분석함으로써, AR 헤드셋은 AR 헤드셋과 수술 로봇 시스템(1) 사이에 공통 좌표 프레임을 확립할 수 있다. 일 실시예에서, AR 헤드셋은 기준 마커들의 포인트 클라우드를 수술 로봇 시스템(1)에 전송하여, 수술 로봇 시스템(1)이 공통 좌표 프레임을 확립할 수 있게 한다. 일 실시예에서, AR 헤드셋은 수술 로봇 시스템(1)의 RGBD 이미지들에 대해 물체 인식 알고리즘을 실행하여 아암(4)들 및 테이블(5)을 인식할 수 있다. 일 실시예에서, 수술 로봇 시스템(1)은 도 2의 일 조의 RGBD 센서들 및 고정 기준 마커들 둘 모두를 가질 수 있다. 기준 마커들의 이미지들 및 AR 헤드셋의 RGBD 센서에 의해 캡처된 아암(4)들 및 테이블(5)의 이미지들은 수술 로봇 시스템(1)의 RGBD 센서들에 의해 캡처된 이미지들과 동시에 분석되어 AR 헤드셋과 수술 로봇 시스템(1) 사이에 공통 좌표 프레임을 확립할 수 있다.
일단 공통 좌표 프레임이 확립되면, 수술 로봇 시스템(1)은 AR 헤드셋으로 정보를 전송하여, AR 헤드셋이 아암(4)들 및 테이블(5)의 실시간 위치 및 배향과 일치하는 그들의 3D 가상 모델들을 생성하거나 또는 아암(4)들 및 테이블(5)의 실시간 실제 장면 위치 및 배향과 융합될 수 있는 그들의 3D 가상 모델들을 생성할 수 있다. 일 실시예에서, 수술 로봇 시스템(1)은 아암(4)들 및 테이블(5)의 위치 및 배향의 실시간 정보, 수술 로봇 시스템(1)의 구성요소들 또는 수술실의 3D 메시 모델, 수술 로봇 시스템(1)의 실시간 시스템 상태 정보 등을 AR 헤드셋으로 전송할 수 있다.
AR 헤드셋 상에서 실행되는 SLAM 알고리즘은 AR 헤드셋의 좌표 프레임이 수술 로봇 시스템(1)에 대해 변할 때 수술 로봇 시스템(1)의 아암(4)들, 테이블(5) 및 다른 구성요소들의 가상 위치 및 배향을 위치 추정할 수 있다. AR 헤드셋은 수술 로봇 시스템(1)으로부터 수신된 실시간 정보에 기초하여 아암(4)들 및 테이블(5)의 상황 감응 정보를 렌더링할 수 있다. 상황 감응 정보는 수술 전에, 수술 동안 또는 수술 후에 수술 로봇 시스템(1)을 구성하거나, 작동시키거나 또는 문제 해결하는 데 있어서 착용자를 안내하기 위해 아암(4)들 및 테이블(5)에 대해 위치될 수 있다.
AR 헤드셋은 웹 포털(Web portal)(예를 들어, 브라우저)과 같은 다른 특징들을 제공할 수 있고, 케이스 셋업(case setup), 외과 의사 선호도 카드(preference card), 기구 수명, 문서화, 문서화를 위한 내시경의 스냅샷, 문서화를 위한 환자들의 사진, 환자 데이터 등과 같은 정보를 디스플레이할 수 있다. 다른 특징들에는 마이크로폰, 스피커, 후방 대면 웹캠을 사용하는 원격회의(teleconferencing); 지문 판독기 및/또는 NFC 카드 판독기를 사용하는 사용자 인증, 연결부들의 신호 강도를 모니터링하고 인터페이스 장치가 너무 멀리 떨어져 있을 때 경보를 트리거하기 위해 블루투스 및 WiFi를 사용하는 컨트롤 타워에 대한 인터페이스 장치의 범위 검출이 포함될 수 있다.
도 7은 본 기술의 태양에 따른, AR 헤드셋(60) 및 수술 로봇 시스템의 예시적인 하드웨어 구성요소들을 예시하는 블록도이다. 수술 로봇 시스템은 수술 로봇(80) 및 컨트롤 타워(70)를 포함할 수 있다. 수술 로봇 시스템은 다른 또는 추가적인 하드웨어 구성요소들을 포함할 수 있고, 따라서, 도면은 시스템 아키텍처에 대한 제한이 아니라 예로서 제공된다.
AR 헤드셋(60)은 카메라(51), 센서(52), 디스플레이(53), 사용자 명령 인터페이스(54), 프로세서(55), 메모리(56) 및 네트워크 인터페이스(57)를 포함한다. 카메라(51) 및 센서(52)는 수술 로봇 시스템의 컬러 이미지들 및 깊이 이미지 정보를 캡처하기 위한 RGBD 센서들로서 구성될 수 있다. 카메라(51) 및 센서(52)에 의해 캡처된 이미지들 또는 AR 헤드셋(60)에 의해 렌더링된 가상 이미지들은 디스플레이(53) 상에 투영될 수 있다.
프로세서(55)는 이미지 처리 알고리즘을 실행하여 카메라(51) 및 센서(52)에 의해 캡처된 이미지들을 처리하고 아암(4)들 또는 베드(5)와 같은 수술 로봇(80)의 구성요소를 자동으로 식별하도록 구성될 수 있다. 일 실시예에서, 수술 로봇 시스템(예를 들어, 컨트롤 타워(70))으로부터 수신된 실시간 시스템 상태 정보 및 AR 헤드셋(60)과 수술 로봇(80) 사이의 공통 좌표 프레임에 기초하여, 프로세서(55)는 수술 로봇(80)의 구성요소들의 실제 위치 및 배향과 일치하는 그들의 3D 가상 모델들을 생성하거나 또는 수술 로봇(80)의 구성요소들의 실시간 실제 장면 위치 및 배향과 융합될 수 있는 그들의 3D 가상 모델들을 생성하도록 구성될 수 있다. 일 실시예에서, 프로세서(55)는 AR 헤드셋(60)의 좌표 프레임이 수술 로봇(80)의 좌표 프레임에 대해 변할 때 수술 로봇(80)의 구성요소들의 가상 위치 및 배향을 위치 추정하도록 SLAM 알고리즘을 실행할 수 있다. 프로세서(55)는 인터페이스 장치(50)의 작동을 제어하기 위해 운영 체제를 실행하도록 구성될 수 있다. 메모리(56)는 이미지 처리 알고리즘, 가상 이미지 렌더링 알고리즘, SLAM 알고리즘, 운영 체제, 프로그램 코드, 및 프로세서(55)에 의해 사용되는 다른 데이터 메모리를 저장할 수 있다.
사용자 명령 인터페이스(54)는 웹 포털과 같은 다른 특징들을 위한 인터페이스를 포함할 수 있다. 하드웨어 구성요소들은 버스(bus)를 통해 통신할 수 있다. 인터페이스 장치는 네트워크 인터페이스(57)를 사용하여 외부 인터페이스(58)를 통해 수술 로봇 시스템과 통신할 수 있다. 외부 인터페이스(58)는 무선 또는 유선 인터페이스일 수 있다.
컨트롤 타워(70)는 터치스크린 디스플레이, 외과 의사에 의한 기구의 로봇-보조 조작을 제어하는 컴퓨터, 수술 로봇(80)과 AR 헤드셋(60) 사이의 공통 좌표 프레임을 확립하기 위한 컴퓨터, 안전 시스템, 그래픽 사용자 인터페이스(GUI), 광원, 및 비디오 및 그래픽 컴퓨터를 수용하는 이동식 의료 현장 카트(point-of-care cart)일 수 있다. 컨트롤 타워(70)는 적어도 시각화 컴퓨터, 제어 컴퓨터, 및 보조 컴퓨터를 포함할 수 있는 중앙 컴퓨터(71), 팀 디스플레이 및 간호사 디스플레이를 포함할 수 있는 다양한 디스플레이(73)들, 및 컨트롤 타워(70)를 AR 헤드셋(60) 및 수술 로봇(80) 둘 모두에 결합하는 네트워크 인터페이스(78)를 포함할 수 있다. 컨트롤 타워(70)는 또한 진보된 광 엔진(72), 전기수술 발전기 유닛(ESU)(74), 및 취입기 및 CO2 탱크(75)들과 같은 제3자 장치들을 수용할 수 있다. 컨트롤 타워(70)는 간호사 디스플레이 터치스크린, 소프트 파워 및 E-홀드 버튼, 비디오 및 스틸(still) 이미지를 위한 사용자를 향하는 USB, 및 전자 캐스터 제어 인터페이스와 같은, 사용자 편의를 위한 추가 특징부를 제공할 수 있다. 보조 컴퓨터는 또한 실시간 리눅스를 실행하여, 로깅/모니터링 및 클라우드-기반 웹 서비스와의 상호작용을 제공할 수 있다.
수술 로봇(80)은 환자의 목표 해부학적 구조 위에 위치될 수 있는 복수의 통합 아암(82)들을 갖는 관절식 수술 테이블(84)을 포함한다. 일 조의 호환 가능한 도구(83)들이 아암(82)들의 원위 단부에 부착되거나 그로부터 분리될 수 있어, 외과 의사가 다양한 수술적 시술들을 수행하는 것을 가능하게 할 수 있다. 수술 로봇(80)은 또한 아암(82)들, 수술 테이블(84), 및 도구(83)들의 수동 제어를 위한 제어 인터페이스(85)를 포함할 수 있다. 제어 인터페이스(85)는 원격 제어부들, 버튼들, 패널들, 및 터치스크린들과 같은, 그러나 이로 제한되지 않는, 품목들을 포함할 수 있다. 투관침들(슬리브들, 밀봉 카트리지, 및 폐색구들) 및 드레이프들과 같은 다른 액세서리들이 또한 시스템으로 시술들을 수행하기 위해 조작될 수 있다. 일 실시예에서, 복수의 아암(82)들은 수술 테이블(84)의 양 측면들에 장착된 4개의 아암들을 포함할 수 있으며, 이때 2개의 아암들이 각각의 측면에 있다. 소정의 수술적 시술에 대해, 수술 테이블(84)의 일 측면 상에 장착된 아암은 쭉 펴서 수술 테이블(84) 및 타 측면 상에 장착된 아암들 아래로 건너가게 함으로써 수술 테이블(84)의 타 측면 상에 위치될 수 있으며, 이 결과 총 3개의 아암들이 수술 테이블(84)의 동일 측면 상에 위치된다. 수술 도구는 또한 테이블 컴퓨터(81) 및 네트워크 인터페이스(88)를 포함할 수 있으며, 이는 수술 로봇(80)이 컨트롤 타워(70)와 통신하게 할 수 있다.
도 8은 본 기술의 태양에 따른, AR 헤드셋과 수술 로봇 시스템 사이의 공통 좌표 프레임을 확립하는, 그리고 구성요소들 및 시스템 정보를 가상 이미지들로서 렌더링하기 위해 AR 헤드셋으로 수술 로봇 시스템의 구성요소들의 공간적, 시스템적 및 시간적 정보를 전송하기 위한, AR 헤드셋과 정보를 교환하는 수술 로봇 시스템의 방법을 예시하는 흐름도(800)이다. 수술 로봇 시스템은 도 2, 도 6 또는 도 7의 수술 로봇 시스템일 수 있다.
블록(801)에서, 수술 로봇 시스템은 AR 헤드셋에 의해 캡처된 이미지 데이터를 수신한다. 일 실시예에서, 이미지 데이터는 AR 헤드셋의 RGBD 센서들에 의해 캡처된 수술 로봇 시스템의 아암들 및 테이블의 RGBD 이미지 데이터일 수 있다. 이미지 데이터는 AR 헤드셋의 좌표 프레임에 기초한다.
블록(803)에서, 수술 로봇 시스템은 수술 로봇 시스템에 의해 캡처된 이미지 데이터를 수신한다. 일 실시예에서, 이미지 데이터는 수술 로봇 시스템의 RGBD 센서들에 의해 캡처된 수술 로봇 시스템의 아암들 및 테이블의 RGBD 이미지 데이터일 수 있다. 이미지 데이터는 수술 로봇 시스템의 좌표 프레임에 기초한다.
블록(805)에서, 수술 로봇 시스템은 AR 헤드셋으로부터의 이미지 데이터 및 수술 로봇 시스템에 의해 캡처된 이미지 데이터에 기초하여 AR 헤드셋과 수술 로봇 시스템 사이에 공통 좌표 프레임을 확립한다. 일 실시예에서, 수술 로봇 시스템은 AR 헤드셋의 좌표 프레임에 기초하는 AR 헤드셋으로부터의 아암들 및 테이블의 이미지 데이터, 수술 로봇 시스템의 좌표 프레임에 기초하는 수술 로봇 시스템에 의해 캡처된 아암들 및 테이블의 이미지 데이터, 및 아암들 및 테이블의 위치 및 배향 정보를 기술하는 실시간 데이터 스트림을 처리하여, AR 헤드셋의 좌표 프레임에서 아암들 및 테이블의 3D 위치 및 배향을 인식하고 이들을 가상으로 확립할 수 있다.
블록(807)에서, 수술 로봇 시스템은 AR 헤드셋에 공통 좌표 프레임에 기초하여 수술 로봇 시스템의 실시간 정보를 전송하여, AR 헤드셋의 좌표 프레임에서 수술 로봇 시스템의 구성요소들의 3D 가상 모델을 AR 헤드셋이 생성할 수 있게 한다. 일 실시예에서, 수술 로봇 시스템의 실시간 정보에는 아암들 및 테이블의 위치 및 배향의 실시간 정보, AR 헤드셋으로부터 수신된 이미지 데이터의 분석된 결과, 수술 로봇 시스템의 구성요소들의 3D 메시 모델, 수술 로봇 시스템의 실시간 시스템 상태 정보 등이 포함될 수 있다. 일 실시예에서, 수술 로봇 시스템의 실시간 시스템 상태 정보에는 아암들의 관절 각도 및 회전 각도, 아암들에 부착된 도구들의 유형, 도구 파지 상태, 활성 도구 에너지, 아암 모드, 문제 해결 에러 코드 등이 포함될 수 있다. AR 헤드셋은 아암들 및 테이블의 실제 위치 및 배향과 일치하는 그들의 3D 가상 모델들, 아암들 및 테이블의 실시간 실제 장면 위치 및 배향과 융합될 수 있는 그들의 목표 위치 및 배향의 3D 가상 모델들, 또는 아암들 및 테이블에 대한 상황 감응 정보를 생성할 수 있다.
수술 로봇 시스템에 의해 AR 헤드셋에 전송된 공통 좌표 프레임에 기초한 수술 로봇 시스템의 실시간 정보는 AR 헤드셋의 좌표 프레임이 수술 로봇 시스템에 대해 변할 때 아암들 및 테이블과 같은 수술 로봇 시스템의 구성요소들의 위치 및 배향을 유지하기 위해 AR 헤드셋에 의해 사용될 수 있다. 일 실시예서, SLAM 알고리즘은 AR 헤드셋의 위치 및 배향을 위치 추정하기 위해 AR 헤드셋 상에서 실행될 수 있어, 착용자가 수술실 내에서 이동할 때 수술 로봇 시스템의 구성요소들의 가상 위치 및 배향을 유지하도록 그들의 가상 이미지들이 공간적으로 고정된다. 예를 들어, 아암들 및 테이블의 가상 재현은 AR 헤드셋의 좌표 프레임이 수술 로봇 시스템의 좌표 프레임에 대해 변할 때 아암들 및 테이블의 실시간 실제 장면 위치 및 배향과 일치할 수 있다.
도 9는 본 기술의 태양에 따른, AR 헤드셋과 수술 로봇 시스템 사이의 공통 좌표 프레임을 확립하는, 그리고 구성요소들 및 시스템 정보를 가상 이미지들로서 렌더링하기 위해 수술 로봇 시스템의 구성요소들의 공간적, 시스템적 및 시간적 정보를 수신하기 위한 AR 헤드셋의 방법(900)을 예시하는 흐름도이다. AR 헤드셋은 도 2, 도 6 또는 도 7의 AR 헤드셋일 수 있다.
블록(901)에서, AR 헤드셋은 수술 로봇 시스템의 이미지 데이터를 캡처한다. 일 실시예에서, 이미지 데이터는 AR 헤드셋의 RGBD 센서들에 의해 캡처된 수술 로봇 시스템의 아암들 및 테이블의 RGBD 이미지 데이터일 수 있다. 일 실시예에서, 이미지 데이터는 수술 로봇 시스템 상에 디스플레이된 미리 결정된 고정 기준 마커들(예를 들어, QR 코드들)의 RGBD 이미지 데이터일 수 있다. 이미지 데이터는 AR 헤드셋의 좌표 프레임에 기초한다.
블록(903)에서, AR 헤드셋은 캡처된 이미지 데이터에 기초하여 AR 헤드셋의 좌표 프레임에서 수술 로봇 시스템의 3D 위치 및 배향을 확립한다. AR 헤드셋 및 수술 로봇 시스템에 대한 글로벌 좌표 프레임은 수술 로봇 시스템의 가상 구성요소들이 AR 헤드셋의 좌표 프레임에서 생성되거나 렌더링되도록 확립될 수 있다. 일 실시예에서, AR 헤드셋은 수술 로봇 시스템의 아암들 및 테이블의 RGBD 이미지 데이터를 수술 로봇 시스템으로 전송할 수 있다. 수술 로봇 시스템은 AR 헤드셋의 좌표 프레임에 기초하는 AR 헤드셋으로부터의 아암들 및 테이블의 이미지 데이터, 수술 로봇 시스템의 좌표 프레임에 기초하는 수술 로봇 시스템에 의해 캡처된 아암들 및 테이블의 이미지 데이터, 및 아암들 및 테이블의 위치 및 배향 정보를 기술하는 실시간 데이터 스트림에 기초하여 AR 헤드셋과 수술 로봇 시스템 사이의 공통 좌표 프레임을 확립할 수 있다.
일 실시예에서, AR 헤드셋은 수술 로봇 시스템의 좌표 프레임에서의 기준 마커들의 고정 위치에 대한 지식에 기초하여 AR 헤드셋의 좌표 프레임에서의 기준 마커들의 RGBD 이미지들을 분석하여 AR 헤드셋과 수술 로봇 시스템 사이에 공통 좌표 프레임을 확립할 수 있다.
블록(905)에서, AR 헤드셋은 수술 로봇 시스템의 실시간 정보를 수술 로봇 시스템으로부터 수신한다. 일 실시예에서, 수술 로봇 시스템의 실시간 정보에는 아암들 및 테이블의 위치 및 배향의 실시간 정보, AR 헤드셋으로부터 수신된 이미지 데이터의 분석된 결과, 수술 로봇 시스템의 구성요소들의 3D 메시 모델, 수술 로봇 시스템의 실시간 시스템 상태 정보 등이 포함될 수 있다. 일 실시예에서, 수술 로봇 시스템의 실시간 시스템 상태 정보에는 아암들의 관절 각도 및 회전 각도, 아암들에 부착된 도구들의 유형, 도구 파지 상태, 활성 도구 에너지, 아암 모드, 문제 해결 에러 코드 등이 포함될 수 있다. 일 실시예에서, 수술 로봇 시스템이 AR 헤드셋과 수술 로봇 시스템 사이에 공통 좌표 프레임을 확립하는 경우, 수술 로봇 시스템으로부터 수신된 정보는 수술 로봇 시스템에 의해 AR 헤드셋의 좌표 프레임으로 변환되었을 수 있다. 일 실시예에서, AR 헤드셋이 기준 마커들을 사용하여 AR 헤드셋과 수술 로봇 시스템 사이에 공통 좌표 프레임을 확립하는 경우, 수술 로봇 시스템으로부터 수신된 정보는 수술 로봇 시스템의 좌표 프레임에 있을 수 있다. AR 헤드셋은 공통 좌표 프레임에 기초하여 수술 로봇 시스템의 좌표 프레임으로부터 AR 헤드셋의 좌표계로 정보를 변환할 수 있다.
블록(907)에서, AR 헤드셋은 수신된 정보에 기초하여 AR 헤드셋의 좌표 프레임에서 수술 로봇 시스템의 구성요소들의 3D 가상 모델을 생성할 수 있다. 일 실시예에서, AR 헤드셋은 아암들 및 테이블의 실제 위치 및 배향과 일치하는 그들의 3D 가상 모델들, 아암들 및 테이블의 실시간 실제 장면 위치 및 배향과 융합될 수 있는 그들의 목표 위치 및 배향의 3D 가상 모델, 또는 아암들 및 테이블에 대한 다른 상황 감응 정보를 생성할 수 있다. 일 실시예에서, 상황 감응 정보는 수술 전에, 수술 동안 또는 수술 후에 수술 로봇 시스템을 구성하거나, 작동시키거나 또는 문제 해결하는 데 있어서 착용자를 안내하기 위해 아암들 및 테이블(5)에 대해 위치될 수 있다.
블록(909)에서, AR 헤드셋은 AR 헤드셋의 좌표 프레임이 수술 로봇 시스템에 대해 변할 때 아암들 및 테이블과 같은 수술 로봇 시스템의 구성요소들의 위치 및 배향을 유지한다. 일 실시예서, SLAM 알고리즘은 AR 헤드셋의 위치 및 배향을 위치 추정하기 위해 AR 헤드셋 상에서 실행될 수 있어, 착용자가 수술실 내에서 이동할 때 수술 로봇 시스템의 구성요소들의 가상 위치 및 배향을 유지하도록 그들의 가상 이미지들이 공간적으로 고정된다. 예를 들어, 아암들 및 테이블의 가상 재현은 AR 헤드셋의 좌표 프레임이 수술 로봇 시스템의 좌표 프레임에 대해 변할 때 아암들 및 테이블의 실시간 실제 장면 위치 및 배향과 일치할 수 있다.
전술한 설명은, 설명의 목적으로, 본 발명의 완전한 이해를 제공하기 위해 특정 명명법을 사용하였다. 그러나, 본 발명을 실시하기 위해 특정 세부 사항이 요구되지 않는다는 것이 당업자에게 명백할 것이다. 따라서, 본 발명의 특정 실시예에 대한 전술한 설명은 예시 및 설명의 목적으로 제공된다. 이들은 총망라하거나 본 발명을 개시된 정확한 형태로 제한하고자 하는 것은 아니며, 명백하게는, 상기 교시 내용을 고려하여 많은 수정들 및 변형들이 가능하다. 실시예는 본 발명의 원리 및 그의 실제 응용을 가장 잘 설명하기 위해 선택되고 기술되었다. 이로써, 그들은 다른 당업자가 본 발명 및 다양한 실시예를, 고려되는 특정 용도에 적합한 바와 같은 다양한 수정을 갖고서 가장 잘 이용할 수 있게 한다. 하기 청구범위 및 그들의 등가물이 본 발명의 범주를 한정하는 것으로 의도된다.
전술된 방법, 장치, 처리, 및 로직은 많은 상이한 방식으로 그리고 하드웨어와 소프트웨어의 많은 상이한 조합으로 구현될 수 있다. 컨트롤러 및 추정기(estimator)는 전자 회로를 포함할 수 있다. 예를 들어, 구현예들의 전부 또는 일부는 중앙 처리 유닛 (CPU), 마이크로컨트롤러, 또는 마이크로프로세서와 같은 명령어 프로세서; 애플리케이션 특정 집적 회로(ASIC), 프로그래머블 로직 디바이스(PLD), 또는 필드 프로그래머블 게이트 어레이(FPGA); 또는 아날로그 회로 구성요소들, 디지털 회로 구성요소들 또는 둘 모두를 포함하는 별개의 로직 또는 다른 회로 구성요소들을 포함하는 회로부; 또는 이들의 임의의 조합을 포함하는 회로부일 수 있다. 회로는 별개의 상호연결된 하드웨어 구성요소를 포함할 수 있고/있거나, 예로서 단일 집적 회로 다이 상에 조합되거나, 다수의 집적 회로 다이들 간에 분산되거나, 공통 패키지 내의 다수의 집적 회로 다이의 다중 칩 모듈(MCM)로 구현될 수 있다.
회로는 회로에 의한 실행을 위한 명령어를 추가로 포함하거나 그들에 액세스할 수 있다. 명령어들은 플래시 메모리, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거가능 프로그래머블 판독 전용 메모리(EPROM)와 같은 일시적 신호 이외의 유형의(tangible) 저장 매체에 저장될 수 있거나; 콤팩트 디스크 판독 전용 메모리(CDROM), 하드 디스크 드라이브(HDD), 또는 다른 자기 또는 광학 디스크와 같은 자기 또는 광학 디스크 상에 저장될 수 있거나; 다른 기계-판독가능 매체 내에 또는 그 상에 저장될 수 있다. 컴퓨터 프로그램 제품과 같은 제품이 저장 매체 및 매체 내에 또는 상에 저장된 명령어를 포함할 수 있고, 명령어는 장치 내의 회로에 의해 실행될 때 장치로 하여금 전술된 또는 도면에 예시된 처리 중 임의의 것을 구현하게 할 수 있다.
구현예는 다수의 시스템 구성요소들 간에, 예컨대 선택적으로 다수의 분산 처리 시스템을 포함하는, 다수의 프로세서들 및 메모리들 간에 회로로서 분산될 수 있다. 파라미터, 데이터베이스, 및 다른 데이터 구조가 개별적으로 저장 및 관리될 수 있고, 단일 메모리 또는 데이터베이스에 통합될 수 있고, 많은 상이한 방식으로 논리적으로 그리고 물리적으로 구조화될 수 있고, 링크된 리스트, 해시 테이블, 어레이, 레코드, 객체, 또는 암시적 저장 메커니즘과 같은 데이터 구조를 포함하는, 많은 상이한 방식으로 구현될 수 있다. 프로그램은 단일 프로그램의 일부(예컨대, 서브루틴)이거나, 별개의 프로그램이거나, 여러 메모리 및 프로세서에 걸쳐 분산되거나, 공유 라이브러리(예컨대, 다이나믹 링크 라이브러리(Dynamic Link Library, DLL))와 같은 라이브러리에서와 같은, 많은 상이한 방식으로 구현될 수 있다. DLL은, 예를 들어, 회로에 의해 실행될 때, 전술된 또는 도면에 예시된 처리 중 임의의 것을 수행하는 명령어를 저장할 수 있다.
또한, 본 명세서에서 논의된 다양한 컨트롤러는 처리 회로, 마이크로프로세서 또는 프로세서, 및, 예를 들어 (마이크로)프로세서, 로직 게이트, 스위치, 주문형 집적 회로(ASIC), 프로그램가능 로직 컨트롤러, 및 내장형 마이크로컨트롤러에 의해 실행가능한 컴퓨터-판독가능 프로그램 코드(예컨대, 펌웨어)를 저장하는 컴퓨터-판독가능 매체의 형태를 취할 수 있다. 컨트롤러는 후술되고 흐름도에 도시된 다양한 기능을 수행하기 위한 하드웨어 및/또는 펌웨어로 구성될 수 있다. 또한, 컨트롤러 내부에 있는 것으로 도시된 구성요소들 중 일부는 또한 컨트롤러 외부에 저장될 수 있고, 다른 구성요소들이 사용될 수 있다.

Claims (20)

  1. 수술 로봇 시스템을 위한 증강 현실(augmented reality; AR) 장치로서,
    상기 수술 로봇 시스템의 제1 구성요소의 이미지 데이터를 캡처하도록 구성된 센서;
    상기 이미지 데이터에 기초하여 상기 AR 장치 및 상기 수술 로봇 시스템에 대한 글로벌 좌표 프레임을 확립하여 상기 AR 장치의 상기 좌표 프레임에서 상기 수술 로봇 시스템의 가상 구성요소들이 생성되도록,
    상기 수술 로봇 시스템의 공간 정보 및 실시간 시스템 상태 정보를 수신하도록, 그리고
    상기 수술 로봇 시스템의 상기 공간 정보 및 상기 실시간 시스템 상태 정보에 기초하여 그리고 상기 글로벌 좌표 프레임에 기초하여 상기 AR 장치의 상기 좌표 프레임에서 상기 수술 로봇 시스템의 제2 구성요소의 3D 가상 모델을 생성하도록 구성된 프로세서;
    및
    상기 수술 로봇 시스템의 상기 제2 구성요소의 상기 3D 가상 모델을 제시하도록 구성된 디스플레이
    를 포함하는, AR 장치.
  2. 제1항에 있어서, 상기 AR 장치 및 상기 수술 로봇 시스템에 대한 상기 글로벌 좌표 프레임을 확립하도록 구성된 상기 프로세서는
    상기 AR 장치에 의해, 상기 제1 구성요소의 상기 이미지 데이터를 상기 수술 로봇 시스템으로 전송하여 상기 수술 로봇 시스템이 상기 AR 장치의 상기 좌표 프레임과 상기 수술 로봇 시스템의 좌표 프레임에 대한 상기 글로벌 좌표 프레임을 확립하게 하는 것을 포함하는, AR 장치.
  3. 제2항에 있어서, 상기 수술 로봇 시스템의 상기 공간 정보는 상기 AR 장치의 상기 좌표 프레임에서 수신되는, AR 장치.
  4. 제1항에 있어서, 상기 수술 로봇 시스템의 상기 제1 구성요소는 상기 수술 로봇 시스템의 기준 마커(fiduciary marker)이고, 상기 AR 장치 및 상기 수술 로봇 시스템에 대한 상기 글로벌 좌표 프레임을 확립하도록 구성된 상기 프로세서는
    상기 수술 로봇 시스템의 좌표 프레임에서 상기 기준 마커의 고정 위치에 기초하여 상기 기준 마커의 상기 이미지 데이터를 분석하여 상기 AR 장치의 상기 좌표 프레임 및 상기 수술 로봇 시스템의 상기 좌표 프레임에 대한 상기 글로벌 좌표 프레임을 확립하게 하는 것을 포함하는, AR 장치.
  5. 제4항에 있어서, 상기 수술 로봇 시스템의 상기 공간 정보는 상기 수술 로봇 시스템의 상기 좌표 프레임에서의 상기 제2 구성요소의 공간 정보를 포함하고, 상기 AR 장치의 상기 좌표 프레임에서 상기 수술 로봇 시스템의 상기 제2 구성요소의 상기 3D 가상 모델을 생성하도록 구성된 상기 프로세서는
    상기 글로벌 좌표 프레임에 기초하여 상기 수술 로봇 시스템의 상기 좌표 프레임에서의 상기 제2 구성요소의 상기 공간 정보를 상기 AR 장치의 상기 좌표 프레임으로 변환하게 하는 것을 포함하는, AR 장치.
  6. 제1항에 있어서, 상기 AR 장치의 상기 좌표 프레임이 상기 수술 로봇 시스템의 좌표 프레임에 대해 변할 때 상기 수술 로봇 시스템의 상기 제2 구성요소의 상기 3D 가상 모델의 위치 및 배향을 유지하도록 구성된 상기 프로세서를 더 포함하는, AR 장치.
  7. 제1항에 있어서, 상기 수술 로봇 시스템의 상기 공간 정보는 상기 제2 구성요소의 공간 정보를 포함하고, 상기 제2 구성요소의 상기 3D 가상 모델을 생성하도록 구성된 상기 프로세서는
    상기 제2 구성요소의 상기 공간 정보에 기초하여 상기 AR 장치의 상기 좌표 프레임에서 상기 수술 로봇 시스템의 상기 제2 구성요소의 위치 및 배향을 생성하게 하는 것을 포함하고, 상기 AR 장치의 상기 좌표 프레임에서의 상기 제2 구성요소의 상기 위치 및 배향은 상기 제2 구성요소의 실제 위치 및 배향 또는 상기 제2 구성요소의 목표 위치 및 배향과 일치하는, AR 장치.
  8. 제7항에 있어서, 상기 수술 로봇 시스템의 상기 실시간 시스템 상태 정보는 상기 제2 구성요소의 실시간 시스템 상태 정보를 포함하고, 상기 제2 구성요소의 상기 3D 가상 모델을 생성하도록 구성된 상기 프로세서는
    상기 제2 구성요소의 상기 실시간 시스템 상태 정보에 기초하여 상기 수술 로봇 시스템의 상기 제2 구성요소의 상황 감응(context-sensitive) 정보를 생성하게 하는 것을 더 포함하는, AR 장치.
  9. 제1항에 있어서, 상기 수술 로봇 시스템의 상기 제2 구성요소는 상기 수술 로봇 시스템의 로봇 아암 또는 수술 테이블을 포함하는, AR 장치.
  10. 제9항에 있어서, 상기 제2 구성요소의 상기 3D 가상 모델은
    상기 로봇 아암 또는 상기 수술 테이블의 위치 및 배향의 3D 가상 렌더링; 및
    상기 로봇 아암 또는 상기 수술 테이블의 상기 실시간 시스템 상태 정보의 시각적 또는 청각적 통신을 포함하는. AR 장치.
  11. 수술 로봇 시스템과 상호작용하기 위한 방법으로서,
    증강 현실(AR) 헤드셋을 사용하여 상기 수술 로봇 시스템의 제1 구성요소의 이미지 데이터를 캡처하는 단계;
    상기 이미지 데이터에 기초하여 그리고 상기 AR 헤드셋에 대한 그리고 상기 수술 로봇 시스템에 대한 글로벌 좌표 프레임에 기초하여 상기 AR 헤드셋의 좌표 프레임에서 상기 수술 로봇 시스템의 3차원(3D) 위치 및 배향을 확립하는 단계;
    상기 AR 헤드셋에 의해, 상기 수술 로봇 시스템의 공간 정보 및 실시간 시스템 상태 정보를 수신하는 단계;
    상기 AR 헤드셋에 의해, 상기 수술 로봇 시스템의 상기 공간 정보 및 상기 실시간 시스템 상태 정보, 상기 AR 헤드셋의 상기 좌표 프레임에서의 상기 수술 로봇 시스템의 상기 3D 위치 및 배향 및 상기 글로벌 좌표 프레임에 기초하여 상기 AR 헤드셋의 상기 좌표 프레임에서 상기 수술 로봇 시스템의 제2 구성요소의 3D 가상 모델을 생성하는 단계; 및
    상기 AR 장치의 상기 좌표 프레임이 상기 수술 로봇 시스템의 좌표 프레임에 대해 변할 때 상기 수술 로봇 시스템의 상기 제2 구성요소의 상기 3D 가상 모델을 유지하는 단계를 포함하는, 방법.
  12. 제11항에 있어서, 상기 AR 헤드셋의 상기 좌표 프레임에서 상기 수술 로봇 시스템의 상기 3D 위치 및 배향을 확립하는 단계는
    상기 제1 구성요소의 상기 이미지 데이터를 상기 수술 로봇 시스템으로 전송하여, 상기 수술 로봇 시스템이 상기 AR 헤드셋의 상기 좌표 프레임과 상기 수술 로봇 시스템의 상기 좌표 프레임에 대한 상기 글로벌 좌표 프레임을 확립하게 하는 단계를 포함하는, 방법.
  13. 제11항에 있어서, 상기 수술 로봇 시스템의 상기 제1 구성요소는 상기 수술 로봇 시스템의 기준 마커이고, 상기 AR 헤드셋의 상기 좌표 프레임에서 상기 수술 로봇 시스템의 상기 3D 위치 및 배향을 확립하는 단계는
    상기 수술 로봇 시스템의 좌표 프레임에서 상기 기준 마커의 고정 위치에 기초하여 상기 기준 마커의 상기 이미지 데이터를 분석하여 상기 AR 장치의 상기 좌표 프레임 및 상기 수술 로봇 시스템의 상기 좌표 프레임에 대한 상기 글로벌 좌표 프레임을 확립하게 하는 단계를 포함하는, 방법.
  14. 제11항에 있어서, 상기 수술 로봇 시스템의 상기 공간 정보는 상기 제2 구성요소의 공간 정보를 포함하고, 상기 제2 구성요소의 상기 3D 가상 모델을 생성하는 단계는
    상기 제2 구성요소의 상기 공간 정보에 기초하여 상기 AR 장치의 상기 좌표 프레임에서 상기 수술 로봇 시스템의 상기 제2 구성요소를 렌더링하는 단계를 포함하고, 상기 AR 장치의 상기 좌표 프레임에서 렌더링된 상기 제2 구성요소의 위치 및 배향은 상기 제2 구성요소의 실제 위치 및 배향 또는 상기 제2 구성요소의 목표 위치 및 배향과 일치하는, 방법.
  15. 제14항에 있어서, 상기 수술 로봇 시스템의 상기 실시간 시스템 상태 정보는 상기 제2 구성요소의 실시간 시스템 상태 정보를 포함하고, 상기 제2 구성요소의 상기 3D 가상 모델을 생성하는 단계는
    상기 제2 구성요소의 상기 실시간 시스템 상태 정보에 기초하여 상기 수술 로봇 시스템의 상기 제2 구성요소의 상황 감응 정보를 렌더링하는 단계를 더 포함하는, 방법.
  16. 제11항에 있어서, 상기 수술 로봇 시스템의 상기 제2 구성요소는 상기 수술 로봇 시스템의 로봇 아암 또는 수술 테이블을 포함하는, 방법.
  17. 제16항에 있어서, 상기 수술 로봇 시스템의 상기 제2 구성요소의 상기 3D 가상 모델은 상기 수술 로봇 시스템의 상기 아암을 수동으로 또는 로봇식으로 조작하는 것에 대한 실시간 안내를 제공하는, 방법.
  18. 제16항에 있어서, 상기 수술 로봇 시스템의 상기 제2 구성요소의 상기 3D 가상 모델은 상기 수술 로봇 시스템의 상기 아암의 작업공간(workspace)의 실시간 렌더링을 제공하는, 방법.
  19. 수술 로봇 시스템으로서,
    수술 테이블;
    상기 수술 테이블에 결합된 복수의 로봇 아암들; 및
    상기 수술 테이블, 상기 복수의 로봇 아암들 및 증강 현실(AR) 헤드셋에 통신 가능하게 결합된 프로세서를 포함하고;
    상기 AR 헤드셋은
    상기 수술 테이블 또는 하나 이상의 상기 복수의 로봇 아암들의 이미지 데이터를 캡처하고;
    상기 프로세서와 협력하여, 상기 이미지 데이터에 기초하여 상기 AR 장치에 대한 그리고 상기 수술 테이블 또는 상기 복수의 로봇 아암들에 대한 글로벌 좌표 프레임을 확립하고;
    상기 프로세서로부터 상기 수술 테이블 또는 상기 복수의 로봇 아암들의 공간 정보 및 실시간 시스템 상태 정보를 수신하고;
    상기 공간 정보 및 상기 실시간 시스템 상태 정보에 기초하여 그리고 상기 글로벌 좌표 프레임에 기초하여 상기 AR 장치의 좌표 프레임에서 상기 수술 테이블 또는 하나 이상의 상기 복수의 로봇 아암들의 3D 가상 모델을 생성하고; 그리고
    상기 수술 테이블 또는 하나 이상의 상기 복수의 로봇 아암들의 상기 3D 가상 모델을 디스플레이하도록 구성되는, 수술 로봇 시스템.
  20. 제19항에 있어서, 상기 수술 테이블 또는 하나 이상의 상기 복수의 로봇 아암들의 상기 3D 가상 모델은 상기 수술 로봇 시스템의 사용자가 상기 수술 테이블 또는 상기 로봇 아암들을 조작하거나 또는 문제 해결(troubleshoot)하는 것을 돕기 위해 상기 수술 테이블 또는 상기 로봇 아암들의 상황 감응 실시간 정보를 포함하는, 수술 로봇 시스템.
KR1020237014751A 2020-09-30 2021-09-27 수술 로봇용 증강 현실 헤드셋 KR20230082640A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/039,949 2020-09-30
US17/039,949 US20220096197A1 (en) 2020-09-30 2020-09-30 Augmented reality headset for a surgical robot
PCT/IB2021/058785 WO2022070015A1 (en) 2020-09-30 2021-09-27 Augmented reality headset for a surgical robot

Publications (1)

Publication Number Publication Date
KR20230082640A true KR20230082640A (ko) 2023-06-08

Family

ID=80822147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237014751A KR20230082640A (ko) 2020-09-30 2021-09-27 수술 로봇용 증강 현실 헤드셋

Country Status (4)

Country Link
US (1) US20220096197A1 (ko)
KR (1) KR20230082640A (ko)
CN (1) CN116600732A (ko)
WO (1) WO2022070015A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11672602B2 (en) * 2020-06-05 2023-06-13 Verb Surgical Inc. Port placement guide based on insufflated patient torso model and normalized surgical targets

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7004729B2 (ja) * 2017-01-17 2022-01-21 コーニンクレッカ フィリップス エヌ ヴェ 手術室における予測ワークフローのための拡張現実
CA3052869A1 (en) * 2017-02-17 2018-08-23 Nz Technologies Inc. Methods and systems for touchless control of surgical environment
US11348257B2 (en) * 2018-01-29 2022-05-31 Philipp K. Lang Augmented reality guidance for orthopedic and other surgical procedures
US20190254753A1 (en) * 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
WO2019215738A1 (en) * 2018-05-11 2019-11-14 Resight Ltd. A system and method for determining an approximate transformation between coordinate systems
WO2020072302A1 (en) * 2018-10-01 2020-04-09 Smith & Nephew, Inc. Auxiliary marking plate for rapid-manufactured parts

Also Published As

Publication number Publication date
US20220096197A1 (en) 2022-03-31
CN116600732A (zh) 2023-08-15
WO2022070015A1 (en) 2022-04-07

Similar Documents

Publication Publication Date Title
US10874467B2 (en) Methods and devices for tele-surgical table registration
KR102147826B1 (ko) 로봇 암의 수동식 운동에 의해 제어되는 이동가능한 수술용 장착 플랫폼
US20220133420A1 (en) Handheld user interface device for a surgical robot
US11806104B2 (en) Interlock mechanisms to disengage and engage a teleoperation mode
JP2019527569A (ja) コンピュータ支援遠隔操作システムにおける補助器具制御
US20220280238A1 (en) Robot-assisted setup for a surgical robotic system
US20240046589A1 (en) Remote surgical mentoring
KR20230082640A (ko) 수술 로봇용 증강 현실 헤드셋
US20240070875A1 (en) Systems and methods for tracking objects crossing body wallfor operations associated with a computer-assisted system
US11571269B2 (en) Surgeon disengagement detection during termination of teleoperation
US20230414307A1 (en) Systems and methods for remote mentoring
US20220323157A1 (en) System and method related to registration for a medical procedure
WO2024006729A1 (en) Assisted port placement for minimally invasive or robotic assisted surgery