KR20190043143A - 로봇 수술을 위한 몰입형 3차원 디스플레이 - Google Patents

로봇 수술을 위한 몰입형 3차원 디스플레이 Download PDF

Info

Publication number
KR20190043143A
KR20190043143A KR1020197006568A KR20197006568A KR20190043143A KR 20190043143 A KR20190043143 A KR 20190043143A KR 1020197006568 A KR1020197006568 A KR 1020197006568A KR 20197006568 A KR20197006568 A KR 20197006568A KR 20190043143 A KR20190043143 A KR 20190043143A
Authority
KR
South Korea
Prior art keywords
user
display
housing
sensor
support arm
Prior art date
Application number
KR1020197006568A
Other languages
English (en)
Other versions
KR102265060B1 (ko
Inventor
켄트 앤더슨
조안 사발
브렌트 노블스
알레그라 숨
파블로 이. 가르시아 킬로이
카렌 셰익스피어 쾨니그
Original Assignee
버브 서지컬 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 버브 서지컬 인크. filed Critical 버브 서지컬 인크.
Publication of KR20190043143A publication Critical patent/KR20190043143A/ko
Application granted granted Critical
Publication of KR102265060B1 publication Critical patent/KR102265060B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00199—Electrical control of surgical instruments with a console, e.g. a control panel with a display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973—Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/508—Supports for surgical instruments, e.g. articulated arms with releasable brake mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

로봇 수술 시스템에 사용하기 위한 몰입형 디스플레이는 지지 아암; 지지 아암에 장착되고, 사용자의 안면과 맞닿도록 구성되는 하우징; 하우징 내에 배치되고, 3차원 표시를 제공하도록 구성되는 적어도 2개의 아이피스 조립체들; 및 로봇 수술 시스템의 작동을 가능하게 하는 적어도 하나의 센서를 포함하고, 지지 아암은 인체공학적 위치설정을 위해 하우징을 이동시키도록 작동가능하다.

Description

로봇 수술을 위한 몰입형 3차원 디스플레이
본 발명은 일반적으로 로봇 또는 로봇-보조 시스템에 관한 것으로, 보다 상세하게는 로봇 또는 로봇-보조 수술 시스템에 사용하기 위한 몰입형 디스플레이(immersive display)에 관한 것이다.
복강경 수술과 같은 최소-침습 수술(minimally-invasive surgery, MIS)은 외과 시술 동안에 조직 손상을 감소시키도록 의도되는 기법을 수반한다. 예를 들어, 복강경 시술은 전형적으로 환자 내에(예컨대, 복부 내에) 다수의 작은 절개부를 생성하고 하나 이상의 도구 및 적어도 하나의 내시경 카메라를 절개부를 통해 환자 내로 도입하는 것을 수반한다. 외과 시술은 이어서, 카메라에 의해 제공되는 가시화 보조물(visualization aid)과 함께, 도입된 도구를 사용함으로써 수행된다.
일반적으로, MIS는 환자 반흔형성 감소, 환자 통증 감소, 환자 회복 기간 단축, 및 환자 회복과 연관된 의료 처치 비용의 절감과 같은 다수의 이득을 제공한다. 그러나, 표준 MIS 시스템은 다수의 단점을 갖는다. 예를 들어, 비-로봇 MIS 시스템들은, 부분적으로 이들이 외과의사가 자연스럽지 않을 수 있는 방식으로 도구를 통해 조직을 간접적으로 조작하도록 요구하기 때문에, 외과의사에게 더 많은 요구를 한다. 내시경 카메라 비디오 피드(feed)를 보여주는 디스플레이를 조작자가 보는 것을 수반할 수 있고 조작자로부터의 명령에 기초하여 도구를 조작하도록 원격으로 작동되는 종래의 로봇식 MIS 시스템은 외과의사에 대한 요구를 감소시키면서 MIS의 많은 이득을 제공할 수 있다. 그러나, 그러한 로봇 MIS 시스템은 전형적으로, 장기간에 걸친 사용 동안에 사용자 부담, 피로, 및 부상을 초래할 수 있는 강성의 고정형 디스플레이만을 구비한다. 따라서, 로봇 수술 시스템과 함께 사용하기 위한 디스플레이를 구비하는 것이 바람직하다.
일반적으로, 하나의 변형에서, 로봇 수술 시스템에 사용하기 위한 몰입형 디스플레이는 지지 아암; 지지 아암에 장착되고, 사용자의 안면과 맞닿도록 구성되는 하우징; 하우징 내에 배치되고, 3차원 표시를 제공하도록 구성되는 적어도 2개의 아이피스 조립체(eyepiece assembly)들; 및 로봇 수술 시스템의 작동을 가능하게 하는 적어도 하나의 센서를 포함하고, 지지 아암은 인체공학적 위치설정을 위해 하우징을 이동시키도록 작동가능하다. 예를 들어, 지지 아암은 관절식으로 형성되고 적어도 하나의 또는 복수의 작동가능한 조인트들을 포함할 수 있다.
하우징은 사용자의 안면과 맞닿도록 구성되는 윤곽형성된 안면 프레임을 포함하거나 이에 결합될 수 있고, 안면 프레임은 사용자와의 인터페이싱을 위한 패딩(padding)과 같은 특징부를 포함할 수 있으며, 이는 편안함을 증가시키고/시키거나 인체공학적 위치설정을 위해 순응성을 제공할 수 있다. 안면 프레임에 대한 유사한 순응성이 다른 방식으로, 예를 들어 다수의 이동가능 순응성 부분을 갖는 하우징으로 달성될 수 있다. 예를 들어, 지지 아암은 하우징의 제1 부분에 결합될 수 있고, 안면 프레임은 하우징의 제1 부분에 대해 이동가능한(예컨대, 이동가능하게 순응하는) 하우징의 제2 부분에 결합될 수 있다.
하우징은 몰입형 디스플레이 경험을 개선하기 위해 몇몇 추가 특징부들 중 하나 이상을 포함할 수 있다. 예를 들어, 몰입형 디스플레이는 예를 들어 주변 광 및 주변 시각 주의분산(distraction)을 차단하기 위해 하우징에 결합되는 하나 이상의 실드(shield)를 포함할 수 있다. 적어도 하나의 실드는 실드가 사용자의 시야의 적어도 일부분을 가리도록 구성되는 제1 위치와 실드가 사용자의 시야의 상기 부분을 노출시키도록 구성되는 제2 위치 사이에서 이동가능할 수 있다. 다른 예로서, 몰입형 디스플레이는 하우징에 결합되는 적어도 하나의 보조 디스플레이 스크린, 또는 마이크로폰 및/또는 스피커와 같은 다양한 오디오 구성요소들 중 임의의 것을 포함할 수 있다. 마이크로폰은 예를 들어 하우징에 결합될 수 있고, 로봇 수술 시스템의 작동을 위한 음성 명령을 수신하도록 구성될 수 있다. 또한, 스피커는 하우징에 결합될 수 있고, 사용자에게 오디오 정보를 제공하도록 구성될 수 있다. 적어도 하나의 햅틱 액추에이터(haptic actuator)가 하우징에 결합될 수 있고, 사용자에게 촉각 피드백을 제공하도록 구성될 수 있다. 또한, 몇몇 변형에서, 하우징은 하우징의 위치를 모니터링하기 위해 하우징에 결합되는 적어도 하나의 추적 장치를 포함할 수 있다.
아이피스 조립체들은 3차원 표시를 제공하도록 구성될 수 있다. 예를 들어, 아이피스 조립체들 중 적어도 하나는 좌안 입체 이미지를 표시하도록 구성될 수 있고, 아이피스 조립체들 중 적어도 하나는 우안 입체 이미지를 표시하도록 구성될 수 있어, 좌안 및 우안 입체 이미지들이 함께 3차원 표시를 제공하도록 한다. 예를 들어, 3차원 표시는 로봇 수술 시스템에 사용되는 내시경 카메라로부터의 적어도 하나의 이미지를 표시하도록 구성될 수 있다. 아이피스 디스플레이들은 부가적으로 또는 대안적으로 2차원 또는 다른 적합한 콘텐츠를 표시하도록 구성될 수 있다. 몇몇 변형에서, 몰입형 디스플레이는 하우징에 결합되는 적어도 하나의 보조 디스플레이를 추가로 포함할 수 있다.
적어도 하나의 센서가 로봇 수술 시스템의 안전 특징부로서 포함될 수 있다. 예를 들어, (예컨대, 카메라, 또는 사용자의 홍채 코드를 검출하도록 구성되는 다른 적합한 광학 센서 내의) 센서는 로봇 수술 시스템을 작동시키기 위한 인증을 위해 사용자를 식별하도록 구성될 수 있다. 다른 예로서, 센서(예컨대, 안구-추적을 수행하기 위한 광학 센서)는 아이피스 조립체와 사용자의 눈의 적절한 정렬을 결정하도록 구성될 수 있다.
몰입형 디스플레이는 제어기가 사용자 상호작용을 해석하고 적절하게 몰입형 디스플레이 응답을 가질 수 있도록 사용자의 머리 제스처의 검출, 안구-추적의 수행, 및/또는 다른 사용자 상호작용의 검출을 위한 다른 센서들을 포함할 수 있다. 예를 들어, 사용자의 검출된 머리 제스처에 응답하여, 지지 아암은 (예컨대, 인체공학적 위치설정을 위해) 머리 제스처를 추적하도록 하우징을 이동시킬 수 있다. 다른 예로서, 적어도 하나의 센서(예컨대, 압력 센서, 거리 센서, 접촉 센서 등)는 로봇 수술 시스템의 작동을 제어하기 위해 사용자의 머리 제스처들을 모니터링하도록 구성될 수 있다. 다른 예로서, 적어도 하나의 센서는 안구-추적을 수행하도록 구성되는 광학 센서일 수 있다. 또 다른 예로서, 3차원 표시는 그래픽 사용자 인터페이스를 표시하도록 구성될 수 있고, 적어도 하나의 센서는 그래픽 사용자 인터페이스의 내비게이션을 위해 머리 제스처를 검출하도록 구성될 수 있다.
다른 예로서, 몰입형 디스플레이는 로봇 수술 시스템에 사용되는 내시경 카메라로부터의 적어도 하나의 이미지를 표시하도록 구성될 수 있다. 머리 제스처를 검출하는 적어도 하나의 센서에 응답하여, 3차원 표시는 내시경 카메라로부터의 변경된 이미지를 표시하도록 구성될 수 있다. 예시로서, 센서가 전방 지향 머리 제스처를 검출하는 것에 응답하여, 3차원 표시는 내시경 카메라로부터의 줌-인(zoomed-in) 이미지를 표시하도록 구성될 수 있다. 다른 예시로서, 센서가 후방-지향 머리 제스처를 검출하는 것에 응답하여, 3차원 표시는 내시경 카메라로부터의 줌-아웃(zoomed-out) 이미지를 표시하도록 구성될 수 있다. 또한, 센서가 측방향 머리 제스처를 검출하는 것에 응답하여, 3차원 표시는 내시경 카메라로부터의 패닝(panning) 이미지를 표시하도록 구성될 수 있고, 센서가 기울이는 머리 제스처를 검출하는 것에 응답하여, 3차원 표시는 내시경 카메라로부터의 기울임 이미지를 표시하도록 구성될 수 있다.
몰입형 디스플레이는 사용자 위치설정 정보를 제공하도록 구성될 수 있다. 예를 들어, 몰입형 디스플레이는 아이피스 조립체들과 사용자 손 위치들의 제1 상대적 공간 관계와 내시경 카메라와 수술 기구의 제2 상대적 공간 관계 사이의 일치를 유지시키기 위한 안내를 제공할 수 있다. 예를 들어, 3차원 표시는 하우징 및 사용자 손 위치들 중 적어도 하나를 재위치시키기 위한 시각적 큐(cue)를 표시하도록 구성될 수 있다.
다른 예로서, 3차원 표시는 적어도 하나의 목표 위치(예컨대, 핸드헬드(handheld) 사용자 인터페이스 장치의 위치, 발 페달의 위치 등)에 대한 사용자 손 위치 및/또는 사용자 발 위치의 시각적 표현을 표시하도록 구성될 수 있다. 이러한 시각적 표현은 카메라 뷰 이미지와 같은 주 이미지와 중첩될 수 있다.
몇몇 변형에서, 몰입형 디스플레이는 하우징에 결합되는 적어도 하나의 외부 카메라를 포함할 수 있다. 카메라는 예를 들어 하우징 외부의 환경의 적어도 하나의 이미지를 제공하도록 구성될 수 있다. 예를 들어, 3차원 표시는 하우징 외부의 환경 이미지를 선택적으로 표시하도록 구성될 수 있다. 부가적으로 또는 대안적으로, 몰입형 디스플레이는 하우징에 결합되는 적어도 하나의 외부 조명기를 포함할 수 있으며, 여기서 조명기는 광을 하우징 외부의 환경으로 투사하도록 구성될 수 있다.
도 1a는 로봇 수술 시스템을 갖는 예시적인 수술실 배열의 개략도.
도 1b는 로봇 수술 시스템에 사용하기 위한, 예시적인 몰입형 디스플레이를 갖는 예시적인 사용자 콘솔의 측면도.
도 2a 및 도 2b는 로봇 수술 시스템에 사용하기 위한 몰입형 디스플레이의 하나의 변형의 각각 사시도 및 부분 분해도.
도 3a 및 도 3b는 몰입형 디스플레이의 하나의 변형에서의 예시적인 지지 아암의 각각 상세 전방 사시도 및 후방 사시도.
도 3c는 몰입형 디스플레이의 하나의 변형에서, 사용자 주위로의 좌측 또는 우측 접근을 위해 구성가능한 예시적인 지지 아암의 개략 평면도.
도 4a 내지 도 4c는 몰입형 디스플레이의 다른 변형에서의 다른 예시적인 오버헤드-스타일 지지 아암 프레임의 개략도.
도 4d 및 도 4e는 몰입형 디스플레이의 다른 변형에서의 다른 예시적인 측부-접근 지지 아암의 개략도.
도 5는 몰입형 디스플레이의 다른 변형에서 이동가능-순응성 하우징 부분을 포함하는 예시적인 하우징의 개략 평면도.
도 6은 몰입형 디스플레이의 다른 변형에서 손잡이를 포함하는 예시적인 하우징의 사시도.
도 7은 몰입형 디스플레이의 다른 변형에서 실드 및 외향-지향 카메라를 포함하는 예시적인 하우징의 사시도.
도 8은 몰입형 디스플레이의 다른 변형에서 햅틱 액추에이터를 포함하는 예시적인 하우징의 사시도.
도 9는 몰입형 디스플레이의 다른 변형에서 마이크로폰을 포함하는 예시적인 하우징의 사시도.
도 10은 몰입형 디스플레이의 다른 변형에서 스피커를 포함하는 예시적인 하우징의 사시도.
도 11은 몰입형 디스플레이의 다른 변형에서 보조 디스플레이를 포함하는 예시적인 하우징의 사시도.
도 12는 몰입형 디스플레이의 다른 변형에서 추적 장치를 포함하는 예시적인 하우징의 사시도.
도 13은 외향 투사를 제공하기 위한 외향-지향 조명기를 갖는 몰입형 디스플레이의 개략도.
도 14는 아이피스 조립체와 사용자 손 위치의 상대 공간 관계와 내시경 카메라와 수술 기구의 상대 공간 관계 사이의 일치를 나타내는 예시적인 몰입형 디스플레이 셋업의 개략도.
도 15a 및 도 15b는 몰입형 디스플레이 센서가 머리 받침대 센서와 상호작용하여 작동하는 예시적인 몰입형 디스플레이 셋업의 개략 평면도 및 측면도.
도 16a는 몰입형 디스플레이가 천장에 장착되는, 몰입형 디스플레이의 다른 변형의 개략도. 도 16b는 몰입형 디스플레이가 스탠딩(standing) 사용자 콘솔과 함께 사용하도록 구성되는 카트에 장착되는, 몰입형 디스플레이의 다른 변형의 개략도.
도 17은 몰입형 디스플레이에 보여지는 예시적인 표시된 이미지 및 그래픽 사용자 인터페이스를 도시한 도면.
도 18a는 목표 손 위치에 대한 사용자 손 위치의 시각적 표현을 보여주는 몰입형 디스플레이의 예시적인 표시를 도시하는 도면. 도 18b는 목표 발 위치에 대한 발 위치의 시각적 표현을 보여주는 몰입형 디스플레이의 예시적인 표시를 도시하는 도면.
도 19는 몰입형 디스플레이의 하나의 변형 내의 그리고 그와 연관된 다양한 구성요소들을 제어하기 위한 제어 시스템의 예시적인 개략도.
본 발명의 다양한 태양 및 변형의 비제한적인 예가 본 명세서에 기술되고 첨부 도면에 예시된다.
도 1a는 로봇 수술 시스템(100)을 갖는 예시적인 수술실 환경의 예시이다. 도 1a에 도시된 바와 같이, 로봇 수술 시스템(100)은 사용자 콘솔(120), 컨트롤 타워(130), 및 로봇 플랫폼(110)(예컨대, 테이블, 침대 등)에 위치되는 하나 이상의 로봇 아암(112)을 포함하며, 여기서 (예컨대, 엔드 이펙터(end effector)를 갖는) 수술 기구가 외과 시술을 수행하기 위해 로봇 아암(112)의 원위 단부(distal end)에 부착된다. 로봇 아암(112)은 테이블-장착식 시스템으로 도시되지만, 다른 구성에서, 로봇 아암은 카트, 천장 또는 측벽, 또는 다른 적합한 지지 표면에 장착될 수 있다.
일반적으로, 외과의사 또는 다른 조작자와 같은 사용자가 사용자 콘솔(120)을 사용하여 (예컨대, 원격-조종(tele-operation)으로) 로봇 아암(112) 및/또는 수술 기구를 원격으로 조작할 수 있다. 사용자 콘솔(120)은 도 1a에 도시된 바와 같이, 로봇 시스템(100)과 동일한 수술실 내에 위치될 수 있다. 다른 환경에서, 사용자 콘솔(120)은 인접한 또는 인근의 방 내에 위치될 수 있거나, 상이한 건물, 도시, 또는 국가 등 내의 원격 위치로부터 원격-조종될 수 있다. 사용자 콘솔(120)은 좌석(122), 발-작동식 제어부(foot-operated control)(124), 하나 이상의 핸드헬드 사용자 인터페이스 장치(126), 및 예를 들어 환자 내부의 수술 부위의 뷰(view)(예컨대, 내시경 카메라를 이용하여 포착됨)를 표시하도록 구성되는 적어도 하나의 사용자 디스플레이(128)를 포함할 수 있다. 예시적인 사용자 콘솔(120)에 도시된 바와 같이, 좌석(122)에 위치되고 사용자 디스플레이(128)를 관찰하는 사용자가 발-작동식 제어부(124) 및/또는 핸드헬드 사용자 인터페이스 장치(126)를 조작하여 로봇 아암(112) 및/또는 아암의 원위 단부에 장착된 수술 기구를 원격으로 제어할 수 있다.
몇몇 변형에서, 사용자는 수술 로봇 시스템(100)을 사용자가 환자 옆에 있고 동시에 (예컨대, 핸드헬드 사용자 인터페이스 장치(126)를 한 손으로 파지한 상태에서) 로봇-구동식 기구/이에 부착된 엔드 이펙터 및 수동 복강경 도구를 조작하는 "오버 더 베드(over the bed)"(OTB) 모드로 작동시킬 수 있다. 예를 들어, 사용자의 왼손이 핸드헬드 사용자 인터페이스 장치(126)를 조작하여 로봇 수술 구성요소를 제어하고 있을 수 있으면서, 사용자의 오른손이 수동 복강경 도구를 조작하고 있을 수 있다. 따라서, 이들 변형에서, 사용자는 환자에게 로봇-보조 MIS 및 수동 복강경 수술 둘 모두를 수행할 수 있다.
예시적인 시술 또는 수술 동안에, 환자가 멸균 방식으로 준비되고 드레이핑(draping)될 수 있으며, 마취가 달성될 수 있다. 수술 부위에의 초기 접근은, 수술 부위에의 접근을 용이하게 하기 위해 로봇 시스템(100)이 보관 구성(stowed configuration) 또는 후퇴 구성(withdrawn configuration)에 있는 상태에서, 수동으로 수행될 수 있다. 일단 접근이 완료되면, 로봇 시스템의 초기 위치설정 및/또는 준비가 수행될 수 있다. 시술 동안에, 사용자 콘솔(120)에서의 외과의사가 발-작동식 제어부(124), 사용자 인터페이스 장치(126), 및/또는 다른 적합한 제어부를 사용하여 다양한 엔드 이펙터들 및/또는 이미지화 시스템들을 조작하여서 수술을 수행할 수 있다. 조직의 견인, 또는 수동 재위치설정의 수행 또는 하나 이상의 로봇 아암(112)을 수반하는 도구 교환의 수행을 포함하지만 이로 한정되지 않는 작업을 수행할 수 있는 다른 인원에 의해 시술 테이블에서 수동 보조가 제공될 수 있다. 다른 인원이 사용자 콘솔(120)에서의 사용자를 돕기 위해 존재할 수 있다. 시술 또는 수술이 완료될 때, 로봇 시스템(100) 및/또는 사용자 콘솔(120)은 로봇 시스템(100) 세정 및/또는 멸균, 및/또는 예를 들어 사용자 콘솔(120)을 통한, 전자식이든 하드 카피(hard copy)이든 간에, 건강관리 기록 입력 또는 출력을 포함하지만 이로 한정되지 않는 하나 이상의 수술후 절차를 용이하게 하는 상태로 구성되거나 설정될 수 있다.
몇몇 변형에서, 로봇 플랫폼(110)과 사용자 콘솔(120) 사이의 통신은 사용자 콘솔(120)로부터의 사용자 명령들을 로봇 제어 명령들로 전환하고 이들을 로봇 플랫폼(110)으로 전송할 수 있는 컨트롤 타워(130)를 통해 이루어질 수 있다. 컨트롤 타워(130)는 로봇 플랫폼(110)으로부터의 상태 및 피드백을 다시 사용자 콘솔(120)로 전송할 수 있다. 로봇 플랫폼(110), 사용자 콘솔(120), 및 컨트롤 타워(130) 사이의 연결은 유선 및/또는 무선 연결을 통해 이루어질 수 있고, 전용(proprietary)일 수 있고/있거나 다양한 데이터 통신 프로토콜들 중 임의의 것을 사용하여 수행될 수 있다. 임의의 유선 연결부가 수술실의 바닥 및/또는 벽 또는 천장 내에 내장될 수 있다. 로봇 수술 시스템(100)은 수술실 내의 디스플레이뿐만 아니라 인터넷 또는 다른 네트워크를 통해 접속가능한 원격 디스플레이를 포함한 하나 이상의 디스플레이에 비디오 출력을 제공할 수 있다. 비디오 출력 또는 피드는 프라이버시를 보장하기 위해 암호화될 수 있고, 비디오 출력의 전부 또는 하나 이상의 부분이 서버, 전자 건강관리 기록 시스템, 또는 다른 적합한 저장 매체에 저장될 수 있다.
몰입형 디스플레이 시스템
도 1b에 도시된 바와 같이, 몰입형 디스플레이(140)는, 개방형 디스플레이(open display)(128), 페달 조립체(124) 및 하나 이상의 핸드헬드 사용자 인터페이스 장치(126)와 함께, 로봇 수술 시스템을 위한 사용자 콘솔(120)의 일부일 수 있다. 몰입형 디스플레이(140)는 사용자의 주변 시야로부터의 감소된 주의분산을 갖고서 사용자를 편안하게 그리고 인체공학적으로 디스플레이 환경에 몰입시키는 방식으로 사용자에게 3차원(3D) 및/또는 2차원(2D) 정보를 표시할 수 있다. 몰입형 디스플레이(140)(예컨대, 지지 아암(142)을 통해 좌석(122)에 결합된 디스플레이 하우징(144))는 외과 시술과 연관된 다양한 정보(예컨대, 수술 부위의 내시경 카메라 뷰, 정지 이미지, GUI 등) 및/또는 로봇 수술 시스템과 연관된 다양한 정보(예컨대, 상태, 시스템 설정), 및/또는 다른 적합한 정보를 2D 및 3D 비디오, 이미지, 텍스트, 그래픽 인터페이스, 경고, 제어부, 표시등(indicator light) 등의 형태로 표시할 수 있다. 디스플레이 내의 뷰를 변화시키는 데 머리-장착식 디스플레이의 움직임에 전적으로 의존하여서 머리 이동이 다른 기구를 제어하는 능력을 제한하는 다른 몰입형 및 가상 현실 머리-장착식 장치와 달리, 본 명세서에 기술된 바와 같은 몰입형 디스플레이(140)는 사용자가 몰입형 디스플레이의 제어 및 로봇 수술 시스템 내의 것들과 같은 다른 기구의 작동을 위해 머리 제스처 및 다른 머리/눈 이동을 사용하여 표시된 콘텐츠와 상호작용할 수 있게 할 수 있다.
일반적으로, 도 2a에 도시된 바와 같이, 몰입형 디스플레이(200)는 지지 아암(210)(도 2a에 부분적으로 도시됨), 지지 아암(210)에 장착되고 사용자의 안면과 맞닿도록 구성되는 하우징(220), 하우징 내에 배치되고 3차원 표시를 제공하도록 구성되는 적어도 2개의 아이피스 조립체(230), 및 적어도 하나의 센서(예컨대, 사용자의 안면과 맞닿도록 구성되는 안면 프레임(222) 상의 센서(224)에 의해 표시됨)를 포함할 수 있다. 센서는 더욱 상세히 후술되는 바와 같이, 소정 파라미터(예컨대, 몰입형 디스플레이(200)와 맞닿는 사용자의 존재 또는 부존재, 아이피스 조립체(220)에 대한 사용자의 충분한 정렬, 로봇 수술 시스템의 승인된 사용자로서의 사용자의 식별 등)의 검출시 로봇 수술 시스템의 작동을 가능하게 할 수 있다. 부가적으로, 지지 아암(210)은 예를 들어 인체공학적 목적으로 하우징(220)을 위치설정, 배향, 또는 달리 이동시키기 위해 작동가능할 수 있다.
지지 아암
지지 아암은 적어도 부분적으로 하우징의 중량을 지지하는 기능을 하여, 하우징이 사용자의 안면과 맞닿을 때 사용자가 (예컨대, 사용자의 머리 또는 안면에서) 하우징의 중량을 지탱할 필요가 없도록 한다. 도 1b에 도시된 바와 같이, 몰입형 디스플레이(140) 내의 지지 아암(142)이 몰입형 디스플레이 하우징(144)을 좌석(122) 또는 좌석 조립체와 같은 고정 구조체에 결합시킬 수 있다. 지지 아암(142)은 하우징(144)을 사용자의 안면 또는 머리의 전면과 맞닿는 위치에 위치시키도록 구성될 수 있지만, 몰입형 디스플레이는 부가적으로 또는 대안적으로 하우징(144)을 사용자의 안면 또는 머리에 고정시키는 데 도움을 주기 위해 스트랩(strap) 또는 유사한 부착 장치를 포함할 수 있다.
몇몇 변형에서, 지지 아암(144)은 좌석(122)의 좌석 등받이 또는 머리 받침대 상에 장착될 수 있고, 몰입형 디스플레이에의 사용자 접근을 용이하게 하기 위해 사용자 콘솔(120)의 측부로부터 사용자에게 접근하도록 구성될 수 있다. 예를 들어, (예컨대, 반드시 그렇지는 않지만 대략 머리 받침대의 높이에서) 몰입형 디스플레이 지지 아암의 근위 단부가 좌석 등받이의 우측에 결합될 수 있지만, 대안적으로 디스플레이 지지 아암의 근위 단부는 좌석 등받이의 좌측에 결합될 수 있다. 몰입형 디스플레이 지지 아암의 근위 단부는 (예컨대, 프리즘형 조인트에 의해) 수직으로 그리고/또는 회전방향 등으로 조절되도록 구성될 수 있다. 또한, 지지 아암은 좌석에의 사용자 접근을 가능하게 하고/하거나 소형 구성으로의 사용자 콘솔(120)의 보관 또는 수송을 용이하게 하기 위해, 좌석의 등받이 또는 측부(또는 아암의 다른 장착 위치)에 맞대어져 절첩되거나 접히도록 구성될 수 있다.
다른 변형에서, 지지 아암(144)의 근위 단부는 좌석 등받이의 중간선에(또는 그 부근에) 단단히 결합될 수 있고, 몰입형 디스플레이에의 사용자 접근을 용이하게 하기 위해 사용자 콘솔(120)의 측부로부터 사용자에게 접근하도록 구성될 수 있다. 예를 들어, 몰입형 디스플레이 지지 아암의 근위 단부는 좌석(122)의 좌석 등받이의 후방 표면에 (예컨대, 체결구, 용접 조인트, 기계식 로크(mechanical lock) 등을 통해) 단단히 장착될 수 있다. 다른 예로서, 몰입형 디스플레이 지지 아암의 근위 단부는, 예를 들어 몰입형 디스플레이 지지 아암이 좌석 등받이에 대해 수직으로, 측방향으로 그리고/또는 회전방향으로 조절될 수 있게 하는 프리즘형 또는 다른 조인트에 의해, 좌석 등받이의 후방 표면에 조절가능하게 결합될 수 있다.
몰입형 디스플레이 지지 아암은 하우징을 사용자를 위한 바람직한 상태로 위치시키고 배향시키기 위해 다중 자유도로 움직일 수 있도록 관절식으로 될 수 있다. 예를 들어, 도 3a와 도 3b에 도시된 하나의 예시적인 변형에서, 관절식 몰입형 디스플레이 지지 아암은 적어도 6 자유도를 포함할 수 있다. 이러한 단락에서, "수평"은 좌석 등받이에 대체로 직교하는 것과 관련하여 의도되는 반면, "수직"은 좌석 등받이에 대체로 평행한 것과 관련하여 의도된다. 지지 아암(310)은 핀(pin) 또는 포크 조인트(fork joint)와 같은 제1 회전 조인트(J1)에 의해 제1 링크(L1)에 결합되는 근위 장착부를 포함할 수 있으며, 여기서 제1 회전 조인트(J1)는 수직 조인트 축을 중심으로 회전가능하여 수평면 내에서의 이동을 제공한다. 제1 링크(L1)는 제2 회전 조인트(J2)에 의해 제2 링크(L2)에 결합되고, 제2 링크(L2)는 제3 회전 조인트(J3)에 의해 제3 링크(L3)에 결합된다. 제1, 제2 및 제3 회전 조인트(J1, J2, J3)들은 각자의 수직 회전축들을 따라 배향되고, 대체로 머리 받침대 영역 주위의 수평면 내의 원하는 위치에서 상당한 제한 없이 몰입형 디스플레이의 조절을 허용할 수 있다.
추가의 구성 유연성이 제4 회전 조인트(J4)에 의해 제4 링크(L4)에 결합되는 제3 링크(L3)에 의해 제공되며, 여기서 제4 회전 조인트(J4)는 수평축을 중심으로 회전가능하여 수직면 내에서의 이동을 제공한다. 제4 링크(L4)는 또한 제5 회전 조인트(J5)에 의해 제5 링크(L5)에 결합되며, 여기서 제5 회전 조인트(J5)는 수평축을 중심으로 회전가능하여 수직면 내에서의 이동을 제공한다. 또한, 제5 링크(L5)는 제6 회전 조인트(J6)에 의해 제6 링크 또는 브래킷 부재(bracket member)(L6)에 결합되며, 여기서 제6 회전 조인트(J6)는 수직축을 중심으로 회전가능하여 수평면 내에서의 이동을 제공한다. 제4, 제5, 및 제6 회전 조인트(J4, J5, J6)들은 일반적으로 몰입형 디스플레이의 수직 높이 조절을 허용하여, 제1, 제2, 및 제3 회전 조인트(J1, J2, J3)들과 조합되어, 모든 6개의 회전 조인트가 3차원 공간에서의 각도 위치 변화(예컨대, X-Y-Z로의 병진 이동, 요오(yaw), 롤(roll), 및 피치(pitch) 방향으로의 회전)의 다양한 조합들의 조절을 가능하게 하도록 한다. 몰입형 디스플레이 아암(310)은, 적합한 수의 자유도를 갖는 다수의 관절식 조인트의 결과로서, 예를 들어 아암 회전, 아암 연장/후퇴, 아암 전방/후방 기울임(tilting) 등을 가능하게 할 수 있다.
도 3b에 도시된 바와 같이, 하우징(320)이 제7 회전 조인트(J7)에 의해 브래킷 부재(L6)에 장착될 수 있으며, 여기서 제7 회전 조인트(J7)는 수직면 내에서의 피벗가능한 조절(예컨대, 위 또는 아래로의 각도 조절(angling))을 위한 제7 자유도를 허용하기 위해 수평축을 중심으로 회전가능하다.
제4 및 제5 조인트(J4, J5)들과 같은, 조인트들 중 일부 또는 전부는 몰입형 디스플레이 지지 아암을 특정 구성으로 로킹시키는 데 도움을 주기 위해 마찰 브레이크, 능동형 브레이크(active brake), 클러치, 및/또는 다른 작동가능한 로킹 메커니즘을 포함할 수 있다. 몰입형 디스플레이 지지 아암을 제 위치에 로킹시키는 것은, 예를 들어 하우징(320) 및/또는 지지 아암(310)이 하향으로(예컨대, 좌석 조립체가 뒤로 젖혀진 구성에 있는 경우에, 사용자 상으로) 접히게 할 수 있는 중력 효과에 대항하는 데 도움을 줄 수 있다. 부가적으로 또는 대안적으로, 조인트들 중 일부 또는 전부는 사용자 등에 의해 외부적으로 지지되지 않을 때 하향 접힘을 방지하기 위해 균형이 이루어질 수 있다.
자세(pose)(즉, 아암의 부분들의 위치 및/또는 배향)의 조작은 수동으로 제어되고/되거나 하나 이상의 액추에이터로 제어될 수 있다. 아암의 일부 이동(예컨대, 접힘 또는 연장)은 좌석 내에 존재하고 몰입형 디스플레이와 맞닿을 준비가 된 사용자의 식별과 같은 트리거(trigger)에 응답하여 자동적일 수 있다. 아암의 일부 이동은 (예컨대, 지지 아암 내에 내장된 센서, 하우징에 결합된 손잡이 등에 의해 결정되는 바와 같은) 사용자 입력에 기초하여 기동되고 소프트웨어에 의해 제어될 수 있다. 아암의 수동 조절은 아암의 이동에 저항하도록 구성되는 클러치의 맞물림 해제(예컨대, 터치 센서, 버튼, 손잡이 등에 의함)를 수반할 수 있다.
다른 변형에서, 지지 아암은 하나의 실질적으로 비관절식인 부재를 포함할 수 있다. 예를 들어, 지지 아암은 몰입형 디스플레이를 대체로 좌석 조립체 전방에 매달기 위한 정지 캔틸레버(static cantilever) 아암으로서 작용할 수 있다. 또 다른 변형에서, 지지 아암은 좌석 조립체 내의 사용자를 향해 그리고 사용자로부터 멀리 측방향으로 선회하는 부재를 포함할 수 있다. 예를 들어, 도 4d에 도시된 바와 같이, 몰입형 디스플레이(400')가 사용되지 않을 때, 지지 아암(410')은 하우징(420')을 사용자의 안면과 머리로부터 이격시켜 유지하기 위해 측방향 외향으로 "아웃(out)" 위치에 배향될 수 있다. 사용자가 하우징(420')과 맞닿을 준비가 될 때, 도 4e에 도시된 바와 같이, 디스플레이 지지 아암(410')은 이어서 하우징(420')을 사용자의 안면과 머리에 근접하게 유지하기 위해 측방향 내향으로 "인(in)" 위치로 선회할 수 있다.
지지 아암의 근위 단부가 좌석 등받이 또는 다른 구조체의 측부 또는 (예컨대, 수직 대칭을 위한) 중간선에 장착되는 변형에서, 지지 아암은 양측으로부터 좌석 내의 사용자에게 접근하도록 구성될 수 있다. 예를 들어, 도 3c에 도시된 몰입형 디스플레이(300)의 개략도에서, 지지 아암의 근위 단부는 사용자 뒤에 위치된 좌석 등받이 또는 머리 받침대에 장착되며, 지지 아암(310)은 사용자의 우측을 둘러싸고, 사용자의 안면과의 맞닿음을 위해 하우징(320)을 위치시킨다. 그러나, 지지 아암(310) 내의 복수의 조인트(312)가 지지 아암(310)이 사용자의 좌측을 둘러쌀 수 있게 하기 위해 (도 3c에 도시된 바와 같이 시계 방향으로) 수동적으로 그리고/또는 능동적으로 회전하도록 구성될 수 있다. 일부 또는 모든 조인트(예컨대, 적어도 좌석 등받이에 장착된 근위 어깨 조인트)는 지지 아암 중 적어도 일부가 대체로 단일 평면 내에 재위치되도록 피벗될 수 있는 반면, 적어도 일부 조인트는 공간에서 지지 아암(310)의 임의의 적합한 양손잡이 재자세설정(reposing)을 허용하기 위해 구형(spherical) 조인트 또는 다른 적합한 조인트일 수 있다. 예를 들어, 사용자의 양측으로부터의 하우징(320)의 접근을 수용하기 위해 원위 요오 조인트 및/또는 기울임 축이 하우징(320)이 피벗할 수 있게 할 수 있다.
또 다른 변형에서, 도 4a 내지 도 4c에 도시된 바와 같이, 몰입형 디스플레이(400)는 예를 들어 지지 프레임 내에서 하나 이상의 지지 아암(410)을 포함하는 오버헤드 조립체에 의해 좌석 등받이(또는 머리 받침대 등)에 결합될 수 있다. 지지 아암(410)은 사용자가 하우징(420)과 맞닿게 하기 위해 도 4a에 도시된 바와 같이 사용자의 머리 위로부터 사용자에게 접근하도록 구성될 수 있다. 도 4b에 도시된 바와 같이, 지지 아암(410)은 또한 머리 받침대 또는 좌석 등받이의 다른 부분 뒤쪽으로 머리 위로 선회할 수 있고, 지지 아암(410) 및/또는 하우징(420)은 예를 들어 보관 목적을 위해 좌석 등받이에 맞대어져 절첩되거나(예컨대, 도 4c) 좌석 등받이 내의 공동 내로 접히거나 후퇴될 수 있다.
몇몇 변형에서, 하우징 및/또는 지지 아암은 충돌 회피를 돕기 위해 하나 이상의 센서를 포함할 수 있다. 예를 들어, 좌석(예컨대, 좌석 등받이, 팔걸이, 머리 받침대), 개방형 디스플레이 모니터, 사용자의 안면 또는 다른 신체 부위 등과의 잠재적인 충돌을 검출하기 위해 적어도 하나의 근접 센서(proximity sensor)(예컨대, 초음파, 레이저 등)가 하우징 및/또는 지지 아암의 적어도 일부분 내에 위치될 수 있다. 잠재적인 충돌의 검출시, 몰입형 디스플레이가 오디오 톤(audio tone), 시각 신호, 햅틱 모터를 통한 촉각 피드백과 같은 경고를 낼 수 있고/있거나, 지지 아암이 지지 아암과 다른 물체 사이의 충돌을 회피하기 위해 "홀드(hold)" 위치에서 유지되거나 반대 방향으로 이동하도록 작동될 수 있다.
몇몇 변형에서, 지지 아암은 사용자가 아암을 수동으로 이동시키는 데 도움을 주기 위한 구조체를 포함할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 지지 아암은 손잡이(512)를 포함할 수 있는데, 손잡이는 손잡이를 밀고/밀거나 당김으로써 지지 아암을 재위치시키고 재자세설정하기 위해 파지될 수 있다. 부가적으로, 손잡이는 추가로 후술되는 바와 같이, 몰입형 디스플레이의 추가의 제어를 위해 사용자 입력을 수신하기 위한 센서(예컨대, 압력 또는 접촉 센서, 용량성 센서 등)를 포함할 수 있다.
다른 변형에서, 지지 아암은 하우징을 천장 또는 천장 고정구, 기둥 또는 벽과 같은 다른 적합한 고정 구조체, 또는 테이블 또는 카트와 같은 이동가능 고정구에 결합시킬 수 있다. 예를 들어, 도 16a에 도시된 바와 같이, 몰입형 디스플레이(1600)는 천장 또는 다른 상부 고정구에 장착되는 천장 붐-유형 아암(boom-type arm)(1610), 및 아암(1610)의 원위 단부에 결합되는 하우징(1620)을 포함할 수 있다. 그러한 셋업에서, 아암(1610)은 로봇 아암(20)을 갖는 테이블(10) 또는 다른 표면 상의 환자의 머리 위에 장착될 수 있어, 사용자가 외과 시술을 직접 감독할 수 있는 위치에서 (몰입형 디스플레이가 장착된 좌석에 앉아 있기보다는) 서 있으면서 사용자가 몰입형 디스플레이(1600)와 인터페이싱(interfacing)하고 있을 수 있도록 한다. 다른 변형에서, 아암(1610)은 천장, 벽, 기둥 등 상의 임의의 적합한 위치에 장착될 수 있다. 인근의 카트(30)가 핸드헬드 사용자 인터페이스 장치와 같은, 로봇 수술 시스템을 제어하기 위한 추가의 구성요소를 제공할 수 있다. 대안적으로, 도 16b에 도시된 바와 같이, 몰입형 디스플레이(1600')의 다른 변형에서, 지지 아암(1610')은 디스플레이 하우징(1620')을 카트(30)와 같은 이동가능 물품에 결합시킬 수 있으며, 이는 상이한 수술실들 사이에서의 몰입형 디스플레이의 운반을 허용할 수 있다. 몇몇 변형에서, 몰입형 디스플레이(1600')는 사용자가 서 있거나 몰입형 디스플레이(1600')와 별개인 의자에 앉아 있는 상태에서, 개방형 디스플레이(1634), 핸드헬드 사용자 인터페이스 장치(1620), 및 발-작동식 제어부(1638)와 상호작용하고 원하는 경우 몰입형 디스플레이와 선택적으로 맞닿을 수 있는, 도 16b에 도시된 것과 같은 스탠딩 또는 데스크-유형 사용자 콘솔과 함께 사용될 수 있다. 다른 예로서, 지지 아암은 데스크-장착식일 수 있거나, 예를 들어 수술실 또는 다른 방에서 사용하기 위한 그리고/또는 사무실 환경에서의 교육 목적을 위한 독립적인 의자(예컨대, 스툴(stool) 또는 사무실 의자)에 착석한 사용자를 위해 위치설정가능한 다른 붐 상에 장착될 수 있다. 또한, 지지 아암은 상이한 셋업들 사이의 교체(swap)(예컨대, 의자-장착식 몰입형 디스플레이, 천장-장착식 몰입형 디스플레이, 벽-장착식 몰입형 디스플레이, 머리-장착식 몰입형 디스플레이 등 사이의 전이)를 위해, 그러한 고정 구조체들 중 임의의 것으로부터 분리가능할 수 있다.
또 다른 변형에서, 지지 아암이 생략될 수 있고, 디스플레이 하우징이 임의의 적합한 방식으로 장착될 수 있는데, 예를 들어 데스크 또는 다른 콘솔 시스템 상에 직접 배치되거나 머리-장착식(예컨대, 헬멧의 일부 또는 헤드스트랩 포함 등)이도록 구성될 수 있음이 이해되어야 한다. 예를 들어, 본 명세서에 기술된 개념들(예컨대, 머리 제스처 인식, 하우징 내의 이동가능 또는 압력-감지 지지 쿠션, 안구 추적(eye-tracking) 등) 중 많은 것이 지지 아암 구조체 없이 고정식 양안 디스플레이(binocular display)에 이용될 수 있다.
하우징
도 2a와 도 2b에 도시된 바와 같이, 하우징(220)은 안면 프레임(222)을 통해 사용자의 안면과 맞닿기 위한 인터페이스를 제공하며, 여기서 하우징(220)은 아이피스 조립체 및 다른 디스플레이 구성요소를 적어도 부분적으로 둘러싸고 보호한다. 예를 들어, 도 2b의 부분 분해도에 가장 잘 도시된 바와 같이, 하우징(220)은 적어도 좌측 아이피스 조립체(230L) 및 우측 아이피스 조립체(230R)를 수용하는 내부 용적부를 포함하는 리셉터클(receptacle)일 수 있다. 하우징(220)은 제조 방법(예컨대, 사출 성형, 기계가공, 3D 인쇄 등)의 임의의 적합한 조합을 통해 리셉터클로 형성되는 비교적 경량 재료(예컨대, 플라스틱)로 제조될 수 있다. 하우징(220)은 하나의 일체형 단편(piece)일 수 있거나, 체결구, 에폭시 등으로 함께 결합되어 리셉터클을 형성하는 하우징 쉘(shell)과 같은 조립된 단편들의 조합일 수 있다.
몇몇 변형에서, 도 2b에 가장 잘 도시된 바와 같이, 하우징(220)은 하우징(220)의 내부 용적부의 냉각을 용이하게 하기 위해 개구 또는 통기구(vent)(246)를 포함할 수 있다. 예를 들어, 하우징 내의 공기의 유동을 하우징(220) 밖으로의 배출을 위해 통기구(246)를 향해 지향시키도록 구성되는 하나 이상의 팬(fan)(244)이 하우징 내에 배치될 수 있다. 이러한 방식으로, 팬과 통기구는 공기를 사용자의 안면으로부터 멀리 그리고 통기구(246)를 향해 끌어당겨 사용자의 안면을 편안한 온도로 유지시킬 뿐만 아니라 하우징 내의 구성요소에 적합한 온도 환경을 유지시키는 데 도움을 주기 위한 음압(negative pressure)을 생성할 수 있다.
도 2a와 도 2b에 도시된 바와 같이, 하우징(220)은 안면 프레임(222) 또는 눈 시라우드(eye shroud)를 포함하거나 이에 결합될 수 있다. 안면 프레임(222)은 하우징(220)과 사용자의 안면 사이의 편안한 인체공학적 인터페이스를 제공하도록 구성될 수 있다. 안면 프레임(222)은 사람 안면을 수용하도록 윤곽형성될 수 있고(예컨대, 대체로 오목함), 아이피스 조립체로의 사용자의 시선을 방해받지 않게 하기 위해 윈도우(226)(예컨대, 가시광을 통과시키거나 투과시킴)를 포함할 수 있다. 안면 프레임(222)은 사용자의 코 및/또는 입을 위한 여유 공간(clearance)을 제공하기 위해 절제부(cutout) 또는 다른 개구(228)를 포함할 수 있다. 안면 프레임(222)은 몇몇 변형에서 사용자의 눈 영역을 대체로 둘러싸도록 구성될 수 있다.
부가적으로, 안면 프레임(222)은 사용자의 안면(및 사용자의 눈)을 적절히 초점 맞춤된 이미지 등을 위해 아이피스 조립체 광학계로부터 정확한 또는 이상적인 거리를 두고 일관되게 위치시키기 위한 기준 가이드(reference guide)를 제공하도록 구성될 수 있다. 예를 들어, 안면 프레임(222)의 치수는 사용자의 안면이 안면 프레임(222)과 맞닿을 때 사용자의 눈을 아이피스 조립체로부터 미리 결정된 거리만큼 이격시켜 배치하도록 선택될 수 있다. 이러한 미리 결정된 거리는 개략 조절(coarse adjustment)일 수 있고/있거나(예컨대, 반면에 아이피스 조립체 위치는 심도(depth)의 미세 조절을 제공하도록 약간 재위치설정될 수 있음), 개별 안면 형상(예컨대, 큰 이마 뼈 또는 광대뼈, 비교적 납작한 안면 등)을 수용하도록 사용자에게 맞춤될 수 있다.
몇몇 변형에서, 안면 프레임(222)은 증가된 편안함 및/또는 인체공학을 위해 정합성 또는 순응성 재료를 포함할 수 있다. 예를 들어, 안면 프레임(222)은 안면 프레임의 환자-인터페이싱 측의 쿠션재(cushioning), 폼(foam)(예컨대, 형상 기억 폼), 팽창가능 구조체 등과 같은 패딩, 및/또는 안면 프레임(222)을 하우징(220)의 나머지에 결합시키는 고무 가스켓 또는 스프링과 같은 다른 순응성 재료를 포함할 수 있다. 따라서, 안면 프레임(222)의 (그리고/또는 안면 프레임(22)과 하우징(220) 사이의) 전체적인 순응성은 사용자가 사용자의 안면을 하우징으로부터 맞닿음 해제 없이 미미한 위치 조절을 수행하게 할 수 있다. 예를 들어, 사용자는 작업흐름(workflow)을 방해함이 없이 사용자의 자세를 약간 조정할 수 있다. 그러한 미미한 조절은 3D 디스플레이에서 사용자의 몰입 경험을 개선하고 인체공학을 개선할 수 있다.
부가적으로 또는 대안적으로, 안면 프레임(222)은 사용자의 안면의 형상에 정합시키거나 맞추기 위한 다른 메커니즘을 포함할 수 있다. 예를 들어, 안면 프레임(222)의 환자-인터페이싱 측은 사용자의 안면의 표면으로부터의 압력에 응답하여 축방향으로 개별적으로 이동가능한 다수의 요소(예컨대, 연질-팁 핀(soft-tipped pin))를 포함할 수 있다. 다른 예로서, 안면 프레임(22)의 환자-인터페이싱 측은 사용자의 안면의 표면으로부터의 압력에 응답하여 접히는 아코디언-유사 구조체를 안면 프레임의 주연부 주위에 포함할 수 있다. (예컨대, 몰입형 디스플레이의 셋업 단계 동안의) 사용자의 안면에 대한 정합성의 초기 구성이 기준 상태(reference state)를 제공할 수 있어, 기준 상태에 대한 정합성 메커니즘의 임의의 변화가 사용자 상호작용(예컨대, 추가로 후술되는 바와 같은 머리 제스처)으로 해석될 수 있도록 한다. 사용자의 안면에 대한 정합성은 시스템의 제어를 위한 사용자 상호작용으로 해석될 수 있는 비교적 미묘한 안면 표정 또는 다른 단서의 검출과 인식을 가능하게 할 수 있다. 대안적으로, 몇몇 변형에서, 안면 프레임(222)과 사용자의 안면 사이의 거리는 광학 센서 등에 의해 검출되는 머리 제스처에 대한 추적가능한 작업공간을 수용하기 위해 미리 결정된 양의 여유 공간을 포함할 수 있다.
하나의 변형에서, 도 5에 도시된 바와 같이, 몰입형 디스플레이(500)는 예를 들어 (예컨대, 베어링을 이용하여) 활주 또는 포개지는(nesting) 맞물림을 통해 서로에 대해 이동가능한 제1 하우징 부분(520a)과 제2 하우징(520b)을 포함할 수 있다. 예를 들어, 제1 하우징 부분(520a)은 여유 공간을 갖고서 제2 하우징 부분(520b)의 일부분을 수용하도록 구성되는 외측 쉘을 포함할 수 있어, 제2 하우징 부분(520b)이 제1 하우징 부분(520a)에 대해 자유로이 측방향으로 좌우로 그리고/또는 전후로 이동할 수 있도록 한다. 그러한 상대 이동은 하나 이상의 스프링(521) 및/또는 다른 적합한 순응성 메커니즘으로 인해 순응성일 수 있다. 지지 아암(520)은 제1 하우징 부분(520a)에(예컨대, 후방 부분에 또는 제1 하우징 부분(520a)의 측부 상에) 부착될 수 있는 반면, 안면 프레임(522)은 제2 하우징 부분(520b)에 부착될 수 있다. 다른 변형에서, 추가의 포개지는 또는 삽통식(telescoping) 하우징 부분들이 몰입형 디스플레이 내에 포함될 수 있다. 따라서, 제1 및 제2 하우징 부분들 사이의 상대 이동의 전체적인 순응성은 사용자가 사용자의 안면을 하우징으로부터 맞닿음 해제 없이 미미한 위치 조절을 수행하게 할 수 있다. 예를 들어, 사용자는 작업흐름을 방해함이 없이 사용자의 자세를 약간 조정할 수 있다. 그러한 미미한 조절은 3D 디스플레이에서 사용자의 몰입 경험을 개선할 수 있다. 또한, 자세 조정이 시스템의 연장된 장기 사용에 대한 사용자 부담을 감소시키는 데 중요하기 때문에, 서로에 대해 이동가능하게 순응하는 다수의 하우징 부분이 몰입형 디스플레이(500)의 인체공학적 특성을 개선하는 데 도움을 줄 수 있다. 제1 및 제2 하우징 부분들(및/또는 지지 아암)의 기구학적 운동(kinematics)은 몰입형 디스플레이의 원격 회전 중심이 사용자의 목인 것으로 추정되거나 예측되는 지점과 대체로 일치하도록 구성될 수 있다. 이는 예를 들어 사용자가 사용자의 머리를 움직일 때 더욱 개선된 인체공학적 안락함을 위해 지지 아암과 디스플레이의 자연적인 조절을 허용할 수 있다.
몇몇 변형에서, 안면 프레임(222)은 예를 들어 멸균(예컨대, 멸균 용액으로 닦음, 오토클레이브(autoclave) 내에서의 멸균 등) 및/또는 상이한 안면 형상 유형에 맞추어진 상이한 안면 프레임(222)의 교환을 가능하게 하기 위해 하우징(220)으로부터 제거가능할 수 있다. 안면 프레임(222)은 예를 들어 체결구(예컨대, 나사, 접착제 등)로 하우징에 제거가능하게 결합될 수 있다. 부가적으로 또는 대안적으로, 안면 프레임(222)은 예를 들어 일회 사용 또는 제한된 사용 횟수 후에 폐기가능할 수 있다.
하나 이상의 센서(예컨대, 센서(224))가 안면 프레임(222) 상에 또는 그 부근에 포함될 수 있다. 예를 들어, 적어도 하나의 센서(예컨대, 압력 센서, 광학 IR-기반 센서와 같은 근접 또는 거리 센서, 접촉 센서, 온도 센서, 용량성 센서 등)가, 사용자가 안면 프레임(222)과 맞닿는지 여부를 검출하기 위해 사용될 수 있다. 추가로 후술되는 바와 같이, 맞닿은 사용자의 부존재 또는 존재의 결정은 로봇 수술 시스템의 작동을 제한하기 위한 안전 로크-아웃(safety lock-out) 또는 인터로크 특징부(interlock feature)의 일부로서 사용될 수 있다. 또한, 몰입형 디스플레이와 맞닿은 사용자의 검출된 부존재는 자동으로 다른 개방형 디스플레이(예컨대, 도 1a에 도시된 바와 같은 디스플레이(128))가 (예컨대, 내시경 카메라 뷰 또는 다른 주 이미지 콘텐츠를 갖는) 주 디스플레이(primary display)로서 역할하는 결과를 가져올 수 있는 반면, 몰입형 디스플레이는 선택적으로 (부 이미지 콘텐츠를 갖는) 부 디스플레이(secondary display)로서 역할한다. 대조적으로, 몰입형 디스플레이와 맞닿은 사용자의 검출된 존재는 자동으로 몰입형 디스플레이가 주 디스플레이로서 역할하는 결과를 가져올 수 있는 반면, 다른 개방형 디스플레이가 선택적으로 부 또는 보조 디스플레이로서 역할한다. 부가적으로 또는 대안적으로, 안면 프레임(222) 상의 또는 그 부근의 적어도 하나의 센서는 몰입형 디스플레이와의 사용자의 맞닿음의 임의의 오정렬 또는 비-최적 위치설정을 검출하는 데, 그리고 오정렬의 자가-보정(self-correction)을 위해 사용자에게 신호를 보내거나 (예컨대, 오정렬이 보정될 때까지 지지 아암을 작동시키는 것에 의한) 자동 조절을 수행하는 데 사용될 수 있다. 하나 이상의 근접 센서가 부가적으로 또는 대안적으로, 예를 들어 안면 프레임(222)과 사용자의 안면이 맞닿음을 위해 서로 접근할 때 감쇠된 또는 둔화된 "소프트 랜딩(soft landing)" 효과의 작용을 기동시킴으로써, 사용자의 안면과 안면 프레임(222)의 편안한 맞닿음을 제공하는 데 사용될 수 있다.
다른 예로서, 센서들 중 하나 이상이 시스템 내의 제어의 변화, 몰입형 디스플레이 콘텐츠의 변경, 하우징 또는 지지 아암 구성의 조절 등을 위해 사용될 수 있는 사용자 상호작용(예컨대, 머리 제스처)을 검출하는 데 사용될 수 있다. 예를 들어, 그러한 센서는 압력 센서, 용량성 센서, 광학 센서 등을 포함할 수 있으며, 여기서 신호의 변화는 사용자의 머리의 움직임을 나타낼 수 있다. 예를 들어, 사용자가 사용자의 머리를 우측으로 움직일 때, 이러한 움직임은 일반적으로 안면 프레임(222)의 우측에서의 증가된 압력과 안면 프레임(222)의 좌측에서의 감소된 압력을 초래한다. 이들 압력 변화를 검출하는 센서가 우측을 향한 머리 제스처를 결정하는 데 사용될 수 있다. 다른 예로서, 머리 돌리기(head turn) 제스처를 나타내기 위해 사용될 수 있는 하나 이상의 쿠션의 표면 또는 다른 표면 상의 전단력을 접촉 센서가 검출할 수 있다. 임의의 개수의 적합한 센서가 사용될 수 있고, 몰입형 디스플레이 상의, 몰입형 디스플레이를 따른, 또는 몰입형 디스플레이 내의 임의의 적합한 위치에 배치될 수 있다.
몇몇 변형에서, 도 15a와 도 15b에 도시된 바와 같이, 하나 이상의 센서(1532)가 대안적으로 또는 (예컨대, 중복도(redundancy)를 위해) 부가적으로 머리 제스처를 통한 사용자 상호작용을 검출하기 위해 사용자의 머리 뒤의 머리 받침대(1530) 내에 포함될 수 있다. 예를 들어, 몰입형 디스플레이의 하우징(1520)이 대체로 하우징(1520)의 좌측에, 중심 부근에, 그리고/또는 우측에 배치되는 하나 이상의 센서(1522)를 포함할 수 있고/있거나, 머리 받침대(1530)가 대체로 머리 받침대(1530)의 좌측에, 중심 부근에, 그리고/또는 우측에 배치되는 하나 이상의 센서(1532)를 포함할 수 있지만, 분산된 센서들의 다른 적합한 배열이 몰입형 디스플레이 및/또는 머리 받침대 내에 포함될 수 있다. 이들 머리 받침대 센서(1532)로부터의 정보가 몰입형 디스플레이 센서(1522)로부터의 정보와 비교되거나 조합되어 사용자 의도를 도출할 수 있다. 예를 들어, 사용자의 머리 제스처 및 다른 머리 이동은 머리의 후부가 하우징(1520) 상의 센서(1522)로의 입력을 보완하는 입력을 머리 받침대(1530) 내의 센서(1532)에 제공하는 결과를 가져올 수 있으며(예컨대, 사용자가 사용자의 머리를 우측으로 움직일 때, 이러한 움직임은 일반적으로 하우징의 우측 및 머리 받침대의 우측 둘 모두에서의 증가된 압력을 유발함), 이는 센서 중복도를 가능하게 할 수 있다. 다른 예로서, 머리 받침대에 대항한 감지된 압력의 결여와 몰입형 디스플레이에 대항한 감지된 압력의 조합이 제1 사용자 의도(예컨대, 자세의 조정)를 나타낼 수 있는 반면, 머리 받침대에 대항한 감지된 압력과 몰입형 디스플레이에 대항한 감지된 압력의 조합이 제1 사용자 의도와는 별개인 제2 사용자 의도를 나타낼 수 있다.
또 다른 예로서, 안면 프레임(222)(또는 몰입형 디스플레이의 하우징 또는 다른 구성요소에 결합된 다른 곳) 상의 하나 이상의 센서는 사용자의 파라미터를 모니터링하기 위한 하나 이상의 생체측정 센서(biometric sensor)를 포함할 수 있다. 예를 들어, 몰입형 디스플레이는 심장 활동을 측정하기 위한 하나 이상의 EKG 센서, 온도 센서, 심박수 센서, 혈압 센서, 뇌파를 측정하기 위한 EEG 센서(예컨대, 사용자의 관자놀이 상에 배치됨), 땀 센서, 다른 스트레스 센서(stress sensor) 등을 포함할 수 있다. 몰입형 디스플레이를 이용하는 동안의 사용자의 그러한 생체측정 모니터링은 사용자의 스트레스 수준을 모니터링하는 데, 연구 또는 교육 목적을 위해 데이터를 수집하는 데, 기타 등등에 유용할 수 있다. 이러한 생체측정 데이터는 임의의 적합한 메모리 또는 저장 장치, 예를 들어 몰입형 디스플레이(예컨대, 하우징) 내에 위치된 로컬 저장 장치(local storage device), 사용자 콘솔의 다른 부분, 로봇 수술 시스템의 다른 구성요소(예컨대, 카트, 테이블 또는 제어 유닛 상의 중앙 유닛) 내에 저장될 수 있다. 저장 장치의 다른 예는 휴대용 플래시 메모리(예컨대, USB 드라이브), 원격 컴퓨터 또는 서버, 클라우드 스토리지(cloud storage) 등을 포함한다.
도 5와 도 6에 도시된 바와 같이, 하우징의 다른 변형은 몰입형 디스플레이를 조작(예컨대, 재위치설정)하기 위한 하나 이상의 손잡이를 포함할 수 있다. 예를 들어, 적어도 하나의 손잡이(524(도 5) 또는 624(도 6))가 (예컨대, 예를 들어 움직임에 대한 전혀 없거나 상대적으로 적은 제한을 가지고서, 하우징 및/또는 지지 아암에서 높은 수의 자유도를 가능하게 하는 것에 의해, 큰 위치 조절이 수행되는 개략 위치설정 모드(gross positioning mode)를 용이하게 하도록) 하우징(520 또는 620)의 측부 상에 포함될 수 있고/있거나, 도 6의 몰입형 디스플레이(600)에서의 도시된 바와 같은 적어도 하나의 손잡이(626)가 (예컨대, 예를 들어 개략 위치설정 모드에서보다 움직임에 대한 더 많은 제한을 가지고서, 하우징 및/또는 지지 아암에서 더 적은 자유도를 가능하게 하는 것에 의해, 작은 또는 미미한 위치 조절이 수행되는 미세 위치설정 모드를 용이하게 하도록) 하우징(620)의 측부 상에 포함될 수 있다. 손잡이를 위한 다른 적합한 위치는 또한 하우징(620)의 상부 또는 저부 외부 표면을 포함한다. 몇몇 변형에서, 일부 손잡이는 양손잡이 사용을 허용하기 위해 하우징의 양측에 위치될 수 있다(예컨대, 좌측 손잡이(626)와 우측 손잡이(626)). 손잡이들 중 일부 또는 전부는 도 6에 도시된 바와 같은 그립(grip) 또는 바아(bar), 및/또는 도 5에 도시된 바와 같은 노브(knob)를 포함할 수 있지만, 다른 변형에서 손잡이는 링, 레버, 및 파지를 위한 다른 적합한 형상을 포함할 수 있다. 또한, 손잡이들 중 적어도 일부는 손가락 홈, 리빙(ribbing), 또는 범프(bump)와 같은, 그립을 개선하기 위한 텍스처 특징부를 포함할 수 있다. 더욱 상세히 후술되는 바와 같이, 손잡이들 중 적어도 일부는 몰입형 디스플레이와의 사용자 상호 작용을 위한 추가의 입력을 제공하기 위한 그리고/또는 생체측정 데이터(예컨대, 심박수)를 수집하기 위한 센서(예컨대, 압력, 용량성 등)를 포함할 수 있다.
도 7에 도시된 바와 같이, 몰입형 디스플레이(700)의 몇몇 변형에서, 하우징(720)은 (하우징 외부로부터의) 주변 광이 사용자의 시야에 들어가지 못하도록 차단하는 데 도움을 주고/주거나 사용자에 대한 시각적 주의분산을 감소시키는 데 도움을 주어 사용자가 몰입형 디스플레이를 통해 보고 있을 때 몰입 경험을 개선하도록 구성되는, 하우징에 결합되는 적어도 하나의 실드(예컨대, 측부 실드(732), 하부 실드(734))를 포함할 수 있다. 그러나, 몇몇 경우에, 사용자는 사용자의 시야의 차단된 부분을 보고/보거나 그와 상호작용하기 위해 실드를 제거하거나 재위치시키기를 원할 수 있다. 예를 들어, 사용자는 몰입 환경 밖에 있는 (예컨대, 핸드헬드 사용자 인터페이스 장치의 위치파악 또는 파지를 위해) 사용자의 손 또는 (예컨대, 페달 또는 다른 발-작동식 제어부의 위치파악을 위해) 사용자의 발을 보기를 원할 수 있다. 그러한 경우를 수용하기 위해, 실드는 실드가 사용자의 시야의 적어도 일부분을 가리도록 구성되는 제1 위치와 실드가 사용자의 시야의 상기 부분을 노출시키도록 구성되는 제2 위치 사이에서 이동가능할 수 있다. 이와 같이, 하우징에는 실드를 제1 위치와 제2 위치 사이에서 이동시키기 위한 하나 이상의 적합한 액추에이터가 설비될 수 있다. 실드 액추에이터는 안구-추적 센서, 머리 제스처, 핸드헬드 사용자 인터페이스 장치 또는 발-작동식 사용자 인터페이스 장치와 같은 사용자 장치로의 입력, 음성 명령 등에 기초하여 기동될 수 있다.
예를 들어, 도 7에 도시된 바와 같이, 하우징(720)은 하우징의 측부 상에 배치되는 적어도 하나의 실드(732)를 포함할 수 있다. 측부 실드(732)가 제1 위치(도 7에 실선 윤곽에 의해 표시됨)에 관여될 때, 측부 실드(732)는 사용자의 시야의 측방향 주변부를 차단하도록 구성될 수 있다. 측부 실드(732)는 사용자의 시야의 이전에-차단된 측방향 주변부를 노출시키기 위해 제2 위치(도 7에 파선에 의해 표시됨)로 측방향 외향으로 선회하거나 피벗하도록 작동될 수 있다. 다른 변형에서, 제2 위치를 향해 측방향 외향으로 선회하는 대신에, 측부 실드(732)는 상부 수평축을 중심으로 상향으로, 또는 하부 수평축을 중심으로 하향으로 선회할 수 있다. 또 다른 변형에서, 측부 실드(732)는 하우징의 측부를 따라(예컨대, 하우징(720)의 측벽을 따라, 또는 하우징(720)의 측벽 내의 슬롯 내에서) 후퇴되거나 접혀 제2 위치로 전이될 수 있다.
다른 예로서, 하우징(720)은 하우징의 하부 부분 상에 배치되는 적어도 하나의 하부 실드(734)를 포함할 수 있다. 하부 실드(734)가 제1 위치(도 7에 실선 윤곽에 의해 표시됨)에 관여될 때, 하부 실드(734)는 사용자의 시야의 하부 주변부를 차단하도록 구성될 수 있다. 하부 실드(734)는 사용자의 시야의 이전에-차단된 하부 주변부를 노출시키기 위해 제2 위치(도 7에 파선에 의해 표시됨)로 하향으로 선회하거나 피벗하도록 작동될 수 있다. 다른 변형에서, 하부 실드(734)는 하우징의 하부 부분을 따라(예컨대, 하우징(720)의 하부 벽을 따라, 또는 하우징(720)의 하부 벽을 따라 슬롯 내에서) 후퇴되거나 접혀 제2 위치로 전이될 수 있다. 유사하게, 몰입형 디스플레이를 위한 하우징은 하우징의 임의의 적합한 부분 내에 그리고/또는 그 주위에 배치되는 실드들을 포함할 수 있다. 도 7에 도시된 실드가 대체로 플랩형(flap-like)이지만, 아코디언-유사, 접힘가능 천 시라우드(fabric shroud)와 같은 다른 유형의 실드가 가능하다.
하나 이상의 실드의 작동은 사용자 상호작용의 결과로서 일어날 수 있다. 예를 들어, 안구 추적을 수행하는 센서가 (예컨대, 적어도 미리 결정된 기간 동안, 그리고/또는 실드를 향한 특정 방향으로) 사용자 시선(glance)을 검출할 수 있고, 그 후에 제2 위치를 향해 실드들 중 하나 이상을 작동시켜 이전에-차단된 뷰를 노출시킬 수 있다. 예를 들어, 하나 이상의 센서는 사용자가 하부 실드(734)에 의해 차단된 영역을 향해 내려다볼 때를 검출할 수 있고, 제2 위치를 향한 하부 실드(734)의 작동을 기동시킬 수 있다. 다른 예로서, 안면 프레임의 측부 상의 압력 또는 힘 센서가 사용자가 사용자의 머리를 측부 실드(732)를 향해 안면 프레임의 측부에 대항하여 누를 때를 검출할 수 있고, 제2 위치를 향해 측부 실드(732)의 작동을 기동시킬 수 있다. 따라서, 다양한 센서들이 사용자가 몰입형 디스플레이로부터의 맞닿음 해제를 필요로 함이 없이, 몰입 환경 밖에 있는 사용자의 실제 환경을 볼 수 있게 할 수 있다. 부가적으로 또는 대안적으로, 하나 이상의 실드는 제1 위치와 제2 위치 사이에서 수동으로 이동될 수 있다. 또한, 하나 이상의 실드는 예를 들어 스프링 또는 다른 적합한 편의(bias) 메커니즘(도시되지 않음)에 의해, 제1 위치 또는 제2 위치를 향해 편의될 수 있다(예컨대, 편의력이 수동 또는 작동된 힘에 의해 극복되지 않는 한, 실드는 사용자의 시야의 일부분을 차단할 수 있음).
도 7에 도시된 바와 같이, 하우징(720)의 하나의 변형은 하나 이상의 카메라, 예를 들어 아이피스 조립체(730)의 반대편에 있는 하우징의 일측에 위치되는 외향-지향 카메라(722)들을 포함할 수 있다. 외향-지향 카메라는 주위 실제 환경을 이미지화하고, 사용자에게 표시하기 위한 이들 이미지 또는 비디오 피드를 몰입형 디스플레이 상에 제공할 수 있어, 사용자가 원한다면 몰입형 디스플레이로부터의 맞닿음 해제 없이 (예컨대, 투명 또는 시스루(see-through) 하우징을 통한 관찰을 모사하는 "가상 윈도우(virtual window)" 모드로) 주위 실제 환경의 적어도 일부분을 볼 수 있도록 한다. 외향-지향 카메라(722)들은 그들의 위치에 따라 상이한 비디오 피드들을 제공하도록 구성될 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 외향-지향 카메라(722)는 하우징(720)의 전방 표면 상에 위치되며, 따라서 하우징(720)의 전방 표면 바로 앞에 있는 실제 환경의 상황 인식(contextual awareness)을 사용자에게 제공하도록 구성된다. 다른 예로서, 하나 이상의 외향-지향 카메라는 하우징(720)의 측부 바로 옆에 있는 실제 환경의 상황 인식을 사용자에게 제공하기 위해 하우징(720)의 측부 상에 위치될 수 있다. 그러한 주변 이미지는 사용자에게 사용자의 실제 환경의 확장가능한 시야를 제공하는 데 도움을 줄 수 있다. 몇몇 변형에서, 사용자는 외향-지향 카메라(722)에 의해 제공되는 시스루 뷰의 표시와 사용자 상호작용이 센서에 의해 검출되는 몰입 환경의 다른 표시(예컨대, 내시경 카메라 뷰) 사이에서 선택적으로 토글링(toggling)할 수 있다. 예를 들어, 사용자가 사용자의 발 부근에 위치된 발-작동식 제어부를 시각적으로 위치파악하기를 원하면, 사용자는 "가상 윈도우" 모드를 선택하고 (하우징(720)과 맞닿은 상태에서) 사용자의 안면을 발-작동식 제어부를 향해 하향으로 기울여 전방-지향 카메라(722)에 의해 제공되는 비디오 피드를 통해 발-작동식 제어부를 "볼" 수 있다.
도 8에 도시된 바와 같이, 몇몇 변형에서, 몰입형 디스플레이(800)에서, 하우징(820)은 사용자에게 촉각 피드백을 제공하도록 구성되는 하나 이상의 햅틱 액추에이터(840)를 포함할 수 있다. 예를 들어, 햅틱 액추에이터는 적어도 하나의 진동 장치(예컨대, 진동 모터, 압전 액추에이터, 공진기 등)를 포함할 수 있다. 햅틱 액추에이터(840)들은 사용자에게 정보를 전달하기 위해 개별적으로 또는 집합적으로 작동될 수 있다. 예를 들어, 햅틱 액추에이터(840)는 개방형 디스플레이 또는 몰입형 디스플레이 상에 표시되는 그래픽 사용자 인터페이스에 관한 정보(예컨대, 경고, 경보, 메뉴 항목의 선택의 확인 등)를 전달할 수 있다. 다른 예로서, 햅틱 액추에이터(840)는 몰입형 디스플레이의 구성에 관한 촉각 피드백(예컨대, 기계식 멈춤쇠(detent)의 느낌을 주기 위한 진동 및/또는 지지 아암 및/또는 하우징을 배향시키거나 위치설정하기 위한 가변 저항)을 제공할 수 있으며, 이는 예를 들어 사용자를 몰입형 디스플레이와 함께 더욱 인체공학적인 셋업으로 안내하도록 그리고/또는 사용자를 몰입형 디스플레이를 보면서 손-눈 공동작용(coordination)을 위한 최적의 상대적 머리-팔/손 구성으로 안내하도록 도움을 주는 데 유용할 수 있다.
몇몇 변형에서, 다수의 햅틱 액추에이터(840)가 하우징(820) 주위에 분산 방식으로 배열될 수 있고, 로봇 수술 시스템으로부터의 다른 구성요소의 상태에 관한 안내성 지시(directional indication)를 제공할 수 있다. 예를 들어, 로봇 수술 시스템에 대한 사용자 제어를 제공하는 핸드헬드 사용자 인터페이스 장치는 그의 이동이 공간에서 추적되고 로봇 수술 시스템에 대한 명령으로 변환될 수 있는 제한된 작업공간을 가질 수 있다. 핸드헬드 사용자 인터페이스 장치가 그의 추적가능한 작업공간의 경계에 접근하고 있거나 도달하였을 때, 하나 이상의 햅틱 액추에이터(840)는 사용자 인터페이스 장치의 조작이 곧 추적불가할 수 있거나 이제 추적불가하다는 안내성 경보 또는 경고로서 작동할 수 있다(예컨대, 추적가능한 작업 공간의 좌측 경계에 접근함에 따라, 하우징 상의 대응하는 좌측 햅틱 액추에이터(840)가 작동할 수 있음). 다른 예로서, 몰입형 디스플레이와 맞닿은 상태에서 사용자의 동작의 결과로서 로봇 아암이 조작됨에 따라, 로봇 아암은 그의 물리적인 운동 범위의 한계에 접근하거나 도달할 수 있다. 그러한 경우에, 하나 이상의 햅틱 액추에이터(840)는 로봇 아암의 움직임에 대한 현재 명령이 그의 물리적인 움직임 한계에 도달할 위험이 있음을 사용자에게 알리기 위한 안내성 경보 또는 경고로서 작동할 수 있다. 다른 예로서, 사용 동안에, 로봇 아암은 다른 로봇 아암, 환자 테이블, 인근의 수술 보조기 등과 같은 다른 물체와 충돌하거나 물리적으로 간섭될 위험이 있을 수 있다. 전술된 예와 유사하게, 하나 이상의 햅틱 액추에이터(840)는 로봇 아암이 충돌할 위험이 있음을 사용자에게 알리기 위한 안내성 경보 또는 경고로서 작동할 수 있다.
몇몇 변형에서, 하우징은 하나 이상의 오디오 장치를 포함할 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 몰입형 디스플레이(900)는 적어도 하나의 마이크로폰(952)을 포함하는 하우징(920)을 포함할 수 있다. 마이크로폰(952)은 예를 들어 사용자의 입 부근에 위치될 하우징의 부분(예컨대, 도 9에 도시된 바와 같이, 하우징의 밑면) 상에 위치될 수 있지만, 하우징 상의 다른 위치가 적합할 수 있다. 다른 변형에서, 별개의 마이크로폰(예컨대, 클립-온(clip-on) 마이크로폰)이 하우징 또는 지지 아암 상에 위치된 포트(port)에 연결될 수 있다. 마이크로폰(952)은 외과 시술에 참여한 수술진과 같은 다른 사람들과 의사소통하기 위해 그리고/또는 음성 녹음(예컨대, 수술진과의 의사소통, 의료 기록과 같은 기록을 위한 구술 등)을 가능하게 하기 위해 사용될 수 있다. 부가적으로 또는 대안적으로, 마이크로폰(952)은 로봇 수술 시스템, 디스플레이의 인터랙티브 콘텐츠(interactive content) 등의 음성 제어를 위한 음성 명령(예컨대, 구두 명령 또는 클릭음(clicking), 부는 소리(blowing), 휘파람 소리(whistling) 등과 같은 잡음)을 수신할 수 있다. 예를 들어, 음성 제어는 GUI 내의 애플리케이션(application)들 또는 작업들 사이에서 절환하거나, 음악의 선택, GUI의 뷰 또는 스크린의 절환 등과 같은 GUI 상의 애플리케이션 내의 특정 특징부를 제어하기 위해 사용될 수 있다. 또한, 마이크로폰(952)은 외부 음성-제어식 장치(예컨대, 개인용 휴대 전화 등)에 결합되어 외부 음성-제어식 장치의 핸즈프리 작동을 가능하게 할 수 있다. 이들 전술된 음성 명령 중 일부 또는 전부는 클러치와 유사하게 작동하는 다른 사용자 입력(예컨대, 발 페달 또는 다른 발-작동식 제어부의 작동)을 동반할 수 있다. 대안적으로, 이들 음성 명령 중 일부 또는 전부는 동시의 사용자 입력 클러치 없이 수행될 수 있다.
다른 예로서, 도 10에 도시된 바와 같이, 몰입형 디스플레이(1000)는 적어도 하나의 스피커(1050)를 포함하는 하우징(1020)을 포함할 수 있다. 하나 이상의 스피커(1050)는 예를 들어 안면 프레임(1022)의 적어도 하나의 측부 상에 위치 될 수 있고, 사용자가 하우징(1020)과 맞닿을 때 음향을 사용자의 귀를 향해 지향성으로 내도록 구성될 수 있다. 예를 들어, 하우징의 좌측 및 우측 둘 모두에 있는 스피커(1050)가 스테레오 사운드를 제공할 수 있다. 그러나, 하우징 상의 다른 위치(예컨대, 상부, 저부)가 적합할 수 있다. 스피커(1050)는 표시된 비디오 콘텐츠에 동반하는 음향, 그래픽 사용자 인터페이스와 연관된 잡음 및 음향 효과(예컨대, 그래픽 사용자 인터페이스 내의 항목의 선택을 나타내는 클릭 또는 톤, 경보 또는 경고 등), 및/또는 향상된 보다 풍부한 경험을 위해 햅틱 액추에이터 동작을 증대시키는 음향과 같은 추가의 정보를 사용자에게 제공하도록 구성될 수 있다. 스피커(1050)는 또한 수술진과 같은 다른 사람들과의 의사소통을 수신하기 위해(예컨대, 전술된 마이크로폰(952)과 함께, 스피커(1050)는 양방향 통신을 용이하게 할 수 있음), 또는 전화 장치에 연결될 때 전화 통화를 위해 사용될 수 있다. 다른 예로서, 하나 이상의 스피커(1050)는 사용자에게 백색 잡음 또는 능동 잡음 소거를 방출하도록 구성될 수 있다. 또한, 스피커(1050)는 하나 이상의 외부 오디오 장치(예컨대, 라디오, 개인용 음악 플레이어 장치 등)에 결합될 수 있다.
몇몇 변형에서, 몰입형 디스플레이(1100)는 아이피스 조립체에 의해 제공되는 3D 디스플레이와 독립적으로 위치되는 하나 이상의 보조 디스플레이를 갖는 하우징(1120)을 포함한다. 그러한 디스플레이는, 예를 들어 외과 시술 동안에 참고를 위해 유용할 수 있는 보조 콘텐츠(교육 비디오, CT 또는 MRI 스캔과 같은 수술전 의료 영상 등)를 표시할 수 있다. 다른 모드에서, 디스플레이는 부가적으로 또는 대안적으로 주 콘텐츠(내시경 카메라 비디오 피드, 그래픽 사용자 인터페이스 정보 등과 같은)를 표시할 수 있다. 예를 들어, 하우징은 아이피스 조립체에 인접하게 위치되는 하나 이상의 측부 디스플레이(1140)를 포함할 수 있어, 사용자가 사용자의 측방향 주변 시야에서 (또는 곁눈질로) 측부 디스플레이(1140) 상의 콘텐츠를 볼 수 있도록 한다. 다른 예로서, 하우징은 하우징(1120)의 상부 외부 표면 상에 위치되는 하나 이상의 상부 디스플레이(1130)일 수 있어, 사용자가 사용자의 상부 주변 시야에서 (또는 상향 시선으로) 상부 디스플레이(1140) 상의 콘텐츠를 볼 수 있다. 보조 디스플레이는 도 7에 관하여 전술된 실드와 유사하게, 볼 수 있는 위치와 은폐 또는 보관 위치 사이에서 작동가능할 수 있다. 예를 들어, 측부 디스플레이(1140)는 사용자가 디스플레이 상의 콘텐츠를 보기를 원하는지 여부에 따라 측방향 내향 및 외향으로 선회하도록 구성될 수 있다. 유사하게, 상부 디스플레이(1130)는 원하는 대로 피벗축을 중심으로 위로 젖혀지고 아래로 젖혀지거나, 포켓 또는 슬롯 내외로 활주하도록 구성될 수 있다.
도 12에 도시된 바와 같이, 또 다른 변형에서, 몰입형 디스플레이(1200)는 하우징(1220)을 포함할 수 있고, 하우징은 공간에서 하우징(1220)의 위치를 모니터링하기 위한 하나 이상의 추적 장치를 갖는다. 추적 장치는, 예를 들어 전자기 송신기, 머리 위의 또는 근처의 광학 센서와 함께 사용되는 광학 기준 마커(optical fiducial marker)(예컨대, 광학 추적 볼(1232)), 관성 측정 유닛 등을 포함할 수 있다. 부가적으로 또는 대안적으로, 하우징(1220)에 결합되는 지지 아암이 하우징을 추적하기 위한 지지 아암 상의 조인트 또는 위치 인코더, 전위차계 등을 포함할 수 있다. 하우징(1220)의 위치를 추적하는 것은 위치에 기초한 몰입형 디스플레이 콘텐츠의 자동 변경을 가능하게 할 수 있다. 예를 들어, 하우징(1220)이 사용자의 안면과 맞닿은 상태로부터, 맞닿음 해제되어 사용자의 옆으로 밀려났음을 추적 장치로 검출한 후에, 몰입형 디스플레이는 주 디스플레이(예컨대, 수술 부위와 수술 도구의 내시경 카메라 뷰)로부터 부 디스플레이(예컨대, 참고 이미지 등)로 전이될 수 있다. 다른 예로서, 착석한 사용자가 접근할 수 없고/없거나 개방형 디스플레이 모니터에 인접한 위치로 하우징(1220)이 이동됨을 추적 장치로 검출한 후에, 몰입형 디스플레이는 개방형 디스플레이 또는 다른 디스플레이 유닛과 협동하여 듀얼-콘솔(dual-console) 디스플레이로 전이될 수 있다. 또 다른 예로서, 하우징(1220)이 옆으로 떨어진 극한 위치(예컨대, 보관 위치)로 이동되거나 사용자의 반대쪽을 향하도록 방향전환됨을 추적 장치로 검출한 후에, 몰입형 디스플레이는 자동으로 오프 상태로 되거나 유휴 또는 대기 상태로 복귀될 수 있다.
추적 장치 정보는 또한 연장된 사용과 편안함을 위해 인체공학적 최적화 및 몰입형 디스플레이와의 사용자 정렬을 가능하게 하는 데 도움을 줄 수 있다. 예를 들어, 추적 장치(1220)는 몇몇 상황에서 하우징이 약간 수평이 아니거나 사용자의 눈 및/또는 손과 약간 오정렬됨을 나타낼 수 있으며, 이에 응답하여, 사용자에 대한 하우징의 위치를 보정하기 위해(예컨대, 사용자 눈에 대한 하우징 높이를 몰입형 디스플레이를 보기 위한 적절한 시선을 사용자에게 제공하기에 적절하게 하기 위해, 기타 등등을 위해) 지지 아암을 통해 미미한 위치 조절을 자동으로 기동시킬 수 있다.
몇몇 변형에서, 하우징 및/또는 지지 아암은 통행인(passersby) 등에 의해 야기되는 진동과 같은 우발적인 작은 이동에도 불구하고, 하우징과 아이피스 조립체를 대체로 수평으로 그리고 사용자와 정렬되게 유지시키도록 구성될 수 있다. 이와 같이, 하우징 또는 몰입형 디스플레이의 다른 적합한 부분은 의도적인 사용자 상호작용보다는 이상(aberration)과 관련되는 하우징 및/또는 지지 아암의 이동을 검출하기 위한 가속도계 또는 다른 적합한 센서를 포함할 수 있다. 그러한 작은 이동의 검출에 응답하여, 지지 아암 내의 하나 이상의 액추에이터는 작은 진동을 보상하고 디스플레이를 비교적 안정되게 그리고 사용자와 정렬되게 유지시키기 위해 능동 현가장치(active suspension)의 일부로서 작동할 수 있다.
다른 변형에서, 도 13에 도시된 바와 같이, 몰입형 디스플레이는 작업공간 상에 하나 이상의 기준 표지(reference indicator)를 투사하기 위한 적어도 하나의 외향-지향 조명기(1322)를 갖는 하우징(1320)을 포함할 수 있다. 조명기(1322)는 예를 들어 레이저, LED, 다른 발광체 등을 포함할 수 있다. 예를 들어, 조명기(1322)는 몰입형 디스플레이 내의 아이피스에 대한 사용자의 핸드헬드 사용자 인터페이스 장치를 위한 최적 위치를 강조하기 위해(예컨대, 추가로 후술되는 바와 같이, 내시경 카메라-수술 기구 관계를 최적으로 맞추기 위해) 그리드(grid), 아이콘(icon), 또는 다른 기준을 투사할 수 있다. 다른 예로서, 외향 조명은 부가적으로 또는 대안적으로 핸드헬드 사용자 인터페이스 장치를 도킹(docking) 또는 내려놓기 위한 사전설정된 위치, 페달 조립체 또는 다른 발-작동식 제어부의 위치 등과 같은 시스템의 특정 대상 또는 다른 구성요소의 가시성을 개선하기 위해 사용될 수 있다. 그러한 개선된 가시성은 예를 들어 강조되거나 목표 구성요소의 그래픽 아이콘 또는 윤곽의 조명 투사를 수반할 수 있으며, 사용자가 목표 구성요소를 위치파악하는 데 도움을 주는, 사용자가 몰입형 디스플레이와 맞닿지만 그들의 주변 시야에서 조명 투사를 볼 수 있을 때(예컨대, 도 7에 관하여 기술된 실드가 사용자의 시야를 차단하지 않음)와 같은 상황에 유용할 수 있다.
아이피스 및 디스플레이
도 2b에 도시된 바와 같이, 좌측 아이피스 조립체(230L)와 우측 아이피스 조립체(230R)를 포함한 적어도 2개의 아이피스 조립체가 하우징(220) 내부에 배치되고 양안 방식으로 배열될 수 있다. 각각의 아이피스 조립체는 LCD 및/또는 LED 패널 디스플레이, 광학계(예컨대, 렌즈, 거울 등), 및 전자장치를 포함한다. 예를 들어, 몇몇 변형에서, 아이피스 조립체는 (예컨대, 군사 및/또는 게임 목적을 위한) 가상 및 증강 현실 환경을 포함하는 애플리케이션에 상업적으로 이용가능한 그리고 당업자에게 잘 알려진 임의의 적합한 아이피스 조립체와 유사할 수 있다. 집합적으로, 아이피스 조립체들은 사용자에게 3D 디스플레이(예컨대, 입체)를 제공하도록 구성된다. 3D 디스플레이는 또한 2D 콘텐츠를 표시하도록 구성될 수 있다. 하나 이상의 액추에이터가 예를 들어 (예컨대, 동공간 거리(interpupillary distance)의 조절을 위한) 아이피스 조립체들 사이의 상대 위치 및/또는 (예컨대, 사용자의 눈까지의 거리의 조절을 위한) 하우징 내로의 깊이 등을 조절하기 위해 적어도 하나의 아이피스 조립체 내에 통합되거나 그에 결합될 수 있다. 아이피스 조립체 및 하우징 내의 다른 구성요소와 관련된 다른 전자장치는 디스플레이로의 이미지 신호 및 다양한 구성요소로의 전력 공급을 제어 및 관리하는 것과 연관될 수 있다. 몇몇 변형에서, 전자장치는 하나 이상의 무선 배터리 또는 몰입형 디스플레이의 전기 구성요소에 전력을 공급하기 위한 다른 전원을 포함할 수 있지만, 부가적으로 또는 대안적으로, 몰입형 디스플레이는 유선 주 또는 백업 전력 공급부에 결합될 수 있다.
몇몇 변형에서, 일련의 다수의 렌즈가 부가적으로 또는 대안적으로 하우징 내에 포함될 수 있고, 넓은 시각 프레임에 걸쳐 연속적으로 이어지는 만곡된 또는 파노라마 이미지를 제공하도록 구성될 수 있다. 대안적으로, 일련의 다수의 렌즈는 또한 이용가능한 시각 프레임을 가로질러 별개의 콘텐츠를 보여주는 2개 이상의 분할된 분할 스크린으로 구성될 수 있다. 또한, 렌즈 또는 다른 교정 메커니즘이 아이피스 조립체와 함께 선택적으로 제공되어 (예컨대, 근시, 원시, 난시 등을 위해) 시력 교정을 제공할 수 있다.
일반적으로, 아이피스 조립체는 사용자가 몰입형 디스플레이와 맞닿을 때 3D 정보, 비디오, 정지 이미지, GUI, 인터랙티브 컨트롤 등을 포함하지만 이로 한정되지 않는 다양한 정보를 사용자에게 표시하도록 구성될 수 있다. 아이피스 조립체(230)는 개방형 디스플레이(예컨대, 도 1b에 도시된 바와 같은 디스플레이(128)), 몰입형 디스플레이 상의 보조 디스플레이(예컨대, 도 11에 도시된 바와 같은 측부 및/또는 상부 디스플레이(1140, 1130)), 및 임의의 다른 보조 디스플레이(예컨대, 사용자 콘솔 내의 좌석에 결합된 개방형 디스플레이 등)와 같은 로봇 수술 시스템과 관련된 다른 디스플레이에 대한 보조 디스플레이로서 역할할 수 있다. 이와 같이, 이들 디스플레이 중 하나 이상이 주 관찰을 위해 의도되는 주 디스플레이로 지정될 수 있다. 주 디스플레이의 일례는 도 17에 도시된 것과 같은 GUI이다. 예를 들어, GUI는 (예컨대, 환자 내부에 배치된 내시경 카메라로부터의) 내시경 이미지 데이터(1700) 및/또는 환자 데이터(1710)(예컨대, 성명, 의료 기록 번호, 생년월일, 다양한 적합한 기록 등)를 표시할 수 있다. 주 디스플레이는 제어 패널(1712) 및 하나 이상의 의료 이미지(1714)(예컨대, 환자 조직의 수술전 이미지)를 추가로 포함할 수 있다. 제어 패널(1712)은 좌측 도구 번호, 좌측 도구 명칭, 좌측 도구 기능 등과 같은 정보를 포함할 수 있다. 우측 도구 아암에 대한 유사한 정보가 제공될 수 있다. 그러나, 다른 적합한 GUI 또는 다른 디스플레이 콘텐츠가 주 디스플레이 상에 나타날 수 있다. 또한, 디스플레이들 중 하나 이상이 보조 콘텐츠(예컨대, 참고 이미지 또는 비디오)를 제공하기 위한 부 디스플레이로 지정될 수 있다. 추가로 후술되는 바와 같이, 다양한 사용자 상호작용이 디스플레이가 주 디스플레이, 부 디스플레이(또는 다른 적합한 부류의 디스플레이)로서의 그들의 지정 및 따라서 그들의 표시되는 콘텐츠 유형을 변경하게 할 수 있다.
하우징은 사용자의 응시(gaze)를 검출하기 위해 사용될 수 있는 안구-추적 센서 또는 카메라(예컨대, 도 2a와 도 2b에 도시된 아이피스 조립체(230) 내에 또는 그 부근에 배치됨)를 포함할 수 있으며, 이는 (예컨대, 추가로 후술되는 바와 같은 홍채 코드 검출에 의한) 로봇 수술 시스템의 작동을 제한하기 위한 안전 로크-아웃 또는 인터로크 특징부를 위해, 시스템에서 제어를 변경하기 위해, 몰입형 디스플레이 콘텐츠를 변경하기 위해, 디스플레이들 중 하나 상의 GUI의 내비게이션을 위한 사용자 입력으로서 해석되기 위해, 몰입형 디스플레이 및/또는 로봇 수술 시스템의 사용을 평가하기 위한 다른 적합한 측정기준으로서 등등을 위해 사용될 수 있다. 부가적으로 또는 대안적으로, 안구 추적 또는 동공 감지는 추가로 후술되는 바와 같이, 사용자의 동공들 사이의 검출된 거리에 기초하여 2개의 아이피스 사이의 동공간 거리(IPD)를 자동으로 조절하기 위해 사용될 수 있다. 안구-추적은 또한 몇몇 변형에서, 예를 들어 로봇 수술 시스템의 장기간에 걸친 사용 동안에 사용자의 피로도를 모니터링하기 위해 사용될 수 있다.
몰입형 디스플레이에서의 센서 유형, 센서 위치 및 센서 기능의 몇몇 특정 예가 위에서 논의되었지만, 매우 다양한 다른 센서 및 센서 유형이 부가적으로 또는 대안적으로 사용자에 관한 정보를 획득하고/하거나 인터랙티브 사용자 제어로서 사용자 입력을 수신하기 위해 몰입형 디스플레이의 다양한 구성요소(예컨대, 지지 아암, 하우징) 전반에 걸쳐 위치될 수 있음이 이해되어야 한다. 예를 들어, 몰입형 디스플레이 시스템은 추가로 후술되는 바와 같이 사용하기 위한 다양한 센서 및 다른 구성요소를 포함할 수 있다.
제어기
몰입형 디스플레이는 몰입형 디스플레이의 거동을 통제하는 제어 시스템을 포함할 수 있다. 예를 들어, 제어 시스템은 하나 이상의 프로세서(예컨대, 마이크로프로세서, 마이크로컨트롤러, 주문형 집적 회로(application-specific integrated circuit), 현장 프로그램가능 게이트 어레이(field programmable gate array), 및/또는 다른 논리 회로)를 포함하는 하나 이상의 제어기(1900)를 포함할 수 있다. 제어기(1900)는 사용자 콘솔(1940)의 하나 이상의 다른 구성요소(예컨대, 핸드헬드 사용자 인터페이스 장치, 발-작동식 사용자 인터페이스 장치, 개방형 디스플레이 등)와 통신할 수 있다. 제어기(1900)는 또한 사용자의 생체정보, 사용자 선호도, 사용자 프로필 등과 같은 다양한 사항을 메모리 내에 저장하기 위한 저장 장치(1930)와 통신할 수 있다. 제어기(1900)는 또한 지지 아암을 작동시키기 위한 다양한 모터(1912) 및 다양한 센서(1914)를 포함하지만 이로 한정되지 않는 지지 아암의 구성요소, 및 본 명세서에 기술된 것과 같은 지지 아암의 임의의 다른 구성요소들을 제어하도록 구성되는 지지 아암 제어기(1910)와 같은 하위 제어 모듈과 통신할 수 있다. 또한, 제어기(1900)는 아이피스 조립체(1922), 센서(1924), 모터(1926), 및 본 명세서에 기술된 것과 같은 디스플레이 하우징 내의 임의의 다른 구성요소를 포함하지만 이로 한정되지 않는 몰입형 디스플레이의 하우징 구성요소들을 제어하도록 구성되는 하우징 제어기(1920)와 통신할 수 있다. 대안적으로, 제어기(1900)는 지지 아암 및/또는 하우징의 구성요소와 직접 인터페이싱함으로써, 각각 지지 아암 및 하우징을 위한 하위 제어 모듈(1910, 1920)을 생략할 수 있다.
몰입형 디스플레이의 작동
일반적으로, 몰입형 디스플레이는 여러 모드들 또는 상태들 중 하나 이상에서 작동될 수 있다. 이들 모드 및/또는 임의의 다른 모드 사이의 전이는 몰입형 디스플레이의(예컨대, 지지 아암 및/또는 하우징 내의) 센서와의 그리고 부가적으로 또는 대안적으로 몰입형 디스플레이가 연관되는 사용자 콘솔 내의 다른 보조 센서와의 상호작용을 통해 사용자에 의해 지시될 수 있다. 이와 같이, 다양한 모드들 사이의 절환은 예를 들어 상태 기계(state machine)/제어기에 의해 취급될 수 있다.
셋업 모드에서, 사용자가 몰입형 디스플레이 시스템과 상호 작용할 때 몰입형 디스플레이가 사용자에 대해 초기화된다. 이러한 모드는, 예를 들어 연관된 로봇 수술 시스템을 이용하여 수행되는 외과 시술을 준비하는 동안에 또는 외과 시술의 시작시에 적합할 수 있다. 이러한 모드는 또한 특정 외과 시술 동안 처음으로, 그리고/또는 몇몇 변형에서, 그 후 선택된 중간 시간에(예컨대, 몰입형 디스플레이의 불사용 기간 후에), 사용자가 몰입형 디스플레이와 맞닿을 때마다 적합할 수 있다.
몇몇 변형에서, 셋업 모드는 하나 이상의 센서가 로봇 수술 시스템의 작동을 가능하게 할 수 있도록 몰입형 디스플레이 내에 구현된 안전 로크-아웃 또는 인터로크 특징부에 의해 특징지어질 수 있다. 하나의 변형에서, 하나 이상의 센서는 로봇 수술 시스템을 작동시키기 위한 인증을 위해 사용자를 식별하도록 구성될 수 있다. 예를 들어, 그러한 센서는 사용자의 홍채 코드를 검출하도록 구성되는 카메라 내에 통합될 수 있으며, 여기서 제어기는 검출된 홍채 코드를 인증된 사용자와 연관된 데이터베이스 내의 저장된 홍채 코드와 비교하고, 검출된 홍채 코드가 인증된 사용자와 관련된 홍채 코드와 일치하면 로봇 수술 시스템의 작동을 가능하게 한다. 고유 생체측정 파라미터를 검출하기에 적합한 다른 센서, 예를 들어 열 특징(heat signature)을 검출하기 위한 IR 센서, 음성 인식을 수행하기 위한 전자장치 등이 부가적으로 또는 대안적으로 사용자의 식별을 위해 포함될 수 있다. 사용자가 로봇 수술 시스템의 인증된 사용자라는 표시가 없으면, 몰입형 디스플레이 및/또는 사용자 콘솔의 다른 구성요소는 전력차단 상태, 유휴 상태 또는 사용자가 로봇 수술 시스템을 작동시키려고 하는 경우에 무응답 상태로 유지될 수 있다. 또한, 홍채 코드 검출 및 인식을 통해 사용자를 식별할 때, 제어기는 사용자 콘솔 내의 좌석 조립체에 대한 좌석 위치 조절 설정, 선호하는 GUI 표현 등과 같은 사용자-관련 사전설정 및/또는 선호도를 로딩할 수 있다.
다른 변형에서, 하나 이상의 센서가 하우징, 아이피스 조립체, 또는 몰입형 디스플레이의 다른 적합한 부분과 사용자의 안면의 적절한 정렬 또는 위치설정을 결정하도록 구성될 수 있다. 예를 들어, 그러한 센서는 안구-추적을 수행하도록 구성되는 광학 센서일 수 있으며, 여기서 제어기는 사용자의 응시를 분석하여 사용자의 눈이 아이피스 조립체에 대해 최적 위치에 있는지 여부를 결정한다. 적절한 위치설정(예컨대, 아이피스 조립체로부터의 거리 및/또는 측방향 정렬)이 결정되면, 제어기는 로봇 수술 시스템의 작동을 가능하게 할 수 있다. 사용자의 눈이 적절히 위치된다는 표시가 없으면, 몰입형 디스플레이 및/또는 사용자 콘솔의 다른 구성요소는 전력차단 상태, 유휴 상태 또는 사용자가 로봇 수술 시스템을 작동시키려고 하는 경우에 무응답 상태로 유지될 수 있다. 부가적으로 또는 대안적으로, 부적절한 위치 설정이 있으면, 몰입형 디스플레이는 자동으로 조절될 수 있고/있거나(예컨대, 오정렬을 보상하기 위해 하우징을 증분량만큼 이동시키도록 지지 아암을 작동시킴), 사용자에게 몰입형 디스플레이에 대한 사용자의 위치를 조절하라는 표시를 제공할 수 있다. 사용자의 존재 및/또는 몰입형 디스플레이에 대한 위치의 표시를 제공하는 (예컨대, 안면 프레임의 사용자-인터페이싱 측에 있는) 압력, 거리, 또는 온도 센서 등과 같은 다른 센서가 부가적으로 또는 대안적으로 하우징 상에 또는 그 내에 포함될 수 있다. 이들 다른 유형의 센서는, 예를 들어 안전 목적을 위해 안구-추적 센서에 중복도를 제공하기 위해 부가적으로 이용될 수 있다.
몇몇 변형에서, 셋업 모드는 상이한 사용자들 사이의 인체측정(anthropometric) 범위를 수용하기 위한 2개의 아이피스 조립체 사이의 동공간 거리(IPD)의 조절에 의해 특징지어질 수 있다. 제어기는 예를 들어 안구-추적을 사용하여 사용자의 IPD를 결정하고 아이피스 조립체들 사이의 IPD가 거의 일치할 때까지 아이피스 조립체들을 더욱 가깝게 또는 더욱 멀리 떨어지게 작동시킴으로써 자동으로 그러한 조절을 수행할 수 있다. 부가적으로 또는 대안적으로, IPD 조절은 예를 들어 노브 또는 전자 스위치에 의해 제어되는 기어식 설비를 이용하여 수동일 수 있다. 하나의 변형에서, 특정 사용자에 대한 IPD 거리는 메모리 내에 저장되고 사용자 설정 및 선호도의 일부로서 데이터베이스 내의 사용자 프로필과 연관될 수 있어, 사용자가 몰입형 디스플레이의 사용자로서 식별되거나 로그인하는 후속 시간에, 제어기는 사용자의 프로필을 검색하고 아이피스들 사이의 IPD를 사용자의 IPD와 일치하도록 자동으로 조절할 수 있다. 이들 사용자 설정 및 선호도 중 일부 또는 전부는 부가적으로 또는 대안적으로 사용자에게 적용되는 홍채 코드 인식에 기초하여 결정될 수 있다.
또 다른 변형에서, 셋업 모드는 사용자의 프로필 내에 저장된 사용자의 설정 및 선호도에 따른 다른 몰입형 디스플레이 설정의 조절에 의해 특징지어질 수 있다. 예를 들어, 사용자를 식별하고 저장된 사용자 프로필의 데이터베이스로부터 사용자의 프로필을 검색한 후에, 제어기는 지지 아암을 바람직한 구성(예컨대, 사용자에 대한 좌측 또는 우측 지지 아암 구성, 지지 아암 및 하우징의 위치 등)으로 조절할 수 있다.
몰입형 디스플레이가 사용자에 대해 설정된 후에, 몰입형 디스플레이는 로봇 수술 시스템에 관한 정보를 사용자에게 제공한다. 부가적으로, 적어도 하나의 센서(예컨대, 사용자의 응시를 따르는 안구-추적 센서 및/또는 하우징 내에 포함된 압력 센서 또는 다른 센서 등)가 사용자의 머리 제스처를 검출하도록 구성될 수 있고, 제어기는 사용자의 머리 제스처를 해석하고 사용자의 머리 제스처의 해석에 따라 해석된 머리 제스처에 응답할 수 있다. 안구-추적과 같은 다른 센서가 다른 사용자 의도를 나타낼 수 있다.
몇몇 변형에서, 사용자의 검출된 머리 제스처에 응답하여, 지지 아암은, 사용자가 몰입형 디스플레이의 하우징과 맞닿은 상태에서 사용자를 재위치시킬 때, 지지 아암이 하우징을 맞닿음을 유지시키기 위해 대응하는 방식으로 이동하게 작동시키도록, 머리 제스처를 추적하게 하우징을 이동시키도록 구성될 수 있다. 예를 들어, 사용자가 사용자의 좌석에서 뒤로 젖히거나 사용자의 머리를 좌측 또는 우측으로 돌리면, 지지 아암은 하우징을 마치 하우징이 스트랩 등으로 사용자의 머리에 직접 결합된 것처럼 사용자의 머리를 따르도록 작동시킬 수 있다. 머리 제스처의 이러한 추적은 사용자가 몰입형 디스플레이로부터 맞닿음 해제시킬 필요 없이 사용자의 자세를 조정할 수 있게 하여, 사용자가 사용자의 자세를 더욱 자주 조정함으로써, 시스템의 인체공학적 품질을 개선할 수 있도록 한다. 제어기는 운동의 양 및/또는 속도(예컨대, 비교적 현저한 그리고 빠른 머리 제스처는 몰입형 디스플레이로부터의 의도적인 맞닿음 해제로 해석될 수 있음)와 같은 파라미터에 기초하여 자세 조정과 관련된 머리 이동을 의도적인 맞닿음 해제와 관련된 머리 제스처와 구별할 수 있다. 사용자가 (예컨대, 개방형 디스플레이를 보기 위해, 휴식을 취하기 위해, 기타 등등을 위해) 몰입형 디스플레이로부터 맞닿음 해제하기를 원한다고 제어기가 결정할 때, 지지 아암은 머리 제스처의 추적을 그만둘 수 있고, 사용자가 몰입형 디스플레이로부터 분리되게 할 수 있다.
몰입형 디스플레이는 또한 전술된 센서들(예컨대, 압력 센서, 거리 센서, 접촉 센서, 스위치 센서, 안구-추적 센서 등) 중 임의의 것을 사용하여, 시스템에서의 제어의 변화, 디스플레이의 변경, 하우징 또는 지지 아암 구성의 조절, 로봇 수술 시스템의 다른 작동 등을 위해 의도되는 머리 제스처를 모니터링할 수 있다. 예를 들어, 상향으로의 사용자의 빠른 끄덕임은 몰입형 디스플레이에 표시된 뷰를 외향-지향 카메라로부터의 비디오 피드로 변경하는 "가상 윈도우" 모드의 선택을 가져올 수 있다. 다른 예로서, 좌측 또는 우측으로의 사용자의 약간의 머리 회전 및/또는 표시된 아이콘의 장기적인 응시는 몰입형 디스플레이 또는 다른 디스플레이 상에 표시된 GUI를 통한 내비게이션(GUI 스크린을 통한 스와이핑(swiping), 아이콘의 선택 등)을 가능하게 할 수 있다. 또 다른 예로서, 몰입형 디스플레이에 의해 감지된 하나 이상의 사용자 상호작용(헤드 제스처, 안구 추적 등)의 다른 조합은 상이한 로봇 아암들의 제어 사이의, 예를 들어 내시경 카메라를 조작하기 위해 사용되는 로봇 아암과 "카메라 클러치(camera clutch)" 모드에서 수술 도구를 조작하기 위해 사용되는 다른 로봇 아암 사이의 토글링을 가능하게 할 수 있다. 또 다른 예로서, 몰입형 디스플레이에 의해 감지된 하나 이상의 사용자 상호작용의 다른 조합은 몰입형 디스플레이를 주 디스플레이로서 사용하는 것과 개방형 디스플레이(예컨대, 도 1b에 도시된 디스플레이(128))를 주 디스플레이로서 사용하는 것 사이에서 토글링하기 위해 사용될 수 있다.
몇몇 변형에서, 사용자의 의도적인 지향성 머리 제스처(선택적으로, 클러치로서 작동하는 다른 센서 또는 제어부로의 다른 동시의 입력, 예를 들어 발 페달의 누름 또는 센서를 갖는 손잡이 상에서의 파지와 조합됨)는 표시되는 내시경 카메라 뷰를 변경하는 결과를 가져올 수 있다. 예를 들어, 클러치를 동시에 작동시키면서, 사용자는 안으로 몸을 기울여 카메라 뷰 줌-인을 명령하거나, 밖으로 몸을 기울여 카메라 뷰 줌-아웃을 명령하거나, 그의 머리를 좌측 또는 우측으로 돌려 좌측 또는 우측으로의 카메라 뷰 패닝(panning)을 명령하거나, 그의 머리를 전방 또는 후방으로 기울여 전방 또는 후방으로의 카메라 뷰 기울임을 명령할 수 있다. 이러한 방식으로, 사용자는 2개의 핸드헬드 사용자 인터페이스 장치를 파지한 상태에서, 적어도 3개의 기구(예컨대, 사용자의 두 손에 의해 파지된 2개의 핸드헬드 사용자 인터페이스 장치에 의해 제어되는 2개의 기구, 및 사용자의 머리 제스처로 제어되는 카메라 기구)를 동시에 조작할 수 있다.
그러나, 제어기는 사용자 의도를 결정하기 위해 임의의 적합한 방식으로 센서의 다양한 조합으로부터의 입력을 해석할 수 있다. 또한, 머리 제스처 및/또는 다른 감지된 사용자 상호작용의 다양한 조합이 특정 제어 명령에 매핑(mapping)되는 방식은 상이한 사용자들에게 맞추어질 수 있고, 몰입형 디스플레이의 셋업 동안에 로딩될 사용자의 프로필 내에 사용자 선호도로서 저장될 수 있다.
또한, 도 14에 도시된 바와 같은 몇몇 변형에서, 몰입형 디스플레이는 하우징(1420)과 사용자 손 위치(1430)의 상대적 공간 관계와 내시경 카메라(1440)와 수술 기구(1450)의 상대적 공간 관계 사이의 일치를 유지시키기 위한 안내를 제공하도록 구성될 수 있다. 사용자가 몰입형 디스플레이와 맞닿을 때, 사용자는 동시에 (표시된 내시경 카메라 비디오 피드를 통해) 수술 부위를 보고 있고 수술 부위에 있는 원격 제어식 수술 기구를 위한 핸드헬드 사용자 인터페이스 장치를 파지하고 있을 수 있다. 사용자가 충분히 정확한 자기 수용 감각(proprioception)(예컨대, 사용자의 몰입 환경과 실제 수술 부위 환경 사이의 실질적으로 정확한 공간 매핑)을 유지시키기 위해, 사용자의 머리와 사용자의 손의 상대 위치는 바람직하게는 내시경 카메라와 원격 제어 수술 기구의 상대 위치와 실질적으로 유사하다. 이러한 일치를 유지시키기 위한 안내를 제공하기 위해, 몰입형 디스플레이는 예를 들어 사용자가 현재의 하우징 위치 및 배향을 위해 사용자의 손을 위치시켜야 하는 곳에 대한 그래픽 표현 또는 아이콘을 사용자에게 표시할 수 있다. 그러한 그래픽 표현은 현재 표시된 이미지 상에 중첩될 수 있거나, (예컨대, 교정 모드에서) 별도로 표시될 수 있다. 부가적으로 또는 대안적으로, 몰입형 디스플레이는 사용자의 머리와 손이 적절한 관계에 있을 때를 알리기 위해 오디오 큐 또는 햅틱 큐(예컨대, 사용자의 손의 재조정을 제안하는 오디오 톤)를 제공할 수 있다. 몇몇 변형에서, 제어기는 하우징(1420)과 사용자 손 위치(1430)의 상대적 공간 관계와 내시경 카메라(1440)와 수술 기구(1450)의 상대적 공간 관계 사이의 적합한 일치를 유지시키는 데 도움을 주기 위해 보정 조절(예컨대, 몰입형 디스플레이의 위치의 조절)을 구현할 수 있다. 또한, 하나 이상의 몰입형 디스플레이 구성요소(하우징, 지지 아암 등)의 위치를 다른 로봇 수술 시스템 구성요소(예컨대, 핸드헬드 사용자 인터페이스 장치, 발-작동식 제어부 등)와 관련시키는 다른 움직임 결합, 편의, 및/또는 피드백 알고리즘이 포함될 수 있다. 그러한 알고리즘은 예를 들어 수학적 변환에서 최적의 손-눈 조정 계수(coordination factor)를 적용하여 다양한 구성요소들 사이의 관계를 매핑할 수 있다.
몇몇 변형에서, 몰입형 디스플레이는 목표 위치(예컨대, 핸드헬드 또는 발-작동식 사용자 인터페이스 장치의 위치)에 대한 사용자 손 위치 및 사용자 발 위치 중 적어도 하나를 재위치시키기 위해 사용자에게 하나 이상의 시각적 큐를 제공하도록 구성될 수 있다. 몰입형 디스플레이로부터의 오디오 및/또는 햅틱 액추에이터 큐(예컨대, 확인된 위치 배치를 표시하기 위한 안면 프레임에서의 비프음(beep) 또는 진동)가 부가적으로 또는 대안적으로 그러한 목적을 위해 제공될 수 있다. 예를 들어, 도 18a에 도시된 바와 같이, 몰입형 디스플레이는 핸드헬드 사용자 인터페이스 장치를 위한 도크 또는 휴지 장소의 위치와 같은 목표 손 위치의 하나 이상의 그래픽 표현(1814)(예컨대, 버블(bubble) 또는 윤곽)에 대한 하나 이상의 손 위치(예컨대, 실루엣(silhouette)(1824))의 시각적 표현을 보여줄 수 있다. 다른 예로서, 도 18b에 도시된 바와 같이, 몰입형 디스플레이는 발 페달의 위치와 같은 목표 발 위치의 하나 이상의 그래픽 표현(1814)(예컨대, 버블 또는 윤곽)에 대한 하나 이상의 발 위치(예컨대, 실루엣(1822))의 시각적 표현을 보여줄 수 있다. 사용자의 손 및/또는 발 위치의 시각적 표현은 예를 들어 사용자의 손과 발이 존재하는 사용자 작업공간을 조준한 3D 카메라 또는 센서, IR 투사, LIDAR 등으로부터 획득된 소스 데이터(source data)로부터 도출될 수 있다. 이들 시각적 및 그래픽 표현은 기존의 주 표시 이미지(예컨대, 카메라 뷰)와 중첩될 수 있다. 유사한 시각적 및 그래픽 표현이 또한, 핸드헬드 사용자 인터페이스 장치를 특정한 지정된 위치에(예컨대, 사용자 콘솔의 구성요소 상에, 또는 몰입형 디스플레이의 지지 아암 및/또는 하우징 상의 지정된 후크 또는 도킹 위치 상에) 도킹시키도록 사용자에게 시각적 리마인더(reminder)를 제공하는 데 사용될 수 있다.
하나 이상의 센서는 부가적으로 또는 대안적으로 좌석 조립체에서의 사용자의 역량(competency)을 검출하도록, 예를 들어 수술 기구를 조작하는 사용자가 충분한 휴식을 취하였는지 그리고/또는 술 취하지 않았는지 확인하도록 구성될 수 있다. 예를 들어, 안구 추적을 수행하기 위한 광학 센서는 (예컨대, 안구 이동, 깜박임 속도(blink rate) 등에 기초하여) 사용자가 수면 부족인지 또는 피곤한지를 예측하는 데 사용될 수 있다. 또한, 화학 센서(예컨대, 음주측정기(breathalyzer))가 에탄올 트레이스(ethanol trace) 등에 기초하여 술에 취하지 않은 상태를 확인하기 위해 포함될 수 있다. 이들 종류의 이벤트는, 예를 들어 외과 시술을 받는 환자를 보호하기 위해 적어도 가청/가시 알람 또는 다른 경고, 및/또는 제어부의 작동불능을 유발할 수 있다.
몇몇 변형에서, 몰입형 디스플레이는 위치설정될 때 개략 위치설정 모드 및/또는 미세 위치설정 모드로 작동가능할 수 있다. 개략 위치설정 모드에서, 지지 아암 및/또는 하우징은 비교적 높은 수의 자유도(예컨대, 모든 지지 아암 조인트가 자유롭게 이동하도록 제한이 없음, 또는 단지 기울임의 방지와 같은, 움직임에 대한 적은 제한)로 이동가능할 수 있다. 대조적으로, 미세 위치설정 모드에서, 지지 아암 및/또는 하우징은 개략 위치설정 모드에서보다 상대적으로 낮은 수의 자유도로 이동가능할 수 있다. 예를 들어, 미세 위치설정은 지지 아암 조인트의 일부분만이 (예컨대, 기울임 및/또는 높이 조절을 위해) 자유롭게 이동할 수 있게 할 수 있다.
몰입형 디스플레이가 특히 로봇 수술 시스템의 제어에 관하여 본 명세서에 기술되지만, 몰입형 디스플레이의 특징(예컨대, 인체공학적 재위치설정)이 다른 응용과 관련된다는 것이 이해되어야 한다. 예를 들어, 지지 아암은 예를 들어 가상 현실 환경에서의 게임 및/또는 엔지니어링 개발을 위한 가상 현실 헤드셋과 함께 사용될 수 있다. 또한, 예를 들어 군사 목적을 위한 다른 머리-장착식 디스플레이의 경우에 사용자 피로를 감소시키는 데 도움을 주기 위해, 본 명세서에 기술된 지지 아암은 "플로팅(floating)" 구성을 유지하고 머리-장착식 디스플레이가 자유롭게 이동되게 하면서, 중력 밸런싱(gravity balancing) 또는 유사한 중량 보상을 통해 머리-장착식 디스플레이의 중량을 분담(off-load)하고 지지하는 데 도움을 주기 위해 사용될 수 있다. 또한, 본 명세서에 기술된 바와 같은 몰입형 디스플레이 하우징은 하우징을 머리-장착식 디스플레이로서 사용하기 위해 분리가능할 수 있다(또는 지지 아암이 생략될 수 있음).
상기 설명은, 설명의 목적 상, 본 발명의 완전한 이해를 제공하기 위해 특정 용어를 사용하였다. 그러나, 본 발명을 실시하기 위해 특정 상세 사항이 요구되지 않는다는 것이 당업자에게 명백할 것이다. 따라서, 본 발명의 특정 실시예에 대한 상기 설명은 예시 및 설명의 목적으로 제공된다. 이들은 총망라하거나 본 발명을 개시된 정확한 형태로 제한하고자 하는 것은 아니며, 명백하게는, 상기 교시 내용을 고려하여 많은 수정 및 변형이 가능하다. 실시예들은 본 발명의 원리 및 그의 실제 응용을 가장 잘 설명하기 위해 선택 및 기술되었으며, 이에 의해 실시예들은 당업자가 본 발명, 및 고려되는 특정 용도에 적합한 다양한 변형들을 갖는 다양한 실시예들을 가장 잘 이용할 수 있게 한다.
본 출원은 전체적으로 본 명세서에 참고로 포함되는, 2016년 10월 3일자로 출원된 미국 특허 출원 제62/403,655호의 우선권을 주장한다.

Claims (20)

  1. 로봇 수술 시스템에 사용하기 위한 몰입형 디스플레이(immersive display)로서,
    지지 아암;
    상기 지지 아암에 장착되고, 사용자의 안면과 맞닿도록 구성되는 하우징;
    상기 하우징 내에 배치되고, 3차원 표시를 제공하도록 구성되는 적어도 2개의 아이피스 조립체(eyepiece assembly)들; 및
    상기 로봇 수술 시스템의 작동을 가능하게 하는 적어도 하나의 센서;
    를 포함하고,
    상기 지지 아암은 인체공학적 위치설정을 위해 상기 하우징을 이동시키도록 작동가능한, 몰입형 디스플레이.
  2. 제1항에 있어서,
    상기 지지 아암은 관절식으로 형성되고 복수의 조인트들을 포함하는, 몰입형 디스플레이.
  3. 제1항에 있어서,
    상기 몰입형 디스플레이는 상기 하우징에 결합되는 적어도 하나의 실드를 더 포함하고, 상기 실드는 상기 실드가 상기 사용자의 시야의 적어도 일부분을 가리도록 구성되는 제1 위치와 상기 실드가 상기 사용자의 상기 시야의 상기 부분을 노출시키도록 구성되는 제2 위치 사이에서 이동가능한, 몰입형 디스플레이.
  4. 제1항에 있어서,
    상기 하우징은 상기 사용자의 상기 안면과 맞닿도록 구성되는 윤곽형성된 안면 프레임에 결합되는, 몰입형 디스플레이.
  5. 제4항에 있어서,
    상기 지지 아암은 상기 하우징의 제1 부분에 결합되고, 상기 안면 프레임은 상기 하우징의 상기 제1 부분에 대해 이동가능한 상기 하우징의 제2 부분에 결합되는, 몰입형 디스플레이.
  6. 제1항에 있어서,
    상기 몰입형 디스플레이는 상기 하우징에 결합되는 적어도 하나의 보조 디스플레이를 더 포함하는, 몰입형 디스플레이.
  7. 제1항에 있어서,
    상기 아이피스 조립체들 중 적어도 하나는 좌안 입체 이미지를 표시하도록 구성되고, 상기 아이피스 조립체들 중 적어도 하나는 우안 입체 이미지를 표시하도록 구성되는, 몰입형 디스플레이.
  8. 제1항에 있어서,
    상기 센서는 상기 로봇 수술 시스템을 작동시키기 위한 인증을 위해 상기 사용자를 식별하도록 구성되는, 몰입형 디스플레이.
  9. 제1항에 있어서,
    상기 몰입형 디스플레이는 상기 하우징의 위치를 모니터링하기 위해 상기 하우징에 결합되는 적어도 하나의 추적 장치를 더 포함하는, 몰입형 디스플레이.
  10. 제1항에 있어서,
    적어도 하나의 센서는 상기 사용자의 머리 제스처를 검출하도록 구성되는, 몰입형 디스플레이.
  11. 제10항에 있어서,
    상기 사용자의 검출된 머리 제스처에 응답하여, 상기 지지 아암은 상기 머리 제스처를 추적하도록 상기 하우징을 이동시키는, 몰입형 디스플레이.
  12. 제10항에 있어서,
    상기 센서는 상기 로봇 수술 시스템의 작동을 위한 상기 사용자의 머리 제스처들을 모니터링하도록 구성되는, 몰입형 디스플레이.
  13. 제1항에 있어서,
    상기 3차원 표시는 상기 로봇 수술 시스템에 사용되는 내시경 카메라로부터의 적어도 하나의 이미지를 표시하도록 구성되는, 몰입형 디스플레이.
  14. 제13항에 있어서,
    상기 몰입형 디스플레이는 상기 아이피스 조립체들과 사용자 손 위치들의 상대적 공간 관계와 상기 내시경 카메라와 수술 기구의 상대적 공간 관계 사이의 일치를 유지시키기 위한 안내를 제공하도록 구성되는, 몰입형 디스플레이.
  15. 제13항에 있어서,
    상기 사용자의 머리 제스처를 검출하는 적어도 하나의 센서에 응답하여, 상기 3차원 표시는 상기 내시경 카메라로부터의 변경된 이미지를 표시하도록 구성되는, 몰입형 디스플레이.
  16. 제15항에 있어서,
    상기 센서가 전방 머리 제스처를 검출하는 것에 응답하여, 상기 3차원 표시는 상기 내시경 카메라로부터의 줌-인(zoomed-in) 이미지를 표시하도록 구성되고, 상기 센서가 후방 머리 제스처를 검출하는 것에 응답하여, 상기 3차원 표시는 상기 내시경 카메라로부터의 줌-아웃(zoomed-out) 이미지를 표시하도록 구성되는, 몰입형 디스플레이.
  17. 제15항에 있어서,
    상기 센서가 측방향 머리 제스처를 검출하는 것에 응답하여, 상기 3차원 표시는 상기 내시경 카메라로부터의 패닝(panning) 이미지를 표시하도록 구성되고, 상기 센서가 기울이는 머리 제스처를 검출하는 것에 응답하여, 상기 3차원 표시는 상기 내시경 카메라로부터의 기울임 이미지를 표시하도록 구성되는, 몰입형 디스플레이.
  18. 제1항에 있어서,
    상기 3차원 표시는 그래픽 사용자 인터페이스를 표시하도록 구성되고, 적어도 하나의 센서는 상기 그래픽 사용자 인터페이스의 내비게이션을 위해 머리 제스처를 검출하도록 구성되는, 몰입형 디스플레이.
  19. 제1항에 있어서,
    상기 3차원 표시는 적어도 하나의 목표 위치에 대한 사용자 손 위치 및 사용자 발 위치 중 적어도 하나의 시각적 표현을 표시하도록 구성되는, 몰입형 디스플레이.
  20. 제1항에 있어서,
    상기 몰입형 디스플레이는 상기 하우징에 결합되는 적어도 하나의 외부 카메라를 더 포함하고, 상기 카메라는 상기 하우징 외부의 환경의 적어도 하나의 이미지를 제공하도록 구성되는, 몰입형 디스플레이.
KR1020197006568A 2016-10-03 2017-10-03 로봇 수술을 위한 몰입형 3차원 디스플레이 KR102265060B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662403655P 2016-10-03 2016-10-03
US62/403,655 2016-10-03
PCT/US2017/054995 WO2018067611A1 (en) 2016-10-03 2017-10-03 Immersive three-dimensional display for robotic surgery

Publications (2)

Publication Number Publication Date
KR20190043143A true KR20190043143A (ko) 2019-04-25
KR102265060B1 KR102265060B1 (ko) 2021-06-16

Family

ID=61756866

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197006568A KR102265060B1 (ko) 2016-10-03 2017-10-03 로봇 수술을 위한 몰입형 3차원 디스플레이

Country Status (9)

Country Link
US (4) US10786327B2 (ko)
EP (1) EP3518730B1 (ko)
JP (2) JP6756040B2 (ko)
KR (1) KR102265060B1 (ko)
CN (1) CN108289600A (ko)
AU (2) AU2017339943B2 (ko)
BR (1) BR112019004139B1 (ko)
CA (1) CA3035258C (ko)
WO (1) WO2018067611A1 (ko)

Families Citing this family (193)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866783B2 (en) * 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
CN108366831B (zh) 2016-09-16 2022-03-18 威博外科公司 用于将机器人臂安装到手术台的手术台转接件
US11389360B2 (en) 2016-09-16 2022-07-19 Verb Surgical Inc. Linkage mechanisms for mounting robotic arms to a surgical table
BR112019004139B1 (pt) 2016-10-03 2023-12-05 Verb Surgical Inc Tela tridimensional imersiva para cirurgia robótica
US10568701B2 (en) * 2016-12-19 2020-02-25 Ethicon Llc Robotic surgical system with virtual control panel for tool actuation
TWI626468B (zh) * 2017-01-25 2018-06-11 研能科技股份有限公司 頭戴式虛擬實境顯示裝置
JP2020507377A (ja) * 2017-02-15 2020-03-12 コヴィディエン リミテッド パートナーシップ 医療用ロボット用途の圧砕防止のためのシステムおよび機器
EP3592273B1 (en) 2017-03-10 2023-10-04 Biomet Manufacturing, LLC Augmented reality supported knee surgery
JP2018202032A (ja) 2017-06-08 2018-12-27 株式会社メディカロイド 医療器具の遠隔操作装置
EP3700457A4 (en) * 2017-10-23 2021-11-17 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PRESENTATION OF AUGMENTED REALITY ON A DISPLAY OF A TELEOPERATION SYSTEM
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11026712B2 (en) 2017-10-30 2021-06-08 Cilag Gmbh International Surgical instruments comprising a shifting mechanism
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11123070B2 (en) 2017-10-30 2021-09-21 Cilag Gmbh International Clip applier comprising a rotatable clip magazine
US11071595B2 (en) 2017-12-14 2021-07-27 Verb Surgical Inc. Multi-panel graphical user interface for a robotic surgical system
US11273001B2 (en) 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US11051876B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Surgical evacuation flow paths
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US10966791B2 (en) 2017-12-28 2021-04-06 Ethicon Llc Cloud-based medical analytics for medical facility segmented individualization of instrument function
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US10892899B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Self describing data packets generated at an issuing instrument
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US10944728B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Interactive surgical systems with encrypted communication capabilities
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11056244B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US10898622B2 (en) 2017-12-28 2021-01-26 Ethicon Llc Surgical evacuation system with a communication circuit for communication between a filter and a smoke evacuation device
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US10932872B2 (en) 2017-12-28 2021-03-02 Ethicon Llc Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11696760B2 (en) 2017-12-28 2023-07-11 Cilag Gmbh International Safety systems for smart powered surgical stapling
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11069012B2 (en) 2017-12-28 2021-07-20 Cilag Gmbh International Interactive surgical systems with condition handling of devices and data capabilities
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US20190201139A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Communication arrangements for robot-assisted surgical platforms
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11213359B2 (en) 2017-12-28 2022-01-04 Cilag Gmbh International Controllers for robot-assisted surgical platforms
US20190201042A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Determining the state of an ultrasonic electromechanical system according to frequency shift
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US10943454B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Detection and escalation of security responses of surgical instruments to increasing severity threats
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US10987178B2 (en) 2017-12-28 2021-04-27 Ethicon Llc Surgical hub control arrangements
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
CN108065904A (zh) * 2018-01-02 2018-05-25 京东方科技集团股份有限公司 内窥镜系统及其控制方法
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
EP3756045A1 (en) * 2018-02-23 2020-12-30 SNAP Inc. Eyewear having biometric sensing
US11678927B2 (en) 2018-03-08 2023-06-20 Cilag Gmbh International Detection of large vessels during parenchymal dissection using a smart blade
US11534196B2 (en) 2018-03-08 2022-12-27 Cilag Gmbh International Using spectroscopy to determine device use state in combo instrument
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
EP3773309A4 (en) * 2018-03-26 2022-06-08 Covidien LP TELEMENTORATE CONTROL SETS FOR ROBOTIC SURGICAL SYSTEMS
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
US11589865B2 (en) 2018-03-28 2023-02-28 Cilag Gmbh International Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems
US11096688B2 (en) 2018-03-28 2021-08-24 Cilag Gmbh International Rotary driven firing members with different anvil and channel engagement features
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
US10973520B2 (en) 2018-03-28 2021-04-13 Ethicon Llc Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature
US11129611B2 (en) 2018-03-28 2021-09-28 Cilag Gmbh International Surgical staplers with arrangements for maintaining a firing member thereof in a locked configuration unless a compatible cartridge has been installed therein
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
JP6730363B2 (ja) * 2018-04-13 2020-07-29 ファナック株式会社 操作訓練システム
WO2019203952A1 (en) * 2018-04-17 2019-10-24 Pearson Education, Inc. Systems and methods for applications of augmented reality
US11647888B2 (en) 2018-04-20 2023-05-16 Covidien Lp Compensation for observer movement in robotic surgical systems having stereoscopic displays
IT201800005471A1 (it) * 2018-05-17 2019-11-17 Sistema robotico per chirurgia, particolarmente microchirurgia
US11534246B2 (en) 2018-06-15 2022-12-27 Verb Surgical Inc. User input device for use in robotic surgery
US10874224B2 (en) 2018-07-13 2020-12-29 Verb Surgical Inc. Surgical robotic system having anthropometry-based user console
US10863160B2 (en) * 2018-08-08 2020-12-08 Liquid Cinema Inc. Canada Conditional forced perspective in spherical video
US11137612B2 (en) * 2018-09-12 2021-10-05 Apple Inc. Electronic device with adjustable support structures
GB2612245B (en) * 2018-10-03 2023-08-30 Cmr Surgical Ltd Automatic endoscope video augmentation
GB2577717B (en) * 2018-10-03 2023-06-21 Cmr Surgical Ltd Monitoring performance during manipulation of user input control device of robotic system
EP3871143A4 (en) * 2018-10-25 2022-08-31 Beyeonics Surgical Ltd. USER INTERFACE FOR HEAD MOUNTED DISPLAY SYSTEM
JP7367041B2 (ja) * 2018-10-25 2023-10-23 べイエオニクス サージカル リミテッド 頭部装着型ディスプレイシステムのためのｕｉ
US11351671B2 (en) * 2018-10-29 2022-06-07 Toyota Research Institute, Inc. Intent based control of a robotic device
CN109498162B (zh) * 2018-12-20 2023-11-03 深圳市精锋医疗科技股份有限公司 提升沉浸感的主操作台及手术机器人
CN109498163B (zh) * 2018-12-20 2023-07-14 深圳市精锋医疗科技股份有限公司 主操作台及手术机器人
CN109498164B (zh) * 2018-12-20 2023-11-03 深圳市精锋医疗科技股份有限公司 具有目镜的主操作台及手术机器人
US11478318B2 (en) 2018-12-28 2022-10-25 Verb Surgical Inc. Methods for actively engaging and disengaging teleoperation of a surgical robotic system
CN109806002B (zh) * 2019-01-14 2021-02-23 微创（上海）医疗机器人有限公司 一种手术机器人
CN113498503A (zh) * 2019-01-17 2021-10-12 苹果公司 用于感测生理状况的具有面部界面的头戴式显示器
US11857378B1 (en) * 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
US11331100B2 (en) 2019-02-19 2022-05-17 Cilag Gmbh International Staple cartridge retainer system with authentication keys
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
CN112674882B (zh) * 2019-03-16 2022-05-06 济南康铭生物技术有限公司 面向微创手术体表投影轴调整的偏移方向判断方法
JP2020157467A (ja) * 2019-03-22 2020-10-01 川崎重工業株式会社 ロボットシステム
US11337767B2 (en) * 2019-05-17 2022-05-24 Verb Surgical Inc. Interlock mechanisms to disengage and engage a teleoperation mode
US11204640B2 (en) 2019-05-17 2021-12-21 Verb Surgical Inc. Methods for determining if teleoperation should be disengaged based on the user's gaze
US11278361B2 (en) * 2019-05-21 2022-03-22 Verb Surgical Inc. Sensors for touch-free control of surgical robotic systems
US11504193B2 (en) 2019-05-21 2022-11-22 Verb Surgical Inc. Proximity sensors for surgical robotic arm manipulation
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
JP7334499B2 (ja) * 2019-06-27 2023-08-29 ソニーグループ株式会社 手術支援システム、制御装置及び制御方法
CN110432856A (zh) * 2019-09-02 2019-11-12 太原理工大学 一种用于检查鼻窦的内窥镜控制系统
IL294566A (en) * 2020-01-06 2022-09-01 Beyeonics Surgical Ltd User interface for controlling a surgical system
US20230350177A1 (en) * 2020-01-08 2023-11-02 Brainlab Ag Robotic microscope and control thereof
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
EP3893239B1 (en) * 2020-04-07 2022-06-22 Stryker European Operations Limited Surgical system control based on voice commands
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
WO2021226134A1 (en) * 2020-05-04 2021-11-11 Raytrx, Llc Surgery visualization theatre
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
CN113797418A (zh) * 2020-06-12 2021-12-17 中强光电股份有限公司 医疗影像设备以及医疗影像显示方法
US20210401527A1 (en) * 2020-06-30 2021-12-30 Auris Health, Inc. Robotic medical systems including user interfaces with graphical representations of user input devices
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11488382B2 (en) * 2020-09-10 2022-11-01 Verb Surgical Inc. User presence/absence recognition during robotic surgeries using deep learning
WO2022115469A1 (en) * 2020-11-25 2022-06-02 Intuitive Surgical Operations, Inc. Steerable viewer mode activation and de-activation
JP2022084136A (ja) 2020-11-26 2022-06-07 株式会社東海理化電機製作所 無線通信装置、システムおよびプログラム
DE102020131595A1 (de) * 2020-11-30 2022-06-02 Blazejewski Medi-Tech Gmbh 3D Ausgabevorrichtung zur stereoskopischen Bildwiedergabe
WO2022115795A1 (en) * 2020-11-30 2022-06-02 Intuitive Surgical Operations, Inc. Techniques for adjusting a display unit of a viewing system
CN112917474B (zh) * 2021-01-19 2022-08-09 哈尔滨工业大学 人臂手操作六角扳手工具的技能提取平台及提取方法
GB2605812B (en) * 2021-04-14 2024-03-20 Prec Robotics Limited An apparatus, computer-implemented method and computer program
US20220384011A1 (en) * 2021-05-28 2022-12-01 Cilag GmbH Internation Efficiency of motion monitoring and analysis for a surgical procedure
EP4193367A2 (en) * 2021-05-28 2023-06-14 Cilag GmbH International Ergonomic monitoring and analysis for an operating room
WO2022269817A1 (ja) * 2021-06-23 2022-12-29 オリンパス株式会社 校正装置、内視鏡システム、校正方法、及び校正プログラム
WO2023038918A1 (en) * 2021-09-09 2023-03-16 Covidien Lp Surgical robotic system with user engagement monitoring
WO2023069636A1 (en) * 2021-10-21 2023-04-27 Intuitive Surgical Operations, Inc. Adjustable headrest for a display unit
WO2023069745A1 (en) * 2021-10-22 2023-04-27 Intuitive Surgical Operations, Inc. Controlling a repositionable structure system based on a geometric relationship between an operator and a computer-assisted device
US20230133440A1 (en) * 2021-11-04 2023-05-04 Honeywell Federal Manufacturing & Technologies, Llc System and method for transparent augmented reality
CN114081631B (zh) * 2021-11-18 2024-05-03 上海微创医疗机器人（集团）股份有限公司 健康监测系统及手术机器人系统
WO2023140120A1 (ja) * 2022-01-21 2023-07-27 ソニーグループ株式会社 手術ロボットシステム
WO2023177802A1 (en) * 2022-03-17 2023-09-21 Intuitive Surgical Operations, Inc. Temporal non-overlap of teleoperation and headrest adjustment in a computer-assisted teleoperation system
WO2024026539A1 (en) * 2022-08-04 2024-02-08 ResMed Pty Ltd Head mounted display unit and interfacing structure therefor
CN115542545B (zh) * 2022-09-19 2023-06-20 北方工业大学 一种基于注意力跟踪交互的vr医学仿真训练装置
CN115524853B (zh) * 2022-11-24 2023-05-02 深圳市艾谛视控科技有限公司 一种能够自动追视的拼接显示屏

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH095633A (ja) 1995-06-19 1997-01-10 Topcon Corp 顕微鏡
KR100254381B1 (ko) 1997-07-30 2000-05-01 정몽규 냉시동시 유해 배기 가스 저감 방법
JP2003225198A (ja) 2002-02-06 2003-08-12 Olympus Optical Co Ltd 内視鏡用画像表示装置
JP2003250812A (ja) * 2002-02-28 2003-09-09 Olympus Optical Co Ltd 医療用立体表示装置
US20090046146A1 (en) 2007-08-13 2009-02-19 Jonathan Hoyt Surgical communication and control system
WO2010021447A1 (ko) * 2008-08-21 2010-02-25 (주)미래컴퍼니 수술용 로봇의 3차원 디스플레이 시스템 및 그 제어방법
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20110118753A1 (en) * 2009-11-13 2011-05-19 Brandon Itkowitz Master finger tracking device and method of use in a minimally invasive surgical system
JP5737796B2 (ja) * 2013-03-29 2015-06-17 国立大学法人東京工業大学 内視鏡操作システムおよび内視鏡操作プログラム
US20160220324A1 (en) * 2014-12-05 2016-08-04 Camplex, Inc. Surgical visualizations systems and displays

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4574199A (en) * 1983-01-27 1986-03-04 Diffracto Ltd. Sensing location of an object
US5243665A (en) * 1990-03-07 1993-09-07 Fmc Corporation Component surface distortion evaluation apparatus and method
US6963792B1 (en) * 1992-01-21 2005-11-08 Sri International Surgical method
JPH08196541A (ja) * 1995-01-31 1996-08-06 Olympus Optical Co Ltd 手術用マニピュレータ
US5920394A (en) * 1995-09-01 1999-07-06 Research Corporation Technologies, Inc. Optical coordinate measuring machine
JP3900578B2 (ja) 1997-03-14 2007-04-04 ソニー株式会社 追従型虚像視ディスプレイシステム
US6799065B1 (en) 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
US6587750B2 (en) * 2001-09-25 2003-07-01 Intuitive Surgical, Inc. Removable infinite roll master grip handle and touch sensor for robotic surgery
JP2004305367A (ja) * 2003-04-04 2004-11-04 Olympus Corp 立体観察装置
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US20070265495A1 (en) * 2005-12-15 2007-11-15 Medivision, Inc. Method and apparatus for field of view tracking
US7813538B2 (en) * 2007-04-17 2010-10-12 University Of Washington Shadowing pipe mosaicing algorithms with application to esophageal endoscopy
US8535336B2 (en) * 2008-06-25 2013-09-17 Koninklijke Philips N.V. Nested cannulae for minimally invasive surgery
WO2010018907A1 (ko) * 2008-08-14 2010-02-18 (주)미래컴퍼니 서버 클라이언트 방식의 수술용 로봇 시스템
US8521331B2 (en) * 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US10883708B2 (en) * 2010-11-03 2021-01-05 Tseng-Lu Chien LED bulb has multiple features
US9545188B2 (en) * 2010-12-02 2017-01-17 Ultradent Products, Inc. System and method of viewing and tracking stereoscopic video images
US8698896B2 (en) * 2012-08-06 2014-04-15 Cloudparc, Inc. Controlling vehicle use of parking spaces and parking violations within the parking spaces using multiple cameras
IL221863A (en) 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
WO2014046618A1 (en) 2012-09-19 2014-03-27 Nanyang Technological University Flexible master - slave robotic endoscopy system
JP5846385B2 (ja) 2012-11-07 2016-01-20 国立大学法人東京工業大学 内視鏡操作システム
US10314559B2 (en) 2013-03-14 2019-06-11 Inneroptic Technology, Inc. Medical device guidance
WO2016004065A1 (en) 2014-07-01 2016-01-07 Spier Laurence Surgical robotic instrument shield
WO2016112017A2 (en) 2015-01-05 2016-07-14 Worcester Polytechnic Institute System and method for controlling immersiveness of head-worn displays
US10908681B2 (en) 2015-02-20 2021-02-02 Covidien Lp Operating room and surgical site awareness
CN105511632B (zh) 2016-01-25 2020-04-28 京东方科技集团股份有限公司 信号采集装置、虚拟现实设备及其控制方法
US20190223964A1 (en) * 2016-07-13 2019-07-25 Qatar Foundation For Education, Science And Community Development System for camera control in robotic and laparoscopic surgery
US10568703B2 (en) * 2016-09-21 2020-02-25 Verb Surgical Inc. User arm support for use in a robotic surgical system
BR112019004139B1 (pt) 2016-10-03 2023-12-05 Verb Surgical Inc Tela tridimensional imersiva para cirurgia robótica
EP3568070B1 (en) * 2017-01-16 2024-01-03 Philipp K. Lang Optical guidance for surgical, medical, and dental procedures
US11348257B2 (en) * 2018-01-29 2022-05-31 Philipp K. Lang Augmented reality guidance for orthopedic and other surgical procedures
US10646156B1 (en) * 2019-06-14 2020-05-12 Cycle Clarity, LLC Adaptive image processing in assisted reproductive imaging modalities

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH095633A (ja) 1995-06-19 1997-01-10 Topcon Corp 顕微鏡
KR100254381B1 (ko) 1997-07-30 2000-05-01 정몽규 냉시동시 유해 배기 가스 저감 방법
JP2003225198A (ja) 2002-02-06 2003-08-12 Olympus Optical Co Ltd 内視鏡用画像表示装置
JP2003250812A (ja) * 2002-02-28 2003-09-09 Olympus Optical Co Ltd 医療用立体表示装置
US20090046146A1 (en) 2007-08-13 2009-02-19 Jonathan Hoyt Surgical communication and control system
WO2010021447A1 (ko) * 2008-08-21 2010-02-25 (주)미래컴퍼니 수술용 로봇의 3차원 디스플레이 시스템 및 그 제어방법
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20110118753A1 (en) * 2009-11-13 2011-05-19 Brandon Itkowitz Master finger tracking device and method of use in a minimally invasive surgical system
JP5737796B2 (ja) * 2013-03-29 2015-06-17 国立大学法人東京工業大学 内視鏡操作システムおよび内視鏡操作プログラム
US20160220324A1 (en) * 2014-12-05 2016-08-04 Camplex, Inc. Surgical visualizations systems and displays

Also Published As

Publication number Publication date
AU2017339943B2 (en) 2019-10-17
US10786327B2 (en) 2020-09-29
US20180092706A1 (en) 2018-04-05
EP3518730A1 (en) 2019-08-07
BR112019004139A2 (pt) 2019-05-28
CA3035258C (en) 2022-03-22
JP2019531117A (ja) 2019-10-31
WO2018067611A1 (en) 2018-04-12
CA3035258A1 (en) 2018-04-12
KR102265060B1 (ko) 2021-06-16
AU2020200343B2 (en) 2021-12-16
EP3518730A4 (en) 2020-05-27
US11439478B2 (en) 2022-09-13
JP6756040B2 (ja) 2020-09-16
BR112019004139B1 (pt) 2023-12-05
JP7175943B2 (ja) 2022-11-21
JP2020195798A (ja) 2020-12-10
AU2020200343A1 (en) 2020-02-06
US20200397529A1 (en) 2020-12-24
EP3518730B1 (en) 2024-04-17
US11813122B2 (en) 2023-11-14
US20240115346A1 (en) 2024-04-11
AU2017339943A1 (en) 2019-03-07
BR112019004139A8 (pt) 2023-03-21
US20220387131A1 (en) 2022-12-08
CN108289600A (zh) 2018-07-17

Similar Documents

Publication Publication Date Title
US11813122B2 (en) Immersive three-dimensional display for robotic surgery
US11446097B2 (en) User console system for robotic surgery
US8831782B2 (en) Patient-side surgeon interface for a teleoperated surgical instrument
US11826115B2 (en) Adjustable user console for a surgical robotic system
WO2024006492A1 (en) Systems and methods for stereoscopic visualization in surgical robotics without requiring glasses or headgear
WO2023177802A1 (en) Temporal non-overlap of teleoperation and headrest adjustment in a computer-assisted teleoperation system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant