KR20230003648A - 사용자 인터페이스와 마스터 제어기 사이의 상호작용 - Google Patents

사용자 인터페이스와 마스터 제어기 사이의 상호작용 Download PDF

Info

Publication number
KR20230003648A
KR20230003648A KR1020227044344A KR20227044344A KR20230003648A KR 20230003648 A KR20230003648 A KR 20230003648A KR 1020227044344 A KR1020227044344 A KR 1020227044344A KR 20227044344 A KR20227044344 A KR 20227044344A KR 20230003648 A KR20230003648 A KR 20230003648A
Authority
KR
South Korea
Prior art keywords
user interface
master controller
input device
movement
plane
Prior art date
Application number
KR1020227044344A
Other languages
English (en)
Inventor
애쉬윈람 수레쉬
조이 차우
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Publication of KR20230003648A publication Critical patent/KR20230003648A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/03—Automatic limiting or abutting means, e.g. for safety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/741—Glove like input devices, e.g. "data gloves"
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/742—Joysticks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/743—Keyboards
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/744—Mouse
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

원격작동형 수술 시스템의 사용자 인터페이스와 원격작동형 수술 시스템의 입력 디바이스 사이의 상호작용을 제어하는 시스템이 개시되며, 이 시스템은, 원격작동형 수술 시스템에 통신가능하게 결합된 제1 마스터 제어기와, 제1 마스터 제어기에 통신가능하게 결합된 피드백 컨트롤, 및 원격작동형 수술 시스템에 통신가능하게 결합되고 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 디바이스를 포함한다. 피드백 컨트롤은 이전 상태로부터 변화하는 사용자 인터페이스의 상태에 기초하여 제1 마스터 제어기의 움직임을 제약하도록 구성된다.

Description

사용자 인터페이스와 마스터 제어기 사이의 상호작용{INTERACTION BETWEEN USER-INTERFACE AND MASTER CONTROLLER}
관련된 출원
본 특허 출원은, 참조로 그 전체가 본 명세서에 포함되는 2014년 11월 13일 출원된 발명의 명칭이 "INTERACTION BETWEEN USER-INTERFACE AND MASTER CONTROLLER"인 미국 가출원 제62/079,402호에 대한 우선권 및 그 출원일에 대한 이익을 주장한다.
분야
여기서 설명된 실시예들은 대체로 훈련(training)에 관한 것으로, 특히 사용자 인터페이스를 제어하기 위한 시스템 및 방법에 관한 것이다.
최소한으로 침습적인 의료 기술은, 진단 또는 수술 절차 동안에 손상되는 조직의 양을 감소시킴으로써, 환자 회복 시간, 불편함, 및 해로운 부작용을 감소시키기 위한 것이다.
수동 복강경 및 개복 수술의 한계를 극복하기 위해 로봇 기술을 이용하는 원격작동형 수술 시스템(소위, 수술 로봇 시스템)이 이용될 수 있다.
원격현장감 시스템(telepresence system)의 진보는, 환자의 신체 내부의 외과의사의 뷰, 수술 기구의 증가된 움직임 정도, 및 장거리에 걸친 수술 협업 능력을 제공한다.
반드시 축척비율에 맞게 도시되지는 않은 도면들에 있어서, 유사한 참조 번호들은 상이한 도면들 내의 유사한 컴포넌트들을 기술할 수 있다. 상이한 문자 접미사(suffix)를 갖는 유사한 숫자들은 유사한 컴포넌트들의 상이한 사례들을 나타낼 수 있다. 일부 실시예들은 첨부된 도면들에서 제한이 아닌 예로서 설명된다.
도 1은 한 실시예에 따른 원격작동형 수술 시스템을 나타내는 개략도이다;
도 2a는 한 실시예에 따른 마스터 어셈블리를 도시하는 도면이다;
도 2b는 한 실시예에 따른 마스터 어셈블리의 마스터 제어기를 나타내는 도면이다;
도 2c는 한 실시예에 따른 마스터 어셈블리의 팔걸이를 나타내는 도면이다;
도 3은 한 실시예에 따른 가상 수술 부위를 나타낸다;
도 4a 내지 도 4d는 실시예에 따른 사용자 인터페이스를 나타낸다.
도 5는 한 실시예에 따른 뷰잉 평면(viewing plane) 및 햅틱 평면(haptic plane)을 나타내는 도면이다;
도 6은 한 실시예에 따른 원격작동형 수술 시스템의 사용자 인터페이스를 제어하는 시스템을 나타내는 블록도이다;
도 7은 한 실시예에 따른 사용자 인터페이스를 제어하는 방법을 나타내는 플로차트이다;
도 8은 한 실시예에 따른 원격작동형 수술 시스템의 사용자 인터페이스와 원격작동형 수술 시스템의 마스터 제어기(804) 사이의 상호작용을 제어하는 시스템을 나타내는 블록도이다;
도 9는 한 실시예에 따른 원격작동형 수술 시스템의 사용자 인터페이스와 원격작동형 수술 시스템의 입력 디바이스 사이의 상호작용을 제어하는 방법을 나타내는 플로차트이다;
도 10은 예시적인 실시예에 따른 여기서 논의된 기술들(예를 들어, 방법론들) 중 임의의 하나 이상이 수행될 수 있는 예시적인 머신을 나타내는 블록도이다.
이하의 설명은 본 기술분야의 통상의 기술자가 의료 디바이스 시뮬레이터의 시스템 및 방법을 생성하고 이용할 수 있게 하도록 제시된다. 실시예들에 대한 다양한 수정이 본 기술분야의 통상의 기술자에게는 용이하게 명백할 것이며, 여기서 정의된 일반 원리는 본 발명의 주제의 사상과 범위를 벗어나지 않고 다른 실시예들 및 응용들에 적용될 수 있다. 게다가, 이하의 설명에서, 많은 상세사항이 설명의 목적을 위해 개시된다. 그러나, 본 기술분야의 통상의 기술자라면, 본 발명의 주제가 이들 특정한 상세사항들의 이용없이 실시될 수 있다는 것을 알 것이다. 다른 예들에서, 공지된 머신 컴포넌트들, 프로세스들 및 데이터 구조들은 불필요한 상세사항으로 본 개시를 모호하게 하지 않기 위해 블록도 형태로 도시된다. 이하에서 참조되는 도면들 내의 흐름도들은 프로세스를 나타내기 위해 이용된다. 컴퓨터 시스템은 이들 프로세스들 중 일부를 수행하도록 구성될 수 있다. 컴퓨터-구현된 프로세스들을 나타내는 흐름도들 내의 모듈들은 이들 모듈들을 참조하여 설명되는 동작들을 수행하는 컴퓨터 프로그램 코드에 따른 컴퓨터 시스템의 구성을 나타낸다. 따라서, 본 발명의 주제는 도시된 실시예들로 제한되는 것이 아니라, 여기서 개시된 원리 및 피쳐들에 부합하는 가장 넓은 범위를 따라야 한다.
원격작동형 수술 시스템
도 1은 한 실시예에 따른 원격작동형 수술 시스템(100)을 나타내는 개략도이다. 원격작동형 수술 시스템(100)은, 환자(106)에 관한 다양한 절차를 수행하는데 있어서 수술 기구(104)의 동작을 제어하기 위한 수술 조작기 어셈블리(102)를 포함한다. 어셈블리(102)는 수술 테이블(108)에 장착되거나 수술 테이블(108) 근처에 위치한다. 마스터 어셈블리(110)는 외과의사(112)가 수술 부위를 보고 조작기 어셈블리(102)를 제어하는 것을 허용한다.
대안적 실시예에서, 원격작동형 수술 시스템(100)은 하나 보다 많은 조작기 어셈블리(102)를 포함할 수 있다. 조작기 어셈블리의 정확한 개수는, 특히, 수술 절차 및 수술실 내의 공간 제약 등에 따라 다를 것이다.
마스터 어셈블리(110)는 수술 테이블(108)과 동일한 공간에 위치할 수 있다. 그러나, 외과의사(112)는 환자(106)와는 상이한 방 또는 완전히 상이한 건물에 위치할 수도 있다는 것을 이해해야 한다. 마스터 어셈블리(110)는 일반적으로 조작기 어셈블리(102)를 제어하기 위한 하나 이상의 제어 디바이스(들)(114)를 포함한다. 제어 디바이스(들)(114)은, 중력-평형 아암, 조이스틱, 트랙볼, 장갑, 트리거-그립, 수동 조작형 제어기, 손 동작 센서, 음성 인식 디바이스, 안구 동작 센서 등의, 임의의 개수의 다양한 입력 디바이스를 포함할 수 있다. 일부 실시예에서, 제어 디바이스(들)(114)에는, 외과의사(112)에게 원격현장감, 즉, 제어 디바이스(들)(114)이 기구(104)와 일체라는 인식을 제공하여 외과의사(112)가 기구(104)를 직접 제어하는 듯한 강한 감각을 갖게 하기 위해, 연관된 수술 기구(104)와 동일한 자유도가 제공된다. 일부 실시예에서, 제어 디바이스(114)는, 6개 이상의 자유도로 움직이고, 또한 기구들을 작동시키기 위한(예를 들어, 붙잡는 턱을 닫거나, 전극에 전위를 인가하거나, 약물 치료를 제공하는 등을 위한) 작동가능한 핸들 또는 기타의 제어 피쳐(예를 들어, 하나 이상의 버턴, 스위치 등)를 포함할 수 있는 수동 입력 디바이스이다.
시각화 시스템(116)은 외과의사(112)가 하나 이상의 기구를 동작시킬 때 외과의사(112)에게 수술 부위의 동시적 2차원 또는 3차원 비디오 이미지를 제공한다. 시각화 시스템(116)은 시각적 이미지가 수술 부위 내에 위치한 내시경에 의해 포착될 수 있도록 뷰잉 스코프 어셈블리를 포함할 수 있다. 시각화 시스템(116)은, 제어 시스템(118)의 프로세서들을 포함할 수 있는 하나 이상의 컴퓨터 프로세서와 상호작용하거나 또는 기타의 방식으로 이에 의해 실행되는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합으로서 구현될 수 있다.
디스플레이 시스템(120)은 시각화 시스템(116)에 의해 포착된 수술 부위 및 수술 기구(104)의 시각적 이미지를 디스플레이할 수 있다. 디스플레이 시스템(120) 및 제어 디바이스(114)는 스코프 어셈블리 내의 시각적 촬상 디바이스와 수술 기구(104)의 상대적 위치들이 외과의사의 눈과 손의 상대적 위치와 유사하게끔 배향되어, 작동자(예를 들어, 외과의사(112))가 수술 기구(104)를, 마치 기구(104)에 인접한 작업 공간을 실질적 트루 프레전스(true presence)로 보고 있는 것처럼, 제어 디바이스(114)로 조작할 수 있게 할 수 있다. "트루 프레전스"란, 이미지의 프리젠테이션이, 수술 기구(104)를 물리적으로 조작하고 있는 작동자의 관점을 시뮬레이션하는 정확한 관점의 이미지(true perspective image)라는 것을 의미한다.
제어 시스템(118)은, 수술 조작기 어셈블리(102), 마스터 어셈블리(110) 및 디스플레이 시스템(116) 사이에서 제어를 수행하기 위한 적어도 하나의 프로세서(미도시) 및 통상적으로 복수의 프로세서를 포함한다. 제어 시스템(118)은 또한, 여기서 설명된 방법들 중 일부 또는 전부를 구현하는 소프트웨어 프로그래밍 명령어들을 포함한다. 제어 시스템(118)은 도 1의 단순화된 개략도에서 단일 블록으로 도시되어 있지만, 제어 시스템(118)은 다수의 데이터 처리 회로(예를 들어, 수술 조작기 어셈블리(102) 및/또는 마스터 어셈블리(110))를 포함할 수 있다. 다양한 중앙집중형 또는 분산형 데이터 처리 아키텍쳐 중 임의의 아키텍처가 채용될 수 있다. 유사하게, 프로그래밍 코드는 다수의 별개의 프로그램 또는 서브루틴으로서 구현되거나, 여기서 설명된 원격작동형 시스템들의 다수의 다른 양태들 내로 통합될 수 있다. 다양한 실시예에서, 제어 시스템(118)은, Bluetooth, IrDA, HomeRF, IEEE 802.11, DECT, 및 무선 원격측정 등의, 무선 통신 프로토콜을 지원할 수 있다.
일부 실시예에서, 제어 시스템(118)은, 수술 기구(104)로부터 제어 디바이스(114)로 힘과 토크 피드백을 제공하는 서보 제어기를 포함할 수 있다. 임의의 적절한 종래의 또는 전문화된 서보 제어기가 이용될 수 있다. 서보 제어기는 조작기 어셈블리(102)와 별개이거나 조작기 어셈블리(102)와 일체형일 수 있다.
일부 실시예에서, 서보 제어기 및 조작기 어셈블리(102)는 환자(106)에 인접하여 위치한 로봇 팔 카트(robotic arm cart)의 일부로서 제공된다. 서보 제어기는, 신체의 개구를 통해 환자 신체 내의 내부 수술 부위 속으로 연장되는 기구(104)를 움직이도록 조작기 어셈블리(102)에게 지시하는 신호를 전송한다.
본 문서의 목적을 위해, 제어 디바이스(114)는 "마스터 제어기"라고 지칭될 수 있고, 수술 기구(104)는 "슬레이브(slave)"라고 지칭될 수 있다.
각각의 조작기 어셈블리(102)는 적어도 하나의 수술 기구(104)(예를 들어, "슬레이브")를 지지하고, 일련의 비-원격작동형, 수동 관절식 연결부 및 원격작동형 로봇 조작기를 포함할 수 있다. 연결부는 셋업 구조물이라고 지칭될 수 있고, 이것은 셋업 구조물이 공간에서 소정의 위치와 배향에 배치 및 유지되는 것을 허용하는 관절부(jonit)와 결합된 하나 이상의 링크를 포함한다. 조작기 어셈블리(102)는 일련의 액츄에이터(예를 들어, 모터)에 의해 구동될 수 있다. 이들 모터들은 제어 시스템(118)으로부터의 명령에 응답하여 원격작동형 로봇 조작기를 능동적으로 움직인다. 모터는 또한 수술 기구(104)에 결합되어 수술 기구(104)를 자연적으로 또는 외과적으로 생성된 해부학적 오리피스(orifice) 내로 전진시키고 수술 기구(104) 및 조작기 어셈블리(102)를 3개 범위의 선형 동작(x, y, z 선형 동작)과 3개 범위의 회전 동작(예를 들어, 롤(roll), 피치(pitch), 요(yaw))을 포함할 수 있는 복수의 자유도로 움직일 수 있다.
추가로, 모터는, 예를 들어, 조직 샘플을 획득하거나 또는 약물을 투여하기 위한 생체검사 디바이스(biopsy device) 또는 시술기(effector)의 턱으로 조직들을 붙잡기 위한 관절식 작동기, 또는 이하에서 더 자세히 설명되는 기타의 치료를 제공하기 위한 또 다른 시술기 등의 수술 기구(104)의 시술기를 작동시키는데 이용될 수 있다. 참조로 포함되는 미국 특허 제6,671,581호(Niemeyer 등)는 최소한으로 침습적인 수술 장치에서의 카메라 참조형 제어에 관한 추가 정보를 포함한다.
한 실시예에서, 훈련 목적을 위해, 디스플레이 시스템(120)은 환자 내부의 수술 부위를 시뮬레이션하는 가상 환경을 디스플레이할 수 있다. 가상 환경은 수술 기구(104)에 추가하여 다양한 생물학적 구조물을 포함할 수 있다. 외과의사(112)는, 실제 환자를 해롭게 할 가능성을 갖지 않고 다양한 스킬 또는 절차로 훈련시키거나 인증을 획득하거나 실험하기 위해 가상 환경 내에서 가상 기구를 동작시킨다.
라이브 수술 또는 시뮬레이션된 외과 절차에서, 디스플레이 시스템(120)은 사용자 인터페이스를 사용자(예를 들어, 외과의사(112))에게 프리젠팅하는데 이용될 수 있다. 한 실시예에서, 디스플레이 시스템(120)은, 스테레오 디스플레이 등의 3차원 인터페이스이다. 또 다른 실시예에서, 디스플레이 시스템(120)은, 고선명 내시경 카메라 등의, 3차원 이미지를 투사하는데 이용된다. 사용자 인터페이스는 예를 들어 반투명 인터페이스를 이용하는 등에 의해 오버레이로서 디스플레이되거나 수술 현장의 뷰 대신에 디스플레이될 수 있다.
도 2a는 한 실시예에 따른 마스터 어셈블리(110)를 나타내는 도면이다. 사용자는, 마스터 어셈블리(110)에 앉아서 디스플레이 시스템(202), 마스터 제어기(204) 및 발판 패널(206)에 액세스할 수 있다. 발판 패널(206)은 사용자가 다양한 수술 기구들을 교체하거나 비디오 또는 카메라 피쳐를 제어하는 등의 다양한 작업을 수행할 수 있게 한다. 마스터 어셈블리(110)에 착석한 동안, 사용자는 팔걸이(208)에 팔을 둘 수 있다. 라이브 수술에서 동작할 때, 디스플레이 시스템(202)은, 때때로 포탈(portal) 또는 캐뉼라(cannula)라고 하는 수술 부위로의 작은 개구를 통해 삽입된 카메라로부터 포착된 수술 현장을 디스플레이한다. 훈련 목적을 위해, 시뮬레이션된 환경이 디스플레이 시스템(202) 상에 디스플레이될 수 있고, 여기서, 시뮬레이션된 환경은 수술 부위 및 가상 슬레이브 수술 기구의 입체 디스플레이일 수 있다. 사용자가 마스터 제어기(204)를 움직이면, 가상 수술 기구는 입체 디스플레이에서 대응하는 방식으로 움직일 수 있다.
도 2b는 한 실시예에 따른 마스터 어셈블리(110)의 마스터 제어기(204)를 나타내는 도면이다. 마스터 제어기(204)는 핸드헬드 부분 또는 짐벌(gimbal)을 포함한다. 마스터 제어기(204)는, 피봇 접속부 또는 관절부에 의해 함께 접속된 복수의 부재 또는 링크를 포함하는 관절식 아암 부를 갖는다. 사용자는 자신의 엄지 및 검지 손가락을 핀처 형성부(pincher formation, 212) 위에 위치시킴으로써 손가락 루프(210)를 쥔다. 사용자의 엄지 손가락 및 검지 손가락은 통상적으로 슬롯들을 통해 체결된(threaded) 스트랩(strap)에 의해 핀처 형성부 상에 고정되어 손가락 루프(210)를 생성한다. 핀처 형성부(212)가 엄지 손가락과 검지 손가락 사이에서 압착될 때, 손가락 또는 수술 기구(104)의 다른 요소는 동기적으로 움직인다. 마스터 제어기(204)의 관절부는, 예를 들어, 힘 피드백, 중력 보상 등을 제공하기 위해, 전기 모터 등의 액츄에이터에 동작적으로 접속된다.
또한, 적절하게 배치된 센서들, 예를 들면, 인코더 또는 전위차계 등이 마스터 제어기(204)의 각각의 관절부 상에 배치되어, 마스터 제어기(204)의 관절 위치들이 원격작동형 수술 시스템(100) 내의 마스터 어셈블리(110) 또는 기타의 제어 시스템에 의해 결정될 수 있게 한다.
한 실시예에서, 2개의 마스터 제어기(204)가 있고, 각각은, 사용자가 각각의 손의 검지와 엄지를 삽입할 수 있는 2개의 손가락 루프(210)를 갖는다. 2개의 마스터 제어기(204) 각각은 가상 수술 기구를 제어할 수 있다. 사용자는 하나 또는 양쪽의 마스터 제어기(204)에 대해 복수의 기구를 교체하는 소프트웨어 또는 하드웨어 메커니즘을 제공받을 수 있다. 예를 들어, 사용자에게는 2개의 포셉(forceps) 및 리트랙터(retractor) 등의 3개의 기구가 제공될 수 있다. 포셉들 중 하나 또는 양쪽 모두는 조직을 소작(cauterize)할 수 있는 에너지 기구일 수 있다. 사용자는 먼저 각각의 마스터 제어기(204)에서 포셉을 이용한 다음, 우측 마스터 제어기(204)를 전환시켜 리트랙터를 제어해 수술 현장의 섹션을 노출시킨 다음, 우측 마스터 제어기(204)를 다시 포셉으로 전환하여 조직의 절단, 프로빙, 또는 절개를 계속할 수 있다.
마스터 제어기(204)를 이용하는 동안, 사용자는, 검지 및 엄지(또는 루프(210) 내에 삽입된 임의의 2개의 손가락)를 이용한 핀칭 동작에 추가하여 회전 동작(롤, 피치, 요)과 함께 전체 3차원 범위의 동작(x, y, 및 z 축)을 제공받는다. 따라서, 적절한 마스터 제어기(204)를 움직임으로써, 사용자는 전체 범위의 동작을 통해 대응하는 수술 기구를 조작할 수 있다.
도 2c는 한 실시예에 따른 마스터 어셈블리(110)의 팔걸이(208)를 나타내는 도면이다. 팔걸이(208)는, 터치스크린, 소프트 버턴, 기계적 버턴 등의 하나 이상의 터치 컨트롤(control)을 포함할 수 있다. 도 2c에 나타낸 예에서, 사용자가 다양한 비디오, 오디오 또는 다른 시스템 설정을 구성할 수 있는 단일 터치스크린(214)이 도시되어 있다.
사용자 인터페이스 제어의 개요
동작 동안, 사용자에게는 다양한 시간에서 사용자 인터페이스가 프리젠팅될 수 있다.
예를 들어, 사용자 인터페이스는 사용자가 다양한 훈련 모듈들로부터 선택하는 것을 허용하기 위해 프리젠팅될 수 있다. 또 다른 예로서, 사용자 인터페이스는 사용자가 마스터 어셈블리(110)의 동작의 다양한 양태를 구성하는 것을 허용하기 위해 프리젠팅될 수 있다. 사용자가 한 손 또는 양 손으로 마스터 제어기(204)를 동작시킬 때, 마스터 제어기(204)를 릴리스한 다음, 마스터 어셈블리(110)의 팔걸이(208)에 통합된 터치스크린 인터페이스 등의 다른 입력 메커니즘을 동작시켜야 하는 것은 불편할 수도 있다.
도 3은 한 실시예에 따른 가상 수술 부위를 나타낸다. 가상 수술 부위(300)는 디스플레이 시스템(202) 상에 디스플레이될 수 있고, 2개의 가상 슬레이브 수술 기구(302)를 포함한다. 이 모드에서 동작할 때, 마스터 제어기(204)는 (가상 수술 부위(300)의 경계 내에서) 자유 공간에서 3차원으로 이동할 수 있다. 제2 모드에서, 마스터 제어기(204)는 평면에서의 또는 표면 상에서의 이동으로 제약된다. 제2 모드는 "평탄한(flat)" 사용자 인터페이스가 사용자에게 프리젠팅될 때 이용된다. 제2 모드는 시각적 인터페이스와 대략 일치하는 동작 공간을 마스터 제어기(204)에 제공하는데 유용하다. 또 다른 실시예에서, 사용자 인터페이스는 윤곽형 사용자 인터페이스(contoured user interface)로 프리젠팅될 수 있다. 윤곽형 사용자 인터페이스는 비평면(예를 들어, 곡면)을 포함할 수 있는 표면이다.
도 4a는 한 실시예에 따른 사용자 인터페이스(400)를 나타낸다. 사용자 인터페이스(400)는 선택사항으로서 수술 부위 뷰에 대한 오버레이로서 또는 독립형 인터페이스로서 디스플레이된다. 포인터(402)는 사용자 인터페이스(400) 내에 디스플레이되고, 버턴, 슬라이더, 옵션 리스트 등의 하나 이상의 사용자 인터페이스 컨트롤을 활성화시키는데 이용된다. 포인터(402)는 마스터 제어기(204)에 의해 제어될 수 있다. 마스터 제어기(204)의 서보 제어를 이용하여, 사용자는 사용자 인터페이스 컨트롤을 터치하는 감각을 제공하는 햅틱 피드백을 제공받을 수 있다. 예를 들어, 사용자가, 인터페이스에서 사용자 인터페이스 버턴을 누르거나, 컨트롤을 슬라이딩시키거나, 다이얼을 움직일 때, 마스터 제어기(204)는, 사용자 인터페이스 컨트롤의 작동에 대해 진동하거나, 흔들리거나 기타의 방식으로 반응하여 사용자에게 감각 피드백을 제공할 수 있다. 도 4a는 로그인 스크린을 나타내고, 도 4b는 메인 메뉴 스크린을 나타내며, 도 4c는 연습 선택 스크린을 나타내고, 도 4d는 설정 스크린을 나타낸다. 사용자 인터페이스(400)에서 더 많거나 더 적은 수의 스크린이 이용될 수 있다는 것을 이해할 것이다. 사용자 인터페이스(400)는 평탄한 인터페이스(예를 들어, 3차원 대신 2차원)로서 프리젠팅된다. 따라서, 사용자가, 가상 수술 기구를 제어하는 것과는 대조적으로, 사용자 인터페이스에서 포인터를 제어하고 있을 때, 사용자는 2D 평면으로 제약될 수 있다. 이것은 사용자에게 디스플레이되는 사용자 인터페이스의 평면 차원을 더 양호하게 시뮬레이션할 수 있다. 3D 사용자 인터페이스가 제공되면, 입력 디바이스(예를 들어, 마스터 제어기(204))의 움직임에 관한 제약이 제거되거나 수정될 수 있다. 따라서, 수술 시뮬레이션(예를 들어, 제1 모드)에 있을 때, 사용자는 동작의 완전한 또는 거의 완전한 자유도를 가질 수 있고, 사용자 인터페이스가 디스플레이된 구성 모드(예를 들어, 제2 모드)에 진입한 후, 사용자는 평면으로 제약될 수 있다. 제약된 평면은, 사용자의 손과 마스터 제어기(204)가 디스플레이 시스템(202)에 디스플레이된 것과 거의 동일한 각도에 있도록 공간에서 배향될 수 있다. 이러한 상관관계는, 사용자가 디스플레이된 사용자 인터페이스에 관해 3D 공간에서 손을 배향시키는 것을 보조할 수 있다. 뷰잉 평면(502) 및 햅틱 평면(504)을 보여주는 한 예가 도 5에 도시되어 있다. 뷰잉 평면(502)은 디스플레이 시스템(202)에서 사용자에 의해 인지된 사용자 인터페이스 이미지를 나타낸다. 햅틱 평면(504)은 마스터 제어기(204)들이 그 내부에 있도록 제약되는 평면이다. 사용자는 햅틱 평면(504)의 z-축에 관해 마스터 제어기(204)를 "위로" 또는 "아래로" 이동시키려고 할 때, 사용자는 이러한 움직임으로부터 저항을 경험할 수 있다. 사용자가, 디스플레이 구성 설정에서 등의, 뷰잉 평면(502)의 배향을 변경하려고 한다면, 햅틱 평면(504)은 뷰잉 평면(502)에 관해 대략 평행한 배향을 유지하도록 조정될 수 있다. 다양한 실시예에서, 햅틱 평면은 뷰잉 평면에 관해 고정된 또는 동적인 오프셋으로 배향될 수 있다. 대안으로서, 햅틱 평면은 지면에 관해 고정된 또는 동적인 오프셋으로 배향될 수 있다. 사용자는, 제약, 예를 들어, 햅틱 평면의 위치 또는 방향을 변경할 수도 있다.
입력 디바이스(예컨대, 마스터 제어기(204))의 움직임에 대한 다른 제약들 또는 제한들은 사용자 인터페이스와 상호작용하는 동안 사용자를 보조하도록 구현될 수 있다. 예를 들어, 마스터 어셈블리(110)는 사용자 인터페이스와 상호작용할 때 사용자를 보조할 수 있다. 한 예로서, 마스터 어셈블리(110) 또는 원격작동형 수술 시스템(100)의 다른 부분은 사용자가 사용자 인터페이스에서 버턴 또는 컨트롤을 클릭하려고 할 때를 검출할 수 있다. 사용자가 클릭하려고 하는 것을 검출한 후에, 원격작동형 수술 시스템(100)은 커서 이동을 늦추어 정밀도를 향상시킨다. 이것은 잘못된 클릭을 감소시키거나 제거할 수 있다. 대안으로서, 클릭 작동에 앞서 클릭에 대한 사용자의 의도가 검출되고, 마스터 제어기(204)는 부분적으로 또는 완전히 잠겨 사용자 인터페이스 요소를 클릭하거나 선택하는 정확도 및 정밀도를 향상시킨다. 따라서, 커서 이동 및/또는 마스터 제어기(204) 이동 중 어느 하나는 제약되거나 느려질 수 있다. 클릭 의도는, 핀처 형성부(212)의 위치 또는 움직임 등의, 입력에서의 다양한 변화로부터 추론된다. 사용자가 핀처 형성부(212)에서 손가락을 닫음으로써 사용자 인터페이스에서 클릭을 발생시키면, 시스템은 마스터 어셈블리(110)에서 동작을 제약하거나 포인터 움직임을 감소 또는 제약하여, 포인터 정확성을 증가시키고 사용자 인터페이스 상호작용을 향상시킬 수 있다. 사용자 인터페이스에서의 포인터 움직임은 핀처 형성부(212)의 속도 또는 위치의 함수로서 감소될 수 있다. 예를 들어, 핀처 형성부(212)는 완전 개방 위치로부터 완전 폐쇄 위치로 총 3cm 이동할 수 있다. 선형, 지수 또는 로그 방식으로, 포인터 움직임의 속도는 핀처 형성부(212)가 닫힌 양의 함수로서 감소할 수 있다. 따라서, 예를 들어, 핀처 형성부(212)가 1.5cm의 개방 위치를 달성할 때, 포인터 움직임의 속도는 선형 함수를 이용할 때 50%만큼 감소될 수 있다.
또 다른 예에서, 사용자는 발판 패널(206) 내의 발판 페달을 누름으로써 "클릭"할 수 있다. 페달 위치는, 마스터 제어기(204)와 함께 이용되는 메커니즘과 유사하게, 사용자 인터페이스에서 포인터 또는 커서의 움직임을 느리게하거나 정지시키는데 이용될 수 있다.
또 다른 예에서, 사용자는 마스터를 2D 평면 내로 누름으로써 사용자 인터페이스 요소를 "클릭"할 수 있다. 버턴 등의 사용자 인터페이스 요소는, 물리적인 버턴 누름(예를 들어, 소정 지점까지 저항한 다음, 해제)을 시뮬레이션하기 위해 마스터 제어기(204)를 통해 사용자에게 저항을 제공할 수 있다.
또 다른 예에서, 사용자의 마스터 제어기(204)는 이벤트 동안 사용자 인터페이스의 디폴트 위치로 이동될 수 있다. 예를 들어, 사용자가 동작을 수락 또는 거부하는 대화 상자를 제공받는 경우, 포인터는 디폴트 선택(예를 들어, 수락)으로 이동될 수 있고, 마스터 제어기(204)는 그 동작 공간 내의 대응하는 위치로 이동될 수 있다. 또 다른 예로서, 포인터를 사용자 인터페이스 요소쪽으로 직접 이동시키는 것 대신에, 사용자는 포인터(및 마스터 제어기(204))를 디폴트 사용자 인터페이스 요소의 방향으로 밀어서 제안을 제공받을 수 있다.
유사하게, 마스터 제어기(204)는 디폴트 사용자 인터페이스 요소로부터 멀어지는 움직임에 저항하도록 제어될 수 있다. 이와 같이, 사용자가 포인터를 사용자 인터페이스 컨트롤로부터 멀리 이동시키는 방식으로 마스터 제어기(204)를 이동시키려고 할 때, 마스터 제어기(204)는 진동 또는 적당한 저항 등의 햅틱 피드백을 사용자에게 제공하여, 사용자 인터페이스가 제안된 또는 권장된 디폴트 사용자 인터페이스 컨트롤을 갖고 있다는 것을 사용자에게 표시한다.
또 다른 예에서, 사용자는 멀티-터치 또는 제스쳐 입력 메커니즘을 시뮬레이션하도록 양쪽 마스터 제어기(204) 모두를 구현할 수 있다. 마스터 제어기(204)는, 사용자 인터페이스의 뷰를 스크롤, 줌, 팬닝, 회전 또는 기타의 방식으로 조작하는데 이용될 수 있다. 예를 들어, 사용자는 각각의 마스터 제어기(204) 상의 손가락 컨트롤들을 함께 핀칭함으로써 양쪽 마스터 제어기(204) 모두를 작동시킨 다음 마스터 제어기(204)를 서로 멀리 이동시켜 줌 아웃(zoom out)시킬 수 있다. 유사한 동작이, 마스터 제어기(204)를 작동시키고 이들을 서로 가깝게 이동시키는 등에 의해, 줌 인(zoom in)하는데 이용될 수 있다. 팬닝 및 회전은, 양쪽 제어기(204) 모두를 작동시키고 좌측 또는 우측으로 스와이핑(swiping)하거나, 이들을 서로의 주변으로 시계 방향 또는 시계 반대 방향으로 이동시킴으로써 구현될 수 있다. 스크롤링은 상향 또는 하향 방향으로 스와이핑하여 사용자 인터페이스의 뷰를 위 또는 아래로 움직임시킴으로써 구현될 수 있다(이것은, 위쪽으로 스와이핑함으로써 뷰가 아래로 움직이거나 그 반대로 함으로써 등의, 사용자 선호사항에 기초하여 반전될 수 있다). 한 스크롤링 모드는 스크롤바 내에서 엄지 손가락 "움켜잡기"를 시뮬레이션하여 뷰 내에서 시청가능한 내용을 위 또는 아래로 움직이고 다른 스크롤링 모드는 뷰 "움켜잡기"를 시뮬레이션하여 뷰를 위쪽으로 움직여 사용자 인터페이스 상의 더 하위쪽의 내용을 볼 수 있게 한다(그 반대도 마찬가지이다). 윈도우, 메뉴, 대화 상자 또는 기타의 사용자 인터페이스 요소 등의 다양한 내용이 팬닝되거나, 스크롤되거나 또는 기타의 방식으로 배치될 수 있다.
마스터 제어기(204)를 이용하여, 사용자는 사용자 인터페이스 오버레이의 위치를 조작할 수 있다. 예를 들어, 사용자는, 타이틀바를 움켜 잡거나, 특정한 제스처를 이용하거나, 특정한 사용자 인터페이스 컨트롤(예를 들어, 버턴)을 활성화시킴으로써, 대화 상자, 메뉴 시스템, 모달 박스(modal box) 또는 기타의 사용자 인터페이스 요소의 위치를 변경할 수 있다.
또 다른 예에서, 스크롤링은 마스터 제어기(204) 상의 핀처 형성부(212)를 회전시킴으로써 구현될 수 있다. 줌, 팬닝 및 기타의 사용자 인터페이스 컨트롤은 또한, 핀처 형성부(212)의 회전 동작을 이용하여 구현될 수 있다.
사용자 인터페이스 컨트롤과 상호작용할 때, 마스터 제어기(204)는 촉각적 사용자 인터페이스 컨트롤을 시뮬레이션하기 위해 사용자에게 햅틱 피드백을 제공할 수 있다.
예를 들어, 슬라이더 사용자 인터페이스 컨트롤은 노치(notch)를 포함할 수 있어서, 슬라이더 엄지가 노치 내로 이동될 때, 약간의 진동이 마스터 제어기(204)에 인가되어 촉각적 피드백을 제공한다. 또 다른 예로서, 버턴 사용자 인터페이스 컨트롤이 눌러지면, 마스터 제어기(204)는, 해제가 존재하고 및 버턴이 눌러지는 중단점(breakpoint)까지 사용자의 동작에 대한 저항을 제공한다. 이러한 햅틱 피드백은 사용자 인터페이스 컨트롤의 물리적 특성을 더욱 양호하게 시뮬레이션하기 위해 이용된다.
도 6은 한 실시예에 따른 원격작동형 수술 시스템(602)의 사용자 인터페이스를 제어하는 시스템(600)을 나타내는 블록도이다. 시스템(600)은 원격작동형 수술 시스템(602)에 통신가능하게 결합된 제1 마스터 제어기(604)를 포함한다.
시스템(600)은 또한, 원격작동형 수술 시스템에 통신가능하게 결합되고 그래픽 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 디바이스(606)를 포함한다. 한 실시예에서, 제1 마스터 제어기(604)는 인터페이스 제어기(608)에 제1 입력 신호를 전송하도록 구성되고, 제1 입력 신호는 제1 마스터 제어기(604)의 수동 조작에 의해 야기되며, 인터페이스 제어기(608)는 제1 입력 신호를 이용하여 디스플레이 디바이스(606)에 의해 프리젠팅되는 그래픽 사용자 인터페이스를 업데이트한다.
한 실시예에서, 인터페이스 제어기(608)는, 그래픽 사용자 인터페이스의 업데이트에 대응하는 피드백을 제1 마스터 제어기(604)에 제공하도록 구성된다. 추가 실시예에서, 피드백을 제공하기 위해, 인터페이스 제어기(608)는 제1 마스터 제어기(604)가 진동하게 한다. 추가 실시예에서, 인터페이스 제어기(608)는, 제1 마스터 제어기(604)를 동작 공간으로 제약하고, 제1 마스터 제어기(604)가 동작 공간의 경계를 만날 때 제1 마스터 제어기(604)를 진동시키도록 구성된다. 예를 들어, 동작 공간은 디스플레이 디바이스(606) 상에 프리젠팅된 사용자 인터페이스의 경계일 수 있다. 또 다른 예로서, 동작 공간은 디스플레이된 환경 내의 가시 영역의 경계일 수 있다.
한 실시예에서, 그래픽 사용자 인터페이스는 사용자 인터페이스 요소를 포함하고, 제1 마스터 제어기(604)를 진동시키는 것은 사용자 인터페이스 요소와의 상호작용과 연계하여 수행된다. 한 실시예에서, 사용자 인터페이스 요소는 버턴을 포함하고, 제1 마스터 제어기(604)를 진동시키는 것은 버턴이 눌러질 때 수행된다. 한 실시예에서, 사용자 인터페이스 요소는 슬라이더를 포함하고, 제1 마스터 제어기(604)를 진동시키는 것은 슬라이더가 이동될 때 수행된다.
한 실시예에서, 그래픽 사용자 인터페이스는 사용자 인터페이스 요소를 포함하고, 여기서, 사용자 인터페이스 요소 중 하나는 버턴을 포함하고, 피드백은, 버턴이 눌러질 때 제1 마스터 제어기(604)에 저항을 제공하는 힘 피드백을 이용하는 것을 포함한다.
한 실시예에서, 그래픽 사용자 인터페이스는 복수의 사용자 인터페이스 요소를 포함하고, 여기서, 복수의 사용자 인터페이스 요소들 중 하나는 디폴트 사용자 인터페이스 요소를 포함하며, 피드백은 디폴트 사용자 인터페이스 요소에 대응하는 위치를 향하여 제1 마스터 제어기(604)를 이끄는 힘 피드백을 이용하는 것을 포함한다.
한 실시예에서, 시스템(600)은 원격작동형 수술 시스템(602)에 통신가능하게 결합되어 제2 입력 신호를 인터페이스 제어기(608)에 전송하는 제2 마스터 제어기를 포함하고, 제2 입력 신호는 제2 마스터 제어기의 수동 조작에 의해 야기되며, 제2 입력 신호는 그래픽 사용자 인터페이스를 제어하기 위해 제1 입력 신호와 연계하여 인터페이스 제어기(608)에 의해 이용된다.
한 실시예에서, 제1 입력 신호는 제1 마스터 제어기(604)의 회전 동작에 의해 야기되고, 그래픽 사용자 인터페이스를 업데이트하는 것은 그래픽 사용자 인터페이스의 일부를 회전시키는 것을 포함한다.
한 실시예에서, 제1 마스터 제어기(604)로부터 제1 입력 신호를 수신하기 위해, 인터페이스 제어기(608)는 제1 마스터 제어기(604)의 일부가 소정의 회전량만큼 수동으로 회전되었음을 나타내는 회전 신호를 수신한다. 이러한 실시예에서, 그래픽 사용자 인터페이스를 업데이트하는 것은 회전량에 기초하여 그래픽 사용자 인터페이스의 일부를 스크롤링하는 것을 포함한다.
한 실시예에서, 제1 입력 신호는, 핀처(pincher) 등의 제1 마스터 제어기(604)의 일부의 회전 동작에 의해 야기된다. 이러한 실시예에서, 그래픽 사용자 인터페이스를 업데이트하는 것은 그래픽 사용자 인터페이스의 일부를 회전시키는 것을 포함한다. 추가 실시예에서, 그래픽 사용자 인터페이스의 일부를 회전시키는 것은 회전 동작의 함수로서 수행된다.
한 실시예에서, 제1 입력 신호는 제1 마스터 제어기(604)의 일부의 수동 핀칭 동작에 의해 야기되고, 그래픽 사용자 인터페이스를 업데이트하는 것은 그래픽 사용자 인터페이스의 일부를 줌(zoom)하는 것을 포함한다. 다른 실시예에서, 줌은 핀칭 동작의 함수로서 수행된다.
도 7은 한 실시예에 따른 사용자 인터페이스를 제어하는 방법(700)을 나타내는 플로챠트이다. 블록 702에서, 원격작동형 수술 시스템에 통신가능하게 결합된 제1 마스터 제어기로부터의 제1 입력 신호가 원격작동형 수술 시스템에서 수신되고, 제1 입력 신호는 원격작동형 수술 시스템에 의해 프리젠팅된 그래픽 사용자 인터페이스의 소정 양태를 제어한다.
블록 704에서, 그래픽 사용자 인터페이스는 제1 입력 신호에 기초하여 업데이트된다.
추가 실시예에서, 방법(700)은 그래픽 사용자 인터페이스에 대응하는 피드백을 제1 마스터 제어기에 제공하는 단계를 포함한다. 한 실시예에서, 피드백을 제공하는 단계는 제1 마스터 제어기를 진동시키는 단계를 포함한다.
한 실시예에서, 제1 마스터 제어기는 동작 공간으로 제약되고, 제1 마스터 제어기를 진동시키는 단계는 제1 마스터 제어기가 동작 공간의 경계를 만날 때 수행된다.
*한 실시예에서, 그래픽 사용자 인터페이스는 사용자 인터페이스 요소를 포함하고, 제1 마스터 제어기를 진동시키는 단계는 사용자 인터페이스 요소와의 상호작용과 연계하여 수행된다.
한 실시예에서, 사용자 인터페이스 요소는 버턴을 포함하고, 제1 마스터 제어기를 진동시키는 단계는 버턴이 눌러질 때 수행된다. 한 실시예에서, 사용자 인터페이스 요소는 슬라이더를 포함하고, 제1 마스터 제어기를 진동시키는 단계는 슬라이더가 이동될 때 수행된다.
한 실시예에서, 그래픽 사용자 인터페이스는 사용자 인터페이스 요소를 포함하고, 여기서, 사용자 인터페이스 요소 중 하나는 버턴을 포함하고, 피드백을 제공하는 단계는, 버턴이 눌러질 때 제1 마스터 제어기에 저항을 제공하는 힘 피드백을 이용하는 단계를 포함한다.
한 실시예에서, 그래픽 사용자 인터페이스는 복수의 사용자 인터페이스 요소를 포함하고, 여기서, 복수의 사용자 인터페이스 요소들 중 하나는 디폴트 사용자 인터페이스 요소를 포함하며, 피드백을 제공하는 단계는 디폴트 사용자 인터페이스 요소에 대응하는 위치를 향하여 마스터 제어기를 이끄는 힘 피드백을 이용하는 단계를 포함한다.
한 실시예에서, 방법(700)은, 원격작동형 수술 시스템에서, 원격작동형 수술 시스템에 통신가능하게 결합된 제2 마스터 제어기로부터 제2 입력 신호를 수신하는 단계를 포함하고, 제2 입력 신호는 그래픽 사용자 인터페이스의 양태를 제어하기 위해 제1 입력 신호와 연계하여 동작한다.
한 실시예에서, 제1 입력 신호는 제1 마스터 제어기의 회전 동작에 의해 야기되고, 그래픽 사용자 인터페이스를 업데이트하는 단계는 그래픽 사용자 인터페이스의 일부를 회전시키는 단계를 포함한다.
한 실시예에서, 제1 마스터 제어기로부터 제1 입력 신호를 수신하는 단계는, 제1 마스터 제어기의 일부가 소정의 회전량만큼 회전되었음을 나타내는 회전 신호를 수신하는 단계를 포함하고, 그래픽 사용자 인터페이스를 업데이트하는 단계는 회전량에 기초하여 그래픽 사용자 인터페이스의 일부를 스크롤하는 단계를 포함한다.
한 실시예에서, 제1 입력 신호는 제1 마스터 제어기의 일부의 회전 동작에 의해 야기되고, 그래픽 사용자 인터페이스를 업데이트하는 단계는 그래픽 사용자 인터페이스의 일부를 회전시키는 단계를 포함한다.
한 실시예에서, 그래픽 사용자 인터페이스의 일부를 회전시키는 단계는 회전 동작의 함수로서 수행된다.
한 실시예에서, 제1 입력 신호는 제1 마스터 제어기의 일부의 핀칭 동작에 의해 야기되고; 그래픽 사용자 인터페이스를 업데이트하는 단계는 그래픽 사용자 인터페이스의 일부를 줌시키는 단계를 포함한다. 다른 실시예에서, 줌은 핀칭 동작의 함수로서 수행된다.
도 8은 한 실시예에 따른 원격작동형 수술 시스템(802)의 사용자 인터페이스와 원격작동형 수술 시스템(802)의 마스터 제어기(804) 사이의 상호작용을 제어하는 시스템(800)을 나타내는 블록도이다. 시스템(800)은 원격작동형 수술 시스템(802)에 통신가능하게 결합된 제1 마스터 제어기(804)를 포함한다. 시스템(800)은 또한, 제1 마스터 제어기(804)에 통신가능하게 결합된 피드백 컨트롤(806), 및 원격작동형 수술 시스템(802)에 통신가능하게 결합되고 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 디바이스(808)를 포함한다.
한 실시예에서, 피드백 컨트롤(806)은, 사용자 인터페이스의 상태가 변할 때(즉, 사용자 인터페이스에 의해 제공되는 인터페이스가 변할 때, 예를 들어, 수술 부위 또는 해부학적 모델의 3D 뷰로부터 구성 스크린 또는 데이터 입력 형태로 변할 때) 제1 마스터 제어기(804)의 움직임을 제한 또는 제약하도록 구성된다. 일부 실시예들에서, 피드백 컨트롤(806)는 사용자 인터페이스의 상태 변화를 검출할 수 있고 응답하여 제1 마스터 제어기(804)의 움직임을 제약할 수 있다. 다양한 다른 실시예들에서, 제1 마스터 제어기(804)의 동작의 제약은 사용자 인터페이스의 상태 변화를 야기하는 동일한 동작 및/또는 명령어에 의해 개시될 수 있다(예를 들어, 사용자는 또한, 사용자 인터페이스 상태를 변경하기 위해 역시 제1 마스터 제어기(804)에 대한 동작 제약을 개시하는 입력을 제공한다).
한 실시예에서, 사용자 인터페이스의 상태는 이전 상태인 3차원 사용자 인터페이스로부터 천이된 이후의 2차원 사용자 인터페이스이고, 2차원 사용자 인터페이스는 뷰잉 평면을 제공한다. 이러한 실시예에서, 제1 마스터 제어기(804)의 움직임을 제약하기 위해, 피드백 컨트롤(806)은 제1 마스터 제어기(804)를 평면 움직임으로 제약함으로써, 햅틱 평면 내에서 움직임을 강제하도록 구성된다. 일부 실시예들에서, 햅틱 평면은 뷰잉 평면에 근사하도록 공간 내에서 배향될 수 있다.
한 실시예에서, 2차원 사용자 인터페이스는 윤곽형 사용자 인터페이스를 포함하고, 제1 마스터 제어기(804)의 움직임을 제약하기 위해, 피드백 컨트롤(806)은 제1 마스터 제어기(804)를 윤곽형 사용자 인터페이스에 대응하는 햅틱 형상으로 제약하도록 구성된다. 예를 들어, 사용자 인터페이스가 오목한 용기(concave bowl)로서 프리젠팅된다면, 마스터 제어기(804)는 동작 공간에서 용기 형상의 윤곽을 따를 수 있다.
한 실시예에서, 피드백 컨트롤(806)은, 사용자 인터페이스 내에 있고 제1 마스터 제어기(804)의 움직임에 의해 제어되는 포인터가 사용자 인터페이스의 엣지에 접근한다는 것을 검출하고 포인터가 사용자 인터페이스의 엣지에 접근하는 것에 응답하여 제1 마스터 제어기(804)에 햅틱 피드백을 제공하도록 구성된다. 추가 실시예에서, 햅틱 평면은 뷰잉 평면의 뷰잉 영역에 근사하도록 한정된다.
한 실시예에서, 사용자 인터페이스의 상태는, 사용자 인터페이스 내의 포인터가 사용자 인터페이스의 클릭가능한 요소 위에서 호버링하고 있는 것을 포함하고, 제1 마스터 제어기의 움직임을 제약하기 위해, 피드백 컨트롤(806)은 제1 마스터 제어기(804)의 움직임을 제약하여 클릭가능한 요소 위에 있는 동안 포인터의 움직임을 감소시키도록 구성된다. 추가 실시예에서, 움직임을 감소시키는 것은 클릭가능한 요소 위에 있는 동안 포인터를 일시적으로 정지시키는 것을 포함한다.
한 실시예에서, 피드백 컨트롤(806)은, 포인터가 클릭가능한 요소 위에 있는 동안, 제1 마스터 제어기가 클릭을 생성하기 위해 작동되려 한다고 결정하도록 구성된다.
한 실시예에서, 제1 마스터 제어기(804)는 핀처 형성부를 포함하고 제1 마스터 제어기가 클릭을 생성하기 위해 작동되려 한다고 결정하는 것은 핀처 형성부의 위치 변화를 검출하는 것을 포함한다. 추가 실시예에서, 포인터 움직임은 핀처 형성부의 위치 변화의 함수로서 감소된다.
한 실시예에서, 제1 마스터 제어기(804)는 한 모드에서 3차원으로 동작하고 사용자 인터페이스의 상태는 이전 상태인 3차원 사용자 인터페이스로부터 천이된 이후의 2차원 사용자 인터페이스이고, 2차원 사용자 인터페이스는 뷰잉 평면을 제공한다. 이러한 실시예에서, 제1 마스터 제어기(804)의 움직임을 제약하기 위해, 피드백 컨트롤(806)은 제1 마스터 제어기(804)를 햅틱 평면을 제공하는 평면 움직임으로 제약하도록 구성되며, 햅틱 평면은 공간에서 뷰잉 평면에 근사하도록 배향된다.
한 실시예에서, 제1 마스터 제어기(804)가 클릭을 생성하기 위해 작동되려 한다고 결정하기 위해, 피드백 컨트롤(806)은 햅틱 평면에 직교하는 제1 마스터 제어기(804)의 위치 변화를 검출하도록 구성된다. 추가 실시예에서, 포인터 움직임은 햅틱 평면에 대한 제1 마스터 제어기(804)의 위치 변화의 함수로서 감소된다.
한 실시예에서, 사용자 인터페이스의 상태는 사용자 인터페이스에서 디폴트 사용자 인터페이스 컨트롤 옵션을 프리젠팅하는 것을 포함하고, 제1 마스터 제어기(804)의 움직임을 제약하기 위해, 피드백 컨트롤(806)은 디폴트 사용자 인터페이스 컨트롤 옵션의 방향 외의 제1 마스터 제어기(804)의 움직임을 제약하도록 구성된다.
한 실시예에서, 디폴트 사용자 인터페이스 컨트롤 옵션의 방향 외의 제1 마스터 제어기(804)의 움직임을 제약하기 위해, 피드백 컨트롤(806)은, 제1 마스터 제어기를 디폴트 사용자 인터페이스 컨트롤 옵션에 대응하는 공간 내의 위치로 이끄는 햅틱 피드백을 제1 마스터 제어기(804)에 제공하도록 구성된다.
한 실시예에서, 디폴트 사용자 인터페이스 컨트롤 옵션의 방향 외의 제1 마스터 제어기(804)의 움직임을 제약하기 위해, 피드백 컨트롤(806)은, 디폴트 사용자 인터페이스 컨트롤 옵션의 위치로부터 멀어지도록 상기 제1 마스터 제어기를 이동시키는 제1 마스터 제어기의 움직임에 저항하는 햅틱 피드백을 제공하도록 구성된다.
한 실시예에서, 제1 마스터 제어기(804)는 한 모드에서 3차원으로 동작하고 사용자 인터페이스의 상태는 이전 상태인 3차원 사용자 인터페이스로부터 천이된 이후의 2차원 사용자 인터페이스이고, 2차원 사용자 인터페이스는 뷰잉 평면을 제공한다. 이러한 실시예에서, 제1 마스터 제어기(804)의 움직임을 제약하기 위해, 피드백 컨트롤(806)은 제1 마스터 제어기(804)를 햅틱 평면을 제공하는 평면 움직임으로 제약하도록 구성되며, 햅틱 평면은 공간에서 뷰잉 평면에 근사하도록 배향된다.
도 9는 한 실시예에 따른 원격작동형 수술 시스템의 사용자 인터페이스와 원격작동형 수술 시스템의 입력 디바이스 사이의 상호작용을 제어하는 방법(900)을 나타내는 플로차트이다. 블록 902에서, 원격작동형 수술 시스템의 사용자 인터페이스의 상태가 변한다.
블록 904에서, 입력 디바이스의 움직임은 사용자 인터페이스의 새로운 상태에 기초하여 제약된다(또는 덜 제약된다). 한 실시예에서, 입력 디바이스는 마스터 제어기를 포함한다.
한 실시예에서, 사용자 인터페이스의 상태는 이전 상태인 3차원 사용자 인터페이스로부터 천이된 이후의 2차원 사용자 인터페이스이고, 2차원 사용자 인터페이스는 뷰잉 평면을 제공한다; 입력 디바이스의 움직임을 제약하는 단계는 입력 디바이스를 햅틱 평면을 제공하는 평면 움직임으로 제약하는 단계를 포함하고, 햅틱 평면은 뷰잉 평면에 근사하도록 공간 내에서 배향된다.
한 실시예에서, 2차원 사용자 인터페이스는 윤곽형 사용자 인터페이스를 포함하고, 입력 디바이스의 움직임을 제약하는 단계는 입력 디바이스를 윤곽형 사용자 인터페이스에 대응하는 햅틱 형상으로 제약하는 단계를 포함한다.
한 실시예에서, 방법(900)은 사용자 인터페이스 내에 있고 입력 디바이스의 움직임에 의해 제어되는 포인터가 사용자 인터페이스의 엣지에 접근한다는 것을 검출하는 단계; 및 포인터가 사용자 인터페이스의 엣지에 접근하는 것에 응답하여 입력 디바이스에 햅틱 피드백을 제공하는 단계를 포함한다. 한 실시예에서, 햅틱 평면은 뷰잉 평면의 뷰잉 영역에 근사하도록 한정된다.
한 실시예에서, 사용자 인터페이스의 상태는 사용자 인터페이스 내의 포인터가 사용자 인터페이스의 클릭가능한 요소 위에서 호버링하는 것을 포함하고; 입력 디바이스의 움직임을 제약하는 단계는, 클릭가능한 요소 위에 있는 동안 포인터의 움직임을 감소시키도록 입력 디바이스의 움직임을 제약하는 단계를 포함한다. 추가 실시예에서, 움직임을 감소시키는 것은 클릭가능한 요소 위에 있는 동안 포인터를 일시적으로 정지시키는 것을 포함한다.
추가 실시예에서, 포인터가 클릭가능한 요소 위에 있는 동안, 입력 디바이스가 클릭을 생성하기 위해 작동되려 한다고 결정하도록 구성된다. 한 실시예에서, 입력 디바이스는 핀처 형성부를 포함하고; 입력 디바이스가 클릭을 생성하기 위해 작동되려 한다고 결정하는 단계는 핀처 형성의 위치 변화를 검출하는 단계를 포함한다. 한 실시예에서, 포인터 움직임은 핀처 형성부의 위치 변화의 함수로서 감소된다.
한 실시예에서, 입력 디바이스는 한 모드에서 3차원으로 동작하고; 사용자 인터페이스의 상태는 이전 상태인 3차원 사용자 인터페이스로부터 천이된 이후의 2차원 사용자 인터페이스이고, 2차원 사용자 인터페이스는 뷰잉 평면을 제공한다; 입력 디바이스의 움직임을 제약하는 단계는 입력 디바이스를 햅틱 평면을 제공하는 평면 움직임으로 제약하는 단계를 포함하고, 햅틱 평면은 뷰잉 평면에 근사하도록 공간 내에서 배향된다.
한 실시예에서, 입력 디바이스가 클릭을 생성하기 위해 작동되려 한다고 결정하는 단계는, 햅틱 평면에 직교하는 입력 디바이스의 위치 변화를 검출하는 단계를 포함한다. 추가 실시예에서, 포인터 움직임은 햅틱 평면에 대한 입력 디바이스의 위치 변화의 함수로서 감소된다.
한 실시예에서, 사용자 인터페이스의 상태는, 사용자 인터페이스에서 디폴트 사용자 인터페이스 컨트롤 옵션을 프리젠팅하는 것을 포함하고; 입력 디바이스의 움직임을 제약하는 단계는 디폴트 사용자 인터페이스 컨트롤 옵션의 방향 외의 입력 디바이스의 움직임을 제약하는 단계를 포함한다. 추가 실시예에서, 디폴트 사용자 인터페이스 컨트롤 옵션의 방향 외의 입력 디바이스의 움직임을 제약하는 단계는, 디폴트 사용자 인터페이스 컨트롤 옵션에 대응하는 공간 내의 위치로 입력 디바이스를 이끄는 햅틱 피드백을 입력 디바이스에 제공하는 단계를 포함한다.
한 실시예에서, 디폴트 사용자 인터페이스 컨트롤 옵션의 방향 외의 입력 디바이스의 움직임을 제약하는 단계는, 디폴트 사용자 컨트롤 옵션의 위치로부터 멀어지도록 입력 디바이스를 이동시키는 입력 디바이스의 움직임에 저항하는 햅틱 피드백을 제공하는 단계를 포함한다.
한 실시예에서, 입력 디바이스는 한 모드에서 3차원으로 동작하고; 사용자 인터페이스의 상태는 이전 상태인 3차원 사용자 인터페이스로부터 천이된 이후의 2차원 사용자 인터페이스이고, 2차원 사용자 인터페이스는 뷰잉 평면을 제공한다; 입력 디바이스의 움직임을 제약하는 단계는 입력 디바이스를 햅틱 평면을 제공하는 평면 움직임으로 제약하는 단계를 포함하고, 햅틱 평면은 뷰잉 평면에 근사하도록 공간 내에서 배향된다.
컴퓨터 하드웨어 및 저장 디바이스
도 10은 예시적인 실시예에 따른 여기서 논의된 기술들(예를 들어, 방법론들) 중 임의의 하나 이상이 수행될 수 있는 예시적인 머신을 나타내는 블록도이다. 도 10은 더욱 상세히 설명된 컴퓨터 시스템(1000)의 예시적인 도면을 도시한다. 컴퓨터 시스템(1000)은, 예를 들어, 컴퓨터화된 훈련 모듈을 구현하도록 구성될 수 있다. 대안적 실시예에서, 컴퓨터 시스템(1000)은 독립형 디바이스로서 동작하거나 다른 머신에 접속(예를 들어, 네트워킹)될 수 있다. 네트워킹형 배치에서, 컴퓨터 시스템(1000)은, 서버-클라이언트 네트워크 환경 내의 서버 또는 클라이언트 머신의 용량에서, 또는 피어-투-피어(또는 분산형) 네트워크 환경 내의 피어 머신으로서 동작할 수 있다. 컴퓨터 시스템(1000)은, 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(PC), 태블릿 PC, 개인 휴대 정보 단말기(PDA), 셀룰러 전화, 또는 머신에 의해 취해질 동작들을 명시하는 한 세트의 명령어들을 (순차적 또는 기타의 방식으로) 실행할 수 있는 임의의 머신일 수 있다. 또한, 단일의 머신(즉, 컴퓨터 시스템(1000))만이 예시되어 있지만, 용어 "머신"은, 여기서 논의된 방법론들 중 임의의 하나 이상을 수행하기 위해 한 세트(또는 복수 세트)의 명령어를 개별적으로 또는 공동으로 실행하는 머신들의 임의의 집합을 포함하는 것으로 간주되어야 할 것이다.
예시적 컴퓨터 시스템(1000)은, 버스(1008)를 통해 서로 통신하는, 프로세서(1002)(예를 들어, 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 또는 양쪽 모두), 메인 메모리(1004), 및 정적 메모리(1006)를 포함한다. 컴퓨터 시스템(1000)은, 예를 들어, 수술 기구(104) 및 가요성 기구(120)의 위치를 디스플레이하는데 이용될 수 있는 비디오 디스플레이 유닛(1010)(예를 들어, 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, 터치 스크린, 또는 음극선 관(CRT))을 더 포함할 수 있다. 컴퓨터 시스템(1000)은 또한, 영숫자 입력 디바이스(1012)(예를 들어, 키보드, 물리적 키보드, 소프트웨어를 이용하는 가상 키보드), 커서 제어 디바이스 또는 입력 센서(1014)(예를 들어, 마우스, 트랙 패드, 트랙볼, 센서 또는 판독기, 머신 판독가능한 정보 판독기, 바 코드 판독기), 디스크 드라이브 유닛(1016), 신호 생성 디바이스(예를 들어, 스피커)(1018) 및 네트워크 인터페이스 디바이스 또는 트랜시버(1020)를 포함한다.
디스크 드라이브 유닛(1016)은 여기서 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구현하는 하나 이상의 세트의 명령어들(예를 들어, 소프트웨어)(1024)가 저장되어 있는 비일시적 머신-판독가능한 저장 디바이스 매체(1022)를 포함한다. 명령어(1024)는 또한, 컴퓨터 시스템(1000)에 의한 그 실행 동안에, 완전히 또는 적어도 부분적으로, 메인 메모리(1004) 내에, 정적 메모리(1006) 내에, 및/또는 프로세서(1002) 내에 존재할 수 있고, 메인 메모리(1004)와 프로세서(1002)는 또한 머신-판독가능한 저장 디바이스 매체를 구성한다. 비일시적 머신-판독가능한 저장 디바이스 매체(1022)는 또한, 집적 회로 설계 및 파형 구조를 저장할 수 있다. 명령어(1024)는 또한, 네트워크 인터페이스 디바이스 또는 트랜시버(1020)를 이용하여 네트워크(1026)를 통해 전송되거나 수신될 수 있다.
머신-판독가능한 저장 디바이스 매체(1022)가 예시적인 실시예에서는 단일 매체인 것으로 도시되었지만, 용어 "머신-판독가능한 매체", "컴퓨터 판독가능한 매체" 등은 하나 이상의 세트의 명령어(1024)를 저장하는 단일 매체 또는 복수의 매체(예를 들어, 중앙 집중형 또는 분산형 데이터베이스, 및/또는 연관된 캐시 및 서버)를 포함하는 것으로 간주되어야 한다. 용어 "머신-판독가능한 매체"는 또한, 머신에 의한 실행을 위한 한 세트의 명령어를 저장, 인코딩 또는 운반할 수 있고, 머신으로 하여금 본 개시내용의 방법들 중 임의의 하나 이상을 수행하게 하는 임의의 매체를 포함하는 것으로 간주되어야 한다. 용어 "머신-판독가능한 매체"는, 그에 따라, 솔리드-스테이트 메모리, 광학적 및 자기적 매체, 및 캐리어파 신호를 포함하지만 이것으로 제한되지 않는 것으로 간주되어야 한다.
명료성을 위해, 상기 설명은 상이한 기능 유닛들 또는 프로세서들을 참조하여 일부 실시예들을 설명할 수도 있다는 것을 이해할 것이다. 그러나, 상이한 기능 유닛들, 프로세서들 또는 도메인들 사이의 임의의 적절한 기능 분배가 본 개시내용으로부터 벗어나지 않고 이용될 수 있다는 것이 명백할 것이다. 예를 들어, 별개의 프로세서 또는 제어기에 의해 수행되는 것으로 예시된 기능은 동일한 프로세서 또는 제어기에 의해 수행될 수도 있다. 따라서, 특정한 기능 유닛에 대한 언급은, 엄격한 논리적 또는 물리적 구조 또는 구성을 나타내는 것이 아니라, 설명된 기능을 제공하기 위한 적절한 수단에 대한 언급으로서 간주되어야 한다.
본 개시내용이 일부 실시예와 관련하여 설명되었지만, 본 명세서에서 설명된 특정한 형태로 제한되고자 하는 것이 아니다. 본 기술분야의 통상의 기술자라면, 설명된 실시예들의 다양한 피쳐들은 본 개시내용에 따라 결합될 수 있다는 것을 인식할 것이다. 게다가, 본 개시내용의 사상 및 범위로부터 벗어나지 않고 본 기술분야의 통상의 기술자에 의해 다양한 수정 및 변형이 이루어질 수 있다는 것을 이해할 것이다.
또한, 상기 상세한 설명에서, 다양한 피쳐들은 본 개시내용의 체계화의 목적을 위해 하나의 실시예에서 함께 그룹화되어 있다는 것을 알 수 있다. 본 개시내용의 이 방법은, 청구된 실시예들이 각각의 청구항에서 명시적으로 기재되어 있는 것 보다 많은 피쳐들을 요구한다는 의도를 반영하는 것으로서 해석되어서는 안 된다. 오히려, 이하의 청구항들이 반영하는 바와 같이, 본 발명의 청구 대상은 하나의 개시된 실시예의 모든 피쳐들보다 적다. 따라서, 이하의 청구항들은 상세한 설명 내에 병합되는 것이며, 각각의 청구항은 그 자체로 별개의 실시예를 나타낸다.
본 발명에 따른 실시예들의 상기 설명 및 도면은 본 발명의 주제의 원리를 예시하기 위한 것일 뿐이다. 첨부된 청구항들에 정의된 본 발명의 주제의 사상과 범위로부터 벗어나지 않고 본 기술분야의 통상의 기술자에 의해 실시예들에 대한 다양한 수정이 이루어질 수 있다는 것을 이해할 것이다.
따라서, 본 발명의 소정의 예시적인 실시예들이 설명되고 첨부된 도면들에 도시되었지만, 이러한 실시예들은 예시일 뿐이고 넓은 본 발명의 주제를 제한하기 위한 것은 아니며, 본 기술분야의 통상의 기술자에 의해 다양한 다른 수정이 이루어질 수도 있기 때문에, 본 발명의 실시예들은 도시되고 설명된 특정의 구성이나 배열로 제한되지 않다는 것을 이해하여야 한다.
100: 원격작동형 수술 시스템
102: 수술 조작기 어셈블리
104: 수술 기구
108: 수술 테이블
110: 마스터 어셈블리

Claims (20)

  1. 원격작동형 수술 시스템의 사용자 인터페이스를 제어하기 위한 방법으로서,
    상기 원격작동형 수술 시스템에서 2차원 뷰잉 평면 내에 2차원 그래픽 사용자 인터페이스 이미지를 디스플레이하는 단계로서, 상기 그래픽 사용자 인터페이스 이미지가 2차원 뷰잉 평면 내의 그래픽 사용자 인터페이스 이미지 내에서 2차원으로 이동 가능한 그래픽 포인터를 포함하는 단계,
    입력 디바이스의 움직임을 2차원 햅틱 평면으로 제약하는 단계,
    상기 2차원 햅틱 평면으로 제한된 입력 디바이스의 2차원 움직임을 표시하는 센서 입력을 원격작동형 수술 시스템에서 수신하는 단계로서, 상기 센서 입력은, 뷰잉 평면 내에서 마스터 제어기의 움직임에 상응하게 움직이도록 2차원 뷰잉 평면 내의 그래픽 사용자 인터페이스 이미지 내에서 그래픽 포인터의 그래픽 이미지의 움직임을 제어하는 단계,
    상기 입력 디바이스가 작동되려 한다는 것을 결정하는 단계, 및
    상기 입력 디바이스가 클릭을 생성하기 위해 작동되려 할 때 그래픽 포인터의 움직임을 제약하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 입력 디바이스가 작동되려 한다는 것을 결정하는 단계는, 핀처 형성부의 위치 변화를 검출함으로써 클릭을 생성하기 위한 것인, 방법.
  3. 제1항에 있어서, 상기 입력 디바이스가 작동되려 한다는 것을 결정하는 단계는, 햅틱 평면에 직교하는 입력 디바이스의 위치 변화를 검출함으로써 클릭을 생성하기 위한 것인, 방법.
  4. 제1항에 있어서, 상기 햅틱 평면은 뷰잉 평면의 뷰잉 영역에 근사하도록 한정되고,
    상기 입력 디바이스의 움직임을 제약하는 단계는 상기 입력 디바이스를 햅틱 평면 내의 움직임으로 제약하는 단계를 포함하는, 방법.
  5. 제1항에 있어서, 상기 입력 디바이스에 의해 제어되는 사용자 인터페이스 내의 그래픽 포인터가 상기 뷰잉 평면의 엣지에 접근하는 것에 응답하여 햅틱 피드백을 상기 입력 디바이스에 제공하는 단계를 포함하는, 방법.
  6. 제1항에 있어서, 상기 사용자 인터페이스는 뷰잉 평면 내의 클릭가능한 요소 위에서 호버링하는 상기 그래픽 포인터를 포함하고,
    상기 입력 디바이스의 움직임을 제약하는 단계는 상기 클릭가능한 요소 위에 있는 동안 상기 그래픽 포인터의 움직임을 감소시키도록 상기 입력 디바이스의 움직임을 제약하는 단계를 포함하는, 방법.
  7. 제1항에 있어서, 상기 그래픽 포인터가 클릭가능한 요소 위에 있는 동안 응답하여 상기 입력 디바이스의 핀처 형성부의 위치 변화의 함수로서 포인터 움직임을 감소시키는 단계를 포함하는, 방법.
  8. 제1항에 있어서, 상기 사용자 인터페이스는 상기 사용자 인터페이스에서 디폴트 방향을 갖는 디폴트 사용자 인터페이스 컨트롤 옵션을 포함하고,
    상기 입력 디바이스의 움직임을 제약하는 단계는 상기 디폴트 사용자 인터페이스 컨트롤 옵션의 디폴트 방향 외의 상기 입력 디바이스의 움직임을 제약하는 단계를 포함하는, 방법.
  9. 제8항에 있어서, 상기 디폴트 사용자 인터페이스 컨트롤 옵션의 디폴트 방향 외의 상기 입력 디바이스의 움직임을 제약하는 단계는,
    상기 디폴트 사용자 인터페이스 컨트롤 옵션에 대응하는 공간 내의 위치로 상기 입력 디바이스를 이끄는 햅틱 피드백을 상기 입력 디바이스에 제공하는 단계를 포함하는, 방법.
  10. 제8항에 있어서, 상기 디폴트 사용자 인터페이스 컨트롤 옵션의 디폴트 방향 외의 상기 입력 디바이스의 움직임을 제약하는 단계는,
    상기 디폴트 사용자 인터페이스 컨트롤 옵션의 위치로부터 멀어지도록 상기 입력 디바이스를 이동시키는 상기 입력 디바이스의 움직임에 저항하는 햅틱 피드백을 제공하는 단계를 포함하는, 방법.
  11. 원격작동형 수술 시스템을 상호작용하게 제어하는 시스템으로서,
    상기 원격작동형 수술 시스템에 통신가능하게 결합된 제1 마스터 제어기,
    상기 제1 마스터 제어기에 통신가능하게 결합된 인터페이스 컨트롤, 및
    상기 원격작동형 수술 시스템에 통신가능하게 결합된 디스플레이 디바이스를 포함하고,
    상기 인터페이스 컨트롤은,
    상기 디스플레이 디바이스에서 2차원 뷰잉 평면 내의 2차원 그래픽 사용자 인터페이스 이미지를 디스플레이하고, 상기 그래픽 사용자 인터페이스 이미지가 2차원 뷰잉 평면 내의 그래픽 사용자 인터페이스 이미지 내에서 2차원으로 이동 가능한 그래픽 포인터를 포함하고,
    2차원 햅틱 평면으로 제1 마스터 제어기의 움직임을 제약하고,
    상기 2차원 햅틱 평면으로 제한된 제1 마스터 제어기의 2차원 움직임을 표시하는 센서 입력을 수신하도록 구성되고,
    상기 센서 입력은, 햅틱 평면 내에서 제1 마스터 제어기의 움직임에 상응하게 움직이도록 2차원 뷰잉 평면 내의 그래픽 사용자 인터페이스 이미지 내에서 그래픽 포인터의 그래픽 이미지의 움직임을 제어하고,
    입력 디바이스가 작동되려 한다는 것을 결정하며,
    입력 디바이스가 클릭을 생성하기 위해 작동되려 할 때 그래픽 포인터의 움직임을 제약하는, 시스템.
  12. 제11항에 있어서, 상기 인터페이스 컨트롤은,
    핀처 형성부의 위치 변화를 검출함으로써 상기 입력 디바이스가 클릭을 생성하기 위해 작동되려 한다는 것을 결정하는, 방법.
  13. 제11항에 있어서, 상기 인터페이스 컨트롤은,
    햅틱 평면에 직교하는 입력 디바이스의 위치 변화를 검출함으로써 상기 입력 디바이스가 클릭을 생성하기 위해 작동되려 한다는 것을 결정하는, 방법.
  14. 제11항에 있어서, 상기 햅틱 평면은 뷰잉 평면의 뷰잉 영역에 근사하도록 한정되고,
    상기 인터페이스 컨트롤은 상기 제1 마스터 제어기의 움직임을 제약하도록 구성되고, 상기 인터페이스 컨트롤은 상기 제1 마스터 제어기를 햅틱 평면에서의 움직임으로 제약하도록 구성된, 시스템.
  15. 제11항에 있어서, 상기 인터페이스 컨트롤은,
    상기 입력 디바이스에 의해 제어되는 상기 사용자 인터페이스 내의 그래픽 포인터가 상기 사용자 인터페이스의 엣지에 접근하는 것에 응답하여 상기 제1 마스터 제어기에 햅틱 피드백을 제공하도록 구성된, 시스템.
  16. 제11항에 있어서, 상기 사용자 인터페이스는 상기 뷰잉 평면 내의 클릭가능한 요소 위에서 호버링하는 상기 그래픽 포인터를 포함하고,
    상기 제1 마스터 제어기의 움직임을 제약하기 위해, 상기 인터페이스 컨트롤은 상기 클릭가능한 요소 위에 있는 동안 상기 그래픽 포인터의 움직임을 감소시키도록 상기 제1 마스터 제어기의 움직임을 제약하도록 구성된, 시스템.
  17. 제11항에 있어서, 상기 사용자 인터페이스는 상기 사용자 인터페이스에서 디폴트 방향을 갖는 디폴트 사용자 인터페이스 컨트롤 옵션을 포함하고,
    상기 제1 마스터 제어기의 움직임을 제약하기 위해, 상기 인터페이스 컨트롤은 상기 디폴트 사용자 인터페이스 컨트롤 옵션의 디폴트 방향 외의 상기 제1 마스터 제어기의 움직임을 제약하도록 구성된, 시스템.
  18. 제17항에 있어서, 상기 디폴트 사용자 인터페이스 컨트롤 옵션의 디폴트 방향 외의 상기 제1 마스터 제어기의 움직임을 제약하기 위해, 상기 인터페이스 컨트롤은, 상기 제1 마스터 제어기를 상기 디폴트 사용자 인터페이스 컨트롤 옵션에 대응하는 공간 내의 위치로 이끄는 햅틱 피드백을 상기 제1 마스터 제어기에 제공하도록 구성된, 시스템.
  19. 제17항에 있어서, 상기 디폴트 사용자 인터페이스 컨트롤 옵션의 디폴트 방향 외의 상기 제1 마스터 제어기의 움직임을 제약하기 위해, 상기 인터페이스 컨트롤은, 상기 디폴트 사용자 인터페이스 컨트롤 옵션의 위치로부터 멀어지도록 상기 제1 마스터 제어기를 이동시키는 상기 제1 마스터 제어기의 움직임에 저항하는 햅틱 피드백을 제공하도록 구성된, 시스템.
  20. 제8항에 있어서, 상기 입력 디바이스는 핀처 형성부를 포함하고,
    상기 핀처 형성부의 위치 변화를 검출함으로써 상기 입력 디바이스가 클릭을 생성하기 위해 작동되려 한다고 결정하는 단계를 포함하는, 방법.
KR1020227044344A 2014-11-13 2015-11-12 사용자 인터페이스와 마스터 제어기 사이의 상호작용 KR20230003648A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462079402P 2014-11-13 2014-11-13
US62/079,402 2014-11-13
PCT/US2015/060330 WO2016077552A1 (en) 2014-11-13 2015-11-12 Interaction between user-interface and master controller
KR1020177015642A KR20170084186A (ko) 2014-11-13 2015-11-12 사용자 인터페이스와 마스터 제어기 사이의 상호작용

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177015642A Division KR20170084186A (ko) 2014-11-13 2015-11-12 사용자 인터페이스와 마스터 제어기 사이의 상호작용

Publications (1)

Publication Number Publication Date
KR20230003648A true KR20230003648A (ko) 2023-01-06

Family

ID=55955036

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177015642A KR20170084186A (ko) 2014-11-13 2015-11-12 사용자 인터페이스와 마스터 제어기 사이의 상호작용
KR1020227044344A KR20230003648A (ko) 2014-11-13 2015-11-12 사용자 인터페이스와 마스터 제어기 사이의 상호작용

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177015642A KR20170084186A (ko) 2014-11-13 2015-11-12 사용자 인터페이스와 마스터 제어기 사이의 상호작용

Country Status (5)

Country Link
US (2) US10786315B2 (ko)
EP (2) EP3217910B1 (ko)
KR (2) KR20170084186A (ko)
CN (1) CN107106245B (ko)
WO (1) WO2016077552A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10123846B2 (en) 2014-11-13 2018-11-13 Intuitive Surgical Operations, Inc. User-interface control using master controller
WO2016109887A1 (en) 2015-01-09 2016-07-14 Titan Medical Inc. Alignment difference safety in a master-slave robotic system
US10568703B2 (en) * 2016-09-21 2020-02-25 Verb Surgical Inc. User arm support for use in a robotic surgical system
JP6599402B2 (ja) * 2017-06-08 2019-10-30 株式会社メディカロイド 遠隔操作装置
JP2018202032A (ja) * 2017-06-08 2018-12-27 株式会社メディカロイド 医療器具の遠隔操作装置
EP3648698A4 (en) * 2017-07-06 2021-03-31 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR HAPTIC FEEDBACK WHEN SELECTING MENU ITEMS IN A TELEOPERATION SYSTEM
WO2019023390A2 (en) * 2017-07-27 2019-01-31 Intuitive Surgical Operations, Inc. MEDICAL DEVICE HANDLE
WO2019222495A1 (en) 2018-05-18 2019-11-21 Auris Health, Inc. Controllers for robotically-enabled teleoperated systems
US11589935B2 (en) * 2018-12-26 2023-02-28 Kawasaki Jukogyo Kabushiki Kaisha Operation device for surgical manipulator and robotically-assisted surgical system
CN110448378B (zh) * 2019-08-13 2021-03-02 北京唯迈医疗设备有限公司 一种沉浸式介入手术一体化控制台
CN115426965A (zh) * 2020-02-19 2022-12-02 直观外科手术操作公司 用于在远程操作医疗系统中导航屏上菜单的系统和方法
CN112057172B (zh) * 2020-09-10 2022-02-11 苏州大学 一种微创手术机器人
DE202021102512U1 (de) 2021-05-07 2022-05-10 Deutsches Zentrum für Luft- und Raumfahrt e.V. Robotisches Telemanipulationssystem mit adaptierbarem Autonomiegrad, Verwendung eines robotischen Telemanipulationssystems, autonomes medizinisches Robotersystem
US20230011725A1 (en) * 2021-07-06 2023-01-12 Verb Surgical Inc. Projection of user interface pose command to reduced degree of freedom space for a surgical robot
WO2023192465A1 (en) * 2022-04-01 2023-10-05 Intuitive Surgical Operations, Inc. User interface interaction elements with associated degrees of freedom of motion

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4942538A (en) 1988-01-05 1990-07-17 Spar Aerospace Limited Telerobotic tracker
US5631973A (en) * 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
US6437771B1 (en) * 1995-01-18 2002-08-20 Immersion Corporation Force feedback device including flexure member between actuator and user object
US5625576A (en) 1993-10-01 1997-04-29 Massachusetts Institute Of Technology Force reflecting haptic interface
US5799055A (en) 1996-05-15 1998-08-25 Northwestern University Apparatus and method for planning a stereotactic surgical procedure using coordinated fluoroscopy
US5786805A (en) * 1996-12-27 1998-07-28 Barry; Edwin Franklin Method and apparatus for improving object selection on a computer display by providing cursor control with a sticky property
US6292174B1 (en) * 1997-08-23 2001-09-18 Immersion Corporation Enhanced cursor control using limited-workspace force feedback devices
US8600551B2 (en) 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
US6799065B1 (en) 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
US6493608B1 (en) * 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
US6522906B1 (en) * 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US6392675B1 (en) * 1999-02-24 2002-05-21 International Business Machines Corporation Variable speed cursor movement
US6424885B1 (en) 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US6714201B1 (en) * 1999-04-14 2004-03-30 3D Open Motion, Llc Apparatuses, methods, computer programming, and propagated signals for modeling motion in computer applications
US7234937B2 (en) 1999-11-30 2007-06-26 Orametrix, Inc. Unified workstation for virtual craniofacial diagnosis, treatment planning and therapeutics
FR2808366B1 (fr) 2000-04-26 2003-12-19 Univ Paris Vii Denis Diderot Procede et systeme d'apprentissage en realite virtuelle, et application en odontologie
US7206627B2 (en) 2002-03-06 2007-04-17 Z-Kat, Inc. System and method for intra-operative haptic planning of a medical procedure
US7998062B2 (en) 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
US8276091B2 (en) 2003-09-16 2012-09-25 Ram Consulting Haptic response system and method of use
US7632265B2 (en) 2004-05-28 2009-12-15 St. Jude Medical, Atrial Fibrillation Division, Inc. Radio frequency ablation servo catheter and method
CN101193603B (zh) 2005-06-06 2010-11-03 直观外科手术公司 腹腔镜的超声机器人外科手术系统
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
CN103142309B (zh) * 2005-10-20 2015-06-17 直观外科手术操作公司 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
US9266239B2 (en) * 2005-12-27 2016-02-23 Intuitive Surgical Operations, Inc. Constraint based control in a minimally invasive surgical apparatus
US8077153B2 (en) * 2006-04-19 2011-12-13 Microsoft Corporation Precise selection techniques for multi-touch screens
US8373655B2 (en) * 2007-01-05 2013-02-12 Apple Inc. Adaptive acceleration of mouse cursor
US20090012533A1 (en) 2007-04-23 2009-01-08 Hansen Medical, Inc. Robotic instrument control system
US20120004894A1 (en) 2007-09-21 2012-01-05 Edwin Brian Butler Systems, Methods and Apparatuses for Generating and using Representations of Individual or Aggregate Human Medical Data
EP2195727A1 (en) * 2007-10-05 2010-06-16 Thomson Licensing Pointer controlling apparatus
KR20100126700A (ko) 2008-01-23 2010-12-02 센서블 테크놀로지스, 인크. 햅티컬 작동가능한 치아 모델링 시스템
US8641663B2 (en) * 2008-03-27 2014-02-04 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system input device
US8414469B2 (en) * 2008-06-27 2013-04-09 Intuitive Surgical Operations, Inc. Medical robotic system having entry guide controller with instrument tip velocity limiting
US8390438B2 (en) 2008-09-24 2013-03-05 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system including haptic feedback
WO2010078344A1 (en) * 2008-12-31 2010-07-08 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system input device
US20100191100A1 (en) 2009-01-23 2010-07-29 Warsaw Orthopedic, Inc. Methods and systems for diagnosing, treating, or tracking spinal disorders
US8423182B2 (en) * 2009-03-09 2013-04-16 Intuitive Surgical Operations, Inc. Adaptable integrated energy control system for electrosurgical tools in robotic surgical systems
US8662900B2 (en) 2009-06-04 2014-03-04 Zimmer Dental Inc. Dental implant surgical training simulation system
US9155592B2 (en) * 2009-06-16 2015-10-13 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US20110066406A1 (en) 2009-09-15 2011-03-17 Chung Yuan Christian University Method for Generating Real-Time Haptic Response Information for a Haptic Simulating Device
EP2482748B1 (en) 2009-10-01 2020-12-30 Mako Surgical Corp. Robotic system for multi-functional tool
US8866495B2 (en) * 2010-06-30 2014-10-21 Access Business Group International Llc Spatial tracking system and method
US8972844B2 (en) * 2011-10-28 2015-03-03 International Business Machines Corporation Dynamic digital document fields behavior
US20140187857A1 (en) * 2012-02-06 2014-07-03 Vantage Surgical Systems Inc. Apparatus and Methods for Enhanced Visualization and Control in Minimally Invasive Surgery
WO2014009561A2 (en) * 2012-07-13 2014-01-16 Softkinetic Software Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand
KR102335797B1 (ko) 2012-09-17 2021-12-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격조작 수술 기구 기능들에 입력 장치들을 할당하는 방법 및 시스템
CN104871117A (zh) * 2012-11-07 2015-08-26 达维德·佩佩 尤其用于计算机或类似装置的输入设备以及相应的图形用户界面系统
US10849702B2 (en) * 2013-03-15 2020-12-01 Auris Health, Inc. User input devices for controlling manipulation of guidewires and catheters
JP6476662B2 (ja) * 2013-09-20 2019-03-06 株式会社デンソーウェーブ ロボット操作装置、ロボットシステム、及びロボット操作プログラム
WO2015167531A2 (en) * 2014-04-30 2015-11-05 Hewlett-Packard Development Company, L.P. Cursor grip
US10123846B2 (en) * 2014-11-13 2018-11-13 Intuitive Surgical Operations, Inc. User-interface control using master controller

Also Published As

Publication number Publication date
US10786315B2 (en) 2020-09-29
EP3217910A4 (en) 2018-08-08
WO2016077552A1 (en) 2016-05-19
US20170333139A1 (en) 2017-11-23
CN107106245A (zh) 2017-08-29
EP3866174A1 (en) 2021-08-18
EP3217910B1 (en) 2021-03-31
EP3217910A1 (en) 2017-09-20
CN107106245B (zh) 2024-04-19
US20210030491A1 (en) 2021-02-04
KR20170084186A (ko) 2017-07-19

Similar Documents

Publication Publication Date Title
US11723734B2 (en) User-interface control using master controller
US20210030491A1 (en) Interaction between user-interface and master controller
KR102441640B1 (ko) 가상 현실 복강경 도구
KR102376000B1 (ko) 로봇 수술 시스템에서의 가상 현실 훈련, 시뮬레이션, 및 공동작업
US20220192771A1 (en) Emulation of robotic arms and control thereof in a virtual reality environment
US20220101745A1 (en) Virtual reality system for simulating a robotic surgical environment
EP4241720A2 (en) Association systems for manipulators
WO2023023186A1 (en) Techniques for following commands of an input device using a constrained proxy
US20240111357A1 (en) Interaction between user-interface and master controller
WO2023192465A1 (en) User interface interaction elements with associated degrees of freedom of motion
CN116761568A (zh) 用户接口和主控制器之间的交互

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal