KR20190086694A - 로봇 수술에 사용하기 위한 사용자 인터페이스 디바이스 - Google Patents

로봇 수술에 사용하기 위한 사용자 인터페이스 디바이스 Download PDF

Info

Publication number
KR20190086694A
KR20190086694A KR1020197016406A KR20197016406A KR20190086694A KR 20190086694 A KR20190086694 A KR 20190086694A KR 1020197016406 A KR1020197016406 A KR 1020197016406A KR 20197016406 A KR20197016406 A KR 20197016406A KR 20190086694 A KR20190086694 A KR 20190086694A
Authority
KR
South Korea
Prior art keywords
user interface
housing
interface device
handheld user
handheld
Prior art date
Application number
KR1020197016406A
Other languages
English (en)
Other versions
KR102295241B1 (ko
Inventor
조안 사발
알레그라 안나 렌타 슘
호세 루이스 콜도바
이치 젱
Original Assignee
버브 서지컬 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 버브 서지컬 인크. filed Critical 버브 서지컬 인크.
Publication of KR20190086694A publication Critical patent/KR20190086694A/ko
Application granted granted Critical
Publication of KR102295241B1 publication Critical patent/KR102295241B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0261—Strain gauges
    • A61B2562/0266—Optical strain gauges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

로봇 시스템을 제어하기 위한 핸드헬드 사용자 인터페이스 디바이스는 부재, 부재 둘레에 적어도 부분적으로 배치되고 사용자의 손에 보유되도록 구성된 하우징, 및 부재 상에 배치되고 디바이스의 적어도 일부분의 위치 및 배향 중 적어도 하나를 검출하도록 구성된 추적 센서 시스템을 포함할 수 있다. 디바이스의 일부분의 검출된 위치, 및 디바이스의 일부분의 검출된 배향 중 적어도 하나는 로봇 시스템의 제어와 상관가능(correlatable)하다.

Description

로봇 수술에 사용하기 위한 사용자 인터페이스 디바이스
본 발명은 대체적으로 로봇-보조 시스템에 관한 것으로, 더 구체적으로는, 로봇-보조 수술 시스템을 제어하기 위한 사용자 인터페이스 디바이스에 관한 것이다.
복강경 수술과 같은 최소-침습 수술(minimally-invasive surgery, MIS)은 외과 시술 동안에 조직 손상을 감소시키도록 의도되는 기법을 수반한다. 예를 들어, 복강경 시술들은 통상적으로 환자에(예컨대, 복부에) 다수의 작은 절개부들을 생성하는 것, 및 하나 이상의 도구 및 적어도 하나의 카메라를 절개부들을 통해 환자 안으로 넣는 것을 수반한다. 외과 시술은 이어서, 카메라에 의해 제공되는 가시화 보조물(visualization aid)과 함께, 도입된 도구를 사용함으로써 수행된다. 일반적으로, MIS는 환자 반흔형성 감소, 환자 통증 감소, 환자 회복 기간 단축, 및 환자 회복과 연관된 의료 처치 비용의 절감과 같은 다수의 이득을 제공한다.
MIS는 비로봇(non-robotic) 또는 로봇 시스템으로 수행될 수 있다. 조작자로부터의 명령에 기초하여 도구들을 조작하기 위한 로봇 아암을 포함할 수 있는 종래의 로봇 시스템들은 MIS의 많은 이익들을 제공하는 반면, 외과의사에 대한 수요를 감소시킬 수 있다. 그러한 로봇 시스템의 제어는 사용자로부터의 조작 또는 명령을 로봇 시스템의 제어로 변환하는 하나 이상의 사용자 인터페이스 디바이스를 통해 사용자(예컨대, 외과의사 또는 다른 조작자)로부터의 제어 입력을 필요로 할 수 있다. 그러나, 로봇 수술 시스템들을 위한 종래의 사용자 인터페이스 디바이스는 단점을 가질 수 있다. 예를 들어, 종래의 사용자 인터페이스 디바이스는 인체공학적으로 설계되지 않을 수 있고, 이는 사용자의 불편함 또는 피로 및 수술에 대한 가능한 부정적인 효과로 이어질 수 있다. 따라서, 특히 로봇 수술에서 사용하기 위한, 신규하고 개선된 사용자 인터페이스 디바이스를 갖는 것이 바람직하다.
대체적으로, 일 변형예에서, 로봇 시스템을 제어하기 위한 핸드헬드 사용자 인터페이스 디바이스는 부재, 부재 둘레에 적어도 부분적으로 배치되고 사용자의 손에 보유되도록 구성된 하우징, 사용자의 손과 하우징 사이의 상호작용을 검출하도록 구성된 적어도 하나의 용량성 센서, 및 디바이스의 적어도 일부분의 위치 및 배향 중 적어도 하나를 검출하도록 구성된 추적 센서 시스템을 포함할 수 있다. 검출된 상호작용, 디바이스의 일부분의 검출된 위치, 및 디바이스의 일부분의 검출된 배향 중 적어도 하나는 로봇 시스템의 제어와 상관가능(correlatable)할 수 있다.
디바이스의 일부분의 검출된 위치 또는 검출된 배향은, 예를 들어, 로봇 아암 또는 엔드 이펙터(end effector)의 제어와 상관가능할 수 있다. 용량성 센서는, 예를 들어, 사용자의 손과 용량성 센서 사이의 근접도의 변화를 측정함으로써 하우징의 손 기반 압착과 같은 상호작용을 검출할 수 있다. 다른 예로서, 용량성 센서는 하우징 상의 제1 전도성 표면과 하우징 상의 제2 전도성 표면 사이의 근접도를 측정함으로써 하우징을 압착하는 사용자의 손을 검출하도록 구성될 수 있다. 다른 예로서, 동일한 센서 또는 제2 용량성 센서는 사용자 인터페이스 디바이스로 수행되는 사용자 개시 제스처(예컨대, 스와이핑(swiping))(예컨대, 로봇 시스템의 그래픽 사용자 인터페이스의 제어 또는 다른 제어와 상관가능함)를 검출하도록 구성된 복수의 이산된 센서 영역을 포함할 수 있다. 다른 예로서, 용량성 센서는 로봇 시스템의 제어의 보류(suspension)를 트리거(trigger)하는 (예를 들어, 사용자 인터페이스 디바이스를 떨어뜨리거나 디바이스 홀더 내에 사용자 인터페이스 디바이스를 장착하는) 하우징과 사용자의 손 사이의 결합해제와 같은 상호작용을 검출할 수 있다.
대체적으로, 다른 변형예에서, 로봇 시스템을 제어하기 위한 핸드헬드 사용자 인터페이스 디바이스는 부재, 부재 둘레에 적어도 부분적으로 배치되고 사용자의 손에 보유되도록 구성된 가요성 하우징, 하우징의 변형을 검출하도록 구성된 적어도 하나의 근접 센서, 및 디바이스의 적어도 일부분의 위치 및 배향 중 적어도 하나를 검출하도록 구성된 추적 센서 시스템을 포함할 수 있다. 하우징의 검출된 변형, 디바이스의 일부분의 검출된 위치, 및 디바이스의 일부분의 검출된 배향 중 적어도 하나는 로봇 시스템의 제어와 상관가능할 수 있다.
디바이스의 일부분의 검출된 위치 또는 검출된 배향은, 예를 들어, 로봇 아암 또는 엔드 이펙터의 제어와 상관가능할 수 있다. 근접 센서는, 예를 들어, 로봇 시스템의 엔드 이펙터(예컨대, 조오(jaw))의 개방 또는 폐쇄와 상관가능한 하우징의 변형을 검출하도록 구성될 수 있다. 근접 센서는 부재와 하우징의 변형 시 편향되도록 구성된 굴곡성 부재 사이의 거리의 변화를 측정하도록 구성됨으로써 하우징의 그러한 변형을 검출하도록 구성될 수 있다. 일부 변형예에서, 근접 센서는 광학 센서일 수 있지만, 다른 종류의 근접 센서가 사용될 수도 있다.
대체적으로, 다른 변형예에서, 로봇 시스템을 제어하기 위한 핸드헬드 사용자 인터페이스 디바이스는 제1 단부 및 제2 단부(예컨대, 근위 단부 및 원위 단부)를 갖는 부재를 포함할 수 있고, 제1 단부 및 제2 단부 중 적어도 하나는 탈거가능 어댑터에 결합하도록 구성된 결합 특징부, 부재 둘레에 적어도 부분적으로 배치되고 사용자의 손에 보유되도록 구성된 하우징, 및 디바이스의 적어도 일부분의 위치 및 배향 중 적어도 하나를 검출하도록 구성된 추적 센서 시스템을 포함한다. 디바이스의 일부분의 검출된 위치 및 검출된 배향 중 적어도 하나는 로봇 시스템의 제어와 상관가능할 수 있다.
디바이스의 일부분의 검출된 위치 또는 검출된 배향은, 예를 들어, 로봇 아암 또는 엔드 이펙터의 제어와 상관가능할 수 있다. 부재는, 예를 들어, 광학 추적기 어댑터, 스타일러스, 디스크 어댑터 또는 조이스틱, 버튼, 핀처(pincher) 등의 위치 및/또는 배향에 관한 정보를 제공하도록 광학 추적 마커를 갖는 광학 추적기 어댑터와 같은 하나 이상의 탈거가능 어댑터로부터 제거가능하게 결합될 수 있다. 그러한 어댑터는, 예를 들어, 로봇 시스템의 상이한 종류의 엔드 이펙터 등을 작동시키기 위한 응용-특정 또는 다른 적합한 기능적 맞춤화를 제공할 수 있다.
대체적으로, 다른 변형예에서, 로봇 시스템을 제어하기 위한 핸드헬드 사용자 인터페이스 디바이스는 부재, 부재 둘레에 적어도 부분적으로 배치되고 사용자의 손에 보유되도록 구성된 하우징, 및 부재 상에 배치되고 디바이스의 적어도 일부분의 위치 및 배향 중 적어도 하나를 검출하도록 구성된 추적 센서 시스템을 포함할 수 있다. 디바이스의 일부분의 검출된 위치 및 검출된 배향 중 적어도 하나는 로봇 시스템의 제어와 상관가능할 수 있다. 디바이스의 일부분의 검출된 위치 또는 검출된 배향은, 예를 들어, 로봇 아암 또는 엔드 이펙터의 제어와 상관가능할 수 있다. 일부 변형예에서, 추적 시스템의 적어도 일부분은 부재 및 하우징 중 적어도 하나로부터 제거가능하여 부재 및 하우징 중 적어도 하나의 처분(disposal)을 가능하게 할 수 있다. 그러한 처분은, 예를 들어, 사용자 인터페이스 디바이스의 별도의 사용을 위해 사용자 인터페이스 디바이스의 모든 구성요소의 멸균성을 유지하기 위한 필요성을 감소시킬 수 있다. 일부 변형예에서, 하우징은 상이한 종류(예컨대, 형상, 크기 등)의 사용자 손에 적합한 상이한 크기를 갖는 한 세트의 하우징들로부터 선택될 수 있다.
도 1a는 유선 핸드헬드 사용자 인터페이스 디바이스의 변형예의 예시적인 개략도이다. 도 1b는 무선 핸드헬드 사용자 인터페이스 디바이스의 변형예의 예시적인 개략도이다. 도 1c는 핸드헬드 사용자 인터페이스 디바이스의 변형예의 종단면도이다.
도 2a는 광학 센서를 갖는 핸드헬드 사용자 인터페이스 디바이스의 변형예의 종단면도이다. 도 2b는 광학 센서를 갖는 핸드헬드 사용자 인터페이스 디바이스의 변형예의 종단면도이다. 도 2c는 유선 추적 센서 시스템을 위한 스트레인 릴리프(strain relief) 및 광학 센서를 갖는 핸드헬드 사용자 인터페이스 디바이스의 변형예의 종단면도이다.
도 3a는 용량성 센서를 갖는 핸드헬드 사용자 인터페이스 디바이스의 변형예의 종단면도이다. 도 3b는 용량성 센서를 갖는 부재의 예시적인 개략도이다. 도 3c는 도 3b에 도시된 부재의 종단면도이다.
도 4a 및 도 4b는 핸드헬드 사용자 인터페이스 디바이스에서 사용하기 위한 용량성 센서의 변형예이다. 도 4c는 핸드헬드 사용자 인터페이스 디바이스에서 사용하기 위한, 부재 상에 배치된 용량성 센서의 예시적인 도면이다.
도 5는 사용자의 손에 보유된, 제스처 추적 영역 및 용량성 센서를 갖는 핸드헬드 사용자 인터페이스 디바이스의 변형예의 도면이다.
도 6a는 모듈형 교체가능 어댑터를 갖는 핸드헬드 사용자 인터페이스 디바이스의 일 변형예의 종단면도이다. 도 6b 및 도 6c는 모듈형 교체가능 어댑터를 갖는 핸드헬드 사용자 인터페이스 디바이스의 다른 변형예의 측면도 및 사시도이다.
도 7a 및 도 7b는 광학 추적 어댑터를 갖는 핸드헬드 사용자 인터페이스 디바이스의 일 변형예의 사시도이다. 도 7c는 사용자의 손에 보유된, 도 7a 및 도 7b에 도시된 핸드헬드 사용자 인터페이스 디바이스의 예시적인 도면이다.
도 8a 및 도 8aa는 스타일러스 어댑터를 갖는 핸드헬드 사용자 인터페이스 디바이스의 일 변형예의 측면도 및 사시도이다. 도 8b 및 도 8bb는 스타일러스 어댑터를 갖는 핸드헬드 사용자 인터페이스 디바이스의 다른 변형예의 측면도 및 사시도이다. 도 8c는 도 8b에 도시된 핸드헬드 사용자 인터페이스 디바이스의 예시적인 도면이다. 도 8d 및 도 8dd는 스타일러스 어댑터를 갖는 핸드헬드 사용자 인터페이스 디바이스의 다른 변형예의 측면도 및 사시도이다.
도 9a 및 도 9b는 디스크 어댑터를 갖는 핸드헬드 사용자 인터페이스 디바이스의 일 변형예의 사시도 및 측면도이다. 도 9c는 도 9a 및 도 9b에 도시된 핸드헬드 사용자 인터페이스 디바이스의 예시적인 도면이다.
도 10a 내지 도 10c는 상이한 크기 및 형상의 예시적인 사용자 인터페이스 디바이스의 예시적인 개략도이다.
도 11a 및 도 11b는 각진(angled) 어댑터를 갖는 핸드헬드 사용자 인터페이스 디바이스의 다른 변형예의 사시도 및 측면도이다.
도 12는 별개의 내부 및 외부 하우징 층들을 갖는 핸드헬드 사용자 인터페이스 디바이스의 다른 변형예의 종단면도이다.
도 13a 내지 도 13d는 도 12에 도시된 핸드헬드 사용자 인터페이스 디바이스의 조립 방법의 단계들을 도시한다.
도 14a 및 도 14b는 각각, 용량성 압착(squeeze) 센서 및 용량성 제스처 추적 센서를 갖는 핸드헬드 사용자 인터페이스 디바이스의 다른 변형예의 측단면도 및 종단면도이다. 도 14c는 도 14a 및 도 14b에 도시된 핸드헬드 사용자 인터페이스 디바이스의 상세 단면도이다. 도 14d는 도 14a 및 도 14b에 도시된 핸드헬드 사용자 인터페이스 디바이스 내의 층들의 예시적인 개략도이다. 도 14e는 전기 접촉 기판이 하우징 내에 배치된 핸드헬드 사용자 인터페이스 디바이스의 종단면도이다.
본 출원은 전체적으로 본 명세서에 참고로 포함되는, 2016년 12월 9일자로 출원된 미국 특허 출원 제62/432,538호의 우선권을 주장한다.
본 발명의 다양한 태양 및 변형의 예가 본 명세서에서 설명되고 첨부 도면에서 예시된다. 하기의 설명은 본 발명을 이들 실시예로 제한하려는 것이 아니라, 오히려 당업자가 본 발명을 제조 및 사용하는 것을 가능하게 하려는 것이다.
도 1a 내지 도 1c에 대체적으로 도시된 바와 같이, 로봇 시스템을 제어하기 위한 핸드헬드 사용자 인터페이스 디바이스(100)는 부재(110), 부재 둘레에 적어도 부분적으로 배치되고 사용자의 손에 보유되도록 구성된 하우징(120), 및 디바이스의 적어도 일부분의 적어도 위치 및/또는 배향을 검출하도록 구성된 추적 센서 시스템(140)을 포함할 수 있다. 디바이스의 검출된 위치 및/또는 배향은 로봇 시스템의 제어와 상관가능할 수 있다. 예를 들어, 사용자 인터페이스 디바이스(100)는 로봇 아암, 로봇 아암의 원위 단부에 결합된 엔드 이펙터 또는 도구(예컨대, 파지기 또는 조오), 그래픽 사용자 인터페이스, 또는 로봇 시스템의 다른 적합한 태양 또는 특징부 중 적어도 일부분을 제어할 수 있다. 추가의 예시적인 상관관계가 아래에서 더 상세히 설명된다.
사용자 인터페이스 디바이스는 상이한 제어 모드들 사이의 토글링(toggling)(예컨대, 로봇 아암을 제어하는 것과 엔드 이펙터를 제어하는 것 사이, 그래픽 사용자 인터페이스와 로봇 아암 또는 엔드 이펙터를 제어하는 것 사이 등의 스위칭)을 가능하게 하기 위한 클러치 메커니즘을 포함할 수 있다. 아래에서 더 상세히 설명되는 다양한 사용자 입력들 중 하나 이상은, 결합될 때 로봇 시스템의 상이한 제어에 대한 사용자 인터페이스 디바이스의 위치 및/또는 배향의 상관관계를 변경하는 클러치(또는 압착, 제스처, 또는 다른 적합한 입력)로서 기능할 수 있다. 예를 들어, 디바이스의 제스처 터치 영역을 터치하는 것, 하우징을 압착하는 것, 디스크 어댑터를 누르거나 기울이는 것 등이 클러치로서 기능할 수 있다.
대체적으로, 로봇 수술 시스템을 제어하기 위한 사용자 인터페이스는 적어도 하나의 핸드헬드 사용자 인터페이스 디바이스(100)를 포함할 수 있거나, 적어도 2개의 핸드헬드 사용자 인터페이스 디바이스(100)(예컨대, 사용자의 왼손에 의해 보유되는 제1 사용자 인터페이스 디바이스, 및 사용자의 오른손에 의해 보유되는 제2 사용자 인터페이스 디바이스), 3개의 핸드헬드 사용자 인터페이스 디바이스(100), 또는 임의의 적합한 수를 포함할 수 있다. 각각의 사용자 인터페이스 디바이스(100)는 로봇 시스템의 상이한 태양 또는 특징부를 제어하도록 구성될 수 있다. 예를 들어, 사용자의 왼손에 보유되는 사용자 인터페이스 디바이스가 사용자에게 제공되는 카메라 뷰의 좌측 상에 표현되는 엔드 이펙터를 제어하도록 구성될 수 있는 한편, 사용자의 오른손에 보유되는 사용자 인터페이스 디바이스는 카메라 뷰의 우측 상에 표현되는 엔드 이펙터를 제어하도록 구성될 수 있다. 사용자 인터페이스 디바이스(100)에 대한 제어 입력은, 예를 들어 진단, 수술, 복강경 또는 최소 침습 외과 시술, 또는 다른 로봇 시술을 제공하는 과정 동안 사용자에 의해 사용자 명령으로서 제공될 수 있다.
일부 변형예에서, 핸드헬드 사용자 인터페이스 디바이스(100)는, 손에 보유되고 자유 공간에서 조작되도록 구성된 무접지 사용자 인터페이스 디바이스일 수 있다. 예를 들어, 사용자 인터페이스 디바이스(100)는 사용자의 손가락들 사이에 보유되도록, 그리고 사용자가 그 또는 그녀의 팔, 손, 및/또는 손가락을 움직일 때 사용자에 의해 거의 자유롭게 이동되도록 (예를 들어, 병진되도록, 회전되도록, 기울어지도록 등이도록) 구성될 수 있다. 추가적으로 또는 대안적으로, 핸드헬드 사용자 인터페이스 디바이스(100)는, 사용자 인터페이스 디바이스(100)가 사용자의 일부분에 (예를 들어, 사용자의 손가락에, 손에, 그리고/또는 팔에) 직접, 또는 장갑, 핸드 스트랩, 슬리브(sleeve) 등과 같은 임의의 적합한 메커니즘을 통해 결합될 수 있다는 점에서, 신체 접지된 사용자 인터페이스 디바이스일 수 있다. 그러한 신체 접지된 사용자 인터페이스 디바이스는 사용자가 자유 공간에서 사용자 인터페이스 디바이스를 조작하는 것을 여전히 가능하게 할 수 있다. 따라서, 사용자 인터페이스 디바이스(100)가 (고정된 콘솔 등에 영구적으로 장착되거나 접지되는 것과는 대조적으로) 무접지이거나 신체 접지된 변형예에서, 사용자 인터페이스 디바이스(100)는 인체공학적일 수 있고, 예를 들어 사용자가 접지된 시스템의 고정된 특성에 의해 방해되지 않는 자연적 신체 움직임에 의해 사용자 인터페이스 디바이스를 제어하는 것을 가능하게 함으로써, 정교한 제어를 제공할 수 있다.
핸드헬드 사용자 인터페이스 디바이스(100)는 도 1a에 도시된 바와 같이 (예를 들어, 와이어(150)가 사용자 인터페이스 디바이스(100)를 외부 제어 시스템에 결합시킨) 유선 연결부를 포함할 수 있다. 와이어는, 예를 들어, 사용자 인터페이스 디바이스(100)에 전력을 제공하여, (예를 들어, 추적 센서 조립체 및/또는 다른 센서, 예컨대, 후술되는 용량성 센서, 광학 센서 등으로부터의) 센서 신호를 전달할 수 있다. 일례에서, 도 2a에 도시된 바와 같이, (예컨대, 추적 센서 시스템에 대한) 유선 연결부는, 유선 연결부가 핸드헬드 사용자 인터페이스(200)의 나머지로부터 결합해제되는 것을 방지하는 것을 돕는 O-링(244), 에폭시 등으로 하우징에 고정될 수 있거나 또는 달리 지지될 수 있다. 다른 예로서, 도 2c에 도시된 바와 같이, (예컨대, 추적 센서 시스템에 대한) 유선 연결부는 추가적으로 또는 대안적으로 사용자 인터페이스 디바이스가 조작될 때 굴곡되어, 와이어가 겪게 되는 변형을 감소시키는 것을 돕는 스트레인 릴리프(243)에 의해 지지될 수 있다. 다른 예로서, 도 2b에 도시된 바와 같이, 유선 연결부는 스트레인 릴리프를 생략할 수 있다. 대안적으로, 사용자 인터페이스 디바이스는 도 1b(및 도 7a 및 도 7b)에 도시된 바와 같이 무선일 수 있고, 무선 통신, 예컨대 무선주파수 신호(예를 들어, 400 내지 500 mm 범위와 같은 WiFi 또는 근거리) 또는 블루투스와 같은 다른 적합한 무선 통신 프로토콜을 통해 명령 및 다른 신호를 통신할 수 있다. 다른 무선 연결은 센서, 예컨대, 아래에서 추가로 설명되는 바와 같이 사용자 인터페이스 디바이스(100) 상의 광학 마커를 검출하도록 구성된 광학 판독기 센서 및/또는 카메라, 적외선 센서, 초음파 센서, 또는 다른 적합한 센서에 의해 가능해 질 수 있다.
하우징
하우징(120)은 사용자의 손에 보유되도록 구성될 수 있고, 대체적으로 사용자와 상호작용할 수 있는 파지 용적부를 제공할 수 있다. 예를 들어, 하우징(120)의 적어도 일부분은 사용자 손의 손가락들 사이에서 파지되거나, 핀칭되거나, 감기거나, 압착되거나, 흔들리거나, 달리 보유 또는 조작되도록 구성될 수 있다.
도 1b에 도시된 바와 같이, 일부 변형예에서, 하우징은 대체적으로 적어도 제1 부분(120a) 및 제2 부분(120b)을 포함할 수 있다. 하우징은 제1 부분(120a)이 근위방향으로 지향되도록 (즉, 제1 부분(120a)이 하우징의 근위 섹션이도록) 그리고 제2 부분(120b)이 원위방향으로 지향되도록 (즉, 제2 부분(120b)이 하우징의 원위 섹션이도록) 사용자의 손에 보유되도록 구성될 수 있지만, 대안적으로 상이한 변형예 및/또는 응용예에서, 제1 부분(120a) 및 제2 부분(120b)은 각각 원위방향 및 근위방향으로, 또는 다른 적합한 방향들로 지향될 수 있다.
도 1a 내지 도 1c에 도시된 바와 같이, 하우징(120)은 대체로 둥글 수 있고, 이때 제1 부분(120a) 및 제2 부분(120b)은 윤곽화되거나 테이퍼져 있다. 예를 들어, 하우징(120)은 대체로 난형 또는 계란형일 수 있다(예를 들어, 제1 부분(120a)은 제2 부분(120b)보다 더 길 수 있고 더 점진적인 윤곽 또는 테이퍼를 가질 수 있다). 하우징(120)은 종축을 중심으로 반경방향으로 대칭인 프로파일을 가질 수 있다. 하우징은 대체적으로 일정 길이(종축을 따라 측정됨) 및 일정 폭(종축에 대해 횡방향으로 측정됨)을 가질 수 있으며, 여기서 길이는 폭보다 길다. 제1 부분(120a) 및 제2 부분(120b)은 상이한 곡률 반경을 가질 수 있다.
일부 변형예에서, 하우징(120)은 적어도 하나의 원주방향 또는 부분적 원주방향 립 또는 상승된 링(125)을 한정할 수 있다. 립(125)은 사용자 인터페이스 디바이스(100)의 표면 상의 사용자 그립의 위치에 대한 촉각적 기준점을 제공할 수 있고, 개선된 그립을 위한 마찰 텍스처(texture) 표면을 제공할 수 있고, 등일 수 있다. 예를 들어, 립(125)이 하우징의 제1 부분(120a)과 제2 부분(120b) 사이에 배치될 수 있지만, 대안적으로 립(125)은 하우징의 임의의 적합한 부분 상에 배치될 수 있다. 일부 변형예에서, 하우징(120)은 추가적으로 또는 대안적으로 다른 텍스처 향상물(예컨대, 패턴을 형성하는 다수의 립 또는 상승된 표면, 하나 이상의 리세스형 홈 등)을 포함할 수 있다.
하우징(120)은 상이한 손의 크기 및/또는 형상에 대해 맞춤화되거나 설계될 수 있다. 예를 들어, 하우징(120)은 일정 범위의 손 크기 및/또는 형상에 적합한 복수의 하우징 크기로부터 선택될 수 있다. 다른 예로서, 하우징(120)은 (예를 들어, 적어도 부분적으로 몰드에 기초하여) 특정 사용자의 손에 대해 맞춤화될 수 있다. 하우징(120)은 둘레(girth), 길이, 및/또는 임의의 적합한 치수 또는 다른 특징부가 가변될 수 있다. 예를 들어, 도 10a에 도시된 사용자 인터페이스 디바이스(1000a)의 하나의 예시적인 변형예에 비해, 도 10b에 도시된 바와 같은 사용자 인터페이스 디바이스(1000b)는 둘레가 더 넓을 수 있고, 도 10c에 도시된 바와 같은 사용자 인터페이스 디바이스(1000c)는 더 길 수 있다. 추가로, 상이한 하우징 부분들(예컨대, 제1 부분(120a) 및 제2 부분(120b))은 개별적으로 또는 함께 가변될 수 있다. 예를 들어, 하우징(120)의 제1 변형예 및 제2 변형예는 이들의 제1 부분(120a)이 동일한 크기 및 형상을 갖는다는 점에서 유사할 수 있지만, 제1 변형예가 더 좁은 제2 부분(120b)을 갖고 제2 변형예가 더 넓은 제2 부분(120b)을 갖는다는 점에서는 상이할 수 있다. 다른 예로서, 하우징(120)의 제3 변형예는, 더 긴 제1 부분(120a) 및 더 넓은 제2 부분(120b)을 포함하는 하우징(120)의 제4 변형예에 비해, 더 짧은 제1 부분(120a) 및 더 좁은 제2 부분(120b)을 포함할 수 있다. 추가로, 하우징의 외부 표면 상의 텍스처 패턴은, 예컨대, 높이 및/또는 두께가 가변될 수 있다. 텍스처 패턴의 형상, 텍스처 패턴의 다른 특별한 형태(예컨대, 식별 코드) 등이, 일부 예에서, 하우징의 크기 및/또는 형상을 나타내는 특정 SKU 또는 부품 번호에 대응할 수 있다.
도 1c에 도시된 바와 같이, 하우징(120)은 내부 벽(122) 및 외부 벽(124)을 포함할 수 있다. 내부 벽(122)은 부재(110)를 수용하도록 구성된 루멘을 한정할 수 있다. 내부 벽(122)과 외부 벽(124)은 하우징(120)이 블래더(bladder)를 포함하도록 내부 벽과 외부 벽 사이에 용적부(126)를 한정하도록 협력할 수 있다.
하우징(120)은 순응성이고 변형가능할 수 있는데, 여기서 하우징의 변형은 로봇 시스템의 제어와 상관가능하다(예컨대, 하우징을 압착하는 것은 조오를 갖는 엔드 이펙터의 핀칭 제어와 상관될 수 있다). 예를 들어, 하우징(120)의 용적부(126)는 유체로 충전될 수 있다. 예를 들어, 용적부(126) 또는 블래더는 가압 가스(예컨대, 공기), 유체(예컨대, 실리콘 오일, 식염수, 물 등), 또는 반유체 물질로 충전될 수 있다. 추가적으로 또는 대안적으로, 하우징(120)은 적어도 부분적으로 실리콘, 라텍스, 또는 다른 적합한 중합체 또는 합금과 같은 가요성 재료로 제조될 수 있다. 하우징 재료는 적합한 의료 등급 재료일 수 있다. 또한, 하우징 재료의 적어도 일부분은 (예를 들어, 오토클레이브(autoclave), 닦아냄(wipe-down) 등에 의해) 멸균가능할 수 있고/있거나, 처분을 가능하게 하기 위해 디바이스의 나머지로부터 제거가능할 수 있다.
일부 변형예에서, 도 1c에 도시된 바와 같이, 내부 벽(122) 및 외부 벽(124)은 동일한 일체로 형성된 하우징(120)의 일부일 수 있지만, 다른 변형예에서 하우징은 내부 벽(122)의 적어도 일부 및 외부 벽(124)의 적어도 일부를 형성하는 다수의 별개로 형성된 부분들을 포함할 수 있다. 예를 들어, 도 12에 도시된 바와 같이, 하우징(1220)의 일 변형예는 내부 벽을 형성하는 내부 하우징 층(1222) 및 외부 벽을 형성하는 외부 하우징 층(1224)을 포함할 수 있다. 하우징은 내부 하우징 층(1222)의 루멘 내에 배치되고 부재(도시되지 않음)를 수용하도록 구성된 라이너(1221)를 추가로 포함할 수 있다. 라이너(1221)는 하우징(1220)에 구조물 지지를 제공하기 위한 강성 또는 반강성 부재(예컨대, 나일론, 폴리카르보네이트, 또는 임의의 적합한 재료로 제조됨)를 포함할 수 있다. 예를 들어, 내부 하우징 층(1222)은 (예컨대, 마찰 끼워맞춤을 통해) 라이너(1221)를 수용하고 그에 결합하는 튜브형 부분(1222t), 및 튜브형 부분(1222t)에 결합된 확개형 부분(1222f)을 포함할 수 있다. 확개형 부분(1222f)은 내부 하우징 층(1222) 및 라이너(1221)가 협력하여 내부 하우징 층(1222)과 라이너(1221) 사이에 용적부를 한정하도록 반경방향 외향으로 넓어지거나 확개될 수 있다. 용적부는 도 1c를 참조하여 전술된 용적부(126)와 유사한 방식으로 기능할 수 있다. 예를 들어, 내부 하우징 층 및 외부 하우징 층은 (예컨대, 후술되는 바와 같이 하나 이상의 용량성 압착 센서로 측정될 때) 내부 하우징 층(1222)의 변형을 가능하게 하기 위해 가요성의 유연한 재료(예컨대, 실리콘)로 제조될 수 있다. 내부 하우징 층(1222)의 변형 및 용적부의 결과적인 변형은 로봇 시스템의 제어와 상관가능할 수 있다. 단지 하나의 내부 하우징 층(1222) 및 하나의 외부 하우징 층(1224)만이 도 12에 도시되어 있지만, 다른 변형예에서, 임의의 적합한 수(예컨대, 3개, 4개 등)의 층들이 하우징(1220) 내에 포함될 수 있다는 것은 이해하여야 한다. 추가로, 임의의 층은 서로 결합된 하나 이상의 부분을 포함할 수 있다(예컨대, 내부 하우징 층(1222)은 확개형 부분(1222f)과 별개로 형성되고 나중에 그에 결합되는 튜브형 부분(1222t)을 포함할 수 있다).
도 12에 도시된 하우징(1220) 및 라이너(1221)의 부분 조립의 예시적인 방법이 일련의 도 13a 내지 도 13d에 도시되어 있다. 도 13a는 라이너(1221)를 도시한다. 도 13b에 도시된 바와 같이, 내부 하우징 층(1222)은 라이너(1221) 위에서 지나가서 라이너(1221)를 도 12에 도시된 튜브형 부분(1222t)의 루멘 내에 수용함으로써 (예컨대, 마찰 끼워맞춤을 통해) 라이너(1221)에 결합될 수 있다. 예를 들어, 내부 하우징 층(1222)은 라이너(1221) 위에서 종방향으로 지나가거나 미끄러질 수 있다. 다른 예로서, 내부 하우징 층(1222)은 내부 하우징 층(1222)이 측방향으로 개방되어 라이너(1221)의 적어도 일부를 둘러싸는 것을 가능하게 하는 종방향 슬릿 또는 다른 개구를 포함할 수 있다. 도 13c에 도시된 바와 같이, 외부 하우징 층(1224)은 내부 하우징 층(1222) 및 라이너(1221) 부조립체를 둘러쌀 수 있다. 마지막으로, 도 13d에 도시된 바와 같이, 칼라(1227)가 외부 하우징 층(1224)을 내부 하우징 층(1222) 및 라이너(1221) 부조립체에 고정시킬 수 있다(예컨대, 외부 하우징 층(1224)이 미끄러지는 것을 방지하는 것을 도울 수 있다). 칼라(1227)는, 예를 들어, 단면이 도 12에 상세히 도시된 바와 같이, 라이너(1221)와 나사식으로 결합할 수 있고 칼라(1227)와 라이너(1221) 사이에서 외부 하우징 층(1224)의 단부를 압축할 수 있다. 대안적으로, 칼라(1227)는 스냅 끼워맞춤 또는 다른 적합한 방식을 통해 외부 하우징 층(1224)을 내부 하우징 층(1222) 및/또는 라이너(1221)에 결합 및 고정시킬 수 있다.
부재
도 1c에 도시된 바와 같이, 사용자 인터페이스 디바이스(100)는 적어도 하나의 부재(110)를 포함할 수 있다. 부재는 대체적으로 원형 단면 형상을 가질 수 있다. 부재(110)는, 부재(110) 상에 또는 내에 배치된 추적 센서 시스템이 회전(예컨대, 롤, 피치, 또는 요)으로 인한 디바이스의 배향 변화들과 병진 또는 변위로 인한 디바이스의 절대 위치 변화들 사이를 더 용이하고 정확하게 구별할 수 있도록, 하우징(120) 내에서 종방향 중심축을 따라 (예컨대, 하우징(120)이 반경방향으로 대칭인 변형예에서 회전축을 따라) 배치될 수 있다. 대안적으로, 다른 변형예에서, 부재(110)는, 회전축으로부터 부재(110)의 임의의 오프셋에 대한 적합한 보상을 갖고서, 하우징(120)의 임의의 적합한 부분에 포함되거나 배치될 수 있다. 부재(110)는 실질적으로 하우징(120)의 길이, 또는 하우징(120)의 길이의 임의의 적합한 부분을 따라 연장될 수 있다.
일부 변형예에서, 부재(110)는 다양한 전자기기 및/또는 다른 구성요소를 수용하도록 구성된 루멘 또는 다른 내부 용적부를 포함할 수 있다. 예를 들어, 내부 용적부는 아래에서 더 상세히 설명되는 하나 이상의 센서를 갖는 적어도 하나의 인쇄 회로 기판(PCB)(160)을 포함할 수 있다. 다른 예로서, 도 2a에 도시된 바와 같이, 사용자 인터페이스 디바이스(110) 내의 PCB 및 다른 전기 구성요소에 전력을 공급하기 위해 내부 용적부 내에 배터리(282)가 배치될 수 있다. 배터리(282)가 모터(280)에 인접하게 도시되어 있지만, 배터리는 대안적으로 하우징 내의 임의의 적합한 위치에 위치될 수 있다. 추가로, 다양한 전자기기 및/또는 다른 구성요소가 부재(110)의 내부 용적부의 외측에 배치될 수 있다. 예를 들어, 도 2a 내지 도 2c를 참조하여 아래에서 추가로 설명되는 바와 같이, 부재(110)의 외부 표면 상에는 하나 이상의 근접 센서(예컨대, 광학 센서)가 배치될 수 있다. 다른 예로서, 도 3a 내지 도 3c를 참조하여 아래에서 추가로 설명되는 바와 같이, 부재(110)의 외부 표면 상에는 하나 이상의 용량성 센서가 배치될 수 있다.
일부 변형예에서, 사용자 인터페이스 디바이스는 적어도 하나의 모터를 포함할 수 있다. 예를 들어, 도 1c에 도시된 바와 같이, 부재(110)의 내부 용적부 내에 적어도 부분적으로 배치되는 부재(110)의 제1 단부 상에는 모터(180)가 배치될 수 있다. 유사하게, 도 2a에 도시된 바와 같이, 부재(210)의 제1 단부 상에는 모터(280)가 배치될 수 있다. 그러나, 모터는 부재(110) 내의 또는 그 둘레의 임의의 적합한 위치에 위치될 수 있다. 모터(180)는 회전 모터, 선형 운동 모터, 또는 다른 적합한 진동 또는 다른 촉각 피드백 모터를 포함할 수 있다. 모터(180)는 촉각 피드백의 형태로 햅틱 피드백을 사용자에게 제공하도록 제어될 수 있다. 예를 들어, 제어기는 사용자에게 트리거 이벤트의 발생을 통신하기 위해 그러한 이벤트에 응답하여 모터(180)를 작동시킬 수 있다. 상이한 패턴(예컨대, 듀티 사이클, 불규칙한 온-오프 사이클의 패턴, 속도 등)이 상이한 이벤트를 사용자에게 나타낼 수 있다. 사용자에게 햅틱 피드백을 트리거하는 이벤트의 예에는 엔드 이펙터의 작동(예컨대, 소작 도구의 발화), (예컨대, 전력 손실, 추적가능 작업공간 외측으로의 사용자 인터페이스 디바이스의 이동 등으로 인한) 사용자 인터페이스 디바이스와의 통신의 손실, 교정된 또는 기지의 기준 프레임에 대한 사용자 인터페이스 디바이스의 오정렬, 로봇 시스템의 구성요소들 사이의 (예컨대, 로봇 아암들 사이의) 잠재적 충돌의 검출 등이 포함된다.
추가로, 오디오(사용자 인터페이스 디바이스 또는 사용자 콘솔의 다른 태양들로부터 방출되는 가청음, 경고 등) 및/또는 시각정보(예컨대, LED 또는 다른 디스플레이를 통해 사용자 인터페이스 디바이스로부터 방출된 광)와 같은 다른 피드백 큐(cue)가 추가적으로 또는 대안적으로 특정 이벤트들에 관한 정보를 사용자에게 통신하는 데 사용될 수 있다. 예를 들어, 사용자 인터페이스 디바이스는 상이한 오류 코드 또는 다른 정보를 나타내기 위해 상이한 타이밍 또는 공간 패턴들을 단독으로 또는 조합하여 조명하는 (예를 들어, RGB, 백색, 다른 적합한 색상 등의) 하나 이상의 LED를 포함할 수 있다.
일부 변형예에서, 별개의 부재(110)가 사용자 인터페이스 디바이스로부터 생략될 수 있다. 이러한 변형예에서, 부재(110)에 포함되는 것으로 본 명세서에서 설명된 추적 센서 시스템, 모터, 센서 전자기기 등은 대안적으로 하우징의 라이너 부재(예컨대, 도 12에 도시된 바와 같은 라이너(1221)) 부분에 포함될 수 있다.
추적 센서 시스템
도 2a에 도시된 바와 같이, 사용자 인터페이스 디바이스는 자유 공간 내의 사용자 인터페이스 디바이스의 위치 및/또는 배향을 검출하도록 구성된 추적 센서 시스템(240)을 포함할 수 있다. 예를 들어, 추적 센서 시스템(240)은, 사용자 인터페이스 디바이스의 물리적 변위(예컨대, XYZ 공간 또는 다른 적합한 좌표계), 롤, 피치, 및 요를 포함한 최대 6개의 자유도를 측정할 수 있는 자기 추적 프로브(242)를 포함할 수 있다. 적합한 자기 추적 프로브 또는 다른 센서가 당업자에게 공지되어 있다. 추적 프로브(242)는 도 2a에 도시된 바와 같이 부재(210) 내에, 예를 들어 부재(210)의 내부 용적부 내에, 또는 사용자 인터페이스 디바이스의 부재 또는 하우징 상의 임의의 적합한 위치에 배치될 수 있다.
추적 센서 시스템(240)은 추가적으로 또는 대안적으로 사용자 인터페이스 디바이스의 위치 및/또는 배향을 추적하기 위한 다른 유형의 센서를 포함할 수 있다. 예를 들어, 추적 센서 시스템(240)은 하나 이상의 자이로스코프, 하나 이상의 가속도계, 및/또는 하나 이상의 자력계를 포함할 수 있다. 일부 또는 모든 그러한 센서는 관성 측정 유닛(IMU)의 일부일 수 있다. 이들 및 다른 적합한 센서는 도 2a에 도시된 바와 같이 부재(210) 내의 PCB(260) 상에, 또는 사용자 인터페이스 디바이스의 부재 또는 하우징 상의 임의의 적합한 위치에 배치될 수 있다. 자기 추적 프로브(242)와 같은 다수의 센서로부터의 그리고 IMU로부터의 판독치가 사용자 인터페이스 디바이스의 위치 및/또는 배향의 추적을 개선하는 데 사용될 수 있다. 예를 들어, 추적 프로브(242) 및 IMU로부터의 센서 판독치는 리던던시(redundancy) 목적을 위해 사용되어, 서로를 보강할 수 있고/있거나 어느 하나가 (예컨대, 후술되는 바와 같이, 신호 간섭으로 인해) 고장을 겪거나 또는 달리 신뢰할 수 없는 경우에 백업 추적 기능을 제공할 수 있다. 다른 예로서, 추적 프로브(242) 및/또는 IMU로부터의 센서 판독치들은 조합되어 (예컨대, 평균되어) 센서들로부터의 신호 판독치들의 전체 품질을 개선할 수 있다.
도 2a에 도시된 바와 같이, 일부 변형예에서, 사용자 인터페이스 디바이스는, 추적 센서 시스템(240)의 적어도 일부분(예컨대, 자기 추적 프로브(242))과의 간섭을 야기할 수 있고 사용자 인터페이스 디바이스의 위치 및/또는 배향의 정확하지 않은 결정을 초래할 수 있는 모터(280)와 같은 전기 구성요소를 포함할 수 있다. 그러한 변형예에서, 사용자 인터페이스 디바이스는 다양한 방식으로 간섭을 처리할 수 있다. 예를 들어, 추적 프로브(242)로부터의 센서 판독치는 모터(280) 및/또는 임의의 다른 구성요소의 작동에 의해 야기되는 간섭에 의해 잠재적으로 악영향을 받는 신호를 무시하기 위해 모터(280)가 작동된 후의 미리결정된 시간 윈도우 동안 무시될 수 있다. 이러한 시간 윈도우 동안, 간섭에 의해 영향을 받지 않는 하나 이상의 다른 센서로부터의 (예컨대, 가속도계, 자이로스코프, 자력계 등으로부터의) 측정치가 사용자 인터페이스 디바이스의 위치 및/또는 배향을 추적하기 위해 대신 사용될 수 있다. 다른 예로서, 신호 간섭을 보상하기 위해, 모터(280) 또는 다른 구성요소의 작동에 의해 야기되는 간섭의 미리결정된 모델에 기초하여, 적합한 오프셋 및/또는 인자가 센서 판독치에 적용될 수 있다.
다른 센서
일부 변형예에서, 사용자 인터페이스 디바이스는 다양한 종류의 사용자 제어 입력 및/또는 다른 상태를 검출하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 하나 이상의 센서는 사용자 인터페이스 디바이스의 파지 또는 압착, 제스처(예컨대, 스와이핑), 사용자로부터의 연결해제(예컨대, 사용자 인터페이스 디바이스의 떨어뜨림) 등을 검출하도록 구성될 수 있는데, 이는 로봇 아암, 엔드 이펙터, 그래픽 사용자 인터페이스의 내비게이션 등과 같은 로봇 시스템의 제어와 상관가능할 수 있다.
압착 센서
굴곡성 아암을 갖는 근접 센서
일 변형예에서, 도 2a 내지 도 2c에 도시된 바와 같이, 사용자 인터페이스 디바이스(200)는 하우징의 변형을 검출하도록 구성된 근접 센서(270) 형태의 적어도 하나의 그립 또는 압착 센서를 포함할 수 있는데, 여기서 하우징의 검출된 변형은 로봇 시스템의 제어와 상관가능할 수 있다. 도 2a에 도시된 바와 같이, 근접 센서(270)는 부재(210) 내에 배치되고 하우징(220)의 변형에 응답하여 굴곡되도록 구성되는 가요성 부재 또는 아암(272)과 함께 사용될 수 있다. 아암(272)은 제1 단부(272a)(예컨대, 근위 단부) 및 제2 단부(272b)(예컨대, 원위 단부)를 가질 수 있다. 제1 단부(272a)는, 예컨대, 기계적 간섭, 에폭시, 또는 다른 적합한 부착 방법에 의해 부재(210)에 고정될 수 있다. 제2 단부(272b) 및 제2 단부(272b) 상에 배치된 블록(274)은 아암(272)의 편향에 의해 제1 단부(272a)에 대해 자유롭게 이동할 수 있다.
사용자가 하우징(220)을 파지하거나 압착할 때, 증가된 압력은 하우징의 내부 벽(222)이 변형되게 한다. 하우징의 내부 벽(222)의 변형 시, 내부 벽(222)은 블록(274)을 변위시키고 아암(272)이 편향되게 한다. 블록(274) 반대편의 PCB(260) 상에 배치될 수 있는 근접 센서(270)는 블록(272)에 대한 근접도(또는 거리의 변화)를 측정함으로써 하우징의 변형을 검출하도록 구성될 수 있다. 아암(272)의 굴곡 정도와 관련되는 하우징의 이러한 변형은 엔드 이펙터의 작동(예컨대, 조오의 개방 또는 폐쇄) 또는 로봇 시스템의 다른 적합한 제어(예컨대, 그래픽 사용자 인터페이스 상의 요소의 선택)와 상관가능할 수 있다.
하우징의 변형과 근접 센서 측정치 사이의 관계는 하나 이상의 다양한 방식으로 아암(272)의 편향을 튜닝함으로써 교정될 수 있다. 예를 들어, 아암(272)의 편향이 아암(272)의 재료 유형(예컨대, 강, 알루미늄), 길이, 두께, 단면 형상, 및/또는 다른 특징부를 선택함으로써 튜닝될 수 있다. 다른 예로서, 튜닝된 스프링이 아암의 굴곡에 저항하도록 아암에 (예를 들어, 근위 단부(272a)에) 결합될 수 있다. 또 다른 예로서, 일부 변형예에서, 도 2b 및 도 2c에 도시된 바와 같이, 하우징의 내부 벽(222)은 사용자가 하우징을 압착하는 것에 응답하여 더 얇은 부분(223)이 더 용이하게 변형되도록 (그리고 더 큰 편향을 야기하도록) 블록(274)과 정렬된 더 얇은 부분(223)을 포함할 수 있다. 유사하게, 내부 벽(222)의 부분(223)은 사용자가 하우징을 압착하는 것에 응답하여 더 두꺼운 부분이 덜 용이하게 변형되도록 (그리고 적은 편향을 야기하도록) 더 두껍게 될 수 있다. 또 다른 예로서, 블래더 또는 내부 용적부(226) 내의 압력의 크기는 사용자가 하우징을 압착하는 것에 응답하여 하우징의 변형량을 변화시키도록 증가 또는 감소될 수 있다.
하나의 아암(272) 및 근접 센서(272) 배열만이 도 2a 내지 도 2c에 도시되어 있지만, 다수의 아암(272)들 및 근접 센서(272)들이 사용자 인터페이스 디바이스에 포함될 수 있다는 것은 이해하여야 한다. 예를 들어, 2개, 3개, 또는 임의의 적합한 수의 아암 및 센서 배열들이 부재(210) 둘레에 분포될 수 있다. 아암 및 센서 배열들은 부재(210) 둘레에 원주방향으로 그리고/또는 임의의 적합한 패턴으로 부재(210)를 따라 종방향으로 균등하게 또는 불균등하게 분포될 수 있다. 다수의 아암 및 센서 배열들의 포함은, 예를 들어, (예컨대, 하우징의 근위 단부의 압착과 하우징의 원위 단부의 압착 사이를 구별하기 위해) 파지 또는 압착의 위치를 검출하는 데 더 높은 해상도를 제공할 수 있다.
추가적으로 또는 대안적으로, 근접 센서(270)는, 예를 들어 사용자가 하우징을 압착하는 것에 응답하여 하우징의 내부 벽(222)(또는 내부 벽(222)에 결합된 다른 요소)에 대한 근접도(또는 거리의 변화)를 검출함으로써, 하우징(210)의 변형을 직접 측정하는 데 사용될 수 있다.
근접 센서(270)는 하우징의 아암(272), 블록(271), 및/또는 내부 벽(222)에 대한 근접도 또는 거리의 변화를 검출하기 위해 임의의 적합한 유형의 근접 센서를 포함할 수 있다. 예를 들어, 근접 센서(270)는 복귀된 전자기 방사선(예컨대, 적외선)을 방출하고/하거나 검출하는 광학 센서를 포함할 수 있다. 다른 예에서, 근접 센서(270)는 용량성 센서, 초음파 센서, 자기 센서, 유도성 센서, 또는 다른 적합한 종류의 근접 센서를 포함할 수 있다.
용량성 센서
일부 변형예에서, 사용자 인터페이스 디바이스는 하나 이상의 용량성 센서를 포함하는 적어도 하나의 압착 센서를 포함할 수 있다. 예를 들어, 도 3a 내지 도 3c에 도시된 바와 같은 일 변형예에서, 사용자 인터페이스 디바이스(300)는 하우징을 보유하는 사용자의 손과 하우징 사이의 상호작용을 검출하도록 구성된 용량성 센서(370)를 포함하는 적어도 하나의 압착 센서를 포함할 수 있다. 예를 들어, 용량성 센서(370)는, 부재(310)의 외부 표면 상에 배치되고 하우징을 보유하는 (전도성 표면으로서) 사용자의 손과 부재(310) 사이의 근접도(또는 거리의 변화)를 측정함으로써 하우징의 손 기반 압착을 검출하도록 구성된 센서 패드(372)를 포함할 수 있다. 대안적으로, 센서 패드(372)는 하우징(310)의 내부 벽, 또는 사용자 인터페이스 디바이스 내의 다른 적합한 고정된 기준점 상에 배치될 수 있다.
도 3b에 도시된 바와 같이, 센서 패드(372)는 부재(310)의 외부 표면 둘레를 둘러쌀 수 있고, 부재(310) 내에 배치된 PCB(360)에 결합하도록 부재(310) 내의 슬롯을 통과하는 말단 단부를 가질 수 있다. 도 4a 및 도 4b는 도 3a 내지 도 3c에 도시된 센서 패드(372)와 유사한 용량성 센서 패드(520)의 예를 도시한다. 용량성 센서 패드(520)는, 예를 들어 하나 이상의 이산된 전도성 영역(522)을 갖는 플렉스 회로를 포함할 수 있다. 전도성 영역(522)은 용량성 센서 패드(520)가 도 4c에 도시된 바와 같이 부재(510) 둘레에서 둘러싸이는 경우에 전도성 영역(522)이 부재(510) 둘레에 링으로서 원주방향으로 배열되도록 용량성 센서 패드(570)의 폭을 따라 배열될 수 있다.
도 4a 및 도 4b에 도시된 용량성 센서 패드(520)의 예에서, 용량성 센서 패드(520)는 6개의 이산된 영역(522)을 포함할 수 있다. 그러나, 용량성 센서 패드(520)가 6개 미만의 영역(예컨대, 2개, 3개, 4개, 또는 5개) 또는 6개 초과의 영역(예컨대, 7개, 8개, 9개, 10개 등)을 포함할 수 있다는 것은 이해하여야 한다. 추가로, 용량성 센서 패드(520)와 사용자의 손 사이의 근접도에 기초하여 하우징의 압착을 검출하기 위해, 용량성 센서 패드(520)가 부재(510) 둘레에서 완전히 또는 부분적으로 원주방향으로 연장되는 (예컨대, 사용자가 하우징을 파지할 가능성이 있는 아래에 놓인 적합한 세트의 위치들로 연장되는) 단지 하나의 영역(522)만을 포함하는 것은 충분할 수 있다.
영역(522)들은 임의의 적합한 형상 및 배열을 가질 수 있다. 예를 들어, 도 4a에 도시된 바와 같이, 영역(522)들의 형상은 대체적으로 손가락 끝의 각인 윤곽(imprint outline) 또는 패턴에 근사하게 할 수 있다. 다른 예로서, 도 4b에 도시된 바와 같이, 영역(522)들의 형상은 갈매기형(chevron) 패턴을 가질 수 있다. 그러나, 영역(522)들 중 일부 또는 전부는 직사각형, 원형, 평행사변형, 만곡형, 또는 다른 적합한 형상일 수 있다. 추가로, 영역(522)이 단선형(unilinear) 어레이로서 도 4a 및 도 4b에 도시되어 있지만, 다른 예에서, 영역(522)은 임의의 적합한 크기의 임의의 다른 적합한 직선형 어레이, 또는 임의의 다른 적합한 패턴 또는 배열로 배열될 수 있다.
일부 변형예에서, 용량성 센서(370)를 갖는 사용자 인터페이스 디바이스(300)는 특정 사용자에 대한 용량성 감지를 교정하기 위해 교정 루틴을 포함할 수 있다. 상이한 사용자가 상이한 크기의 손을 가질 수 있어서, 하우징과 접촉하는 피부 표면적의 상이한 기준선 수준을 야기할 수 있다. 결과적으로, 상이한 사용자가 용량성 센서 패드(370)로부터 동일한 신호 수준을 생성하기 위해 상이한 크기의 힘 및/또는 변형/변위를 인가할 필요가 있을 수 있다. 교정 없이, 상이한 사용자가 동일한 효과 또는 제어 입력을 생성하기 위해 상이한 크기의 힘을 인가할 필요가 있을 수 있다. 교정 루틴의 일례는 사용자가 미리결정된 기준 크기의 힘으로 하우징을 압착하는 경우에 생성되는 신호 수준을 기록하는 것, 및 힘과 생성된 신호 수준 사이의 관계를 사용하여 그러한 특정 사용자에 대한 (예컨대, 엔드 이펙터를 작동시키기 위한) 제어 입력으로 신호 수준을 맵핑하는 것을 포함할 수 있다. 그러나, 개별 사용자들 간의 차이를 보상하기 위한 다른 적합한 교정 루틴이 추가적으로 또는 대안적으로 사용될 수 있다.
일부 변형예에서, 용량성 센서(370) 사이의 커패시턴스의 변화는 다수의 미리결정된 임계치와 비교될 수 있다. 예를 들어, 커패시턴스의 변화가 낮은 제1 임계치를 초과하는 경우, 이는 사용자가 하우징을 가볍게 압착한 것을 나타낼 수 있고, 이러한 가벼운 압착 동작은 로봇 수술 시스템에 대한 제1 사용자 명령과 상관될 수 있다. 다른 예로서, 커패시턴스의 변화가 높은 제2 임계치를 초과하는 경우, 이는 사용자가 하우징을 더 강하게 압착한 것을 나타낼 수 있고, 이러한 더 강한 압착 동작은 로봇 수술 시스템에 대한 제2 사용자 명령과 상관될 수 있다.
측정된 커패시턴스 변화들 사이의 타이밍 및/또는 측정된 커패시턴스 변화들의 지속기간은 추가적으로 그리고/또는 대안적으로 특정 사용자 명령들의 시퀀스와 상관될 수 있다. 예를 들어, 2개의 (또는 그 이상의) 연속적인 검출된 압착은 특정 사용자 명령에 대한 "더블 클릭" 동작과 유사하게 해석될 수 있다. 다른 예로서, 리드미컬한 연속적인 검출된 압착(예컨대, 길고, 짧고, 긴)은 다른 사용자 명령으로서 해석될 수 있다.
다른 예시적인 변형예에서, 도 14a 내지 도 14c에 도시된 바와 같이, 사용자 인터페이스 디바이스(1400)는 사용자의 손이 하우징과 상호작용하는 결과로서 하우징(1420)의 2개의 층상 부분들 사이의 상호작용을 검출하도록 구성된 용량성 센서(1430)를 포함하는 적어도 하나의 압착 센서를 포함할 수 있다. 도 12에 도시된 하우징(1220)과 유사하게, 하우징(1420)은 내부 하우징 층(1422) 및 외부 하우징 층(1424)을 포함할 수 있다. 내부 하우징 층(1422)은 라이너(1421)(또는 대안적으로, 도 1c를 참조하여 전술된 부재(110)와 유사한 부재) 위에 배치될 수 있고, 라이너(1421)(또는 다른 부재)와 협력하여 라이너(1421)의 외부 표면과 내부 하우징 층(1422)의 내부 표면 사이에 변형가능 용적부를 형성할 수 있다. 용량성 센서(1430)는 용량성 센서(1430)가 제1 전도성 표면과 제2 전도성 표면 사이의 근접도를 측정함으로써 하우징의 압착을 검출하도록 구성될 수 있도록 제1 전도성 표면(또는 전극) 및 제2 전도성 표면(또는 전극)을 포함할 수 있다. 예를 들어, 도 14c에 도시된 바와 같이, 용량성 센서(1430)는 라이너(1421)의 표면 상에 배치된 제1 전도성 표면(1432)(예컨대, 전극) 및 내부 하우징 층(1422) 상에 배치된 제2 전도성 표면(1434)(예컨대, 전극)을, 제1 전도성 표면(1432)과 제2 전도성 표면(1434)이 서로를 향하도록, 포함할 수 있다. 제1 전도성 표면(1432)이 접지 전극일 수 있고 제2 전도성 표면(1434)이 용량성 신호를 제공하기 위한 활성 "그리퍼(gripper)" 전극일 수 있거나, 또는 그 반대일 수 있다. 라이너(1421)와 내부 하우징 층(1422) 사이의 거리는 제1 전도성 표면(1432)과 제2 전도성 표면(1434) 사이의 커패시턴스에 기초하여 측정될 수 있다. 대체적으로, 하우징(1420)이 (예컨대, 사용자 인터페이스 디바이스(1400)를 보유하는 사용자의 손에 의해) 압착되는 경우, 내부 하우징 층(1422)은 라이너(1421)를 향해 압축될 수 있어서, 그에 의해 제1 전도성 표면(1432) 및 제2 전도성 표면(1434)을 서로를 향해 이동시킬 수 있다. 제1 전도성 표면(1432)과 제2 전도성 표면(1434) 사이의 측정된 거리는 하우징(1420) 상에 사용자에 의해 부여되는 압착의 크기에 비례할 수 있다. 따라서, 하우징(1420)을 압착하는 사용자의 동작은 제1 전도성 표면(1432)과 제2 전도성 표면(1434) 사이에서 측정되는 커패시턴스의 변화를 야기할 수 있다. 커패시턴스의 변화가 미리결정된 임계치를 초과하는 경우, 커패시턴스의 이러한 변화는 사용자가 하우징을 압착한 것을 나타낼 수 있고, 이러한 동작은 로봇 수술 시스템에 대한 특정 사용자 명령과 상관될 수 있다.
용량성 센서(370)에 대해 전술된 것과 유사하게, 일부 변형예에서, 제1 전도성 표면(1432)과 제2 전도성 표면(1434) 사이의 커패시턴스의 변화는 다수의 미리결정된 임계치와 비교될 수 있다. 측정된 커패시턴스 변화들 사이의 타이밍 및/또는 측정된 커패시턴스 변화들의 지속기간은 추가적으로 그리고/또는 대안적으로 특정 사용자 명령들의 시퀀스와 상관될 수 있다.
일부 변형예에서, 제1 전도성 표면(1432)은 전도성 패드, 전도성 테이프, 전도성 천, 또는 구리, 은, 세라믹, 또는 다른 적합한 전도성 재료를 포함하는 다른 적합한 표면을 포함할 수 있다. 제1 전도성 표면(1432)은 라이너(1421)(또는 전술된 부재(110)와 유사한 것과 같은 다른 부재)의 원주의 적어도 일부 둘레에서 둘러싸일 수 있다. 제1 전도성 표면(1432)은, 일부 변형예에서, 제2 전도성 표면(1434)을 향하는 단일 전도성 영역을 포함할 수 있다. 단일 전도성 영역은, 예를 들어, 사용자가 엄지손가락과 두 손가락 사이에서 하우징(1420)을 압착하는 경우 통상 굴곡되는 하우징(1420)의 일부분의 반대편인 부재(1410)의 영역 상에 위치될 수 있다. 예를 들어, 단일 전도성 영역과 제2 전도성 표면(1434) 사이의 커패시턴스의 변화는 압착 사용자 명령과 상관될 수 있다. 다른 변형예에서, 제1 전도성 표면(1432)은 부재(1410) 둘레에 원주방향으로 그리고/또는 부재(1410)를 따라 축방향으로 배열된 다수의 이산된 전도성 영역을 포함할 수 있다. 다수의 전도성 영역은, 예를 들어, 상이한 제스처와 상관될 수 있는 커패시턴스 값의 공간 해상도를 제공할 수 있다. 예를 들어, (예컨대, 사용자가 제1 전도성 영역 위에 놓인 하우징의 부분을 압착한 결과로서) (예컨대, 부재(1410)의 원위 단부를 향하는) 제1 전도성 표면(1432)의 제1 전도성 영역과 제2 전도성 표면(1434) 사이에서 측정된 커패시턴스의 변화는 제1 사용자 명령과 상관될 수 있다. 유사하게, (예컨대, 사용자가 제2 전도성 영역 위에 놓인 하우징의 부분을 압착한 결과로서) (예컨대, 부재(1410)의 근위 단부를 향하는) 제1 전도성 표면(1432)의 제2 전도성 영역과 제2 전도성 표면(1434) 사이에서 측정된 커패시턴스의 변화는 제2 사용자 명령과 상관될 수 있다. 추가로, 일부 변형예에서, 커패시턴스 변화가 있는 위치는 전술된 커패시턴스 변화의 타이밍 및/또는 지속기간과 조합하여 분석될 수 있어서, 하우징의 상이한 종류의 압착이 상이한 사용자 명령과 상관될 수 있게 할 수 있다.
제1 전도성 표면(1432)과 유사하게, 제2 전도성 표면(1434)은 전도성 패드, 전도성 테이프, 전도성 천, 또는 구리, 은, 세라믹, 또는 다른 적합한 전도성 재료를 포함하는 다른 적합한 표면을 포함할 수 있다. 일부 변형예에서, 제2 전도성 표면(1434)은 가요성이고 유연할 수 있어서, 제2 전도성 표면(1434)이 도 14c에 도시된 바와 같이 내부 하우징 층(1422)에 결합되는 경우, 하우징이 압착될 때 제2 전도성 표면(1434)이 내부 하우징 층(1422)과 함께 이동할 수 있게 할 수 있다. 예를 들어, 제2 전도성 표면은 내부 하우징 층(1422)에 (예컨대, 접착제 배킹(backing)을 통해) 결합되는 전도성 은 코팅 천을 포함할 수 있다. 제2 전도성 표면(1434)은 제1 전도성 표면(1432)을 향하는 내부 하우징 층(1422)의 내부 표면의 적어도 일부를 따라 배치될 수 있다. 제1 전도성 표면(1432)과 유사하게, 제2 전도성 표면(1434)은 제2 전도성 표면(1434)을 향하는 단일 전도성 영역(예컨대, 내부 하우징 층(1422) 둘레에 배치된 내부 링)을 포함할 수 있다. 단일 전도성 영역은, 예를 들어, 사용자가 엄지손가락과 두 손가락 사이에서 하우징(1420)을 압착하는 경우 통상 굴곡되는 하우징(1420)의 영역 내에 위치될 수 있다. 예를 들어, 단일 전도성 영역과 제1 전도성 표면(1434) 사이의 커패시턴스의 변화는 압착 사용자 명령과 상관될 수 있다. 다른 변형예에서, 제2 전도성 표면(1434)은 내부 하우징 층(1422) 둘레에 원주방향으로 그리고/또는 내부 하우징 층(1422)을 따라 종방향으로 배열되는 다수의 이산된 전도성 영역을 포함할 수 있다. 다수의 전도성 영역은, 예를 들어, 제1 전도성 표면(1432) 내의 다수의 전도성 영역에 대해 전술된 것과 유사하게, 상이한 제스처와 상관될 수 있는 커패시턴스 값의 공간 해상도를 제공하는 전도성 영역일 수 있다.
제스처 검출 센서
일부 변형예에서, 사용자 인터페이스 디바이스는 하우징을 보유하는 사용자의 손과 하우징 사이의 상호작용을 검출하도록 구성된 용량성 센서 형태의 하나 이상의 제스처 검출 센서를 포함할 수 있다. 예를 들어, 스와이핑, 탭핑(tapping), 탭핑-앤드-홀딩(holding), 더블 클릭(double click) 등과 같은 제스처를 검출하는 데 용량성 센서가 사용될 수 있다. 제스처는, 예를 들어, (예컨대, 상이한 스크린을 탐색하는, 아이템의 선택 또는 확인을 나타내는 등) 그래픽 사용자 인터페이스를 내비게이팅하는 데 사용될 수 있다. 추가적으로 또는 대안적으로, 제스처는, 예컨대 로봇 시스템의 제어의 상이한 태양들 사이를 토글링하기 위해 (예컨대, 로봇 아암의 제어와 엔드 이펙터의 제어 사이를 구별하는 것, 또는 그래픽 사용자 인터페이스와 엔드 이펙터의 제어 사이를 구분하는 것 등을 위해), 손가락 클러치로서 사용될 수 있다.
예를 들어, 도 3a 내지 도 3c에 도시된 바와 같이, 하우징의 압착을 검출하는 것과 관련하여 전술된 용량성 센서(370)는 추가적으로 또는 대안적으로 제스처를 검출하는 데 사용될 수 있다. 이와 같이, 도 4a 및 도 4b를 참조하여 전술된 바와 같이, 하나 이상의 이산된 전도성 영역(522)을 갖는 용량성 센서(520)는 상이한 영역 위의 제스처의 검출을 가능하게 하기 위해 용량성 감지에 공간 해상도를 제공하도록 구성될 수 있다. 예를 들어, 도 5에 도시된 전형적인 예시적인 그립으로 도시된 바와 같이, 하우징은 전도성 영역(522)이 아래에 놓이는 적어도 하나의 제스처 터치 영역(422)(파선으로 된 경계선에 의해 표시됨)을 포함할 수 있다. 이러한 예에서, 사용자의 집게손가락은 제스처 터치 영역(422)의 표면 위에서 터치 및 제스처를 할 수 있고, 제스처 터치 영역(422) 아래의 부재 상의 전도성 영역(522)은 사용자의 집게손가락에 의한 접촉을 검출할 수 있다. 알고리즘은 (예컨대, 접촉 횟수, 접촉 위치, 접촉 타이밍 등에 기초한) 전도성 영역(522)으로부터의 신호를 상이한 제스처로서 해석할 수 있다. 탭-앤드-홀드 제스처는, 일부 변형예에서, 손가락 클러치 메커니즘으로서 해석될 수 있다. 추가적으로 또는 대안적으로, 용량성 센서(520)의 다른 부분들은 다른 제스처 검출 영역들을 제공하기 위해 이산된 전도성 영역들을 포함할 수 있다.
일부 변형예에서, 도 14c 및 도 14d에 도시된 바와 같이, 사용자 인터페이스 디바이스는 (예컨대, 전술된 용량성 센서(1430)와 유사한) 압착을 검출하기 위한 그리고 제스처를 검출하기 위한 별개의 용량성 센서를 포함할 수 있다. 예를 들어, 하우징의 압착을 검출하기 위한 전술된 제1 전도성 표면(1432) 및 제2 전도성 표면(1434)(예컨대, 접지 전극 및 그리퍼 전극)에 더하여, 사용자 인터페이스 디바이스는 하우징(1420)의 표면 상에서 사용자에 의해 이루어지는 제스처를 검출하도록 구성된 제스처 추적 센서(1450)에 제3 전도성 표면(1452)(예컨대, "터치" 전극)을 추가로 포함할 수 있다.
도 14d는 용량성 압착 센서(1430) 및 용량성 제스처 추적 센서(1450) 둘 모두를 포함하는 예시적인 하우징의 일부분의 상세한 개략도이다. 압착 센서(1430)는, 전술된 바와 같이, 라이너(1421)에 결합된 제1 전도성 표면(1432)(예컨대, 접지 전극), 및 내부 하우징 층(1422)의 내부 표면에 결합된 제2 전도성 표면(1434)(예컨대, 그리퍼 전극)을 포함할 수 있다. 수직 화살표에 의해 표현되는 바와 같이 사용자의 손이 하우징을 압착하는 경우, 사용자의 손가락(F)은 라이너(1421)를 향해 내부 하우징 층(1422)(및 하우징의 다른 부분)을 압축하여, 그에 의해 전술된 바와 같이 제1 전도성 표면(1432)과 제2 전도성 표면(1434) 사이의 거리를 변화시킬 수 있다. 더욱이, 용량성 제스처 추적 센서(1450)는 내부 하우징 층(1422)과 외부 하우징 층(1424) 사이에 배치된 제3 전도성 표면(1452)을 포함할 수 있다. 제3 전도성 표면(1452)(예컨대, 터치 전극)은 사용자의 손에 의한 하우징과의 접촉의 횟수, 위치, 타이밍 등에 기초하여 커패시턴스를 검출하기 위한, 전술된 용량성 센서(370)와 유사한 하나 이상의 이산된 전도성 영역을 포함할 수 있다. 사용자의 손이 수평 화살표에 의해 표현되는 바와 같이 제스처를 수행하는 경우, 사용자의 손가락(F)은 외부 하우징 층(1424)의 표면을 가로질러 이동할 수 있고, 제3 전도성 표면(1452) 상의 이산된 전도성 영역들 중 하나 이상에 의해 측정되는 커패시턴스의 변화를 야기할 수 있다. 따라서, 그러한 변화는, 전술된 바와 같이, 해석될 수 있고 하나 이상의 다양한 사용자 명령과 상관될 수 있다.
하우징은 내부 하우징 층(1422)의 외부 표면 상에 배치되는 적어도 하나의 차폐 층(1442)을 추가로 포함할 수 있다. 차폐 층은 압착 센서(1430)의 전도성 표면(1432, 1434)으로부터의 전자기 간섭에 대항하여 제스처 추적 센서(1450)의 전도성 표면(1452)을 보호할 수 있다. 차폐 층(1442)은 제2 전도성 표면(1434)과 제3 전도성 표면(1452) 사이에 배치될 수 있다(예컨대, 내부 하우징 층(1422)에 결합될 수 있다). 추가적으로 또는 대안적으로, 하우징은 압착 센서(1430)의 전도성 표면(1432, 1434)으로부터 전도성 또는 전기 신호에 대항하여 제스처 추적 센서(1450)의 전도성 표면(1452)을 보호하기 위한 적어도 하나의 절연 층(1444)을 추가로 포함할 수 있다. 절연 층(1444)은 제2 전도성 표면(1434)과 제3 전도성 표면(1452) 사이에 배치될 수 있다(예컨대, 차폐 층(1442)에 결합될 수 있다). 절연 층(1444)은, 예를 들어, 발포체, 플라스틱, 또는 전도성이 낮은 임의의 적합한 재료를 포함할 수 있다. 일부 변형예에서, 하우징은 하나의 복합 층으로 조합된 절연 재료 및 차폐 재료를 포함할 수 있다. 추가로, 차폐 층 및 절연 층이 제2 전도성 표면(1434)과 제3 전도성 표면(1452) 사이에 특정 순서로 도시되어 있지만, 그들의 층상 배열은 도 14d에 도시된 것의 반대일 수 있다는 것은 이해하여야 한다.
대안적으로, 사용자 인터페이스 디바이스는 용량성 압착 센서(1430)를 생략할 수 (있고, 예컨대, 본 명세서에 설명된 것들과 같은 다른 적합한 압착 센서를 포함할 수 있거나, 또는 압착 센서를 생략할 수) 있지만, 제스처를 검출하기 위한 터치 전극으로서 전도성 표면(1452)을 여전히 포함할 수 있다.
온도 센서
일부 변형예에서, 사용자 인터페이스 디바이스는 하나 이상의 온도 센서를 포함할 수 있다. 일 변형예에서, 하나 이상의 온도 센서가 사용자의 온도를 검출하도록 구성될 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 온도 센서(426)는 하우징(420)의 외부 표면 상에 위치될 수 있고, 사용자의 손가락과의 접촉에 기초하여 사용자의 온도를 측정하도록 구성될 수 있다. 사용자의 온도는 사용자에 대한 스트레스 수준의 표시자로서 사용될 수 있다. 사용자의 온도가 임계 수준을 넘어 상승하는 경우, 사용자 인터페이스 디바이스는 경고 시스템을 통해 (예컨대, 제어기를 통해) 사용자에게 이러한 위험을 나타낼 수 있고, 사용자에게 로봇 시스템의 동작을 보류하도록 촉구할 수 있다. 추가적으로 또는 대안적으로, 사용자의 온도는, 상이한 온도를 갖는 상이한 사용자가 용량성 센서 패드(372)로부터 동일한 신호 수준을 생성하기 위해 상이한 크기의 힘을 인가할 필요가 있을 수 있기 때문에, 용량성 센서(370)에 대해 전술된 것과 유사한 교정 루틴을 위한 데이터를 제공하는 데 사용될 수 있다.
다른 변형예에서, 하나 이상의 온도 센서는 사용자 인터페이스 디바이스 내의 온도 및/또는 주변 온도를 검출하도록 구성될 수 있다. 예를 들어, 온도 센서는 부재 내의 PCB(예컨대, 도 2a 및 도 2b에 도시된 PCB(260), 도 3a 내지 도 3c에 도시된 PCB(360) 등) 상에 배치될 수 있다. 사용자 인터페이스 디바이스 내의 온도 및/또는 주변 온도는, 시술의 처음에 교정 루틴의 일부로서 그리고/또는 시술 전체에 걸쳐 동적으로 교정 루틴의 일부로서, 용량성 및 다른 센서 측정치에서의 드리프트(drift)를 교정 또는 보상하기 위해 사용될 수 있다.
낙하 센서
일부 변형예에서, 사용자 인터페이스 디바이스는, 사용자 인터페이스 디바이스와 로봇 시스템의 제어 사이의 통신의 보류를 트리거하고 그에 의해 로봇 시스템에 대한 부주의한 또는 의도하지 않은 명령을 회피하기 위해, 사용자의 손이 사용자 인터페이스 디바이스로부터 연결해제된 때를 결정하도록 구성된 하나 이상의 낙하 검출 센서를 포함할 수 있다.
일 변형예에서, 낙하 검출 센서는 도 3a 내지 도 3c를 참조하여 전술된 용량성 센서(370) 및/또는 도 14a 내지 도 14d를 참조하여 설명된 용량성 센서들(1430, 1450) 중 어느 하나와 유사한 용량성 센서를 포함할 수 있다. (예컨대, 하우징의 압착 및/또는 하우징 상에서의 제스처를 검출하기 위한) 그러한 용량성 센서는 추가적으로 또는 대안적으로 사용자가 더 이상 사용자 인터페이스 디바이스를 보유하고 있지 않을 때를 검출하는 데 사용될 수 있다. 예를 들어, 용량성 영역(522)은 미리결정된 임계치 미만의 커패시턴스의 갑작스런 강하로 인해 사용자의 손가락이 더 이상 하우징에 근접해 있지 않을 때를 검출하는 데 사용될 수 있다.
다른 변형예에서, 낙하 검출 센서는 적어도 하나의 가속도계 및/또는 적어도 하나의 자이로스코프를 포함할 수 있으며, 이는 개별 센서일 수 있거나 IMU의 일부로서 포함될 수 있다. 가속도계 및/또는 자이로스코프는 사용자가 더 이상 사용자 인터페이스 디바이스를 보유하고 있지 않고 그 후에 사용자 인터페이스 디바이스가 하향으로 떨어지게 될 때 중력으로 인한 갑작스런 하향으로의 떨어뜨림을 검출하도록 구성될 수 있다.
다른 변형예에서, 사용자 인터페이스 디바이스의 추적 센서 시스템(예컨대, 도 1c에 도시된 추적 센서 시스템(140), 도 2a에 도시된 추적 센서 시스템(240), 도 3a에 도시된 추적 센서 시스템(340) 등)은 낙하 검출 센서로서 사용될 수 있다. 예를 들어, 가속도계 및/또는 자이로스코프와 같이, 추적 센서 시스템(140)은 사용자가 더 이상 사용자 인터페이스 디바이스를 보유하지 있지 않는 경우에 중력으로 인한 갑작스런 하향으로의 떨어뜨림을 검출할 수 있다. 유사하게, 다른 변형예에서, 임의의 다른 적합한 추적 센서(예컨대, 어댑터에 부착된 것들과 같은 광학 마커를 포함하는 광학 추적)가, 사용자가 사용자 인터페이스 디바이스를 떨어뜨리는 것에 기인하는 하향으로의 떨어뜨림을 검출하는 데 사용될 수 있다.
전술된 낙하 검출 센서들 중 임의의 하나 이상이 임의의 적합한 방식으로 조합되어 또는 단독으로 사용될 수 있다. 예를 들어, 사용자가 사용자 인터페이스 디바이스를 떨어뜨렸는지 여부를 확인하는 것을 돕기 위해 다수의 낙하 검출 센서가 (예컨대, 용량성 센서, IMU, 및 추적 센서 시스템이 조합하여) 리던던시를 제공하는 데 사용될 수 있다.
어댑터
대체적으로, 일부 변형예에서, 도 6a에 도시된 바와 같이, 로봇 시스템을 제어하기 위한 핸드헬드 사용자 인터페이스 디바이스(600)는 제1 단부(612)(예컨대, 근위 단부) 및 제2 단부(614)(예컨대, 원위 단부)를 갖는 부재(610)를 포함할 수 있는데, 여기서 제1 단부 및/또는 제2 단부는 탈거가능 어댑터에 결합하도록 구성된 결합 특징부를 포함한다. 전술된 변형예와 유사하게, 사용자 인터페이스 디바이스(600)는 부재(610) 둘레에 적어도 부분적으로 배치되고 사용자의 손에 보유되도록 구성된 하우징(620), 및 디바이스의 적어도 일부분의 위치 및/또는 배향을 검출하기 위한 추적 프로브(642) 및/또는 다른 센서를 포함하는 추적 센서 시스템을 포함할 수 있다. 탈거가능 어댑터는 다른 종류의 탈거가능 어댑터와 교환가능할 수 있어서, 그에 의해, 예컨대, 다양한 조합으로 상이한 폼 팩터, 상이한 기능적 특징부, 및/또는 상이한 추적 기술을 갖는 사용자 인터페이스 디바이스의 다수의 구성을 허용하는 모듈형 설계를 가능하게 할 수 있다. 탈거가능 어댑터의 예는 도 6a 내지 도 6c, 도 7a 내지 도 7c, 도 8a 내지 도 8dd, 도 9a 내지 도 9c, 도 11a 및 도 11b를 참조하여 후술된다.
도 6a에 도시된 바와 같이, 부재(610) 상의 결합 특징부는 탈거가능 어댑터 상의 나사형성 인터페이스에 결합되도록 구성되는 나사산을 포함할 수 있다. 더 구체적으로, 부재(610)의 제1 단부(612)는 제1 결합 특징부(예컨대, 근위 결합 특징부)를 포함할 수 있고, 부재(610)의 제2 단부(614)는 제2 결합 특징부(예컨대, 원위 결합 특징부)를 포함할 수 있다. 제1 결합 특징부는 제1 어댑터(630a)(예컨대, 근위 어댑터)의 나사산(634a)과 결합하도록 구성된 나사산(616a)을 포함할 수 있고, 그에 의해 어댑터(630a)를 부재(610)에 제거가능하게 결합할 수 있다. 유사하게, 제2 결합 특징부는 제2 어댑터(630b)(예컨대, 원위 어댑터)의 나사산(634b)과 결합하도록 구성된 나사산(616b)을 포함할 수 있다. 추가로, 제1 어댑터(630a) 및 제2 어댑터(630b)를 부재(610)에 결합함으로써 사용자에 의한 안전하고 편안한 취급을 위해 매끄러운 표면을 유지하도록 제1 어댑터(630a) 및 제2 어댑터(630b)를 하우징(620)에 연결시킬 수 있다. 대안적으로, 다른 변형예에서, 어댑터(630)는 나사산 또는 다른 적합한 인터페이스를 통해 하우징(620)에 직접 결합될 수 있다. 유사하게, 도 2a에 도시된 부재(210)는 제1 어댑터(230a)를 부재(210)에 결합하기 위한 제1 결합 특징부(216a), 및 제2 어댑터(230b)를 부재(210)에 결합하기 위한 제2 결합 특징부(216b)를 포함할 수 있다. 또한 유사하게, 도 3b 및 도 3c에 도시된 부재(310)는 제1 어댑터(330a)를 부재(310)에 결합하기 위한 제1 결합 특징부 및 제2 어댑터(330b)를 부재(310)에 결합하기 위한 제2 결합 특징부를 포함할 수 있다. 도면에 도시된 결합 특징부가 나사산을 포함하지만, 부재(610) 상의 결합 특징부의 다른 예는 스냅-온(snap-on) 또는 스냅 끼워맞춤 특징부(예컨대, 리지(ridge), 립, 탭 등), 힌지, 파단가능 접착제(예를 들어, 낮은 접합력을 가짐), 탄성중합체 인터페이스(예를 들어, O-링, 랩어라운드 탄성 밴드(wraparound elastic band)), 또는 부재 및/또는 하우징을 어댑터에 탈거가능하게 결합하기에 적합한 임의의 다른 결합 메커니즘을 포함한다.
예를 들어, 도 6a에 도시된 바와 같이, 사용자 인터페이스 디바이스(600)의 일 변형예는 부재(610)의 일 단부를 덮고 부재(610) 상의 나사산(616a)과 제거가능하게 결합하는 나사산(634a)을 갖는 캡 어댑터(630a)를 포함할 수 있거나 또는 그에 결합하도록 구성될 수 있다. 캡 어댑터(630a)는 사용자 인터페이스 디바이스(600)의 전체 난형 형상 또는 다른 둥근 몸체 형상을 얻도록 형상화될 수 있다. 캡 어댑터(630a)는 하나 이상의 와이어가 사용자 인터페이스 디바이스 내로 또는 그 외부로 지나가게 하는 적어도 하나의 구멍(632) 또는 다른 통로를 가질 수 있지만, 다른 변형예에서 (예를 들어, 무선 사용자 인터페이스 디바이스에서) 구멍(632)은 생략될 수 있다. 추가로, 도 6a는 어댑터의 다른 변형예인, 추적 프로브(642)를 위한 프로브 하우징(630b)을 도시한다. 프로브 하우징(630b)은 부재(610) 상의 나사산(616b)과 제거가능하게 결합하는 나사산(634b)을 포함할 수 있다. 프로브 하우징(630b)은 추적 프로브(642)를 보호하도록 그리고 추적 프로브(642)를 부재(610) 내로 삽입 및 고정하기 위한 매개물(vehicle)을 제공하도록 구성될 수 있다.
다른 예로서, 도 6b 및 도 6c에 도시된 바와 같이, 사용자 인터페이스 디바이스(600')의 다른 변형예는, 도 6a에 도시된 변형과 유사하게, 부재(도시되지 않음)의 일 단부를 덮고 나사산(616a)과 제거가능하게 결합하는 나사산을 갖는 캡 어댑터(630a)를 포함할 수 있거나 또는 그에 결합하도록 구성될 수 있다. 추가로, 도 6b 및 도 6c는 부재 상의 대응하는 나사산과 제거가능하게 결합하는 나사산(634b)을 포함할 수 있는 어댑터의 다른 변형예인 디스크 어댑터(630b')를 도시한다. 디스크 어댑터(630b')는, 예를 들어, 도 9a 및 도 9b를 참조하여 후술되는 것과 유사할 수 있다.
도 7a 및 도 7b에 도시된 바와 같이, 사용자 인터페이스 디바이스(700)의 일 변형예는, 위치 및/또는 배향이 광학 추적 어댑터(730)를 모니터링하는 카메라에 의해 추적가능한 사용자 인터페이스 디바이스(700)를 형성하도록 부재에 제거가능하게 결합할 수 있는 광학 추적 어댑터(730)를 포함할 수 있거나 또는 그에 결합하도록 구성될 수 있다. 광학 추적 어댑터(730)는 광학 추적 어댑터(730)의 적어도 하나의 면 상에 배치된 하나 이상의 광학 추적 마커(732)를 포함할 수 있다. 일례에서, 광학 추적 마커(732)는 수동형(passive)이며, 사용자 인터페이스 디바이스의 위치 및/또는 배향이 광학 추적 어댑터(730)를 모니터링하는 전략적으로 배치된 카메라로 검출될 수 있도록 역반사 재료를 포함한다. 카메라는 사용자 인터페이스 디바이스(700)의 작업공간을 적외선(IR) 광(또는 다른 적합한 발광)으로 조명할 수 있고, 광학 추적 마커(732)는 IR 광을 다시 카메라로 반사시킬 수 있다. 다른 예로서, 전략적으로 배치된 카메라를 향해 IR 광(또는 다른 적합한 발광)을 방출하는 광학 추적 마커(732)는 능동형일 수 있다(예컨대, 발광 다이오드를 포함함). 광학 추적 마커(732)로부터의 광의 이러한 반사 또는 방출에 기초하여, 광학 추적 시스템은 사용자 인터페이스 디바이스(700)의 3차원 위치 및/또는 배향을 결정할 수 있다. 예를 들어, 도 7c에 도시된 바와 같이, 사용자는 광학 추적 어댑터(730)가 외부를 향하고 주변 카메라의 시선 내에 있을 수 있는 방식으로 사용자 인터페이스 디바이스(700)의 하우징(720)을 보유할 수 있다. 광학 추적 마커는 광학 추적 마커가 반사 또는 방출할 수 있는 광의 각도 범위를 증가시키기 위해 구형일 수 있지만, 다른 유형의 광학 추적기(예컨대, 평탄한 마커)가 추가적으로 또는 대안적으로 사용될 수 있다.
도 7b에 도시된 바와 같이, 광학 추적 어댑터(730)의 일 변형예는 대체적으로 하우징(720)으로부터 외향으로 확개된 절두 삼각 피라미드의 형상이다. 그러나, 광학 추적 어댑터(730)는 광학 추적 마커(732)가 카메라를 향해 광을 반사 또는 방출하기 위한 표면을 제공하기 위해 정사각형 피라미드, 구형, 프리즘형, 또는 임의의 다른 적합한 형상일 수 있다.
도 8a, 도 8aa, 도 8b, 도 8bb, 도 8d, 및 도 8dd에 도시된 바와 같이, 사용자 인터페이스 디바이스(800)의 일 변형예는 근위 스타일러스 어댑터(830a) 및/또는 원위 스타일러스 어댑터(830b)를 포함할 수 있거나 또는 그에 결합하도록 구성될 수 있다. 근위 스타일러스 어댑터(830a)는 도 8c에 도시된 바와 같이 사용자 인터페이스 디바이스(800)가 사용자의 손에 놓이는 것을 가능하게 하는 받침 표면(resting surface)을 제공하도록 세장형일 수 있다. 근위 스타일러스 어댑터(830a)는 편안한 둘레로 테이퍼질 수 있고/있거나 원형 단면 형상, 삼각형 단면 형상, 또는 다른 다각형 단면 형상을 포함할 수 있다. 상이한 길이, 둘레, 하우징(820)으로부터 스타일러스 어댑터(830a)의 단부를 향한 곡률 또는 테이퍼의 반경, 단면 형상, 및/또는 다른 치수가 상이한 사용자 손의 크기 또는 형상, 사용자 선호도, 및/또는 적용예에 대해 맞춤화되거나 달리 이용가능할 수 있다. 예를 들어, 도 8b 및 도 8bb에 도시된 근위 스타일러스 어댑터(830a)는 도 8a 및 도 8aa에 도시된 근위 스타일러스 어댑터(830a)보다 대체로 더 좁고 더 길다. 다른 예로서, 도 8d 및 도 8dd에 도시된 근위 스타일러스 어댑터(830a)는 도 8b 및 도 8bb에 도시된 근위 스타일러스 어댑터(830a)보다 대체로 더 길다. 추가로, 일부 변형예에서, 도 8a 및 도 8aa에 도시된 바와 같이, 사용자 인터페이스 디바이스(800)는 하나 이상의 버튼(834)(하우징의 일 단부 또는 양 단부에서 원주방향 링으로서 도시됨)을 포함할 수 있다(그러나, 대안적으로 근위 및/또는 원위 스타일러스 어댑터의 세장형 표면 상에 배치될 수 있는 등이다). 추가로, 그러한 링 버튼 또는 다른 적합한 버튼은 임의의 다른 적합한 종류의 근위 및/또는 원위 어댑터에 포함될 수 있다.
근위 스타일러스 어댑터(830a)와 부재(도시되지 않음) 또는 하우징(820) 사이의 인터페이스는 전술된 결합 특징부와 유사할 수 있다. 일례에서, 근위 스타일러스 어댑터(830a)는 근위 스타일러스 어댑터(830a)가 하우징(820)의 종축에 대해 일정 각도로 (예컨대, 하우징(820)의 종축에 대해 수직으로, 90도 초과로, 또는 90도 미만으로) 배향될 수 있도록 조인트(832)에 있는 힌지(또는 볼 조인트 등)를 통해 부재 또는 하우징(820)에 연결될 수 있다. 이러한 각진 스타일러스 구성은 소정 적용예에서 사용자 인터페이스 디바이스의 더 나은 인체공학적 제어를 제공하는 데 유용할 수 있다. 일례로서, 도 11a 및 도 11b에 도시된 바와 같이, 사용자 인터페이스 디바이스(1100)의 일 변형예는 (예컨대, 대략 직각으로) 각을 이루어 사용자 손의 손바닥에 보유되도록 구성된 근위 스타일러스 어댑터(1130a) 및/또는 원위 스타일러스 어댑터(1130b)(예컨대, 원위 스타일러스 어댑터(830b)와 유사할 수 있음)를 포함할 수 있거나 또는 그에 결합하도록 구성될 수 있다. 사용자의 손가락에 접근가능한 근위 스타일러스 어댑터(1130a)의 표면과 같은 사용자 인터페이스 디바이스(1100)의 적어도 일부분은 로봇 시스템의 태양을 제어하기 위한 사용자 입력을 추가로 수신하도록 구성된 하나 이상의 버튼(1134)을 포함할 수 있다. 그러한 버튼은, 예를 들어, 사용자가 터치에 기초하여 상이한 버튼들 사이를 구별하는 것을 가능하게 하도록 돕기 위해 구별되는 형상들(예컨대, 원형, 삼각형, 정사각형, 별형 등) 및/또는 텍스처들(예를 들어, 딤플(dimple)형성되거나 딤플형성되지 않은, 범프를 갖거나 범프를 갖지 않는 등)을 가질 수 있고/있거나, 사용자가 그들의 외양에 기초하여 상이한 버튼들 사이를 구별하는 것을 가능하게 하도록 돕기 위해 상이한 시각적 표시자들(예컨대, 색상)을 가질 수 있다. 버튼들 중 일부 또는 전부는 추가적으로 또는 대안적으로, 소정 버튼이 터치되거나 달리 결합되는 경우에 소리에 기초하여 상이한 버튼들 사이를 사용자가 구별하는 것을 가능하게 하도록 돕기 위하여, 예를 들어, 오디오 피드백(예컨대, 가청음 또는 비프음 등)을 가능하게 할 수 있는 터치 센서 또는 다른 적합한 센서를 포함할 수 있다.
원위 스타일러스 어댑터(830b)는 세장형일 수 있고 더 미세한 지점으로 테이퍼질 수 있다. 원위 스타일러스 어댑터(830b)는, 예를 들어, 사용자 인터페이스 디바이스 상의 펜형 그립이 사용자에게 추가의 정밀도 또는 편안함을 제공할 수 있는 정밀 작업 적용(예컨대, 소작화)을 위해 사용자 인터페이스 디바이스(800)를 수정하는 데 사용될 수 있다. 원위 스타일러스 어댑터(830b)는 대체로 원형 단면 형상, 삼각형 단면 형상, 또는 다른 다각형 단면 형상을 포함할 수 있다. 원위 스타일러스 어댑터(830b)는 근위 스타일러스 어댑터(830a)보다 짧을 수 있지만, 근위 스타일러스 어댑터(830a)와 유사하게, 원위 스타일러스 어댑터(830b)는 상이한 사용자 손의 크기 또는 형상, 사용자 선호도, 및/또는 적용예에 대해 길이, 둘레, 곡률 또는 테이퍼의 반경, 단면 형상, 및/또는 다른 치수가 가변할 수 있다.
근위 스타일러스 어댑터(830a) 및/또는 원위 스타일러스 어댑터(830b)는 강성 재료 또는 반강성 재료(예컨대, 강성 플라스틱)를 포함할 수 있다. 일부 변형예에서, 근위 스타일러스 어댑터(830a) 및/또는 원위 스타일러스 어댑터(830b)는 가요성 또는 순응성 재료(예컨대, 실리콘)를 포함할 수 있다.
도 9a 및 도 9b에 도시된 바와 같이, 사용자 인터페이스 디바이스(900)의 일 변형예는 디스크 어댑터(930)를 포함할 수 있거나 또는 그에 결합하도록 구성될 수 있다. 도 9c에 도시된 바와 같이, 디스크 어댑터(930)는 조이스틱과 유사하게 기울어지도록 구성될 수 있다. 디스크 어댑터(930)는 추가적으로 또는 대안적으로, 버튼과 유사하게, 옆으로 (즉, 면내로) 측방향으로 변위되고/되거나 위 또는 아래로 축방향으로 변위되도록 구성될 수 있다. 또 다른 변형예에서, 디스크 어댑터(930)는, 스티어링 휠과 유사하게, 축방향으로 회전하도록 구성될 수 있다. 디스크 어댑터는, 예를 들어, 방향 관련 제어 입력(예컨대, 카메라 뷰 패닝(camera view panning))을 나타낼 수 있고/있거나, 제어 모드들 사이에서 토글링하기 위한 손가락 클러치로서 사용될 수 있고/있거나, 엔드 이펙터의 작동(예컨대, 도구를 발화함) 또는 그래픽 사용자 인터페이스 항목 등의 선택을 나타내기 위한 버튼으로서 사용될 수 있다.
디스크 어댑터(930)의 형상 및/또는 크기는 상이한 종류(예컨대, 크기, 형상 등)의 사용자의 손, 사용자 선호도, 및/또는 적용예에 대해 변할 수 있다. 예를 들어, 도 9b에 도시된 바와 같이, 디스크 어댑터(930)는 스템(932)에 의해 부재 및/또는 하우징(920)에 부착된 고체의 평탄한 원형 디스크를 포함할 수 있다. 그러나, 디스크 어댑터(930)는 대안적으로 비원형 디스크(예를 들어, 타원형 또는 다각형), 링, 더 구근형(bulbous)인 디스크, 또는 다른 적합한 형상의 부착물을 포함할 수 있다는 것을 이해하여야 한다. 추가로, 스템(932)의 길이 및/또는 디스크의 직경 또는 두께는 상이한 사용자들에 따라 가변될 수 있다.
사용자 인터페이스 디바이스의 다른 변형예는 핀처 어댑터를 포함할 수 있거나 또는 그에 결합하도록 구성될 수 있다. 예를 들어, 핀처 어댑터는 사용자의 제1 손가락(예컨대, 엄지손가락)과 인터페이스하도록 구성된 제1 선회가능 부재 및 사용자의 제2 손가락(예컨대, 집게손가락)과 인터페이스하도록 구성된 제2 선회가능 부재를 포함할 수 있어서, 제1 손가락 및 제2 손가락이 제1 및 제2 선회가능 부재들을 파지하여 이들이 서로 핀칭할 수 있게 할 수 있다. 핀칭 어댑터는, 예를 들어, 대향(opposable) 운동을 갖는 조오 또는 다른 엔드 이펙터의 작동의 기계 기반 제어를 제공하기 위해 사용될 수 있다. 제1 부재 및/또는 제2 부재는 사용자의 손가락과 제1 부재 및/또는 제2 부재 사이의 결합의 미끄러짐을 감소시키기 위해 텍스처 특징부(예를 들어, 늑재(ribbing), 패턴화된 상승된 도트) 및/또는 마찰 재료(예컨대, 실리콘 또는 다른 고무)를 포함할 수 있다. 추가로, 부재는 사용자의 손가락을 수용하도록 윤곽형성될 수 있다. 스트랩, 링, 후크, 및/또는 다른 적합한 부착물이 사용자의 손가락을 핀처 부재에 견고하게 결합시키는 데 사용될 수 있다. 추가로, 부재 및/또는 부착물의 길이, 폭, 윤곽, 형상 및 크기, 및/또는 다른 치수는 상이한 사용자에 대해 가변될 수 있다.
멸균성 및 처리가능성(disposability)
수술 또는 다른 의료 응용예를 위한 것과 같은 일부 응용예에서, 사용자 인터페이스 디바이스의 멸균성을 유지하는 것은 중요할 수 있다. 일부 변형예에서, 핸드헬드 사용자 인터페이스 디바이스는 부재, 부재 둘레에 적어도 부분적으로 배치되는 하우징, 및 전술된 바와 같은 추적 센서 시스템을 포함할 수 있는데, 여기서 추적 센서 시스템의 적어도 일부분은 부재로부터 제거가능하여 부재 및 하우징 중 적어도 하나의 처분을 가능하게 한다. 일부 변형예에서, 부재(및 그의 연관된 센서 및 다른 전자기기) 및/또는 하우징은, 그를 재멸균 대신에 각각의 사용 후에 처분하는 데 더 경제적으로 실용적이게 하거나 편리하게 하는 저가의 재료로 제조될 수 있다. 다른 변형예에서, 부재 및 추적 센서 시스템은 하우징의 적어도 일부분의 처분을 가능하게 하도록 하우징으로부터 제거가능할 수 있다.
도 14e에 도시된 바와 같이, 부재 및 추적 센서 시스템이 하우징으로부터 제거가능한 일부 변형예에서, 부재/추적 센서 시스템과 하우징 사이의 확실하고 용이하게 가역적인 연결을 가능하게 하는 것이 바람직할 수 있다. 예를 들어, 하우징 상의 전자기기로의 그리고 그로부터의 (예컨대, 도 14a 내지 도 14d를 참조하여 전술된 바와 같이 용량성 압착 및/또는 제스처 추적 센서로의 그리고 그로부터의) 전자 신호의 통신은 "불스아이(bulls-eye)" 또는 링형 전도성 접촉 기판(1412)을 통해 달성될 수 있다. 접촉 기판(1412)은, 예를 들어, 내부 하우징 층(1422) 내에 배치된 라이너(1421)의 단부에 있는 슬롯 내에 배열될 수 있다. 전도성 접촉 기판(1412)은 부재로부터의 전기 접촉부를 하우징으로부터의 전기 접촉부에 연결하기 위한 전도성 영역의 동심 링들을 포함할 수 있다. 예를 들어, 도 14d에 도시된 바와 같이, 부재(1450)는 접촉 기판(1412) 상의 동심 전도성 링들에 대응하는 가변하는 반경방향 거리들에서 서로 이격되는 하나 이상의 전도성 (예컨대, 금) 핀들(1452a 내지 1452c)을 포함할 수 있다. 따라서, 라이너(1421) 내에서의 부재(1450)의 정렬 및 위치설정은 핀들(1452a 내지 1452c)과 접촉 기판(1412) 상의 각각의 전도성 영역들 사이의 원하는 전기 접촉을 자동으로 달성한다. 예를 들어, 핀(1452a)은 대체로 부재(1450)의 중심에 배열될 수 있고, 핀(1452b)은 부재(1450)의 중심으로부터 멀리 중간 반경방향 거리에 배열될 수 있고, 핀(1452c)은 부재(1450)의 중심으로부터 멀리 먼 반경방향 거리에 배열될 수 있다.
일부 변형예에서, 핀(1452a 내지 1452c)은 공통 전기 접지에 결합된 적어도 하나의 "접지" 핀, 및 하나 이상의 센서에 결합하기 위한 하나 이상의 "신호" 핀을 포함할 수 있다. 예를 들어, 전술된 용량성 센서(1430)에서, 라이너(1421) 상에 배치된 제1 전도성 표면(1432)은 접촉 기판(1412)을 통해 접지 핀에 전도성으로 결합되는 접지 표면일 수 있다. 더욱이, 내부 하우징 층(1422) 상에 배치된 제2 전도성 표면(1434)은 커패시턴스 측정치를 제공하기 위해 접촉 기판(1412)을 통해 신호 핀에 전도성으로 결합되는 활성 표면일 수 있다. 하우징(1420) 내에 적어도 부분적으로 배치되는 임의의 다른 센서가 추가적으로 또는 대안적으로 접촉 기판(1412)을 통해 부재(1450)에 통신가능하게 결합될 수 있다는 것을 이해하여야 한다.
부재(1450)가 라이너(1421) 내로 삽입된 경우, 핀들(1452a, 1452b, 1452c)은 그들의 원위 단부가 중심 영역(1412a), 중간 링(1412b) 및 외부 링(1412c)과 각각 접촉하도록 하는 적합한 길이를 가질 수 있다. 그에 의해, 이러한 접촉은 접촉 기판(1412)을 통해 용량성 센서(1430) 및/또는 다른 하우징 센서와의 전기적 통신을 가능하게 한다. 확실한 전기 연결은 단순히 부재를 하우징에 고정시킴으로써 달성될 수 있다. 예를 들어, 이러한 변형예에서, 핀과 접촉 기판 사이의 연결을 보장하는 데 전용되는 별도의 커넥터 어댑터 또는 래치에 대한 필요성이 없다. 유사한 단순함을 위해, 접촉 기판(1412)로부터 핀(1452a 내지 1452c)의 연결해제는 단순히 부재를 하우징으로부터 제거함으로써 달성된다. 따라서, 이러한 전기 연결 배열체는, 예를 들어 하우징의 더 용이하고 더 간단한 멸균 또는 처분을 위해, 부재(및/또는 추적 센서 시스템) 및 하우징의 더 용이한 부분적인 조립 및 분해를 가능하게 할 수 있다. 그러나, 임의의 적합한 연결 계획은 와이어, 리본 케이블, 전도성 트레이스 등과 같은, 하우징 및 부재 상의 전자기기의 통신을 가능하게 할 수 있다.
추가로, 광학 추적기 어댑터, 스타일러스 어댑터, 또는 디스크 어댑터와 같은 임의의 어댑터는 일회용일 수 있다. 부재, 하우징, 및 어댑터 중 하나 이상은 일회용일 수 있는데, 이는 그가 단일 사용 후에 처분을 위해 추적 센서 시스템으로부터 분리될 수 있음을 의미한다. 부재, 하우징, 및 어댑터 중 하나 이상은 대안적으로 제한된 사용일 수 있는데, 이는 그가 제한된 횟수의 사용 후에 (예컨대, 5회 내지 10회 사용 후에) 처분을 위해 추적 센서 시스템으로부터 분리될 수 있음을 의미한다. 대안적으로, 추적 센서 시스템을 포함하는 전체 사용자 인터페이스 디바이스는 일회용일 수 있다.
추가적으로 또는 대안적으로, 일부 변형예에서, 사용자 인터페이스 디바이스는 멸균성을 유지하기 위해 사용자 인터페이스 디바이스의 사용들 사이에 대체될 수 있는 백(bag) 또는 다른 덮개와 같은 멸균 드레이프(drape)로 덮일 수 있다.
상기 설명은, 설명의 목적 상, 본 발명의 완전한 이해를 제공하기 위해 특정 용어를 사용하였다. 그러나, 본 발명을 실시하기 위해 특정 상세 사항이 요구되지 않는다는 것이 당업자에게 명백할 것이다. 따라서, 본 발명의 특정 실시예에 대한 상기 설명은 예시 및 설명의 목적으로 제공된다. 이들은 총망라하거나 본 발명을 개시된 정확한 형태로 제한하고자 하는 것은 아니며, 명백하게는, 상기 교시 내용을 고려하여 많은 수정 및 변형이 가능하다. 실시예들은 본 발명의 원리 및 그의 실제 응용을 설명하기 위해 선택 및 설명되었으며, 그에 의해 본 기술 분야의 다른 기술자들이, 고려되는 특정 용도에 적합한 다양한 변형을 갖고서 본 발명 및 다양한 실시예를 이용할 수 있게 한다. 하기 청구범위 및 그의 등가물은 본 발명의 범주를 한정하는 것으로 의도된다.

Claims (59)

  1. 로봇 시스템을 제어하기 위한 핸드헬드 사용자 인터페이스 디바이스로서,
    부재;
    상기 부재 둘레에 적어도 부분적으로 배치되고 사용자의 손에 보유되도록 구성된 하우징;
    상기 사용자의 손과 상기 하우징 사이의 상호작용을 검출하도록 구성된 적어도 하나의 용량성 센서; 및
    상기 디바이스의 적어도 일부분의 위치 및 배향 중 적어도 하나를 검출하도록 구성된 추적 센서 시스템;을 포함하고,
    상기 검출된 상호작용, 상기 디바이스의 일부분의 검출된 위치, 및 상기 디바이스의 일부분의 검출된 배향 중 적어도 하나는 상기 로봇 시스템의 제어와 상관가능한(correlatable), 핸드헬드 사용자 인터페이스 디바이스.
  2. 제1항에 있어서, 상기 용량성 센서는 상기 부재 상에 적어도 부분적으로 배치되는, 핸드헬드 사용자 인터페이스 디바이스.
  3. 제2항에 있어서, 상기 용량성 센서는 상기 하우징 상의 제1 전도성 표면과 상기 하우징 상의 제2 전도성 표면 사이의 근접도를 측정함으로써 상기 하우징을 압착하는 상기 사용자의 손을 검출하도록 구성되는, 핸드헬드 사용자 인터페이스 디바이스.
  4. 제3항에 있어서, 상기 하우징 상의 상기 사용자의 손에 의해 수행되는 제스처를 검출하도록 구성된 복수의 이산된 센서 영역을 포함하는 제2 용량성 센서를 추가로 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  5. 제2항에 있어서, 상기 용량성 센서는 상기 부재와 상기 하우징을 보유하는 상기 사용자의 손 사이의 근접도를 측정함으로써 상기 하우징을 압착하는 상기 사용자의 손을 검출하도록 구성되는, 핸드헬드 사용자 인터페이스 디바이스.
  6. 제1항에 있어서, 상기 용량성 센서는 상기 하우징 상의 상기 사용자의 손에 의해 수행되는 제스처를 검출하도록 구성된 복수의 이산된 센서 영역을 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  7. 제1항에 있어서, 상기 용량성 센서는 상기 하우징으로부터의 상기 사용자의 손의 결합해제를 검출하도록 구성되는, 핸드헬드 사용자 인터페이스 디바이스.
  8. 제1항에 있어서, 상기 디바이스의 일부분의 검출된 위치 또는 검출된 배향은 로봇 아암 또는 엔드 이펙터(end effector)의 제어와 상관가능한, 핸드헬드 사용자 인터페이스 디바이스.
  9. 제1항에 있어서, 상기 하우징은 가요성인, 핸드헬드 사용자 인터페이스 디바이스.
  10. 제9항에 있어서, 상기 하우징은 유체 충전된 내부 용적부를 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  11. 제1항에 있어서, 상기 추적 센서 시스템은 상기 부재 내에 배치되는 전자기 프로브를 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  12. 제1항에 있어서, 상기 하우징의 변형을 검출하도록 구성된 광학 센서를 추가로 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  13. 제1항에 있어서, 상기 부재는 근위 단부 및 원위 단부를 갖고, 상기 근위 단부 및 상기 원위 단부 중 적어도 하나는 탈거가능 어댑터에 결합하도록 구성된 결합 특징부를 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  14. 제1항에 있어서, 상기 추적 센서 시스템의 적어도 일부분은 상기 부재 및 상기 하우징 중 적어도 하나로부터 제거가능하여 상기 부재 및 상기 하우징 중 적어도 하나의 처분(disposal)을 가능하게 하는, 핸드헬드 사용자 인터페이스 디바이스.
  15. 로봇 시스템을 제어하기 위한 핸드헬드 사용자 인터페이스 디바이스로서,
    부재;
    상기 부재 둘레에 적어도 부분적으로 배치되고 사용자의 손에 보유되도록 구성된 가요성 하우징;
    상기 하우징의 변형을 검출하도록 구성된 적어도 하나의 근접 센서; 및
    상기 디바이스의 적어도 일부분의 위치 및 배향 중 적어도 하나를 검출하도록 구성된 추적 센서 시스템;을 포함하고,
    상기 하우징의 검출된 변형, 상기 디바이스의 일부분의 검출된 위치, 및 상기 디바이스의 일부분의 검출된 배향 중 적어도 하나는 상기 로봇 시스템의 제어와 상관가능한, 핸드헬드 사용자 인터페이스 디바이스.
  16. 제15항에 있어서, 상기 근접 센서는 광학 센서를 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  17. 제15항에 있어서, 상기 근접 센서는 상기 부재 상에 배치되는, 핸드헬드 사용자 인터페이스 디바이스.
  18. 제17항에 있어서, 상기 하우징의 변형 시에 편향되도록 구성된 굴곡성 부재를 추가로 포함하고, 상기 근접 센서는 상기 하우징의 변형 시에 상기 부재와 상기 굴곡성 부재 사이의 거리의 변화를 측정하도록 구성되는, 핸드헬드 사용자 인터페이스 디바이스.
  19. 제15항에 있어서, 상기 하우징의 검출된 변형은 엔드 이펙터의 제어와 상관가능한, 핸드헬드 사용자 인터페이스 디바이스.
  20. 제15항에 있어서, 상기 디바이스의 일부분의 검출된 위치 또는 검출된 배향은 로봇 아암 또는 엔드 이펙터의 제어와 상관가능한, 핸드헬드 사용자 인터페이스 디바이스.
  21. 제15항에 있어서, 상기 하우징은 가요성인, 핸드헬드 사용자 인터페이스 디바이스.
  22. 제21항에 있어서, 상기 하우징은 유체 충전된 내부 용적부를 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  23. 제15항에 있어서, 상기 추적 센서 시스템은 상기 부재 내에 배치되는 전자기 프로브를 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  24. 제15항에 있어서, 상기 사용자의 손과 상기 하우징 사이의 상호작용을 검출하도록 구성된 용량성 센서를 추가로 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  25. 제24항에 있어서, 상기 용량성 센서는 상기 하우징 상의 상기 사용자의 손에 의해 수행되는 제스처를 검출하도록 구성된 복수의 이산된 센서 영역을 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  26. 제24항에 있어서, 상기 용량성 센서는 상기 하우징으로부터의 상기 사용자의 손의 결합해제를 검출하도록 구성되는, 핸드헬드 사용자 인터페이스 디바이스.
  27. 제15항에 있어서, 상기 부재는 근위 단부 및 원위 단부를 갖고, 상기 근위 단부 및 상기 원위 단부 중 적어도 하나는 탈거가능 어댑터에 결합하도록 구성된 결합 특징부를 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  28. 제15항에 있어서, 상기 추적 센서 시스템의 적어도 일부분은 상기 부재 및 상기 하우징 중 적어도 하나로부터 제거가능하여 상기 부재 및 상기 하우징 중 적어도 하나의 처분을 가능하게 하는, 핸드헬드 사용자 인터페이스 디바이스.
  29. 로봇 시스템을 제어하기 위한 핸드헬드 사용자 인터페이스 디바이스로서,
    근위 단부 및 원위 단부를 갖는 부재 - 상기 근위 단부 및 상기 원위 단부 중 적어도 하나는 탈거가능 어댑터에 결합하도록 구성된 결합 특징부를 포함함 -;
    상기 부재 둘레에 적어도 부분적으로 배치되고 사용자의 손에 보유되도록 구성된 하우징; 및
    상기 디바이스의 적어도 일부분의 위치 및 배향 중 적어도 하나를 검출하도록 구성된 추적 센서 시스템;을 포함하고,
    상기 디바이스의 일부분의 검출된 위치 또는 배향은 상기 로봇 시스템의 제어와 상관가능한, 핸드헬드 사용자 인터페이스 디바이스.
  30. 제29항에 있어서, 상기 탈거가능가능 어댑터는 광학 추적 마커를 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  31. 제29항에 있어서, 상기 탈거가능 어댑터는 세장형 스타일러스(stylus) 부재를 포함하는, 핸드헬드형 사용자 인터페이스 디바이스.
  32. 제29항에 있어서, 상기 탈거가능 어댑터는 이동가능 디스크를 포함하는, 핸드헬드형 사용자 인터페이스 디바이스.
  33. 제32항에 있어서, 상기 이동가능 디스크는 기울어지는 것, 측방향으로 변위되는 것, 축방향으로 변위되는 것 중 적어도 하나로 되도록 구성되는, 핸드헬드 사용자 인터페이스 디바이스.
  34. 제29항에 있어서, 상기 결합 특징부는 나사산을 포함하는, 핸드헬드형 사용자 인터페이스 디바이스.
  35. 제29항에 있어서, 상기 결합 특징부는 스냅 끼워맞춤을 포함하는, 핸드헬드형 사용자 인터페이스 디바이스.
  36. 제29항에 있어서, 상기 디바이스의 일부분의 검출된 위치 또는 검출된 배향은 로봇 아암 또는 엔드 이펙터의 제어와 상관가능한, 핸드헬드 사용자 인터페이스 디바이스.
  37. 제29항에 있어서, 상기 추적 센서 시스템은 상기 부재 내에 배치되는 전자기 프로브를 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  38. 제29항에 있어서, 상기 하우징은 가요성인, 핸드헬드 사용자 인터페이스 디바이스.
  39. 제38항에 있어서, 상기 하우징은 유체 충전된 내부 용적부를 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  40. 제29항에 있어서, 상기 하우징의 변형을 검출하도록 구성된 광학 센서를 추가로 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  41. 제29항에 있어서, 상기 사용자의 손과 상기 하우징 사이의 상호작용을 검출하도록 구성된 용량성 센서를 추가로 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  42. 제41항에 있어서, 상기 용량성 센서는 상기 부재 상의 제1 전도성 표면과 상기 하우징을 보유하는 상기 사용자의 손 상의 제2 전도성 표면 사이의 근접도를 측정함으로써 상기 하우징을 압착하는 상기 사용자의 손을 검출하도록 구성되는, 핸드헬드 사용자 인터페이스 디바이스.
  43. 제41항에 있어서, 상기 용량성 센서는 상기 하우징 상의 제1 전도성 표면과 상기 하우징 상의 제2 전도성 표면 사이의 근접도를 측정함으로써 상기 하우징을 압착하는 상기 사용자의 손을 검출하도록 구성되는, 핸드헬드 사용자 인터페이스 디바이스.
  44. 제41항에 있어서, 상기 용량성 센서는 상기 하우징 상의 상기 사용자의 손에 의해 수행되는 제스처를 검출하도록 구성된 복수의 이산된 센서 영역을 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  45. 제41항에 있어서, 상기 용량성 센서는 상기 하우징으로부터의 상기 사용자의 손의 결합해제를 검출하도록 구성되는, 핸드헬드 사용자 인터페이스 디바이스.
  46. 제29항에 있어서, 상기 추적 센서 시스템의 적어도 일부분은 상기 부재 및 상기 하우징 중 적어도 하나로부터 제거가능하여 상기 부재 및 상기 하우징 중 적어도 하나의 처분을 가능하게 하는, 핸드헬드 사용자 인터페이스 디바이스.
  47. 로봇 시스템을 제어하기 위한 핸드헬드 사용자 인터페이스 디바이스로서,
    부재;
    상기 부재 둘레에 적어도 부분적으로 배치되고 사용자의 손에 보유되도록 구성된 하우징; 및
    상기 부재 상에 배치되고 상기 디바이스의 적어도 일부분의 위치 및 배향 중 적어도 하나를 검출하도록 구성된 추적 센서 시스템;을 포함하고,
    상기 디바이스의 일부분의 검출된 위치 및 상기 디바이스의 일부분의 검출된 배향 중 적어도 하나는 상기 로봇 시스템의 제어와 상관가능하고,
    상기 추적 센서 시스템의 적어도 일부분은 상기 부재로부터 제거가능하여 상기 부재 및 상기 하우징 중 적어도 하나의 처분을 가능하게 하는, 핸드헬드 사용자 인터페이스 디바이스.
  48. 제47항에 있어서, 상기 하우징은 일회용이고, 상이한 종류의 사용자 손에 적합한 상이한 크기를 갖는 한 세트의 하우징들로부터 선택되는, 핸드헬드 사용자 인터페이스 디바이스.
  49. 제47항에 있어서, 상기 디바이스의 일부분의 검출된 위치 또는 검출된 배향은 로봇 아암 또는 엔드 이펙터의 제어와 상관가능한, 핸드헬드 사용자 인터페이스 디바이스.
  50. 제47항에 있어서, 상기 추적 센서 시스템은 상기 부재 내에 배치되는 전자기 프로브를 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  51. 제47항에 있어서, 상기 하우징은 가요성인, 핸드헬드 사용자 인터페이스 디바이스.
  52. 제51항에 있어서, 상기 하우징은 유체 충전된 내부 용적부를 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  53. 제47항에 있어서, 상기 하우징의 변형을 검출하도록 구성된 광학 센서를 추가로 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  54. 제47항에 있어서, 상기 사용자의 손과 상기 하우징 사이의 상호작용을 검출하도록 구성된 용량성 센서를 추가로 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  55. 제54항에 있어서, 상기 용량성 센서는 상기 부재 상의 제1 전도성 표면과 상기 하우징을 보유하는 상기 사용자의 손 상의 제2 전도성 표면 사이의 근접도를 측정함으로써 상기 하우징을 압착하는 상기 사용자의 손을 검출하도록 구성되는, 핸드헬드 사용자 인터페이스 디바이스.
  56. 제54항에 있어서, 상기 용량성 센서는 상기 하우징 상의 제1 전도성 표면과 상기 하우징 상의 제2 전도성 표면 사이의 근접도를 측정함으로써 상기 하우징을 압착하는 상기 사용자의 손을 검출하도록 구성되는, 핸드헬드 사용자 인터페이스 디바이스.
  57. 제54항에 있어서, 상기 용량성 센서는 상기 하우징 상의 상기 사용자의 손에 의해 수행되는 제스처를 검출하도록 구성된 복수의 이산된 센서 영역을 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
  58. 제54항에 있어서, 상기 용량성 센서는 상기 하우징으로부터의 상기 사용자의 손의 결합해제를 검출하도록 구성되는, 핸드헬드 사용자 인터페이스 디바이스.
  59. 제47항에 있어서, 상기 부재는 근위 단부 및 원위 단부를 갖고, 상기 근위 단부 및 상기 원위 단부 중 적어도 하나는 탈거가능 어댑터에 결합하도록 구성된 결합 특징부를 포함하는, 핸드헬드 사용자 인터페이스 디바이스.
KR1020197016406A 2016-12-09 2017-12-08 로봇 수술에 사용하기 위한 사용자 인터페이스 디바이스 KR102295241B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662432538P 2016-12-09 2016-12-09
US62/432,538 2016-12-09
PCT/US2017/065372 WO2018107062A1 (en) 2016-12-09 2017-12-08 User interface devices for use in robotic surgery

Publications (2)

Publication Number Publication Date
KR20190086694A true KR20190086694A (ko) 2019-07-23
KR102295241B1 KR102295241B1 (ko) 2021-08-30

Family

ID=62488389

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197016406A KR102295241B1 (ko) 2016-12-09 2017-12-08 로봇 수술에 사용하기 위한 사용자 인터페이스 디바이스

Country Status (9)

Country Link
US (3) US10736701B2 (ko)
EP (1) EP3518802A4 (ko)
JP (1) JP6974463B2 (ko)
KR (1) KR102295241B1 (ko)
CN (1) CN108472083B (ko)
AU (3) AU2017371074B2 (ko)
BR (1) BR112019010047B1 (ko)
CA (1) CA3042739C (ko)
WO (1) WO2018107062A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021010626A1 (ko) 2019-07-18 2021-01-21 주식회사 엘지화학 리튬-황 이차전지
WO2024080567A1 (ko) * 2022-10-11 2024-04-18 재단법인 아산사회복지재단 원격 중재시술용 마스터 장치

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11007027B2 (en) * 2018-03-07 2021-05-18 Verb Surgical Inc. Surgical robotic user input apparatus having optical fiber-based intrinsic sensors
IT201800005468A1 (it) 2018-05-17 2019-11-17 Sistema robotico per chirurgia, particolarmente microchirurgia
US11135031B2 (en) 2018-06-15 2021-10-05 Verb Surgical Inc. User interface device having grip linkages
US11534246B2 (en) 2018-06-15 2022-12-27 Verb Surgical Inc. User input device for use in robotic surgery
JP2021529014A (ja) * 2018-06-15 2021-10-28 バーブ サージカル インコーポレイテッドＶｅｒｂ Ｓｕｒｇｉｃａｌ Ｉｎｃ． グリップリンクを有するユーザインターフェース装置
EP3787853A1 (en) * 2018-06-15 2021-03-10 Verb Surgical Inc. User interface device having finger clutch
GB2613980B (en) * 2018-10-03 2023-09-06 Cmr Surgical Ltd Monitoring performance during manipulation of a robotic system
GB2608751B (en) * 2018-10-03 2023-06-14 Cmr Surgical Ltd Methods and systems for providing assistance to a user of a surgical robot system
GB2577717B (en) * 2018-10-03 2023-06-21 Cmr Surgical Ltd Monitoring performance during manipulation of user input control device of robotic system
US11478318B2 (en) 2018-12-28 2022-10-25 Verb Surgical Inc. Methods for actively engaging and disengaging teleoperation of a surgical robotic system
US11504200B2 (en) 2019-01-24 2022-11-22 Verb Surgical Inc. Wearable user interface device
US11478312B2 (en) 2019-05-10 2022-10-25 Verb Surgical Inc. Unmatching/matching UID to robot grasper for engaging teleoperation
US11337767B2 (en) 2019-05-17 2022-05-24 Verb Surgical Inc. Interlock mechanisms to disengage and engage a teleoperation mode
US11204640B2 (en) 2019-05-17 2021-12-21 Verb Surgical Inc. Methods for determining if teleoperation should be disengaged based on the user's gaze
US11504193B2 (en) 2019-05-21 2022-11-22 Verb Surgical Inc. Proximity sensors for surgical robotic arm manipulation
US11278361B2 (en) 2019-05-21 2022-03-22 Verb Surgical Inc. Sensors for touch-free control of surgical robotic systems
SG10202005706YA (en) * 2019-06-20 2021-01-28 Ss Innovations China Co Ltd Surgeon input device for minimally invasive surgery
US11696807B2 (en) * 2020-03-17 2023-07-11 Verb Surgical Inc. Drop detection of ungrounded master controller for a surgical robot

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0695800A (ja) 1992-09-17 1994-04-08 Nippon Nesamatsuku Kk ペングリップ式入力装置
JPH11194882A (ja) 1998-01-06 1999-07-21 Poseidon Technical Systems:Kk キーボードおよび入力装置
JP2012022548A (ja) * 2010-07-15 2012-02-02 Sony Corp 入力装置
JP2012099047A (ja) 2010-11-05 2012-05-24 Tokai Rubber Ind Ltd 入力装置
JP2016149306A (ja) 2015-02-13 2016-08-18 信越ポリマー株式会社 静電容量型入力装置
WO2016171757A1 (en) * 2015-04-23 2016-10-27 Sri International Hyperdexterous surgical system user interface devices

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3686686B2 (ja) * 1993-05-11 2005-08-24 松下電器産業株式会社 力覚呈示デバイス、データ入力装置、及びデータ入力デバイス装置
US6184868B1 (en) 1998-09-17 2001-02-06 Immersion Corp. Haptic feedback control devices
EP1514257A4 (en) 2002-04-12 2015-12-30 Henry K Obermeyer MANIFOLD WITH MULTIPLE AXES AND MEDIUM TRANSDUCER
US7643862B2 (en) * 2005-09-15 2010-01-05 Biomet Manufacturing Corporation Virtual mouse for use in surgical navigation
JP2009267643A (ja) * 2008-04-23 2009-11-12 Smk Corp リモートコントロール送信機
JP4626671B2 (ja) * 2008-04-24 2011-02-09 ソニー株式会社 入力装置及び制御システム
WO2012044334A2 (en) * 2009-11-13 2012-04-05 Intuitive Surgical Operations, Inc. Method and apparatus for hand gesture control in a minimally invasive surgical system
US8823639B2 (en) * 2011-05-27 2014-09-02 Disney Enterprises, Inc. Elastomeric input device
US10013082B2 (en) * 2012-06-05 2018-07-03 Stuart Schecter, LLC Operating system with haptic interface for minimally invasive, hand-held surgical instrument
EP2869780B1 (en) * 2012-07-03 2018-11-28 7D Surgical Inc. Attachments for tracking handheld implements
WO2015110882A1 (en) * 2014-01-24 2015-07-30 Koninklijke Philips N.V. Robotic control of imaging devices with optical shape sensing
CN107407961A (zh) * 2015-01-19 2017-11-28 寇夫音乐有限公司 计算机的手持式控制器、计算机的控制系统和计算机系统
EP3265895B1 (en) * 2015-03-01 2020-04-08 Tactical Haptics Embedded grasp sensing devices, systems, and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0695800A (ja) 1992-09-17 1994-04-08 Nippon Nesamatsuku Kk ペングリップ式入力装置
JPH11194882A (ja) 1998-01-06 1999-07-21 Poseidon Technical Systems:Kk キーボードおよび入力装置
JP2012022548A (ja) * 2010-07-15 2012-02-02 Sony Corp 入力装置
JP2012099047A (ja) 2010-11-05 2012-05-24 Tokai Rubber Ind Ltd 入力装置
JP2016149306A (ja) 2015-02-13 2016-08-18 信越ポリマー株式会社 静電容量型入力装置
WO2016171757A1 (en) * 2015-04-23 2016-10-27 Sri International Hyperdexterous surgical system user interface devices

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021010626A1 (ko) 2019-07-18 2021-01-21 주식회사 엘지화학 리튬-황 이차전지
WO2024080567A1 (ko) * 2022-10-11 2024-04-18 재단법인 아산사회복지재단 원격 중재시술용 마스터 장치

Also Published As

Publication number Publication date
US10736701B2 (en) 2020-08-11
US11096746B2 (en) 2021-08-24
AU2019275547A1 (en) 2020-01-02
CN108472083A (zh) 2018-08-31
US20220015839A1 (en) 2022-01-20
AU2020250296A1 (en) 2020-11-05
AU2020250296B2 (en) 2021-08-12
AU2019275547B2 (en) 2020-09-10
EP3518802A1 (en) 2019-08-07
JP6974463B2 (ja) 2021-12-01
US11690685B2 (en) 2023-07-04
US20180161108A1 (en) 2018-06-14
BR112019010047B1 (pt) 2023-05-09
BR112019010047A2 (pt) 2019-09-03
EP3518802A4 (en) 2020-06-24
CA3042739C (en) 2021-03-30
JP2019536556A (ja) 2019-12-19
US20200289212A1 (en) 2020-09-17
AU2017371074A1 (en) 2019-05-16
KR102295241B1 (ko) 2021-08-30
WO2018107062A1 (en) 2018-06-14
CN108472083B (zh) 2021-08-17
CA3042739A1 (en) 2018-06-14
AU2017371074B2 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
KR102295241B1 (ko) 로봇 수술에 사용하기 위한 사용자 인터페이스 디바이스
CN107708595B (zh) 超灵巧型手术系统用户接口装置
US20230301738A1 (en) Master control device and methods therefor
US20220022988A1 (en) User interface device having finger clutch
CN110604618B (zh) 具有夹持连杆的用户界面装置
KR20150084801A (ko) 충돌 회피용 스마트 드레이프
WO2018005680A1 (en) Systems and methods of steerable elongate device
JP2008510516A (ja) 血行動態パラメータの非侵入的測定
JP2023052883A (ja) 手術ロボットシステム及びその手術器具
US20210298855A1 (en) Master control device with finger grip sensing and methods therefor
JP2023052783A (ja) 指掴持部を有するユーザインターフェースデバイス
CN113194870B (zh) 使用者界面装置、手术机器人装置的主控制台及其操作方法
JP2021529014A (ja) グリップリンクを有するユーザインターフェース装置
US20220203071A1 (en) Input mechanism for prevention of unintended motion
KR101228190B1 (ko) 지능형 최소 침습 수술 도구

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant