KR20230113777A

KR20230113777A - 사용자 인터페이스와 마스터 제어기 사이의 상호작용

Info

Publication number: KR20230113777A
Application number: KR1020237021796A
Authority: KR
Inventors: 베잔자니 에산 누히; 키쓰 왓자; 아쉬윈람 수레쉬; 브랜든 디 잇코위츠; 숀 더피; 사르탁 고쉬
Original assignee: 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date: 2020-12-01
Filing date: 2021-11-22
Publication date: 2023-08-01
Also published as: WO2022119740A1; JP2023551532A; US20240111357A1; EP4255335A1

Abstract

탑재 구조물에 이동가능하게 탑재된 손으로 작동되는 선택기에 의한 클릭 이벤트의 작동을 제어하는 방법이 제공되며, 이 방법은, 제1 제어 상태에서, 유지력을 손으로 작동되는 선택기에 부여하는 단계; 제2 제어 상태에서, 중립 변위 위치로부터의 손으로 작동되는 선택기의 변위를 증가시키는 함수로서 증가하는 촉각력을 손으로 작동되는 선택기에 부여하는 단계; 디스플레이 시스템에서 클릭 이벤트의 발생을 야기하기 위한 클릭 이벤트 신호를 부여하는 단계; 제3 제어 상태에서, 크기가 감소된 크기로 감소하는 촉각력을 손으로 작동되는 선택기에 부여하는 단계를 포함한다.

Description

사용자 인터페이스와 마스터 제어기 사이의 상호작용

우선권 주장

본 출원은 2020년 12월 1일자로 출원된 미국 특허 출원 제63/120,202호 및 2021년 5월 12일자로 출원된 미국 특허 출원 제63/187,879호에 대한 우선권의 이익을 주장하며, 이들 각각은 그 전체가 본 명세서에 참조로 포함된다.

최소 침습적 의료 기술들은 진단 또는 수술 절차들 동안 손상되는 조직의 양을 줄임으로써 환자 회복 시간, 불편함 및 유해한 부작용들을 줄이도록 의도된다. 로봇 기술을 이용하는 원격조작형 수술 시스템들(소위 수술 로봇 시스템들)은 수동 복강경 및 개복 수술의 한계들을 극복하는데 이용될 수 있다. 원격현장감 시스템들에서의 진보들은 환자의 신체 내부의 외과의 뷰들, 수술 기구들의 증가된 모션 정도들, 및 장거리들에 걸친 수술 협력 능력을 제공한다. 수술 로봇 기술에 대한 원격조작형 제어는 통상적으로 수술 기구들의 모션을 제어하기 위한 손으로 제어되는 조작기들(hand-controlled manipulators)과의 사용자 상호작용을 포함하고, 로봇 시스템 이벤트들의 발생을 트리거링하기 위한 손가락으로 제어되는 선택기들(finger-controlled selectors)과의 사용자 상호작용을 포함한다. 촉각 피드백은 수술 로봇 기술에 대한 사용자의 원격조작형 제어를 개선할 수 있다.

일 양태에서, 탑재 구조물에 이동가능하게 탑재된 손으로 작동되는 선택기(hand-actuated selector)에 의한 클릭 이벤트의 작동을 제어하는 방법이 제공된다. 센서들은 중립 위치로부터의 손으로 작동되는 선택기의 변위 거리의 양을 감지한다. 손으로 작동되는 센서가 중립 위치로부터의 제1 임계 거리보다 작은 변위 거리에 있는 동안, 제1 제어 상태에 따라 하나 이상의 모터를 제어하여 유지력을 부여한다. 손으로 작동되는 센서가 중립 위치로부터의 제1 임계 거리와 중립 위치로부터의 제2 임계 거리 사이의 변위 거리에 있는 동안, 모터들은 중립 변위 위치로부터의 손으로 작동되는 선택기의 변위를 증가시키는 함수로서 증가하는 촉각력(haptic force)을 손으로 작동되는 선택기에 부여하도록 제2 제어 상태에 따라 제어된다. 일단 손으로 작동되는 센서가 중립 위치로부터의 제2 임계 거리를 충족했다면, 디스플레이 시스템에서 클릭 이벤트의 발생을 야기하기 위한 클릭 이벤트 신호가 부여된다. 또한, 일단 손으로 작동되는 센서가 중립 위치로부터의 제2 임계 거리를 충족했다면, 하나 이상의 모터는 제2 제어 상태 동안에 부여되는 촉각력의 최대 크기보다 작은 감소된 크기로 손으로 작동되는 선택기에 부여되는 촉각력의 크기를 감소시키도록 제3 제어 상태에 따라 제어된다.

다른 양태에서, 제1 2차원(2D) 평면에서의 커서의 모션을, 제2 2D 평면에서의 사용자 입력 디바이스의 모션에 기반하여 그리고 사용자 입력 디바이스에 이동가능하게 탑재된 손으로 작동되는 선택기의 모션에 기반하여 제어하는 방법이 제공된다. 손으로 작동되는 선택기가 제1 임계 레이트보다 작은 레이트로 사용자 입력 디바이스에 대해 이동하는 동안, 일정한 움직임 비율에 따라 제2 2D 평면에서의 사용자 입력 디바이스의 모션을 따르도록, 커서가 제1 2D 평면에서 이동하게 된다. 제어기에 대한 손으로 작동되는 선택기의 움직임 레이트가 제1 임계 레이트와 제2 임계 레이트 사이에 있는 것에 응답하여 사용자 입력 디바이스에 대한 손으로 작동되는 선택기의 움직임 레이트를 증가시키는 함수로서 감소하는 움직임 비율에 따라 제2 2D 평면에서의 사용자 인터페이스 디바이스의 모션을 따르도록, 커서가 제1 2D 평면에서 이동하게 된다. 사용자 입력 디바이스에 대한 손으로 작동되는 선택기의 움직임 레이트가 제2 임계 레이트 아래로 감소하는 것에 응답하여, 사용자 입력 디바이스에 대한 손으로 작동되는 선택기의 움직임 레이트를 감소시키는 함수로서 증가하는 모션 비율에 따라 제2 2D 평면에서의 사용자 입력 디바이스의 모션을 따르도록, 커서가 제1 2D 평면에서 이동하게 된다.

반드시 축척대로 그려진 것은 아닌 도면들에서, 유사한 번호들은 상이한 뷰들에서 유사한 구성요소들을 설명할 수 있다. 상이한 문자 접미사들을 갖는 유사한 번호들은 유사한 구성요소들의 상이한 사례들을 나타낼 수 있다. 일부 실시예들은 첨부 도면들의 그림들에서 제한이 아닌 예로서 예시된다.
도 1은 예시적인 원격조작형 수술 시스템을 나타내는 예시적인 개략도이다.
도 2a는 실시예에 따른, 예시적인 사용자 입력 제어 시스템을 나타내는 예시적인 도면이다.
도 2b는 예시적인 사용자 입력 제어 시스템의 예시적인 기구 모션 제어기를 나타내는 예시적인 도면이다.
도 2c는 예시적인 사용자 입력 제어 시스템의 예시적인 팔걸이를 나타내는 예시적인 도면이다.
도 3은 3D 모드 동작 동안 디스플레이 시스템 관찰 평면에서 관찰할 수 있는 예시적인 가상 수술 부위를 나타낸다.
도 4a 내지 도 4d는 2D 모드 동작 동안 디스플레이 시스템 관찰 평면에서 관찰할 수 있는 예시적인 그래픽 사용자 인터페이스들을 나타낸다.
도 5는 예시적인 관찰 평면 및 예시적인 촉각 평면을 나타내는 예시적인 도면이다.
도 6a는 손으로 작동되는 선택기에 대한 탑재물로서 작용하는 예시적인 사용자 입력 디바이스의 상세들을 나타내는 예시적인 사시도이다.
도 6b는 손으로 작동되는 선택기를 포함하는 사용자 입력 디바이스에서 사용자 입력 수신을 제어하고 사용자 입력 디바이스에서 촉각 피드백을 부여하는 제어 시스템을 나타내는 예시적인 기능 블록도이다.
도 7은 클릭 이벤트 동안 변위가능한 손으로 작동되는 선택기 위치의 변위 대 촉각력을 나타내는 제1 제어 함수 곡선을 나타내고, 또한 그립 버튼 변위들의 시간 정렬된 시퀀스 및 손 형성들의 시퀀스와의 시간 정렬을 나타내는 예시적인 도면이다.
도 8은 사용자 입력 디바이스에 대한 손으로 작동되는 선택기의 변위에 기반하여 촉각력의 제공 및 클릭 이벤트의 트리거링을 제어하는 제어 프로세스를 나타내는 예시적인 흐름도이다.
도 9는 클릭 이벤트가 없는 경우 제1 변환을 구현하는 입력 제어기의 구성을 나타내는 예시적인 도면이다.
도 10은 클릭 이벤트가 존재하는 경우 제2 변환을 구현하는 입력 제어기의 제어기 구성을 나타내는 예시적인 도면이다.
도 11은 클릭 이벤트 동안 제어기 모션 필터링 대 시간을 결정하기 위한 예시적인 제2 변환 함수를 나타내는 제2 제어 함수 곡선을 나타내고, 또한 그립 버튼 변위들의 시간 정렬된 시퀀스, 손 형성들의 시퀀스와의 시간 정렬, 및 관찰 평면 인스턴스들의 시간 정렬된 시퀀스를 나타내는 예시적인 도면이다.
도 12는 예시적인 컴퓨터 시스템의 예시적인 블록도이다.

아래의 설명은 본 기술분야의 임의의 통상의 기술자가 의료 디바이스 시뮬레이터의 시스템들 및 방법들을 생성하고 이용할 수 있게 하기 위해 제시된다. 실시예들에 대한 다양한 수정들이 본 기술분야의 통상의 기술자에게 용이하게 명백할 것이며, 본 명세서에 정의된 일반 원리들은 본 발명의 주제의 범위를 벗어나지 않고 다른 실시예들 및 응용들에 적용될 수 있다. 또한, 아래의 설명에서, 설명의 목적을 위해 많은 상세들이 개시된다. 그러나, 본 기술분야의 통상의 기술자는 본 발명의 주제가 이러한 특정 상세들을 이용하지 않고도 실시될 수 있다는 것을 알 것이다. 다른 경우들에서, 널리 공지된 머신 구성요소들, 프로세스들 및 데이터 구조들은 불필요한 상세로 본 개시내용을 모호하게 하지 않기 위해 블록도 형태로 도시된다. 이하 참조되는 도면들에서의 흐름도들은 프로세스들을 나타내는데 이용된다. 컴퓨터 시스템은 이러한 프로세스들 중 일부를 수행하도록 구성될 수 있다. 컴퓨터에 의해 구현되는 프로세스를 나타내는 흐름도 내의 모듈은 이들 모듈을 참조하여 설명된 동작을 수행하는 컴퓨터 프로그램 코드에 따른 컴퓨터 시스템의 구성을 나타낸다. 따라서, 본 발명의 주제는 도시된 실시예들로 제한되도록 의도되지 않고, 본 명세서에 개시된 원리들 및 피처들에 부합하는 가장 넓은 범위를 부여받아야 한다.

원격조작형 수술 시스템

도 1은 예시적인 원격조작형 수술 시스템(100)을 예시하는 개략도이다. 원격조작형 수술 시스템(100)은 환자(106)에 대해 다양한 절차들을 수행함에 있어서 사용자 입력 제어에 응답하여 수술 기구(104)의 동작을 조작하기 위한, 하나 이상의 연결 장치를 포함할 수 있는 기구 조작기 어셈블리(102)를 포함한다. 기구 조작기 어셈블리(102)는 수술대(108)에 탑재되거나 그 근처에 위치한다. 사용자 입력 제어 시스템(110)은 사용자(112)가 수술 부위를 보고 기구 조작기 어셈블리(102)를 제어하는 것을 가능하게 한다.

대안의 실시예들에서, 예시적인 원격조작형 수술 시스템(100)은 하나 초과의 기구 조작기 어셈블리(102)를 포함할 수 있다. 조작기 어셈블리들의 정확한 수는 다른 인자들 중에서도, 수술 절차 및 수술실 내에서의 공간 제약들에 의존할 수 있다.

사용자 입력 제어 시스템(110)은 수술대(108)와 동일한 방에 위치할 수 있다. 그렇지만, 외과의 또는 임상의와 같은 사용자(112)가 환자(106)와 상이한 방 또는 완전히 상이한 건물에 위치할 수 있다는 것을 이해해야 한다. 사용자 입력 제어 시스템(110)은 일반적으로 시각화 시스템(116) 및 디스플레이 시스템(120)을 포함하는 비전 시스템을 포함하고, 하나 이상의 사용자 입력 디바이스(204), 하나 이상의 기구 조작기 어셈블리(102) 및 기구 모션 및 입력 디바이스 촉각 피드백 촉각 제어기(본 명세서에서 "입력 제어기"라고 함)(118)를 포함하는 모션 시스템을 포함한다.

하나 이상의 사용자 입력 디바이스(204)는 사용자 입력 디바이스(204)에서 제공된 사용자 입력에 응답하여 하나 이상의 기구(104)의 모션을 제어하기 위해 하나 이상의 기구 조작기 어셈블리(102)에 동작가능하게 결합된다. 예시적인 원격조작형 수술 시스템(100)에서, 하나 이상의 사용자 입력 디바이스(204) 및 하나 이상의 기구 조작기 어셈블리(102)는 입력 제어기(118)에 통신가능하게 결합된다. 예시적인 모션 제어기는 하나 이상의 사용자 입력 디바이스(204)에서 수신된 사용자 입력을 처리하여 하나 이상의 기구 조작기 어셈블리(102)의 모션을 제어한다. 예시적인 입력 제어기(118)는 하나 이상의 기구 조작기 어셈블리(102)의 모션에 기반하여 그리고/또는 사용자 입력 디바이스들(204)의 모션에 기반하여 하나 이상의 사용자 입력 디바이스(204)에서의 촉각력들의 상태를 조정하는데 이용되는 촉각 피드백 신호들을 생성한다.

사용자 입력 디바이스들(204)은 중력 균형 아암들, 조이스틱들, 트랙볼들, 글러브들, 트리거-그립들, 트위스트가능한 노브들, 트위스트가능한 그립들, 슬라이더들, 레버 푸시 버튼들 등과 같은 임의의 수의 다양한 입력 디바이스들을 포함할 수 있다. 일부 실시예들에서, 사용자 입력 디바이스들(204)은 원격현장감, 또는 사용자(112)가 기구(104)를 직접 제어하는 강한 감각을 갖도록 사용자 입력 디바이스들(204)이 기구(104)와 통합되어 있다는 지각을 사용자(112)에게 제공하기 위해 연관된 수술 기구들(104)과 동일한 자유도를 제공받을 수 있다. 일부 실시예들에서, 사용자 입력 디바이스들(204)은 6 자유도 이상으로 이동하고, 또한 기구들을 작동시키기 위한(예를 들어, 꽉 잡은 조(jaw)를 닫는 것, 전극에 전위를 인가하는 것, 의학적 치료를 전달하는 것 등을 위한) 작동가능한 핸들 또는 다른 제어 피처(예를 들어, 하나 이상의 버튼, 스위치 등)를 포함할 수 있는 수동 입력 디바이스이다.

시각화 시스템(116)은 사용자(112)가 하나 이상의 기구를 조작할 때 수술 부위의 동시 2차원(2D) 또는 3차원(3D) 이미지를 사용자(112)에게 제공한다. 시각화 시스템(116)은 시각적 이미지들이 수술 부위 내에 배치된 내시경에 의해 캡처될 수 있도록 관찰 스코프 어셈블리를 포함할 수 있다. 시각화 시스템(116)은 제어 시스템(110)의 프로세서들을 포함할 수 있는 하나 이상의 컴퓨터 프로세서와 상호작용하거나 아니면 그에 의해 실행되는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합으로서 구현될 수 있다.

디스플레이 시스템(120)은 시각화 시스템(116)에 의해 캡처된 수술 부위 및 수술 기구들(104)의 시각적 이미지를 표시할 수 있다. 디스플레이 시스템(120) 및 사용자 입력 디바이스들(204)은 스코프 어셈블리 및 수술 기구들(104) 내의 시각적 이미징 디바이스의 상대적 위치들이 외과의의 눈들 및 손들의 상대적 위치들과 유사하도록 배향될 수 있고, 따라서 조작자(예를 들어, 사용자(112))는 기구(104)에 인접한 작업 볼륨을 실질적으로 진정한 현장감으로 보는 것처럼 사용자 입력 디바이스들(204)로 수술 기구(104)를 조작할 수 있다. "진정한 현장감(true presence)"은 이미지의 제시가 수술 기구들(104)을 물리적으로 조작하고 있는 조작자의 시점을 시뮬레이션하는 진정한 투시 이미지라는 것을 의미한다.

기구 모션 입력 제어기(118)는 적어도 하나의 프로세서 회로(도시되지 않음), 및 통상적으로 사용자 입력 디바이스들(204), 사용자 입력 제어 시스템(110) 및 디스플레이 시스템(120) 사이의 제어를 수행하기 위한 복수의 프로세서 회로를 포함한다. 입력 제어기(118)는 또한 본 명세서에 설명된 방법들 중 일부 또는 전부를 구현하는 소프트웨어 프로그래밍 명령어들을 포함한다. 입력 제어기(118)가 도 1의 간략화된 개략도에서는 단일 블록으로서 도시되지만, 입력 제어기(118)는 (예를 들어, 사용자 입력 디바이스들(204) 상의 그리고/또는 사용자 입력 제어 시스템(110) 상의) 다수의 데이터 처리 회로를 포함할 수 있다. 매우 다양한 중앙집중형 또는 분산형 데이터 처리 아키텍처들 중 임의의 것이 이용될 수 있다. 또한, 하나 이상의 처리 회로가 가상 머신들에서 구현될 수 있다. 이와 유사하게, 프로그래밍 코드는 다수의 개별 프로그램 또는 서브루틴으로서 구현될 수 있거나, 본 명세서에 설명된 원격조작형 시스템의 다수의 다른 양태에 통합될 수 있다. 다양한 실시예들에서, 입력 제어기(118)는 블루투스, IrDA, HomeRF, IEEE 802.11, DECT 및 무선 원격 측정과 같은 무선 통신 프로토콜들을 지원할 수 있다.

예시적인 입력 제어기(118)는 수술 기구(104)에서 감지된 힘 및 토크에 기반하여 사용자 입력 디바이스(204)에서 촉각력 및/또는 촉각 토크 피드백을 사용자 입력 디바이스(204)에 제공하는 서보 제어기를 포함할 수 있다. 예시적인 입력 제어기(118)는 사용자 입력 디바이스(204)의 입력 디바이스에서 감지된 힘 및 토크에 기반하여 사용자 입력 디바이스(204)에 촉각력 및/또는 촉각 토크 피드백을 제공하는 서보 제어기를 포함할 수 있다. 임의의 적절한 종래의 또는 특수화된 서보 제어기가 이용될 수 있다. 서보 제어기는 기구 조작기 어셈블리(102)와 별개이거나 일체일 수 있다. 서보 제어기는 또한 사용자 입력 디바이스(204)로부터 분리되거나 그와 일체일 수 있다. 예시적인 의료 시스템에서, 예시적인 서보 제어기 및 조작기 어셈블리(102)는 환자(106)에 인접하여 배치된 로봇 아암 카트의 일부로서 제공된다. 예시적인 의료 시스템에서, 예시적인 서보 제어기 및 사용자 입력 디바이스(204)는 사용자 입력 디바이스(204)에서 입력을 제공하는 사용자에 인접하여 배치된다.

이 문서의 목적을 위해, 수술 기구(104)는 "피제어 디바이스(controlled device)"라고 할 수 있다.

예시적인 원격조작형 수술 시스템(100)에서, 입력 제어기(118)는 적어도 하나의 피제어 디바이스(104)(예컨대, "수술 기구")를 제어하고, 하나 이상의 기구 조작기 어셈블리(102)의 하나 이상의 연결 장치(102-1)의 움직임을 제어할 수 있다. 예시적인 기구 조작기 어셈블리(102)는 기구(104)와 연관된 엔드 이펙터의 모션을 제어하도록 결합된 하나 이상의 모터를 포함한다. 예시적인 기구 조작기 어셈블리(102)는 기구(104)에 결합된 하나 이상의 엔드 이펙터의 모션을 제어하도록 결합된 하나 이상의 모터를 포함한다. 연결 장치들(102-1)은 셋업 구조물로서 지칭될 수 있으며, 이는 셋업 구조물이 공간 내의 소정 위치 및 배향으로 배치 및 유지되는 것을 가능하게 하는 조인트들(102-2)과 결합된 하나 이상의 링크를 포함한다. 수술 기구(104)를 자연적으로 또는 외과적으로 생성된 해부학적 오리피스 내로 전진시키고 수술 기구(104)를 이동시키고 3개의 선형 모션도(예를 들어, x, y, 및 z 선형 모션) 및 3개의 회전 모션도(예를 들어, 롤(roll), 피치(pitch), 요(yaw))를 포함할 수 있는 다수의 자유도로 기구의 엔드 이펙터를 이동시키기 위해, 기구의 하나 이상의 엔드 이펙터의 모션을 제어하도록 결합된 모터들이 수술 기구(104)에 추가로 결합된다. 예시적인 조작기 어셈블리(102)의 모터들은 예를 들어, 생체 검사 디바이스의 조에서 조직들을 꽉 잡기 위한 관절식 이펙터 또는 조직 샘플을 획득하거나 약을 투여하기 위한 이펙터, 또는 아래에 더 완전히 설명되는 바와 같은 다른 치료를 제공하기 위한 다른 이펙터와 같은 수술 기구(104)의 이펙터를 작동시키도록 구성될 수 있다. 참조로 포함되는, 발명의 명칭이 "Camera Referenced Control in a Minimally Invasive Surgical Apparatus"인 미국 특허 제6,671,581호는 최소 침습적 수술 장치에서의 카메라 참조 제어에 관한 추가 정보를 포함한다.

예시적인 원격조작형 수술 시스템(100)에서, 훈련을 위해, 디스플레이 시스템(120)은 환자 내의 수술 부위를 시뮬레이션하는 가상 환경을 표시할 수 있다. 가상 환경은 수술 기구(104)에 더하여 다양한 생물학적 구조물들을 포함할 수 있다. 사용자(112)는 가상 환경 내의 가상 기구를 조작하여, 실제 환자에 해를 끼칠 가능성이 없이 다양한 기량 또는 절차를 이용하여 훈련, 인증 또는 실험을 행한다.

라이브 수술 또는 시뮬레이션된 수술 절차에서, 디스플레이 시스템(120)은 사용자(예를 들어, 사용자(112))에게 사용자 인터페이스를 제시하는데 이용될 수 있다. 실시예에서, 디스플레이 시스템(120)은 스테레오 디스플레이와 같은 3D 뷰를 제공한다. 다른 예시적인 원격조작형 수술 시스템에서, 디스플레이 시스템(120)은, 고화질 내시경 카메라 등으로부터, 3D 이미지를 투사하는데 이용된다. 사용자 인터페이스는, 반투명 인터페이스를 이용하는 것 등에 의해, 오버레이로서 표시될 수 있거나, 수술 필드의 뷰 대신에 표시될 수 있다.

도 2a는 예시적인 사용자 입력 제어 시스템(110)을 예시하는 도면이다. 사용자는 사용자 입력 제어 시스템(110)에 앉을 수 있고, 디스플레이 시스템(120), 사용자 입력 디바이스들(204) 및 풋스위치 패널(206)에 액세스할 수 있다. 풋스위치 패널(206)은, 예를 들어, 사용자가 다양한 수술 기구들 사이에서 교환하는 것 또는 비디오 또는 카메라 피처들을 제어하는 것과 같은 다양한 작업들을 수행하는 것 사이에서 스위칭할 수 있게 하는 클러치로서 작용할 수 있다. 사용자 입력 제어 시스템(110)에 앉아 있는 동안, 사용자는 팔걸이(208)에 그 팔을 얹을 수 있다. 라이브 수술에서 작동할 때, 디스플레이 시스템(120)은 때때로 포털 또는 캐뉼라라고 지칭되는, 작은 개구를 통해 수술 부위에 삽입된 카메라로부터 캡처된 바와 같은 수술 필드를 표시한다. 훈련 목적을 위해, 시뮬레이션된 환경이 디스플레이 시스템(120) 상에 표시될 수 있고, 여기서 시뮬레이션된 환경은 수술 부위 및 가상 피제어 디바이스들(예를 들어, 수술 기구들)의 입체 디스플레이일 수 있다. 사용자가 사용자 입력 디바이스들(204)을 움직일 때, 가상 수술 기구는 입체 디스플레이에서 대응하는 방식으로 움직일 수 있다.

도 2b는 사용자 입력 제어 시스템(110)에 동작가능하게 결합된 예시적인 사용자 입력 디바이스들(204)을 도시하는 예시적인 도면이다. 예시적인 사용자 입력 디바이스들(204)은 피봇식 조인트들(229)에 의해 함께 연결된 복수의 링크(227)를 포함하는 관절식 아암 부분을 포함하는 짐벌 탑재물(225)을 포함한다. 사용자는 예를 들어 핀처 푸시 버튼과 같은 변위가능한 손으로 작동되는 선택기(212) 위에 자신의 엄지 및 집게 손가락을 위치시킴으로써 손가락 루프들(210)을 잡는다. 예시적인 사용자 입력 디바이스(204)에서, 사용자의 엄지와 집게 손가락은 전형적으로 손가락 루프들(210)을 생성하기 위해 슬롯들을 통해 끼워진 스트랩들에 의해 변위가능한 손으로 작동되는 선택기(212) 상에 유지된다. 예시적인 선택기(212)는, 예를 들어, 사용자의 엄지가 하나의 그립 버튼과 맞물리고 사용자의 집게 손가락이 다른 것과 맞물리는 상태에서 사용자의 엄지와 집게 손가락들 사이에 파지될 수 있도록 일정 거리로 이격된, 도 5를 참조하여 아래에 설명되는, 제1 및 제2 그립 버튼들(503a, 503b)을 포함한다. 그립 버튼들 중 적어도 하나는 그들 사이에 맞물린 그립 버튼들에 부여되는 사용자 압착력에 응답하여 그립 버튼들 사이의 변위 거리를 감소시키도록 이동가능하다. 예시적인 사용자 입력 디바이스(204)의 조인트들(229)은, 예를 들어, 힘 피드백, 중력 보상 등을 제공하기 위해 모터들 등에 동작가능하게 연결된다. 더구나, 적절히 배치된 센서들, 예를 들어 인코더들 또는 전위차계들 등이 예시적인 사용자 입력 디바이스(204)의 각각의 조인트(229) 상에 배치되어, 예시적인 사용자 입력 디바이스(204)의 조인트 위치들이 사용자 입력 제어기(118)에 의해 결정되게 함으로써, 사용자 입력 디바이스들에 동작가능하게 결합된 하나 이상의 기구의 모션을 제어하거나, 하나 이상의 입력 디바이스(204)에 부여되는 촉각 피드백 힘들을 제어하게 한다.

예시적인 원격조작형 수술 시스템(100)은 2개의 사용자 입력 디바이스(204)를 포함하고, 각각은 사용자가 각각의 손의 집게 손가락 및 엄지를 삽입할 수 있는 2개의 손가락 루프(210)를 갖는다. 2개의 사용자 입력 디바이스(204)는 각각 수술 기구 또는 가상 수술 기구를 제어할 수 있다. 사용자는 하나 또는 양자의 기구 모션 제어기(204)를 위한 다수의 기구들 사이에서 교환하기 위한 소프트웨어 또는 하드웨어 메커니즘들을 제공받을 수 있다. 예를 들어, 사용자는 2개의 포셉 및 리트랙터와 같은 3개의 기구를 제공받을 수 있다. 포셉들 중 하나 또는 둘 다는 조직을 소작할 수 있는 에너지 기구일 수 있다. 사용자는 먼저 각각의 기구 모션 제어기(204)에서 포셉들을 이용하고, 그 후 수술 필드의 섹션을 노출시키도록 리트랙터를 제어하기 위해 우측 예시적인 사용자 입력 디바이스(204)를 스위칭하고, 그 후 조직을 절단, 프로빙, 또는 해부하는 것을 계속하기 위해 우측 예시적인 사용자 입력 디바이스(204)를 포셉들로 다시 스위칭할 수 있다.

예시적인 사용자 입력 디바이스들(204)을 이용하는 동안, 사용자는 집게 및 엄지(또는 루프들(210) 내에 삽입된 임의의 2개의 손가락)를 이용한 핀치 모션에 더하여 회전 모션(롤, 피치, 요)과 함께 전체 3D 모션 범위(x, y 및 z 축)를 제공받는다. 이와 같이, 적절한 사용자 입력 디바이스(204)를 움직임으로써, 사용자는 전체 모션 범위를 통해 대응하는 수술 기구를 조작할 수 있다.

도 2c는 실시예에 따른, 사용자 입력 제어 시스템(110)의 팔걸이(208)를 도시하는 도면이다. 팔걸이(208)는 터치스크린, 소프트 버튼, 기계적 버튼 등과 같은 하나 이상의 터치 제어부를 포함할 수 있다. 도 2c에 도시된 예에서, 사용자가 다양한 비디오, 오디오 또는 다른 시스템 설정들을 구성할 수 있는 단일 터치스크린(214)이 도시된다.

그래픽 사용자 인터페이스 제어의 개요

수술 동안, 사용자는 다양한 시간에 사용자 인터페이스를 제시받을 수 있다. 예를 들어, 사용자가 훈련 모듈들의 선택으로부터 선택하는 것을 허용하기 위해 사용자 인터페이스가 제시될 수 있다. 다른 예로서, 사용자가 사용자 입력 제어 시스템(110)의 동작의 다양한 양태들을 구성할 수 있게 하기 위해 사용자 인터페이스가 제시될 수 있다. 사용자가 예시적인 사용자 입력 디바이스(204)를 조작하는 한 손 또는 양 손을 가질 때, 예시적인 사용자 입력 디바이스(204)를 해제한 다음 사용자 입력 제어 시스템(110)의 팔걸이(208)에 통합된 터치스크린 인터페이스와 같은 다른 입력 메커니즘을 조작해야 하는 것이 불편할 수 있다.

도 3은 3D 모드에서 동작하는 디스플레이 시스템(120)에 의해 표시되는 가상 수술 부위를 도시하는 예시적인 도면이다. 가상 수술 부위(300)는 디스플레이 시스템(120) 상에 표시될 수 있고 2개의 가상 피제어 디바이스들(302)을 포함한다. 이 모드에서 동작할 때, 사용자 입력 디바이스들(204)은 피제어 디바이스들(302)을 제어하기 위해 (가상 수술 부위(300)의 경계들 내의) 자유 공간에서 3D로 이동할 수 있다. 제2 모드에서, 사용자 입력 디바이스들(204)은 평면이거나, 예를 들어 완만한 곡률과 같은 윤곽을 가질 수 있는 가상 표면 내에서의 움직임으로 제한된다. 예를 들어, 제2 모드는 사용자 입력 디바이스들(204)을 예를 들어 포인팅 및 클릭 디바이스들로서 이용하여 제어될 수 있는 제어 요소들(예로서, 버튼, 노브, 슬라이더, 풀다운 메뉴)을 포함하는 그래픽 사용자 인터페이스를 제시하는데 이용될 수 있다. 제2 모드는, 예를 들어, 2D 이미지, 예컨대 수술전 이미지를 제시하는데 이용될 수 있다. 제2 모드는 2D 가상 표면과 대략적으로 정렬될 수 있는 사용자 입력 디바이스(204)에 대한 동작 공간을 제공하는데 유용하다.

도 4a는 2D 모드에서 동작하는 디스플레이 시스템(120)에 의해 표시되는 제1 예시적인 그래픽 사용자 인터페이스 스크린 디스플레이(400)를 도시한다. 제1 그래픽 사용자 인터페이스(400)는 선택적으로 수술 부위 뷰에 대한 오버레이로서 또는 독립형 인터페이스로서 표시된다. 커서(402)가 제1 사용자 인터페이스(400) 내에 표시되고, 버튼, 슬라이더, 옵션 목록 등과 같은 하나 이상의 사용자 인터페이스 제어부를 활성화하는데 이용된다. 커서(402)는 사용자 입력 디바이스(204)에 의해 제어될 수 있다. 사용자 입력 디바이스(204)에 결합된 서보 제어부들을 이용하여, 사용자는 제1 사용자 인터페이스(400)를 터치하는 감각을 제공하기 위해 촉각 피드백을 제공받을 수 있다. 예를 들어, 사용자가 입력 디바이스(204)를 이용하여 사용자 인터페이스 제어 구조물의 가상 모션을 실행하여, 예를 들어 가상 버튼을 선택하거나, 가상 슬라이더 제어부를 슬라이딩하거나, 사용자 인터페이스에 표시된 가상 다이얼을 이동시킬 때, 입력 디바이스(204)에 결합된 사용자 입력 디바이스(204) 모터들은 입력 디바이스(204)가 진동하거나, 흔들리거나, 사용자의 모션에 반대되는 반작용력을 부여하거나, 사용자 인터페이스 제어부의 작동에 다른 방식으로 반응하여 사용자에게 감각 피드백을 제공하게 할 수 있다. 도 4a는 사용자-선택가능한 메뉴-풀다운 화살표(404)를 포함하는 예시적인 로그인 디스플레이(401)를 나타낸 것이다. 사용자는 커서(402)를 이동시켜 메뉴 선택 화살표(402)를 오버레이할 수 있으며, 따라서 사용자는 변위가능한 손으로 작동되는 선택기(212)를 (예를 들어, 압착에 의해) 작동시켜, 예를 들어 디스플레이 시스템(120) 내의 풀다운 메뉴(도시되지 않음)의 표시 또는 수술 부위(300) 내의 전기 수술 기구(도시되지 않음)의 에너지 공급과 같은 수술 시스템 액션의 발생을 야기하는 클릭 이벤트를 부여함으로써 오버레이된 메뉴 선택 화살표(402)를 선택할 수 있다.

"클릭 이벤트"라고 본 명세서에서 사용될 때, 클릭 이벤트는 사용자 입력 디바이스(204)에 대한 변위가능한 손으로 작동되는 선택기(212)의 변위를 지칭할 수 있으며, 이는 제어기(118)가 사용자 인터페이스 디스플레이 내의 선택가능한 요소를 선택 또는 작동시키기 위한 신호를 디스플레이 시스템으로 전송하게 한다. 본 명세서에서 사용될 때, "클릭 이벤트"는 또한 사용자 입력 디바이스(204)에 대한 변위가능한 손으로 작동되는 선택기(212)의 변위를 지칭할 수 있으며, 이는 제어기(118)가 조작기 어셈블리의 하나 이상의 모터에 신호를 전송하게 하여 실제 또는 가상 기구, 기구 엔드 이펙터, 또는 조작기 라인(manipulator linage) 중 하나 이상의 모션을 야기하게 한다. 예시적인 원격조작형 수술 시스템(100)에서, 클릭 이벤트는 시스템(100)의 2D 동작 동안 사용자 인터페이스 디스플레이 내의 선택가능한 요소의 선택 또는 작동을 야기하고, 클릭 이벤트는 시스템(100)의 3D 모드 동작 동안 조작기 어셈블리의 실제 또는 가상 구성요소의 모션을 야기한다.

예를 들어, 2D 모드 동작 동안, 사용자는 풀다운 메뉴로부터 메뉴 항목을 선택하기 위해 커서를 이용할 수 있다. 로그인 스크린(401)은 또한 다수의 제어 요소(즉, 가상 버튼)(406)를 갖는 키패드를 포함한다. 사용자는 커서(402)를 이동시켜 키패드 제어 요소를 오버레이할 수 있고, 그 결과 사용자는 디스플레이 영역(408)에 선택된 요소를 표시하게 하는 클릭 이벤트를 부여하기 위해, 변위가능한 손으로 작동되는 선택기(212)를 압착함으로써 오버레이된 키패드 버튼을 선택할 수 있다. 예시적인 원격조작형 수술 시스템(100)에서, 키보드 제어 패널은, 예를 들어, 에너지 레벨 전기 수술 기구를 선택하는데 이용될 수 있다.

도 4b는 다수의 제어 요소 메뉴(420) 및 예시적인 기구 조작기 어셈블리(102)를 보여주는 기구 조작기 어셈블리 이미지(422)를 포함하는 예시적인 제2 그래픽 사용자 인터페이스 스크린 디스플레이(421)를 도시한다. 예시적인 원격조작형 수술 시스템(100)에서, 사용자는 제어 요소 메뉴(420) 내로부터 제어 요소를 선택하기 위해 2D 동작 모드에서 사용자 입력 디바이스(204)를 이용할 수 있고, 그 결과 선택된 메뉴 요소에 대응하는 상이한 메뉴(도시되지 않음)가 표시된다.

도 4c는 도 4b 및 도 4c의 Endowrist 조작 제어 요소의 사용자의 선택에 응답하여 기구 조작기 어셈블리 이미지(422)에 오버레이되는 Endowrist 조작 메뉴(425)가 표시된 도 4b의 예시적인 제2 그래픽 사용자 인터페이스 스크린 디스플레이(421)를 도시한다.

도 4d는 도 4b 내지 도 4d의 커서 모드 제어 요소의 사용자의 선택에 응답하여 기구 조작기 어셈블리 이미지(422)에 오버레이되는 커서 모드 메뉴(427)가 표시된 도 4b 및 도 4c의 예시적인 제2 그래픽 사용자 인터페이스 스크린 디스플레이(421)를 도시한다. 더 많거나 더 적은 스크린들이 제2 사용자 인터페이스(400)에서 이용될 수 있음을 이해한다.

예시적인 제1 및 제2 그래픽 사용자 인터페이스 디스플레이들(400, 402)은 2D 인터페이스들로서 제시된다. 따라서, 사용자가 그래픽 사용자 인터페이스에서 커서를 제어하고 있을 때, 사용자 입력 디바이스들(204)은 2D 영역으로 제한된다. 대조적으로, 수술 시뮬레이션 모드(예를 들어, 제1 모드)에 있을 때, 사용자 입력 디바이스들(204)은 전체 또는 거의 전체 3D 모션 자유도가 허용된다. 그러나, 그래픽 사용자 인터페이스 모드(예로서, 제2 모드)에서, 사용자 입력 디바이스들(204)은 2D 모션으로 제한된다. 2D 모션은 평면 영역으로 또는 예를 들어 완만한 볼록 곡률과 같은 완만한 곡률을 갖는 영역으로 제한될 수 있다. 사용자 입력 디바이스들(204)의 모션이 제한되는 2D 영역은 사용자의 손들 및 사용자 입력 디바이스들(204)이 디스플레이 시스템(202)에 표시된 것과 대략 동일한 각도에 있도록 공간에서 배향될 수 있다. 이러한 상관은 사용자가 표시된 그래픽 사용자 인터페이스에 대해 3D 공간에서 그 손을 배향시키는데 도움을 줄 수 있다.

관찰 평면(502) 및 촉각 평면(504)을 도시하는 예가 도 5에 도시되어 있다. 관찰 평면(502)은, 예를 들어, 도 4a 내지 도 4d의 예시적인 제1 및 제2 그래픽 사용자 인터페이스 스크린 디스플레이들(400, 421)이 표시될 수 있는 디스플레이 시스템(202)에서 사용자에 의해 그래픽 사용자 인터페이스 이미지들이 사용자에게 제시되는 평면 영역을 나타낸다. 관찰 평면(502) 내의 데카르트 좌표 위치들은 촉각 평면(504) 내의 데카르트 좌표 위치들에 대응한다. 사용자는 사용자 입력 디바이스들(204) 중 하나를 촉각 평면 내의 대응하는 데카르트 좌표 위치로 이동시키고 그 대응하는 위치를 클릭함으로써 관찰 평면(502) 내의 데카르트 좌표 위치에 표시된 제어 요소를 선택할 수 있다. 특히, 관찰 평면(502)에 표시된 그래픽 사용자 인터페이스에서의 커서의 모션은 촉각 평면(504)에서의 사용자 입력 디바이스(204)의 모션을 따른다. 따라서, 사용자가 사용자 입력 디바이스(204)로 하여금 2D 촉각 영역(504) 내에서 이동하게 할 때, 시각적 이미지 영역(502) 내에 표시되는 제1 및 제2 그래픽 사용자 인터페이스 스크린 디스플레이들(400, 421) 중 하나 내에서 커서가 대응하여 이동하게 표시된다. 제2 모드에서, 사용자 손 모션은 관찰 영역(502) 내의 커서 이미지의 대응하는 모션을 야기하는 2D 영역(504) 내의 사용자 입력 디바이스(204)의 대응하는 모션을 야기한다. 시각적 이미지 영역(502)에 표시된 원하는 제어 요소를 선택하기 위해, 사용자는 사용자 입력 디바이스(204)를 그 손과 맞물리게 하고, 원하는 제어 요소와 커서를 시각적으로 정렬하기 위해 커서의 대응하는 모션을 야기하도록 손을 이동시켜 사용자 입력 디바이스(204)의 대응하는 모션을 야기할 수 있다. 커서가 정렬되면, 사용자는 그 후, 예를 들면, 클릭-선택(click-to-select)('클릭') 사용자 인터페이스 액션에 영향을 주기 위해 변위가능한 손으로 작동되는 선택기(212)에 모션을 부여하도록 손가락 모션을 부여함으로써 원하는 제어 요소를 선택할 수 있다. 클릭에 응답하여, 프로세서 회로는 선택된 제어 요소와 연관된 액션을 구현한다.

사용자 입력 디바이스들(204)은 2D 촉각 평면 영역(504) 내에 제한된다. 사용자가 촉각 평면(504)의 z축에 대해 사용자 입력 디바이스(204)를 "위로" 또는 "아래로" 이동시키려고 시도할 때, 사용자는 이러한 움직임으로부터 저항을 만날 수 있다. 사용자가 디스플레이 구성 설정에서와 같이 관찰 평면(502)의 배향을 변경하는 경우, 촉각 평면(504)은 관찰 평면(502)에 대해 대략 평행한 배향을 유지하도록 조정될 수 있다. 다양한 실시예들에서, 촉각 평면은 관찰 평면에 대해 고정된 또는 동적 각도 오프셋으로 배향될 수 있다. 대안적으로, 촉각 평면은 지면에 대해 고정된 또는 동적 각도 오프셋으로 배향될 수 있다. 사용자는 또한 제약들, 예를 들어, 촉각 평면의 위치 또는 배향을 변경할 수 있다.

하나 이상의 프로세서 회로는 제1(3D) 모드에서 대응하는 움직임을 피제어 디바이스에 부여할 때 사용자 입력 디바이스(204)의 움직임을 스케일링하고, 제2(2D) 모드에서 대응하는 움직임을 커서에 부여하도록 구성된다. 제1 모드에서, 스케일링은 사용자가 종래의 개복 수술보다 더 쉽게 복잡한 의료 절차들을 수행할 수 있게 한다. 스케일링은 대응하는 움직임을 피제어 디바이스 또는 커서에 부여하기 전에 스케일 인자에 따라 사용자 입력 디바이스(204)의 명령된 움직임을 스케일링하는 것을 포함한다. 스케일링은 사용자 입력 디바이스(204)의 속도 및 위치의 변화를 고려하고, 이들을 피제어 디바이스 또는 커서의 대응하는 스케일링된 위치 변화로 변환한다. 스케일 인자는 조정가능하며, 제1 및 제2 모드들에서의 동작 동안 상이할 수 있다. 제2 모드에서, 예를 들어, 스케일 인자는 1(즉, 스케일링 없음)일 수 있다. 참조로 포함되는, 발명의 명칭이 "Medical robotic System Adapted to Inhibit Motions Resulting in Excessive End Effector Forces"인 미국 특허 제7,843,158호는 스케일링에 관한 추가 정보를 포함한다.

손으로 작동되는 클릭 선택기가 있는 사용자 입력 디바이스

도 6a는 변위가능한 손으로 작동되는 클릭 선택기(212)를 위한 탑재물로서 작용하는 예시적인 사용자 입력 디바이스(204)의 상세를 보여주는 예시적인 사시도이다. 예시적인 사용자 입력 디바이스(204)는 짐벌 탑재 어셈블리(225) 상에 탑재되고, 도 2a의 입력 제어기(118)에 결합된다. 짐벌 탑재물(225)은 전체 제어기(225)의 모션을 감지하기 위한 제어기 모션 센서(제1 센서)(529)를 포함한다. 예시적인 사용자 입력 디바이스(204)는 다수의 자유도에서 제어기의 모션을 감지하기 위한 다수의 제어기 모션 센서(529)(하나만 도시됨)를 포함할 수 있다. 예시적인 사용자 입력 디바이스(204)는 세로축(531)을 포함하는 길게 늘여진 핸들(530)로서 구성된 핀처 탑재 부재를 포함하는 예시적인 변위가능한 손으로 작동되는 선택기(212)를 포함한다. 예시적인 변위가능한 손으로 작동되는 선택기(212)는 예시적인 사용자 입력 디바이스(204)와 일체로 형성되어, 손으로 작동되는 선택기(212)가 사용자 입력 디바이스(204)의 2D 모션과 일제히 이동하고, 손으로 작동되는 선택기(212)가 사용자 입력 디바이스(204)의 3D 모션과 일제히 이동한다. 예시적인 손으로 작동되는 선택기(212)는 핸들(530) 상에 탑재된 제1 및 제2 관절식 핀처 그립 버튼들(530a, 530b)을 포함한다. 핸들(530)은 손으로 작동되는 선택기(212)의 그립 버튼들(530a, 530b)을 탑재하기 위한 탑재 부재로서 작용한다. 손으로 작동되는 선택기(212)의 제1 및 제2 그립 버튼들(530a, 530b)은 핸들(530)의 대향 측면들로부터 경사지게 서 있다.

제1 및 제2 그립 버튼들(530a, 530b)은 핸들(530)에 고정되어 핸들(530)에 대해 관절로 연결된다. 제1 및 제2 그립 버튼들(530a, 530b)은 그 원위 단부들이 서로 더 가깝게 이격되고 그 근위 단부들이 더 멀리 이격된 상태로 핸들(530)에 대해 경사진다. 본 명세서에서 사용될 때, 용어 "근위"는 조작기 지지 구조물에 더 가깝고 환자 해부 구조로부터 더 먼 위치를 나타내고, 용어 "원위"는 조작기 지지 구조물로부터 더 멀고 환자에 더 가까운 위치를 나타낸다. 제1 및 제2 그립 버튼들(530a, 530b)은 사용자에 의해 그들에 가해지는 힘들에 따라 변할 수 있는 그 원위 단부들 사이의 각도 α를 갖는다. 예시적인 원격조작형 수술 시스템(100)에서, 사용자가 그립 버튼들(530a, 530b)을 서로 더 가깝게 이동시키기 위한 핀치 힘을 가하지 않을 때, 그립 버튼들(530a, 530b)은 중립 위치에 있다. 예시적인 사용자 입력 디바이스(204)에서, 그립 버튼들(530a, 530b)은 중립 위치에서 서로 최대로 변위된다. 예시적인 사용자 입력 디바이스(204)에서, 그립 부재들이 중립 위치에 있을 때, 각도 α는 예각이다. 예시적인 사용자 입력 디바이스(204)에 있어서, 중립 위치에서, 하나 이상의 모터(545)는 그립 버튼들(530a, 530b)을 서로를 향해 이동시키기 위해 사용자가 가하는 힘에 저항하는 촉각 대항력을 그립 버튼들(530a, 530b)에 부여하고, 사용자는 그립 버튼들(530a, 530b)을 서로를 향해 이동시키기 위해 이 촉각 대항력을 극복해야 한다. 대안의 예시적인 사용자 입력 디바이스(204)에 있어서, 중립 위치에서, 스프링과 같은 바이어싱 부재(도시되지 않음)는 그립 버튼들(530a, 530b)의 서로를 향한 변위에 저항하는 반작용력을 제공하고, 사용자는 그립 버튼들(530a, 530b)을 서로를 향해 이동시키기 위해 이 반작용력을 극복해야 한다.

예시적인 사용자 입력 디바이스(204)에서, 하나 이상의 모터(545)는 그립 버튼들(530a, 530b)이 (i) 사용자가 그립 버튼들(530a, 530b)에 힘을 부여하지 않을 때의 제1 조건, 및 (ii) 그립 버튼들(530a, 530b)이 그들 사이에 규정된 임계치를 충족하는 변위 위치 거리를 가질 때의 제2 조건에서 중립 위치로 이동하게 한다. 대안의 예시적인 사용자 입력 디바이스(204)에서, 스프링과 같은 바이어싱 부재(도시되지 않음)는 그립 버튼들(530a, 530b)이 (i) 사용자가 그립 버튼들(530a, 530b)에 힘을 부여하지 않을 때의 제1 조건, 및 (ii) 그립 버튼들(530a, 530b)이 그들 사이에 규정된 임계치를 충족하는 변위 위치 거리를 가질 때의 제2 조건에서 중립 위치로 이동하게 한다. 예시적인 사용자 입력 디바이스(204)에서, 제2 조건은 그립 버튼들(530a, 530b)이 그들 사이에 아래에 설명되는 제2 그립 임계치(T_G2) 거리보다 작은 변위 위치 거리를 가질 때 발생한다. 클릭 이벤트는 수술 시스템이 그립 버튼들(530a, 530b)이 제2 그립 임계치(T_G2) 거리보다 더 큰 클릭 이벤트 변위 위치에 도달하기 전에 또는 그곳에서 디스플레이 시스템(120)에서의 디스플레이 액션 또는 수술 부위(300) 내의 기구 액션과 같은 액션을 시작하게 한다. 따라서, 변위 거리 위치가 후술하는 그래프(770)의 제1 제어 상태(776)에 있을 때까지는, 그립 버튼들(530a, 530b) 사이의 감소된 변위 거리에 응답하여 액션이 시작되었다. 예를 들어, 도 4b 및 도 4c의 제2 그래픽 사용자 인터페이스 스크린 디스플레이(421)의 제어 요소 메뉴(420) 내의 제어 요소가 선택되었을 것이고, 선택된 제어 요소에 대응하는 스크린 디스플레이가 표시될 것이다. 예를 들어, 클릭 이벤트가 Endowrist 조작 제어 요소의 선택인 경우, 도 4c의 Endowrist 조작 메뉴(425)가 표시될 것이다.

예시적인 사용자 입력 디바이스(204)에서, 사용자는 그립 버튼들과 핸들 탑재물 사이에 변위가 없는 정지면으로서 작용하는 핸들 탑재물(530)에 그립 부재들이 접할 때까지 그들 사이의 변위를 감소시키기 위해 핸들(530)을 향해 각각의 방향들로 각각의 그립 버튼들(530a, 530b)에 힘을 부여할 수 있다. 더 구체적으로, 일부 실시예들에 따르면, 제1 및 제2 그립 버튼들(530a, 530b)은 마스터 피봇축(536)을 중심으로 피봇하도록 핸들에 고정된다. 하나 이상의 모터(545) 또는 다른 바이어싱 부재는 그립 버튼들(530a, 530b)을 멀어지게 압박한다. 예시적인 사용자 입력 디바이스(204)에서, 하나 이상의 모터(545)는 핸들(530)을 향한 그립 버튼들(530a, 530b)의 사용자-부여된 방사상 안쪽 방향 모션 동안 탑재 부재(530)로부터 그립 버튼들(530a, 530b)을 향해 방사상 바깥쪽 방향으로 가변 촉각력을 부여하도록 구성된다. 예시적인 사용자 입력 디바이스(204)에서, 하나 이상의 모터(545)는 양쪽 그립 버튼들(530a, 530b)에 촉각력들을 부여할 수 있는 단일 모터(도시되지 않음)를 포함할 수 있다. 대안의 예시적인 사용자 입력 디바이스(204)에서, 하나 이상의 모터(545)는 제1 그립 버튼(530a)에 촉각력을 부여하는 제1 모터(도시되지 않음)를 포함할 수 있고 제2 그립 버튼(530b)에 촉각력을 부여하는 제2 모터(도시되지 않음)를 포함할 수 있다. 핸들(530)은 제1 경로를 따른 그립 버튼들(530a, 530b)의 움직임 및 중립 변위 위치로부터의 그 변위를 감지하는 홀 효과 디바이스와 같은 하나 이상의 변위 센서(제2 센서)(547)를 포함한다. 손가락 루프들(도시되지 않음)은 그립 버튼들로부터의 미끄러짐을 피하기 위해 핸들에 부착될 수 있다. 선택적으로 예를 들어, 엄지 및/또는 손가락에 대한 강성 또는 연성 루프들을 포함하는 임의의 수술 기구 핸들들을 비롯한 아주 다양한 그립 버튼 구조물들이 본 개시내용의 범위 내에서 이용될 수 있다. 그립 버튼들과 피제어 디바이스들 사이의 제어 관계들은 발명의 명칭이 "Grip Strength with Tactile Feedback for Robotic Surgery"인 미국 특허 제6,594,552호에 더 상세히 설명되어 있으며, 그 전체 개시내용은 본 명세서에 참조로 명확히 포함된다.

제1(3D) 동작 모드에서, 사용자 입력 디바이스(204) 및 그립 버튼들(530a, 530b)은 예를 들어 사용자 입력 디바이스(204)의 3D 모션 및 마스터 피봇축(536)을 중심으로 하는 그립 버튼들(530a, 530b)의 모션에 응답하여 피제어 디바이스(104)의 모션을 제어하기 위해 운동학을 통해 동작가능하게 결합된다. 제2(2D) 동작 모드에서, 제어기(204) 및 그립 버튼들(530a, 530b)은 관찰 평면(502) 내의 2D 커서 움직임 및 관찰 평면(502) 내의 제어 요소 선택을 제어하도록 동작가능하게 결합된다.

예시적인 원격조작형 수술 시스템(100)에서, 하나 이상의 모터는 핸들(530)로부터 방사상 바깥쪽 방향으로 가변 촉각력을 그립 버튼들(530a, 530b)에 부여하도록 선택가능하게 구성된다. 사용자는 그 손가락들을 이용하여 그립 버튼들(530a, 530b)에 힘들을 부여하여, 그들을 그들 사이에 위치하는 핸들(530)을 향해 그리고 서로를 향해 압박함으로써, 그들이 서로 더 가까이 이동하게 할 수 있다. 아래에 설명되는 바와 같이, 제2(2D) 모드에서, 사용자는 중립 저항력 및 모터 제어 촉각력을 극복하고 그립 버튼들(530a, 530b)을 서로를 향해 압박하기 위해 손가락 힘들을 핸들(530)을 향해 방사상 안쪽 방향으로 부여함으로써, 그래픽 사용자 인터페이스 제어 요소를 선택하기 위한 클릭 이벤트를 수행하기 위해 손으로 작동되는 선택기(212)를 이용할 수 있다. 후술하는 바와 같이, 관찰 평면(502) 내의 클릭 이벤트의 발생이 언제 발생했는지를 나타내는 촉각 피드백을 제공하기 위해 손으로 작동되는 선택기(212)의 그립 버튼들(530a, 530b)에 가변 촉각력이 부여된다.

예시적인 사용자 입력 디바이스(204)는 사용자가 3개의 축, 축(534a), 축(534b), 및 축(534c)을 중심으로 작동가능한 탑재 부재 핸들(530)을 회전시킬 수 있게 하는 4 자유도 짐벌 탑재물(225)을 포함한다. 제1(3D) 모드에서의 동작 동안, 기구(104)와 같은 물리적 또는 가상적 피제어 디바이스는 사용자 입력 디바이스(204)의 3D 모션을 따른다. 제2(2D) 모드에서의 동작 동안, 2D 관찰 영역(502) 내의 커서와 같은 피제어 사용자 인터페이스 요소는 2D 영역(504) 내의 사용자 입력 디바이스(204)의 2D 모션을 따른다.

더 구체적으로, 사용자 입력 디바이스(204)의 핸들 탑재물(530) 부분은 제1 피봇 조인트(16)에 의해 제1 팔꿈치 형상 링크(514)에 결합된다. 제1 링크(532)는 피봇 조인트(520)에 의해 제2 팔꿈치 형상 링크(537)에 결합된다. 제2 링크(537)는 피봇 조인트(524)에 의해 제3 팔꿈치 형상 링크(538)에 피봇 결합된다. 일부 실시예들에서, 아암(538) 및 짐벌(225)의 모터들은 위치 및 배향 힘들을 탑재 부재 핸들(530)에 능동적으로 가할 수 있고, 그로써 외과의에게 촉각 피드백을 제공할 수 있다. 짐벌(225)은 링크들(532, 537, 538)을 포함한다. 짐벌(225)은 축(534d)을 중심으로 회전하도록 플랫폼(540)에 탑재되고, 링크들(532, 537, 538)은 추가적인 축들(534a, 534b 및 534c)을 정의한다. 핸들(530)은 축(534d)을 중심으로 하는 모션을 위해 능동적으로 구동되는 조인트에 의해 짐벌(225)에 탑재된다. 따라서, 짐벌(225)은 중복 배향 자유도를 포함하는 4개의 구동 배향 자유도를 제공한다. 짐벌(225), 아암(538) 및 이러한 조인트들을 위한 구동 모터들은 발명의 명칭이 "Master Having Redundant Degrees of Freedom"인 미국 특허 제6,714,839호에 더 상세히 설명되어 있으며, 그 전체 개시내용은 본 명세서에 참조로 명확히 포함된다.

도 6b는 손으로 작동되는 선택기(212)를 포함하는 사용자 입력 디바이스(204)에서의 사용자 입력 수신을 제어하고 사용자 입력 디바이스(204)에서 촉각 피드백을 부여하는 제어 시스템(680)을 보여주는 예시적인 기능 블록도이다. 입력 제어기(118)는 조작기 어셈블리(102)를 제어하도록 결합되고, 디스플레이 시스템(120)을 제어하도록 결합된다. 사용자 입력 디바이스(204)는 전체 사용자 입력 디바이스(204)에 모션을 부여하는 사용자 손 모션과 같은 제1 사용자 입력 모션(652)을 수신하도록 구성된다. 사용자 입력 디바이스(204)에 이동가능하게 탑재된 손으로 작동되는 선택기(212)는 사용자 입력 디바이스(204)에 대하여 손으로 작동되는 선택기(212)에 모션을 부여하는 사용자 손가락 모션과 같은 제2 사용자 입력(654)을 수신하도록 구성된다. 하나 이상의 제1 센서(547a)는 전체 사용자 입력 디바이스(204)의 모션을 감지하고 대응하는 제1 센서 신호들(S₁)(549a)을 입력 제어기(118)에 제공하도록 구성된다. 하나 이상의 제2 센서(547b)는 사용자 입력 디바이스(204)에 대한 손으로 작동되는 선택기(212)의 모션을 감지하고 대응하는 제2 센서 신호들(S₂)(549b)을 입력 제어기(118)에 제공하도록 구성된다. 하나 이상의 모터(545)는 입력 제어기(118)로부터 모터 제어 신호들(551)을 수신하고 촉각 피드백 힘들(553)을 손으로 작동되는 선택기(212)에 부여하도록 결합된다. 입력 제어기(118)는 제1 및 제2 센서 신호들(549a, 549b) 중 하나 이상에 기반하여, 모터 제어 신호들(M_C)(551)을 하나 이상의 모터(545)에 제공함으로써, 하나 이상의 모터가 촉각 피드백 힘(F_H)(553)을 손으로 작동되는 선택기(212)에 부여하게 하도록 구성된다.

사용자는 입력 제어기(118)가 3D 모드 및 2D 모드 중 하나에서 동작하게 하기 위해 모드 선택 신호(S_M)(555)를 제공할 수 있다. 3D 모드에서, 변위가능한 손으로 작동되는 선택기(212)는 제1 사용자 입력 모션(652)에 응답하여 사용자 입력 디바이스(204)의 모션과 협력하여 3D로 이동할 수 있고, 제2 사용자 입력에 응답하여 사용자 입력 디바이스(204)에 대해 변위될 수 있다. 2D 모드에서, 변위가능한 손으로 작동되는 선택기(212)는 제1 사용자 입력에 응답하여 사용자 입력 디바이스(204)와 협력하여 2D로 이동할 수 있고, 제2 사용자 입력 모션(654)에 응답하여 사용자 입력 디바이스(204)에 대해 변위될 수 있다.

3D 모드에서, 입력 제어기(118)는, 모션 부여 사용자 입력이 전체 사용자 입력 디바이스(204)의 변위와 선택기가 탑재되어 있는 사용자 입력 디바이스(204)에 대한 변위가능한 손으로 작동되는 선택기(612) 중 하나 이상을 야기하는 것에 응답하여, 기구(104), 기구 엔드 이펙터, 및 조작기 링크 중 하나 이상의 동작을 제어하는 하나 이상의 모터(도시되지 않음)를 포함하는 조작기 어셈블리(102)를 제어한다. 2D 모드에서, 입력 제어기(118)는, 예를 들면, 사용자 입력이 전체 사용자 입력 디바이스(204)의 변위 및 사용자 입력 디바이스(204)에 대한 변위가능한 손으로 작동되는 선택기(612) 중 하나 이상을 야기하는 것에 응답하여, 메뉴, 커서, 슬라이더, 노브, 또는 버튼과 같은 하나 이상의 제어 요소를 포함한 그래픽 사용자 인터페이스 스크린 디스플레이를 포함하는 디스플레이 시스템(120)을 제어한다.

제1 변위 센서(547a)는 전체 사용자 입력 디바이스(204)의 변위를 감지하고 사용자 입력 디바이스(204)의 변위를 나타내는 대응하는 제1 센서 신호들(549a)을 입력 제어기(118)에 제공하도록 결합된다. 제2 센서(547b)는 사용자 입력 디바이스(204)에 대한 손으로 작동되는 선택기(212)의 변위를 감지하고, 선택기(212)가 이동가능하게 탑재되어 있는 사용자 입력 디바이스(204)에 대한 손으로 작동되는 선택기(212)의 변위를 나타내는 대응하는 제2 센서 신호들(549b)을 입력 제어기(118)에 제공하도록 결합된다. 입력 제어기(118)는 3D 모드에 있을 때 제1 및 제2 센서 신호들에 응답하여 조작기 어셈블리(102)를 제어하기 위한 제어 신호를 제공하고 2D 모드에 있을 때 제1 및 제2 센서 신호들 중 하나 이상에 응답하여 디스플레이 시스템(120)을 제어하기 위한 제어 신호를 제공하기 위한 실행가능한 명령어들로 구성된 하나 이상의 프로세서 회로를 포함한다. 입력 제어기(118)는 제1 및 제2 센서 신호들(549a, 549b) 중 하나 이상에 기반하여 촉각 피드백 힘(F_H)을 손으로 작동되는 선택기(212)에 부여하기 위한 모터 제어 신호들(553)을 하나 이상의 모터(545)에 제공하도록 추가로 구성된다.

클릭 이벤트를 나타내는 촉각 피드백

도 7은 그립 버튼 변위들의 시퀀스 및 손 형성들의 시퀀스와 시간 정렬되는 클릭 이벤트 동안 변위가능한 손으로 작동되는 선택기(212) 위치의 변위 대 촉각력을 나타내는 제1 제어 함수 곡선(720)을 도시하는 예시적인 도면이다. 도 6a의 예시적인 사용자 입력 디바이스(204)는 한 쌍의 대향하는 그립 버튼들(530a, 530b)이 탑재되는 탑재물로서 작용하는 핸들(530)을 포함한다. 위에서 설명된 바와 같이, 대안의 예시적인 손으로 작동되는 선택기들은 중력 균형 아암들, 조이스틱들, 트랙볼들, 글러브들, 트리거-그립들, 트위스트가능한 노브들, 트위스트가능한 그립들, 슬라이더들, 레버 푸시 버튼들 등을 포함한다. 사용자는 변위가능한 손으로 작동되는 선택기(212)의 규정된 변위를 야기하는 제2 사용자 입력 모션을 부여함으로써 클릭 이벤트를 야기할 수 있다. 도 6a의 손으로 작동되는 선택기(212)의 경우, 예를 들어, 사용자는 중립 위치 변위로부터 클릭 이벤트 완료 위치 변위 거리로 그립 버튼들(530a, 530b)의 거리의 변위를 감소시킴으로써 클릭 이벤트를 야기할 수 있다. 도 6a의 예시적인 사용자 입력 디바이스(204)에서, 각각의 그립 버튼은, 그립 버튼들(530a, 530b)이 열린 위치로부터 닫힌 위치로 이동함에 따라 그립 버튼들 사이의 변위 거리가 감소하고 그립 버튼들(530a, 530b)이 닫힌 위치로부터 열린 위치로 이동함에 따라 증가하지만, 열린 위치와 닫힌 위치 사이의 그립 버튼들(530a, 530b)의 움직임 전체에 걸쳐 사용자 입력 디바이스의 핸들 탑재물(530)로부터 동등하게 변위된다. 또한, 도 6a의 예시적인 사용자 입력 디바이스(204)에서, 각각의 개별 그립 버튼(530a, 530b)은, 그 그립 버튼이 중립 변위 위치로부터 클릭 이벤트 완료 변위 위치로 이동함에 따라 감소하고, 그립 버튼이 클릭 이벤트 변위 위치로부터 중립 변위 위치로 이동함에 따라 증가하는, 사용자 입력 디바이스의 핸들 탑재물(530)과 그 사이의 변위 거리를 갖는다.

도 7은 클릭 이벤트 동안 사용자의 손가락들에 의해 야기되는 제2 사용자 입력 모션(646)으로 인한 핀처 폐쇄 동안의 도 6a의 예시적인 손으로 작동되는 선택기(212)의 그립 버튼들(530a, 530b)의 변위 위치들의 예시적인 시퀀스를 도시하고, 이는 사용자 손가락 위치들(752, 754, 756)의 시퀀스에 의해 표현된다. 도 7은 또한 도 6a의 예시적인 손으로 작동되는 선택기(212)의 그립 버튼들(530a, 530b)의 변위 위치들(762, 764, 768, 770)의 대응하는 예시적인 시퀀스를 도시한다. 예시의 단순성 및 명료성을 위해, 예시적인 사용자의 손가락들(758, 760) 및 손가락 위치들(752, 754, 756)의 시퀀스는 그들이 접촉하는 각각의 그립 버튼들(530a, 530b) 및 그립 버튼 변위 위치들(762, 764, 768, 770)의 대응하는 시퀀스로부터 분리되어 도시되지만, 실제 이용시, 각각의 손가락들(758, 760)은 각각의 그립 버튼들(530a, 530b)과 접촉한다는 것이 이해될 것이다. 예를 들어, 실제 이용 예에서, 커서 손가락(758)은 제1 그립 버튼(530a)과 접촉하고, 엄지 손가락(760)은 제2 그립 버튼(530b)과 접촉한다.

도 7은 클릭 이벤트 동안 그립 버튼들에 의해 이동된 사용자 입력 디바이스의 핸들(530)에 대한 상이한 움직임 거리에 각각 대응하는 도 6a의 그립 버튼들(530a, 530b)의 변위 위치들(762, 764, 768, 770)의 예시적인 시퀀스를 도시한다. 따라서, 그립 버튼 변위 위치(762) 및 대응하는 손가락 위치(752)에 의해 표시된 예시적인 변위 거리에서, 그립 버튼들은 예시적인 시퀀스에서 사용자 입력 디바이스의 핸들(530)에 대해 제1(최단) 거리를 이동하였다. 그립 버튼 변위 위치(764) 및 대응하는 손가락 위치(754)에 의해 표시된 예시적인 변위 거리에서, 그립 버튼들은 사용자 입력 디바이스의 핸들(530)에 대해 제1 거리보다 큰 제2 거리를 이동하였다. 그립 버튼 변위 위치(768) 및 대응하는 손가락 위치(756)에 의해 표시된 예시적인 변위 거리에서, 그립 버튼들은 사용자 입력 디바이스의 핸들(530)에 대해 결합된 제1 및 제2 거리들보다 큰 제3 거리를 이동하였다. 그립 버튼 변위 위치(770) 및 대응하는 손가락 위치(756)에 의해 표시된 예시적인 변위 거리에서, 그립 버튼들은 사용자 입력 디바이스의 핸들(530)에 대해 제1, 제2 및 제3 거리들보다 큰 제4 거리를 이동하였다.

도 7은 또한 그립들(530a, 530b)에 제2 사용자 입력 모션(654)을 부여하는 손(759)의 손가락 위치들의 대응하는 시퀀스를 도시한다. 손가락 위치 시퀀스는 완전히 열린 손가락 위치(752)로 시작하고, 부분적으로 닫힌/부분적으로 열린 손가락 위치(754)가 이어지며, 실질적으로 닫힌 손가락 위치(756)가 이어진다. 핸들 탑재물(530) 주위의 그립 버튼 변위 위치들의 시퀀스가 도시된다. 그립 버튼 시퀀스는 완전히 열린 그립 버튼 변위 위치(762)로 시작하고, 부분적으로 닫힌/부분적으로 열린 그립 버튼 변위 위치(764)가 이어지고, 거의 완전히 닫힌 그립 버튼 변위 위치(768)가 이어지며, 완전히 닫힌 그립 버튼 위치(770)가 이어진다.

도 7은 손으로 작동되는 선택기(212), 제2 센서(547b), 입력 제어기(118), 하나 이상의 모터(545), 및 입력 디바이스의 핸들(530)과 같은 정지면을 이용하여 구현되는 결합된 클릭 이벤트 트리거링 및 촉각 피드백 제어 기능을 제어하는 제어 함수 곡선을 나타내는 예시적인 곡선(770)을 포함한다. 입력 제어기(118)는 제어 기능(700)을 구현하기 위한 실행가능한 명령어들로 프로그래밍된 하나 이상의 프로세서 회로를 포함한다. 제어 기능(770)은 클릭 이벤트의 트리거링을 제어하고, 제2 사용자 입력 모션(654)이 손으로 작동되는 선택기(212)를 변위시키는 것에 응답하여 부여되는 촉각 피드백 힘을 제어한다. 보다 상세하게는, 입력 제어기(118)는 하나 이상의 제2 센서에 의해 제공되는 제2 센서 신호(S₂)에 응답하여 제어 기능을 구현하고, 디스플레이 시스템(120)에서 또는 조작기 어셈블리(102)에서 클릭 이벤트의 트리거링을 제어하며, 하나 이상의 모터(545)로 하여금 촉각력을 손으로 작동되는 선택기(212)에 부여하게 하도록 구성되어 있다. 제어 기능(770)에 따르면, 클릭 이벤트를 트리거링하기 위해, 사용자는 손으로 작동되는 선택기(212)를 적어도 규정된 변위 거리만큼 변위시켜야만 한다. 더욱이, 제어 기능(770)에 따르면, 사용자가 손으로 작동되는 선택기(212)를 변위시키는 동안 촉각 피드백 힘이 손으로 작동되는 선택기(212)에 부여된다. 촉각 피드백 힘은, 사용자가 손으로 작동되는 선택기(212)의 변위를 증가시키는 것에 응답하여, 클릭 이벤트의 증강 및 트리거링 둘 다를 사용자에게 나타낸다. 정지면은 클릭 이벤트의 트리거링에 뒤이은 규정된 양의 추가의 변위 후에 손으로 작동되는 선택기(212)의 추가의 변위를 정지시키는 갑작스런 반작용력을 부여한다.

제어 함수 곡선(770)은 다수의 상태를 갖는다. 제1 제어 상태(772)는 손으로 작동되는 선택기(212)의 변위가 제1 임계 변위(T_D1)보다 작은 중립 또는 휴지 상태이다. 도 6a의 사용자 입력 디바이스(204)의 경우, 제1 제어 상태(772)에서, 그립 버튼들(530a, 530b)은 중립 위치에서의 최대 변위와 제1 임계 거리(T_D1) 사이의 거리만큼 핸들(530)로부터 변위된다. 예시적인 원격조작형 수술 시스템(100)에 있어서, 제1 제어 상태(772)에서, 탄성 부재는 손으로 작동되는 선택기(212)를 중립 변위 위치로 압박하기 위해 손으로 작동되는 선택기(212)에 유지력을 부여한다. 도 6a의 사용자 입력 디바이스(204)의 경우에, 제1 제어 상태(772)에서, 스프링 부재와 같은 바이어싱 부재는 그립 버튼들(530a, 530b)을 서로로부터 그리고 핸들(530)로부터 최대로 변위되도록 압박하는 한편, 입력 제어기(118)는 하나 이상의 모터가 일정한 제로 힘을 부여하게 한다. 대안의 예시적인 원격조작형 수술 시스템(100)에 있어서, 제1 제어 상태에서, 입력 제어기(118)는 하나 이상의 모터(545)로 하여금 탄성 유지력을 손으로 작동되는 선택기(212)에 부여하여 이를 중립 변위 위치로 압박하게 한다. 대안적인 제1 제어 상태(772)에서, 하나 이상의 모터(545)는 손으로 작동되는 선택기(212)를 중립 변위 위치에 유지하기 위한 스프링형 유지력을 생성하도록 제어된다. 대안적인 제1 제어 상태(772)에서, 하나 이상의 모터는, 선택기(212)가 제1 변위 임계 거리 미만만큼 변위되게 하는 유지력을 극복하기 위한 힘을 사용자가 부여하는 것과 사용자가 이후 그 힘을 제거하는 것에 응답하여, 손으로 작동되는 선택기(212)를 중립 위치로 복귀시키기 위한 힘을 제공한다. 제1 제어 상태(772)에 있는 동안, 사용자는 변위가 제1 임계 거리(T_D1)이면 중립 위치로부터 이를 어느 정도 변위시키기 위해 손으로 작동되는 선택기에 모션을 부여할 수 있다. 도 6a의 예시적인 사용자 입력 디바이스에 대한 사용자의 손가락들과 관련한 이러한 유지력의 크기 및 방향이 화살표들(752a, 752b)로 나타내어져 있다. 제1 및 제2 방향들은 핸들(530)의 세로축(531)으로부터 방사상 바깥쪽으로 연장된다.

제2 제어 상태(774)는 촉각력이 손으로 작동되는 선택기(212)의 증가하는 변위에 대해 제1 레이트로 증가하는 촉각 피드백 힘 증강 상태이다. 제2 제어 상태(774)는 제1 임계 거리(T_D1)를 충족시키지만 아직 제2 임계 거리(T_D2)를 충족시키지 않는 손으로 작동되는 선택기(212)의 변위들을 포함한다. 제2 제어 상태(774) 동안에, 하나 이상의 제2 센서(547b)는 중립 위치로부터의 손으로 작동되는 선택기(212)의 증가하는 변위를 감지하고 대응하는 제2 센서 신호값(S₂)을 입력 제어기(118)에 전송하여 증가하는 변위를 보고한다. 입력 제어기(118)는, 차례로, 하나 이상의 모터(545)로 하여금 중립 위치로부터의 손으로 작동되는 선택기(212)의 증가하는 변위에 대해 제1 레이트로 증가하는 촉각력을 손으로 작동되는 선택기(212)에 부여하게 하는 모터 제어 신호들(553)을 생성한다. 제1 레이트는 레이트가 사용자가 임박한 클릭 이벤트를 완수하거나 중단시킴으로써 증가하는 촉각력의 촉각 감각을 인식하고 그에 반응할 시간을 갖는 경우에 선형 또는 비선형일 수 있다. 도 6a의 예시적인 사용자 입력 디바이스(204)의 경우에, 그립 버튼들(530a, 530b)은 더 넓게 이격된 중립 위치들로부터 점점 더 변위됨에 따라 점점 더 작은 양만큼 서로 변위된다. 제2 제어 상태(774) 동안에 손으로 작동되는 선택기(212)의 증가하는 변위에 대해 제1 레이트로 크기가 증가하는 촉각력의 증강은 클릭 이벤트의 임박함에 대한 촉각 표시 또는 경고를 사용자에게 제공하며, 크기가 클수록, 현재의 변위가 클릭 이벤트의 발생을 야기하는 것에 더 가깝다. 제2 레이트는 사용자가 클릭 이벤트의 임박함의 표시에 응답하여 반응할 시간을 갖도록 선택되며, 따라서 예를 들어 사용자는 변위를 계속하고 클릭 이벤트를 완수하거나 변위를 정지시키고 클릭 이벤트를 중단시키는 의식적인 결정을 할 수 있다. 따라서, 제2 제어 상태(774) 동안의 증가하는 촉각 피드백은 손으로 작동되는 선택기(212)의 변위가 증가함에 따라 클릭 이벤트가 점점 더 임박하다는 것을 사용자에게 경고한다.

도 6a의 예시적인 사용자 입력 디바이스(204)에서, 제2 제어 상태 동안의 제2 피드백 힘의 크기는 화살표(754a, 754b)의 길이로 표시된다. 그립 버튼(530a)은 집게 손가락(758)에 제1 방향의 힘(754a)을 부여하고, 그립 버튼(530b)은 엄지(760)에 제1 방향과 반대인 제2 방향의 힘(754b)을 부여한다. 제1 및 제2 방향은 핸들(530)의 세로축(531)으로부터 그리고 핸들(530)의 세로축(531)으로부터 방사상 바깥쪽으로 연장된다. 제2 제어 상태(774) 동안에 그립 버튼들(530a, 530b)을 서로 더 가깝게 이동시키기 위해, 사용자의 손가락들(758, 760)은 촉각력 방향들(754a, 754b)에 반대되는 방향들로 각각의 변위 힘들을 부여한다는 것을 이해할 것이다. 사용자가 부여한 힘은 촉각력(754a, 754b)을 극복하기에 충분히 큰 크기를 갖는다. 또한, 제2 제어 상태(774)에서 임의의 예시적인 순간에 각각의 그립 버튼들(530a, 530b)에 의해 부여되는 촉각력들(754a, 754b)의 크기는 화살표들(752a, 752b)의 길이보다 큰 화살표들(754a, 754b)의 길이로 나타낸 바와 같이, 제1 제어 상태(772) 동안의 유지력 동안 더 큰 힘들(752a, 752b)이라는 것을 이해할 것이다.

제3 제어 상태(776)는 손으로 작동되는 선택기(212)의 변위가 제2 임계 거리(T_D2)를 충족할 때 발생하는 클릭 이벤트 트리거 상태이다. 제2 센서들(547b)은 입력 제어기(118)에 손으로 작동되는 선택기(212)의 변위가 중립 위치로부터 제2 임계 변위(T_D2)에 언제 도달하는지를 나타내는 제2 센서 신호들을 전송한다.

예시적인 입력 제어기(118)는, 2D 모드에서 동작할 때, 손으로 작동되는 센서(212)가 제2 임계 변위(T_D2)에 도달한 것에 응답하여, 예를 들어, 제어 요소 메뉴(420)에서 커서(402)에 의해 오버레이된 시각적 UI 제어 요소의 선택을 야기하는 클릭 이벤트 트리거링 신호를 디스플레이 시스템(120)에 전송한다. 예시적인 입력 제어기(118)는, 3D 모드에서 동작할 때, 손으로 작동되는 센서(212)가 제2 임계 변위(T_D2)에 도달한 것에 응답하여, 예를 들어, 링크 또는 기구 엔드 이펙터를 작동시키는 하나 이상의 모터(도시되지 않음)의 작동을 야기하는 클릭 이벤트 트리거링 신호를 조작기 어셈블리(102)에 전송한다.

또한, 예시적인 입력 제어기(118)는, 2D 모드 또는 3D 모드에서 동작할 때, 손으로 작동되는 센서(212)가 제2 임계 변위(T_D2)에 도달한 것에 응답하여, 라인(551) 상에 모터 제어 신호(M_C)를 부여하여 하나 이상의 모터(545)로 하여금 스텝-다운 촉각 피드백 힘을 손으로 작동되는 선택기(212)에 부여하게 한다. 스텝-다운 촉각 피드백 힘은 손으로 작동되는 선택기(212)의 변위가 제2 임계 변위(T_D2)를 가로지르는 순간의 피크 값으로부터 제1 제어 상태(772) 동안 부여된 힘과 일치하거나 거의 일치하는 레벨로 촉각 피드백 힘을 감소시킨다. 더 구체적으로, 촉각력은 손으로 작동되는 선택기(212)의 증가하는 변위에 대해 제2 레이트로 감소한다. 제2 레이트의 크기는 제1 레이트의 크기보다 크다. 예시적인 시스템에서, 제2 레이트는 클릭 이벤트가 트리거링되었다는 실질적으로 순간적인 촉각 표시를 사용자에게 제공하도록 선택된 크기를 갖는다. 도 6a의 예시적인 사용자 입력 디바이스(204)에서, 제3 제어 상태(776) 동안의 제3 피드백 힘의 크기는 화살표(756a, 756b)의 길이로 표시된다. 그립 버튼(530a)은 집게 손가락(758)에 제1 방향의 힘(764a)을 부여하고, 그립 버튼(530b)은 엄지(760)에 제1 방향과 반대인 제2 방향의 힘(756b)을 부여한다. 예시적인 시스템에서, 제어 기능은 하나 이상의 센서(247b)가 변위가 중립 변위 거리, 제3 제어 상태(776)로 복귀할 때를 표시하는 신호를 제공하는 것에 응답하여 제1 제어 상태(772)로 복귀한다.

예시적인 사용자 입력 디바이스(204)에서, 선택기(212)는 손으로 작동되는 선택기(212)가 제어 스테이지(778)에서 제3 임계 변위(T_D3)에 도달하는 순간에 또는 그 근방에 정지면에 영향을 준다. 도 6a의 예시적인 입력 디바이스(204)에서, 손으로 작동되는 선택기(212)는 변위가능한 그립 버튼들(530a, 530b)을 포함하고, 핸들(530)은 정지면으로서 작용한다. 정지면에 대한 손으로 작동되는 선택기(212)의 영향은, 클릭 이벤트가 완료되고 손으로 작동되는 선택기(212)가 휴지 또는 중립 상태인 제2 제어 상태(772)로 복귀할 준비가 되어 있음을 나타내는 추가적인 촉각 감각을 사용자에게 제공하는 갑작스런 반작용력을 제공한다. 따라서, 정지면(530)은, 하나 이상의 모터(545)가 유지력을 제공하는 제1 제어 상태(772)로 제어 기능(700)이 사실상 복귀했을 때 촉각 피드백을 제공한다.

도 8은 사용자 입력 디바이스(204)에 대한 손으로 작동되는 선택기(212)의 변위에 기반하여 힘의 제공 및 클릭 이벤트의 트리거링을 제어하기 위한 도 7의 제어 기능에 따른 제어 프로세스(800)를 나타내는 예시적인 흐름도이다. 입력 제어기(118)는 제어 프로세스(800)를 구현하기 위한 실행가능한 명령어들로 프로그래밍된 하나 이상의 프로세서 회로를 포함한다. 동작(802)에서, 제1 제어 상태(772) 동안, 입력 제어기(118)는 하나 이상의 모터(545)로 하여금 중립 유지력(F_HN)을 손으로 작동되는 선택기(212)에 제공하게 하는 한편, 하나 이상의 제2 센서(547b)는 사용자가 제2 사용자 입력 모션(654)을 제공하지 않았음을 나타내어, 손으로 작동되는 선택기(212)가 중립 위치로부터 적어도 제1 임계 거리(T_D1)만큼 변위되게 한다. 제1 임계 결정 동작(804)은 손으로 작동되는 선택기의 변위가 제1 임계 변위(T_D1)를 충족할 때를 검출하기 위해 하나 이상의 제2 센서(547b)를 모니터링한다. 도 6a의 예시적인 손으로 작동되는 선택기(212)에서, 제1 임계 결정 동작(804)은 그립 버튼들(530a, 530b)의 그 중립 위치로부터의 변위 위치가 제1 변위 임계치를 충족시킬 때를 결정한다. 예시적인 입력 제어기(118)는 선택기(212)가 제1 임계 촉각 거리 미만만큼 변위되는 동안 하나 이상의 모터(545)가 제로 크기의 촉각력을 생성하게 하는 모터 제어 신호를 제공하며, 스프링과 같은 바이어싱 부재는 선택기(212)가 제1 임계 촉각 거리 미만만큼 변위되는 동안 선택기(212)를 중립 위치에 유지한다.

제어 프로세스는 변위가 제1 임계 변위 거리(T_D1)를 충족시키는 것에 응답하여 제2 제어 상태(774)로 전이한다. 프로세스(800)는 변위가 아직 제1 임계 변위 거리를 충족시키지 않는 동안 제1 제어 상태(772)에서 유지된다. 동작(806)에서 제2 제어 상태(774) 동안에 입력 제어기(118)는 하나 이상의 모터(545)로 하여금 중립 위치로부터의 그립 버튼들의 변위를 증가시키는 함수인 제1 레이트로 증가하는 촉각 피드백 힘을 손으로 작동되는 선택기(212)에 부여하게 한다. 예시적인 시스템에서, 동작(806)은 예를 들어 변위의 선형 또는 비선형 함수로서 변화하도록 촉각 피드백 힘의 증강 레이트를 설정할 수 있다. 제2 임계 결정 동작(808)은 손으로 작동되는 선택기의 변위가 제2 임계 변위(T_D2)를 충족시킬 때를 검출하기 위해 하나 이상의 제2 센서(547b)를 모니터링한다. 도 6a의 예시적인 손으로 작동되는 선택기(212)에서, 제2 임계 결정 동작(808)은 그립 버튼들(530a, 530b)의 그 중립 위치로부터의 변위 위치가 제2 변위 임계 거리를 충족시킬 때를 결정한다.

제어 프로세스는 변위가 제2 임계 변위 거리(T_D2)를 충족시키는 것에 응답하여 제3 제어 상태(776)로 전이한다. 프로세스(800)는 변위가 아직 제2 임계 변위 거리를 충족시키지 않는 동안 제2 제어 상태(774)에서 유지된다. 동작(809)에서, 입력 제어기(118)는 클릭 이벤트의 발생을 트리거링하기 위한 제어 신호를 디스플레이 시스템(120)에 전송한다. 동작(810)에서, 제3 제어 상태(776) 동안에, 입력 제어기(118)는 하나 이상의 모터(545)로 하여금 제2 제어 상태로부터 제3 제어 상태로 전이할 때의 피크 값으로부터 제1 제어 상태(772) 동안에 부여된 힘과 일치하거나 거의 일치하는 레벨로 제2 레이트로 감소하는 촉각 피드백 힘을 손으로 작동되는 선택기(212)에 부여하게 한다. 제2 레이트의 크기는 제1 레이트의 크기보다 크다. 결정 동작(812) 동안, 입력 제어기(118)는 선택기(212)의 변위가 제1 임계 변위(T_D1)를 충족시킬 때(예를 들어, 그 이하일 때)를 결정하기 위해 하나 이상의 센서(547b)에 의해 제공되는 센서 신호들을 모니터링한다. 변위가 제1 변위 거리를 충족시키는 것에 응답하여, 제어 프로세스(800)는 동작(802)으로 다시 전이한다.

제1, 제2 및 제3 제어 상태들 동안의 촉각력의 변화는 사용자에게 클릭 이벤트의 상태의 촉각 표시들을 제공한다. 제2 제어 상태(774) 동안, 촉각력의 증강은 트리거 이벤트가 점점 더 임박해짐을 사용자에게 표시한다. 제3 제어 상태(776) 동안, 촉각력의 빠른 감소는 클릭 이벤트의 트리거링을 표시한다. 제1 제어 상태(772) 동안, 유지력은 촉각 이벤트가 발생한 사용자에 대한 핸드헬드 강화력(hand-held reinforce)을 유지한다. 물리적 정지면(530)에서의 강한 정지는 손으로 작동되는 선택기(212)가 중립의 제1 제어 상태(772)로 복귀했다는 것을 사용자 복귀에 표시한다.

푸시 버튼 모션으로부터 커서 모션을 격리시키는 것

제2(2D) 모드에서의 디스플레이 시스템(120)의 동작 동안, 사용자의 손의 손가락들이 관찰 평면(502)에 표시된 제어 요소를 선택하는데 이용될 수 있다. 제2 동작 모드 동안, 입력 제어기(118)는 관찰 평면(502)에 표시된 그래픽 사용자 인터페이스에서의 커서(402)의 모션이 촉각 평면(504)에서의 사용자 입력 디바이스(204)의 모션을 따르게 한다. 관찰 평면(502)에서의 데카르트 좌표 위치들은 촉각 평면(504)에서의 데카르트 좌표 위치들에 대응한다. 사용자는, 첫번째로, 커서(402)를 제어 요소와 시각적으로 정렬시키기 위해 사용자 입력 디바이스(204)를 관찰 평면(502)에서의 제어 요소 좌표 위치에 대응하는 촉각 평면(504)에서의 좌표 위치로 이동시키는 것에 의해 그리고 두번째로, 작동 모션을 손으로 작동되는 선택기(212)에 부여하는 것에 의해, 제어 요소를 선택한다. 예를 들어, 사용자의 손가락은, 도 7 및 도 8을 참조하여 전술한 바와 같이, 클릭 이벤트를 트리거링하기 위해 그 변위를 중립 위치로부터 증가시키기 위한 모션을 손으로 작동되는 선택기(212)에 부여할 수 있다.

사용자의 손가락들의 모션은 사용자의 손의 나머지의 모션에 영향을 줄 수 있다. 도 6a의 예시적인 손으로 작동되는 선택기(212)를 참조하면, 사용자가 클릭을 구현하기 위해 그립 버튼들(530a, 530b)에 폐쇄력을 부여할 때, 사용자의 손가락 모션은 그립 버튼들(530a, 530b)이 탑재되어 있는 제어기(204)의 대응하는 모션을 야기할 수 있다. 그립 버튼들(530a, 530b)의 사용자-부여된 모션은 제어기(204)의 위치에서의 약간의 의도하지 않은 변화, 또는 점프를 초래할 수 있다. 촉각 평면(504)에서의 제어기(204)의 위치에서의 이러한 의도하지 않은 변화는 관찰 평면(502)에서의 커서(402)의 위치에서의 대응하는 의도하지 않은 변화를 야기할 수 있다. 결과적으로, 그립 버튼들(530a, 530b)이 예를 들어 그래픽 사용자 인터페이스 메뉴 내의 제어 요소를 클릭하는데 이용될 때, 커서(402)는 클릭 프로세스 동안 제어 요소 위로 점프하는 경향이 있을 수 있다. 따라서, 클릭 이벤트의 사용자의 갑작스런 작동은 커서 움직임에서의 갑작스런 의도하지 않은 점프를 야기하여, 커서와 타겟 제어 요소의 오정렬을 초래할 수 있으며, 이는 잘못된 타겟의 선택을 낳을 수 있다. 이것은 타겟팅된 클릭가능한 제어 요소가 크지 않고 사용자가 타겟팅된 요소를 누락하게 되는 경우 특히 실망스러울 수 있다.

누락된 타겟은 수술 환경에서 특히 유해할 수 있다. 예를 들어, 관찰 평면(502)은 제어 요소들 대신에 또는 그에 더하여 수술전 MRI 또는 CT 스캔을 표시할 수 있다. 외과의 사용자가 선택을 위해 커서를 시각적으로 정렬시키려고 하는 타겟 요소는 예를 들어 신경 또는 혈관과 같은 미묘한 해부학적 피처일 수 있다. 외과의는 피처의 뷰를 확대하거나 타겟팅된 피처의 위 또는 아래에 위치되는 MRI 또는 CT 스캔에 표현된 다른 해부학적 피처들로 전이하려고 의도할 수 있다. 따라서, 커서와 타겟 요소 사이의 정밀한 정렬이 요구될 수 있다.

도 6b의 제어 시스템을 다시 참조하면, 예시적인 입력 제어기(118)는 하나 이상의 제1 센서(547a)에 의해 감지된 사용자 입력 디바이스(204)의 모션을 나타내는 커서 모션 제어 신호, 제1 커서 모션 입력 신호 및 제2 커서 모션 입력 신호를 라인(561) 상의 디스플레이 시스템(120)에 제공하기 위해 모션 변환 함수를 계산하도록 구성된다. 디스플레이 시스템은 사용자 입력 디바이스(204)의 모션을 따르는 그래픽 사용자 인터페이스(400) 내의 커서(402)의 모션을 표시한다.

예시적인 사용자 입력 디바이스(204)에서, 클릭 이벤트는 통상적으로 손으로 작동되는 선택기(212)의 빠른 움직임을 수반한다. 제어기 시스템(118)은 사용자 입력 디바이스(204)에 탑재되어 있는 손으로 작동되는 선택기(212)에 대한 사용자 모션 입력의 발생 동안에 변환 기능을 조정하여, 이러한 사용자 모션 입력이 또한 사용자 입력 디바이스의 모션에 영향을 미칠 수 있는 클릭 이벤트를 수행하기 위한 명령어들로 구성된다. 도 9는 클릭 이벤트가 없는 경우 제1 변환 F1을 구현하는 입력 제어기(118)의 구성을 나타내는 예시적인 도면이다. 도 10은 클릭 이벤트가 있는 경우 제2 변환 F2를 구현하는 입력 제어기(118)의 제어기의 구성을 나타내는 예시적인 도면이다.

도 9를 참조하면, 입력 제어기(118)가 사용자의 손가락들(예를 들어, 손가락들 및/또는 엄지 손가락들)의 모션 및/또는 전체 손 모션이 사용자가 클릭 이벤트 신호의 시작을 야기하는 중에 있지 않음을 나타낸다고 결정하는 것에 기반하여, 입력 제어기(118)는 관찰 평면(502)에서의 커서(402)의 모션이 촉각 평면(504)에서의 사용자 입력 디바이스(204)의 모션을 따르게 하는 제1 변환 함수 F1을 부여한다. 보다 구체적으로, 예시적인 입력 제어기(118)는 관찰 평면(502)에서의 커서(402)의 데카르트 좌표들이 촉각 평면(504)에서의 사용자 입력 디바이스(204)의 데카르트 좌표들과 일치하게 하도록 구성된다. 더욱이, 클릭 이벤트가 없는 경우, 예시적인 입력 제어기(118)는 사용자 입력 디바이스(204)의 모션을 커서(402)의 모션으로 규정된 양만큼 스케일링할 수 있다. 예를 들어, 입력 제어기(118)는, 사용자 입력 디바이스(204)가 촉각 평면(504)에서 이동하는 거리가 커서(402)가 관찰 평면(502)에서 이동하는 거리와 정확히 일치하는, 사용자 입력 디바이스 모션 대 커서 모션의 미리 결정된 일대일(1:1) 움직임 비율에 대해 교정될 수 있다. 대안적으로, 예를 들어, 입력 제어기(118)는, 사용자 입력 디바이스(204)가 촉각 평면(504)에서 이동하는 거리가 커서(402)가 관찰 평면(502)에서 이동하는 거리의 정확히 2배인 미리 결정된 이대일(2:1) 움직임 비율에 대해 교정될 수 있다.

도 10을 참조하면, 입력 제어기(118)가 사용자의 손가락들(예를 들어, 손가락들 및/또는 엄지 손가락들)의 모션 및/또는 전체 손 모션이 사용자가 클릭 이벤트의 시작을 야기하는 중에 있음을 나타낸다고 결정하는 것에 기반하여, 입력 제어기(118)는 사용자가 클릭 이벤트의 시작을 야기하는 시간 간격 동안의 사용자 입력 디바이스 움직임에 응답하여 커서 움직임의 비율을 감소시키는 제2 변환 함수 F2를 부여한다. 감소된 움직임 비율은 촉각 평면(504)에서의 사용자 입력 디바이스 모션에 응답하여 클릭 동안 관찰 평면(502)에서의 커서 모션의 감소를 초래한다.

도 11은 클릭 이벤트 동안의 제어기 모션 필터링 대 시간을 결정하기 위한 예시적인 제2 변환 함수 F2를 나타내는 제2 제어 함수 곡선(820)을 나타내고, 또한 그립 버튼 변위들의 시간 정렬된 시퀀스, 손 형성들의 시퀀스와의 시간 정렬, 및 관찰 평면 인스턴스들의 시간 정렬된 시퀀스를 나타내는 예시적인 도면이다. 본 명세서에서 사용될 때, 선택기 속도는 사용자 입력 디바이스(204)의 베이스에 대한 손으로 작동되는 선택기(212)의 중립 위치로부터의 변위의 증가 레이트를 지칭한다. 도 6a의 예시적인 경우에서, 선택기 속도는 핸들(530)에 대한 그립 버튼들(530a, 530b)의 변위의 증가 레이트를 지칭한다. 본 명세서에서 사용될 때, 제어기 모션 필터링의 증가는 사용자 입력 디바이스(204)의 모션 대 커서(402)의 모션의 움직임 비율의 감소에 대응한다. 즉, 크기 제어기 모션 필터링이 클수록, 촉각 평면(504)에서의 입력 디바이스(204)의 더 적은 움직임이 관찰 평면(502)에서의 커서(402)의 대응하는 움직임을 야기한다.

예시적인 제2 변환 함수 F2는 제1, 제2, 및 제3 필터링 함수들을 포함한다. 제2 제어 함수 곡선(820)에 의해 도시된 바와 같이, 입력 제어기(118)는 사용자 입력 디바이스(204)에 대한 중립 위치로부터의 손으로 작동되는 선택기(212)의 변위가 제1 임계 변위 레이트 T_R1보다 작은 레이트로 변하는 제1 시간 간격 T₁에 걸치는 제1 필터링 함수(822)를 부여하도록 구성된다. 제2 제어 함수 곡선(820)에 의해 도시된 바와 같이, 입력 제어기(118)는 사용자 입력 디바이스(204)에 대한 중립 위치로부터의 손으로 작동되는 선택기(212)의 변위가 제1 임계 레이트 T_R1 이상인 레이트로 변하는 제2 시간 간격 T₂에 걸치는 제2 필터링 함수(824)를 부여하도록 구성된다. 제2 제어 함수 곡선(820)에 의해 도시된 바와 같이, 입력 제어기(118)는 그립 버튼들(530a, 530b)이 더 이상 제1 임계 레이트 T_R1이상이지 않은 레이트로 계속 이동할 때, 제2 시간 간격 T₂에 후속하는 제3 시간 간격 T₃에 걸치는 제3 필터링 함수(826)를 부여하도록 구성된다. 도 6a의 예시적인 선택기(212)의 경우, 핸들(530)에 대한 그립 버튼들(530a, 530b)의 그 중립 위치들로부터의 변위는 제1, 제2, 및 제3 시간 간격들 각각 동안 증가한다.

제2 제어 함수 곡선(820)을 참조하면, 제1 시간 간격 T₁ 동안에, 손으로 작동되는 선택기(212)가 T_R1보다 작은 레이트로 사용자 입력 디바이스(204)에 대해 이동하는 동안(예를 들어, 그립 버튼들(530a, 530b)이 핸들(530)에 대해 이동하는 동안), 제1 필터링 함수(822)는 입력 디바이스 모션의 증가하는 레이트에 대응하여 사용자 입력 디바이스 모션 필터링을 증가시키고; 손으로 작동되는 선택기(212)가 입력 디바이스(204)에 대해 더 빠르게 이동할수록(예를 들어, 그립 버튼들(530a, 530b)이 핸들(530)에 대해 더 빠르게 이동할수록), 사용자 입력 디바이스(204)의 움직임이 커서(402)의 대응하는 움직임에 더 적게 영향을 미치고, 이는 그립 버튼 움직임 레이트가 증가함에 따른 움직임 비율의 감소에 대응한다. 따라서, 커서(402)의 모션은 제1 시간 간격 T₁ 동안 제1 동적 움직임 비율에 따라 사용자 입력 디바이스(204)의 모션을 따른다. 도 6a 및 도 11의 예를 참조하면, 화살표들(852a, 852b)의 방향은 손가락들(758, 760) 사이 및 그립 버튼들(530a, 530b) 사이의 변위 거리의 감소를 나타낸다. 화살표들(852a, 852b)의 길이는 그립 버튼들이 서로 더 가까이 이동하는 레이트를 나타낸다. 예시적인 입력 제어기(118)는 예를 들어 선형 시간 함수, 로그 시간 함수 또는 지수 시간 함수로서 제1 필터링 함수(822)를 이용하여 사용자 입력 디바이스 모션 필터링을 증가시키도록(이는 대응적으로 움직임 비율을 감소시킴) 구성될 수 있다. 따라서, 제1 시간 간격 T₁ 동안에, 선택기 변위 레이트가 제1 임계 레이트 T_R1보다 작은 동안, 사용자 입력 디바이스 모션의 필터링은 선택기 레이트가 증가함에 따라 증가한다.

제2 시간 간격 T₂ 동안에, 손으로 작동되는 선택기(212)가 제1 임계 레이트 T_R1 이상의 레이트로 선택기에 대해 이동하는 동안, 제2 필터링 함수(822)는 실질적으로 일정한 최소 움직임 비율을 야기한다. 대안의 예시적인 수술 시스템(100)에서, 손으로 작동되는 선택기(212)가 제1 임계 레이트 T_R1 이상의 레이트로 선택기에 대해 이동하는 동안, 제2 필터링 함수(822)는 커서 모션이 사용자 입력 디바이스(204)의 모션을 따르지 않도록 커서(402)의 모션이 정지되게 한다. 도 6a 및 도 11의 예를 참조하면, 화살표들(854a, 854b)의 방향은 손가락들(758, 760) 사이 및 그립 버튼들(530a, 530b) 사이의 변위 거리의 감소를 나타낸다. 그립 버튼들(530a, 530b)이 제1 시간 간격 동안보다 제2 시간 간격 T2 동안 더 빠른 레이트로 이동하기 때문에, 화살표들(854a, 854b)은 화살표들(852a, 852b)보다 더 큰 길이를 갖는다. 예시적인 입력 제어기(118)는 제2 시간 간격 동안 움직임 비율이 제로가 되도록 구성될 수 있다. 즉, 커서(402)는 제어기(204)의 움직임에 응답하여 이동하지 않는다. 보다 상세하게는, 예를 들어, 예시적인 입력 제어기(118)는 제2 시간 간격 T₂ 동안 커서 모션이 정지되게 하도록(즉, 움직임 비율 1:0으로 전이하게 하도록) 구성될 수 있다. 대안적으로, 예를 들어, 예시적인 입력 제어기(118)는 제2 시간 간격 T₂ 동안 움직임 비율이 1:0.1로 감소하게 하도록 구성될 수 있다. 따라서, 제2 시간 간격 T₂ 동안에, 그립 버튼들(530a, 530b)의 움직임 레이트가 T_R1 이상인 동안 사용자 입력 디바이스 모션 및 대응하는 움직임 비율의 필터링은 일정하게 유지된다. 제2 시간 간격 T₂의 지속기간은 선택기(212), 530a, 530b의 움직임 레이트가 제1 임계 레이트 T_R1과 일치하거나 초과하는 시간의 길이에 기반하여 결정된다.

예시적인 수술 시스템(100)에서, 클릭 이벤트(809)는 제2 시간 간격 T2 동안 트리거링된다. 클릭 이벤트의 트리거링은 예를 들어 도 7의 제1 제어 함수 곡선(720) 및 도 8의 제어 프로세스(800)에 따라 제어될 수 있다.

제3 시간 간격 T₃ 동안, 손으로 작동되는 선택기(212)의 움직임 레이트가 T_R1보다 작은 레이트로 감소할 때, 제3 필터링 함수(826)는 시간 함수로서 제어기 모션 필터링의 감소를 야기하고, 이는 시간 함수로서의 움직임 비율의 증가에 대응한다. 따라서, 커서(402)의 모션은 제3 시간 간격 T₃ 동안 제2 동적 움직임 비율에 따라 사용자 입력 디바이스(204)의 모션을 따른다. 도 6a의 예시적인 손으로 작동되는 선택기(212) 및 사용자 입력 디바이스(204)를 참조하면, 핸들(530)에 대한 그립 버튼들(530a, 530b)의 움직임 레이트가 제3 시간 간격 T₃ 동안보다 제2 시간 간격 T₂ 동안 더 크기 때문에, 화살표들(856a, 856b)은 화살표들(854a, 854b)보다 짧은 길이를 갖는다. 예시적인 입력 제어기(118)는 예를 들어 선형 시간 함수, 로그 시간 함수 또는 지수 시간 함수로서 제3 필터링 함수(826)를 이용하여 제어기 모션 필터링을 감소시키도록(이는 대응적으로 움직임 비율을 증가시킴) 구성될 수 있다. 더욱이, 예시적인 입력 제어기(118)는 제3 필터링 함수(826)를 이용하여, 움직임 비율이 예를 들어 1:1의 클릭전 움직임 비율을 회복할 때까지 시간 함수로서 증가하게 하도록 구성될 수 있다. 따라서, 제3 시간 간격 T₃ 동안, 사용자 입력 디바이스 모션의 필터링은 시간에 따라 감소하는데, 이는 움직임 비율이 시간에 따라 증가한다는 것을 의미한다.

여전히 도 11을 참조하면, 관찰 윈도우 디스플레이 인스턴스들(502a, 502b, 502c, 502d)의 시퀀스는 제2 제어 함수 곡선(820)을 따르는 상이한 포인트들에서 관찰 평면(502) 내의 커서 움직임 레이트의 변화들을 그림으로 나타낸다. 각각의 순차적인 관찰 윈도우 인스턴스들(502a, 502b, 502c, 502d)에서, 각각의 화살표(503a, 503b, 503d)가 커서(402)와 연관되어 있다. 각각의 개별 관찰 윈도우 디스플레이 인스턴스에서의 개별 화살표의 길이는, 개별 관찰 윈도우의 디스플레이 시간 동안의 움직임 비율, 즉, 대응하는 커서 모션에 대한 사용자 입력 디바이스 모션의 비율의 크기를 나타낸다.

예시적인 클릭 이벤트의 시작 전에, 움직임 비율 필터는 각각의 관찰 윈도우 디스플레이(502a)에서 각각의 화살표(503a)의 긴 길이에 의해 표현되는 최대 값의 움직임 비율을 부여하도록 기능한다.

제1 시간 간격 T₁ 동안, T_R1 미만의 레이트에서의 사용자 입력 디바이스(204)에 대한 손으로 작동되는 선택기(212)의 움직임에 응답하여, 예시적인 입력 제어기(118)는 사용자 입력 디바이스(204)에 대한 손으로 작동되는 선택기(212)의 움직임 레이트의 함수로서 사용자 입력 디바이스 모션 필터링에서 증가하도록 제2 변환 함수 F2에 의해 구성되며, 이는 그립 버튼 변위의 감소 레이트의 증가에 따른 움직임 비율의 감소에 대응한다. 움직임 비율의 감소는 관찰 윈도우 디스플레이(502b)에서 화살표(503b)의 더 짧은 길이에 의해 표현된다.

제2 시간 간격 T₂ 동안, 손으로 작동되는 선택기(212)가 사용자 입력 디바이스(204)에 대해 T_R1 이상의 레이트로 이동하는 것에 응답하여, 입력 제어기(118)는 움직임 레이트의 계속적인 증가에도 불구하고 일정한 최소 움직임 비율을 야기하도록 제2 변환 함수 F2에 의해 구성된다. 최소 움직임 비율은 관찰 윈도우 디스플레이(502c)에서 화살표의 부재에 의해 표현된다.

제3 시간 간격 T₃ 동안, 더 이상 T_R1 이상이 아닌 감소된 레이트로의 사용자 입력 디바이스(204)에 대한 손으로 작동되는 선택기(212)의 움직임에 응답하여, 입력 제어기(118)는 제2 변환 함수 F2에 의해 시간 함수로서 제어기 모션 필터링의 감소(이는 대응적으로 움직임 비율을 증가시킴)를 야기하도록 구성된다. 움직임 비율의 증가는 관찰 윈도우 디스플레이(502d)에서 화살표(503d)의 재출현에 의해 표현된다. 화살표(503d)의 더 짧은 길이는 움직임 비율이 아직 클릭전 레벨로 복귀하지 않았음을 나타낸다는 점에 유의한다.

컴퓨터 하드웨어 및 저장 디바이스들

도 12는 예시적인 실시예에 따른, 본 명세서에서 논의된 기술들(예를 들어, 방법론들) 중 임의의 하나 이상이 수행할 수 있는 예시적인 머신을 도시하는 예시적인 블록도이다. 도 12는 예를 들어 제어기 시스템(118)을 구현하는데 이용될 수 있는 더 구체화된 컴퓨터 시스템(1200)의 예시적인 도식적 표현을 나타낸다. 컴퓨터 시스템(1200)은, 예를 들어, 컴퓨터화된 훈련 모듈을 구현하도록 구성될 수 있다. 대안적인 실시예들에서, 컴퓨터 시스템(1200)은 독립형 디바이스로서 동작하거나 다른 머신들에 접속(예를 들어, 네트워크화)될 수 있다. 네트워크화된 배치에서, 컴퓨터 시스템(1200)은 서버-클라이언트 네트워크 환경에서의 서버 또는 클라이언트 머신으로서, 또는 피어-투-피어(또는 분산형) 네트워크 환경에서의 피어 머신으로서 동작할 수 있다. 컴퓨터 시스템(1200)은, 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(PC), 태블릿 PC, PDA(Personal Digital Assistant), 셀룰러 전화기, 또는 그 머신에 의해 취해질 액션들을 지정하는 (순차적 또는 기타의) 명령어 세트를 실행할 수 있는 임의의 머신일 수 있다. 또한, 단일 머신(즉, 컴퓨터 시스템(1200))만이 예시되어 있지만, "머신"이라는 용어는 또한 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하기 위해 명령어들의 세트(또는 다수의 세트)를 개별적으로 또는 공동으로 실행하는 머신들의 임의의 컬렉션을 포함하는 것으로 간주되어야 한다.

예시적인 컴퓨터 시스템(1200)은, 버스(1208)를 통해 서로 통신하는, 프로세서(1202)(예를 들어, 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 또는 양쪽 모두), 메인 메모리(1204) 및 정적 메모리(1206)를 포함한다. 컴퓨터 시스템(1200)은 예를 들어, 수술 기구(124) 및 가요성 기구(120)의 위치들을 표시하는데 이용될 수 있는 비디오 디스플레이 유닛(1210)(예를 들어, 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, 터치 스크린, 또는 음극선관(CRT))을 더 포함할 수 있다. 컴퓨터 시스템(1200)은 또한, 영숫자 입력 디바이스(1212)(예를 들어, 키보드, 물리적 키보드, 소프트웨어를 이용한 가상 키보드), 커서 제어 디바이스 또는 입력 센서(1214)(예를 들어, 마우스, 트랙 패드, 트랙볼, 센서 또는 판독기, 머신 판독가능한 정보 판독기, 바코드 판독기), 디스크 드라이브 유닛(1216), 신호 생성 디바이스(1218)(예를 들어, 스피커) 및 네트워크 인터페이스 디바이스 또는 트랜시버(1220)를 포함한다.

디스크 드라이브 유닛(1216)은 본 명세서에 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구현하는 명령어들(1224)의 하나 이상의 세트(예를 들어, 소프트웨어)가 저장되어 있는 비일시적 머신 판독가능한 저장 디바이스 매체(1222)를 포함한다. 명령어들(1224)은 또한 컴퓨터 시스템(1200)에 의한 그 실행 동안 메인 메모리(1204), 정적 메모리(1206) 내에 그리고/또는 프로세서(1202) 내에 완전히 또는 적어도 부분적으로 상주할 수 있으며, 메인 메모리(1204) 및 프로세서(1202)는 또한 비일시적 머신 판독가능한 저장 디바이스 매체를 구성한다. 비일시적 머신 판독가능한 저장 디바이스 매체(1222)는 또한 집적 회로 설계 및 파형 구조물들을 저장할 수 있다. 명령어들(1224)은 네트워크 인터페이스 디바이스 또는 트랜시버(1220)를 경유하여 네트워크(1226)를 통해 추가로 전송 또는 수신될 수 있다. 머신 판독가능한 저장 디바이스 매체(1222)가 예시적인 실시예에서 단일 매체인 것으로 도시되어 있지만, 용어 "머신 판독가능한 매체", "컴퓨터 판독가능한 매체" 등은 명령어들(1224)의 하나 이상의 세트를 저장하는 단일 매체 또는 다수의 매체(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 및/또는 연관된 캐시들 및 서버들)를 포함하는 것으로 간주되어야 한다. 용어 "머신 판독가능한 매체"는 또한, 머신에 의한 실행을 위한 명령어 세트를 저장, 인코딩 또는 운반할 수 있고 머신으로 하여금 본 개시내용의 방법론들 중 임의의 하나 이상을 수행하게 하는 임의의 매체를 포함하는 것으로 간주되어야 한다. 따라서, "머신 판독가능한 매체"라는 용어는 솔리드 스테이트 메모리들, 광학 및 자기 매체들, 및 반송파 신호들을 포함하지만 이에 제한되지는 않는 것으로 간주되어야 한다.

명확함을 위해, 이상의 설명이 상이한 기능 유닛들 또는 프로세서들을 참조하여 일부 실시예들을 설명할 수 있다는 것을 잘 알 것이다. 그러나, 상이한 기능 유닛들, 프로세서들 또는 도메인들 사이의 기능의 임의의 적절한 분배가 본 개시내용으로부터 벗어나지 않고 이용될 수 있다는 점이 명백할 것이다. 예를 들어, 별도의 프로세서들 또는 제어기들에 의해 수행되는 것으로 예시된 기능은 동일한 프로세서 또는 제어기에 의해 수행될 수 있다. 따라서, 특정 기능 유닛들에 대한 언급들은, 엄격한 논리적 또는 물리적 구조 또는 구성을 나타내기보다는, 설명된 기능을 제공하기 위한 적합한 수단에 대한 언급들로서만 보여져야 한다.

본 개시내용이 일부 실시예들과 관련하여 설명되었지만, 이는 본 명세서에 제시된 특정 형태로 제한되도록 의도되지 않는다. 본 기술분야의 통상의 기술자는 설명된 실시예들의 다양한 피처들이 본 개시내용에 따라 조합될 수 있다는 것을 인식할 것이다. 더욱이, 다양한 수정들 및 변경들이 본 개시내용의 범위로부터 벗어나는 것 없이 본 기술분야의 통상의 기술자에 의해 이루어질 수 있다는 점이 이해될 것이다.

또한, 전술한 상세한 설명에서, 본 개시내용을 간소화할 목적으로 다양한 피처들이 단일 실시예에서 함께 그룹화되는 것을 알 수 있다. 이러한 개시 방법은 청구되는 실시예들이 각각의 청구항에 명시적으로 기재된 것보다 더 많은 피처들을 요구한다는 의도를 반영하는 것으로서 해석되지 않아야 한다. 오히려, 이하의 청구항들이 반영하는 바와 같이, 본 발명의 주제는 단일의 개시된 실시예의 모든 피처들보다 적은 것에 있다. 따라서, 이하의 청구항들은 이로써 상세한 설명에 포함되며, 각각의 청구항은 개별 실시예로서 독립적이다.

본 발명에 따른 실시예들의 전술한 설명 및 도면들은 본 발명의 주제의 원리들을 예시할 뿐이다. 따라서, 첨부된 청구항들에서 정의되는 본 발명의 주제의 범위로부터 벗어나지 않고 본 기술분야의 통상의 기술자에 의해 실시예들에 대해 다양한 수정들이 이루어질 수 있다는 것을 이해할 것이다.

따라서, 본 발명의 특정 예시적인 실시예들이 설명되었고 첨부 도면들에 도시되었지만, 다양한 다른 수정들이 본 기술분야의 통상의 기술자에게 발생할 수 있기 때문에, 이러한 실시예들은 단지 예시적인 것이고 광범위한 본 발명의 주제를 제한하지 않으며, 본 발명의 실시예들은 도시되고 설명된 특정 구성들 및 배열들로 제한되지 않는다는 것이 이해되어야 한다.

다양한 예들

예 1은 탑재 구조물에 이동가능하게 탑재된 손으로 작동되는 선택기에 의한 클릭 이벤트의 작동을 제어하는 방법을 포함할 수 있고, 이 방법은 하나 이상의 센서를 이용하여 중립 위치로부터의 손으로 작동되는 선택기의 변위 거리의 양을 감지하는 단계; 중립 위치로부터의 제1 임계 거리보다 작은 변위 거리에서의 손으로 작동되는 센서에 응답하여, 유지력을 부여하도록 제1 제어 상태에 따라 하나 이상의 모터를 제어하는 단계; 중립 위치 중립 위치로부터의 제1 임계 거리와 중립 위치로부터의 제2 임계 거리 사이의 변위 거리에서 손으로 작동되는 센서를 감지하는 것에 응답하여, 중립 변위 위치로부터의 손으로 작동되는 선택기의 변위를 증가시키는 함수로서 증가하는 촉각력을 손으로 작동되는 선택기에 부여하도록 제2 제어 상태에 따라 하나 이상의 모터를 제어하는 단계; 손으로 작동되는 센서가 중립 위치로부터의 제2 임계 거리를 충족했다는 감지에 응답하여, 디스플레이 시스템에서 클릭 이벤트의 발생을 야기하기 위한 클릭 이벤트 신호를 부여하는 단계; 및 제2 제어 상태 동안에 부여되는 촉각력의 최대 크기보다 작은 감소된 크기로 손으로 작동되는 선택기에 부여되는 촉각력의 크기를 감소시키도록 제3 제어 상태에 따라 하나 이상의 모터를 제어하는 단계를 포함한다.

예 2는 예 1의 주제를 포함할 수 있고, 유지력은 제로이다.

예 3은 예 1의 주제를 포함할 수 있고, 유지력은 제2 제어 상태에 따라 하나 이상의 모터에 의해 부여되는 촉각력보다 작다.

예 4는 예 1의 주제를 포함할 수 있고, 제3 제어 상태에 따라 하나 이상의 모터를 제어하는 단계는 중립 변위 위치로부터의 손으로 작동되는 선택기의 변위를 증가시키는 함수로서 크기가 감소된 크기로 감소하는 촉각력을 손으로 작동되는 선택기에 부여하도록 하나 이상의 모터를 제어하는 단계를 포함한다.

예 5는 예 4의 주제를 포함할 수 있고, 제2 제어 상태에 따라 하나 이상의 모터를 제어하는 단계는 제1 레이트로 촉각력의 크기를 증가시키도록 하나 이상의 모터를 제어하는 단계를 포함하고; 제3 제어 상태에 따라 하나 이상의 모터를 제어하는 단계는 제2 레이트로 촉각력의 크기를 감소시키도록 하나 이상의 모터를 제어하는 단계를 포함하고; 제1 레이트의 크기는 제2 레이트의 크기보다 작다.

예 6은 예 4의 주제를 포함할 수 있고, 제3 제어 상태에 따라 하나 이상의 모터를 제어하는 단계는 중립 변위 위치로부터의 손으로 작동되는 선택기의 변위를 증가시키는 함수로서 크기가 감소된 크기로 감소하는 촉각력을 손으로 작동되는 선택기에 부여하도록 하나 이상의 모터를 제어하는 단계를 포함한다.

예 7은 예 4의 주제를 포함할 수 있고, 제3 제어 상태에 따라 하나 이상의 모터를 제어하는 단계는 감소된 크기로 순간적으로 감소하는 촉각력을 손으로 작동되는 선택기에 부여하도록 하나 이상의 모터를 제어하는 단계를 포함한다.

예 8은 예 1의 주제를 포함할 수 있고, 하나 이상의 모터를 이용하여 손으로 작동되는 선택기가 중립 위치로 이동하게 하는 단계를 더 포함한다.

예 9는 예 1의 주제를 포함할 수 있고, 탄성 부재를 이용하여 손으로 작동되는 선택기가 중립 위치로 이동하게 하는 단계를 더 포함한다.

예 10은 예 1의 주제를 포함할 수 있고, 정지면을 이용하여 손으로 작동되는 선택기의 모션을 정지시키는 단계를 더 포함한다.

예 11은 예 1의 주제를 포함할 수 있고, 탑재 구조물에서의 정지면을 이용하여 손으로 작동되는 선택기의 모션을 정지시키는 단계를 더 포함한다.

예 12는 예 1의 주제를 포함할 수 있고, 손으로 작동되는 선택기가 중립 위치로부터의 제3 임계 변위 거리에 도달할 때 손으로 작동되는 선택기의 추가 변위를 정지시키기 위한 반작용력을 손으로 작동되는 선택기에 부여하도록 배치된 정지면을 이용하는 단계를 더 포함한다.

예 13은 예 1의 주제를 포함할 수 있고, 감소된 크기가 손으로 작동되는 선택기에 처음 부여되는 변위 거리와 제3 임계 거리 사이의 변위 거리들에서 감소된 크기를 손으로 작동되는 선택기에 부여하도록 제3 제어 상태에 따라 하나 이상의 모터를 제어하는 단계를 더 포함한다.

예 14는 예 1의 주제를 포함할 수 있고, 하나 이상의 센서는 탑재 구조물에 대한 손으로 작동되는 선택기의 변위를 감지하도록 구성된다.

예 15는 예 1의 주제를 포함할 수 있고, 하나 이상의 센서를 이용하여 손으로 작동되는 선택기의 움직임 동안에 중립 위치로부터의 손으로 작동되는 선택기의 변위의 양을 감지한다.

예 16은 탑재 구조물에 이동가능하게 탑재된 손으로 작동되는 선택기에 의한 클릭 이벤트의 작동을 제어하는 장치를 포함할 수 있고, 이 장치는 손으로 작동되는 선택기의 위치를 감지하도록 구성된 하나 이상의 센서; 손으로 작동되는 선택기에 촉각력을 부여하도록 구성된 하나 이상의 모터; 처리 회로; 및 처리 회로에 의해 실행될 때, 처리 회로로 하여금 동작들을 수행하게 하는 명령어들을 저장하는 메모리 시스템을 포함하며, 동작들은, 하나 이상의 센서를 이용하여 중립 위치로부터의 손으로 작동되는 선택기의 변위의 양을 감지하는 동작; 중립 위치로부터의 제1 임계 거리보다 작은 변위 거리에서의 손으로 작동되는 센서에 응답하여, 유지력을 부여하도록 제1 제어 상태에 따라 하나 이상의 모터를 제어하는 동작; 중립 위치 중립 위치로부터의 제1 임계 거리와 중립 위치로부터의 제2 임계 거리 사이의 변위 거리에서 손으로 작동되는 센서를 감지하는 것에 응답하여, 중립 변위 위치로부터의 손으로 작동되는 선택기의 변위를 증가시키는 함수로서 크기가 증가하는 촉각력을 손으로 작동되는 선택기에 부여하도록 제2 제어 상태에 따라 하나 이상의 모터를 제어하는 동작; 손으로 작동되는 센서가 중립 위치로부터의 제2 임계 거리를 충족했다는 감지에 응답하여, 디스플레이 시스템에서 클릭 이벤트의 발생을 야기하기 위한 클릭 이벤트 신호를 부여하는 동작, 및 중립 변위 위치로부터의 손으로 작동되는 선택기의 변위를 증가시키는 함수로서 크기가 감소된 크기로 감소하는 촉각력을 손으로 작동되는 선택기에 부여하도록 제3 제어 상태에 따라 하나 이상의 모터를 제어하는 동작 - 감소된 크기는 제2 제어 상태 동안에 부여되는 촉각력의 최대 크기보다 작음 -; 및 제2 제어 상태 동안에 부여되는 촉각력의 최대 크기보다 작은 감소된 크기로 손으로 작동되는 선택기에 부여되는 촉각력의 크기를 감소시키도록 제3 제어 상태에 따라 하나 이상의 모터를 제어하는 동작을 포함한다.

예 17은 예 16의 주제를 포함할 수 있고, 유지력은 제로이다.

예 18은 예 16의 주제를 포함할 수 있고, 유지력은 제2 제어 상태에 따라 하나 이상의 모터에 의해 부여되는 촉각력보다 작다.

예 19는 예 16의 주제를 포함할 수 있고, 제3 제어 상태에 따라 하나 이상의 모터를 제어하는 동작은 클릭 이벤트 신호를 부여하는 동작 후에 발생한다.

예 20은 예 16의 주제를 포함할 수 있고, 제3 제어 상태에 따라 하나 이상의 모터를 제어하는 동작은 중립 변위 위치로부터의 손으로 작동되는 선택기의 변위를 증가시키는 함수로서 크기가 감소된 크기로 감소하는 촉각력을 손으로 작동되는 선택기에 부여하도록 하나 이상의 모터를 제어하는 동작을 포함한다.

예 21은 예 20의 주제를 포함할 수 있고, 제2 제어 상태에 따라 하나 이상의 모터를 제어하는 동작은 제1 레이트로 촉각력의 크기를 증가시키도록 하나 이상의 모터를 제어하는 동작을 포함하고; 제3 제어 상태에 따라 하나 이상의 모터를 제어하는 동작은 제2 레이트로 촉각력의 크기를 감소시키도록 하나 이상의 모터를 제어하는 동작을 포함하고; 제1 레이트의 크기는 제2 레이트의 크기보다 작다.

예 22는 예 20의 주제를 포함할 수 있고, 제3 제어 상태에 따라 하나 이상의 모터를 제어하는 동작은 중립 변위 위치로부터의 손으로 작동되는 선택기의 변위를 증가시키는 함수로서 크기가 감소된 크기로 감소하는 촉각력을 손으로 작동되는 선택기에 부여하도록 하나 이상의 모터를 제어하는 동작을 포함한다.

예 23은 예 20의 주제를 포함할 수 있고, 제3 제어 상태에 따라 하나 이상의 모터를 제어하는 동작은 감소된 크기로 순간적으로 감소하는 촉각력을 손으로 작동되는 선택기에 부여하도록 하나 이상의 모터를 제어하는 동작을 포함한다.

예 24는 예 16의 주제를 포함할 수 있고, 실행될 때, 프로세서로 하여금, 하나 이상의 모터를 제어하여 손으로 작동되는 선택기가 중립 위치로 이동하게 하는 동작을 포함하는 동작들을 수행하게 하는 명령어들을 더 포함한다.

예 25는 예 16의 주제를 포함할 수 있고, 손으로 작동되는 선택기가 중립 위치로 이동하게 하도록 구성된 탄성 부재를 더 포함한다.

예 26은 예 16의 주제를 포함할 수 있고, 손으로 작동되는 선택기가 중립 위치로부터의 제3 임계 변위 거리에 도달할 때 손으로 작동되는 선택기의 모션을 정지시키도록 구성된 정지면을 더 포함한다.

예 27은 제1 2차원(2D) 평면에서의 커서의 모션을, 제2 2D 평면에서의 사용자 입력 디바이스의 모션에 기반하여, 그리고 사용자 입력 디바이스에 이동가능하게 탑재된 손으로 작동되는 선택기의 모션에 기반하여 제어하는 방법을 포함할 수 있고, 이 방법은 손으로 작동되는 선택기가 제1 임계 레이트보다 작은 레이트로 사용자 입력 디바이스에 대하여 이동하는 동안에, 제1 2D 평면에서의 커서의 모션이 일정한 움직임 비율에 따라 제2 2D 평면에서의 사용자 입력 디바이스의 모션을 따르게 하는 단계; 제1 2D 평면에서의 커서의 모션이, 제어기에 대한 손으로 작동되는 선택기의 움직임 레이트가 제1 임계 레이트와 제2 임계 레이트 사이에 있는 것에 응답하여, 사용자 입력 디바이스에 대한 손으로 작동되는 선택기의 움직임 레이트를 증가시키는 함수로서 감소하는 움직임 비율에 따라 제2 2D 평면에서의 사용자 인터페이스 디바이스의 모션을 따르게 하는 단계; 및 제1 2D 평면에서의 커서의 모션이, 사용자 입력 디바이스에 대한 손으로 작동되는 선택기의 움직임 레이트가 제2 임계 레이트 아래로 감소하는 것에 응답하여, 사용자 입력 디바이스에 대한 손으로 작동되는 선택기의 움직임 레이트를 감소시키는 함수로서 증가하는 모션 비율에 따라 제2 2D 평면에서의 사용자 입력 디바이스의 모션을 따르게 하는 단계를 포함한다.

예 28은 예 27의 주제를 포함할 수 있고, 제1 2D 평면에서의 커서의 모션이, 손으로 작동되는 선택기가 제2 임계 레이트보다 큰 레이트로 사용자 입력 디바이스에 대하여 이동하는 것에 응답하여, 제1 움직임 비율보다 작은 일정한 제2 움직임 비율에 따라 제2 2D 평면에서의 사용자 입력 디바이스의 모션을 따르도록 제어하는 단계를 더 포함한다.

예 29는 예 27의 주제를 포함할 수 있고, 제1 2D 평면에서의 커서의 모션이, 손으로 작동되는 선택기가 제2 임계 레이트보다 큰 레이트로 사용자 입력 디바이스에 대하여 이동하는 것에 응답하여, 제2 2D 평면에서의 사용자 입력 디바이스의 모션을 따르는 것을 정지시키게 하는 단계를 더 포함한다.

예 30은 디스플레이 시스템의 제1 2차원(2D) 이미지 디스플레이 평면에서의 커서의 모션을, 제2 2D 촉각 평면에서의 사용자 입력 디바이스의 모션에 기반하여, 그리고 사용자 입력 디바이스에 이동가능하게 탑재된 손으로 작동되는 선택기의 모션에 기반하여 제어하는 장치를 포함할 수 있고, 이 장치는 손으로 작동되는 선택기의 모션을 감지하도록 구성된 하나 이상의 센서; 처리 회로; 및 처리 회로에 의해 실행될 때, 처리 회로로 하여금 동작들을 수행하게 하는 명령어들을 저장하는 메모리 시스템을 포함하며, 동작들은, 손으로 작동되는 선택기가 제1 임계 레이트보다 작은 레이트로 사용자 입력 디바이스에 대하여 이동하는 동안에, 제1 2D 평면에서의 커서의 모션이 일정한 움직임 비율에 따라 제2 2D 평면에서의 사용자 입력 디바이스의 모션을 따르게 하는 동작; 제1 2D 평면에서의 커서의 모션이, 사용자 입력 디바이스에 대한 손으로 작동되는 선택기의 움직임 레이트가 제1 임계 레이트와 제2 임계 레이트 사이에 있는 것에 응답하여, 사용자 입력 디바이스에 대한 손으로 작동되는 선택기의 움직임 레이트를 증가시키는 함수로서 감소하는 움직임 비율에 따라 제2 2D 평면에서의 사용자 인터페이스 디바이스의 모션을 따르게 하는 동작; 및 제1 2D 평면에서의 커서의 모션이, 사용자 입력 디바이스에 대한 손으로 작동되는 선택기의 움직임 레이트가 제2 임계 레이트 아래로 감소하는 것에 응답하여, 사용자 입력 디바이스에 대한 손으로 작동되는 선택기의 움직임 레이트를 감소시키는 함수로서 증가하는 모션 비율에 따라 제2 2D 평면에서의 사용자 입력 디바이스의 모션을 따르게 하는 동작을 포함한다.

예 31은 예 30의 주제를 포함할 수 있고, 실행될 때, 프로세서로 하여금, 제1 2D 평면에서의 커서의 모션이, 손으로 작동되는 선택기가 제2 임계 레이트보다 큰 레이트로 사용자 입력 디바이스에 대하여 이동하는 것에 응답하여, 제1 움직임 비율보다 작은 일정한 제2 움직임 비율에 따라 제2 2D 평면에서의 사용자 입력 디바이스의 모션을 따르게 하는 동작을 포함하는 동작들을 수행하게 하는 명령어들을 더 포함한다.

예 32는 예 30의 주제를 포함할 수 있고, 실행될 때, 프로세서로 하여금, 제1 2D 평면에서의 커서의 모션이, 손으로 작동되는 선택기가 제2 임계 레이트보다 큰 레이트로 사용자 입력 디바이스에 대하여 이동하는 것에 응답하여, 제2 2D 평면에서의 사용자 입력 디바이스의 모션을 따르는 것을 정지시키게 하는 동작을 포함하는 동작들을 수행하게 하는 명령어들을 더 포함한다.

Claims

탑재 구조물(mount structure)에 이동가능하게 탑재된 손으로 작동되는 선택기(hand-actuated selector)에 의한 클릭 이벤트의 작동을 제어하는 방법으로서,
하나 이상의 센서를 이용하여 중립 위치로부터의 상기 손으로 작동되는 선택기의 변위 거리의 양을 감지하는 단계;
상기 중립 위치로부터의 제1 임계 거리보다 작은 변위 거리에서의 손으로 작동되는 센서에 응답하여, 유지력을 부여하도록 제1 제어 상태에 따라 하나 이상의 모터를 제어하는 단계;
상기 중립 위치 중립 위치로부터의 제1 임계 거리와 상기 중립 위치로부터의 제2 임계 거리 사이의 변위 거리에서 상기 손으로 작동되는 센서를 감지하는 것에 응답하여, 중립 변위 위치로부터의 상기 손으로 작동되는 선택기의 변위를 증가시키는 함수로서 증가하는 촉각력(haptic force)을 상기 손으로 작동되는 선택기에 부여하도록 제2 제어 상태에 따라 하나 이상의 모터를 제어하는 단계;
상기 손으로 작동되는 센서가 상기 중립 위치로부터의 상기 제2 임계 거리를 충족했다는 감지에 응답하여,
디스플레이 시스템에서 상기 클릭 이벤트의 발생을 야기하기 위한 클릭 이벤트 신호를 부여하는 단계; 및
상기 제2 제어 상태 동안에 부여되는 상기 촉각력의 최대 크기보다 작은 감소된 크기로 상기 손으로 작동되는 선택기에 부여되는 상기 촉각력의 크기를 감소시키도록 제3 제어 상태에 따라 상기 하나 이상의 모터를 제어하는 단계
를 포함하는, 방법.
제1항에 있어서,
상기 유지력은 제로인, 방법.
제1항에 있어서,
상기 유지하는 것은 상기 제2 제어 상태에 따라 상기 하나 이상의 모터에 의해 부여되는 촉각력보다 작은, 방법.
제1항에 있어서,
상기 제3 제어 상태에 따라 상기 하나 이상의 모터를 제어하는 단계는 상기 중립 변위 위치로부터의 상기 손으로 작동되는 선택기의 변위를 증가시키는 함수로서 크기가 상기 감소된 크기로 감소하는 촉각력을 상기 손으로 작동되는 선택기에 부여하도록 상기 하나 이상의 모터를 제어하는 단계를 포함하는, 방법.
제4항에 있어서,
상기 제2 제어 상태에 따라 상기 하나 이상의 모터를 제어하는 단계는 제1 레이트로 상기 촉각력의 크기를 증가시키도록 상기 하나 이상의 모터를 제어하는 단계를 포함하고;
상기 제3 제어 상태에 따라 상기 하나 이상의 모터를 제어하는 단계는 제2 레이트로 상기 촉각력의 크기를 감소시키도록 상기 하나 이상의 모터를 제어하는 단계를 포함하고;
상기 제1 레이트의 크기는 상기 제2 레이트의 크기보다 작은, 방법.
제4항에 있어서,
상기 제3 제어 상태에 따라 상기 하나 이상의 모터를 제어하는 단계는 상기 중립 변위 위치로부터의 상기 손으로 작동되는 선택기의 변위를 증가시키는 함수로서 크기가 상기 감소된 크기로 감소하는 촉각력을 상기 손으로 작동되는 선택기에 부여하도록 상기 하나 이상의 모터를 제어하는 단계를 포함하는, 방법.
제4항에 있어서,
상기 제3 제어 상태에 따라 상기 하나 이상의 모터를 제어하는 단계는 상기 감소된 크기로 순간적으로 감소하는 촉각력을 상기 손으로 작동되는 선택기에 부여하도록 상기 하나 이상의 모터를 제어하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 하나 이상의 모터를 이용하여 상기 손으로 작동되는 선택기가 상기 중립 위치로 이동하게 하는 단계를 더 포함하는, 방법.
제1항에 있어서,
탄성 부재를 이용하여 상기 손으로 작동되는 선택기가 상기 중립 위치로 이동하게 하는 단계를 더 포함하는, 방법.
제1항에 있어서,
정지면(stop surface)을 이용하여 상기 손으로 작동되는 선택기의 모션을 정지시키는 단계를 더 포함하는, 방법.
제1항에 있어서,
상기 탑재 구조물에서의 정지면을 이용하여 상기 손으로 작동되는 선택기의 모션을 정지시키는 단계를 더 포함하는, 방법.
제1항에 있어서,
상기 손으로 작동되는 선택기가 상기 중립 위치로부터의 제3 임계 변위 거리에 도달할 때 상기 손으로 작동되는 선택기의 추가 변위를 정지시키기 위한 반작용력을 상기 손으로 작동되는 선택기에 부여하도록 배치된 정지면을 이용하는 단계를 더 포함하는, 방법.
제4항에 있어서,
상기 감소된 크기가 상기 손으로 작동되는 선택기에 처음 부여되는 변위 거리와 제3 임계 거리 사이의 변위 거리들에서 상기 감소된 크기를 상기 손으로 작동되는 선택기에 부여하도록 제3 제어 상태에 따라 상기 하나 이상의 모터를 제어하는 단계를 더 포함하는, 방법.
제1항에 있어서,
상기 하나 이상의 센서는 상기 탑재 구조물에 대한 상기 손으로 작동되는 선택기의 변위를 감지하도록 구성되는, 방법.
제1항에 있어서,
상기 하나 이상의 센서를 이용하여 상기 손으로 작동되는 선택기의 움직임 동안에 중립 위치로부터의 상기 손으로 작동되는 선택기의 변위의 양을 감지하는, 방법.
탑재 구조물에 이동가능하게 탑재된 손으로 작동되는 선택기에 의한 클릭 이벤트의 작동을 제어하는 장치로서,
상기 손으로 작동되는 선택기의 위치를 감지하도록 구성된 하나 이상의 센서;
상기 손으로 작동되는 선택기에 촉각력을 부여하도록 구성된 하나 이상의 모터;
처리 회로; 및
상기 처리 회로에 의해 실행될 때, 상기 처리 회로로 하여금 동작들을 수행하게 하는 명령어들을 저장하는 메모리 시스템
을 포함하며, 상기 동작들은,
상기 하나 이상의 센서를 이용하여 중립 위치로부터의 상기 손으로 작동되는 선택기의 변위의 양을 감지하는 동작;
상기 중립 위치로부터의 제1 임계 거리보다 작은 변위 거리에서의 손으로 작동되는 센서에 응답하여, 유지력을 부여하도록 제1 제어 상태에 따라 하나 이상의 모터를 제어하는 동작;
상기 중립 위치 중립 위치로부터의 제1 임계 거리와 상기 중립 위치로부터의 제2 임계 거리 사이의 변위 거리에서 상기 손으로 작동되는 센서를 감지하는 것에 응답하여, 중립 변위 위치로부터의 상기 손으로 작동되는 선택기의 변위를 증가시키는 함수로서 크기가 증가하는 촉각력을 상기 손으로 작동되는 선택기에 부여하도록 제2 제어 상태에 따라 하나 이상의 모터를 제어하는 동작;
상기 손으로 작동되는 센서가 상기 중립 위치로부터의 상기 제2 임계 거리를 충족했다는 감지에 응답하여,
디스플레이 시스템에서 상기 클릭 이벤트의 발생을 야기하기 위한 클릭 이벤트 신호를 부여하는 동작; 및
상기 제2 제어 상태 동안에 부여되는 상기 촉각력의 최대 크기보다 작은 감소된 크기로 상기 손으로 작동되는 선택기에 부여되는 상기 촉각력의 크기를 감소시키도록 제3 제어 상태에 따라 상기 하나 이상의 모터를 제어하는 동작
을 포함하는, 장치.
제16항에 있어서,
상기 유지력은 제로인, 장치.
제16항에 있어서,
상기 유지력은 상기 제2 제어 상태에 따라 상기 하나 이상의 모터에 의해 부여되는 촉각력보다 작은, 장치.
제16항에 있어서,
상기 제3 제어 상태에 따라 상기 하나 이상의 모터를 제어하는 동작은 상기 클릭 이벤트 신호를 부여하는 동작 후에 발생하는, 장치.
제16항에 있어서,
상기 제3 제어 상태에 따라 상기 하나 이상의 모터를 제어하는 동작은 상기 중립 변위 위치로부터의 상기 손으로 작동되는 선택기의 변위를 증가시키는 함수로서 크기가 상기 감소된 크기로 감소하는 촉각력을 상기 손으로 작동되는 선택기에 부여하도록 상기 하나 이상의 모터를 제어하는 동작을 포함하는, 장치.
제20항에 있어서,
상기 제2 제어 상태에 따라 상기 하나 이상의 모터를 제어하는 동작은 제1 레이트로 상기 촉각력의 크기를 증가시키도록 상기 하나 이상의 모터를 제어하는 동작을 포함하고;
상기 제3 제어 상태에 따라 상기 하나 이상의 모터를 제어하는 동작은 제2 레이트로 상기 촉각력의 크기를 감소시키도록 상기 하나 이상의 모터를 제어하는 동작을 포함하고;
상기 제1 레이트의 크기는 상기 제2 레이트의 크기보다 작은, 장치.
제20항에 있어서,
상기 제3 제어 상태에 따라 상기 하나 이상의 모터를 제어하는 동작은 상기 중립 변위 위치로부터의 상기 손으로 작동되는 선택기의 변위를 증가시키는 함수로서 크기가 상기 감소된 크기로 감소하는 촉각력을 상기 손으로 작동되는 선택기에 부여하도록 상기 하나 이상의 모터를 제어하는 동작을 포함하는, 장치.
제16항에 있어서,
상기 제3 제어 상태에 따라 상기 하나 이상의 모터를 제어하는 동작은 상기 감소된 크기로 순간적으로 감소하는 촉각력을 상기 손으로 작동되는 선택기에 부여하도록 상기 하나 이상의 모터를 제어하는 동작을 포함하는, 장치.
제16항에 있어서,
실행될 때, 프로세서로 하여금, 상기 하나 이상의 모터를 제어하여 상기 손으로 작동되는 선택기가 상기 중립 위치로 이동하게 하는 동작을 포함하는 동작들을 수행하게 하는 명령어들을 더 포함하는, 장치.
제16항에 있어서,
상기 손으로 작동되는 선택기가 상기 중립 위치로 이동하게 하도록 구성된 탄성 부재를 더 포함하는, 장치.
제16항에 있어서,
상기 손으로 작동되는 선택기가 상기 중립 위치로부터의 제3 임계 변위 거리에 도달할 때 상기 손으로 작동되는 선택기의 모션을 정지시키도록 구성된 정지면을 더 포함하는, 장치.
제1 2차원(2D) 평면에서의 커서의 모션을, 제2 2D 평면에서의 사용자 입력 디바이스의 모션에 기반하여, 그리고 상기 사용자 입력 디바이스에 이동가능하게 탑재된 손으로 작동되는 선택기의 모션에 기반하여 제어하는 방법으로서,
상기 손으로 작동되는 선택기가 제1 임계 레이트보다 작은 레이트로 상기 사용자 입력 디바이스에 대하여 이동하는 동안에, 상기 제1 2D 평면에서의 상기 커서의 모션이 일정한 움직임 비율에 따라 상기 제2 2D 평면에서의 상기 사용자 입력 디바이스의 모션을 따르게 하는 단계;
상기 제1 2D 평면에서의 상기 커서의 모션이, 제어기에 대한 상기 손으로 작동되는 선택기의 움직임 레이트가 상기 제1 임계 레이트와 제2 임계 레이트 사이에 있는 것에 응답하여, 상기 사용자 입력 디바이스에 대한 상기 손으로 작동되는 선택기의 움직임 레이트를 증가시키는 함수로서 감소하는 움직임 비율에 따라 상기 제2 2D 평면에서의 사용자 인터페이스 디바이스의 모션을 따르게 하는 단계; 및
상기 제1 2D 평면에서의 상기 커서의 모션이, 상기 사용자 입력 디바이스에 대한 상기 손으로 작동되는 선택기의 움직임 레이트가 상기 제2 임계 레이트 아래로 감소하는 것에 응답하여, 상기 사용자 입력 디바이스에 대한 상기 손으로 작동되는 선택기의 움직임 레이트를 감소시키는 함수로서 증가하는 모션 비율에 따라 상기 제2 2D 평면에서의 상기 사용자 입력 디바이스의 모션을 따르게 하는 단계
를 포함하는, 방법.
제27항에 있어서,
상기 제1 2D 평면에서의 상기 커서의 모션이, 상기 손으로 작동되는 선택기가 제2 임계 레이트보다 큰 레이트로 상기 사용자 입력 디바이스에 대하여 이동하는 것에 응답하여, 제1 움직임 비율보다 작은 일정한 제2 움직임 비율에 따라 상기 제2 2D 평면에서의 상기 사용자 입력 디바이스의 모션을 따르도록 제어하는 단계를 더 포함하는, 방법.
제28항에 있어서,
상기 제1 2D 평면에서의 상기 커서의 모션이, 상기 손으로 작동되는 선택기가 제2 임계 레이트보다 큰 레이트로 상기 사용자 입력 디바이스에 대하여 이동하는 것에 응답하여, 상기 제2 2D 평면에서의 상기 사용자 입력 디바이스의 모션을 따르는 것을 정지시키게 하는 단계를 더 포함하는, 방법.
디스플레이 시스템의 제1 2차원(2D) 이미지 디스플레이 평면에서의 커서의 모션을, 제2 2D 촉각 평면에서의 사용자 입력 디바이스의 모션에 기반하여, 그리고 상기 사용자 입력 디바이스에 이동가능하게 탑재된 손으로 작동되는 선택기의 모션에 기반하여 제어하는 장치로서,
상기 손으로 작동되는 선택기의 모션을 감지하도록 구성된 하나 이상의 센서;
처리 회로; 및
상기 처리 회로에 의해 실행될 때, 상기 처리 회로로 하여금 동작들을 수행하게 하는 명령어들을 저장하는 메모리 시스템
을 포함하며, 상기 동작들은,
상기 손으로 작동되는 선택기가 제1 임계 레이트보다 작은 레이트로 상기 사용자 입력 디바이스에 대하여 이동하는 동안에, 상기 제1 2D 평면에서의 상기 커서의 모션이 일정한 움직임 비율에 따라 상기 제2 2D 평면에서의 상기 사용자 입력 디바이스의 모션을 따르게 하는 동작;
상기 제1 2D 평면에서의 상기 커서의 모션이, 상기 사용자 입력 디바이스에 대한 상기 손으로 작동되는 선택기의 움직임 레이트가 상기 제1 임계 레이트와 제2 임계 레이트 사이에 있는 것에 응답하여, 상기 사용자 입력 디바이스에 대한 상기 손으로 작동되는 선택기의 움직임 레이트를 증가시키는 함수로서 감소하는 움직임 비율에 따라 상기 제2 2D 평면에서의 사용자 인터페이스 디바이스의 모션을 따르게 하는 동작; 및
상기 제1 2D 평면에서의 상기 커서의 모션이, 상기 사용자 입력 디바이스에 대한 상기 손으로 작동되는 선택기의 움직임 레이트가 상기 제2 임계 레이트 아래로 감소하는 것에 응답하여, 상기 사용자 입력 디바이스에 대한 상기 손으로 작동되는 선택기의 움직임 레이트를 감소시키는 함수로서 증가하는 모션 비율에 따라 상기 제2 2D 평면에서의 상기 사용자 입력 디바이스의 모션을 따르게 하는 동작
을 포함하는, 장치.
제30항에 있어서,
실행될 때, 프로세서로 하여금, 상기 제1 2D 평면에서의 상기 커서의 모션이, 상기 손으로 작동되는 선택기가 제2 임계 레이트보다 큰 레이트로 상기 사용자 입력 디바이스에 대하여 이동하는 것에 응답하여, 제1 움직임 비율보다 작은 일정한 제2 움직임 비율에 따라 상기 제2 2D 평면에서의 상기 사용자 입력 디바이스의 모션을 따르게 하는 동작을 포함하는 동작들을 수행하게 하는 명령어들을 더 포함하는, 장치.
제30항에 있어서,
실행될 때, 프로세서로 하여금, 상기 제1 2D 평면에서의 상기 커서의 모션이, 상기 손으로 작동되는 선택기가 제2 임계 레이트보다 큰 레이트로 상기 사용자 입력 디바이스에 대하여 이동하는 것에 응답하여, 상기 제2 2D 평면에서의 상기 사용자 입력 디바이스의 모션을 따르는 것을 정지시키게 하는 동작을 포함하는 동작들을 수행하게 하는 명령어들을 더 포함하는, 장치.