KR20190018743A - 원격조작 의료 시스템 내의 온스크린 메뉴들을 위한 시스템들 및 방법들 - Google Patents

Abstract

시스템은 조작자 제어 시스템, 및 조작자 제어 시스템의 조작자 제어 디바이스에 의한 조작을 위해 구성된 제1 원격조작 조작기를 포함하는 원격조작 어셈블리를 포함한다. 제1 원격조작 조작기는 수술 환경에서 제1 의료 기구의 동작을 제어하도록 구성된다. 시스템은 하나 이상의 프로세서를 포함하는 처리 유닛을 또한 포함한다. 처리 유닛은 수술 환경의 시야의 이미지를 디스플레이하고, 시야의 이미지 내에서 제1 의료 기구의 이미지에 근접하여 메뉴를 디스플레이하도록 구성된다. 메뉴는 제1 의료 기구에 대한 기능을 표현하는 적어도 하나의 아이콘을 포함한다.

Description

원격조작 의료 시스템 내의 온스크린 메뉴들을 위한 시스템들 및 방법들

관련 출원들

본 특허 출원은 2016년 7월 14일자로 출원되고 발명의 명칭이 "원격조작 의료 시스템 내의 온스크린 메뉴들을 위한 시스템들 및 방법들(SYSTEMS AND METHODS FOR ONSCREEN MENUS IN A TELEOPERATIONAL MEDICAL SYSTEM)"인 미국 가특허 출원 제62/362,376호의 출원일의 이익 및 우선권을 주장하며, 그 전체 내용은 본 명세서에 참조에 의해 포함된다.

기술 분야

본 개시내용은 원격조작 의료 절차(teleoperational medical procedure)를 수행하기 위한 시스템들 및 방법들에 관한 것으로, 더 구체적으로는 수술 환경(surgical environment)에서 사용되는 원격조작 기구들을 위한 기능 메뉴들을 디스플레이하기 위한 시스템들 및 방법들에 관한 것이다.

최소 침습 의료 기술들은 침습성 의료 절차들 동안 손상되는 조직의 양을 감소시킴으로써, 환자 회복 시간, 불편함, 및 유해한 부작용들을 감소시키도록 의도된다. 이러한 최소 침습 기술들은 환자의 해부학적 구조 내의 자연적 개구부들을 통해, 또는 하나 이상의 외과적 절개부를 통해 수행될 수 있다. 이러한 자연적 개구부들 또는 절개부들을 통해, 임상의들은 대상 조직 위치에 도달하기 위해 의료 도구들을 삽입할 수 있다. 최소 침습 의료 도구들은 치료 기구들(therapeutic instruments), 진단 기구들, 및 수술 기구들과 같은 기구들을 포함한다. 최소 침습 의료 도구들은 내시경 기구들과 같은 이미징 기구들을 또한 포함할 수 있다. 이미징 기구들은 사용자에게 환자의 해부학적 구조 내의 시야를 제공한다. 일부 최소 침습 의료 도구들 및 이미징 기구들은 원격조작되거나, 다르게는 컴퓨터를 통해 보조될 수 있다. 원격조작 의료 시스템들이 추가적인 특징들 및 상호작용 양상들로 더 복잡해짐에 따라, 추가적인 물리적 제어 디바이스들을 조작자 제어 스테이션에 추가하는 것은 실현하기가 덜 용이해지고 있다. 원격조작 시스템의 능력을 확장하기 위해서는, 조작자가 볼 수 있고 액세스할 수 있는 그래픽 메뉴들이 필요하다.

본 발명의 실시예들은 이하에 후속하는 청구항들에 의해 요약된다.

일 실시예에서, 시스템은 조작자 제어 시스템, 및 조작자 제어 시스템의 조작자 제어 디바이스에 의한 조작을 위해 구성된 제1 원격조작 조작기(teleoperational manipulator)를 포함하는 원격조작 어셈블리를 포함한다. 제1 원격조작 조작기는 수술 환경에서 제1 의료 기구의 동작을 제어하도록 구성된다. 시스템은 하나 이상의 프로세서를 포함하는 처리 유닛을 또한 포함한다. 처리 유닛은 수술 환경의 시야의 이미지를 디스플레이하고, 시야의 이미지 내에서 제1 의료 기구의 이미지에 근접하여 메뉴를 디스플레이하도록 구성된다. 메뉴는 제1 의료 기구에 대한 기능을 표현하는 적어도 하나의 아이콘을 포함한다.

다른 실시예에서, 방법은 수술 환경의 시야의 이미지를 디스플레이하는 단계를 포함한다. 시야 내의 제1 의료 기구는 원격조작 어셈블리의 제1 조작기에 연결된다. 방법은 시야의 이미지 내에서 제1 의료 기구의 이미지에 근접하여 메뉴를 디스플레이하는 단계를 더 포함한다. 메뉴는 복수의 아이콘을 포함하고, 여기서 각각의 아이콘은 제1 의료 기구에 대한 기능에 연관된다. 방법은 원격조작 조작자 제어 시스템의 조작자 제어 디바이스의 이동에 기초하여 복수의 아이콘으로부터 선택된 아이콘을 식별하는 단계를 더 포함한다.

본 개시내용의 양태들은 첨부 도면들과 함께 읽을 때 이하의 상세한 설명으로부터 가장 잘 이해된다. 업계의 표준 관례에 따라, 다양한 특징들이 일정한 비율로 그려져 있지 않음이 강조된다. 실제로, 다양한 특징들의 치수들은 논의의 명확성을 위해 임의적으로 증가되거나 감소될 수 있다. 추가로, 본 개시내용은 다양한 예들에서 참조 번호들 및/또는 문자들을 반복할 수 있다. 이러한 반복은 간단하고 명확하게 하기 위한 것이고, 그 자체로서 논의된 다양한 실시예들 및/또는 구성들 사이의 관계를 나타내지는 않는다.
도 1a는 본 개시내용의 실시예에 따른 원격조작 의료 시스템의 개략도이다.
도 1b는 본 명세서에 설명된 원리들의 일례에 따른 환자측 카트의 사시도이다.
도 1c는 다수의 실시예에 따른 원격조작 의료 시스템에 대한 외과의의 제어 콘솔의 사시도이다.
도 2는 외과의의 제어 콘솔의 입력 제어 디바이스를 도시한다.
도 3은 수술 환경의 시야를, 시야 내의 의료 기구에 근접한 그래픽 메뉴와 함께 도시한다.
도 4는 최소화된 그래픽 메뉴를 도시한다.
도 5는 의료 기구에 대한 특징들에 액세스하기 위한 방법을 도시한다.
도 6은 열린 그래픽 메뉴를 도시한다.
도 7은 다른 그래픽 메뉴를 도시한다.
도 8a 내지 도 8c는 본 개시내용의 실시예들에 따른 그립 아이콘들을 도시한다.
도 9a는 기능의 활성 상태에 연관된 아이콘을 도시한다.
도 9b는 기능의 선택된 상태에 연관된 아이콘을 도시한다.
도 9c는 기능의 인에이블된 상태에 연관된 아이콘을 도시한다.
도 9d는 이용불가능한 기능에 연관된 아이콘을 도시한다.
도 10은 본 개시내용의 다른 실시예에 따른 그래픽 사용자 인터페이스를 도시한다.
도 11은 본 개시내용의 다른 실시예에 따른 그래픽 메뉴를 도시한다.

본 개시내용의 원리들에 대한 이해를 촉진하기 위해, 도면에 도시된 실시예들에 대한 참조가 이루어질 것이며, 특정 언어는 동일한 것을 설명하기 위해 사용될 것이다. 그럼에도 불구하고, 본 개시내용의 범위의 제한은 의도되지 않는다는 것이 이해될 것이다. 본 발명의 양태들에 대한 이하의 상세한 설명에서, 개시된 실시예들의 완전한 이해를 제공하기 위해 다수의 구체적인 세부사항이 설명된다. 그러나, 본 기술분야의 통상의 기술자에게는 본 개시내용의 실시예들이 이러한 구체적인 세부사항 없이 실시될 수 있음이 자명할 것이다. 다른 경우들에서, 본 발명의 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해, 잘 알려진 방법들, 절차들, 컴포넌트들, 및 회로들은 상세히 설명되지 않았다.

본 개시내용의 원리들의 설명된 디바이스들, 기구들, 방법들, 및 임의의 추가 응용에 대한 임의의 변경들 및 추가 수정들은 본 개시내용이 관련된 기술분야의 통상의 기술자들에게 통상적으로 떠오를 수 있는 것으로 충분히 예상된다. 구체적으로, 일 실시예와 관련하여 설명된 특징들, 컴포넌트들 및/또는 단계들은 본 개시내용의 다른 실시예들과 관련하여 설명된 특징들, 컴포넌트들, 및/또는 단계들과 결합될 수 있다는 것이 충분히 예상된다. 추가로, 본 명세서에 제공된 치수들은 특정 예들을 위한 것이고, 본 개시내용의 개념들을 구현하기 위해 상이한 크기들, 치수들, 및/또는 비율들이 이용될 수 있음이 예상된다. 불필요한 설명의 반복을 피하기 위해, 하나의 예시적인 실시예에 따라 설명된 하나 이상의 컴포넌트 또는 액션은 다른 예시적인 실시예들에서 적용가능한 대로 사용되거나 생략될 수 있다. 간결함을 위해, 이러한 조합들의 다수의 반복은 개별적으로 설명되지 않을 것이다. 단순화를 위해, 일부 경우들에서, 도면들 전체에 걸쳐 동일하거나 유사한 부분들을 지칭하기 위해 동일한 참조 번호들이 사용된다.

이하의 실시예들은 다양한 기구들 및 기구들의 부분들을 3차원 공간에서의 그것들의 상태와 관련하여 설명할 것이다. 본 명세서에 사용될 때, "위치"라는 용어는 3차원 공간[예를 들어, 데카르트 X, Y, Z 좌표에 따른 3 병진 자유도(three degrees of translational freedom)]에서의 물체 또는 물체의 일부분의 위치를 지칭한다. 본 명세서에서 사용될 때, "배향"이라는 용어는 물체 또는 물체의 일부분의 회전 배치를 지칭한다[3 회전 자유도(three degrees of rotational freedom), 예를 들어 롤(roll), 피치(pitch), 및 요(yaw)]. 본 명세서에서 사용될 때, "포즈(pose)"라는 용어는 적어도 1 병진 자유도에서의 물체 또는 물체의 일부분의 위치, 및 적어도 1 회전 자유도에서의 그 물체 또는 물체의 일부분의 배향을 지칭한다(최대 총 6 자유도). 본 명세서에 사용될 때, "형상"이라는 용어는 물체를 따라 측정된 포즈들, 위치들, 또는 배향들의 세트를 지칭한다.

도면들 중 도 1a를 참조하면, 예를 들어 진단, 치료 또는 수술 절차들을 포함하는 의료 절차들에서 사용하기 위한 원격조작 의료 시스템은 일반적으로 참조 번호(10)로 표시되어 있다. 설명될 바와 같이, 본 개시내용의 원격조작 의료 시스템들은 외과의의 원격조작 제어 하에 있다. 대안적인 실시예들에서, 원격조작 의료 시스템은 절차 또는 하위 절차를 수행하도록 프로그래밍된 컴퓨터의 부분적 제어 하에 있을 수 있다. 또 다른 대안적인 실시예들에서, 절차 또는 하위 절차를 수행하도록 프로그래밍된 컴퓨터의 완전한 제어 하에서, 완전 자동화된 의료 시스템이 절차들 또는 하위 절차들을 수행하기 위해 사용될 수 있다. 도 1a에 도시된 바와 같이, 원격조작 의료 시스템(10)은 일반적으로 환자(P)가 위치되어 있는 수술대(O)에 또는 그 근처에 장착된 원격조작 어셈블리(12)를 포함한다. 원격조작 어셈블리(12)는 환자측 카트로 지칭될 수 있다. 의료 기구 시스템(14)["의료 기구(14)"라고도 지칭됨] 및 내시경 이미징 시스템(15)[또한 "내시경(15)"이라고도 지칭됨]은 원격조작 어셈블리(12)에 동작가능하게 연결된다. 조작자 입력 시스템(16)은 외과의 또는 다른 유형의 임상의(S)가 수술 부위를 표현하는 이미지들을 보고 의료 기구 시스템(14) 및/또는 내시경 이미징 시스템(15)의 동작을 제어하는 것을 허용한다.

조작자 입력 시스템(16)은 통상적으로 수술대(O)와 동일한 방에 위치되는 외과의의 콘솔 또는 다른 제어 콘솔에 위치될 수 있다. 그러나, 외과의(S)는 환자(P)와는 다른 방 또는 완전히 다른 건물에 위치될 수 있음을 이해해야 한다. 조작자 입력 시스템(16)은 일반적으로 의료 기구 시스템(14)을 제어하기 위한 하나 이상의 제어 디바이스(들)를 포함한다. 제어 디바이스(들)는 임의의 수의 다양한 입력 디바이스, 예컨대 핸드 그립들, 조이스틱들, 트랙볼들, 데이터 글러브들, 트리거 건들, 풋 페달들, 수동 조작 컨트롤러들, 음성 인식 디바이스들, 터치 스크린들, 바디 모션 또는 존재 센서, 및 그와 유사한 것 중 하나 이상을 포함할 수 있다. 일부 실시예들에서, 제어 디바이스(들)는 원격조작 어셈블리의 의료 기구들과 동일한 자유도들을 구비하여, 외과의에게 텔레프레전스(telepresence), 즉 외과의가 마치 수술 부위에 존재하는 것처럼 기구들을 직접 제어한다는 느낌을 강하게 갖도록 제어 디바이스(들)가 기구들과 통합되어 있다는 인식을 제공할 것이다. 다른 실시예들에서, 제어 디바이스(들)는 연관된 의료 기구들보다 더 많은 또는 더 적은 자유도를 가질 수 있고, 여전히 외과의에게 텔레프레전스를 제공한다. 일부 실시예들에서, 제어 디바이스(들)는 6 자유도로 이동하는 수동 입력 디바이스들이고, 이는 기구들을 작동시키기 위한[예를 들어, 그래스핑 조 엔드 이펙터들(grasping jaw end effectors)을 폐쇄하고, 전극에 전기 전위를 인가하고, 의료적 처치를 전달하는 것, 및 그와 유사한 것을 위해] 작동가능한 핸들을 또한 포함할 수 있다.

원격조작 어셈블리(12)는 의료 기구 시스템(14)을 지지 및 조작하는 한편, 외과의(S)는 조작자 입력 시스템(16)을 통해 수술 부위를 본다. 수술 부위의 이미지는 입체 내시경과 같은 내시경 이미징 시스템(15)에 의해 획득될 수 있고, 그것은 내시경 이미징 시스템(15)을 배향하기 위해 원격조작 어셈블리(12)에 의해 조작될 수 있다. 전자 시스템(18)[또한 카트로서 구성되거나 카트의 일부로서 사용가능하도록 구성될 때 "전자 카트(18)"라고도 지칭됨]은 조작자 입력 시스템(16)을 포함하는 의과 의사의 콘솔을 통해 외과의(S)에게 후속하여 디스플레이하도록 수술 부위의 이미지들을 처리하기 위해 사용될 수 있다. 한 번에 사용되는 의료 기구 시스템들(14)의 수는 일반적으로 다른 요인들 중에서도 특히 진단 또는 수술 절차, 및 수술실 내의 공간 제약들에 의존할 것이다. 원격조작 어셈블리(12)는 하나 이상의 비-서보 제어 링크(예를 들어, 일반적으로 셋업 구조로 지칭되는, 수동으로 위치될 수 있고 제자리에 고정될 수 있는 하나 이상의 링크), 및 원격조작 조작기의 운동학적 구조를 포함할 수 있다. 원격조작 어셈블리(12)는 의료 기구 시스템(14) 상의 입력들을 구동하는 복수의 모터를 포함한다. 이러한 모터들은 제어 시스템[예를 들어, 제어 시스템(20)]으로부터의 커맨드들에 응답하여 이동한다. 모터들은 의료 기구 시스템(14)에 연결될 때 자연적으로 또는 외과적으로 생성된 해부학적 개구부 내로 의료 기구를 전진시킬 수 있는 구동 시스템들을 포함한다. 다른 동력화된 구동 시스템들은 의료 기구의 원위 단부를 3 선형 운동 자유도(예를 들어, X, Y, Z 데카르트 축을 따르는 선형 운동) 및 3 회전 운동 자유도(예를 들어, X, Y, Z 데카르트 축에 대한 회전)를 포함할 수 있는 복수의 자유도로 이동시킬 수 있다. 추가적으로, 모터들은 조직검사 디바이스의 턱부들(jaws) 또는 그와 유사한 것에서 조직을 파지(grasping)하도록 기구의 관절식 엔드 이펙터(articulable end effector)를 작동시키기 위해 사용될 수 있다. 기구들(14)은 메스(scalpel), 블런트 블레이드(blunt blade), 광섬유 또는 전극과 같은 단일 작동 부재를 갖는 엔드 이펙터들을 포함할 수 있다. 다른 엔드 이펙터들은 예를 들어 겸자들, 그라스퍼들(graspers), 가위들 또는 클립 적용장치들(clip appliers)을 포함할 수 있다.

원격조작 의료 시스템(10)은 또한 제어 시스템(20)을 포함한다. 제어 시스템(20)은 적어도 하나의 메모리 및 적어도 하나의 프로세서(도시되지 않음)를 포함하고, 의료 기구 시스템(14), 조작자 입력 시스템(16), 및 전자 시스템(18) 사이의 제어를 수행하기 위한 복수의 프로세서를 전형적으로 포함한다. 제어 시스템(20)은 또한 본 명세서에 개시된 양태들에 따라 설명된 방법들의 일부 또는 전부를 구현하기 위한 프로그래밍된 명령어들(예를 들어, 명령어들을 저장하는 컴퓨터 판독가능한 매체)을 포함한다. 도 1a의 단순화된 도면에서는 제어 시스템(20)이 단일 블록으로 도시되어 있지만, 시스템은 2 이상의 데이터 처리 회로를 포함할 수 있으며, 처리의 한 부분은 임의로(optionally) 원격조작 어셈블리(12) 상에서 또는 그 부근에서 수행되고, 처리의 다른 부분은 조작자 입력 시스템(16)에서 수행되는 등이다. 광범위하게 다양한 중앙집중식 또는 분산형 데이터 처리 아키텍처들 중 임의의 것이 사용될 수 있다. 마찬가지로, 프로그래밍된 명령어들은 다수의 개별적인 프로그램 또는 서브루틴으로서 구현될 수 있거나, 본 명세서에 설명된 원격조작 시스템들의 다수의 다른 양태에 통합될 수 있다. 일 실시예에서, 제어 시스템(20)은 블루투스, IrDA, HomeRF, IEEE 802.11, DECT, 및 무선 원격측정(Wireless Telemetry)과 같은 무선 통신 프로토콜들을 지원한다.

일부 실시예들에서, 제어 시스템(20)은 의료 기구 시스템(14)으로부터 힘 및/또는 토크 피드백을 수신하는 하나 이상의 서보 제어기를 포함할 수 있다. 피드백에 응답하여, 서보 제어기들은 신호들을 조작자 입력 시스템(16)에 전송한다. 서보 제어기(들)는 또한 원격조작 어셈블리(12)에게 신체 내의 개구부들을 통해 환자의 신체 내의 내적 수술 부위 내로 연장되는 의료 기구 시스템(들)(14) 및/또는 내시경 이미징 시스템(15)을 이동시킬 것을 명령하는 신호들을 송신할 수 있다. 임의의 적절한 종래의 또는 특수화된 서보 제어기가 사용될 수 있다. 서보 제어기는 원격조작 어셈블리(12)로부터 분리될 수 있거나 그것과 통합될 수 있다. 일부 실시예들에서, 서보 제어기 및 원격조작 어셈블리는 환자의 신체에 인접하여 위치된 원격조작 암 카트(teleoperational arm cart)의 일부로서 제공된다.

전자 시스템(18)은 내시경 이미징 시스템(15)과 연결될 수 있고, 예컨대 외과의의 콘솔 상에서 외과의에게, 또는 로컬로 및/또는 원격으로 위치된 다른 적절한 디스플레이 상에 후속하여 디스플레이하기 위해, 캡쳐된 이미지들을 처리하기 위한 프로세서를 포함할 수 있다. 예를 들어, 입체 내시경이 사용되는 경우, 전자 시스템(18)은 외과의에게 수술 부위의 조정된 입체 이미지들(coordinated stereo images)을 제시하기 위해, 캡쳐된 이미지들을 처리할 수 있다. 이러한 조정은 대향하는 이미지들 사이의 정렬을 포함할 수 있으며, 입체 내시경의 입체 작동 거리(stereo working distance)를 조정하는 것을 포함할 수 있다. 다른 예로서, 이미지 처리는 광학 수차들과 같은 이미지 캡쳐 디바이스의 이미징 에러들을 보상하기 위해 사전에 결정된 카메라 보정 파라미터들을 사용하는 것을 포함할 수 있다. 전자 시스템(18)은 또한 디스플레이 모니터, 및 제어 시스템(20)의 컴포넌트들을 포함할 수 있다.

원격조작 의료 시스템(10)은 조명 시스템들, 조향 제어 시스템들, 관주세정 시스템들(irrigation systems), 및/또는 흡입 시스템들과 같은 임의적 동작 및 지지 시스템들(도시되지 않음)을 더 포함할 수 있다. 대안적인 실시예들에서, 원격조작 시스템은 둘 이상의 원격조작 어셈블리, 및/또는 둘 이상의 조작자 입력 시스템을 포함할 수 있다. 조작기 어셈블리들의 정확한 수는 다른 요인들 중에서도 특히 수술 절차, 및 수술실 내의 공간 제약들에 의존할 것이다. 조작자 입력 시스템들은 공동 위치될 수 있고, 또는 그것들은 별개의 위치들에 위치될 수 있다. 다수의 조작자 입력 시스템은 둘 이상의 조작자가 하나 이상의 조작기 어셈블리를 다양한 조합들로 제어하는 것을 허용한다.

도 1b는 의료 동작 동안 환자의 근처에 배치되도록 설계될 때 환자측 카트(12)로 지칭될 수 있는 원격조작 어셈블리(12)의 일 실시예의 사시도이다. 도시 원격조작 어셈블리(12)는 3개의 수술 도구(26a, 26b, 26c)[예를 들어, 기구 시스템(14)], 및 절차의 부위의 이미지들의 캡쳐를 위해 이용되는 입체 내시경과 같은 이미징 기구(28)[예를 들어, 내시경 이미징 시스템(15)]의 조작을 제공한다. 이미징 디바이스(28)는 또한 "이미징 디바이스(28)"라고 지칭될 수 있고, 케이블(56)을 통해 제어 시스템(20)에 신호들을 전송할 수 있다. 조작은 다수의 조인트(joints)를 갖는 원격조작 메커니즘들에 의해 제공된다. 이미징 디바이스(28) 및 수술 기구들(26a-c)은, 원격 운동 중심(kinematic remote center)이 절개부에 위치되어 절개부의 크기를 최소화하도록 환자 내의 절개부들을 통해 위치되고 조작될 수 있다. 수술 부위의 이미지들은 이미징 디바이스(28)의 시야 내에 위치될 때의 수술 도구들(26a-c)의 원위 단부들의 이미지들을 포함할 수 있다.

환자측 카트(22)는 구동가능한 베이스(drivable base)(58)를 포함한다. 구동가능한 베이스(58)는 암들(54)의 높이의 조절을 허용하는 신축식 기둥(telescoping column)(57)에 접속된다. 암들(54)은 회전도 하고 위아래로 이동도 하는 회전 조인트(55)를 포함할 수 있다. 암들(54) 각각은 배향 플랫폼(53)에 접속될 수 있다. 배향 플랫폼(53)은 360도 회전할 수 있다. 환자측 카트(22)는 또한 배향 플랫폼(53)을 수평 방향으로 이동시키기 위한 신축식 수평 캔틸레버(52)를 포함할 수 있다.

본 예에서, 암들(54) 각각은 조작기 암(51)에 접속된다. 조작기 암들(51)은 의료 기구(26)에 직접 접속될 수 있다. 조작기 암들(51)은 원격조작이 가능할 수 있다. 일부 예들에서, 배향 플랫폼에 접속되는 암들(54)은 원격조작이 가능하지 않다. 오히려, 그러한 암들(54)은 외과의(S)가 원격조작 컴포넌트들로 조작을 시작하기 전에 요구되는 대로 위치된다.

내시경 이미징 시스템들[예를 들어, 이미징 디바이스(15 또는 28)를 포함하는 시스템들]은 강성 또는 가요성 내시경들을 포함하는 다양한 구성으로 제공될 수 있다. 강성 내시경들은 내시경의 원위 단부로부터 근위 단부로 이미지를 전송하기 위한 릴레이 렌즈 시스템을 하우징하는 강성 튜브를 포함한다. 가요성 내시경들은 하나 이상의 가요성 광섬유를 사용하여 이미지들을 전송한다. 디지털 이미지 기반 내시경들은 하나 이상의 전하 결합 소자(CCD) 또는 상보적 금속 산화물 반도체(CMOS) 디바이스와 같은 원위 디지털 센서가 이미지 데이터를 저장하는 "칩 온 더 팁(chip on the tip)" 설계를 갖는다. 내시경 이미징 시스템들은 2차원 또는 3차원 이미지들을 뷰어에 제공할 수 있다. 2차원 이미지들은 제한된 깊이 지각(limited depth perception)을 제공할 수 있다. 3차원 입체 내시경 이미지들은 뷰어에 더 정확한 깊이 지각을 제공할 수 있다. 스테레오 내시경 기구들은 입체 카메라들(stereo cameras)을 사용하여 환자의 해부학적 구조의 입체 이미지들을 캡쳐한다. 내시경 기구는 내시경 케이블, 핸들 및 샤프트가 모두 단단히 연결되고 기밀 봉지된, 완전히 멸균가능한 어셈블리일 수 있다.

도 1c는 조작자 입력 시스템(16)을 포함하는 외과의의 콘솔의 사시도이다. 조작자 입력 시스템(16)을 포함하는 외과의의 콘솔은 깊이 지각을 가능하게 하는 수술 환경의 조정된 입체 뷰(coordinated stereo view)를 외과의(S)에게 제시하기 위한 좌안용 디스플레이(32) 및 우안용 디스플레이(34)를 포함한다. 조작자 입력 시스템(16)을 포함하는 콘솔은 하나 이상의 입력 제어 디바이스(36)를 더 포함하고, 그 입력 제어 디바이스는 결국 원격조작 어셈블리(12)가 하나 이상의 기구 또는 내시경 이미징 시스템을 조작하게 한다. 입력 제어 디바이스들(36)은 외과의(S)에게 텔레프레전스, 또는 외과의가 기구들(14)을 직접 제어한다는 느낌을 강하게 갖도록 입력 제어 디바이스들(36)이 기구들(14)과 통합되어 있다는 인식을 제공하기 위해, 그들의 연관된 기구들(14)과 동일한 자유도를 제공할 수 있다. 이를 위해, 위치, 힘 및 촉각 감각들을 입력 제어 디바이스들(36)을 통해 기구들(14)로부터 외과의의 손들로 다시 전송하기 위해, 위치, 힘, 및 촉각 피드백 센서들(도시되지 않음)이 사용될 수 있다. 입력 제어 디바이스들(37)은 사용자의 발로부터 입력을 수신하는 풋 페달들이다.

도 2를 참조하면, 각각의 제어 디바이스(36)는 3개의 축, 즉 축 A1, 축 A2, 및 축 A3에 대한 작동가능한 핸들(70)의 회전을 허용하는 짐벌(gimbal) 또는 손목의 4 자유도를 포함한다. 핸들(70)은 핸들의 연속 회전을 허용하는 제1 회전가능한 조인트(74)에 의해 제1 엘보 형상 링크(elbow-shaped link)(72)에 연결된다. 제1 링크(72)는 플랫폼(76)에 연결된다. 일반적으로, 각각의 제어 디바이스(36)는 작업공간 내에서의 핸들(70)의 이동이 복수의 자유도, 전형적으로 6 자유도, 즉 3 회전 자유도 및 3 병진 자유도로 작업공간을 제어하는 것을 허용한다. 이것은 작동가능한 핸들(70)이 그것의 운동 범위 내에서 임의의 위치 및 임의의 배향으로 이동되는 것을 허용한다. 작동가능한 핸들(70)은 조작자가 핸들의 운동에 의해 위치되는 기구(26 또는 28)를 작동시킬 수 있게 하는 그립 액추에이터들(78) 및/또는 스위치들(80)을 포함한다. 조작자의 손가락이 핸들 상에서 미끄러지는 것을 방지하기 위해, 핑거 루프들(82)이 핸들(70)에 부착된다.

조작자 입력 시스템(16)을 포함하는 외과의의 콘솔은 "헤드-인(head-in)" 그래픽 사용자 인터페이스를 제공하며, 그것은 외과의가 눈으로는 디스플레이들(32, 34)을 보고 손들은 제어 디바이스들(36)에 맞물리게 한 채로, 자신의 머리를 조작자 입력 시스템(16)을 포함하는 콘솔 내에 유지하면서, 의료 기구들로 다양한 기능을 수행하는 것을 허용한다. 아래에서 설명되는 바와 같이, 사용자의 머리가 조작자 입력 시스템(16)을 포함하는 콘솔 내에 남아있는 동안 수행될 수 있는 절차의 예는 기구 교환 절차이다. 원격조작 시스템 및 의료 기구들의 특징들 및 상호작용 양식들이 증가함에 따라, 각각의 부가 특징에 대한 추가의 물리적 입력 제어 디바이스들(예를 들어, 풋 페달들, 스위치들, 버튼들)을 계속하여 추가하는 것은 실현불가능해진다. 사용자 인터페이스에 그래픽 메뉴들을 포함시키는 것은 추가의 물리적 사용자 입력들을 추가하지 않고서도 기구 및 시스템 능력들에 액세스하기 위한 풍부하고 확장가능한 플랫폼을 제공한다.

도 3은 환자(P) 내의 수술 환경(100)을 도시한다. 이미징 기구[예를 들어, 이미징 기구(28)]는 수술 환경(100) 내의 이미징 기구의 시야의 이미지(102)를 디스플레이하기 위해 사용된다. 이미지(102)는 입체 내시경에 의해 획득되고 우안용 및 좌안용 디스플레이를 통해 사용자가 볼 수 있는 이미지들의 합성 이미지로서 생성되는 3차원 이미지일 수 있다. 시야는 기구(26a)의 원위 단부 부분, 기구(26b)의 원위 단부 부분, 및 기구(26c)의 원위 단부 부분의 이미지를 포함한다. 이미지(102)는 또한 임상의에 대한 지시들, 경고들, 기구 식별 정보, 상태 정보, 또는 수술 절차에 관련된 다른 정보를 포함할 수 있는, 이미지의 주변에 위치된 정보 필드들(104)을 포함한다.

일 실시예에서, 도 3에 보여진 바와 같이, 시야 내의 기구(26b)에 대한 특징들 및 능력들에 액세스하는 것은 이미지(102)에 중첩된 그래픽 메뉴(110)에 의해 가능해진다. 외과의가 공동 위치된 그래픽 메뉴(110)가 의료 기구(26b)에 관한 것임을 쉽게 알 수 있도록, 그래픽 메뉴(110)는 의료 기구(26b)의 원위 단부의 이미지에 근접하여 디스플레이된다. 이러한 실시예에서, 그래픽 메뉴(110)는 의료 기구(26b)에 관련된 연관 정보, 예컨대 기구가 연결되는 원격조작 암의 번호 식별자(예를 들어, 암 "3")를 포함한다. "원격조작 의료 시스템 내의 기구들의 온스크린 식별을 위한 시스템들 및 방법들"은 2015년 3월 17일자로 출원된 미국 가특허 출원 제62/134,297호에 제공되며, 그 전체 내용은 본 명세서에 참조에 의해 포함된다.

일부 실시예들에서, 그래픽 메뉴(110)의 배치를 위한 디폴트 위치는 기구(26b)의 원위 단부의 일부에 중첩된다. 다른 실시예들에서, 그래픽 메뉴(110)는 원위 단부 부분에 인접하여 디스플레이된다. 메뉴를 위한 디폴트 위치는 시야 내의 의료 기구(26b)의 원위 단부 부분의 크기에 의존할 수 있다. 예를 들어, 이미지가 가깝게 줌인되고 엔드 이펙터가 이미지의 큰 부분을 차지하는 경우, 메뉴는 엔드 이펙터 턱부들의 원위 단부에서의 뷰를 방해하지 않으면서 턱부들 중 하나의 근위 부분에 위치될 수 있다. 그러나, 이미지가 줌아웃되고 이미지 내에서 엔드 이펙터 턱부들이 비교적 작은 경우, 메뉴는 턱부들을 뚜렷하지 않게 하는 것을 피하기 위해 조인트 영역 또는 샤프트 상에 위치될 수 있다. 메뉴(110)의 배치는 임상 의사가 수술 환경에 초점을 유지하면서 기구의 특징들에 액세스하는 것을 허용한다.

그래픽 메뉴(110)는 기구(26b)에 연관된 기능들이 셀렉터 아이콘(114)의 주변부 주위에 방사형으로 배열된 작고 최소화된 기능 아이콘들(112a, 112b)로서 제시되는 최소화된 구성을 갖는다. 셀렉터 아이콘(114)은 포인터(116) 및 바디(118)를 포함한다. 본 실시예에서, 원격조작 암에 대한 번호 식별자는 바디(118)의 중심 영역에 위치된다. 기구(26b)에 연관된 제어 디바이스(36)의 이동에 응답하여, 셀렉터 아이콘(114)은 다이얼형 방식으로 포인터(116)를 이동시키기 위해 바디(118)의 중앙에 대해 피벗하도록 애니메이트된다.

도 4에 도시된 바와 같이, 그래픽 메뉴(110)는 임의로, 기구(26b)의 엔드 이펙터의 상태를 나타내는 그립 인디케이터(120), 및 기구(26b)의 샤프트의 방향을 나타내는 샤프트 인디케이터(122)를 포함할 수 있다. 기구(26b)가 2-그립 엔드 이펙터를 갖는 경우, 그립들은 개방 그립 인디케이터(170)(도 8a) 또는 폐쇄 그립 인디케이터(172)(도 8b)로서 보여질 수 있다. 기구(26b)가 싱글 블레이드 엔드 이펙터를 갖는 경우, 블레이드는 싱글 핑거(174)로서 보여질 수 있다(도 8c). 인디케이터들(120, 122)은 그래픽 메뉴가 어느 기구와 연관되는지 이해하는 것을 도움으로써, 보고 있는 외과의를 돕는다. 예를 들어, 메뉴와 도구 사이의 연관에 관해 모호한 점이 있는 경우, 외과의는 인디케이터들(120, 122)을 볼 수 있고, 근처의 기구 원위 단부들의 구성을 관찰할 수 있다. 다음으로, 외과의는 근처의 기구를 인디케이터들(120, 122)과 일치하는 엔드 이펙터 및 샤프트 구성들에 연관시킬 수 있다.

도 5는 그래픽 메뉴(110)를 통해 의료 기구(26b) 또는 연결된 원격조작 암(3)에 대한 특징들에 액세스하기 위한 방법(150)을 도시한다. 프로세스(152)에서, 원격조작 시스템이 수술 기구 제어 또는 "추종(following)" 동작 모드에 있는 동안 시야 이미지(102)가 디스플레이되는데, 그러한 모드에서 기구(26b)를 포함하는 기구들의 이동은 연관된 제어 디바이스(36) 내에서의 사용자의 손의 이동들을 추종한다. 프로세스(154)에서, 외과의는 원격조작 시스템이 메뉴 모드에 진입하게 하며, 그러한 모드에서 연관된 제어 디바이스(36)에서의 사용자의 손의 이동은 기구(26b) 및 암(3)의 이동으로부터 분리된다. 일 실시예에서, 메뉴 모드는 외과의가 조작자 입력 시스템(16)을 포함하는 콘솔의 클러치 페달[예를 들어, 입력 제어 디바이스(37)를 포함하는 페달]을 밟을 때 진입될 수 있다. 클러치 페달을 누른 후에, 제어 디바이스(36)에 의한 의료 기구(26b)의 제어가 일시정지된다. 제어 디바이스(36)는 의료 기구(26b)의 대응하는 이동 없이 자유롭게 이동할 수 있다. 메뉴 모드에서, 제어 디바이스(36)의 그립 액추에이터들(78)의 이동은 기구(26b) 엔드 이펙터의 이동으로부터 분리된다. 메뉴 모드에 진입할 때, 최소화된 그래픽 메뉴(110)가 나타난다.

인디케이터들(120, 122)에 연관된 기능들 각각에 관한 더 많은 정보를 제공하기 위해, 도 6에 도시된 바와 같이, 확장된 그래픽 메뉴(130)가 디스플레이될 수 있다. 그래픽 메뉴(130)는 셀렉터 아이콘(114)을 포함하고, 최소화된 기능 아이콘들(112a, 112b)을 확장된 기능 아이콘들(132a, 132b)로 대체한다. 이러한 실시예에서, 확장된 기능 아이콘들 각각은 기능 아이콘에 연관된 기능을 설명하는 픽토그램(134) 및 기능 라벨(136)을 포함한다. 예를 들어, 아이콘(132a)은 확장된 메뉴(130)를 최소화된 그래픽 메뉴(110)의 포맷으로 복귀시키는 "종료(EXIT)" 기능에 연관된다. 아이콘(132b)은 의료 기구(26b)에 대한 기구 배출 시퀀스를 개시하는 "배출(EJECT)" 기능에 연관된다. 제어 디바이스(36)의 핸들(70)이 축(A1)에 대해 회전될 때, 확장된 그래픽 메뉴(130)가 디스플레이된다. 임의로, 핸들(70)이 회전될 때, "클릭(click)" 감각을 제공하는 햅틱 힘이 제어 디바이스(36)를 통해 외과의에게 제공되어, 그래픽 메뉴(130)의 런칭의 확인을 제공할 것이다.

확장된 그래픽 메뉴(130)를 열거나 셀렉터 아이콘(114)을 이동시키기 위해 이용되는 핸들(70)의 [축(A1)에 대한] 회전 이동은, 시스템이 수술 기구 제어 모드와 같은 다른 동작 모드들에 있을 때 기구들을 조작하는 데에 이용되지 않는 자유도[즉, 롤 자유도(roll degree of freedom)]에서의 이동이다. 따라서, 외과의는 제어 디바이스의 축에 대한 롤 자유도가 기구 조작을 위해서가 아니라 메뉴 선택을 위해 분리되고 사용된다는 것을 인식할 수 있다. 롤 축의 배향은 메뉴 모드에서(또는 일반적으로는 클러치 페달이 체결될 때) 변하지 않으며, 기구 엔드 이펙터의 최종 배향과 정렬되어 유지된다. 다른 실시예들에서, 셀렉터 아이콘을 제어하는 데에 사용되는 것과 동일한 자유도가 수술 기구 제어 모드에서의 도구 이동을 제어하는 데 사용될 수 있다.

도 5로 되돌아가면, 프로세스(156)에서, 기능 아이콘들(132a, 132b) 중 하나가 메뉴(130)로부터 식별될 수 있다. 더 구체적으로, 확장된 그래픽 메뉴(130)가 최초로 열릴 때, 포인터(116)는 아이콘(132a)을 향해, 상향과 같은 중립 위치에 위치된다. 포인터의 이러한 중립 위치는 제어 디바이스의 중립 위치에 대응한다. 제어 디바이스의 중립 위치는 기구 제어 모드에서의 제어 디바이스의 가장 최근 위치일 수 있다. 다른 실시예들에서, 포인터는 중립 위치에서 다른 방사 방향들로 지향된다. 도 6의 실시예에서, 핸들(70)이 축(A1)에 대해 시계방향으로 회전될 때, 포인터(116)는 중립 위치로부터 다음 기능 아이콘(132b)을 향해 시계 방향으로 회전한다. 핸들(70)은 포인터(116)가 다음 기능 아이콘으로 이동하게 하기 위해, 예를 들어 180° 미만 또는 심지어 90° 미만으로 회전될 수 있다. 이러한 예에서, 핸들(70)은 대략 40° 회전된다. 포인터(116)가 아이콘들의 방사형 시퀀스 내에서 다음 기능 아이콘(132b)을 가리킨다는 확인을 제공하기 위해, 햅틱 힘, 예를 들어 "클릭" 감각이 제어 디바이스(36)를 통하여 외과의에게 제공될 수 있다.

핸들(70)의 시계 방향 턴, 및 대응하는 햅틱 힘의 적용 후에, 핸들은 중립 위치로 복귀하거나 "스냅 백"하지만, 포인터(116)는 기능 아이콘(132b)을 가리키는 채로 남아있다. 중립 위치로의 복귀는 더 나은 인체 공학을 제공하기 위해 외과의의 손의 포즈의 최소한의 편향을 허용한다(예를 들어, 외과의의 손목이 과도하게 구부러지도록 요구되지 않음). 이와 같이 핸들(70)의 중심을 다시 맞추는 것(recentering)은 또한 기구 제어 모드에의 재진입이 더 신속하게 진행하는 것을 허용한다. 단 2개의 기능 아이콘만이 도시되어 있지만, 다른 실시예들에서 기능 아이콘들은 셀렉터 아이콘의 전체 원 주위에 배열될 수 있다. 핸들(70)의 각각의 회전 후에, 포인터는 방사형 계열(radial series)의 다음 아이콘으로 전진하지만, 제어 디바이스(36)는 중립 위치로 복귀할 수 있다. 핸들(70)은 또한 축(A1)에 대해 반시계 방향으로 이동되어 포인터(116)가 반시계 방향으로 이동하게 할 수 있다.

선택에 이용가능한 기능들은 아이콘의 그래픽 특성에 의해 식별될 수 있다. 예를 들어, 디스에이블된 기능들은 색상(예를 들어, 백색 픽토그램 및 텍스트)에 의해, 상자(188)와 같은 그래픽 특징에 의해(도 9d), 또는 픽토그램 및/또는 텍스트 위에 배치된 "X"에 의해 나타날 수 있다. 인에이블된 기능들은 색상에 의해 및/또는 미리 결정된 크기의 코너 브래킷들(186)에 의해 나타날 수 있다(도 9c).

포인터(116)가 기능 아이콘(132b)을 향하게 되는 경우, 그 기능 아이콘은 "선택된" 것으로 고려된다. 선택된 기능은 기능 아이콘(132b)의 외관의 변경에 의해 나타날 수 있다. 예를 들어, 코너 브래킷들(184)은 인에이블된 상태의 코너 브래킷들(186)에 비교하여 더 좁은 폭을 가질 수 있다(도 9b).

아이콘(132b)에 연관된 기능을 활성화하기 위해, 외과의는 조작자 입력 시스템(16)을 포함하는 제어 콘솔에서, 그립 액추에이터들(78), 또는 다른 버튼들 또는 스위치들을 누른다. 이러한 실시예에서, 아이콘(132b)은 배출 기능에 연관되고, 그립 액추에이터들을 누르면 기구 배출 시퀀스가 개시된다. 선택된 기능이 활성화되면, 기능 아이콘(132)의 외관이 변경되어 기능이 선택되었음을 나타낼 수 있다. 예를 들어, 뷰어에게 배출 기능이 활성화되었음을 나타내기 위해 이중 코너 브래킷들(182)이 보일 수 있다(도 9a).

기구 배출 시퀀스는 단순 홀드-오프 주기로 시작할 수 있다. 이러한 주기는 셀렉터 아이콘의 색상에서의 점진적인 변경, 또는 셀렉터 아이콘의 에지 주위의 링의 증분적 성장과 같은 그래픽 메뉴의 변경에 의해 마킹될 수 있다. 다음으로, 기구가 2-핑거 그립 엔드 이펙터를 갖는 경우, 그립들은 임의의 조직을 배출하도록 개방되고, 기구의 손목부(wrist)는 기구 샤프트와 정렬되도록 곧게 펴진다. 샤프트는 약간 후퇴(retract)할 수 있다. 배출 기능의 이러한 단계들 동안, 셀렉터 아이콘(114)상의 진행 인디케이터(138)는 배출 기능의 현재 단계를 나타낸다. 예를 들어, 진행 인디케이터(138)는 시계 방향으로 진행하면서 증분적으로 색상이 변경되는 그래픽 링일 수 있다. 그래픽 링이 완전한 원을 만들기 전에, 배출 기능은 예를 들어 제어 디바이스의 그립들을 개방하거나 클러치 페달을 해제함으로써 취소될 수 있다. 진행 인디케이터(138)가 기구가 곧게 펴진 것을 나타낸 후, 기구는 캐뉼러(cannula)의 삽입 축을 따라 액세스 캐뉼러 안으로 후퇴될 수 있다. 엔드 이펙터를 캐뉼러 안으로 가져오는 후퇴 프로세스 동안, 배출 기능은 차단되지 않을 수 있다.

도 6의 메뉴는 대응하는 제어 디바이스에서 외과의의 오른손에 의해 제어될 수 있다. 왼손으로 제어되는 기구들에 대해, 아이콘들은 반대 구성으로 배열될 수 있다(즉, END 아이콘의 좌측에 있는 EJECT 아이콘). 다양한 실시예들에서, 셀렉터 아이콘(114)의 이동은 오른손 제어 디바이스에, 또는 대안적으로는 왼손 제어 디바이스에 연결될 수 있다. 상이한 그래픽 사용자 인터페이스 메뉴들은 각각의 손에 연관될 수 있고, 그에 의해 오른손은 제1 메뉴로부터 선택하고 왼손은 제2 메뉴로부터 선택하게 된다. 대안적으로, 메뉴 항목들이 반시계 방향 회전에 의해 선택되도록 메뉴가 구성될 수 있다. 다른 실시예들에서, 제어 디바이스는 메뉴 항목들을 선택하기 위해 시계 방향 및 반시계 방향 둘 다로 이동할 수 있다. 다양한 대안적인 실시예들에서, 둘 이상의 그래픽 메뉴가 시야의 이미지 내의 기구의 팁들과 함께 공동 위치될 수 있다.

도 7은 대안적인 실시예에 따른 그래픽 메뉴(160)를 도시한다. 이러한 실시예에서, 셀렉터 아이콘(162)은 제어 디바이스 핸들(70)의 시계 방향 회전에 응답하여 선형 경로(163)를 따라 하향 이동하고, 제어 디바이스 핸들의 반시계 방향 회전에 응답하여 상향 이동한다. 기능 아이콘들(164)은 선형 경로(163)를 따라 선형으로 정렬된다. 아이콘들이 선형으로 정렬되는 이러한 실시예의 선택 및 활성화 프로세스들은, 위에서 설명된 아이콘들이 방사형으로 배열될 때와 대체로 동일하다.

도 10은 본 개시내용의 다른 실시예에 따른 그래픽 사용자 인터페이스(200)를 도시한다. 이러한 실시예에서, 그래픽 메뉴(202)는 특정 기구 또는 기구 드라이브가 아니라 글로벌 제어 모드 선택에 연관될 수 있다. 이러한 실시예에서, 메뉴(202)는 원격조작 시스템의 컴포넌트를 표현하는 기구 내비게이터의 그래픽 이미지(204) 위에 중심이 맞춰진, 수술 뷰 내의 고정된 위치에 있다. 예를 들어, 기구 내비게이터는 시스템의 엔드 이펙터들의 구성을 표현할 수 있다. 메뉴(202)는 외과의가 제어 콘솔 상의 제어 디바이스(예를 들어, 클러치 풋 페달)을 조작함으로써 조정-제어(ADJUST-CONTROL) 모드에 진입할 때 나타난다. 메뉴는, 본 실시예에서는 포인터를 갖는 부분적인 원 형상을 포함하는 셀렉터 아이콘(206), 및 방사상으로 배열된 기능 아이콘들(208, 210)을 포함한다. 초기 위치에서, 셀렉터 아이콘은 현재의 활성 제어 모드를 나타내기 위해 직립으로 포인팅될 수 있다. 셀렉터 아이콘(206)은 제어 핸들(70)을 롤 축(A1)에 대해 돌리는 것에 의해 위에서 설명된 바와 같이 피봇될 수 있다. 핸들이 시계 방향으로 약 40° 돌려지면, 셀렉터 아이콘(206)의 포인터는 카메라 제어 기능을 선택하기 위해 기능 아이콘(208)을 향하게 된다. 앞에서 설명된 바와 같이, 셀렉터 아이콘이 아이콘(208)에 도달할 때, 외과의에게 "클릭" 감각을 제공하기 위해 햅틱 힘이 제공될 수 있다. 기능은 그립 액추에이터들(78)를 꼭 쥐는 것(squeezing)에 의해 선택될 수 있다. 카메라 제어 모드에 있게 되면, 셀렉터 아이콘(206)은 사라질 수 있다. 외과의가 풋 페달을 해제하면 카메라 제어 모드가 종료될 수 있다. 앞에서 설명된 바와 같이, 제어 디바이스의 핸들(70)은 셀렉터 아이콘(206)의 각각의 클릭 후에 중립 위치로 복귀될 수 있다. 도 11은 재위치 제어(relocate control)의 기능을 위한 아이콘(214)을 더 포함하는 수정된 그래픽 메뉴(212)를 도시한다. 이러한 실시예에서, 아이콘(214)은 아이콘(208)의 좌측에 있으므로, 외과의는 셀렉터 아이콘(206)을 반시계 방향으로 회전시킬 수 있다.

본 발명의 실시예들 내의 하나 이상의 요소는 제어 처리 시스템과 같은 컴퓨터 시스템의 프로세서 상에서 실행되도록 소프트웨어로 구현될 수 있다. 소프트웨어로 구현될 때, 본 발명의 실시예들의 요소들은 본질적으로 필요한 작업들을 수행하기 위한 코드 세그먼트들이다. 전송 매체 또는 통신 링크를 통한 반송파로 구현되는 컴퓨터 데이터 신호에 의해 다운로드될 수 있는 프로그램들 또는 코드 세그먼트들은 프로세서 판독가능한 저장 매체 또는 디바이스에 저장될 수 있다. 프로세서 판독가능한 저장 디바이스는 광학 매체, 반도체 매체, 및 자기 매체를 포함하는, 정보를 저장할 수 있는 임의의 매체를 포함할 수 있다. 프로세서 판독가능한 저장 디바이스의 예들은 전자 회로; 반도체 디바이스, 반도체 메모리 디바이스, 판독 전용 메모리(ROM), 플래시 메모리, 소거가능한 프로그래밍가능한 판독 전용 메모리(EPROM); 플로피 디스켓, CD-ROM, 광학 디스크, 하드 디스크, 또는 다른 저장 디바이스를 포함한다. 코드 세그먼트들은 인터넷, 인트라넷 등과 같은 컴퓨터 네트워크들을 통해 다운로드될 수 있다.

제시된 프로세스들 및 디스플레이들은 본질적으로 임의의 특정 컴퓨터 또는 다른 장치에 관련되지 않을 수 있음에 유의해야 한다. 다양한 범용 시스템들이 본 명세서의 교시에 따른 프로그램들과 함께 사용될 수 있고, 또는 설명된 동작들을 수행하기 위해 더 특수화된 장치를 구성하는 것이 편리함이 판명될 수도 있다. 이러한 다양한 시스템들의 요구되는 구조는 청구항들에서 요소들로서 나타날 것이다. 추가로, 본 발명의 실시예들은 임의의 특정 프로그래밍 언어를 참조하여 설명되지 않는다. 본 명세서에 설명된 본 발명의 교시들을 구현하기 위해 다양한 프로그래밍 언어가 사용될 수 있다는 것을 이해할 것이다.

본 발명의 특정한 예시적인 실시예가 설명되고 첨부 도면들에 도시되었지만, 그러한 실시예들은 폭넓은 발명을 예시할 뿐이고 그것을 제한하지 않으며, 본 기술분야의 통상의 기술자들에게는 다양한 다른 수정들이 떠오를 수 있으므로, 본 발명의 실시예들은 도시되고 설명된 특정한 구성들 및 배열들에 제한되지 않음을 이해해야 한다.

Claims (36)

1. 시스템으로서,
   원격조작 어셈블리(teleoperational assembly); 및
   하나 이상의 프로세서를 포함하는 처리 유닛
   을 포함하고, 상기 원격조작 어셈블리는:
   조작자 제어 시스템, 및
   상기 조작자 제어 시스템의 조작자 제어 디바이스에 의한 조작을 위해 구성되는 제1 원격조작 조작기(teleoperational manipulator) - 상기 제1 원격조작 조작기는 수술 환경(surgical environment)에서 제1 의료 기구의 동작을 제어하도록 구성됨 -
   를 포함하고, 상기 처리 유닛은:
   상기 수술 환경의 시야의 이미지를 디스플레이하고,
   상기 시야의 이미지 내에서 상기 제1 의료 기구의 이미지에 근접하여 메뉴를 디스플레이하도록 - 상기 메뉴는 상기 제1 의료 기구에 대한 기능을 표현하는 적어도 하나의 아이콘을 포함함 -
   구성되는, 시스템.
2. 제1항에 있어서, 상기 처리 유닛은 상기 조작자 제어 디바이스를 상기 제1 의료 기구의 동작을 제어하는 것으로부터 디스에이블한 후에 상기 메뉴를 디스플레이하도록 추가로 구성되는, 시스템.
3. 제2항에 있어서, 상기 처리 유닛은 상기 조작자 제어 시스템의 클러치 메커니즘(clutch mechanism)의 활성화에 응답하여 상기 조작자 제어 디바이스를 디스에이블하도록 추가로 구성되는, 시스템.
4. 제1항에 있어서, 상기 메뉴는 상기 시야 내에 셀렉터 아이콘(selector icon)을 포함하며, 상기 셀렉터 아이콘은 상기 제1 의료 기구에 대한 기능을 표현하는 적어도 하나의 아이콘 중 하나를 나타내기 위해 상기 조작자 제어 디바이스의 이동에 응답하여 상기 시야 내에서 이동가능한, 시스템.
5. 제4항에 있어서, 상기 셀렉터 아이콘은 롤 축(roll axis)에 대한 상기 조작자 제어 디바이스의 회전에 응답하여 상기 시야 내에서 이동가능한, 시스템.
6. 제5항에 있어서, 기구 제어 모드에서, 상기 제1 의료 기구의 상기 롤 축은 미사용 자유도(unused degree of freedom)인, 시스템.
7. 제1항에 있어서, 상기 적어도 하나의 아이콘은 상기 조작자 제어 디바이스의 회전에 응답하여 확장된 아이콘을 디스플레이하도록 수정되는, 시스템.
8. 제1항에 있어서, 상기 메뉴는 상기 제1 의료 기구의 엔드 이펙터의 구성에 대응하는 엔드 이펙터 인디케이터를 더 포함하는, 시스템.
9. 제1항에 있어서, 상기 제1 의료 기구에 대한 상기 기능은 상기 수술 환경으로부터의 상기 제1 의료 기구에 대한 배출 기능(eject function)인, 시스템.
10. 제1항에 있어서, 상기 처리 유닛은 상기 기능에 대한 진행 표시를 디스플레이하도록 추가로 구성되는 시스템.
11. 제1항에 있어서, 상기 처리 유닛은 활성화 트리거의 수신에 기초하여 상기 제1 의료 기구의 상기 기능을 활성화하도록 추가로 구성되는, 시스템.
12. 제11항에 있어서, 상기 활성화 트리거는 스위치의 활성화인, 시스템.
13. 제11항에 있어서, 상기 활성화 트리거는 상기 조작자 제어 디바이스의 그립 메커니즘(gripping mechanism)의 폐쇄인, 시스템.
14. 제11항에 있어서, 상기 처리 유닛은 상기 활성화 트리거의 수신 후에 상기 제1 의료 기구의 기능을 활성화하기 전에 홀드-오프 기간(hold-off period)을 개시하도록 추가로 구성되는, 시스템.
15. 방법으로서,
    수술 환경의 시야의 이미지를 디스플레이하는 단계 - 상기 시야 내의 제1 의료 기구는 원격조작 어셈블리의 제1 조작기에 연결됨 - ;
    상기 시야의 이미지 내에서 상기 제1 의료 기구의 이미지에 근접하여 메뉴를 디스플레이하는 단계 - 상기 메뉴는 복수의 아이콘을 포함하고, 각각의 아이콘은 상기 제1 의료 기구에 대한 기능에 연관됨 - ; 및
    원격조작 조작자 제어 시스템의 조작자 제어 디바이스의 이동에 기초하여 상기 복수의 아이콘으로부터 선택된 아이콘을 식별하는 단계
    를 포함하는 방법.
16. 제15항에 있어서,
    상기 조작자 제어 디바이스를 상기 제1 의료 기구의 동작을 제어하는 것으로부터 디스에이블하기 위한 커맨드를 수신하는 단계를 더 포함하는 방법.
17. 제16항에 있어서, 상기 조작자 제어 디바이스를 디스에이블하기 위한 커맨드를 수신하는 단계는 상기 조작자 제어 시스템의 클러치 메커니즘의 활성화에 의해 야기되는, 방법.
18. 제15항에 있어서, 상기 메뉴를 디스플레이하는 단계는 상기 시야 내에 셀렉터 아이콘을 디스플레이하는 단계를 포함하고, 상기 셀렉터 아이콘은 상기 복수의 아이콘 중 하나를 나타내기 위해 상기 조작자 제어 디바이스의 이동에 응답하여 상기 시야 내에서 이동가능한, 방법.
19. 제18항에 있어서,
    롤 축에 대한 상기 조작자 제어 디바이스의 회전에 응답하여, 상기 셀렉터 아이콘을 상기 시야 내에서 이동시키는 단계를 더 포함하는 방법.
20. 제19항에 있어서, 기구 제어 모드에서, 상기 제1 의료 기구의 상기 롤 축은 미사용 자유도인, 방법.
21. 제15항에 있어서, 상기 조작자 제어 디바이스의 회전에 응답하여 복수의 수정된 아이콘을 디스플레이하기 위해 상기 복수의 아이콘을 수정하는 단계를 더 포함하는, 방법.
22. 제15항에 있어서, 상기 메뉴를 디스플레이하는 단계는 상기 제1 의료 기구의 엔드 이펙터의 구성을 나타내는 엔드 이펙터 인디케이터를 디스플레이하는 단계를 포함하는, 방법.
23. 제15항에 있어서, 상기 복수의 아이콘 중 하나에 의해 표현되는 기능들 중 하나는 상기 수술 환경으로부터의 상기 제1 의료 기구에 대한 배출 기능인, 방법.
24. 제15항에 있어서,
    선택된 아이콘에 연관된 상기 기능에 대한 진행 표시를 디스플레이하는 단계
    를 더 포함하는 방법.
25. 시스템으로서,
    조작자 제어 시스템, 및 상기 조작자 제어 시스템의 조작자 제어 디바이스에 의한 조작을 위해 구성되는 제1 원격조작 조작기를 포함하는 원격조작 어셈블리; 및
    하나 이상의 프로세서를 포함하는 처리 유닛 - 상기 처리 유닛은 상기 원격조작 어셈블리의 컴포넌트의 기능을 표현하는 적어도 하나의 기능 아이콘을 포함 하는 메뉴를 디스플레이하도록 구성됨 -
    을 포함하는, 시스템.
26. 제25항에 있어서, 상기 원격조작 어셈블리의 컴포넌트는 상기 제1 원격조작 조작기에 연결되는 기구이고, 상기 메뉴는 상기 기구에 연관되는, 시스템.
27. 제25항에 있어서, 상기 처리 유닛은 상기 원격조작 어셈블리의 컴포넌트를 표현하는 시스템 아이콘을 디스플레이하고, 상기 시스템 아이콘에 근접하여 메뉴를 디스플레이하도록 추가로 구성되는, 시스템.
28. 제25항에 있어서, 상기 원격조작 어셈블리의 컴포넌트는 상기 제1 원격조작 조작기에 연결되는 이미징 시스템인, 시스템.
29. 제25항에 있어서, 상기 처리 유닛은 상기 조작자 제어 디바이스의 조작에 의해 상기 원격조작 어셈블리의 컴포넌트에 대한 제어 모드에 진입하도록 추가로 구성되는, 시스템.
30. 제29항에 있어서, 상기 조작자 제어 디바이스는 페달인, 시스템.
31. 제25항에 있어서, 상기 메뉴는 상기 원격조작 어셈블리의 컴포넌트의 기능을 표현하는 상기 적어도 하나의 기능 아이콘 중의 아이콘을 나타내기 위해 상기 조작자 제어 디바이스의 이동에 응답하여 이동가능한 셀렉터 아이콘을 포함하는, 시스템.
32. 제31항에 있어서, 상기 셀렉터 아이콘은 롤 축에 대한 상기 조작자 제어 디바이스의 회전에 응답하여 이동가능한, 시스템.
33. 제32항에 있어서, 기구 제어 모드에서, 상기 롤 축은 미사용 자유도인, 시스템.
34. 제25항에 있어서, 상기 처리 유닛은 활성화 트리거의 수신에 기초하여 상기 기능을 활성화하도록 추가로 구성되는, 시스템.
35. 제34항에 있어서, 상기 활성화 트리거는 스위치의 활성화인, 시스템.
36. 제34항에 있어서, 상기 활성화 트리거는 상기 조작자 제어 디바이스의 그립 메커니즘의 폐쇄인, 시스템.

Images