KR20220062346A

KR20220062346A - 수술 로봇을 위한 핸드헬드 사용자 인터페이스 장치

Info

Publication number: KR20220062346A
Application number: KR1020227011607A
Authority: KR
Inventors: 번하드 아돌프 퓌르스트; 킬로이 파블로 이. 그라시아
Original assignee: 버브 서지컬 인크.
Priority date: 2019-09-10
Filing date: 2019-09-16
Publication date: 2022-05-16
Also published as: CN114401691A; US20210068907A1; US20220133420A1; EP4027928A1; EP4027928A4; WO2021050087A1; US11234779B2

Abstract

로봇-보조 수술 시스템을 제어하기 위한 모바일 인터페이스 장치가 본 명세서에 개시된다. 모바일 인터페이스 장치는 외과 의사에게 수술 로봇 시스템에 대한 직접적인 뷰를 제공하고, 외과 의사가 수술 로봇 시스템의 다양한 타겟 컴포넌트들을 용이하고 직관적으로 선택, 제어 또는 조작할 수 있게 한다. 모바일 인터페이스 장치는 수술 로봇 시스템의 라이브 이미지를 캡처하여 캡처된 라이브 이미지의 중심에 나타나는 로봇 아암을 외과 의사에 의해 선택된 타겟 컴포넌트로서 자동으로 식별할 수 있다. 타겟 컴포넌트의 현재 포즈 또는 위치에 기초하여, 모바일 인터페이스 장치는 타겟 포즈들 및 제어 옵션들의 목록을 생성할 수 있다. 외과 의사는 타겟 포즈를 선택하고, 선택된 로봇 아암의 현재 포즈로부터 타겟 포즈로의 로봇-보조 이동을 명령하도록 타겟 컴포넌트를 조작하기 위한 제어 옵션을 선택할 수 있다.

Description

수술 로봇을 위한 핸드헬드 사용자 인터페이스 장치

본 기술은 일반적으로 로봇 공학 및 수술 시스템들에 관한 것으로, 보다 구체적으로는, 수술 로봇 아암들과 같은 컴포넌트들 또는 최소 침습 수술들을 준비하거나 수행하기 위한 수술 로봇 시스템의 테이블과 같은 다른 컴포넌트들을 식별하고 조작하기 위한 스크린 기반 인터페이스에 관한 것이다.

복강경 수술과 같은 최소 침습 수술(MIS)은 수술적 시술 동안 조직 손상을 감소시키도록 의도된 기법들을 수반한다. 예를 들어, 복강경 시술들은 전형적으로 환자에(예를 들어, 복부에) 다수의 작은 절개부들을 생성하는 것, 및 하나 이상의 수술 도구zz들(예를 들어, 엔드 이펙터(end effector)들 및 내시경)를 절개부들을 통해 환자 내로 도입하는 것을 수반한다. 이어서 수술적 시술들은 도입된 수술 도구들을 사용하여 수행될 수 있으며, 이때 시각화 지원이 내시경에 의해 제공된다.

일반적으로, MIS는 감소된 환자 반흔 생성, 더 적은 환자 통증, 더 짧은 환자 회복 기간, 및 환자 회복과 연관된 더 낮은 의학적 치료 비용과 같은 다수의 이익들을 제공한다. 최근의 기술 개발은 더 많은 MIS가 원격 조작자로부터의 명령들에 기초하여 수술 도구들을 조작하기 위한 하나 이상의 로봇 아암들을 포함하는 로봇 시스템들로 수행될 수 있게 한다. 예를 들어, 로봇 아암은 그 말단부에 수술용 엔드 이펙터들, 이미징 장치들, 환자의 체강 및 장기들에 대한 접근을 제공하기 위한 캐뉼러들 등과 같은 다양한 장치들을 지지할 수 있다. 로봇 MIS 시스템들에서, 로봇 아암들에 의해 지지되는 수술 기구들에 대한 높은 위치 정확도를 확립하고 유지하는 것이 바람직할 수 있다.

기존의 로봇-보조 수술 시스템들은 일반적으로 외과 의사가 로봇 아암들 및 로봇 아암들에 부착된 장치들을 선택하고 조작할 수 있는 외과 의사 콘솔로 이루어진다. 로봇 제어기는 외과 의사에게 다수의 로봇 아암들과 연관된 숫자들 또는 장착 위치들과 같은 외과 의사 콘솔 식별자들을 제시함으로써 로봇 아암을 선택하도록 요청할 수 있다. 외과 의사 콘솔에 있는 외과 의사에게 보이는 것과 같은 로봇 아암들과 직접적인 뷰(view)로 볼 때의 로봇 아암들 사이에는 자연적인 공간 관계가 없기 때문에, 외과 의사가 잘못된 로봇 아암을 선택할 수 있다. 잘못된 로봇 아암을 이동시키는 것은 환자, 기타 장비 또는 침대옆 직원에게 심각한 피해를 유발할 수 있다. 로봇-보조 수술들을 수행할 때 실수들을 최소화하기 위해 외과 의사가 수술 로봇 시스템을 보다 직관적인 방식으로 제어할 수 있게 하는 인터페이스를 갖는 것이 바람직하다.

본 명세서에는 외과 의사가 최소 침습 수술들을 수행하도록 설계된 소프트웨어 제어식 전기 기계 시스템인, 수술 로봇 시스템으로도 지칭되는 로봇-보조 수술 시스템을 제어하는 모바일 인터페이스 장치가 개시된다. 모바일 인터페이스 장치는 외과 의사에게 수술 로봇 시스템에 대한 직접적이고 실시간적인 뷰를 제공하고, 외과 의사가 수술 로봇 시스템의 다양한 타겟 컴포넌트들을 용이하고 직관적으로 선택, 제어 또는 조작할 수 있게 한다. 예를 들어, 모바일 인터페이스 장치는 외과 의사의 관심의 중심에 있거나 인터페이스 장치에 의해 캡처된 이미지의 중심에 나타나는 로봇 아암을, 외과 의사에 의해 선택된 타겟 컴포넌트로서 자동으로 식별할 수 있다. 타겟 컴포넌트의 현재 포즈 또는 위치에 기초하여, 모바일 인터페이스 장치는 제어 옵션들의 목록을 생성할 수 있다. 외과 의사는 선택된 로봇 아암의 원하는 포즈로의 로봇-보조 이동을 명령하는 것과 같이 타겟 컴포넌트를 조작하기 위한 제어 옵션을 선택할 수 있다.

수술 로봇 시스템을 위한 인터페이스 장치는 카메라, 프로세서, 디스플레이, 및 하나 이상의 제어 버튼들을 포함할 수 있다. 카메라는 수술 로봇 시스템의 라이브 이미지들 또는 비디오들을 캡처할 수 있다. 프로세서는 인터페이스 장치를 사용하여 제어될 수술 로봇 시스템의 타겟 컴포넌트를 식별하고 타겟 컴포넌트의 초기 또는 현재 포즈를 결정하기 위해, 캡처된 라이브 비디오들 또는 이미지들에 대한 이미지 처리 소프트웨어를 실행할 수 있다. 디스플레이는 캡처된 라이브 이미지들 또는 비디오들을 디스플레이할 수 있으며 이는 수술 로봇 시스템의 타겟 컴포넌트를 식별하는 것을 포함할 수 있다. 디스플레이는 타겟 컴포넌트의 하나 이상의 잠재적인 타겟 포즈들을 디스플레이할 수 있다. 인터페이스 장치는 외과 의사가 잠재적인 타겟 포즈들 중 하나를 선택하고 타겟 컴포넌트를 제어할 수 있도록 제어 옵션들을 제시할 수 있다. 제어 버튼들은 타겟 컴포넌트를 현재 포즈로부터 선택된 타겟 포즈로 이동시키기 위해 수술 로봇 시스템에 대한 입력 명령들을 생성하는 데 사용될 수 있다.

일 양태에서, 프로세서는 타겟 컴포넌트가 맞물릴 수 있는 하나 이상의 객체들을 식별하기 위해, 캡처된 비디오 또는 이미지들을 처리함으로써 타겟 컴포넌트의 잠재적인 타겟 포즈들을 식별할 수 있다. 일 양태에서, 인터페이스 장치는 수술 로봇 시스템으로부터 또는 외과 의사에 의해 인터페이스 장치로 입력된 명령들을 통해 타겟 포즈에 대한 정보를 수신할 수 있다. 일 양태에서, 인터페이스 장치는 하나 이상의 센서(들)를 포함할 수 있다. 센서들은 카메라에 의해 캡처된 수술 로봇 시스템의 다양한 표면점들의 인터페이스 장치에 대한 상대 위치들을 3차원으로 측정할 수 있다. 인터페이스 장치는 타겟 컴포넌트를 식별하거나, 타겟 컴포넌트의 현재 포즈를 결정하거나, 타겟 컴포넌트의 잠재적인 타겟 포즈들을 식별하는 것을 보조하기 위해 센서들로부터의 측정들을 처리할 수 있다.

첨부된 도면들이 본 발명의 더 나은 이해를 위해 본 기술의 다양한 양태들 및 실시예들에 대한 하기 설명과 함께 제공된다. 도면들 및 실시예들은 본 발명을 예시하는 것이며, 본 발명의 범주를 제한하도록 의도되지 않는다. 당업자는 여전히 본 발명의 범위 내에 속하는 다른 실시예들의 도면들을 생성하기 위해 도면들을 수정할 수 있는 것으로 이해된다.
도 1은 본 기술의 양태들에 따른, 수술장에서의 예시적인 수술 로봇 시스템(1)의 회화도(pictorial view)이다.
도 2a는 본 기술의 양태들에 따른, 수술 로봇 시스템의 로봇 아암이 개별 컴포넌트들의 식별 또는 선택/타겟화를 가능하게 하도록 시각화되는 디스플레이를 보여주는 인터페이스 장치의 정면도이고, 도 2b는 본 기술의 양태들에 따른, 카메라, 선택적인 3-D 카메라, 및 제어 버튼들(이 또한 장치의 전면 또는 측면에 위치할 수 있음)을 보여주는 인터페이스 장치의 배면도이다.
도 3은 본 기술의 양태들에 따른, 로봇 아암이 초기 포즈로부터 최종 포즈로 이동하도록 제어하는 데 사용되는 인터페이스 장치를 도시한다.
도 4는 본 기술의 양태들에 따른, 인터페이스 장치의 예시적인 하드웨어 컴포넌트들을 예시한 블록도이다.
도 5는 본 기술의 양태들에 따른, 수술 로봇 시스템의 예시적인 하드웨어 컴포넌트들을 예시한 블록도이다.
도 6은 본 기술의 양태들에 따른, 모바일 장치를 사용하여 수술 로봇 시스템을 제어하는 방법을 예시한 흐름도이다.

본 기술의 다양한 양태들 및 변형들의 예들이 본 명세서에 설명되고 첨부 도면들에 예시된다. 하기의 설명은 본 발명을 이러한 실시예들로 제한하도록 의도되는 것이 아니라, 오히려 당업자가 본 발명을 제조 및 사용하는 것을 가능하게 하도록 의도된다.

외과 의사들이 최소-침습 수술을 수행하는 것을 돕도록 설계된 소프트웨어 제어식 전기 기계 시스템인 수술 로봇 시스템을 외과 의사들이 직관적으로 제어할 수 있도록 하는 인터페이스 장치가 본 명세서에 개시된다. 인터페이스 장치는 수술전 셋업 동안, 수술 동안, 또는 수술 후 절차들 동안, 수술실 환경에 대한 직접적인 뷰를 갖는 외과 의사가 수술 로봇 시스템 또는 그에 부착된 액세서리들의 다양한 컴포넌트들을 선택, 제어 또는 조작할 수 있게 한다. 예를 들어, 외과 의사는 휴대용 인터페이스 장치를 사용하여 인터페이스 장치의 카메라의 시야의 중심 근처에 로봇 아암을 배치함으로써 수술 로봇 시스템의 로봇 아암을 선택할 수 있다. 인터페이스 장치는 관심 대상인 로봇 아암을 자동으로 식별할 수 있고, 카메라에 의해 캡처된 수술 로봇 시스템의 이미지 상에 이미지 처리를 실행함으로써 그것의 초기 또는 현재 포즈를 결정할 수 있다. 원격 콘솔의 간접적인 뷰를 통해서보다는 인터페이스 장치에 의해 제공되는 직접적인 뷰를 통해 수술 로봇 시스템의 컴포넌트들을 선택하고 제어함으로써, 외과 의사가 수술 로봇 시스템의 잘못된 컴포넌트를 실수로 선택하고 이동시킬 위험이 감소될 수 있다.

선택된 컴포넌트의 초기 포즈에 기초하여, 인터페이스 장치는 선택된 컴포넌트에 대한 제어 옵션들을 제시할 수 있다. 외과 의사는 계획된 궤적을 통해 타겟 위치에 이르는 선택된 컴포넌트의 로봇-보조 이동을 활성화하기 위한 제어 옵션을 선택할 수 있다. 예를 들어, 외과 의사는 파지, 절단, 무디고 날카로운 절개, 근사화, 라이게이션, 전기소작 및 봉합을 포함하는 조직의 내시경 조작을 위해 의도된 내시경 기구 또는 액세서리들과 맞물리기 위해 로봇 아암을 준비 위치로부터 사전 도킹 위치로 이동시킬 수 있다. 다른 예에서, 외과 의사는 타겟 문제 또는 장기의 더욱 명확한 뷰를 내시경 기구에 제공하기 위해 수술 테이블의 각도를 변경하여 환자의 발들을 상승시킬 수 있다.

도 1은 본 기술의 양태들에 따른, 수술장에서의 예시적인 수술 로봇 시스템(1)의 회화도이다. 로봇 시스템(1)은 사용자 콘솔(2), 컨트롤 타워(3), 및 수술 로봇 플랫폼(5), 예를 들어, 테이블, 침대 등에 있는 하나 이상의 수술 로봇 아암들(4)을 포함한다. 시스템(1)은 환자(6)에 대해 수술을 수행하는 데 사용되는 임의의 개수의 장치들, 도구들, 또는 액세서리들을 포함할 수 있다. 예를 들어, 시스템(1)은 수술을 수행하는 데 사용되는 하나 이상의 수술 도구들(7)을 포함할 수 있다. 수술 도구(7)는, 예를 들어 수술적 시술을 실행하기 위한, 수술 아암(4)의 원위 단부에 부착되는 엔드 이펙터일 수 있다.

각각의 수술 도구(7)는 수술 동안 수동으로, 로봇식으로, 또는 둘 모두로 조작될 수 있다. 예를 들어, 수술 도구(7)는 환자(6)의 내부 해부학적 구조물에 들어가거나, 보거나, 조작하는 데 사용되는 도구일 수 있다. 일 실시예에서, 수술 도구(7)는 환자의 조직을 파지할 수 있는 파지기(grasper)이다. 수술 도구(7)는 침대옆 조작자(8)에 의해 수동으로 제어될 수 있거나; 또는 그것은 그것이 부착되는 수술 로봇 아암(4)의 작동된 이동을 통해 로봇식으로 제어될 수 있다. 로봇 아암들(4)은 테이블-장착형 시스템으로서 도시되어 있지만, 다른 구성들에서, 아암들(4)은 카트, 천장 또는 측벽에, 또는 다른 적합한 구조적 지지체에 장착될 수 있다.

대체적으로, 외과 의사 또는 다른 사람과 같은 원격 조작자(9)가 사용자 콘솔(2)을 사용하여 아암들(4) 및/또는 부착된 수술 도구들(7)을 원격으로 조작할 수 있다(예를 들어, 원격조작). 사용자 콘솔(2)은, 도 1에 도시된 바와 같이, 시스템(1)의 나머지 부분과 동일한 수술실에 위치될 수 있다. 그러나, 다른 환경에서, 사용자 콘솔(2)은 인접한 또는 부근의 방에 위치될 수 있거나, 그것은 원격 위치에, 예를 들어 상이한 건물, 도시, 또는 지역에 있을 수 있다. 사용자 콘솔(2)은 좌석(10), 발-작동식 제어부들(13), 하나 이상의 핸드헬드 사용자 입력 장치(UID)들(14), 및, 예를 들어, 환자(6) 내부의 수술 부위의 뷰를 디스플레이하도록 구성되는 적어도 하나의 사용자 디스플레이(15)를 포함할 수 있다. 예시적인 사용자 콘솔(2)에서, 원격 조작자(9)는, 아암들(4) 및 (아암들(4)의 원위 단부에 장착된) 수술 도구들(7)을 원격으로 제어하기 위해 발-작동식 제어부(13) 및 핸드헬드 UID(14)를 조작하면서 좌석(10)에 앉아 사용자 디스플레이(15)를 관찰하고 있다.

일부 변형예들에서, 침대옆 조작자(8)는 또한 "오버 더 베드(over the bed)" 모드에서 시스템(1)을 작동시킬 수 있으며, 이때 침대옆 조작자(8)(사용자)는 이제 환자(6)의 옆에 있고, 예를 들어, 핸드헬드 UID(14)를 한 손에 잡은 상태에서, 로봇-구동식 도구(아암(4)에 부착된 바와 같은 엔드 이펙터) 및 수동 복강경 도구를 동시에 조작하고 있다. 예를 들어, 침대옆 조작자의 왼손은 로봇 컴포넌트를 제어하기 위해 핸드헬드 UID를 조작하고 있을 수 있는 한편, 침대옆 조작자의 오른손은 수동 복강경 도구를 조작하고 있을 수 있다. 따라서, 이들 변형예들에서, 침대옆 조작자(8)는 환자(6)에 대해 로봇-보조 최소 침습 수술 및 수동 복강경 수술 둘 모두를 수행할 수 있다.

예시적인 시술(수술) 동안, 환자(6)는 마취를 달성하기 위해 무균 방식으로 수술 준비되고 드레이핑(draping)된다. 수술 부위에 대한 초기 접근은 로봇 시스템(1)의 아암들이 (수술 부위에 대한 접근을 용이하게 하기 위해) 격납된 구성(stowed configuration) 또는 인출된 구성(withdrawn configuration)에 있는 동안 수동으로 수행될 수 있다. 일단 접근이 완료되면, 그것의 아암들(4)을 포함하는 로봇 시스템(1)의 초기 위치설정 또는 준비가 수행될 수 있다. 예를 들어, 사용자 콘솔(2)에 있는 원격 조작자(9) 또는 침대옆 조작자(8)는 수술전 셋업 동안 핸드헬드 UID들(14)을 사용하여 아암(4)을 격납된 구성으로부터 환자(6) 위의 준비 위치로 이동시킬 수 있다. 대안적으로, 테이블(5)의 직접적인 뷰를 갖는 외과 의사 또는 침대옆 직원은 본 명세서에 개시된 인터페이스 장치를 조작하여 아암(4)을 선택하고 준비 위치로 이동시킬 수 있다. 다음으로, 사용자 콘솔(2)에 있는 원격 조작자(9)가 수술을 수행하기 위해 발-작동식 제어부(13) 및 UID들(14)을 이용하여 다양한 엔드 이펙터들 그리고 아마도 이미징 시스템을 조작하며 수술이 진행된다. 수동 지원이 또한 수술 침대 또는 테이블(5)에서 조직을 후퇴시키는 것, 수동 재배치를 수행하는 것, 및 로봇 아암들(4) 중 하나 이상에 대한 도구 교환과 작업들을 수행할 수 있는 멸균 가운을 입은 침대옆 직원, 예를 들어 침대옆 조작자(8)에 의해 제공될 수 있다. 사용자 콘솔(2)에 있는 원격 조작자(9)를 돕기 위해 비-멸균 직원이 또한 존재할 수 있다. 시술 또는 수술이 완료될 때, 시스템(1) 및 사용자 콘솔(2)은 세정 또는 멸균, 및 사용자 콘솔(2)을 통한 건강관리 기록 입력 또는 인쇄와 같은 수술후 절차를 용이하게 하는 상태로 구성되거나 설정될 수 있다.

일 실시예에서, 원격 조작자(9)는 로봇 시스템(1) 내의 로봇 아암 액추에이터(17)를 이동시키기 위한 입력 명령을 제공하기 위해 UID(14)를 잡고 이를 이동시킨다. UID(14)는, 예를 들어 콘솔 컴퓨터 시스템(16)을 통해, 로봇 시스템(1)의 나머지 부분에 통신가능하게 결합될 수 있다. UID(14)는 UID(14)의 이동에 대응하는 공간 상태 신호들, 예를 들어 UID의 핸드헬드 하우징의 위치 및 배향에 대응하는 공간 상태 신호들을 생성할 수 있고, 공간 상태 신호들은 로봇 아암 액추에이터(17)의 모션을 제어하기 위한 입력 신호들일 수 있다. 로봇 시스템(1)은 액추에이터(17)의 비례 모션을 제어하기 위해 공간 상태 신호들로부터 유도된 제어 신호들을 사용할 수 있다. 일 실시예에서, 콘솔 컴퓨터 시스템(16)의 콘솔 프로세서는 공간 상태 신호들을 수신하고, 대응하는 제어 신호들을 생성한다. 아암(4)의 세그먼트 또는 링크를 이동시키기 위해 액추에이터(17)가 어떻게 동력공급되는지를 제어하는 이들 제어 신호에 기초하여, 아암에 부착되는 대응하는 수술 도구의 이동은 UID(14)의 이동을 모방할 수 있다. 유사하게, 원격 조작자(9)와 UID(14) 사이의 상호작용은 예를 들어 수술 도구(7)의 파지기의 조오(jaw)가 환자(6)의 조직을 닫고 그립(grip)하게 하는 그립 제어 신호를 생성할 수 있다.

수술 로봇 시스템(1)은 여러 개의 UID들(14)을 포함할 수 있으며, 여기서 각자의 제어 신호들은 각자의 아암(4)의 액추에이터들 및 수술 도구(엔드 이펙터)를 제어하는 각각의 UID에 대해 생성된다. 예를 들어, 원격 조작자(9)는 좌측 로봇 아암에 있는 액추에이터(17)의 모션을 제어하기 위해 제1 UID(14)를 이동시킬 수 있으며, 여기서 액추에이터는 그 아암(4) 내의 링키지들, 기어들 등을 이동시킴으로써 응답한다. 유사하게, 원격 조작자(9)에 의한 제2 UID(14)의 이동은 다른 액추에이터(17)의 모션을 제어하며, 이는 이어서 로봇 시스템(1)의 다른 링키지들, 기어들 등을 이동시킨다. 로봇 시스템(1)은 환자의 우측에서 침대 또는 테이블(5)에 고정되는 우측 아암(4), 및 환자의 좌측에 있는 좌측 아암(4)을 포함할 수 있다. 액추에이터(17)는 하나 이상의 모터들을 포함할 수 있으며, 이들은, 아암(4)의 조인트의 회전을 구동하여, 예를 들어 환자에 대해, 그 아암에 부착되는 수술 도구(7)의 내시경 또는 파지기의 배향을 변화시키도록 제어된다. 동일한 아암(4) 내의 여러 개의 액추에이터들(17)의 모션은 특정 UID(14)로부터 발생된 공간 상태 신호들에 의해 제어될 수 있다. UID들(14)은 또한 각자의 수술 도구 파지기들의 모션을 제어할 수 있다. 예를 들어, 각각의 UID(14)는 환자(6) 내의 조직을 그립하기 위해 수술 도구(7)의 원위 단부에서 파지기의 조오들을 열거나 닫는 액추에이터, 예를 들어 선형 액추에이터의 모션을 제어하기 위해 각자의 그립 신호를 생성할 수 있다.

일 양태에서, 원격 조작자(9)의 손 안의 UID(14)의 이동을 모방하는 아암(4) 또는 부착된 수술 도구(7) 대신에, 아암(4) 또는 수술 도구(7)의 직접적인 뷰를 갖는 외과 의사가 본 명세서에 개시된 인터페이스 장치를 사용하여 아암(4) 또는 수술 도구(7)를 원하는 위치로 이동시킬 수 있다. 예를 들어, 외과 의사는 인터페이스 장치의 카메라의 시야의 중심 근처의 타겟 아암에 프레임을 두르는 것에 의해 아암들(4)의 하나를 선택할 수 있다. 인터페이스 장치는 카메라에 의해 캡처된 이미지에 대해 이미지 처리 소프트웨어를 실행하여 타겟 아암을 제어될 객체로서 자동으로 식별하고 그의 초기 또는 현재 포즈를 결정할 수 있다. 예를 들어, 인터페이스 장치는 이미지 프레임의 중심 근처의 아암을 타겟 아암으로서 식별할 수 있고, 타겟 아암이 준비 위치에 있다고 결정할 수 있다. 인터페이스 장치는, 녹색 맞물림 표시기로 디스플레이 스크린 상의 타겟 아암의 윤곽을 그리거나, 가상 정보로 증강된 타겟 아암의 이미지를 렌더링하는 것과 같이, 스크린 상에 시각적 표시기를 디스플레이함으로써 타겟 아암을 강조 표시할 수 있다. 다른 양태에서, 외과 의사는 객체를 터치함으로써, 예를 들어, 터치 스크린 상에 디스플레이된 아암(4)을 터치함으로써 터치 스크린을 사용하여 제어될 객체를 표시할 수 있다.

일 양태에서, 인터페이스 장치는 이미지 처리 소프트웨어를 실행하여, 이미지 프레임 내의 객체들 근처의 하나 이상의 객체들 또는 지점들을 타겟 아암에 대한 가능한 목적지 위치로서 식별할 수 있다. 인터페이스 장치는 디스플레이 스크린 상의 가능한 목적지 위치들을 식별하거나 강조 표시할 수 있고, 디스플레이 스크린 상의 가능한 목적지 위치들의 명칭들을 디스플레이할 수 있고, 외과 의사에게 목적지 위치를 확인하도록 요청할 수 있다. 예를 들어, 인터페이스 장치는 스크린 상의 투관침을 강조 표시하고 외과 의사에게 확인할 것을 요청함으로써 타겟 아암 근처의 투관침을 타겟 아암이 맞물리기를 원할 수 있는 수술 도구로서, 따라서 타겟 아암에 대한 가능한 목적지 위치로서 식별할 수 있다. 외과 의사가 확인하면, 인터페이스 장치는 타겟 아암을 준비 위치로부터 투관침에 근접한 사전 도킹 위치로 이동시키기 위한 궤적을 계산하며, 따라서 투관침이 타겟 아암의 원위 단부에 부착될 수 있다. 인터페이스 장치는 계산된 궤적을 외과 의사가 선택할 옵션들 중 하나로서 디스플레이할 수 있다. 다른 양태에서, 외과 의사는, 예를 들어, 터치 스크린 상에 디스플레이된 투관침을 누르는 것에 의해, 터치 스크린을 사용하여 타겟 아암에 대한 목적지 위치를 표시할 수 있다. 다른 양태에서, 인터페이스 장치는 미리 정의된 위치들 또는 포즈들을 타겟 아암의 가능한 목적지 위치들로서 표시하는 다수의 옵션들 및 미리 정의된 위치들에 이르는 계획된 궤적들을 외과 의사가 선택하도록 디스플레이할 수 있다. 일단 외과 의사가 궤적, 위치 또는 포즈를 선택하면, 인터페이스 장치는 정보를 수술 로봇 시스템(1)으로 전송하여 수술 로봇 시스템(1)이 액추에이터(17)를 활성화하여 타겟 아암의 기어들, 링키지들 또는 조인트들을 구동하여 타겟 아암을 선택되거나 프로그래밍된 궤적을 통해 목적지 위치 또는 포즈로 이동시킬 수 있게 한다.

일부 양태들에서, 플랫폼(5)과 사용자 콘솔(2) 또는 인터페이스 장치 사이의 통신은, 사용자 콘솔(2)로부터(그리고 더 구체적으로는 콘솔 컴퓨터 시스템(16)으로부터) 또는 인터페이스 장치로부터 수신되는 사용자 명령들을, 로봇 플랫폼(5) 상의 아암들(4)에 전송되는 로봇 제어 명령들로 변환할 수 있는 컨트롤 타워(3)를 통할 수 있다. 컨트롤 타워(3)는 또한 상태 및 피드백을 플랫폼(5)으로부터 다시 사용자 콘솔(2) 또는 인터페이스 장치로 전송할 수 있다. 로봇 플랫폼(5), 사용자 콘솔(2) 및 컨트롤 타워(3) 사이의 통신 연결들은 다양한 데이터 통신 프로토콜 중 임의의 적합한 것들을 사용하여, 유선 및/또는 무선 링크들을 통해 이루어질 수 있다. 임의의 유선 연결부들이 선택적으로 수술실의 바닥 및/또는 벽 또는 천장에 내장될 수 있다. 로봇 시스템(1)은 수술실 내의 디스플레이뿐만 아니라 인터넷 또는 다른 네트워크들을 통해 액세스 가능한 원격 디스플레이를 포함한 하나 이상의 디스플레이들에 비디오 출력을 제공할 수 있다. 비디오 출력 또는 피드는 또한 프라이버시를 보장하기 위해 암호화될 수 있고, 비디오 출력의 전부 또는 부분들이 서버 또는 전자 건강관리 기록 시스템에 저장될 수 있다.

수술 로봇 시스템(1)을 이용한 수술을 개시하기 전에, 수술 팀은 수술전 셋업을 수행할 수 있다. 수술전 셋업 동안, 수술 로봇 시스템의 주요 컴포넌트들(테이블(5) 및 로봇 아암들(4), 컨트롤 타워(3), 및 사용자 콘솔(2))가 수술실에 위치되고, 연결되고, 파워 온된다. 테이블(5) 및 로봇 아암들(4)은 보관 및/또는 운반 목적들을 위해 아암들(4)이 테이블(5) 아래에 있는 완전-격납된 구성에 있을 수 있다. 수술 팀은 무균 드레이핑을 위해 아암들을 그들의 격납된 위치로부터 연장시킬 수 있다. 드레이핑 후에, 아암들(4)은 사용을 위해 필요할 때까지 부분적으로 후퇴될 수 있다. 투관침 배치 및 취입을 포함한 다수의 종래의 복강경 단계들이 수행될 필요가 있을 수 있다. 예를 들어, 각각의 슬리브가 폐색구의 도움으로, 작은 절개부 내로 그리고 체벽을 통해 삽입될 수 있다. 슬리브 및 폐색구는 배치 동안의 상해의 위험을 최소화하기 위해 삽입 동안 조직 층의 시각화를 위한 광학 진입을 허용한다. 전형적으로 다른 투관침들의 배치를 위한 핸드-헬드 카메라 시각화를 제공하기 위해 내시경이 맨 먼저 배치된다. 취입 후에, 요구되는 경우, 손으로 임의의 복강경 단계를 수행하기 위해 수동 기구가 슬리브를 통해 삽입될 수 있다.

다음에, 수술 팀은 로봇 아암들(4)을 환자 위에 위치시키고 각각의 아암을 그의 대응하는 슬리브에 부착할 수 있다. 수술 로봇 시스템(1)은 각각의 도구(내시경 및 수술 기구들)가 부착되자마자 그것을 고유하게 식별하고, 사용자 콘솔(2)에 있는 개방형 또는 몰입형 디스플레이(15) 및 컨트롤 타워(3) 상의 터치스크린 디스플레이 상에 도구 유형 및 아암 위치를 디스플레이하는 능력을 갖는다. 대응하는 도구 기능들이 인에이블되고 마스터 UID들(14) 및 풋 페달들(13)을 사용하여 활성화될 수 있다. 환자측 보조원은 시술 전체에 걸쳐, 요구되는 바에 따라, 도구들을 부착하고 분리할 수 있다. 사용자 콘솔(2)에 착석한 외과 의사는 2개의 마스터 UID들(14) 및 풋 페달(13)에 의해 제어되는 도구들을 사용하여 수술을 수행하기 시작할 수 있다. 시스템은 외과 의사의 손, 손목 및 손가락 이동들을 마스터 UID들(14)을 통해 수술 도구들의 정밀한 실시간 이동으로 변환한다. 그에 따라, 시스템은 외과 의사의 모든 수술 조작을 끊임없이 모니터링하고, 시스템이 외과 의사의 손 모션을 정확하게 반영할 수 없는 경우 기구 이동을 일시 정지시킨다. 내시경이 수술 동안 하나의 아암으로부터 다른 것으로 이동되는 경우에, 시스템은 기구 정렬을 위해 마스터 UID들(14)을 조정하고 기구 제어 및 모션을 계속할 수 있다. 풋 페달(13)은, 외과 의사의 손이 마스터 UID들(116)로부터 제거되는 것을 수반함이 없이, 내시경 제어와 단극 및 양극 소작을 포함한 다양한 기구 기능과 같은, 다양한 시스템 모드를 활성화하는 데 사용될 수 있다.

테이블(5)은 수술 중에 재위치될 수 있다. 안전상의 이유로, 모든 도구 팁들은 보이는 곳에, 그리고 사용자 콘솔(2)에 있는 외과 의사에 의한 능동적 제어하에 있어야 한다. 능동적 외과 의사 제어하에 있지 않은 기구는 제거되어야 하고, 테이블 발 부분들은 로킹되어야 한다. 테이블 모션 동안, 통합 로봇 아암들(4)은 테이블 이동들을 수동적으로 따를 수 있다. 오디오 및 시각적 큐(cue)들이 테이블 모션 동안 수술 팀을 안내하는 데 사용될 수 있다. 오디오 큐들은 톤(tone)들 및 음성 프롬프트(voice prompt)들을 포함할 수 있다. 사용자 콘솔(2) 및 컨트롤 타워(3)에 있는 디스플레이들 상의 시각적 메시징은 테이블 모션 상태를 수술 팀에 통지할 수 있다.

일 양태에서, 테이블(5)의 직접적인 뷰를 갖는 외과 의사는 테이블(5)을 재위치시키기 위해 본 명세서에 개시된 인터페이스 장치를 사용할 수 있다. 예를 들어, 외과 의사는 환자(6)의 상반신을 상승시키기를 원할 수 있다. 외과 의사는 카메라의 시야의 중심 근처의 테이블 섹션에 프레임을 두르는 것에 의해 환자의 상반신을 받치고 있는 테이블(5)의 섹션을 선택할 수 있다. 인터페이스 장치는 테이블 섹션을 제어될 객체로서 식별하기 위해 카메라 이미지 상에 이미지 처리 소프트웨어를 실행할 수 있다. 다른 양태에서, 외과 의사는 테이블 섹션을 터치함으로써 터치 스크린을 사용하여 제어될 테이블 섹션을 표시할 수 있다. 인터페이스 장치는 테이블 섹션이 상승되거나 하강될 수 있는 상이한 정도들을 표시하는 다수의 옵션들을 제시할 수 있다. 일 양태에서, 외과 의사는 상승의 각도를 특정할 수 있다. 일단 외과 의사가 테이블 섹션의 새로운 위치를 선택하거나 입력하면, 인터페이스 장치는 정보를 수술 로봇 시스템(1)으로 전송하여 수술 로봇 시스템(1)이 메커니즘들을 구동하여 테이블 섹션을 원하는 위치로 상승시킬수 있게 한다.

도 2a는 본 기술의 양태들에 따른, 수술 로봇 시스템의 로봇 아암이 개별 컴포넌트들의 식별 또는 선택/타겟화를 가능하게 하도록 시각화되는 디스플레이를 보여주는 인터페이스 장치의 정면도(25)이다. 인터페이스 장치는 디스플레이 스크린(26) 및 손잡이들(27)을 포함한다. 디스플레이 스크린(26)은 인터페이스 장치의 후면 상의 카메라에 의해 캡처된 실시간 이미지들 또는 비디오들을 디스플레이할 수 있다. 디스플레이 스크린(26)은 사용자가 명령들을 입력하거나, 선택들을 내리거나, 디스플레이된 객체들을 조작할 수 있게 하는 터치 스크린일 수 있다. 일 양태에서, 사용자는 타겟 컴포넌트가 디스플레이 스크린(26)의 중심 근처에 나타나도록 인터페이스 장치를 타겟 컴포넌트에 포인팅함으로써 제어할 수술 로봇 시스템의 타겟 컴포넌트를 선택할 수 있다. 일 양태에서, 이미지 처리 알고리즘들은 카메라에 의해 캡처된 이미지들 또는 비디오들을 처리하여, 디스플레이 스크린(26)의 중심 근처에 나타나는 수술 로봇 시스템의 컴포넌트를 타겟 컴포넌트로서 자동으로 식별할 수 있다. 일 실시예에서, 인터페이스 장치 상의 프로세서는 이미지 처리 알고리즘들을 실행할 수 있다. 다른 실시예에서, 도 1의 컨트롤 타워(3)와 같은 수술 로봇 시스템의 컴퓨터는 이미지 처리 알고리즘들을 실행할 수 있다. 인터페이스 장치는 캡처된 이미지들 또는 비디오들을 원격 이미지 처리 동작들을 위해 수술 로봇 시스템에 전송할 수 있고, 수술 로봇 시스템으로부터 식별된 타겟 컴포넌트를 수신할 수 있다. 일 실시예에서, 사용자는 디스플레이 스크린(26) 상에서 타겟 컴포넌트를 터치함으로써 타겟 컴포넌트를 식별할 수 있다.

일 양태에서, 이미지 처리 알고리즘들은 타겟 컴포넌트의 초기 포즈 또는 위치를 결정할 수 있다. 예를 들어, 로봇 아암은 저장을 위해 격납된 위치에서 접힐 수 있고, 무균 드레이핑을 위해 드레이프 위치에서 연장될 수 있고, 수술전 셋업 동안 환자 위의 준비 위치에서 구부러질 수 있고, 근처의 수술 도구에 부착될 준비가 된 사전 도킹 위치 또는 수술 도구에 부착된 도킹된 위치에서 구성될 수 있다. 인터페이스 장치는 예를 들어, 맞물림 표시기로 타겟 컴포넌트를 강조 표시함으로써 사용자가 확인하도록 디스플레이 스크린(26) 상의 타겟 컴포넌트를 강조 표시할 수 있다. 사용자는 타겟 컴포넌트를 확인하거나 거부할 수 있으며, 이 경우 인터페이스 장치는 다른 컴포넌트를 식별하려고 시도할 수 있다. 일 양태에서, 사용자가 타겟 컴포넌트를 확인하기 전에, 사용자가 인터페이스 장치를 이동시켜 타겟 컴포넌트가 카메라의 뷰에서 벗어나면, 이미지 처리 알고리즘들은 타겟 컴포넌트를 선택 해제할 수 있다. 다른 양태에서, 사용자가 타겟 컴포넌트를 확인한 후에, 그리고 수술 로봇 시스템이 타겟 컴포넌트를 이동시키도록 활성화되는 동안, 사용자가 인터페이스 장치를 이동시켜 타겟 컴포넌트가 카메라의 뷰에서 벗어나면, 인터페이스 장치는 타겟 컴포넌트를 선택 해제하고 그의 이동들을 정지시켜 사용자의 관심의 초점이 아닐 때 사용자가 타겟 컴포넌트를 이동시키는 것을 방지할 수 있다.

확인된 타겟 컴포넌트 및 타겟 컴포넌트의 초기 위치 또는 포즈에 기초하여, 인터페이스 장치는 사용자가 타겟 컴포넌트의 위치, 배향, 이동, 기능 등을 제어하기 위한 옵션들의 목록을 생성할 수 있다. 예를 들어, 사용자가 드레이프 위치의 로봇 아암이 타겟 컴포넌트임을 확인하면, 인터페이스 장치는 로봇 아암을 미리 정의된 준비 또는 사전 도킹 위치로 이동시키기 위한 옵션들의 목록을 제시할 수 있다. 일 양태에서, 옵션들의 목록은 미리 정의된 위치들에 대한 로봇 아암의 계획된 궤적들을 포함할 수 있다. 인터페이스 장치는 타겟 컴포넌트의 미리 정의된 타겟 위치들의 목록, 미리 정의된 타겟 위치들의 명칭들(예를 들어, 준비 위치, 사전 도킹 위치 등), 또는 미리 정의된 타겟 위치들에 이르는 계획된 궤적들을 오버레이, 예를 들어, 디스플레이 스크린(26) 상의 증강 현실(AR) 오버레이로서 제시할 수 있다. 사용자는 미리 정의된 타겟 위치들 중 하나를 타겟 컴포넌트의 원하는 타겟 위치로서 선택할 수 있다. 인터페이스 장치는 타겟 컴포넌트를 초기 위치로부터 선택된 타겟 위치로 이동시키기 위한 궤적을 계산할 수 있다. 일 양태에서, 사용자는 원하는 타겟 위치를 선택할 때 계획된 궤적들 중 하나를 선택할 수 있다.

일 실시예에서, 이미지 처리 알고리즘들은 이미지들 또는 비디오들 내의 다른 객체를 타겟 컴포넌트에 대한 가능한 목적지 위치로서 식별할 수 있다. 예를 들어, 준비 위치에서의 로봇 아암이 타겟 컴포넌트로서 확인되는 경우, 이미지 처리 알고리즘들은 이미지들 또는 비디오들 내의 수술 도구를 로봇 아암이 부착될 수 있는 가능한 타겟으로서 식별할 수 있다. 인터페이스 장치는 수술 도구의 현재 위치 또는 포즈, 또는 수술 도구의 바로 부근 공간 내의 부피를 로봇 아암에 대한 가능한 사전 도킹 목적지 위치로서 제시할 수 있다. 사용자가 제시된 사전 도킹 위치를 선택하면, 인터페이스 장치는 로봇 아암을 준비 위치로부터 사전 도킹 위치로 이동시키기 위한 궤적을 계산할 수 있다. 인터페이스 장치는 로봇 아암이 다른 로봇 아암들과 충돌하거나 그들의 작동과 간섭하는 것을 회피하도록 궤적을 계산할 수 있다. 일 양태에서, 로봇 아암의 계획된 이동이 다른 로봇 아암들을 이동시키는 것을 필요로 하는 경우, 옵션들의 목록은 다수의 로봇 아암들 각각에 대한 하나 이상의 계획된 궤적들을 포함할 수 있다.

일 실시예에서, 사용자는 예를 들어, 디스플레이된 수술 도구를 터치함으로써 터치 스크린 상에 직접 목적지 위치를 표시할 수 있다. 인터페이스 장치는 사용자에게 선택을 확인하도록 요청하기 위해 선택된 수술 도구를 강조 표시할 수 있다. 확인되면, 인터페이스 장치는 로봇 아암을 선택된 수술 도구로 이동시키기 위한 궤적을 계산할 수 있고, 궤적을 사용자가 선택할 수 있는 옵션으로서 제시할 수 있다. 일 실시예에서, 컨트롤 타워와 같은 수술 로봇 시스템의 컴퓨터는 인터페이스 장치 대신에 궤적을 계산할 수 있다.

일단 사용자가 로봇 아암의 위치, 배향 또는 기능을 이동시키거나 변경하기 위한 옵션을 선택하면, 인터페이스 장치는, 존재하는 경우, 선택 및 궤적에 대한 정보를 수술 로봇 시스템의 컨트롤 타워(3)로 전송한다. 사용자는 연속 활성화 버튼을 누르는 것에 의해 로봇 아암의 이동을 활성화하도록 프롬프트될 수 있다. 인터페이스 장치는 사용자가 연속 활성화 버튼을 누를 때 활성화 신호를 컨트롤 타워(3)로 전송할 수 있다. 활성화 신호를 수신하면, 컨트롤 타워(3)는 액추에이터(17)를 활성화하여 로봇 아암의 기어들, 링키지들, 또는 조인트들을 구동하여 로봇 아암을 선택된 궤적을 통해 목적지 위치로 이동시키기 위한 제어 신호들을 생성할 수 있다. 안전상의 이유들로, 사용자는 로봇 아암이 목적지 위치에 이르는 그의 궤적을 완료할 때까지 연속 활성화 버튼을 지속할 필요가 있을 수 있다. 사용자가 연속 활성화 버튼을 해제하면, 인터페이스 장치는 활성화 신호를 전송하는 것을 중단하여, 컨트롤 타워(3)로 하여금 로봇 아암의 모션을 중단하게 한다. 이동 동안, 디스플레이 스크린(26)은 로봇 아암이 이동하고 있음을 사용자에게 시각적으로 표시하기 위해 맞물림 표시기로 로봇 아암을 계속해서 강조 표시할 수 있다. 추가된 안전성을 위해, 사용자가 인터페이스 장치를 이동시켜 로봇 아암이 카메라의 뷰에서 벗어나면, 산만한 사용자가 환자에게 해를 가하는 것을 방지하기 위해 인터페이스 장치가 활성화 신호의 전송을 차단하여 로봇 아암의 이동을 중단할 수 있다.

도 2a를 참조하면, 디스플레이 스크린(26)은 타겟 로봇 아암(28) 및 제2 아암(29)의 예시적인 이미지를 보여주고 있다. 이미지 처리 알고리즘은 이미지의 중심에 나타나는 타겟 로봇 아암(28)을 제어될 수술 로봇 시스템의 타겟 컴포넌트로서 식별한다. 이미지 처리 알고리즘은 타겟 로봇 아암(28)이 환자 위에 대기된(parked) 준비 위치에 있다고 결정한다. 디스플레이 스크린(26)은 타겟 로봇 아암(28)에 맞물림 표시기(30)를 두르는 것에 의해 이를 강조 표시한다. 타겟 로봇 아암(28)이 준비 위치에 있다는 결정에 기초하여, 디스플레이 스크린(26)은 사용자가 타겟 로봇 아암(28)의 위치, 배향, 이동, 기능 등을 제어하기 위한 옵션들의 목록(31)을 디스플레이한다. 예를 들어, 옵션들의 목록(31)은 타겟 로봇 아암(28)을, 계획된 궤적을 통해, 미리 정의된 사전 도킹 위치, 수술 도구 근처의 사전 도킹 위치 등으로 이동시키기 위한 옵션들을 포함할 수 있다. 사용자는 디스플레이 스크린(26) 상의 옵션을 선택할 수 있다. 일단 선택되면, 맞물림 표시기(30)는 타겟 로봇 아암(28)이 활성화될 준비가 되었음을 표시하기 위해 녹색과 같은 상이한 색상으로 변할 수 있다. 사용자는 선택된 목적지 위치에 이르는 그의 궤적을 통한 타겟 로봇 아암(28)의 이동을 활성화하기 위해 인터페이스 장치의 후면 상의 연속 활성화 버튼을 지속할 수 있다. 타겟 로봇 아암(28)이 궤적을 완료하여 목적지 위치에 도달할 때, 이동이 중단되고, 맞물림 표시기(30)는 타겟 로봇 아암(28)이 비활성화되고 선택 해제되었음을 표시하기 위해 턴오프될 수 있다.

도 2b는 본 기술의 양태들에 따른, 카메라(37), 선택적 3차원(3-D) 카메라(38), 및 제어 버튼들(36)을 도시하는 인터페이스 장치의 배면도(35)이다. 카메라(37)는 인터페이스 장치의 전방에 디스플레이 스크린(26) 상에 디스플레이하기 위해 수술 로봇 시스템 또는 그의 컴포넌트들의 평면 이미지 또는 비디오를 캡처할 수 있다. 일 실시예에서, 인터페이스 장치는 원격 스크린 상에 디스플레이하기 위해 캡처된 이미지들 또는 비디오들을 수술 로봇 시스템으로 전송할 수 있다. 논의된 바와 같이, 인터페이스 장치 또는 수술 로봇 시스템 상에 실행되는 이미지 처리 알고리즘들은 이미지들 또는 비디오들의 중심 근처에서 나타나는 수술 로봇 시스템의 컴포넌트를 사용자에 의해 제어될 타겟 컴포넌트로서 자동으로 식별하기 위해 이미지들 또는 비디오들을 처리할 수 있다. 추가적으로, 이미지 처리 알고리즘들은 타겟 컴포넌트의 초기 포즈 또는 위치를 결정할 수 있다. 일 실시예에서, 이미지 처리 알고리즘들은 이미지들 또는 비디오들 내의 다른 객체를 타겟 컴포넌트에 대한 가능한 목적지 위치로서 식별할 수 있다.

타겟 컴포넌트 또는 다른 객체들 및 그들의 위치들을 식별하는 데 있어서 이미지 처리 알고리즘들을 보조하기 위해, 인터페이스 장치는 인터페이스 장치에 대한 수술 로봇 시스템의 컴포넌트들의 3-D 위치들을 결정하기 위해 3-D 카메라(38)와 같은 센서들을 가질 수 있다. 예를 들어, 3-D 카메라는 수술 로봇 시스템의 컴포넌트들의 표면점들의 인터페이스 장치에 대한 3-D 위치들을 측정할 수 있다. 3-D 카메라의 실시예들은 스테레오 적외선 투사 패턴들을 방출하는 적외선 카메라 추적 시스템, 관성 측정 유닛, 구조화된 광 카메라, 마이크로 비행시간 카메라, 스테레오 카메라 등을 포함할 수 있다. 일 실시예에서, 외과 의사는 외과 의사가 수술 로봇 시스템을 사용하여 수술을 계획하는 것을 돕기 위해 수술전 셋업 동안 수술 테이블 상의 환자를 스캔하기 위해 인터페이스 장치의 3-D 카메라를 사용할 수 있다.

제어 버튼들(36)은 디스플레이 스크린(26) 상에 디스플레이된 제어 옵션들과 정렬되도록 두 손잡이들(27) 상에 배치될 수 있다. 사용자는 제어 버튼들(36)을 사용하여 타겟 컴포넌트를 작동시키기 위한 제어 옵션을 선택할 수 있다. 일단 제어 옵션이 선택되면, 사용자는 제어 버튼들을 사용하여 타겟 컴포넌트가 선택된 옵션을 실행하도록 작동시킬 수 있다. 일 양태에서, 제어 버튼들(36)은 사용자가 초기 위치로부터 계획된 궤적을 통해 목적지 위치에 이르는 타겟 컴포넌트의 이동을 활성화할 수 있게 하기 위해 연속적으로 누를 필요가 있는 연속 활성화 버튼들일 수 있다. 사용자가 제어 버튼들을 해제하면, 타겟 컴포넌트가 그의 궤적을 완료하지 않은 경우에도 타겟 컴포넌트의 이동이 중단될 수 있다.

도 3은 본 기술의 양태들에 따른, 로봇 아암이 초기 포즈로부터 최종 포즈로 이동하도록 제어하는 데 사용되는 인터페이스 장치를 도시한다. 수술실 환경(35)은 수술 로봇 시스템의 테이블(36A) 상의 환자(39)를 보여준다. 제1 로봇 아암(37A) 및 제2 로봇 아암(38)이 테이블(36A)의 일 측면 상에 위치된다. 투관침(40A)이 제1 로봇 아암(37A) 근처에서 환자(39) 상에 배치되었다.

수술실 환경(35)의 직접적인 뷰를 갖는 사용자는 인터페이스 장치의 카메라를 사용하여 수술 로봇 시스템의 실시간 이미지 또는 비디오를 캡처한다. 디스플레이 스크린(26)은 제1 로봇 아암(37B), 테이블(36B), 및 투관침(40B)의 이미지를 보여준다. 제2 아암(38)은 카메라의 뷰에서 벗어나 있다. 이미지 처리 알고리즘은 이미지의 중심에 나타나는 제1 로봇 아암(37B)을 제어될 수술 로봇 시스템의 타겟 컴포넌트로서 식별한다. 이미지 처리 알고리즘은 제1 로봇 아암(37B)이 환자(39) 위에 대기된 준비 위치에 있다고 결정한다. 디스플레이 스크린(26)은 제1 로봇 아암(37B)에 황색과 같은 제1 색상의 맞물림 표시기(30)를 두르는 것에 의해 이를 강조 표시한다. 제1 로봇 아암(37B)이 준비 위치에 있다는 결정에 기초하여, 디스플레이 스크린(26)은 사용자가 제1 로봇 아암(37B)의 위치, 배향, 이동, 기능 등을 제어하기 위한 옵션들의 목록(31)을 디스플레이한다.

이미지 처리 알고리즘은 투관침(40B)을 제1 로봇 아암(37B)을 위한 가능한 목적지 위치로서 추가적으로 식별할 수 있다. 이와 같이, 옵션들의 목록(31)은 제1 로봇 아암(37B)을 계획된 궤적을 통해 투관침(40B) 근처의 사전 도킹 위치로 이동시키기 위한 옵션을 포함할 수 있다. 사용자는 디스플레이 스크린(26) 상의 이 옵션을 선택할 수 있다. 일단 선택되면, 맞물림 표시기(30)는 제1 로봇 아암(37B)이 활성화될 준비가 되었음을 표시하기 위해 녹색과 같은 제2 색상으로 변할 수 있다. 사용자는 투관침(40B) 근처의 사전 도킹 위치에 이르는 그의 궤적을 통한 제1 로봇 아암(37B)의 이동을 활성화하기 위해 인터페이스 장치의 후면 상의 연속 활성화 버튼을 지속할 수 있다. 제1 로봇 아암(37B)이 궤적을 완료하여 사전 도킹 위치에 도달할 때, 이동이 중단되고, 맞물림 표시기(30)는 제1 로봇 아암(37B)이 비활성화되고 선택 해제되었음을 표시하기 위해 턴오프될 수 있다.

인터페이스 장치는 또한 수술 로봇 시스템의 다른 컴포넌트들을 선택하는 데 사용될 수 있다. 예를 들어, 인터페이스 장치 및 이미지 처리 알고리즘은 이미지의 중심에 나타나는 테이블(36B)을 제어될 수술 로봇 시스템의 타겟 컴포넌트로서 식별할 수 있다. 일 실시예에서, 인터페이스 장치는 외과 의사가 수술 로봇 시스템을 사용하여 수술을 계획하는 것을 돕기 위해 수술전 셋업 동안 테이블 상의 환자의 3-D 스캔을 수행하는 데 사용될 수 있다. 이어서, 인터페이스 장치는 로봇 아암들 및 환자-특정 최적 로봇 아암을 위한 테이블 및 테이블 모션을 제어하는 데 사용될 수 있다. 인터페이스 장치는 가상 표현들 또는 증강 현실 뷰들을 사용하여 수술 로봇 시스템의 컴포넌트들의 사용자 선택을 용이하게 할 수 있다. 예를 들어, 디스플레이 스크린(26)은 추가 또는 가상 정보로 증강된 컴포넌트들의 카메라 뷰와 같은, 컴포넌트들의 렌더링된 이미지 또는 가상 모델을 디스플레이할 수 있다.

인터페이스 장치는 웹 포털(예를 들어, 브라우저)과 같은 다른 특징들을 제공할 수 있고, 케이스 셋업들, 외과 의사 선호도 카드들, 기구 수명들, 문서화, 문서화를 위한 내시경의 스냅샷들, 문서화를 위한 환자들의 사진들, 시스템 eIFU, 환자 데이터, 시술 가이드 등과 같은 정보를 디스플레이할 수 있다. 다른 특징들은, 마이크로폰들, 스피커들, 전면 웹캠을 사용한 원격 회의, 마이크로폰들, 스피커들, 후면 웹캠을 사용한 업무 통화들, 지문 판독기 및/또는 NFC 카드 판독기를 사용한 사용자 인증, 수술 로봇 시스템이 인터페이스 장치를 인식하도록 인터페이스 장치를 도킹 스테이션으로 슬라이딩함으로써 수술 로봇 시스템과 새로운 인터페이스 장치를 페어링하는 것과 같이 수술 로봇 시스템에 연결하기 위한 도킹 스테이션, 연결들의 신호 강도들을 모니터링하고 인터페이스 장치가 너무 멀리 떨어져 있을 때 경보들을 트리거하기 위해 블루투스 및 WiFi를 사용한 컨트롤 타워에 대한 인터페이스 장치의 범위 검출을 포함될 수 있다.

도 4는 본 기술의 양태들에 따른, 인터페이스 장치(50)의 예시적인 하드웨어 컴포넌트들을 예시한 블록도이다. 인터페이스 장치(50)는 카메라(51), 센서(52), 디스플레이(53), 사용자 명령 인터페이스(54), 프로세서(55), 메모리(56), 및 네트워크 인터페이스(57)를 포함한다. 카메라(51)는 수술 로봇 시스템의 평면 이미지 또는 비디오를 캡처하도록 구성될 수 있다. 센서(52)는 인터페이스 장치에 대한 수술 로봇 시스템의 컴포넌트들의 3-D 위치들을 결정하도록 구성된 3-D 카메라일 수 있다. 카메라(51)에 의해 캡처된 이미지들과 센서(52)에 의해 이루어진 3-D 위치 측정들은 터치 스크린일 수 있는 디스플레이(53) 상에 보여질 수 있다.

프로세서(55)는 이미지의 중심 근처에서 나타나는 수술 로봇 시스템의 컴포넌트를 사용자에 의해 제어될 타겟 컴포넌트로서 자동으로 식별하기 위해, 카메라(51)에 의해 캡처된 이미지들과 센서(52)에 의해 이루어진 측정들을 처리하기 위해 이미지 처리 알고리즘들을 실행하도록 구성될 수 있다. 프로세서(55)는 인터페이스 장치(50)의 작동을 제어하기 위해 운영 체제를 실행하도록 구성될 수 있다. 메모리(56)는 이미지 처리 알고리즘들, 운영 체제, 프로그램 코드들, 및 프로세서(55)에 의해 사용되는 다른 데이터 메모리들을 저장할 수 있다. 사용자 명령 인터페이스(54)는 타겟 컴포넌트를 작동시키기 위한 제어 옵션을 선택하고, 타겟 컴포넌트를 목적지 위치로 이동시키기 위해 선택된 옵션을 실행하기 위해 사용자에 의해 사용되는 연속 활성화 버튼을 포함할 수 있다.

하드웨어 컴포넌트들은 버스를 통해 통신할 수 있다. 인터페이스 장치는 네트워크 인터페이스(57)를 사용하여 외부 인터페이스(58)를 통해 수술 로봇 시스템과 통신할 수 있다. 외부 인터페이스(58)는 무선 또는 유선 인터페이스일 수 있다.

도 5는 본 기술의 양태들에 따른, 수술 로봇 시스템(60)의 예시적인 하드웨어 컴포넌트들을 예시한 블록도이다. 예시적인 수술 로봇 시스템(60)은 인터페이스 장치(50), 수술 로봇(80), 및 컨트롤 타워(70)를 포함할 수 있다. 인터페이스 장치(50)는 도 4와 관련하여 논의되었으며 반복되지 않는다. 수술 로봇 시스템(60)은 다른 또는 추가의 하드웨어 컴포넌트들을 포함할 수 있고, 따라서, 도면은 시스템 아키텍처에 대한 제한이 아니라 예로서 제공된다.

컨트롤 타워(70)는 터치스크린 디스플레이, 기구의 외과 의사의 로봇-보조 조작을 제어하는 컴퓨터, 안전 시스템들, 그래픽 사용자 인터페이스(GUI), 광원, 및 비디오 및 그래픽 컴퓨터를 수용하는 이동식 의료 현장 카트일 수 있다. 도 5에 도시된 바와 같이, 컨트롤 타워(70)는 적어도 시각화 컴퓨터, 제어 컴퓨터, 및 보조 컴퓨터를 포함할 수 있는 중앙 컴퓨터(71), 팀 디스플레이 및 간호사 디스플레이를 포함할 수 있는 다양한 디스플레이들(73), 및 컨트롤 타워(70)를 인터페이스 장치(50) 및 수술 로봇(80) 둘 모두에 결합하는 네트워크 인터페이스(78)를 포함할 수 있다. 컨트롤 타워(70)는 또한 진보된 광 엔진(72), 전기수술 발전기 유닛(ESU)(74), 및 취입기 및 CO2 탱크들(75)과 같은 제3자 장치들을 수용할 수 있다. 컨트롤 타워(70)는 간호사 디스플레이 터치스크린, 소프트 파워 및 E-홀드 버튼들, 비디오 및 정지 이미지들을 위한 사용자를 향하는 USB, 및 전자 캐스터 제어 인터페이스와 같은, 사용자 편의를 위한 추가적인 특징부들을 제공할 수 있다. 보조 컴퓨터가 또한 실시간 리눅스를 실행할 수 있어, 로깅/모니터링 및 클라우드-기반 웹 서비스들과의 상호 작용을 제공할 수 있다.

수술 로봇(80)은 타겟 환자 해부학적 구조 위에 위치될 수 있는 복수의 통합 아암들(82)을 갖는 관절식 수술 테이블(84)을 포함한다. 한 세트의 호환 가능한 도구들(83)이 아암들(82)의 원위 단부에 부착되거나 그로부터 분리될 수 있어, 외과 의사가 다양한 수술적 시술들을 수행하는 것을 가능하게 할 수 있다. 수술 로봇(80)은 또한 아암들(82), 수술 테이블(84), 및 도구들(83)의 수동 제어를 위한 제어 인터페이스(85)를 포함할 수 있다. 제어 인터페이스(85)는 원격 제어부들, 버튼들, 패널들, 및 터치스크린들과 같은, 그러나 이로 제한되지 않는, 아이템들을 포함할 수 있다. 투관침들(슬리브들, 밀봉 카트리지, 및 폐색구들) 및 드레이프들과 같은 다른 액세서리들이 또한 시스템으로 시술들을 수행하기 위해 조작될 수 있다. 일 실시예에서, 복수의 아암들(82)은 수술 테이블(84)의 양 측면들에 장착된 4개의 아암들을 포함할 수 있으며, 이때 2개의 아암들이 각각의 측면에 있다. 소정의 수술적 시술에 대해, 수술 테이블(84)의 일 측면 상에 장착된 아암은 쭉 펴서 수술 테이블(84) 및 타 측면 상에 장착된 아암들 아래로 건너가게 함으로써 수술 테이블(84)의 타 측면 상에 위치될 수 있으며, 이 결과 총 3개의 아암들이 수술 테이블(84)의 동일 측면 상에 위치된다. 수술 도구는 또한 테이블 컴퓨터(81) 및 네트워크 인터페이스(88)를 포함할 수 있으며, 이는 수술 로봇(80)이 컨트롤 타워(70)와 통신하게 할 수 있다.

도 6은 본 기술의 양태들에 따른, 모바일 장치를 사용하여 수술 로봇 시스템을 제어하는 방법(90)을 예시한 흐름도이다. 모바일 장치는 도 2a, 도 2b, 또는 도 4의 인터페이스 장치일 수 있다.

블록(91)에서, 모바일 장치는 수술 로봇 시스템의 일부분의 라이브 이미지를 캡처할 수 있다. 모바일 장치는 카메라를 사용하여 스크린 상에 디스플레이하기 위한 수술 로봇 시스템의 컴포넌트들의 평면 이미지 또는 비디오를 캡처할 수 있다.

블록(93)에서, 모바일 장치 또는 사용자는 캡처된 라이브 이미지로부터 수술 로봇 시스템의 타겟 컴포넌트를 식별할 수 있다. 예를 들어, 사용자는 타겟 컴포넌트가 디스플레이 스크린의 중심 근처에 나타나도록 모바일 장치를 타겟 컴포넌트에서 포인팅함으로써 제어할 수술 로봇 시스템의 타겟 컴포넌트를 선택할 수 있다. 모바일 장치 또는 컨트롤 타워에서 실행되는 이미지 처리 알고리즘은 타겟 컴포넌트를 식별하기 위해 캡처된 라이브 이미지를 처리할 수 있다.

블록(95)에서, 모바일 장치는 스크린 상에 캡처된 라이브 이미지, 타겟 컴포넌트, 및 타겟 컴포넌트의 가능한 타겟 포즈들을 디스플레이할 수 있다. 예를 들어, 모바일 장치는 로봇 아암에 프레임을 두르는 시각적 표시기를 디스플레이하거나, 또는 증강 또는 가상 정보가 중첩된 로봇 아암의 이미지를 렌더링함으로써 스크린 상에서 로봇 아암을 타겟 컴포넌트로서 강조 표시할 수 있다. 다른 양태에서, 모바일 장치는, 로봇 아암이 로봇 아암에 대한 가능한 타겟 포즈들로서 맞물릴 수 있는 하나 이상의 객체들을 식별하기 위해, 캡처된 라이브 이미지 상에 이미지 처리 알고리즘을 실행할 수 있다.

블록(97)에서, 모바일 장치는 타겟 컴포넌트에 대한 디스플레이된 타겟 포즈들 중 하나를 선택하기 위한 입력을 사용자로부터 수신할 수 있다. 예를 들어, 사용자는 로봇 아암에 대한 사전 도킹 목적지 위치를 터치스크린 상에 표시할 수 있다. 다른 양태들에서, 사용자는 터치스크린을 사용하여 로봇 아암의 위치, 배향, 또는 기능을 이동시키거나 변경하기 위한 옵션을 선택할 수 있다.

블록(98)에서, 모바일 장치는 타겟 컴포넌트를 선택된 타겟 포즈로 구동하기 위한 입력 명령을 생성할 수 있다. 예를 들어, 모바일 장치는, 로봇 아암의 기어들, 링키지들, 또는 조인트들을 계산된 궤적을 통해 선택된 목적지 위치로 구동하도록 액추에이터를 활성화하기 위한 제어 신호들을 컨트롤 타워가 생성하도록 컨트롤 타워에 활성화 신호를 전송할 수 있다. 일 양태에서, 모바일 장치 또는 컨트롤 타워는 로봇 아암을 초기 포즈로부터 목적지 포즈로 이동시키기 위한 궤적을 계산할 수 있다. 궤적은 로봇 아암이 다른 로봇 아암들과 충돌하거나 그들의 작동들과 간섭하는 것을 회피하도록 계산될 수 있다.

상기의 설명은, 설명의 목적으로, 본 발명의 완전한 이해를 제공하기 위해 특정 명명법을 사용하였다. 그러나, 본 발명을 실시하기 위해 특정 세부 사항이 요구되지 않는다는 것이 당업자에게 명백할 것이다. 이에 따라, 본 발명의 특정 실시예들에 대한 상기의 설명들은 예시 및 설명의 목적으로 제시된다. 이들은 총망라하거나 본 발명을 개시된 정확한 형태로 제한하고자 하는 것은 아니며, 명백하게는, 상기 교시 내용을 고려하여 많은 수정들 및 변형들이 가능하다. 실시예들은 본 발명의 원리들 및 그것들의 실제의 응용들을 가장 잘 설명하기 위해 선택되고 설명되었다. 그들은 그에 의해 다른 당업자가 본 발명 및 다양한 실시예들을 고려되는 특정 용도에 적합한 바와 같은 다양한 수정들을 갖고서 가장 잘 이용할 수 있게 한다. 하기의 청구항들 및 그들의 등가물들은 본 발명의 범위를 한정하는 것으로 의도된다.

전술된 방법들, 장치들, 처리, 및 로직은 많은 상이한 방식들로 그리고 하드웨어와 소프트웨어의 많은 상이한 조합들로 구현될 수 있다. 제어기들 및 추정기들은 전자 회로부를 포함할 수 있다. 예를 들어, 구현예들의 전부 또는 일부는 중앙 처리 유닛 (CPU), 마이크로컨트롤러, 또는 마이크로프로세서와 같은 명령어 프로세서; 애플리케이션 특정 집적 회로(ASIC), 프로그래머블 로직 디바이스(PLD), 또는 필드 프로그래머블 게이트 어레이(FPGA); 또는 아날로그 회로 컴포넌트들, 디지털 회로 컴포넌트들 또는 둘 모두를 포함하는 별개의 로직 또는 다른 회로 컴포넌트들을 포함하는 회로부; 또는 이들의 임의의 조합을 포함하는 회로부일 수 있다. 회로부는 별개의 상호 연결된 하드웨어 컴포넌트들을 포함할 수 있고/있거나, 예들로서 단일 집적 회로 다이 상에 결합되거나, 다수의 집적 회로 다이들 사이에 분산되거나, 공통 패키지 내의 다수의 집적 회로 다이들의 MCM(Multiple Chip Module) 내에 구현될 수 있다.

회로부는 회로부에 의한 실행을 위한 명령어들을 추가로 포함하거나 그들에 액세스할 수 있다. 명령어들은 플래시 메모리, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거가능 프로그래머블 판독 전용 메모리(EPROM)와 같은 일시적 신호 이외의 유형의(tangible) 저장 매체에 저장될 수 있거나; 컴팩트 디스크 판독 전용 메모리(CDROM), 하드 디스크 드라이브(HDD), 또는 다른 자기 또는 광학 디스크와 같은 자기 또는 광학 디스크 상에 저장될 수 있거나; 다른 기계-판독가능 매체 내에 또는 그 상에 저장될 수 있다. 컴퓨터 프로그램 제품과 같은 제품이 저장 매체 및 매체 내에 또는 상에 저장된 명령어들을 포함할 수 있고, 명령어들은 장치 내의 회로부에 의해 실행될 때 장치로 하여금 전술된 또는 도면들에 예시된 처리 중 임의의 것을 구현하게 할 수 있다.

구현예들은 다수의 시스템 컴포넌트들 사이에, 예컨대 선택적으로 다수의 분산 처리 시스템들을 포함하는, 다수의 프로세서 및 메모리 사이에 회로부로서 분산될 수 있다. 파라미터들, 데이터베이스들 및 다른 데이터 구조들이 개별적으로 저장 및 관리될 수 있고, 단일 메모리 또는 데이터베이스에 통합될 수 있고, 많은 상이한 방식들로 논리적으로 그리고 물리적으로 구조화될 수 있고, 링크된 리스트들, 해시 테이블들, 어레이들, 레코드들, 객체들 또는 암시적 저장 메커니즘들과 같은 데이터 구조들을 포함하는, 많은 상이한 방식들로 구현될 수 있다. 프로그램들은 단일 프로그램의 부분들(예를 들어, 서브루틴들)이거나, 별개의 프로그램들이거나, 여러 개의 메모리들 및 프로세서들에 걸쳐 분산되거나, 공유 라이브러리(예를 들어, DLL(Dynamic Link Library))와 같은 라이브러리에서와 같은, 많은 상이한 방식들로 구현될 수 있다. DLL은, 예를 들어, 회로부에 의해 실행될 때, 전술된 또는 도면들에 예시된 처리 중 임의의 것을 수행하는 명령어들을 저장할 수 있다.

또한, 본 명세서에서 논의된 다양한 제어기들은 처리 회로부, 마이크로프로세서 또는 프로세서, 및, 예를 들어 (마이크로)프로세서, 논리 게이트, 스위치, ASIC(application specific integrated circuit), 프로그래머블 논리 제어기, 및 임베디드 마이크로컨트롤러에 의해 실행 가능한 컴퓨터 판독가능 프로그램 코드(예를 들어, 펌웨어)를 저장하는 컴퓨터 판독가능 매체의 형태를 취할 수 있다. 제어기는 아래에서 설명되고 흐름도들에 도시된 다양한 기능들을 수행하기 위한 하드웨어 및/또는 펌웨어로 구성될 수 있다. 또한, 제어기 내부에 있는 것으로 도시된 컴포넌트들 중 일부는 또한 제어기 외부에 저장될 수 있고, 다른 컴포넌트들이 사용될 수 있다.

Claims

수술 로봇 시스템을 위한 모바일 인터페이스 장치로서,
상기 수술 로봇 시스템의 일부분의 라이브 이미지를 캡처하도록 구성된 카메라;
프로세서로서,
상기 모바일 인터페이스 장치를 사용하여, 제어될 상기 수술 로봇 시스템의 타겟 컴포넌트를 식별하기 위해 상기 캡처된 라이브 이미지를 처리하고;
상기 타겟 컴포넌트의 현재 포즈를 결정하도록 구성되는, 상기 프로세서;
디스플레이로서,
상기 캡처된 라이브 이미지를 디스플레이하고;
상기 타겟 컴포넌트의 하나 이상의 타겟 포즈(들)를 디스플레이하도록 구성되는, 상기 디스플레이; 및
하나 이상의 제어 인터페이스(들)로서,
사용자가 상기 타겟 포즈들 중 하나를 선택할 수 있게 하고;
상기 타겟 컴포넌트를 상기 현재 포즈로부터 상기 선택된 타겟 포즈로 구동하기 위한 입력 명령을 생성하도록 구성되는, 상기 하나 이상의 제어 인터페이스(들)를
포함하는, 모바일 인터페이스 장치.
제1항에 있어서, 상기 디스플레이는 상기 타겟 컴포넌트의 상기 하나 이상의 타겟 포즈(들)를 상기 사용자에게 시각적으로 표시하기 위한 정보를 제시하도록 더 구성되는, 모바일 인터페이스 장치.
제1항에 있어서, 상기 프로세서는 상기 타겟 컴포넌트를 제어하기 위한 복수의 명령 옵션들을 결정하도록 더 구성되고, 상기 디스플레이는 상기 사용자가 상기 타겟 컴포넌트를 제어하도록 상기 복수의 명령 옵션들을 디스플레이하도록 더 구성되는, 모바일 인터페이스 장치.
제1항에 있어서, 상기 프로세서는 상기 수술 로봇 시스템의 제2 컴포넌트를 식별하기 위해 상기 캡처된 라이브 이미지를 처리하도록 더 구성되고, 상기 디스플레이는 상기 제2 컴포넌트의 현재 포즈를 상기 타겟 컴포넌트의 상기 타겟 포즈들 중 하나로서 표시하기 위한 정보를 디스플레이하도록 더 구성되는, 모바일 인터페이스 장치.
제1항에 있어서, 상기 프로세서는 상기 타겟 컴포넌트를 상기 현재 포즈로부터 상기 선택된 타겟 포즈로 구동하기 위한 궤적을 결정하도록 더 구성되는, 모바일 인터페이스 장치.
제1항에 있어서, 상기 라이브 이미지 내에 캡처된 상기 수술 로봇 시스템의 복수의 표면점들의 상기 인터페이스 장치에 대한 3차원 위치를 측정하도록 구성된 하나 이상의 센서(들)를 더 포함하고, 상기 프로세서는, 상기 타겟 컴포넌트를 식별하기 위해, 상기 라이브 이미지 내에 캡처된 상기 수술 로봇 시스템의 상기 표면점들의 상기 복수의 측정된 3차원 위치들을 처리하도록 더 구성되는, 모바일 인터페이스 장치.
제1항에 있어서, 상기 카메라는 수술전 셋업 동안 상기 수술 로봇 시스템의 수술 테이블 상의 환자를 스캔하도록 구성된 3차원 카메라를 포함하고, 상기 프로세서는 상기 타겟 컴포넌트의 환자-특정 이동을 결정하기 위해 상기 환자의 스캔된 정보를 처리하도록 더 구성되는, 모바일 인터페이스 장치.
제1항에 있어서, 상기 하나 이상의 제어 인터페이스들은 상기 타겟 컴포넌트가 상기 캡처된 라이브 이미지에서 벗어날 때 상기 타겟 컴포넌트의 이동을 정지시키기 위한 제2 입력 명령을 생성하도록 더 구성되는, 모바일 인터페이스 장치.
제1항에 있어서, 상기 디스플레이는 상기 사용자가 상기 타겟 컴포넌트를 확인하게 하도록 상기 타겟 컴포넌트의 시각적 표시를 디스플레이하도록 더 구성되는, 모바일 인터페이스 장치.
제1항에 있어서, 상기 디스플레이는 터치 스크린 디스플레이이고, 상기 터치 스크린 디스플레이는 상기 사용자가 상기 캡처된 라이브 이미지 내의 상기 수술 로봇 시스템의 제2 컴포넌트의 현재 포즈를 상기 타겟 컴포넌트의 타겟 포즈로서 선택하게 하도록 구성되는, 모바일 인터페이스 장치.
수술 로봇 시스템을 제어하기 위한 방법으로서,
모바일 장치를 사용하여, 상기 수술 로봇 시스템의 일부분의 라이브 이미지를 캡처하는 단계;
상기 모바일 장치에 의해 또는 사용자에 의해, 상기 캡처된 라이브 이미지로부터 상기 수술 로봇 시스템의 타겟 컴포넌트를 식별하는 단계;
상기 모바일 장치에 의해, 상기 캡처된 라이브 이미지 및 상기 타겟 컴포넌트의 하나 이상의 타겟 포즈(들)를 디스플레이하는 단계;
상기 모바일 장치에 의해, 상기 사용자로부터 상기 디스플레이된 하나 이상의 타겟 포즈(들)로부터 선택된 타겟 포즈를 수신하는 단계; 및
상기 모바일 장치에 의해, 상기 타겟 컴포넌트를 현재 포즈로부터 상기 선택된 타겟 포즈로 구동하기 위한 입력 명령을 생성하는 단계를 포함하는, 방법.
제11항에 있어서, 상기 모바일 장치에 의해, 상기 타겟 컴포넌트의 상기 하나 이상의 타겟 포즈(들)를 디스플레이하는 단계는 상기 하나 이상의 타겟 포즈(들)에 대한 정보를 제시하는 단계를 포함하는, 방법.
제11항에 있어서,
상기 모바일 장치에 의해, 상기 타겟 컴포넌트를 제어하기 위한 복수의 명령 옵션들을 생성하는 단계; 및
상기 모바일 장치에 의해, 상기 사용자가 상기 타겟 컴포넌트를 제어하도록 상기 복수의 명령 옵션들을 디스플레이하는 단계를 더 포함하는, 방법.
제11항에 있어서,
상기 모바일 장치에 의해, 상기 캡처된 라이브 이미지로부터 상기 수술 로봇 시스템의 제2 컴포넌트를 식별하는 단계; 및
상기 모바일 장치에 의해, 상기 제2 컴포넌트의 현재 포즈를 상기 타겟 컴포넌트의 상기 타겟 포즈들 중 하나로서 표시하기 위한 정보를 디스플레이하는 단계를 더 포함하는, 방법.
제11항에 있어서,
상기 모바일 장치에 의해, 상기 타겟 컴포넌트를 상기 현재 포즈로부터 상기 선택된 타겟 포즈로 구동하기 위한 궤적을 결정하는 단계를 더 포함하는, 방법.
제11항에 있어서,
수술전 셋업 동안 상기 수술 로봇 시스템의 수술 테이블 상의 환자를 스캔하여 상기 환자의 3차원 정보를 획득하는 단계; 및
상기 타겟 컴포넌트의 환자 특정 이동을 결정하기 위해 상기 환자의 상기 3차원 정보를 처리하는 단계를 더 포함하는, 방법.
제11항에 있어서,
상기 모바일 장치에 의해, 상기 타겟 컴포넌트가 상기 캡처된 라이브 이미지에서 벗어날 때 상기 타겟 컴포넌트의 이동을 정지시키기 위한 제2 입력 명령을 생성하는 단계를 더 포함하는, 방법.
제11항에 있어서,
상기 모바일 장치에 의해, 상기 사용자가 상기 타겟 컴포넌트를 확인할 수 있도록 상기 타겟 컴포넌트의 시각적 표시를 디스플레이하는 단계를 더 포함하는, 방법.
수술 로봇 시스템으로서,
수술 테이블;
상기 수술 테이블에 결합된 복수의 로봇 아암들;
모바일 인터페이스 장치로서,
상기 수술 테이블 또는 상기 복수의 로봇 아암들의 라이브 이미지를 캡처하고;
상기 라이브 이미지로부터 상기 수술 테이블 또는 상기 복수의 로봇 아암들의 렌더링된 이미지를 디스플레이하고;
상기 수술 테이블 또는 상기 로봇 아암들 중 하나를 제어하기 위한 사용자 입력을 수신하고;
상기 사용자 입력에 응답하여 상기 수술 테이블 또는 상기 로봇 아암들 중 하나를 제어하기 위한 입력 명령을 생성하도록 구성되는, 상기 모바일 인터페이스 장치; 및
상기 모바일 인터페이스 장치, 상기 수술 테이블 및 상기 복수의 로봇 아암들에 통신가능하게 결합되는 컨트롤 타워로서,
상기 모바일 인터페이스 장치로부터 상기 입력 명령을 수신하고;
상기 입력 명령에 응답하여 상기 수술 테이블 또는 상기 로봇 아암들 중 하나를 조작하기 위한 제어 명령을 생성하도록 구성되는, 상기 컨트롤 타워를 포함하는, 수술 로봇 시스템.
제19항에 있어서, 상기 모바일 인터페이스 장치는 상기 수술 테이블 또는 상기 로봇 아암들 중 하나를 제어하기 위한 복수의 입력 명령 옵션들을 제시하도록 더 구성되는, 수술 로봇 시스템.