KR20230058115A

KR20230058115A - 수술 로봇에 의한 내시경의 제어

Info

Publication number: KR20230058115A
Application number: KR1020237010201A
Authority: KR
Inventors: 렌빈 저우; 승국 윤; 하오란 유; 엘렌 클린베일; 아포르브 슈리바스타바
Original assignee: 버브 서지컬 인크.
Priority date: 2020-08-27
Filing date: 2020-08-27
Publication date: 2023-05-02
Also published as: EP4203830A1; CN116056655A; US20220061936A1; EP4203830A4; WO2022046053A1; JP2023539864A

Abstract

내시경이 수술 로봇 시스템에 의해 제어된다. 6 자유도를 갖는 사용자 입력이 더 적은 수의 자유도를 갖는 로봇 아암에 의한 내시경의 제어에 매핑된다. 예를 들어, 테더링되지 않은 사용자 인터페이스 디바이스들은 사용자 명령으로부터 내시경 운동으로의, 그리고 로봇 아암의 조인트 운동으로의 일련의 투영들을 통해 내시경의 운동을 제어한다. 사용자 명령으로부터 내시경 운동으로의 투영은 사용자 인터페이스 디바이스들의 3개의 각도 운동들로부터 단일 각도 운동을 투영할 수 있다. 투영은 원격 운동 중심 및/또는 내시경의 샤프트에 대한 내시경의 뷰의 각도 배향을 고려할 수 있다.

Description

수술 로봇에 의한 내시경의 제어

본 실시예는 최소 침습 수술(minimally invasive surgery, MIS)을 위한 로봇 시스템에 관한 것이다. MIS는 원격 조작자로부터의 명령에 기초하여 수술 도구를 조작하기 위한 하나 이상의 로봇 조작기를 포함하는 로봇 시스템으로 수행될 수 있다. 로봇 조작기는, 예를 들어, 그의 원위 단부(distal end)에서 내시경을 포함한 다양한 수술 기구 및 디바이스를 지지할 수 있다. 로봇 시스템을 사용하여, 외과 의사는 MIS 동안 원격조작(teleoperation)에서 내시경으로 로봇 조작기를 제어한다.

로보틱스 MIS에서의 내시경은 수술 부위 뷰(view) 및 글로벌 기준을 제공한다. 원격조작 동안, 외과 의사의 손 및/또는 손목 운동은 마스터 제어 디바이스에 의해 캡처된다. 내시경 운동은 캡처된 운동을 따른다. 로봇 아암(robotic arm)은, 특히 마스터 제어 디바이스의 더 큰 자유와 비교해, 제한된 이동을 가질 수 있다. 마스터 제어 디바이스의 운동과 내시경의 운동 사이의 모호함이 발생한다.

서론으로, 아래에서 설명되는 바람직한 실시예들은 수술 로봇 시스템에 의한 내시경의 제어를 위한 방법들, 시스템들, 명령어들, 및 컴퓨터 판독 가능 매체를 포함한다. 6 자유도를 갖는 사용자 입력이 더 적은 수의 자유도를 갖는 로봇 아암에 의한 내시경의 제어에 매핑된다. 예를 들어, 테더링되지 않은(untethered) 사용자 인터페이스 디바이스들은 사용자 명령으로부터 내시경 운동으로의, 그리고 로봇 아암의 조인트 운동으로의 일련의 투영들을 통해 내시경의 운동을 제어한다. 사용자 명령으로부터 내시경 운동으로의 투영은 사용자 인터페이스 디바이스들의 3개의 각도 운동들로부터 단일 각도 운동을 투영할 수 있다. 투영은 원격 운동 중심(remote center of motion) 및/또는 내시경의 샤프트에 대한 내시경의 뷰의 각도 배향을 고려할 수 있다.

제1 태양에서, 수술 로봇 시스템에 의한 내시경의 제어를 위한 방법이 제공된다. 6 자유도를 갖는 핸드헬드 사용자 입력 디바이스에 의한 이동이 검출된다. 핸드헬드 사용자 입력 디바이스에 의한 이동은 수술 로봇 시스템의 로봇 조작기에 결합된 내시경의 이동에 매핑된다. 로봇 조작기의 하나 이상의 조인트들의 이동들이 내시경의 이동을 용이하게 하기 위해 계산된다. 하나 이상의 조인트들은 계산된 이동들에 따라 구동된다.

제2 태양에서, 수술 로봇 시스템에 의한 내시경의 제어를 위한 방법이 제공된다. 3개의 축들에 관한 입력 병진 및 회전이 감지된다. 3개의 축들에 관한 입력 회전은 로봇 아암에 장착된 내시경에 대한 단일 축에 관한 회전으로 투영된다. 로봇 아암은 감지된 입력 병진 및 단일 축에 관한 투영된 회전에 기초하여 내시경을 이동시키도록 제어된다.

제3 태양에서, 수술 로봇 시스템이 제공된다. 내시경이 로봇 조작기에 결합된다. 제어기는 하나 이상의 사용자 인터페이스 디바이스들의 변위들을 내시경의 스케일링된 변위로 전환하도록 구성된다. 전환은 사용자 인터페이스 디바이스들의 제1 회전 자유도(DoF)를 내시경의 더 적은 제2 수의 회전 DoF로 감소시킨다.

본 발명은 하기 청구항들에 의해 한정되며, 이 섹션 내의 어떤 것도 그러한 청구항들에 대한 제한으로 간주되지 않아야 한다. 하나의 청구항 유형(예를 들어, 방법)에 대한 임의의 교시 내용은 다른 청구항 유형(예를 들어, 컴퓨터 판독 가능 저장 매체 또는 시스템)에 적용 가능할 수 있다. 본 발명의 추가 태양들 및 이점들이 바람직한 실시예들과 관련하여 아래에서 논의되며, 나중에 독립적으로 또는 조합하여 청구될 수 있다.

구성요소들 및 도면들은 반드시 일정한 축척으로 작성된 것은 아니며, 대신에 본 발명의 원리를 예시하는 것에 주안점을 둔다. 더욱이, 도면들에서, 상이한 도면들 전체에 걸쳐 동일한 도면 부호들은 대응하는 부분들을 지시한다.
도 1은 일 실시예에 따른 수술 로봇 시스템을 갖는 수술실 환경의 일 실시예의 예시이다.
도 2는 예시적인 수술 로봇 아암 및 수술 도구를 예시한다.
도 3은 수술 로봇 시스템에 의한 내시경의 제어를 위한 방법의 일 실시예의 흐름도이다.
도 4는 사용자 인터페이스의 6 운동 자유도와, 원격조작 동안의 로봇 조작기에 의한 내시경의 4 이동 자유도 사이의 예시적인 관계를 예시한다.
도 5는 사용자 입력 운동을 로봇 조작기의 조인트 운동에 매핑하기 위한 예시적인 투영 시퀀스를 예시한다.
도 6은 비스듬한 시야를 갖는 예시적인 내시경을 예시한다.
도 7은 스케일링된 병진 운동을 갖는 예시적인 내시경을 예시한다.
도 8은 수술 로봇 시스템의 일 실시예의 블록도이다.

내시경 제어가 로보틱스 MIS에서 제공된다. 하나 이상의 UID는 6 자유도를 갖고, 로봇 아암은 MIS 동안 더 적은(예를 들어, 4개의) 조인트 및 대응하는 자유도를 갖는다. 하나 이상의 사용자 인터페이스 디바이스(UID)의 운동 공간은 로봇 아암의 아암 운동 공간과 맞지 않으며, 따라서 사용자 디바이스 운동이 내시경 운동 공간에 투영된다. 사용자 운동 명령들(UMC)이 UID 운동들로부터 생성된다. UMC들은 내시경 운동 명령들(EMC)에 매핑된다. 투영은, 각도 운동 명령을 투영하지만 어떠한 투영도 없이 선형 운동 명령들을 통과시켜, 투영된 UMC를 야기함으로써 달성된다. EMC들은 아암 조인트 운동 명령들(JMC)에 매핑된다.

추가 실시예들에서, 내시경 운동은 MIS 동안 로봇 아암의 기계적 또는 가상의 원격 운동 중심(RCM)에 의해 제약된다. UMC들은 추가로 RCM 운동 공간에 투영되어, EMC들이 RCM에 의해 제약되는 결과를 가져온다. EMC는 역운동학을 통해 아암 JMC에 매핑된다. 게다가, 내시경 단부가 RCM에 가까울 때 빠른 아암 운동을 회피하기 위해, 동적 스케일링 기술이 사용된다.

도 1 및 도 2는 예시적인 수술 로봇 시스템을 도시한다. 내시경 제어에 대한 접근법들이 이러한 예시적인 시스템을 참조하여 아래에서 논의된다. 다른 수술 로봇 시스템들 및 수술 로봇들, 또는 비수술 로봇 시스템들 및 로봇들이 그 접근법들을 사용할 수 있다.

도 3 내지 도 7은 로봇 아암의 자유도에 대한 UID들의 자유도에 있어서의 감소를 포함한, 내시경 제어에 관한 것이다. 도 8은 제한된 자유도를 갖는 내시경 또는 유사한 도구의 로봇 제어를 위한 시스템에 관한 것이다.

도 1은 사용자로부터의 명령들이 자유도의 수를 감소시키기 위한 투영, RCM의 어카운트, 및/또는 스케일링을 이용하여 수술 로봇 조작기들(122)의 운동으로 변환되는, 수술 로봇 시스템(100)을 갖는 예시적인 수술실 환경을 예시하는 도면이다. 수술 로봇 시스템(100)은 사용자 콘솔(110), 컨트롤 타워(130), 및 수술 플랫폼(124)(예컨대, 테이블 또는 베드(bed) 등) 상에 장착된 하나 이상의 수술 로봇 조작기들(아암들)(122)을 갖는 수술 로봇(120)을 포함하며, 여기서 엔드 이펙터(end effector)들을 갖는 수술 도구들이 수술적 시술(surgical procedure)을 실행하기 위해 로봇 조작기들(122)의 원위 단부들에 부착된다. 컨트롤 타워(130)를 콘솔(110) 또는 수술 로봇(120)과 조합하는 것과 같이, 추가적인, 상이한, 또는 더 적은 구성요소들이 제공될 수 있다. 로봇 조작기들(122)은 테이블-장착형으로서 도시되지만, 다른 구성들에서, 로봇 조작기들(122)은 카트(cart), 천장, 측벽, 또는 다른 적합한 지지 표면들에 장착될 수 있다.

일반적으로, 외과 의사 또는 다른 조작자와 같은 사용자가 로봇 조작기(122) 및/또는 수술 기구를 원격으로 조작하기 위해 사용자 콘솔(110)에 착석할 수 있다(예컨대, 원격조작). 사용자 콘솔(110)은, 도 1에 도시된 바와 같이, 로봇 시스템(100)과 동일한 수술실 내에 위치될 수 있다. 다른 환경에서, 사용자 콘솔(110)은 인접한 또는 부근의 방에 위치되거나, 상이한 건물, 도시, 또는 국가의 원격 위치로부터 원격-조작될 수 있다. 사용자 콘솔(110)은 좌석(112), 페달(114), 하나 이상의 핸드헬드(handheld) 사용자 인터페이스 디바이스(UID)(116), 및 예를 들어, 환자 내부의 수술 부위의 뷰 및 그래픽 사용자 인터페이스를 디스플레이하도록 구성된 개방형 디스플레이(118)를 포함할 수 있다. 예시적인 사용자 콘솔(110)에 도시된 바와 같이, 좌석(112)에 앉아 개방형 디스플레이(118)를 보고 있는 외과 의사가 로봇 아암(122) 및/또는 아암(122)의 원위 단부에 장착된 수술 기구를 원격으로 그리고 직접적으로 제어하기 위해 페달(114) 및/또는 핸드헬드 UID(116)를 조작할 수 있다. 사용자는 수술 조작기(122) 및/또는 엔드 이펙터의 이동을 위한 명령을 입력한다. 이러한 사용자 제어는 로봇 조작기(122)의 위치, 이동 속도, 및 이동 속도에 있어서의 변화를 결정한다. 속도 및 속도에 있어서의 변화는 로봇 조작기(122)에 의해 제공될 것으로 예상되는 동적 토크를 야기한다. 좌석(112)에 앉아 있는 외과 의사는 수술 시에 로봇 조작기(122) 및/또는 수술 기구(예를 들어, 내시경)의 원격조작에서의 이동을 위한 명령을 입력하기 위해 디스플레이(118)를 보고 그와 상호작용할 수 있다.

몇몇 변형에서, 사용자는 또한 수술 로봇 시스템(100)을 "베드 위"(OTB) 모드로 동작시킬 수 있으며, 이 모드에서 사용자는 환자의 측에 있고 로봇-구동식 도구/그에 부착된 엔드 이펙터(예컨대, 한 손에 쥐어진 핸드헬드 UID(116)로)와 수동 복강경 도구를 동시에 조작하고 있다. 예를 들어, 사용자의 왼손은 로봇 수술 구성요소를 제어하기 위해 핸드헬드 UID(116)를 조작하고 있을 수 있는 반면, 사용자의 오른손은 수동 복강경 도구를 조작하고 있을 수 있다. 이에 따라, 이러한 변형에서, 사용자는 환자에 대해 로봇-보조 MIS 및 수동 복강경 수술 둘 모두를 수행할 수 있다.

예시적인 시술 또는 수술 동안, 환자는 마취를 달성하기 위해 멸균 방식으로 수술 준비되고 드레이핑(draping)된다. 수술 부위에 대한 초기 접근은 수술 부위에 대한 접근을 용이하게 하기 위해 로봇 시스템(100)이 격납된 구성(stowed configuration) 또는 후퇴된 구성(withdrawn configuration)에 있는 상태에서 수동으로 수행될 수 있다. 일단 접근이 완료되면, 로봇 시스템의 초기 위치설정 및/또는 준비가 수행될 수 있다. 시술 동안, 사용자 콘솔(110)에 있는 외과 의사는 페달(114) 및/또는 UID(116)를 이용하여 다양한 엔드 이펙터 및/또는 이미징 시스템을 조작하여서 원격조작을 이용해 수술을 수행할 수 있다. 이동은 외과 의사, 환자, 및/또는 상황에 특유할 수 있으며, 따라서 달라질 수 있다. 조직을 견인하는 것 또는 하나 이상의 로봇 조작기들(122)이 관련된 수동 재위치설정 또는 도구 교환을 수행하는 것을 포함하지만 이로 제한되지 않는 작업을 수행할 수 있는, 멸균-가운 착용 요원에 의해 시술 테이블에서 수동 보조가 또한 제공될 수 있다. 견인, 봉합, 또는 다른 조직 조작과 같은, 몇몇 수술 작업은 대신에 하나 이상의 로봇 조작기(122)(예를 들어, 제3 또는 제4 아암)에 의해 수행될 수 있다. 사용자 콘솔(110)에 있는 외과 의사를 보조하기 위해 비-멸균 요원이 또한 존재할 수 있다. 시술 또는 수술이 완료될 때, 로봇 시스템(100) 및/또는 사용자 콘솔(110)은 로봇 시스템(100) 세정 및/또는 멸균, 및/또는 예컨대 사용자 콘솔(110)을 통한, 건강관리 기록 입력 또는, 전자 카피이든지 또는 하드 카피이든지 간에, 출력을 포함하지만 이로 제한되지 않는, 하나 이상의 수술후 절차를 용이하게 하는 상태로 구성되거나 설정될 수 있다.

몇몇 태양에서, 수술 로봇(120)과 사용자 콘솔(110) 사이의 통신은 컨트롤 타워(130)를 통해 이루어질 수 있으며, 컨트롤 타워는 사용자 콘솔(110)로부터의 사용자 입력 명령을 로봇 제어 명령으로 전환하고 제어 명령을 수술 로봇(120)으로 송신할 수 있다. 컨트롤 타워(130) 및/또는 사용자 콘솔(110)은 투영 및/또는 역운동학을 수행한다. 컨트롤 타워(130)는 또한 로봇(120)으로부터 다시 사용자 콘솔(110)로 상태 및 피드백을 송신할 수 있다. 수술 로봇(120), 사용자 콘솔(110), 및 컨트롤 타워(130) 사이의 연결은 유선 및/또는 무선 연결을 통해 이루어질 수 있고, 독점적인 것이고/이거나 다양한 데이터 통신 프로토콜 중 임의의 것을 사용하여 수행될 수 있다. 임의의 유선 접속이 선택적으로 수술실의 바닥 및/또는 벽 또는 천장에 구축될 수 있다. 수술 로봇 시스템(100)은 수술실 내의 디스플레이뿐만 아니라 인터넷 또는 다른 네트워크를 통해 액세스 가능한 원격 디스플레이를 포함한 하나 이상의 디스플레이에 비디오 출력을 제공할 수 있다. 비디오 출력 또는 피드(feed)는 또한 프라이버시를 보장하기 위해 암호화될 수 있고, 비디오 출력의 전부 또는 부분이 서버 또는 전자 건강관리 기록 시스템에 저장될 수 있다.

수술 로봇 시스템을 이용한 수술을 개시하기 전에, 수술 팀은 수술전 셋업을 수행할 수 있다. 수술전 셋업 동안, 수술 로봇 시스템의 주요 구성요소(예를 들어, 테이블(124) 및 로봇 아암(122), 컨트롤 타워(130), 및 사용자 콘솔(110))가 수술실 내에 위치되고, 연결되고, 전력을 공급받는다. 테이블(124) 및 로봇 아암(122)은 보관 및/또는 운반 목적을 위해 아암(122)이 테이블(124) 아래에 있는 완전-격납된 구성에 있을 수 있다. 수술 팀은 멸균 드레이핑을 위해 아암들(122)을 그들의 격납된 위치로부터 연장시킬 수 있다. 드레이핑 후에, 아암들(122)은 사용을 위해 필요할 때까지 부분적으로 후퇴될 수 있다. 캐뉼러 배치 및 취입을 포함한 다수의 종래의 복강경 단계들이 수행될 필요가 있을 수 있다. 예를 들어, 각각의 슬리브(sleeve)가 폐색구의 도움으로, 작은 절개부 내로 그리고 체벽을 통해 삽입될 수 있다. 슬리브 및 폐색구는 배치 동안의 손상의 위험을 최소화하기 위해 삽입 동안 조직 층의 시각화를 위한 광학적 진입을 허용한다. 전형적으로 다른 캐뉼러의 배치를 위한 핸드-헬드 카메라 시각화를 제공하기 위해 내시경이 맨 먼저 배치된다. 취입 후에, 요구되는 경우, 손으로 임의의 복강경 단계를 수행하기 위해 수동 기구가 슬리브를 통해 삽입될 수 있다.

다음에, 수술 팀은 로봇 아암(122)을 환자 위에 위치시키고 각각의 아암(122)을 대응하는 슬리브(예를 들어, 캐뉼러)에 부착할 수 있다. 수술 로봇 시스템(100)은 부착 시에 각각의 도구(내시경 및 수술 기구)를 고유하게 식별하고, 사용자 콘솔(110)에 있는 개방형 또는 몰입형 디스플레이(118) 및 컨트롤 타워(130) 상의 터치스크린 디스플레이 상에 도구 유형 및 아암 위치를 디스플레이하는 능력을 갖는다. 대응하는 도구 기능이 인에이블되고 마스터 UID(116) 및 풋 페달(114)을 사용하여 활성화될 수 있다. 환자측 보조원은 시술 전체에 걸쳐, 요구되는 바에 따라, 도구를 부착하고 분리할 수 있다. 사용자 콘솔(110)에 착석한 외과 의사는 하나 이상의(예를 들어, 2개의) 마스터 UID(116) 및 하나 이상의 풋 페달(114)에 의해 제어되는 도구를 사용하여 원격조작으로서 수술을 수행하기 시작할 수 있다. 시스템은 외과 의사의 손, 손목 및 손가락 이동을 마스터 UID(116)를 통해 수술 도구의 정밀한 실시간 이동으로 전환한다. 그에 따라, 직접 원격조작에서, 시스템은 외과 의사의 모든 수술 조작을 끊임없이 모니터링하고, 시스템이 외과 의사의 손 운동을 정확하게 반영할 수 없는 경우 기구 이동을 정지시킨다. 내시경이 수술 동안 하나의 아암으로부터 다른 것으로 이동되는 경우에, 시스템은 기구 정렬을 위해 마스터 UID(116)를 조정하고 기구 제어 및 운동을 계속할 수 있다. 풋 페달(114)은, 외과 의사의 손이 마스터 UID(116)로부터 제거되는 것을 수반함이 없이, 내시경 제어와 단극 및 양극 소작을 포함한 다양한 기구 기능과 같은, 다양한 시스템 모드를 활성화하는 데 사용될 수 있다.

도 2는 본 기술의 태양에 따른, 로봇 조작기(122), 도구 구동장치(210), 및 로봇 수술 도구(예를 들어, 내시경(220))가 로딩된 커넥터의 하나의 예시적인 설계를 예시하는 개략도이다. 도 2에 도시된 바와 같이, 예시적인 수술 로봇 조작기(122)는 복수의 링크(예를 들어, 링크(202)), 및 복수의 링크를 서로에 대해 작동시키기 위한 복수의 작동식 조인트 모듈(예를 들어, 조인트(204), 또한 조인트(J1 내지 J8) 참조)을 포함할 수 있다. 조인트 모듈들은 다른 것들에 대한 소정 축들을 중심으로 한 인접한 링크들의 이동을 실질적으로 제약할 수 있는, 피치 조인트(pitch joint) 또는 롤 조인트(roll joint)와 같은, 다양한 유형들을 포함할 수 있다. 로봇 아암(122)의 원위 단부에 부착된 도구 구동장치(210)가 또한 도 2의 예시적인 설계에 도시되어 있다. 도구 구동장치(210)는 수술 기구(예를 들어, 내시경(220)) 또는 엔드 이펙터(222)를 수용하고 안내하기 위해 그의 단부에 결합된 캐뉼러(214)를 포함할 수 있다. 수술 기구(또는 "도구")는 내시경(220)이며, 도구의 원위 단부에서 엔드 이펙터(222)를 포함할 수 있다. 로봇 조작기(122)의 복수의 조인트 모듈들은 로봇 수술들을 위해 엔드 이펙터(222)를 작동시키거나 이동시키는 도구 구동장치(210)를 위치설정 및 배향시키도록 작동될 수 있다. 엔드 이펙터(222)는, 예를 들어 샤프트 상의 내시경의 렌즈인, 도구 샤프트 단부에 있다.

도 2의 예에서, 조인트(J0)는 테이블 피벗 조인트이고 수술 테이블 상판 아래에 존재한다. 조인트(J0)는 명목상 수술 동안 제 위치에 유지된다. 조인트(J1 내지 J5)는 셋업 또는 데카르트 아암(Cartesian arm)을 형성하고 명목상 수술 동안 제 위치에 유지되며, 따라서 수술 원격조작 동안 운동에 기여하지 않는다. 조인트(J6 및 J7)는 수술 또는 원격조작 동안 능동적으로 이동할 수 있는 구면 아암을 형성한다. 조인트(J8)는 도구 구동기의 일부로서, 엔드 이펙터(222)와 같은, 도구(220)를 병진시킨다. 조인트(J8)는 수술 동안 능동적으로 이동하여, 엔드 이펙터를 샤프트의 축을 따라 병진시킬 수 있다. 조인트(J6 내지 J8)는 환자의 피부 상의 응력을 회피하기 위해 고정된 또는 안정된 위치(즉, RCM)에서 환자 내로의 진입 지점을 유지하면서 수술 동안 도구 샤프트 단부(즉, 엔드 이펙터(222))를 능동적으로 위치시킨다. 셋업 동안, 조인트(J0 내지 J8) 중 임의의 것이 이동할 수 있다. 수술 동안, 조인트(J6 내지 J8)는 위치, 속도, 가속도, 및/또는 토크에 대한 하드웨어 또는 안전 한계들을 조건으로 이동할 수 있다. 내시경(220)과 같은 수술 도구는 종방향 샤프트 또는 다른 축을 중심으로 회전될 수 있으며, 이러한 회전은 내시경의 유일한 자유도일 수 있다. 조인트들(J6 내지 J8)로부터의 3 자유도 및 내시경(220)으로부터의 1 자유도(즉, 조인트들(J6 내지 J8)로부터의 3 및 내시경의 회전으로부터의 1을 갖는 4 자유도)와 같은, 임의의 수의 자유도가 제공될 수 있다.

도 3은 수술 로봇 시스템(100)에 의한 내시경(220)의 제어를 위한 방법의 일 실시예의 흐름도이다. UID들(116)의 이동은 외과 의사 운동을 조인트 운동으로 투영하는 것의 일부로서 더 적은 수의 각도 운동에 매핑된다.

도 3의 방법은 컨트롤 타워(130), 컴퓨터, 워크스테이션, 서버, 또는 다른 프로세서와 같은, 제어 프로세서에 의해 구현된다. 수술 로봇 시스템(100)의 임의의 컴퓨터가 사용될 수 있다. 사용자 인터페이스가 액트(act)(300)에서 수신된 사용자로부터의 이동 명령을 제공한다. 액트(310)에서 제어 프로세서(예를 들어, 제어기)는 UID 이동들을 로봇 조작기 이동에 매핑한다. 액트(320)에서 로봇 아암(122) 및/또는 내시경(220)은 제어 프로세서로부터의 명령어 또는 제어를 사용하여 이동된다. 액트들 중 임의의 것에서 다른 디바이스들이 수행하고/하거나 사용될 수 있다.

액트들은 도시된 순서 또는 다른 순서로 수행된다. 예를 들어, 액트(300)는 다른 액트들 중 임의의 것 후에 수행된다. 다른 예로서, 액트(320)는, 예를 들어 진행 중인 원격조작에서, 액트들 중 임의의 것 전에 또는 후에 수행된다.

추가적인, 상이한, 또는 더 적은 액트들이 사용될 수 있다. 예를 들어, 액트들(311 내지 315)의 투영들 또는 스케일링 중 임의의 것이 단독으로, 또는 액트들 전부보다 적은 액트와 조합하여 수행된다. 다른 예에서, 환자 내에 내시경(220)을 처음에 위치시키기 위한 액트, 수술을 계획하기 위한 액트, 및/또는 환자로부터 내시경(220)을 제거하기 위한 액트가 제공될 수 있다.

액트(300)에서, 센서가 하나 이상의 UID(116)의 입력 이동을 검출한다. 자기 위치 감지, 광학 감지, 전기장 감지, 또는 다른 감지가 사용자에 의한 이동과 같은, UID들(116)의 이동을 무선으로 검출하기 위해 수행된다. UID들(116) 상의 또는 내의 자이로스코프들, 가속도계들, 및/또는 다른 센서들이 UID들(116)의 입력 이동을 검출할 수 있다(예를 들어, UID들(116)의 배향 및/또는 병진을 감지함).

UID들(116)은, 버튼들, 노브들, 및/또는 조이스틱들을 갖거나 갖지 않는 임의의 형상의 객체들인 것과 같이, 핸드헬드이다. UID들(116)은, 다른 디바이스들에 물리적으로 연결되지 않는 것과 같이(즉, 기계적 링크장치 없음 그리고 케이블 없음), 테더링되지 않는다. 다른 실시예들에서, 통신을 위한 케이블이 제공된다. 사용자가 UID들(116)을 병진시키고/시키거나 회전시킬 때, 이러한 운동 또는 로케이션 및/또는 배향에 있어서의 변화(즉, 포즈 또는 위치에 있어서의 변화)가 센서에 의해 검출되어, 베이스 기준 프레임(즉, 원격에 위치된 센서에 대한 UID(116))을 제공한다.

UID들(116)은 핸드헬드이기 때문에, UID들(116)은 각각 6 자유도를 갖는다. 직교 공간 축들(x, y, z)을 따른 3 병진 자유도, 및 롤(roll), 피치(pitch), 및 요(yaw)를 제공하는, 3개의 공간 축에 관한 3 회전 자유도. 이러한 3개의 축에 관한 병진 및/또는 회전은 감지되어, 포즈 또는 위치를 제공한다. 하나의 또는 둘 모두의 UID는 조작자에 의해 그의 손에 쥐어진 동안에 그리고 다른 디바이스들에 물리적으로 연결되지 않은 동안에 감지된다.

위치 또는 위치에 있어서의 변화(예를 들어, 선형 및 회전 운동)가 감지된다. 감지는, 0.1초마다와 같이, 임의의 빈도로 샘플링한다. 위치 또는 위치에 있어서의 변화는 하나의 또는 둘 모두의 UID(116)에 대해 샘플링된다.

액트(310)에서, 제어기는 내시경(220)의 이동을 용이하게 하기 위해 로봇 조작기의 하나 이상의 조인트의 이동을 계산한다. 제어기는 핸드헬드 사용자 입력 디바이스(예를 들어, UID(116))에 의한 이동을, 수술 로봇 시스템(100)의 로봇 조작기(122)에 의해 유지되는 내시경(220)의 이동에 매핑한다. 매핑은 내시경(220)으로 하여금 이동하게 하기 위해 UID 또는 UID들(116)의 이동을 조인트 운동에 관련시킨다.

도 3은 매핑하기 위한 계산에 관련된 5개의 액트(311 내지 315)를 도시한다. 추가적인, 상이한, 또는 더 적은 액트들이 사용될 수 있다. 예를 들어, 액트(314)가 제공되지 않는다. 다른 예로서, 액트(312)는 액트(311)의 투영과 같은, 액트들 중 다른 것과 조합되거나 다른 것의 일부일 수 있는 매핑의 태양이다. 임의의 주어진 투영은 사용자 명령들을 아암 운동으로, 아암 운동을 RCM 프레임으로, 그리고 이어서 RCM 프레임을 내시경(220)의 운동으로 전환하는 것을 포함하는 액트(313)의 투영과 같은, 다수의 액트로 세분될 수 있다. 감지된 UID 운동으로부터 조인트들의 운동으로 전환하는 다른 매핑이 사용될 수 있다.

도 5는 액트들(311 내지 315)의 시퀀스를 표현한다. 이러한 표현은 액트(300)의 감지로부터 로봇 아암(122)의 조인트들(예를 들어, J6 내지 J8)의 이동으로 매핑하기 위한 흐름도 및/또는 소프트웨어 모듈들이다.

액트(311)에서, 제어기는 감지로부터 내시경에 대한 사용자 운동 명령으로 투영한다. UID들(116)의 운동 또는 위치는 사용자 명령들로 전환된다. UID들(116)을 통해 사용자에 의해 입력된 변경은 감지된 운동 및/또는 위치로부터 해석된다.

하나의 UID(116)는 내시경의 운동 또는 위치를 제어하는 데 사용될 수 있다. 대안적으로, 2개의 UID(116)의 조합이 내시경의 운동 또는 위치를 제어하는 데 사용된다. 예를 들어, 둘 모두의 UID들(116)의 협응된 이동(coordinated movement)은 6 자유도에서 사용자 입력 운동을 도출하기 위해 예를 들어 상대적 운동을 사용하여 운동을 제어한다. 2개의 핸드헬드 사용자 인터페이스 객체의 위치 및/또는 배향에 있어서의 변화가 검출되며, 여기서 2개의 핸드헬드 사용자 인터페이스 객체 사이의 가상 중심점에서의 이동은 내시경을 제어하기 위한 입력된 이동으로서 사용된다. 사용자는 각각의 손(왼손 및 오른손)에 UID(116)를 쥐며(도 1 참조), 여기서 둘 모두의 UID들(116)의 운동은 외과 의사에 의해 입력되는 협응된 운동을 결정하기 위해 감지된다. UID들(116) 사이의 중심점에서의 6 자유도에 대응하는 3개의 축에 관한 사용자 병진 및 회전이 검출된다.

원격조작을 위한 준비 시에, 사용자는 외과 의사 콘솔(110)에 앉는다. 원격조작을 위한 로봇 조작기(122)의 위치설정 후에, 하나 이상의 조인트가 환자 피부 또는 절개부 진입 지점에 있는 RCM을 갖고서 제 위치에 로킹된다. 예를 들어, 조인트들(J0 내지 J5)(도 2 참조)이 로킹된다. 로킹은 브레이크에 의해, 그리고/또는 조인트들을 위한 모터들에 동력공급하는 것을 회피하는 것에 의한다. 이러한 조인트들은 원격조작 동안 로킹된 상태로 유지된다. 조인트들(J0 내지 J5) 중 임의의 것은 고정 해제되고 이동되어 RCM을 변경할 수 있다.

원격조작 동안, 사용자는 로봇 조작기(122) 및/또는 내시경(220)을 이동시키는 명령을 입력한다. 명령은 운동을 위한 것이다. 상이한 이동들에 대해 상이한 명령들이 제공될 수 있다. 명령들은 엔드 이펙터(222)의 이동을 위한 것일 수 있다. 이러한 명령들은 특정 조인트들의 이동을 위한 것이 아닐 수 있다. 제어 프로세서는 이동 명령을 로봇 조작기(122) 및/또는 수술 도구(220)의 특정 조인트의 제어로 변환한다.

제어 프로세서는 환자에 대한 원격조작 전에 또는 동안에 로봇 조작기(122) 또는 로봇 조작기(122)의 내시경(220)을 이동시키는 사용자 명령을 수신한다. 사용자 입력은, 제어 프로세서에 의한 무선 또는 유선 인터페이스를 통해, UID(116)와 같은, 사용자 콘솔(110)로부터 수신된다. 다른 실시예에서, 사용자 명령은 메모리로부터의 로딩 또는 컴퓨터 네트워크를 통한 송신에 의해 수신된다.

일 실시예에서, 사용자 명령들은 기준 프레임 또는 좌표계에 기초하여 생성된다. 원격조작에 들어가자마자, 둘 모두의 UID들(116)의 로케이션(x, y, z)은 기준 프레임을 생성하는 데 사용된다. 2개의 UID(116) 사이의 중심점이 결정된다. 이러한 중심점은 다음과 같이 표현된다:

중심점은 원점으로서 사용되며, 이때 베이스 프레임의 축들은 이 중심점에 관해 할당된다.

이 중심점에 관한 기준 프레임은 정적으로 또는 동적으로 확립될 수 있다. 기준 프레임을 정적으로 생성하기 위해, 2개의 UID 위치 사이의 중심점이 원점으로서 사용되고, 기준 프레임의 축들(x, y, z)은 UID들(116)의 베이스 프레임과 동일하다. UID들(116)의 센서의 x, y, z 축들이 사용된다.

기준 프레임을 동적으로 생성하기 위해, 중심점이 원점으로서 사용되지만, y-축은 우측 UID 로케이션으로부터 좌측 UID 로케이션의 것으로, 또는 그 반대로 정의된다. y-축은 UID들(116)의 상대적 로케이션들에 의해 주어진다. x-축은 y-축에 수직이고 베이스 프레임을 향하고 있다(즉, 중심점으로부터 센서 또는 베이스의 원점으로). z-축은 x 및 y-축과 함께 오른손 좌표계를 형성한다. 사용자에 의한 원점 및 방향들의 얼마간의 제어를 허용하는, 이러한 동적 생성은 다음과 같이 표현될 수 있다:

기준 좌표계의 정적 및 동적 생성 둘 모두에서, UID 로케이션의 무작위 잡음을 감소시키기 위해 다중 로케이션 샘플 평균이 사용될 수 있다. 기준 프레임은 원격조작에 처음 들어갈 때 한 번 생성되고, 사용자가 원격조작을 종료할 때까지 동일하게 유지된다.

운동을 검출하기 위해, 센서는 상이한 샘플 시간들에서 UID들의 위치(선형 및 각도 포즈)를 검출한다. 기준 프레임에 대한 또는 기준 프레임에서의 2개의 연속적인 UID 중심점 위치가 사용자 운동 명령(UMC)으로서 사용된다. 기준 축들에 대한 위치에 있어서의 변화(예를 들어, 3개의 기준 축에 관한 병진 및/또는 회전)가 검출된다. 6 자유도를 갖는 위치 또는 운동 벡터에 있어서의 이러한 변화는 다음과 같이 표현된다:

3개 이하의 공간 축을 따른 중심점 병진 및 3개의 공간 축을 중심으로 한 회전이 검출되어, 병진 및 회전에 있어서의 사용자 운동 명령 벡터를 제공한다. 예를 들어, 사용자는 내시경을 회전시키면서 내시경을 이동시키는 것을 제공하기 위해 그의 손목을 아래로 구부리면서 병진을 위해 그의 손을 전방으로 이동시킨다. 모든 3개의 축에 관한 중심점의 병진들 및/또는 회전들이 검출될 수 있다.

액트(312)에서, 제어기는 3개의 축에 관한 입력 회전을 로봇 아암에 장착된 내시경에 대한 단일 축에 관한 회전으로 투영한다. UID들(116)의 자유도(예를 들어, 3 선형 병진 및 3 회전을 포함하는 6 자유도)는 로봇 조작기(122)의 자유도와 매칭되도록 감소된다. 도 4의 예에서, 6 자유도는 조인트들(J6 내지 J8) 및 내시경(220)의 회전에 의해 제공되는 아암의 4 자유도로 감소된다. 다른 예들에서, 감소는 6으로부터 5로, 또는 6으로부터 3으로이다.

이 실시예에서의 투영은, 3 자유도에서 1 자유도로와 같은, 회전에 대한 자유도에 있어서의 감소를 제공한다. 다른 실시예들에서, 감소의 일부 또는 전부는 병진 자유도에서의 감소이다.

도 3 및 도 5는 사용자 명령들로의 투영의 일부로서의 또는 그 후의, 그리고/또는 사용자 명령들로부터 내시경 명령들로의 투영 전의 거절을 도시한다. 감소는 사용자 명령 공간에서 발생한다. 다른 실시예들에서, 감소는 매핑의 다른 공간들 또는 부분들에서, 예를 들어 액트(311)의 검출 공간에서, (예를 들어, 액트(313) 후에) 내시경 명령 공간에서, (예를 들어, 액트(314) 후에) 스케일링된 공간에서, 또는 (예를 들어, 액트(315) 후에) 조인트 명령 공간에서 발생한다.

도 5의 예들에서, 사용자 명령들의 롤, 피치, 및 요는 다른 회전들(예를 들어, 요 및 피치) 없이 하나의 회전(예를 들어, 롤)을 제공하도록 투영된다. 이러한 배향 투영은 감지된 요 및 피치를 폐기하거나, 제거하거나, 사용하지 않는다. 대안적으로, 3 자유도에서의 회전들은 하나의 축을 중심으로 한 단일 회전으로 변경된다. 회전 벡터를 더 적은(예를 들어, 단일의) 수의 회전에 관련시키는 임의의 함수가 사용될 수 있다. 배향에 있어서의 투영은 회전 R 또는 회전 벡터

을 제공한다. 도 4의 예에서, 회전 R은 샤프트를 중심으로 한 또는 아암 공간에서의 내시경의 회전에 대한 것이다.

선형 병진들은 투영되지 않거나 변경되지 않은 것으로서 투영된다. 액트(313)에서 내시경 명령들을 생성하기 위해 선형 병진들 xyz가 통과된다. 액트(313)에서 내시경 명령들을 생성하기 위해, 롤 또는 회전 R과 같은, 투영된 배향이 통과된다.

일 실시예에서, 사용자 운동 명령들의 배향은 기준 프레임에서 롤 공간에만 투영된다. 요 및 피치는 0으로 설정된다. 투영은 롤을 사용하고, 액트(311)의 사용자 명령들의 감지 및 생성에서 확립된 기준 프레임에서의 요 및 피치를 사용하지 않는다. 액트(312)의 배향 투영은 다음과 같이 표현될 수 있다:

식 5는 피치 및 요를 폐기하는 것에 의한 단일 오일러각(Euler angle) R_u로의 변환, 및 다시 기준 프레임으로의 역변환을 나타낸다. 역은 요 및 피치에 대한 0과 함께 롤을 갖는다. 투영은 단지 기준 프레임이 유지되어야 하는 피치 및 요를 제거할 수 있고, 기준 프레임의 축을 중심으로 한 단일 회전이 사용된다.

내시경(220)은 내시경(220)의 종방향 축 또는 샤프트를 따라 중심 설정된 뷰 방향(view direction)을 가질 수 있다. 다른 실시예들에서, 뷰 방향은 샤프트로부터 0이 아닌 각도로 오프셋된다. 도 6은 각도에 있어서 30도 오프셋을 갖는 예를 도시하지만, 더 작은 또는 더 큰 각도 오프셋들이 사용될 수 있다. 액트(312)의 배향 투영에서 유지되는 롤 또는 회전은 내시경(220)의 뷰어(viewer)의 0이 아닌 각도에 기초하는 로봇 조작기의 원격 운동 중심으로부터 제어점으로의 축에 관한 것이다. 회전(롤) 축은 RCM을 통과하는 선 및 내시경 뷰 축 상의 사용자 정의 지점(예를 들어, 이미지 중심)에 의해 정의된다. 이 지점은 제어점으로서의 역할을 하며, 따라서 사용자가 내시경을 회전시킬 때, 이미지 중심점은 정지 상태로 유지된다. 사용자는 스크린 상에 뷰에 대한 명령들을 입력하고 있으며, 따라서 회전은 그 뷰의 회전이다. 각도 운동은 내시경(220)의 뷰어의 0이 아닌 각도에 기초하는 로봇 조작기(122)의 원격 운동 중심으로부터 제어점으로의 축에 관해 매핑된다.

액트(313)에서, 제어기는 사용자 운동 명령들을 내시경 명령들로 투영한다. 사용자 운동 명령들은 내시경(220)을 제어하기 위한 것이다. 투영은 내시경(220)의 엔드 이펙터 ee 또는 팁의 운동을 나타낸다.

로봇 조작기(122)는 내시경(220)을 이동시키고 원격 운동 중심에 의해 제약되기 때문에, 내시경 명령 공간으로의 투영은 원격 운동 중심을 고려한다. 내시경(220)의 엔드 이펙터는 원격 운동 중심에 의해 제약되는 방식으로 이동된다. 내시경 명령 공간으로의 투영은 내시경(220)의 샤프트를 따른 위치가 정지 상태로 유지되어야 하는 내시경(220)의 운동에 대한 것이다.

내시경 명령 공간으로의 투영은 내시경(220)에 대한 사용자 운동 명령들을 로봇 조작기(122)의 원격 운동 중심 프레임으로 변환하거나 전환한다. 하나의 접근법에서, 투영은 로봇 조작기(122)의 기준 프레임에서의 운동을 정의한다. 운동은 원격 운동 중심 프레임으로 변환된다. 이러한 변환은 3 미만의 자유도를 갖는 회전(예컨대, 액트(312)의 배향 투영으로부터의 단일 축에 관한 회전)이 3개의 축에 관한 회전이 되게 한다. 원격 운동 중심이 정지해 있기 때문에, 사용자 명령들의 내시경(220)의 선형 병진 및 회전은 엔드 이펙터로 하여금 6 자유도에서 병진 및 회전하게 할 수 있다. 원격 운동 중심에 의해 제약되는 내시경 명령 공간으로의 투영은 3개의 축을 중심으로 한 회전을 제공한다. 이어서 원격 운동 중심 프레임에서의 운동은 원격 운동 중심 프레임으로부터의 추가된 회전과 함께 원격 운동 중심 프레임으로부터 아암 프레임으로 다시 변환된다.

요 및 피치 성분들은 포함된다. 일 실시예에서, 요 및 피치는 사용자 명령 공간으로부터 제거된다. 요 및 피치는 내시경 명령 공간에서 다시 추가되지만, 액트(311)의 사용자 명령 투영에서 확립된 기준 프레임 대신에 원격 운동 중심에 대한 것이다.

투영들은 핸드헬드 사용자 입력 디바이스(예를 들어, UID(116))에 의한 이동을 로봇 조작기(122)의 원격 운동 중심 기준 프레임에 투영하는 것을 제공한다. 위에서 논의된 액트들(311 내지 313)의 그리고/또는 액트(313)의 투영들의 시퀀스 또는 상이한 투영 또는 투영 시퀀스가 UID들(116)의 검출된 이동을 원격 운동 중심에 의해 제약되는 내시경 운동으로 변환하는 데 사용될 수 있다.

일 실시예에서, 사용자 운동 명령들은 로봇 조작기(122)의 원격 운동 중심 프레임에 투영되어, 내시경 명령들을 생성한다. 사용자 운동 명령들은, 다음에 의해 표현되는 바와 같이, 내시경(220)의 엔드 이펙터의 운동에 기초하여 로봇 아암 공간으로 변환된다:

3차원 공간에서의 로케이션은 마지막 위치 및 사용자 명령들로부터의 선형 병진에 있어서의 변화로부터 결정된다. 엔드 이펙터의 회전은 원격 운동 중심 프레임에 의해 제약되는 바와 같은 엔드 이펙터의 회전과 컨벌루션되거나 곱해지는 사용자 명령으로부터의 회전에 의해 제공된다.

아암 공간에서의 병진 및 회전은 원격 운동 중심에 의해 제약된다. 원격 운동 중심 프레임으로의 투영은 다음과 같이 표현된다:

내시경(220)의 엔드 이펙터에 대한 3개의 차원에서 전환이 주어진다. 4차원 행렬과 관련하여 이러한 전환을 정의하기 위해, 1.0 항이 추가된다. 원격 운동 중심에 의해 제약되는 3개의 차원을 중심으로 한 회전이 제공된다.

일단 원격 운동 중심 프레임에 의해 제공되는 제약이 식 7에 나타내어진 바와 같이 추가되면, 결과적인 병진 및 회전은 내시경 명령들로서 내시경(220)의 운동에 대한 아암 기준 프레임으로 다시 변환된다. 일 실시예에서, 4x4 행렬이 투영의 출력으로서 계산된다. 이러한 변환은 다음과 같이 표현될 수 있다:

엔드 이펙터의 포즈(선형 병진 및 회전 위치)는 로봇 조작기(220) 상의 엔드 이펙터에 대한 회전 및 병진을 갖는 행렬로서 표현된다.

선택적인 액트(314)에서, 제어기는 내시경(220)의 이동의 선형 병진 성분을 스케일링한다. 환자 내에서 내시경(220)의 엔드 이펙터 또는 팁을 이동시키기 위해, 로봇 아암(122)이 이동한다. 엔드 이펙터의 운동 또는 병진의 양에 더하여, 원격 운동 중심에 대한 엔드 이펙터의 근접성은 환자 외부의 로봇 아암(122)의 운동의 크기 및/또는 속도를 결정한다. 내시경 팁이 원격 운동 중심에 가까울 때, 아암의 반대편 단부의 운동(즉, 도구 구동기(210)의 운동)은 원격조작 동안 정지 상태로 유지되는, 원격 운동 중심 주위의 큰 레버로 인해 증폭된다. 이러한 큰 레버는 이러한 반대편 단부 상의 과도한 운동을 야기한다. 과도한 운동은 로봇 아암(122)으로 하여금 진동하게 할 수 있다.

진동을 감소시키기 위해, 내시경(220)의 이동의 선형 성분이 스케일링된다. 이동의 속도를 낮추는 것과 같이, 선형 성분이 감소된다. 대안적인 또는 추가적인 실시예들에서, 회전 성분들이 스케일링된다.

스케일링은 모든 병진에 대한 것일 수 있다. 병진의 모든 성분들이 동일하게 스케일링되지만, 상이한 방향들에 대한 상이한 스케일링이 사용될 수 있다. 하나의 사용 사례는 x 및 y 운동만을 스케일링하고, z 운동(뷰 축을 따른 줌 인/아웃 또는 이동)을 스케일링되지 않은 상태로 두어서, 따라서 내시경(220)이 원격 운동 중심에 가까울 때, 줌 인/아웃 운동이 영향을 받지 않게 하는 것이다. 대안적인 방법은 모든 운동들을 동일한 스케일링으로 스케일링하는 것이다.

대안적으로, 스케일링은 엔드 이펙터가 원격 운동 중심의 임계 거리 내에 있을 때의 병진에 대한 것이다. 내시경 단부가 원격 운동 중심에 가까울 때 선형 운동 O(x, y, z)가 스케일링되며, 따라서 아암(122) 및/또는 도구 구동기(210)의 과도한 운동이 억제된다. 결과적으로, 진동이 또한 억제된다. 일 실시예에서, 스케일링의 양은 로봇 조작기의 원격 운동 중심으로부터의 내시경의 거리에 기초한다. 상이한 거리들은 상이한 스케일링 양들을 제공한다. 원격 운동 중심으로부터의 엔드 이펙터의 일련의 2개 이상의 임계 거리가, 엔드 이펙터가 원격 운동 중심에 접근함에 따라 스케일링의 양을 증가시키기 위해 제공된다. 대안적으로, 거리에 따른 연속적인 스케일링이 제공된다.

이러한 동적 스케일링의 일례에서, O = O *r이며, 여기서 r은 스케일링 인자이다. 스케일링 인자 r은 distance_to_rcm > distance_to_rcm_threashold일 때, r = 1.0이고, distance_to_rcm <= distance_to_rcm_threashold일 때, r = (distance_to_rcm / distance_to_rcm_threshold)²로서 계산된다. 다른 함수들이 원격 운동 중심까지의 거리에 기초하여 동적으로 또는 연속적으로 스케일링하는 데 사용될 수 있다. O[x,y,z] 벡터의 성분들은 위에 나타낸 바와 같이 집합적으로 스케일링되거나 r에 의해 개별적으로 스케일링된다.

액트(315)에서, 제어기는 스케일링과 함께 또는 스케일링 없이 내시경 명령들에 의해 제공되는 내시경(220)의 이동을 로봇 조작기(122)의 하나 이상의 조인트의 이동에 매핑한다. 도 2의 예시적인 로봇 조작기(122)에서, 4개 이하의 조인트에 대한 운동이 결정된다(예를 들어, 조인트들(J6 내지 J8) 및 내시경의 회전). 로봇 조작기(220)의 조인트들은 원격조작 동안 6 미만의 자유도를 제공한다.

제어기는 로봇 아암의 원격 운동 중심 프레임으로부터 로봇 아암(122)에 대한 조인트 위치 명령들로 투영한다. 역운동학을 수행하는 것과 같이, 임의의 투영이 사용될 수 있다. 일 실시예에서, 조인트 운동들은 특이값 분해를 사용하여 역운동학(IK)에 의해 생성되거나 계산된다. 마스터 디바이스로서의 사용자 입력 디바이스들(예를 들어, UID들(116))로부터의 6 자유도 운동이 아암 작업 공간에 투영되었기 때문에, IK는 항상 수렴해야 한다.

일 실시예에서, 조인트 위치 명령은 다음과 같이 계산되며: θ = pinv(J) * Twist, 여기서 J는 시간(t)에서의 6x4 야코비 행렬(Jacobian matrix)이고, Twist는 시간(t-1)에서의 포즈 및 시간(t)에서의 포즈로부터의 포즈 차이를 나타내는 6x1 벡터이고, θ는 조인트 위치 명령의 4x1 벡터이다.

조인트 위치들(포즈) 또는 조인트 위치(포즈)에 있어서의 변화들에 대한 해는 제약될 수 있다. 예를 들어, 원격 운동 중심까지의 엔드 이펙터(예를 들어, 내시경(220)의 팁)의 최소 거리가 시행된다. 내시경 단부로부터 원격 운동 중심까지의 최소 거리는 원격조작 동안 내시경(220)이 캐뉼러(214) 밖으로 당겨지는 것을 방지하는 데 사용된다. 최소 거리는 도구 병진 조인트(J8)에 대한 조인트 한계로서 취급된다.

액트(320)에서, 제어기는 로봇 조작기(122)를 제어한다. 로봇 아암이 구동되어, 아암을 이동시킨다. 제어 프로세서는 감지된 입력 병진 및 단일 축에 관한 투영된 회전에 기초하여 제어하는 것과 같이, 로봇 조작기(122)를 선택된 위치 또는 구성으로 구동한다. 제어 프로세서는 로봇 조작기(122) 및/또는 수술 도구(220)의 이동을 야기한다. 원격조작 동안의 능동 조인트들에 대한 출력 이동 명령들은 조인트들로 하여금 위치를 변경하게 한다. 로봇 조작기(122)는 선택된 구성에 있도록 이동된다.

조인트 명령들이 구현되어, 내시경(220)으로 하여금 사용자에 의해 의도되거나 명령된 대로 이동하게 한다. 내시경(220)은 조인트들 중 하나 이상의 운동에 의해 이동된다. 단일 축에 관한 회전으로의 투영을 포함한, 다양한 투영들 및 스케일링 후에, 조인트들은 원격조작 동안 내시경(220)을 이동시키도록 이동된다. 도 2 및 도 4의 예시적인 로봇 아암(122)에서, 구형 롤 조인트, 구형 피치 조인트, 도구 병진 조인트, 및 도구 회전 조인트 중 하나 이상은 원하는 이동을 제공하도록 동작될 수 있다.

뷰 방향이 샤프트의 축으로부터 오프셋된 예(예를 들어, 30도 오프셋 축을 갖는 도 6 참조)에서, 조인트 운동은 제어점에 대해 내시경을 이동시킨다. 사용자가 내시경(220)을 회전시킬 때, 이미지 중심점이 정지 상태로 유지되도록, 제어점이 제공된다.

도 7은 의료 원격조작을 위한 수술 로봇 시스템의 일 실시예의 블록도를 도시한다. 시스템은 도 3, 도 5의 방법, 또는 다른 방법을 수행한다. 상이한 수의 자유도로 제한된 그리고/또는 원격 운동 중심 프레임으로 제약된 운동을 제어하기 위한 6 자유도를 갖는 테더링되지 않은 사용자 인터페이스 디바이스들을 이용한 감지에 기초하는 투영들 중 임의의 하나 이상(예를 들어, 전부)이 구현될 수 있다.

수술 로봇 시스템은 대응하는 수술 기구를 갖는 하나 이상의 로봇 조작기(122), 제어기(802), 및 메모리(804)를 포함한다. 사용자 콘솔(110)은 수술 로봇 시스템의 일부로서 표시되거나 포함된다. 추가적인, 상이한, 또는 더 적은 구성요소들이 제공될 수 있다.

로봇 조작기들(122)은 각각 하나 이상의 링크 및 조인트를 포함한다. 조인트는 피치 또는 롤 조인트일 수 있다. 수술 도구를 수용 및 안내하기 위한 도구 구동장치(210) 및 캐뉼러(214)가 로봇 조작기들(122) 각각 상에 제공될 수 있다. 내시경(220)은 로봇 조작기들(122) 중 하나 상에 제공된다. 링크와 조인트의 상이한 조합들은 로봇 조작기(122)의 상이한 부분들, 예들 들어 상이한 정도들 또는 유형들의 이동(예를 들어, 병진 및/또는 회전)을 갖는 상이한 부분들을 정의하거나 형성할 수 있다. 모터, 센서, 링크, 조인트, 제어기, 수술 기구, 및/또는 다른 구조물을 갖는 임의의 현재 알려져 있거나 나중에 개발되는 로봇 조작기(122)가 사용될 수 있다.

하나 이상의 로봇 조작기(122)가 제공된다. 예를 들어, 3개 또는 4개의 로봇 조작기(122)가 제공된다. 로봇 조작기(122)는 테이블, 예를 들어 수술 테이블의 베이스(base)에 장착된다. 대안적으로, 카트, 바닥, 천장, 또는 다른 장착부가 사용될 수 있다. 로봇 조작기(122)는 제어기(802) 또는 중간물(예를 들어, 컨트롤 타워(130))과의 통신을 위한 케이블 또는 무선 송수신기를 포함한다.

로봇 수술 기구는 하나 이상의 파지기(grasper), 견인기, 메스, 내시경, 스테이플러, 가위, 또는 다른 수술 디바이스이다. 하나의 수술 기구는 내시경(220)이다. 상이한 또는 동일한 유형의 기구가 로봇 조작기들(122) 중 상이한 조작기들에 장착될 수 있다. 예를 들어, 2개의 로봇 조작기(122)는 파지기를 가질 수 있고, 제3 로봇 조작기(122)는 메스를 가질 수 있고, 제4 로봇 조작기(122)는 내시경(220)을 가질 수 있다.

로봇 수술 기구는 로봇 조작기(122)의 원위 단부에 연결되거나 결합되지만, 다른 위치에서 연결될 수 있다. 연결은, 파지기 또는 가위를 폐쇄하는 것과 같이, 도구가 동작될 수 있도록 구동장치를 제공한다.

내시경(220)은 세장형(elongated) 샤프트 및 렌즈를 갖는다. 렌즈의 뷰 방향은 샤프트의 종축을 따른다. 뷰 방향은 종축으로부터 0이 아닌 각도만큼 떨어져, 예컨대 30도에 있을 수 있다(도 6 참조).

사용자 콘솔(110)은 외과 의사와 수술 로봇 시스템, 예를 들어 로봇 조작기(122)를 제어하기 위한 프로세서의 상호작용을 위한 그래픽 사용자 인터페이스이다. 사용자 인터페이스는 하나 이상의 UID(116) 및 디스플레이(118)를 포함한다. UID(116) 및/또는 디스플레이(118)는 사용자 콘솔(110) 및/또는 컨트롤 타워(130)에서 제공되지만 다른 위치들에 있을 수 있다.

UID(116)는 핸드헬드 디바이스이다. 다른 디바이스들에 대한 물리적 연결이 없으면서 사용자의 손 또는 손들에 쥐어지도록 크기 설정되고 형상화된 객체가 제공된다. 2개의 핸드헬드 객체(예를 들어, UID들(116))가, 각각의 손에 대해 하나씩, 사용될 수 있다. 2개의 객체는 서로에 대한 그리고 모든 다른 디바이스들에 대한 물리적 연결이 없다. 대안적으로, 동시에 양손에 의해 쥐어지기 위한 단일 디바이스가 제공된다. 또 다른 실시예들에서, 케이블, 기계적 링크장치, 및/또는 조인트를 통한 물리적 연결을 갖는 하나 이상의 디바이스가 제공된다.

버튼, 키보드, 로커(rocker), 조이스틱, 트랙볼(track ball), 음성 인식 회로, 마우스, 터치 패드, 터치 스크린, 슬라이더(slider), 스위치, 풋 페달(114), 이들의 조합, 또는 수술 로봇에 입력하기 위한 임의의 다른 입력 디바이스와 같은, 다른 사용자 입력부가 제공될 수 있다. 디스플레이(118)는 모니터, 액정 디스플레이(LCD), 프로젝터, 플라즈마 디스플레이, CRT, 프린터, 또는 시각적 정보를 출력하기 위한 현재 알려져 있거나 나중에 개발되는 다른 디바이스이다. 대안적인 실시예에서, 디스플레이(118)는 머리 장착형 디스플레이이다. 사용자 입력부는 눈 이동 및/또는 깜박임을 검출하기 위한 센서 또는 센서들일 수 있다. 또 다른 실시예들에서, 사용자 입력부는 음성-기반 입력을 위한 마이크로폰이다. 오디오 정보의 출력을 위한 스피커가 디스플레이(118) 대신에 또는 그에 더하여 제공될 수 있다.

베이스 센서(base sensor)가 UID들(116)의 포즈를 감지한다. 예를 들어, 자기 위치 센서 또는 전기장 센서가 제공된다. 베이스 센서는, 디스플레이(118) 부근에 장착되는 것과 같이, 사용자 콘솔(110) 상에 또는 그 부근에 위치된다. 일 실시예에서, 선택적인 카메라(806)는 베이스 센서이다. 로봇 조작기(122)를 제어하기 위해 UID(116)의 사용 동안 추적하는 것과 같이, 디지털 카메라가 사용자 운동을 광학적으로 추적한다. 카메라(806)는 몇몇 실시예에서 스테레오 카메라 및/또는 깊이 카메라일 수 있다.

제어기(802)는 로봇 조작기(122) 및/또는 수술 기구(220)를 구동하고/하거나 모델링하는 제어기이다. 제어기(802)는 일반적인 프로세서, 중앙 처리 유닛, 제어 프로세서, 그래픽 프로세서, 그래픽 처리 유닛, 디지털 신호 프로세서, 주문형 집적 회로, 필드 프로그래머블 게이트 어레이, 디지털 회로, 아날로그 회로, 인공 지능 프로세서, 이들의 조합, 또는 로봇 조작기(122) 및/또는 내시경(220)의 이동을 제어하기 위한 다른 현재 알려져 있는 또는 나중에 개발되는 디바이스이다. 제어기(802)는 직렬로, 병렬로, 또는 개별적으로 동작하는 단일 디바이스 또는 다수의 디바이스이다. 제어기(802)는 랩톱, 서버, 워크스테이션, 또는 데스크톱 컴퓨터와 같은 컴퓨터의 메인 프로세서일 수 있거나, 더 큰 시스템에서 몇몇 작업을 핸들링하기 위한 프로세서일 수 있다. 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 기초하여, 제어기(802)는 명령어를 구현하거나 액트를 수행하도록 구성된다.

제어기(802)는 하나 이상의 사용자 인터페이스 디바이스의 변위들을 내시경(220)의 스케일링된 변위로 전환하도록 구성된다. 전환은, 3 회전 자유도로부터 1 회전 자유도로 감소시킴에 있어서 요 및 피치를 폐기하는 것과 같이, 사용자 인터페이스 디바이스들의 제1 회전 자유도(DoF)를 내시경(220)의 더 적은 제2 회전 DoF로 감소시킨다. 일 실시예에서, 전환은 하나 이상의 UID(116)로부터의 사용자 운동 명령으로부터 내시경 운동 명령으로의 투영, 및 내시경 운동 명령으로부터 로봇 조작기(122)의 아암 조인트 운동 명령으로의 투영을 포함한다. 감소는 사용자 운동 명령들에 대해 수행된다. 다른 실시예에서, 사용자 운동 명령으로부터 내시경 운동 명령으로의 투영은 더 적은 제2 수의 회전 자유도가 원격 운동 중심에 관한 3 회전 자유도로 전환되는 원격 운동 중심 프레임으로의 변환을 포함한다.

메모리(804) 또는 다른 메모리는 프로그래밍된 제어기(802)에 의해 실행 가능한 명령어들을 나타내는 데이터를 저장하는 비일시적 컴퓨터 판독 가능 저장 매체이다. 본 명세서에서 논의된 프로세스, 방법 및/또는 기술을 구현하기 위한 명령어는 컴퓨터-판독 가능 저장 매체 또는 메모리, 예를 들어 캐시(cache), 버퍼(buffer), RAM, 이동식 매체, 하드 드라이브 또는 다른 컴퓨터 판독 가능 저장 매체 상에 제공된다. 컴퓨터 판독 가능 저장 매체는 다양한 유형의 휘발성 및 비휘발성 저장 매체를 포함한다. 도면에 예시되거나 본 명세서에서 설명된 기능, 액트 또는 작업은 컴퓨터 판독 가능 저장 매체에 또는 그 상에 저장된 하나 이상의 세트의 명령어들에 응답하여 실행된다. 기능, 액트 또는 작업은 특정 유형의 명령어 세트, 저장 매체, 프로세서 또는 처리 전략과는 독립적이며, 단독으로 또는 조합하여 동작하는 소프트웨어, 하드웨어, 집적 회로, 펌웨어, 마이크로 코드 등에 의해 수행될 수 있다. 마찬가지로, 처리 전략은 멀티프로세싱, 멀티태스킹, 병렬 처리 등을 포함할 수 있다.

일 실시예에서, 명령어는 로컬 또는 원격 시스템에 의한 판독을 위해 이동식 매체 디바이스에 저장된다. 다른 실시예에서, 명령어는 컴퓨터 네트워크를 통한 또는 전화선을 통한 전송을 위해 원격 위치에 저장된다. 또 다른 실시예에서, 명령어는 주어진 컴퓨터, CPU, GPU, 또는 시스템 내에 저장된다.

본 발명이 다양한 실시예를 참조하여 위에서 설명되었지만, 본 발명의 범위로부터 벗어남이 없이 많은 변경 및 수정이 이루어질 수 있다는 것이 이해되어야 한다. 따라서, 전술한 상세한 설명은 제한하는 것이기보다는 예시적인 것으로 간주되어야 하고, 본 발명의 사상 및 범위를 한정하는 것으로 의도되는 것은 모든 균등물을 포함하는 하기의 청구범위임이 이해되어야 하는 것으로 의도된다.

Claims

수술 로봇 시스템에 의한 내시경의 제어를 위한 방법으로서,
6 자유도를 갖는 핸드헬드 사용자 입력 디바이스에 의한 이동을 검출하는 단계;
상기 핸드헬드 사용자 입력 디바이스에 의한 상기 이동을, 상기 수술 로봇 시스템의 로봇 조작기에 결합된 상기 내시경의 이동에 매핑하는 단계;
상기 내시경의 상기 이동을 용이하게 하기 위해 상기 로봇 조작기의 하나 이상의 조인트들의 이동들을 계산하는 단계; 및
상기 계산된 이동들에 따라 상기 하나 이상의 조인트들을 구동하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 6 자유도는 3개의 공간 차원들을 따른 병진들 및 상기 3개의 공간 차원들에 관한 회전들에 대응하고, 상기 하나 이상의 조인트들은 상기 로봇 조작기의 6 미만의 자유도를 제공하는 4개 이하의 조인트들을 포함하고, 상기 핸드헬드 사용자 입력 디바이스의 상기 이동을 상기 내시경의 상기 이동에 매핑하는 단계는 요(yaw) 및 피치(pitch) 없이 롤(roll) 공간에만 투영하는 단계를 포함하는, 방법.
제1항에 있어서, 검출하는 단계는 2개의 핸드헬드 사용자 인터페이스 객체들의 위치 및/또는 배향에 있어서의 변화에 기초하여 상기 이동을 검출하는 단계를 포함하고, 상기 이동은 상기 2개의 핸드헬드 사용자 인터페이스 객체들 사이의 중심에 있는, 방법.
제1항에 있어서, 검출하는 단계는 베이스 센서(base sensor)에 의해 상기 이동을 검출하는 단계를 포함하고, 상기 핸드헬드 사용자 입력 디바이스는 하나 이상의 테더링되지 않은(untethered) 객체들을 포함하는, 방법.
제1항에 있어서, 상기 핸드헬드 사용자 입력 디바이스에 의한 상기 이동을 상기 내시경의 상기 이동에 매핑하는 단계는, 선형 병진을 통과시키고 각도 운동을 상기 내시경의 샤프트 회전으로서 투영하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 핸드헬드 사용자 입력 디바이스에 의한 상기 이동을 상기 내시경의 상기 이동에 매핑하는 단계는, 상기 내시경의 뷰어(viewer)의 0이 아닌 각도에 기초하는 상기 로봇 조작기의 원격 운동 중심(remote center of motion)으로부터 제어점으로의 축에 관한 각도 운동을 매핑하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 핸드헬드 사용자 입력 디바이스에 의한 상기 이동을 상기 내시경의 상기 이동에 매핑하는 단계는, 상기 내시경의 상기 이동을 상기 로봇 조작기의 원격 운동 중심에 의해 제약하는 단계를 포함하는, 방법.
제7항에 있어서, 상기 핸드헬드 사용자 입력 디바이스에 의한 상기 이동을 상기 내시경의 상기 이동에 매핑하는 단계는, 상기 핸드헬드 사용자 입력 디바이스에 의한 상기 이동을 상기 로봇 조작기의 원격 운동 중심 기준 프레임에 투영하는 단계를 포함하는, 방법.
제8항에 있어서, 투영하는 단계는 상기 핸드헬드 사용자 입력 디바이스의 상기 이동으로부터 요 및 피치를 제거하고 상기 내시경의 요 및 피치를 추가하여 상기 원격 운동 중심을 유지하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 내시경의 상기 이동의 선형 성분을 스케일링(scaling)하는 단계를 추가로 포함하며, 상기 스케일링의 양은 상기 로봇 조작기의 원격 운동 중심으로부터의 상기 내시경의 거리에 기초하는, 방법.
제1항에 있어서, 상기 하나 이상의 조인트들의 상기 이동들을 계산하는 단계는 역운동학을 수행하는 단계를 포함하는, 방법.
수술 로봇 시스템에 의한 내시경의 제어를 위한 방법으로서,
공간 내의 3개의 축들에 관한 입력 병진 및 회전을 감지하는 단계;
상기 3개의 축들에 관한 상기 입력 회전을, 로봇 아암(robotic arm)에 장착된 상기 내시경에 대한 단일 축에 관한 회전으로 투영하는 단계; 및
상기 감지된 입력 병진 및 단일 축에 관한 상기 투영된 회전에 기초하여 상기 내시경을 이동시키도록 상기 로봇 아암을 제어하는 단계를 포함하는, 방법.
제12항에 있어서, 감지하는 단계는 사용자의 왼손에 있는 물리적으로 연결되지 않은 제1 핸드헬드 객체를 감지하고 상기 사용자의 오른손에 있는 물리적으로 연결되지 않은 제2 핸드헬드 객체를 감지하는 단계를 포함하고, 상기 3개의 축들에 관한 상기 입력 병진 및 회전은 상기 물리적으로 연결되지 않은 제1 및 제2 핸드헬드 객체들 사이의 중심점에서의 6 자유도에 대응하는, 방법.
제12항에 있어서, 투영하는 단계는 상기 감지로부터 상기 내시경에 대한 입력 운동 명령으로 투영하는 단계를 포함하는, 방법.
제14항에 있어서, 상기 내시경에 대한 상기 입력 운동 명령으로부터 상기 로봇 아암의 원격 운동 중심 프레임으로 투영하는 단계, 및 상기 로봇 아암의 상기 원격 운동 중심 프레임으로부터 상기 로봇 아암에 대한 조인트 위치 명령들로 투영하는 단계를 추가로 포함하는, 방법.
제14항에 있어서, 상기 내시경에 대한 상기 입력 운동 명령으로부터 상기 원격 운동 중심 프레임으로 투영하는 단계는, 상기 내시경에 대한 아암 프레임으로부터 상기 원격 운동 중심 프레임으로 변환하고, 상기 원격 운동 중심 프레임으로부터의 추가된 회전과 함께 상기 원격 운동 중심 프레임으로부터 상기 아암 프레임으로 다시 변환하는 단계를 포함하는, 방법.
수술 로봇 시스템으로서,
로봇 조작기;
상기 로봇 조작기에 결합된 내시경;
하나 이상의 사용자 인터페이스 디바이스들; 및
상기 하나 이상의 사용자 인터페이스 디바이스들의 변위들을 상기 내시경의 스케일링된 변위로 전환하도록 구성된 제어기로서, 상기 전환은 상기 사용자 인터페이스 디바이스들의 제1 회전 자유도(DoF)를 상기 내시경의 더 적은 제2 회전 DoF로 감소시키는, 상기 제어기를 포함하는, 수술 로봇 시스템.
제17항에 있어서, 상기 제어기는 3 회전 DoF로부터 상기 내시경의 1 회전 DoF로 감소시키도록 구성되고, 상기 전환은 상기 하나 이상의 사용자 인터페이스 디바이스들로부터의 입력 운동 명령으로부터 내시경 운동 명령으로의 투영, 및 상기 내시경 운동 명령으로부터 상기 로봇 조작기의 아암 조인트 운동 명령으로의 투영을 포함하고, 상기 감소는 상기 사용자 운동 명령에 대해 수행되는, 수술 로봇 시스템.
제18항에 있어서, 상기 내시경은 세장형(elongated) 샤프트, 및 상기 세장형 샤프트를 따른 축으로부터 0이 아닌 각도만큼 떨어져 있는 뷰 방향(view direction)을 포함하고, 상기 사용자 운동 명령으로부터 상기 내시경 운동 명령으로의 상기 투영은, 상기 더 적은 제2 회전 DoF가 원격 운동 중심에 관한 3 회전 DoF로 전환되는 원격 운동 중심 프레임으로의 변환을 포함하는, 수술 로봇 시스템.
제17항에 있어서, 상기 하나 이상의 사용자 인터페이스 디바이스들은 2개의 핸드헬드 객체들을 포함하고, 상기 핸드헬드 객체들 각각은 다른 디바이스들 및 서로에 대한 물리적 연결이 없는, 수술 로봇 시스템.