KR102518492B1 - 로봇 수술 시스템용 그래픽 사용자 인터페이스 - Google Patents

로봇 수술 시스템용 그래픽 사용자 인터페이스 Download PDF

Info

Publication number
KR102518492B1
KR102518492B1 KR1020217015792A KR20217015792A KR102518492B1 KR 102518492 B1 KR102518492 B1 KR 102518492B1 KR 1020217015792 A KR1020217015792 A KR 1020217015792A KR 20217015792 A KR20217015792 A KR 20217015792A KR 102518492 B1 KR102518492 B1 KR 102518492B1
Authority
KR
South Korea
Prior art keywords
instrument
surgical
input device
workspace
current
Prior art date
Application number
KR1020217015792A
Other languages
English (en)
Other versions
KR20210064404A (ko
Inventor
제퍼슨 씨. 맥클라우드
다니엘 바쳐
Original Assignee
타이탄 메디칼 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 타이탄 메디칼 아이엔씨. filed Critical 타이탄 메디칼 아이엔씨.
Publication of KR20210064404A publication Critical patent/KR20210064404A/ko
Application granted granted Critical
Publication of KR102518492B1 publication Critical patent/KR102518492B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/76Manipulators having means for providing feel, e.g. force or tactile feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00292Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
    • A61B2017/003Steerable
    • A61B2017/00305Constructional details of the flexible means
    • A61B2017/00314Separate linked members
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00292Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
    • A61B2017/003Steerable
    • A61B2017/00318Steering mechanisms
    • A61B2017/00323Cables or rods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/252User interfaces for surgical systems indicating steps of a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • A61B2034/742Joysticks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras

Abstract

로봇 수술 시스템에 사용되는 기구의 공간적 위치를 도식적으로 표현하는 방법, 장치 및 컴퓨터 판독가능 매체를 개시한다. 상기 기구는, 위치결정 장치에 결합되고 입력 장치 작업 공간에서 입력 장치의 핸드 컨트롤러의 이동에 의해 생성되는 입력 신호에 응답하여 상기 위치결정 장치에 의해 수술 작업 공간에 공간적으로 위치되도록 구성된 엔드 이펙터를 포함한다. 상기 방법은, 프로세서 회로에서, 입력 장치로부터 수신된 현재 입력 신호에 대해 수술 작업 공간 내 기구의 현재 3차원 공간 위치를 산출하는 단계를 포함한다. 또한 상기 방법은, 프로세서 회로에서, 상기 프로세서 회로와 통신하는 디스플레이 상에 수술 작업 공간의 그래픽 묘사를 디스플레이하기 위한 디스플레이 신호를 생성하는 단계를 포함하며, 상기 그래픽 묘사는 평면 표현을 포함하되, 상기 평면 표현에는 수술 작업 공간 내 기구의 횡방향 이동에 대한 제한을 나타내는 경계를 가진 기구 이동 영역과, 위치결정 장치 및 엔드 이펙터의 현재 공간 위치를 평면 표현 상에 2차원 투영하는 것이 포함된다.

Description

로봇 수술 시스템용 그래픽 사용자 인터페이스{Graphical user interface for a robotic surgical system}
본 개시는 수술용 로봇 시스템에 관한 것으로, 보다 구체적으로는 로봇 수술 시스템에 이용되는 기구의 공간적 위치를 도식적으로 나타내는 것에 관한 것이다.
로봇 수술 시스템에서 그래픽 사용자 인터페이스는 외과 의사에게 수술 작업을 수행하기에 충분한 정보를 주는 경고 및 통지 사항들을 제공하는 데 보통 사용된다. 환자의 체강 내 수술 부위의 이미지를 제공하는 것이 일반적이며, 상기 이미지는 수술 작업이 수행되는 영역은 물론, 빈번하게는 작업을 수행하기 위해 배치되는 수술기구의 일부도 보여준다.
개시된 일 양태에 따라, 로봇 수술 시스템에 사용되는 기구의 공간적 위치를 도식적으로 표현하는 방법을 제공하며, 상기 기구는, 위치결정 장치에 결합되고 입력 장치 작업 공간에서 입력 장치의 핸드 컨트롤러의 이동에 의해 생성되는 입력 신호에 응답하여 상기 위치결정 장치에 의해 수술 작업 공간에 공간적으로 위치되도록 구성된 엔드 이펙터를 포함한다. 상기 방법은, 프로세서 회로에서, 입력 장치로부터 수신된 현재 입력 신호에 대해 수술 작업 공간 내 기구의 현재 3차원 공간 위치를 산출하는 단계를 포함한다. 또한 상기 방법은, 프로세서 회로에서, 상기 프로세서 회로와 통신하는 디스플레이 상에 수술 작업 공간의 그래픽 묘사를 디스플레이하기 위한 디스플레이 신호를 생성하는 단계를 포함하며, 상기 그래픽 묘사는 평면 표현을 포함하되, 상기 평면 표현에는 수술 작업 공간 내 기구의 횡방향 이동에 대한 제한을 나타내는 경계를 가진 기구 이동 영역과, 위치결정 장치 및 엔드 이펙터의 현재 공간 위치를 평면 표현 상에 2차원 투영하는 것이 포함된다.
엔드 이펙터는 표시부(indicator)로 표현될 수 있고, 위치결정 장치는 그의 적어도 일부가 2차원 투영된 범위에 상응하는 영역으로 표현될 수 있다.
상기 방법은, 수술 작업 공간 내에 3차원 경계를 정의하고 평면 표현 상에 3차원 경계의 2차원 투영을 생성함으로써 경계를 생성하는 단계를 포함할 수 있다.
기구 이동 영역의 경계는 수술 작업 공간 내의 기구의 이동에 대한 추가적 제한을 식별하는 적어도 하나의 킵 아웃 존(keep-out zone)을 더 포함할 수 있다.
킵 아웃 존은 입력 장치에서 조작자로부터 수신된 입력 및 프로세서 회로에 수신된 환자 영상 데이터 중 적어도 하나에 기반하여 정의될 수 있다.
상기 방법은, 기구가 기구 이동 영역의 경계에 근접하였다는 판단에 응답하여, 프로세서 회로에서, 상기 경계에 능동적(active) 제약 표시를 디스플레이하는 단계를 더 포함할 수 있다.
로봇 수술 시스템은 수술 작업 공간 내에 복수의 기구를 포함할 수 있으며, 그래픽 묘사를 디스플레이하는 것은 상기 복수의 기구 각각에 대한 그래픽 묘사를 디스플레이하는 것을 포함할 수 있다.
그래픽 묘사를 디스플레이하는 것은 디스플레이의 주변 영역에 상기 그래픽 묘사를 디스플레이하는 것을 포함할 수 있다.
그래픽 묘사는 수술 작업 공간으로의 기구의 축 방향 이동에 대한 제한을 표시하는 기구 깊이 범위와, 기구 깊이 범위 내에서의 엔드 이펙터의 현재 깊이를 나타내는 표시부와, 입력 장치 작업 공간과 수술 작업 공간 간의 현재 매핑에 액세스할 수 있는 기구 깊이 범위의 일부를 나타내는 입력 장치 깊이 범위를 더 포함할 수 있다.
상기 방법은 엔드 이펙터가 입력 장치 깊이 범위의 끝부분에 근접하였다는 판단에 응답하여, 프로세서 회로에서, 능동적 제약 표시를 디스플레이하도록 하는 단계를 더 포함할 수 있다.
상기 방법은, 프로세서 회로에서, 입력 신호에 응답하여 기구의 이동을 허용하는 활성 상태와 입력 장치 작업 공간 내에서 핸드 컨트롤러의 위치 조정을 용이하게 하도록 기구의 이동을 억제하는 비활성 상태를 갖는 인에이블먼트 신호를 수신하는 단계를 포함할 수 있고, 상기 방법은, 인에이블먼트 신호가 활성 상태에서 비활성 상태로 전환되는 것에 응답하여, 프로세서 회로에서, 현재 핸드 컨트롤러 위치 표시부를 엔드 이펙터의 현재 공간 위치의 2차원 투영으로부터의 오프셋으로서 그래픽 묘사 상에 디스플레이하기 위한 디스플레이 신호를 생성하도록 하는 단계와, 인에이블먼트 신호가 비활성 상태에서 활성 상태로의 전환되는 것에 응답하여, 현재 핸드 컨트롤러 위치 표시부의 디스플레이를 중단하는 단계를 더 포함할 수 있다.
입력 장치에 의해 생성된 입력 신호는 핸드 컨트롤러의 현재 회전을 정의하는, 그리고 수술 작업 공간에서 엔드 이펙터의 회전을 유발하도록 작동가능한 회전 신호를 포함할 수 있으며, 그래픽 묘사는 기구의 회전 이동에 대한 제한을 나타내는 기구 회전 범위와, 엔드 이펙터의 현재 회전을 나타내는 표시부와, 입력 장치 작업 공간과 수술 작업 공간 간의 현재 매핑에 액세스할 수 있는 기구 깊이 범위의 일부를 나타내는 입력 장치 회전 범위를 포함할 수 있다.
상기 방법은, 프로세서 회로에서, 입력 신호에 응답하여 기구의 이동을 허용하는 활성 상태와 입력 장치 작업 공간 내에서 핸드 컨트롤러의 위치 조정을 용이하게 하도록 기구의 이동을 억제하는 비활성 상태를 갖는 인에이블먼트 신호를 수신하는 단계를 포함할 수 있고, 상기 방법은, 인에이블먼트 신호가 활성 상태에서 비활성 상태로 전환되는 것에 응답하여, 프로세서 회로에서, 현재 핸드 컨트롤러 회전 표시부를 엔드 이펙터의 현재 회전을 나타내는 표시부로부터의 오프셋으로서 그래픽 묘사 상에 디스플레이하기 위한 디스플레이 신호를 생성하도록 하는 단계와, 인에이블먼트 신호가 비활성 상태에서 활성 상태로의 전환되는 것에 응답하여, 현재 핸드 컨트롤러 회전 표시부의 디스플레이를 중단하는 단계를 더 포함할 수 있다.
또 다른 개시된 양태에 따라, 로봇 수술 시스템에 사용되는 기구의 공간적 위치를 도식적으로 표현하는 장치를 제공하며, 상기 기구는, 위치결정 장치에 결합되고 입력 장치 작업 공간에서 입력 장치의 핸드 컨트롤러의 이동에 의해 생성되는 입력 신호에 응답하여 상기 위치결정 장치에 의해 수술 작업 공간에 공간적으로 위치되도록 구성된 엔드 이펙터를 포함한다. 상기 장치는 입력 장치로부터 수신된 현재 입력 신호에 대해 수술 작업 공간 내 기구의 현재 3차원 공간 위치를 산출하도록, 그리고 프로세서 회로에서, 상기 프로세서 회로와 통신하는 디스플레이 상에 수술 작업 공간의 그래픽 묘사를 디스플레이하기 위한 디스플레이 신호를 생성하도록 작동가능하게 구성된 프로세서 회로를 포함한다. 상기 그래픽 묘사는 평면 표현을 포함하되, 상기 평면 표현에는 수술 작업 공간 내 기구의 횡방향 이동에 대한 제한을 나타내는 경계를 가진 기구 이동 영역과, 위치결정 장치 및 엔드 이펙터의 현재 공간 위치를 평면 표현 상에 2차원 투영하는 것이 포함된다.
프로세서 회로는 기구가 기구 이동 영역의 경계에 근접하였다는 판단에 응답하여 상기 경계에 능동적(active) 제약 표시를 디스플레이하도록 작동가능하게 구성될 수 있다.
그래픽 묘사는 수술 작업 공간으로의 기구의 축 방향 이동에 대한 제한을 표시하는 기구 깊이 범위와, 기구 깊이 범위 내에서의 엔드 이펙터의 현재 깊이를 나타내는 표시부와, 입력 장치 작업 공간과 수술 작업 공간 간의 현재 매핑에 액세스할 수 있는 기구 깊이 범위의 일부를 나타내는 입력 장치 깊이 범위를 더 포함할 수 있다.
프로세서 회로는 엔드 이펙터가 입력 장치 깊이 범위의 끝부분에 근접하였다는 판단에 응답하여 능동적 제약 표시를 디스플레이하도록 작동가능하게 구성될 수 있다.
프로세서 회로는, 입력 신호에 응답하여 기구의 이동을 허용하는 활성 상태와 입력 장치 작업 공간 내에서 핸드 컨트롤러의 위치 조정을 용이하게 하도록 기구의 이동을 억제하는 비활성 상태를 갖는 인에이블먼트 신호를 수신하도록 작동가능하게 구성될 수 있으며, 프로세서 회로는 인에이블먼트 신호가 활성 상태에서 비활성 상태로 전환되는 것에 응답하여 현재 핸드 컨트롤러 위치 표시부를 엔드 이펙터의 현재 공간 위치의 2차원 투영으로부터의 오프셋으로서 그래픽 묘사 상에 디스플레이하기 위한 디스플레이 신호를 생성하도록, 그리고 인에이블먼트 신호가 비활성 상태에서 활성 상태로의 전환되는 것에 응답하여, 현재 핸드 컨트롤러 위치 표시부의 디스플레이를 중단하도록 작동가능하게 구성된다.
입력 장치에 의해 생성된 입력 신호는 핸드 컨트롤러의 현재 회전을 정의하는, 그리고 수술 작업 공간에서 엔드 이펙터의 회전을 유발하도록 작동가능한 회전 신호를 포함하며, 그래픽 묘사는 기구의 회전 이동에 대한 제한을 나타내는 기구 회전 범위와, 엔드 이펙터의 현재 회전을 나타내는 표시부와, 입력 장치 작업 공간과 수술 작업 공간 간의 현재 매핑에 액세스할 수 있는 기구 깊이 범위의 일부를 나타내는 입력 장치 회전 범위를 포함할 수 있다.
프로세서 회로는, 입력 신호에 응답하여 기구의 이동을 허용하는 활성 상태와 입력 장치 작업 공간 내에서 핸드 컨트롤러의 위치 조정을 용이하게 하도록 기구의 이동을 억제하는 비활성 상태를 갖는 인에이블먼트 신호를 수신하도록 작동가능하게 구성될 수 있으며, 프로세서 회로는 인에이블먼트 신호가 활성 상태에서 비활성 상태로 전환되는 것에 응답하여 현재 핸드 컨트롤러 회전 표시부를 엔드 이펙터의 현재 회전을 나타내는 표시부로부터의 오프셋으로서 그래픽 묘사 상에 디스플레이하기 위한 디스플레이 신호를 생성하도록, 그리고 인에이블먼트 신호가 비활성 상태에서 활성 상태로의 전환되는 것에 응답하여, 현재 핸드 컨트롤러 회전 표시부의 디스플레이를 중단하도록 작동가능하게 구성될 수 있다.
또 다른 개시된 양태에 따라, 로봇 수술 시스템에 사용되는 기구의 공간적 위치를 표현하는 로봇 수술 시스템 프로세서 회로를 지시하기 위한 코드들로 부호화된 컴퓨터 판독가능 매체를 제공하며, 상기 기구는, 위치결정 장치에 결합되고 입력 장치 작업 공간에서 입력 장치의 핸드 컨트롤러의 이동에 의해 생성되는 입력 신호에 응답하여 상기 위치결정 장치에 의해 수술 작업 공간에 공간적으로 위치되도록 구성된 엔드 이펙터를 포함한다. 상기 코드들은 입력 장치로부터 수신된 현재 입력 신호에 대해 수술 작업 공간 내 기구의 현재 3차원 공간 위치를 산출하도록, 그리고 상기 프로세서 회로와 통신하는 디스플레이 상에 수술 작업 공간의 그래픽 묘사를 디스플레이하기 위한 디스플레이 신호를 생성하도록 프로세서 회로에 지시하며, 상기 그래픽 묘사는 평면 표현을 포함하되, 상기 평면 표현에는 수술 작업 공간 내 기구의 횡방향 이동에 대한 제한을 나타내는 경계를 가진 기구 이동 영역과, 위치결정 장치 및 엔드 이펙터의 현재 공간 위치를 평면 표현 상에 2차원 투영하는 것이 포함된다.
다른 양태들 및 특징들은 첨부된 도면들과 함께 특정 개시된 실시예들의 하기 설명을 검토함으로써 당업자에게 명백해질 것이다.
개시된 실시예를 도시하는 도면들에서,
도 1은 로봇 수술 시스템의 사시도이다.
도 2는 도 1에 예시된 로봇 수술 시스템의 기구 마운트의 사시도이다.
도 3은 도 1에 예시된 로봇 수술 시스템의 프로세서 회로 소자들의 블록도이다.
도 4는 도 3에 예시된 워크스테이션 프로세서 회로에 지시(direct)하여 기구의 공간 위치 표현을 디스플레이하도록 하는 코드 블록들을 나타내는 흐름도이다.
도 5는 도 3에 예시된 워크스테이션 프로세서 회로에 의해 생성된 그래픽 묘사의 개략도이다.
도 6은 도 1에 예시된 로봇 수술 시스템의 우측 기구를 위한 수술 작업 공간 및 입력 장치 작업 공간의 개략도이다.
도 7은 도 1에 예시된 로봇 수술 시스템의 우측 입력 장치의 사시도이다.
도 8은 도 1에 예시된 로봇 수술 시스템의 우측 기구의 사시도이다.
도 9는 도 3에 예시된 워크스테이션 프로세서 회로에 지시하여 기본 설정 프로세스를 실행하도록 하는 코드 블록들을 나타내는 흐름도이다.
도 10은 도 3에 예시된 워크스테이션 프로세서 회로에 지시하여 기구의 3차원 공간 위치를 산출하기 위한 프로세스를 실행하도록 하는 코드 블록들을 나타내는 흐름도이다.
도 11은 도 1에 예시된 로봇 수술 시스템의 우측 기구의 굴곡된 상태를 보여주는 추가 사시도이다.
도 12는 도 1에 예시된 로봇 수술 시스템의 좌측 기구 및 우측 기구의 사시도이다.
도 13은 도 3에 예시된 워크스테이션 프로세서 회로에 지시하여 도 5에 예시된 그래픽 묘사를 디스플레이하기 위해 디스플레이 신호를 생성하는 프로세스를 실행하도록 하는 코드 블록들을 나타내는 흐름도이다.
도 14는 좌측 기구 및 우측 기구의 위치들에 대한 일련의 그래픽 묘사 예이다.
도 1을 참조하면, 로봇 수술 시스템은 전체적으로 참조번호 100으로 예시되었다. 시스템(100)은 워크스테이션(102) 및 기구 카트(104)를 포함한다. 기구 카트(104)는 기구를 조작하기 위한 기구 구동부를 수용하는 이동식 기구 마운트(108) 상에 장착된 적어도 하나의 기구(106)를 포함한다. 워크스테이션(102)은 환자에게 외과 수술을 수행하기 위해 기구 구동부를 통해 기구(106)를 제어하도록 외과 의사가 사용하는 입력 장치(110)를 포함한다. 입력 장치(110)는 예를 들어 스위스의 Force Dimension사로부터 입수 가능한 햅틱 인터페이스를 이용하여 구현될 수 있다.
기구(106)와 기구 마운트(108)를 도 2에 더 상세히 예시하였다. 도 2를 참조하면, 기구(106)는 환자의 복부 또는 다른 체강의 벽에 있는 절개부를 통해 삽입되어 체강 내 수술 작업 공간으로의 접근로를 제공하는 삽입관(202)을 포함한다. 일단 수술 작업 공간에 삽입되면, 기구(106)는 도 2의 인서트(206)에서 예시된 바와 같이 전개된다. 본 실시예에서, 기구(106)는 위치결정 장치(209) 및 엔드 이펙터(210)를 포함한 우측 기구(208)와, 위치결정 장치(213) 및 엔드 이펙터(214)를 포함한 좌측 기구(212)를 포함한다.
예시된 실시예에서, 엔드 이펙터(210)는 조직을 붙잡기 위한 기구 구동부에 의해 제어되는 반대방향으로 이동 가능한 그리퍼 죠(gripper jaw)(216)를 구비한 한 쌍의 집게인 한편, 엔드 이펙터(214)는 한 쌍의 구부러진 해부 집게이다. 또한, 기구(106)는 관절형 암(220)에 배치되어 상기 관절형 암에 의해 팬(pan) 및 틸팅될 수 있는 카메라(218)를 포함한다. 카메라(218)는 수술 작업 공간의 입체 뷰를 생성하기 위한 한 쌍의 이격된 이미지 센서(222 및 224)를 포함한다. 절개부를 통해 삽입되기 전에 기구(208 및 212)와 카메라(218)가 초기에는 삽입관(202)과 일직선 상에 배치되었다가, 그 후에는 참조 번호 206으로 예시된 바와 같이 전개된다.
다시 도 1을 참조하면, 입력 장치(110)는 우측 입력 장치(116) 및 좌측 입력 장치(118)를 포함한다. 우측 입력 장치(116)는 오른손 컨트롤러(112)를 포함하고, 좌측 입력 장치(118)는 왼손 컨트롤러(114)를 포함하며, 이들 핸드 컨트롤러는 각자의 입력 장치에 기계식으로 결합되어 있다. 또한 워크스테이션(102)은 외과 의사로부터의 입력을 수신하도록 입력 장치(116 및 118) 및 핸드 컨트롤러(112 및 114)와 통신하는 워크스테이션 프로세서 회로(120)를 포함한다. 또한 기구 카트(104)는 기구(106)를 제어하기 위해 기구 프로세서 회로(130)를 포함한다. 본 실시예에서, 기구 프로세서 회로(130)는 워크스테이션 프로세서 회로(120)와 인터페이스 프로세서 회로(130) 간에 신호를 전송하기 위해 인터페이스 케이블(132)을 통해 워크스테이션 프로세서 회로(120)와 통신한다. 다른 실시예에서, 워크스테이션 프로세서 회로(120)와 인터페이스 프로세서 회로(130) 간의 통신은 무선이거나 또는 컴퓨터 네트워크를 통해 이루어질 수 있으며, 워크스테이션(102)은 기구 카트(104)로부터 멀리 떨어진 곳에 자리할 수도 있다.
워크스테이션(102)은 또한 수술 작업 공간의 실시간 이미지 및/또는 다른 그래픽 묘사를 디스플레이하기 위해 워크스테이션 프로세서 회로(120)와 통신하는 디스플레이(122)를 포함한다. 카메라(218)가 한 쌍의 이격된 이미지 센서(222 및 224)를 포함하는 본 실시예에서, 디스플레이(122)는 수술 작업 공간의 개별적인 2차원 입체 뷰들을 제공하도록 구성되며, 이러한 입체 뷰들은 외과 의사가 적절한 입체 안경을 통해 보았을 때 3차원 깊이 효과를 제공한다.
워크스테이션(102)은 또한 워크스테이션 프로세서 회로(120)에 인에이블먼트 신호를 제공하도록 외과 의사에 의해 작동될 수 있는 발판 스위치(134)를 포함한다. 인에이블먼트 신호는 활성 상태와 비활성 상태를 가지며, 본 실시예에서는 발판 스위치(134)를 누르면 인에이블먼트 신호의 활성 상태가 비활성 상태로 변경된다. 인에이블먼트 신호의 액티브 상태는 입력 장치(110)에 의해 생성된 입력 신호에 응답하여 기구(106)의 이동을 허용하는 반면에, 비활성 상태는 기구의 이동을 억제한다.
입력 신호는 입력 장치 작업 공간 내에서의 외과 의사에 의한 핸드 컨트롤러(112 및 114)의 이동에 대한 응답으로 우측 및 좌측 입력 장치들(116 및 118)에 의해 생성된다. 기구(208 및 212)와 연관된 위치결정 장치(209 및 213)는 입력 신호에 응답하여 수술 작업 공간에 각각의 엔드 이펙터(210, 214)를 공간적으로 위치시킨다.
시스템(100)의 프로세서 회로 소자들의 블록도를 도 3에 예시하였다. 도 3을 참조하면, 워크스테이션 프로세서 회로(120)는 마이크로프로세서(250)를 포함한다. 워크스테이션 프로세서 회로(120)는 또한 워크스테이션 메모리(252), USB 인터페이스(254), 입출력부(256) 및 모션 제어 인터페이스(258)를 포함하며, 이들 모두는 마이크로프로세서(250)와 통신한다. 입출력부(256)는 발판 스위치(134)로부터의 인에이블먼트 신호를 수신하는 입력부와, 디스플레이(122)를 구동하기 위한 디스플레이 신호를 생성하는 출력부를 포함한다.
본 실시예에서, 입력 장치(110)는 USB 프로토콜을 사용하여 통신하며, USB 인터페이스(254)는 핸드 컨트롤러(112 및 114)의 이동에 응답하여 입력 장치가 생성한 입력 신호를 수신한다. 마이크로프로세서(250)는 입력 장치 작업 공간과 수술 작업 공간 사이의 현재 매핑에 기반하여 입력 신호를 처리하고, 모션 제어 인터페이스(258)가 인터페이스 케이블(132)을 통해 기구 프로세서 회로(130)로 전달되는 제어 신호를 전송하도록 한다. 매핑은 입력 장치 작업 공간에서의 움직임을 수술 작업 공간에서의 환산된 이동으로 스케일링하는 스케일 팩터를 포함할 수 있다. 예를 들어, 입력 장치 작업 공간에서의 100mm 이동을 스케일 팩터 0.5로 스케일링하여 수술 작업 공간에서의 정교한 이동을 위해 50 mm 이동으로 환산할 수 있다.
발판 스위치(134)에 의해 생성되는 인에이블먼트 신호는 입출력부(256)에 수신된다. 워크스테이션 메모리(252)는, 후술하는 바와 같이, 현재 버퍼(320) 및 제어 신호와 관련된 값을 저장하기 위한 복수의 저장부를 포함하는 이전 버퍼(340)를 포함한다.
기구 프로세서 회로(130)는 마이크로프로세서(280), 메모리(282), 통신 인터페이스(284) 및 구동 제어 인터페이스(286)를 포함하며, 이들 모두는 마이크로프로세서와 통신한다. 마이크로프로세서(280)는 통신 인터페이스(284)에서 입력 신호를 수신한다. 마이크로프로세서(280)는 제어 신호를 처리하고, 구동 제어 인터페이스(286)가 기구(208 및 212)를 이동시키기 위한 구동 신호를 생성하도록 한다.
따라서, 워크스테이션 프로세서 회로(120)는 사용자 입력을 수신하기 위해 마스터 서브시스템의 역할을 하는 반면, 기구 프로세서 회로(130) 및 기구(208 및 212)는 사용자 입력에 응답하여 슬레이브 서브시스템의 역할을 한다.
도 4를 참조하면, 워크스테이션 프로세서 회로(120)에 지시하여 기구(106)의 공간 위치의 표현을 디스플레이하도록 하는 코드 블록들을 도시한 흐름도를 전체적으로 참조번호 300으로 예시하였다. 해당 블록들은 일반적으로 마이크로프로세서(250)에 지시하여 다양한 기능을 수행하도록 하는 코드들을 나타낸다. 각 블록을 구현하기 위한 실제 코드는 예를 들어 C, C ++, C#, Java, OpenGL 및/또는 어셈블리 코드와 같은 임의의 적합한 프로그램 언어로 작성될 수 있다.
프로세스(300)는, 마이크로프로세서(250)에 지시하여 인에이블먼트 신호가 활성인지 여부를 판단하도록 하는 블록(302)에서 시작된다. 발판 스위치(134)가 현재 눌려져 있지 않으면, 기구(208 및 212)는 입력 장치(110)의 제어 하에 놓이게 되며, 블록(302)은 마이크로프로세서(250)를 블록(306)으로 진행시킨다. 발판 스위치(134)가 현재 눌려져 있으면, 기구(106)의 이동이 억제되고 블록(302)은 마이크로프로세서(250)를 블록(304)으로 진행시켜, 후술되는 기본 설정 프로세서를 실행한다. 블록(304)에서의 기본 설정 프로세스에 이어, 마이크로프로세서(250)를 블록(306)으로 진행시킨다.
블록(306)은 마이크로프로세서(250)에 지시하여 입력 장치(110)로부터 수신된 현재 입력 신호에 대해 수술 작업 공간 내 기구(208 및 212)의 현재 3차원(3D) 공간 위치를 산출하도록 한다. 다시 도 2를 참조하면, 기구들(208 및 212)의 우측 위치결정 장치(209)와 좌측 위치결정 장치(213) 각각은 기구 프로세서 회로(130)에 수신된 제어 신호에 따른 자세를 취하게 작동되도록 예시되었다. 유사하게, 엔드 이펙터(210 및 214)는 기구 프로세서 회로(130)에 수신된 제어 신호에 따른 자세로 있게 된다. 여기서 기구(208 및 212)의 3차원 공간 위치는 위치결정 장치(209 및 213)와 엔드 이펙터(210 및 214)를 비롯한 기구들의 각 부분의 3차원 위치를 지칭한다. 수술 작업 공간에서의 이들 3차원 위치의 산출에 대한 세부 사항은 나중에 설명하기로 한다.
이어서 블록(306)은 마이크로프로세서(250)에 지시하여 디스플레이(122) 상에 수술 작업 공간의 그래픽 묘사를 디스플레이하기 위한 디스플레이 신호를 생성하도록 한다. 도 1을 다시 참조하면, 우측 그래픽 표시(136)는 우측 기구(208)를 위한 디스플레이(122) 상에 디스플레이된다. 유사하게, 좌측 그래픽 표시(138)는 좌측 기구(212)를 위해 디스플레이된다. 그래픽 묘사(136 및 138)는 디스플레이 상에 또한 디스플레이되는 수술 작업 공간의 라이브 뷰(140)가 가려지는 것을 막기 위해 디스플레이(122)의 주변 영역에 디스플레이된다.
그런 후 블록(308)은 마이크로프로세서(250)에 지시하여 다시 블록(302)으로 진행하도록 하며, 본 프로세스(300)를 반복한다. 일 실시예에서, 프로세스(300)는 약 1kHz의 주파수로 반복된다.
도 5를 참조하면, 그래픽 묘사(136 및 138)가 더 큰 크기로 도 5에 예시되었다. 그래픽 묘사(136 및 138)는 수술 작업 공간 내 위치결정 장치(209)의 횡방향 이동(병진 및 방위)에 대한 제한을 나타내는 경계(402)를 가진 위치결정 장치 이동 영역(400)을 포함한 평면 표현으로서 주어졌다. 그래픽 묘사(136 및 138)는 엔드 이펙터(210)가 이동할 수 있는 또 다른 영역을 나타내는 경계(406)를 가진 엔드 이펙터 이동 영역(404)을 또한 포함한다. 위치결정 장치(209)가 경계(402)에 있을 때 조차도, 엔드 이펙터(210)는 여전히 위치결정 장치 이동 영역(400)을 넘어 엔드 이펙터 이동 영역(404)에 액세스하도록 외측으로 회전할 수 있다.
그래픽 묘사(136 및 138)는 또한 각각의 위치결정 장치(209 및 213)와 엔드 이펙터(210 및 214)의 현재 공간 위치의 2차원(2D) 투영을 포함한다. 예시된 실시예에서 엔드 이펙터(210 및 214)는 각 엔드 이펙터의 죠의 적어도 대략적인 방위를 가리키는 표시부(408 및 410)로 표현된다. 위치결정 장치(209 및 213)는 위치결정 장치의 부분이 평면 표현 상에 2차원 투영된 범위에 대응하는 영역(412 및 414)으로 표현된다.
또한 그래픽 묘사(136 및 138) 각각은 수술 작업 공간으로의 기구의 축 방향 이동에 대한 제한을 나타내는 기구 깊이 범위(416 및 418)를 포함한다. 기구의 축 방향 이동에 대한 제한은 기구 깊이 범위(416)의 끝부분(424 및 426)과 기구 깊이 범위(418)의 끝부분(428 및 430)으로 표현된다. 또한 기구 깊이 범위(416 및 418) 각각은 각 기구 깊이 범위 내 엔드 이펙터의 현재 깊이를 나타내는 현재 깊이 표시부(420 및 422)(이 경우, 원)를 포함한다. 우측 기구(208)가 (도 2에 예시된 바와 같이) 좌측 기구(212)보다 수술 작업 공간 속으로 더욱 멀리 자리하기 때문에, 현재 깊이 표시부(420)는 현재 깊이 표시부(422)보다 범위(416)의 끝부분(424)에 더 가깝다. 기구 깊이 범위(416)는 또한 입력 장치 작업 공간과 수술 작업 공간 사이의 현재 매핑에 액세스 가능한 기구 깊이 범위(416)의 부분을 나타내는 입력 장치 깊이 범위(432)(빗금친 영역으로 예시됨)를 포함한다. 유사하게, 기구 깊이 범위(418)는 입력 장치 작업 공간과 수술 작업 공간 사이의 현재 매핑에 대해 액세스 가능한 기구 깊이 범위(418)의 부분을 나타내는 입력 장치 깊이 범위(434)(빗금친 영역으로 예시됨)를 포함한다.
입력 장치(110)에 의해 생성된 입력 신호는 또한 핸드 컨트롤러(112 및 114) 각각의 현재 회전을 정의하는 회전 신호를 포함한다. 워크스테이션 프로세서 회로(120)는 회전 신호를 사용하여, 각각의 엔드 이펙터(210 및 214)를 수술 작업 공간에서 회전시키기 위한 제어 신호를 생성한다. 도 5에 예시된 그래픽 묘사(136 및 138)는 또한 엔드 이펙터(210 및 214)의 회전 운동에 대한 제한을 나타내는 기구 회전 범위(440 및 442)를 포함한다. 그래픽 묘사(136 및 138)에서 "△" 표시부는 도 5에서 수직선(444)(도 5의 우측 그래픽 묘사(136)에 대해서만 예시됨)으로 된 기준에 대한 엔드 이펙터(210 및 214)의 현재 회전을 나타낸다. 그래픽 묘사(136 및 138)는 입력 장치 작업 공간과 수술 작업 공간 사이의 현재 매핑에 대해 액세스 가능한 각각의 기구 회전 범위(440 및 442)의 일부를 나타내는 입력 장치 회전 범위(446 및 448)(빗금친 영역으로 예시됨)를 추가로 디스플레이한다.
위에서 개시한 대로, 본 프로세스(300)의 블록들(302 내지 308)은 약 1kHz의 주파수로 반복되며, 이로써 그래픽 묘사(136 및 138)를 업데이트하여 기구(208 및 212)의 공간 위치의 준 실시간 디스플레이를 외과 의사에 제공한다. 도 1 내지 도 4에 예시된 실시예에서, 기구(106)는 한 쌍의 기구(208 및 212)를 포함하지만, 다른 실시예에서는 시스템(100)이 단일 기구를 가질 수 있으며, 따라서 단 하나의 그래픽 묘사만 디스플레이될 수 있다. 대안으로, 셋 이상의 기구가 사용되는 경우, 각 기구에 대한 그래픽 묘사가 디스플레이될 수 있다.
도 6을 참조하면, 입력 장치(116) 장치 위에서 보았을 때 우측 기구(208)에 대한 수술 작업 공간 및 입력 장치 작업 공간의 개략도를 참조번호 480으로 예시하였다. 입력 장치(116)의 핸드 컨트롤러(112)는 반구형 3차원 체적 내에서 이동가능하며, 해당 입력 장치 작업 공간은 도 6에서 가로로 빗금이 쳐진 반원 영역(482)으로 예시되어 있다. 도 6에서, 입력 장치 작업 공간(482)은 우측 기구(208)가 접근할 수 있는, 세로로 빗금이 쳐진 영역으로 나타낸 수술 작업 공간(484) 상에 겹쳐져 예시되어 있다. 수술 작업 공간(484)은 또한 3차원 체적이며, 위치결정 장치(209)의 이동에 대한 제약을 정하는 경계면(485)을 갖는다. 점(486)은 환자의 체강 벽을 통한 삽입관(202)의 삽입 지점을 나타낸다.
도 6에서의 경계면(485)과 도 5에서의 경계(402)의 평면 표현은 수술 작업 공간(484) 내 입력 장치 작업 공간(482)의 범위에 근거한, 기구(208) 및 엔드 이펙터(210)의 이동에 대한 제한을 나타낸다. 환자의 해부학적 구조로 인해 기구(208) 및 엔드 이펙터(210)의 움직임에 추가적인 제한이 가해질 수 있다. 예를 들어, 수술 작업 공간(484) 내에서의 기구(208) 및 엔드 이펙터(210)의 움직임이 다른 장기, 혈관계 및 기타 민감한 조직의 일부에 의해 제한될 수도 있다. 다른 실시예에서, 하나 이상의 킵 아웃 존(498)이 수술 작업 공간(484) 내에 지정될 수 있고, 경계면(485)은 이들 킵 아웃 존을 포함하도록 생성될 수 있다. 킵 아웃 존(498)은 입력 장치 작업 공간(482) 내에서의 기구(208) 및 엔드 이펙터(210)의 이동을 더욱 제한하기 위해 이용된다. 킵 아웃 존(498)의 지정은 입력 장치(110)에 수신될 수 있는, 외과 의사로부터의 입력에 따라 이루어질 수 있다. 대안으로, 킵 아웃 존(498)은 워크스테이션 프로세서 회로(120)에 업로드된 영상 혹은 다른 환자 데이터에 따라 지정될 수 있다. 예를 들어, 환자가 자기 공명 촬영(MRI) 또는 CT 스캔을 거쳤다면, 수술 부위에 관한 환자의 특정 데이터를 이용하여 상기 하나 이상의 킵 아웃 존(498)을 정의할 수 있다. 후속으로 그래픽 묘사(136 및 138)를 생성할 때, 킵 아웃 존(498)은 경계 내의 추가 존(436)으로서 경계(402)의 정의에 포함될 것이다.
입력 장치(116)의 핸드 컨트롤러(112)의 이동은 기구(208)의 위치결정 장치(209)가 수술 작업 공간(484) 내에서 이동하도록 초래할 수 있는 한편, 엔드 이펙터(210)는 현재 매핑을 위해 영역(488)에 도달하도록 바깥쪽으로 뻗을 수 있다. 상기 영역(488)은, 엔드 이펙터(210)가 접근할 수 있고 3차원 경계면(489)을 갖는 추가 수술 작업 공간 부분을 나타낸다.
도 5에 예시된 우측 그래픽 묘사(136)는 일반적으로 라인 5-5를 따라 절취된 횡단면에 상응하며, 라인 5-5의 교차점은 도 5에 예시된 바와 같이 엔드 이펙터 이동 영역(404)의 경계(406)와 위치결정 장치 이동 영역(400)의 경계(402)를 정한다. 도 6의 도면은 우측 기구(208)를 제어하는 오른손 컨트롤러(112)와 우측 입력 장치(116)를 예시한다. 명료함을 위해 좌측 입력 장치(118), 왼손 컨트롤러(114) 및 좌측 기구(212)를 생략하였지만, 유사하게 도시될 수 있다.
발판 스위치(134)를 눌러서 핸드 컨트롤러(112 및 114)의 위치를 조정할 수 있게 하여 수술 작업공간(484)의 다른 한 부분에 접근하고자 할 때 또는 수술 작업 공간의 더 큰 혹은 더 작은 부분으로의 접근을 허용하는 스케일 팩터의 변경에 응답하여, 입력 장치(110)에 의해 생성된 입력 신호와 모션 제어 인터페이스(258)에서 워크스테이션 프로세서 회로(120)에 의해 생성된 제어 신호 간 매핑을 변경시킬 수 있다.
입력 장치
도 7에 우측 입력 장치(116)를 더 상세히 예시하였다. 간결성을 위해, 우측 입력 장치(116)만 더 설명하기로 하며, 좌측 입력 장치(118)가 동일한 방식으로 동작한다는 것을 이해하면 된다. 도 7을 참조하면, 입력 장치(116)는 기저부(500) 상에 지지되며, 암들(502, 504 및 506)을 포함한다. 암(502-506)에는 오른손 컨트롤러(112)가 장착되어 카테시안 기준계의 직교 축 x1, y1 및 z1을 기준으로 위치결정 및 회전환 가능하게 되어 있다. 카테시안 기준계는 핸드 컨트롤러(112)의 몸체를 따라 중간 지점에서 원점을 가지며, 이러한 원점의 자리는 핸드 컨트롤러 위치(508)(즉, 원점에서)를 정의한다. 본 실시예에서, 핸드 컨트롤러(112)는 짐벌 마운트(510) 상에 장착된다. 암(502-506)은, 도 6에 예시된 바와 같이, 핸드 컨트롤러(112)의 이동을 한정시키며 이에 따라 핸드 컨트롤러 위치(508)를 반구형 입력 장치 작업 공간 내로 한정시킨다. 일 실시예에서, 입력 장치(116)는 암(502-506)을 통해 핸드 컨트롤러(112)에 촉각적(haptic) 피드백을 제공하는 햅틱력을 발생하도록 구성될 수도 있다.
입력 장치(116)는 각 암(502-506)의 위치를 감지하고 x1, y1 및 z1 축 각각에 대한 핸드 컨트롤러(112)의 회전을 감지하는 센서들(미도시)를 구비하며, 작업 공간에서의 핸드 컨트롤러의 위치와 입력 장치 카테시안 기준계 xr, yr, zr에 대한 핸드 컨트롤러의 회전 방위를 나타내는 신호들을 생성한다. 본 실시예에서, 위치 신호 및 방위 신호는 입력 신호로서 USB 연결(518)을 통해 워크스테이션 프로세서 회로(120)의 USB 인터페이스(254)로 전송된다.
본 실시예에서, 짐벌 마운트(510)는 그로부터 아래쪽으로 뻗어 있는 핀(512)을 구비하며, 이러한 핀을 수용하기 위한 교정 개구(514)가 기저부(500)에 마련되어 있다. 핀(512)이 개구(514)에 수용될 때, 입력 장치(116)는 입력 장치 카테시안 기준계 xr, yr, zr에 대해 정의된 교정 위치에 자리한다. 입력 장치 기준계는 기저부(500)에 평행한 xr-zr 평면과, 기저부에 수직인 yr축을 가진다. zr축은 기저부(500)에 평행하며, 입력 장치(116) 가운데로 통과하는 축(516)과 일치한다.
입력 장치(116)는 핸드 컨트롤러(112)의 현재 위치와 방위를 나타내는 현재 핸드 컨트롤러 위치 신호와 현재 핸드 컨트롤러 방위 신호를 생성한다. 이들 신호는 현재 핸드 컨트롤러 위치 벡터와 현재 핸드 컨트롤러 회전 행렬로 표현될 수 있다. 현재 핸드 컨트롤러 위치 벡터는 다음과 같다:
Figure 112021059966686-pat00001
,
상기에서 x1, y1 및 z1은 입력 장치 기준계 xr, yr, zr에 대한 핸드 컨트롤러 위치(508)의 좌표(즉, 좌표계 x1, y1 및 z1의 원점)를 나타낸다. 현재 핸드 컨트롤러 회전 행렬은 다음과 같다:
Figure 112021059966686-pat00002
,
상기에서 행렬의 열은 입력 장치 기준계 xr, yr, zr에 대한 핸드 컨트롤러 기준계 x1, y1, z1의 축을 나타낸다. 따라서, 행렬 RMCURR은 xr, yr 및 zr 고정 마스터 기준계에 대한 핸드 컨트롤러(112)의 현재 회전 방위를 정의한다. 현재 핸드 컨트롤러 위치 벡터
Figure 112021059966686-pat00003
및 현재 핸드 컨트롤러 회전 행렬 RMCURR은 현재 핸드 컨트롤러 위치 신호 및 현재 핸드 컨트롤러 방위 신호로서 USB 연결부(518)를 통해 워크스테이션 프로세서 회로(120)의 USB 인터페이스(254)로 전송된다. 워크스테이션 프로세서 회로(120)는 현재 핸드 컨트롤러 위치 벡터
Figure 112021059966686-pat00004
를 나타내는 3개의 값을 워크스테이션 메모리(252)의 현재 버퍼(320)의 저장부(322)에, 그리고 현재 핸드 컨트롤러 회전 행렬 RMCURR을 나타내는 9개의 값을 저장부(324)에 저장한다.
기구
우측 기구(208)를 도 8에 더 상세히 예시하였다. 도 8을 참조하면, 위치결정 장치(209)는 워크스테이션 프로세서 회로(120)로부터 통신 인터페이스(284)에 수신된 제어 신호에 응답하여 기구 프로세서 회로(130)의 구동 제어 인터페이스(286)에 의해 생성된 구동 신호에 응답하여 기구 마운트(108)에서의 다양한 구동부를 작동시킴으로써 엔드 이펙터(210)를 수술 작업 공간 내에 위치시키도록 구성된다. 구동 신호는 워크스테이션 메모리(252)의 현재 버퍼(320)의 저장부들(322 및 324)에 저장된 현재 핸드 컨트롤러 위치 벡터
Figure 112021059966686-pat00005
및 현재 핸드 컨트롤러 회전 행렬 RMCURR에 기반하여 생성된다.
기구(208)는 본원에 참조로 포함된 PCT/CA2013/001076에 기술된 바와 같이 복수의 동일한 "척추골"(550)을 포함한다. 척추골(550)은 척추를 통과하는 제어 배선들이 연장되거나 수축되어 위치결정 장치(209)의 이동을 유발할 때 서로에 대해 움직이도록 동작할 수 있다. 엔드 이펙터(210)의 위치 및 방위는 고정 슬레이브 기준 위치(552)로 지칭되는 점에서 교차하는 축들 xν, yν 및 zν을 가진 고정 슬레이브 기준계를 상대로 정의된다. 고정 슬레이브 기준 위치(552)는 기구(208)의 종축(554) 상에 놓여 있으며, 상기 종축에 수직이면서 삽입관(202)의 원위 에지를 포함하는 평면에 포함된다.
예시된 실시예에서, 엔드 이펙터(210)는 엔드 이펙터 작업 공간 내에 위치되고 방위가 결정될 수 있는 그리퍼 죠들(216)을 포함한다. 그리퍼 죠(216)의 팁은 엔드 이펙터 카테시안 기준계 x2, y2, z2의 원점으로서 정의되는 엔드 이펙터 위치(560)로 지정될 수 있다. 엔드 이펙터 위치(560)는 슬레이브 기준 위치(552)에 대해 정의되며, 엔드 이펙터는 위치결정 장치(209) 및/또는 엔드 이펙터(210)의 이동을 유발하기 위해 고정 슬레이브 기준계 xν, yν, zν에 대해 위치되고 방위가 결정될 수 있다.
현재 핸드 컨트롤러 위치 신호
Figure 112021059966686-pat00006
및 현재 핸드 컨트롤러 방위 신호 RMCURR는 기구(208)의 엔드 이펙터(210)가 새로운 엔드 이펙터 위치 및 원하는 새로운 엔드 이펙터 방위로 이동하도록 하며, 새로운 엔드 이펙터 위치 벡터
Figure 112021059966686-pat00007
로 표현된다:
Figure 112021059966686-pat00008
,
상기에서, x2, y2 및 z2는 고정 슬레이브 기준계 xν, yν, zν에 대한 엔드 이펙터 작업 공간 내 엔드 이펙터 위치(560)의 좌표, 그리고 3x3 엔드 이펙터 회전 행렬 REENEW을 나타낸다:
Figure 112021059966686-pat00009
,
상기에서 REENEW 행렬의 열은 고정 슬레이브 기준계 xν, yν 및 zν에 기록된 엔드 이펙터 기준계 x2, y2 및 z2의 축을 나타낸다. 따라서 REENEW는 고정 슬레이브 기준계 xν, yν 및 zν에 대한, 엔드 이펙터 작업 공간에서의 엔드 이펙터(210)의 새로운 방위를 정의한다. 벡터
Figure 112021059966686-pat00010
의 값과 회전 행렬 REENEW의 값은 후술되는 바와 같이 산출되어 워크스테이션 메모리(252)의 현재 버퍼(320)의 저장부들(330 및 332)에 각각 저장된다.
기본 설정 프로세스
시스템(100)이 초기에 시동(스타트업)되면, 워크스테이션 프로세서 회로(120)는 현재 핸드 컨트롤러 벡터
Figure 112021059966686-pat00011
와 동일한 마스터 기본 위치 벡터
Figure 112021059966686-pat00012
를 설정하고, 현재 핸드 컨트롤러 회전과 관련된 핸드 컨트롤러 회전 행렬 RMCURR에 의해 정의되었던 현재 방위와 동일한 방위가 정의 가능한 마스터 기본 회전 행렬 RMBASE에 의해 정의되도록 한다. 따라서 시동 시에 하기 동작들이 수행된다:
Figure 112021059966686-pat00013
Figure 112021059966686-pat00014
.
도 7에 예시된 x1, y1 및 z1 축으로 표현되는 핸드 컨트롤러(112) 기준계와 (또한 도 7에 예시된) xmb, ymb 및 zmb 축으로 표현되는 정의 가능한 마스터 기본(base) 기준계는 따라서 시스템(100)의 시동 시 일치하게 된다. 도 3을 다시 참조하면, 워크스테이션 프로세서 회로(120)는 정의 가능한 마스터 기본 위치 벡터
Figure 112021059966686-pat00015
를 나타내는 값과 정의 가능한 마스터 기본 회전 행렬 RMBASE를 나타내는 값을 워크스테이션 메모리(252)의 현재 버퍼(320)의 저장부(326 및 328)에 저장한다.
시스템(100)의 시동 시에 새로운 엔드 이펙터 위치 벡터
Figure 112021059966686-pat00016
및 새로운 엔드 이펙터 회전 행렬 REENEW에 대해 이전에 저장된 값들이 없을 것이며, 일 실시예에서는 이들 값이 홈 구성 값으로 설정된다. 도 8에 예시된 바와 같이 기구(208)의 대체로 직선형 위치결정 장치(209)를 생성하는 홈 구성이 정의될 수 있으며, 홈 구성에 대한
Figure 112021059966686-pat00017
의 값과 REENEW의 값은 초기화 시에 사전 구성될 수 있다. 시스템(100)의 시동 시에, 워크스테이션 프로세서 회로(120)는 또한 정의 가능한 엔드 이펙터 기본 위치 벡터
Figure 112021059966686-pat00018
및 정의 가능한 엔드 이펙터 기본 회전 행렬 REEBASE
Figure 112021059966686-pat00019
및 REENEW의 홈 구성 값들로 설정되게도 한다. 다른 실시예에서, 홈 구성의 구성 변수들은 홈 구성에 대해 상이한 굴곡된, 혹은 직선이면서 굴곡된 기구 위치결정 장치 자세들을 만들도록 정의될 수 있다. 따라서 시동 시 하기 동작들이 수행된다:
Figure 112021059966686-pat00020
Figure 112021059966686-pat00021
.
따라서, 도 8에 예시된 x2, y2, 및 z2 축으로 표현되는 엔드 이펙터 기준계와 xsb, ysb 및 zsb 축으로 표현되는 정의 가능한 슬레이브 기본 기준계는 따라서 시스템(100)의 시동 시 일치하게 된다. 도 3을 다시 참조하면, 워크스테이션 프로세서 회로(120)는 정의 가능한 슬레이브 기본 위치 벡터
Figure 112021059966686-pat00022
를 나타내는 xsb, ysb 및 zsb 값을 워크스테이션 메모리(252)의 현재 버퍼(320)의 저장부(334)에, 그리고 정의 가능한 기본 회전 행렬 RMBASE를 나타내는 값을 저장부(336)에 저장한다.
기본 설정 프로세스(도 4에 예시된 프로세스(300)의 블록(304))는 발판 스위치(134)에 의해 생성된 인에이블먼트 신호가 블록(302)에서 활성 상태로부터 비활성 상태로 전환될 때 비동기식으로 실행된다. 기본 설정 프로세스(304)의 추가 상세사항을 도 9에 프로세스 흐름도로 예시하였다. 기본 설정 프로세스(304)는, 기구 프로세서 회로(130)로 하여금 기구(208)의 추가 이동을 유발하지 않는 구동 신호를 구동 제어 인터페이스(286)에서 생성하게 하는 제어 신호를 모션 제어 인터페이스(258)를 통해 전송하는 등으로, 워크스테이션 프로세서 회로(120)의 마이크로프로세서(250)에 기구(208)의 추가 이동을 억제할 것을 지시하는 블록(600)에서 시작된다. 일 실시 예에서, 마이크로프로세서(250)는 동일한 제어 신호를 유지하며, 구동 제어 인터페이스(286)에 의해 생성된 구동 신호는 상기 제어 신호에 응답하여 생성되기 때문에, 구동 신호는 발판 스위치(134)가 눌려졌을 때 활성화된 값에 또한 유지될 수도 있다. 따라서 기구(208)가 현재 위치 및 방위에 계속 고정될 수 있게 된다.
다음으로 블록(602)은 마이크로프로세서(250)에 지시하여 인에이블먼트 신호가 비활성 상태에서 활성 상태로 다시 전환되었는지 여부를 판단하도록 한다. 인에이블먼트 신호가 비활성 상태에 유지되면, 블록(602)은 블록(602)을 반복하도록 마이크로프로세서(250)에 지시하여, 이로써 인에이블먼트 신호가 비활성 상태에 있는 동안 프로세스(304)가 효과적으로 중단된다. 인에이블먼트 신호가 비활성 상태에서 활성 상태로 전환될 때, 블록(602)은 마이크로프로세서(250)를 블록(604)으로 진행시킨다.
블록(604)은 마이크로프로세서(250)에 지시하여 핸드 컨트롤러(112) 및 엔드 이펙터(210) 각각에 대한 새로운 기본 위치 및 방위를 설정하도록 한다. 발판 스위치(134)를 누른 상태에서 외과 의사는 핸드 컨트롤러(112)를 새로운 자리로 이동시켜 입력 장치 작업 공간을 수술 작업 공간에 대해 위치 조정시킬 수 있다. 인에이블먼트 신호가 활성 상태로 전환될 때, 블록(604)은 마이크로프로세서(250)에 지시하여, 현재 핸드 컨트롤러 위치 벡터
Figure 112021059966686-pat00023
의 현재 값과 핸드 컨트롤러 회전 행렬 RMCURR의 현재 값이 워크스테이션 메모리(252)의 현재 버퍼(320)의 저장부들(326 및 328)에 마스터 기본 위치 벡터
Figure 112021059966686-pat00024
에 대한 새로운 값과 마스터 기본 회전 행렬 RMBASE에 대한 새로운 값으로서 저장되도록 한다. 블록(604)은 또한 마이크로프로세서(250)에 지시하여, 엔드 이펙터 위치 신호
Figure 112021059966686-pat00025
에 대한 현재 값과 엔드 이펙터 방위 신호 REENEW에 대한 현재 값이 현재 버퍼(320)의 저장부들(334 및 336)에 정의 가능한 엔드 이펙터 기본 위치 벡터
Figure 112021059966686-pat00026
와 정의 가능한 슬레이브 기본 회전 행렬 RMBASE로서 저장되도록 한다.
그 후 기본 설정 프로세스(304)는 블록(606)으로 계속 진행되어, 발판 스위치(134)를 통해 생성된 인에이블먼트 신호는 활성 상태에 유지되는 동안 기구(208)의 추가 이동을 허용하도록 마이크로프로세서(250)에 지시한다.
이로써 기본 설정 프로세스(304)는 입력 장치(116)의 핸드 컨트롤러(112)가 새로운 자리로 이동되는 동안 장치(208)가 발판 스위치(134) 누름에 의해 고정될 수 있게 한다. 발판 스위치(134)가 해제되면, 핸드 컨트롤러(112)의 새로운 위치에서 기구(208) 제어가 재개된다. 따라서, 기구가 계속 고정되어 있는 동안 핸드 컨트롤러(112)를 원하는 대로 위치 조정할 수 있어, 환자에게 상해를 입힐 수 있는 의도하지 않은 이동을 방지한다.
일 실시예에서, 발판 스위치(134)에 의해 인에이블먼트 신호가 비활성 상태로 전환되면, 좌측 및 우측 기구(208 및 212) 각각의 위치 및 방위를 나타내는 도 5의 표시부들(408, 412, 410 및 414)이 현재 각자의 위치들에서 그래픽 묘사(136 및 138)에 고정되며, 현재 입력 장치(110) 입력을 나타내는 추가 표시부들(450 및 452)이 디스플레이된다. 이렇게 고정된 표시부들(408, 412, 410 및 414)은 고정된 기구(208 및 212)의 위치 및 방위를 나타내는 한편, 추가 표시부들(450 및 452)은 입력 장치(116 및 118) 및 핸드 컨트롤러(112 및 114)의 현재 위치들을 나타낸다. 그 후에, 인에이블먼트 신호가 활성 상태로 다시 전환되면, 추가 표시부들(450 및 452)이 삭제되거나 점차적으로 희미해지며, 표시부들(408, 412, 410 및 414)은 다시 활성화된다. 발판 스위치(134)를 해제하기 전에 디스플레이된 표시부(408 및 450) 및 표시부(410 및 452)를 정렬시켜 핸드 컨트롤러(112 및 114)와 각각의 기구(208 및 212) 사이의 오프셋을 최소화한다. 이와 유사하게, 현재 핸드 컨트롤러 회전 표시부(454, 456)는 엔드 이펙터(210, 214)의 현재 회전을 나타내는 표시부로부터의 오프셋으로 디스플레이될 수 있다. 따라서, 발판 스위치(134)가 눌려져 있는 동안, 사용자는 롤, 방위 및 병진(XYZ)을 오프셋 할 수 있게 된다. 발판 스위치(134)가 해제되면, 기구(208 및 212)가 재결합되고, 롤 및 병진 오프셋이 고정된다.
기구 위치 및 방위
기구의 3차원 공간 위치를 산출하기 위한, 도 3에 예시된 프로세스(300)의 블록(306)에 대한 추가 상세사항을 도 10에 예시하였다. 도 10을 참조하면, 프로세스(306)는 현재 핸드 컨트롤러 위치
Figure 112021059966686-pat00027
및 현재 핸드 컨트롤러 방위 RMCURR에 응답하여 새로운 엔드 이펙터 위치 제어 신호 및 새로운 엔드 이펙터 방위 제어 신호
Figure 112021059966686-pat00028
및 REENEW를 산출하기 위해 워크스테이션 프로세서 회로(120)에 의해 실행되는 코드들의 블록을 포함한다. 이들 제어 신호가 통신 인터페이스(284)에서 기구 프로세서 회로(130)에 의해 수신되면, 마이크로프로세서(280)는 이들 제어 신호를 사용하여 구동 제어 인터페이스(286)에서 구동 신호를 생성함으로써 엔드 이펙터(210)를 위치시키고 방위를 결정한다. 일 실시예에서, 프로세스(306)는 약 1kHz의 속도로 주기적으로 실행된다.
프로세스(306)는 마이크로프로세서(250)에 지시하여, 현재 핸드 컨트롤러 위치 벡터
Figure 112021059966686-pat00029
와 현재 핸드 컨트롤러 행렬 RMCURR을 나타내는,
Figure 112021059966686-pat00030
에 대한 현재 값과 RMCURR에 대한 현재 값을 워크스테이션 메모리(252)의 현재 버퍼(320)로부터 판독하도록 하는 블록(630)에서 시작된다. 그런 후 블록(632)은 마이크로프로세서(250)에 지시하여 고정 슬레이브 기본 위치(552) 및 슬레이브 기본 방위에 대한 원하는 엔드 이펙터 위치(560) 및 원하는 엔드 이펙터 방위를 나타내는 새로운 엔드 이펙터 위치 신호
Figure 112021059966686-pat00031
및 새로운 엔드 이펙터 방위 신호 REENEW을 산출하도록 한다. 블록(632)은 또한 마이크로프로세서(250)에 지시하여 새로운 엔드 이펙터 위치 벡터
Figure 112021059966686-pat00032
를 나타내는 값을 워크스테이션 메모리(252)의 현재 버퍼(320)의 저장부(330)에, 그리고 원하는 엔드 이펙터 방위 행렬 REENEW을 나타내는 값을 저장부(332)에 저장하도록 한다.
상기 새로운 엔드 이펙터 위치 신호
Figure 112021059966686-pat00033
와 새로운 엔드 이펙터 방위 신호 REENEW는 다음 관계식에 따라 산출된다:
[식 1a]
Figure 112021059966686-pat00034
[식 1b]
Figure 112021059966686-pat00035
식에서:
Figure 112021059966686-pat00036
는 엔드 이펙터 작업 공간에서의 엔드 이펙터(73)의 새로운 원하는 위치를 나타내는 새로운 엔드 이펙터 위치 벡터이며, 슬레이브 기본 기준 위치에 대해 정의되고;
A는 마스터와 슬레이브 간 병진 움직임에서의 스케일링 팩터를 나타내는 스칼라 값이며;
Figure 112021059966686-pat00037
은 현재 버퍼(320)의 저장부(322)에 저장된 핸드 컨트롤러 위치 벡터의 현재 표현으로서, 이때 핸드 컨트롤러 위치 벡터는 고정 마스터 기준계 xr, yr 및 zr에 대해 정의되고;
Figure 112021059966686-pat00038
는 인에이블먼트 신호가 비활성 상태에서 활성 상태로 마지막 전환 시, 또는 시스템 초기화 시, 또는 조작자에 의한 제어 인터페이스의 동작에 의해 위치 이동된 핸드 컨트롤러(112)의 최종 저장된 위치 벡터
Figure 112021059966686-pat00039
이며;
Figure 112021059966686-pat00040
는 인에이블먼트 신호가 비활성 상태에서 활성 상태로 마지막 전환 시 또는 시스템 초기화 시에 위치 이동된 엔드 이펙터(210)의 최종 저장된 위치 벡터
Figure 112021059966686-pat00041
이고;
REENEW는 엔드 이펙터(210)의 현재 방위를 나타내는 새로운 엔드 이펙터 방위 행렬로서, 고정 슬레이브 기준 위치(552)에 대해 정의되며;
REEBASE는 인에이블먼트 신호가 비활성 상태에서 활성 상태로 마지막 전환 시에 위치 이동된 엔드 이펙터(210)의 최종 저장된 회전 행렬 REENEW이고;
RMBASE -1은 인에이블먼트 신호가 비활성 상태에서 활성 상태로 마지막 전환 시에 저장된 핸드 컨트롤러(112)의 최종 저장된 회전 행렬 RMCURR인, 회전 행렬 RMBASE의 역벡터이며;
RMCURR은 고정 마스터 기준계 xr, yr 및 zr에 대한 핸드 컨트롤러(112)의 방위를 나타내는 현재 획득된 회전 행렬이다.
이어서 블록(634)은 마이크로프로세서(250)에 지시하여 인에이블먼트 신호가 활성 상태에 있는지 여부를 판단하도록 한다. 인에이블먼트 신호가 활성 상태에 있으면, 블록(636)은 마이크로프로세서(250)에 지시하여 모션 제어 인터페이스(258)가
Figure 112021059966686-pat00042
및 REENEW의 새로 산출된 값들에 기반하는 제어 신호를 전송하도록 한다. 제어 신호가 기구 프로세서 회로(130)의 통신 인터페이스(284)에 수신되었을 때, 마이크로프로세서(280)는 엔드 이펙터(210)가 핸드 컨트롤러(112)의 현재 위치 및 현재 방위에 의해 결정된 위치 및 방위를 취하게 하는 구동 신호가 생성되도록 한다.
이어서 블록(638)은 마이크로프로세서(250)에 지시하여 워크스테이션 메모리(252)의 현재 버퍼(320)의 저장부들(322 및 324)에 저장되어 있던 현재 위치 벡터
Figure 112021059966686-pat00043
와 현재 회전 행렬 RMCURR이 이전 버퍼(340)의 저장부들(342 (
Figure 112021059966686-pat00044
) 및 344 (RMPREV))로 복사되도록 한다. 블록(638)은 또한 마이크로프로세서(250)에 지시하여 새로 산출되는 엔드 이펙터 위치 벡터
Figure 112021059966686-pat00045
와 새로 산출되는 엔드 이펙터 회전 행렬 REENEW이 이전 버퍼(340)의 저장부들(346 및 348)에 복사되도록 한다. 새로 산출되는 엔드 이펙터 위치 벡터
Figure 112021059966686-pat00046
및 새로 산출되는 엔드 이펙터 회전 행렬 REENEW을 이전 산출된 엔드 이펙터 위치 벡터
Figure 112021059966686-pat00047
및 이전 산출된 엔드 이펙터 회전 행렬 REEPREV로 저장함으로써, 후속으로 획득되는 새로운 엔드 이펙터 위치 벡터
Figure 112021059966686-pat00048
및 후속으로 획득되는 새로운 엔드 이펙터 회전 행렬 REENEW이 입력 장치(116)에 의해 제공되는, 다음에(next) 수신된 핸드 컨트롤러 위치 벡터
Figure 112021059966686-pat00049
및 다음에 수신된 핸드 컨트롤러 회전 행렬 RMCURR로부터 산출할 수 있다.
블록(634)에서는 인에이블먼트 신호가 비활성 상태에 있으면 마이크로프로세서(250)를 블록(642)으로 진행시킨다. 블록(642)은 마이크로프로세서(250)에 지시하여 모션 제어 인터페이스(258)가 워크스테이션 메모리(252)의 이전 버퍼(340)의 각 저장부(346 및 348)에 저장되어 있던
Figure 112021059966686-pat00050
및 REEPREV의 이전 산출된 값들에 기반한 제어 신호를 전송하도록 한다. 따라서 모션 제어 인터페이스(258)에 의해 전송되는 제어 신호들은
Figure 112021059966686-pat00051
및 REENEW의 최종 저장된 값들로부터 도출되어 엔드 이펙터(210)가 정지 상태에 유지되도록 하는 데, 이는 기정된 것과 동일한 제어 신호들이 기구 프로세서 회로(130)의 통신 인터페이스(284)에 전송되기 때문이다. 이어서 마이크로프로세서(250)는 블록(640)으로 진행된다.
인에이블먼트 신호가 계속 비활성 상태에 있는 동안 (즉, 발판 스위치(134)가 눌려져 있는 동안), 모션 제어 인터페이스(258)에 의해 전송된 제어 신호는 인에이블먼트 신호가 비활성 상태로 전환되기 전에 유효했던 이전 산출된 엔드 이펙터 위치 신호 및 이전 산출된 엔드 이펙터 방위 신호
Figure 112021059966686-pat00052
및 REEPREV에만 기반한다.
다른 실시예에서는, 블록(634)에서 인에이블먼트 신호가 활성 상태에 있는 것으로 판단되면 블록(636)이 실행되기 전에 일부 특수 기능들이 실행될 수 있다. 이러한 특수 기능의 일 예는, 그 전체가 본원에 참조로 포함된, 본 출원인의 동시 계류 중인 미국 특허 출원 제62/101,734호와 제62/101,804호에 기재된 것과 같은, 정렬 제어 기능이다. 예를 들어, 일 실시예에서 정렬 제어 기능은 두 가지 결과 중 하나를 가질 수 있다. 제1 결과는, 모션 제어 인터페이스(258)가 새로 산출된 엔드 이펙터 위치 및 새로 산출된 엔드 이펙터 방위
Figure 112021059966686-pat00053
및 REENEW에 기반한 제어 신호를 기구 프로세서 회로(130)에 전송하도록 하는 블록(636)을 실행하도록 마이크로프로세서(250)에 지시할 수 있다는 것이다. 제2 결과는, 모션 제어 인터페이스(258)가 이전 산출된 엔드 이펙터 위치 및 이전 산출된 엔드 이펙터 방위
Figure 112021059966686-pat00054
및 REEPREV에 기반한 제어 신호를 전송하도록 하는 블록(638)을 실행하도록 마이크로프로세서(250)에 지시한다는 것이다. 이는 핸드 컨트롤러(112)의 이전 위치 및 이전 방위에 의해 결정된 위치 및 방위를 엔드 이펙터(210)가 취하도록 한다.
따라서, 인에이블먼트 신호가 비활성 상태에 있을 때에는, 핸드 컨트롤러(112)가 이동 및 회전될 수 있으며,
Figure 112021059966686-pat00055
및 REENEW 산출이 여전히 블록(632)에 의해 수행되겠지만 엔드 이펙터(210)의 이동은 없게 되는 데, 그 이유는 이전의 제어 신호가 기구 프로세서 회로(130)로 보내졌기 때문이다. 이는 엔드 이펙터(210)의 대응되는 이동 없이도 핸드 컨트롤러(112)를 "꽉 움켜잡기" 또는 위치 조정할 수 있게 한다. 이러한 이동은 핸드 컨트롤러를 입력 디바이스 작업 공간 내 편안한 위치에 재배치하는 데 및/또는 수술 작업 공간 내에서의 엔드 이펙터(210)의 이동 범위를 증가시키는 데 유용할 수 있다.
블록(636) 또는 블록(638)에서 생성된 엔드 이펙터 위치 벡터
Figure 112021059966686-pat00056
또는
Figure 112021059966686-pat00057
와 엔드 이펙터 방위 행렬 REENEW 또는 REEPREV는 고정 슬레이브 기준 위치(552)를 기준으로 원하는 자리의 엔드 이펙터 팁(560)을 제공한다. 하지만, 도 3에 예시된 실시예에서, 마이크로프로세서(250)는 모션 제어 인터페이스(258)가 위치결정 장치(209)에 의해 요구되는 자세를 정의하는 모션 제어 신호를 전송하도록 하여 엔드 이펙터(210)를 원하는 엔드 이펙터 위치 및 방위로 위치시키고 배향시킨다. 따라서, 모션 제어 신호는 엔드 이펙터 위치(560)를 원하는 자리 및 방위로 위치시키기 위해 위치결정 장치(209) 및 엔드 이펙터(210)의 기구학적(kinematic) 구성에 기초하여 생성된다.
모션 제어 신호
우측 기기(208)는 도 11과 도 12에 굴곡된 자세로 예시되어 있다. 좌측 기기(212)는 홈 구성에 대응하는 직선 자세로 도 12에 또한 예시되어 있다. 도 11과 도 12를 참조하면, 기구(208)의 위치결정 장치(209)는 s-세그먼트(700)로 지칭되는 제1 관절형 세그먼트와, 원위 세그먼트(702)로 지칭되는 제2 관절형 세그먼트를 구비한다. 세그먼트는 각각 다수의 척추골(550)을 포함한다. s-세그먼트(700)는 삽입관(202)으로부터, 슬레이브 고정 기본 기준계 xν, yν 및 zν의 원점으로 정의된 고정 슬레이브 기준 위치(552)와 제1 위치 기준계 x3, y3 및 z3의 원점으로 정의된 제1 위치(704) 사이의 거리인 삽입 거리(qins)로 지칭되는 거리를 두고 시작한다. 삽입 거리(qins)는 삽입관(202)의 끝부분 외부로 뻗는 위치결정 장치(209)의 비굴곡성 부분을 나타낸다. 예시된 실시예에서, 삽입 거리(qins)는 약 10 내지 20 mm 일 수 있지만, 다른 실시예에서 삽입 거리는 예를 들어, 0 내지 100 mm로 다양하게 더 길거나 더 짧을 수 있다.
s-세그먼트(700)는 제1 위치(704)로부터 x5, y5, z5 축을 갖는 제3 기준계의 원점으로 정의된 제3 위치(706)까지 뻗으며, s-세그먼트(700) 내부의 제어 배선(미도시)이 밀리고 당겨질 때 매끄러운 s자 모양을 취할 수 있다. s-세그먼트(700)는 x4, y4 및 z4 축을 갖는 제2 위치 기준계의 원점으로 정의된 제2 위치(708)에 중간 지점을 가진다. s-세그먼트(700)의 길이는 L1이며, 좌측 기구 위치결정 장치(213)에 관한 도 12에 가장 잘 나타나 있다. 예시된 실시예에서, 길이(L1)는 약 65 mm일 수 있다.
원위 세그먼트(702)는 제3 위치(706)로부터 x6, y6 및 z6 축을 갖는 제4 기준계의 원점으로 정의된 제4 위치(710)까지 뻗는다. 원위 세그먼트(702)의 길이는 L2이며, 좌측 기구 위치결정 장치(213)에 관한 도 12에 가장 잘 나타나 있다. 예시된 실시예에서, 길이(L2)는 약 23mm일 수 있다.
또한 각각의 엔드 이펙터(210 및 214)는 예시된 실시예에서 제4 위치(710)로부터 x2, y2 및 z2 축의 원점으로 정의된 엔드 이펙터 팁 위치(560)까지 뻗는 그리퍼 길이(L3)인 엔드 이펙터 길이를 갖는다. 그리퍼 길이(L3)는 좌측 기구 위치결정 장치(213)에 관한 도 12에 역시 가장 잘 나타나 있으며, 일 실시예에 의하면 약 25mm 일 수 있다. 슬레이브 기준 위치(552), 제1 위치(704), 제2 위치(708), 제3 위치(706), 제4 위치(710) 및 엔드 이펙터 위치(560)는 통괄적으로 기구의 기준 위치들로 지칭 될 수 있다.
PCT/CA2013/001076(그 전체가 본원에 참조로 포함됨)에 기재된 바와 같이, 위치결정 장치(209 및 213) 내부의 제어 배선을 밀고 당김으로써 위치결정 장치(209 및 213)의 s-세그먼트(700)를 도 8에 예시된 직선 상태로부터 도 11과 도 12에 예시된 우측 기구(208)의 부분 s자 모양으로, 완전한 s자 모양으로, 다양한 각도의 s자 모양으로 굴곡될 수 있다. s-세그먼트(700)는 제2 위치(708)의 양측에 제1 섹션(712)과 제2 섹션(714)을 갖는다는 점에서 조립식이다. 도 5를 참조하면, 제1 및 제2 섹션(712 및 714)은 제1 위치(704), 제2위치(708) 및 제3 위치(706)를 포함하는 제1 굴곡면(bend plane)에 놓인다. 제1 굴곡면은 고정 슬레이브 기준계 xν, yν 및 zν의 xν-zν 평면과
Figure 112021059966686-pat00058
의 각도를 이룬다. 제1 섹션(712)과 제2 섹션(714)은, 마주 보지만 동일한 각도
Figure 112021059966686-pat00059
를 통해 제1 굴곡면에서 굴곡됨에 따라, 각도
Figure 112021059966686-pat00060
또는 굴곡면 각도
Figure 112021059966686-pat00061
와 상관없이 제3 위치(706)의 z5 축은 언제나 고정 슬레이브 기준 위치(552)의 zν 축에 평행하고 그와 동일한 방향으로 정렬된다. 따라서, 위치결정 장치(209) 내의 제어 배선을 밀고 당김으로써, 제1 위치(704)를 중심으로 원통형 체적 내 공간의 다수의 이산 위치들 중 임의의 위치에 제3 위치(706)가 자리잡을 수 있다. 이러한 원통형 체적을 s-세그먼트 작업 공간으로 지칭하기도 한다.
또한, 원위 세그먼트(702)는 제3 위치(706)와 제4 위치(710)를 포함하는 제2 굴곡면에 놓인다. 제2 굴곡면은 고정 슬레이브 기준계 xν, yν 및 zν의 xν-zν 평면과
Figure 112021059966686-pat00062
를 이룬다. 원위 세그먼트(702)는 제2 굴곡면에서
Figure 112021059966686-pat00063
의 각도로 굴곡된다. 따라서, 위치결정 장치(209) 내의 제어 배선을 밀고 당김으로써, 제4 위치(710)를 중심으로 공간의 다른 체적 내에 제4 위치(710)가 자리잡을 수 있다. 이 체적을 원위 작업 공간으로 지칭하기도 한다. s-세그먼트 작업 공간과 원위 작업 공간을 합쳐서 위치결정 장치 작업 공간으로 지칭하기도 하는데, 이는 위치결정 장치(209)에 의해 시행되는 기구(208)의 전체 가능한 이동을 나타내기 때문이다. 좌측 기구(212)도 위치결정 장치(213)에 의해 유사하게 위치될 수 있다.
제4 위치(710)와 엔드 이펙터 위치(560) 사이의 거리는 예시된 실시예에서 원위 세그먼트(702)의 가동 부분과 그리퍼 엔드 이펙터(210)의 팁 사이의 거리, 즉, 도 12에 예시된 그리퍼 길이(L3)이다. 일반적으로, 제4 위치(710)와 엔드 이펙터 위치(560) 사이의 그리퍼 부분은 굴곡될 수 없다.
예시된 실시예에서, 엔드 이펙터(210)는 엔드 이펙터 기준계의 x2-y2 평면에서 z2 축을 중심으로 회전될 수 있는 가동 그리퍼 죠들(216)을 포함하며, 회전 각도는 양의 방향 x2 축에 대한 각도 γ로 표시된다. 끝으로, 그리퍼 죠들(216)은 (이들 죠의 힌지 조인트에 의해 제한되는 대로) 완전 폐쇄에서 완전 개방에 이르는 임의의 다양한 개방도로 있을 수 있다. 다양한 개방도란 "그리퍼"로 정의될 수 있다. 따라서, 정리하자면, 모션 제어 신호는 하기의 구성 변수들에 의해 정의되는 위치결정 장치(209) 및 엔드 이펙터(210)의 기구학적 구성에 기반하여 생성된다:
qins는 xν, yν 및 zν 축에 의해 정의된 슬레이브 기준 위치(552)로부터, x3, y3 및 z3 축에 의해 정의되며 위치결정 장치(209)의 s-세그먼트(700)가 시작되는 곳인 제1 위치(704)까지의 거리를 나타내고;
Figure 112021059966686-pat00064
는 s-세그먼트(700)가 고정 슬레이브 기준계의 xν-yν 평면에 대해 굴곡되어 있는 제1 굴곡면을 나타내며;
Figure 112021059966686-pat00065
는 s-세그먼트(700)의 제1 및 제2 섹션(712 및 714)이 제1 굴곡면에서 굴곡된 각도를 나타내고;
Figure 112021059966686-pat00066
는 원위 세그먼트(702)가 고정 슬레이브 기준계의 xν-yν 평면에 대해 굴곡되어 있는 제2 굴곡면을 나타내며;
Figure 112021059966686-pat00067
는 원위 세그먼트(702)가 제2 굴곡면에서 굴곡된 각도를 나타내고;
Figure 112021059966686-pat00068
는 z2 축을 중심으로 한 엔드 이펙터(210)의 회전을 나타내며;
그리퍼는 핸드 컨트롤러(112) 상에서 엔드 이펙터(210)의 그리퍼 죠들(216)의 개방도를 나타낸다 (개방도는 액추에이터(미도시)가 핸드 컨트롤러(112) 상에 생성한 신호에 정비례하게 산출된 값으로서, 죠들(216)을 닫기 위해 액추에이터를 꽉 쥐는 등으로 조작자가 인가하는 압력의 양을 가리킨다).
구성 변수들을 산출하기 위해, 먼저 엔드 이펙터 회전 행렬 REENEW이 3x3 행렬임을 재현할 수 있다:
Figure 112021059966686-pat00069
상기에서 REENEW의 마지막 열은 고정 슬레이브 기준계 xν, yν 및 zν에 대해 작성된 엔드 이펙터 기준계의 z 축이다. 원위 세그먼트(702)와 관련된
Figure 112021059966686-pat00070
,
Figure 112021059966686-pat00071
및 ν 값들은 다음 관계식들에 따라 산출될 수 있다:
[식 2]
Figure 112021059966686-pat00072
[식 3]
Figure 112021059966686-pat00073
Figure 112021059966686-pat00074
이면,
[식 4a]
Figure 112021059966686-pat00075
또는
[식 4b]
Figure 112021059966686-pat00076
.
그러면 제3 위치(706)는 고정 슬레이브 기준 위치(552)로부터 제3 위치까지의 벡터
Figure 112021059966686-pat00077
로 표현될 수 있다. 유사하게, 벡터
Figure 112021059966686-pat00078
는 제3 위치(706)로부터 제4 위치(710)까지 정의될 수 있고, 벡터
Figure 112021059966686-pat00079
는 제4 위치(710)로부터 엔드 이펙터 위치(560)까지 정의될 수 있다. 그런 후에는 이들 값을 이용하여, 엔드 이펙터 위치 벡터
Figure 112021059966686-pat00080
에서 벡터들
Figure 112021059966686-pat00081
Figure 112021059966686-pat00082
을 빼는 방식으로 고정 슬레이브 기준 위치(552)에 대한 제3 위치(706)의 자리를 계산할 수 있다:
[식 5]
Figure 112021059966686-pat00083
여기서:
[식 6a]
Figure 112021059966686-pat00084
[식 6b]
Figure 112021059966686-pat00085
[식 6c]
Figure 112021059966686-pat00086
[식 7a]
Figure 112021059966686-pat00087
[식 7b]
Figure 112021059966686-pat00088
[식 7c]
Figure 112021059966686-pat00089
식에서
Figure 112021059966686-pat00090
는 x 방향의 단위 벡터이고,
Figure 112021059966686-pat00091
는 y 방향의 단위 벡터이며,
Figure 112021059966686-pat00092
는 z 방향의 단위 벡터이다.
고정 슬레이브 기준 위치(552)로부터 제3 위치(706)까지의 벡터
Figure 112021059966686-pat00093
를 이용하여 s-세그먼트(700)에 대한 구성 변수들
Figure 112021059966686-pat00094
Figure 112021059966686-pat00095
을 구할 수 있다.
Figure 112021059966686-pat00096
에 대한 하기 두 식을 풀어 각도
Figure 112021059966686-pat00097
를 산출한다:
[식 8a]
Figure 112021059966686-pat00098
[식 8b]
Figure 112021059966686-pat00099
식 8b와 식 8a의 비를 취해서 하기를 얻는다:
[식 9]
Figure 112021059966686-pat00100
식에서
Figure 112021059966686-pat00101
Figure 112021059966686-pat00102
는 각각 x 방향과 y 방향의 단위 벡터이다.
Figure 112021059966686-pat00103
에 대해서는 닫힌 형식의 해를 구할 수 없으므로,
Figure 112021059966686-pat00104
는 식 8a나 식 8b 중 하나에 대한 수치 식을 이용하여 구해야 한다. 예를 들어, 실함수의 더 나은 근들을 반복적으로 연속하여 근사화하는 뉴튼-랩슨(Newton-Raphson)법을 활용할 수 있다. 하기 식을 이용하여 뉴튼-랩슨법을 시행할 수 있다:
[식 10]
Figure 112021059966686-pat00105
식에서
Figure 112021059966686-pat00106
는 x 방향의 단위 벡터이다. 식 10은 식 8a를 f(
Figure 112021059966686-pat00107
) = 0의 형태로 다시 쓴 것이다. 상기 함수는 0 <
Figure 112021059966686-pat00108
<π 범위에서 곡률 반경이 크고 국지적 정지 점들이 없으므로, 뉴튼-랩슨법은 매우 빠르게 수렴하는 경향이 있다. 뉴튼-랩슨법을 따름으로써, 하기 관계식을 이용하여 식 10을 충족시키도록
Figure 112021059966686-pat00109
의 개선된 연속적 추정이 반복적으로 행해질 수 있다:
[식 11]
Figure 112021059966686-pat00110
끝으로,
Figure 112021059966686-pat00111
이 정해진 후에는 하기 식을 이용하여 qins를 구할 수 있다:
[식 12]
Figure 112021059966686-pat00112
식에서
Figure 112021059966686-pat00113
는 z 방향의 단위 벡터이고,
Figure 112021059966686-pat00114
는 벡터
Figure 112021059966686-pat00115
와 단위 벡터
Figure 112021059966686-pat00116
의 내적이다.
상기 구성 변수들은 프로세스(306)의 블록(636)에서의 엔드 이펙터 위치 신호 및 엔드 이펙터 방위 신호
Figure 112021059966686-pat00117
및 REENEW에 대해 또는 블록(642)에서의
Figure 112021059966686-pat00118
및 REEPREV에 대해 산출된다. 이러한 구성 변수들은 일반적으로 엔드 이펙터(210)를 엔드 이펙터 작업 공간 내 원하는 위치 및 방위로 배치하는 데 요구되는 위치결정 장치(209) 자세를 정의한다. 구성 변수는 우측 기구 및 좌측 기구(208 및 212) 각자의 각 엔드 이펙터(210 및 214)를 위해 생성된다. 이로써 좌측 구성 변수 및 우측 구성 변수로 각각 지칭되는 두 세트의 구성 변수가 생성되어, 모션 제어 인터페이스(258)에 의해 기구 프로세서 회로(130)에 전송되며, 마이크로프로세서(280)는 이들 구성 변수를 이용하여, 수술 작업 공간에 기구(208)의 엔드 이펙터(210)와 위치결정 장치(209)를 공간적으로 위치시키기 위한 구동 제어 신호를 생성한다.
3차원 공간 위치결정
도 3에 예시된 프로세서(300)의 블록(308)에 관한 추가 상세사항을 도 13에 예시하였다. 도 13을 참조하면, 프로세스(308)는 도 5에 예시된 그래픽 묘사(136 및 138)를 디스플레이하기 위한 디스플레이 신호를 생성하기 위해 워크스테이션 프로세서 회로(120)에 의해 실행되는 코드 블록들을 포함한다. 프로세스(308)는 블록(306)에서 정해졌던 구성 변수 값들을 이용하여 입력 장치(110) 및 발판 스위치(134)로부터의 현재 입력에 대한 위치결정 장치(209)를 따른 점들의 수술 작업 공간 내 자리들을 정한다. 상기 자리들은 수술 작업 공간 내의 고정 슬레이브 기준 위치(552)에 대해 정해진다. 프로세스(308)는 일반적으로 각 기준점, 즉 수술 작업 공간에서의 제1 위치(704), 제2 위치(708), 제3 위치(706), 제4 위치(710) 및 엔드 이펙터 위치(560)의 이론적 위치들(theoretical locations)을 정하는 것을 포함한다. 각 기준점의 이론적 위치가 정해지면 수술 작업 공간 내의 위치결정 장치(209)를 따른 다양한 중간 지점의 이론적 위치들이 정해질 수 있다. s-세그먼트(700)의 섹션들(712, 714) 및 위치결정 장치(209)의 원위 세그먼트(702) 각각은 복수의 척추골(550)을 포함하며, 척추골의 중심들이 동일한 거리로 이격되어 있다. s-세그먼트(700) 및 원위 세그먼트(702)는 굴곡될 때 매끄러운 연속적 일정-반경의 곡선을 형성하기 때문에, 이에 따라 각 척추 중심의 이론적 위치를 수학적으로 산출할 수 있다. 이론적 위치는, 기구 프로세서 회로(130)가 수술 작업 공간 내 기구(208)의 실제적 위치결정을 위한 구동 신호를 생성하기 위해 사용하는 모션 제어 신호를 정하는 데 사용될 수 있다. 또한 이론적 위치는 워크스테이션 프로세서 회로(120)가 도 5에 예시된 그래픽 묘사(136 및 138)를 생성하는 데에도 사용된다.
프로세스(308)는 마이크로프로세서(250)에 지시하여 처리를 위해 제1 기준 위치(도 11에서 참조번호 704로 도시 됨)를 선택하도록 하는 블록(740)에서 시작된다. 그런 후 블록(742)은 마이크로프로세서(250)에 지시하여, 고정 슬레이브 기준 위치(552)로부터 길이 qins의 위치결정 장치(209) 비굴곡성 부분만큼 이격된 제1 위치(704)의 자리를 정하도록 한다. 따라서, 제1 위치(704)의 자리는 zy 축에 있는 고정 슬레이브 기준 위치(552)에 qins 구성 변수를 단순히 더함으로써 정해진다. 상기 자리는 고정 슬레이브 기준 위치(552)로부터 수술 작업 공간 내의 제1 위치(704)까지의 벡터
Figure 112021059966686-pat00119
로 표현될 수 있다.
이어서, 블록(744)은 마이크로프로세서(250)에 지시하여 위치결정 장치(209)의 제1 섹션(712)(즉, 제1 위치(704)와 제2 위치(708) 사이)을 따른 중간 지점들의 자리를 정하도록 한다. 블록(740)에서 정해진 제1 위치(704)의 자리는 s-세그먼트(700) 제1 섹션(712) 내의 모든 척추골(550)의 자리를 정하는 데 사용된다. 예를 들어, 도 11에 예시된 실시예에서, 제1 위치(704)와 제2 위치(708) 사이의 제1 섹션(712)에 15개의 척추골(550)이 있다고 가정하면, n번째 척추골의 중심은, 제1 위치(704)에 대해 하기와 같이 산출된 제1 섹션(220)을 따른 중간 지점에 있는 이론적 위치에 있게 될 것이다:
Figure 112021059966686-pat00120
.
따라서, 제1 위치(704)로부터 n번째 척추골 위치까지의 벡터를 정하고 이를 고정 슬레이브 기준 위치(552)로부터 제1 위치(704)까지의 벡터
Figure 112021059966686-pat00121
에 더하여, 수술 작업 공간에서의 고정 슬레이브 기준 위치(552)에 대한 제1 섹션(712)의 n개 척추골 각각의 자리를 정할 수 있다.
이어서, 블록(746)은 마이크로프로세서(250)에 지시하여 모든 기준 위치가 처리되었는지를 판단하도록 하며, 만일 처리되지 않았다면, 처리를 위해 다음 기준 위치가 선택되는 블록(748)으로 마이크로프로세서를 진행시킨다. 그러면 블록(748)은 마이크로프로세서(250)에 지시하여 블록(742)으로 되돌아가도록 하며, 각각의 기준 위치에 대해 블록들(742 및 744)이 반복된다.
고정 슬레이브 기준 위치(552)에 대한 제2 위치(708)의 자리는 구성 변수들 qins,
Figure 112021059966686-pat00122
, 및
Figure 112021059966686-pat00123
로부터 정해질 수 있다. 고정 슬레이브 기준 위치(552)로부터 제2 위치(708)까지의 벡터
Figure 112021059966686-pat00124
를 정함으로써 수술 작업 공간 내 제2 위치의 이론적 위치를 절대항으로 제공한다. 도 11에 예시된 실시예의 경우, 제2 섹션(714)에 15개의 척추골이 있다고 또다시 가정하면, 제2 섹션의 n번째 척추골의 중심은 제2 섹션을 따른 중간 지점에 있게 될 것이다. 제2 섹션(222)이 제1 굴곡면
Figure 112021059966686-pat00125
에서 굴곡되는 각도는 제1 섹션(712)의 척추골에 관한 산출에 사용되는 각도
Figure 112021059966686-pat00126
와 동일하며 서로 마주본다. 그러므로, n번째 척추골의 중간 지점은 제2 위치(708)에 대해 하기와 같이 산출될 수 있다:
Figure 112021059966686-pat00127
.
따라서, 제2 위치(708)로부터 n번째 척추골 위치까지의 벡터를 정하고 이를 슬레이브 기준 위치(552)로부터 제2 위치(708)까지의 벡터
Figure 112021059966686-pat00128
에 더함으로써, 위치결정 장치 작업 공간 내의 제2 섹션(714)의 n번째 척추골의 이론적 위치를 절대항으로 제공할 수 있다. 이 프로세스를 s-세그먼트(700)의 제2 섹션(714)에 있는 15개 척추골 각각에 대해 반복하여, 고정 슬레이브 기준 위치(552)에 대한 수술 작업 공간 내의 각 척추골 중간 지점의 절대 위치를 구할 수 있다.
s-세그먼트(700)의 단부에 있는 제3 위치(706)의 자리는 위의 식 8a, 식 8b 및 식 8c에 제시된 벡터 성분들을 가진 벡터
Figure 112021059966686-pat00129
로 표현될 수 있다. 제3 위치(706)의 자리는 위에 제공된 방법을 이용하여 원위 세그먼트(702)에 있는 모든 척추골(550)의 이론적 위치를 정하기 위한 기준점으로서 사용될 수 있다. 원위 세그먼트(702)에 15개의 척추골이 있다고 가정하면, n번째 척추골의 중심은 원위 세그먼트를 따라 있는 중간 지점에 있게 될 것이다. 원위 세그먼트(702)가 제2 굴곡면
Figure 112021059966686-pat00130
에서 굴곡되는 각도는
Figure 112021059966686-pat00131
이다. 따라서, n번째 척추골의 중간 지점은 제3 위치(706)에 대해 하기와 같이 산출될 수 있다:
Figure 112021059966686-pat00132
.
따라서, 제3 위치(706)로부터 n번째 척추골 위치까지의 벡터를 정하고 이를 벡터
Figure 112021059966686-pat00133
에 더함으로써, 수술 작업 공간 내의 원위 세그먼트(702)의 n번째 척추골의 이론적 위치(절대항)에 이를 수 있다. 이 과정을 원위 세그먼트(702)의 15개 척추골 각각에 대해 반복하여, 고정 슬레이브 기준 위치(552)에 대한, 위치결정 장치 작업 공간에서의 각 척추골 중간 지점의 이론적 위치를 절대항으로 구하게 된다.
제4 위치(710)의 자리는 위의 식 6a, 식 6b 및 식 6c에 제시된 벡터 성분들을 가진 제3 위치(706)에 대한 벡터
Figure 112021059966686-pat00134
로부터 정해질 수 있다. 상기 벡터
Figure 112021059966686-pat00135
를 고정 슬레이브 기준 위치(552)로부터 제3 위치(234)까지의 벡터
Figure 112021059966686-pat00136
에 더함으로써, 수술 작업 공간 내의 고정 슬레이브 기준 위치에 대한 제4 위치의 이론적 위치(절대항)에 이르게 된다.
끝으로, 엔드 이펙터 위치(560)의 이론적 위치는 위의 식 7a, 식 7b 및 식 7c에 제시된 벡터 성분 관계에 따라 제4 위치(710)에 대한 벡터
Figure 112021059966686-pat00137
로서 정해질 수 있다. 제4 위치(710)로부터 엔드 이펙터 위치(550)까지의 벡터를 벡터
Figure 112021059966686-pat00138
에, 그리고 고정 슬레이브 기준 위치(552)로부터의 벡터
Figure 112021059966686-pat00139
에 더함으로써, 고정 슬레이브 기준 위치에 대한 엔드 이펙터 위치(560)의 이론적 위치(절대항)에 이르게 된다.
블록(746)에서 위치결정 장치(209)를 따른 각각의 기준 위치가 처리되었다면, 위치결정 장치(209) 및 엔드 이펙터(210)를 따른 복수 지점의 자리가 정해졌을 것이며, 이로써 수술 작업 공간에서의 기구(208)의 3차원 공간 배치를 정의하게 된다.
그 후, 프로세스(308)는 블록(748)으로 계속 진행되어, 위치결정 장치(208)의 현재 3차원 공간 위치의 2차원 투영을 생성하도록 마이크로프로세서(250)에 지시하여, 도 5의 그래픽 묘사(136)에 예시된 위치결정 장치를 나타내는 영역(412)을 생성한다. 블록(748)는 또한 엔드 이펙터(210)의 현재 3차원 공간 위치의 2차원 투영을 생성하도록 마이크로프로세서(250)에 지시하여, 도 5에 예시된 엔드 이펙터를 나타내는 표시부(408)를 생성한다. 일 실시예에서는, xν-yν 평면과 정렬되는 (즉, zν 축에 수직인) 평면을 위한 평면 표현(136)을 생성하고, 위치결정 장치(209) 및 엔드 이펙터(210)를 따른 각 중간 지점의 위치의 xν 성분 및 yν 성분으로부터 (즉, zν 성분은 0에 설정됨) 투영을 생성한다.
이어서 프로세스(308)는 블록(750)으로 계속 진행되어, 위치결정 장치(209)의 어느 한 투영된 부분이 도 5에서의 경계(406)에 근접한지(위치결정 장치(209)의 추가 이동에 대한 제약이 능동적인지 나타냄) 여부를 판단하도록 마이크로프로세서(250)에 지시한다. 블록(750)은 또한 엔드 이펙터(210)의 어느 한 투영된 부분이 경계(402)에 근접한지 여부를 판단하도록 마이크로프로세서(250)에 지시한다. 이들 조건 중 어느 하나가 검출되면, 블록(750)은 마이크로프로세서(250)를 블록(752)으로 진행시킨다.
블록(752)은 마이크로프로세서(250)에 지시하여 능동적 제약 경고가 발생되도록 한다. 일 실시예에 의하면, 경계(402 또는 406)의 색상 또는 디스플레이된 강도를 변경하거나 디스플레이(122) 상에 경고 심볼을 디스플레이하는 등으로 시각적 경고를 발생할 수 있다. 대안으로, 이러한 경고는 표시부(412 및 414)의 자리에 오버레이되는 그래픽 묘사(136 및 138)로 디스플레이될 수 있다. 다른 실시예에 의하면, 청각적 경고가 발생될 수도 있다. 선택적으로 또는 부가적으로, 마이크로프로세서(250)는 입력 장치(110)로 하여금 핸드 컨트롤러(112)를 통해 촉각적 피드백을 생성하도록 만들 수 있다. 그런 후 블록(752)은 마이크로프로세서(250)를 다시 도 4의 블록(302)으로 진행시킨다.
블록(750)에서 위치결정 장치(209) 및 엔드 이펙터(210)가 임의의 경계에 근접하지 않았다면, 마이크로프로세서(250)는 다시 도 4의 블록(302)으로 진행된다.
깊이
도 5에 예시된 기구 깊이 범위(416) 묘사는 다음과 같이 생성된다. 깊이 범위는 도 6에 예시된 축(492)을 따라 취해지며, 범위의 끝부분(424)은 영역(488) 내의 엔드 이펙터(210)의 최대 깊이(494)에 상응한다. 기구 깊이 범위(416)의 끝부분(426)은 영역(488) 내의 엔드 이펙터(210)의 최소 깊이(496)에 상응한다. 유사하게 입력 장치 깊이 범위(432)는 축(492)을 따른 빗금친 영역(482)의 부분에 상응한다. 현재 깊이 표시부(420)는 엔드 이펙터 위치(560)의 z 값에 상응하는 자리에서 기구 깊이 범위(416) 상에 위치된다. 일 실시예에서, 마이크로프로세서(250)는 엔드 이펙터(210)가 입력 장치 깊이 범위의 어느 한 끝부분(424 또는 426)에 근접할 때 능동적 제약 표시가 생성되도록 할 수 있다. 경고는 청각적 경고, 디스플레이(122) 상에 디스플레이되는 시각적 경고, 또는 우측 입력 장치(116) 및 핸드 컨트롤러(112)를 통한 촉각적 피드백의 형태를 취할 수 있다. 기구 깊이 범위(418)는 좌측기구(212)에 대해서도 유사하게 생성된다.
회전
도 5에 예시된 기구 회전 범위(440)는 구성 변수
Figure 112021059966686-pat00140
(즉, 도 11에 예시된 바와 같이, z2 축을 중심으로 한 엔드 이펙터(210)의 회전)로부터 생성된다. "△" 표시부는 엔드 이펙터(210)의 현재 회전 각
Figure 112021059966686-pat00141
을 나타내며, 이때 수직선(444)은 대체로 비-회전 위치에 유지되어 있는 오른손 컨트롤러(112)에 상응하는 기준으로 여겨진다. 기구 회전 범위(440)는 핸드 컨트롤러(112)에 의해 제공되는 회전 범위의 크기(extent)에 상응하는 크기를 가진다. 기구 회전 범위(440)는 또한 입력 장치 작업 공간과 수술 작업 공간 간의 매핑에 따라 오프셋될 수 있다. 예를 들어, 발판 스위치(134)가 눌려진 후, 핸드 컨트롤러(112)는 발판 스위치(134)를 해제하기 전에 회전되어, 도 5에 예시된 바와 같이 작동 회전 범위를 오프셋할 수 있다.
위치결정 장치의 능동적 제약
전술한 바와 같이 산출된 우측 기구(208)의 위치결정 장치(209)의 중간 위치는 (도 5에서 참조번호 484로 예시된) 수술 작업 공간 내의 기구(208)의 위치결정 장치(209)의 3차원 위치를 정의한다. 척추골(550)의 각각의 중간 자리에 대해, 마이크로프로세서(250)는 그 자리가 수술 작업 공간(484)의 3차원 경계면(485)의 일부에 근접한지 판단한다. 기구(208 및 212)의 위치결정 장치(209)의 위치들에 대한 그래픽 묘사 예들을 도 14에 예시하였다. 도 14를 참조하면, 첫 번째 예(800)는 삽입 후 시작 위치에 있는 기구(208 및 212)에 대한 그래픽 묘사(136 및 138)를 예시하며, 여기서 위치결정 장치(209 및 213)는 기구의 측면도에 예시한 것처럼 이들 묘사의 좌측으로 실질적으로 직선형의 위치에 있게 된다. 그래픽 묘사(136 및 138)는 위치결정 장치(209 및 213)를 중앙에 놓인 각각의 도트로 나타낸다.
다음 예(802)에서, 위치결정 장치(209)는 위로 이동되었고 위치결정 장치(213)는 아래로 이동되었으며, 참조번호 804에서의 중간 자리들은 마이크로프로세서(250)에 의해 경계면(485)에 근접한 상부 부분 및 하부 부분이 되도록 정해졌다. 기구(208 및 212)를 나타내는 도트는 경계에 근접한 위치에 도시되었다. 외과 의사에게 상태를 표시하게 위해 눈에 띄는 색으로 경계 부분들을 채색하는 등으로 경고를 발생할 수 있다.
위치결정 장치(209 및 213)에 주어지는 좌측/우측 제한의 일 예를 참조번호 806에 예시하였다. 참조번호 808으로 도시한 예에서, 위치결정 장치(209 및 213)는 대체적으로 본 예(806)에서와 같이 위치되어 있지만, 엔드 이펙터(210 및 214)는 바깥쪽으로 방향을 틀고 있다. 엔드 이펙터(210 및 214)는 도 5에 예시된 영역(488)의 경계면(489)에 인접하여 자리하며, 표시부(408 및 410)로 각각 묘사된다. 위치결정 장치(209 및 210)는 영역(412 및 414)으로 각각 표현된다. 외과 의사에게 상태를 표시하게 위해 경계면(489)의 눈에 띄게 채색된 영역으로서 경고를 발생 및 묘사할 수 있다.
예(810)는 엔드 이펙터 표시부(408 및 410) 및 영역(412 및 414)을 눈으로 볼 수 있도록 약간 방향을 튼 기구(208 및 212)를 예시한다. 예(812)에서, 엔드 이펙터(210 및 214)는 안쪽으로 계속 방향을 튼 상태인 한편, 위치결정 장치(209 및 213)는 814에 예시한 것처럼 상부 한계와 하부 한계에 이르렀다. 예(816)에서, 엔드 이펙터(210 및 214)는 바깥쪽으로 방향을 틀었고, 3차원 경계면(489)의 상부 부분과 하부 부분 각각에 근접해 있다. 마지막 예(818), 위치결정 장치 이동에 대한 좌/우 한계에 관해, 예(812)에 도시된 유사한 상황이 예시되었다.
특정 실시예들이 설명되고 예시되었지만, 이러한 실시예들은 단지 본 발명을 설명하기 위한 것으로 간주되어야 하며, 첨부된 청구 범위에 따라 해석되는 본 발명을 제한하는 것으로 간주되어서는 안 된다.

Claims (9)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 로봇 수술 장치에 있어서,
    상기 로봇 수술 장치는,
    입력 장치 작업 공간 내에서 사용자에 의해 이동되도록 구성된 핸드 컨트롤러를 포함하는 적어도 하나의 입력 장치 - 상기 핸드 컨트롤러의 이동에 의해 수술 작업 공간 내 수술 기구의 위치 변경이 유발됨 -;
    상기 수술 작업 공간의 그래픽 묘사를 보여주도록 구성된 디스플레이; 및
    상기 적어도 하나의 입력 장치 및 상기 디스플레이와 통신하는 프로세서;
    를 포함하며,
    상기 프로세서는,
    상기 입력 장치 작업 공간 내 핸드 컨트롤러의 현재 위치에 응답하여 상기 수술 작업 공간 내에서 상기 수술 기구의 현재 3차원 공간 위치를 결정하도록 구성되고,
    상기 수술 작업 공간으로의 상기 수술 기구의 축 방향 이동에 대한 제한을 표시하는 기구 깊이 범위를 결정하도록 구성되며,
    상기 수술 기구의 현재 3차원 공간 위치에 기반하여 상기 기구 깊이 범위 내에서의 상기 수술 기구의 엔드 이펙터의 현재 깊이를 결정하도록 구성되고,
    상기 입력 장치 작업 공간과 상기 수술 작업 공간 간의 현재 매핑에 기반하여 상기 수술 기구에 액세스할 수 있는 기구 깊이 범위의 일부를 나타내는 입력 장치 깊이 범위를 결정하도록 구성되며,
    상기 입력 장치 작업 공간은 상기 수술 기구에 액세스할 수 있는 상기 기구 깊이 범위의 제한 범위를 한정하고,
    상기 프로세서는,
    상기 디스플레이로 하여금 상기 수술 작업 공간의 그래픽 묘사를 디스플레이하게 하도록 구성되며,
    상기 그래픽 묘사는 상기 기구 깊이 범위, 상기 기구 깊이 범위 내에서의 상기 엔드 이펙터의 현재 깊이를 나타내는 표시부(indicator), 및 상기 입력 장치 깊이 범위를 포함하고,
    상기 적어도 하나의 입력 장치는,
    제1 입력 장치 작업 공간 내에서 사용자에 의해 이동되도록 구성된 제1 핸드 컨트롤러를 포함하는 제1 입력 장치 - 상기 제1 핸드 컨트롤러의 이동으로 상기 수술 작업 공간 내 제1 수술 기구의 위치 변경이 유발됨 -; 및
    제2 입력 장치 작업 공간 내에서 사용자에 의해 이동되도록 구성된 제2 핸드 컨트롤러를 포함하는 제2 입력 장치 - 상기 제2 핸드 컨트롤러의 이동으로 상기 수술 작업 공간 내 제2 수술 기구의 위치 변경이 유발됨 -;
    를 포함하고,
    상기 프로세서는,
    상기 제1 입력 장치 작업 공간 내 제1 핸드 컨트롤러의 현재 위치에 응답하여 상기 수술 작업 공간 내에서 상기 제1 수술 기구의 제1 현재 3차원 공간 위치를 결정하도록 구성되고,
    상기 제2 입력 장치 작업 공간 내 제2 핸드 컨트롤러의 현재 위치에 응답하여 상기 수술 작업 공간 내에서 상기 제2 수술 기구의 제2 현재 3차원 공간 위치를 결정하도록 구성되며,
    상기 수술 작업 공간으로의 상기 제1 수술 기구의 축 방향 이동에 대한 제한을 표시하는 제1 기구 깊이 범위를 결정하도록 구성되고,
    상기 수술 작업 공간으로의 상기 제2 수술 기구의 축 방향 이동에 대한 제한을 표시하는 제2 기구 깊이 범위를 결정하도록 구성되며,
    상기 제1 수술 기구의 제1 현재 3차원 공간 위치에 기반하여 상기 제1 기구 깊이 범위 내에서의 상기 제1 수술 기구의 제1 엔드 이펙터의 제1 현재 깊이를 결정하도록 구성되고,
    상기 제2 수술 기구의 제2 현재 3차원 공간 위치에 기반하여 상기 제2 기구 깊이 범위 내에서의 상기 제2 수술 기구의 제2 엔드 이펙터의 제2 현재 깊이를 결정하도록 구성되며,
    상기 제1 입력 장치 작업 공간과 상기 수술 작업 공간 간의 현재 매핑에 기반하여 상기 제1 수술 기구에 액세스할 수 있는 제1 기구 깊이 범위의 일부를 나타내는 제1 입력 장치 깊이 범위를 결정하도록 구성되고,
    상기 제1 입력 장치 작업 공간은 상기 제1 수술 기구에 액세스할 수 있는 상기 제1 기구 깊이 범위의 제한 범위를 한정하며,
    상기 프로세서는,
    상기 제2 입력 장치 작업 공간과 상기 수술 작업 공간 간의 현재 매핑에 기반하여 상기 제2 수술 기구에 액세스할 수 있는 제2 기구 깊이 범위의 일부를 나타내는 제2 입력 장치 깊이 범위를 결정하도록 구성되고,
    상기 제2 입력 장치 작업 공간은 상기 제2 수술 기구에 액세스할 수 있는 상기 제2 기구 깊이 범위의 제한 범위를 한정하며,
    상기 프로세서는,
    상기 디스플레이로 하여금 상기 수술 작업 공간의 그래픽 묘사를 디스플레이하게 하도록 구성되며,
    상기 그래픽 묘사는 상기 제1 및 제2 기구 깊이 범위들, 상기 제1 기구 깊이 범위 내에서의 상기 제1 엔드 이펙터의 제1 현재 깊이를 나타내는 제1 표시부, 상기 제2 기구 깊이 범위 내에서의 상기 제2 엔드 이펙터의 제2 현재 깊이를 나타내는 제2 표시부, 및 상기 제1 및 제2 입력 장치 깊이 범위들을 포함하는, 로봇 수술 장치.
  5. 제4항에 있어서,
    상기 그래픽 묘사는 상기 디스플레이의 제1 측면 상에 묘사되는, 상기 제1 기구 깊이 범위, 상기 제1 표시부, 및 상기 제1 입력 장치 깊이 범위 및 상기 디스플레이의 제1 측면 반대편인 상기 디스플레이의 제2 측면 상에 묘사되는, 상기 제2 기구 깊이 범위, 상기 제2 표시부, 및 상기 제2 입력 장치 깊이 범위를 보여주는, 로봇 수술 장치.
  6. 제4항에 있어서,
    상기 그래픽 묘사는 제1 수직 바로서 상기 제1 기구 깊이 범위를 보여주고 상기 제1 수직 바 상의 서로 다른 색상의 영역으로서 상기 제1 입력 장치 깊이 범위를 보여주며,
    상기 그래픽 묘사는 제2 수직 바로서 상기 제2 기구 깊이 범위를 보여주고 상기 제2 수직 바 상의 서로 다른 색상의 영역으로서 상기 제2 입력 장치 깊이 범위를 보여주는, 로봇 수술 장치.
  7. 제4항에 있어서,
    상기 그래픽 묘사는 제1 도트로서 상기 제1 기구 깊이 범위 내에서의 상기 제1 엔드 이펙터의 제1 현재 깊이를 나타내는 제1 표시부를 보여주고,
    상기 그래픽 묘사는 제2 도트로서 상기 제2 기구 깊이 범위 내에서의 상기 제2 엔드 이펙터의 제2 현재 깊이를 나타내는 제2 표시부를 보여주는, 로봇 수술 장치.
  8. 삭제
  9. 삭제
KR1020217015792A 2016-01-19 2017-01-19 로봇 수술 시스템용 그래픽 사용자 인터페이스 KR102518492B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662280334P 2016-01-19 2016-01-19
US62/280,334 2016-01-19
KR1020187023785A KR102258511B1 (ko) 2016-01-19 2017-01-19 로봇 수술 시스템용 그래픽 사용자 인터페이스
PCT/CA2017/000011 WO2017124177A1 (en) 2016-01-19 2017-01-19 Graphical user interface for a robotic surgical system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187023785A Division KR102258511B1 (ko) 2016-01-19 2017-01-19 로봇 수술 시스템용 그래픽 사용자 인터페이스

Publications (2)

Publication Number Publication Date
KR20210064404A KR20210064404A (ko) 2021-06-02
KR102518492B1 true KR102518492B1 (ko) 2023-04-05

Family

ID=59361084

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217015792A KR102518492B1 (ko) 2016-01-19 2017-01-19 로봇 수술 시스템용 그래픽 사용자 인터페이스
KR1020187023785A KR102258511B1 (ko) 2016-01-19 2017-01-19 로봇 수술 시스템용 그래픽 사용자 인터페이스

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187023785A KR102258511B1 (ko) 2016-01-19 2017-01-19 로봇 수술 시스템용 그래픽 사용자 인터페이스

Country Status (8)

Country Link
US (2) US11504191B2 (ko)
EP (1) EP3380033A4 (ko)
JP (2) JP6653387B2 (ko)
KR (2) KR102518492B1 (ko)
CN (3) CN113456233A (ko)
AU (2) AU2017210349B2 (ko)
CA (1) CA3010896A1 (ko)
WO (1) WO2017124177A1 (ko)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8663220B2 (en) 2009-07-15 2014-03-04 Ethicon Endo-Surgery, Inc. Ultrasonic surgical instruments
US11090104B2 (en) 2009-10-09 2021-08-17 Cilag Gmbh International Surgical generator for ultrasonic and electrosurgical devices
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US9408622B2 (en) 2012-06-29 2016-08-09 Ethicon Endo-Surgery, Llc Surgical instruments with articulating shafts
US10751108B2 (en) 2015-09-30 2020-08-25 Ethicon Llc Protection techniques for generator for digitally generating electrosurgical and ultrasonic electrical signal waveforms
US10595930B2 (en) 2015-10-16 2020-03-24 Ethicon Llc Electrode wiping surgical device
US11229471B2 (en) 2016-01-15 2022-01-25 Cilag Gmbh International Modular battery powered handheld surgical instrument with selective application of energy based on tissue characterization
US10779849B2 (en) 2016-01-15 2020-09-22 Ethicon Llc Modular battery powered handheld surgical instrument with voltage sag resistant battery pack
JP6653387B2 (ja) * 2016-01-19 2020-02-26 タイタン メディカル インコーポレイテッドTitan Medical Inc. ロボット手術システムのためのグラフィカルユーザインタフェース
US11007029B2 (en) * 2016-01-19 2021-05-18 Titan Medical Inc. Method and apparatus for positioning a workstation for controlling a robotic system
US10456193B2 (en) 2016-05-03 2019-10-29 Ethicon Llc Medical device with a bilateral jaw configuration for nerve stimulation
CN107297399B (zh) * 2017-08-08 2018-10-16 南京埃斯顿机器人工程有限公司 一种机器人自动寻找折弯位置的方法
US10980560B2 (en) 2017-10-30 2021-04-20 Ethicon Llc Surgical instrument systems comprising feedback mechanisms
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11399858B2 (en) 2018-03-08 2022-08-02 Cilag Gmbh International Application of smart blade technology
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US10058396B1 (en) 2018-04-24 2018-08-28 Titan Medical Inc. System and apparatus for insertion of an instrument into a body cavity for performing a surgical procedure
US11298130B2 (en) 2019-02-19 2022-04-12 Cilag Gmbh International Staple cartridge retainer with frangible authentication key
US10939970B2 (en) 2019-05-22 2021-03-09 Titan Medical Inc. Robotic surgery system
US20220211270A1 (en) * 2019-05-23 2022-07-07 Intuitive Surgical Operations, Inc. Systems and methods for generating workspace volumes and identifying reachable workspaces of surgical instruments
USD940736S1 (en) 2019-11-20 2022-01-11 Titan Medical Inc. Display screen or portion thereof with a graphical user interface
US11950797B2 (en) 2019-12-30 2024-04-09 Cilag Gmbh International Deflectable electrode with higher distal bias relative to proximal bias
US11660089B2 (en) 2019-12-30 2023-05-30 Cilag Gmbh International Surgical instrument comprising a sensing system
US11812957B2 (en) 2019-12-30 2023-11-14 Cilag Gmbh International Surgical instrument comprising a signal interference resolution system
US11707318B2 (en) 2019-12-30 2023-07-25 Cilag Gmbh International Surgical instrument with jaw alignment features
US11937866B2 (en) 2019-12-30 2024-03-26 Cilag Gmbh International Method for an electrosurgical procedure
US11696776B2 (en) 2019-12-30 2023-07-11 Cilag Gmbh International Articulatable surgical instrument
US11723716B2 (en) 2019-12-30 2023-08-15 Cilag Gmbh International Electrosurgical instrument with variable control mechanisms
US11779387B2 (en) 2019-12-30 2023-10-10 Cilag Gmbh International Clamp arm jaw to minimize tissue sticking and improve tissue control
EP4084719B1 (en) * 2019-12-30 2024-01-31 Intuitive Surgical Operations, Inc. Systems for indicating approach to an anatomical boundary
US11779329B2 (en) 2019-12-30 2023-10-10 Cilag Gmbh International Surgical instrument comprising a flex circuit including a sensor system
US11937863B2 (en) 2019-12-30 2024-03-26 Cilag Gmbh International Deflectable electrode with variable compression bias along the length of the deflectable electrode
US20210196359A1 (en) * 2019-12-30 2021-07-01 Ethicon Llc Electrosurgical instruments with electrodes having energy focusing features
US11944366B2 (en) 2019-12-30 2024-04-02 Cilag Gmbh International Asymmetric segmented ultrasonic support pad for cooperative engagement with a movable RF electrode
US11786291B2 (en) 2019-12-30 2023-10-17 Cilag Gmbh International Deflectable support of RF energy electrode with respect to opposing ultrasonic blade
US11786294B2 (en) 2019-12-30 2023-10-17 Cilag Gmbh International Control program for modular combination energy device
JP2022088805A (ja) 2020-12-03 2022-06-15 株式会社メディカロイド ロボット手術システムおよび表示方法
DE202021102512U1 (de) 2021-05-07 2022-05-10 Deutsches Zentrum für Luft- und Raumfahrt e.V. Robotisches Telemanipulationssystem mit adaptierbarem Autonomiegrad, Verwendung eines robotischen Telemanipulationssystems, autonomes medizinisches Robotersystem
WO2023126770A1 (en) * 2021-12-28 2023-07-06 Auris Health, Inc. Offscreen indicator viewer user interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002253574A (ja) * 2001-03-01 2002-09-10 Hitachi Ltd 手術支援装置
JP2007527296A (ja) 2004-03-05 2007-09-27 ハンセン メディカル,インク. ロボットガイドカテーテルシステム
JP2014097431A (ja) 2009-03-31 2014-05-29 Intuitive Surgical Operations Inc 手術ロボットの合成表現
JP2015502180A (ja) * 2011-09-02 2015-01-22 ストライカー・コーポレイション ハウジングから延びる切断アクセサリ及びハウジングに対する切断アクセサリの位置を確立するアクチュエータを備える手術器具
JP2016007277A (ja) 2014-06-23 2016-01-18 公立大学法人公立はこだて未来大学 手術支援装置および手術支援システム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5662111A (en) * 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US5279309A (en) * 1991-06-13 1994-01-18 International Business Machines Corporation Signaling device and method for monitoring positions in a surgical operation
US7789875B2 (en) 1998-02-24 2010-09-07 Hansen Medical, Inc. Surgical instruments
JP2001104333A (ja) * 1999-10-07 2001-04-17 Hitachi Ltd 手術支援装置
AU2002351078A1 (en) 2001-12-07 2003-06-17 Koninklijke Philips Electronics N.V. Medical viewing system and method for spatially enhancing structures in noisy images
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US7660623B2 (en) 2003-01-30 2010-02-09 Medtronic Navigation, Inc. Six degree of freedom alignment display for medical procedures
CA2460119A1 (en) * 2004-03-04 2005-09-04 Orthosoft Inc. Graphical user interface for computer-assisted surgery
US8052636B2 (en) * 2004-03-05 2011-11-08 Hansen Medical, Inc. Robotic catheter system and methods
US10258285B2 (en) 2004-05-28 2019-04-16 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic surgical system and method for automated creation of ablation lesions
EP2289454B1 (en) 2005-06-06 2020-03-25 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US9266239B2 (en) * 2005-12-27 2016-02-23 Intuitive Surgical Operations, Inc. Constraint based control in a minimally invasive surgical apparatus
US9089256B2 (en) * 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US8317745B2 (en) 2008-03-27 2012-11-27 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter rotatable device cartridge
AU2009260153B2 (en) * 2008-06-18 2015-07-02 Engineering Services Inc. MRI compatible robot with calibration phantom and phantom
US8594841B2 (en) 2008-12-31 2013-11-26 Intuitive Surgical Operations, Inc. Visual force feedback in a minimally invasive surgical procedure
US20100198200A1 (en) * 2009-01-30 2010-08-05 Christopher Horvath Smart Illumination for Surgical Devices
US8418073B2 (en) * 2009-03-09 2013-04-09 Intuitive Surgical Operations, Inc. User interfaces for electrosurgical tools in robotic surgical systems
US20140005678A1 (en) 2012-06-28 2014-01-02 Ethicon Endo-Surgery, Inc. Rotary drive arrangements for surgical instruments
EP2754383B1 (en) 2013-01-10 2021-03-10 TransEnterix Europe Sàrl Device and method for assisting laparoscopic surgery - rule based approach
ES2804681T3 (es) * 2013-02-04 2021-02-09 Childrens Nat Medical Ct Sistema robótico quirúrgico de control híbrido
AU2014248758B2 (en) * 2013-03-13 2018-04-12 Stryker Corporation System for establishing virtual constraint boundaries
EP2928408B1 (en) 2013-03-15 2019-03-06 St. Jude Medical International Holding S.à r.l. Medical device navigation system
US9592095B2 (en) 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
WO2014194167A1 (en) * 2013-05-31 2014-12-04 University Of Washington Through Its Center For Commercialization Surgery pathway guidance and boundary system
CN105167793B (zh) 2014-06-11 2018-10-09 佳能株式会社 图像显示装置、显示控制装置及显示控制方法
US10123846B2 (en) * 2014-11-13 2018-11-13 Intuitive Surgical Operations, Inc. User-interface control using master controller
JP6653387B2 (ja) * 2016-01-19 2020-02-26 タイタン メディカル インコーポレイテッドTitan Medical Inc. ロボット手術システムのためのグラフィカルユーザインタフェース

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002253574A (ja) * 2001-03-01 2002-09-10 Hitachi Ltd 手術支援装置
JP2007527296A (ja) 2004-03-05 2007-09-27 ハンセン メディカル,インク. ロボットガイドカテーテルシステム
JP2014097431A (ja) 2009-03-31 2014-05-29 Intuitive Surgical Operations Inc 手術ロボットの合成表現
JP2015502180A (ja) * 2011-09-02 2015-01-22 ストライカー・コーポレイション ハウジングから延びる切断アクセサリ及びハウジングに対する切断アクセサリの位置を確立するアクチュエータを備える手術器具
JP2016007277A (ja) 2014-06-23 2016-01-18 公立大学法人公立はこだて未来大学 手術支援装置および手術支援システム

Also Published As

Publication number Publication date
EP3380033A4 (en) 2018-12-26
CN108463184B (zh) 2021-08-13
JP2020062521A (ja) 2020-04-23
US11504191B2 (en) 2022-11-22
CN113456233A (zh) 2021-10-01
US20230200918A1 (en) 2023-06-29
WO2017124177A1 (en) 2017-07-27
JP2019500945A (ja) 2019-01-17
US20180353245A1 (en) 2018-12-13
CA3010896A1 (en) 2017-07-27
KR102258511B1 (ko) 2021-05-31
AU2020201255B2 (en) 2020-08-13
CN108463184A (zh) 2018-08-28
AU2017210349A1 (en) 2018-06-21
CN113456232A (zh) 2021-10-01
KR20210064404A (ko) 2021-06-02
AU2017210349B2 (en) 2019-12-12
EP3380033A1 (en) 2018-10-03
KR20180104047A (ko) 2018-09-19
JP6765021B2 (ja) 2020-10-07
JP6653387B2 (ja) 2020-02-26
AU2020201255A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
KR102518492B1 (ko) 로봇 수술 시스템용 그래픽 사용자 인터페이스
US20210045839A1 (en) Methods and apparatuses for positioning a camera of a surgical robotic system to capture images inside a body cavity of a patient during a medical procedure
JP7454863B2 (ja) 医療手術のためのナビゲーションシステム及び方法
CA2896381C (en) Intelligent positioning system and methods therefore
EP3243476B1 (en) Systems and devices for catheter driving instinctiveness
CN110279427B (zh) 图像采集装置和可操纵装置活动臂受控运动过程中的碰撞避免
EP1937176B1 (en) Auxiliary image display and manipulation on a computer display in a medical robotic system
KR20230029999A (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법
KR20230003408A (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별을 위한 시스템 및 방법
JP7469120B2 (ja) ロボット手術支援システム、ロボット手術支援システムの作動方法、及びプログラム
WO2022159229A1 (en) Service life management for an instrument of a robotic surgery system
CA2948719A1 (en) Intelligent positioning system and methods therefore
KR102225448B1 (ko) 능동 조향 카테터를 조작하기 위한 마스터 장치 및 능동 조향 카테터와 마스터 장치의 양방향 제어가 가능한 카테터 시스템
US20220401088A1 (en) Method for controlling an articulating instrument
WO2023052881A1 (en) Real-time 3d robotic status

Legal Events

Date Code Title Description
A107 Divisional application of patent
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)