KR20200074916A - 원격조작을 위한 마스터/슬레이브 정합 및 제어 - Google Patents

원격조작을 위한 마스터/슬레이브 정합 및 제어 Download PDF

Info

Publication number
KR20200074916A
KR20200074916A KR1020197038202A KR20197038202A KR20200074916A KR 20200074916 A KR20200074916 A KR 20200074916A KR 1020197038202 A KR1020197038202 A KR 1020197038202A KR 20197038202 A KR20197038202 A KR 20197038202A KR 20200074916 A KR20200074916 A KR 20200074916A
Authority
KR
South Korea
Prior art keywords
coordinate system
reference coordinate
end effector
display
orientation
Prior art date
Application number
KR1020197038202A
Other languages
English (en)
Other versions
KR102583530B1 (ko
Inventor
사이먼 피. 디마이오
제라드 제이. 라본빌
콜린 엠. 티어링
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority to KR1020237032605A priority Critical patent/KR20230142642A/ko
Publication of KR20200074916A publication Critical patent/KR20200074916A/ko
Application granted granted Critical
Publication of KR102583530B1 publication Critical patent/KR102583530B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/02—Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/12—Surgical instruments, devices or methods, e.g. tourniquets for ligaturing or otherwise compressing tubular parts of the body, e.g. blood vessels, umbilical cord
    • A61B17/128—Surgical instruments, devices or methods, e.g. tourniquets for ligaturing or otherwise compressing tubular parts of the body, e.g. blood vessels, umbilical cord for applying or removing clamps or clips
    • A61B17/1285—Surgical instruments, devices or methods, e.g. tourniquets for ligaturing or otherwise compressing tubular parts of the body, e.g. blood vessels, umbilical cord for applying or removing clamps or clips for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28—Surgical forceps
    • A61B17/29—Forceps for use in minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/320068—Surgical cutting instruments using mechanical vibrations, e.g. ultrasonic
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/3201—Scissors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00595—Cauterization
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/741—Glove like input devices, e.g. "data gloves"
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/742—Joysticks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2217/00—General characteristics of surgical instruments
    • A61B2217/002—Auxiliary appliance
    • A61B2217/005—Auxiliary appliance with suction drainage system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2217/00—General characteristics of surgical instruments
    • A61B2217/002—Auxiliary appliance
    • A61B2217/007—Auxiliary appliance with irrigation system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/71—Manipulators operated by drive cable mechanisms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40174—Robot teleoperation through internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Abstract

원격조작 시스템은 디스플레이, 마스터 입력 장치 및 제어 시스템을 포함한다. 제어 시스템은 시계 기준 좌표계에 대한 엔드 이펙터 기준 좌표계의 방위를 결정하고, 디스플레이 기준 좌표계에 대한 마스터 입력 장치 기준 좌표계의 방위를 결정하고, 마스터 입력 장치 기준 좌표계와 디스플레이 기준 좌표계 간의 얼라인먼트 관계를 정립하고, 얼라인먼트 관계에 기초하여 마스터 입력 장치의 자세의 변경에 응답하는 엔드 이펙터의 자세의 변경을 명령하도록 구성된다. 얼라인먼트 관계는 마스터 입력 장치 기준 좌표계와 디스플레이 기준 좌표계 간의 위치 관계와 무관하다. 하나의 양태에서, 원격조작 시스템은 원격수술 시스템과 같은 원격의료 시스템이다.

Description

원격조작을 위한 마스터/슬레이브 정합 및 제어
관련 출원에 대한 상호 참조
본 출원은 그 전체 내용이 본원에 참조로 포함되는 2017년 11월 16일자로 출원된 미국 가출원 제62/587,175호의 우선권을 주장한다.
저작권 고지
이 특허 문헌의 개시의 일부는 저작권 보호를 받는 자료를 담고 있다. 그 저작권 소유자는 미국 특허상표청 특허 파일 또는 기록에 나타난 것처럼 특허 문서 또는 특허 개시물 중의 어떤 것에 의한 복제(facsimile reproduction)에 대해서는 반대하지 않지만, 그 외에는 어떠한 경우에도 모든 저작권을 그대로 갖는다.
발명의 분야
본 개시는 대체로 원격조작 시스템(teleoperated system)에 관한 것이며, 보다 상세하게는 원격조작 시스템에서의 공간 정합(spatial registration) 및 제어에 관한 것이다.
원격조작 시스템의 예는 산업 시스템 및 레크리에이션 시스템을 포함한다. 원격조작 시스템의 예는 또한 진단, 비수술적 치료, 수술적 치료 등의 절차에 사용되는 의료용 원격조작 시스템도 포함한다. 원격수술 또는 다른 원격의료 절차에 사용 가능한 원격조작 로봇 의료 시스템은 하나 이상의 원격 제어 가능 로봇 매니퓰레이터를 포함할 수 있다. 일부 구현예에서, 원격 제어 가능 로봇 매니퓰레이터는 또한 수동식으로 관절운동하거나 이동하게 되도록 구성될 수 있다.
최소 침습 로봇 원격수술 시스템은 외과의가 직접 손으로 기기를 잡고 운동시키는 대신 어떤 유형의 기기 운동의 원격 제어를 이용하여 환자에 대해 수술 절차를 실행할 수 있게 해주는 원격조작 시스템의 특정 예이다. 최소 침습 수술을 실행하기 위해 적어도 부분적인 컴퓨터 제어하의 로봇 기술을 편입시킨 수술 시스템이 최소 침습 수술의 이점을 확장시켰다. 예를 들어, 수동 조작되는 최소 침습 수술 툴로는 어렵거나 불가능한 특정 수술 절차는 그러한 수술 시스템을 사용으로 가능해 질 수 있다. 그러한 수술 시스템의 한 예가 미국 캘리포니아주 서니베일의 인튜어티브 서지컬 인코퍼레이티드(Intuitive Surgical, Inc.)에 의해 상용화된 da Vinci® 수술 시스템이다.
마스터 입력 장치("마스터 제어 장치" 또는 "마스터 장치"라고도 함)와 기존의 원격조작 시스템의 대응하는 툴 간의 필요한 제어 관계를 정립하기 위해, 마스터 제어 장치와 툴의 기구학적 자세가 3차원(3D) 공간에서 결정된다. 인튜어티브 서지컬에서 상용화된 da Vinci Xi® 수술 시스템에서는, 환자측 유닛이 툴의 자세가 결정되는 것을 가능하게 해주는 알려지고 정의된 기구학적 구조를 제공한다. 마찬가지로, 외과의 콘솔이 그것을 기초로 마스터 입력 장치 자세가 결정될 수 있는 알려지고 정의된 기구학적 구조를 제공한다. 새로운 원격조작 시스템 아키텍처(architecture)는 툴들 간의 기구학적 관계를 결정하는 데 사용될 수 있는 툴들에 공통인 단일의 기계적 베이스가 결여될 수 있다. 유사하게, 새로운 원격조작 시스템 아키텍처는 마스터 입력 장치들 간의, 또는 마스터 입력 장치와 디스플레이와 같은 다른 장비 간의 기구학적 관계를 결정하는데 사용될 수 있는 마스터 입력 장치들에 공통인 하나의 기계적 베이스가 결여될 수 있다. 따라서, 원격조작 시스템에 있어서의 개선된 공간 정합 및 제어에 대한 요구가 존재한다.
다음의 요약은 기본적인 이해를 제공하기 위해 본 발명의 대상의 특정 양태들을 소개한다. 이 요약은 본 발명의 대상에 대한 포괄적인 개요가 아니며, 핵심적인 또는 중요한 요소를 식별하거나 본 발명의 대상의 범위를 기술하고자 하는 것이 아니다. 이 요약은 본 발명의 대상의 다양한 양태 및 실시예와 관련된 정보를 포함하지만, 그 목적은 아래의 보다 상세한 설명의 서두로서의 일반적인 형태의 일부 양태 및 실시예를 제시하는 것이다.
하나의 양태에서, 원격조작 시스템은 촬영 장치, 엔드 이펙터, 디스플레이, 마스터 입력 장치 및 컴퓨터 제어 시스템을 포함한다. 촬영 장치는 시계(field of view)를 갖는다. 기준 좌표계(reference frame)들이 시계, 엔드 이펙터, 디스플레이 및 마스터 입력 장치에 대해 정의된다. 제어 시스템은 기준 좌표계들에 대한 방위 정보는 완전 방위 정보(complete orientation information)를 결정하지만, 기준 좌표계들에 대한 위치 정보는 전체 미만의 위치 정보(less than full position information)를 결정한다. 완전 방위 정보(complete orientation information)는 전체 방위 정보(full orientation information)라고도 하며, 전체 위치 정보(full position information)는 완전 위치 정보(complete position information)라고도 한다. 하나의 양태에서, 제어 시스템은 기준 좌표계들에 대한 어떠한 위치 정보도 결정하지 않는다. 또 다른 양태에서, 제어 시스템은 기준 좌표계들에 대한 부분 위치 정보를 결정한다. 제어 시스템은 기준 좌표계들의 방위 정보들은 완전 방위 정보들을 사용하지만, 기준 좌표계들에 대한 위치 정보들은 완전 미만의 위치 정보들(less than complete position informations) (부분 위치 정보(partial position information) 또는 무 위치 정보(no position information))을 사용하는 것에 의해 마스터 장치와 엔드 이펙터 간의 마스터/슬레이브 제어 관계를 정립한다.
다양한 양태들에서, 원격조작 시스템은 기준 좌표계들의 완전 방위 정보를 결정하고, 또한 해당하는 경우, 기준 좌표계들의 완전 미만의 위치 정보를 결정하기 위한 다양한 방법을 포함한다. 이러한 방법은 한 쌍의 원격조작 시스템 유닛들 간의 일시적 정위된 기계적 관계(temporary localized mechanical relationship), 고정 센서 로케이터 시스템(fixed-sensor locator system), 고정 피처 로케이터 시스템(fixed-feature locator system), 동시적 정위 및 매핑 시스템(simultaneous localization and mapping system), 촬영 장치로부터의 영상을 이용하는 머신 비전 시스템(machine vision system), 광섬유 형상 센서, 가속도계, 자력계, 자이로스코프, 진동 검출기 및 진동 인젝터(vibration injector) 중의 하나 이상의 사용을 포함한다.
하나의 양태에서, 원격조작 시스템은 디스플레이, 마스터 입력 장치 및 제어 시스템을 포함한다. 제어 시스템은 하나 이상의 프로세서 및 메모리를 포함한다. 메모리는 하나 이상의 프로세서로 하여금 동작들을 실행하게 만들도록 맞춤된 프로그램된 명령어(programmed instructions)를 포함한다. 동작들은 시계 기준 좌표계에 대한 엔드 이펙터 기준 좌표계의 방위를 결정하는 동작, 디스플레이 기준 좌표계에 대한 입력 장치 기준 좌표계의 방위를 결정하는 동작, 얼라인먼트 관계(alignment relationship)를 정립하는 동작, 및 (얼라인먼트 관계에 기초하여) 마스터 입력 장치의 자세의 변경에 응답하는 엔드 이펙터의 자세의 변경을 명령하는 동작을 포함한다. 엔드 이펙터 기준 좌표계는 툴의 엔드 이펙터에 대해 정의되고, 엔드 이펙터 기준 좌표계는 촬영 장치의 시계에 대해 정의되는 시계 기준 좌표계에 대해 운동 가능하다. 입력 장치 기준 좌표계는 마스터 입력 장치에 대해 정의되고, 디스플레이 기준 좌표계는 영상에 대해 정의된다. 얼라인먼트 관계는 엔드 이펙터 대 시계 얼라인먼트 관계(end-effector-to-field-of-view alignment relationship) 또는 입력 장치 대 디스플레이 얼라인먼트 관계(input-device-to-display alignment relationship)를 포함하고, 여기서 엔드 이펙터 대 시계 얼라인먼트 관계는 엔드 이펙터 기준 좌표계와 시계 기준 좌표계 간의 관계이며 엔드 이펙터 기준 좌표계와 시계 기준 좌표계 간의 위치 관계와 무관하고, 여기서 입력 장치 대 디스플레이 얼라인먼트 관계는 입력 장치 기준 좌표계와 디스플레이 기준 좌표계 간의 관계이며 입력 장치 기준 좌표계와 디스플레이 기준 좌표계 간의 위치 관계와 무관하다.
하나의 양태에서, 의료 시스템을 조작하기 위한 방법은 시계 기준 좌표계에 대한 엔드 이펙터 기준 좌표계의 방위를 결정하는 과정, 디스플레이 기준 좌표계에 대한 입력 장치 기준 좌표계의 방위를 결정하는 과정, 얼라인먼트 관계를 정립하는 과정, 및 (얼라인먼트 관계에 기초하여) 마스터 입력 장치의 자세의 변경에 응답하는 엔드 이펙터의 자세의 변경을 명령하는 과정을 포함한다. 엔드 이펙터 기준 좌표계는 시계 기준 좌표계에 대해 운동 가능하고 툴의 엔드 이펙터에 대해 정의되고, 시계 기준 좌표계는 촬영 장치의 시계에 대해 정의된다. 입력 장치 기준 좌표계는 의료 시스템의 마스터 입력 장치에 대해 정의되고, 디스플레이 기준 좌표계는 의료 시스템의 디스플레이에 대해 정의된다. 얼라인먼트 관계는 엔드 이펙터 대 시계 얼라인먼트 관계 또는 입력 장치 대 디스플레이 얼라인먼트 관계를 포함하고, 여기서 엔드 이펙터 대 시계 얼라인먼트 관계는 엔드 이펙터 기준 좌표계와 시계 기준 좌표계 간의 관계이며 엔드 이펙터 기준 좌표계와 시계 기준 좌표계 간의 위치 관계와 무관하고, 여기서 입력 장치 대 디스플레이 얼라인먼트 관계는 마스터 입력 장치 기준 좌표계와 디스플레이 기준 좌표계 간의 위치 관계와 무관하다.
하나의 양태에서, 원격조작 시스템은 디스플레이, 마스터 장치 및 제어 시스템을 포함한다. 디스플레이 기준 좌표계가 디스플레이에 대해 정의되고, 마스터 장치 기준 좌표계가 마스터 장치에 대해 정의된다. 제어 시스템은 당해 제어 시스템에 의해 실행될 때 당해 제어 시스템으로 하여금 동작들을 실행하게 만드는 명령어를 저장하는 메모리를 포함한다. 동작들은: 시계 기준 좌표계의 완전 방위를 결정하는 동작, 엔드 이펙터 기준 좌표계의 완전 방위를 결정하는 동작, 디스플레이 기준 좌표계의 완전 방위를 결정하는 동작, 마스터 장치 기준 좌표계의 완전 방위를 결정하는 동작, 마스터 장치와 엔드 이펙터 간의 원격조작 마스터/슬레이브 제어 관계를 정립하는 동작, 및 마스터 장치와 엔드 이펙터 간의 마스터/슬레이브 제어 관계를 실행시키는 동작을 포함한다. 시계 기준 좌표계는 촬영 장치의 시계에 대해 정의되고, 엔드 이펙터 기준 좌표계는 툴의 엔드 이펙터에 대해 정의된다. 원격조작 마스터/슬레이브 제어 관계를 정립하는 동작은 얼라인먼트 관계를 정립하는 동작을 포함한다. 얼라인먼트 관계는 엔드 이펙터 대 시계 얼라인먼트 관계 또는 마스터 장치 대 디스플레이 얼라인먼트 관계를 포함하고, 여기서 엔드 이펙터 대 시계 얼라인먼트 관계는 엔드 이펙터 기준 좌표계와 시계 기준 좌표계 간의 관계이며 엔드 이펙터 기준 좌표계 및 시계 기준 좌표계에 관한 완전 미만의 위치 정보에 기초하고, 여기서 마스터 장치 대 디스플레이 얼라인먼트 관계는 마스터 장치 기준 좌표계와 디스플레이 기준 좌표계 간의 관계이며 마스터 장치 기준 좌표계 및 디스플레이 기준 좌표계에 관한 완전 미만의 위치 정보에 기초한다. 마스터/슬레이브 제어 관계를 실행시키는 동작은 마스터 장치의 자세의 변경에 대응하여 엔드 이펙터의 자세를 변경시키는 동작을 포함한다.
하나의 양태에서, 얼라인먼트 관계는 마스터 장치 기준 좌표계와 디스플레이 기준 좌표계 간의 관계이고, 마스터 장치 기준 좌표계의 완전 방위, 디스플레이 기준 좌표계의 완전 방위, 및 마스터 장치 기준 좌표계와 디스플레이 기준 좌표계에 관한 완전 미만의 위치 정보에 기초한다.
하나의 양태에서, 원격수술 시스템은 시계 기준 좌표계의 완전 방위를 결정하기 위한 수단, 엔드 이펙터 기준 좌표계의 완전 방위를 결정하기 위한 수단, 수술용 엔드 이펙터가 내시경 카메라의 시계 내에 있을 때 엔드 이펙터의 영상이 표시되는 디스플레이의 디스플레이 기준 좌표계의 완전 방위를 결정하기 위한 수단, 마스터 장치의 마스터 장치 기준 좌표계의 완전 방위를 결정하기 위한 수단, 마스터 장치와 수술용 엔드 이펙터 간의 원격조작 마스터/슬레이브 제어 관계를 정립하기 위한 수단, 및 마스터 장치와 엔드 이펙터 간의 마스터/슬레이브 제어 관계를 실행시키기 위한 수단을 포함한다. 시계 기준 좌표계는 촬영 장치의 시계에 대해 정의되고, 엔드 이펙터 기준 좌표계는 수술용 엔드 이펙터에 대해 정의된다. 원격조작 마스터/슬레이브 제어 관계를 정립하기 위한 수단은 마스터 장치 기준 좌표계와 디스플레이 기준 좌표계 간의 얼라인먼트 관계를 정립함으로써 그러한 관계를 정립한다. 마스터 장치 기준 좌표계와 디스플레이 기준 좌표계 간의 얼라인먼트 관계는 마스터 장치 기준 좌표계의 완전 방위 및 디스플레이 기준 좌표계의 완전 방위에 기초하고, 마스터 장치 기준 좌표계와 디스플레이 장치의 위치 관계와 무관하다. 마스터/슬레이브 제어 관계를 실행시키기 위한 수단은 마스터 장치의 자세의 변경에 대응하여 엔드 이펙터의 자세를 변경시킴으로써 그러한 관계를 실행시킨다.
하나의 양태에서, 비일시적 기계 판독 가능 매체(non-transitory machine-readable medium)가 의료 장치와 관련된 하나 이상의 프로세서에 의해 실행될 때 하나 이상의 프로세서로 하여금 본원에 설명되는 동작들 또는 방법들 중의 어떤 것을 실행하게 만들도록 맞춤된 복수의 기계 판독 가능 명령어를 포함한다.
본원에 설명되는 양태들은 또한 다음 중 어느 것도 포함하지 않거나, 어느 하나를 포함하거나 또는 임의의 조합을 포함할 수 있다.
일부 양태들에서, 얼라인먼트 관계는 엔드 이펙터 대 시계 얼라인먼트 관계를 포함한다. 일부 양태들에서, 얼라인먼트 관계는 마스터 장치 대 디스플레이 얼라인먼트 관계를 포함한다.
일부 양태들에서, 얼라인먼트 관계는 제1 얼라인먼트 관계이고, 동작들은 제2 얼라인먼트 관계를 정립하는 동작을 더 포함하고, 여기서 제1 얼라인먼트 관계가 엔드 이펙터 대 시계 얼라인먼트 관계를 포함하는 경우, 제2 얼라인먼트 관계는 입력 장치 대 디스플레이 얼라인먼트 관계를 포함하고, 여기서 제1 얼라인먼트 관계가 입력 장치 대 디스플레이 얼라인먼트 관계를 포함하는 경우, 제2 얼라인먼트 관계는 엔드 이펙터 대 시계 얼라인먼트 관계를 포함한다.
일부 양태들에서, 동작들(또는 방법)은 얼라인먼트 관계에 기초하여 원격조작 마스터/슬레이브 제어 관계를 정립하는 동작을 더 포함한다.
일부 양태들에서, 시계 기준 좌표계에 대한 엔드 이펙터 기준 좌표계의 방위를 결정하는 동작은: 시계 기준 좌표계의 완전 방위를 결정하는 동작, 및 엔드 이펙터 기준 좌표계의 완전 방위를 결정하는 동작을 포함한다. 일부 양태들에서, 디스플레이 기준 좌표계에 대한 마스터 입력 장치 기준 좌표계의 방위를 결정하는 동작은 디스플레이 기준 좌표계의 완전 방위를 결정하는 동작, 및 마스터 입력 장치 기준 좌표계의 완전 방위를 결정하는 동작을 포함한다.
일부 양태들에서, 동작들(또는 방법)은 시계 기준 좌표계, 엔드 이펙터 기준 좌표계, 디스플레이 기준 좌표계 및 마스터 입력 장치 기준 좌표계로 이루어지는 그룹으로부터 선택된 적어도 하나의 기준 좌표계의 완전 위치를 결정하는 것을 포함하지 않는다. 일부 양태들에서, 동작들(또는 방법)은 시계 기준 좌표계에 대한 엔드 이펙터 기준 좌표계의 완전 위치를 결정하는 것을 포함하지 않는다. 일부 양태들에서, 동작들(또는 방법)은 디스플레이 기준 좌표계에 대한 마스터 입력 장치 기준 좌표계의 완전 위치를 결정하는 것을 포함하지 않는다. 일부 양태들에서, 동작들(또는 방법)은 시계 기준 좌표계에 대한 엔드 이펙터 기준 좌표계의 완전 미만의 위치(less than complete position)를 결정하는 동작을 더 포함한다. 일부 양태들에서, 동작들(또는 방법)은 디스플레이 기준 좌표계에 대한 마스터 입력 장치 기준 좌표계의 완전 미만의 위치를 결정하는 동작을 더 포함한다.
일부 양태들에서, 시스템은 원격조작 의료 시스템이고, 툴은 의료용 툴이다. 다양한 양태들에서, 의료용 툴은 진단 툴 또는 치료 툴이다. 일부 양태들에서, 시스템은 원격수술 시스템이고, 툴은 수술 툴이다.
일부 양태들에서, 시스템은 툴을 제거 가능하게 지지하도록 구성된 매니퓰레이터 암을 더 포함하고, 매니퓰레이터 암은 복수의 조인트 및 복수의 링크를 포함한다. 일부 양태들에서, 엔드 이펙터의 자세의 변경을 명령하는 동작은 엔드 이펙터의 자세를 변경시키도록 매니퓰레이터 암을 사용하거나 매니퓰레인터 암에 명령하는 동작을 포함한다.
일부 양태들에서, 얼라인먼트 관계를 정립하는 동작은: 원격조작을 시작하라는 지시에 응답하여 얼라인먼트 관계를 정립하는 동작을 포함한다. 일부 양태들에서, 원격조작을 시작하라는 지시는 원격조작을 시작하라는 사용자 명령을 수신하는 것을 포함한다. 일부 양태들에서, 원격조작을 시작하라는 지시는 클러치 모드로부터의 이탈을 포함한다. 일부 양태들에서, 클러치 모드에서, 마스터/슬레이브 제어 관계는 일시적으로 중단된다. 일부 양태들에서, 클러치 모드에서, 제어 시스템은 마스터 입력 장치의 자세의 변경에 응답하는 엔드 이펙터의 자세의 변경을 명령하지 않는다.
일부 양태들에서, 동작들(또는 방법)은: 얼라인먼트 관계를 업데이트하는 동작을 더 포함한다. 일부 양태들에서, 얼라인먼트 관계를 업데이트하는 동작은: 마스터/슬레이브 제어 관계를 실행시키는 동안 얼라인먼트 관계를 업데이트하는 동작을 포함한다. 일부 양태들에서, 얼라인먼트 관계를 업데이트하는 동작은: 소정의 시간 간격으로 얼라인먼트 관계를 업데이트하는 동작을 포함한다.
일부 양태들에서, 시스템은 촬영 장치 및 엔드 이펙터를 갖는 툴을 포함하는 원격수술 시스템이다. 촬영 장치는 내시경 카메라를 포함하고, 툴은 수술 툴을 포함한다.
일부 양태들에서, 완전 미만의 위치 정보(less than complete position information)는 마스터 장치 기준 좌표계와 디스플레이 기준 좌표계에 관한 무 위치 정보(no position information)이다. 하나의 양태에서, 완전 미만의 위치 정보는 마스터 장치 기준 좌표계와 디스플레이 기준 좌표계에 관한 부분 위치 정보(partial position information)이다.
일부 양태들에서, 동작들(또는 방법)은 적어도 하나의 기준 좌표계의 부분 위치 정보를 결정하는 동작을 더 포함한다. 기준 좌표계는 시계 기준 좌표계, 엔드 이펙터 기준 좌표계, 디스플레이 기준 좌표계 및 마스터 장치 기준 좌표계로 이루어지는 그룹으로부터 선택된다.
일부 양태들에서, 마스터 장치의 자세의 변경에 대응하여 엔드 이펙터의 자세를 변경시키는 동작은: 마스터 장치의 운동의 방향의 변경에 대응하여 엔드 이펙터의 운동의 방향을 변경시키는 동작을 포함한다.
일부 양태들에서, 시스템은 당해 시스템의 2개 이상의 유닛들 사이의 공간 위치를 결정하기 위한 수단을 더 포함하거나, 또는 한 쌍의 원격조작 시스템 유닛들 간의 일시적 정위된 기계적 관계(temporary localized mechanical relationship), 고정 센서 로케이터 시스템(fixed-sensor locator system), 고정 피처 로케이터 시스템(fixed-feature locator system), 동시적 정위 및 매핑 시스템(simultaneous localization and mapping system), 촬영 장치로부터의 영상을 이용하는 머신 비전 시스템(machine vision system), 광섬유 형상 센서, 가속도계, 자력계, 자이로스코프, 진동 검출기 및 진동 인젝터(vibration injector) 중의 하나 이상을 포함하는 공간 결정 시스템을 더 포함한다.
구현예들 및 양태들은 종종 원격수술 시스템의 관점에서 설명되지만, 원격수술 시스템으로 제한되지 않는다. 군용, 연구용, 재료 처리 용례, 안전, 응급 및 제조 용례를 갖는 원격조작 시스템을 포함하여(이들에 한정되지 않음) 다양한 다른 원격조작 시스템에서의 구현이 고려된다. 따라서, 개시되는 기술들은 의료 및 비의료 절차에 그리고 의료 및 비의료용 툴(예를 들어, 조작 툴 또는 카메라)에 적용된다. 예를 들어, 본원에 설명되는 실시예들 중의 어떤 것의 카메라 또는 다른 툴, 시스템 및 방법은 산업 용도, 일반적인 로봇 용도, 및 비조직 워크피스(non-tissue work piece)의 감지 또는 조작을 포함하는 비의료 목적으로 사용될 수 있다. 다른 예시적인 용례는 미용 개선, 인간 또는 동물 해부학적 구조의 촬영, 인간 또는 동물 해부학적 구조로부터의 데이터 수집, 시스템 설정 또는 테이크 다운(take down), 및 의료 또는 비의료 인력 훈련을 포함한다. 추가의 예시적인 용례는 인간 또는 동물 해부학적 구조로부터 제거된 조직(인간 또는 동물 해부학적 구조로 복귀되는 일 없음)에 대한 절차를 위한 사용 및 인간 또는 동물 사체에 대한 절차 실행을 포함한다. 또한, 이러한 기술은 수술적 측면을 포함하거나 포함하지 않는 의학적 치료 또는 진단 절차에 사용될 수도 있다.
도 1은 원격수술 시스템의 개략적 평면도이다.
도 2는 원격수술 시스템 환자측 유닛의 정면도이다.
도 3은 원격조작 수술 툴의 사시도이다.
도 4는 사용자 제어 유닛의 정면도이다.
도 5a-5j는 다양한 원격조작 시스템 아키텍처, 공간 얼라인먼트(spatial alignment) 및 관련 제어 양태의 개략도이다.
도 6a는 원격조작 시스템에서의 다양한 공간 결정 방법을 도시한 개략도이다.
도 6b-6c는 자기 베어링(magnetic bearing)의 결정을 나타내는 개략도이다.
본 발명의 양태, 실시예, 구현예 또는 적용예를 예시하는 이 설명 및 첨부 도면은 제한적인 것으로 간주되어서는 안되며, 청구범위가 보호되는 발명을 한정한다. 다양한 기계적, 구성적, 구조적, 전기적 및 작동적 변경이 이 설명 및 청구범위의 사상 및 범위를 벗어나지 않으면서 이루어질 수 있다. 일부 예들에서, 잘 알려진 회로, 구조 또는 기술들은 본 발명을 모호하게 하지 않기 위해 상세하게 도시되거나 설명되지 않았다. 2개 이상의 도면에서 같은 번호가 동일하거나 유사한 요소를 나타낸다.
또한, 하나 이상의 실시예 및 선택적인 요소 또는 피처(feature)를 설명하기 위해 선택된 특정 단어들은 본 발명을 제한하려는 것이 아니다. 예를 들어, "밑", "아래", "하부", "위", "상부", "근위", "원위" 등과 같은 공간적으로 상대적인 용어들은 도면에 도시된 바와 같이 다른 요소 또는 피처에 대한 하나의 요소 또는 피처의 관계를 설명하기 위해 사용될 수 있다. 이러한 공간적으로 상대적인 용어들은 도면에 도시된 위치(positions) 및 방위(orientation) 외에 사용 또는 조작중인 장치의 상이한 위치들(즉, 병진적 배치들) 및 방위들(즉, 회전적 배치들)을 아우르도록 의도된다. 예를 들어, 도면의 장치가 뒤집어진다면, 다른 요소 또는 피처의 "아래" 또는 "밑"으로 설명된 요소는 이후 다른 요소 또는 피처의 "위"로 될 것이다. 따라서, "아래"라는 예시적인 용어는 위와 아래의 모두의 위치 및 방위를 아우를 수 있다. 장치는 다르게 방위설정될 수 있으며(예를 들어, 90도 회전되거나 다른 방위로), 여기에 사용되는 공간적으로 상대적인 용어들은 그에 따라 해석될 수 있다. 마찬가지로, 다양한 축들을 따른 운동(병진운동) 및 다양한 축들 둘레의 운동(회전)의 설명은 다양한 특수한 장치 위치 및 방위를 포함한다. 신체의 위치 및 방위의 조합이 신체의 "자세"를 한정한다.
마찬가지로, "평행한", "수직한", "둥근" 또는 "사각형"과 같은 기하학적 용어들은 문맥상 달리 지시하지 않는다면 절대적인 수학적 정밀도를 요하는 것으로 의도되지 않는다. 대신, 이러한 기하학적 용어들은 제조 또는 등가 기능으로 인한 변형을 허용한다. 예를 들어, 요소가 "둥근" 또는 "대체로 둥근"으로 설명되는 경우, 정확하게 원형이 아닌 구성요소(예를 들어, 경미하게 장방형(oblong)이거나 다변의 다각형인 구성요소)도 이 설명에 포함된다. "포함하는" 또는 "갖는"이라는 단어는 포함하지만 이에 제한되지 않는 것을 의미한다.
이 설명이 충분히 명확하고, 간결하고, 정확하고, 철저하게 이루어지더라도, 언어적 정밀성이 항상 가능하거나 바람직한 것은 아니란 것을 이해해야 한다. 예를 들어, 영상 신호를 고려할 때, 숙련된 독자는 신호를 표시하는 것으로 설명되는 오실로스코프는 신호 자체가 아니라 신호의 표상(representation)을 표시하고, 신호를 표시하는 것으로 설명되는 영상 모니터는 신호 자체를 표시하는 것이 아니라 신호가 전달하는 영상 정보를 표시한다는 것을 이해할 것이다.
또한, 단수 형태 "하나의" 및 "그"는 문장에서 달리 지시하지 않는 한 복수 형태도 포함하는 것으로 의도된다. 또한, "포함하다", "구비하다", "가지다"및 이와 유사한 표현의 용어는 언급되는 피처, 단계, 동작, 요소 및/또는 구성요소의 존재를 특정하지만, 하나 이상의 다른 피처, 단계, 동작, 요소, 구성요소 및/또는 그 그룹의 존재나 추가를 배제하지 않는다. 또한, 하나 이상의 개별적인 열거되는 항목들 또는 그들의 각각은 달리 언급되지 않는 한 선택적인 것으로 간주되어야 하며, 따라서 항목들의 다양한 조합들은 각각의 가능한 조합의 전체 열거 없이 설명될 수 있다. 보조 동사도 마찬가지로 피처, 단계, 동작, 요소 또는 구성요소가 선택적이라는 것을 암시할 수 있다.
하나의 실시예, 구현예 또는 적용예와 관련하여 상세하게 설명되는 요소는 실용적이라면 언제든 구체적으로 도시되거나 설명되지 않은 다른 실시예, 구현예 또는 적용예에 선택적으로 포함될 수 있다. 예를 들어, 한 요소가 하나의 실시예와 관련하여 상세하게 설명되고 제2 실시예와 관련해서는 설명되지 않은 경우, 그럼에도 불구하고 그 요소는 제2 실시예에 포함된 것으로 청구될 수 있다. 따라서, 이하의 설명에서는 불필요한 반복을 피하기 위해, 하나의 실시예, 구현예 또는 적용예와 관련하여 도시되고 설명되는 하나 이상의 요소는 특별히 달리 기재되지 않는 한, 또는 그 하나 이상의 요소가 실시예 또는 구현예를 비기능적으로 만들지 않는 한, 또는 2개 이상의 요소가 상충하는 기능들을 제공하지 않는 한, 다른 실시예, 구현예 또는 양태에 포함될 수 있다.
연결되는 것으로(예를 들어, 기계적으로, 전기적으로, 통신 등으로) 설명되는 요소들은 직접적으로 연결될 수 있으며, 또는 달리 명시되지 않는 한 하나 이상의 중간 구성요소를 통해 간접적으로 연결될 수 있다.
본 발명의 양태들은 일부 미국 캘리포니아주 서니베일의 인튜어티브 서지컬 인코퍼레이티드(Intuitive Surgical, Inc.)에 의해 상용화된 da Vinci® 수술 시스템을 사용하는 구현예의 관점에서 설명된다. 이러한 수술 시스템의 예는 da Vinci X® 수술 시스템(모델 IS4200), da Vinci Xi® 수술 시스템(모델 IS4000) 및 da Vinci Si® 수술 시스템(모델 IS3000)이다. 하지만, 당업자는 본원에 개시되는 본 발명의 양태들이 컴퓨터 지지(computer-assisted) 실시예 및 구현예 그리고 수동과 컴퓨터 지지의 하이브리드 조합 실시예 및 구현예를 포함하여 다양한 방식으로 구현되고 실시될 수 있다는 것을 이해할 것이다. da Vinci® 수술 시스템에서의 구현예는 단지 예시일 뿐으로 본 발명의 양태의 범위를 제한하는 것으로 간주되어서는 안된다. 예를 들어, 개시되는 기술들은 의료 및 비의료 절차에 그리고 의료용 및 비의료용 툴(예를 들어, 조작 툴 또는 카메라)에 적용된다. 예를 들어, 본원에 설명되는 실시예들 중의 어떤 것의 툴(예를 들어, 조작 툴 또는 카메라), 시스템 및 방법은 산업 용도, 일반적인 로봇 용도 및 비조직 워크피스의 감지 또는 조작을 포함하는 비의료 목적으로 사용될 수 있다. 다른 예시적인 용례는 미용 개선, 인간 또는 동물 해부학적 구조의 촬영, 인간 또는 동물 해부학적 구조로부터의 데이터 수집, 시스템 설정 또는 테이크 다운(take down), 및 의료 또는 비의료 인력 훈련을 포함한다. 추가의 예시적인 용례는 인간 또는 동물 해부학적 구조로부터 제거된 조직(인간 또는 동물 해부학적 구조로 복귀되는 일 없음)에 대한 절차를 위한 사용 및 인간 또는 동물 사체에 대한 절차 실행을 포함한다. 또한, 이러한 기술은 수술적 측면을 포함하거나 포함하지 않는 의학적 치료 또는 진단 절차에 사용될 수도 있다.
당업자는 컴퓨터가 처리된 출력 정보를 생성하기 위해 입력 정보에 대해 수학 또는 논리 함수를 실행하도록 프로그램된 명령어를 따르는 머신이라는 것을 이해할 것이다. 컴퓨터는 수학 또는 논리 함수를 실행하는 논리 연산 유닛 및 프로그램된 명령어, 입력 정보 및 출력 정보를 저장하는 메모리 시스템을 포함한다. "컴퓨터"라는 용어와 "프로세서" 또는 "컨트롤러" 또는 "제어 시스템"과 같은 유사한 용어들은 동의어로 간주되어야 한다. 당업자는 컴퓨터의 기능이 중앙집중화되거나 2개 이상의 위치 간에 분산될 수 있으며, 하드웨어, 펌웨어 및 소프트웨어의 다양한 조합으로 구현될 수 있음을 이해할 것이다.
오퍼레이터의 조작성 또는 능력을 증대시키는 원격조작 의료 시스템이 인체공학성 등을 향상시키도록 개발되어 왔다. 예를 들어, 적어도 부분적으로 컴퓨터 지지과 함께 작동하고("원격수술 시스템(telesurgical system)"), 사용자 조작 마스터 입력 장치가 모터 구동 슬레이브 수술 툴을 제어하게 되는 마스터/슬레이브 모델을 사용하여 작동하는 최소 침습 원격수술 시스템(minimally invasive teleoperated surgical system)이 개발되어 왔다. 사용자는 툴을 손으로 직접 잡고 운동시키는 것이 아니라, 마스터 입력 장치를 파악(grasp)하여 운동시켜 원격 제어에 의해 슬레이브 수술 툴을 조작한다. 슬레이브 수술 툴은 마스터 입력 장치의 모션을 추종한다.
최소 침습 원격수술 시, 수술 부위에 위치한 내시경 카메라와 같은 촬영 장치가 조직과 슬레이브 수술 툴의 슬레이브 수술 툴의 작업 단부의 동영상을 취득한다. 편의상, "카메라"는 본원에서 일반적으로 하나 이상의 영상을 취득하는 데 사용되는 촬영 장치를 의미하는 것으로 사용된다. 촬영 장치의 예는 광학, 초음파 기술, 자기 공명 영상(MRI), CT(컴퓨터 단층 촬영), X-레이 등을 기초로 하는 것을 포함한다. 내시경 카메라의 예는 가시 스펙트럼, 적외선, 자외선, 스펙트럼의 다른 부분 또는 이들의 조합 부분 내를 촬영하는 카메라와 더불어 평면 카메라(monoscopic camera), 입체 카메라(stereoscopic camera) 및 3D 카메라를 포함한다. "툴"은 본원에서 촬영용 및 비촬영용 기기를 포함하는 것으로 사용된다. 본원에 사용되는 용어 "엔드 이펙터(end effector)"는 조작, 흡인, 세척(irrigation) 또는 소작 툴의 팁이나 내시경 카메라 등의 촬영 장치의 팁과 같은 툴의 임의의 원위 단부 구성요소 또는 부분을 지칭한다(예를 들어, 엔드 이펙터의 예는 그래스퍼, 시저, 소작 후크(cautery hook), 흡인/세척 노즐, 블런트 팁(blunt tip), 카테터 또는 다른 가요성 장치의 원위 팁, 광학 촬영 장치용 렌즈, 초음파 촬영용 프로브 팁 등을 포함한다). 사용자는 마스터 장치를 조작하면서 영상을 관찰하여 마스터 장치 운동에 대응하는 슬레이브 엔드 이펙터 운동을 본다. 컴퓨터 제어 시스템은 마스터 장치와 슬레이브 수술 툴 사이의 제어 인터페이스를 제공한다.
사용자는 일반적으로 환자로부터 원격인 위치에서(예를 들어, 수술실 건너편, 다른 방 또는 환자와 완전히 다른 건물에서) 마스터 장치를 조작한다. 많은 원격수술 상황에서, 사용자는 무균 영역 밖에 위치하여 환자와 직접 상호 작용하지 않는다. 하지만, 일부 원격수술 상황에서, 마스터 장치를 조작하는 사용자는 선택적으로 무균 영역 내에서 환자와 직접 상호 작용할 수 있을 만큼 충분히 환자에 근접한다. 마스터 장치는 일반적으로 모두 6개의 카테시안(Cartesian) 자유도(DOF)로 자유롭게 운동할 수 있어, 마스터 장치 위치의 변경(카테시안 축을 따른 병진운동) 및 마스터 장치 방위의 변경(카테시안 축을 중심으로 한 회전)이 대응하는 슬레이브 수술 툴 병진운동 및 회전을 발생시킨다. 이 설명은 카테시안 기준 좌표계의 맥락에서 이루어지고 있으며, 당업자는 다른 적합한 3차원 기준계(예를 들어, 원통형, 구형)가 사용될 수 있음을 이해할 것이다.
마스터 장치는 다양한 형태일 수 있다. 예를 들어, 마스터 장치는 여유 기계적 DOF(redundant mechanical DOF)를 갖는 기구학적 체인에 있어서의 최원위 링크(distal-most link), 조이스틱, 외골격 글러브(exoskeletal glove) 등일 수 있다. 경우에 따라서는, 마스터 장치가 손 동작을 추적하여, 손의 병진운동 및 회전이 수술을 위한 충분한 정밀도로 추적되는 경우, 사용자의 손만이 또는 사용자 손의 일부가 사실상의 마스터 장치로서 작용한다. 마스터 장치는 선택적으로 하나 이상의 기계적 DOF를 가져, 엔드 이펙터 조 그립(end effector jaw grip)을 위한 핀서 기구(pincer mechanism), 또는 조(jaw)들 사이의 엔드 이펙터 나이프 운동(end effector knife movement)을 위한 스위치(예를 들어, 푸시 버튼 또는 슬라이더)와 같은 대응하는 엔드 이펙터 기계적 DOF를 제어한다. 또한, 마스터 장치는 선택적으로 스위치와 같은 하나 이상의 입력부를 가져, 전기수술 에너지 인가(electrosurgical energy application), 스테이플러 제어, 마스터 장치와 슬레이브 툴 간의 마스터/슬레이브 제어 관계의 결합 및 결합해제("클러칭(clutching)"), 시스템 작동 모드 변경, 하나의 슬레이브 수술 툴로부터 제2 슬레이브 수술 툴로의 마스터 장치 제어 변경, 디스플레이 메뉴 선택 등과 같은 추가적인 엔드 이펙터 또는 수술 시스템 특성들을 제어한다.
수술 툴은 다양한 형태이며, 치료 및 진단 기능 모두를 위한 툴을 포함한다. 예시의 수술 툴은 조직 그래스퍼, 니들 드라이버, 시저, 리트랙터, 전기수술 소작 툴, 스테이플러, 수술용 클립 어플라이어, 초음파 커터, 흡인/세척 툴, 카테터, 초음파 프로브 등을 포함한다. 경우에 따라서는, 내시경 카메라 또는 기타 영상 취득 기술과 같은 카메라가 수술 툴로 고려될 수 있다. 카메라 및 관련 영상 처리 기술은 근적외선 영상 취득, 형광 에너지 취득, 초분광 촬영 등과 같은 특수 기능을 위해 사용될 수 있다. 이러한 특수 촬영 기능은 중재술(intervention)의 효과를 증대시킨다.
많은 원격수술 시스템은 로봇 기술을 포함한다(어떠한 자율 동작(autonomous action)도 취하지 않을 수 있다 하여도 이를 흔히 "수술 로봇"이라 칭한다). 예시의 원격수술 시스템이 미국 특허 US 6,331,181 B1(1999년 10월 15일 출원)(카메라 및 다른 수술 툴들이 별개의 포트들을 통해 신체 내로 진입하게 되는 다중 포트 시스템을 기술), US 8,784,435 B2(2010년 8월 12일 출원)(카메라 및 기타 수술 툴들이 단일 공통 포트를 통해 신체 내로 진입하게 되는 단일 포트 시스템을 기술), 및 US 8,801,661 B2(2013년 11월 7일 출원)(가요성 수술 툴을 사용하는 시스템을 기술)에 예시되어 있다. 미국 특허 제6,331,181호, 제8,784,435호 및 제8,801,661호의 전체 개시 내용이 본원에 참조로 포함된다.
원격수술 시스템은 일반적으로 하나 이상의 모터 구동 원격조작 매니퓰레이터를 포함한다. 수술 툴이 매니퓰레이터에 제거 가능하게 장착되고, 매니퓰레이터가 일반적으로 툴을 전체로서도 또한 툴의 엔드 이펙터를 포함하여 툴의 구성요소 부분으로서도 운동시킨다. 매니퓰레이터의 운동은 사용자 마스터 장치 운동에 대응하고, 따라서 엔드 이펙터 운동은 마스터 장치 운동을 정밀하게 추종한다. 직렬 기구학 체인(serial kinematic chain), 구면 링키지(spherical linkage), 직교 프리즈메틱 조인트(orthogonal prismatic joints)(선형 및 원곡선형(circular curvilinear) 모두) 등과 같은 다양한 원격수술 매니퓰레이터 아키텍처가 알려져 있다. 수술 툴 자체는 단일 강체 또는 기구학적 체인일 수 있으므로, 툴의 기구학적 자세가 공간에서의 그것의 엔드 이펙터의 자세를 결정한다. 마찬가지로, 매니퓰레이터의 기구학적 자세가 공간에서의 수술 툴의 자세를 결정한다.
매니퓰레이터는 일반적으로 기구학적 암과 같은 비원격조작 셋업 구조부(non-teleoperated setup structure)에 의해 고정된 위치 및 방위로 유지된다. 셋업 구조부가 일반적으로 운동 가능하고 잠금 가능한 조인트에 의해 연결되는 적어도 하나의 기구학적 쌍의 링크를 포함하여, 매니퓰레이터가 공간에서 리포지셔닝되고 이후 새로운 자세로 유지될 수 있다. 또한, 잠금 가능한 조인트는 동력식(전동식)이거나 비동력식일 수 있다. 또한, 잠금 가능한 조인트는 수동식으로 또는 전기적으로 제어되는 브레이크를 사용하는 것에 의하거나 또는 동력식 조인트를 제어하는 것에 의하는 등의 다양한 방식으로 잠금될 수 있어, 기구학적 쌍의 링크들 간의 고정된 관계를 유지시킬 수 있다. 셋업 구조부의 기구학적 자세가 매니퓰레이터의 최근위(proximal-most)("베이스") 링크를 정지된 상태로 유지시킴으로써 공간에서의 매니퓰레이터의 자세를 결정한다.
다음으로, 셋업 구조부는 선택적으로 기계적 그라운드(mechanical ground)(예컨대, 플로어, 벽, 천장이나, 플로어, 벽 또는 천장에 고정된 구조부)에 고정되는 최근위 링크("베이스") 또는 선택적으로 기계적 그라운드에 대해 운동 가능한 최근위 링크("베이스")(예컨대, 플로어 상에서 구름 운동하고, 벽, 천장 또는 수술 테이블 등의 위의 하나 이상의 레일을 따라 이동하는 카트)를 가질 수 있다. 운동 가능한 셋업 구조부 베이스 또한 공간에서 매니퓰레이터에 자세를 부여하는 기능을 한다. 매니퓰레이터, 선택적인 셋업 구조부(고정 또는 운동 가능) 및 선택적인 베이스(고정 또는 운동 가능)는 함께 기계적 그라운드와 관련하여 매니퓰레이터에 장착되는 수술 툴을 위한 지지 구조부로서 기능한다. 매니퓰레이터, 카메라와 같은 촬영 장치, 또는 기계적 그라운드에 대해 공간에 고정되는 다른 툴을 유지시키는 임의의 구조부가 지지 구조부로서 기능할 수 있다. 예를 들어, 공간 내에서 내시경 카메라를 정지된 상태로 유지시키는 전동식 또는 비전동식 고정구가 카메라가 수술 부위의 영상을 취득할 때 카메라 지지 구조부로서 기능할 수 있다. 다른 예로서, 내시경 카메라는 기구학적 체인을 포함하는 지지 구조부에 의해 제위치에 유지될 수 있으며; 기구학적 체인은 피동 기구학적 체인(passive kinematic chain)이거나 하나 이상의 피동 조인트를 포함할 수 있다. 기계적 지지 구조부의 추가 예가 아래에 설명된다.
도 1은 최소 침습 수술을 실행하기 위한 예시적인 원격조작 시스템, 특히 다중 포트 원격수술 시스템(100)의 구성요소들을 도시하는 개략적인 평면도이다. 시스템(100)은 그 전체 개시 내용이 본원에 참조로 포함되는 미국 특허 US 6,246,200 B1(1999년 8월 3일 출원)("로봇 수술을 위한 매니퓰레이터 포지셔닝 링키지(Manipulator Positioning Linkage for Robotic Surgery)"를 개시)에 상세히 설명된 것과 유사하다. 추가 관련 세부 사항은 마찬가지로 그 전체 개시 내용이 본원에 참조로 포함되는 미국 특허 US 8,529,582 B2(2011년 5월 20일 출원)("로봇 수술 시스템의 기기 인터페이스(Instrument Interface of a Robotic Surgical System)"를 개시) 및 US 8,823,308 B2(2011년 7월 1일 출원)(수술 및 기타 용도를 위한 소프트웨어 센터 및 높은 구성성의 로봇 시스템(Software Center and Highly Configurable Robotic Systems for Surgery and Other Uses)"을 개시)에 설명되어 있다. 시스템 사용자(102)(일반적으로 시스템(100)이 수술에 사용될 때의 외과의 또는 다른 숙련된 임상의)는 수술 테이블(106)에 누워 있는 환자(104)에 대해 최소 침습 수술 절차를 실행한다. 시스템 사용자(102)는 디스플레이(108)에 의해 제공되는 동영상(평면(2D) 또는 입체(3D))을 보며, 사용자 제어 유닛(112)에 위치한 하나 이상의 마스터 장치(110)를 조작한다. 사용자의 마스터 장치 운동에 응답하여, 컴퓨터(113)는 특수 제어 시스템으로서 작용하여 슬레이브 원격조작 툴(114)(툴(114)은 이 수술 예에서 수술 툴)의 운동을 지시한다. 아래에 더 상세히 설명되는 바와 같이, 마스터 장치(110)는 툴(114)과 계산적으로 얼라인된다(computationally aligned). 이러한 얼라인먼트에 기초하여, 컴퓨터(113)는 엔드 이펙터의 모션이 사용자에 직관적인 방식으로 시스템 사용자(102)의 손 안에 있는 마스터 장치의 운동을 추종하도록 마스터 장치의 운동과 툴(114)의 엔드 이펙터를 상관시키는 명령어를 생성한다.
전술한 바와 같이, 컴퓨터(113)는 일반적으로 여기에 설명되는 방법들을 구현하기 위한 소프트웨어 프로그래밍 명령어들을 구현하는 데이터 처리 하드웨어 및 기계 판독 가능 코드를 포함한다(예컨대, 관련 제어 시스템을 포함하여). 또한, 컴퓨터(113)가 도 1의 단순화된 도면에서 단일 블록으로 도시되어 있지만, 컴퓨터는 2개 이상의 중앙집중화되거나 분산된 데이터 처리 유닛을 포함하여, 처리의 적어도 일부는 선택적으로 입력 장치에 인접하여 실행되고, 일부는 매니퓰레이터에 인접하여 실행되는 등으로 될 수 있다. 매우 다양한 중앙집중화되거나 분산된 데이터 처리 아키텍처들 중의 어떤 것이 채용될 수 있다. 마찬가지로, 프로그래밍 코드는 다수의 별개의 프로그램 또는 서브루틴(subroutine)으로서 구현될 수 있으며, 또는 다양한 다른 원격수술 시스템 구성요소들에 통합될 수 있다.
도 1에 도시된 바와 같이, 시스템(100)은 또한 2개의 툴(114)용 원격조작 매니퓰레이터(120) 및 촬영 장치를 포함하는 툴용의 원격조작 매니퓰레이터(124)를 포함하는 매니퓰레이터 어셈블리(116)를 포함한다. 설명의 편의를 위해, 촬영 장치는 카메라(126)로서 도시되고 설명되며, 카메라(126)는 임의의 적절한 촬영 장치일 수 있다. 예를 들어, 카메라(126)는 광학적으로, 초음파적으로, 또는 임의의 다른 적절한 기술을 사용하여 촬영하도록 구성될 수 있다. 이 수술 예에서, 카메라(126)는 가시 스펙트럼에서 촬영하도록 구성된 내시경 카메라이다. 매니퓰레이터의 다른 수 및 조합은 선택적이다(예를 들어, 툴용의 하나, 3개 또는 그보다 많은 매니퓰레이터, 카메라용의 2개 또는 그보다 많은 매니퓰레이터). 매니퓰레이터 어셈블리(116)는 또한 절차 동안 매니퓰레이터(120)를 지지하는 매니퓰레이터 셋업 구조부(118)를 포함한다. 또한, 매니퓰레이터 어셈블리(116)는 카메라 셋업 구조부(122)로서 도시된 촬영 장치 셋업 구조부를 포함하며; 카메라 셋업 구조부는 매니퓰레이터(124)를 지지한다. 툴 셋업 구조부 및 카메라 셋업 구조부는 각각 베이스 링크를 가지며, 이러한 베이스 링크들은 단일의 운동 가능한 카트에 연결된다. 각각의 툴(114) 및 카메라(126)에 대해, 관련된 매니퓰레이터, 셋업 구조부 및 카트는 툴 또는 카메라를 위한 지지 구조부를 예시한다.
도시된 바와 같이, 내부 수술 부위의 영상은 사용자 제어 유닛(112)의 디스플레이(108)에 의해 사용자(102)에게 표시된다. 내부 수술 부위는 선택적으로 보조 디스플레이(130)(2D 또는 3D)에 의해 보조원(128)에게 동시적으로 보여진다. 하지만, 전술되고 아래에 더 상세히 설명되는 바와 같이, 일부 원격조작 시스템에서, 사용자(102)는 수술 동안 환자(104)에 근접할 수 있다(예를 들어, 도시된 바와 같이 보조원(128)의 위치와 유사한 위치에서). 이러한 원격수술 시스템 아키텍처에서, 사용자는 디스플레이(130)의 위치에 의해 예시된 바와 같이 플로어, 벽, 천장 또는 다른 장비에 장착된 2D 또는 3D 디스플레이에서 수술 부위의 영상을 관찰할 수 있다.
무균 보조원(128)(예를 들어, 간호사, 보조 외과의 또는 다른 숙련된 임상의)는 수술 전, 수술 중 및 수술 후에 다양한 선택적인 작업을 실행한다. 예를 들어, 보조원(128)은 매니퓰레이터(120, 124)의 자세를 조정하고, 셋업 구조부(118, 122)를 조정하고, 매니퓰레이터 상에서 툴(114)을 다른 툴(132)로 교체하고, 환자 내에서 비원격조작 의료용 툴 및 장비를 조작하고, 내시경 카메라를 잡고, 원격조작 수술 및 일반적인 수술과 관련된 다른 작업들을 실행할 수 있다.
도 2는 매니퓰레이터 어셈블리(116)를 도시한 정면도이다. 구체적으로, 도 2는 미국 캘리포니아주 서니베일의 인튜어티브 서지컬 인코퍼레이티드(Intuitive Surgical, Inc.)에 의해 da Vinci® 수술 시스템으로서 상용화된 다중 포트 원격수술 매니퓰레이터 어셈블리의 실시예를 예시하는 원격수술 시스템 환자측 유닛을 도시한다. 다중 포트 원격수술 시스템에서는, 툴들이 2개 이상의 별개의 절개부 또는 자연적 체공을 통해 신체 내로 진입한다. 이 예에서, 매니퓰레이터 어셈블리(116)는 운동 가능한 환자측 유닛에 의해 지지되는 4개의 원격조작 수술 툴 및 카메라 매니퓰레이터들을 포함한다.
다중 포트 원격수술 시스템의 다른 실시예에서는, 하나 이상의 매니퓰레이터(120, 124) 및 관련 셋업 구조부(118, 122)는 하나 이상의 별개의 운동 가능한 유닛 상에 개별적으로 또는 조합하여 장착되거나, 본원에 기술되는 바와 같이 기계적 그라운드에 고정된다. 매니퓰레이터 및 관련 지지 구조부들의 다양한 조합이 사용될 수 있음을 알 수 있다.
단일 포트 원격수술 시스템에서는, 모든 툴이 단일 절개부 또는 자연적 체공을 통해 신체 내로 진입한다. 단일 포트 원격수술 시스템용 매니퓰레이터 어셈블리의 예들이 미국 특허 US 8,784,435 B2(2010년 8월 12일 출원)("수술 시스템 엔트리 가이드(Surgical System Entry Guide)"를 개시)에 도시 및 기술되어 있고, 원격수술 시스템 및 가요성 수술 툴의 예들이 미국 특허 US 8,801,661 B2(2013년 11월 7일 출원)("로봇 카테터 시스템 및 방법(Robotic Catheter System and Methods)"을 개시)에 도시되고 기술되어 있다.
본 발명의 하나의 양태에 따르면, 본원에 기술되는 하나 이상의 마스터 장치는, 원격수술 시스템이 2개 이상의 상이한 다중 포트 시스템, 2개 이상의 다중 포트, 단일 포트 시스템, 2개 이상의 가요성 툴 시스템 또는 이러한 다중 포트, 단일 포트 및 가요성 툴 시스템의 조합이든, 2개 이상의 상이한 원격수술 시스템 구성(configuration)을 제어하는데 사용될 수 있다.
도 3은 원격조작 시스템과 함께 사용될 수 있는 원격조작 툴(114)의 사시도이다. 구체적으로, 원격조작 수술 툴이 도시되며; 이 수술 툴은 원위 엔드 이펙터(140), 선택적인 리스트(wrist)(141), 근위 단부 섀시(142), 섀시(142) 위의 하우징(143)(섀시(142) 및 하우징(143)은 선택적으로 통합될 수 있음), 및 엔드 이펙터(140)와 섀시(142) 사이에 연결된 길이형 샤프트(144)를 포함한다. 엔드 이펙터(140)는 직접 또는 선택적인 리스트(141)를 통해 샤프트(144)에 연결된다. 다양한 리스트(141) 아키텍처는 엔드 이펙터(140)의 방위가 샤프트(144)에 대해 피치(pitch), 요(yaw) 및 롤(roll)의 다양한 조합으로 변경되는 것을 가능하게 해준다. 선택적으로, 엔드 이펙터 롤 기능은 샤프트(144)를 돌리는 것에 의해 실행된다. 다양한 기구(풀리, 케이블, 레버, 기어, 짐벌, 모터 등의 조합)가 섀시(142)에 장착되어 툴(114)의 관련 매니퓰레이터로부터의 기계적 또는 전기적 입력들을 수신하도록 기능한다. 이러한 입력들은 엔드 이펙터(140)를 방위설정하고 작동시키는 데 사용된다. 섀시(142)는 일반적으로 매니퓰레이터(120, 124)에 연결되도록 맞춤된 기계적 또는 전기적 인터페이스(146)를 포함할 것이다. 미국 특허 US 6,331,181 B1에 더 상세히 설명되어 있는 바와 같이, 툴(114)은 종종 메모리(148)를 포함할 것이며, 이 메모리는 일반적으로 데이터 인터페이스(데이터 인터페이스는 일반적으로 인터페이스(146)의 일부를 형성한다)에 전기적으로 연결된다. 이 데이터 인터페이스는 툴이 매니퓰레이터에 장착될 때 메모리(148)와 컴퓨터(113)(도 1 참조) 간의 데이터 통신을 가능하게 해준다.
엔드 이펙터(140)는 또한 적절한 위치(카메라 타입 툴의 근위 단부 또는 원위 단부와 같은)의 영상 취득 구성요소를 갖고, 리스트(141)를 갖거나 갖지 않는 내시경 카메라 타입 툴을 예시한다. 따라서, 툴(114)은 그 구조에 의해 또한 기구학적 목적으로 카메라(126)를 예시하고, 툴(114) 및 그 유사체의 기구학적 특성 및 그와 관련된 제어 양태에 대한 후속 참조가 또한 카메라(126) 및 그 유사체에 적용된다.
다양한 대안적인 상이한 유형의 원격조작 수술 툴 및 상이한 엔드 이펙터(140)가 사용될 수 있다. 매니퓰레이터들 중의 적어도 일부와 관련된 툴들은 수술 절차 동안 그들의 관련 매니퓰레이터로부터 제거되어 대체 툴로 대체되도록 구성된다. 추가적인 세부 사항은 미국 특허 US 8,823,308 B2에서 제공된다.
일부 작동 환경에서, 툴(114) 및 엔드 이펙터(140)는 선택적으로 다수의 성능을 갖는 조합으로 조합될 수 있다. 이러한 조합과 관련된 추가의 세부 사항은 그 전체 개시 내용이 본원에 참조로 포함되는 미국 특허 US 7,725,214 B2(2007년 6월 13일 출원)("최소 침습 수술 시스템(Minimally Invasive Surgical System)"을 개시)에서 제공된다. 툴(114)과 매니퓰레이터(120) 사이의 인터페이스와 관련한 세부 사항은 그 전체 개시 내용이 본원에 참조로 포함되는 미국 특허 US 7,955,322 B2(2006년 12월 20일 출원)("로봇 수술 시스템에서의 무선 통신(Wireless Communication in a Robotic Surgical System)"을 개시) 및 US 8,666,544 B2(2013년 7월 10일 출원)("협조성 최소 침습 원격수술 시스템(Cooperative Minimally Invasive Telesurgical System)"을 개시)에서 제공되며, 또한 미국 특허 US 8,529,582 B2에서도 제공된다.
도 4는 도 1의 사용자 제어 유닛(112)의 예를 도시한 사용자 제어 유닛의 정입면도이다. 사용자 제어 유닛(112)은 작업 부위(예를 들어, 수술 예에서 수술 부위)의 영상이 사용자(102)(예를 들어, 외과의 또는 다른 숙련된 임상의)에게 표시되는 디스플레이(108)를 포함한다. 사용자(102)가 각 손에 하나씩 2개의 마스터 장치(110)를 파지하면서 팔뚝을 의지할 수 있는 지지대(111)가 제공된다. 마스터 장치(110)는 지지대(111) 후방 및 일반적으로 디스플레이(108) 후하방의 공간에 위치된다. 제어 유닛(112)을 사용할 때, 사용자(102)는 일반적으로 제어 유닛(112)의 전방에 앉아, 양 눈을 디스플레이(108)의 전방에 위치시키고, 지지대(111)에 팔뚝을 의지하면서 각 손에 하나씩 마스터 장치(110)를 파지한다. 마스터 장치는 관련 엔드 이펙터의 영상이 마스터 장치와 눈 사이에 있도록 포지셔닝되어, 사용자가 손 대신 엔드 이펙터를 보면서 마스터 장치의 모션이 마스터를 직관적으로 운동시킨다. 사용자 제어 유닛(112)은 선택적으로 마스터 장치(110)와 관련 툴(114) 및 그 엔드 이펙터(140) 사이의 원격조작 제어 관계를 정립하고 유지하도록 기능하는 컴퓨터(113) 또는 컴퓨터(113)의 일부를 포함할 수 있다.
마스터 장치와 그것의 슬레이브 툴(예를 들어, 수술 예에서 슬레이브 수술 툴) 및 엔드 이펙터 간의 효과적인 원격조작 제어 관계는 마스터 장치와 엔드 이펙터 간의 공간 얼라인먼트(spatial alignment)를 필요로 한다. 이 얼라인먼트는 사용자의 지각되는 마스터 장치의 모션(user's perceived motion of the master device)(예컨대, 자기수용성 감각(proprioceptive sense))과 사용자의 지각되는 결과적인 엔드 이펙터의 모션(user's perceived resulting motion of the end effector)(예컨대, 시감각(visual sense)) 간의 상당히 정확한 관계를 제공해야 한다. 예를 들어, 사용자가 마스터 장치를 파악한 손을 좌측으로 움직이면, 사용자는 관련 슬레이브 매니퓰레이터의 좌측으로의 움직임을 지각할 것으로 예상한다. 지각되는 공간적 모션들이 정합하면, 사용자는 마스터 장치를 운동시키는 것에 의해 슬레이브의 운동을 쉽게 제어할 수 있다. 하지만, 지각되는 공간적 모션들이 정합하지 않으면(예를 들어, 마스터 장치의 좌측으로의 이동이 상우로의(up and to the right) 슬레이브 이동을 발생시키는 등), 슬레이브 제어가 어렵다. 필요한 얼라인먼트는 원격조작 시스템(예를 들어, 수술 예에서의 원격수술 시스템)에서 알려진 기구학적 관계 및 기준 좌표계 변환(transform)을 사용하여 실행된다. 다른 3차원 좌표 시스템이 3차원 공간에서 기능하는 시스템에 대해 사용될 수도 있겠지만, 이러한 관계는 아래에서 카테시안 관점에서 설명된다.
1. 아키텍처들 및 기준 좌표계들(Architectures and Reference Frames)
도 5a는 원격조작 시스템 구성요소들(예를 들어, 수술 예에서의 원격수술 시스템 구성요소들) 및 관련 카테시안 기준 좌표계들의 개략도이다. 도 5a에 도시된 바와 같이, 카메라(126)(예를 들어, 내시경 수술 예에서 내시경 카메라)는 시계(FOV)(127)를 갖는다. 툴(114)(예를 들어, 수술 예에서의 수술 툴)의 원위 부분은 리스트(141) 및 엔드 이펙터(140)를 가지며, 그 리스트(141) 및 엔드 이펙터(140)가 FOV(127) 내에 있다. 엔드 이펙터 기준 좌표계(150)가 엔드 이펙터(140)와 관련되고, 툴 기준 좌표계(151)가 환자 외부 부분(섀시, 하우징, 근위측 샤프트 등)과 같은 툴(114)의 근위 부분(메인 바디)과 관련된다. 툴이 리스트(141)를 갖지 않는 경우에는, 기준 좌표계(150 및 151)는 툴(114)의 근위 부분과 엔드 이펙터(140) 모두를 위치결정시키고 방위설정하기에 충분한 단일 기준 좌표계로 통합될 수 있으며, 또는 기준 좌표계(150, 151)는 별개로 유지되어, 각각이 다른 위치에 원점을 가질 수 있다. 유사하게, 시계 기준 좌표계(152)가 FOV(127)와 관련되고, 촬영 장치 기준 좌표계(153)가 환자 외부 근위 부분과 같은 카메라(126)의 바디 부분과 관련된다. 카메라(126)가 리스트(141)를 갖지 않는 경우에는, 기준 좌표계(152 및 153)는 단일 기준 좌표계로 결합될 수 있으며, 또는 별개로 유지되어, 각각이 다른 위치에 원점을 가질 수 있다.
카메라(126)를 포함하여 모든 툴(114)(예를 들어 수술 예에서의 수술 툴)의 물리적 치수 및 기계적 링크들이 알려져 있고, 이러한 기계적 링크들 사이의 모든 조인트 각도가 결정될 수 있는(직접적인 회전 센서, 모터 위치 센서, 광섬유 형상 센서 등을 사용하여) 시스템에 대해서는, 기준 좌표계(150 또는 151)와 툴(114)의 임의의 다른 링크의 기준 좌표계 간의 기구학적 관계는 잘 알려진 기구학적 계산을 사용하여 결정될 수 있다. 마찬가지로, 기준 좌표계(152 또는 153)와 카메라(126)의 임의의 다른 링크 간의 기구학적 관계가 결정될 수 있다. 따라서, 엔드 이펙터(140)가 FOV(127) 내에서 작동하게 되는 이러한 시스템에 대해, 기준 좌표계(150 및 152) 간의 얼라인먼트는 사용자가 FOV(127) 내에서 엔드 이펙터(140)를 쉽게 제어하는 것을 가능하게 해준다.
도 5a는 또한 디스플레이(108)를 관찰하고 마스터 장치(110)를 파악(grasp)하는 사용자(102)를 도시하고 있다. 디스플레이(108)는 FOV(127) 내의 영상을 표시한다. 도시된 바와 같이, 엔드 이펙터(140)의 영상(140a)은 디스플레이(108) 상에 표시된다. 디스플레이 기준 좌표계(154)는 디스플레이(108)와 관련되고, 마스터 장치 기준 좌표계(156)는 마스터 장치(110)와 관련된다. 마스터 장치(110)가 3D 공간에서 병진운동 및 회전됨에 따라, 관련된 기준 좌표계(156)가 그에 대응하여 병진운동 및 회전한다. 이러한 기준 좌표계(156) 병진운동 및 회전(자세 변경)은 알려진 방법을 사용하여 감지될 수 있으며, 잘 알려진 기구학적 계산을 사용하는 것에 의해 마스터 장치(110)와 엔드 이펙터(140) 간의 제어 관계를 제공하도록 엔드 이펙터(140)의 기준 좌표계(150)로 수학적으로 변환된다. 마스터 장치(110)의 좌표계(156) 위치 및 방위가 변경됨에 따라, 엔드 이펙터(140)의 기준 좌표계(150) 위치 및 방위가 그에 대응하여 변경되어, 엔드 이펙터(140)의 운동이 마스터 장치(110)의 운동에 종속되어 마스터 장치(110)의 운동을 추종한다. 사용자(102)는 디스플레이(108) 상에서 엔드 이펙터(140)의 위치 및 방위 변경을 관찰한다. 마스터 장치 운동과 엔드 이펙터 영상 운동 간의 소정의 쉽고 직관적 제어 관계를 정립하기 위해, 기준 좌표계(150 및 152) 사이 및 기준 좌표계(154 및 156) 간의 관계들이 정립된다. 일단 이러한 기준 좌표계 관계들이 정립되면, 기준 좌표계(152)에 대한 기준 좌표계(150)의 운동은 기준 좌표계(154)에 대한 기준 좌표계(156)의 운동과 정확히 또는 수용 가능하게 정합하도록 제어될 수 있다.
도 5b는 원격조작 시스템 구성요소들 및 관련 카테시안 기준 좌표계들의 또 다른 개략도이다. 도 5b는 기계적 그라운드(mechanical ground)와 관련하여 기계적 지지 구조부들에 의해 지지되는 도 5a에 도시된 다양한 구성요소들을 도시한다. 도 5b는 또한 이러한 지지 구조부들과 관련된 기준 좌표계들을 도시한다. 이 도면 및 이하의 도면에서 간략화하기 위해, 각각의 지지 구조부는 기구학적 쌍(운동 가능한 조인트에 의해 연결된 2개의 링크)으로 도시되어 있다. 하지만, 지지 구조부들은 0 DOF를 갖는 단일 링크, 1 이상의 DOF를 갖는 단일 기구학적 쌍, 또는 2 이상의 DOF를 갖는 기구학적 쌍들의 조합과 같은 다양한 선택적인 구성일 수 있음을 이해해야 한다. 또한, 2 이상의 DOF를 갖는 지지 구조부들은 선택적으로 지지 구조부에 여유 DOF(redundant DOF)를 제공하는 조인트들을 가질 수 있다. 다양한 기구학적 조인트들(도시된 바와 같은 회전 조인트, 프리즈메틱 조인트, 구면 조인트 등) 중의 어떤 것이 사용될 수 있다.
도 5b에 도시된 바와 같이, 마스터 장치(110)는 기계적 그라운드 결합부(mechanically grounded portion)(160a)("베이스(160a)"라고도 함)에서 시작하여 마스터 장치(110)와 연결될 때까지 원위측으로 연장되어 있는 마스터 장치 지지 구조부(160)에 의해 지지된다. 기준 좌표계(161)는 마스터 장치 지지 구조부(160)의 하나의 링크와 관련된다. 유사하게, 디스플레이(108)는 기계적 그라운드 결합 베이스(162a)에서 시작하여 디스플레이(108)와 연결될 때까지 원위측으로 연장되어 있는 디스플레이 장치 지지 구조부(162)에 의해 지지된다. 기준 좌표계(163)는 디스플레이 장치 지지 구조부(162)의 하나의 링크와 관련된다. 유사하게, 카메라(126)는 기계적 그라운드 결합 베이스(164a)에서 시작하여 카메라(126)와 연결될 때까지 원위측으로 연장되어 있는 촬영 장치 지지 구조부(카메라 지지 구조부(164)로 도시 됨)에 의해 지지된다. 카메라 지지 구조부 기준 좌표계(165)는 카메라 지지 구조부(164)의 하나의 링크와 관련된다. 유사하게, 툴(114)은 기계적 그라운드 결합 베이스(166a)에서 시작하여 툴(114)과 연결될 때까지 원위측으로 연장되어 있는 툴 지지 구조부(166)에 의해 지지된다. 기준 좌표계(167)는 툴 지지 구조부(166)의 하나의 링크와 관련된다.
도 5b는 또한 마스터 장치 지지 구조부(160)가 마스터 장치(110a)와 마스터 장치 지지 구조부의 그라운드 결합부(160a) 사이의 기구학적 체인에 단절이 있을 때 지지 구조부로서 선택적으로 구성될 수 있음을 도시한다. 이 구성은 마스터 장치(110)가 기계적으로 그라운드 결합되지 않을 때에 존재한다(즉, 마스터 장치(110a)가 "그라운드 결합되지 않은(ungrounded)" 마스터 장치일 때). 마스터 장치(110a)와의 통신을 위해, 통신 회선 또는 무선 연결을 포함하는 테더(tether)가 사용될 수 있다. 마스터 장치는 사용자(102)의 증강되지 않은(unaugmented) 손 또는 양손일 수 있으며, 따라서 손 자세의 공간 감지는 그라운드 결합되지 않은 마스터의 무선 구현임이 상기될 것이다. 마스터 장치(110)로부터의 제어 명령(160b)(마스터 장치 기준 좌표계(156)와 관련한 위치 및 방위 변경, 마스터 장치 자체로부터의 임의의 추가적인 제어 입력(버튼, 레버, 손가락 움직임, 손 자세 등)이 테더를 통해, 마스터 장치로부터의 무선 신호를 통해, 또는 자유 공간 자세 감지에 의해 마스터 장치 제어 입력 수신기(160c)를 통해 수신된다. 그 후 제어 명령은 처리 및 대응하는 슬레이브 제어 동작을 위해 컴퓨터(113)로 라우팅된다. 그라운드 결합되지 않은 마스터 장치의 예는 본원에 참조로 포함되는 미국 특허 US 8,521,331 B2(2009년 11월 13일 출원)("최소 침습 원격조작 수술 기기를 위한 환자측 외과의 인터페이스(Patient-side Surgeon Interface for a Minimally Invasive, Teleoperated Surgical Instrument)" 개시), US 8,935,003 B2(2010년 9월 21일 출원)("최소 침습 수술 시스템에서의 손 존재 검출을 위한 방법 및 시스템(Method and System for Hand Presence Detection in a Minimally Invasive Surgical System)" 개시), 및 미국 특허 US 8,996,173 B2(2010년 9월 21일 출원)("최소 침습 수술 시스템에서의 손 동작 제어를 위한 방법 및 장치" 개시)에 제공되고 있다.
조인트 위치가 결정될 때, 잘 알려진 정기구학적 또는 역기구학적 계산이 사용되어, 마스터 장치 기준 좌표계(156)와 마스터 장치 지지 구조부 기준 좌표계(161) 사이; 디스플레이 기준 좌표계(154)와 디스플레이 지지 구조부 기준 좌표계(163) 사이; 촬영 장치 시계 기준 좌표계(카메라 FOV 기준 좌표계(152)로 지칭 됨), 촬영 장치 기준 좌표계(카메라 기준 좌표계(153))와 촬영 장치 지지 구조부 기준 좌표계(카메라 지지 구조부 기준 좌표계 165)) 사이; 및 엔드 이펙터 기준 좌표계(150), 툴 기준 좌표계(151)와 툴 지지 구조부 기준 좌표계(167) 사이에서 변환을 실행한다. 예를 들어, 그 전체 개시 내용이 본원에 참조로 포함되는 미국 특허 제5,631,973호(1994년 5월 5일 출원)("원격 현장감에 의한 원격조작을 위한 방법(Method for Telemanipulation with Telepresence)" 개시), 제5,808,665호(1996년 9월 9일 출원)("내시경 수술 기기 및 사용 방법(Endoscopic Surgical Instrument and Method for Use)" 개시), 및 US 6,424,885 B1(1999년 8월 13일 출원)("최소 침습 수술 장치에서의 카메라 기준 제어(Camera Referenced Control in a Minimally Invasive Surgical Apparatus)" 개시) 참조.
도 5b는 또한 도시된 기계적 그라운드에 대해 고정적인 세계 기준 좌표계(world reference frame)(168)를 도시한다. 기준 좌표계(168)는 기계적 그라운드와 직접 관련될 수 있으며, 또는 기계적 그라운드에 대해 고정적으로 유지되는 일부 다른 구조부와 관련될 수 있다. 또한, 중력 벡터(g)(169)가 세계 기준 좌표계(168)와 관련하여 예시되어 있으며, 세계 기준 좌표계는 선택적으로 중력 벡터에 관하여 임의의 방위일 수 있음이 이해되어야 하겠지만, 좌표계(168)의 Z 축과 임의로 얼라인되어 있다. 자북(magnetic north)이 고정적인 세계 기준 좌표계와 관련될 수 있는 기준 축의 또 다른 예이다.
도 5c는 원격조작 시스템 구성요소들 및 관련 카테시안 기준 좌표계들의 또 다른 개략도이다. 도 5c는 시스템 구성요소들을 위한 지지 구조부들이 다양한 방식으로 선택적으로 통합될 수 있으며, 기준 좌표계들이 통합된 지지 구조부들과 관련될 수 있음을 도시한다. 예를 들어, 마스터 장치 지지 구조부(160)와 디스플레이 장치 지지 구조부(162)가 도시된 바와 같이 하나의 공통 제어 지지 구조부(170)로 통합될 수 있다. 제어 지지 구조부(170)는 기계적 그라운드에 위치한 근위 베이스(170a)로부터 연장된 후, 원위측으로 디스플레이(108)와 마스터 장치(110)를 지지하도록 분기된다. 마스터 장치와 디스플레이 모두에 공통인 이러한 제어 지지 구조부의 예가 도 4에 도시된 사용자 제어 유닛(112)이다.
제어 지지 구조부(170)는 또한 전술되고 도 5c에 도시된 바와 같이 그라운드 결합되지 않은 마스터 장치(110a) 구성을 지지하도록 구성될 수 있다.
제어 지지 구조부 기준 좌표계(171)는 제어 지지 구조부(170)와 관련된다. 잘 알려진 정기구학적 또는 역기구학적 계산이 사용되어, 디스플레이 기준 좌표계(154), 마스터 장치 기준 좌표계(156)와 제어 지지 구조부 기준 좌표계(171) 사이에서 변환을 실행한다. 또한, 제어 지지 구조부 기준 좌표계(171)는 도시된 바와 같이 그라운드 결합되지 않은 마스터 구성에 사용될 수 있다.
지지 구조부들이 선택적으로 통합될 수 있는 방법을 예시하는 또 다른 예로서, 도 5c는 카메라 지지 구조부(164)와 툴 지지 구조부(166)가 단일 장치 지지 구조부(172)(예를 들어, 수술 예에서의 수술 장치 지지 구조부)로 통합된 것을 도시한다. 단일 장치 지지 구조부(172)는 기계적 그라운드에 위치한 근위 베이스(172a)로부터 연장된 후, 원위측으로 툴(114)과 카메라(126)를 지지하도록 분기된다. 이러한 장치 지지 구조부의 예가 도 2에 도시된 매니퓰레이터 어셈블리(116)이다.
장치 지지 구조부 기준 좌표계(173)는 장치 지지 구조부(172)와 관련된다. 잘 알려진 정기구학적 또는 역기구학적 계산이 사용되어, 필요에 따라 엔드 이펙터 기준 좌표계(150), 툴 기준 좌표계(151), FOV 기준 좌표계(152), 카메라 기준 좌표계(153)와 장치 지지 구조부 기준 좌표계(173) 사이에서 변환을 실행한다. 경우에 따라서는 사람이 카메라(126)를 잡고 카메라 지지 구조부로서 작용할 수 있음을 상기할 것이다.
도 5c는 또한 제어 지지 구조부(170) 및 장치 지지 구조부(172)와 관련한 그리고 또한 그들의 관련 기준 좌표계들과 관련한 세계 기준 좌표계(168) 및 중력 벡터(g)(169)를 도시한다. 세계 기준 좌표계(168) 및 중력 벡터(169)는 이들이 필요에 따라 도 5b에 도시된 다양한 기준 좌표계와 더불어 기준 좌표계(171 또는 173)와 관련하여 사용될 수 있음을 예시하도록 도시되어 있다. 추가 설명이 아래에 포함되어 있다.
당업자는 다양한 지지 구조부들이 도시된 바와 같이 단일 대상을 지지할 수 있으며, 또는 선택적으로 2개 이상의 유사 또는 비유사 대상들을 지지할 수 있다는 것을 이해할 것이다. 예를 들어, 마스터 장치 지지 구조부(160)가 2개의 마스터 장치(110)(예를 들어, 사용자 제어 유닛(112)에 의해 예시된 바와 같이, 대응하는 개별 툴(114)을 제어하기 위한 각각의 왼손 및 오른손에 대한 하나씩의 마스터 장치(110))를 지지할 수 있다. 또는, 마스터 장치 지지 구조부(160)는 3개 이상의 마스터 장치(예를 들어, 대응하는 개별 툴(114)을 제어하기 위한 2개의 마스터 장치(110) 및 제3 툴(114) 또는 카메라(126)를 제어하기 위한 제3 마스터 장치))를 지지할 수 있다. 하나 이상의 기구학적으로 그라운드 결합된 마스터 장치와 하나 이상의 그라운드 결합되지 않은 마스터 장치의 조합이 지지될 수 있다. 또한, 2개 이상의 마스터 장치(110)가 지지되는 경우, 디스플레이(108)는 지지되거나 지지되지 않을 수 있다. 유사하게, 툴 지지 구조부(166) 및 장치 지지 구조부(172)는 카메라(126)를 갖거나 갖지 않으면서 2개 이상의 툴(114)을 지지할 수 있다(예를 들어, 매니퓰레이터 어셈블리(116)).
또한, 원격조작 시스템은 선택적으로 2개 이상의 마스터 장치 지지 구조부(160), 디스플레이 장치 지지 구조부(162), 카메라 지지 구조부(164), 툴 지지 구조부(166), 제어 지지 구조부(170) 및 장치 지지 구조부(172)의 조합들을 포함할 수 있다. 예를 들어, da Vinci® Xi 수술 시스템은 단일 디스플레이(108) 및 2개의 마스터 장치(110)를 지지하는 하나의 제어 지지 구조부(170)를 가지며, 하나의 내시경 카메라(126) 및 3개까지의 툴(114)을 지지하는 하나의 장치 지지 구조부(172)를 가진다. da Vinci® Xi 수술 시스템은 선택적으로 제2 단일 디스플레이(108) 및 2개의 마스터 장치(110)의 제2 세트를 지지하는 제2 제어 지지 구조부(170)을 포함하고, 이 제2 제어 지지 구조부가 예를 들어 훈련 상황에서 사용될 수 있다.
당업자는 예시된 다양한 기준 좌표계들이 기구학적으로 가능할 때 단일 기준 좌표계가 되도록 다양한 방식으로 통합될 수 있음을 이해할 것이다. 예를 들어, 마스터 장치 지지 구조부 기준 좌표계(161) 또는 제어 지지 구조부 기준 좌표계(171)가 마스터 장치 기준 좌표계(156)로서 사용될 수 있다. 마찬가지로, 디스플레이 기준 좌표계(154)가 마스터 장치 기준 좌표계(156)로서 사용될 수 있다. 유사하게, 카메라 바디 기준 좌표계(153)(촬영 장치 바디 기준 좌표계)가 FOV 기준 좌표계로서 사용될 수 있다. 불필요한 설명을 피하기 위해, 모든 다양한 조합이 열거되지는 않지만, 모든 이러한 조합은 발명의 양태 내에 있다. 일반적으로, 하나의 기구학적 체인에서 임의의 링크(최원위 링크를 포함)와 관련된 기준 좌표계는 제2 기구학적 체인에서 임의의 링크(최원위 링크를 포함)와 관련된 기준 좌표계로서 사용될 수 있다. 2개의 기준 좌표계 간의 기구학적 관계는 본 발명의 양태에 따라 필요에 따라 정립된다.
전술한 바와 같이, 디스플레이(108)와 하나 이상의 마스터 장치(110)가 하나의 공통 제어 지지 구조부(170)에서 지지될 때 그리고 디스플레이 및 마스터 장치에 대한 기구학적 자세 정보가 결정될 때, 잘 알려진 기구학적 계산이 사용되어, 디스플레이 및 하나 이상의 마스터와 관련된 기준 좌표계들 간의 필요한 제어 얼라인먼트를 정립한다. 이는 디스플레이(108), 하나 이상의 마스터 장치(110) 및 제어 지지 구조부(170) 간의 위치 및 방위 관계가 알려져 있기 때문이다. 유사하게, 카메라(126)와 하나 이상의 툴(114)이 하나의 공통 장치 지지 구조부(172)에서 지지될 때, 잘 알려진 기구학적 계산이 사용되어, 카메라와 그것의 FOV, 하나 이상의 개별 툴(114)에 대응하는 하나 이상의 개별 엔드 이펙터(140) 및 장치 지지 구조부 간의 필요한 제어 얼라인먼트를 정립하며, 이는 이 대상들 간의 위치 및 방위 관계가 알려져 있기 때문이다. 원격조작(예를 들어, 수술 예에서의 원격수술)에 필요한 제어 얼라인먼트를 정립하기 위해, 제어 지지 구조부 기준 좌표계(171)가 장치 지지 구조부 기준 좌표계(173)로 변환되고, 따라서 마스터/디스플레이 및 카메라 엔드 이펙터/FOV 기준 좌표계 얼라인먼트가 정립된다.
예를 들어, 새로운 원격조작 시스템 아키텍처는 툴들 간의 기구학적 관계를 결정하는 데 사용될 수 있는 툴들에 공통인 단일의 기계적 베이스가 결여될수 있다. 유사하게, 새로운 원격조작 시스템 아키텍처는 마스터 입력 장치들 간의, 또는 마스터 입력 장치와 디스플레이와 같은 다른 장비 간의 기구학적 관계를 결정하는데 사용될 수 있는 마스터 입력 장치들에 공통인 하나의 기계적 베이스가 결여될 수 있다. 따라서, 원격조작 시스템에 있어서의 개선된 공간 정합 및 제어에 대한 요구가 존재한다.
예를 들어, 어떤 원격조작 시스템은 툴들을 반송하는 2개 이상의 유닛을 포함할 수 있으며, 여기서 유닛들은 서로에 대해 운동 가능하여, 당해 유닛들 간의 기구학적 관계가 동일한 기계적 베이스에 장착되는 것에 의해 쉽게 정의되지 않는다. 또한, 툴(예를 들어, 조작 툴 또는 카메라)은 임의의 센서가 구비되지 않는 피동형 지지 구조부에 의해 지지될 수 있거나, 또는 툴은 사람에 의해 유지될 수 있으며, 따라서 컴퓨터 제어 시스템은 툴의 지지 구조부로부터 툴의 기구학적 정보를 결정할 수 없다. 결과적으로, 상이한 유닛들에 의해 유지되는 툴들 간의(예를 들어, 의료적 실시예에서의 내시경 카메라와 하나 이상의 다른 의료용 툴 간의) 기구학적 관계를 결정하는데 사용될 수 있는 이들 유닛들에 공통인 단일의 기계적 베이스는 존재하지 않는다. 또한, 하나 이상의 유닛은 절차 동안(예를 들어, 수술 예에서의 수술 절차 동안) 필요에 따라 추가되거나 제거될 수 있다.
유사한 상황이 이러한 새로운 시스템에 있어서의 툴들의 모션을 제어하는 데 사용되는 마스터 제어 장치들에 존재할 수 있다. 마스터 제어 장치들은 공통의 기계적 베이스를 공유하지 못할 수 있으며, 디스플레이(예를 들어, 촬영 장치에 의해 취득된 작업 부위의 영상을 보여주는 디스플레이)와 하나 이상의 마스터 제어 장치(예를 들어, 하나 이상의 조작 또는 촬영 툴과 같은 하나 이상의 툴의 자세를 제어하는 데 사용되는 마스터 입력 장치) 간의 기구학적 관계는 기구학적 데이터만으로는 결정 가능하지 못할 수 있다. 또한, 하나 이상의 마스터 입력 장치가 절차 동안 필요에 따라 추가되거나 제거될 수 있다.
따라서, 하나 이상의 개별 마스터 장치, 디스플레이, 촬영 장치 및 툴 지지 구조부들이 사용되는 상황에서, 마스터와 디스플레이 간의 그리고 촬영 장치와 다른 툴 간의 위치 및 방위 관계는 정립하기가 더 어렵다. 필요한 제어 얼라인먼트를 정립하는 데 위치 및 방위가 사용되면, 각각의 별개의 지지 구조부의 위치 및 방위의 모두가 결정되어야만 한다. 또한, 별개의 지지 구조부의 위치 또는 방위가 사용 중에(예를 들어, 수술 예에서 수술을 위해) 변경되면, 필요한 제어 얼라인먼트를 다시 정립하기 위해 변경된 지지 구조부의 새로운 위치 및 방위가 결정되어야만 한다. 하지만, 종종 별개의 지지 구조부들의 위치 및 방위를 충분한 정확도로 결정하는 것은 어렵다.
도 5d는 환자와, 의료 절차 동안 별개의 카메라 및 툴 지지 구조부들이 사용되는 예시적인 상황을 예시하는 2개의 환자측 유닛을 도시한 의료 예의 개략적인 평면도이다. 환자(200)는 수술 테이블(202) 상에서 도시되어 있다. 하나의 예시적인 카메라 지지 구조부(204)가 수술실 플로어를 가로 질러 이동될 수 있는 이동 유닛으로서 도시되어 있다. 전술한 바와 같이, 카메라 지지 구조부(204)는 내시경 카메라(206)를 지지하며, 내시경 카메라(206)는 환자 내의 작업 부위(208)(이 예에서는 수술 부위와 같은 의료 부위)를 향해 자세 취해진 FOV를 갖는다. 하나의 예시적인 툴 지지 구조부(210)가 역시 수술실 플로어를 가로 질러 이동될 수 있는 이동 유닛으로서 도시되어 포함되어 있다. 툴 지지 구조부(210)는 툴(212)을 지지하며, 툴(212)은 환자 및 FOV 내의 수술 부위에 엔드 이펙터(214)를 위치시키도록 자세 취해져 있다. 카메라 지지 구조부(204)는 단일 카메라를 지지하는 단일 카메라 지지 구조부, 2개 이상의 카메라를 지지하는 단일 카메라 지지 구조부, 및 각각이 하나 이상의 카메라를 지지하는 2개 이상의 개별 카메라 지지 구조부를 대표한다. 마찬가지로, 툴 지지 구조부(210)는 단일 툴을 지지하는 단일 툴 지지 구조부, 2개 이상의 툴을 지지하는 단일 툴 지지 구조부, 및 각각이 하나 이상의 툴을 지지하는 2개 이상의 개별 툴 지지 구조부를 대표한다. 또한, 카메라 지지 구조부(204) 및 툴 지지 구조부(210)는 선택적으로 전술한 바와 같은 통합된 장치 지지 구조부를 대표한다. 따라서, 모든 가능한 변형예들의 불필요하게 긴 설명을 피하기 위해, 당업자는 카메라 지지 구조부(204) 및 툴 지지 구조부(210)에 관한 다음의 설명이 각각이 대표할 수 있는 다양한 다른 지지 구조부들에도 적용된다는 것을 이해할 것이다.
도시된 바와 같이, 카메라 지지 구조부(204)가 기계적 그라운드(이 예에서, 플로어(216))에 대해 특정 자세(204a)에 있다. 카메라 지지 구조부 기준 좌표계(218)가 카메라 지지 구조부의 기구학적 체인의 개별 링크(예컨대, 기계적 그라운드에 위치한 베이스 링크, 셋업 구조부의 링크, 매니퓰레이터의 링크, 카메라 자체의 링크; 카메라 바디 자체일 수 있는 카메라의 최원위 링크의 자세가 카메라 FOV의 기준 좌표계를 정의하는 데 사용된다)와 관련된다. 카메라 지지 구조부 기준 좌표계(218) 방위는 관련된 개별 링크 방위가 변경됨에 따라 변경되고, 그런 다음 기구학적 계산이 사용되어 카메라 지지 구조부에 속하는 임의의 다른 링크의 방위를 결정한다.
이러한 변경되는 방위 양태는 도 5d에 기계적 그라운드(플로어(216))에 대해 제1 자세(210a)로 도시되어 있는 툴 지지 구조부(210)에 대해 추가로 도시되어 있다. 툴 지지 구조부 기준 좌표계(220)는 툴 지지 구조부의 기구학적 체인의 개별 링크(예를 들어, 기계적 그라운드에 위치한 베이스 링크, 셋업 구조부의 링크, 매니퓰레이터의 링크, 엔드 이펙터를 포함하는 툴 자체의 링크)와 관련된다. 도 5d는 또한 기계적 그라운드에 대해 제2 선택적 자세(210b)에 있는 툴 지지 구조부(210)를 도시하며, 이는 툴 지지 구조부가 원격조작을 위해 그리고 원격조작 동안(예를 들어, 수술 예에서 원격수술 동안) 다양한 위치 및 방위로 배치될 수 있음을 예시한다. 기준 좌표계(220)는 화살표(222)로 도시된 바와 같이 툴 지지 구조부 상의 관련 링크가 변경됨에 따라 변경된다. 당업자는 도시된 바와 같은 툴 지지 구조부(210)의 다양한 자세는 또한 하나 이상의 추가의 개별적인 또는 조합된 툴 지지 구조부의 다양한 자세, 더불어 카메라 지지 구조부(204) 및 선택적으로 하나 이상의 추가의 개별적인 또는 통합된 카메라 지지 구조부의 선택적 자세들, 더불어 하나 이상의 별개의 개별 장치 지지 구조부로 통합된 하나 이상의 카메라 및 툴 지지 구조부의 다양한 자세를 대표한다는 것을 이해할 것이다. 하지만, 모든 이러한 선택적 조합에 대해, 카메라를 지지하는 지지 구조부는 카메라의 FOV 기준 좌표계 내에서의 정합을 요하는 툴을 유지시키는 지지 구조부와 별개이다.
도 5e는 환자와, 별개의 카메라 및 툴 지지 구조부들의 방위를 변경시키는 제2 예를 보여주는 2개의 환자측 유닛의 또 다른 개략적인 평면도이다. 도 5e에서, 카메라 및 툴 지지 구조부들은 테이블(202)(예를 들어, 수술 예의 수술 테이블과 같은 의료 예에서의 의료 테이블)에 장착된다. 예를 들어, 카메라 및 툴 지지 구조부들은 기계적 그라운드로서 기능하는 테이블의 측변 레일(들)을 따라 다양한 위치에 장착될 수 있다. 카메라(206)를 위한 카메라 지지 구조부(224)는 베이스 위치(224a)에서 테이블(202)에 장착된다. 유사하게, 툴(114)을 위한 툴 지지 구조부(226)는 제1 베이스 위치(226a)에서 테이블(202)에 장착된다. 툴 지지 구조부(226)는 선택적으로 제2 베이스 위치(226b)에서 테이블(202)에 장착되며, 이는 툴 지지 구조부가 원격조작을 위해 그리고 원격조작 동안(예를 들어, 수술 예에서 원격수술 동안) 다양한 위치 및 방위에 배치될 수 있음을 예시한다. 도 5d에서는, 툴 지지 구조부의 베이스의 위치 및 방위의 모두가 변경되는 것을 도시되었고, 도 5E에서는, 툴 지지 구조부 베이스의 위치만이 변경되는 것으로 도시되어 있으며, 이는 베이스가 테이블 레일을 따라 다양한 위치에 위치할 때 베이스 방위는 변경되지 않기 때문이다. 하지만, 툴 지지 구조부가 테이블의 한쪽 측변에서 테이블의 반대쪽 측변으로 이동할 때 등에서는, 툴 지지 구조부의 베이스 위치 및 방위가 다른 구성으로 변경될 수 있다. 또한, 테이블 자세가 변경될 수 있으며, 이것이 상응하여 베이스 방위 및 위치를 변경시킨다. 다시 말하지만, 전술한 바와 같이, 다양한 카메라 및 툴 지지 구조부들의 조합이 가능하다. 그리고 다시 말하지만, 모든 이러한 선택적인 조합들에 대해, 카메라를 지지하는 지지 구조부는 카메라의 FOV 기준 좌표계 내의 정합을 요하는 툴을 유지시키는 지지 구조부와 물리적으로 완전히 독립적이거나, 툴도 유지시키지만 공유되는 기구학적 정보가 없음으로써 효과적으로 기구학적으로 독립적인 공유형 지지 구조부를 통해 기계적으로 결합된다.
2. 제어를 위한 얼라인먼트(Alignment for Control)
카메라 FOV 기준 좌표계에 대해 툴의 원위 단부를 효과적으로 운동시키기 위해, 카메라 FOV와 툴의 엔드 이펙터 간의(즉, 카메라 FOV와 관련된 기준 좌표계와 엔드 이펙터와 관련된 기준 좌표계 간의) 얼라인먼트 관계(alignment relationship)가 결정된다. 또한, 마스터 장치와 엔드 이펙터를 보여주는 카메라로부터의 영상을 출력하는 디스플레이 간의(즉, 마스터 제어부와 관련된 좌표계와 디스플레이와 관련된 좌표계 간의) 얼라인먼트 관계가 결정된다. 이러한 얼라인먼트 관계를 정립하고, 마스터 장치가 표시된 엔드 이펙터 자세에 대응하는 자세를 취하게 만드는 예가 그 전체 개시 내용이 본원에 참조로 포함되는 미국 특허 제6,424,885B1호 및 미국 특허 제6,459,926호(1999년 9월 17일 출원)에서 발견된다. 이들 예에서, 마스터 장치는 로봇식 마스터 매니퓰레이터 암의 단부에 장착된다. 필요한 마스터/슬레이브 제어 관계를 정립하기 위해, 마스터 매니퓰레이터 암은 마스터 장치를 카메라 FOV 기준 좌표계 내에서의 슬레이브 엔드 이펙터의 자세에 대응하는 디스플레이 기준 좌표계 내에서의 자세로 운동시킨다. 이 운동은 마스터 장치 자세를 표시된 엔드 이펙터 자세와 얼라인시키고, 따라서 마스터 장치와 엔드 이펙터 간의 시각적이고 자기수용적으로 직관적인(visually and proprioceptively intuitive) 제어 관계가 설정된다. 따라서, 다양한 실시예에서, 엔드 이펙터 기준 좌표계와 FOV 기준 좌표계 간의 그리고 디스플레이 기준 좌표계와 마스터 장치 기준 좌표계 간의 관계가 결정된다.
구현예들에서, 직관적인 마스터/슬레이브 제어의 사용자의 지각은 마스터와 슬레이브 간의 적어도 2가지 주요한 지각되는 상관관계에 의존한다. 첫째, 공간에서의 마스터의 (마스터 장치) 방위와 공간에서의 슬레이브의 (엔드 이펙터) 방위 간의 상관관계의 사용자의 지각(즉, 지각되는 방위 상관관계(perceived orientation correlation))에 의존한다. 둘째, 마스터의 (마스터 장치) 운동의 방향과 슬레이브의 (엔드 이펙터) 운동의 방향의 상관관계의 사용자의 지각(즉, 지각되는 운동의 방향 상관관계(perceived direction of movement correlation))에 의존한다.
따라서, 마스터 장치의 방위의 사용자의 자기수용성 감각은 디스플레이 내에서의 대응하는 엔드 이펙터 영상의 방위의 사용자의 시감각의 허용오차 내에 있어야 한다. 많은 툴 및/또는 마스터 장치의 경우, 마스터 장치의 길이방위 축은 디스플레이 내에서 엔드 이펙터의 길이방위 축의 방향으로 방위설정되는 것으로 지각되어야 한다. 하지만, 다른 툴 및/또는 마스터 장치의 경우, 제어에 사용되는 마스터 장치 및/또는 엔드 이펙터 방위 축들은 길이방위 축이 아닐 수 있다. 예를 들어, 권총 그립 스타일 마스터 장치는 엔드 이펙터의 길이방위 축과 얼라인되는 것으로 지각되는 길이방위 축을 갖지 않을 수 있지만, 사용자는 여전히 권총 그립 마스터와 엔드 이펙터 간의 방위 상관관계를 지각한다. 또한, 엔드 이펙터가 마스터 장치의 그립 모션에 직관적으로 대응하는 그립 기능을 갖는 경우, 마스터 장치의 그립 모션의 평면의 방위는 디스플레이 내에서의 엔드 이펙터의 그립 모션의 평면의 방위에 대응하는 것으로 지각되어야 한다.(이것이 마스터 장치의 실제 또는 지각되는 길이방위 축 둘레의 마스터 장치의 롤 각도와 엔드 이펙터의 길이방위 축 둘레의 엔드 이펙터의 롤 각도 간의 정합이다.)
마찬가지로, 마스터 장치의 운동의 방향의 사용자의 자기수용성 감각은 대응하는 엔드 이펙터 영상의 운동의 방향의 사용자의 시감각의 허용오차 내에 있어야 한다.
개별 사용자는 지각되는 방위 및 운동의 방향 상관관계들에 대해 상이한 개인적인 허용오차들을 가질 것이다. 예를 들어, 일부 사용자는 20-40도의 지각되는 방위 상관관계 부정합을 허용할 수 있다. 또한, 일부 사용자는 5도 정도로 낮은 모션의 방향 상관관계 부정합에 영향을 받는다. 우리는 원격수술 시스템이 마스터/슬레이브 동작을 시작하기 위해 마스터 장치와 엔드 이펙터 간의 제어 관계를 처음으로 정립할 때, 그리고 시스템이 마스터/슬레이브 동작 중에 마스터 장치와 엔드 이펙터 간의 제어 관계를 계속 업데이트하고 유지할 때, 지각되는 마스터/슬레이브 방위 및 운동의 방향 상관관계들이 적절한 성능을 위해 지각되는 위치 상관관계보다 중요하다는 것을 발견하였다.
도 5f를 참조하면, 방위 얼라인먼트 축 ZEL은 좌측 엔드 이펙터의 표시된 영상과 관련되고, 방위 얼라인먼트 축 ZER은 우측 엔드 이펙터의 표시된 영상과 관련된다. 마찬가지로, 방위 얼라인먼트 축 ZML은 좌측 마스터 장치와 관련되고, 방위 얼라인먼트 축 ZMR은 우측 마스터 장치와 관련된다. ZML1 및 ZMR1에 방위 축들을 갖는 마스터 장치들은 엔드 이펙터 방위 축 ZEL과 ZER이 이격되는 방식에 대체로 일치하는 방식으로 이격된 위치에 있다. 하지만, 마스터 장치 방위 축 ZML2 및 ZMR2는 엔드 이펙터 방위 축 ZEL 및 ZER이 이격되는 방식보다 더 멀리 이격되어 있다. 그럼에도 불구하고, 마스터 장치 방위 축 ZML2 및 ZMR2의 위치들은 효과적인 직관적 제어를 제공한다. 마찬가지로, 마스터 장치 방위 축 ZML2 및 ZMR2의 수직 위치(예컨대, 좌측이 우측보다 높다) 또는 깊이 위치(예컨대, 좌측이 우측보다 더 깊다)의 차이도 효과적인 직관적 제어를 제공한다. 예를 들어, 효과적인 제어가 ZML1의 좌측 마스터 장치 방위 축과 ZMR2의 우측 마스터 장치 방위 축의 위치에 의해 정립되어 유지될 수 있다.
계속해서 도 5f를 참조하면, 3D 공간 운동 VMR1은 제1 마스터 장치 위치에서의 우측 마스터 장치와 관련되고, 평행한 3D 공간 운동 VMR2는 제2 마스터 장치 위치에서의 우측 마스터 장치와 관련된다. 우측 마스터 장치가 3D 공간 내에서 이격된 위치들에 위치하더라도, 이러한 운동 VMR1 및 VMR2 모두가 효과적인 직관적 제어를 위해 우측 엔드 이펙터의 3D 공간 운동 VER과 상관되는 것으로 지각된다.
3. 방위 얼라인먼트 및 방위 단독 얼라인먼트(Orientation Alignment and Orientation-only Alignment)
사용자의 효과적인 직관적 제어를 위해 마스터 장치와 엔드 이펙터 간의 방위 및 운동의 방향에 있어서의 필요한 지각되는 상관관계를 제공하기 위해, 제어 시스템은 원격조작(예컨대, 수술 예에서의 원격수술을 위한)을 위해 마스터/슬레이브 제어를 시작하는 것과 원격조작(예컨대, 수술 예에서의 원격수술을 위한) 동안에 마스터/슬레이브 제어를 유지 및 업데이트하는 것의 모두를 위해 관련된 좌표계들 간의 관계들을 결정하고 얼라인한다.
본 발명의 하나의 양태에 따르면, 카메라 FOV와 엔드 이펙터 간의 그리고 마스터 장치와 디스플레이 간의 필요한 얼라인먼트 관계들은 이러한 대상들의 방위들에 대해서만 정립되고, 이러한 대상들의 위치들에 대해서는 정립되지 않는다 즉, 이러한 대상들과 관련된 기준 좌표계들의 방위들에 대해서는 정립되고, 이러한 대상들과 관련된 기준 좌표계들의 위치들에는 대해서는 정립되지 않는다. 제어를 위해, 엔드 이펙터 얼라인먼트 방위 축과 카메라 FOV 얼라인먼트 방위 축 간의 절대 방위가 결정되고, 마스터 장치 얼라인먼트 방위 축과 디스플레이 얼라인먼트 방위 축 간의 절대 방위가 정립된다. 제어를 위한 방위 관계들이 결정되면, 엔드 이펙터는 카메라 FOV 내부 또는 외부에 위치될 수 있다.
본 발명의 하나의 양태에 따르면, 카메라 FOV와 엔드 이펙터 간의 그리고 마스터 장치와 디스플레이 간의 필요한 얼라인먼트 관계들은 이러한 대상들의 방위들에 대해서는 전체 방위들에 대해서 정립되지만, 위치들에 대해서는 전체 미만의 위치들에 대해서 정립된다. 전체 방위(full orientation)는 "완전 방위(complete orientation)"라고도 하며, 전체 위치(full position)는 "완전 위치(complete position)"라고도 한다. 전체 미만의 위치 정보(less than full position information)의 예들은 무 위치 정보(no position information)와 단지 1개 또는 2개의 축만을 따른 위치 정보와 같은 부분 위치 정보(partial position information)를 포함한다. 따라서, 카테시안 좌표를 이용하는 예에서, 필요한 얼라인먼트는 모든 3개의 카테시안 축 둘레의 이러한 대상들과 관련된 기준 좌표계들의 방위들(예컨대, X, Y 및 Z 축을 둘레의 회전)에 대해서 그리고 0, 1 또는 2개의 카테시안 축을 따른(예컨대, X, Y 또는 Z 축의 어느 것도 따르지 않거나, X, Y 및 Z 축 중 1개 또는 2개만을 따른) 이러한 대상들과 관련된 기준 좌표계들의 위치에 대해서 정립된다. 그런 다음, 이 전체 방위 정보와 전체 미만의 위치 정보를 사용하여 제어가 정립된다.
다음의 설명은 방위 정보를 이용하는 것에 집중되며, 추가로, 전체 미만의 위치 정보(즉, 0, 1 또는 2개의 카테시안 축을 따른)가 설명되는 바와 같이 제어를 설정하고 유지하는 데 전체 방위 정보와 선택적으로 조합될 수 있음을 이해해야 한다.
직관적 제어를 위해 기준 좌표계들 간의 효과적인 얼라인먼트를 정립하고 유지하기 위해 완전 동차 변환(full homogeneous transformation)이 사용될 수 있지만 필수적인 것은 아니다. 일단 이러한 대상들을 위한 기구학적 체인 내의 임의의 개별 링크(그 대상 자체일 수 있음)의 방위가 알려지면, 그 개별 링크에 대한 전체 미만의 위치 정보로 효과적인 제어 관계가 정립될 수 있다. 링크에 대한 전체 미만의 위치 정보는 그 링크에 대한 무 위치 정보를 의미할 수 있으며, 일부 실시예는 제어 관계를 정립하는 데 방위 정보만을 사용한다. 얼라인먼트를 위해 방위만을 사용하는 것은 얼라인먼트 작업을 단순화시키며, 이는 이러한 대상들 또는 그 지지 구조부들의 절대 또는 상대 위치를 결정하거나 이러한 대상들 또는 그 지지 구조부들에 대한 공통 기준 좌표계를 정립하는 통합된 지지 구조부들을 구성할 필요성을 제거하기 때문이다. 전체 미만의 위치 정보는 또한 부분 위치 정보를 의미할 수 있으며, 일부 실시예는 제어 관계를 정립하는데 방위 정보 및 부분 위치 정보를 사용한다. 전체 위치 정보가 아닌 부분 위치 정보를 사용하는 것도 결정되는 위치 정보의 양을 감소시키는 것에 의해 얼라인먼트 작업을 단순화시킨다. 따라서, 도 5b-5e에 도시된 바와 같이, 다양한 별개의 개별 대상들 및 그 지지 구조부들이 제어를 위해 적절하게 얼라인될 수 있다. 효과적인 제어를 정립하기 위해 필요한 얼라인먼트 관계들은 하나의 기준 좌표계로부터 또 다른 기준 좌표계로의 잘 알려진 기구학적 변환에 의해 실행된다.
효과적인 원격조작 제어에 필요한 초기 방위 얼라인먼트 관계들(예를 들어, 방위 단독 얼라인먼트 관계들(orientation-only alignment relationships) 또는 완전 방위-부분 위치 얼라인먼트 관계들(complete-orientation-with-partial-position alignment relationships))이 다양한 기준 좌표계들 사이에서 정립되고, 그런 다음 원격조작(예를 들어, 수술 예에서 원격수술)을 실행하기 위해 이러한 기준 좌표계들에 대한 위치와 방위 모두에 있어서의 변경들이 사용된다. 예를 들어, 마스터 장치의 위치의 변경은 대응하는 툴의 엔드 이펙터의 위치의 1:1 또는 비례조정된(scaled) 변경으로 실행되고, 마스터 장치의 방위의 변경은 대응하는 툴의 엔드 이펙터의 방위의 변경으로 실행되며, 마스터 장치의 자세의 변경은 대응하는 툴의 엔드 이펙터의 자세의 변경으로 실행된다. 하지만, 이러한 제어 관계들이 원격조작 중에 기능하는 동안에는, 좌표계들 간의 얼라인먼트들은 좌표계들의 방위들만을 사용하고 그 위치들에 관련하지 않는 것에 의해 또는 방위들을 사용하고 전체 미만의 위치 정보에 관련하는 것에 의해 유지될 수 있다.
하나의 양태에서, 엔드 이펙터 방위는 샤프트 방위와 관련하여 리스트(wrist) 기능에 따라 결정된다. 일부 예에서, 샤프트에 대한 모든 3개의 엔드 이펙터 방위 DOF는 엔드 이펙터가 결합되는 샤프트에 독립적이다. 다른 경우에, 샤프트에 대한 3개 미만의 엔드 이펙터 방위 DOF가 샤프트에 독립적이다. 예를 들어, 엔드 이펙터 피치 및 요 DOF들이 샤프트에 독립적일 수 있고, Z 축 둘레의 엔드 이펙터 롤 방위는 샤프트 롤 DOF에 의해 결정된다. 또 다른 예로서, 엔드 이펙터 요 DOF는 샤프트와 독립적일 수 있지만, 엔드 이펙터 피치 및 롤은 대응하는 샤프트 피치 및 롤 DOF들에 의해 결정된다. 따라서, 툴 기준 좌표계로부터 엔드 이펙터 기준 좌표계로의 변환이 제어에 필요한 얼라인먼트를 정립하도록 발생하는 경우, 툴의 원위 단부 구성에 따라, 3개, 2개 또는 1개의 회전이 필요할 수 있다.
하나의 양태에서, 엔드 이펙터 기준 좌표계의 방위는 툴의 기준 좌표계와 다른 기준 좌표계와 관련하여 결정된다. 예를 들어, 아래에서 더 상세히 설명되는 바와 같이, 엔드 이펙터 기준 좌표계의 방위는 시계(FOV)의 기준 좌표계의 방위에 대해 결정된다. 예를 들어, 내시경 수술 예에서, 엔드 이펙터 기준 좌표계(수술 부위의 툴을 위한)의 방위는 시계 기준 좌표계(카메라 FOV라고도 하는 수술 부위를 부분적으로 또는 전체적으로 커버하는 FOV를 갖는 내시경 카메라를 위한)의 방위에 대해 결정된다. 이 예에서, 엔드 이펙터는 시계 기준 좌표계와 관련된 시계의 내부 또는 외부에 위치될 수 있다.
하나의 양태에서, 입력 장치 좌표계의 방위는 디스플레이에 의해 표시되고 입력 장치와 상호 작용하는 사용자에 의해 관찰 가능한 영상의 기준 좌표계에 대해 결정된다.
본 발명의 또 다른 양태에 따르면, 제어에 필요한 초기 방위 얼라인먼트 관계(예를 들어, 방위 단독 얼라인먼트 관계들(orientation-only alignment relationships) 또는 완전 방위-부분 위치 얼라인먼트 관계들(complete-orientation-with-partial-position alignment relationships))는 사용자가 원격조작 제어를 시작하기를 바라는 것을 나타내는 신호를 원격조작 시스템의 컴퓨터가 수신하는 등의 원격조작 시스템의 이벤트(event)가 발생할 때 정립된다. 이러한 이벤트는 버튼 누름 또는 원격조작이 실수로 시작되지 않도록 하는 다른 능동적으로 제어되는 이벤트일 수 있다.
이러한 시스템 이벤트의 예는 하나 이상의 툴의 원격조작과 하나 이상의 내시경 카메라의 원격조작 사이의 천이기(transition)에 있을 수 있고, 원격조작되는 매니퓰레이터에서 제1 툴을 제2 툴로 교환하는 일, 그리고 절차 전반에 걸쳐(예를 들어, 수술 예에서 수술 절차를 통해) 발생할 것으로 예상되는 다른 동작들일 수 있다. 하나의 특정 예로서, 선택적으로 제어 관계를 정립하기 위한 요청을 트리거하는데 사용될 수 있는 하나의 이벤트는 마스터 제어 장치와 엔드 이펙터 간의 마스터/슬레이브 관계가 일시적으로 중단되는 "클러치(clutch)" 모드로부터의 이탈이다. 클러치 모드는 대상들 간의 연결을 접속 및 해제시키는 기계적 클러치의 사용과 유사하다. 도 5g에 도시된 바와 같이, 제1 시간(t1)에서 마스터 장치 방위 축 ZM은 도시된 바와 같이 제1 위치에 있고, 방위 및 운동의 방향에 있어서 대응하는 슬레이브 엔드 이펙터의 영상의 방위 축 ZE과 상관되어 있는 것으로 지각된다. 즉, 사용자는 엔드 이펙터를 원격조작하고, 시간 t1에서의 마스터 장치의 Z 축 ZM이 도시된 바와 같이 엔드 이펙터 영상의 Z 축 ZE와 얼라인되어 있는 것을 감지한다. 그 후, 사용자는 클러치 모드로 진입하고, 화살표로 도시된 바와 같이 마스터 장치를 제2 위치로 이동시키고, 시간 t2에서 클러치 모드를 종료한다. t2에서 방위 축 ZM이 다른 위치에 있지만, t2에서 사용자는 다시 마스터 장치의 방위 축 ZM이 도시된 바와 같이 방위 및 운동의 방향에 있어서 엔드 이펙터의 영상의 방위 축 ZE와 상관되어 있다는 것을 지각한다.
본 발명의 또 다른 양태에 따르면, 제어를 정립하는 데 필요한 초기 방위 얼라인먼트 관계(예를 들어, 방위 단독 얼라인먼트 관계들(orientation-only alignment relationships) 또는 완전 방위-부분 위치 얼라인먼트 관계들(complete-orientation-with-partial-position alignment relationships))는 관계를 더 개선하도록 원격조작 동안 업데이트되어, 다양한 센서 및 기타 시스템 구성요소 등에서의 가능한 드리프트(drift)를 보정한다. 이러한 업데이트는 방위 정보만을 사용하고 위치 정보는 사용하지 않는 것에 의해 선택적으로 실행된다. 업데이트는 소정의 시간 간격으로 또는 하나 이상의 시스템 이벤트에서와 같은 다양한 시간에 선택적으로 발생할 수 있다. 소정의 시간 간격에서의 업데이트의 하나의 예로서, 엔드 이펙터 자세는 마스터 자세에 대응하도록 대략 1ms(밀리초)마다 업데이트되고, 따라서 얼라인먼트 관계는 각 100 사이클로(대략 100ms마다) 업데이트된다. 또한, 마스터 장치 클러치 운동 후 소정 수의 클럭 사이클로 원격조작이 재정립될 때와 같이, 업데이트는 시스템 이벤트와 소정 시간 간격의 조합으로 이루어질 수 있다.
하나의 대안으로서, 좌표계들 간의 얼라인먼트 관계는 클러칭(clutching)과 같은 이벤트 후에 마스터 장치 및 엔드 이펙터의 방위에 있어서의 지각되는 얼라인먼트에 집중하기 위한, 예를 들어 본원에 참조로 포함되는 미국 특허 제8,423,186 B2호(2009년 6월 30일 출원)에 기술된 바와 같은 래치팅(ratcheting) 과정에 의해 개선될 수 있다. 예를 들어, 디스플레이 좌표계에 대한 입력 장치 기준 좌표계의 방위가 제1 상대 방위이고, 시계 기준 좌표계에 대한 엔드 이펙터 기준 좌표계의 방위가 제2 상대 방위이며, 제1 상대 방위가 일정 차이만큼 제2 상대 방위와 다를 경우에, 시스템은 그 차이를 점진적으로 감소시키기 위해 제2 얼라인먼트 관계를 여러 번 업데이트할 수 있다.
또 다른 예로서, 시스템은 방위 차이를 통합하고, 통합되는 차이의 일부를 명령된 모션에 적용시킬 수 있다. 이 대안에서는, 엔드 이펙터 기준 좌표계가 명령된 모션과 함께 변경되고, 명령된 모션이 방위 차이를 동적으로 감소시킨다. 하나의 구현예에서, 시스템은: 엔드 이펙터의 방위에 있어서의 명령된 변경, 잔여 방위 차이, 차이의 최대 감소치(예컨대, 방위 직관성을 여전히 유지하는 방위에 있어서의 명령된 변경의 백분율, 일부 경우에 명령된 모션의 최대 +/-20%로 제한됨)를 결정한다. 그런 다음, 시스템은 잔여 방위 차이(예컨대, 비례 개수(scale factor)에 의해 비례조정된 잔여 방위 차이)에 기초한 양을 추가하는 것에 의해 명령된 모션을 수정한다. 이러한 비례 개수는 최대 비례 개수로 제한될 수 있다.
얼라인먼트 관계에 있어 방위만이 사용되는 본 발명의 또 다른 양태에 따르면, 기구학적 체인에 있어서의 다양한 대상들 및 링크들의 방위들은 아래에 예시되는 바와 같이 다양한 방식으로 결정될 수 있다. 또한, 이러한 대상들 및 링크들에 대한 위치 정보도 결정될 수 있지만, 이러한 양태들에서, 초기에 제어에 필요한 얼라인먼트 관계를 정립하고, 그런 다음 얼라인먼트 관계를 유지 및 업데이트하기 위해 사용되는 것은 방위 정보만이다.
도 5h는 원격조작(예를 들어, 수술 예에서 원격수술) 시스템 구성요소들 및 이 구성요소들과 관련된 기준 좌표계들의 개략도이다. 해당하는 경우, 구성요소들은 도 5a-5f에 예시되는 구성요소들과 유사한다. 도시된 바와 같이, 카메라 툴(502)은 관련된 카메라 툴 기준 좌표계(503)를 갖는다. 카메라 툴(502)은 관련된 FOV 기준 좌표계(505)를 갖는 FOV(504)(2D 또는 3D)를 가진다. 카메라 툴(502)의 원위 대물측 단부(506)가 카메라 툴의 바디에 대해 조종 가능하지 않은 경우, 카메라 툴 기준 좌표계(503) 및 FOV 기준 좌표계(505)가 통합될 수 있다.
카메라 지지 구조부(508)는 원위 단부에서 카메라 툴(502)을 지지한다. 일부 구현예에서, 카메라 지지 구조부는 단일 링크를 가지고, 다른 구현예에서, 카메라 지지 구조부는 각각의 링크 쌍이 하나의 조인트에 의해 연결되는 2개 이상의 링크를 가진다. 도시된 바와 같이, 카메라 지지 구조부(508)의 하나의 링크는 카메라 지지 타겟 링크(510)로서 취급되고, 전용 공간 표시기 타겟(dedicated spatial indicator target)(512)이 선택적으로 타겟 링크(510)에 고정된다. 카메라 툴 지지 구조부 기준 좌표계(513)가 타겟 링크(510) 또는 타겟(512)과 적절히 관련된다. 카메라 지지 구조부(508)는 또한 기계적 그라운드(516a)에 위치한 근위 베이스 링크(예컨대, 플로어(516a)에, 벽(516b)에, 천장(516c)에, 또는 테이블(고정되거나 운동가능한) 또는 운동 가능한 카트와 같은 기계적 그라운드에 위치한 구조부 자체에 연결되는)를 포함한다. 베이스 링크(514)는 선택적으로 방향성 화살표로 표시된 바와 같이 그라운드에 대해 이동 가능하지만, 그렇지 않을 경우에는 초기 얼라인먼트 및 작업 중에 그라운드에 대해 고정된 관계에 있다. 일부 선택적 구현예에서, 카메라 지지 구조부(508)는 생략되고, 카메라(502)는 절차 동안 사람에 의해 지지된다. 이러한 선택적 구현예에서, 타겟(512)은 선택적으로 카메라 툴(502)에 고정되고, 카메라 툴 기준 좌표계(503) 및 카메라 툴 지지 구조부 기준 좌표계(513)는 통합된다.
툴(520)은 관련 툴 기준 좌표계(521)을 갖는다. 툴(520)은 원위 엔드 이펙터(522)를 가지며, 원위 엔드 이펙터(522)는 해당하는 경우 관련 엔드 이펙터 기준 좌표계(523)을 가지며, 이는 원위 엔드 이펙터(522)가 툴(520)의 바디에 대해 운동 가능하기 때문이다.
툴 지지 구조부(524)는 원위 단부에서 툴(520)을 지지한다. 일부 구현예에서, 툴 지지 구조부는 단일 링크를 가지고, 다른 구현예에서, 툴 지지 구조부는 각각의 링크 쌍이 하나의 운동 가능한 조인트에 의해 연결되는 2개 이상의 링크를 가진다. 도시된 바와 같이, 툴 지지 구조부(524)의 하나의 링크는 툴 지지 타겟 링크(526)로서 취급되고, 전용 타겟(528)이 선택적으로 타겟 링크(526)에 고정된다. 툴 지지 구조부 기준 좌표계(529)가 타겟 링크(526) 또는 타겟(528)과 적절히 관련된다. 툴 지지 구조부(524)는 또한 기계적 그라운드(516)에 위치한 근위 베이스 링크(530)(예컨대, 플로어(516a)에, 벽(516b)에, 천장(516c)에, 또는 테이블(고정되거나 운동 가능한) 또는 카트와 같은 기계적 그라운드에 위치한 구조부 자체에 연결되는)를 포함한다. 베이스 링크(530)는 선택적으로 그라운드에 대해 이동 가능하지만, 그렇지 않은 경우에는 얼라인먼트 및 작업 중에 그라운드에 대해 고정된 관계에 있다.
공간 방위 결정 유닛(531)이 카메라 지지 타겟 링크(510), 카메라 지지 공간 표시기 타겟(512), 툴 지지 공간 표시기 타겟 링크(526), 툴 지지 공간 표시기 타겟(528) 및 카메라(502), 또는 방위들이 결정되는 방법에 따라 시스템 구성에 필요한 상기 요소들의 서브세트의 방위들을 결정한다. 방위 결정 유닛(531)은 방위를 결정하기 위해 기구학, 전자기 정위(electromagnetic localization) 및 다른 RF-기반 방법, 초음파 또는 음향 정위, 전용 타겟 또는 고유 피처(natural feature)에 기반한 광학 추적, 및 광섬유 형상 센서와 같은 알려진 다양한 방법들 중의 임의의 방법을 선택적으로 사용한다. 자세한 내용은 아래에 설명된다. 방위 결정 유닛(531)은 선택적으로 단일 위치에 중앙집중화되거나 2개 이상의 위치에 분산되고, 선택적으로 하나 이상의 원격조작 시스템 유닛 및 지지 구조부 내로 통합될 수 있으며, 선택적으로 사용자에 의해 착용될 수 있다.
방위 정보만이 방위 관계를 위해 사용되는 일부 구현예에서, 시스템은 이러한 방위 관계를 위해 방위 정보만을 감지하도록 구성된다. 예를 들어, 하나의 기구학적 지지 구조부가 조인트 방위만 감지하도록 설치된다. 센서를 생략하면 설계를 단순화하고 비용을 절감한다. 따라서, 일부 선택적 구현예에서, 2개의 기계적으로 연결된 지지 구조부가 방위만을 감지하고 위치를 감지하지 않도록 설치된다. 예를 들어, 툴 매니퓰레이터 또는 마스터 장치를 위한 하나의 기구학적 체인 지지 구조에서, 회전 조인트 각도를 감지하기 위해 회전 센서가 사용되지만, 프리즈메틱 조인트 위치를 감지하기 위한 위치 센서는 생략된다. 마찬가지로, 그라운드 결합되지 않은 장치의 경우, 선택적으로 방위만 감지되고 위치는 감지되지 않으며, 이는 방위만이 마스터 장치와 슬레이브 장치 간의 직관적 제어 관계를 정립하는 데 사용될 수 있기 때문이다. 얼라인먼트 관계를 위해 방위 정보만을 사용하는 일부 다른 구현에서는, 위치 정보가 부분적으로 또는 전체적으로 감지된다.
또한 하나 이상의 기준 좌표계를 정의 또는 결정하거나 하나 이상의 기준 좌표계의 방위의 변경을 감지하는데 사용될 수 있는 선택적인 세계 기준 좌표계(532) 및 중력 벡터(g)도 도시되어 있다. 세계 기준 좌표계(532)는 다양한 시스템 구성요소 기준 좌표계들 간의 기구학적 변환들을 위해 선택적으로 사용된다.
도 5h는 또한 카메라 툴(502)로부터의 영상이 표시되는 디스플레이(534)를 도시한다. 디스플레이 기준 좌표계(535)가 디스플레이(534)와 관련된다. 디스플레이(534)는 그라운드(516)에 대해 지지된다. 툴(520)의 원위 단부가 FOV(504) 내에 있을 때, 대응하는 영상이 디스플레이(534) 상에 표시되고 사용자(540)(예를 들어, 의료 예에 있어서의 외과의 또는 숙련된 임상의 또는 다른 인력)에 의해 관찰된다.
사용자(540)는 관련 마스터 장치 기준 좌표계(537)를 갖는 마스터 장치(536)를 잡는다. 마스터 장치(536)는 그라운드(516)로의 파선에 의해 나타내진 바와 같이 선택적으로 기계적으로 그라운드 결합되거나 그라운드 결합되지 않는다. 그라운드 결합 여부에 상관없이, 마스터 장치(536)의 방위(마스터 장치 기준 좌표계(537)의 방위)는 마스터 방위 결정 유닛(538)에 의해 감지되어 결정되며, 마스터 방위 결정 유닛(538)은 기구학, 광학 추적 또는 기타 무선 추적(예컨대, 미국 캘리포니아주 샌프란시스코 소재의 리프 모션 인코퍼레이티드(Leap Motion, Inc.)에서 제공되는 기술)과 같은 방위를 결정하기 위한 다양한 알려진 방법 중의 임의의 방법을 선택적으로 사용한다. 제어 목적을 위해, 마스터 장치 기준 좌표계(537)의 방위는 기구학적 지지 구조부 상의 기준 좌표계(해당되는 경우)에 대해 또는 마스터 방위 결정 유닛 기준 좌표계(539)나 세계 기준 좌표계와 같은 고정 기준 좌표계에 대해 결정될 수 있다.
도 5h는 또한 그라운드(516)에 대해 방위설정된(기립, 착석) 사용자(540)를 도시한다. 선택적인 사용자 기준 좌표계(542)가 사용자(540)와 관련된다. 사용자 기준 좌표계(542)는 사용자의 신체 상의 한 지점(예를 들어, 눈, 신체 상의 또 다른 위치, 사용자가 착용하는 의류나 장비 등)에 대해 정의되는 신체 중심 기준 좌표계이다.
중앙집중화되거나 분산된 컴퓨터 제어 시스템(550)이 다양한 원격조작 시스템 구성요소들의 방위들에 관한 정보를 수신하고, 효과적인 원격조작 제어에 필요한 초기 얼라인먼트 관계들을 정립하고 필요에 따라 얼라인먼트 관계들을 유지하는 데 필요한 회전 변환을 실행한다. 얼라인먼트 관계들이 정립되고, 마스터/슬레이브 제어 모드로 진입하는 데 필요한 임의의 다른 조건이 충족될 때, 컴퓨터 제어 시스템(550)은 원격조작 시스템에서 마스터/슬레이브 제어 모드로 작동시키기 위한 명령을 출력한다. 마스터/슬레이브 제어 모드로 진입하기 위한 선택적 필요 조건의 예는 엔드 이펙터가 카메라 FOV 내에 있다는 결정, 사용자가 디스플레이를 보고 있다는 결정(예를 들어, 본원에 참조로 포함되는 미국 가특허 출원 제62/467,506호(2017년 3월 6 일자 출원 참조) 및 기타 안전 관련 조건들이다.
일반적으로, 컴퓨터 제어 시스템(550)은 마스터 장치(536)와 수술 툴(520) 간의 마스터/슬레이브 추종 모드로 진입하기 위해 필요한 초기 방위 얼라인먼트 관계들을 정립한다. 엔드 이펙터 좌표계와 FOV 좌표계 간에 그리고 마스터 장치 좌표계와 디스플레이 좌표계 간에 상대 방위 변환 관계들이 정립된다. 마스터 장치 좌표계와 엔드 이펙터 좌표계 간의 직접 변환 관계는 필요하지 않다. 전술한 바와 같이, 초기 얼라인먼트를 위한 변환 관계는 엔드 이펙터 또는 마스터 장치의 위치 정보를 고려하지 않는다. 변환들의 체인은 시스템 아키텍처와 시스템 아키텍처 내의 구성요소들에 적용될 수 있는 다양한 기준 좌표계들에 따라 달라진다. 일부 실시예에서, 필요한 초기 방위 얼라인먼트 관계는 방위 단독 얼라인먼트 관계이고, 관련 변환 관계는 방위만을 변환하는 방위 단독 변환 관계이다. 일부 실시예에서, 필요한 초기 방위 얼라인먼트 관계는 완전 방위-부분 위치 얼라인먼트 관계(complete-orientation-with-partial-position alignment relationship)이고, 관련 변환 관계는 3차원 공간에서 단지 1개 또는 2개의 축만을 따르는 것과 같이 위치를 부분적으로만 변환하는 완전 방위-부분 위치 변환 관계(complete-orientation-with-partial-position transform relationship)이다.
예를 들어, 도 5h를 참조하면, 마스터 장치 기준 좌표계(537)로부터 엔드 이펙터 기준 좌표계(523)로의 변환 관계는 마스터 장치 기준 좌표계(537)로부터 마스터 방위 결정 유닛 기준 좌표계(539)로, 툴 지지 구조부 기준 좌표계(529)로, 툴 기준 좌표계(521)로, 엔드 이펙터로 기준 좌표계(523)로의 변환을 포함할 수 있다. 선택적으로, 일반적으로 제어 유닛 및 환자측 유닛과 관련된 기준 좌표계들 사이에 세계 기준 좌표계(532)로의 그리고 세계 기준 좌표계(532)로부터의 변환이 포함된다.
또한, 컴퓨터 제어 시스템(550)은 마스터 장치 기준 좌표계(537)와 디스플레이 기준 좌표계(535) 사이에 초기 방위 변환 관계를 정립한다. 일부 실시예에서, 초기 방위 변환 관계는 방위 단독 변환 관계이다. 일부 실시예에서, 초기 방위 변환 관계는 완전 방위-부분 위치 변환 관계이다.
마스터 장치와 엔드 이펙터 간의 초기 마스터/슬레이브 관계를 정립할 때, 마스터 장치와 엔드 이펙터 간의 기준 좌표계 변환 체인은 사용자가 마스터 장치를 잡고 있는 공간 내의 임의의 마스터 장치 위치 및 방위에 대해 마스터 장치에 대해 정립된다. 사용자는 마스터 장치 및 표시되는 엔드 이펙터 영상의 위치 및 방위를 시각적으로 얼라인하도록 선택할 수 있지만, 사용자는 제어 얼라인먼트를 정립하기 위해 그렇게 할 필요는 없다. 즉, 사용자는 마스터 장치 및 표시되는 엔드 이펙터 영상의 위치 및 방위를 시각적으로 얼라인하지 않고서 마스터 장치를 유지하도록 선택할 수 있다. 예를 들어, 사용자는 마스터 장치를 사용자의 시계에서 벗어나 가슴 또는 복부 높이에서 유지하고, 선택적으로 안정성과 피로 감소를 위해 팔뚝을 팔걸이에 놓을 수 있다. 또 다른 예로서, 사용자는 초기 제어 얼라인먼트가 정립될 때 마스터 장치를 잡고서 디스플레이로부터 비스듬한 각도로 방위설정될 수 있다. 예를 들어, 사용자의 양 어깨가 디스플레이로부터 45도 회전되어 사용자가 한쪽 손으로 마스터 장치를 조작하고 다른쪽 손으로 수동식 툴(예를 들어 수술예에서의 복강경 툴)을 조작할 수 있다.
마스터 장치와 엔드 이펙터 간의 마스터/슬레이브 관계를 정립하는 측면에서, 마스터/슬레이브 원격조작은 마스터 장치가 특정 방위 허용오차 내에 있는 조건에서 선택적으로 허용된다. 허용오차는 마스터 방위 결정 유닛 기준 좌표계(도 5h에서, 요소 539) 내에서의 마스터 장치의 방위에 기초할 수 있다. 또는, 허용오차는 디스플레이 기준 좌표계(도 5h에서, 요소 535) 내에서의 마스터 장치의 방위를 기초로 할 수 있으며, 이는 사실상 표시되는 엔드 이펙터의 영상의 방위에 기초한 허용오차를 기초로 한다. 또는, 허용오차는 다른 기준 좌표계 내에서의 마스터 장치의 방위에 기초할 수 있다. 방위 허용오차는 카테시안 공간에서 1가지 회전(예를 들어, 롤), 2가지 회전(예를 들어, 피치 및 요) 또는 3가지 모든 회전에 적용될 수 있다. 또한, 이들 회전의 각각에 대한 방위 허용오차가 다를 수 있다. 예를 들어, 마스터 장치가 평면 내에 그립 DOF를 포함하는 경우, 엔드 이펙터의 대응 그립 DOF 평면에 대한 롤 허용오차는 엔드 이펙터의 피치 및 요에 대한 피치 또는 요 허용오차(예컨대, ±15°)보다 작을 수 있거나(예컨대, ±10°) 더 클 수 있다(예컨대, ±20°).
도 5i는 제어를 위한 얼라인먼트를 정립하기 위해 마스터 장치 방위가 표시되는 엔드 이펙터 방위의 특정 허용오차 내에 있도록 하기 위한 요건을 예시하는 개략도이다. 도시된 바와 같이, 엔드 이펙터(522)의 영상(522a)이 디스플레이(534) 상에 도시된다. FOV 기준 좌표계(505)와 엔드 이펙터 기준 좌표계(523) 간에 정립된 기구학적 관계로부터, 디스플레이 기준 좌표계(535) 내에서의 엔드 이펙터 영상(522a)의 방위(560)가 결정된다.(명료함을 위해, 참조 번호 560은 도면에서 2번, 즉 디스플레이와 관련하여 1번 그리고 디스플레이 기준 좌표계와 관련하여 1번 도시되어 있다.) 그런 다음, 얼라인먼트 허용오차(562)가 방위(560)에 대해 결정된다. 도 5i에서, 이 허용오차는 방위(560)를 그것의 중심 축으로 갖는 원뿔로 예시되어 있다. 타원뿔, 피라미드, 및 방위 축에 대해 정의될 수 있는 유사한 형상과 같은 다른 얼라인먼트 허용오차 형상이 선택적으로 사용될 수 있다.
디스플레이 기준 좌표계와 마스터 장치 기준 좌표계 간의 기구학적 관계가 결정된다. 그런 다음, 제1 예로서, 도 5i에 도시된 바와 같이, 마스터 장치(536a)는 방위(564a)를 갖도록 결정된다. 방위(564a)는 얼라인먼트 허용오차(562) 내에 있는 것으로 결정되고, 따라서 마스터 장치(536a)와 엔드 이펙터(522) 간의 마스터/슬레이브 제어가 허용된다. 제2 예로서, 마스터 장치(536b)는 방위(564b)를 갖도록 결정된다. 방위(564b)는 얼라인먼트 허용오차(562) 내에 있지 않고, 따라서 마스터 장치(536b)와 엔드 이펙터(522) 간의 마스터/슬레이브 제어는 방위(564b)가 얼라인먼트 허용오차(562) 내에 있도록 결정될 때까지 허용되지 않는다. 일부 예에서, 마스터 장치 방위가 얼라인먼트 허용오차 내에 있게 되자마자 제어 얼라인먼트가 자동으로 정립되고, 선택적으로 시각, 음향, 촉각 또는 유사한 표시가 마스터/슬레이브 제어 관계가 유효하다는 신호로서 사용자에게 출력된다. 전술한 바와 같은 래치팅 기능이 사용될 수 있다. 다른 경우에서, 필요한 제어 관계가 정립되기 위해서는, 마스터 방위가 얼라인먼트 허용오차 내에 있는 것에 더하여, 시스템은 버튼 누름, 구두 명령(verbal command) 또는 제어 관계가 정립도도록 요청하는 유사한 입력과 같은 또 다른 이벤트를 수신해야만 한다. 마스터/슬레이브 제어를 시작하기 위해 마스터 장치 방위 허용오차를 정립하는 이 접근법은 허용오차가 다른 기준 좌표계를 기초로 하는 상황에 적용된다.
마스터 제어가 로봇 암의 원위 단부에서 이루어지는 일부 예에서는, 제어 시스템(550)은 선택적으로 마스터 방위 결정 유닛 기준 좌표계(도 5h에서, 요소 539) 또는 디스플레이 기준 좌표계(도 5h에서, 요소 535) 또는 기타 다른 기준 좌표계에 대해 마스터 장치의 방위 얼라인먼트 축을 방위설정하도록 로봇 암에 명령한다. 예를 들어, 제어 시스템(550)은 표시되는 엔드 이펙터 영상에 대해 얼라인된 방위에 마스터 장치를 배치하도록 로봇 암에 명령할 수 있고, 표시되는 엔드 이펙터의 영상에 대응하는 위치 대신에 디스플레이에 대해 정의된 디폴트 위치에 또는 디스플레이에 대해 현재 위치에 마스터 장치를 배치하도록 로봇 암에 명령한다.
2개의 마스터 장치가 단일의 대상을 제어하는 데 사용되는 경우, 마스터 장치들과 대상 간의 지각되는 방위 및 운동의 방향 상관관계들은 함께 작동하는 마스터 장치들과 대상 간의 지각되는 방위 및 운동의 방향 상관관계들일 수 있다. 하나의 예는 2개의 마스터 장치 사이에 하나의 직선형 연결 축을 가진 하나의 핸들 바로서 작동하는 2개의 마스터 장치일 수 있다. 마스터 장치들이 함께 운동하여 연결 축의 위치를 변경시킴에 따라, 대상의 위치가 대응하여 이동한다(예를 들어, 카메라 FOV가 상하, 좌우, 내외로 운동한다). 마스터 장치들이 함께 운동하여 연결 축의 방위를 변경시킴에 따라, 대상의 방위가 대응하여 변경된다(예를 들어, 카메라 FOV가 상하 틸트(tilt)하고, 좌우 팬(pan)하고, 시계방향-반시계방향 롤(roll)한다). 여기서 다시 방위 정보만이 사용될 필요가 있고, 위치 정보는 필요하지 않다. 예를 들어, 마스터들은 연결 축 상에서 서로 가까이 또는 멀리 이격되어 있을 수 있으며, 연결 축 상의 간격은 대상이 제어됨에 따라 변경될 수 있다(예를 들어, 멀수록 더 정밀한 방위 제어를 제공하고, 서로 가까울수록 모션의 범위를 증가시킨다).
예를 들어, 도 5J에 도시된 바와 같이, 연결 축 XML-MR은 좌측 및 우측 마스터 장치들 사이에 정의된다. 법선 축 ZML -MR도 제어를 위해 정의될 수 있다. 축 XML-MR이 좌측으로 이동될 때, 카메라는 대응하여 운동하도록 병진운동되거나 회전되어, 선택적으로 장면을 우측으로 이동시키는 느낌(FOV가 우측으로 이동) 또는 카메라를 좌측으로 이동시키는 느낌을 사용자에게 준다. 카메라는 도시된 바와 같이 병진운동하거나 회전할 수 있다. 삽입 및 인출은 축 ZML -MR을 따른 운동에 의해 제어된다. 또 다른 상호 직교하는 축 YML -MR을 따른 높이(elevation)의 변경도 이루어질 수 있다. 마찬가지로, FOV 위치 또는 방위는 연결 축 및 그것의 카테시안 직교축들 둘레로 롤(roll)하는 것에 의해 제어될 수 있다(예를 들어, XML-MR 둘레로의 롤에 의한 FOV 틸트(tilt), YML -MR 둘레로의 롤에 의한 FOV 팬(pan), ZML -MR을 둘레로의 롤에 의한 FOV 롤(roll)). 초기 얼라인먼트 관계들을 정립하기 위해 사용되는 것들과 유사한 접근법들이 본원에 기술되는 바와 같이 원격조작 중의 얼라인먼트 관계들을 유지하는 데 사용될 수 있다.
4. 공간 관계들 결정(Determining Spatial Relationships)
전술한 바와 같이, 원격조작 시스템의 작동 환경은 다양한 툴 및 카메라 조합들을 위한 2개 이상의 매니퓰레이터를 포함할 수 있다. 예를 들어, 원격수술 시스템의 환자측 환경은 다양한 수술 툴 및 내시경 카메라 조합들을 위한 2개 이상의 매니퓰레이터를 포함할 수 있다. 또한, 이러한 매니퓰레이터들 중 하나 이상은 다른 매니퓰레이터에 대해 미리 정해진 고정된 공간 관계를 갖지 않을 수 있다. 유사하게, 하나 이상의 마스터 장치 및 디스플레이 스크린 사이에 미리 정해진 고정된 공간 관계가 없을 수 있다. 이러한 상황에서는, 다양한 기구학적 쌍들 간의 각도 관계를 감지하는 것(예컨대, 조인트 각도 또는 유사한 센서를 사용는 것에 의한)과 각각의 개별 유닛을 위한 기구학적 변환들만에 기초하여 원격조작에 필요한 원격조작에 필요한 제어 관계를 정립하고 유지하는 것이 불가능하다. 효과적인 직관적 제어를 정립하고 유지하기 위해 유닛들 간의 공간 관계들이 결정된다.
도 6a는 공간 관계들을 결정하는 본 발명의 양태들을 포함하는 원격조작 시스템(특히 원격수술 시스템이 도시됨)의 개략도이다. 간략화를 위해, 다수의 양태들이 도 6a에 포함되는 것으로 예시되며, 다양한 선택적 원격수술 시스템 구성들이 아래에 추가로 설명된다. 도시되고 설명되는 모든 양태들이 하나의 단일 실시예에 필요한 것은 아니다. 도 6a에 도시되는 대상들은 해당하는 경우 도 5a-5j에 도시된 대상들과 유사하다(예를 들어, 툴, 내시경 카메라, 지지 구조부들, 제어 시스템, 공간 센서들, 운동 가능한 유닛들 등).
도시된 바와 같이, 각각이 대응하는 엔드 이펙터(603a, 603b)를 갖는 2개의 원격조작 수술 툴(602a, 602b)이 존재한다. 각각의 툴(602a, 602b)은 대응하는 매니퓰레이터(604a, 604b)에 의해 작동되며, 각각의 매니퓰레이터(604a, 604b)는 대응하는 환자측 유닛(608a, 608b)을 구성하기 위해 대응하는 베이스(606a, 606b) 상에 장착된다. 마찬가지로, 내시경 카메라(610)가 도시되어 있으며, 내시경 카메라(610)는 FOV(612)를 갖는다. 내시경 카메라(610)는 베이스(616)에 장착된 대응하는 매니퓰레이터(614)에 의해 작동되며, 이들은 함께 환자측 유닛(618)을 구성한다. 도시된 바와 같이, 환자측 유닛(608a, 608b 및 618)은 서로에 대해 운동 가능하다. 즉, 그들의 상대적인 공간 관계들을 완전히 구속하는 그들 중의 어느 것에 공통인 기계적 지지 구조부가 없다. 따라서, 환자측 유닛(608a, 608b 및 618)은 대체로 전술한 바와 같다.
각각의 수술 툴(602a, 602b)은 대응하는 선택적인 캐뉼라(620a, 620b)를 통해 신체 내로 진입한다. 마찬가지로, 내시경 카메라(610)는 선택적인 캐뉼라(622)를 통해 신체 내로 진입한다. 툴 엔드 이펙터(603a, 603b)는 FOV(612) 내에 위치된다. 각각이 캐뉼라(620a, 620b, 622) 중의 대응하는 하나의 캐뉼라에 부착되는 3개의 선택적인 진동 감지/투입 유닛(624a, 624b, 624c)이 도시되어 있다. 대안적으로, 진동 감지/투입 유닛(624a, 624b 및 624c)은 환자측 유닛 또는 다른 원격수술 시스템 유닛 상의 임의의 위치에 연결될 수 있다.
취득된 영상 데이터(625)는 내시경 카메라(610)로부터 선택적인 머신 비전 프로세서(626)로 이동한다. 영상 데이터(625)는 또한 표시 영상 처리 유닛(628)으로 이동하고, 표시 영상 처리 유닛(628)이 취득된 영상 데이터를 처리하여 표시를 위한 표시 영상 데이터(630)를 출력한다. 머신 비전 프로세서(626)는 후술하는 바와 같이 사용하기 위한 머신 비전 공간 데이터(632)를 출력한다.
도 6a는 또한 사용자에 의해 작동되는 마스터 장치(634a, 634b)를 도시한다. 각각의 마스터 장치(634a, 634b)는 대응하는 기계적 지지 구조부(636a, 636b)에 의해 지지된다. 도시된 바와 같이, 지지 구조부(636a, 636b)는 고정된 공간 관계로 기계적으로 결합되어 각각 운동 가능한 공통 베이스(638)에 장착된다. 선택적으로, 각각의 지지 구조부(636a, 636b)는 별개의 운동 가능한 베이스에 장착된다. 마스터 장치(641) 자세가 마스터 장치 공간 감지 유닛(642)(도 5h, 방위 결정 유닛(538); 도 5b 및 5c, 제어 입력 수신기(160c) 참조)에 의해 감지되는 선택적으로 그라운드 결합되거나 그라운드 결합되지 않는 마스터 제어 장치 구성부(640)가 또한 도시되어 있다. 공간 감지 유닛(642)은 공간 내에 고정될 수 있거나, 선택적으로 운동 가능한 베이스(644)에 장착될 수 있다. 디스플레이(646)는 선택적으로 고정된 위치에 장착되거나, 운동 가능한 지지 구조부(648) 상에 장착되거나, 또는 사용자에 의해 착용된다. 지지 구조부(648)가 공간 내에 고정된 베이스를 가질 수 있으며, 또는 베이스가 대응하는 운동 가능한 기계적 베이스(650)에 장착될 수 있으며, 또는 베이스가 베이스(638)나 베이스(644)와 같은 마스터 제어 장치들에 대응하는 베이스에 공통인 베이스 상에 장착될 수 있다. 따라서, 마스터 제어 장치(634a, 634b) 및 디스플레이(646)와 관련된 구성요소들은 대체로 전술한 바와 같다.
도 6a는 또한 원격수술 시스템을 위한 제어 시스템(652)(도 5h, 제어 시스템(550); 도 4, 컴퓨터(113) 참조)을 도시한다. 제어 시스템(652)은 본원에 기술되는 바와 같은 얼라인먼트 및 기타 시스템 제어 기능들을 실행하기 위해 프로그램된 명령어들을 실행한다. 제어 시스템(652)은 환자측 유닛(608a, 608b 및 618)과 신호 통신하고 있다. 제어 시스템(652)는 또한 마스터 장치(634a, 634b)와 신호 통신하고 있다. 이 신호 통신에 의해, 제어 시스템(652)은 엔드 이펙터(603a, 603b)와 관련된 공간 정보(654a, 654b), FOV(612)와 관련된 공간 정보(654c) 및 마스터 장치(634a, 634b)와 관련된 공간 정보(654d, 654e)를 수신한다. 선택적으로, 제어 시스템(652)은 디스플레이(646)가 마스터 장치에 기계적으로 결합되지 않은 경우 디스플레이(646)와 관련된 공간 정보(654f)를 수신한다.
선택적 공간 표시기(656a-656f)가 베이스(606a, 606b, 616, 638, 644 및 650)에 장착된다. 도시된 바와 같이, 공간 검출 유닛(658)(중앙집중회되거나 분산되어 감지)이 공간 표시기(656a-656c)와 관련되고, 공간 검출 유닛(660)(중앙집중회되거나 분산되어 감지)이 공간 표시기(656d-656f)와 관련된다. 하지만, 선택적으로, 단일 공간 검출 유닛이 원격수술 시스템 내의 모든 공간 표시기들과 관련될 수 있다. 도 5h를 참조하면, 타겟(512, 528) 및 방위 결정 유닛(531)이 공간 표시기 및 검출기의 예들이다.
따라서, 본 발명의 양태들은 영구적이고 고정된 기계적 관계들에 있지 않은 원격수술 시스템 유닛들 간의 공간 관계들을 결정한다. 이 관계들은 사용자의 마스터 제어 장치들로부터의 입력에 기초하여 직관적 모션을 정립, 획득 및 유지하기 위해 결정되지만, 수술실 환경과의 허용 가능한 간섭이 있거나 간섭이 없이 결정된다. 예를 들어, 엔드 이펙터들 및 내시경 카메라를 위한 매니퓰레이터들 간의 또는 직접적으로 엔드 이펙터들과 내시경 카메라 자체 간의 공간 관계는 그들 사이에 고정된 기계적 관계가 없을 때 결정된다. 그 후, 이 결정된 관계들은 원격조작 제어 관계에 필요한 변환들을 정립하는 데 사용된다. 최소한으로, 방위들만이 결정된다. 하지만, 일부 구현예에서, 일부 위치 정보가 1개 또는 2개의 축에 대해 결정될 수 있으며, 또는 전체 자세 정보가 결정될 수 있다.
일부 양태에서, 공간 결정 방법들은 공간 표시기들(656a-656f) 및 공간 검출 유닛들(658, 660)과 같은 외부 하드웨어를 사용한다. 하지만, 이 외부 하드웨어는 수술실 환경을 방해하지 않도록 크기 및 위치가 결정된다. 다른 양태에서, 공간 결정 방법들은 추가적인 하드웨어를 필요로 하지 않으며, 원격수술 시스템의 기존 하드웨어 내에 포함된다. 예를 들어, 영상 데이터 프로세서 또는 머신 비전 프로세서와 같은 추가적인 데이터 처리 장치가 기존 장치 내부에 추가될 수 있다.
필요에 따라 하나의 공통의 단일 기준 좌표계에 대해 유닛들을 정위함으로써 서로에 대해 운동 가능한 원격수술 시스템 유닛들 간의 공간 관계를 결정하기 위한 다양한 방식들이 사용될 수 있다. 단일 기준 좌표계는 원격수술 시스템과 별개로 정의되는 세계 기준 좌표계일 수 있다(예를 들어, 도 5h, 좌표계(532) 참조). 또는, 단일 기준 좌표계는 원격조작 매니퓰레이터 유닛의 베이스와 같은 원격수술 시스템 내의 하나의 장치와 관련될 수 있다.
이어지는 설명에서는, 일부 구현예에서 세계 기준 좌표계 내에서 고정되는 플로어 상이나 또 다른 지지 구조부 상에 놓이는 실제 물리적 베이스인 하나의 유닛의 "기준 베이스(reference base)"와 관련하여 언급된다. 하지만, 당업자는 "기준 베이스"는 원격수술 동안 세계 기준 좌표계 내에서 정적으로 유지되는 환자측 유닛 상의 임의의 지점에서 임의적으로 정의될 수 있다는 것을 이해할 것이다. 각각의 "기준 베이스"는 운동 가능하기 때문에, 일단 기준 베이스가 원격수술 동안에 정적이게 될 자세에 있게 된 후에 기준 베이스 또는 기준 베이스들의 관계가 결정된다. 도 6a를 참조하면, 베이스(606a, 606b, 616, 638, 644, 650)가 이러한 운동 가능한 기준 베이스의 예들이며, 기준 베이스의 예시들로서 사용될 것이다. 작동 원리들이 환자측 유닛(608a, 608b, 618)의 관점에서 예시되고, 이러한 원리들은 사용자 제어 유닛들과 더불어 특정 시스템 구성에 적용된다. 공간 표시기(656d-656f) 및 공간 검출 유닛(660)과 관련된 피처(feature)들 및 기능들은 공간 표시기(656a-656c) 및 공간 검출 유닛(658)에 대한 피처들 및 기능들과 유사하다.
하나의 공간 관계 결정 방법은 공간 관계를 결정하기 위한 유닛들 사이에 일시적인 기구학적으로 설치되는 직접적인 기계적 커플링(예컨대, 조인트 각도 센서를 갖는 조인트 연결된 링키지)을 부착함으로써 한 쌍의 유닛(예컨대, 2개의 환자측 매니퓰레이터 유닛) 간의 일시적 정위된 기계적 관계(temporary localized mechanical relationship)를 정립하는 것이다. 설치된 커플링은 일단 유닛들이 원격수술을 위해 자세 취해지면 그리고 원격수술 중에 다시 자세 취해지면 기구학적 관계가 결정되는 것을 가능하게 해준다. 하지만, 어떤 상황에서는, 이러한 기계적 정위 방법들은 수술실에 실용적이지 않다. 예를 들어, 이러한 방법에 사용되는 장비가 멸균 드레이프 및 기타 수술실 장비를 방해할 수 있다. 또는, 멸균 드레이프 및 기타 수술실 장비가 이러한 방법에 사용되는 장비를 방해할 수 있다. 또한, 이러한 방법들에 사용되는 장비는 환자측 환경에서 과도한 공간을 소비할 수 있고, 고가일 수 있으며, 잦은 교정(calibration) 및 기타 유지보수를 필요로 하기 때문에 조작하기 어려울 수 있다.
또 다른 공간 관계 결정 방법은 수술실 환경에서 원격수술 시스템과 함께 사용하도록 실내 로케이터 시스템 접근법을 맞춤하는 것이다. (이와 관련해서, 용어 "로케이터 시스템(locator system)"은 방위에 대한 파라미터들 중의 일부 또는 모두, 위치에 대한 파라미터들 중의 일부 또는 모두, 또는 방위 및 위치 모두에 대한 파라미터들 중의 일부 또는 모두를 제공하도록 구성될 수 있다.) 이러한 정위 시스템 접근법들은 전송 대상들을 능동적으로 탐색 및 추적할 수 있으며, 또는 대상의 주변 존재를 탐색 및 추적할 수 있다.
로케이터 시스템 접근법의 하나의 양태는 각각의 유닛 상에 하나 이상의 센서를 위치시켜 하나 이상의 다른 유닛 상의 하나 이상의 인위적 피처(synthetic feature) 또는 고유 피처(natural feature)를 검출하는 것이다. 인위적 피처는 에너지를 능동적으로 전송할 수 있으며("비콘(beacon)"; 예를 들어, 적외선 또는 가시광선, RFID, 초음파 등의), 또는 피동적일 수 있다(예를 들어, 전용 공간 표시기 타겟). 하나 이상의 센서는 하나 이상의 쌍의 유닛들 간의 공간 관계를 결정하는 데 사용되며, 결정된 공간 관계는 이후 전술된 바와 같이 원격조작 제어에 사용된다. 하지만, 어떤 상황에서는, 가시선(line of sight) 방법이 수술실에 실용적이지 않은데, 가시선이 수술실 장비, 멸균 드레이프 등에 의해 차단될 수 있기 때문이다. 그리고, 3개 이상의 유닛이 포함되어 있으면, 다수의 가시선이 다수 쌍의 유닛들 사이에서 깨끗해야 한다. 그러나, 어떤 상황에서는, 장치와 수술 테이블 사이에서와 같이 가시선이 거의 항상 깨끗하다(예를 들어, 미국 특허 출원 제15/522,180호(2017년 4월 26일 출원; 국제 출원 PCT/US2015/057664의 미국 국내단계출원)(본원에 참조로 포함되는 "수술 테이블에 정합하기 위한 시스템 및 방법(ystem and Method for Registering to a Surgical Table)"을 개시)).
로케이터 시스템 접근법의 또 다른 양태는 수술실 환경 내의 유닛들로의 가시선들을 제공할 수 있는 곳들(예컨대, 벽면의 높은 곳 또는 천장)의 대응하는 고정된 위치들에 하나 이상의 센서를 배치하여 다양한 운동 가능한 유닛들 상의 인위적 피처들 또는 고유 피처들을 추적하는 것이다. 인위적 피처는 전술한 바와 같이 비콘일 수 있으며 또는 피동적일 수 있다. 공간 표시기(656a-656c)도 감지될 수 있는 고유한 물리적 피처를 예시한다. 2개 이상의 센서를 사용하는 이점은 다수의 가능한 가시선이 하나의 유닛이 항상 감지될 것을 보장하고, 2개 이상의 센서와 단일 유닛 간의 다수의 가시선이 유닛의 자세의 결정의 중복성(redundancy) 및 가능한 개선을 제공한다는 점이다.
이 고정 센서 접근법의 하나의 예시적인 구현예로서, 단일 광학 센서가 수술실 환경 내에 고정된 자세로 배치되고, 이 단일 광학 센서가 하나 이상의 환자측 유닛 상의 피동적인 전용 인위적 광학 타겟들 또는 고유 피처들을 검출한다. 도 6a의 공간 표시기(656a-656c)가 이러한 타겟들 또는 고유 피처들을 예시한다(도 5h, 타겟(512 및 528)도 참조). 교정에 의해 각각의 타겟의 좌표계와 그것의 대응하는 유닛 베이스 좌표계 간의 공간 관계를 정립한다. 예를 들어, 공간 검출 유닛(658)이 광학 추적기(optical tracker)로서 작동하고, 공간 표시기(656a, 656b) 간의 공간 관계가 결정된다. 그런 다음, 정기구학적 변환들이 사용되어 대응하는 타겟에 대한 각각의 엔드 이펙터(603a, 603b)의 자세를 결정한다. 모든 타겟 좌표계들이 하나의 공통 베이스 좌표계로서의 단일 광학 추적기 좌표계로 또는 다른 지정된 공통 좌표계로 표현될 수 있기 때문에, 엔드 이펙터 좌표계들 간의 상대 변환들이 측정된 광학 추적기 데이터와 환자측 유닛(608a, 608b)의 정기구학의 조합을 사용하는 것에 의해 계산될 수 있다.
고정 센서 접근법의 또 다른 예시적인 구현예로서, 2개 이상의 광학 센서가 수술실 환경 내에 고정된 자세로 배치되고, 이 광학 센서들이 하나 이상의 환자측 유닛 상의 피동적인 전용 인위적 광학 타겟들 또는 고유 피처들을 검출한다. 그런 다음, 제어가 전술한 바와 같이 정립된다.
고정 센서 접근법의 또 다른 예시적인 구현예로서, 하나 이상의 RFID 또는 초음파 비콘이 각각의 유닛 상에 배치되고, 하나 이상의 센서가 수술실 환경 내에 고정되어 비콘을 검출한다. 하나 이상의 유닛의 자세는 감지된 비콘으로부터 결정되고, 그런 다음 제어가 전술한 바와 같이 정립된다.
고정 센서 접근법의 또 다른 예시적인 구현예로서, 인위적 피처들 및/또는 고유 피처들의 조합이 감지된다. 이러한 조합된 센서형 접근법은 단일 센서형 접근법을 능가하는 견고성(robustness) 및 신뢰성을 제공한다. 예를 들어, 하나의 환자측 유닛 상의 분명한 타겟 패턴 및 제2 환자측 유닛의 고유 피처가 감지되거나, 또는 각각의 환자측 유닛의 분명한 타켓 패턴과 고유 피처의 조합이 감지된다.
로케이터 시스템 접근법의 제2 양태는 각각의 운동 가능한 유닛 상에 하나 이상의 센서를 배치하여 수술실 환경 내의 유닛에 의해 쉽게 감지되는 곳들(예컨대, 벽면의 높은 곳 또는 천장)에 고정되는 하나 이상의 인위적 피처 또는 고유 피처을 추적하는 것이다. 고정 센서 양태와 마찬가지로, 이 고정 피처 양태에서는, 인위적 피처는 에너지를 능동적으로 전송할 수 있으며("비콘(beacon)"; 예를 들어, 적외선 또는 가시광선, RFID, 초음파 등의), 또는 피동적일 수 있다(예를 들어, 전용 공간 표시기 타겟). 이 고정 피처 양태에서는, 도 6a의 공간 표시기(656a-656c)가 이러한 센서들을 예시하고(도 5h, 요소(512 및 528)도 참조), 공간 검출기(658)가 수술실 환경 내의 하나 이상의 고정 피처를 예시한다. 제어 시스템은 하나 이상의 유닛으로부터 공간 정보를 수신하고, 그런 다음 제어가 전술한 바와 같이 정립된다.
고정 센서 및 고정 피처 로케이터 시스템 접근법들과 유사한 방식으로, 또 다른 대안은 수술실 환경에서 원격수술 시스템과 함께 사용하도록 맞춤화된 동시적 정위 및 매핑 시스템(simultaneous localization and mapping system)(SLAM) 기술을 사용하는 것이다. 다양한 SLAM 방법이 존재한다. 예를 들어, 본원에 참조로 포함되는 미국 특허 US 9,329,598 B2(2015년 4월 13일 출원)("모바일 로봇을 위한 동시적 정위 및 매핑(Simultaneous Localization and Mapping for a Mobile Robot)"을 개시) 및 US 7,689,321 B2(2010년 2월 10일 출원)("동시적 정위 및 매핑(SLAM) 시스템에서의 매핑 및 정위를 위한 견고한 센서 융합(Robust Sensor Fusion for Mapping and Localization in a Simultaneous Localization and Mapping (SLAM) system)" 개시) 참조. 운동하는 대상의 검출 및 추적(Detection and tracking of moving objects)(DATMO) 기술이 SLAM과 결합될 수 있다. 예를 들어, 본원에 참조로 포함되는 미국 특허 US 9,727,786 B2(2014년 11월 14일 출원)("모델 검증 및 관리를 수반한 시각적 대상 추적 시스템(Visual Object Tracking System with Model Validation and Management)"를 개시) 참조. 다중 센서가 다른 수술실 장비(수술 테이블, 마취 스테이션 등) 및 그러한 장비와 관련하여 환자측 유닛들을 이동시킬 필요성을 고려한 충분한 적용범위 및 중복적인 수술실 재구성들을 보장한다. SLAM 및/또는 DATMO 센서는 수술실 환경 내에 고정되거나, 운동 가능한 유닛에 장착되거나, 양자 모두에 해당될 수 있다. 제어에 필요한 베이스 좌표계 방위들이 결정되고, 그런 다음 제어가 전술한 바와 같이 정립된다.
수정된 실내 로케이터 시스템 접근법의 하나의 대안으로서, 머신 비전(machine vision) 접근법이 사용되어 내시경 카메라에 의해 취득되는 입체 영상 내에서 직접적으로 툴을 추적할 수 있다. 추적 정보는 카메라의 시계와 관련된 기준 좌표계 내에서 직접적으로 엔드 이펙터의 자세를 결정하는 데 사용된다. 도 6a를 참조하면, 머신 비전 프로세서(626)는 엔드 이펙터에 관한 공간 데이터(632)를 제어 시스템(652)으로 전송한다. 추적된 관계들은 원격수술 중에 정적인 매니퓰레이터 베이스들의 상대적 자세를 결정하는 데 사용된다.
하나의 구현예에서, 머신 비전은 연속적 사용으로 엔드 이펙터들의 자세들을 추적한다. 하나의 대안적인 구현예에서, 일단 매니퓰레이터 베이스들 간의 관계가 머신 비전 및 기구학적 정보로부터 결정되면, 엔드 이펙터들 간의 얼라인먼트는 기구학적 정보만에 기초하여 결정될 수 있으며, 더 이상의 머신 비전 추적은 필요하지 않다. 도 6a를 참조하면, 제어 시스템(652)은 환자측 유닛(608a, 608b 및 618)으로부터 공간 정보(654a-654c)와 같은 기구학적 데이터를 수신한다. 이러한 기구학적 데이터를 사용하면 연속적 머신 비전 추적에 비해 계산 부하를 상당히 김소시킨다. 또 다른 대안적인 구현예에서는, 머신 비전 추적이 간격을 두고(예를 들어, 100ms마다, 1초마다 등) 사용되어 자세 정보를 업데이트하고, 이 주기적 업데이트 구현예는 계산 부하가 연속 머신 비전 추적에 비해 더욱 더 작다.
또 다른 대안으로서, 공간 결정 시스템이 각각의 유닛과 관련된 케이블들과 통합된 광섬유 형상 센서(optical fiber shape sensor)들에 기초한다. 유닛들 사이, 또는 2개의 유닛과 제어 시스템 유닛과 같은 공통 노드 사이의 케이블 상호연결부가 광섬유 형상 센서(예를 들어, 섬유 브래그 격자 기술을 도입한)를 포함한다. 형상 센서 기술이 상호연결된 유닛들 간의 공간 관계를 결정하는 데 사용된다. 제어 데이터 또는 영상 데이터를 전송하는 케이블들이 광섬유 형상 센서들을 포함하도록 수정될 수 있다.
상기 양태들은 전체 자세 정보(full pose information)(전체 방위 및 위치 정보)를 결정하는데 사용될 수 있으며, 또는 전체 미만의 자세 정보(less than full pose information)(예를 들어, 3차원 카테시안 공간에서, 단지 1개 또는 2개의 카테시안 축 둘레만의 부분 방위 정보 및/또는 단지 1개 또는 2개의 카테시안 축만을 따른 부분 위치 정보)를 결정하는데 사용될 수 있다. 전술한 바와 같이, 환자측에서의 다수의 매니퓰레이터 어셈블리 구현들을 포함하는 다양한 실시예에서는, 툴을 카메라에 관련시키는 효과적인 제어 얼라인먼트를 위해 카메라와 하나 이상의 툴 간의 상대적인 방위만이 요구된다. 따라서 이러한 대상들 또는 이러한 대상들을 지지하는 기구학적 체인 내의 개별 링크들 간의 상대 방위만 필요하다. 마찬가지로, 일부 실시예에서의 사용자 제어를 위해, 엔드 이펙터의 표시되는 영상과 마스터 장치 간의 상대 방위만이 요구된다. 결과적으로, 이러한 양태들은 단지 절반의 개수의 변수들만(즉, 방위, 위치 제외) 추산하면 되기 때문에 단순화되거나 더 견고해질 수 있다. 전체 자세 정보를 결정하고 추적해야 할 필요성이 제거되고 방위 정보만이 결정되면, 추가적인 공간 결정 방법들이 이용 가능하다.
하나의 대안적인 방위 결정 접근법에서, 공간 표시기(656a-656f)는 3축 가속도계 및 3축 자력계 조합을 예시한다. 공간 표시기는 운동 가능한 유닛 내의 임의의 링크에 또는 내시경 카메라와 같은 대상 자체 상에 위치될 수 있음이 상기될 것이다.
도 6b에 도시된 바와 같이, 공간 표시기(656a, 656b)는 각각 대응하는 베이스(606a, 606b)에 장착되는 3축 가속도계 및 3축 자력계의 조합이다. 양 공간 표시기(656a, 656b)의 조합들은 각각 중력 벡터 g 및 지구의 자북(magnetic north)(N)에 대한 베어링(bearing)을 결정하므로, 두 유닛에 대해 일정하다. 도시된 바와 같이, 국소 자기장(local magnetic field)(670)에 대해, b 는 국소 자기장 벡터, g 는 중력 벡터, 그리고 베어링
Figure pct00001
는 자북을 나타내도록 g 에 수직인 평면(672) 상에 투영된 자기장이다.
Figure pct00002
Figure pct00003
자북 베어링(magnetic north bearing), 중력 벡터 베어링 및 기구학적 정보로부터, 대응하는 베이스(606a, 606b)의 공간 방위들(spatial orientations)이 결정되고, 따라서 대응하는 엔드 이펙터(603a, 603)의 상대 공간 방위들이 초기 얼라인먼트 관계를 위해 결정된다. FOV(612) 및 사용자 제어 유닛들에 대해서도 마찬가지이다. 그런 다음, 일단 초기 제어 얼라인먼트가 정립되면, 기구학적 정보가 마스터/슬레이브 원격조작을 위한 전체 자세 정보를 제공하기 위해 사용될 수 있다.
국소 자성 물질, 전기 모터, 전자기장 생성기, 근처 철계 물질 등으로 인해 수술실 환경 내에 자기장 교란이 있을 수 있다. 일반적으로, 환자측 유닛들은 가속도계/자력계 조합들이 이러한 물체들과 이격되어 있도록 배치되어야 한다. 하지만, 북쪽 베어링 오차(north bearing error)가 유닛들 간의 초기 얼라인먼트가 직관적 마스터/슬레이브 제어에 영향을 줄 정도로 충분히 큰 2개 이상의 환자측 장치에 대한 북쪽 베어링들에 있어서의 불일치를 야기하는 경우에는, 얼라인먼트 보정이 필요하다. 예를 들어, 좌측 및 우측 마스터 입력 장치들의 동일한 모션들이 그들의 대응하는 엔드 이펙터들의 상이한 모션들을 유발할 수 있다(예를 들어, 좌측 엔드 이펙터는 관련된 좌측 마스터가 직좌로(directly to the left) 이동될 때 디스플레이에서 관찰했을 때 직좌로 이동하지만, 우측 엔터 이펙터는 관련된 우측 마스터가 동일한 방향으로 직좌로 이동할 때 디스플레이에서 관찰했을 때 상좌로(up and to the left)로 이동하는 등이다).
따라서, 얼라인먼트 조정 기능(alignment adjustment function)이 제공되고, 사용자는 대응하는 마스터 장치의 지각되는 방위에 대한 각 툴의 영상의 관계를 조정하고 미세조정(fine tune)할 수 있다. 방위 미스얼라인먼트(orientation misalignment)는 다르게 결정된 북쪽 베어링들에만 기인하기 때문에, 이 조정은 FOV 좌표계에 대한 각 툴을 위한 하나의 DOF 조정이다. 도 6c에 도시된 바와 같이, 예를 들어 제1 베어링
Figure pct00004
은 제1 환자측 유닛 베이스 기준 좌표계(674a)에 대해 결정되고, 제2 베어링
Figure pct00005
은 제2 환자측 유닛 베이스 기준 좌표계(674b)에 대해 결정된다. 베어링들이 다르기 때문에, 사용자는 직관적 제어를 위한 얼라인먼트를 얻기 위해 베어링들 사이의 도시된 바와 같은 각도 θ 를 조정할 수 있다. 이런 식으로, 마스터 입력 장치들의 동일한 모션들(예를 들어, 사용자에 의해 지각되는 직좌로의)이 대응하는 툴들의 동일한 모션들(예를 들어, 디스플레이에서 관찰했을 때 직좌로의)을 발생시킬 것이다. 이러한 1 DOF 조정은 보정을 위해 전체 3D 회전을 조정하는 것과 비교하여 사용자가 실행하기에 훨씬 용이하며, 또한 이러한 1 DOF 조정 접근법이 하나의 회전 얼라인먼트가 비직관적 제어 관계를 생성하게 되는 방위에 대한 임의의 공간 결정 접근법에 적용될 수 있음을 보여준다. 이는 예를 들어 지지 구조부 베이스가 이동되는 경우나 내시경 카메라를 잡고 있는 사람이 이동하는 경우에 발생할 수 있다.
회전 보정을 실행하는 한 가지 대안적인 방법은 전술한 바와 같은 외부 추적 또는 머신 비전 접근법을 사용하여 미스얼라인먼트를 결정하는 것이며, 이 결정된 미스얼라인먼트가 보정을 위해 사용된다. 전술한 바와 같이, 이러한 보정 접근법들은 계산 부하를 감소시키기 위해 간격을 두고 실행될 수 있다. 또한, 가속도계/자석계 접근법과 2번째 공간 결정 접근법의 조합은 2번째 접근법이 단일 DOF로 방위를 결정함에 따라 단순화되기 때문에 더 견고하고 계산상 덜 까다로운 해법을 제공한다. 예를 들어, 가속도계/자력계 접근법이 사용되어 내시경 카메라 시계 내에서의 툴 엔드 이펙터 방위의 초기 추정값을 제공할 수 있고, 그런 다음 이 초기 추정값을 사용하여 머신 비전 추적 작업이 가속되거나 계산상 덜 까다롭게 실행될 수 있다.
또 다른 대안적인 공간 결정 접근법으로서, 3축 자이로스코프가 고정된 위치에서 각각의 유닛에 연결된다. 각각의 자이로스코프는 하나의 알려진 방위로 교정되고, 그런 다음 자이로스코프들은 유닛들이 운동함에 따라 후속 방위들을 결정하는 데 사용된다. 교정은 알려진 기계적 얼라인먼트(예를 들어, 벽 또는 수술 테이블과 같은 테이블 상의 고정구)와 같은 다양한 방식으로 또는 전술한 바와 같은 가속도계/자력계 접근법을 사용하는 것에 의해 달성될 수 있다. 자이로스코프는 장시간에 걸쳐 드리프트(drift)하는 경향을 가질 수 있지만, 자이로스코프 접근법은 또 다른 공간 결정 접근법과 조합되어 사용 중에(예를 들어, 수술 예에서 수술 중에) 베이스 방위들에 대한 중복적인 증강된 확인을 제공할 수 있다. 예를 들어, 가속도계, 자력계 및 자이로스코프 측정들이 함께 사용되어 베이스 링크들 간의 상대 방위들 및 변환들을 결정할 수 있다. 또 다른 예로서, 자이로스코프 측정은 다른 공간 결정 방법들과 조합되어 견고성(robustness) 및 중복성(redundancy)을 더하고, 추산을 단순화하거나 가속할 수 있다. 또한, 자이로스코프들이 사용되어 자이로스코프 데이터와 일치하지 않는 베어링 측정값의 편차를 유발하는 자기장의 일시적 교란을 감지할 수 있다. 이 양태에서, 자이로스코프 데이터는 선택적으로 자력계 신호가 안정화될 때까지 더 큰 가중치가 부여된다. 또는, 일시적 자기장 교란의 검출은 문제 또는 결함을 사용자에게 신호하는 데 사용될 수 있다. 상술한 바와 같이 사용자가 감소된 파라미터 공간에서 지각되는 얼라인먼트를 미세조정할 수 있게 해주는 단일 DOF 조정이 자이로스코프 정보를 포함하는 구현예에 통합될 수 있다.
또 다른 대안적인 공간 결정 접근법으로서, 가속도 센서들만이 사용되고, 진동 센서들(예를 들어, 진동 감지/투입 유닛을 포함하는 센서(624a-624c))이 유닛들 간의 상대적인 공간 관계를 결정하는데 사용된다. 하나의 구현예에서, 주변 공통 모드 진동(예를 들어, 플로어로부터의)이 각각의 환자측 유닛 또는 캐뉼라에서 감지된다. 동일한 주변 진동이 각각의 유닛에 의해 감지되면, 공통 모드 신호가 각각의 유닛과 관련되어 각각의 유닛에 대해 알려진 방위들에서 고정된 가속도계들에 의해 식별된다. 각각의 유닛에서의 중력 벡터 및 감지된 진동들의 수평 방향들이 사용되어 유닛들 간의 상대 방위를 결정한다. 하나의 대안적인 구현예에서, 공통 모드 진동이 투입된다. 예를 들어, 체벽(body wall)에 위치한 캐뉼라의 모션의 원격 중심(remote center of motion)이 알려진 방향으로 진동하도록 캐뉼라가 진동된다. 투입된 진동 방향들이 유닛에 의해 감지되고, 상대 공간 방위가 결정된다.
진동 정보를 사용하는 또 다른 구현예에서, 하나 이상의 비콘(beacon)이 배치되어(예컨대, 수술실 플로어 상에) 각각의 유닛이 진동들을 감지할 수 있도록 주기적이고 시간 동기화된 공통 모드 진동들을 투입한다. 유닛들 상의 가속도계들 또는 매치된 공진기들이 진동을 감지한다. 비행 시간 측정법(time of flight measurement)이 사용되어 진동하는 비콘까지의 거리를 정립하고, 삼각 측량법(triangulation)이 사용되어 유닛들의 상대 공간 방위를 결정한다. 예를 들어, 콘크리트에서의 음속이 3500m/s라고 가정하면, 1cm 분해능(resolution)은 ~3μs 시간 분해능(time resolution)이 필요하다. 이 접근법은 유리하게 비콘과 센서 사이의 깨끗한 가시선(line of sight)에 대한 필요성을 제거한다. 진동 투입을 포함하는 모든 접근법에서, 진동 주파수는 가청 범위 밖에서 선택될 수 있다.
또 다른 구현예에서, 방위 자유도는 선택적으로 2개 이상의 상이한 접근법을 사용하여 측정된다. 예를 들어, 가속도계가 사용되어 2개의 축의 방위를 결정하고, 머신 비전이 사용되어 나머지 축의 베어링 방위를 결정한다. 이 결정들은 융합되고, 융합된 결과가 완전한 3축 해법을 제공한다.
따라서, 공간 결정 시스템은 손 조작 마스터 제어 장치들과 대응하는 툴들 간의 제어 얼라인먼트의 필요한 사용자의 직관적 지각을 정립하고 유지시키기 위해, 다수의 원격조작 시스템 유닛들 간의 상대 방위들 및 필요한 변환들을 결정하는 데 사용된다. 유리하게는, 마스터/슬레이브 제어에 필요한 얼라인먼트를 정립하고 유지시키는 데 방위 정보만이 사용되거나, 마스터/슬레이브 제어에 필요한 얼라인먼트를 정립하고 유지시키는 데 완전 미만의 위치 정보와 함께 조합된 방위 정보가 사용된다.
5. 추가의 구현예들
많은 구현예들이 원격수술 시스템의 관점에서 설명되었지만, 본 발명의 양태들은 원격수술 시스템에 한정되지 않는다는 것을 이해해야 한다. 다양한 다른 원격조작 시스템들에서의 구현예들이 고려된다. 예를 들어, 양태들은 군용 용례들(예를 들어, 폭탄 처리, 정찰, 적 사격하의 작전 등), 연구 용례들(예를 들어, 해양 잠수정, 지구 궤도 위성 및 유인 스테이션(manned station) 등), 물질 취급 용례들(예를 들어, 원자력 "핫셀(hot cell)" 또는 기타 위험 물질 취급 등), 응급 대응(예를 들어, 수색 및 구조, 소방, 원자로 조사), 무인 지상 차량(예를 들어, 농업, 제조, 광업, 건설 등의) 등을 갖는 원격조작 시스템들에서 구현될 수 있다.

Claims (37)

  1. 원격조작 시스템에 있어서,
    상기 원격조작 시스템은:
    디스플레이;
    마스터 입력 장치; 및
    하나 이상의 프로세서 및 메모리를 포함하는 제어 시스템으로서, 상기 메모리가 상기 하나 이상의 프로세서로 하여금 동작들을 실행하게 만들도록 맞춤된 프로그램된 명령어를 포함하게 되어 있는, 상기 제어 시스템을 포함하고,
    상기 하나 이상의 프로세서가 실행하는 동작들은:
    엔드 이펙터 기준 좌표계가 시계 기준 좌표계에 대해 운동 가능하고, 상기 엔드 이펙터 기준 좌표계가 툴의 엔드 이펙터에 대해 정의되고, 상기 시계 기준 좌표계가 촬영 장치의 시계에 대해 정의되는 조건에서, 상기 시계 기준 좌표계에 대한 상기 엔드 이펙터 기준 좌표계의 방위를 결정하는 동작;
    입력 장치 기준 좌표계가 마스터 입력 장치에 대해 정의되고, 디스플레이 기준 좌표계가 디스플레이에 의해 표시되는 영상에 대해 정의되는 조건에서, 상기 디스플레이 기준 좌표계에 대한 상기 입력 장치 기준 좌표계의 방위를 결정하는 동작;
    엔드 이펙터 대 시계 얼라인먼트 관계 또는 입력 장치 대 디스플레이 얼라인먼트 관계를 포함하는 제1 얼라인먼트 관계를 정립하는 동작으로서, 상기 엔드 이펙터 대 시계 얼라인먼트 관계는 상기 엔드 이펙터 기준 좌표계와 상기 시계 기준 좌표계 간의 관계이며 상기 엔드 이펙터 기준 좌표계와 상기 시계 기준 좌표계 간의 위치 관계와 무관하고, 상기 입력 장치 대 디스플레이 얼라인먼트 관계는 상기 입력 장치 기준 좌표계와 상기 디스플레이 기준 좌표계 간의 관계이며 상기 입력 장치 기준 좌표계와 상기 디스플레이 기준 좌표계 간의 위치 관계와 무관한 조건에서, 상기 제1 얼라인먼트 관계를 정립하는 동작; 및
    상기 제1 얼라인먼트 관계에 기초하여, 상기 마스터 입력 장치의 자세의 변경에 응답하는 상기 엔드 이펙터의 자세의 변경을 명령하는 동작을 포함하는 것을 특징으로 하는 원격조작 시스템.
  2. 제 1 항에 있어서, 상기 제1 얼라인먼트 관계는 엔드 이펙터 대 시계 얼라인먼트 관계를 포함하는 것을 특징으로 하는 원격조작 시스템.
  3. 제 2 항에 있어서,
    상기 하나 이상의 프로세서가 실행하는 동작들은: 입력 장치 대 디스플레이 얼라인먼트 관계를 포함하는 제2 얼라인먼트 관계를 정립하는 동작을 더 포함하고;
    상기 엔드 이펙터의 자세의 변경을 명령하는 동작은 추가로 상기 제2 얼라인먼트 관계에 기초하는 것을 특징으로 하는 원격조작 시스템.
  4. 제 3 항에 있어서, 상기 디스플레이 기준 좌표계에 대한 상기 입력 장치 기준 좌표계의 방위는 제1 상대 방위이고, 상기 시계 기준 좌표계에 대한 상기 엔드 이펙터 기준 좌표계의 방위는 제2 상대 방위이며, 상기 제1 상대 방위는 일정 차이만큼 상기 제2 상대 방위와 다르고, 상기 하나 이상의 프로세서가 실행하는 동작들은:
    상기 차이를 점진적으로 감소시키기 위해 상기 제2 얼라인먼트 관계를 여러 번 업데이트하는 동작을 더 포함하는 것을 특징으로 하는 원격조작 시스템.
  5. 제 1 항에 있어서, 상기 제1 얼라인먼트 관계는 입력 장치 대 디스플레이 얼라인먼트 관계를 포함하는 것을 특징으로 하는 원격조작 시스템.
  6. 제 1 항에 있어서,
    상기 엔드 이펙터의 자세는 상기 시계 기준 좌표계에 대해 상대적이고;
    상기 마스터 입력 장치의 자세는 상기 디스플레이 기준 좌표계에 대해 상대적이고;
    상기 엔드 이펙터의 자세의 변경은:
    상기 디스플레이 기준 좌표계에 대한 상기 마스터 입력 장치의 방위의 변경에 대응하는 상기 시계 기준 좌표계에 대한 상기 엔드 이펙터의 방위의 변경을 포함하는 것을 특징으로 하는 원격조작 시스템.
  7. 제 1 항에 있어서, 상기 하나 이상의 프로세서가 실행하는 동작들은:
    상기 제1 얼라인먼트 관계에 기초하여 원격조작 마스터/슬레이브 제어 관계를 정립하는 동작을 더 포함하는 것을 특징으로 하는 원격조작 시스템.
  8. 제 1 항에 있어서,
    상기 시계 기준 좌표계에 대한 상기 엔드 이펙터 기준 좌표계의 방위를 결정하는 동작은:
    상기 시계 기준 좌표계의 완전 방위를 결정하는 동작; 및
    상기 엔드 이펙터 기준 좌표계의 완전 방위를 결정하는 동작을 포함하고,
    상기 디스플레이 기준 좌표계에 대한 상기 입력 장치 기준 좌표계의 방위를 결정하는 동작은:
    상기 디스플레이 기준 좌표계의 완전 방위를 결정하는 동작; 및
    상기 입력 장치 기준 좌표계의 완전 방위를 결정하는 동작을 포함하는 것을 특징으로 하는 원격조작 시스템.
  9. 제 1 항에 있어서, 상기 프로그램된 명령어는 상기 하나 이상의 프로세서로 하여금:
    상기 시계 기준 좌표계, 상기 엔드 이펙터 기준 좌표계, 상기 디스플레이 기준 좌표계 및 상기 입력 장치 기준 좌표계로 이루어지는 그룹으로부터 선택된 적어도 하나의 기준 좌표계의 완전 위치를 결정하거나;
    상기 시계 기준 좌표계에 대한 상기 엔드 이펙터 기준 좌표계의 완전 위치를 결정하거나;
    상기 디스플레이 기준 좌표계에 대한 상기 입력 장치 기준 좌표계의 완전 위치를 결정하게 만들도록 맞춤되지 않는 것을 특징으로 하는 원격조작 시스템.
  10. 제 1 항에 있어서,
    상기 하나 이상의 프로세서가 실행하는 동작들은:
    상기 시계 기준 좌표계에 대한 상기 엔드 이펙터 기준 좌표계의 완전 미만의 위치를 결정하는 동작; 또는
    상기 디스플레이 기준 좌표계에 대한 상기 입력 장치 기준 좌표계의 완전 미만의 위치를 결정하는 동작을 더 포함하는 것을 특징으로 하는 원격조작 시스템.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 원격조작 시스템은 원격조작 의료 시스템이고;
    상기 툴은 의료용 툴이고;
    상기 원격조작 시스템은 상기 툴을 제거 가능하게 지지하도록 구성된 매니퓰레이터 암을 더 포함하고, 상기 매니퓰레이터 암은 복수의 조인트 및 복수의 링크를 포함하고;
    상기 엔드 이펙터의 자세의 변경을 명령하는 동작은 상기 엔드 이펙터의 자세를 변경시키도록 매니퓰레이터 암에 명령하는 동작을 포함하는 것을 특징으로 하는 원격조작 시스템.
  12. 제 11 항에 있어서, 상기 원격조작 의료 시스템은 원격수술 시스템이고, 상기 의료용 툴은 수술 툴인 것을 특징으로 하는 원격조작 시스템.
  13. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서, 상기 제1 얼라인먼트 관계를 정립하는 동작은:
    원격조작을 시작하라는 지시에 응답하여 상기 제1 얼라인먼트 관계를 정립하는 동작을 포함하는 것을 특징으로 하는 원격조작 시스템.
  14. 제 13 항에 있어서, 상기 원격조작을 시작하라는 지시는 원격조작을 시작하라는 사용자 명령을 수신하는 것을 포함하는 것을 특징으로 하는 원격조작 시스템.
  15. 제 14 항에 있어서,
    상기 원격조작을 시작하라는 지시는 클러치 모드로부터의 이탈을 포함하고,
    상기 하나 이상의 프로세서가 실행하는 동작들은: 클러치 모드에서, 상기 마스터 입력 장치의 자세의 변경에 응답하는 상기 엔드 이펙터의 자세의 변경을 명령하지 않는 동작을 더 포함하는 것을 특징으로 하는 원격조작 시스템.
  16. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서가 실행하는 동작들은:
    상기 제1 얼라인먼트 관계를 업데이트하는 동작을 더 포함하는 것을 특징으로 하는 원격조작 시스템.
  17. 제 16 항에 있어서, 상기 제1 얼라인먼트 관계를 업데이트하는 동작은:
    상기 마스터 입력 장치의 자세의 변경에 응답하는 상기 엔드 이펙터의 자세의 변경을 명령하는 동안 상기 제1 얼라인먼트 관계를 업데이트하는 동작; 또는
    소정의 시간 간격으로 상기 제1 얼라인먼트 관계를 업데이트하는 동작을 포함하는 것을 특징으로 하는 원격조작 시스템.
  18. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 원격조작 시스템은:
    제2 입력 장치 기준 좌표계와 관련된 제2 마스터 입력 장치;
    제2 엔드 이펙터 기준 좌표계와 관련된 제2 엔드 이펙터를 더 포함하고,
    상기 하나 이상의 프로세서가 실행하는 동작들은:
    상기 제1 얼라인먼트 관계를 정립하는 동작과 무관하게 상기 제2 입력 장치 기준 좌표계와 상기 디스플레이 기준 좌표계 간의 제2 얼라인먼트 관계를 정립하는 동작; 및
    상기 제2 얼라인먼트 관계에 기초하여, 상기 디스플레이 기준 좌표계에 대한 상기 제2 마스터 입력 장치의 자세의 변경에 응답하는 상기 시계 기준 좌표계에 대한 상기 제2 엔드 이펙터의 자세의 변경을 명령하는 동작을 더 포함하는 것을 특징으로 하는 원격조작 시스템.
  19. 의료 시스템을 조작하기 위한 방법에 있어서,
    엔드 이펙터 기준 좌표계가 시계 기준 좌표계에 대해 운동 가능하고, 상기 엔드 이펙터 기준 좌표계가 툴의 엔드 이펙터에 대해 정의되고, 상기 시계 기준 좌표계가 촬영 장치의 시계에 대해 정의되는 조건에서, 상기 시계 기준 좌표계에 대한 상기 엔드 이펙터 기준 좌표계의 방위를 결정하는 과정;
    입력 장치 기준 좌표계가 상기 의료 시스템의 마스터 입력 장치에 대해 정의되고, 디스플레이 기준 좌표계가 상기 의료 시스템의 디스플레이에 대해 정의되는 조건에서, 상기 디스플레이 기준 좌표계에 대한 상기 입력 장치 기준 좌표계의 방위를 결정하는 과정;
    엔드 이펙터 대 시계 얼라인먼트 관계 또는 입력 장치 대 디스플레이 얼라인먼트 관계를 포함하는 제1 얼라인먼트 관계를 정립하는 과정으로서, 상기 엔드 이펙터 대 시계 얼라인먼트 관계는 상기 엔드 이펙터 기준 좌표계와 상기 시계 기준 좌표계 간의 관계이며 상기 엔드 이펙터 기준 좌표계와 상기 시계 기준 좌표계 간의 위치 관계와 무관하고, 상기 입력 장치 대 디스플레이 얼라인먼트 관계는 상기 입력 장치 기준 좌표계와 상기 디스플레이 기준 좌표계 간의 관계이며 상기 입력 장치 기준 좌표계와 상기 디스플레이 기준 좌표계 간의 위치 관계와 무관한 조건에서, 상기 제1 얼라인먼트 관계를 정립하는 과정; 및
    상기 제1 얼라인먼트 관계에 기초하여, 상기 마스터 입력 장치의 자세의 변경에 응답하는 상기 엔드 이펙터의 자세의 변경을 명령하는 과정을 포함하는 것을 특징으로 하는 방법.
  20. 제 19 항에 있어서, 상기 제1 얼라인먼트 관계는 엔드 이펙터 대 시계 얼라인먼트 관계를 포함하는 것을 특징으로 하는 방법.
  21. 제 20 항에 있어서,
    입력 장치 대 디스플레이 얼라인먼트 관계를 포함하는 제2 얼라인먼트 관계를 정립하는 과정으로서, 상기 엔드 이펙터의 자세의 변경을 명령하는 과정이 추가로 상기 제2 얼라인먼트 관계에 기초하게 되는, 상기 제2 얼라인먼트 관계를 정립하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  22. 제 19 항에 있어서, 상기 제1 얼라인먼트 관계는 입력 장치 대 디스플레이 얼라인먼트 관계를 포함하는 것을 특징으로 하는 방법.
  23. 제 19 항에 있어서,
    상기 엔드 이펙터의 자세는 상기 시계 기준 좌표계에 상대적이고;
    상기 마스터 입력 장치의 자세는 상기 디스플레이 기준 좌표계에 대해 상대적이고;
    상기 엔드 이펙터의 자세의 변경은:
    상기 디스플레이 기준 좌표계에 대한 상기 마스터 입력 장치의 방위의 변경에 대응하는 상기 시계 기준 좌표계에 대한 상기 엔드 이펙터의 방위의 변경을 포함하는 것을 특징으로 하는 방법.
  24. 제 19 항에 있어서,
    상기 시계 기준 좌표계에 대한 상기 엔드 이펙터 기준 좌표계의 방위를 결정하는 과정은:
    상기 시계 기준 좌표계의 완전 방위를 결정하는 과정; 및
    상기 엔드 이펙터 기준 좌표계의 완전 방위를 결정하는 과정을 포함하고,
    상기 디스플레이 기준 좌표계에 대한 상기 입력 장치 기준 좌표계의 방위를 결정하는 과정은:
    상기 디스플레이 기준 좌표계의 완전 방위를 결정하는 과정; 및
    상기 입력 장치 기준 좌표계의 완전 방위를 결정하는 과정을 포함하는 것을 특징으로 하는 방법.
  25. 제 19 항 내지 제 23 항 중 어느 한 항에 있어서,
    상기 시계 기준 좌표계, 상기 엔드 이펙터 기준 좌표계, 상기 디스플레이 기준 좌표계 및 상기 입력 장치 기준 좌표계로 이루어지는 그룹으로부터 선택된 적어도 하나의 기준 좌표계의 완전 미만의 위치를 결정하는 과정; 또는
    상기 시계 기준 좌표계에 대한 상기 엔드 이펙터 기준 좌표계의 완전 미만의 위치를 결정하는 과정; 또는
    상기 디스플레이 기준 좌표계에 대한 상기 입력 장치 기준 좌표계의 완전 미만의 위치를 결정하는 과정을 포함하는 것을 특징으로 하는 방법.
  26. 제 19 항 내지 제 23 항 중 어느 한 항에 있어서, 상기 제1 얼라인먼트 관계를 정립하는 과정은:
    원격조작을 시작하라는 지시에 응답하여 상기 제1 얼라인먼트 관계를 정립하는 과정을 포함하는 것을 특징으로 하는 방법.
  27. 제 19 항 내지 제 23 항 중 어느 한 항에 있어서,
    상기 제1 얼라인먼트 관계를 업데이트하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  28. 제 19 항 내지 제 23 항 중 어느 한 항에 있어서,
    상기 제1 얼라인먼트 관계를 정립하는 과정과 무관하게, 제2 마스터 입력 장치와 관련된 제2 입력 장치 기준 좌표계와 상기 디스플레이 기준 좌표계 간의 제2 얼라인먼트 관계를 정립하는 과정; 및
    상기 제2 얼라인먼트 관계에 기초하여, 상기 디스플레이 기준 좌표계에 대한 상기 제2 마스터 입력 장치의 자세의 변경에 응답하는 상기 시계 기준 좌표계에 대한 상기 제2 엔드 이펙터의 자세의 변경을 명령하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  29. 의료 장치와 관련된 하나 이상의 프로세서에 의해 실행될 때 하나 이상의 프로세서로 하여금 제 18 항 내지 제 27 항 중 어느 한 항의 방법을 실행하게 만들도록 맞춤되어 있는 복수의 기계 판독 가능 명령어를 포함하는 것을 특징으로 하는 비일시적 기계 판독 가능 매체.
  30. 원격조작 시스템에 있어서,
    상기 원격조작 시스템은:
    디스플레이로서, 디스플레이 기준 좌표계가 상기 디스플레이에 대해 정의되게 되는, 상기 디스플레이;
    마스터 장치로서, 마스터 장치 기준 좌표계가 상기 마스터 장치에 대해 정의되게 되는, 상기 마스터 장치; 및
    명령어를 저장한 메모리를 포함하는 제어 시스템으로서, 상기 명령어가 상기 제어 시스템에 의해 실행될 때 상기 제어 시스템으로 하여금 동작들을 실행하게 만들도록 되어 있는, 상기 제어 시스템을 포함하고,
    상기 제어 시스템이 실행하는 동작들은:
    촬영 장치의 시계에 대해 정의된 시계 기준 좌표계의 완전 방위를 결정하는 동작;
    툴의 엔드 이펙터에 대해 정의된 엔드 이펙터 기준 좌표계의 완전 방위를 결정하는 동작;
    상기 디스플레이 기준 좌표계의 완전 방위를 결정하는 동작;
    상기 마스터 장치 기준 좌표계의 완전 방위를 결정하는 동작;
    엔드 이펙터 대 시계 얼라인먼트 관계 또는 마스터 장치 대 디스플레이 얼라인먼트 관계를 포함하는 제1 얼라인먼트 관계를 정립하는 것에 의해 상기 마스터 장치와 상기 엔드 이펙터 간의 원격조작 마스터/슬레이브 제어 관계를 정립하는 동작으로서, 상기 엔드 이펙터 대 시계 얼라인먼트 관계는 상기 엔드 이펙터 기준 좌표계와 상기 시계 기준 좌표계 간의 관계이며 상기 엔드 이펙터 기준 좌표계 및 상기 시계 기준 좌표계에 관한 완전 미만의 위치 정보에 기초하고, 상기 마스터 장치 대 디스플레이 얼라인먼트 관계는 상기 마스터 장치 기준 좌표계와 상기 디스플레이 기준 좌표계 사이의 관계이고, 상기 마스터 장치 기준 좌표계와 상기 디스플레이 기준 좌표계 간의 제1 얼라인먼트 관계는 상기 마스터 장치 기준 좌표계 및 상기 디스플레이 기준 좌표계에 관한 완전 미만의 위치 정보에 기초하는 조건에서, 상기 마스터 장치와 상기 엔드 이펙터 간의 원격조작 마스터/슬레이브 제어 관계를 정립하는 동작; 및
    상기 마스터 장치의 자세의 변경에 대응하여 상기 엔드 이펙터의 자세를 변경시킴으로써 상기 마스터 장치와 상기 엔드 이펙터 간의 마스터/슬레이브 제어 관계를 실행시키는 동작을 포함하는 것을 특징으로 하는 원격조작 시스템.
  31. 제 30 항에 있어서,
    상기 엔드 이펙터의 자세는 상기 시계 기준 좌표계에 대해 상대적이고;
    상기 마스터 장치의 자세는 상기 디스플레이 기준 좌표계에 대해 상대적이고;
    상기 엔드 이펙터의 자세의 변경은:
    상기 디스플레이 기준 좌표계에 대한 상기 마스터 장치의 방위의 변경에 대응하는 상기 시계 기준 좌표계에 대한 상기 엔드 이펙터의 방위의 변경을 포함하는 것을 특징으로 하는 원격조작 시스템.
  32. 제 30 항에 있어서, 상기 원격조작 시스템은 원격수술이고,
    상기 원격수술 시스템은:
    내시경 카메라를 포함하는 촬영 장치;
    엔드 이펙터를 포함한 수술 툴을 포함하는 툴;
    상기 툴을 제거 가능하게 지지하도록 구성된 매니퓰레이터 암으로서, 상기 매니퓰레이터 암은 복수의 조인트 및 복수의 링크를 포함하고, 상기 엔드 이펙터의 자세를 변경시키는 동작이 상기 매니퓰레이터 암을 사용하여 상기 엔드 이펙터의 자세를 변경시키는 동작을 포함하도록 되어 있는, 상기 매니퓰레이터 암을 포함하는 것을 특징으로 하는 원격조작 시스템.
  33. 제 30 항에 있어서, 상기 제어 시스템이 실행하는 동작들은:
    상기 시계 기준 좌표계, 상기 엔드 이펙터 기준 좌표계, 상기 디스플레이 기준 좌표계 및 상기 마스터 장치 기준 좌표계로 이루어지는 그룹으로부터 선택된 적어도 하나의 기준 좌표계의 부분 위치 정보를 결정하는 동작을 더 포함하는 것을 특징으로 하는 원격조작 시스템.
  34. 제 30 항 내지 제 33 항 중 어느 한 항에 있어서, 상기 마스터 장치의 자세의 변경에 대응하여 상기 엔드 이펙터의 자세를 변경시키는 동작은:
    상기 마스터 장치의 운동의 방향의 변경에 대응하여 상기 엔드 이펙터의 운동의 방향을 변경시키는 동작을 포함하는 것을 특징으로 하는 원격조작 시스템.
  35. 제 30 항 내지 제 33 항 중 어느 한 항에 있어서,
    한 쌍의 원격조작 시스템 유닛들 간의 일시적 정위된 기계적 관계(temporary localized mechanical relationship), 고정 센서 로케이터 시스템(fixed-sensor locator system), 고정 피처 로케이터 시스템(fixed-feature locator system), 동시적 정위 및 매핑 시스템(simultaneous localization and mapping system), 촬영 장치로부터의 영상을 이용하는 머신 비전 시스템(machine vision system), 광섬유 형상 센서, 가속도계, 자력계, 자이로스코프, 진동 검출기 및 진동 인젝터(vibration injector) 중의 하나 이상을 포함하는 공간 결정 시스템을 더 포함하는 것을 특징으로 하는 원격조작 시스템.
  36. 제 30 항 내지 제 33 항 중 어느 한 항에 있어서, 상기 제1 얼라인먼트 관계를 정립하는 동작은:
    원격조작을 시작하라는 지시에 응답하여 상기 제1 얼라인먼트 관계를 정립하는 동작을 포함하는 것을 특징으로 하는 원격조작 시스템.
  37. 의료 장치와 관련된 하나 이상의 프로세서에 의해 실행될 때 하나 이상의 프로세서로 하여금 제 16 항 내지 제 24 항 중 어느 한 항의 방법을 실행하게 만들도록 맞춤되어 있는 복수의 기계 판독 가능 명령어를 포함하는 것을 특징으로 하는 비일시적 기계 판독 가능 매체.
KR1020197038202A 2017-11-16 2018-11-13 원격조작을 위한 마스터/슬레이브 정합 및 제어 KR102583530B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237032605A KR20230142642A (ko) 2017-11-16 2018-11-13 원격조작을 위한 마스터/슬레이브 정합 및 제어

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762587175P 2017-11-16 2017-11-16
US62/587,175 2017-11-16
PCT/US2018/060612 WO2019099346A2 (en) 2017-11-16 2018-11-13 Master/slave registration and control for teleoperation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237032605A Division KR20230142642A (ko) 2017-11-16 2018-11-13 원격조작을 위한 마스터/슬레이브 정합 및 제어

Publications (2)

Publication Number Publication Date
KR20200074916A true KR20200074916A (ko) 2020-06-25
KR102583530B1 KR102583530B1 (ko) 2023-10-05

Family

ID=66537851

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197038202A KR102583530B1 (ko) 2017-11-16 2018-11-13 원격조작을 위한 마스터/슬레이브 정합 및 제어
KR1020237032605A KR20230142642A (ko) 2017-11-16 2018-11-13 원격조작을 위한 마스터/슬레이브 정합 및 제어

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237032605A KR20230142642A (ko) 2017-11-16 2018-11-13 원격조작을 위한 마스터/슬레이브 정합 및 제어

Country Status (5)

Country Link
US (2) US11534252B2 (ko)
EP (1) EP3709927A4 (ko)
KR (2) KR102583530B1 (ko)
CN (1) CN110769773A (ko)
WO (1) WO2019099346A2 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10092359B2 (en) 2010-10-11 2018-10-09 Ecole Polytechnique Federale De Lausanne Mechanical manipulator for surgical instruments
CN103717355B (zh) 2011-07-27 2015-11-25 洛桑联邦理工学院 用于远程操纵的机械遥控操作装置
EP3232973B1 (en) 2014-12-19 2020-04-01 DistalMotion SA Sterile interface for articulated surgical instruments
WO2017037532A1 (en) 2015-08-28 2017-03-09 Distalmotion Sa Surgical instrument with increased actuation force
KR102583530B1 (ko) 2017-11-16 2023-10-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격조작을 위한 마스터/슬레이브 정합 및 제어
US11877816B2 (en) 2017-11-21 2024-01-23 Intuitive Surgical Operations, Inc. Systems and methods for master/tool registration and control for intuitive motion
EP3749243A1 (en) 2018-02-07 2020-12-16 Distalmotion SA Surgical robot systems comprising robotic telemanipulators and integrated laparoscopy
WO2020086345A1 (en) 2018-10-22 2020-04-30 Intuitive Surgical Operations, Inc. Systems and methods for master/tool registration and control for intuitive motion
US11478318B2 (en) 2018-12-28 2022-10-25 Verb Surgical Inc. Methods for actively engaging and disengaging teleoperation of a surgical robotic system
US11337767B2 (en) 2019-05-17 2022-05-24 Verb Surgical Inc. Interlock mechanisms to disengage and engage a teleoperation mode
US11204640B2 (en) 2019-05-17 2021-12-21 Verb Surgical Inc. Methods for determining if teleoperation should be disengaged based on the user's gaze
US11071601B2 (en) 2019-11-11 2021-07-27 Procept Biorobotics Corporation Surgical probes for tissue resection with robotic arms
US11571269B2 (en) 2020-03-11 2023-02-07 Verb Surgical Inc. Surgeon disengagement detection during termination of teleoperation
CN115023192A (zh) * 2020-03-24 2022-09-06 直观外科手术操作公司 用于确定机器人操纵器或相关联工具的配准和控制的系统和方法
CN111568558B (zh) * 2020-04-13 2022-02-22 上海市胸科医院 电子设备、手术机器人系统及其控制方法
CN113797418A (zh) * 2020-06-12 2021-12-17 中强光电股份有限公司 医疗影像设备以及医疗影像显示方法
US11096753B1 (en) * 2020-06-26 2021-08-24 Procept Biorobotics Corporation Systems and methods for defining and modifying range of motion of probe used in patient treatment
US11877818B2 (en) 2020-06-26 2024-01-23 Procept Biorobotics Corporation Integration of robotic arms with surgical probes
CN112618020B (zh) * 2020-12-15 2022-06-21 深圳市精锋医疗科技股份有限公司 手术机器人及其控制方法、控制装置
IT202100003419A1 (it) * 2021-02-16 2022-08-16 Medical Microinstruments Inc Metodo per avviare una teleoperazione svolta mediante un sistema robotico per teleoperazione medica o chirurgica, avente un dispositivo master meccanicamente non vincolato e movimentabile da un operatore
AU2023200298B1 (en) * 2022-01-20 2023-07-27 Mimeo Industrial Limited A robotic system for processing an animal body part
WO2023185699A1 (zh) * 2022-03-26 2023-10-05 深圳市精锋医疗科技股份有限公司 一种手术机器人和控制方法
WO2024033828A1 (en) * 2022-08-10 2024-02-15 Medical Microinstruments Inc. Method for controlling a slave device, controlled by a master device in a robotic system for medical or surgical teleoperation, taking into account limits of a field of view, and related robotic system
CN115570558B (zh) * 2022-10-28 2023-07-11 武汉恒新动力科技有限公司 面向被操控对象集群的体感协同遥操作系统及方法
US11844585B1 (en) 2023-02-10 2023-12-19 Distalmotion Sa Surgical robotics systems and devices having a sterile restart, and methods thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100125282A1 (en) * 2008-11-14 2010-05-20 Medtronic Vascular, Inc. Robotically Steered RF Catheter
US20100204714A1 (en) * 2000-07-24 2010-08-12 Moshe Shoham Miniature bone-attached surgical robot
WO2016137527A1 (en) * 2015-02-24 2016-09-01 Sri International Hyperdexterous system user interface
WO2016201207A1 (en) * 2015-06-10 2016-12-15 Intuitive Surgical Operations, Inc. Master-to-slave orientation mapping when misaligned

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4574199A (en) * 1983-01-27 1986-03-04 Diffracto Ltd. Sensing location of an object
US5243665A (en) * 1990-03-07 1993-09-07 Fmc Corporation Component surface distortion evaluation apparatus and method
US5920394A (en) * 1995-09-01 1999-07-06 Research Corporation Technologies, Inc. Optical coordinate measuring machine
US6364888B1 (en) * 1996-09-09 2002-04-02 Intuitive Surgical, Inc. Alignment of master and slave in a minimally invasive surgical apparatus
US6044308A (en) 1997-06-13 2000-03-28 Huissoon; Jan Paul Method and device for robot tool frame calibration
DE10025285A1 (de) 2000-05-22 2001-12-06 Siemens Ag Vollautomatische, robotergestützte Kameraführung unter Verwendung von Positionssensoren für laparoskopische Eingriffe
US7010390B2 (en) 2003-07-17 2006-03-07 Kuka Roboter Gmbh Method and system for controlling robots
JP3733364B2 (ja) 2003-11-18 2006-01-11 ファナック株式会社 教示位置修正方法
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
EP1815950A1 (en) 2006-02-03 2007-08-08 The European Atomic Energy Community (EURATOM), represented by the European Commission Robotic surgical system for performing minimally invasive medical procedures
US7813538B2 (en) * 2007-04-17 2010-10-12 University Of Washington Shadowing pipe mosaicing algorithms with application to esophageal endoscopy
US20090046146A1 (en) * 2007-08-13 2009-02-19 Jonathan Hoyt Surgical communication and control system
WO2009114613A2 (en) * 2008-03-11 2009-09-17 Health Research Inc. System and method for robotic surgery simulation
EP2303157A1 (en) * 2008-06-25 2011-04-06 Koninklijke Philips Electronics N.V. Nested cannulae for minimally invasive surgery
KR100961661B1 (ko) * 2009-02-12 2010-06-09 주식회사 래보 수술용 항법 장치 및 그 방법
US8423186B2 (en) 2009-06-30 2013-04-16 Intuitive Surgical Operations, Inc. Ratcheting for master alignment of a teleoperated minimally-invasive surgical instrument
CN102294695A (zh) 2010-06-25 2011-12-28 鸿富锦精密工业（深圳）有限公司 机器人标定方法及标定系统
JP5612971B2 (ja) * 2010-09-07 2014-10-22 オリンパス株式会社 マスタスレーブマニピュレータ
US10883708B2 (en) * 2010-11-03 2021-01-05 Tseng-Lu Chien LED bulb has multiple features
US9387043B2 (en) * 2011-05-12 2016-07-12 Imperial Innovations Limited Medical master/slave type device for minimally invasive surgery
US9259289B2 (en) 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Estimation of a position and orientation of a frame used in controlling movement of a tool
US20150142171A1 (en) 2011-08-11 2015-05-21 Siemens Healthcare Diagnostics Inc. Methods and apparatus to calibrate an orientation between a robot gripper and a camera
US8836788B2 (en) * 2012-08-06 2014-09-16 Cloudparc, Inc. Controlling use of parking spaces and restricted locations using multiple cameras
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
KR20150067163A (ko) 2012-10-05 2015-06-17 베크만 컬터, 인코포레이티드 카메라 기반 자동 정렬을 위한 시스템 및 방법
WO2014148032A1 (ja) 2013-03-19 2014-09-25 パナソニック株式会社 ロボットシステムの制御方法およびロボットシステム
EP3119340B1 (en) * 2014-03-17 2019-11-13 Intuitive Surgical Operations, Inc. Methods and devices for table pose tracking using fiducial markers
DE102014214935A1 (de) 2014-07-30 2016-02-04 Siemens Aktiengesellschaft Verfahren zum Betreiben eines medizinisch-robotischen Geräts
EP3912610B1 (en) 2014-10-27 2023-03-15 Intuitive Surgical Operations, Inc. System for registering to a surgical table
DE102015200428B3 (de) * 2015-01-14 2016-03-17 Kuka Roboter Gmbh Verfahren zur Ausrichtung eines mehrachsigen Manipulators mit einem Eingabegerät
GB201509341D0 (en) 2015-05-29 2015-07-15 Cambridge Medical Robotics Ltd Characterising robot environments
US11751944B2 (en) * 2017-01-16 2023-09-12 Philipp K. Lang Optical guidance for surgical, medical, and dental procedures
KR102583530B1 (ko) 2017-11-16 2023-10-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격조작을 위한 마스터/슬레이브 정합 및 제어
US11877816B2 (en) 2017-11-21 2024-01-23 Intuitive Surgical Operations, Inc. Systems and methods for master/tool registration and control for intuitive motion
US20210059775A1 (en) 2018-01-10 2021-03-04 Covidien Lp Determining positions and conditions of tools of a robotic surgical system utilizing computer vision
WO2019148154A1 (en) * 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
KR102168567B1 (ko) * 2018-10-26 2020-10-21 윤삼열 착용 가능한 수술용 로봇 암
US10646156B1 (en) * 2019-06-14 2020-05-12 Cycle Clarity, LLC Adaptive image processing in assisted reproductive imaging modalities

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100204714A1 (en) * 2000-07-24 2010-08-12 Moshe Shoham Miniature bone-attached surgical robot
US20100125282A1 (en) * 2008-11-14 2010-05-20 Medtronic Vascular, Inc. Robotically Steered RF Catheter
WO2016137527A1 (en) * 2015-02-24 2016-09-01 Sri International Hyperdexterous system user interface
WO2016201207A1 (en) * 2015-06-10 2016-12-15 Intuitive Surgical Operations, Inc. Master-to-slave orientation mapping when misaligned

Also Published As

Publication number Publication date
KR20230142642A (ko) 2023-10-11
US11534252B2 (en) 2022-12-27
WO2019099346A2 (en) 2019-05-23
EP3709927A4 (en) 2020-12-23
US20230131431A1 (en) 2023-04-27
KR102583530B1 (ko) 2023-10-05
US11857280B2 (en) 2024-01-02
US20200360097A1 (en) 2020-11-19
WO2019099346A3 (en) 2019-06-27
CN110769773A (zh) 2020-02-07
EP3709927A2 (en) 2020-09-23

Similar Documents

Publication Publication Date Title
US11857280B2 (en) Master/slave registration and control for teleoperation
US10874467B2 (en) Methods and devices for tele-surgical table registration
US9498298B2 (en) Ring form surgical effector
JP2019088815A (ja) 手動でのロボットアームの運動によって制御される可動な手術用装着プラットフォーム
JP7257559B2 (ja) コンピュータ支援遠隔操作システムにおける補助器具制御
EP3592276B1 (en) Systems for controlling tool with articulatable distal portion
US20200015918A1 (en) Systems and methods for entering and exiting a teleoperational state
JP2021129984A (ja) 予定の器具アタッチメントの仮想モデルの表示により物理的器具アタッチメントの正しい選択を確実にする
WO2010123578A1 (en) Ring form surgical effector
CN113873961A (zh) 用于断开和进入远程操作模式的联锁机构
JP2021171657A (ja) 手術中の支援されたナビゲーションのための拡張現実ヘッドセットのカメラによって追跡された参照アレイを備えた手術器具の位置合わせ
Finke et al. Motorization of a surgical microscope for intra‐operative navigation and intuitive control
US20230028689A1 (en) System and method for inter-arm registration
CN218739128U (zh) 主操控台及其图像主机
US11571269B2 (en) Surgeon disengagement detection during termination of teleoperation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right