KR20180098414A

KR20180098414A - 도구의 제어 움직임에 사용되는 프레임의 위치 및 방향을 추정하는 장치 및 방법

Info

Publication number: KR20180098414A
Application number: KR1020187023683A
Authority: KR
Inventors: 타오 자오; 귀세페 마리에 프리스코; 존 리안 스테거; 데이비드 큐 라르킨
Original assignee: 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date: 2011-05-13
Filing date: 2012-05-10
Publication date: 2018-09-03
Anticipated expiration: 2032-05-10
Also published as: WO2012158458A3; US12364553B2; EP3398550A1; US9827057B2; US10582974B2; EP2706947B1; KR20140022907A; EP2706947A2; CN103533909A; JP6026515B2; US11801100B2; EP3398550B1; US20160206387A1; US20240016556A1; EP2706947A4; KR101891162B1; US20220175475A1; WO2012158458A2; US20200170725A1; US20180014895A1

Abstract

본 발명의 로봇 시스템은, 고정 프레임에 대한 위치 및 방향이 하나 이상의 이미지 프레임 변환을 통하여 결정될 수 있는 이미지 프레임을 가진 카메라, 상기 카메라의 시야 내에 배치되어 있으며 고정 프레임에 대한 위치 및 방향이 하나 이상의 도구 프레임 변환을 통하여 결정될 수 있는 도구 프레임을 가지고 있는 도구, 그리고 하나 이상의 카메라 포착 이미지로부터 도구의 자세 표시 지점을 확인하고, 확인된 자세 표시 지점 및 상기 이미지 프레임 변환과 도구 프레임 변환 중 알려진 것을 이용하여 상기 이미지 프레임 변환과 도구 프레임 변환 중의 알려지지 않은 것에 대한 추정된 변환을 결정하고, 상기 추정된 변환 및 상기 이미지 프레임 변환과 도구 프레임 변환 중의 알려진 것을 이용하여 마스터-도구 변환을 갱신하고, 갱신된 마스터-도구 변환을 이용하여 마스트의 움직임에 대응하여 도구의 움직임을 명령하도록 프로그램된 적어도 하나의 프로세서를 포함하고 있다.

Description

도구의 제어 움직임에 사용되는 프레임의 위치 및 방향을 추정하는 장치 및 방법{ESTIMATION OF A POSITION AND ORIENTATION OF A FRAME USED IN CONTROLLING MOVEMENT OF A TOOL}

본 발명은 대체로 로봇 시스템에 관한 것으로서, 특히, 오퍼레이터 명령에 의한 도구 움직임을 제어하는데 사용되는 프레임의 위치 및 방향을 추정하는 것에 관한 것이다.

최소 침습 수술을 시행하는데 사용되는 것과 같은 의료용 로봇 시스템은 종래의 개복 수술 기법에 비하여 고통의 경감, 짧은 병원 체류기간, 일상 생활로의 신속한 복귀, 최소한의 흉터, 짧은 회복 시간, 조직 손상의 경감을 포함하는 많은 장점을 제공한다. 따라서, 상기와 같은 의료용 로봇 시스템을 이용하는 최소침습수술에 대한 요구는 크게 증가하고 있다.

의료용 로봇 시스템의 여려 가지 예는 미국 캘리포니아주, 서니베일의 인튜이티브 서지컬 인코포레이티드(Intuitive Surgical, Inc.)의 da Vinci^® 수술 시스템, da Vinci S^® 수술 시스템, 그리고 da Vinci^® Si HD^TM 수술 시스템을 포함한다. 상기 시스템은 각각 외과의사의 워크스테이션(workstation), 환자측 카트(patient-side cart), 고성능 3차원("3-D") 영상 시스템, 그리고 인튜이티브 서지컬 인코포레이티드 소유의 엔도리스트(EndoWrist^®) 관절 기구(articulating instrument)를 포함하고 있고, 상기 엔도리스트 관절 기구는 수술 도구를 유지하는 슬레이브 매니퓰레이터(slave manipulator)의 동작에 부가될 경우, 개복 수술(open surgery)의 실제 움직임에 필적하거나 훨씬 더 우수한, 적어도 완전한 6 자유도의 움직임이 가능하도록 사람의 손목을 원형으로 삼아 만든 것이다.

da Vinci^® 수술 시스템의 외과의사의 워크스테이션은 고해상도의 입체 영상 디스플레이를 가지고 있다. 상기 수술 시스템은 분극(polarization) 기술, 셔터 렌즈(shutter eyeglass) 기술, 또는 다른 3-D 디스플레이 기술보다 높은 현실감(fidelity)을 제공한다. 각각의 눈은 대물 렌즈와 일련의 거울을 통하여 좌측 눈 화면 또는 우측 눈 화면을 보여주는 별개의 디스플레이를 주시한다. 전체 수술과정 동안 외과의사는 편안하게 앉아서 상기 디스플레이를 관찰하므로, 외과의사가 3-D 수술 영상을 디스플레이하고 조작하기에 이상적인 장소를 조성한다.

상기 환자측 카트는 통상적으로, 환자 내의 수술 부위에서 수술을 시행하고 관찰하기 위한 수술 기구와 이미지 포착 장치와 같은 의료 장치를 유지하고 조작하는 세 개 이상의 슬레이브 매니퓰레이터를 포함하고 있다. 이러한 의료 장치를 조작하기 위해서, 외과의사의 워크스테이션은 의료 장치를 조작하기 위해서 의료 장치(및 의료 장치를 유지하는 슬레이브 매니퓰레이터)와 선택적으로 결합될 수 있는 마스터 컨트롤 장치를 포함하고 있다.

통상적인 다른 로봇 시스템뿐만 아니라, 상기와 같은 의료용 로봇 시스템에 있어서, 마스터 컨트롤 장치의 오퍼레이터 조작에 따른 수술 기구의 컨트롤은 다수의 한정할 수 있는 기준 프레임과 하나의 프레임에서의 지점과 다른 프레임에서의 대응하는 지점을 연관시키는 대응하는 프레임 변환을 가질 수 있다. 그러나, 상기 프레임들 중의 하나의 프레임의 위치 및 방향이 알려져 있지 않을 때에는, 수술 기구의 정밀한 컨트롤을 달성하기가 곤란할 수 있어서 환자에 대해 시행되고 있는 수술의 성공적인 완료뿐만 아니라 의료용 로봇 시스템에 의해 처치를 받고 있는 환자의 안전이 위태롭게 될 수 있다.

따라서, 본 발명의 여러 실시형태의 한 가지 목적은, 이미지가 포착되어 오퍼레이터에게 표시되는, 오퍼레이터 명령에 의한 도구 움직임을 제어하는데 사용되는 프레임의 위치 및 방향을 추정하는 로봇 시스템 및 상기 로봇 시스템으로 실행되는 방법을 제공하는 것이다.

이러한 목적과 부가적인 목적은 본 발명의 다양한 실시형태에 의해 달성되는데, 간단히 말해서, 하나의 실시형태는, 마스터 프레임을 가진 마스터 컨트롤 장치; 고정 프레임에 대한 위치 및 방향이 하나 이상의 이미지 프레임 변환을 통하여 결정될 수 있는 이미지 프레임을 가지고 있는 이미지 포착 시스템; 상기 이미지 포착 시스템의 시야 내에 배치되어 있으며 고정 프레임에 대한 위치 및 방향이 하나 이상의 도구 프레임 변환을 통하여 결정될 수 있는 도구 프레임을 가지고 있는 도구; 그리고 상기 이미지 포착 시스템에 의해 포착된 하나 이상의 이미지의 정보로부터 상기 도구의 자세 표시 지점을 확인하고, 확인된 자세 표시 지점 및 이미지 프레임 변환과 도구 프레임 변환 중의 알려진 것을 이용함으로써 이미지 프레임 변환과 도구 프레임 변환 중의 알려지지 않은 것에 대한 추정된 변환을 결정하고, 이미지 프레임 변환과 도구 프레임 변환 중의 알려진 것과 상기 추정된 변환을 이용함으로써 마스터-도구 변환을 갱신하고, 그리고 갱신된 마스터-도구 변환을 이용함으로써 상기 마스터 컨트롤 장치의 움직임에 대응하여 상기 도구의 움직임을 명령하도록 프로그램된 적어도 하나의 프로세서를 포함하는 로봇 시스템이다.

다른 실시형태는 마스터 프레임을 가진 마스터 컨트롤 장치, 고정 프레임에 대한 위치 및 방향이 하나 이상의 이미지 프레임 변환을 통하여 결정될 수 있는 이미지 프레임을 가지고 있는 이미지 포착 시스템, 그리고 상기 이미지 포착 시스템의 시야 내에 배치되어 있으며 고정 프레임에 대한 위치 및 방향이 하나 이상의 도구 프레임 변환을 통하여 결정될 수 있는 도구 프레임을 가지고 있는 도구를 포함하는 로봇 시스템에서 실행되는 방법으로서, 상기 방법은, 상기 이미지 포착 시스템에 의해 포착된 하나 이상의 이미지의 정보로부터 상기 도구의 자세 표시 지점을 확인하는 단계; 확인된 자세 표시 지점 및 이미지 프레임 변환과 도구 프레임 변환 중의 알려진 것을 이용함으로써 이미지 프레임 변환과 도구 프레임 변환 중의 알려지지 않은 것에 대한 추정된 변환을 결정하는 단계; 이미지 프레임 변환과 도구 프레임 변환 중의 알려진 것과 상기 추정된 변환을 이용함으로써 마스터-도구 변환을 갱신하는 단계; 그리고 갱신된 마스터-도구 변환을 이용함으로써 상기 마스터 컨트롤 장치의 움직임에 대응하여 상기 도구의 움직임을 명령하는 단계를 포함한다.

본 발명의 다양한 실시형태의 부가적인 목적, 특징 및 장점은 첨부된 도면과 관련하여 기술된 아래의 바람직한 실시예의 설명을 통해서 알 수 있다.

도 1은 본 발명의 여러 실시형태를 활용하는 의료용 로봇 시스템을 사용하는 수술실의 평면도를 나타내고 있다.
도 2는 내시경의 관찰 단부에 대한 엔드 이펙터의 위치와 오퍼레이터의 눈에 대한 마스터 컨트롤 장치의 대응하는 위치를 나타내는 개략적인 3차원 도면을 나타내고 있다.
도 3은 이미지 포착 시스템의 이미지 프레임에 대한 엔드 이펙터의 위치 및 방향을 나타내는 개략적인 3차원 도면을 나타내고 있다.
도 4는 의료용 로봇 시스템의 오퍼레이터의 눈과 관련된 눈 기준 시스템에 대한 마스터 컨트롤 장치의 집게 형성부의 위치 및 방향을 나타내는 개략적인 3차원 도면을 나타내고 있다.
도 5는 이미지 포착 시스템과 결합된 이미지 프레임에 대한 도구의 엔드 이펙터의 위치 및 방향을 결정하기 위해서 컨트롤 시스템에 의해 사용된 프레임의 위치를 나타내는 수술 스테이션의 일부분의 개략적인 측면도를 나타내고 있다.
도 6은 외과의사의 눈과 관련된 눈 프레임에 대한 마스터 컨트롤 장치 집게 형성부의 위치 및 방향을 결정하기 위해서 컨트롤 시스템에 의해 사용된 프레임의 위치를 나타내는 외과의사의 워크스테이션(200)의 일부분의 개략적인 측면도를 나타내고 있다.
도 7 내지 도 9는 외과의사의 손, 마스터 컨트롤 장치, 그리고 도구의 엔드 이펙터에 대한 대응하는 매핑 위치와 이들의 선택을 위한 방법을 개략적으로 나타내고 있다.
도 10은 마스터/슬레이브 로봇 시스템의 고 레벨 컨트롤 아키텍쳐 모델(high level control architecture model)의 블록도를 나타내고 있다.
도 11은 공통 입구 포트에 배치된 공통 피벗점을 중심으로 도구와 내시경이 피벗운동하도록 만곡된 캐뉼라를 통하여 내시경과 함께 삽입된 왼쪽 도구와 오른쪽 도구의 개략적인 측면도를 나타내고 있다.
도 12는 도구를 관찰하기 위해 작업 부위에 묶여 있는 내시경의 개략적인 측면도를 나타내고 있다.
도 13은 로봇으로 제어되는 도구 및 이미지 포착 시스템을 각각 작업 부위에 위치시키는 이동가능한 구조의 개략적인 측면도를 나타내고 있다.
도 14는 이미지 프레임의 포인트를 고정 프레임으로 변환시키기 위해 사용된 이미지 프레임 변환 및 도구 프레임의 포인트를 고정 프레임으로 변환시키기 위해 사용된 도구 프레임 변환의 개략도를 나타내고 있다.
도 15는 마스터 컨트롤 장치의 움직임에 대응하여 도구의 움직임을 명령하기 위한 알려지지 않은 프레임 변환을 추정하는 방법의 흐름도를 나타내고 있다.

아래의 예들은 의료용 로봇 시스템에 대한 본 발명의 적용예를 기술하지만, 본 발명이 여기에만 국한되는 것은 아니라는 사실을 알아야 한다. 특히, 본 발명은 전반적으로 로봇 시스템에 적용될 수 있으며 첨부된 청구항에 따른 전체 범위에 부합되어야 한다.

도 1은, 한 가지 예로서, 의료용 로봇 시스템(100)을 이용하는 수술실의 평면도이다. 본 경우에 있어서 상기 의료용 로봇 시스템은, 한 명 이상의 보조자("A")의 도움을 받아서, 얼굴을 위로 하고 수술대(115) 위에 누워 있는 환자 ("P")에 대해 진단 또는 수술과 같은 의료 시술을 시행하는 동안 외과의사("S")에 의해 사용되는 워크스테이션(200)을 포함하는 최소 침습 로봇 수술 시스템이다.

상기 워크스테이션(200)은 수술 부위 또는 작업 부위의 3-D 이미지를 외과의사에게 보여주는 3-D 디스플레이(202), 왼쪽과 오른쪽 마스터 컨트롤 장치(700, 700), 푸트 페달(105), 그리고 프로세서(102)를 포함하고 있다. 상기 컨트롤 장치(700, 700)는 조이스틱, 글러브, 트리거 건(trigger-gun), 수동식 컨트롤러 등과 같은 다양한 입력 장치 중의 임의의 하나 이상을 포함할 수 있다. 본 예에서는, 상기 컨트롤 장치가 각각의 관련된 수술 도구의 원하는 움직임에 대응하도록 복수의 자유도로 개폐되고 움직일 수 있는 집게(pincher)로 구현되어 있다. 상기 프로세서(102)는 상기 워크스테이션(200)에 통합되거나 상기 워크스테이션(200)의 옆이나 근처에 위치된 전용 컴퓨터로 될 수 있거나, 상기 프로세서(102)가 의료용 로봇 시스템(100) 전체에 걸쳐서 분산 처리 방식으로 분산되어 있는 다수의 프로세싱 구성요소 또는 컨트롤러 구성요소로 분리될 수 있다.

외과의사는, 본 예에서, 입체 영상용의 대응하는 이미지를 포착하는 한 쌍의 카메라를 가진 입체 내시경(304)인 이미지 포착 장치에 의해 포착된 워크스테이션(200)의 디스플레이(202)상의 3-D 영상으로 수술 부위를 외과의사가 관찰하는 동안, 프로세서(102)가 각각의 관련된 로봇 아암 조립체(128, 129)의 슬레이브 매니퓰레이터로 하여 각각의 탈착가능하게 결합된 도구(14, 14)("수술 기구" 라고도 한다)를 상응하게 조작하게 하도록 마스터 컨트롤 장치(700, 700)("마스터 매니퓰레이터" 라고도 한다)를 조작함으로써 의료 시술을 수행한다.

내시경(304)뿐만 아니라 상기 도구(14, 14)의 각각은 통상적으로 절개부(166)와 같은 대응하는 최소 침습 절개부를 통하여 수술 부위로 뻗어 있도록 본 예에서는 도구 가이드를 통하여 환자 내부로 삽입된다. 한 번에 사용되는 수술 도구의 갯수와, 결과적으로, 상기 의료용 로봇 시스템(100)에서 사용되는 로봇 아암의 갯수는, 다른 요소들 중에서도, 대체로 수행되는 수술 및 수술실 내의 공간적인 제약에 좌우된다. 수술하는 도중에 사용중인 도구를 교체할 필요가 있는 경우에는, 보조자가 더 이상 사용되지 않는 도구를 로봇 아암 조립체로부터 제거하고, 이 도구를 수술실 내의 트레이(tray)에 있는 다른 도구와 교체할 수 있다.

상기 도구(14, 14)가 수술 부위에서 조작될 수 있도록, 상기 도구는 각각 손목 기구(wrist mechanism)의 방향을 제어하는 조인트(또는 기어, 스풀 등과 같은 다른 구동가능한 기계 요소)와, 상기 도구의 최종적인 그립 또는 다른 엔드 이펙터 조인트를 제어하는 부가적인 조인트(또는 다른 구동가능한 기계 요소)를 포함하는 손목 기구를 가지고 있다. 상기와 같은 도구 손목(tool wrist) 및 엔드 이펙터 기구(그리고 상기 기계 요소 및 상기 기계 요소를 구동시키는 다른 연결장치)에 대한 부가적인 상세한 내용에 대해서는, 예를 들면, 본 명세서에 참고문헌으로 포함되어 있는, 미국 특허 제7,780,651호(2007년 11월 27일자 출원; 발명의 명칭은 "향상된 기민성과 민감성을 가진 최소 침습 수술을 수행하는 관절식 수술 기구(Articulated Surgical Instrument for Performing Minimally Invasive Surgery with Enhanced Dexterity and Sensitivity)" 임), 미국 특허 제6,936,902호(2002년 4월 16일 출원; 발명의 명칭은 "최소 침습 원격수술에 사용되는 수술 도구(Surgical Tools for Use in Minimally Invasive Telesurgical Applications)" 임), 그리고 미국 특허 제7,736,356호(2004년 11월 1일 출원; 발명의 명칭은 "적극적으로 위치결정가능한 힘줄 작동식 멀티 디스크 손목 조인트를 가진 수술 도구(Surgical Tool Having Positively Positionable Tendon-Actuated Multi-Disk Wrist Joint)" 임)를 참고하면 된다.

로봇 아암 조립체(122, 128, 129)는 각각 슬레이브 아암("슬레이브 매니퓰레이터" 라고도 한다) 및 셋업 아암을 포함하고 있다. 슬레이브 매니퓰레이터는 각각 유지된 의료 장치를 조작 및/또는 이동시키기 위해서 모터 제어식 조인트(본 명세서에서 "능동 조인트(active joint)" 라고도 한다)를 이용하여 로봇식으로 이동된다. 셋업 아암은 로봇 아암 조립체(122, 128, 129)의 각각의 의료 장치가 각각의 도구 가이드 속으로 삽입될 수 있도록 로봇 아암 조립체(122, 128, 129)를 수평방향 및 수직방향으로 위치시키기 위해서 평상시에 브레이크가 걸린 조인트(본 명세서에서 "셋업 조인트" 라고도 한다)를 풀어줌으로써 수동으로 조작될 수 있다. 대체 실시형태로서, 상기 셋업 아암은 모터 제어식 조인트를 이용하여 능동적으로 제어될 수 있다.

디스플레이(202)는 외과의사의 손 근처에 위치되어 있어서, 외과의사가 실제로 수술 부위를 직접 관찰하는 것으로 느끼도록 향해 있는 영상을 나타낸다. 이러한 목적을 위해, 외과의사에게 원격현장감(telepresence)(예를 들면, 마스터 컨트롤 장치가 수술 도구와 일체로 되어 있다는 느낌)을 부여하기 위해서 상기 도구(14, 14)의 이미지는 대체로 외과의사의 손이 배치되어 있는 곳에 배치되어 있는 것으로 나타난다.

프로세서(102)는 상기 의료용 로봇 시스템(100)에서 다양한 기능을 수행한다. 상기 프로세서가 수행하는 한 가지 중요한 기능은 외과의사가 각각의 도구(14, 14)를 효과적으로 조작할 수 있도록 버스(110)를 통한 제어 신호를 통하여 컨트롤 장치(700, 700)의 기계적인 움직임을 변환시켜서 로봇 아암 조립체(128, 129)의 각각의 슬레이브 매니퓰레이터로 이전시키는 것이다. 다른 중요한 기능은 본 명세서에 기술된 것과 같은 다양한 컨트롤 시스템 프로세스와 방법을 실행하는 것이다.

프로세서로 기술하였지만, 실제로 상기 프로세서(102)는 하드웨어, 소프트웨어 및 펌웨어의 임의의 조합 형태로 구현될 수 있다는 것을 알아야 한다. 또한, 본 명세서에 기술되어 있는 것과 같은 프로세서의 기능은 하드웨어, 소프트웨어 및 펌웨어의 임의의 조합 형태로 각각 구현될 수 있는 한 개의 장치 또는 상이한 여러 구성요소들 사이에서 분리된 것에 의해 실행될 수 있다.

본 명세서에 기술된 것과 같은 의료용 로봇 시스템의 구조 및 작동에 관한 부가적인 상세한 내용에 대해서는, 예를 들면, 본 명세서에 참고문헌으로 포함되어 있는, 미국 특허 제6,493,608호(1999년 4월 7일 출원; 발명의 명칭은 "최소 침습 수술 장치의 컨트롤 시스템(Aspects of a Control System of a Minimally Invasive Surgical Apparatus)" 임) 및 미국 특허 제6,424,885호(1999년 8월 13일 출원; 발명의 명칭은 "최소 침습 수술 장치에 있어서의 카메라 기반 컨트롤(Camera Referenced Control in a Minimally Invasive Surgical Apparatus)" 임)를 참고하면 된다.

사용시에는, 도 2에 개략적으로 도시되어 있는 것과 같이, 외과의사가 디스플레이(202)를 통하여 수술 부위를 관찰한다. 각각의 도구(14)에 지지된 엔드 이펙터(58)는 관련된 마스터 컨트롤 장치에 대한 움직임 및 작용 입력에 대응하여 위치적인 움직임과 방향적인 움직임을 수행하게 된다. 마스터 컨트롤 장치는 참고번호 700, 700으로 개략적으로 표시되어 있다. 수술을 하는 동안 엔드 이펙터(58)의 이미지는 수술 부위와 함께 내시경(304)에 의해 포착되어 디스플레이(202)에 표시되므로, 외과의사는 엔드 이펙터(58)의 대응하는 움직임과 작용을 볼 수 있고 마스터 컨트롤 장치(700, 700)에 의해 이러한 움직임과 작용을 제어할 수 있다는 것을 알게 될 것이다. 아래에서 보다 상세하게 기술하겠지만, 컨트롤 시스템은(도 10과 관련하여 아래에 기술되어 있는 것과 같이) 디스플레이(202)의 이미지로 보이는 것 같은 엔드 이펙터의 방향적인 움직임과 위치적인 움직임을 마스터 컨트롤 장치의 집게 형성부의 방향적인 움직임과 위치적인 움직임과 관련되도록 배치되어 있다.

최소 침습 로봇 수술 시스템의 컨트롤 시스템의 작동은 이하에서 보다 상세하게 설명한다. 아래의 설명에서는, 상기 컨트롤 시스템이 하나의 마스터 컨트롤 장치(700) 및 이와 관련된 로봇 아암 및 수술 기구(14)와 관련하여 기술된다. 아래에서는 마스터 컨트롤 장치(700)를 단순히 "마스터" 라고도 칭할 것이며, 이 마스터 컨트롤 장치와 관련된 로봇 아암 및 수술 기구(14)를 단순히 "슬레이브" 라고도 칭할 것이다.

최소 침습 수술 시스템(100)의 컨트롤 시스템에 의해 달성되는 마스터 움직임과 대응하는 슬레이브 움직임 사이의 컨트롤 방법은 도 2 내지 도 4와 관련하여 개략적으로 설명한다. 상기 방법은 도 5 내지 도 15와 관련하여 보다 상세하게 설명한다.

마스터 움직임과 슬레이브 움직임 사이의 컨트롤은 눈 직각 좌표계 기준 시스템(본 명세서에서는 "눈 프레임" 이라고도 한다)에서의 마스터 위치 및 방향을 카메라 직각 좌표계 기준 시스템(본 명세서에서는 "카메라 프레임" 또는 보다 일반적으로, "이미지 프레임" 이라고도 한다)에서의 슬레이브 위치 및 방향과 비교함으로써 달성된다. 이해를 쉽게 하고 용어를 간소화하기 위해서, 첨부된 청구항을 포함하여 본 명세서의 나머지 부분에서 "직각 좌표계 기준 시스템"이라는 용어를 단순히 "프레임" 이라고 칭할 것이다. 따라서, 마스터가 고정되어 있을 때, 카메라 프레임 내의 슬레이브 위치 및 방향은 눈 프레임 내의 마스터 위치 및 방향과 비교되고, 카메라 프레임 내의 슬레이브의 위치 및/또는 방향이 눈 프레임 내의 마스터의 위치 및/또는 방향과 일치하지 않으면, 슬레이브가, 카메라 프레임에서의 슬레이브의 위치 및/또는 방향이 눈 프레임에서의 마스터의 위치 및/또는 방향과 일치하는 카메라 프레임에서의 위치 및/또는 방향으로 이동하게 된다. 도 3에서는, 카메라 프레임이 참고 번호 610으로 표시되어 있고 눈 프레임은 도 4에서 참고 번호 612로 표시되어 있다. 마찬가지로, 마스터 얼라인먼트 모드에서는, 슬레이브가 고정되어 있고 마스터는 카메라 프레임에서의 슬레이브 위치 및 방향과 일치하는 눈 프레임에서의 위치 및/또는 방향으로 이동하게 된다.

마스터가 눈 프레임(612)에서 새로운 위치 및/또는 방향으로 이동되면, 새로운 마스터 위치 및/또는 방향이 카메라 프레임(610)에서의 이전의 일치하는 슬레이브 위치 및/또는 방향과 일치하지 않는다. 그러면 컨트롤 시스템이 슬레이브를 카메라 프레임(610)에서 새로운 위치 및/또는 방향으로 이동시키고, 이 새로운 위치 및/또는 방향에서는, 카메라 프레임(610)에서의 슬레이브의 위치 및 방향이 눈 프레임(612)에서의 마스터의 새로운 위치 및/또는 방향과 일치한다.

상기 컨트롤 시스템은 컨트롤 시스템의 프로세싱 싸이클률에 의해 연속적으로 결정된 마스터 움직임 입력 명령에 따라서 슬레이브의 새로운 대응하는 위치 및 방향을 산출하는 적어도 하나의 프로세서, 통상적으로는, 복수의 프로세서를 포함하고 있다는 것을 알게 될 것이다. 논의중인 컨트롤 시스템의 전형적인 프로세싱 싸이클률(cycle rate)은 약 1300 Hz이다. 따라서, 마스터가 한 위치로부터 다음 위치로 이동하면, 슬레이브의 대응하는 움직임이 약 1300 Hz 만에 산출된다. 당연히, 상기 컨트롤 시스템은 컨트롤 시스템에 사용되는 한 개의 프로세서 또는 복수의 프로세서에 따라서 임의의 적절한 프로세싱 싸이클률을 가질 수 있다. 하나의 실시형태에서는, 모든 실시간 서보싸이클 프로세싱(servocycle processing)이 DSP(디지털 신호 프로세서) 칩에서 이루어지고. 본 경우에서 DSP(디지털 신호 프로세서)이 사용된 이유는 DSP(디지털 신호 프로세서)의 일정한 연산 예측성과 재현성 때문이다. 미국 메사츄세츠주의 아날로그 디바이시즈 인코포레이티드(Analog Devices, Inc.)의 DSP(디지털 신호 프로세서)는 본 명세서에 기재된 기능을 수행하는 프로세서의 채택가능한 한 예이다.

카메라 프레임(610)은 카메라 프레임의 원점(614)이 내시경(304)의 관찰 단부(306)에 위치되도록 위치되어 있다. 편리하게도, 카메라 프레임(610)의 z축은 내시경(304)의 관찰축(616)을 따라서 축방향으로 뻗어 있다. 비록 도 3에서는, 상기 관찰축(616)이 내시경(304)의 샤프트 축과 동축상으로 일치되어 있는 것으로 도시되어 있지만, 상기 관찰축(616)은 내시경(304)의 샤프트 축에 대해 비스듬하게 될 수 있다는 것을 알아야 한다. 따라서, 내시경은 각진 관찰기구의 형태로 될 수 있다. 당연히, x축과 y축은 z축에 대해 수직인 평면에 위치되어 있다. 내시경은 통상적으로 내시경의 샤프트 축에 대해 경사지게 배치될 수 있다. x축, y축 및 z축은 내시경의 샤프트 축에 대한 내시경(304)의 경사진 배치와 순응하여 내시경의 샤프트 축에 대해서 경사지게 배치되도록 내시경(304)의 관찰축에 대해서 고정되어 있다.

상기 컨트롤 시스템이 슬레이브의 위치 및 방향을 결정할 수 있게 하기 위해서, 프레임이 엔드 이펙터(58)에 한정되거나 부착되어 있다. 이 프레임을, 본 명세서의 나머지 부분에서, 엔드 이펙터 프레임 또는 슬레이브 팁 프레임 또는 단순히 도구 프레임이라고 칭하며, 참고 번호 618로 나타내고 있다. 엔드 이펙터 프레임(618)은 자신의 원점을 피벗 연결부(60)에 가지고 있다. 편리하게도, 엔드 이펙터 프레임(618)의 축들 중의 하나, 예를 들면, 엔드 이펙터 프레임(618)의 z축은 엔드 이펙터(58)의 대칭축 또는 이와 유사한 축을 따라서 뻗어 있도록 한정되어 있다. 당연히, x축과 y축은 z축에 대해 수직으로 뻗어 있다. 그러면 슬레이브의 방향은, 카메라 프레임(610)에 대해서, 피벗 연결부(60)에 원점을 가지고 있는 엔드 이펙터 프레임(618)의 방향에 의해 정해진다는 것을 알 수 있을 것이다. 마찬가지로, 슬레이브의 위치는, 카메라 프레임(610)에 대해서, 피벗 연결부(60)에 있는 엔드 이펙터 프레임의 원점의 위치에 의해 정해진다.

도 4를 참고하면, 눈 프레임의 원점이 외과의사가 디스플레이(202)로 수술 부위를 관찰하고 있을 때 외과의사의 눈이 통상적으로 배치되어 있는 위치(201)와 일치하도록 눈 프레임(612)이 선택되어 있다. z축은, 축 620으로 표시된, 디스플레이(202)를 통하여 수술 부위를 관찰하고 있을 때의 외과의사의 시선을 따라서 뻗어 있다. 당연히, x축과 y축은 상기 원점(201)에서 z축으로부터 수직으로 뻗어 있다. 편리하게도, y축은 디스플레이(202)에 대해 대체로 수직으로 뻗어 있도록 선택되어 있고 x축은 디스플레이(202)에 대해 대체로 수평으로 뻗어 있도록 선택되어 있다.

상기 컨트롤 시스템이 디스플레이 프레임(612) 내에서의 마스터의 위치 및 방향을 결정할 수 있게 하기 위해서, 마스터 상의 한 지점이, 참고 번호 622로 표시된, 마스터 또는 마스터 팁 프레임의 원점을 정하도록 선택되어 있다. 상기 지점은 마스터의 회전축과 교차하는 참고 번호 3A로 표시된 교차 지점으로 선택되어 있다. 편리하게도, 마스터 상에서의 마스터 프레임(622)의 z축은 회전축(1)을 따라서 동축으로 뻗어 있는 집게 형성부(706)의 대칭축을 따라서 뻗어 있다. x축과 y축은 원점(3A)에서 대칭축(1)으로부터 수직으로 뻗어 있다. 따라서, 눈 프레임(612) 내에서의 마스터의 방향은 눈 프레임(612)에 대한 마스터 프레임(622)의 방향에 의해서 정해진다. 눈 프레임(612)에서의 마스터의 위치는 눈 프레임(612)에 대한 원점(3A)의 위치에 의해서 정해진다.

카메라 프레임(610) 내에서 슬레이브의 위치 및 방향이 컨트롤 시스템에 의해서 결정되는 방법이 이하에서 도 5와 관련하여 기술된다. 도 5는 환자측 카트(300)에 장착된 수술 기구(14) 조립체와 로봇 아암 중의 하나의 개략도를 나타내고 있다. 그러나, 도 5의 설명을 시작하기 전에, 카메라 프레임(610)에 대한 슬레이브의 방향 및 위치의 결정에 영향을 주는 상기 환자측 카트(300)의 특정 실시형태를 기술하는 것이 적절하다.

사용시에 있어서, 최소 침습 수술 시스템에 의해 수술을 시행하는 것이 바람직한 경우, 환자측 카트(300)는 수술을 요하는 환자에 근접하게 이동된다. 환자는 통상적으로 수술대, 또는 이와 유사한 것과 같은 표면에 지지되어 있다. 지지 표면의 높이를 변화시킬 수 있고, 수술이 시행되는 수술 부위에 대해 환자측 카트(300)의 높이를 변화시킬 수 있도록 하기 위해서, 환자측 카트(300)는 초기의 설정 구성을 변화시키는 능력을 구비하고 있다. 따라서, 도구 슬레이브 아암(10, 12)과, 내시경 슬레이브 아암(302)은 환자측 카트(300)의 베이스(99)에 대해, 화살표 K로 표시되어 있는 것과 같이, 높이 조절이 가능한 캐리지(97)에 장착되어 있다. 또한, 도구 슬레이브 아암(10, 12) 및 내시경 슬레이브 아암(302)은 각각의 셋업 아암(95)에 의해서 상기 캐리지(97)에 장착되어 있다. 따라서, 슬레이브 아암(10, 12, 302)의 방향 및 측방향 위치는 셋업 아암(95)을 이동시킴으로써 선택될 수 있다. 따라서, 수술의 개시시에, 환자측 카트(300)는 환자쪽으로 근접한 위치로 이동되고, 캐리지(97)를 베이스(99)에 대해 적절한 높이로 이동시킴으로써 캐리지(97)의 적절한 높이가 선택되고, 내시경(304) 및 수술 기구(14)의 샤프트를 입구의 포트를 통하여 엔드 이펙터(58)와 내시경(304)의 관찰 단부(306)가 수술 부위에 적절하게 위치되어 있으며 지렛목(다시 말해서, 피벗점)이 입구의 포트와 일치되어 있는 위치로 삽입하기 위해서 수술 기구(14)는 캐리지(97)에 대해 이동된다. 일단 높이와 위치가 선택되면, 캐리지(97)는 자신의 적절한 높이에서 고정되고 셋업 아암(95)는 자신의 위치와 방향으로 고정된다. 통상적으로, 수술하는 내내, 캐리지(97)는 선택된 높이에 유지되어 있고, 마찬가지로 셋업 아암(95)도 자신의 선택된 위치에 유지되어 있다. 그러나, 필요에 따라, 내시경이나 상기 수술 기구의 한 쪽 또는 양 쪽이 수술하는 동안 입구의 다른 포트를 통하여 삽입될 수 있다.

컨트롤 시스템에 의한 카메라 프레임(610) 내에서의 슬레이브의 위치 및 방향의 결정을 이하에서 설명한다. 이것은 특정 프로세싱 싸이클률을 가진 하나 이상의 프로세서에 의해서 달성되는 것이라는 사실을 알 수 있을 것이다. 따라서, 적절한 경우에는, 본 명세서에서 위치 및 방향이라고 할 때마다, 대응하는 속도도 용이하게 결정되는 것이라는 사실을 명심해야 한다. 컨트롤 시스템은 카트 프레임(624)에 대한 슬레이브의 위치 및 방향을 결정하고, 동일한 카트 프레임(624)에 대한 내시경(304)의 방향 및 위치를 결정하는 것에 의해서 카메라 프레임(610) 내에서의 슬레이브의 위치 및 방향을 결정한다. 카트 프레임(624)은 도 5에서 참고 번호 626으로 표시된 원점을 가지고 있다.

카트 프레임(624)에 대한 슬레이브의 위치 및 방향을 결정하기 위해서, 지렛목(49)에 원점을 가지고 있는 지렛목 프레임(630)의 위치가 점선으로 화살표 628로 표시되어 있는 것과 같이 카트 프레임(624) 내에서 결정된다. 지렛목(49)의 위치는 통상적으로 수술하는 기간 내내, 수술 부위로 들어가는 입구의 포트와 일치하는 동일한 위치에 유지되어 있다는 사실을 알게 될 것이다. 그 다음에 피벗 연결부(60)에 자신의 원점을 가지는(도 3에 도시되어 있는 것과 같이) 엔드 이펙터 프레임(618)의 슬레이브 상의 위치가 지렛목 프레임(630)에 대해서 결정되고 엔드 이펙터 프레임(618)의 슬레이브 상의 방향도 지렛목 프레임(630)에 대해서 결정된다. 그 다음에 삼각법 관계(trigonometric relationship)를 이용하는 일상적인 연산에 의해서 카트 프레임(624)에 대한 엔드 이펙터 프레임(618)의 위치 및 방향이 결정된다.

내시경(304)의 슬레이브 아암(302)이 도구 슬레이브 아암(10)과 유사한 방식으로 이동하도록 제한되어 있다는 것을 알게 될 것이다. 따라서, 내시경의 관찰 단부(306)가 수술 부위로 향해 있는 상태로 위치되어 있을 때의 내시경(304)은 수술 부위로 들어가는 입구의 관련 포트와 일치된 지렛목을 한정한다. 내시경 슬레이브 아암(302)은 수술하는 동안 내시경(304)을 상이한 위치로 이동시키고, 외과의사가 수술을 시행하는 동안 상이한 위치에서 수술 부위를 관찰할 수 있도록 구동될 수 있다. 내시경(304)의 관찰 단부(306)의 움직임은 내시경의 피벗 중심 또는 지렛목에 대해서 내시경(304)의 방향을 변경시킴으로써 수행된다는 것을 알게 될 것이다. 이러한 움직임의 오퍼레이터의 컨트롤은 도구(14, 14)로부터 내시경(304)으로의 마스터 컨트롤 장치(700, 700)의 한쪽 또는 양쪽의 결합을 전환시킴으로써 수행될 수 있다. 일단 내시경(304)이 원하는 위치와 방향으로 이동되면, 슬레이브 아암(304)이 제위치에 고정될 수 있고 마스터 컨트롤 장치(700, 700)의 결합이 자신의 각각의 도구로 되돌아 가도록 전환될 수 있다. 대체 실시형태로서, 내시경(304)을 위치시키기 위해서 푸트 페달(105) 또는 다른 종래의 수단이 사용될 수 있다. 카트 프레임(624) 내에서의 카메라 프레임(610)의 위치 및 방향은 카트 프레임(624) 내에서의 슬레이브의 위치 및 방향과 유사한 방식으로 결정된다. 카트 프레임(624)에 대한 카메라 프레임(610)의 위치 및 방향과, 카트 프레임(624)에 대한 슬레이브의 위치 및 방향이 이러한 방식으로 결정되었으면, 카메라 프레임(610)에 대한 슬레이브의 위치 및 방향은 삼각법 관계(trigonometric relationship)를 이용하는 일상적인 연산을 통해서 용이하게 결정될 수 있다.

이하에서는 디스플레이 프레임(612) 내에서의 마스터의 위치 및 방향을 컨트롤 시스템에 의해 결정하는 방법을 도 6과 관련하여 기술한다. 도 6은 오퍼레이터 워크스테이션(200)의 마스터 컨트롤 장치(700) 중의 하나의 개략도를 나타내고 있다.

상기 워크스테이션(200)은 마스터(700, 700)의 전반적인 배치상태를 외과의사에 맞도록 변경시킬 수 있게 하기 위해서 선택적으로 참고 번호 632로 표시된 셋업 아암을 포함한다. 따라서, 마스터(700, 700)의 전반적인 배치상태는 마스터(700, 700)를 외과의사에게 편리하게 위치되어 있는 전반적인 배치상태로 바꾸도록 선택적으로 변경될 수 있다. 이에 따라 마스터(700, 700)가 편리하게 위치되어 있으면, 셋업 아암(632)은 제위치에 고정되고 통상적으로 수술하는 기간 내내 상기 위치에 유지되어 있다.

도 6에 나타나 있는 것과 같이, 눈 프레임(612) 내에서, 마스터(700)의 위치 및 방향을 결정하기 위해서, 외과의사의 스테이션 프레임(634)에 대한 눈 프레임(612)의 위치 및 방향과, 외과의사의 스테이션 프레임(634)에 대한 마스터(700)의 위치 및 방향이 결정된다. 외과의사의 스테이션 프레임(634)은 수술하는 동안 통상적으로 고정되어 있으며, 참고 번호 636으로 표시되어 있는 위치에 원점을 가지고 있다.

상기 외과의사의 스테이션 프레임(634)에 대한 마스터(700)의 위치 및 방향을 결정하기 위해서, 점선으로 화살표 638으로 표시되어 있는 것과 같이, 상기 외과의사의 스테이션 프레임(636)에 대하여, 마스터(700)가 장착되는 셋업 아암(632)의 단부에 있는 마스터 셋업 프레임(640)의 위치가 결정된다. 그 다음에 3A에 원점을 가지는 마스터(700) 상의 마스터 프레임(622)의 위치 및 방향이 마스터 셋업 프레임(640)에 대하여 결정된다. 이러한 방식으로, 삼각법 관계를 이용하는 일상적인 연산에 의해 상기 외과의사의 스테이션 프레임(634)에 대한 마스터 프레임(622)의 위치 및 방향이 결정될 수 있다. 상기 외과의사의 스테이션 프레임(634)에 대한 눈 프레임(612)의 위치 및 방향이 유사한 방식으로 결정된다. 외과의사의 워크스테이션(200)의 나머지 부분에 대한 디스플레이(202)의 위치는 외과의사에 맞도록 선택적으로 변경될 수 있다는 것을 알게 될 것이다. 눈 프레임(612)에 대한 마스터 프레임(622)의 위치 및 방향은 삼각법 관계를 이용하는 일상적인 연산에 의해 외과의사 스테이션 프레임(634)에 대한 마스터 프레임(622)과 눈 프레임(612)의 위치 및 방향으로부터 결정될 수 있다.

상기의 방식으로, 최소 침습 수술 장치의 컨트롤 시스템이 카메라 프레임(610) 내에서 엔드 이펙터 프레임(618)에 의해서 엔드 이펙터(58)의 위치 및 방향을 결정하고, 마찬가지로, 눈 프레임(612)에 대해서 마스터 프레임(622)에 의해 마스터의 집게의 위치 및 방향을 결정한다.

상기한 바와 같이, 외과의사는 자신의 엄지 손가락과 집게 손가락을 집게 형성부(706)(도 4 참고) 위에 배치시킴으로써 마스터를 파지한다. 외과의사의 엄지 손가락과 집게 손가락이 집게 형성부에 배치되면, 교차 지점(3A)이 엄지 손가락과 집게 손가락 끝부분의 안쪽에 위치된다. 상기 교차 지점(3A)에 원점을 가지는 마스터 프레임은 외과의사가 디스플레이(202)로 보았을 때 엔드 이펙터(58)의 피벗 연결부(60)에 원점을 가지는 엔드 이펙터 프레임(618)에 효과적으로 관련된다. 따라서, 수술을 시행하고 있고, 외과의사가 집게 형성부(706)의 위치 및 방향을 조작하여 엔드 이펙터(58)의 위치 및 방향이 집게 형성부(706)의 위치 및 방향을 추종하게 할 때, 외과의사에게는, 외과의사의 엄지 손가락과 집게 손가락이 엔드 이펙터(58)의 손가락부에 관련되는 것으로 인식되고, 엔드 이펙터(58)의 피벗 연결부(60)가 엄지 손가락과 집게 손가락의 끝부분으로부터 안쪽에 있는 외과의사의 엄지 손가락과 집게 손가락의 가상 피벗점과 대응하는 것으로 인식된다. 집게 형성부의 실제 구성에 따라, 특히, 집게 형성부(706)의 위치에 대한 회전축의 교차 지점에 따라, 피벗 연결부(60)와 대략 일치하는 한 지점을 외과의사의 손에 대해 접근시키기 위해서 마스터(700) 상의 마스터 프레임(622)이 교차 지점(3A)으로부터 벗어날 수 있다는 것을 알게 될 것이다.

따라서, 수술이 시행되고 있을 때, 엔드 이펙터의 손가락부의 위치 및 방향은 자연스럽게 직관적이거나 중첩된 방식(superimposed fashion)으로 외과의사의 엄지 손가락과 집게 손가락의 위치 및 방향 변화를 추종한다. 또한, 엔드 이펙터(58)의 작동, 다시 말해서 엔드 이펙터 손가락부를 선택적으로 개방되고 폐쇄되게 하는 것은, 외과의사의 엄지 손가락과 집게 손가락의 개방 및 폐쇄에 직관적으로 대응한다. 따라서, 엔드 이펙터(58)의 피벗점(60)이 외과의사의 엄지 손가락과 집게 손가락 사이의 가상 피벗점에 적절하게 관련되어 있기 때문에, 디스플레이(202)로 보았을 때 엔드 이펙터(58)의 작동은 자연스럽게 직관적인 방식으로 외과의사에 의해 수행된다.

엔드 이펙터 프레임(618)은, 적절한 경우에는, 피벗 연결부(60)에 대해서 어긋날 수 있다는 것을 알게 될 것이다. 따라서, 예를 들면, 엔드 이펙터(디스플레이에 표시되어 있는 것과 같이)가 비교적 긴 길이의 손가락부를 가지고 있는 경우, 엔드 이펙터 프레임의 원점은 엔드 이펙터 손가락부 끝부분을 향하는 방향으로 어긋날 수 있다. 예를 들면, 집게 형성부의 끝부분을 엔드 이펙터의 끝부분과 관련시키기 위해서, 엔드 이펙터 프레임(618)과 피벗 연결부(60) 사이뿐만 아니라, 마스터 프레임(622)과 교차 지점(3A) 사이의 위치적인 어긋남 및/또는 방향적인 어긋남을 이용함으로써, 집게 형성부(706)의 엔드 이펙터(58)에 대한 매핑(mapping:관련성)이 바뀔 수 있다는 것도 알게 될 것이다. 이러한 대체형태의 매핑(mapping)이 도 7에 도시되어 있다.

일반적으로, 제1 집게 요소(706A)는 대체로 제1 엔드 이펙터 요소(58.1)에 연결되고, 제2 집게 요소(706B)는 대체로 제2 엔드 이펙터 요소(58.2)에 연결된다. 선택적으로, 집게 요소들 사이의 피벗 연결부에 인접해 있는 지점(3A)(이 지점은 이상적으로는 마스터(700, 706A, 706B)의 짐벌 구조의 회전 중심 근처에 있음)은 대체로 슬레이브 상의 피벗 연결부(60)와 연결될 수 있다. 이러한 구성은, 외과의사의 손의 피벗점(외과의사의 집게 손가락과 엄지 손가락의 아래 부분에 있는)이 집게의 피벗점을 따라서 배치된 상태에서 외과의사가 종종 마스터를 파지할 때에, 외과의사의 손(H)의 피벗점과 피벗 연결부(60) 사이의 실질적인 연결도 효과적으로 제공한다. 대체 실시형태로서, 집게 요소의 끝부분 사이에 배치된 중간지점(MP1)이 엔드 이펙터 요소의 끝부분 사이에 배치된 중간지점(MP2)에 대체로 연결될 수 있다. 본 명세서에 기술된 높은 수준의 연결형태의 각각은 이러한 매핑에 의해 선택적으로 제공될 수 있다.

도 8 및 도 9는 마스터 컨트롤러의 핸들과 슬레이브의 엔드 이펙터 사이의 대응하는 매핑 포인트를 보다 명확하게 나타내고 있고, 도 9는 상기 대응하는 매핑 포인트를 선택하는 방법 단계를 개략적으로 나타내고 있다. 일반적으로, 상기 마스터 컨트롤러의 핸들 또는 슬레이브의 엔드 이펙터의 매핑 포인트를 변화시킴으로써 상이한 엔드 이펙터 요소 길이를 가진 교체가능한 엔드 이펙터가 수용될 수 있다. 매핑 포인트에 있어서의 이러한 변화는 디스플레이에 표시된 이미지의 배율이 현저하게 변할 때 사용될 수도 있다. 예를 들면, 엔드 이펙터가 제1 배율로 표시될 때에는 엔드 이펙터의 피벗 연결부(60)와 상기 핸들의 교차 지점(3A)의 실질적인 연결이 적절할 수 있지만, 엔드 이펙터의 배율이 현저하게 증가하거나, 보다 긴 엔드 이펙터 요소를 가지는 대체 실시형태의 엔드 이펙터가 슬레이브에 부착될 때에는 부적절할 수 있다. 어느 한 상황에 있어서, 도 8에 도시되어 있는 바와 같이, 마스터의 중간지점(MP2)을 엔드 이펙터의 중간지점(MP1')에 실질적으로 연결시키기 위해서 마스터/슬레이브 교차지점을 변경시키는 것이 적절할 수 있다.

우선, 로봇 수술 시스템에 있어서 외과의사에 의해 파지될 핸들에 인접해 있는 짐벌 포인트(GP)를 가지는 마스터 컨트롤러를 제공하는 것이 유리하다. 이것은, 수술하는 동안 종종 발생하는 것과 같이, 외과의사가 신속하게 핸들을 회전시킬 때 큰 마스터 관성(inertia)을 방지한다. 짐벌 포인트(GP)에서 교차하는 복수 자유도를 가지는(이상적으로는 짐벌 포인트에서 교차하는 세 방향의 자유도를 가짐) 마스터를 가짐으로써, 그리고 상기 핸들과 일치하는 짐벌 포인트를 가짐으로써, 마스터에서의 신속한 회전 운동의 관성이 상당히 느리게 될 수 있다.

상기한 바와 같이, 슬레이브의 피벗 연결부(60)의 이미지가 집게 즉 그립 요소(706A, 706B) 사이의 집게 형성부 피벗점(3A)에 실질적으로 연결된 것으로 보이도록 슬레이브의 움직임을 조정하는 것이 종종 유리하다. 그러나, 엔드 이펙터 요소(58.1, 58.2)가 피벗 연결부(60)를 넘어서 상당한 거리로 뻗어 있을 때(마스터 컨트롤러에 인접한 디스플레이에 표시되어 있는 것과 같이), 외과의사는 멀리 떨어진 피벗 연결부로부터 이러한 긴 엔드 이펙터 요소를 조작하는 것이 어색하다고 느낄 수 있다. 마찬가지로, 마스터 핸들보다 훨씬 더 긴(마스터 컨트롤 스테이션에 표시되어 있는 것과 같이) 수술용 메스와 같은 한 개의 엔드 이펙터 요소를 조작할 때에, 외과의사는 쉽게 제어되는 수술용 메스가 아니라 긴 손잡이가 달린 검으로 절단하는 느낌을 받을 수 있다. 상기한 바와 같이, 그립/엔드 이펙터의 길이에 있어서의 어색한 차이를 극복하기 위한 한 가지 대체 방안은 엔드 이펙터 조 단부(jaw end)와 핸들 그립 부재 단부 사이의 중간지점(MPl, MP2)이 실질적으로 연결되도록 수술 작업공간과 마스터 컨트롤러 작업공간을 서로 관련시키는 것이다. 상기 중간지점들이 실질적으로 연결되도록 수술 작업공간과 마스터 작업공간을 매핑함으로써, 외과의사는 엔드 이펙터 요소와 그립 요소 사이의 길이의 상당한 차이에도 불구하고 엔드 이펙터를 이용하여 움직임을 조정할 수 있다.

매핑 포인트는 임의의 특정 포인트로 제한될 필요는 없다. 예시적인 실시예에 있어서, 그립 부재의 중간 축(MAG)은 대체로 두 집게 요소(706A, 706B) 사이의 중간으로 한정되고, 엔드 이펙터의 유사한 중간 축(MAE)은 두 엔드 이펙터 요소(58.1, 58.2) 사이의 중간으로 한정된다. 마스터의 매핑 포인트(실질적인 연결 지점)는 그립용 중간 축(MAG)을 따라서 배치될 것이고, 이상적으로는 교차지점(3A)으로부터 중간지점(MP2)까지의 범위에 있다. 마찬가지로, 엔드 이펙터의 매핑 포인트 또는 실질적인 연결 지점은 중간 축(MAE)을 따라서 배치될 것이고, 이상적으로는 피벗 연결부(60)로부터 중간지점(MPl)까지의 범위에 있다.

도 9는 핸들과 엔드 이펙터를 따라서 실질적으로 연결된 매핑 포인트의 위치를 결정하는 방법을 개략적으로 나타내고 있다. 먼저, 짐벌 포인트(GP)에 대한 외과의사의 손가락의 위치를 결정하기 위해서 마스터 핸들을 따라서 놓인 외과의사의 손의 위치가 조사된다. 한 가지 실시예에 있어서, 외과의사의 손가락 끝부분의 위치와 짐벌 포인트(GP) 사이의 오프셋 거리가 오프셋 거리를 한정한다. 이 오프셋 거리는, 축척 요소(scaling factor)를 이용하여, 통상적으로 그립 부재의 길이와 엔드 이펙터 요소의 길이 사이의 비율, 디스플레이의 배율 등을 이용하여 조정된다. 예를 들면, 그립 부재가 통상적으로 엔드 이펙터 요소 길이의 약 세 배의 길이를 가지고 있기 때문에, 예시적인 로봇 수술 시스템의 대표적인 숫자를 이용하여, 이 숫자에 3분의 1을 곱함으로써 상기 오프셋 거리가 조정된다. 이러한 축척 요소는 도구 변화(보다 더 길거나 보다 더 짧은 엔드 이펙터 요소를 가지는 엔드 이펙터가 사용될 때) 등과 함께 변할 수 있다. 예를 들면, 조정된 오프셋 거리만큼 엔드 이펙터 중간 축(MAE)을 따라서 중간지점(MP1)으로부터 피벗 연결부(60)쪽으로 오프셋된 위치에서, 슬레이브 상의 매핑 포인트의 위치가 산출될 수 있다. 엔드 이펙터의 이러한 매핑 포인트가 마스터의 짐벌 포인트(GP)와 실질적으로 연결될 수 있다.

카트 프레임(624)은, 카트 프레임의 원점이 환자측 카트의 베이스(99)에 대해 변하지 않는 환자측 카트(300) 상의 한 위치와 일치하는 임의의 편리한 위치에 있는 것으로 선택될 수 있다는 것을 알게 될 것이다. 마찬가지로 외과의사의 스테이션 프레임(634)은, 외과의사의 스테이션 프레임의 원점이 외과의사의 워크스테이션의 베이스(642)에 대해 변하지 않는 위치에 배치되도록 하는 임의의 편리한 위치에 있는 것으로 선택될 수 있다. 또한, 카트 프레임(624)에 대해 카메라 프레임(610)의 위치 및 방향을 결정하는 사용법이 복수의 상이한 중간 프레임 경로로 구성될 수 있다. 카트 프레임(624)에 대해 엔드 이펙터 프레임(618)의 위치 및 방향을 결정하는 사용법이 또한 복수의 상이한 중간 프레임 경로로 구성될 수 있다.

그러나, 중간 프레임 경로가 적절하게 선택되면, 컨트롤 시스템은, 교체되는 모듈식 부분(modular parts)의 특징과는 다른 특징을 가지는 모듈식 부분의 모듈식 교체를 제공하는 것이 용이하게 적용될 수 있도록 배치된다는 사실이 알려져 있다. 중간 프레임을 선택하는 것은 또한 마스터와 슬레이브 위치 및 방향을 결정하는 것과 관련된 연산 프로세스를 용이하게 한다는 것을 알게 될 것이다.

도 5를 다시 참고하면, 상기한 바와 같이, 카트 프레임이 참고 번호 624로 선택되어 있다. 카트 프레임(624)에 대한 지렛목 프레임(630)의 위치를 결정하는 것은 전위차계(potentiometer), 인코더(encoder) 등과 같은, 적절하게 위치된 센서를 통하여 이루어진다는 것을 알게 될 것이다. 편리하게도, 카트 프레임(624)에 대한 지렛목 프레임(630)의 위치는 두 개의 중간 프레임을 통하여 결정된다. 상기 두 개의 중간 프레임 중의 하나는 캐리지 가이드 프레임(644)이고, 이 캐리지 가이드 프레임(644)은 캐리지(97)를 안내하는 가이드 상의 편리한 위치에 원점을 가지고 있다. 다른 프레임인, 참고 번호 646으로 표시된 아암 플랫폼 프레임은 슬레이브 아암(10)이 장착되어 있는 셋업 조인트 아암(95)의 한 단부에 위치되어 있다. 따라서, 슬레이브의 위치 및 방향이 카트 프레임(624)에 대하여 결정되면, 카트 프레임(624)에 대한 캐리지 가이드 프레임(644)의 위치가 결정되고, 그 다음에 캐리지 가이드 프레임(644)에 대한 플랫폼 프레임(646)의 위치가 결정되고, 그 다음에 플랫폼 프레임(646)에 대해 지렛목 프레임(630)이 결정되고, 그 다음에 지렛목 프레임(630)에 대한 슬레이브의 방향 및 위치가 결정되고, 이로 인해 카트 프레임(624)에 대한 슬레이브의 위치 및 방향이 결정된다. 각각의 아암(10)에 대해서 이러한 방식으로, 그리고 카메라 프레임(610)에 대해서 유사한 방식으로, 카트 프레임(624)에 대해서, 슬레이브 아암(302)을 통하여, 카트 프레임(624)에 대한 슬레이브의 위치 및 방향이 이러한 방식으로 결정된다는 것을 알게 될 것이다.

도 6을 참고하면, 마스터 컨트롤의 위치 및 방향은, 외과의사의 스테이션 프레임(634)에 대한 베이스 프레임(648)의 위치를 결정하고, 그 다음에 베이스 프레임(648)에 대한 플랫폼 프레임(640)의 위치를 결정하고, 그 다음에 플랫폼 프레임(640)에 대한 마스터의 위치 및 방향을 결정함으로써 결정된다. 외과의사의 스테이션 프레임(634)에 대한 마스터 프레임(622)의 위치 및 방향은 삼각법 관계를 이용하는 일상적인 연산을 통하여 용이하게 결정된다. 외과의사 워크스테이션(200) 프레임(634)에 대한 다른 마스터 프레임의 위치 및 방향이 유사한 방식으로 결정된다는 것을 알게 될 것이다.

도 5를 참고하면, 상기한 것과 같이 프레임을 선택함으로써, 동일한 로봇 아암이 사용되는 동안 셋업 조인트(95)가 다른 셋업 조인트와 교체될 수 있다. 컨트롤 시스템은, 예를 들면, 새로운 셋업 조인트에만 관한, 아암 길이 등과 같은 정보로 프로그램될 수 있다. 마찬가지로, 슬레이브 아암(10)은 다른 아암과 교체될 수 있고, 컨트롤 시스템은, 예를 들면, 새로운 슬레이브 아암에만 관한, 지렛목 위치 등과 같은 정보로 프로그램될 것을 요한다. 이런 식으로, 내시경 슬레이브 아암(302) 및 내시경 슬레이브 아암의 관련 셋업 조인트 또한 독립적으로 교체될 수 있고, 컨트롤 시스템은 교체되는 부분에만 관련된 정보로 프로그램될 것을 요한다는 사실을 알게 될 것이다. 또한, 도 6을 참고하면, 셋업 조인트 및 마스터 컨트롤 또한 독립적으로 교체될 수 있고, 컨트롤 시스템은 새로운 부분만의 특징에 관한 정보로 프로그램될 것을 요한다.

도 10은 마스터/슬레이브 로봇 시스템(1000)에 대한 높은 수준의 컨트롤 아키텍쳐를 개략적으로 나타내고 있다. 오퍼레이터 입력으로 시작하여, 외과의사(1002)가 입력 장치에 사람의 힘(f_h)을 가함으로써 마스터 매니퓰레이터(1004)의 입력 장치를 이동시킨다. 마스터 매니퓰레이터(1004)의 인코더는 마스터 조인트 위치(θ_m)를 결정하기 위해서 마스터 입력/출력 프로세서(1006)에 의해서 해석되는 마스터 인코더 신호(e_m)를 발생시킨다. 마스터 조인트 위치는, 마스터 동적 모델(1008)을 이용하여 눈 프레임에 대한 마스터의 입력 장치의 직각좌표 위치(x_m)를 생성하기 위해서 사용된다.

이제 수술 환경(1018)으로부터의 입력으로 시작하면, 수술 작업공간의 조직 구조는 수술용 엔드 이펙터에 (그리고 아마도 도구 및/또는 매니퓰레이터의 다른 요소에)에 힘(f_e)을 가할 것이다. 수술 환경(1018)으로부터의 환경적인 힘(f_e)은 슬레이브 매니퓰레이터(1016)의 위치를 변경시키고, 이로 인해 슬레이브 입력/출력 프로세서(1014)로 전송되는 슬레이브 인코더 값(e_s)을 변경시킨다. 슬레이브 입력/출력 프로세서(1014)는, 슬레이브 운동학 모델 프로세싱 블록(1012)에 따라 카메라 프레임에 대한 직각좌표 슬레이브 위치 신호(x_s)를 생성하기 위해서 사용되는, 조인트 위치(θ_s)를 결정하기 위해서 슬레이브 인코더 값을 해석한다.

마스터와 슬레이브의 직각좌표 위치(x_m, x_s)이 양방향 컨트롤러(1010)로 입력되고, 상기 양방향 컨트롤러(1010)는 상기 입력을 이용하여, 외과의사가 수술을 시행하기 위해서 원하는 대로 슬레이브를 조작할 수 있도록 슬레이브에 의해 가해질 원하는 직각좌표 힘(f_s)을 발생시킨다. 부가적으로, 양방향 컨트롤러(1010)는 마스터와 슬레이브의 직각좌표 위치(x_m, x_s)를 이용하여, 힘 피드백을 외과의사에 제공하기 위해서 마스터에 의해서 가해질 원하는 직각좌표 힘(f_m)을 발생시킨다.

대체로, 양방향 컨트롤러(1010)는 원하는 축적 요소와 오프셋을 고려하는 마스터-도구 변환에 따라 마스터 컨트롤러 작업공간에서의 마스터의 직각좌표 위치를 수술 작업공간에서의 엔드 이펙터의 직각좌표 위치와 매핑시킴으로써 슬레이브 힘과 마스터 힘(f_s, f_m)을 발생시킨다. 상기 축척 요소는 마스터 컨트롤 입력 움직임과 이에 반응하는 슬레이브 출력 움직임 사이의 원하는 축척 변화를 특정한다. 상기 오프셋은, 카메라 프레임(610)에 대한 엔드 이펙터 프레임(618)의 위치 및 방향이 눈 프레임(612)에 대한 마스터 프레임(622)의 위치 및 방향과 맞추어지도록 고려된다.

컨트롤 시스템(1000)은 디스플레이에서 엔드 이펙터의 이미지가 입력 장치에 실질적으로 연결된 것으로 나타나도록 촬영 시스템으로부터 제공된 상태 변수 신호에 따라 마스터-도구 변환을 도출할 것이다. 이러한 상태 변수는 대체로, 이미지 포착 장치를 지지하는 슬레이브 매니퓰레이터에 의해 공급된 것과 같은, 이미지 포착 장치로부터의 시야의 직각좌표 위치를 나타낼 것이다. 따라서, 이러한 변환을 도출하기 위해서 이미지 포착 매니퓰레이터와 슬레이브 엔드 이펙터 매니퓰레이터의 결합이 유리하다. 명백히, 양방향 컨트롤러(1010)는 한 개보다 많은 슬레이브 아암을 제어하기 위해 사용될 수 있거나, 부가적인 입력을 구비할 수 있거나, 한 개보다 많은 슬레이브 아암을 제어하기 위해 사용될 수 있고 또한 부가적인 입력을 구비할 수 있다.

매핑된 작업공간에서의 마스터와 슬레이브의 위치 차이에 대체로 기초하여, 양방향 컨트롤러(1010)가 슬레이브로 하여 마스터의 위치를 추종하게 하기 위해서 직각좌표 슬레이브 힘(f_s)을 발생시킨다. 엔드 이펙터에서 원하는 힘을 발생시킬 슬레이브의 조인트 토크(τ_s)를 발생시키기 위해서 슬레이브 운동학 모델(1012)이 직각좌표 슬레이브 힘(f_s)을 해석하는데 사용된다. 슬레이브 입력/출력 프로세서(1014)는 이러한 조인트 토크를 이용하여 수술 작업장 내에서 슬레이브(x_e)의 위치를 옮기는 슬레이브 모터 전류(i_s)를 산출한다.

마스터 조인트 토크(τ_m)를 발생시키기 위해서 마스터 운동학 모델(1008)에 기초하여 양방향 컨트롤러로부터의 원하는 피드백 힘이 마스터의 직각좌표 힘(f_m)으로부터 유사하게 해석된다. 상기 마스터 조인트 토크가 마스터 입력/출력 컨트롤러(1006)에 의해 해석되어 마스터 모터 전류(i_m)를 마스터 매니퓰레이터(1004)에 제공하고, 이로 인해 외과의사의 손에서 휴대용 입력 장치(X_h)의 위치를 변경시킨다.

도 10에 도시된 컨트롤 시스템(1000)은 단순화된 것이라는 사실을 알게 될 것이다. 예를 들면, 외과의사는 마스터 컨트롤 장치에 힘을 가할 뿐만 아니라, 마스터 작업공간 내에서 핸들을 이동시키기도 한다. 마찬가지로, 외과의사가 마스터 컨트롤러의 위치를 유지하면 마스터 매니퓰레이터의 모터에 공급된 모터 전류는 움직임을 발생시키지 않을 수 있다. 그럼에도 불구하고, 상기 모터 전류는 수술 환경에 의해 슬레이브에 가해진 힘에 기초하여 촉각적인 힘 피드백을 외과의사에게 초래한다. 부가적으로, 직각 좌표 매핑이 사용되는 동안, 구형, 원통형, 또는 다른 프레임의 사용이 본 발명의 장점의 적어도 몇 가지를 제공할 수 있다.

상기 내용에서, 관련 마스터 컨트롤 장치(700)의 움직임에 대응하여 도구(14)의 엔드 이펙터(58)의 제어 움직임에 사용될 수 있도록 마스터-도구 변환을 결정하기 위해서 시스템의 모든 관련 치수 및 각도는 알려져 있는 것으로 상정된다. 그러나, 몇 가지 상황에서는, 동적 구조의 하나 이상의 고정된 길이 또는 각도가 알려져 있지 않거나 쉽게 결정되지 않을 수 있다.

상기와 같은 하나 이상의 길이 및/또는 각도가 알려져 있지 않은 한 가지 예로서, 도 11은 공통 입구 포트(428)를 통하여 내시경(112)과 함께 환자 내부로 삽입된 도구(406a, 406b)의 개략적인 측면도를 나타내고 있다. 상기 도구(406a, 406b)는 자신들의 엔드 이펙터(408a, 408b)가 도시된 바와 같이 작업 부위(424)에서 수술을 시행할 수 있게 위치되도록 반대방향으로 만곡된 캐뉼라(또는 보다 일반적으로, 도구 가이드)(416a, 416b)를 통하여 삽입되어 상기 캐뉼라(416a, 416b)로부터 뻗어 나와 있다. 한편, 내시경(112)은 상기 엔드 이펙터(408a, 408b)와 작업 부위(424)가 시야(430) 내에 놓이도록 직선형 캐뉼라(252)를 통하여 삽입되어 상기 캐뉼라(252)로부터 뻗어 나와 있다. 상기 캐뉼라(416a, 416b, 252)는 각각 입구 포트(428)에서 포트 구조(432) 속으로 삽입되어 상기 포트 구조(432)에 의해 지지되어 있다.

상기 도구(406a, 406b)와 내시경(112)은 자신의 각각의 매니퓰레이터(204a, 204b, 242)(부분적으로만 도시되어 있음)에 결합되어 있고, 상기 각각의 매니퓰레이터(204a, 204b, 242)는 상기 도구(406a, 406b)와 내시경(112)의 각각의 지렛목(본 경우에는 운동의 원격 중심이라고도 한다)(426)에 대해 상기 도구(406a, 406b)와 내시경(112)를 움직이게 하고, 상기 각각의 지렛목은 도시되어 있는 것과 같이 대략 입구 포트(428)에 위치되어 있다. 상기 도구(406a, 406b)는 각각 강성의 일체형인 만곡된 캐뉼라에 맞게 만곡될 수 있도록 유연한 샤프트를 가지고 있다. 상이한 수술을 시행하기 위한 목적 및/또는 상이한 도구를 수용하기 위한 목적으로, 상이한 곡률과 길이를 가지는 상이한 캐뉼라가 사용될 수 있다. 상기와 같은 만곡된 캐뉼라 및 이러한 캐뉼라를 사용하는 시스템의 부가적인 상세한 내용은, 예를 들면, 본 명세서에 참고문헌으로 포함된, 미국 특허출원 제12/618,583호(2009년 11월 13일 출원; 발명의 명칭은 "만곡된 캐뉼라 수술 시스템(Curved Cannula Surgical System)" 임)에서 볼 수 있다. 그러나, 상이한 곡률과 길이를 가지는 캐뉼라는 엔드 이펙터가 상기와 같은 만곡된 캐뉼라의 원위 단부로부터 뻗어 나옴에 따라 도구의 엔드 이펙터 프레임의 상이한 위치와 방향을 초래한다는 사실을 알아야 한다.

시스템이 도구의 엔드 이펙터 프레임의 위치 및 방향을 결정하기 위해서 캐뉼라에 대한 알려진 치수 정보를 사용할 수 있도록 오퍼레이터가 사용되고 있는 만곡된 캐뉼라의 확인자료를 상기 시스템에 직접 제공할 수 있지만, 종종 오퍼레이터는 어떤 캐뉼라가 사용되고 있는지를 알지 못할 수 있다. 따라서, 이러한 경우에는, 도구의 관련 마스터 컨트롤 장치의 움직임에 대응하여 도구의 움직임을 적절하게 제어하기 위해서 엔드 이펙터 프레임의 알려지지 않은 위치 및 방향이 몇 가지 방식으로 상기 시스템에 의해 결정되어야 한다.

상기와 같은 하나 이상의 길이 및/또는 각도가 알려져 있지 않은 다른 한 가지 예로서, 도 12는 도구(1230)의 엔드 이펙터가 작업 부위에서 수술을 수행하기 위해 사용되고 있는 동안 도구(1230)의 엔드 이펙터의 이미지를 포착하는 줄이 달린 카메라(1220)의 개략적인 측면도를 나타내고 있다. 종래의 수단에 의해 코드(1202)가 한 단부(1204)에서는 카메라(1220)에 부착되어 있고 다른 단부(1203)에서는 환자 구조(1201)에 부착되어 있다. 카메라 끝부분의 위치 및/또는 방향은 카메라의 줄(1205)을 당기는 기계 요소(1206)에 의해 변경될 수 있다. 상기 기계 요소(1206)의 움직임은 슬레이브 매니퓰레이터에 의해 이루어진다. 본 경우에 있어서, 상기 기계 요소(1206)의 프레임(1210)의 위치 및 방향은 기계 요소의 동적 체인(kinematic chain)을 따라 배치된 센서에 의해 결정될 수 있지만, 카메라의 줄(1205)과 코드(1202)의 길이 및 카메라의 줄(1205)을 당기는 것으로부터 초래되는 카메라(1220)의 위치 및 방향의 변화는 외과의사나 시스템에 알려지지 않을 수 있다. 따라서, 이러한 경우에, 도구의 관련 마스터 컨트롤 장치의 움직임에 대응하여 카메라 프레임(1221)에 대한 도구의 움직임을 적절하게 제어하기 위해서 카메라 프레임(1221)의 알려지지 않은 위치 및 방향이 몇 가지 방식으로 상기 시스템에 의해 결정되어야 한다. 카메라(1220)로부터 제공되는 신호는 카메라의 줄(1205) 내부에나 카메라의 줄(1205)과 나란히 배치된 광섬유 케이블을 통하여 전달되거나, 대체 실시형태로서, 무선으로 전달될 수 있다.

상기와 같은 하나 이상의 길이 및/또는 각도가 알려져 있지 않은 또 다른 한 가지 예로서, 도 13은 로봇 제어식 도구(1314) 및 이미지 포착 시스템(1304)을 각각 작업 부위에 위치시키기 위한 이동가능한 구조(1312, 1302)의 개략적인 측면도를 나타내고 있다. 본 경우에 있어서, 상기 시스템은 로봇 아암(1303)의 알려진 치수와 조인트 위치 센서를 이용함으로써 이동가능한 구조(1302)와 결합된 프레임(1301)에 대한 이미지 포착 시스템(1304)의 이미지 기준 프레임의 위치 및 방향을 결정할 수 있다. 상기 시스템은 또한 로봇 아암(1313)의 알려진 치수와 조인트 위치 센서를 이용함으로써 이동가능한 구조(1312)와 결합된 프레임(1311)에 대한 도구 프레임의 위치 및 방향을 결정할 수도 있다. 그러나, 두 개의 이동가능한 구조(1312, 1302) 사이의 거리 및/또는 상대적인 방향은 알려지지 않을 수 있다. 따라서, 이러한 경우에 있어서, 도구(1314)의 관련 마스터 컨트롤 장치의 움직임에 대응하여 카메라 프레임에 대한 도구(1314)의 움직임을 적절하게 제어하기 위해서 두 개의 이동가능한 구조(1312, 1302) 사이의 알려지지 않은 거리 및/또는 상대적인 방향 또는 대체 실시형태로서 두 개의 이동가능한 구조(1312, 1302)의 각각의 프레임(1311, 1301) 사이의 알려지지 않은 거리 및/또는 상대적인 방향이 몇 가지 방식으로 상기 시스템에 의해 결정되어야 한다.

본 발명에서는, 마스터-도구 변환를 결정하기 위해 알려지지 않은 길이 및/또는 각도를 추정하기보다는, 다른 프레임의 알려져 있는 위치 및 방향으로부터 알려지지 않은 위치 및 방향으로의 변환을 추정함으로써 알려지지 않은 길이 및/또는 각도에 대응하는 프레임의 알려지지 않은 위치 및 방향이 대신 추정된다. 예를 들어, 도 11과 관련하여, 엔드 이펙터 프레임의 알려지지 않은 위치 및 방향은 엔드 이펙터 프레임의 지점들을 슬레이브 매니퓰레이터 프레임의 대응하는 지점들로 변환시키는 변환

을 추정하는 프로세서(102)에 의해 결정되고; 도 12와 관련하여, 카메라 프레임의 알려지지 않은 위치 및 방향은 이미지 프레임(1221)의 지점들을 기계 요소 프레임(1210)의 대응하는 지점들로 변환시키는 변환

을 추정하는 프로세서(102)에 의해 결정되고; 그리고, 도 13과 관련하여, 두 개의 이동가능한 구조(1302, 1312) 사이의 알려지지 않은 거리 및/또는 상대적인 방향은 이동가능한 구조 프레임(1301)의 지점들을 본 경우에 있어서 고정 프레임으로 상정되어 있는 이동가능한 구조 프레임(1311)의 대응하는 지점들로 변환시키는 변환

을 추정하는 프로세서(102)에 의해 결정된다. 이러한 변환의 계산, 조작 및 명명법(nomenclature)에 대한 상세한 내용은, 예를 들면, 1989년, 애디슨-웨즐리 프블리싱 컴퍼니 인코포레이티드(Addison-Wesley Publishing Company, Inc.)의 존 제이 크래그(John J. Craig)의 로봇공학 역학 및 제어에 대한 입문서(Introduction to Robotics Mechanics and Control) 제2판을 참고하면 된다.

본 발명을 설명하는 기본구조가 이미지 프레임 변환(예를 들면,

)과 도구 변환(예를 들면,

)의 일반화된 개략도를 나타내는 도 14에 도시되어 있다. 본 경우에 있어서 상기 이미지 프레임 변환은 이미지 프레임(610), 중간 프레임(예를 들면, 1412, 1413), 그리고 고정 프레임(1401) 사이의 지점들의 변환 또는 매핑을 위해 사용된다. 마찬가지로, 상기 도구 프레임 변환은 도구 프레임(618), 중간 프레임(예를 들면, 1402, 1403), 그리고 고정 프레임(1401) 사이의 지점들의 변환 또는 매핑을 위해 사용된다.

한 가지 예로서, 도 15는 로봇 시스템에 있어서의 관련 마스터 컨트롤 장치의 움직임에 대응하여 도구의 움직임을 제어하기 위한 마스터-도구 프레임 변환을 추정하고 주기적으로 갱신하는 방법의 흐름도를 나타내고 있다. 단계 1501에서는, 상기 방법을 실행하는 프로세서가, 도 5와 관련하여 기술되어 있는 것과 같이, 작업 부위에서 수술을 시행하기 위해 도구(14)가 입구 포트에 적절하게 위치된 후에 제위치에 고정되어 있는 환자측 카트(300)용 셋업 아암(95)과 관련되어 있는 것과 같은 셋업 변환을 결정한다. 본 예에서는 도구에 의해 수술이 시행되고 있는 동안에는 상기 변환이 변하지 않기 때문에, 상기 변환이 프로세싱 루프(processing loop)의 일부분으로서 연속적으로 갱신될 필요가 없다.

단계 1502에서는, 상기 프로세서가 내시경(304)과 같은 이미지 포착 시스템에 의해 포착되어 있는 이미지의 정보에 대한 접근을 수용한다. 한 가지 예로서, 이미지 정보는 프레임 버퍼(frame buffer)에 저장될 수 있고, 상기 프레임 버퍼로부터 상기 이미지 정보가 디스플레이(204)에 표시된다. 단계 1503에서는, 영상 계측(vision measurement)이 수행될지 여부에 대한 결정이 이루어진다. 디스플레이(204)에 표시되고 있는 이미지를 최신 정보로 재생(refresh)하기 위해서 프레임 버퍼가 주기적으로 갱신되지만, 프레임 버퍼가 갱신될 때마다 영상 계측이 수행될 필요는 없다는 것을 알아야 한다. 따라서, 다수의 프레임 버퍼 재생 시간 후에 영상 계측이 주기적으로 수행될 수 있다.

단계 1503에서 상기 결정이 "아니오" 인 경우에는, 프로세서가 단계 1502로 되돌아 간다. 한편, 상기 결정이 "예" 인 경우에는, 프로세서가 단계 1504로 진행하고, 단계 1504에서는 상기 프로세서가 슬레이브 아암(10)의 링크 위치 및 알려진 치수 및/또는 감지된 조인트를 이용함으로써 도 5와 관련하여 기술되어 있는 것과 같이 환자측 카트(300)에 결합된 슬레이브 아암(10)와 관련된 것과 같은 슬레이브 매니퓰레이터 변환을 결정한다. 단계 1504는 영상 계측이 수행될 때마다 수행되는 것으로 나타나 있지만, 슬레이브 매니퓰레이터 변환은, 마지막으로 슬레이브 매니퓰레이터 변환이 결정된 이후에 대응하는 슬레이브 매니퓰레이터가 이동(직선상으로 또는 방향적으로)된 경우에만 결정될 필요가 있다는 것을 알아야 한다. 예를 들면, 작업 부위에서 수술을 수행하기 위해 도구(14)가 사용되고 있는 동안 이미지 포착 장치(304)의 위치 및 방향이 고정된 채로 유지되어 있는 경우에는, 이미지 포착 장치(304)가 고정된 위치 및 방향에 유지되어 있는 기간 동안 한 번보다 많이 슬레이브 매니퓰레이터 변환을 결정할 필요가 없다.

단계 1505에서는, 프로세서가 포착된 이미지에서 엔드 이펙터 및/또는 다른 동적 구조의 자세 표시 지점을 확인한다. 이를 위하여, 엔드 이펙터 및/또는 다른 동적 구조의 위치 및 방향(다시 말해서, 자세)과 관련된 특징의 측정이 상기 이미지로부터 이루어진다. 이 측정은, 이미지를 포착하기 위해 사용되는 카메라의 유형(예를 들면, 단안(monocular) 카메라 또는 양안(stereo) 카메라) 그리고 포착된 이미지에서 확인되는 이미지 특징 또는 위치 표지(fiducial marker)의 유형에 따라 상이한 형태로 될 수 있다.

양안 카메라가 사용되고 있는 경우에는, 두 개의 카메라의 고유 파라미터 및 두 개의 카메라의 상대적인 자세(relative pose)를 고려하여, 지점의 깊이가 입체 삼각측량(stereo triangulation)의 프로세스에 의해 결정될 수 있다. 도구의 다른 부분, 로봇 아암, 및 배경에 의해 생성된 다른 이미지와 구별하기 위해서 독특한 특징이 필요하다. 독특한 특징을 만들기 위해서 위치 표지가 사용된다. 이 위치 표지는 스펙트럼 특성(예를 들면, 색깔), 형상, 기하학적인 구성, 또는 이들의 조합에 있어서 특이할 수 있다. 이러한 표지의 예 및 그 사용법은, 본 명세서에 참고문헌으로 포함되어 있는, 미국 특허출원 공개공보 제US 2010/0168562 Al호(2009년 4월 23일 출원; 발명의 명칭이 "이미지에서의 수술 기구를 배치시키기 위한 위치 표지 설계 및 검출(Fiducial Marker Design and Detection for Locating Surgical Instrument in Images)" 임) 및 미국 특허출원 공개공보 제US 2010/0168763 Al호(2009년 4월 23일 출원; 발명의 명칭이 " 수술 기구를 추적하기 위한 배치 표지 설계 및 검출(Configuration Marker Design and Detection for Instrument Tracking)" 임)에 기술되어 있다.

단안 카메라가 사용되는 경우, 측정은 본질적으로 2차원(2D) 이미지 영역에 있다. 그러나, 도구 상의 위치 표지 및/또는 도구의 특정 지식을 가지고 있으면, 3차원(3D) 측정을 가능하게 할 수 있다. 카메라의 고유 파라미터를 고려하면, 알려진 기하학적 구조의 사물의 3D 자세가 자세 추정(pose estimation) 이라는 프로세스에 의해 2D-대-3D 지점 관련성(point correspondences)에 의해 회복될 수 있고, 상기 자세 추정은, 예를 들면, 2003년, 프렌티스 홀(Prentice Hall)사의 데이비드 에이 포시드(David A. Forsyth)와 진 폰스(Jean Ponce)의 컴퓨터 비전: 현대적 접근법(Computer Vision: A Modern Approach)을 참고하면 된다. 특수한 기하학적 형상(예를 들면, 원형, 구형, 원통형, 그리고 원추형)의 자세 또는 부분적인 자세가 각각의 윤곽으로부터 계산될 수 있고, 이에 대해서는, 예를 들면, 1992년 3월의 프로시딩즈 에스피아이이(Proceedings SPIE), 1708권, 771-782 페이지에 개시된, 인공 지능 X의 응용(Applications of Artificial Intelligence X): 기계 비전 및 로봇공학(Machine Vision and Robotics) 부분인, 유 씨 슈(Yiu C. Shiu)와 한퀴 주앙(Hanqi Zhuang)의 "원근 투영으로부터 원통, 원추, 그리고 구의 자세 결정(Pose Determination of Cylinders, Cones, and Spheres from Perspective Projections)" 를 참고하면 된다. 상기와 같은 기하학적 형상은 수술 기구 또는 도구에 공통이다.

이미지 영역에서의 2D 측정값이 상기 기술을 이용하여 3D로 바로 전환될 수 없으면, 3D 자세가 대신 추정될 수 있다. 본 경우에 있어서, 3D 지점 _cp_i = [_cx_i, _cy_i, _cz_i]^T 의 이미지 투영 u _i = [u_i, v_i]^t 은 아래의 식:

(1)

에 의해 계산될 수 있고, 상기 식에서, f_x와 f_y는 각각 영상장치(imager)의 수평 방향과 수직 방향에서의 초점 길이이고, u₀와 v₀은 주점(principal point)이다.

단계 1506에서는, 프로세서가 단계 1504와 단계 1505에서 결정된 변환 및 다른 정보를 이용하여 알려지지 않은 변환을 추정한다. 이렇게 하는데 있어서, 프로세서가 아래의 변환 방정식:

(2)

을 이용하고, 상기 식에서,

는 이미지(또는 카메라 "c") 프레임에서 도구(또는 엔드 이펙터 "e") 프레임으로의 변환(이것은 단계 1505에서, 이미지 프레임에서 엔드 이펙터의 자세 표시 지점을 확인한 후 수학적으로 결정될 수 있다)이고,

는 이미지 프레임에서 고정(또는 지구(world) "w") 프레임으로의 변환이고,

는 도구 프레임에서 고정 프레임으로의 변환의 역변환이다.

양 변환

와

는 일련의 변환을 수반할 수 있다. 한 가지 예로서, 도 14를 참고하면, 프레임(1401)이 고정 프레임(다시 말해서, 정지된 프레임)인 경우, 도구 프레임으로부터 고정 프레임으로의 일련의 변환(본 명세서에서 "도구 프레임 변환" 이라고도 한다)은 그 시작 단계에서 프레임 618에서 프레임 1403으로의 변환과 그 종료 단계에서 프레임 1402에서 프레임 1401로의 변환을 포함한다. 또한, 이미지 프레임으로부터 고정 프레임으로의 일련의 변환(본 명세서에서 "이미지 프레임 변환" 이라고도 한다)은 그 시작 단계에서 프레임 610에서 프레임 1413으로의 변환과 그 종료 단계에서 프레임 1412에서 프레임 1401으로의 변환을 포함한다. 도구 프레임 변환의 역변환은 프레임 1401에서 프레임 1402로의 변환에서 시작하여 프레임 1403에서 프레임 618로의 변환으로 종료된다.

따라서, 알려지지 않은 변환이 프레임 1403에서 프레임 618로의 변환(

)이면, 이것은 변환 방정식 (2)를 이용하여 아래와 같이 결정될 수 있다.

(3)

(4)

상이한 곡률과 길이의 캐뉼라에 대해서 도 11과 관련하여 요구된 것과 같이 엔드 이펙터의 위치 및 방향을 추정하기 위해서 상기와 같은 해결방안이 이용될 수 있다.

한편, 알려지지 않은 변환이 프레임 1413에서 프레임 610으로의 변환(

(5)

(6)

줄이 달린 카메라에 대해서 도 12와 관련하여 요구된 것과 같이 카메라의 위치 및 방향을 추정하기 위해서 상기와 같은 해결방안이 이용될 수 있다.

또한, 알려지지 않은 변환이 프레임 1402에서 고정 프레임으로의 변환(

(7)

(8)

두 개의 이동가능한 구조 중의 하나의 이동가능한 구조의 프레임이 고정 프레임으로 선택된 경우에 있어서 두 개의 이동가능한 구조(1302, 1311)에 대해 도 13과 관련하여 요구된 것과 같이 하나의 이동가능한 구조의 다른 하나의 이동가능한 구조에 대한 위치 및/또는 상대적인 방향을 추정하기 위해서 상기와 같은 해결방안이 이용될 수 있다. 상기 양 구조(1302, 1311)는 이동가능한 것으로 가정하였지만, 상기 해결방안은, 고정된 기준 프레임을 정하기 위해서 상기 구조(1302, 1311) 중의 하나의 위치가 고정되어 있고(천정 장착식 로봇 아암과 같이), 상기 구조(1302, 1311) 중의 다른 하나는 이동가능한(환자측 카트에 있는 것과 같이) 경우에도 적용될 수 있다.

상기 예는 프로세서가 방정식 (3) 내지 (8)에서의 계산을 수행할 수 있도록

가 프로세서에 의해 먼저 결정되는 것으로 가정하였다. 대체 형태의 해결 방안으로서, 도구 프레임에서의 지점

는 이미지 프레임에서의 지점

과 아래의 변환식:

(9)

에 의해 관련될 수 있고, 상기 변환식에서 R은 3x3 회전 행렬이고 T는 3D 변환 벡터(translation vector)이므로,

(10)

가 성립한다.

따라서,방정식 (10)에서

에 대해 방정식 (2)의 우변을 치환함으로써, 먼저

를 결정하지 않고서 이미지 프레임의 지점이 도구 프레임의 지점과 직접 관련될 수 있다. 단계 1506을 수행하는 이러한 대체 형태의 해결방안을 적용하는 한 가지 예로서, 방정식 (10)이 아래와 같은 일반적인 형태:

(11)

로 변형될 수 있다.

이제, 한 가지 예로서, 변환

이 알려지지 않은 변환이고 그 값이 시변(time varying) 값이 아니면, 상기 방정식 (11)은 아래와 같이 변형될 수 있다.

(12)

이러한 형태에 있어서, 알려지지 않은 변환

(그리고 결과적으로, 그것의 역변환

)은 한 세트의 지점 쌍{

}(i = 1...m)에 의해 해답이 구해질 수 있다. 상기 지점 쌍들은 하나의 순시치(time instant) 또는 다수의 순시치로부터 도출될 수 있다. 상기 방정식 (12)를 푸는 방법의 예로서, 예를 들면, 1995년의 프로시딩즈 비엠브이씨(Proceedings BMVC)에 개시된, 에이 로루소(A. Lorusso), 디더블유 에거트(D.W. Eggert) 및 알비 피셔(R.B. Fisher)의 "3차원 강성 변환을 추정하기 위한 네 개의 알고리즘의 비교(A Comparison of Four Algorithms for Estimating 3-D Rigid Transformations)"을 참고하면 된다.

변환

의 몇 가지 정보가 알려져 있으면(예를 들면, 상기 변환에서의 독립 파라미터의 갯수가 6보다 작다는 것), 상기 변환은 아래의 식:

(13)

으로 변형될 수 있고, 상기 식에서

는 자유 파라미터(free parameter)이다. 본 경우에 있어서, 가장 일반적인 형태에서의

는 표준 비선형 최적화 루틴(standard non-linear optimization routine)(예를 들면, 가우스-뉴턴 법(Gauss-Newton method))을 이용하여 아래의 비용 함수를 최소화함으로써 해답이 구해질 수 있다.

(14)

방정식 (14)는 3D 지점에 적용된다는 것을 주의해야 한다. 방정식 (1)에 적용될 수 있는 것과 같은 2D 지점에 대해서는, 알려지지 않은 변환의 파라미터는 아래의 비용 함수를 최소화함으로써 해답이 구해질 수 있다.

(15)

상기 식에서, u' _i = [u'_i, v'_i]^t는 한 지점의 이미지 좌표이고 u _i = [u_i, v_i]^t는 3D 지점 ^cp_i = [^cx_i, ^cy_i, ^cz_i]^T 의 이미지 투영이다.

카메라 파라미터가 알려져 있지 않으면, 이 파라미터는 해답이 구해질 알려지지 않은 변환과 함께 추정될 수 있다. 렌즈가 완전하기 않고 왜곡(distortion)(예를 들면, 반경방향의 왜곡, 접선방향의 왜곡)을 가지고 있으면, 렌즈의 왜곡 파라미터도 카메라 고유 파라미터(표시되어 있지 않음)와 유사한 방식으로 추정될 수 있다. 예를 들면, 방정식 (15)는 아래와 같이 변형될 수 있다.

(16)

상기 예들로부터 알 수 있는 바와 같이, 모든 다른 변환이 알려져 있을 때에는 이미지 프레임 변환과 도구 프레임 변환 중에서 한 개의 알려지지 않은 변환을 결정하는 것은 간단하다. 한 개보다 많은 변환으로부터 알려지지 않은 파라미터가 추정될 필요가 있을 때에는, 이 파라미터는 방정식 (14), (15) 및 (16)과 유사한 최적화에 의해 추정될 수 있다.

한 세트의 지점 관련성(point correspondences)에 의해 알려지지 않은 변환의 해답을 구하는 것에 부가하여, 상기 변환 또는 최적화를 적합하게 하기 위해서 필터링(filtering)이 이용될 수 있다. 칼만 필터류(Kalman filter family)의 필터가 사용될 수 있다. 특히, 확장 칼만 필터(extended Kalman filter) 및 언센티드 칼만 필터(unscented Kalman filter)가 비선형 시스템에 사용될 수 있다. 이러한 용도에 적용될 수 있는 반복 확장 정보 필터(iterated extended information filter)가, 예를 들면, 본 명세서에 참고문헌으로 포함되어 있는, 미국 특허 출원 제12/495,304호(2009년 6월 30일 출원; 발명의 명칭은 "로봇 수술 기구와 다른 사용을 위한 효율적인 영상 및 동적 데이타 융합(Efficient Vision and Kinematic Data Fusion for Robotic Surgical Instruments and Other Applications)" 임)에 개시되어 있다. 필터를 이용하는 것의 잇점은 시간적인 평활성(temporal smoothness)과 계산상의 효율성을 포함한다.

필터가 사용되지 않더라도, 시간의 경과에 따라 추정된 파라미터에 대한 시간적인 평활화는 급격한 변화를 피할 수 있다. 단계 1507에서는, 프로세서가 마스터-도구 프레임 변환을 갱신하기 위해 추정된 알려지지 않은 변환을 직접 적용하기 보다는 선택적으로 추정된 알려지지 않은 변환의 시간적인 평활화를 수행할 수 있다. 이러한 평활화는 관련 마스터 컨트롤 장치에 의한 도구의 제어에 있어서의 급격한 변화를 방지할 수 있다. 이러한 평활화를 수행하는 한 가지 방법은 프로세서가 단계 1502 내지 단계 1508을 수행함으로써 상기 방법을 연속적으로 순환시킴에 따라 알려지지 않은 변환에 대해 추정된 값의 실행 평균(running average)을 유지하는 것이다.

단계 1508에서는, 프로세서가 추정된 알려지지 않은 변환의 필터링된 형태를 이용하여 마스터-도구 프레임 변환을 갱신하고, 갱신된 마스터-도구 변환을 이용하여 마스터 컨트롤 장치의 움직임에 대응하여 도구의 움직임을 명령한다. 예를 들면, 추정된 알려지지 않은 변환의 필터링된 형태를 이용하는 변형된 도구 프레임에서 카메라 프레임으로의 변환이 결정될 수 있다. 그 다음에 카메라 프레임(610)에 대한 도구 프레임(618)의 위치 및 방향이 눈 프레임(612)에 대한 마스터 프레임(622)의 위치 및 방향과 맞추어지도록 마스터 프레임에서 눈 프레임으로의 변환이 변형될 수 있다. 단계 1508를 수행한 후에, 프로세서는 다음번 영상 계측 사이클을 처리하기 위해 단계 1502로 되돌아간다.

본 발명의 다양한 면을 실시예와 관련하여 기술하였지만, 본 발명은 첨부된 청구범위의 전체 영역 내에서 완전한 보호를 받을 수 있다.

Claims

컨트롤 장치 프레임을 가진 컨트롤 장치와, 이미지 프레임을 가진 이미지 포착 시스템을 포함하는 시스템을 작동시키는 방법으로서,
일련의 프레임에 대해 복수의 프레임 변환을 지정하는 단계를 포함하고, 상기 일련의 프레임은 상기 이미지 프레임으로부터 도구 프레임까지이고, 상기 도구 프레임은 상기 이미지 포착 시스템의 시야 내에 배치된 도구의 프레임이고, 상기 일련의 프레임은 상기 이미지 프레임, 상기 도구 프레임, 그리고 상기 이미지 프레임과 상기 도구 프레임 사이의 하나 이상의 추가 프레임을 포함하고, 상기 복수의 프레임 변환의 각각의 프레임 변환은 상기 일련의 프레임 중의 한 쌍의 인접한 프레임에 대응하고, 상기 복수의 프레임 변환은 알려지지 않은 프레임 변환을 포함하고;
상기 방법이 또한,
상기 이미지 포착 시스템에 의해 포착된 하나 이상의 이미지에 대한 정보로부터 상기 이미지 프레임과 상기 도구 프레임에 관한 상기 이미지 프레임과 상기 도구 프레임 사이의 이미지-도구 프레임 관계를 결정하는 단계;
상기 이미지-도구 프레임 관계와 상기 복수의 프레임 변환 중의 하나 이상의 알려진 프레임 변환을 이용하여 상기 알려지지 않은 프레임 변환에 대한 추정된 프레임 변환을 결정하는 단계;
상기 추정된 프레임 변환과 상기 하나 이상의 알려진 프레임 변환을 이용하여 상기 컨트롤 장치에서의 입력 움직임에 대응하여 상기 도구에 대한 출력 움직임을 결정하는 단계; 그리고
상기 출력 움직임에 따라 상기 도구의 움직임을 일으키는 단계;
를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 컨트롤 장치에서의 입력 움직임에 대응하여 상기 도구에 대한 출력 움직임을 결정하는 단계가
상기 추정된 프레임 변환과 상기 하나 이상의 알려진 프레임 변환을 이용하여 마스터-도구 변환을 결정하는 단계와,
상기 입력 움직임에 대응하여 상기 출력 움직임을 결정하기 위해서 상기 마스터-도구 변환을 이용하는 단계를 포함하고;
상기 시스템이 오퍼레이터가 볼 수 있는 디스플레이, 상기 오퍼레이터에 대해 한정되어 있는 눈 프레임, 그리고 상기 이미지 포착 시스템에 의해 포착된 이미지의 정보를 상기 디스플레이에 나타내도록 구성된 영상 시스템을 더 포함하고 있고; 그리고
상기 마스터-도구 변환을 결정하는 단계가, 상기 컨트롤 장치 프레임의 지점들을 상기 눈 프레임의 대응하는 지점들로 변환시키는 마스트-눈 변환을 상기 도구 프레임의 지점들을 상기 이미지 프레임의 대응하는 지점들로 변환시키는 도구-이미지 변환과 정렬시키는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 이미지 포착 시스템에 의해 포착된 하나 이상의 이미지에 대한 정보로부터 상기 이미지 프레임과 상기 도구 프레임 사이의 이미지-도구 프레임 관계를 결정하는 단계가
상기 하나 이상의 이미지로부터 상기 도구의 자세 표시 지점을 확인하는 단계; 그리고
상기 자세 표시 지점을 이용하여 상기 이미지-도구 프레임 관계를 결정하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 알려지지 않은 프레임 변환의 적어도 하나의 파라미터가 알려져 있는 것을 특징으로 하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 이미지 포착 시스템에 의해 포착된 하나 이상의 이미지에 대한 정보로부터 상기 이미지 프레임과 상기 도구 프레임 사이의 이미지-도구 프레임 관계를 결정하는 단계가
하나의 순시치로부터 도출된 지점 쌍들을 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 이미지 포착 시스템에 의해 포착된 하나 이상의 이미지에 대한 정보로부터 상기 이미지 프레임과 상기 도구 프레임 사이의 이미지-도구 프레임 관계를 결정하는 단계가
다수의 순시치로부터 도출된 지점 쌍들을 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 알려지지 않은 프레임 변환에 대한 추정된 프레임 변환을 결정하는 단계가
상기 알려지지 않은 프레임 변화의 6개의 독립 파라미터보다 적은 수의 독립 파라미터를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
컨트롤 장치 프레임을 가진 컨트롤 장치;
이미지 프레임을 가진 이미지 포착 시스템; 그리고
일련의 프레임에 대해 복수의 프레임 변환을 지정하는 단계를 포함하고, 상기 일련의 프레임은 상기 이미지 프레임으로부터 도구 프레임까지이고, 상기 도구 프레임은 상기 이미지 포착 시스템의 시야 내에 배치된 도구의 프레임이고, 상기 일련의 프레임은 상기 이미지 프레임, 상기 도구 프레임, 그리고 상기 이미지 프레임과 상기 도구 프레임 사이의 하나 이상의 추가 프레임을 포함하고, 상기 복수의 프레임 변환의 각각의 프레임 변환은 상기 일련의 프레임 중의 한 쌍의 인접한 프레임에 대응하고, 상기 복수의 프레임 변환은 알려지지 않은 프레임 변환을 포함하고;
또한,
상기 이미지 포착 시스템에 의해 포착된 하나 이상의 이미지에 대한 정보로부터 상기 이미지 프레임과 상기 도구 프레임에 관한 상기 이미지 프레임과 상기 도구 프레임 사이의 이미지-도구 프레임 관계를 결정하는 단계;
상기 이미지-도구 프레임 관계와 상기 복수의 프레임 변환 중의 하나 이상의 알려진 프레임 변환을 이용하여 상기 알려지지 않은 프레임 변환에 대한 추정된 프레임 변환을 결정하는 단계;
상기 추정된 프레임 변환과 상기 하나 이상의 알려진 프레임 변환을 이용하여 상기 컨트롤 장치에서의 입력 움직임에 대응하여 상기 도구에 대한 출력 움직임을 결정하는 단계; 그리고
상기 출력 움직임에 따라 상기 도구의 움직임을 일으키는 단계;
를 포함하는 방법을 실행시키도록 구성된 적어도 하나의 프로세서;
를 포함하는 것을 특징으로 하는 시스템.
제8항에 있어서,
상기 컨트롤 장치에서의 입력 움직임에 대응하여 상기 도구에 대한 출력 움직임을 결정하는 단계가
상기 추정된 프레임 변환과 상기 하나 이상의 알려진 프레임 변환을 이용하여 마스터-도구 변환을 결정하는 단계; 그리고
상기 입력 움직임에 대응하여 상기 출력 움직임을 결정하기 위해서 상기 마스터-도구 변환을 이용하는 단계;
를 포함하는 것을 특징으로 하는 시스템.
제9항에 있어서,
오퍼레이터가 볼 수 있는 디스플레이;
상기 오퍼레이터에 대해 한정되어 있는 눈 프레임; 그리고
상기 이미지 포착 시스템에 의해 포착된 이미지의 정보를 상기 디스플레이에 나타내도록 구성된 영상 시스템;
을 더 포함하고 있고,
상기 마스터-도구 변환을 결정하는 단계가, 상기 컨트롤 장치 프레임의 지점들을 상기 눈 프레임의 대응하는 지점들로 변환시키는 마스트-눈 변환을 상기 도구 프레임의 지점들을 상기 이미지 프레임의 대응하는 지점들로 변환시키는 도구-이미지 변환과 정렬시키는 단계를 포함하는 것을 특징으로 하는 시스템.
제8항에 있어서, 상기 방법이
제2 일련의 프레임에 대해 제2 복수의 프레임 변환을 지정하는 단계를 더 포함하고, 상기 제2 일련의 프레임은 상기 이미지 프레임으로부터 제2 도구 프레임까지이고, 상기 제2 도구 프레임은 상기 이미지 포착 시스템의 시야 내에 배치된 제2 도구의 프레임이고;
상기 방법이 또한
상기 제2 복수의 프레임 변환 중의 알려지지 않은 프레임 변환에 대한 제2 추정된 프레임 변환을 결정하는 단계; 그리고
상기 추정된 프레임 변환과 상기 하나 이상의 알려진 프레임 변환을 이용하여 결정된 제2 출력 움직임에 따라 상기 도구를 이동시키는 단계;
를 더 포함하는 것을 특징으로 하는 시스템.
제8항에 있어서, 하나 이상의 알려진 프레임이 복수의 알려진 프레임을 포함하는 것을 특징으로 하는 시스템.
제8항에 있어서, 상기 복수의 프레임 변환이 제2 알려지지 않은 프레임 변환을 포함하고, 상기 방법이
상기 이미지-도구 프레임 관계와 상기 하나 이상의 알려진 프레임 변환을 이용하여 제2 알려지지 않은 프레임 변환에 대한 제2 추정된 프레임 변환을 결정하는 단계를 더 포함하는 것을 특징으로 하는 시스템.
제13항에 있어서, 제2 알려지지 않은 프레임 변환에 대한 제2 추정된 프레임 변환을 결정하는 단계가 비용 함수를 최적화하는 단계를 포함하는 것을 특징으로 하는 시스템.
제8항 내지 제13항 중 어느 한 항에 있어서, 상기 알려지지 않은 프레임 변환의 적어도 하나의 파라미터가 알려져 있는 것을 특징으로 하는 시스템.
제8항 내지 제13항 중 어느 한 항에 있어서, 상기 이미지 포착 시스템에 의해 포착된 하나 이상의 이미지에 대한 정보로부터 상기 이미지 프레임과 상기 도구 프레임 사이의 이미지-도구 프레임 관계를 결정하는 단계가
상기 하나 이상의 이미지로부터 상기 도구의 자세 표시 지점을 확인하는 단계; 그리고
상기 자세 표시 지점을 이용하여 상기 이미지-도구 프레임 관계를 결정하는 단계;
를 포함하는 것을 특징으로 하는 시스템.
제8항 내지 제13항 중 어느 한 항에 있어서, 상기 이미지 포착 시스템에 의해 포착된 하나 이상의 이미지에 대한 정보로부터 상기 이미지 프레임과 상기 도구 프레임 사이의 이미지-도구 프레임 관계를 결정하는 단계가
하나의 순시치로부터 도출된 지점 쌍들을 결정하는 단계를 포함하는 것을 특징으로 하는 시스템.
제8항 내지 제13항 중 어느 한 항에 있어서, 상기 이미지 포착 시스템에 의해 포착된 하나 이상의 이미지에 대한 정보로부터 상기 이미지 프레임과 상기 도구 프레임 사이의 이미지-도구 프레임 관계를 결정하는 단계가
다수의 순시치로부터 도출된 지점 쌍들을 결정하는 단계를 포함하는 것을 특징으로 하는 시스템.
제8항 내지 제13항 중 어느 한 항에 있어서, 상기 일련의 프레임이
상기 이미지 프레임으로부터 고정 프레임까지의 제1 일련의 프레임; 및
상기 고정 프레임으로부터 상기 도구 프레임까지의 제2 일련의 프레임;
을 포함하는 것을 특징으로 하는 시스템.
제8항 내지 제13항 중 어느 한 항에 있어서, 상기 이미지 포착 시스템이 기계 요소에 구속되어 있는 것을 특징으로 하는 시스템.
제8항 내지 제13항 중 어느 한 항에 있어서,
상기 이미지 포착 시스템과 상기 도구 중의 하나에 결합되도록 구성된 제1 로봇 암을 가지고 있으며 제1 구조 프레임을 가지고 있는 제1 구조; 및
상기 이미지 포착 시스템과 상기 도구 중의 다른 하나에 결합되도록 구성된 제2 로봇 암을 가지고 있으며 제2 구조 프레임을 가지고 있는 제2 구조;
를 더 포함하고 있고,
상기 제1 구조와 상기 제2 구조 중의 적어도 하나가 이동가능한 구조이고, 상기 제1 구조 프레임이 고정 프레임이고, 상기 알려지지 않은 프레임 변환이 상기 제2 구조 프레임의 지점들을 상기 고정 프레임의 대응하는 지점들로 변환시키는 것을 특징으로 하는 시스템.
제8항 내지 제13항 중 어느 한 항에 있어서, 상기 알려지지 않은 프레임 변환에 대한 추정된 프레임 변환을 결정하는 단계가
상기 알려지지 않은 프레임 변화의 6개의 독립 파라미터보다 적은 수의 독립 파라미터를 결정하는 단계를 포함하는 것을 특징으로 하는 시스템.