KR20170140179A - 하이퍼덱스테러스 시스템 사용자 인터페이스 - Google Patents

Abstract

그라운드리스 사용자 입력 디바이스(UID)를 사용하는 하이퍼덱스테러스 로봇 시스템의 실시형태에 대한 방법 및 시스템. 일부 실시형태에서, 하이퍼덱스테러스 시스템은 2개가 오정렬될 때에도 슬레이브 제어부가 마스터 제어부를 따르도록 허용한다. 다수의 자유도로 일어나는 마스터 제어부의 모션은 그 성분 부분으로 분리되고 그리고 다르게 프로세싱될 수 있다. 각각의 자유도는 독립적으로 프로세싱되고 그리고 다르게 스케일링될 수 있다. 예컨대, 일부 실시형태에서는, 그라운드리스 사용자 인터페이스 디바이스의 롤 모션만이 전달된다. 일부 실시형태에서, 마스터 슬레이브 제어는 마스터와 슬레이브가 서로의 특정 영역 내에 있을 때만 허용된다.

Description

하이퍼덱스테러스 시스템 사용자 인터페이스

우선권 및 참조에 의한 편입

본 출원은 2015년 2월 24일자로 출원된 미국 가출원 제62/120,128호의 35 U.S.C. §119(e) 하의 이익 및 우선권을 주장하며, 이로써 그 전체는 참고로 본 명세서에 편입되고 그리고 본 명세서의 일부분으로 생각되어야 한다.

기술분야

본 출원은 일반적으로는 외과 수술을 수행하기 위한 것과 같은 하이퍼덱스테러스 로봇 시스템(hyperdexterous robotic system)에 관한 것이다.

수술에서 로봇 공학의 사용은 점점 더 일반적으로 되고 있다. 그러한 로봇 시스템에서, 전형적으로 외과의와 같은 오퍼레이터는 소위 마스터 제어부인 제어부를 동작시킨다. 마스터 제어부의 이동은 그 후, 하나 이상의 수술 도구 또는 기기를 제어하도록 사용될 수 있는, 슬레이브 시스템 상에서 재현된다. 그리하여, 외과의는 마스터 제어부를 조작하여 대응하는 이동이 슬레이브 제어부에서 수술 도구에 의해 수행되게 야기함으로써 환자 상의 외과 수술을 수행할 수 있다.

여기에서 개시된 방법 및 시스템의 실시형태는 그라운드리스(groundless) 사용자 입력 디바이스(user input device)(UID)를 사용하는 하이퍼덱스테러스 로봇 시스템을 개시한다. 외과 수술을 수행하는 외과의와 같은 오퍼레이터는 대응하는 이동이 슬레이브 시스템의 로봇 도구에 의해 수행되게 야기하기 위해 마스터 제어부를 동작시킨다. 마스터 제어부가 그라운드리스 UID를 사용하기 때문에, 오퍼레이터는 어느 적합한 위치로부터라도 자유 공간에서 마스터 제어부를 동작시킬 수 있다. 그렇지만, 오퍼레이터의 이동이 사용자 콘솔에 의해 배향 또는 제약되지 않기 때문에, 사용자의 눈 프레임에 대한 그라운드리스 UID의 배향은 슬레이브 시스템의 라이브 비디오 피드에서 사용자에게 디스플레이될 때 카메라 프레임에 대한 로봇 도구와 오정렬되게 될 수 있다. 라이브 비디오 피드는 슬레이브 시스템에 비해 임의 배향 및 위치에 있을 수 있다. 그리하여, 사용자의 눈 프레임에 대한 UID 프레임과 카메라 프레임에 대한 로봇 도구 프레임을 매칭시킬 필요성이 있을 수 있다.

일부 실시형태에서, 하이퍼덱스테러스 시스템은 2개가 오정렬될 때에도 슬레이브 제어부가 마스터 제어부를 따르도록 허용한다. 예컨대, 적어도 하나의 실시형태에서는, 그라운드리스 사용자 인터페이스 디바이스의 롤 모션만이 전달된다. 일부 실시형태에서, 마스터-슬레이브 제어는 마스터와 슬레이브가 서로의 특정 영역 내에 있을 때만 허용된다.

일부 실시형태에서, 다수의 자유도에서 일어나는 마스터 제어부의 모션은 그 성분 부분으로 분리되고 그리고 다르게 프로세싱된다. 각각의 자유도는 그 후 독립적으로 프로세싱되고 그리고 다르게 스케일링될 수 있다. 일부 실시형태에서는, 그라운드리스 사용자 인터페이스 디바이스의 모션이 그것이 제어하는 로봇 도구 및 사용자 인터페이스 디바이스의 상태에 종속하여 다르게 스케일링되는 이방성 스케일링이 구현될 수 있다.

일부 실시형태에서, 하이퍼덱스테러스 시스템은 오퍼레이터가 로봇 시스템을 제어하기 위해 앉도록 강제되는 콘솔을 반드시 갖지는 않을 수 있기 때문에, 작업 공간의 중심이 정의된다. 작업 공간의 중심은 오퍼레이터가 그 또는 그녀 자신을 배향시키기 위해 식별하고 돌아갈 수 있는 공간에서의 영역일 수 있다. 작업 공간의 이러한 중심을 사용하여, 인간 오퍼레이터의 자연 이동을 로봇 도구의 특정 이동으로 변환하는 자연 좌표 시스템이 정의된다. 자연 좌표 시스템은, 눈 또는 눈 각도, 손, 몸통 등과 같은, 오퍼레이터의 하나 이상의 신체 부분을 포함하는, 오퍼레이터의 신체에 대해 정의될 수 있다.

일 실시형태에서는, 시스템이 개시된다. 시스템 제1 로봇 도구 및 제1 참조 프레임을 사용하여 제1 로봇 도구를 제어하도록 구성된 그리고 오퍼레이터에 의한 사용을 위한 제1 그라운드리스 사용자 인터페이스 디바이스(UID)를 포함할 수 있고, 제어는 제1 UID의 제1 UID 모션을 식별하는 것 및 제1 UID의 식별된 제1 UID 모션에 적어도 부분적으로 기반하여 제1 로봇 도구의 제1 로봇 도구 이동을 수행하는 것을 포함한다. 시스템은 제2 로봇 도구 및 제1 참조 프레임과는 독립적인 제2 참조 프레임을 사용하여 제2 로봇 도구를 제어하도록 구성된 그리고 오퍼레이터에 의한 사용을 위한 제2 그라운드리스 사용자 인터페이스 디바이스(UID)를 더 포함할 수 있고, 제어는 제2 UID의 제2 UID 모션을 식별하는 것 및 제2 UID의 식별된 제2 UID 모션에 적어도 부분적으로 기반하여 제2 로봇 도구의 제2 로봇 도구 이동을 수행하는 것을 포함한다.

일부 실시형태에서, 시스템은 다음 중 하나 이상을 포함할 수 있다. 제1 로봇 도구는 그래스퍼(grasper), 수술 도구, 또는 카메라 중 적어도 하나를 포함할 수 있다. 제1 UID는 오퍼레이터의 제1 손에 의해 제어되도록 더 구성될 수 있고 그리고 제2 UID는 오퍼레이터의 제2 손에 의해 제어되도록 더 구성된다. 제1 도구를 제어하는 것은 드라이브가 맞물렸는지 결정하는 것; 및 드라이브가 맞물렸다고 결정하는 것에 응답하여, 제1 손과 연관된 오퍼레이터의 제1 팔뚝 상의 위치를 확립하는 것을 더 포함할 수 있되, 제1 UID의 UID 모션은 제1 팔뚝 상의 위치와 관련하여 측정된다. 제1 로봇 도구를 제어하는 것은 제1 좌표 프레임에 대한 제1 UID의 배향을 제2 좌표 프레임에 대한 제1 로봇 도구의 배향과 비교하는 것을 더 포함할 수 있되, 제1 UID는 제1 좌표 프레임에 대한 제1 UID의 배향이 제2 좌표 프레임에 대한 제1 로봇 도구에 비해 특정 영역 내에 있으면 제1 로봇 도구를 제어한다. 제1 좌표 프레임은 오퍼레이터와 연관된 자연 좌표 프레임에 대응할 수 있고, 그리고 제2 좌표 프레임은 제1 로봇 도구와 연관된 카메라 프레임에 대응한다. 영역은 제1 로봇 도구의 주위의 원뿔을 포함할 수 있고, 원뿔은 제1 로봇 도구의 단부에 대응하는 정점을 포함한다. 제1 로봇 도구의 제1 로봇 도구 이동의 속도는 제1 로봇 도구에 비해 제1 UID의 배향 간 계산된 차이에 적어도 부분적으로 기반하여 조절될 수 있다. 제1 로봇 도구는 복수의 다른 영역과 연관된 복수의 제어 기법과 연관될 수 있고, 그리고 제1 로봇 도구를 제어하도록 제1 UID에 의해 사용된 복수의 제어 기법 중 하나는 제2 좌표 프레임에 대한 제1 로봇 도구의 배향에 비해 제1 좌표 프레임에 대한 제1 UID의 배향에 적어도 부분적으로 기반한다.

다른 실시형태에서는, 시스템이 개시된다. 시스템은 제1 로봇 도구 및 제1 참조 프레임을 사용하여 제1 로봇 도구를 제어하도록 구성된 제1 그라운드리스 사용자 인터페이스 디바이스(UID)를 포함할 수 있고, 제어는 제1 UID의 제1 UID 모션을 식별하는 것, 제1 UID 모션을 적어도 제1 성분 및 제2 성분을 포함하는 2개 이상의 성분으로 분리하는 것, 2개 이상의 성분 상의 제1 변환을 수행하는 것, 및 제1 변환에 적어도 부분적으로 기반하여 로봇 도구의 제1 로봇 도구 이동을 수행하는 것을 포함하되, 제1 성분 및 제2 성분은 다르게 변환된다.

일부 실시형태에서, 시스템은 다음 중 하나 이상을 포함할 수 있다. 2개 이상의 성분은 적어도 롤 성분(roll component), 피치 성분(pitch component), 및 요 성분(yaw component)을 포함할 수 있고, 그리고 제1 변환은, 식별된 제1 UID 모션이 확립된 기준을 충족한다는 결정에 응답하여, 제1 로봇 도구의 수행된 제1 로봇 도구 이동으로 롤 성분을 변환하지만 피치 성분 또는 요 성분을 변환하지 않는 것을 포함한다. 2개 이상의 성분은 적어도 롤 성분, 피치 성분, 및 요 성분을 포함할 수 있고, 그리고 제1 변환은 요 성분 및 피치 성분 상의 중간 변환으로서, 수정된 요 성분, 수정된 피치 성분, 및 중간 롤 성분을 발생시키는 중간 변환을 수행하는 것; 및 수정된 롤 성분을 결정하는 것을 포함하고, 수정된 롤 성분은 롤 성분과 중간 변환으로부터 획득된 중간 롤 성분의 합에 적어도 부분적으로 기반하되, 제1 로봇 도구의 제1 로봇 도구 이동은 수정된 롤 성분, 수정된 요 성분, 또는 수정된 피치 성분 중 하나에 적어도 부분적으로 기반한다. 2개 이상의 성분은 적어도 회전 성분 및 병진 성분을 포함할 수 있고, 그리고 제1 변환은 병진 성분이 임계치를 충족하는지 자동으로 결정하고, 그리고, 병진 성분이 임계치를 충족하지 않으면, 제1 로봇 도구의 제1 로봇 도구 이동에 대한 병진 성분을 0으로 설정하는 것; 및 회전 성분이 임계치를 충족하는지 자동으로 결정하고, 그리고, 회전 성분이 임계치를 충족하지 않으면, 제1 로봇 도구의 제1 로봇 도구 이동에 대한 회전 성분을 0으로 설정하는 것을 포함한다. 제1 변환은 2개 이상의 성분 중 적어도 하나의 성분을 스케일링하는 것을 포함할 수 있고, 그리고 스케일링의 양은 제1 UID의 위치에 적어도 부분적으로 기반한다. 제1 UID는, UID의 위치가 오퍼레이터의 손목 위치에 적어도 부분적으로 기반하게 되게, 오퍼레이터에 의해 잡혀 있도록 구성된 UID를 포함할 수 있고, 오퍼레이터의 손목의 모션의 범위는 적어도 편안한 영역과 불편한 영역으로 구획되고, 그리고 스케일링의 양은 손목이 어느 영역에 있는지에 적어도 부분적으로 기반한다. 제1 UID는 제1 UID가 자연 작업 공간 영역 내에 위치하는 경우에만 제1 로봇 도구를 제어할 수 있다. 제1 로봇 도구를 제어하는 것은 드라이브가 맞물렸는지 결정하는 것; 제1 UID가 자연 작업 공간 영역 내에 있는지 결정하는 것; 및 드라이브가 맞물렸다고 그리고 제1 UID가 자연 작업 공간 내에 있다고 결정하는 것에 응답하여, 제1 로봇 도구의 위치에 대응하는 제1 UID에 대한 영 위치를 확립하는 것을 더 포함할 수 있다.

또 다른 실시형태에서는, 컴퓨터-구현 방법이 개시된다. 방법은 적어도 하나의 그라운드리스 사용자 인터페이스(UID)의 모션을 식별하는 단계, 식별된 모션을 적어도 제1 성분 및 제2 성분을 포함하는 2개 이상의 성분으로 분리하는 단계, 2개 이상의 성분 상의 적어도 하나의 변환을 수행하는 단계, 및 적어도 하나의 로봇 도구의 이동을 수행하는 단계를 포함하도록 특정 컴퓨터-실행가능한 명령어로 구성된 하나 이상의 컴퓨팅 디바이스에 의해 구현될 수 있되, 제1 성분 및 제2 성분은 다르게 변환되고 그리고 이동은 제1 성분 및 제2 성분 상에 수행된 적어도 하나의 변환에 적어도 부분적으로 기반한다.

일부 실시형태에서, 컴퓨터-구현 방법은 다음 중 하나 이상을 사용하여 구현될 수 있다. 적어도 하나의 로봇 도구는 그래스퍼, 수술 도구, 또는 카메라 중 적어도 하나를 포함할 수 있다. 적어도 하나의 UID는 제1 UID 및 제2 UID를 포함할 수 있고, 제1 UID 및 제2 UID는 오퍼레이터의 제1 손 및 제2 손에 의해 제어되도록 구성되고, 그리고 제1 UID 및 제2 UID는 독립적 좌표 프레임에서 제1 손 및 제2 손에 의해 이동될 수 있다. 컴퓨터-구현 방법은 특정 좌표 프레임에서 적어도 하나의 로봇 도구의 배향과 적어도 하나의 UID의 배향을 비교하는 단계를 더 포함할 수 있되, 적어도 하나의 UID는 적어도 하나의 UID의 배향이 좌표 프레임에서 적어도 하나의 로봇 도구에 비해 특정 영역 내에 있으면 적어도 하나의 로봇 도구를 제어한다. 적어도 하나의 로봇 도구의 이동의 속도는 적어도 하나의 로봇 도구에 비해 적어도 하나의 UID의 배향 간 계산된 차이에 적어도 부분적으로 기반하여 조절될 수 있다.

도 1은, 일부 실시형태에 따른, 하이퍼덱스테러스 수술 시스템의 예시도;
도 2는, 일부 실시형태에 따른, 좌표 프레임을 도시하는 하이퍼덱스테러스 수술 시스템의 예시도;
도 3은, 일부 실시형태에 따른, 도 2의 다양한 좌표 프레임의 예시도;
도 4는, 일부 실시형태에 따른, 하이퍼덱스테러스 수술 시스템의 그래스퍼와 그라운드리스 UID가 정렬될 때 이동의 전달의 예시도;
도 5는, 일부 실시형태에 따른, 그래스퍼와 그라운드리스 UID가 정렬되지 않을 때 롤 이동의 전달의 예시도;
도 6a는, 일부 실시형태에 따른, 절대 제어 모드에서의 좌표 프레임의 예시도;
도 6b는, 일부 실시형태에 따른, 증분 제어 모드에서의 좌표 프레임의 예시도;
도 7은, 일부 실시형태에 따른, 마스터와 슬레이브 제어부가 오정렬될 때 롤 모션을 적용하기 위한 방법의 예시도;
도 8은, 일부 실시형태에 따른, 마스터와 슬레이브 제어부가 오정렬될 때 롤 모션을 적용하기 위한 다른 방법의 예시도;
도 9a는, 일부 실시형태에 따른, 분리 및 스케일링 연산의 예시도;
도 9b는, 일부 실시형태에 따른, 분리 및 스케일링 연산의 다른 예시도;
도 10은, 일부 실시형태에 따른, 이방성 스케일링의 예시도;
도 11a 및 도 11b는, 일부 실시형태에 따른, 운전성 원뿔(drivability cone)의 예시도;
도 11c는, 일부 실시형태에 따른, 편차 각도의 함수로서 배향 각도를 도시하는 플롯의 예시도;
도 11d는, 일부 실시형태에 따른, 최소화된 오차 운전 기법의 예시도;
도 12a, 도 12b 및 도 12c는, 일부 실시형태에 따른, 작업 공간의 중심의 예시도;
도 12d 및 도 12e는, 일부 실시형태에 따른, 작업 공간의 중심의 이용의 예시도;
도 13a는, 일부 실시형태에 따른, 오퍼레이터의 각각의 팔에 대한 좌측 및 우측의 감지로서, 좌측 및 우측의 감지가 일반적으로 오퍼레이터에 대한 좌측 및 우측과 일치하는 예시도;
도 13b는, 일부 실시형태에 따른, 오퍼레이터의 각각의 팔의 좌측 및 우측 감지로서, 좌측 및 우측 감지가 오퍼레이터의 머리 또는 신체의 좌측 및 우측 감지와 일치하지 않는 예시도;
도 14는, 일부 실시형태에 따른, 각각의 팔과 하나씩 연관된 2개의 독립적 좌표 프레임의 예시도;
도 15는, 일부 실시형태에 따른, 도 14에서 설명된 2개의 독립적 좌표 시스템에 대한 좌표 변환의 예시도;
도 16은, 일부 실시형태에 따른, 2개의 독립적 좌표 프레임의 예시도;
도 17은, 일부 실시형태에 따른, 오퍼레이터의 손의 결합된 모션을 분리하기 위한 다수의 센서를 갖는 하이퍼덱스테러스 수술 시스템의 예시도; 및
도 18은 여기에서 논의된 특정 시스템 및 방법이 구현될 수 있는 컴퓨터 시스템의 일 실시형태의 예시도.

개관

아래에서는 특정 실시형태 및 예가 설명되기는 하지만, 추가적 주제 사항은 구체적으로 개시된 실시형태 너머로 다른 대안의 실시형태 및/또는 용법으로까지 그리고 그 수정물 및 균등물로까지 확장된다. 그리하여, 본 발명의 범위는 아래에서 설명되는 특정 실시형태 중 어느 것에 의해서도 제한되지 않는다. 예컨대, 여기에서 개시된 어느 방법 또는 프로세스에서라도, 방법 또는 프로세스의 단계 또는 동작은 어느 적합한 순차로라도 수행될 수 있고 그리고 어느 특정 개시된 순차로도 반드시 한정되지는 않는다. 다양한 동작은, 특정 실시형태를 이해하는데 도움이 될 수 있는 방식으로, 다수의 개별 동작으로 차례로 설명될 수 있지만; 설명의 순서는 이들 동작이 순서 종속적임을 내포하는 것으로 해석되어서는 안 된다. 부가적으로, 여기에서 설명되는 구조, 시스템, 및/또는 디바이스는 통합된 컴포넌트로서 또는 별개의 컴포넌트로서 구체화될 수 있다. 다양한 실시형태를 비교하려는 목적으로, 이들 실시형태의 특정 태양 및 이점이 설명된다. 어느 특정 실시형태에 의해서라도 반드시 모든 그러한 태양 또는 이점이 달성되는 것은 아니다. 그리하여, 예컨대, 다양한 실시형태는 여기에서 또한 교시 또는 시사될 수 있는 바와 같은 다른 태양 또는 이점을 반드시 달성하지는 않고도 여기에서 교시된 바와 같은 하나의 이점 또는 이점 그룹을 달성 또는 최적화하는 방식으로 수행될 수 있다.

본 개시는 예의 목적으로 외과 또는 다른 의료 수술에 사용되는 로봇 시스템을 주로 언급할 것이지만, 여기에서 설명된 방법 및 시스템은 어느 유형의 하이퍼덱스테러스 로봇 시스템에라도 적용될 수 있다.

수술에서 로봇 공학의 사용은 점점 더 일반적으로 되고 있다. 그러한 로봇 시스템에서, 전형적으로 외과의와 같은 오퍼레이터는 소위 마스터 제어부인 제어부를 동작시킨다. 마스터 제어부의 이동은 그 후 슬레이브 시스템 상에서 재현된다. 전형적으로, 그러한 시스템에서 마스터 제어부는 외과의가 앉거나 서 있을 수 있는 콘솔에 결합된다. 콘솔과 마스터 제어부 간 결합은, 몇 자유도에서의 이동이 허용될 수 있지만, 콘솔과 마스터 제어부는 떼어 놓을 수 없는 그러한 것이다. 이들 유형의 마스터 제어부는 전형적으로는 소위 그라운디드 제어부(grounded control)이다. 이러한 유형의 배열에서, 외과의는 그 또는 그녀 자신을 배향시키도록 콘솔을 사용한다. 마스터 제어부 입력 디바이스와 슬레이브 기기의 디스플레이된 비디오 피드가 정렬되기 때문에, 외과의의 손 이동은 슬레이브 기기에 의해 충실하게 재현된다. 그렇지만, 그러한 시스템은 외과의가 복잡한 수술을 수행할 수 있게 하지만, 마스터 입력 디바이스와 슬레이브 로봇 도구의 디스플레이된 비디오 피드 간 이러한 정렬을 집행하는 콘솔을 수용하기 위해 외과의는 흔히 환자 및 슬레이브 로봇 시스템으로부터 몇 피트 떨어진 위치로 제약된다.

여기에서 설명된 시스템 및 방법의 실시형태는 외과의가 (복강경 도구와 같은) 로봇 및 수동 도구로 수술을 수행할 수 있게 하되, 외과의는 환자와 관련하여 유익한 위치로 그 또는 그녀 자신을 위치결정시킬 수 있는 로봇 시스템을 개시한다. 외과의는 그라운드리스 사용자 인터페이스 디바이스의 사용을 통해 로봇 도구를 동작시킬 수 있다. 그라운드리스 디바이스는, 그라운디드 디바이스와 대조적으로, 자유 공간에서 조작될 수 있다. 그라운드리스 디바이스는 유선, 무선, 또는 그라운드리스일 수 있고, 그리고 외과의가 어느 적합한 위치로부터라도 외과 시술을 수행할 수 있는 능력을 제공할 수 있다. 예컨대, 외과의는 로봇 또는 수동 수술이 수행될 수 있도록 침상 가까이의 위치를 맡을 수 있다. 부가적으로, 외과의가 환자로부터 원격에 있을 필요가 없으므로, 외과의와 의료 스태프 간 더 양호한 통신이 가능하게 될 수 있다. 하이퍼덱스테러스 수술 시스템의 실시형태는 2014년 9월 25일자로 출원된 미국 특허출원 제14/388,180호(발명의 명칭 "Hyperdexterous Surgical System"), 2014년 10월 9일자로 출원된 미국 특허출원 제14/510,465호(발명의 명칭 "Hyperdexterous Surgical System"), 2014년 10월 9일자로 출원된 미국 특허출원 제14/510,474호(발명의 명칭 "Hyperdexterous Surgical System"), 및 2014년 10월 9일자로 출원된 미국 특허출원 제14/510,566호(발명의 명칭 "Hyperdexterous Surgical System")에 개시되어 있고, 그리고 이로써 모든 그러한 출원은 참고로 본 명세서에 그 전체가 편입되고 그리고 본 명세서의 일부분이라고 생각되어야 한다. 부가적으로, 사용자 인터페이스 디바이스 및 관련 시스템의 실시형태는 2015년 4월 15일자로 출원된 미국 가특허출원 제62/151,596호(발명의 명칭 "Hyperdexterous Surgical System User Interface Devices")에 개시되어 있으며, 그것은 이로써 참고로 본 명세서에 그 전체가 편입되고 그리고 본 명세서의 일부분이라고 생각되어야 한다.

그렇지만, 그라운드리스 디바이스를 구현하기 위해 시스템을 제어하는 새로운 패러다임 및 새로운 방법이 유익할 수 있다. 일부 실시형태 중 하나의 그러한 혜택은 외과의가 사용자 콘솔에 있을 필요가 없게 하는 것에 의해 힘입는다. 위에서 언급된 바와 같이, 그라운디드 디바이스는 전형적으로는 외과의를 배향시키는 방법으로서 콘솔을 사용한다. 콘솔은 물리적 디바이스이므로, 그것은 또한 외과의에게 마스터 콘솔을 동작시키는 동안 그 또는 그녀의 팔을 얹을 곳을 제공하여, 재차 배향을 제공하는데 유용하다. 자유 공간에서 그라운드리스 디바이스로 동작하는 동안, 배향 참조는 더 이상 존재하지 않는다. 이들 상황에서, 마스터 입력 디바이스와 슬레이브 모션의 라이브 피드 간 완벽한 정렬을 요구하는 것은 시스템을 동작하기 더 힘들게 할 수 있다. 그리하여, 마스터 제어부와 슬레이브 비디오 피드가 특정 한도 내에서 오정렬되더라도 시스템이 동작할 수 있게 할 필요성이 있다. 대조적으로, 그라운디드 디바이스를 사용하는 시스템은 전형적으로는 마스터 입력 디바이스와 슬레이브 비디오 피드가 오정렬될 때 동작을 허용하지 않는다. 부가적으로, 사용자가 복강경 도구와 같은 수동 도구와 로봇 마스터 입력 디바이스 양자를 동시에 동작시키는데 도움을 주기 위해 슬레이브 로봇 도구의 디스플레이된 비디오 피드의 배향 대비 물리적 슬레이브 로봇 도구의 배향과 관련된 큐를 사용자에게 제공하는 것이 유익할 수 있다. 일례로서, 큐는 사용자의 눈 좌표 프레임으로부터 슬레이브 로봇에 의해 유지된 카메라의 좌표 프레임으로 "줌"의 3차원 모션을 도해하는 일련의 내삽된 프레임을 렌더링함으로써 제공될 수 있다.

일부 실시형태의 다른 태양에서, 그라운디드 디바이스를 사용하는 시스템으로 다시 돌아가면, 사용자 인터페이스 콘솔의 물리적 본성은 보통 특정 진로로 외과의의 손의 모션을 강제한다. 그라운드리스 사용자 입력 디바이스를 통해 시스템의 제어가 달성될 수 있는 시스템에서, 외과의의 손의 모션은 제약되지 않는다. 일부 경우에, 제약되지 않는 모션은 소망하지 않는 모션을 초래할 수 있다. 일례로서, (외과의와 같은) 인간의 손목은 6 자유도(DOF)에서 이동한다. 이들 DOF는, 직선 좌표 시스템이 손목과 연관된다고 가정할 때, 롤, 피치, 요, X 방향으로의 이동, Y 방향으로의 이동, 및 Z 방향으로의 이동이다. 팔꿈치 및 어깨는 부가적 DOF를 제공할 수 있다. 그렇지만, 이러한 예에 대해, 그것들은 무시될 수 있다. 그라운드리스 입력 디바이스를 클러칭하는 외과의가 롤 동작을 수행하도록 그 또는 그녀의 손목을 이동시킬 때, 소망되지 않을 수 있는 다른 자유도에서 또한 이동하는 것이 손목의 자연스러운 경향이다. 이들 상황에서, 일부 실시형태에서는 슬레이브가 그래도 가도록 명령을 받는 다양한 DOF에서의 모션을 스케일링 또는 분리하는 것이 유익할 수 있다. 그리하여, 일부 실시형태에서는 마스터의 일부 모션이 강조되고 그리고 일부가 경시되도록 슬레이브의 모션을 그것이 통해 갈 수 있는 각각의 DOF에서 다르게 스케일링 또는 분리하는 것에 대한 혜택이 있을 수 있다. 관련된 태양에서, 일부 실시형태에서는 어느 자유도를 강조할지 그리고 어느 것을 경시할지 확립하는데 추가적 혜택이 있을 수 있다. 그리하여, 시스템의 실시형태는 상황 종속적 강조 계층을 확립할 수 있다. 예컨대, 일 구성에서, 외과의는 피치 및 요 모션을 적용하는 것보다 롤링 모션을 적용하는 것이 더 용이함을 알게 될 수 있다; 부가적으로, 외과의는 병진 모션을 적용하는 것보다 피치 및 요 모션을 적용하는 것이 더 용이함을 알게 될 수 있다. 이러한 유형의 계층은 그라운드리스 UID가 이용될 때 사용의 용이함을 개선할 수 있다.

일부 실시형태에서, 콘솔에서 대신에 공중에서 사용자 입력 디바이스를 동작시킬 수 있는 외과의의 능력은 또 다른 필요성을 확립한다. 위에서 설명된 바와 같이, 그라운디드 디바이스를 갖는 시스템에서, 외과의는 배향을 위한 수단으로서 콘솔을 사용한다. 그라운드리스 UID로는, 이러한 유형의 배향을 제공할 수 있는 유사한 물리적 구조가 없을 수 있다. 그라운드리스 UID가 물리적 구조, 예컨대, 팔걸이 또는 의자와 연관되더라도, 그라운드리스 UID는 규정된 영역으로만 이동하도록 기계적으로 제약되지는 않을 수 있다. 그리하여, 일부 실시형태에서는 사용자가 돌아가기에 자연스럽게 느끼는 사용자 주위의 공간에서의 홈 작업 공간을 생성하는 것이 유익할 수 있다. 외과의가 그 또는 그녀의 손과 슬레이브 로봇 도구 간 관계에 대해 확신하지 못하면, 홈 작업 공간으로 돌아감으로써, 재배향이 획득될 수 있다.

본 개시에서는 수 개의 접근법이 설명된다. 일 실시형태에서는, 마스터와, 때로는 슬레이브 제어부라고 지칭되는 슬레이브 로봇의 디스플레이된 이미지가 정렬될 것을 요구하는 시스템 대신에, 하이퍼덱스테러스 시스템은 그 2개가 오정렬될 때에도 슬레이브 제어부가 마스터 제어부를 따르도록 허용한다. 이러한 개념의 수 개의 변형 및 실시형태가 설명된다. 일 실시형태에서는, 그라운드리스 사용자 인터페이스 디바이스의 롤 모션만이 전달된다. 다른 실시형태에서, 마스터 슬레이브 제어는 마스터와 슬레이브가 서로의 특정 영역, 또는 다수 영역 내에 있을 때만 허용된다. 예컨대, 다수 영역은 (롤 축 둘레로) 0도 오정렬에 중점을 둔 영역 및 180도 오정렬에 중점을 둔 다른 영역을 포함할 수 있다. 또 다른 실시형태에서, 다수의 자유도에서 일어나는 마스터 제어부의 모션은 그 성분 부분으로 분리되고 그리고 다르게 프로세싱된다. 각각의 자유도는 그 후 독립적으로 프로세싱되고 그리고 다르게 스케일링될 수 있다. 이러한 개념의 변형 및 실시형태는 그라운드리스 사용자 인터페이스 디바이스의 모션이 그것이 제어하는 로봇 도구 및 사용자 인터페이스 디바이스의 상태에 종속하여 다르게 스케일링되는 이방성 스케일링을 포함할 수 있다. 또 다른 실시형태에서, 하이퍼덱스테러스 시스템은 오퍼레이터가 로봇 시스템을 제어하기 위해 앉도록 강제되는 콘솔을 반드시 갖지는 않을 수 있기 때문에, 작업 공간의 중심이 정의된다. 작업 공간의 이러한 중심은 오퍼레이터가 그 또는 그녀 자신을 배향시키기 위해 식별하고 돌아갈 수 있는 공간에서의 영역이다. 이러한 작업 공간 중심 개념을 사용하여, 그리고 더 추가적 개념에서, 인간 오퍼레이터의 자연 이동을 로봇 도구의 특정 이동으로 변환하는 자연 좌표 시스템이 정의된다.

도면의 설명

도 1은, 일부 실시형태에 따라, 하이퍼덱스테러스 시스템(10)을 예시한다. 도면에서 예시된 바와 같이, 외과의와 같은 오퍼레이터(20)는 로봇 제어식 도구(40)로 환자(30) 상에서 수술한다. 로봇 제어식 도구는 그라운드리스 사용자 인터페이스 디바이스(UID)(50)에 의해 제어된다. 일부 실시형태에서, 로봇 도구(40)는 수동형 암(75)을 통하여 침상에 결합되는 전동식 관절형 암(70)에 의해 유지되고 있다. 일부 실시형태에서, 암은 수동형인 반면, 다른 실시형태에서, 암은 능동형이다. 예컨대, 전동식 관절형 암(70)은 능동형 암을 통하여 침상에 결합될 수 있다.

예시된 도면에서, 사용자 인터페이스 스탠드(60)는 오퍼레이터 뒤에 있지만, 다른 실시형태에서, 사용자 인터페이스 스탠드(60)는 오퍼레이터에 상대적인 다른 위치에 위치결정될 수 있거나, 또는 전혀 없을 수 있다고 이해된다. 오퍼레이터는 사용자 인터페이스 스탠드(60)의 부근에 있어야 할 필요는 없다. 그보다는, 오퍼레이터는 그 자신 또는 그녀 자신을 환자와 관련하여 최적인 위치에 위치결정시키고 그리고 그라운드리스 사용자 인터페이스 디바이스(50)를 통하여 로봇 도구(40)를 조작할 수 있다.

일부 실시형태에서, 시스템(10)은 외과의가 환자에 대한 근접도에 기인하여 시술 동안 로봇 도구 또는 수동 도구 또는 양자를 사용하는 것을 가능하게 할 수 있다. 외과의가 로봇 도구를 사용하기를 바라면, 그때 그 또는 그녀는 도구를 제어하도록 그라운드리스 UID(50)를 사용할 수 있다. 시스템(10)은 외과의의 손 이동을 로봇 도구의 이동으로 변환하고 그리하여 그 또는 그녀가 수술을 수행하는 것을 가능하게 한다. 국한되는 것은 아니지만 그래스퍼 및 스테이플러와 같은 다양한 유형의 로봇 도구가 사용될 수 있다. 로봇 도구는 또한 카메라를 포함할 수 있다. 이들 카메라의 도움으로, 외과의는 수술을 수행하기 위해 신체 내부의 도구 및 기관을 시각화할 수 있다. 일부 실시형태에서, 그라운드리스 UID를 통한 로봇 도구의 조작은 파악가능하고 그리고 외과의에게 자연스럽게 느껴진다. 외과의는 환자의 신체 내부의 로봇 도구의 모션을 파악하도록 다수의 시각적 큐를 사용할 수 있다. 이들 시각적 큐는, 국한되는 것은 아니지만, 카메라에 의해 보이고 그리고 모니터(85) 상에 디스플레이되는 바와 같은 도구 및 기관의 이미지, 환자에 대한 외과의의 위치, 및 환자의 신체 밖에 있는 도구의 보이는 부분의 위치 및 배향을 포함할 수 있다. 일례로서, 외과의가 그 또는 그녀의 손으로 좌측 및 우측으로 이동하면, 외과의의 이해에 도움을 주기 위해, 도구 또한 모니터(85) 상에서 좌측 및 우측으로 이동할 수 있다. 다른 일례로서, 외과의가 그 또는 그녀의 손을 상하로 이동하면, 도구 또한 모니터(85) 상에서 상하로 이동할 수 있다. 손 이동과 그것들이 모니터 상에서 어떻게 디스플레이되는지 간의 상기 예 이외의 다양한 유형의 연관이 가능하고 그리고 다른 수단 또는 사용자 선호에 따라 설정가능하거나 선택가능할 수 있다. 이들 연관을 만들기 위해, (도 1 및 도 2에서 도시되지 않은) 시스템(10)과 연관된 컴퓨터는 사용자의 손의 모션을 로봇 도구의 모션으로 변환한다. 일부 실시형태에서, 컴퓨터는, 아래에서 더 설명되는, 도 18에서 예시된 바와 같은 컴퓨터 시스템일 수 있다.

일부 실시형태에서, 이들 변환은 좌표 프레임이 시스템(10)의 하나 또는 수 개의 센서와 연관될 것을 필요로 한다. 좌표 프레임은 프레임이 참조 프레임에 대해 연관되는 신체의 배향을 정의하는 좌표 시스템이라고 생각될 수 있다. 예컨대, 도 2는, 일부 실시형태에 따라, 하이퍼덱스테러스 시스템(10)과 연관될 수 있는 좌표 프레임을 예시한다. 도 2에서, 좌표 프레임은 각각 수동형 암(75), (일례로서, 그래스퍼일 수 있는) 로봇 도구(40), 카메라(45), 그라운드리스 UID(50), 사용자 인터페이스 디바이스 베이스(65), 및 외과의(20)의 눈과 연관된 110, 120, 130, 140, 150, 160으로서 도시된다. 시스템(10)의 다른 센서 또한 다양한 좌표 프레임을 정의하도록 사용될 수 있다. UID 베이스(65)는 그라운드리스 UID(50)로부터 그라운드리스 신호를 수신하고 그리고 이들 UID의 위치를 그와 연관된 프레임에 상대적인 공간 좌표로 변환하는 센서이다. 그리하여, 시스템(10)과 연관된 컴퓨터의 태스크 중 하나는 오퍼레이터가 하는 모션을 오퍼레이터가 이해 및 파악할 수 있는 방식으로 로봇 도구의 모션으로 변환하는 것이다.

파악을 달성하기 위한 하나의 기술은 오퍼레이터가 사용하는 마스터 제어부 또는 제어부와 마스터 제어부에 의해 제어되는 로봇 도구를 정렬시키는 것이다. 더 구체적으로, 시스템은 (a) 오퍼레이터의 눈 프레임에 대해 UID 프레임을 그리고 (b) 로봇 도구 모션을 캡처링한 카메라 프레임에 대해 로봇 도구 프레임을 정렬시킬 수 있다. 일반적으로, 이들 유형의 제어 시스템은 소위 마스터-슬레이브 제어 시스템인데 슬레이브(이 경우에서는 로봇 도구)는 마스터의 모션을 충실하게 따른다. 예컨대, 오퍼레이터는 콘솔을 사용하고 그리고, 그 자신 또는 그녀 자신을 배향시킬 방법으로서, 콘솔에 전기기계적으로 결합되는 마스터 제어부를 조작한다. 그렇지만, 도 1에서 예시된 바와 같은 시스템(10)과 같은 일부 실시형태에서는, 오퍼레이터가 그라운드리스 UID를 사용하고 있을 수 있으므로 그 유형의 시각적 큐 및/또는 기계적 제약은 반드시 존재하지는 않는다. 그리하여, 일부 실시형태에서, 오정렬된 모션이 허용된다. 일부 실시형태에서, 마스터 제어부와 로봇 도구는 오퍼레이터의 눈 프레임에 상대적인 그라운드리스 UID의 배향이 로봇 도구를 묘사하는 카메라 프레임(예컨대, 오퍼레이터에 제시되고 있는 비디오 피드에서의 카메라 프레임)에 대해 그라운드리스 UID에 의해 제어된 로봇 도구의 배향과 정렬되지 않을 때 오정렬된다고 생각될 수 있다.

방법의 다양한 실시형태는 불요 모션을 분리 또는 경시하도록 사용될 수 있다. 이것을 특정 일례로 더 설명하기 위해, 롤링 모션이 그 또는 그녀의 손으로 오퍼레이터에 의해 수행될 때, 단순히 손의 역학에 기인하여, 손이 병진 모션을 또한 겪는 경향이 있다. 이러한 병진 모션은 바라지 않고 원하지 않는 것일 수 있다. 이들 경우에, 일부 실시형태에서는 병진 모션을 억제 또는 제거하는 것이 유익할 수 있다. 더 일반적으로, 외과의와 같은 오퍼레이터가 그라운드리스 UID를 조작하고 있을 때, 많은 상황에서 바라지 않거나 원하지 않는 결합된 모션이 있을 수 있다. 물리적 제약을 갖는 UID와 달리, 그라운드리스 UID는 그러한 모션을 분리하도록 오퍼레이터를 강제할 수 없다. 그리하여, 일부 실시형태에서는 이러한 결합된 모션을 억제 또는 제거할 수 있는 것이 바람직할 수 있다. 이들 및 다른 개념은 아래에서 상세히 설명된다. 그렇지만, 개념을 더 잘 이해하기 위해, 시스템(10)과 연관된 좌표 프레임의 실시형태가 아래에서 상세히 이제 설명된다.

좌표 프레임

도 2는, 일부 실시형태에 따라, 그것들이 연관될 수 있는 시스템(10)의 센서와 관련한 좌표 프레임을 예시한다. 도 3은, 일부 실시형태에 따라, 그들 간 변환을 설명하도록 사용될 수 있는 방식으로 도 2에서 도시된 좌표 프레임을 예시한다. 이들 실시형태에서 작동할 변환의 수학에 대해, 이들 좌표 프레임 전부의 위치 및 배향은 시스템(10)과 연관된 제어 시스템에 일부 방식에서는 입력되거나, 알려져 있거나, 계산되거나, 또는 유도되어야 한다.

예컨대, 시스템(10)과 같은 다-관절형 로봇 시스템의 실시형태에서, 전형적으로 소위 세계 좌표 프레임인 참조 좌표 프레임은 시스템의 다른 좌표 프레임에 대한 공통 참조로서 선택 및 사용될 수 있다. 참조 좌표 프레임에 대한 다른 좌표 프레임의 위치 및 배향은 다양한 방식으로 제어 시스템에 입력되거나, 알려져 있거나, 계산되거나, 또는 유도될 수 있다. 일부 경우에, 실제 측정은 참조 프레임에 대한 좌표 프레임의 위치 및 배향을 구하도록 수동으로 또는 자동으로 행해질 수 있다. 자동 측정은 좌표 프레임과 연관된 센서에 위치 센서와 같은 센서를 결합함으로써 획득될 수 있다. 수동 또는 자동 측정을 통해 위치 및 배향이 알려져 있는 좌표 프레임은 "측정된" 좌표 프레임이라고 지칭될 수 있다.

일부 실시형태에서, 좌표 프레임의 위치 및 배향은 좌표 프레임이 연관되는 하나 이상의 추적되는 물체에 센서를 결합함으로써 이들 파라미터를 감지하는 것에 의해 알려져 있다. 전자기 위치 센서 또는 인코더와 같은 다양한 유형의 센서가 사용될 수 있다. 예컨대, 전자기 감지 코일은 시스템의 다른 컴포넌트에 의해 생성된 확립된 전자기장에서 그 위치 및 배향을 추적하도록 사용될 수 있다. 일부 실시형태에서, 광학 추적이 사용될 수 있되, 하나 이상의 카메라는, 발광 특징부, 반사성 볼과 같은 반사성 특징부, 특이 표면 등과 같은, 추적되는 물체 상의 특징부를 추적하도록 사용된다. 카메라는 추적되는 물체 상에 놓일 수 있거나 또는 추적되는 물체는 카메라에 의해 추적되는 반사성 특징부를 포함할 수 있다. 일부 실시형태에서, 센서는 인코더를 포함할 수 있되, 인코더는 배향 정보(예컨대, 1 자유도의 배향)를 제공할 수 있다. 이들 센서로부터의 측정은 참조 좌표 프레임 또는 어느 다른 좌표 프레임과 같은 어떤 다른 참조와 관련하여 주어질 수 있다. 감지를 통해 위치 및 배향이 알려져 있는 좌표 프레임은 본 개시 내에서는 "감지된" 좌표 프레임이라고 지칭될 수 있다. 센서 또는 카메라는 오퍼레이터의 신체, UID, 로봇 도구는 물론, 또한 시스템의 다른 부분 상의 다양한 위치에 놓일 수 있다고 인식된다.

일부 실시형태에서는, 아래에서 더 설명되는 바와 같이, 좌표 프레임의 위치 및 배향에는 특정 값이 배정될 수 있거나 또는 다른 좌표 프레임과 유사하거나 똑같다고 가정될 수 있다.

도 3으로 돌아가서, 도면의 좌측은 일반적으로 오퍼레이터와 연관된 3개의 좌표 프레임을 도시하는 반면, 우측은 일반적으로 로봇과 연관된 3개의 좌표 프레임을 도시한다. 좌측 상에는, 3개의 좌표 프레임, 눈 좌표 프레임(160), UID 베이스 좌표 프레임(150), 및 UID 좌표 프레임(140)이 도시된다.

눈 좌표 프레임(160)은 오퍼레이터와 연관된다; 오퍼레이터와 관련한 그 배향은 고정되지만 구성가능할 수 있다. 일례로서, 일부 실시형태에서, 눈 좌표 프레임은 오퍼레이터의 눈과 연관되지만 수평선에 30°의 각도로 설정될 수 있다. 이것은 의료 시술 동안 외과의와 같은 오퍼레이터가, 소정의 각도로 설정될 수 있는, 모니터 상에 디스플레이된 이미지를 바라보고 있을 수 있다는 사실에 기인할 수 있다. 그리하여, 외과의는 모니터를 보기 위해 위로 바라보거나 아래로 바라보아야 할 수 있다. 그리하여, 눈 좌표 프레임의 각도는 모니터의 각도에 기반하여 설정될 수 있다.

다양한 좌표 프레임의 논의를 다시 참조하면, 눈 좌표 프레임은 그것이 특정 배향을 갖는다고 가정되는 일례이다. 다른 실시형태에서는 30°이외의 각도가 역시 사용될 수 있다. 좌표 프레임 변환에 관여된 수학의 목적으로, 눈 좌표 프레임은 오퍼레이터가 물체의 위치 및 배향의 관점에서 그 또는 그녀가 보는 물체를 어떻게 인지하는지 정의할 수 있다. 부가적으로, 일부 다른 실시형태에서는, 눈 좌표 프레임 이외의 좌표 프레임이 오퍼레이터와 연관될 수 있다.

일부 실시형태에서, 눈 좌표 프레임은 가정되는 대신에 측정될 수 있다. 예컨대, 3D 추적기는 오퍼레이터의 머리 프레임을 측정하고 그리고 눈 좌표 프레임을 결정하도록 사용될 수 있다. 일부 실시형태에서, 안정된 원격 조종을 유지하기 위해, 눈 좌표 프레임은, 실시간으로 추적되는 대신에, 3D 추적기에 의해 주기적 기반으로 측정될 수 있다.

일부 실시형태에서, UID 베이스 좌표 프레임(150)은 소위 UID 베이스(65)인 시스템(10)의 물리적 센서와 연관될 수 있다. UID 베이스(65)는 시스템(10)의 환경에서 어디에라도 놓일 수 있다. UID 베이스 좌표 프레임의 위치 및 배향은, 직접 측정에 의해, 세계 좌표 참조 시스템과 같은 고정된 좌표 참조 시스템과 관련하여 알려져 있을 수 있다. 그리하여, UID 베이스 좌표 프레임은 측정된 좌표 프레임의 일례이다. UID 베이스 좌표 시스템은 그라운드리스 UID(50)의 위치 및 배향을 획득하도록 참조로서 시스템(10)에 의해 사용될 수 있다.

일부 실시형태에서, 좌표 프레임(140)은 그라운드리스 UID와 연관될 수 있고 그리고 그라운드리스 UID 자체의 이동과 같이 이리저리 이동한다. 그라운드리스 UID가 센서를 가질 수 있으므로, UID 베이스 좌표 프레임에 대한 UID 좌표 프레임의 위치 및 배향은 직접 감지에 기인하여 알려져 있을 수 있다. 화살표(155)는 UID 좌표 프레임(140)이 UID 베이스 좌표 프레임(150)과 관련하여 감지될 수 있음을 표시한다. UID 좌표 프레임은 감지된 좌표 프레임의 일례이다.

일부 실시형태에서, 그라운드리스 UID(50)는 6 자유도(DOF)에서 이리저리 이동할 수 있으며, 그 중 3개는 병진 DOF이고 그리고 다른 3개는 회전 DOF이다. 도 3에서의 좌표 프레임(140)을 참조하면, 병진 자유도는 X, Y, 및 Z 축 둘레일 수 있다. 관례에 의해, 롤, 피치 및 요 축이 각각 X, Y 및 Z 축에 정렬된다. 그리하여, 롤 축은 이러한 관례에 의해 좌표 프레임(140)의 X-축과 일치한다. 그렇지만, 다른 실시형태에서는, 롤 축이 Y 축에 정렬될 수 있는 것과 같은 다른 관례를 따를 수 있다. 본 개시에서 설명된 개념은 다른 실시형태에도 동등하게 적용된다. 본 절에서는, 롤 축이 X-축에 정렬될 것이라고 가정될 것이다. 시스템(10)과 연관된 더 많은 실시형태가 아래에서 설명될 것이다.

일반적으로 로봇과 연관된 좌표 프레임은 도 3의 우측 상에 도시된다. 일부 실시형태에서, 카메라 좌표 프레임(130)은 카메라(45)와 연관될 수 있다. 위에서 설명된 실시형태를 사용하면, 카메라의 롤 축은 카메라 좌표 프레임(130)의 X-축과 정렬될 수 있다. 오퍼레이터가 카메라에 의해 획득된 이미지를 보므로, 일부 실시형태에서는, 눈 좌표 프레임(160)과 카메라 좌표 프레임(130)이 정렬된다고 가정될 수 있다. 예컨대, 일부 실시형태에서, 원격 조종은 눈 좌표 프레임이 카메라 좌표 프레임과 매칭하고, 그리고 UID 좌표 프레임이 그래스퍼 좌표 프레임과 매칭할 때 수행된다. 일부 실시형태에서, 눈 좌표 프레임은 카메라 좌표 프레임과 매칭한다고 가정 또는 설정된다. 일부 실시형태에서, 그래스퍼 좌표 프레임과 UID 좌표 프레임은 오정렬될 수 있다.

암 베이스 좌표 프레임(110)은 로봇 도구를 유지하고 있는 암, 구체적으로는 능동형 암과 연관될 수 있다. 이러한 좌표 프레임은 암을 따른 어디에라도 놓일 수 있다. 예컨대, 일부 실시형태에서, 암 베이스 좌표 프레임(100)은 능동형 암의 제1 관절에 또는 베이스에 위치할 수 있다. 능동형 암은 수동 컴포넌트만을 가질 수 있는 수동형 암과는 대조적으로 다른 컴포넌트와 함께 모터 또는 액추에이터로 이루어질 수 있다. 일부 실시형태에서, 암 베이스 좌표 프레임은 참조 좌표 시스템과 관련한 그 위치 및 배향이 또한 직접 측정에 기인하여 알려져 있을 수 있으므로 측정된 좌표 프레임의 일례이다.

그래스퍼 좌표 프레임(120)은 로봇 도구와 연관될 수 있다. 일부 실시형태에서는, UID와 관련한 UID 좌표 프레임(140)과 유사하게, 그래스퍼 좌표 프레임(120)은 도구와 같이 이리저리 이동한다. 또한 UID 좌표 프레임과 유사하게, 그래스퍼 좌표 프레임(120)은 감지에 기인하여 암 베이스 좌표 프레임(110)과 관련하여 알려져 있을 수 있다. 능동형 암은 모든 그 관절 상에 인코더를 가질 수 있다; 이들 인코더는 그래스퍼 좌표 프레임(120)이 암 베이스 좌표 프레임(110)과 관련하여 알려져 있을 수 있는 감지된 값을 제공한다. UID 좌표 프레임(140)이 UID 베이스 좌표 프레임(150)과 관련하여 감지되는 방법과 유사하게, 화살표(115)는 그래스퍼 좌표 프레임이 암 베이스 좌표 프레임과 관련하여 알려져 있을 수 있음을 표시한다.

도 2에서 예시된 것과 같은 일부 실시형태에서, 카메라는 구별되는 수동형 암/능동형 암 조합에 의해 유지되는 것으로 보인다. 다른 실시형태에서, 카메라는 로봇 암 중 어느 것에 의해서라도 유지되어 있을 수 있다. 일부 실시형태에서, 카메라 좌표 프레임은 그것을 유지하고 있는 능동형 암의 베이스에서의 좌표 프레임과 관련하여 알려져 있을 수 있다. 그렇지만, 모든 능동형 암의 위치 및 배향은 세계 좌표 시스템을 참조하여 알려져 있을 수 있으므로, 일부 실시형태에서는, 카메라를 유지하고 있는 능동형 암과 연관된 좌표 프레임을 별개로 특정하거나 불러낼 필요는 없을 수 있다. 그리하여, 이러한 실시형태에서, 카메라를 유지하고 있는 능동형 암과 연관된 좌표 프레임은 별개로 특정되지 않는다.

본 개시 내내 설명 및 도면에서의 단어 "그래스퍼"는, 국한되는 것은 아니지만, 그래스퍼 및 스테이플러와 같은 어느 유형의 로봇 도구라도 포함한다. 단어 "로봇 도구" 및 "그래스퍼"는 동의어로 사용된다. 앞서 특정된 바와 같이, 로봇 도구가 일반적으로는 카메라 역시 포함하기는 하지만, 본 개시에서 카메라 및 카메라 좌표 프레임은 별개로 특정될 것이다. 암에 의해 유지되어 있는 로봇 도구 또는 카메라의 유형에 종속하여 UID 좌표 프레임 모션을 로봇 도구 또는 카메라 모션으로 변환하는 여러 다른 방법이 있을 수 있다. 많은 실시형태에서 암은 그것에 장착된 카메라 또는 로봇 도구의 유형을 결정하기 위한 센서를 구비하고 있다.

일부 실시형태에 대해 이들 좌표 프레임을 정의하는 목적은 UID 입력을 로봇 도구의 출력으로 변환하는 것이다. 환언하면, 오퍼레이터가 그라운드리스 UID를 이리저리 이동시킴에 따라, 그들 이동은 오퍼레이터에 의해 파악될 수 있는 방식으로 로봇 도구의 이동으로 변환된다. 일부 실시형태에서, 이러한 파악을 달성하기 위해, 눈 좌표 프레임과 카메라 좌표 프레임은, 오퍼레이터가 그라운드리스 UID를 조작함에 따라, 카메라에 의해 보이고 그리고 모니터 상에 디스플레이되는 바와 같은 로봇 도구의 모션이 손 이동에 대응하도록 정렬된다고 가정된다.

일부 실시형태에서, 병진 이동 및 피치 및 요 이동은 일반적으로 롤 모션보다 더 파악가능하다. 로봇 도구와 그라운드리스 UID의 롤 축에서의 오정렬은 이해하기 힘들 수 있는 도구의 이동을 야기한다. 예컨대, 오정렬은 로봇 도구의 모션이 예측하기 더 어렵게 야기할 수 있거나, 또는 UID로 모션을 수행할 때 오퍼레이터에 의해 소망되는 것과는 다른 방식으로 로봇 도구가 이동하게 야기할 수 있다. 이것은 오퍼레이터에 정신적 긴장 증가를 초래할 수 있어서, 오퍼레이터가 느려지게 야기할 수 있고 그리고 성공적 외과 수술의 실행에 해로울 수 있다. 공간에서 자유롭게 이리저리 이동하는 그라운드리스 UID를 사용하는 시스템에서, UID를 로봇 도구에 정확히 정렬시키는 것은 어려울 수 있다. 시스템(10)의 시나리오에서조차도, 오퍼레이터가 이해할 수 있는 방식으로 그라운드리스 UID의 롤 모션을 그래스퍼의 롤 모션으로 변환하는 것이 성취될 필요가 있다. 본 개시에서 설명된 일부 개념은 이것을 성취하고 그리고 추후 절에서 설명될 것이다. 회전 변위를 UID(마스터)로부터 로봇 도구(슬레이브)로 어떻게 전달할지의 방법 및 마스터로부터 슬레이브로의 롤의 전달 동안 오정렬의 문제가 이제 설명된다.

회전 변위의 전달

도 4는, 일부 실시형태에 따라, UID의 회전이 로봇 도구에 어떻게 전달되는지를 예시한다. 앞서 특정된 바와 같이, 로봇 도구는 또한 일반적으로 로봇 카메라를 포함하기는 하지만, 좌표 변환의 목적으로, 카메라 및 카메라와 연관된 좌표 프레임은 별개로 특정될 수 있다. 예컨대, 도 4에서 (200)에서 예시된 바와 같이, UID 좌표 프레임(140)과 눈 좌표 프레임(160)은 동일한 원점을 갖는 것으로 도시된다. 화살표(240)는 그라운드리스 UID(50)가 롤, 피치 및 요 성분을 갖는 회전 모션을 경험하였음을 예시한다. 오퍼레이터는 결국 (그 또는 그녀가 아주 잘 이러한 모션을 야기하고 있을 수 있으므로) 그 또는 그녀의 참조 프레임, 눈 좌표 프레임(160)에서 이러한 모션을 파악하여야 한다. 그리하여, UID 좌표 프레임에서의 모션은 눈 좌표 프레임으로 변환된다. 화살표(215)는 이러한 변환을 도시한다. 회전을 UID 좌표 프레임으로부터 눈 좌표 프레임으로 변환하기 위해, 2개의 변환이 일어날 수 있다. 제1 변환은 회전을 UID 좌표 프레임으로부터 UID 베이스 좌표 프레임으로 변환하는 것이다. 제2 변환은 회전을 UID 베이스 좌표 프레임으로부터 눈 좌표 프레임으로 변환하는 것이다.

일부 실시형태에서, 수학적으로, 회전의 변환은 회전 행렬을 사용하여 행해질 수 있다. 회전 행렬을 표현하기 위해 이러한 실시형태에서 따르는 관례는

이되, R은 좌표 프레임(B)에 대한 좌표 프레임(A)의 회전 행렬이다. 환언하면, 좌표 프레임(A)에서의 벡터를 회전시키기 위해, 그것은 좌표 프레임(B)에서의 그 배향을 구하도록 회전 행렬에 의해 승산된다. 그리하여, UID로부터 UID 베이스로 그리고 UID 베이스로부터 눈 좌표 프레임으로 위에서 언급된 2개의 변환은 다음과 같이 하나의 연산으로서 표현될 수 있다:

식(1)

T가 전치 연산을 묘사하는 경우

임을 인식하면, 식(1)은 다음과 같이 작성될 수 있다:

식(2)

다음으로, 계속 도 4를 참조하면, 눈 좌표 프레임에 대한 UID의 회전은 카메라 좌표 프레임에 대한 그래스퍼로 전달되고 그리고 화살표(225)에 의해 도시된다. 카메라 좌표 프레임에 대한 그래스퍼의 모션이 소망되는 것이다. 수학적으로, 카메라 좌표 프레임에 대한 그래스퍼의 회전은 다음과 같이 작성될 수 있다:

식(3)

그래스퍼는, 도 2에서 도시된 바와 같이, 후속하여 수동형 암(75)에 결합되는 능동형 암(70)에 결합된다. 그래스퍼 이동을 추적하도록 고정 참조 프레임을 사용하는 것이 반드시 필요하지는 않지만 수학적으로 편리하다. 일부 실시형태에서, "암 베이스"라고 지칭되는 수동형 암의 베이스는 고정 좌표 프레임을 위치시킬 그러한 편리한 위치를 제공한다. 이러한 위치가 고정되어 있는 것으로 설명되기는 하지만, 시스템(10)의 초기 셋업 동안, 수동형 암은 침상의 측면을 따라 적합한 어디에라도 위치될 수 있음을 유념해야 한다. 그리하여, 카메라 좌표 프레임에 대한 그래스퍼의 이동은 암 베이스 좌표 프레임에 대한 그래스퍼의 이동으로 변환될 수 있다. 이것은 도 4에서 화살표(235)에 의해 도시되고 그리고 다음과 같이 수학적으로 묘사된다:

식(4)

그리하여 식(1) 내지 식(4)은 하나의 식으로 조합될 수 있다:

식(5)

이러한 식은 UID 베이스 좌표 프레임에 대한 UID 모션의 암 베이스에 대한 그래스퍼의 모션으로의 변환의 일 실시형태를 묘사한다. 수량

은 제어 입력을 형성하고 그리고 감지된다; UID 배향은 UID 베이스에 대해 감지된다. 수량

은 제어 출력을 형성하고 그리고 식(5)에서 특정된 바와 같이 계산된다. 그 후, 로봇 도구는 계산된 값에 따라 암 베이스에 대해 조작될 수 있다.

롤 모션시 로봇 도구와 UID의 오정렬의 효과

그라운드리스 UID(50)와 로봇 도구(40)가 오정렬되면 또는

일 때, 그라운드리스 UID의 롤 모션은 파악가능한 방식으로 변환되지 않을 수 있다. 도 5는, 일부 실시형태에 따라, 그라운드리스 UID와 로봇 도구가 오정렬되는 경우 롤 모션의 일례를 예시한다. 오정렬의 효과를 예시하려는 목적으로, 눈 좌표 프레임(160), UID 베이스 좌표 프레임(150), 카메라 좌표 프레임(130) 및 암 베이스 좌표 프레임(110)이 정렬된 것으로 생각될 수 있다. 더욱, 재차 이러한 예의 목적으로, UID 좌표 프레임(140)과 그래스퍼 좌표 프레임(120)은 그래프(300)에서 명확히 도시된 바와 같이 회전 정렬되어 있지 않고 이 경우 2개의 좌표 프레임은 그들의 원점이 동일한 위치에 있으면서 서로의 위에 오버레이되어 있다. UID 좌표 프레임(140)은 그것을 그래스퍼 좌표 프레임(120)과 구별하기 위해 파선에 의해 도시된다.

그래프(140) 상에서, UID 롤, 피치 및 요 축이 각각 좌표 프레임의 X, Y 및 Z 축과 정렬된다고 가정할 때, UID가 롤 모션을 경험하면, 모션은 화살표(310)에 의해 묘사될 수 있다. 위에서 서술된 바와 같이 UID 좌표 프레임 및 그래스퍼 좌표 프레임을 제외한 모든 좌표 프레임이 정렬되므로, 로봇 도구에 전달될 때 UID의 이러한 롤 모션은 그래프(300)에서 파선 화살표(320)를 따라 일어날 수 있어, 불요 피치 및 요 모션을 초래한다. 로봇 도구의 롤 축이 그래스퍼 좌표 프레임(120)의 X-축을 따라 정렬되면, 로봇 도구는 파선 경로(320)를 따라 회전할 것이다 - 환언하면, 로봇 도구는 와블링 모션(wobbling motion)을 나타낼 수 있다. 더욱, 와블링 모션은 오정렬이 더 크면 더 현저하게 된다. 로봇 도구의 모션은 좌표 프레임의 원점에서 기원하는 원뿔로서 시각화될 수 있다. 그리하여, 로봇 도구는 롤 모션이 아닌 모션을 겪을 수 있다. 오퍼레이터는 원하였던 모든 것이 로봇 도구의 롤 모션이었을 때 이러한 유형의 모션이 왜 일어나는지 온전히 이해하지 못할 수 있다. 완전성을 위해, X, Y, Z 위치는 오정렬에 의해 영향을 받지 않을 수 있고 그리고 UID 모션에 기반하여 로봇 도구에 필요한 대로 적용됨이 서술되어야 한다. 그리하여, 아래에서 설명되는 개념에서는, 오정렬이 존재할 때 롤 모션을 보존하기 위한 다양한 방법이 설명된다.

제어 모드

일부 실시형태에서, 로봇 도구의 배향은 초기 배향에 비해 배향이 얼마나 많이 변화하였는지를 알고 있음으로써 계산될 수 있다. 초기 배향은 다양한 방법으로 측정될 수 있다. 예컨대, 소위 "절대 제어 모드"인 방법에서, 초기 배향은 사용자가 시스템(10)과 연관된 ("클러치"라고도 지칭될 수 있는) 드라이브를 맞물리게 할 때 확립된다. 참조를 위해, 드라이브를 맞물리게 하는 것은 그라운드리스 UID의 모션이 로봇 도구의 이동으로 변환될 필요가 있음을 시스템(10)에 알려준다. 더욱, 맞물림 해제된 상태에서, 로봇 도구는 정상 상태로 유지되고 그리고 그라운드리스 UID의 모션에 의해 영향을 받지 않는다. 절대 제어 모드에서, 암 베이스 좌표 프레임에 대한 로봇 도구의 회전 행렬의 일 실시형태는 다음과 같이 표현될 수 있다:

식(6)

여기서 위첨자 t=0 또는 t= τ는 위첨자가 적용되는 좌표 프레임이 시간 0 또는 시간 τ에서 취해져야 함을 표시하며, t=0은 운전 액션이 일어날 때의 순간에 확립되고 그리고 시간 τ는 시간의 현재 순간임을 유념한다.

식(6)에서, 우측변의 마지막 2개의 항

은 UID와 도구의 초기 오정렬을 표시한다. 이러한 오정렬은 운전 기간 내내 남아 있을 수 있다.

일부 실시형태에서, 로봇 도구의 배향을 계산하기 위한 다른 방법에서, 초기 배향은 직전에 선행하는 샘플링 순간에서의 배향이 되도록 취해진다. 이러한 방법은 소위 "증분 제어 모드"일 수 있다. 여기서 식은 다음과 같이 표현될 수 있다:

식(7)

여기서 τ는 시간에서의 현재 순간이고, τ - dτ는 시간에서의 직전의 순간을 표시하고, 그리고 여기서

는 다음에 의해 주어진다:

식(8)

더욱, 식(8)의 우측변 상의 2개의 회전 행렬의 실시형태는 다음과 같이 작성될 수 있다

식(9)

그리고

식(10)

그리하여, 식(6)은 절대 제어 모드를 사용하여 그라운드리스 UID의 회전 모션의 로봇 도구의 회전 모션으로의 변환을 가능하게 한다. 식(7)은 증분 제어 모드를 사용하여 그라운드리스 UID의 회전 모션의 로봇 도구의 회전 모션으로의 변환을 가능하게 한다. 이들 2개의 제어 모드는 마스터와 슬레이브가 오정렬될 때 모션을 가능하게 하는 개념을 설명하도록 사용될 수 있다. 그라운디드 UID를 사용하는 시스템은 전형적으로 절대 제어 모델을 사용한다. 그렇지만, 증분 제어 모드는, 시스템(10)과 같은, 그라운드리스 UID를 사용하는 시스템과 관련하여 유도된 개념이다.

오일러 각도

오일러 각도는 회전 행렬이 유도될 수 있는 3개의 각도 세트이다. 이들 3개의 각도는 결과적 좌표 프레임을 획득하기 위해 초기 좌표 프레임이 어떻게 회전될 수 있는지 알려준다. 오일러 각도는, 임의 회전이 3개의 파라미터(소위 오일러 각도)만에 의해 기술될 수 있음을 서술하는, 오일러의 회전 정리로부터 따른다. 상세한 설명은 문헌[Craig, John J., Introduction to Robotics: Mechanics and Control, 1989]에서 찾아볼 수 있으며, 이로써 그 전체가 참고로 본 명세서에 편입되고 그리고 본 명세서의 일부분이라고 생각되어야 한다. 그렇지만, 본 개시의 목적으로, 회전 행렬은 오일러 각도에 의해 특성이 표시될 수 있다. 이러한 간략한 설명에 기반하여, 일부 실시형태에 따라, 아래에서 설명되는 바와 같이 사용될 2개의 함수가 정의된다.

제1 함수 f _EulerYPR 는 다음과 같이 정의될 수 있다:

식(11)

그리고 제2 함수 g _EulerYPR 는 다음과 같이 정의될 수 있다:

식(12)

일부 실시형태에 따라, 함수 f _EulerYPR 는 그 입력으로서 회전 행렬 R을 취하고 그리고 3개의 오일러 각도 요, 피치 및 롤을 출력한다. 함수 g _EulerYPR 는 그 입력으로서 3개의 오일러 각도 요, 피치 및 롤을 취하고 그리고 회전 행렬 R을 출력한다. 이러한 간략한 설명으로부터, 오일러 각도와 회전 행렬은 동의어의 수학적 정의이어서, 좌표 프레임의 동일한 회전을 초래한다고 서술될 수 있다.

롤 이동 - 와블 억제 방법

앞서 논의된 바와 같이, 일부 실시형태에서는 그라운드리스 UID(50)(마스터 제어부)와 도구가 정렬되지 않더라도 그래스퍼와 같은 로봇 도구(슬레이브)가 조작될 수 있게 하는 것이 유익하다. 재차 앞서 서술된 바와 같이, 오퍼레이터는 그라운드리스 UID의 롤 모션이 소망되지 않는 축을 따른 와블 또는 회전으로 변환되는 도 5에서 예시된 효과에 기인하여 마스터와 슬레이브의 롤 축에서의 오정렬에 가장 민감할 수 있다.

일부 실시형태에서는, 전 3-축 정렬 대신에, 롤 축을 따라서와 같은 선택적 정렬이 시스템의 개선된 성능을 제공할 수 있다. 예컨대, "와블 억제" 방법의 일 실시형태는 로봇 도구가 그라운드리스 UID의 롤 모션에 기인하여 그 축을 따라 롤링할 수 있게 하도록 사용될 수 있다. 일부 실시형태에서, 롤 각도의 크기가 그라운드리스 UID의 요 각도 및 피치 각도의 크기보다 더 크면, 롤 모션만이 로봇 도구에 적용된다. 피치 및 요 자유도에서의 이동은 무시될 수 있다. 수학적으로, 이것은 다음과 같이 표현될 수 있다:

이면 식(13)

그때는 마스터로부터의 롤 각도만을 슬레이브에 적용한다. 더 일반적 의미로, 롤 각도가 피치 및 요의 함수와 관련하여 소정의 정의된 기준을 충족하면, 그때 시스템(10)은 롤 각도만을 적용할 수 있다. 예컨대, 일부 실시형태에서는, 다음 조건이 충족되면 롤만을 적용하는 것이 유익할 수 있다:

식(14)

여기서 k1 및 k2는 사용자 선호를 통하여 설정되거나 실험적으로 구한 계수일 수 있다. 다른 실시형태에서는, 롤만을 적용할지 결정하는 다른 방법이 사용될 수 있다. 부가적으로, 일부 실시형태에서, 피치 및 요는, 하나 이상의 기준이 충족되면, 무시되는 대신에 스케일링 또는 캡핑될 수 있다.

도 7은, 일부 실시형태에 따라, "와블 억제" 방법을 예시한다. 그래프(400)에서는, 2개의 UID 좌표 프레임(140, 140A)이 도시된다. UID 좌표 프레임(140)은 시간 t= τ - dτ에서 일어나는 반면 UID 좌표 프레임(140A)은 시간 t=τ에서 일어난다. 열거한 것(140, 140A)은 이들 2개의 좌표 프레임이 동일한 센서, UID와 연관됨을 강조하기 위해 선택된다 - 이들 좌표 프레임 간 차이는 그것들이 바로 위에서 설명된 바와 같이 일어날 때이다. 롤, 피치 및 요 축을 따른 화살표(430, 435, 440)는 각각 그라운드리스 UID(50)가 모든 3개의 축 상에서 모션을 경험하였음을 표시한다. 그래프(450)는 그래스퍼 좌표 프레임(120)이 시간 t=T-dT에서 UID 좌표 프레임에 대해 오정렬됨을 표시한다. 그렇지만, 그래프(450)는 또한 롤 축을 따른 하나의 이동만이 로봇 도구에 적용됨을 표시한다. 예시된 실시형태에서는, 식(13)이 적용되어 그라운드리스 UID의 롤 각도의 크기가 요 및 피치 각도의 크기의 합보다 더 컸음을 결정하였고, 그리하여 롤 각도만이 로봇 도구에 적용되었다. 그리하여, 그래프(450)에서, 시간 t=T에서는, 그라운드리스 UID가 경험하는 롤 각도만이 적용된다. 수학적으로, ΔR이 식(8)에서 정의된 바와 같으면, 그때 ΔR이 알려져 있거나 계산될 수 있음을 고려할 때, 함수 f _EulerYPR 는 다음의 각도를 구하도록 사용될 수 있다:

식(15)

"와블 억제" 방법은 그때 다음과 같이 작성될 수 있다:

식(16)

"와블 억제" 방법을 사용하는 이점은, 일부 실시형태에서, 인간이 그들의 엄지와 검지 사이에서 연필과 같은 물체를 어떻게 롤링하는지 관찰함으로써 쉽게 시각화될 수 있다. 인간의 손은 전형적으로는, 순수 롤 모션을 전하려고 의도할 뿐인 동안, 물체를 롤링할 때 다른 자유도로 모션을 전한다. "와블 억제"는, 예컨대, 순수 롤 모션이 의도되지만 손의 역학에 기인하여 달성되지 않을 수 있을 때 순수 롤 모션을 로봇 도구에 전하는 방법을 제안한다. 시스템(10)이 로봇 도구의 모션을 결정하도록 식(13)을 사용하고 있는 시간 동안, 오퍼레이터가 롤 축을 따르는 것 이외의 자유도에서 의도적으로 이동하기를 원하면, 그때는 식(13)이 충족되지 않도록 소망 방향으로 고의적 이동이 행해질 수 있다. 식(13)이 충족되지 않을 때, 요 및 피치 축을 따른 모션은 로봇 도구로 변환될 수 있다. 다른 상황에서, 와블 억제는 마스터와 슬레이브가 오정렬될 때 사용될 수 있다.

실제로 이러한 방법은 강건하기는 하지만, 일부 실시형태에서는, UID의 미세한 피치 및 요 모션이 상실될 수 있다. 이러한 방법은 또한 작은 샘플링 순간에 기인하여 이전 배향과 현재 배향 간 차이가 작을 때 증분 제어 모드에서 최상으로 작동한다. 절대 제어 모드에서 역시 작동하고 그리고 UID의 피치 및 요 회전을 보존할 수 있는 다른 방법이 이제 설명된다.

오정렬될 때 롤 이동 - 롤 투영

도 8은, 일부 실시형태에 따라, "롤 투영" 방법의 적용을 예시한다. 이러한 도면에서, 그래프(500)는 UID가 롤, 피치 및 요 축을 따라 UID 좌표 프레임(140)에서 모션을 경험할 수 있음을 예시한다; 이들 축을 따른 모션은 곡선 화살표(515(롤), 510(피치), 520(요))에 의해 지정된다. 일부 실시형태에서, (어느 병진 모션이라도 무시하는) UID 모션은 적어도 2개의 별개이지만 병렬인 단계로 그래스퍼 좌표 프레임으로 변환될 수 있다.

일 단계에서는, 요 및 피치 모션이 변환된다. 도면에서, 이것은 그래프(530A, 540A)에 의해 표시된다. 그래프(540A)에서 그래스퍼 좌표 프레임에서의 변환된 모션은 변환이 취해졌을 때 롤 모션이 억제되었다는 사실에도 불구하고 피치(550), 요(555) 및 롤(557) 성분을 가질 수 있다.

제2 단계에서, 그래스퍼 좌표 프레임에서 로봇 도구의 롤 각도는 위에서 설명된 단계의 결과로서 획득된 롤 각도에 UID의 롤 각도를 가산함으로써 계산될 수 있다. 이것은 그래프(530B, 540B)에 의해 표시된다. 그리하여, 롤은 요 및 피치와는 독립적으로 취급된다. 일부 실시형태에서, 식(6) 및 식(7)은 UID 좌표 프레임으로부터의 요 및 피치의 그래스퍼 좌표 프레임의 요, 피치 및 롤로의 변환에 사용된다. 일부 실시형태에서, 이러한 방법은 그라운드리스 UID와 로봇 도구의 오정렬에 의해 야기된 와블링 모션이 소거되므로 유익할 수 있다. 일례로서, 그라운드리스 UID가 롤 모션만을 경험할 때, 오정렬은 와블의 원인인 불요 피치 및 요 모션을 야기하고, 그것은 이러한 방법의 사용을 통해 소거될 수 있다. 더욱, 이러한 방법은 증분 제어 모드에서든 절대 제어 모드에서든 작동한다. 도 8을 참조하면, 그래프(530A)에서 (510) 및 (520)에 의해 표시된 회전은 그래프(540A)의 그래스퍼 좌표 프레임(130)에서 회전(550(피치), 555(요) 및 롤(557))으로 변환된다. 롤 각도(557)는 롤 각도(515)와 합산되어 최종 롤 각도(565)를 초래한다. 그 후, 변환된 요 및 피치는 로봇 도구의 최종 모션을 컴퓨팅하기 위해 합산된 롤 각도와 조합된다. 그리하여, 이러한 방법에서는 피치 및 요 모션이 보존된다. 부가적으로, 위에서 서술된 바와 같이, 이러한 방법은 절대 및 증분 제어 모드에 대해 작동한다. 아래에서의 식은, 일부 실시형태에 따라, 단계로 수학적으로 이러한 방법을 설명한다.

단계 1: UID에 대해 오일러 각도를 구한다

식(17)

이러한 방법은 증분 제어 모드에 대해서든 절대 제어 모드에 대해서든 작동할 수 있으므로, ΔR 은 어느 모드에 대해서든 계산될 수 있다. 증분 모드에 대해 ΔR은 식(8)에서 정의된 바와 같다. 절대 제어 모드에 대해, 동일한 식은, 드라이브가 맞물릴 때의 순간에, dτ 가 0과 같게 되어 사용될 수 있다.

단계 2: 0과 같게 설정된 roll _UID 로 새로운 ΔR 을 계산한다

식(18)

단계 3: ΔR _UID 을 ΔR _Grasper 로 변환한다

식(19)

단계 4: 그래스퍼에 대해 오일러 각도를 구한다

식(20)

단계 5: 식(20)으로부터 계산된 바와 같은 로봇 도구의 롤 각도와 UID의 롤 각도를 가산함으로써 직접 계산된 롤 각도로 ΔR _Grasper 를 다시 컴퓨팅한다.

식(21)

식(21)에서 알 수 있는 바와 같이, 최종 ΔR 은 피치 및 요를 변환하는 동안 획득된 롤 각도에 UID의 직접적 롤 각도를 가산함으로써 계산된 롤 각도 및 피치 및 요의 경우에 변환된 모션에 기반하여 계산될 수 있다. 이러한 방법은 오정렬이, 다른 각도가 배제되는 것은 아니지만, +/- 30도 미만이면 가장 유익하게 작동할 것이다.

일반적으로, 2개의 방법("와블 억제" 및 "롤 투영") 중 어느 것이든, 마스터와 슬레이브 제어부가 오정렬되더라도, UID의 롤 모션을 보존하고 그리고 그 모션을 로봇 도구에 적용하도록 일부 실시형태에 따라 사용될 수 있다. 다른 유익한 개념이 시스템(10)과 관련하여 이제 논의된다.

UID 모션의 스케일링, 분리, 및 계층 적용

일부 실시형태에서, 그라운드리스 UID의 모션은 시스템(10) 내부적으로 분리된 방식으로 프로세싱될 수 있다. 로봇 도구의 최종 출력을 컴퓨팅함에 있어서, 각각의 DOF에서의 입력 모션은 다르게 분석 및 처리될 수 있다. 예컨대, 일부 입력 모션에는 다른 입력 모션에 비해 우선권이 부여될 수 있다 - 최종 출력 모션을 컴퓨팅하도록 계층 시스템이 적용될 수 있다. 환언하면, 오퍼레이터가, 시스템(10) 내부적으로, 복잡한 방법으로 그라운드리스 UID를 이동시키는 동안, 이들 모션은 소정의 확립된 기준에 따라 다르게 분리 및 조작될 수 있다.

일례로서, 오퍼레이터가 조직에 봉합선을 가하는 것과 같은 액션을 수행하도록 그라운드리스 UID를 롤링하면, 손목은 단순히 인간의 손목이 어떻게 작동하는지의 역학에 기인하여 병진 모션을 가하는 자연스러운 경향이 있을 수 있다. 그러한 경우에, 특정 기준이 만족되면, 병진 성분은 UID 이동을 로봇 도구로 변환하는 동안 억제 또는 제거될 수 있다.

예컨대, 도 9a는, 일부 실시형태에 따라, UID 이동을 로봇 도구로 변환할 때, 병진 성분을 분리 및 스케일링하는 것을 예시한다. 이러한 도면에서, 그래프(600)는 UID가 UID 좌표 프레임(140)에 의해 도시된 초기 위치로부터 (파선에 의해 도시된) 좌표 프레임(140B)에 의해 도시된 위치로의 모션을 경험함을 묘사한다. 도면으로부터 모션은 회전 및 병진 양자를 수반하였음을 알 수 있다. 도면으로부터 분명하지는 않지만, 회전은 롤, 피치 및 요 축 중 하나 또는 다수를 따라 일어날 수 있다.

도 9a에서 도시된 바와 같이, 그래프(630)는 로봇 도구의 모션을 예시한다. 여기에서 로봇 도구의 초기 위치는 (130)으로 도시된다. 예시된 실시형태에 따라, UID 좌표 프레임(140B)에 대응하는 로봇 도구의 새로운 위치는 (파선에 의해) 좌표 프레임(130B)에 의해 도시된다. 그래프(600)에서 도시된 UID의 병진 모션은 그래프(630)에 의해 도시된 바와 같이 로봇 도구의 변환된 모션으로부터 제거되었다. 이러한 예에서 병진 모션이 제거되었기는 하지만, 다른 개념에서는 병진 모션이 스케일링될 수 있다. 예컨대, 스케일링 배율은 0.5일 수 있다; 이것은 UID가 경험한 병진 양의 절반만 병진되는 로봇 도구의 새로운 위치를 초래할 것이다.

도 9b는, 일부 실시형태에 따라, 분리 및 스케일링의 다른 일례를 예시한다. 여기에서 그래프(700, 720)는 각각 그라운드리스 UID의 초기 및 최종 위치를 가리키고 그리고 그래프(740, 760)는 각각 로봇 도구의 초기 및 최종 위치를 가리킨다. 명확화를 위해, 그래프(700, 720)는 UID 좌표 프레임이 (700)에서의 그 초기 위치로부터 (720)에서의 그 최종 위치로 병진 및 회전되었음을 표시하도록 세계 좌표 시스템의 XY 평면에서 일어난다고 가정된다. 병진은 회전에 비해 비교적 큰 것으로 보인다. 그래프(740, 760)에서는, 로봇 도구의 초기 및 최종 위치가 도시된다. 명확화를 위해, 이들 그래프 또한 동일한 세계 좌표 시스템에서 도시된다. 예시된 실시형태에서는, 병진 모션만이 UID와 로봇 도구 간 보존 및 변환되었고 그리고 회전이 제거되었다. 그리하여, 도 9a 및 도 9b는 모션을 로봇 도구에 전달하는 동안 그라운드리스 UID의 그 모션을 분리 및 스케일링하는 개념의 예를 예시한다.

일부 실시형태에서, 위의 예는 아래와 같이 수학적으로 일반화 및 표현될 수 있다.

그라운드리스 UID의 총 모션이

에 의해 표현되면, 그때:

식(22)

여기서

는 눈 좌표 프레임에 대한 UID 좌표 프레임의 회전 행렬이고 그리고

는 눈 좌표 프레임에 대한 그라운드리스 UID의 병진을 표현하는 위치 벡터이다. R 이 3x3 회전 행렬이고 그리고 P가 3X1 병진 행렬이면 그때 T의 마지막 행은 1x4 행렬이고 이 경우 식(22)에서의 0은 [0 0 0]에 대한 축약 형태 표기법이다.

유사하게, 로봇 도구의 총 모션이

에 의해 표현되면, 그때:

식(23)

여기서

는 암 베이스 좌표 프레임에 대한 그래스퍼 좌표 프레임의 회전 행렬이고 그리고

는 암 베이스 좌표 프레임에 대한 그래스퍼의 병진을 표현하는 위치 벡터이다.

,

및

는

,

및

의 변환임을 인식하여야 한다. 일부 실시형태에서, 식(23)의 우측변의 마지막 행은 위에서 설명된 바와 같이 식(22)의 우측변의 마지막 행과 동일한 방식으로 해석될 수 있다.

이제, 일부 실시형태에 따라, 로봇 도구의 최종 적용된 모션은 다음과 같이 변환된 행렬

및

의 소정의 일반 함수

로서 작성될 수 있다:

식(24A)

예컨대, 도 9a에서 예시된 바와 같이,

는 0으로 설정된다. 일부 실시형태에서, 시스템은 크기

가 임계치 미만인지 알기 위해 체크할 수 있다. 임계치는 사용자에 의해 설정되거나 또는 시스템에 의해 자동으로 또는 반-자동으로 결정되거나 또는 시스템에서 단지 예비-프로그래밍될 수 있다. 일부 실시형태에서,

의 값은 0으로 설정되는 대신에 스케일링될 수 있다. 국한되는 것은 아니지만 0.5 *

과 같은 어느 다른 적합한 값이라도 사용될 수 있다.

유사하게, 도 9b의 예에서,

는 I(항등 행렬)로 설정될 수 있다. 이러한 경우에 시스템(10)은 크기

가 임계치보다 더 큰지 알기 위해 체크할 수 있다. 재차, 임계치는 사용자에 의해 설정되거나 또는 시스템에 의해 자동으로 또는 반-자동으로 결정되거나 또는 시스템에서 단지 예비-프로그래밍될 수 있다. 부가적으로, 위에서와 같이, 일부 실시형태에서는 또한

의 값이 I로 설정될 필요는 없다. 어느 다른 적합한 스케일링 배율이라도 사용될 수 있다. 스케일링을 적용하기 위해, 식(17)을 사용하여 성분 요, 피치 및 롤 각도가 우선 구해질 수 있다. 이들 각도는 그 후 스케일링될 수 있고 그리고 새로운 회전 행렬이 식(18)을 사용하여 구해질 수 있다.

일부 실시형태에서는, 롤링 모션이, 다음에 피치 및 요 모션, 다음에 병진 모션이 되도록 만들기에 더 용이하도록 계층적 변환이 구성될 수 있다. 예컨대, 이러한 거동을 구성하기 위해, 식(11) 및 식(12)과 함께 식(24A)은 아래와 같이 사용될 수 있다. 최종 적용된 모션은 다음과 같이 작성될 수 있다:

식(24B)

여기서

식(24C)

그리고 여기서 요, 피치 및 롤은 다음으로부터 계산될 수 있다:

식(24D)

일부 실시형태에서, 계수 α, β, γ, δ는 사용자에 의해 조절되거나 또는 셋업 동안 로봇 시스템에 의해 예비 설정되거나 또는 다른 방법으로 조절될 수 있다. 그것들은 또한 요, 피치 및 롤 각도 또는 병진의 값에 기반하여 조절될 수 있다. 예컨대, 일 구성에서, 계수는 아래와 같이 설정될 수 있다:

식(24E)

이러한 구성은 차례로 (0.25의 계수를 갖는) 병진보다 달성하기가 더 용이할 수 있는 (0.5의 계수를 갖는) 피치 및 롤에 비해 롤 모션을 달성하기가 더 용이하게 할 수 있다. 환언하면, 병진 모션은 가장 억제되고 다음에 피치 및 요이다. 롤 모션은 전혀 억제되지 않는다.

일부 실시형태에서, 계수는 단지 크기보다는 모션의 다른 속성에 기반할 수 있다. 예컨대, 계수는 속도, 가속도 또는 다른 적합한 속성에 기반하여 조절될 수 있다. 일례로서, 병진의 속도가 느리면, 그때 δ는 식(24E)에서 낮은 또는 영 값으로 설정될 수 있다. 이것은 그라운드리스 UID의 병진의 속도가 느리면, 도구의 최종 출력을 계산할 때 병진 모션이 억제되는 효과를 가질 것이다. 유사하게, 일부 실시형태에서, 사용자가 롤 모션을 그라운드리스 UID에 적용하는 각속도가 높거나 또는 소정의 예비 설정된 또는 사용자 설정가능한 값보다 더 높으면, 그때 요 및 피치 DOF와 연관된 계수 α, β는 영 또는 낮은 값으로 설정될 수 있다. 이것은 그 또는 그녀가 (사용자에 의해 설정되거나 시스템에 의해 설정될 수 있는 소정의 임계치보다 더 높은) 소정의 높은 레이트로 그라운드리스 UID를 롤링하였을 때 사용자에 의해 이루어진 요 및 피치 모션을 억제하는 효과를 가질 것이다. 그리하여, 계수는 속도와 같은 물리적 속성 상에 설정될 수 있음을 알 수 있다. 가속도와 같은 다른 속성 또한 사용될 수 있다.

그리하여, 일부 실시형태에서, UID의 모션은 분리된 방식으로 처리될 수 있고 그리고 시스템(10)은 소정의 확립된 기준에 기반하여 로봇 도구의 최종 모션에 각각의 분리된 성분 중 얼마나 많은 것이 적용될 수 있는지 정할 수 있다. 부가적으로, 계수를 조절함으로써, 모션의 각각의 성분은 강조 또는 경시되어 다른 거동을 달성할 수 있다.

이방성 스케일링

도 10은, 일부 실시형태에 따라, 이방성 스케일링의 일례를 예시한다. 일부 실시형태에서, 모션은 다양한 조건에 종속하여 다르게 스케일링될 수 있다. 예컨대, 도 10은 그라운드리스 UID(50)를 잡고 있는 오퍼레이터(20)의 인간 손(810)을 도시한다. 곡선 화살표(850)는 손목 모션에 기인하는 손의 모션의 편안한 범위를 표시한다. 파선으로 그려진 곡선 화살표(860, 870)는 손목이 벌려질 수 있지만 무리하게 되는 영역을 예시한다. 오퍼레이터는 이들 영역에 접근하려고 하는 동안 불편하게 느낄 수 있다. 예시된 실시형태에서, 그라운드리스 UID로부터 축방향으로 뻗어 있는 원뿔(820)은 곡선 화살표(850)를 따라 손목을 이동시키는 동안 접근될 수 있는 영역을 표현하는 한편, 파선에 의해 예시된 원뿔(830, 840)은 곡선 화살표(860, 870)를 따라 손목을 이동시킴으로써 접근될 수 있는 영역을 표현한다. 일부 실시형태에서, 시스템(10)의 동작을 더 용이하게 하기 위해, UID의 모션은, 오퍼레이터의 손목이 곡선 화살표(850)를 따라 위치하는지 또는 (860 또는 870)을 따라 위치하는지에 종속하여, 그것이 로봇 도구의 모션으로 변환될 때 다르게 스케일링될 수 있다.

예컨대, 특정 실시형태에서, 손목이 원뿔(820)에 대응하는 곡선 화살표(850)를 따라 위치하면, UID 모션과 로봇 도구 간 모션의 스케일링은 1:1일 수 있다. 다른 한편, 손목이 영역(830, 840)에 대응하는 (860, 870)을 따라 위치하면, UID 모션과 로봇 도구 간 모션의 스케일링은 대신 2:1일 수 있다. 이것은 곡선 화살표(860, 870)를 따라 동작 중이면 회전 각도(롤, 피치 및 요)는 두 배로 될 수 있음을 의미한다. 이러한 유형 또는 배열로는, 손목이 무리하게 될 수 있는 영역에서, 시스템은 그러한 영역에서 동작하는데 어려움을 감축하려는 노력으로 손목의 모션을 증폭한다.

회전만을 고려하면, 일부 실시형태에서 이방성 스케일링의 수학적 설명은 아래에서 주어질 수 있다.

가 UID의 회전에 대응하는 회전 행렬에 대응하면, 그때 오일러 각도

는 식(20)을 사용하여 구해질 수 있다. 최종 적용된 회전은 다음과 같이 작성될 수 있다:

식(25)

일부 실시형태에서, 손목이 곡선 화살표(850)를 따라 위치하면, 그때 α, β, γ는 전부 1로 설정될 수 있다. 다른 한편, 손목이 곡선 화살표(860, 870)를 따라 있으면, α, β, γ는 전부 다른 값, 예컨대, 2.0으로 설정될 수 있다. 부가적으로, 일부 실시형태에서, α, β, γ는 동일하게 설정될 필요는 없다. 그것들은 다른 값으로 설정될 수 있다. 더욱, 그것들은 또한 각각의 영역에서 다르게 설정될 수 있다. 예컨대, 영역(860)에서 이들 값은 1.5로 설정될 수 있는 한편, 영역(870)에서 이들 값은 2.0으로 설정될 수 있다. 일부 실시형태에서, 그라운드리스 UID(50)는 다른 스케일링 값을 갖는 다른 영역과 연관될 수 있다. 예컨대, 하나는 도달하기가 쉽고 그리고 다른 하나는 도달하기가 힘든 2개의 영역이 있을 수 있더라도, 2개보다 많은 영역이 있을 수 있다.

도 11a에서는 로봇 도구(40)가 예시되고, 그리고 도 11b에서는 로봇 카메라에 의해 보이는 바와 같은 로봇 도구의 이미지를 보여주는 스크린(85)이 예시된다. 도 11c는, 일부 실시형태에 따라, α, β, γ가 손의 편안한 위치로부터의 편차의 함수로서 어떻게 설정될 수 있는지의 일례를 예시한다. 편차 각도가 (곡선에서 제1 굴곡에 의해 표시된) 편안한 위치 너머로 증가함에 따라, 이들 파라미터는 최대 값에 도달될 때까지 다르게 설정될 수 있다. 언급된 바와 같이, α, β, γ는 반드시 동일한 값을 갖지는 않을 수 있다. 부가적으로, γ는 1로 설정될 수 있거나 또는 위에서 논의된 방법에 따라 설정될 수 있다.

일부 실시형태에서, 이방성 스케일링의 개념은 회전으로만 한정되지는 않는다. 예컨대, 그 개념은 아래와 같이 식(24)의 형태를 사용하여 일반화될 수 있다:

식(26)

여기서 각각의 계수 α, β, γ, δ, ε, μ는 그라운드리스 UID의 위치 및 배향 또는 로봇 도구의 위치 및 배향에 따라 다른 값으로 설정될 수 있으며, X _{Grasper ,} Y _Grasper , Z _Grasper 는 병진 벡터의 X, Y 및 Z 성분이다.

관절 한계로서 이방성 스케일링

일부 실시형태에서, 이방성 스케일링에 대한 일반적 식(식(26))은 다양한 방식으로 사용될 수 있다. 일례에서, 오퍼레이터가 시스템(10)의 하나 이상의 관절이 그들의 동작 한계에 가까워지고 있게 되도록 UID를 운전할 때, 식(26)에서의 스케일링은 사용자가 관절 한계에 도달하는 것을 초래할 영역으로 더 나아가는 것이 힘듦을 알게 되도록 시스템(10)에 의해 자동으로 수정될 수 있다. 예컨대, 각각의 관절은 그 동작 한계에 상대적인 관절의 위치에 적어도 부분적으로 기반하여 하나 이상의 영역과 연관될 수 있되, 도달 영역에서의 스케일링은 다를 수 있다. 일부 실시형태에서, 시스템(10)은 그것이, 관절 또는 관절들이 그들의 한계에 도달하는 것을 방지하는 방향으로, UID 및 후속하여 그 한계에 가까워지고 있는 관절을 이동시키라고 사용자에게 프롬프트하는 그러한 식으로 다른 축으로 모션을 스케일링할 수 있다.

일부 실시형태에서, 디스플레이(예컨대, 디스플레이(85))는 시스템(10)의 하나 이상의 관절이 그들의 동작 한계에 가까워지고 있음을 사용자에게 경고하고, 그리고 관절 한계에 도달하지 않게 되도록 UID를 조작함에 있어서 사용자를 안내하는 것을 돕기 위해 관절 한계를 디스플레이하도록 사용될 수 있다. 예컨대, 시스템(10)의 하나 이상의 관절이 그들의 동작 한계로부터 특정 임계치 내에 있을 때, 조건을 사용자에게 알려주고 그리고 관절이 그들의 한계에 도달하는 것을 회피할 방향으로 UID의 그들 조작을 조절하라고 그들에게 프롬프트하는 시각적 표시가 디스플레이 상에 제공될 수 있다. 일부 실시형태에서는, 오디오 표시와 같은 다른 유형의 표시가 제공될 수 있다.

오정렬될 때 일반적 모션 - 운전성 및 고스트 이미지

UID와 로봇 도구가 오정렬될 때 UID의 롤 모션을 보존하기 위한 기술이 위에서 설명되고 있지만, 일부 실시형태에서, 시스템(10)은 로봇 도구가 오정렬이 특정 임계치 내에 있을 때 그라운드리스 UID를 따를 수 있게 한다. 도 11a 및 도 11b는, 일부 실시형태에 따라, 오정렬의 양에 기반하여 로봇 도구가 그라운드리스 UID를 따를 수 있는 예를 예시한다.

도 11a에서는, 로봇 도구(40)가 예시된다. 예시된 실시형태에서, 가상 원뿔이 로봇 도구 주위에 그려지면 그리고 또한 로봇 도구와 그라운드리스 UID가 동일한 원점을 갖는다고 상상할 때 UID가 이러한 원뿔 내에 있으면, 시스템(10)은 도구가 UID를 따르는 것을 허용할 수 있다. 일부 실시형태에서, 가상 원뿔은 로봇 도구의 롤 축 둘레로 그려진다. 카메라에 대한 로봇 도구의 롤 축은 오퍼레이터의 눈에 대한 그라운드리스 UID의 롤 축과 비교될 수 있다.

도 11b에서는, 로봇 카메라에 의해 보이는 바와 같은 로봇 도구의 이미지를 보여주는 스크린(85)이 예시된다. 도면에서 예시된 바와 같이, 파선은 가상 원뿔을 예시한다. 부가적으로, 그라운드리스 UID(50) 또한 이미지로 렌더링된다. 일부 실시형태에서, 렌더링된 이미지는 그라운드리스 UID(50)의 3-D 객체, 모델 또는 표현을 포함할 수 있다. 로봇 도구의 렌더링된 이미지 및 카메라가 보고 있는 것으로 이루어진 합성 이미지가 스크린 상에 디스플레이된다. 파선이 사용되는지 또는 사용되지 않는지와 같은 디스플레이의 실제 방법은 이러한 논의에 본질적인 것이 아니다. 참조를 위해, 로봇 도구의 렌더링된 이미지는 소위 "고스트 이미지"이고 그리고 로봇 도구 주위의 가상 원뿔은 소위 "운전성 원뿔"일 수 있다. 일부 실시형태에서, 가상 원뿔 및/또는 로봇 도구의 "고스트 이미지"는 더 용이한 보기를 위해 반투명일 수 있다. 일부 실시형태에서, 3-D 고스트 이미지 오버레이의 사용은 오퍼레이터가 그리퍼 또는 로봇 도구의 배향과 UID의 배향 간 불일치를 더 잘 볼 수 있게 한다. 일부 실시형태에서, 가상 원뿔은 로봇 도구 주위 대신에 또는 그에 부가하여 그라운드리스 UID(또는 "고스트 이미지" 또는 그라운드리스 UID) 주위에 렌더링될 수 있다.

일부 실시형태에서, 스크린 상의 그라운드리스 UID의 렌더링의 위치는 다음의 방식으로 선택될 수 있다. 오퍼레이터가 드라이브를 맞물리게 하여 그 또는 그녀가 로봇 도구가 그라운드리스 UID를 따르게 할 준비가 되어 있음을 나타낸 후에, 시스템(10)은 그라운드리스 UID의 위치를 그래스퍼 좌표 프레임의 원점으로 매핑할 수 있다. 그라운드리스 UID와 로봇 도구의 배향은 매칭할 수도 있고 그렇지 않을 수도 있다 - 시스템(10)은 2개의 좌표 프레임이 결국 소위 세계 좌표 프레임인 동일한 참조 좌표 시스템에 비교될 수 있으므로 이것을 결정할 수 있다. 배향에 무관하게, 그라운드리스 UID의 렌더링은 도 11b에서 도시된 바와 같은 그래스퍼 좌표 프레임의 원점과 일치하여 놓일 수 있다. 예컨대, 도면으로부터 로봇 도구와 그라운드리스 UID가 오정렬되지만 동일한 원점을 가짐을 알 수 있다. 그라운드리스 UID의 이미지가 이러한 원뿔 내에 나타나면, 그때 시스템(10)은 그 2개가 정확히 정렬되지 않더라도 로봇 도구가 그라운드리스 UID를 따르는 것을 허용할 수 있다. 그라운드리스 UID의 이미지가 원뿔 내에 나타나는 것은 스크린 상의 라이브 비디오 피드 상에서 오퍼레이터에 제시된 바와 같이 로봇 도구와 그라운드리스 UID의 오퍼레이터의 인지된 배향이 다소 정렬됨을 나타낸다. 일부 실시형태에서, 오퍼레이터의 눈 프레임에 대한 그라운드리스 UID는 오퍼레이터에 로봇 도구의 보기를 제시하도록 사용된 카메라 프레임에 대한 로봇 도구와 다소 정렬될 수 있다. 다른 실시형태에서, 그라운드리스 UID와 로봇 도구는 (예컨대, 세계 좌표 시스템에 비해) 실제로 다소 정렬될 수 있다. 원뿔의 각도는 오퍼레이터에 의해 설정되거나 또는 경험을 통해 결정되고 그리고 시스템(10) 내에서의 편집가능한 또는 편집가능하지 않은 파라미터로서 설정될 수 있다. 그라운드리스 UID가 이러한 원뿔 밖으로 나가게 될 때, 시스템(10)은 로봇 도구가 그라운드리스 UID를 따르게 하지 않도록 선택할 수 있다. 이러한 상황이 일어날 때, 로봇 도구는 그것이 그라운드리스 UID를 따를 수 있기 전에 다시 맞물려야 한다.

위에서 설명된 바와 같이, 시스템(10)은 일부 실시형태에서는 그것이 운전성 원뿔 밖에 있을 때 로봇 도구가 그라운드리스 UID를 따르는 것을 허용하지 않을 수 있다. 일부 실시형태에서, 로봇 도구를 다시 맞물리게 하기 위해, 사용자는 그라운드리스 UID를 그것이 다시 원뿔 내부로 들어오도록 조작할 수 있다. 일부 실시형태에서, 시스템(10)은 로봇 도구와 그라운드리스 UID의 좌표 프레임의 배향 간 오차 또는 벡터 차이를 계속 계산하고 있을 수 있다. 오퍼레이터가 그라운드리스 UID의 배향을 로봇 도구의 배향에 점점 더 가까이 가져감에 따라, 오차는 점점 더 작게 된다. 오퍼레이터가 그라운드리스 UID를 정렬시키기를 계속하면, 그 또는 그녀는 결국에는 위치를 오버슈팅하고 그리고 오차는 더 커진다. 이러한 순간에, 시스템(10)은 로봇 도구가 그라운드리스 UID를 따르도록 명령할 수 있다. 이러한 방법은 그때 도구와 UID가 더 가까이 정렬될 수 있게 한다. 도구의 제어는 이러한 영역에서 허용된다.

일부 실시형태에서, 원뿔은 조작되고 있는 로봇 도구에 종속하여 다른 크기일 수 있다. 예컨대, 그래스퍼 또는 스테이플러가 조작되고 있으면, 원뿔의 각도는 작을 수 있어, 오정렬에 대한 더 낮은 공차를 나타낸다. 다른 한편, 로봇 카메라가 조작되고 있으면, 더 많은 오정렬이 허용가능하고 용인될 수 있으므로 원뿔의 각도는 더 클 수 있다. 일부 실시형태에서는, 원뿔 이외의 형상이 사용될 수 있다.

일부 실시형태에서, 시스템(10)은 그라운드리스 UID와 로봇 도구 간 다른 오정렬에 대응하는 다수의 제어 기법을 갖고 있을 수 있다. 예컨대, 시스템(10)은 위에서 개시된 기법을 사용할 수 있고, 그리고/또는 시스템은 UID와 로봇 도구 간 정렬에 종속하여 다른 기법을 사용할 수 있다. 그라운드리스 UID의 모션이 로봇 도구로 어떻게 변환되는지는 각각의 제어 기법에 대해 다를 수 있다. 예컨대, 시스템(10)은 그라운드리스 UID가 로봇 도구와 실질적으로 직각(예컨대, 로봇 도구의 롤 축이 그라운드리스 UID의 롤 축에 직각)일 때의 제어 기법이 가능할 수 있다. 일부 실시형태에서는, 로봇 도구에 상대적으로 180도 배향되어 있는 그라운드리스 UID 또한 제어 기법과 연관될 수 있다. 이들 다른 정렬은 도 11b에서 묘사된 원뿔에 대한 가지각색의 배향을 갖는 다수의 영역 또는 원뿔이라고 생각될 수 있다. 그라운드리스 UID의 다른 자유도(예컨대, 롤, 피치, 및 요)의 로봇 도구의 모션으로의 변환은 다른 정렬 영역의 각각에 대해 다를 수 있다. 예컨대, 도구의 턱 및/또는 도구 샤프트에 직각인 축을 갖는 원뿔에 의해 표현된 영역에서, 그라운드리스 UID의 순수 피치 모션은 로봇 도구의 순수 롤 모션으로 매핑될 수 있다.

일부 실시형태에서, 그라운드리스 UID가 제1 제어 기법에 대응하는, 로봇 도구와 같은, 물체의 제1 정렬 영역에 오정렬되게 되면(예컨대, 오퍼레이터가 입력 시스템의 드라이브를 맞물림 해제하여, 로봇 도구가 더 이상 UID를 따르지 않게 야기하고, 그리고 제어를 재개하기 전에 UID를 다른 배향으로 이동시키면), 오퍼레이터는 그라운드리스 UID가 제1 제어 기법과는 다른 제2 제어 기법과 연관된 제2 정렬 영역 내에 있다고 알림을 받을 수 있다. 일부 실시형태에서, 운전성 원뿔은 다른 가능한 정렬의 각각과 연관될 수 있되, 특정 정렬에 대한 운전성 원뿔은 그라운드리스 UID가 그 정렬과 연관된 제어 기법을 사용하여 여전히 로봇 도구를 제어하도록 용인될 수 있는 오정렬의 양을 표시한다. 일부 실시형태에서, 특정 정렬에 대한 운전성 원뿔은 UID의 고스트 이미지가 그 정렬에 다가감에 따라 스크린(85) 상에 디스플레이될 수 있다. 이들 다수의 정렬 영역은 오퍼레이터가 더 융통성 있는 방식으로 시스템을 사용하는 것을 가능하게 한다. 예컨대, 스크린(85)의 좌측 측면 상에 디스플레이된 로봇 도구는 180-도 오프셋 정렬 영역을 이용함으로써 오퍼레이터의 오른손에 있는 UID에 의해 제어될 수 있다. UID와 로봇 도구 간 "오정렬"에 대해 허용하는 제어 기법을 제공함으로써, 시스템은 오퍼레이터가 그 또는 그녀가 로봇 도구의 라이브 비디오 피드의 디스플레이에 대해 또는 물리적 로봇 도구 자체에 대해 최적이지 않은 배향으로 있을 때에도 로봇 도구를 효율적으로 사용하기를 계속하는 것을 가능하게 한다. 이러한 조건은, 예컨대, 수동 또는 복강경 도구를 동작시키기 위해 오퍼레이터가 수술대 가까이에 위치결정되면 흔히 일어날 수 있다.

일반적으로, 마스터와 슬레이브 제어부가 소정의 제한된 양만큼 오정렬되더라도 시스템이 운전될 수 있다는 개념으로부터 생겨나는 이들 실시형태는 시스템, 특히 그라운드리스 UID로 제어될 수 있는 것의 사용의 용이함을 개선할 수 있다.

최소화된 오차 운전 기법

일부 실시형태에서, 그리퍼의 속도는 로봇 도구가 운전성 원뿔 내에 있는 한 그라운드리스 UID와 로봇 도구 간 벡터 오차에 종속하여 조절가능할 수 있다. 속도는 소정의 확립된 기준에 기반하여 조절될 수 있다. 예컨대, 벡터 오차가 증가하는 것으로 보이면, 그때 그리퍼는 그리퍼가 그라운드리스 UID를 따라잡도록 가속될 수 있다. 다른 한편, 오차가 감소하는 것으로 보이면, 그때 그리퍼는 UID가 그리퍼를 따라잡도록 감속될 수 있다. 오차는 수 개의 방식으로 계산될 수 있다. 예컨대, 일부 실시형태에서는, 그래스퍼 좌표와 UID 좌표 프레임의 X 축 간 각도가 구해지며, 그 이유는 아래에서 수학적으로 기술될 수 있다.

위에서와 같이 R 가 회전 행렬을 나타내면, 그때

식(27)

여기서

는 눈 좌표 프레임에 대한 UID 좌표 프레임의 회전 행렬의 제1 열이다.

유사하게

식(28)

여기서

는 카메라 좌표 프레임에 대한 그래스퍼 좌표 프레임의 회전 행렬의 제1 열이다.

오차는 다음과 같이 계산될 수 있다:

식(29)

로봇 도구의 배향은 다음을 사용함으로써 조절될 수 있다:

식(30)

여기서

는 그래스퍼의 요, 피치 및 롤이고 그리고 β는 그래스퍼를 가속 또는 감속시키도록 설정될 수 있는 계수이다.

도 11d는, 일부 실시형태에 따라, β가 어떻게 설정될 수 있는지의 일례를 예시한다. 이러한 도면에서 X 축은 (

)으로 설정될 수 있다. 오차가 증가하면 β는 그래스퍼가 따라잡도록 더 큰 양의 값으로 설정될 수 있다. 오차가 감소할 때, β는 그래스퍼가 감속되도록 더 작은 값으로 설정된다. 일부 실시형태에서, 오차가 0에 가까울 때, β는 1로 설정될 수 있다. 그리하여, 그라운드리스 UID와 그래스퍼는 여전히 정렬된 채로 있으려는 경향이 있다.

작업 공간의 중심

앞서 설명된 바와 같이, 시스템(10)은 오퍼레이터가 하나 또는 다수의 로봇 도구를 제어하도록 사용할 수 있는 그라운드리스 UID를 제공한다. 오퍼레이터가 앉거나 서 있을 수 있는 콘솔을 제공할 수 있는, 그라운디드 UID를 갖는 시스템과는 달리, 시스템(10)은 오퍼레이터가 자유롭게 이리저리 이동하고 그리고 그 또는 그녀 자신을 환자에 대해 최적의 위치에 위치결정시킬 수 있는 능력을 제공한다. 그라운디드 UID로는, 오퍼레이터는 그 또는 그녀 자신을 배향시키도록 콘솔을 사용한다. 그렇지만, 시스템(10)이 콘솔 또는 사용자 인터페이스 스탠드를 제공할 수 있기는 하지만, 그 또는 그녀가 그러한 콘솔 또는 스탠드로 돌아가는 것을 요구하는 것은 시스템의 일부 실시형태의 이점을 줄인다.

콘솔 또는 사용자 인터페이스 스탠드를 반드시 갖지는 않음에도 불구하고, 일부 실시형태에서는, 오퍼레이터가 돌아갈 수 있는 그리고 배향의 감지를 획득하도록 용이하게 액세스가능한 공간을 제공하는 것이 유익할 수 있다. 이러한 공간은 소위 작업 공간의 중심 또는 자연 작업 공간일 수 있다. 작업 공간의 중심의 위치 및 크기는 다양한 방식으로 확립될 수 있다. 예컨대, 작업 공간의 중심은 오퍼레이터와 관련하여, 오퍼레이터의 손이 자연스럽게 돌아갈 수 있는 몸통 가까이에 그 또는 그녀의 앞에 확립될 수 있다. 그리하여, 일례로서, 작업 공간의 중심은 오퍼레이터의 앞에 직경 약 12 인치의 가상 구체로서 상상될 수 있다.

도 12a는, 일부 실시형태에 따라, 오퍼레이터(20)의 앞에 있는 작업 공간(1000)의 중심에 대응하는 가상 구체를 예시한다. 가상 구체의 위치는 정적 또는 동적이도록 선택될 수 있다. 예컨대, 구체의 위치가 정적이도록 선택되면, 위치는 수동형 암(75)의 베이스와 같은 소정의 물리적 물체와 관련하여 확립될 수 있다. 다른 물체 역시 선택될 수 있다. 다른 한편으로, 가상 구체의 위치가 동적이도록 선택되면, 위치는 오퍼레이터와 같은 이동 물체와 관련하여 확립될 수 있다. 위에서 서술된 바와 같이, 일부 실시형태에서, 가상 구체는 오퍼레이터의 앞에 그 또는 그녀의 몸통 가까이에 확립될 수 있다. 오퍼레이터가 이리저리 이동함에 따라, 가상 구체는 오퍼레이터와 관련하여 그 위치를 유지하고 있을 것이다. 이것은 오퍼레이터의 위치가 추적되어야 함을 요건으로 한다. 이러한 추적은 광학 및 전자기 방법을 포함하는 다양한 방식으로 행해질 수 있다. 일례로서, 오퍼레이터는 벨트 상에 위치하는 위치 센서를 갖는 벨트를 착용할 수 있다. 일부 실시형태에서, 위치 센서는 그라운드리스 UID를 추적하는 동일한 추적 시스템으로 추적될 수 있다.

작업 공간의 중심은 다양한 방식으로 사용될 수 있다. 일부 실시형태에서, 오퍼레이터의 손이 가상 구체 내부의 어디에라도 있을 때 그리고 오퍼레이터가 드라이브를 맞물리게 할 때, 그라운드리스 UID에 대한 (이하 단순히 "영 위치"라고 지칭되는) 영 위치 및 배향이 확립된다. 그리하여, 이러한 영 위치는 로봇 도구 또는 도구들의 현재 위치와 대응하도록 될 수 있다. 영 위치가 확립되고 나면 그 후 시스템이 운전 상태에 있을 때의 루틴 거동을 따를 수 있다. 도 12b 및 도 12c는 일부 실시형태에 따라 이러한 거동을 예시한다. 예컨대, 도 12b에서, 시스템이 운전 상태에 있지 않을 때, 오퍼레이터는 그 또는 그녀의 손을 가상 구체(1000) 내 어디에라도 놓을 수 있다. 이러한 영역 내에서 드라이브가 맞물린 후에, 그 특정 위치는 UID 좌표 프레임(140)에 대한 영 위치로서 확립된다. 이것은 또한 오퍼레이터의 손이 가상 구체(1000) 밖에 있으면, 드라이브가 맞물린 때라도, 시스템(10)은 운전을 불허하고 그리고 오퍼레이터에 운전 액션이 일어나지 않았음을 알리는 메시지를 그 또는 그녀에게 보낸다는 것을 의미한다. 오퍼레이터는 그때 그 또는 그녀의 손을 가상 구체 내에 위치결정시키도록 요구된다. 그렇지만, 손이 가상 구체에 있고 그리고 드라이브가 맞물리면, 드라이브가 맞물리는 순간에서의 그라운드리스 UID의 특정 위치는 드라이브가 맞물려 있는 지속 시간 동안의 영 위치로서 확립된다. 그리하여, 환자 상에 수술하는 과정 동안, 가상 구체는, 그것이 정적인지 동적인지에 무관하게, 오퍼레이터를 배향시키는 방법을 제공한다. 이들 실시형태는 정규적으로 맞물려 있는 또는 정규적으로 맞물려 있지 않은 시스템인 시스템과 사용될 수 있다. 부가적으로, 일부 실시형태에서, 하나 이상의 조건이 만족되지 않는 한 동작을 방지하는 안전 로크-아웃을 제공하도록 부차적 드라이브가 포함될 수 있다. 예컨대, 시스템은 디스플레이 스크린으로부터 오퍼레이터의 눈을 추적하고 그리고 눈이 스크린 상에 있지 않으면 도구를 운전하는 것을 불허할 수 있다. 다른 일례로서, 시스템은 UID 상의 센서(예컨대, 압력 센서 또는 용량성 센서)로부터 피드백을 수신하고 그리고 그때 오퍼레이터의 손이 UID 상에 있지 않으면 운전을 불허할 수 있다.

일부 실시형태에서는, 오퍼레이터에 대한 자연 좌표 프레임이 확립될 수 있다. 이러한 자연 좌표 프레임의 목적은 오퍼레이터의 자연 이동을 로봇 도구 또는 도구들의 특정 이동으로 매핑하는 것이다. 일례로서, 도 12d에서는, 오퍼레이터(20)가 침상(35) 가까이에 서 있는 것으로 도시된다. 비스듬하게 그리고 오퍼레이터로 향하여 그리고 그로부터 떨어진 쪽으로 도시되는 화살표(1020)는 오퍼레이터가 그 또는 그녀의 손을 이동시키는 자연 진로일 수 있다. 이러한 자연 이동은, 작업 공간의 중심이 가상 구체(1000)에 의해 도시되는 도 12e에서 예시된 바와 같이, 카메라 축을 따른 로봇 도구 또는 도구들의 이동으로 매핑될 수 있다. 구체 내 그 원점을 갖는 좌표 시스템(1030)은 이러한 좌표 시스템의 Z 축이 오퍼레이터가 그 또는 그녀의 손을 어떻게 이동시킬 수 있는지의 자연 방향(1020)과 정렬되도록 도시된다. 그리하여, (1030)의 Z 축을 따른 모션은 카메라 축을 따른 로봇 도구의 모션으로 매핑될 수 있다. 환언하면, 로봇 도구의 이미지가 스크린(85) 상에 보이면, (1030)의 Z 축을 따른 모션은 스크린 들어오기 및 나가기처럼 보일 수 있다. 일부 실시형태에서, 좌표 프레임(1030)의 배향은 구성가능할 수 있다. 일례로서, 시술의 시작 전에 또는 셋업 과정 동안, 시스템(10)은 그 또는 그녀의 팔을 상하로 이동시키는 것과 같은 특정 액션을 수행하도록 오퍼레이터에 명령할 수 있다. 팔의 위치 및 오퍼레이터의 신체의 위치를 추적 및 기록함으로써, 좌표 프레임의 배향은 설정될 수 있다. 부가적으로, 일부 실시형태에서, 이러한 동일한 절차는 작업 공간의 중심의 위치를 확립하는데 역시 사용될 수 있다. 일부 실시형태에서, 자연 좌표 프레임에 대해 위에서 설명된 변환은 눈 좌표 프레임에 역시 적용될 수 있다.

일부 실시형태에서, 디스플레이(예컨대, 모니터(85))는 그라운드리스 UID가 로봇 시스템의 사용가능한 작업 공간 밖에 있거나 또는 사용가능한 작업 공간의 에지로부터 특정 거리 내에 있으면 오퍼레이터에 경고하여, 그라운드리스 UID를 사용가능한 작업 공간으로 되돌리라고 오퍼레이터에게 프롬프트하도록 사용될 수 있다.

각각의 손에 대한 독립적 좌표 프레임

인간이 그들의 손을 이동시킬 때, 이동은 복잡한 방식으로 두뇌에 의해 해석된다. 일부 상황에서, 이동은 내부의 참조 좌표 프레임을 참조하여 이해될 수 있다. 일부 경우에, 이동은 다른 좌표 프레임과 관련하여 이해될 수 있다; 예컨대, 이동은 사람의 팔뚝에 배속된 참조 프레임과 관련하여 이해될 수 있다.

이것을 특정 예로 더 설명하기 위해, 팔이 그의 앞에 펴진 사람이 좌측 또는 우측으로 팔을 이동시킬 수 있고 그리고 두뇌는 이러한 모션을 내부의 참조 프레임과 관련하여 좌측 또는 우측 모션으로서 이해할 수 있다. 그렇지만, 이러한 동일한 사람이 동일한 팔을 그의 뒤에서 흔들 수 있고 그리고 팔을 좌측 또는 우측으로 이동시킬 수 있다. 이제 두뇌는 팔뚝과 같은 팔의 소정의 부분과 연관된 좌표 프레임과 관련하여 좌측 또는 우측 방향을 이해한다. 부가적으로, 앞서 내부의 참조 프레임과 관련하여, 좌측 및 우측의 관념은 역으로 된다. 이러한 동일한 실험은 다른 손이 역으로 가리키면서 역시 수행될 수 있다. 그리하여, 이러한 사고 실험이 내포하는 하나는 2개의 손이 독립적 좌표 참조 프레임에서 이동할 수 있다는 것이며, 각각의 좌표 참조 프레임은 팔의 소정의 부분에 결합된다. 예컨대, 일부 실시형태에서, 오퍼레이터는 제1 UID를 제어하도록 제1 손을 그리고 제2 UID를 제어하도록 제2 손을 사용할 수 있다. 제1 손 및 제2 손은 제1 참조 프레임 및 제2 참조 프레임과 연관될 수 있다. 일부 실시형태에서, 제1 참조 프레임과 제2 참조 프레임은 동일할 수 있다. 다른 실시형태에서, 제1 참조 프레임과 제2 참조 프레임은 서로 다를 수 있다. 제1 참조 프레임과 제2 참조 프레임은 서로 직교할 수 있거나, 또는 서로 직교하지 않을 수 있다.

독립적 좌표 프레임에서 2개의 손을 이동시키는 이러한 거동을 복제하는 것은 일부 실시형태에서는 오퍼레이터가 그라운드리스 UID로 시스템(10)을 제어하고 있을 때 유익할 수 있다. 도 13a 및 도 13b는, 일부 실시형태에 따라, 2개의 손과 연관된 독립적 좌표 프레임을 예시한다. 도 13a에서, 화살표(1000, 1010)는 오퍼레이터(20)의 각각의 팔의 좌측 및 우측 위치를 도시한다. 일부 실시형태에서, 각각의 팔의 우측 및 좌측은 도시된 바와 같이 오퍼레이터의 우측 및 좌측과 일치할 수 있다. 도 13b에서, 오퍼레이터는 그의 팔이 소정의 각도로 있게 한다; 이러한 경우에 각각의 팔의 우측 및 좌측은 오퍼레이터의 우측 및 좌측과 일치하지 않는다. 화살표(1020, 1040)는 각각의 팔의 우측 및 좌측이 화살표(1000, 1010)와 관련하여 그리고 오퍼레이터의 우측 및 좌측과 관련하여 소정의 각도에 있음을 도시한다. 더욱, 일부 실시형태에서, 각각의 팔의 우측 및 좌측은 심지어 서로 또는 오퍼레이터의 우측 및 좌측과 공면에 있지 않을 수 있다. 아직, 도 13b에서 예시된 상황에서, 일부 실시형태에서는 각각의 팔의 좌측 및 우측 방향을 카메라에 의해 보이고 그리고 스크린 상에 디스플레이되는 바와 같은 로봇 도구의 좌측 및 우측 방향으로 매핑하는 것이 유익할 수 있다.

그리하여, 일부 실시형태에서는 2개의 독립적 좌표 프레임에서 그라운드리스 UID의 조작을 가능하게 하는 것이 바람직할 수 있다. 이러한 개념은 도 14 및 도 15에서 그리고 아래에서 수학적으로 설명된다. 일부 실시형태에서, 2개의 독립적 좌표 프레임의 사용은 시스템의 증가된 성능을 제공한다.

도 14는, 일부 실시형태에 따라, 각각의 팔과 하나씩 연관된 2개의 독립적 좌표 프레임을 예시한다. 도 14에서 예시된 바와 같이, 그래프(1100, 1110)는 UID가 왼손에 의해 조작될 수 있고 왼손과 연관된 좌표 프레임(1100)에서 이동할 수 있음을 묘사한다. 일부 실시형태에서, 이러한 좌표 시스템은 왼쪽 팔뚝과 연관될 수 있는 좌표 시스템(1110)과 관련하여 측정될 수 있다. 그래프(1110)가 표시하는 바와 같이, 왼쪽 팔뚝과 연관된 좌표 프레임은 오퍼레이터가 드라이브를 맞물리게 할 때 확립될 수 있다. 환언하면, (시간 t=0에서) 드라이브가 맞물릴 때 왼쪽 팔뚝의 순시적 위치 및 배향은 운전 기간 동안 왼팔에 의해 조작되는 UID에 대한 참조 프레임으로서 사용될 수 있다.

유사하게, 독립적 좌표 프레임은, 드라이브가 맞물리는 순간에, 그래프(1120)에 의해 도시된 바와 같이 오른쪽 팔뚝 상에 역시 확립될 수 있다. 오른손이 잡고 있는 UID와 연관된 좌표 프레임(1130)은 그때 오른쪽 팔뚝과 연관된 좌표 프레임(1120)과 관련하여 측정될 수 있다. 일부 실시형태에서, 팔뚝에서의 좌표 프레임은 국한되는 것은 아니지만 광학 추적 디바이스 또는 자기 추적 디바이스와 같은 소정의 유형의 추적 디바이스에 의해 추적될 수 있다.

위에서 논의된 일부 실시형태에서, 2개의 손에 대한 독립적 좌표 프레임의 개념에 관하여, UID 베이스(65)는 UID 디바이스를 추적하도록 사용된 디바이스로서 사용되었다. 독립적 좌표 프레임이 팔뚝 상에 확립되는 일부 실시형태에서는, 동일한 UID 베이스(65)가 팔뚝을 추적하도록 사용될 수 있다. 오퍼레이터의 신체의 팔뚝 또는 다른 부분에는, 자기 센서 또는 광학적으로 구별가능한 특징과 같은, UID 베이스(65)에 의해 추적되는 부가적 기구가 구비될 수 있다. 그리하여, 그것이 연관되는 팔뚝에 대한 UID의 모션은 다음과 같이 작성될 수 있다:

식(31)

식(31)은 좌측 또는 우측 표기 없이 작성되어 있지만 양손에 다 적용될 수 있다.

도 15는, 일부 실시형태에 따라, 도 14에서 설명된 것들과 같은 2개의 독립적 좌표 시스템에 대한 좌표 변환을 예시한다. 또한, 위에서 서술된 바와 같이, 좌측 팔 및 손 및 우측 팔 및 손에 대한 표기 '좌측' 및 '우측'은 사용되지 않는다; 그리하여 도면은 각각의 팔 및 손에 적용가능하며 각각의 팔뚝에서의 좌표 프레임은 독립적일 수 있다고 이해된다. 도 15는 도 3과 매우 유사하다; 실제로 우측 측면 또는 "로봇" 측면은 도 3에서의 동일 측면과 똑같다. 도 3과 도 15 간 차이는 도 3에서는 양손 및 양팔이 하나의 공통 참조 프레임, "UID 베이스" 참조 프레임을 참조로 하였다는 것이다. 그렇지만, 도 15에서는, 각각의 손과 연관된 프레임은 팔뚝과 연관된 좌표 참조 시스템과 관련하여 추적될 수 있다.

또한, 위에서 서술된 바와 같이, 일부 실시형태에 따라, 각각의 팔뚝과 연관된 좌표 프레임은 드라이브가 적용되는 순간에 확립될 수 있다. 시스템이 운전 상태에 있는 시간 동안, 팔뚝 및 연관된 손은 이리저리 이동할 수 있지만 드라이브가 맞물릴 때 확립된 위치와 관련하여 측정된다. 일부 실시형태에서는, 드라이브가 맞물림 해제되고 재차 다시 맞물릴 때 새로운 좌표 참조 프레임이 확립될 수 있다. 그리하여, 각각의 팔의 좌측 및 우측의 감지는 팔뚝에 대해 그리고 드라이브가 맞물리는 순간에 확립된다. 더욱, 각각의 팔에 대한 감지는 다른 팔에 대한 감지와 독립적일 수 있다.

도 16은, 일부 실시형태에 따라, 2개의 독립적 좌표 프레임을 예시한다. 도 16에서 예시된 바와 같이, 오퍼레이터는 2개의 좌표 참조 프레임(1200, 1300)과 함께 보인다. 오퍼레이터는 이들 2개의 평면에서 그라운드리스 UID를 이동시킬 수 있다. 일부 실시형태에서, 이들 2개의 평면의 각도는 서로 독립적으로 설정될 수 있다. 예컨대, 각도는 드라이브 맞물림 시간에 설정될 수 있거나 또는 그것은 다른 시간에 설정될 수 있다.

평면(1200)을 참조하면, 화살표(1210)를 따라 그라운드리스 UID를 이동시키는 것은 일부 실시형태에서는 카메라를 통하여 보일 때 로봇 도구의 우측 및 좌측 모션으로 변환될 수 있다. 유사하게, 화살표(1230)를 따라 그라운드리스 UID를 이동시키는 것은 또한 카메라를 통하여 보일 때 로봇 도구의 상방 및 하방 모션으로 변환될 수 있다. 마지막으로, 일부 실시형태에서, 파선(1240)은 도 12e와 관련하여 설명된 바와 같이, 입과 같은, 얼굴 상의 소정의 위치로부터 떨어진 쪽으로 손이 이동하는 자연 진로를 묘사한다. 이러한 방향은 카메라 축을 따른 도구의 모션으로 매핑될 수 있다. 그리하여, 좌측 및 우측 및 상방 및 하방 모션이 정의되는 자연 모션에 직각일 수 있는 평면과 함께 도구의 들어오기 및 나가기 모션(또는 카메라 축을 따른 도구의 이동)으로 매핑할 신체의 자연 모션을 고르는 것은 로봇 시스템의 사용의 용이함을 증가시킬 수 있다. 평면(1200)과 유사하게, 평면(1300)은 동일한 모션(예컨대, 상방, 하방, 좌측, 우측, 들어오기 및 나가기)을 예시하지만 왼팔과 관련된다.

일부 실시형태에서, 사용자가 평면(1200)에서 화살표(1210)를 따라 그라운드리스 UID를 이동시키면, 로봇 도구는 카메라에 의해 보이는 바와 같이 좌측 및 우측으로 이동할 수 있다. 이러한 모션과 독립적으로, 사용자가 평면(1300)에서 화살표(1310)를 따라 그라운드리스 UID를 이동시키면, 로봇 도구는 또한 카메라에 의해 역시 보이는 바와 같이 좌측 및 우측으로 이동할 수 있다. 각각의 손에 의해 개시된 좌측 및 우측 모션은 평면(1200, 1300)의 각도에 무관하게 도구에 적용된다. 일부 실시형태에서, 좌표 프레임(1200, 1300)은 오퍼레이터가 방에서 배향을 변화시키거나 이리저리 이동함에 따라 또는 그 또는 그녀의 팔뚝 위치가 변화됨에 따라 변화될 수 있다. 일부 실시형태에서, 좌표 프레임(1200, 1300)에 대한 업데이트는 연속형으로(예컨대, 드라이브가 맞물려 있는 동안) 일어날 수 있다. 업데이트는 즉시 또는 소정의 지연 후에 일어날 수 있다. 일부 실시형태에서, 좌표 프레임(1200, 1300)에 대한 업데이트는 이산형으로(예컨대, 드라이브의 각각의 맞물림 또는 맞물림 해제시), 또는 오퍼레이터에 의한 선택 또는 입력시에만(예컨대, 오퍼레이터가 UID 작업 공간을 언제 재정의할지를 선택함) 일어날 수 있다. 그리하여, 오퍼레이터가 이동하면, 이들 평면 또한 오퍼레이터와 이동할 수 있다. 이것은 일부 실시형태에서는 유익할 수 있는데, 오퍼레이터가 편리하고 편안한 방식으로 로봇을 조작할 수 있게 한다.

하드웨어로 결합된 모션 분리

방법의 위 실시형태는 오퍼레이터의 손의 결합된 모션을 분리하도록 설명되었다. 일부 실시형태에서, 분리는 부가적 추적 디바이스의 사용에 의해 달성될 수 있다. 예컨대, 도 17은, 일부 실시형태에 따라, 오퍼레이터의 손의 결합된 모션을 분리하기 위한 다수의 센서를 갖는 하이퍼덱스테러스 수술 시스템을 예시한다.

도 17에서 예시된 바와 같이, 오퍼레이터(20)는 그라운드리스 UID(50)로 시스템(10)을 동작시키고 있는 것으로 보인다. 오퍼레이터는 또한 디바이스(1400', 1400")에 결합된 것을 알 수 있다. 일부 실시형태에서, 이들 디바이스는 오퍼레이터의 손등 상에 놓여 있다. 다른 실시형태에서, 이들 디바이스는 오퍼레이터의 팔을 따라 어떤 다른 위치에 놓여 있을 수 있다. 일부 실시형태에서, 디바이스(1400', 1400")는 하나 이상의 센서(예컨대, 자기 추적을 위한 센서, 관성 감지를 위한 센서 등)를 포함할 수 있다. 광학 추적을 사용하는 것들과 같은 다른 실시형태에서, 디바이스(1400', 1400")는 어떠한 센서도 포함하지 않을 수 있고, 그리고 대신 하나 이상의 라이트 및/또는 반사성 표면을 포함할 수 있다.

또한, 도면에서는 2개의 카메라(1410', 1410")가 보인다. 일부 실시형태에서, 카메라(1410')는 디바이스(1400')로의 직접적 시선을 갖는 것으로 보이고 그리고 카메라(1410")는 디바이스(1400")로의 직접적 시선을 갖는 것으로 보인다. 디바이스(1400', 1400")는 카메라(1400', 1410")와 함께 광학 추적 시스템을 형성하는 반사성 표면, 라이트, 핀 또는 볼을 갖고 있을 수 있다. 카메라(1410')와 디바이스(1400')는 오퍼레이터(20)의 왼손의 위치를 추적할 수 있는 반면 카메라(1410")와 디바이스(1400")는 오퍼레이터의 오른손의 위치를 추적할 수 있다. 디바이스(1400', 1400")가 오퍼레이터의 손등에 예시되어 있기는 하지만, 다른 위치가 (예컨대, 그라운드리스 UID(50) 상에, 또는 오퍼레이터의 신체의 다른 위치 상에) 선택될 수 있다. 일부 실시형태에서, 디바이스(1400', 1400")와 카메라(1410', 1410")의 위치는 역으로 될 수 있다(예컨대, 카메라는 오퍼레이터의 손등 상에 위치하는 한편, 디바이스는 카메라로의 직접적 시선을 갖게 장착된다). 일부 실시형태에서는 오퍼레이터의 손 또는 신체에 부착된 특정 디바이스 또는 기기보다는 오퍼레이터의 손의 형상을 인식하도록 구성되는 시각 추적 시스템 또는 자기 추적 시스템과 같은 다른 유형의 센서가 이용될 수 있다. 부가적으로, (1410', 1410")와 같은 외부 추적 디바이스의 존재를 요건으로 하지 않을 (가속도계와 같은) 관성 감지가 사용될 수 있다.

이러한 실시형태로는, 오퍼레이터가 그 또는 그녀의 손가락으로 UID를 롤링할 때 그라운드리스 UID가 받게 될 수 있는 결합된 병진 모션은 UID의 모션이 엔드-이펙터의 모션에 적용될 때 분리 및 감축 또는 소거될 수 있다. 이것을 더 설명하기 위해, 오퍼레이터가 예컨대 조직에 봉합을 가하도록 그라운드리스 UID(50)를 롤링하면(일부 실시형태에서, 한 손이 사용되는지 양손이 사용되는지는 중요하지 않음), 위의 논의로부터, 소정의 병진 모션이 그라운드리스 UID에 결합될 수 있다고 예상된다. 그렇지만, 위에서 설명된 보충적 추적 시스템 또는 다른 추적 시스템을 사용하여, 병진 모션은 측정될 수 있다. 추적 시스템이 그라운드리스 UID가 경험하는 동일한 병진 모션을 측정한다고 가정하면, 그때 그 결합된 병진 모션은 엔드-이펙터에 적용되는 모션으로부터 제거 또는 소거될 수 있다. 수학적 관점에서는, UID 중 어느 하나의 모션이 에 의해 묘사되는 경우, 그때 UID가 롤 및 병진 모션을 경험하면, 일부 실시형태에서, 그것은 다음과 같이 작성될 수 있다:

식(32)

그라운드리스 UID가 그 또는 그녀의 손가락을 사용하여 오퍼레이터에 의해 롤링 모션을 받게 될 때 디바이스(1400', 1400")는 어떠한 롤링 모션도 경험하지 않을 수 있기는 하지만 그것은 동일한 병진 모션을 경험할 수 있다. 그것은 또한 인간 손의 운동학에 의해 결정된 함수에 의해 그라운드리스 UID의 병진 모션과 수학적으로 관련되는 모션을 경험할 수 있다. 그리하여, 그라운드리스 UID의 병진 모션이 손등 상의 센서의 병진 모션과 동일하다고 가정할 때, 다음의 식이 작성될 수 있다:

식(33)

여기서

는 그라운드리스 UID의 병진 모션을 나타내고 그리고

는 센서(1400' 또는 1400")의 병진 모션을 나타낸다. 이제, 로봇 도구의 최종 적용된 모션은 2개의 파라미터: (결합된 모션을 갖는) UID의 모션 및 손등에서의 센서의 모션의 소정의 일반 함수

로서 작성될 수 있다. 그리하여,

식(34)

식(33)에서 특정된 바와 같이, 그라운드리스 UID의 병진 모션은 손등 상의 디바이스의 병진 모션과 동일하다. 식(34)에서 최종 출력을 계산하는 동안, 이러한 성분은 소거될 수 있다. 그리하여, 병진 모션만을 경험하는 독립적 디바이스를 갖는 것은 그라운드리스 UID 모션으로부터 이러한 모션의 분리를 가능하게 한다.

일부 실시형태에서, 2개의 카메라(1410', 1410")가 도 17에서 예시되지만, 하나의 카메라만이 필요로 될 수도 있다. 다른 실시형태는 본성이 광학적이지 않은 센서를 사용하는 것을 포함할 수 있다. 그리하여, 센서(1400', 1400")는 국한되는 것은 아니지만 전자기 센서를 포함하는 다양한 유형일 수 있다. 부가적으로, 도면에서 그라운드리스 UID의 예시는 긴 튜브 구조처럼 보이지만, 다른 실시형태에서는 다른 형상이 가능하다고 이해된다.

그리하여, 위의 개념으로는, 배향을 위한 방법이 제공될 수 있음을 알 수 있다. 부가적으로, 오퍼레이터의 자연 모션을 로봇 도구의 특정 모션으로 매핑하기 위한 방법이 제공된다. 이들 방법의 실시형태는 유익하게도 시스템(10)의 사용의 용이함을 개선할 수 있다.

구현 메커니즘

일 실시형태에 의하면, 여기에서 설명된 하이퍼덱스테러스 시스템 사용자 인터페이스 및 다른 방법 및 기술은 하나 이상의 특수-목적 컴퓨팅 디바이스에 의해 구현될 수 있다. 특수-목적 컴퓨팅 디바이스는 기술을 수행하도록 하드-와이어링될 수 있거나, 또는 기술을 수행하도록 영속적으로 프로그래밍되는 하나 이상의 주문형 반도체(ASIC) 또는 필드 프로그래밍가능한 게이트 어레이(FPGA)와 같은 디지털 전자 디바이스를 포함할 수 있거나, 또는 펌웨어, 메모리, 다른 저장소, 또는 조합에서의 프로그램 명령어에 따라 기술을 수행하도록 프로그래밍된 하나 이상의 범용 하드웨어 프로세서를 포함할 수 있다. 그러한 특수-목적 컴퓨팅 디바이스는 또한 기술을 성취하도록 커스텀 프로그래밍으로 커스텀 하드-와이어드 로직, ASIC, 또는 FPGA를 조합할 수 있다. 특수-목적 컴퓨팅 디바이스는 데스크톱 컴퓨터 시스템, 서버 컴퓨터 시스템, 휴대용 컴퓨터 시스템, 핸드헬드 디바이스, 네트워킹 디바이스 또는 어느 다른 디바이스 또는 기술을 구현하기 위한 하드-와이어드 및/또는 프로그램 로직을 편입하고 있는 디바이스의 조합일 수 있다.

컴퓨팅 디바이스(들)는 일반적으로는 iOS, 안드로이드, 크롬 OS, 윈도우즈 XP, 윈도우즈 비스타, 윈도우즈 7, 윈도우즈 8, 윈도우즈 서버, 윈도우즈 CE, 유닉스, 리눅스, SunOS, 솔라리스, iOS, 블랙베리 OS, VxWorks, 또는 다른 호환가능한 운영 체제와 같은 운영 체제 소프트웨어에 의해 제어 및 조정된다. 다른 실시형태에서, 컴퓨팅 디바이스는 전유 운영 체제에 의해 제어될 수 있다. 관용적 운영 체제는, 특히, 실행을 위한 컴퓨터 프로세스를 제어 및 스케줄링하고, 메모리 관리를 수행하고, 파일 시스템, 네트워킹, I/O 서비스를 제공하고, 그리고 그래픽 사용자 인터페이스("GUI")와 같은 사용자 인터페이스 기능성을 제공한다.

예컨대, 도 18은 여기에서 논의된 다양한 시스템 및 방법이 구현될 수 있는 컴퓨터 시스템(1800)의 일 실시형태를 예시하는 블록 선도이다. 예를 들면, 위에서 설명된 바와 같은 시스템(10)과 연관된 컴퓨터 시스템은 도 18에서 예시된 바와 같은 하나 이상의 컴퓨터 시스템(1800) 또는 서버(1830)로서 구현될 수 있다.

컴퓨터 시스템(1800)은 정보를 통신하기 위한 버스(1802) 또는 다른 통신 메커니즘, 및 정보를 프로세싱하도록 버스(1802)와 결합된 하드웨어 프로세서 또는 다중 프로세서(1804)를 포함한다. 하드웨어 프로세서(들)(1804)는, 예컨대, 하나 이상의 범용 마이크로프로세서일 수 있다.

컴퓨터 시스템(1800)은 또한 프로세서(1804)에 의해 실행될 명령어 및 정보를 저장하도록 버스(1802)에 결합된 랜덤 액세스 메모리(RAM), 캐시 및/또는 다른 동적 저장 디바이스와 같은 주 메모리(1806)를 포함한다. 주 메모리(1806)는 또한 프로세서(1804)에 의해 실행될 명령어의 실행 동안 일시적 변수 또는 다른 중간 정보를 저장하도록 사용될 수 있다. 그러한 명령어는, 프로세서(1804)가 액세스가능한 저장 매체에 저장될 때, 명령어에서 특정된 연산을 수행하도록 커스터마이징되는 특수-목적 기계로 컴퓨터 시스템(1800)을 렌더링한다.

컴퓨터 시스템(1800)은 프로세서(1804)를 위한 명령어 및 정적 정보를 저장하도록 버스(1802)에 결합된 리드 온리 메모리(ROM)(1808) 또는 다른 정적 저장 디바이스를 더 포함한다. 자기 디스크, 광학 디스크, 또는 USB 썸 드라이브(플래시 드라이브), 및/또는 어느 다른 적합한 데이터 스토어와 같은 저장 디바이스(1810)는, 센서 데이터, 로봇 도구 제어 명령어 등과 같은, 정보 및 명령어를 저장하도록 제공되고 버스(1802)에 결합된다.

컴퓨터 시스템(1800)은 사용자에게 정보를 디스플레이하고 그리고/또는 사용자로부터의 입력을 수신하기 위한, 캐소드 레이 튜브(CRT), LCD 디스플레이, 또는 터치 스크린 디스플레이와 같은, 디스플레이(1812)에 버스(1802)를 통하여 결합될 수 있다. 예컨대, 도 1에서 예시된 바와 같은 모니터(85)는 디스플레이(1812)로서 구현될 수 있다. 영숫자 및 다른 키를 포함할 수 있는 입력 디바이스(1814)는 정보 및 커맨드 선택을 프로세서(1804)에 통신하도록 버스(1802)에 결합된다. 다른 유형의 사용자 입력 디바이스는 방향 정보 및 커맨드 선택을 프로세서(1804)에 통신하기 위한 그리고 디스플레이(1812) 상에서의 커서 이동을 제어하기 위한, 마우스, 트랙볼, 또는 커서 방향 키와 같은, 커서 제어부(1816)이다. 이러한 입력 디바이스는 전형적으로는 디바이스가 평면에서 위치를 특정하는 것을 가능하게 하는 2개의 축, 제1 축(예컨대, x) 및 제2 축(예컨대, y)에서의 적어도 2 자유도를 갖는다. 일부 실시형태에서, 커서 제어부와 동일한 방향 정보 및 커맨드 선택은 커서 없이 터치 스크린 상에서 터치를 수신하는 것을 통하여 구현될 수 있다. 일부 실시형태에서, 도 1에서 예시된 바와 같은 UID(50)는 입력 디바이스(1812) 및/또는 커서 제어부(1816)로서 구현될 수 있다.

컴퓨팅 시스템(1800)은, 위에서 설명된 바와 같이, 사용자 인터페이스 모듈, 및/또는 데이터 분석 시스템의 하나 이상의 그래픽 사용자 인터페이스를 구현하기 위한 다양한 다른 유형의 모듈을 포함할 수 있다. 모듈은 컴퓨팅 디바이스(들)에 의해 실행되는 실행가능한 소프트웨어 코드로서 대용량 저장 디바이스에 저장될 수 있다. 이들 및 다른 모듈은, 예로서, 소프트웨어 컴포넌트, 객체-지향 소프트웨어 컴포넌트, 클래스 컴포넌트 및 태스크 컴포넌트와 같은 컴포넌트, 프로세스, 함수, 속성, 프로시저, 서브루틴, 프로그램 코드 세그먼트, 드라이버, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조, 테이블, 어레이, 및 변수를 포함할 수 있다.

일반적으로, 단어 "모듈"은, 여기에서 사용될 때, 예컨대 자바, 루아, C 또는 C++과 같은 프로그래밍 언어로 작성된, 가능하게는 입구점 및 출구점을 갖는, 소프트웨어 명령어의 집합을 지칭한다. 소프트웨어 모듈은 실행가능한 프로그램으로 컴파일링 및 링크되고, 동적 링크 라이브러리에 설치될 수 있거나, 또는, 예컨대, BASIC, Perl, 또는 Python과 같은 해석된 프로그래밍 언어로 작성될 수 있다. 소프트웨어 모듈은 다른 모듈 또는 그드 자신으로부터 호출가능할 수 있고, 그리고/또는 검출된 이벤트 또는 인터럽트에 응답하여 인보크될 수 있음을 인식할 것이다. 컴퓨팅 디바이스 상에서의 실행을 위해 구성된 소프트웨어 모듈은 콤팩트 디스크, 디지털 비디오 디스크, 플래시 드라이브, 자기 디스크, 또는 어느 다른 유형적 매체와 같은 컴퓨터 판독가능한 매체 상에, 또는 디지털 다운로드로서 제공될 수 있다(그리고 원래는 실행 이전에 설치, 압축 해제 또는 복호화를 요구하는 압축된 또는 설치가능한 포맷으로 저장될 수 있다). 그러한 소프트웨어 코드는 컴퓨팅 디바이스에 의한 실행을 위해, 실행하는 컴퓨팅 디바이스의 메모리 디바이스 상에, 부분적으로 또는 완전히, 저장될 수 있다. 소프트웨어 명령어는 EPROM과 같은 펌웨어에 매립될 수 있다. (프로세서 및 CPU와 같은) 하드웨어 디바이스는 게이트 및 플립-플롭과 같은 연결된 로직 유닛으로 이루어질 수 있고, 그리고/또는 프로그래밍가능한 게이트 어레이 또는 프로세서와 같은 프로그래밍가능한 유닛으로 이루어질 수 있음을 더 인식할 것이다. 일반적으로, 여기에서 설명된 모듈은 그들의 물리적 조직 또는 저장소에도 불구하고 서브-모듈로 분할되거나 다른 모듈과 조합될 수 있는 로직 모듈을 지칭한다. 다양한 실시형태에서, 여기에서 설명된 방법 및 시스템의 태양은 하나 이상의 하드웨어 디바이스에 의해, 예컨대, 로직 회로로서 구현될 수 있다. 다양한 실시형태에서, 여기에서 설명된 방법 및 시스템의 일부 태양은 소프트웨어 명령어로서 구현될 수 있는 한편, 다른 태양은 하드웨어로, 어느 조합으로 구현될 수 있다.

언급된 바와 같이, 컴퓨터 시스템(1800)은 컴퓨터 시스템과 조합하여 컴퓨터 시스템(1800)을 특수-목적 기계이도록 야기 또는 프로그래밍하는 커스터마이징된 하드-와이어드 로직, 하나 이상의 ASIC 또는 FPGA, 펌웨어 및/또는 프로그램 로직을 사용하여 여기에서 설명된 기술을 구현할 수 있다. 일 실시형태에 의하면, 여기에서의 기술은 프로세서(들)(1804)가 주 메모리(1806)에 포함되어 있는 하나 이상의 모듈 및/또는 명령어의 하나 이상의 시퀀스를 실행하는 것에 응답하여 컴퓨터 시스템(1800)에 의해 수행된다. 그러한 명령어는 저장 디바이스(1810)와 같은 다른 저장 매체로부터 주 메모리(1806) 내로 판독될 수 있다. 주 메모리(1806)에 포함되어 있는 명령어의 시퀀스의 실행은 프로세서(들)(1804)가 여기에서 설명된 프로세스 단계를 수행하게 야기한다. 대안의 실시형태에서, 하드-와이어드 회로는 소프트웨어 명령어와 조합하여 또는 그 대신 사용될 수 있다.

용어 "비-일시적 매체", 및 유사한 용어는, 여기에서 사용될 때, 기계가 특정 방식으로 동작하게 야기하는 명령어 및/또는 데이터를 저장하는 어느 매체라도 지칭한다. 그러한 비-일시적 매체는 비-휘발성 매체 및/또는 휘발성 매체를 포함할 수 있다. 비-휘발성 매체는, 예컨대, 저장 디바이스(1810)와 같은, 광학 또는 자기 디스크를 포함한다. 휘발성 매체는 주 메모리(1806)와 같은 동적 메모리를 포함한다. 비-일시적 매체의 공통적 형태는, 예컨대, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 고체 상태 드라이브, 자기 테이프, 또는 어느 다른 자기 데이터 저장 매체, CD-ROM, 어느 다른 광학 데이터 저장 매체, 홀의 패턴을 갖는 어느 물리적 매체, RAM, PROM, 및 EPROM, FLASH-EPROM, NVRAM, 어느 다른 메모리 칩 또는 카트리지, 및 그 동일한 것의 네트워킹된 버전을 포함한다.

비-일시적 매체는 전송 매체와 구별되지만 그와 함께 사용될 수 있다. 전송 매체는 비-일시적 매체들 간 정보를 전달하는데 참여할 수 있다. 예컨대, 전송 매체는, 버스(1802)를 포함하는 전선을 포함하여, 동축 케이블, 구리 전선 및 광 섬유를 포함한다. 전송 매체는 또한, 라디오-파 및 적외선 데이터 통신 동안 발생된 것들과 같은, 음향 또는 광 파의 형태를 취할 수 있다.

실행을 위해 프로세서(1804)에 하나 이상의 명령어의 하나 이상의 시퀀스를 반송하는데 다양한 형태의 매체가 관여될 수 있다. 예컨대, 명령어는 처음에는 원격 컴퓨터의 고체 상태 드라이브 또는 자기 디스크 상에서 반송될 수 있다. 원격 컴퓨터는 명령어 및/또는 모듈을 그 동적 메모리 내로 로딩하고 그리고 모뎀을 사용하여 전화 회선을 통하여 명령어를 보낼 수 있다. 컴퓨터 시스템(1800)의 로컬 모뎀은 전화 회선 상에서 데이터를 수신하고 그리고 그 데이터를 적외선 신호로 변환하도록 적외선 송신기를 사용할 수 있다. 적외선 검출기는 적외선 신호에서 반송된 데이터를 수신할 수 있고 그리고 적합한 회로는 데이터를 버스(1802) 상에 놓을 수 있다. 버스(1802)는 데이터를 주 메모리(1806)로 반송하고, 그로부터 프로세서(1804)는 명령어를 검색 및 실행한다. 주 메모리(1806)에 의해 수신된 명령어는 선택사항으로서는 프로세서(1804)에 의한 실행 전이든 후이든 저장 디바이스(1810) 상에 저장될 수 있다.

일부 실시형태에서, 컴퓨터 시스템(1800)은 또한 버스(1802)에 결합된 통신 인터페이스(1818)를 포함할 수 있다. 통신 인터페이스(1818)는 로컬 네트워크(1822)에 접속되는 네트워크 링크(1820)로의 양방향 데이터 통신 결합을 제공한다. 예컨대, 통신 인터페이스(1818)는 통합 서비스 디지털 네트워크(ISDN) 카드, 케이블 모뎀, 위성 모뎀, 또는 대응하는 유형의 전화 회선으로의 데이터 통신 접속을 제공하기 위한 모뎀일 수 있다. 다른 일례로서, 통신 인터페이스(1818)는 호환가능한 LAN으로의 데이터 통신 접속을 제공하기 위한 근거리 통신망(LAN) 카드(또는 WAN과 통신하기 위한 WAN 컴포넌트)일 수 있다. 무선 링크 또한 구현될 수 있다. 어느 그러한 구현에서라도, 통신 인터페이스(1818)는 다양한 유형의 정보를 표현하는 디지털 데이터 스트림을 반송하는 전기, 전자기 또는 광학 신호를 송신 및 수신한다.

네트워크 링크(1820)는 전형적으로는 하나 이상의 네트워크를 통한 다른 데이터 디바이스로의 데이터 통신을 제공한다. 예컨대, 네트워크 링크(1820)는 로컬 네트워크(1822)를 통한 호스트 컴퓨터(1824)로의 또는 인터넷 서비스 제공자(ISP)(1826)에 의해 운용되는 데이터 장비로의 접속을 제공할 수 있다. ISP(1826)는 차례로 지금은 "인터넷"(1828)이라고 공통적으로 지칭되는 월드 와이드 패킷 데이터 통신 네트워크를 통한 데이터 통신 서비스를 제공한다. 로컬 네트워크(1822) 및 인터넷(1828) 양자는 디지털 데이터 스트림을 반송하는 전기, 전자기 또는 광학 신호를 사용한다. 컴퓨터 시스템(1800)으로 그리고 그로부터 디지털 데이터를 반송하는, 통신 인터페이스(1818)를 통한 그리고 네트워크 링크(1820) 상의 신호 및 다양한 네트워크를 통한 신호는 전송 매체의 예시적 형태이다.

컴퓨터 시스템(1800)은 네트워크(들), 네트워크 링크(1820) 및 통신 인터페이스(1818)를 통해, 프로그램 코드를 포함하여, 데이터를 수신하고 그리고 메시지를 보낼 수 있다. 인터넷 예에서, 서버(1830)는 인터넷(1828), ISP(1826), 로컬 네트워크(1822) 및 통신 인터페이스(1818)를 통해 애플리케이션 프로그램에 대한 요청된 코드를 송신할 수 있다. 예컨대, 일 실시형태에서 데이터 분석 시스템의 다양한 태양은 서버(1830) 중 하나 이상에서 구현될 수 있고 그리고 컴퓨터 시스템(1800)에 그리고 그로부터 송신될 수 있다. 예컨대, 데이터는 컴퓨터 시스템(1800)과 하나 이상의 서버(1830) 간 송신될 수 있다. 일례에서, 센서 데이터는 하나 이상의 서버(1830)에 송신될 수 있고, 그리고 로봇 도구 제어 명령어와 같은 분석 데이터는 그 후 다시 서버(1830)로부터 송신될 수 있다.

부가적 실시형태

특히, "할 수 있다", "하였을 수 있다", "하였을 수도 있다", 또는 "할 수도 있다"와 같은, 여기에서 사용된 조건법 언어는, 특히 달리 서술되거나, 아니면 맥락 내에서 사용된 대로 이해되지 않는 한, 일반적으로는 특정 특징, 요소 및/또는 단계를 특정 실시형태는 포함하지만 다른 실시형태는 포함하지 않음을 전하도록 의도된다. 그리하여, 그러한 조건법 언어는 일반적으로는 특징, 요소 및/또는 단계가 어떤 식으로라도 하나 이상의 실시형태에는 필요로 된다는 것 또는 하나 이상의 실시형태가, 사용자 입력 또는 프롬프트가 있거나 없이, 어느 특정 실시형태에서라도 이들 특징, 요소 및/또는 단계가 수행되어야 하거나 포함되는지 결정하기 위한 로직을 반드시 포함한다는 것을 내포하도록 의도되지는 않는다.

여기에서 설명된 그리고/또는 첨부 도면에서 묘사된 순서도에서의 어느 프로세스 설명, 요소, 또는 블록이라도 프로세스에서의 특정 로직 함수 또는 단계를 구현하기 위한 하나 이상의 실행가능한 명령어를 포함하는 코드의 부분, 세그먼트, 또는 모듈을 잠재적으로 표현하는 것으로 이해되어야 한다. 당업자에 의해 이해될 바와 같이, 요소 또는 함수가, 관여된 기능성에 종속하여, 실질적으로 병행하여 또는 역순으로를 포함하여, 도시 또는 논의된 것으로부터 바뀐 순서로 실행되거나, 삭제될 수 있는 대체 구현은 여기에서 설명된 실시형태의 범위 내에 포함된다.

여기에서 설명된 방법 및 태스크는 컴퓨터 시스템에 의해 수행 및 완전 자동화될 수 있다. 컴퓨터 시스템은, 일부 경우에, 설명된 기능을 수행하도록 네트워크를 통하여 전자 통신 및 상호 운용하는 다수의 구별되는 컴퓨터 또는 컴퓨팅 디바이스(예컨대, 물리적 서버, 워크스테이션, 저장 어레이 등)를 포함할 수 있다. 각각의 그러한 컴퓨팅 디바이스는 전형적으로는 메모리 또는 다른 컴퓨터-판독가능한 저장 매체에 저장된 프로그램 명령어 또는 모듈을 실행하는 프로세서(또는 다중 프로세서)를 포함한다. 시스템이 다수의 컴퓨팅 디바이스를 포함하는 경우, 이들 디바이스는 병설될 수 있지만, 그럴 필요가 있는 것은 아니다. 개시된 방법 및 태스크의 결과는 고체 상태 메모리 칩 및/또는 자기 디스크와 같은 물리적 저장 디바이스를 다른 상태로 변환함으로써 영속적으로 저장될 수 있다.

위에서 설명된 방법 및 프로세스는 하나 이상의 범용 컴퓨터에 의해 실행되는 소프트웨어 코드 모듈에서 구체화되고 그리고 그것을 통하여 완전 자동화될 수 있다. 코드 모듈은 어느 유형의 컴퓨터-판독가능한 매체 또는 다른 컴퓨터 저장 디바이스에라도 저장될 수 있다. 대안으로, 방법 중 일부 또는 전부는 전문 컴퓨터 하드웨어에서 구체화될 수 있다. 개시된 방법의 결과는 자기 디스크 저장소 및/또는 고체 상태 RAM을 사용하는 플랫 파일 시스템 및 관계형 데이터베이스와 같은 어느 유형의 컴퓨터 데이터 리파지토리에라도 저장될 수 있다.

많은 변형 및 수정이 위에서 설명된 실시형태에 이루어질 수 있고, 그 요소는 다른 허용가능한 예 중에 있는 것으로 이해되어야 한다. 모든 그러한 수정 및 변형은 여기에서 본 발명의 범위 내에 포함되는 것으로 의도된다. 상기 설명은 본 발명의 특정 실시형태를 상술한다. 그렇지만, 상기한 것이 본문에서 얼마나 상세히 나타나 있든, 본 발명은 여러 방법으로 실시될 수 있음을 인식할 것이다. 위에서 또한 서술된 바와 같이, 본 발명의 특정 특징 또는 태양을 설명할 때 특정 술어의 사용은 그 술어가 연관되는 본 발명의 특징 또는 태양의 어느 특정 특성이라도 포함하는 것으로 제한되도록 술어가 여기에서 재-정의되고 있음을 내포하는 것으로 받아들여서는 안 된다.

Claims (23)

1. 시스템으로서,
   제1 로봇 도구;
   제1 참조 프레임을 사용하여 상기 제1 로봇 도구를 제어하도록 구성된 오퍼레이터에 의한 사용을 위한 제1 그라운드리스(groundless) 사용자 인터페이스 디바이스(UID)를 포함하고, 상기 제어는,
   상기 제1 UID의 제1 UID 모션을 식별하는 것; 및
   상기 제1 UID의 식별된 상기 제1 UID 모션에 적어도 부분적으로 기반하여 상기 제1 로봇 도구의 제1 로봇 도구 이동을 수행하는 것을 포함하는, 시스템.
2. 청구항 1에 있어서,
   제2 로봇 도구 및 상기 제1 참조 프레임과는 독립적인 제2 참조 프레임을 사용하여 상기 제2 로봇 도구를 제어하도록 구성된 상기 오퍼레이터에 의한 사용을 위한 제2 그라운드리스 사용자 인터페이스 디바이스(UID)를 더 포함하고, 상기 제어는,
   상기 제2 UID의 제2 UID 모션을 식별하는 것; 및
   상기 제2 UID의 식별된 상기 제2 UID 모션에 적어도 부분적으로 기반하여 상기 제2 로봇 도구의 제2 로봇 도구 이동을 수행하는 것을 포함하는, 시스템.
3. 청구항 1에 있어서,
   상기 제1 로봇 도구는 그래스퍼(grasper), 수술 도구, 또는 카메라 중 적어도 하나를 포함하는, 시스템.
4. 청구항 2에 있어서,
   상기 제1 UID는 상기 오퍼레이터의 제1 손에 의해 제어되도록 더 구성되고 그리고 상기 제2 UID는 상기 오퍼레이터의 제2 손에 의해 제어되도록 더 구성되는, 시스템.
5. 청구항 3에 있어서,
   상기 제1 도구를 제어하는 것은,
   드라이브가 맞물렸는지 결정하는 것; 및
   상기 드라이브가 맞물렸다고 결정하는 것에 응답하여, 상기 제1 손과 연관된 상기 오퍼레이터의 제1 팔뚝 상의 위치를 확립하는 것을 더 포함하되, 상기 제1 UID의 UID 모션은 상기 제1 팔뚝 상의 상기 위치와 관련하여 측정되는, 시스템.
6. 청구항 1에 있어서,
   상기 제1 로봇 도구를 제어하는 것은,
   제1 좌표 프레임에 대한 상기 제1 UID의 배향(orientation)을 제2 좌표 프레임에 대한 상기 제1 로봇 도구의 배향과 비교하는 것을 더 포함하되,
   상기 제1 UID는 상기 제1 좌표 프레임에 대한 상기 제1 UID의 상기 배향이 상기 제2 좌표 프레임에 대한 상기 제1 로봇 도구에 대해 특정 영역 내에 있으면 상기 제1 로봇 도구를 제어하는, 시스템.
7. 청구항 5에 있어서,
   상기 제1 좌표 프레임은 상기 오퍼레이터와 연관된 자연 좌표(natural coordinate) 프레임에 대응하고, 그리고 상기 제2 좌표 프레임은 상기 제1 로봇 도구와 연관된 카메라 프레임에 대응하는, 시스템.
8. 청구항 5에 있어서,
   상기 영역은 상기 제1 로봇 도구의 주위의 원뿔을 포함하고, 상기 원뿔은 상기 제1 로봇 도구의 단부에 대응하는 정점을 포함하는, 시스템.
9. 청구항 5에 있어서,
   상기 제1 로봇 도구의 상기 제1 로봇 도구 이동의 속도는 상기 제1 로봇 도구에 대한 상기 제1 UID의 상기 배향 간의 계산된 차이에 적어도 부분적으로 기반하여 조절되는, 시스템.
10. 청구항 5에 있어서,
    상기 제1 로봇 도구는 복수의 다른 영역과 연관된 복수의 제어 기법과 연관되고, 그리고 상기 제1 로봇 도구를 제어하도록 상기 제1 UID에 의해 사용되는 상기 복수의 제어 기법 중 하나는 상기 제2 좌표 프레임에 대한 상기 제1 로봇 도구의 상기 배향에 대한 상기 제1 좌표 프레임에 대한 상기 제1 UID의 상기 배향에 적어도 부분적으로 기반하는, 시스템.
11. 시스템으로서,
    제1 로봇 도구; 및
    제1 참조 프레임을 사용하여 상기 제1 로봇 도구를 제어하도록 구성된 제1 그라운드리스 사용자 인터페이스 디바이스(UID)를 포함하고, 상기 제어는,
    상기 제1 UID의 제1 UID 모션을 식별하는 것;
    상기 제1 UID 모션을 제1 성분 및 제2 성분을 포함하는 2개 이상의 성분으로 분리하는 것;
    상기 제1 성분 및 상기 제2 성분이 다르게 변환되는, 상기 2개 이상의 성분 상의 제1 변환을 수행하는 것; 및
    상기 제1 변환에 적어도 부분적으로 기반하여 상기 로봇 도구의 제1 로봇 도구 이동을 수행하는 것을 포함하는, 시스템.
12. 청구항 1011에 있어서,
    상기 2개 이상의 성분은 적어도 롤 성분(roll component), 피치 성분(pitch component) 및 요 성분(yaw component)을 포함하고, 그리고 상기 제1 변환은, 식별된 상기 제1 UID 모션이 확립된 기준을 충족한다는 결정에 응답하여, 상기 제1 로봇 도구의 수행된 상기 제1 로봇 도구 이동으로 상기 롤 성분을 변환하지만 상기 피치 성분 또는 상기 요 성분을 변환하지 않는 것을 포함하는, 시스템.
13. 청구항 10에 있어서,
    상기 2개 이상의 성분은 적어도 롤 성분, 피치 성분, 및 요 성분을 포함하고, 그리고 상기 제1 변환은,
    상기 요 성분 및 상기 피치 성분 상의 중간 변환으로서, 수정된 요 성분, 수정된 피치 성분, 및 중간 롤 성분을 발생시키는 상기 중간 변환을 수행하는 것; 및
    수정된 롤 성분을 결정하는 것을 포함하고, 상기 수정된 롤 성분은 상기 롤 성분과 상기 중간 변환으로부터 획득된 중간 롤 성분의 합에 적어도 부분적으로 기반하되,
    상기 제1 로봇 도구의 상기 제1 로봇 도구 이동은 상기 수정된 롤 성분, 수정된 요 성분, 또는 수정된 피치 성분 중 하나에 적어도 부분적으로 기반하는, 시스템.
14. 청구항 10에 있어서,
    상기 2개 이상의 성분은 적어도 회전 성분 및 병진 성분을 포함하고, 그리고 상기 제1 변환은,
    상기 병진 성분이 임계치를 충족하는지 자동으로 결정하고, 그리고, 상기 병진 성분이 상기 임계치를 충족하지 않으면, 상기 제1 로봇 도구의 상기 제1 로봇 도구 이동에 대한 병진 성분을 0으로 설정하는 것; 및
    상기 회전 성분이 임계치를 충족하는지 자동으로 결정하고, 그리고, 상기 회전 성분이 상기 임계치를 충족하지 않으면, 상기 제1 로봇 도구의 상기 제1 로봇 도구 이동에 대한 회전 성분을 0으로 설정하는 것을 포함하는, 시스템.
15. 청구항 10에 있어서,
    상기 제1 변환은 상기 2개 이상의 성분 중 적어도 하나의 성분을 스케일링하는 것을 포함하고, 그리고 스케일링의 양은 상기 제1 UID의 위치에 적어도 부분적으로 기반하는, 시스템.
16. 청구항 14에 있어서,
    상기 제1 UID는, UID의 위치가 오퍼레이터의 손목 위치에 적어도 부분적으로 기반하게 되게, 상기 오퍼레이터에 의해 잡혀 있도록 구성된 상기 UID를 포함하고, 상기 오퍼레이터의 상기 손목의 모션의 범위는 적어도 편안한 영역과 불편한 영역으로 구획되고, 그리고 스케일링의 상기 양은 상기 손목이 어느 영역에 있는지에 적어도 부분적으로 기반하는, 시스템.
17. 청구항 10에 있어서,
    상기 제1 UID는 상기 제1 UID가 자연 작업 공간 영역 내에 위치하는 경우에만 상기 제1 로봇 도구를 제어하는, 시스템.
18. 청구항 16에 있어서,
    상기 제1 로봇 도구를 제어하는 것은,
    드라이브가 맞물렸는지 결정하는 것;
    상기 제1 UID가 상기 자연 작업 공간 영역 내에 있는지 결정하는 것; 및
    상기 드라이브가 맞물렸다고 그리고 상기 제1 UID가 상기 자연 작업 공간 내에 있다고 결정하는 것에 응답하여, 상기 제1 로봇 도구의 위치에 대응하는 상기 제1 UID에 대한 영 위치(zero position)를 확립하는 것을 더 포함하는, 시스템.
19. 컴퓨터-구현 방법으로서,
    특정 컴퓨터-실행가능한 명령어로 구성된 하나 이상의 컴퓨팅 디바이스에 의해 구현될 때,
    적어도 하나의 그라운드리스 사용자 인터페이스(UID)의 모션을 식별하는 단계;
    식별된 상기 모션을 적어도 제1 성분 및 제2 성분을 포함하는 2개 이상의 성분으로 분리하는 단계;
    상기 제1 성분 및 상기 제2 성분이 다르게 변환되는, 상기 2개 이상의 성분 상의 적어도 하나의 변환을 수행하는 단계; 및
    적어도 하나의 로봇 도구의 이동을 수행하는 단계를 포함하되, 상기 이동은 상기 제1 성분 및 상기 제2 성분 상에 수행된 상기 적어도 하나의 변환에 적어도 부분적으로 기반하는, 컴퓨터-구현 방법.
20. 청구항 18에 있어서,
    상기 적어도 하나의 로봇 도구는 그래스퍼, 수술 도구, 또는 카메라 중 적어도 하나를 포함하는, 컴퓨터-구현 방법.
21. 청구항 18에 있어서,
    상기 적어도 하나의 UID는 제1 UID 및 제2 UID를 포함하고, 상기 제1 UID 및 제2 UID는 오퍼레이터의 제1 손 및 제2 손에 의해 제어되도록 구성되고, 그리고 상기 제1 UID 및 제2 UID는 독립적 좌표 프레임에서 상기 제1 손 및 상기 제2 손에 의해 이동될 수 있는, 컴퓨터-구현 방법.
22. 청구항 18에 있어서,
    특정 좌표 프레임에서 상기 적어도 하나의 로봇 도구의 배향과 상기 적어도 하나의 UID의 배향을 비교하는 단계를 더 포함하되,
    상기 적어도 하나의 UID는 상기 적어도 하나의 UID의 상기 배향이 상기 좌표 프레임에서 상기 적어도 하나의 로봇 도구에 대해 특정 영역 내에 있으면 상기 적어도 하나의 로봇 도구를 제어하는, 컴퓨터-구현 방법.
23. 청구항 21에 있어서,
    상기 적어도 하나의 로봇 도구의 상기 이동의 속도는 상기 적어도 하나의 로봇 도구에 대한 상기 적어도 하나의 UID의 상기 배향 간의 계산된 차이에 적어도 부분적으로 기반하여 조절되는, 컴퓨터-구현 방법.

Images