KR101900922B1 - 최소 침습 수술 시스템에서 손 존재 검출을 위한 방법 및 시스템 - Google Patents

Abstract

최소 침습 수술 시스템에서, 핸드 트래킹 시스템이 사람 손의 일부에 장착된 센서 요소의 위치를 추적한다. 사람 손의 일부의 위치에 기초하여 시스템 제어 변수가 생성된다. 최소 침습 수술 시스템의 작동이 시스템 제어 변수를 사용하여 제어된다. 따라서, 최소 침습 수술 시스템은 핸드 트래킹 시스템을 포함한다. 핸드 트래킹 시스템은 사람 손의 일부의 위치를 추적한다. 핸드 트래킹 시스템에 연결된 컨트롤러가 이 위치를 시스템 제어 변수로 전환하고, 시스템 제어 변수에 기초한 명령을 최소 침습 수술 시스템에 제공한다.

Description

최소 침습 수술 시스템에서 손 존재 검출을 위한 방법 및 시스템{METHOD AND SYSTEM FOR HAND PRESENCE DETECTION IN A MINIMALLY INVASIVE SURGICAL SYSTEM}

본 발명의 양태는 최소 침습 수술 시스템의 제어와 관련되고, 더 구체적으로는 최소 침습 수술 시스템을 제어하는데 있어서 의사의 손 움직임을 사용하는 것에 관한 것이다.

손 위치 및 제스처를 추적하기 위한 방법 및 기술이 알려져 있다. 예를 들어, 일부 비디오 게임 컨트롤러는 핸드 트래킹 인풋을 이용한다. 예를 들어, 닌텐도 Wii® 게임 플랫폼은 무선 위치 및 배향 감지 리모트 컨트롤을 지원한다(Wii는 미국 워싱턴 레드몬드의 Nintendo of America Inc.의 등록 상표명이다). 배트를 휘두르거나 마술봉을 흔드는 것과 같은 제스처 및 다른 신체 동작의 사용이 이 플랫폼에 기본적인 게임 요소를 제공한다. Sony Playstation Move도 닌텐도 Wii® 게임 플랫폼과 유사한 특징을 가진다.

CyberGlove Systems의 무선 CyberGlove® 모션 캡처 데이터 글러브는 18개의 데이터 센서를 포함하며, 각 손가락에 2개의 벤드 센서가 있고, 4개의 외전 센서와 엄지손가락 교차, 팔꿈치 아치, 손목 굴절 및 손목 외전을 측정하는 센서들이 있다(CyberGlove®는 캘리포니아 세너제이에 위치한 CyberGlove Systems LLC의 등록상표이다). CyberGlove® 모션 캡처 데이터 글러브에 3-차원 추적 시스템이 사용된 경우에는 x, y, z, 요우, 피치, 롤 위치 및 손의 배향 정보가 이용될 수 있다. CyberGlove® 모션 캡처 데이터 글러브의 동작 캡처 시스템은 디지털 원형 평가, 가상현실 바이오메카닉스, 및 애니메이션에서 사용되고 있다.

40개의 센서를 가진 다른 데이터 글러브로서 Measurand Inc.의 ShapeHand 데이터 글러브가 있다. Measurand Inc.의 ShapeClaw 휴대용 경량 핸드 모션 캡처 시스템은 공간 내에서 손과 팔뚝의 위치 및 배향과 함께 집게손가락과 엄지손가락 모션을 캡처하는 플렉시블 리본 시스템을 포함한다.

김인철 및 전성일, "스트로크-기반 복합 은닉 마르코프 모델을 이용한 3D 손 궤적 제스처의 분석"(Applied Intelligence, Vol.15 No.2, p.131-143, September-October 2001)에서 김과 전은 Polhemus 센서에 의한 3-차원 궤적 입력을 이용하여 제스처를 인식하는 것을 조사한다. 김과 전은 3-차원 궤적이 비디오-기반 접근법에서 주로 사용되는 2-차원 제스처보다 더 높은 식별력을 제공하기 때문에 이 형태의 입력을 제안한다. 김과 전은 그들의 실험에서 Fakespace PinchGlove의 뒤에 부착된 Polhemus 자성 위치 추적 센서를 사용했다. PinchGlove는 Polhemus 센서가 사용자의 손의 3-차원 궤적을 캡처하는 동안 제스처의 시작 및 종료를 사용자에게 신호하기 위한 수단을 제공한다.

Elena Sanchez-Nielsen 등, "사람과 기계의 상호작용을 위한 손 제스처의 인식"(Journal of WSCG, Vol.12, No.1-3, ISSN 1213-6972, WSCG'2004, February 2-6 20003, Plzen Czech Republic)에서는 개인용 컴퓨터 및 웹캠과 같은 다목적 하드웨어와 저렴한 센서를 사용한 손 제스처 인식을 통한 시각적 상호작용 환경 안에서의 용도를 위한 실시간 화면 시스템이 제안된다. Pragati Garg 등, "화면-기반 손 제스처 인식"(49 World Academy of Science, Engineering and Technology, 972-977 (2009))에서는 화면-기반 손 제스처 인식이 재검토되었다. 제시된 한 가지 결론은 대부분의 접근법이 제어된 실험실 환경에서는 적합할 수 있지만 임의의 환경에 대해서는 일반화할 수 없는 몇 가지 근본적 가정에 의존한다는 것이었다. 이 저자들은 "손 제스처 인터페이스를 위한 컴퓨터 화면법은 쌍방향 참가 및 유용성을 달성하기 위해서 강인성 및 속도와 관련하여 현재 성능을 능가해야만 한다"고 말했다. 의료 분야에서 제스처 인식은 방사선학 영상의 무균성 브라우징을 위해서 고려되었다. Juan P. Wachs 등, "방사선학 영상의 무균성 브라우징을 위한 제스처-기반 도구"(Journal of the American Medical Informatics Association(2008; 15:321-323, DOI 10.1197/jamia.M24)을 참조한다.

한 양태에서, 최소 침습 수술 시스템의 핸드 트래킹 시스템은 사람 손의 일부의 로케이션을 추적한다. 사람 손의 일부의 로케이션에 기초하여 최소 침습 수술 시스템의 시스템 제어 변수가 생성된다. 이 시스템 제어 변수를 이용하여 최소 침습 수술 시스템의 작동이 제어된다.

한 양태에서, 사람 손의 일부에 장착된 센서 요소가 추적되어 사람 손의 일부의 로케이션들이 얻어진다. 이 로케이션에 기초하여 제어 포인트의 위치 및 배향이 생성된다. 제어 포인트의 위치 및 배향에 기초하여 최소 침습 수술 시스템에서 장치의 원격조종이 제어된다. 한 양태에서, 장치는 원격조종 종속 수술 기구이다. 다른 양태에서, 장치는 수술 부위의 비디오 영상에 제시되는 가상 프록시이다. 가상 프록시의 예들은 가상 종속 수술 기구, 가상 핸드 및 가상 텔레스트레이션 장치를 포함한다.

다른 양태에서, 제어 포인트의 위치 및 배향에 더해서 그립 닫힘 변수가 생성된다. 이 그립 닫힘 변수에 기초하여 원격조종 종속 수술 기구의 단부 작동기의 그립이 제어된다.

다른 양태에서, 시스템 제어 변수는 종속 수술 기구의 원격조종에 사용되는 제어 포인트의 위치 및 배향이다. 다른 양태에서, 시스템 제어 변수는 두 손으로부터 결정된다. 시스템 제어 변수는 두 손 중 하나에 대한 제어 포인트의 위치 및 배향과 두 손 중 나머지 하나에 대한 제어 포인트의 위치 및 배향이다. 제어 포인트는 최소 침습 수술 시스템에서 내시경 카메라 조작기의 원격조종에 사용된다.

또 다른 양태에서, 사람 손의 일부 상의 센서 요소에 더해서 제 2의 사람 손의 일부에 장착된 센서 요소가 추적된다. 제 2의 사람 손의 일부의 로케이션에 기초하여 제 2의 제어 포인트의 위치 및 배향이 생성된다. 이 양태에서, 제어 포인트와 제 2의 제어 포인트가 모두 원격조종 제어에 사용된다.

또 다른 양태에서, 사람 손의 손가락들에 장착된 센서 요소들이 추적된다. 손가락들간의 동작이 결정되고, 이 동작에 기초하여 최소 침습 수술 시스템에서 원격조종 종속 수술 기구의 배향이 제어된다.

이 동작이 제 1의 동작일 때, 제어는 포인팅 방향을 중심으로 종속 수술 기구 손목의 말단을 마는 것을 포함한다. 동작이 제 1의 동작과 상이한 제 2의 동작일 때, 제어는 종속 수술 기구 손목의 요우 동작을 포함한다.

최소 침습 수술 시스템은 핸드 트래킹 시스템 및 핸드 트래킹 시스템에 연결된 컨트롤러를 포함한다. 핸드 트래킹 시스템은 사람 손의 일부에 장착된 복수의 센서 요소의 로케이션을 추적한다. 컨트롤러는 이 로케이션을 제어 포인트의 위치 및 배향으로 변형한다. 컨트롤러는 제어 포인트에 기초하여 최소 침습 수술 시스템의 장치를 움직이라는 명령을 전송한다. 다시, 한 양태에서, 장치는 원격조종 종속 수술 기구이지만, 다른 양태에서 장치는 수술 부위의 비디오 영상에 제시되는 가상 프록시이다.

한 양태에서, 시스템은 또한 복수의 추적 센서를 포함하는 주 손가락 추적 장치를 포함한다. 주 손가락 추적 장치는 또한 압축체, 압축체에 고정된 제 1 손가락 고리, 및 압축체에 고정된 제 2 손가락 고리를 포함한다. 복수의 추적 센서의 제 1 추적 센서는 제 1 손가락 고리에 부착된다. 복수의 추적 센서의 제 2 추적 센서는 제 1 손가락 고리에 부착된다.

따라서, 한 양태에서, 최소 침습 수술 시스템은 주 손가락 추적 장치를 포함한다. 주 손가락 추적 장치는 압축체, 압축체에 고정된 제 1 손가락 고리, 및 압축체에 고정된 제 2 손가락 고리를 포함한다. 제 1 추적 센서가 제 1 손가락 고리에 부착된다. 제 2 추적 센서가 제 2 손가락 고리에 부착된다.

압축체는 제 1 단부, 제 2 단부, 및 바깥쪽 외부 표면을 포함한다. 바깥쪽 외부 표면은 제 1 단부와 제 2 단부 사이에 연장된 제 1 부분, 및 제 1 단부와 제 2 단부 사이에 연장된 제 2 부분과 반대쪽이며 그로부터 제거되는 제 2 부분을 포함한다.

압축체는 또한 길이를 가진다. 이 길이는 사람 손의 첫째 손가락과 둘째 손가락 사이의 분리를 제한할 수 있도록 선택된다.

제 1 손가락 고리가 제 1 단부에 인접한 압축체에 고정되고, 바깥쪽 외부 표면의 제 1 부분 주변으로 연장된다. 사람 손의 첫째 손가락에 제 1 손가락 고리가 배치된 경우, 바깥쪽 외부 표면의 제 1 부분의 제 1의 일부가 첫째 손가락과 접하게 된다.

제 2 손가락 고리가 제 2 단부에 인접한 압축체에 고정되고, 바깥쪽 외부 표면의 제 1 부분 주변으로 연장된다. 사람 손의 둘째 손가락에 제 2 손가락 고리가 배치된 경우, 바깥쪽 외부 표면의 제 1 부분의 제 2의 일부가 둘째 손가락에 접하게 된다. 첫째 손가락과 둘째 손가락이 서로를 향해 움직일 때, 압축체가 두 손가락 사이에 위치되어 이 압축체가 움직임에 대한 저항을 제공하게 된다.

압축체의 두께는 첫째 손가락의 끝이 둘째 손가락의 끝에 가볍게 닿을 때 압축체가 완전히 압축되지 않는 정도로 선택된다. 압축체는 원격조종 종속 수술 기구의 단부 작동기의 파지력에 상응하는 촉각적 피드백을 제공하도록 구성된다.

한 양태에서, 제 1 및 제 2 추적 센서는 피동적 전자기 센서이다. 다른 양태에서, 각 피동적 전자기 추적 센서는 6의 자유도를 가진다.

주 손가락 추적 장치를 사용하는 방법은 사람 손의 첫째 손가락에 장착된 센서의 제 1 로케이션 및 둘째 손가락에 장착된 또 다른 센서의 제 2 로케이션을 추적하는 것을 포함한다. 각 로케이션은 N의 자유도를 가지며, N은 0보다 큰 정수이다. 제 1 로케이션 및 제 2 로케이션은 제어 포인트 로케이션에 따라 맵핑된다. 제어 포인트 로케이션은 6의 자유도를 가진다. 6의 자유도는 2*N의 자유도 이하이다. 제 1 로케이션 및 제 2 로케이션은 또한 단일 자유도를 갖는 변수에 따라 맵핑된다. 최소 침습 수술 시스템에서 종속 수술 기구의 원격조종이 제어 포인트 로케이션과 변수에 기초하여 제어된다.

제 1 양태에서, 변수는 그립 닫힘 거리이다. 제 2 양태에서, 변수는 배향을 포함한다. 다른 양태에서, N은 6이지만, 다른 양태에서는 N이 5이다.

또 다른 양태에서, 사람 손의 일부의 복수의 로케이션을 얻기 위해 사람 손의 일부에 장착된 센서 요소가 추적된다. 이 복수의 로케이션에 기초하여 복수의 기지의 손 제스처로부터의 손 제스처가 선택된다. 손 제스처에 기초하여 최소 침습 수술 시스템의 작동이 제어된다.

손 제스처는 손 제스처 포즈, 손 제스처 궤적, 또는 손 제스처 포즈와 손 제스처 궤적의 조합 중 어느 하나 일수 있다. 손 제스처가 손 제스처 포즈이고, 복수의 기지의 손 제스처가 복수의 기지의 손 제스처 포즈를 포함할 때, 이 손 제스처 포즈에 기초하여 최소 침습 수술 시스템의 사용자 인터페이스가 제어된다.

더 나아가, 한 양태에서, 손 제스처가 손 제스처 포즈일 때, 손 제스처 선택은 추적된 복수의 로케이션으로부터 관찰된 특징 세트를 생성하는 것을 포함한다. 관찰된 특징 세트는 복수의 기지의 손 제스처 포즈의 특징 세트들과 비교된다. 기지의 손 제스처 중 하나가 손 제스처 포즈로서 선택된다. 선택된 기지의 손 제스처 포즈가 시스템 명령에 따라 맵핑되며, 시스템 명령은 최소 침습 수술 시스템에서 촉발된다.

또 다른 양태에서, 손 제스처가 손 제스처 궤적을 포함할 때, 이 손 제스처 궤적에 기초하여 최소 침습 수술 시스템의 사용자 인터페이스가 제어된다.

핸드 트래킹 시스템과 컨트롤러를 구비한 최소 침습 수술 시스템에서, 컨트롤러는 이 로케이션을 손 제스처로 변형한다. 컨트롤러는 손 제스처에 기초하여 최소 침습 수술 시스템의 작동 모드를 수정하라는 명령을 전송한다.

또 다른 양태에서, 사람 손의 일부의 로케이션을 얻기 위해 손의 일부에 장착된 센서 요소가 추적된다. 이 로케이션에 기초하여, 방법은 사람 손의 일부의 위치가 최소 침습 수술 시스템의 주 도구 그립의 위치로부터 역치 거리 내에 있는지의 여부를 결정한다. 결정된 결과에 기초하여 최소 침습 수술 시스템의 작동이 제어된다. 한 양태에서, 결정 결과에 기초하여 주 도구 그립에 연결된 원격조종 종속 수술 기구의 원격조종이 제어된다. 다른 양태에서, 결정 결과에 기초하여 사용자 인터페이스의 표시, 또는 프록시 비주얼의 표시가 제어된다.

한 양태에서, 사람 손의 일부의 위치가 제어 포인트 위치에 의해 특정된다. 다른 양태에서, 사람 손의 일부의 위치는 집게손가락 위치이다.

최소 침습 수술 시스템은 핸드 트래킹 시스템을 포함한다. 핸드 트래킹 시스템은 사람 손의 일부의 로케이션을 추적한다. 컨트롤러가 이 로케이션을 이용해서 의사의 손이 최소 침습 수술 시스템의 특정 작동을 허용할 만큼 주 도구 그립에 충분히 근접해 있는지의 여부를 결정한다.

또한, 최소 침습 수술 시스템은 핸드 트래킹 시스템에 연결된 컨트롤러를 포함한다. 컨트롤러는 로케이션을 시스템 제어 변수로 전환하고, 시스템 제어 변수에 기초한 명령을 최소 침습 수술 시스템에 제공한다.

도 1은 핸드 트래킹 시스템을 포함하는 최소 침습 원격조종 수술 시스템의 고 차원 도식도이다.
도 2a-2g는 도 1의 최소 침습 원격조종 수술 시스템의 원격조종 종속 수술 기구를 제어하는데 사용되는 손-추적형 주 도구 그립의 다양한 구성형태의 예들이다.
도 3a-3d는 도 1의 최소 침습 원격조종 수술 시스템의 시스템 모드를 제어하는데 사용되는 손 제스처 포즈의 예들이다.
도 4a-4c는 도 1의 최소 침습 원격조종 수술 시스템의 시스템 모드를 제어하는데 또한 사용되는 손 제스처 궤적의 예들이다.
도 5는 카메라-기반 추적 시스템에서 손 추적을 위한 기점 마커들의 배치를 예시한다.
도 6a 및 6b는 도 1의 의사 콘솔의 더 상세한 도면이며, 이것은 도 1의 최소 침습 원격조종 수술 시스템에 의한 손 추적에서 이용되는 좌표 시스템의 예들을 포함한다.
도 7은 손-착용형 주 도구 그립 및 도 1의 최소 침습 원격조종 수술 시스템에 의한 손 추적에서 사용되는 로케이션 및 좌표 시스템을 더 상세히 예시한다.
도 8은 손의 손가락들을 추적할 수 있는 추적 시스템에서 사용되며, 도 1의 최소 침습 원격조종 수술 시스템의 종속 수술 기구의 원격조종을 위한 데이터를 생성하는데 사용되는 과정의 과정 순서도이다.
도 9는 도 8의 제어 위치 및 그립 변수에 따른 맵 로케이션 데이터의 더 상세한 과정 순서도이다.
도 10은 손 제스처 포즈 및 손 제스처 궤적을 인식할 수 있는 추적 시스템에서 사용되는 과정의 과정 순서도이다.
도 11은 손 존재 검출을 위해 추적 시스템에서 사용되는 과정의 과정 순서도이다.
도 12는 주 손가락 추적 장치의 일례를 예시한다.
도 13은 프록시 비주얼을 포함하는 표시 장치에 제시되는 비디오 영상을 예시하며, 이것은 이 예에서는 가상 고스트 기구, 및 원격조종 종속 수술 기구를 포함한다.
도 14는 프록시 비주얼을 포함하는 표시 장치에 제시되는 비디오 영상을 예시하며, 이것은 이 예에서는 가상 핸드와 원격조종 종속 수술 기구의 쌍을 포함한다.
도 15는 프록시 비주얼을 포함하는 표시 장치에 제시되는 비디오 영상을 예시하며, 이것은 이 예에서는 가상 텔레스트레이션 장치와 가상 고스트 기구, 및 원격조종 종속 수술 기구를 포함한다.
도면에서, 3자리 숫자의 참조번호 중 첫 번째 숫자는 그 참조번호를 가진 요소가 처음 나타난 도면의 도면 번호를 표시하고, 4자리 숫자의 기준번호 중 처음 2자리는 그 참조번호를 가진 요소가 처음 나타난 도면의 도면 번호를 표시한다.

본원에서 사용된 로케이션은 위치 및 배향을 포함한다.

본원에서 사용된, 때로 제스처라고도 하는 손 제스처는 손 제스처 포즈, 손 제스처 궤적, 및 손 제스처 포즈와 손 제스처 궤적의 조합을 포함한다.

본 발명의 양태들은 최소 침습 수술 시스템을 제어하는데 손 로케이션 정보를 이용함으로써 최소 침습 수술 시스템, 예를 들어 캘리포니아 서니베일의 Intuitive Surgical, Inc.에 의해 시판되는 da Vinci® 최소 침습 원격조종 수술 시스템의 제어 역량을 강화한다. 손의 하나 이상의 손가락들의 측정된 로케이션을 사용하여 시스템 제어 변수를 결정하고, 차례로 이것을 사용하여 수술 시스템에서 시스템 명령을 촉발한다. 시스템 명령은 손 로케이션이 추적되는 사람의 로케이션, 즉 사람이 의사 콘솔에 있는지의 여부에 따른다.

측정된 로케이션이 의사 콘솔에 있지 않은 사람의 손의 손가락들에 대한 것인 경우, 시스템 명령은 손 배향과 손의 두 손가락의 상대적 동작의 조합에 기초하여 원격조종 종속 수술 기구의 일부의 배향을 변화시키라는 명령, 및 말단의 동작이 손의 일부의 동작을 추종하도록 원격조종 종속 수술 기구의 말단을 움직이라는 명령을 포함한다. 측정된 로케이션이 의사 콘솔에 있는 사람의 손의 손가락들에 대한 것인 경우, 시스템 명령은 종속 수술 기구의 동작을 허용하거나 금지하여 주 도구 그립의 동작을 계속 추종하도록 하는 명령을 포함한다. 측정된 로케이션이 의사 콘솔에 있지 않은 사람의 손의 손가락들에 대한 것이거나, 또는 의사 콘솔에 있는 사람의 손의 손가락들에 대한 것인 경우, 시스템 명령은 손 제스처 포즈에 기초하여 행동을 취하도록 시스템 또는 시스템의 일부에 명령하는 것, 및 손 제스처 궤적에 기초하여 행동을 취하도록 시스템 또는 시스템의 일부에 명령하는 것을 포함한다.

이제, 도 1은 핸드 트래킹 시스템을 포함하는 최소 침습 원격조종 수술 시스템(100), 예를 들어 da Vinci® 수술 시스템의 고차원 도식도이다. da Vinci® 수술 시스템에 연계된 다른 부품들, 케이블 등도 있지만, 내용이 복잡해지는 것을 피하기 위해서 이들은 도 1에 예시되지 않는다. 최소 침습 수술 시스템에 관한 추가의 정보는, 예를 들어 미국 특허출원 제11/762,165호(2007년 6월 13일 제출, "최소 침습 수술 시스템"을 개시), 및 미국특허 제6,331,181호(2001년 12월 18일 발행, "수술 로봇 도구, 데이터 구조, 및 사용"을 개시)에서 찾을 수 있으며, 이들은 모두 본원에 참고자료로 포함된다. 또한, 미국특허 제7,155,315호(2005년 12월 12일, "최소 침습 수술 장치에서 카메라 기준 제어"를 개시) 및 제7,574,250호(2003년 2월 4일 제출, "원격로봇 시스템을 위한 영상 이동 장치 및 방법"을 개시)를 참조하며, 이들은 모두 본원에 참고자료로 포함된다.

이 예에서, 시스템(100)은 복수의 조작기를 구비한 카트(110)를 포함한다. 각 조작기 및 해당 조작기에 의해서 제어되는 원격조종 종속 수술 기구는 의사 콘솔(185)의 주 도구 조작기에 탈착 가능하게 연결될 수 있고, 이에 더해서 이들은 때로 주 손가락 추적 그립(170)이라고도 하는 기계적으로 접지되지 않은 비동력식 주 손가락 추적 그립(170)에도 탈착 가능하게 연결될 수 있다.

조작기(113)에 장착된 입체 내시경(112)이 환자(111) 안의 수술 부위(103)의 영상을 제공하고, 이것은 디스플레이(187) 및 의사 콘솔(185)의 디스플레이에 표시된다. 영상은 입체 내시경(112)의 시야 안에 있는 종속 수술 장치들의 영상을 포함한다. 의사 콘솔(185)의 주 도구 조작기와 종속 수술 장치와 입체 내시경(112) 사이의 상호작용은 기지의 시스템에서와 동일하므로 본 분야의 당업자들을 알고 있는 바이다.

한 양태에서, 의사(181)가 의사의 손의 적어도 1개 손가락을 움직이면, 그에 따라서 주 손가락 추적 그립(170)에 있는 센서가 로케이션 변화를 일으킨다. 핸드 트래킹 송신기(175)가 그 손가락의 새로운 위치 및 배향이 주 손가락 추적 그립(170)에 의해서 감지될 수 있는 장을 제공한다. 새로 감지된 위치 및 배향이 핸드 트래킹 컨트롤러(130)에 제공된다.

한 양태에서, 아래 더 완전히 설명된 대로, 핸드 트래킹 컨트롤러(130)는 의사(181)의 눈 좌표 시스템에 제어 포인트 위치 및 제어 포인트 배향에 따라 감지된 위치 및 배향을 맵핑한다. 핸드 트래킹 컨트롤러(130)는 이 로케이션 정보를 시스템 컨트롤러(140)로 전송하고, 이어서 주 손가락 추적 그립(170)에 연결된 원격조종 종속 수술 기구에 시스템 명령을 전송한다. 아래 더 완전히 설명된 대로, 주 손가락 추적 그립(170)을 사용해서 의사(181)는, 예를 들어 원격조종 종속 수술 기구의 단부 작동기의 그립을 제어할 수 있을 뿐만 아니라, 단부 작동기에 연결된 손목의 롤 및 요우를 제어할 수 있다.

다른 양태에서, 핸드 트래킹 컨트롤러(130)에 의해 의사(181)의 손 또는 의사(180)의 손의 적어도 일부의 손 추적이 사용되어 의사에 의해서 손 제스처 포즈가 만들어지는지, 또는 의사에 의해서 손 제스처 포즈와 손 제스처 궤적의 조합이 만들어지는지의 여부를 결정할 수 있다. 각 손 제스처 포즈 및 손 제스처 포즈와 조합된 각 궤적이 상이한 시스템 명령에 따라 맵핑된다. 시스템 명령은, 예를 들어 시스템 모드 변화를 제어하고, 최소 침습 수술 시스템(100)의 다른 양태들을 제어한다.

예를 들어, 공지된 최소 침습 수술 시스템에서처럼 풋 페달과 스위치를 사용하는 대신에, 손 제스처 포즈나 손 제스처 궤적인 손 제스처를 사용해서 (i) 주 도구 그립과 관련된 원격조종 종속 수술 기구의 동작들 간 추종을 개시하고, (ii) 주 클러치를 활성화시키고(이것은 종속 기구의 주 제어를 해제한다), (iii) 내시경 카메라를 제어하고(이것은 주 도구 그립으로 하여금 포커스 또는 전자 줌과 같은 내시경 움직임이나 특징부를 제어하게 한다), (iv) 로봇 암을 스와핑하고(이것은 2개의 종속 기구들 사이에 특정 주 제어를 전환한다), 그리고 (v) TM TILEPRO 스와핑을 수행할 수 있다(이것은 의사 디스플레이 상에서 보조 비디오 창의 표시를 토글한다)(TILEPRO는 미국 캘리포니아 서니베일의 Intuitive Surgical, Inc.의 상표명이다).

시스템(100)에 단지 2개의 주 도구 그립만 있고, 의사(180)가 2개의 주 도구 그립에 연결된 2개의 원격조종 종속 수술 기구 이외의 다른 종속 수술 기구의 움직임을 제어하고자 할 때, 의사는 제 1 손 제스처를 사용해서 제자리에 2개의 원격조종 종속 수술 기구 중 하나 또는 둘 다를 고정할 수 있다. 다음에, 의사는 상이한 손 제스처를 사용해서 주 도구 그립 중 하나 또는 둘 다를 다른 조작기 암들에 의해 고정된 다른 종속 수술 기구와 연계시키며, 이것은 이 실시형태에서 주 도구 그립과 또 다른 원격조종 종속 수술 기구의 스왑 관계를 제공한다. 의사(181)는 시스템(100)에 단지 2개의 주 손가락 추적 그립만이 있을 때도 동일한 과정을 수행한다.

또 다른 양태에서, 의사의 콘솔(185)에 장착된 핸드 트래킹 유닛(186)은 의사(180)의 손의 적어도 일부를 추적해서, 감지된 로케이션 정보를 핸드 트래킹 컨트롤러(130)에 전송한다. 핸드 트래킹 컨트롤러(130)는 의사의 손이 시스템 추종, 예를 들어 종속 수술 기구의 동작이 주 도구 그립의 동작을 추종하는 것을 허락할 만큼 주 도구 그립에 충분히 가까워진 때를 결정한다. 아래 더 완전히 설명된 대로, 한 양태에서, 핸드 트래킹 컨트롤러(130)는 의사의 손의 위치 및 상응하는 주 도구 그립의 위치를 결정한다. 두 위치의 차이가 정해진 거리에 있다면, 예를 들어 역치 분리 미만이라면, 추종이 허락되고, 다른 경우라면 추종이 금지된다. 따라서, 거리는 의사 콘솔(185) 상의 주 도구 그립과 관련해서 의사의 손이 존재하는 기준으로서 사용된다. 다른 양태에서, 주 도구 그립의 위치에 대해 의사의 손의 위치가 역치 분리 미만일 경우, 디스플레이 상의 사용자 인터페이스의 표시가 금지되는데, 예를 들어 표시 장치가 꺼진다. 반대로, 주 도구 그립의 위치에 대해 의사의 손의 위치가 역치 분리를 넘을 경우, 사용자 인터페이스가 표시 장치상에 표시되는데, 예를 들어 표시 장치가 켜진다.

의사의 손의 존재 검출은 오래된 문제였다. 존재 검출은 커패시터 스위치, 압력 센서 및 기계적 스위치와 같은 상이한 접촉 감지 기술을 사용하여 여러 번 시도되었다. 그러나, 이들 접근법은 의사가 어떻게 어디에서 각자의 주 도구 그립을 보유하는지에 대한 선호도가 다르기 때문에 원래 문제가 있었다. 존재의 기준으로서 거리를 사용하는 것은 이런 종류의 존재 검출이 의사가 주 도구 그립을 가볍게 터치한 후에 순간적으로 물리적 접촉을 깨트림으로써 주 도구 그립을 조정할 수 있도록 하지만, 의사가 어떻게 주 도구 그립을 자신의 손가락0에 보유하는지에 대해서는 구속하지 않는다는 점에서 유익하다.

핸드 트래킹을 통한 수술 기구 제어

때로 주 손가락 추적 그립(270)이라고도 하는 기계적으로 접지되지 않은 비동력식 주 손가락 추적 그립(270)이 상이한 구성형태들로 도 2a-2d에 예시되며, 이들은 아래 더 완전히 설명된다. 주 손가락 추적 그립(270)은 때로 손가락 및 엄지손가락 장착형 센서(211, 212)라고도 하는 손가락 장착형 센서(211, 212)를 포함하며, 이들은 독립적으로 집게손가락(292B)의 끝과 엄지손가락(292A)의 끝의 각각의 로케이션(일례에서 위치 및 배향)을 추적하며, 즉 의사의 손의 2개 손가락의 로케이션을 추적한다. 따라서, 공지된 최소 침습 수술 시스템에서 주 도구 그립의 로케이션을 추적하는 것과 달리 손 자체의 로케이션이 추적된다.

한 양태에서, 센서는 센서가 장착된 손의 각 손가락에 대해 6의 자유도(3의 병진, 3의 회전)의 추적을 제공한다. 다른 양태에서, 센서는 센서가 장착된 손의 각 손가락에 대해 5의 자유도(3의 병진, 2의 회전)의 추적을 제공한다.

또 다른 양태에서, 센서는 센서가 장착된 손의 각 손가락에 대해 3의 자유도의 추적을 제공한다(3의 병진). 2개의 손가락이 각각 3의 자유도로 추적될 때, 총 6의 병진 자유도면 손목 메커니즘을 포함하지 않는 종속 수술 기구를 제어하는데 충분하다.

패드 형태의 폼 커넥터(210)가 손가락 및 엄지손가락 장착형 센서(211, 212)들 사이에 연결된다. 커넥터(210)는 엄지손가락(292A)과 집게손가락(292B)을 구속하는데, 즉 손(291R)의 손가락들이 고정된 거리 안에 있도록 하며, 주 손가락 추적 그립(270)이 장착된 손(291R)의 손가락들 사이에 최대 분리 거리가 있게 된다. 엄지손가락(292A)과 집게손가락(292B)이 최대 분리(도 2a)로부터 완전히 닫힌 구성형태(도 2d)로 움직임에 따라, 패드가 명확한 피드백을 제공함으로써 의사가(181)가 주 손가락 추적 그립(170)에 연결된 원격조종 종속 수술 기구의 단부 작동기의 파지력을 제어하는 것을 돕는다.

엄지손가락(292A)과 집게손가락(292B)이 주 손가락 추적 그립(270)에 의해서 허용되는 최대 거리만큼 분리되어 있는 도 2a에 예시된 위치에서는 파지력이 최소이다. 반대로, 엄지손가락(292A)과 집게손가락(292B)이 커넥터(210)에 의해서 허용될 수 있는 만큼 가까이 있는, 즉 주 손가락 추적 그립(270)에 의해서 허용되는 최소 거리만큼 분리되어 있는 도 2d에 예시된 위치에서는 파지력이 최대이다. 도 2b 및 2c는 중간 파지력에 따라 맵핑된 위치들을 표시한다.

아래 더 완전히 설명된 대로, 도 2a-2d에서 엄지손가락(292A)과 집게손가락(292B)의 로케이션(위치 및 배향)은 그립 닫힘 변수, 예를 들어 주 손가락 추적 그립(270)에 연결된 원격조종 종속 수술 기구의 그립을 제어하는데 사용되는 정규 그립 닫힘 값에 따라 맵핑된다. 구체적으로, 엄지손가락(292A)과 집게손가락(292B)의 감지된 로케이션이 핸드 트래킹 컨트롤러(130)에 의해 그립 닫힘 변수에 따라 맵핑된다.

따라서, 의사(181)의 손의 일부의 로케이션이 추적된다. 추적된 로케이션에 기초하여, 최소 침습 수술 시스템(100)의 시스템 제어 변수, 즉 그립 닫힘 변수가 핸드 트래킹 컨트롤러(130)에 의해 생성되고, 시스템 컨트롤러(140)에 보내진다. 시스템 컨트롤러(140)는 그립 닫힘 변수를 사용해서 시스템 명령을 생성하고, 이것은 원격조종 종속 수술 기구로 전송된다. 시스템 명령은 단부 작동기를 그립 닫힘 변수에 상응하는 그립 닫힘으로 구성하도록 원격조종 수술 기구에 지시한다. 이로써, 최소 침습 수술 시스템(100)은 그립 닫힘 변수를 사용해서 최소 침습 수술 시스템(100)의 원격조종 종속 수술 기구의 작동을 제어할 수 있다.

또한, 도 2a-2d에서 엄지손가락(292A)과 집게손가락(292B)의 로케이션(위치 및 배향)이 핸드 트래킹 컨트롤러(130)에 의해 제어 포인트 위치 및 제어 포인트 배향에 따라 맵핑된다. 제어 포인트 위치 및 제어 포인트 배향은 의사(181)의 눈 좌표 시스템 안에서 맵핑되고, 다음에 명령 신호를 통해서 시스템 컨트롤러(140)에 제공된다. 눈 좌표 시스템 내의 제어 포인트 위치와 제어 포인트 배향은 주 손가락 추적 그립(170)에 연결된 종속 수술 기구의 원격조종을 위해서 시스템 컨트롤러(140)에 의해 사용된다.

다시, 의사(181)의 손의 일부의 로케이션이 추적된다. 추적된 로케이션에 기초하여, 최소 침습 수술 시스템(100)의 또 다른 시스템 제어 변수, 즉 제어 포인트 위치 및 배향이 핸드 트래킹 컨트롤러(130)에 의해 생성된다. 핸드 트래킹 컨트롤러(130)는 제어 포인트 위치 및 배향과 함께 명령 신호를 시스템 컨트롤러(140)에 송신한다. 시스템 컨트롤러(140)는 제어 포인트 위치 및 배향을 사용해서 시스템 명령을 생성하고, 이것은 원격조종 종속 수술 기구로 전송된다. 시스템 명령은 제어 포인트 위치 및 배향에 기초하여 원격조종 수술 기구를 배치하도록 원격조종 수술 기구에 지시한다. 이로써, 최소 침습 수술 시스템(100)은 제어 포인트 위치 및 배향을 사용해서 최소 침습 수술 시스템(100)의 원격조종 종속 수술 기구의 작동을 제어할 수 있다.

센서(211, 212)의 위치에 기초하여 그립 닫힘을 결정하는 것에 더하여, 집게손가락(292B)과 엄지손가락(292A) 간의 다른 상대적 동작을 사용해서 종속 수술 기구의 요우 동작 및 롤 동작을 제어할 수 있다. 가상의 스핀들(293) 주변에서 (도 2e)에서 화살표로 표시된 대로, 스핀들을 회전시키는 것처럼 집게손가락(292B)과 염지손가락(292A)을 함께 교차시켜 문지르는 것은 종속 수술 기구 말단의 롤 동작을 생기게 하고, 화살표(295)에 의해 표시된 포인팅 방향에서 축을 따라 (도 2f)에서 화살표로 표시된 대로, 집게손가락과 엄지손가락을 서로를 따라 길이 방향으로 앞뒤로 미끄러져 움직이는 것은 종속 수술 기구의 x-축을 따른 요우 동작을 생기게 한다. 이것은 집게손가락 끝의 위치와 엄지손가락 끝의 위치 사이의 벡터를 맵핑하여 제어 포인트 배향의 x-축을 한정함으로써 달성된다. 제어 포인트의 위치는 손가락과 엄지손가락이 각각 축(295)을 따라 대칭 방식으로 미끄러져 움직이기 때문에 비교적 고정된 채로 유지된다. 손가락과 엄지손가락의 동작이 완전히 대칭되는 동작이 아닌 경우에도, 위치는 여전히 충분히 고정되어 유지되고, 사용자는 발생할 수 있는 어떤 작은 변동을 쉽게 교정할 수 있다.

다시, 의사(181)의 손의 일부의 로케이션이 추적된다. 추적된 로케이션에 기초하여, 또 다른 시스템 제어 변수, 즉 의사의 손(291R)의 2개 손가락 간의 상대적 동작이 핸드 트래킹 컨트롤러(130)에 의해 생성된다.

핸드 트래킹 컨트롤러(130)는 상대적 동작을 주 손가락 추적 그립(170)에 연결된 원격조종 종속 수술 기구의 배향으로 전환한다. 핸드 트래킹 컨트롤러(130)는 이 배향과 함께 명령 신호를 시스템 컨트롤러(140)에 전송한다. 이 배향이 절대적 배향 맵핑인 경우, 한 양태에서 시스템 컨트롤러(140)는 어떤 다른 피동적 짐볼 주 도구 그립으로부터의 배향 입력과 동일한 방식으로 원격조종 동안 래칫 방식과 함께 이 입력을 사용한다. 래칫 방식의 일례가 공동 양도된 미국 특허출원 제12/495,213호(2009년 6월 30일 제출, "원격조종 수술 기구의 주 정렬을 위한 래칫 방식"을 개시)에 설명되며, 이것은 그 전체가 참고자료로 본원에 포함된다.

시스템 컨트롤러(140)는 이 배향을 사용하여 시스템 명령을 생성하고, 이것은 원격조종 종속 수술 기구로 전송된다. 시스템 명령은 배향에 기초하여 원격조종 수술 기구를 회전시키도록 원격조종 수술 기구에 지시한다. 이로써, 최소 침습 수술 시스템(100)은 두 손가락 간의 동작을 사용하여 최소 침습 수술 시스템(100)의 원격조종 종속 수술 기구의 작동을 제어할 수 있다.

동작이 제 1 동작일 때, 예를 들어 스핀들을 회전시키는 것과 같이 엄지손가락(292A)과 손가락(292B)을 교차해서 문지르는 것일 때, 배향은 롤 방향이고, 시스템 명령은 그것의 포인팅 방향을 따라 종속 수술 기구 손목의 말단 말림을 가져온다. 동작이 제 1 동작과 상이한 제 2 동작일 때, 예를 들어 집게손가락과 엄지손가락이 서로를 따라 길이 방향으로 앞뒤로 미끄러져 움직일 때(도 2f), 배향은 요우 방향이며, 시스템 명령은 종속 수술 기구 손목의 요우 동작을 가져온다.

또 다른 양태에서, 의사가 시스템 작동 모드를 제스처 인식 모드로 바꾼 경우, 두 손이 모두 추적되고, 두 손에 대한 제어 포인트 및 배향은 한 양태에서 두 손에 장착된 센서들의 감지된 위치 및 배향에 기초하여 생성된다. 예를 들어, 도 2g에 예시된 대로, 각 손의 엄지손가락과 집게손가락의 끝이 함께 맞닿아서 원형의 모양이 형성된다. 각 손의 감지된 위치가 한 상의 제어 포인트 위치에 따라 핸드 트래킹 컨트롤러(130)에 의해 맵핑된다. 한 쌍의 제어 포인트는 카메라 제어 시스템 사건과 함께 시스템 컨트롤러(140)로 전송된다.

따라서, 이 양태에서, 의사(181)의 각 손의 일부의 로케이션이 추적된다. 추적된 로케이션에 기초한 최소 침습 수술 시스템(100)의 또 다른 시스템 제어 변수, 즉 한 쌍의 제어 포인트 위치가 핸드 트래킹 컨트롤러(130)에 의해 생성된다. 핸드 트래킹 컨트롤러(130)는 한 쌍의 제어 포인트 위치를 카메라 제어 시스템 사건과 함께 시스템 컨트롤러(140)에 전송한다.

카메라 제어 시스템 사건에 응하여, 시스템 컨트롤러(140)는 한 쌍의 제어 포인트 위치에 기초하여 카메라 제어 시스템 명령을 생성한다. 카메라 제어 시스템 명령은 최소 침습 수술 시스템(100)의 원격조종 내시경 카메라 조작기에 전송된다. 이로써, 최소 침습 수술 시스템(100)은 한 쌍의 제어 포인트 위치를 사용해서 최소 침습 수술 시스템(100)의 원격조종 내시경 카메라 조작기의 동작을 제어할 수 있다.

손 제스처 포즈 및 손 제스처 궤적을 통한 시스템 제어

이 양태에서, 제스처 검출 작동 모드에 위치 후, 핸드 트래킹 컨트롤러(130)는 손 제스처 포즈, 또는 손 제스처 포즈와 손 제스처 궤적을 검출한다. 컨트롤러(130)는 어떤 시스템 모드 제어 명령에 따라 손 제스처 모즈를 맵핑하고, 유사하게 컨트롤러(130)는 다른 시스템 모드 제어 명령에 따라 손 제스처 궤적을 맵핑한다. 포즈 및 궤적의 맵핑이 독립적이며, 따라서 이것은 예를 들어 수동 신호 언어 추적과는 상이하다는 것을 주지한다. 공지된 최소 침습 수술 시스템에서처럼 스위치, 다수의 풋 페달 등을 조작하는 대신에 손 제스처 포즈 및 손 제스처 궤적을 사용하여 시스템 명령을 생성하고 시스템(100)을 제어하는 능력은 시스템(100)의 더욱 용이한 사용을 의사에게 제공한다.

의사가 서있을 때, 제어 시스템(100)에 손 제스처 포즈 및 손 제스처 궤적의 사용은 의사가 시스템 모드를 바꾸려고 할 때 의사가 자신의 눈을 환자 및/또는 주시 화면으로부터 떼어서 풋 페달이나 스위치를 찾을 필요가 없게 한다. 마지막으로, 다양한 스위치 및 풋 페달의 제거는 최소 침습 원격조종 수술 시스템에 필요한 바닥 공간을 감소시킨다.

최소 침습 수술 시스템(100)을 제어하는데 사용되는 손 제스처 포즈와 손 제스처 궤적의 특정 세트는 각 손 제스처 포즈와 각 손 제스처 궤적이 분명하기만 하면 중요하지 않다. 구체적으로, 한 손 제스처 포즈는 핸드 트래킹 컨트롤러(130)에 의해서 일단의 포즈들에서 하나 이상의 다른 손 제스처 포즈들로서 해석되어서는 안 되고, 한 손 제스처 궤적은 일단의 궤적들에서 하나 이상의 손 제스처 궤적으로서 해석되어서는 안 된다. 따라서, 하기 논의된 손 제스처 포즈 및 손 제스처 궤적은 단지 예시일 뿐이며, 제한을 의도하지 않는다.

도 3a-3d는 각각 손 제스처 포즈(300A-300D)의 예들이다. 도 4a-4c는 손 제스처 궤적의 예들이다. 예를 들어, 도 2a의 구성형태는 도 3a와 유사한 듯 보이지만, 두 구성형태가 사용될 때 최소 침습 수술 시스템(100)의 작동 방식이 상이하다는 점을 주지한다.

도 2a에서, 원격조종 최소 침습 종속 수술 기구는 주 손가락 추적 그립(170)에 연결되고, 시스템(100)은 추종 모드에 있으며, 이로써 원격조종 최소 침습 종속 수술 기구의 움직임이 의사의 손의 추적된 움직임을 추종한다. 도 3a-3d 및 4a-4c에서, 의사가 시스템(100)을 제스처 인식 모드에 위치시키고, 예시된 손 제스처 포즈 또는 손 제스처 궤적 중 하나를 만든다. 손 제스처 포즈 및 손 제스처 궤적은 시스템 모드의 제어에 사용되고, 추종 작동 모드에는 사용되지 않는다. 예를 들어, 손 제스처 포즈에 의해서 제어되는 시스템 모드는 비주얼 표시를 가능하게 하고, 금지하고, 비주얼 표시들 사이를 순환하며, 비주얼 표시를 클러치하고, 텔레스트레이션을 그리고/지우는 것이다.

손 제스처 포즈(300A)(도 3a)에서, 엄지손가락(292A)과 집게손가락(292)은 주 클러치 역치를 지나서 분리되는데, 예를 들어 손(291R)의 두 손가락 사이의 간격이 115mm 이상이다. 집게손가락(292B)이 펴지고 엄지손가락(292A)이 구부러진 손 제스처 포즈(300B)(도 3b)를 사용해서 핸드 트래킹 컨트롤러(130)에 신호를 보내서 의사가 손 제스처 궤적을 추적하도록 할 수 있다(도 4a 및 4b 참조). 엄지손가락(292A)이 위를 향하고 집게손가락(292B)이 구부러진 손 제스처 포즈(300C)(도 3c)를 사용해서 사용자 인터페이스를 켜고, 사용자 인터페이스에서 모드들 사이를 순환할 수 있다. 엄지손가락(292A)이 아래를 향하고 집게손가락(292B)이 구부러진 손 제스처 포즈(300D)(도 3d)를 사용해서 사용자 인터페이스를 끌 수 있다. 다른 손 제스처 포즈는 "A-오케이" 손 제스처 포즈, L-모양 손 제스처 포즈 등을 포함할 수 있다.

한 양태에서, 핸드 트래킹 컨트롤러(130)는 다-방향성 특징 벡터를 사용하여 손 제스처 포즈를 인식하고 식별한다. 처음에는 복수의 손 제스처 포즈가 특정된다. 다음에, 복수의 특징을 포함하는 특징 세트가 특정된다. 특징 세트는 복수의 포즈들에서 각각의 손 제스처 포즈를 특유하게 식별할 수 있도록 설계된다.

손 제스처 포즈 인식 과정은 트레이닝 데이터베이스를 이용하여 훈련된다. 트레이닝 데이터베이스는 손 제스처 포즈의 각각에 대한 복수의 예들을 포함한다. 복수의 예들은 여러 명의 다른 사람들에 의해 만들어진 포즈들에 대한 특징 벡터를 포함한다. 트레이닝 데이터베이스에서 각 예들에 대한 특징 세트가 생성된다. 이들 특징 세트는 아래 더 완전히 설명되는 다-방향성 베이지안 분류기를 훈련하는데 이용된다.

의사(180)가 손 제스처 작동 모드에 들어가려고 할 때, 의사는 스위치를 활성화시키는데, 예를 들어 풋 페달을 누른 다음, 적어도 한 손으로 손 제스처 포즈를 만든다. 이 예에서는 하나의 풋 페달이 필요하며, 이것은 공지된 최소 침습 수술 시스템의 풋 트레이에서 나머지 풋 페달의 제거를 허용하며, 따라서 상기 설명된 이점을 가진다는 것을 주지한다. 핸드 트래킹 유닛(186)은 의사의 손 또는 손들의 엄지손가락과 집게손가락의 감지된 위치 및 배향을 표시하는 신호를 핸드 트래킹 컨트롤러(130)에 전송한다.

의사의 손의 손가락들에 대한 추적 데이터를 사용해서 핸드 트래킹 컨트롤러(130)가 관찰된 특징 세트를 생성한다. 다음에, 핸드 트래킹 컨트롤러(130)는 훈련된 다-방향성 베이지안 분류기와 마할라노비스 거리를 사용해서 관찰된 특징 세트가 복수의 포즈들에서 손 제스처 포즈의 특징 세트일 가능성, 즉 확률을 결정한다. 이것은 복수의 포즈들에서 각각의 손 제스처 포즈에 대해 행해진다.

관찰된 손 제스처 포즈로서 핸드 트래킹 컨트롤러(130)에 의해서 선택된 복수의 포즈들 중의 손 제스처 포즈는 마할라노비스 거리가 해당 손 제스처 포즈에 대한 트레이닝 데이터베이스의 최대 마할라노비스 거리 미만인 경우에는 최소 마할라노비스 거리를 갖는 것이다. 선택된 손 제스처 포즈는 시스템 사건에 따라 맵핑된다. 핸드 트래킹 컨트롤러(130)는 시스템 사건을 시스템 컨트롤러(140)에 제공한다.

시스템 컨트롤러(140)는 시스템 사건을 처리하고, 시스템 명령을 발행한다. 예를 들어, 손 제스처 포즈(300C)(도 3c)가 검출된다면, 시스템 컨트롤러(140)는 사용자 인터페이스를 켜라는 시스템 명령을 디스플레이 컨트롤러(150)에 전송한다. 응답하여 디스플레이 컨트롤러(150)는 프로세서(151) 상에서 사용자 인터페이스 모듈(155)의 적어도 일부를 실행하여 의사 콘솔(185)의 디스플레이 상에 사용자 인터페이스를 생성한다.

따라서, 이 양태에서, 최소 침습 수술 시스템(100)은 사람 손의 일부의 로케이션을 추적한다. 추적된 로케이션에 기초하여, 시스템 제어 변수가 생성되는데, 예를 들어 손 제스처 포즈가 선택된다. 손 제스처 포즈를 사용하여 최소 침습 수술 시스템(100)의 사용자 인터페이스를 제어할 수 있는데, 예를 들어 의사 콘솔(185)의 디스플레이 상에 사용자 인터페이스를 표시할 수 있다.

사용자 인터페이스 제어는 단지 예시일 뿐이면 제한을 의도하지 않는다. 손 제스처를 사용하여 기지의 최소 침습 수술 시스템의 모드 변화, 예를 들어 주 클러치, 카메라 제어, 카메라 포커스, 조작기 암 스와핑 등의 변화를 수행할 수 있다.

손 제스처 포즈 인식 과정이 관찰된 손 제스처 포즈가 손 제스처 궤적에 대한 손 제스처 포즈인지 결정한다면, 그 포즈 인식에 기초하여 핸드 트래킹 컨트롤러(130)에 의해서 어떤 시스템 사건도 제공되지 않는다. 대신에, 손 제스처 궤적 인식 과정이 개시된다.

이 예에서, 손 제스처 포즈(300B)(도 3b)는 손 제스처 궤적을 생성하는데 사용된 포즈이다. 도 4a 및 4b는 손 제스처 포즈(300B)를 사용해서 만들어진 손 제스처 궤적(400a 및 400b)의 2-차원 예들이다. 도 4c는 사용될 수 있는 손 제스처 궤적의 다른 2-차원 예들을 제시한다.

한 양태에서, 손 제스처 궤적 인식 과정은 은닉 마르코프 모델 Λ을 이용한다. 은닉 마르코프 모델 Λ의 확률 분포를 생성하기 위해서는 트레이닝 데이터베이스가 필요하다. 트레이닝 데이터베이스를 얻기 전에 한 세트의 손 제스처 궤적이 특정된다. 한 양태에서, 도 4c의 16개의 손 제스처 궤적이 선택된다.

한 양태에서, 각각의 손 제스처 궤적을 만들기 위해 다수의 시험 대상이 선택된다. 한 예에서, 각 시험 대상은 각 궤적을 정해진 회수 수행했다. 수행된 각 궤적에 대해 각 대상에 대한 위치 및 배향 데이터가 트레이닝 데이터베이스에 저장되었다. 한 양태에서, 아래 더 완전히 설명된 대로, 반복적 Baum-Welch 방법을 이용하여 분리된 좌우 은닉 마르코프 모델을 훈련하는데 트레이닝 데이터베이스가 사용되었다.

의사가 궤적을 만들 때, 데이터는 핸드 트래킹 컨트롤러(130)에 의해서 관찰 순서 O로 전환된다. 관찰 순서 O 및 은닉 마르코프 모델 Λ을 사용해서 핸드 트래킹 컨트롤러(130)는 손 제스처 궤적이 관찰된 기호 순서에 상응하는지 결정한다. 한 양태에서, 핸드 트래킹 컨트롤러(130)는 은닉 마르코프 모델 Λ과 함께 전향 재귀 알고리즘을 사용하여 관찰된 기호 순서의 전체 확률을 생성한다. 해당 확률이 역치 확률을 넘는다면 최고 확률을 가진 손 제스처 궤적이 선택된다. 최고 확률이 역치 확률 미만인 경우, 손 제스처 궤적이 선택되지 않고, 프로세싱이 종료된다.

선택된 손 제스처 궤적은 시스템 사건에 따라 맵핑된다. 핸드 트래킹 컨트롤러(130)가 시스템 사건을 시스템 컨트롤러(140)에 제공한다.

시스템 컨트롤러(140)는 시스템 사건을 처리해서 시스템 명령을 발행한다. 예를 들어, 선택된 손 제스처 궤적이 수술 부위에 대한 조명 수준을 변화시키기 위한 사건에 따라 맵핑된다면, 시스템 컨트롤러(140)는 시스템 사건을 조명장치의 컨트롤러로 전송해서 조명 수준을 변화시킨다.

핸드 트래킹을 통한 존재 검출

한 양태에서, 상기 나타낸 대로, 의사의 손(291R, 291L)의 위치(도 6a)가 추적되어 최소 침습 수술 시스템(100)의 원격조종이 허용되는지의 여부, 및 어떤 양태에서는 의사에게 사용자 인터페이스를 표시할 수 있는지의 여부가 결정될 수 있다. 다시, 핸드 트래킹 컨트롤러(130)은 의사(180B)의 손의 적어도 일부를 추적한다(도 6a), 핸드 트래킹 컨트롤러(130)는 주 도구 그립, 예를 들어 주 도구 그립(621L, 621R)(도 6a)을 표시하는 주 도구 그립(621)(도 6b)의 로케이션, 및 손의 일부의 로케이션을 생성한다. 핸드 트래킹 컨트롤러(130)는 이 두 로케이션을 공통 좌표 프레임 안에 맵핑하고, 이후 공통 좌표 프레임 안에서 두 로케이션 사이의 거리를 결정한다. 이 거리는 의사의 손의 일부의 추적된 로케이션에 기초하는 최소 침습 수술 시스템의 시스템 제어 변수이다.

이 거리가 안전 역치 미만일 경우, 즉 손의 일부와 주 도구 그립 사이의 최대 허용 분리 미만이면, 최소 침습 수술 시스템(100)의 원격조종이 허용되고, 그렇지 않다면 원격조종이 금지된다. 유사하게, 존재 검출을 사용해서 사용자 인터페이스의 표시를 제어하는 양태에서, 이 거리가 안전 역치 미만일 경우, 즉 손의 일부와 주 도구 그립 사이의 최대 허용 분리 미만이면, 최소 침습 수술 시스템(100)의 디스플레이 상에 사용자 인터페이스의 표시가 금지되고, 그렇지 않다면 사용자 인터페이스의 표시가 허용된다.

따라서, 이 거리는 최소 침습 수술 시스템(100)의 원격조종을 제어하는데 사용된다. 구체적으로, 핸드 트래킹 컨트롤러(130)는 시스템 사건을 원격조종이 허용되는지의 여부를 나타내는 시스템 컨트롤러(140)로 전송한다. 시스템 사건에 응하여, 시스템 컨트롤러(140)는 시스템(100)을 원격조정을 허용하거나 금지하도록 구성한다.

손 로케이션 추적 기술

상기 더 상세히 설명된 핸드 트래킹의 다양한 양태들을 고려하기 전에, 추적 기술의 일례가 설명된다. 이 예는 단지 예시일 뿐이며, 이후의 설명에 비추어 필요한 손 또는 손가락 로케이션 정보를 제공하는 어떤 추적 기술도 이용될 수 있다.

한 양태에서, 도 2a-2d 및 도 7에 예시된 대로, 펄스식 DC 전자기 추적이 손의 두 손가락, 예를 들어 엄지손가락과 집게손가락에 장착된 센서와 함께 사용된다. 각 센서는 6의 자유도를 측정하며, 한 양태에서 8mm x 2mm x 1.5mm의 크기를 가진다. 추적 시스템은 0.8m의 반구형 손작업 작업공간, 및 0.5mm 및 0.1도의 위치 감지 해상도를 가진다. 업데이트 속도는 160Hertz이고, 4ms의 감지 지연을 가진다. 시스템에 통합된 경우, 통신 및 추가의 필터링으로 인해 추가의 지연이 발생될 수 있다. 30ms 이하의 유효 명령 지연이 허용되는 것으로 판명되었다.

이 양태에서, 추적 시스템은 전자기 핸드 트래킹 컨트롤러, 주 손가락 추적 그립에 사용되는 센서, 및 핸트 트래킹 송신기를 포함한다. 본 발명의 한 구체예에서 사용하기 적합한 추적 시스템은 미드-레인지 송신기를 구비한 3D 가이던스 trakSTAR™ 시스템으로서 미국 버몬트 버링턴의 Ascension Technology Corporation로부터 입수할 수 있다(trakSTAR™은 Ascension Technology Corporation의 상표명이다). 이 송신기는 중간 범위에 걸쳐 높은 정확도의 추적을 위한 펄스식 DC 자기장을 생성하며, 이것은 78cm로 특정된다(31인치). 이 시스템은 각 센서에 240 내지 420 업데이트/초의 동적 추적을 제공한다. 소형화된 피동적 센서의 출력은 전력선 노이즈 공급원에 영향을 받지 않는다. 송신기와 센서 간의 분명히 연결된 송수신선은 필요하지 않다. 모든 자세가 추적되며, 관성에 따른 이동이나 광학적 간섭은 없다. 금속 면역성이 높고, 비자기 금속으로 인한 왜곡도 없다.

손가락 커버를 가진 전자기 추적 시스템이 본원에서 사용되지만, 이것은 예시일 뿐이며, 제한을 의도하지 않는다. 예를 들어, 펜 모양 장치가 의사에 의해서 보유될 수 있다. 펜 모양 장치는 장치의 외부 표면에 3개 이상의 비-동일 선상에 있는 기점 마커를 갖는 손가락 조각이다. 전형적으로, 어떤 시점에서든 적어도 3개의 기점 마커가 보이게 만들기 위해서는 자체 차단으로 인해서 더 많은 기점 마커가 사용된다. 기점 마커는 손가락 조각의 6의 자유도(3의 병진 및 3의 회전) 동작을 결정하는데 충분하며, 따라서 펜 모양 장치를 보유한 손의 동작에도 충분하다. 또한, 펜 모양 장치는 한 양태에서 파지를 감지한다.

펜 모양 장치는 기지의 변수의 2 이상의 카메라에 의해 주시되고, 이로써 기점 마커가 3-차원으로 국소화해서 손가락 조각의 3-차원 포즈를 추론할 수 있다. 기점 마커는, 예를 들어 1) 카메라 가까이서 조명을 받는 역반사 구체; 2) 카메라 가까이서 조명을 받는 오목 또는 볼록 반구체; 또는 3) (블링킹) LED와 같은 능동형 마커로서 실시될 수 있다. 한 양태에서, 손가락 조각의 근적외선 조명 사용되며, 필터를 사용해서 카메라에 가시 스펙트럼을 차단하여 바탕 클러터로부터의 산란을 최소화할 수 있다.

다른 양태에서, 데이터 글러브(501)(도 5) 또는 베어 핸드(502)가 사용되며, 기점 마커(511)는 의사가 착용중인 글러브(501)의 엄지손가락과 집게손가락에(및/또는 글러브의 다른 손가락들에) 부착되고, 및/또는 손(502)의 피부에 직접 부착된다. 다시, 다수의 마커를 사용하여 자체 차단을 수용할 수 있다. 또한, 기점 마커들은 다른 손가락들에도 위치될 수 있으며, 이로써 구체적으로 한정된 손 제스처를 통해 더 많은 사용자 인터페이스 특징을 가능하게 할 수 있다.

기점 마커의 3-차원 로케이션이 공통 시야를 갖는 다수의 카메라의 삼각형 공간에 의해서 산정된다. 기점 마커의 3-차원 로케이션을 사용하여 손의 3-차원 포즈(변위 및 배향)와 그립 크기를 추론할 수 있다.

마커 로케이션은 사용 전에 검정되어야 한다. 예를 들어, 의사는 상이한 포즈의 마커를 부착한 손을 카메라에 보여줄 수 있다. 다음에, 상이한 포즈가 검정에 사용된다.

또 다른 양태에서, 마커가 적은 핸드 트래킹이 사용된다. 관절식 손 동작이 하나 이상의 카메라로부터 보여지는 영상을 사용하여 추적될 수 있고, 컴퓨터 소프트웨어를 실행시켜 이들 영상을 처리할 수 있다. 실행중인 컴퓨터 소프트웨어는 유용한 손의 모든 자유도를 추적할 필요는 없다. 실행중인 소프트웨어는 본원에서 증명된 대로 수술 도구를 제어하는데 유용한 손의 두 손가락과 관련된 부분만 추적하면 된다.

카메라 기반 추적에서, 측정의 정확성은 영상에서 마커의 국소 정확성; 카메라 기하구조에 따른 3-차원 재구성 정확성; 및 기점 마커의 최소 개수, 예를 들어 3개 이상, 카메라의 최소 개수(1 또는 2) 이상, 및 시간 평균 및 필터링과 같은 풍부한 데이터에 의존한다.

3-차원 재구성 정확성은 카메라 검정의 정확성에 크게 의존한다. 의사 콘솔 상의 기지의 로케이션에 부착된 일부 기점 마커를 사용하여 의사 콘솔과 관련해서 다수의 카메라의 외적 변수(회전 및 변위)를 결정할 수 있다. 이 과정은 자동으로 행해질 수 있다. 능동형 기점 마커는 검정 과정 동안과 시술 전에만 켜지기 때문에 검정 기점 마커로 사용될 수 있다. 시술 동안, 검정 기점 마커는 의사의 손의 국소화에 사용되는 기점 마커와의 혼동을 피하기 위해서 꺼진다. 상대적 외적 변수들도 카메라의 공통 시야 안에서 마커를 이동시켜 관찰함으로써 산정될 수 있다.

사용하기 적합한 다른 추적 기술은, 제한은 아니지만 관성 추적, 심층 카메라 추적, 및 섬유 휨 감지를 포함한다.

본원에 사용된, 때로 추적 센서라고도 하는 센서 요소는 상기 설명된 손 추적 기술 중 어느 것을 위한 센서일 수 있으며, 예를 들어 피동적 전자기 센서, 기점 마커, 또는 다른 기술을 위한 센서일 수 있다.

좌표 시스템

상기 더 상세히 설명된 여러 과정을 고려하기 전에, 의사 콘솔(185B)(도 6a)의 일례가 고려되며, 이후의 예들에서 사용하기 위한 다양한 좌표 시스템이 한정된다. 의사 콘솔(185B)은 의사 콘솔(185)의 예이다. 의사 콘솔(185B)은 때로는 뷰어(610)라고도 하는 3-차원 뷰어(610), 주 도구 그립(621L, 621R)을 가진 주 도구 조작기(620L, 620R), 및 기부(630)를 포함한다. 주 도구 그립(621)(도 6b)은 주 도구 그립(621L, 621R)의 더 상세한 도해이다.

주 도구 조작기(620L, 620R)의 주 도구 그립(621L, 621R)은 집게손가락과 엄지손가락을 사용해서 의사(180B)에 의해 보유되며, 이로써 표적화 및 파지가 직관적인 포인팅 및 핀칭 동작을 포함하게 된다. 주 도구 그립(621L, 621R)과 조합된 주 도구 조작기(620L, 620R)를 사용하여 공지된 최소 침습 원격조종 수술 시스템의 공지된 주 도구 조작기와 동일한 방식으로 원격조종 종속 수술 기구, 원격조종 내시경 등을 제어할 수 있다. 주 도구 조작기(620L, 620R) 및 주 도구 그립(621L, 621R)의 위치 좌표도 또한 종속 수술 기구를 제어하는데 사용된 운동역학으로부터 알 수 있다.

정상 화면 작동 모드에서는 뷰어(610)가 입체 내시경(112)으로부터 수술 부위(103)의 3-차원 영상을 표시한다. 뷰어(610)는 콘솔(185B)(도 6b) 상에서 의사의 손 근처에 위치되며, 이로써 뷰어(610)에 보이는 수술 부위의 영상은 자신이 실제로 아래를 향해 수술 부위(103) 위를 직접 보고 있는 것처럼 의사(180B)가 느끼도록 배향된다. 영상에서 수술 기구는 실질적으로 의사의 손이 위치된 곳에 위치된 것처럼 보이고, 실질적으로 자신의 손의 위치에 기초하여 의사(180B)가 예상했던 바대로 배향된다. 그러나, 뷰어(610)에서 수술 부위의 표시된 영상을 보는 동안 의사(180B)는 자신의 손이나 주 도구 그립(621L, 621R)의 위치 또는 배향은 볼 수 없다.

한 양태에서, 주 도구 조작기(620L, 620R)는 의사(180B)의 정면과 뷰어(610)의 밑에서 직접 이동되어 기부(630) 위에 위치되게 되고, 더 이상 뷰어(610) 아래에는 위치되지 않으며, 즉 주 도구 조작기가 손 제스처의 길에서 벗어나 대기된다. 이것은 뷰어(610) 아래에 의사(180B)가 손 제스처 포즈나 손 제스처 궤적 중 하나 또는 둘 다인 손 제스처를 만들 수 있는 방해 없는 공간을 제공한다.

도 6a의 양태에서, 의사 콘솔(185B)과 관련해서 3개의 좌표 시스템, 즉 화면 좌표 시스템(660), 전역 좌표 시스템(670), 및 추적자 좌표 시스템(650)이 한정된다. 동등한 좌표 시스템이 의사(181)(도 1)에도 한정되며, 이로써 아래 더 완전히 설명된 맵핑은 주 손가락 추적 그립(170) 또는 주 도구 그립(621L, 621R)으로부터의 추적 데이터에 대해서도 행해질 수 있다는 것을 주지한다. 예를 들어, 미국 특허출원 제12/617,937호(2009년 11월 13일 제출, "최소 침습 원격조종 수술 기구를 위한 환자측 수술 인터페이스"를 개시)를 참조하며, 이것은 참고자료로 본원에 포함된다.

화면 좌표 시스템(660)에서 의사(180B)는 Z-축 Zview을 내려다본다. Y-축 Yview는 디스플레이에서 위를 향한다. X-축 Xview는 디스플레이에서 좌측을 향한다. 전역 좌표 시스템(670)에서, Z-축 Zworld는 수직축이다. 전역 X-축 Xworld와 전역 Y-축 Yworld는 Z-축 Zworld에 수직인 평면에 있다.

도 6b는 주 도구 그립(621) 및 주 도구 조작기(620)를 더 상세히 예시한다. 좌표 시스템(680, 690)은 도 11의 방법(1100)과 관련해서 아래 더 완전히 논의된다.

핸드 트래킹을 통한 수술 기구 제어의 과정

도 7은 추적 좌표 시스템(750)에서 로케이션(713)에 있는 집게손가락(292B)에 장착된 센서(212) 및 추적 좌표 시스템(750)에서 로케이션(711)에 있는 엄지손가락(292A)에 장착된 센서(211)를 예시한다. 센서(211 및 212)는 상기 설명된 전자기 추적 시스템의 일부이다. 엄지손가락(292A)과 집게손가락(292B)은 오른손(291R)의 손가락들의 예이다. 앞서 주지된 대로, 사람 손의 일부는 그 손의 적어도 하나의 손가락을 포함한다. 당업자에게 알려진 대로, 때로 지골이라고도 하는 손의 손가락들은 엄지손가락(첫째 손가락), 집게손가락(둘째 손가락), 중지(셋째 손가락), 무명지(넷째 손가락), 및 새끼손가락(다섯째 손가락)이다.

여기서는 엄지손가락과 집게손가락이 사람 손의 2개 손가락의 예로서 사용된다. 이것은 단지 예시일 뿐이며, 제한을 의도하지 않는다. 예를 들어, 엄지손가락과 중지가 엄지손가락과 집게손가락 대신 사용될 수도 있다. 본원의 설명은 중지의 사용에도 직접 적용될 수 있다. 또한, 오른손의 사용도 예시일 뿐이다. 유사한 센서가 왼손에 착용된 경우, 본원의 설명은 왼손에도 직접 적용될 수 있다.

케이블(741, 742)이 주 손가락 추적 그립(270)의 센서(211, 212)와 핸드 트래킹 컨트롤러(130)를 연결한다. 한 양태에서, 케이블(741,742)은 센서(211, 212)로부터의 위치 및 배향 정보를 핸드 트래킹 컨트롤러(130)로 보낸다.

핸드 트래킹 컨트롤러(130)에 감지된 위치 및 배향 데이터를 송신하기 위해 케이블을 사용하는 것은 단지 예시일 뿐이며, 이 특정 양태에 제한되는 것은 아니다. 본 명세서의 내용에 비추어, 당업자는 주 손가락 추적 그립 또는 주 손가락 추적 그립들로부터의 감지된 위치 및 배향 데이터를 핸드 트래킹 컨트롤러(130)에 송신하기 위한 메커니즘을 선택할 수 있다(예를 들어, 무선 접속의 사용에 의해).

케이블(741, 742)은 주 손가락 추적 그립(270)의 동작을 제한하지 않는다. 주 손가락 추적 그립(270)이 기계적으로 접지되어 있지 않으므로, 각 주 손가락 추적 그립은 의사가 도달할 수 있는 작업공간과 핸드 트래킹 송신기의 작업공간 안에서 위치와 배향 동작을 모두 유효하게 구속하지 않는다(예를 들어, 데카르트 좌표 시스템에서 좌우, 위아래, 안팎, 롤, 피치, 및 요우).

한 양태에서, 상기 설명된 대로, 주 손가락 추적 그립(270)의 각 센서(211, 212)는 3의 병진도 및 3의 회전도, 즉 6의 자유도를 감지한다. 따라서, 2개의 센서로부터 감지된 데이터는 12의 자유도를 표시한다. 다른 양태에서, 주 손가락 추적 그립(270)의 각 센서(211, 212)는 3의 병진도 및 2의 회전도(요우 및 피치), 즉 5의 자유도를 감지한다. 따라서, 2개의 센서로부터 감지된 데이터는 10의 자유도를 표시한다.

추적된 로케이션에 기초한 제어 포인트 위치 및 제어 포인트 배향을 사용하여 원격조종 종속 수술 기구를 제어하는 데는 6의 자유도가 필요하며(3의 변위 및 3의 배향), 이것은 아래 더 완전히 설명된다. 따라서, 각 센서가 5 또는 6의 자유도를 갖는 양태에서, 센서(211, 212)는 여분의 자유도를 제공한다. 상기 설명되고 아래 더 완전히 설명된 대로, 여분의 자유도는 위치 및 배향 이외의 다른 원격조종 종속 수술 기구 양태를 제어하는데 사용되는 변수에 따라 맵핑된다.

또 다른 추가 양태에서, 각 센서(211, 212)는 단지 3의 병진 자유도만을 감지하며, 따라서 합해서 6의 자유도를 표시하게 된다. 이것은 손목 메커니즘을 포함하지 않는 종속 수술 기구의 병진, 롤 및 그립 닫힘의 3의 자유도를 제어하는데 충분하다. 이후의 설명을 이용하여 6의 자유도를 사용해서 제어 포인트 로케이션을 생성할 수 있다. 제어 포인트 배향은 종속 수술 기구의 배향으로서 취해진다. 그립 닫힘 변수는 제어 포인트 로케이션 및 제어 포인트 배향을 사용해서 하기 설명된 대로 결정된다. 롤은 엄지손가락과 집게손가락의 상대적 동작을 사용해서 상기 설명된 대로 결정된다.

센서가 6의 자유도를 감지하거나, 또는 센서가 5의 자유도를 감지하는 양태에서, 집게손가락 센서(212)는 추적 좌표 프레임(750)에 집게손가락 위치 Pindex와 집게손가락 배향 Rindex을 표시하는 신호를 생성한다. 엄지손가락 센서(211)는 추적 좌표 프레임(750)에 엄지손가락 위치 Pthumb와 엄지손가락 배향 Rthumb을 표시하는 신호를 생성한다. 한 양태에서, 위치 Pindex 및 Pthumb는 집게손가락(292B)의 사용자 손톱의 중심 및 엄지손가락(292A)의 사용자 손톱의 중심과 각각 정렬된 채로 취해진다.

이 예에서 위치 Pindex 및 Pthumb는 각각 추적 좌표 프레임(750)에서 3x1 벡터로서 표시된다. 위치 Pindex 및 Pthumb는 추적자 좌표 내에 있다.

배향 Rindex 및 Rthumb는 각각 추적 좌표 프레임(750)에서 3x3 행렬로서 표시되며, 즉 다음과 같다:

제어 포인트 위치 Pcp는 집게손가락(292B)과 엄지손가락(292A) 사이에 중심이 있다. 제어 포인트 위치 Pcp는 제어 포인트 프레임(790) 내에 있지만, 추적자 좌표 내에 특정된다. 제어 포인트 프레임(790)의 Z-축인 포인팅 방향으로 제어 포인트 위치 Pcp를 통해 연장되며, 이것은 아래 더 완전히 설명된다.

또한, 아래 설명된 대로, 집게손가락(292B)과 엄지손가락(292A)은 종속 수술 기구의 집게부에 따라 맵핑되지만, 두 손가락은 기구의 집게부보다 더욱 섬세하다. 제어 포인트 프레임(790)의 Y-축은 기구 집게부 닫힘에 사용된 핀에 상응한다. 따라서, 아래 설명된 대로, 제어 포인트 프레임(790)의 Y-축은 집게손가락(292B)과 엄지손가락(292A) 사이의 벡터에 수직이다.

제어 포인트 위치 Pcp는 추적 좌표 프레임(750)의 추적자 좌표 내에 3x1 벡터로 표시된다. 제어 포인트 배향 Rcp는 추적자 좌표 내에 3x3 행렬로 표시되며, 즉 다음과 같다:

도 8은 종속 수술 기구, 예를 들어 도 1의 원격조종 종속 수술 기구들 중 하나의 그립을 제어하는데 사용된 그립 닫힘 변수에 따라 손의 일부의 로케이션을 맵핑하기 위한 과정 순서도이다. 이 맵핑 과정은 또한 새로운 그립 닫힘 변수 및 종속 기구 말단의 상응하는 로케이션 및 그 로케이션에 따라 움직이는 속도에 따라 시간적 로케이션 변화를 맵핑한다.

처음에, 과정(800)에 들어가게 되면, 손 로케이션 데이터 수신 과정(810)이 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)을 수신하고, 이것은 이 예에서는 데이터(811)에 저장된다. 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)은 추적 시스템으로부터의 데이터에 기초한다. 과정(810)은 제어 포인트 및 그립 변수에 따라 로케이션 데이터 맵핑 과정(820)으로 진행한다.

제어 포인트 및 그립 변수에 따라 로케이션 데이터 맵핑 과정(820)은 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)을 사용해서 제어 포인트 위치 Pcp, 제어 포인트 배향 Rcp, 및 그립 닫힘 변수 ggrip를 생성한다. 제어 포인트 위치 Pcp, 제어 포인트 배향 Rcp, 및 그립 닫힘 변수 ggrip은 데이터(821)에 저장된다.

한 양태에서, 과정(820)에서 수행된 제어 포인트 맵핑은 기지의 주 도구 조작기 제어 포인트 배치의 중요한 특성들을 에뮬레이트하기 위해서 한정된다. 따라서, 엄지손가락과 집게손가락 동작에 대한 반응은 의사 콘솔(180B)(도 6a)과 유사한 의사 콘솔을 구비한 공지된 원격조종 최소 침습 수술 시스템의 사용자에게 익숙하며 직관적일 것이다.

도 9는 제어 포인트 및 그립 변수에 따라 로케이션 데이터 맵핑 과정(820)의 한 양태에 대한 더 상세한 과정 순서도이다. 먼저, 과정(820)에서, 제어 포인트에 따라 손 위치 데이터 맵핑 과정(910)이 집게손가락 위치 Pindex 및 엄지손가락 위치 Pthumb로부터 제어 포인트 위치 Pcp의 로케이션을 생성하며, 즉 다음과 같다:

제어 포인트 위치 Pcp는 손가락 위치 Pindex 및 엄지손가락 위치 Pthumb의 평균이며, 제어 포인트에 따라 손 위치 데이터 맵핑 과정(910)은 제어 포인트 배향 생성 과정(920)으로 진행한다.

상기 나타낸 대로, 제어 포인트 배향의 Z-축은 포인팅 방향에서 정렬된다. 이 양태의 제어 포인트 배향 생성 과정(920)에서, 로드리게즈 축/각도 식을 사용하여 집게손가락 포인팅 방향 벡터

와 엄지손가락 포인팅 방향 벡터

사이의 반 회전으로서 제어 포인트 배향에 대한 Z-축 포인팅 방향 벡터

를 정의할 수 있다. 엄지손가락 배향 Rthumb로부터 엄지손가락 포인팅 방향 벡터

는 다음과 같다:

유사하게, 집게손가락 배향 Rindex부터 집게손가락 포인팅 방향 벡터

는 다음과 같다:

벡터 ω는 집게손가락 포인팅 방향 벡터

와 엄지손가락 포인팅 방향 벡터

에 수직인 벡터이다. 벡터 ω는 집게손가락 포인팅 방향 벡터

와 엄지손가락 포인팅 방향 벡터

의 곱셈 값으로서, 다음과 같다:

각도 θ는 집게손가락 포인팅 방향 벡터

와 엄지손가락 포인팅 방향 벡터

사이의 각도 크기이다. 각도 θ는 다음과 같이 정의된다:

축 ω와 각도 θ를 사용하면 Z-축 포인팅 방향 벡터

는 다음과 같다:

따라서, 과정(910)은 제어 포인트 위치 Pcp를 생성했고, 과정(920)의 첫 부분은 제어 포인트 프레임(790) 안에서 Z-축의 대략적인 포인팅 방향을 생성했다. 집게손가락과 엄지손가락 배향 벡터를 보간하도록 진행하여 유사한 방식으로 제어 포인트 단위벡터 축

및

를 생성한 다음, 이들을 다시 직교시켜서 제어 포인트 배향 행렬을 생성할 수 있다.

그러나, 추종 맵핑을 사용함으로써 손가락들의 추적된 로케이션으로부터 더 큰 원격조종 조종능이 달성될 수 있다. 이 맵핑은 집게손가락과 엄지손가락의 상대적인 위치를 사용하여 이 손가락들 사이에서 작은 짐볼을 조작하는 것처럼 제어 포인트의 유효 롤 및 요우 동작을 달성할 수 있다. 과정(920)의 나머지 부분은 다음과 같이 수행되며, 완전한 세트의 직교정규 제어 포인트 단위벡터 축

이 생성된다:

이들 벡터를 사용하면 제어 포인트 배향 Rcp는 다음과 같다:

이제, 과정(910 및 920)에 의해, 과정(820)이 집게손가락 및 엄지손가락 위치 및 배향(Pindex,Rindex),(Pthumb,Rthumb)을 제어 포인트 위치 및 배향(Pcp,Rcp)에 따라 맵핑했다. 과정(820)은 여전히 그립 닫힘 변수 ggrip를 생성해야 한다. 따라서, 제어 포인트 배향 생성 과정(920)이 그립 닫힘 변수 생성 과정(930)으로 진행한다.

과정(930)에서, 제어 포인트 위치 Pcp 및 Z-축 방향

에 의해 한정된 중심선 축으로부터 집게손가락 위치 Pindex와 엄지손가락 위치 Pthumb의 거리에 따라 그립 닫힘이 결정된다. 이것은 엄지손가락과 집게손가락이 맞닿았을 때 미끄러져 움직이는 것에 대해서 그립 닫힘이 불변인 채로 있을 수 있도록 한다.

따라서, 집게손가락 위치 Pindex 및 엄지손가락 위치 Pthumb가 프레임(790) 안에서 Z-축 위에 맵핑된다. 위치 Pindex_proj는 프레임(790)의 Z-축 위에 집게손가락 위치 Pindex의 투사이고, 위치 Pthumb_proj는 프레임(790)의 Z-축 위에 엄지손가락 위치 Pthumb의 투사이다:

위치 Pindex_proj와 위치 Pthumb_proj를 사용해서 평가 그립 닫힘 거리 dval을 평가할 수 있으며, 즉 다음과 같다:

여기서, 이중 평행선은 2-정규 유클리드 거리의 알려진 표현이다. 평가 그립 닫힘 거리 dval는 최대 거리 역치 dmax 및 최소 거리 역치 dmin에 의해 결합된다. 도 7에 예시된 대로, 센서(211,212) 사이의 패드 형태 폼 커넥터(210)가 손가락들이 고정된 분리 내에 안에 있도록, 즉 최대 거리 역치 dmax와 최소 거리 역치 dmin 사이에 있도록 구속한다. 추가로, 두 손가락이 가볍게 맞닿았을 때의 분리 거리는 중립적 거리에 상응한다.

특정 세트의 센서와 커넥터에 있어서, 최대 거리 역치 dmax, 최소 거리 역치 dmin, 및 중립 거리는 경험적으로 결정된다. 한 양태에서, 센서와 커넥터의 세 가지 상이한 조합이 작은 손, 평균 손 및 큰 손을 위해 제공된다. 각 조합은 그 자신의 최대 거리 역치 dmax, 최소 거리 역치 dmin, 및 중립 거리를 지니며, 각 조합에서 커넥터(210)의 길이는 상이하다.

과정(930)은 거리 dval를 최소 거리 역치 dmin와 비교한다. 이 비교에서 거리 dval가 최소 거리 역치 dmin 미만이라고 밝혀진다면, 그립 닫힘 거리 d는 최소 역치 거리 dmin로 설정된다. 다른 경우, 과정(930)은 거리 dval를 최대 거리 역치 dmax와 비교한다. 이 비교에서 거리 dval가 최대 거리 역치 dmax를 초과한다고 밝혀진다면, 그립 닫힘 거리 d는 최대 역치 거리 dmax로 설정된다. 다른 경우, 그립 닫힘 거리 d는 거리 dval로 설정된다.

그립 닫힘 거리 d를 결정하기 위해서 거리 dval에 대해 수행된 시험은 다음과 같이 요약된다:

다음에, 과정(930)에서, 그립 닫힘 변수 ggrip가 생성된다:

따라서, 최대 거리 역치 dmax와 거리 d0 사이의 그립 닫힘 거리 d는 0과 1 사이의 값에 따라 맵핑된다. 최소 거리 역치 dmin와 거리 d0 사이의 그립 닫힘 거리 d는 -1과 0 사이의 값에 따라 맵핑된다.

집게손가락(292B)과 엄지손가락(292A)가 커넥터(210)(도 2a)에 의해서 허용되는 최대 범위로 분리되었을 때 그립 닫힘 변수 ggrip에 대해 1의 값이 얻어진다. 집게손가락(292B)의 끝과 엄지손가락(292A)의 끝이 가볍게 닿았을 때(도 2c) 그립 닫힘 변수 ggrip에 대해 0의 값이 얻어진다. 0에서 1 사이의 범위의 값은 종속 수술 기구의 단부 작동기의 집게부의 열림/닫힘을 제어한다. 집게손가락(292B)과 엄지손가락(292A)이 맞닿고, 커넥터(210)가 집게손가락(292B)과 집게손가락(292A) 사이에서 충분히 압축되었을 때 그립 닫힘 변수 ggrip에 대해 -1의 값이 얻어진다(도 2d). 0에서 -1 사이의 범위의 값은 단부 작동기의 닫힌 집게부의 집게 힘을 제어한다. 커넥터(210)는 집게부 닫힘에 대한 피동적 촉각적 단서를 제공한다.

두 범위 중 하나에 있는 값에 따라 그립 닫힘 거리 d를 맵핑하는 이 예는 단지 예시일 뿐이며, 제한을 의도하지 않는다. 이 예는 그립 닫힘 변수 ggrip의 제 1 범위에 있는 값에 따라 그립 닫힘 거리 d를 맵핑하여 그립 닫힘 거리 d가 중립 거리 d0보다 클 경우 종속 수술 기구의 단부 작동기의 집게부의 열림/닫힘을 제어하는 것을 예시한다. 여기서, "열림/닫힘"은 집게부의 열림과 닫힘을 의미한다. 그립 닫힘 거리 d가 그립 닫힘 변수 ggrip의 제 2 범위에 있는 값에 따라 맵핑되고, 그립 닫힘 거리 d가 중립 거리 d0 미만일 때는 단부 작동기의 닫힌 집게부의 집게 힘을 제어할 수 있다.

따라서, 과정(820)은 데이터(821)에 저장된 제어 포인트 위치 및 배향(Pcp, Rcp) 및 그립 닫힘 변수 ggrip에 따라 집게손가락 위치 및 배향(Pindex,Rindex)와 엄지손가락 위치 및 배향(Pthumb,Rthumb)을 맵핑했다. 과정(820)은 전역 좌표에 따른 맵핑 과정(830)(도 8)으로 진행한다.

전역 좌표에 따른 맵핑 과정(830)은 데이터(821)를 수신하고, 전역 좌표 시스템에 따라 데이터(821)를 맵핑한다(전역 좌표 시스템(670)(도 6a) 참조). 구체적으로, 제어 포인트 위치 및 배향(Pcp, Rcp) 및 그립 닫힘 변수 ggrip가 4x4 균등 변환

을 이용하여 전역 좌표 제어 포인트 위치 및 배향(Pcp_wc, Rcp_wc)에 따라 맵핑되며, 이것은 전역 좌표 시스템(670)의 좌표에 따라 추적자 좌표 시스템 (700)(도 7b)의 좌표를 맵핑하는데, 예를 들어 다음과 같다:

여기서,

는 전역 좌표 wc에서의 배향에 따라 추적자 좌표 tc에서 배향을 맵핑하고,

는 전역 좌표 wc에서의 위치에 따라 추적자 좌표 tc에서 위치를 옮긴다. 그립 닫힘 변수 ggrip는 이 맵핑에 의해 변화되지 않는다. 전역 좌표 wc의 데이터는 데이터(831)로서 저장된다. 과정(830)은 눈 좌표에 따른 맵핑 과정(840)으로 진행한다.

눈 좌표에 따른 맵핑 과정(840)은 전역 좌표 wc의 데이터(831)를 수신하고, 눈 좌표 시스템에 따라 데이터(831)를 맵핑한다(눈 좌표 시스템(660)(도 6a) 참조). 구체적으로, 전역 좌표 제어 포인트 위치 및 배향(Pcp_wc, Rcp_wc) 및 그립 닫힘 변수 ggrip가 4x4 균등 변환

을 이용하여 눈 좌표 제어 포인트 위치 및 배향(Pcp_ec, Rcp_ec)에 따라 맵핑되며, 이것은 눈 좌표 시스템(660)의 좌표에 따라 전역 좌표 시스템(670)(도 6a)의 좌표를 맵핑하는데, 예를 들어 다음과 같다:

여기서,

는 눈 좌표 ec에서의 배향에 따라 전역 좌표 wc에서 배향을 맵핑하고,

는 눈 좌표 ec에서의 위치에 따라 전역 좌표 wc에서 위치를 옮긴다.

다시, 그립 닫힘 변수 ggrip는 이 맵핑에 의해 변화되지 않는다. 눈 좌표의 데이터는 데이터(841)로서 저장된다. 과정(840)은 속도 생성 과정(850)으로 진행한다.

과정(800)에서, 맵핑 과정(830 및 840)은 다만 예시를 쉽게 하기 위해서 두 상이한 과정으로서 설명된다. 한 양태에서는, 맵핑 과정(830 및 840)이 조합되며, 이로써 추적자 좌표 tc의 제어 포인트 데이터가 4x4 균등 변환

을 이용하여 눈 좌표 ec의 데이터에 따라 직접 맵핑되고, 이것은 눈 좌표 시스템(660)의 좌표에 따라 추적자 좌표 시스템(650)(도 6a)의 좌표를 맵핑하는데, 예를 들어 다음과 같다:

이 양태에서, 눈 좌표에서 제어 포인트의 위치 Pcp_ec는

이고, 눈 좌표에서 제어 포인트의 배향 Rcp-ec는

이다.

일부 양태에서, 전역 좌표 맵핑이 제거될 수 있다. 이 경우, 제어 포인트 데이터는 전역 좌표 시스템을 이용하지 않고 추적 좌표 시스템으로부터 눈 좌표 시스템에 바로 맵핑된다.

원격조종을 위해서는 위치, 배향 및 속도가 필요하다. 따라서, 속도 생성 과정(850)이 필요한 속도를 생성한다. 속도는 여러 방식으로 생성될 수 있다. 관성 및 자이로스코프 센서와 같은 일부 실시형태는 차등적 신호를 직접 측정해서 제어 포인트의 선속도 및 각속도를 생성할 수 있다. 속도가 직접 측정될 수 없다면, 한 양태에서는 과정(850)이 눈 좌표 시스템의 로케이션 측정값들로부터 속도를 추산한다.

속도는 샘플링 간격에 걸쳐서 눈 좌표 시스템의 유한한 상위점들을 이용해서 추산될 수 있다. 예를 들어, 선속도 Vcp_ec는 다음과 같이 추산되고,

각속도 ωcp_ec는 다음과 같이 추산된다:

속도 생성 과정(850)의 다른 양태에서, 제어 포인트 선속도 Vcp_tc 및 제어 포인트 각속도 ωcp_tc가 추적자 좌표 시스템(750)(도 7)의 추적자 좌표에서 감지된다. 이 양태에서, 직접 감지된 제어 포인트 선속도 Vcp_tc 및 직접 감지된 제어 포인트 각속도 ωcp_tc는 회전

을 사용해서 추적자 좌표 시스템(750)으로부터 눈 좌표 시스템(660)으로 회전된다. 구체적으로, 상기 정의된 회전 맵핑을 사용하면 다음과 같이 된다:

속도 생성 과정(850)은 제어 명령 전송 과정(860)으로 진행한다. 과정(860)은 위치, 배향, 속도, 및 데이터(851)로서 저장된 그립 닫힘 변수에 기초하여 종속 수술 기구에 적절한 시스템 제어 명령을 전송한다.

한 양태에서, 과정 810에서 850은 핸드 트래킹 컨트롤러(130)(도 1)에 의해서 수행된다. 컨트롤러(130)는 프로세서(131) 상에서 손가락 추적 모듈(135)을 실행시켜 과정 810에서 850을 수행한다. 이 양태에서, 손가락 추적 모듈(135)은 메모리(132)에 저장된다. 과정(850)은 시스템 사건을 시스템 컨트롤러(140)로 전송하고, 이것은 이어서 과정(860)을 수행한다.

핸드 트래킹 컨트롤러(130) 및 시스템 컨트롤러(140)가 하드웨어, 프로세서 상에서 실행될 수 있는 소프트웨어, 및 펌웨어의 어떤 조합에 의해서 실제로 실시될 수 있다는 것이 인정되어야 한다. 또한, 이들 컨트롤러의 기능은, 본원에 설명된 대로, 단일 유닛에 의해 수행될 수 있거나, 상이한 구성요소들에 분할될 수 있으며, 각 구성요소는 하드웨어, 프로세서 상에서 실행될 수 있는 소프트웨어, 및 펌웨어의 어떤 조합에 의해서 실시될 수 있다. 상이한 구성요소들에 분할되었을 때, 구성요소들은 한 로케이션에 집중될 수 있거나, 또는 분산 처리 목적을 위해서 시스템(100) 전체에 분산될 수 있다.

제스처 손 포즈 및 제스처 궤적 제어의 과정

도 10은 시스템(100)의 손 제스처 포즈와 손 제스처 궤적 제어의 과정(1000)의 한 양태에 대한 과정 순서도이다. 상기 설명된 한 양태에서, 손 제스처 포즈 인식 과정(1050)은 다-방향성 베이지안 분류기를 이용하고, 손 제스처 궤적 인식 과정(1060)은 분리된 은닉 마르코프 모델 Λ을 이용한다.

상기 설명된 대로, 도 3a-3d는 손 제스처 포즈의 예이다. 손 제스처 포즈 인식 과정(1050)을 훈련하기 위해, 여러 개의 손 제스처 포즈가 특정된다. 이용되는 손 제스처 포즈의 수는 인식 과정(1050)에 의해 분명하게 확인될 수 있는 특유의 포즈를 한정할 수 있는 능력, 및 상이한 손 제스처 포즈 각각을 의사가 기억하고 믿을만하게 재현할 수 있는 능력에 의해서 제한된다.

손 제스처 포즈를 한정하는 것에 더해서, 복수의 특징 fi를 포함하는 특징 세트가 한정되며, 여기서 i는 1에서 n까지의 범위이다. 수 n은 사용된 특징의 수이다. 특징의 수와 종류는 허용가능한 포즈 세트 안의 손 제스처 포즈 각각이 정확하게 확인될 수 있도록 선택된다. 한 양태에서, 수 n은 6이다.

다음은 n의 특징을 가진 한 특징 세트의 예이다.

특징 f1은 집게손가락(292B)의 포인팅 방향

과 엄지손가락(292A)의 포인팅 방향

의 내적이다. 특징 f2는 집게손가락(292B)과 엄지손가락(292A) 사이의 거리이다. 특징 f3은 집게손가락(292B)의 포인팅 방향

상에 돌출된 엄지손가락(292A)의 거리이다. 특징 f4는 집게손가락(292B)의 포인팅 방향

을 따른 축으로부터 엄지손가락(292A)의 거리이다. 특징 f5는 엄지손가락(292A)의 포인팅 방향

의 Z-성분이다. 특징 fn은 엄지손가락(292A)의 엄지손가락 정규 벡터

와 집게손가락(292B)의 포인팅 방향

의 내적이다.

방법(1000)을 사용하기 전에, 손 제스처 포즈의 트레이닝 데이터베이스를 개발할 필요가 있다. 여러 명의 상이한 사용자가 적어도 한 번 각 손 제스처 포즈를 생성하고, 각 사용자의 각 손 제스처 포즈에 대한 위치 및 배향 데이터가 추적 시스템을 사용하여 측정된다. 예를 들어, 그룹 내의 각 사람이 허용가능한 손 제스처 포즈를 각각 만든다. 집게손가락과 엄지손가락 위치 및 배향(Pindex,Rindex), (Pthumb,Rthumb)이 그룹 내 각 사람의 손 제스처 포즈에 대해 트레이닝 데이터베이스에 저장된다.

트레이닝 데이터베이스를 사용하여, 특징 세트 {fi}가 각 사용자별로 각 손 제스처 포즈에 대해 생성된다. 다음에, 각 손 제스처 포즈에 대한 훈련 특징 벡터의 세트를 사용하여 평균

및 공분산

을 계산할 수 있다.

따라서, 트레이닝 데이터베이스를 사용하여 각 훈련된 제스처에 대한 특징 벡터 평균 및 공분산을 얻을 수 있다. 또한, 각 손 제스처 포즈에 대해, 마할라노비스 거리 d(fi)(하기 논의 참조)가 각 훈련자에 대해 생성되고, 각 손 제스처 포즈에 대해 최대 마할라노비스 거리 d(fi)가 해당 손 제스처 포즈에 대한 역치로서 저장된다.

또한, 마할라노비스 거리 측정을 이용해서 모든 훈련된 제스처가 사용된 주어진 특징 세트에 대해 충분히 상이하고 명확한지를 검증할 수 있다. 이것은 주어진 제스처의 특징 벡터 평균

및 모든 다른 허용가능한 제스처 포즈의 특징 벡터 평균의 마할라노비스 거리를 시험함으로써 달성될 수 있다. 이 시험 거리는 해당 주어진 제스처에 사용된 최대 훈련 거리 역치보다 훨씬 더 커야 한다.

당업자에게 알려진 대로, 은닉 마르코프 모델의 내용은 2개 모델 변수 N, M 및 3개 확률 측정값 A, B, π를 필요로 한다. 은닉 마르코프 모델 Λ은 다음과 같다:

Λ = (A, B, π)

모델 변수 N은 모델 내의 상태의 수이고, 모델 변수 M은 상태당 관찰 기호의 수이다. 3개의 확률 측정값은 상태 전이 확률 분포 A, 관찰 제스처 확률 분포 B, 및 초기 상태 분포 π이다.

분리된 은닉 마르코프 모델의 한 양태에서, 전이 확률 분포 A는 N X N 행렬이다. 관찰 제스처 확률 분포 B는 N X M 행렬이고, 초기 상태 분포 π는 N X 1 행렬이다.

관찰 순서 O와 은닉 마르코프 모델 Λ이 주어지면, 주어진 은닉 마르코프 모델 Λ에서 관찰 순서 O의 확률, 즉 P(O│Λ)가 과정(1000)에서 평가되며, 이것은 아래 더 완전히 설명된다.

은닉 마르코프 모델 Λ에 대한 확률 분포를 생성하기 위해서는 트레이닝 데이터베이스가 필요하다. 트레이닝 데이터베이스를 얻기 전에 한 세트의 손 제스처 궤적이 특정된다.

각각의 손 제스처 궤적을 만들기 위해 여러 명의 시험 대상 j가 선택된다. 도 4c에서는 16개의 손 제스처 궤적이 2-차원 투사된 형태로 제시되지만, 다양한 손 제스처 궤적을 수행할 때 시험 대상들은 구속되지 않으며, 이로써 일부 3-차원적 변화가 발생할 수 있다. 한 양태에서, 각 대상은 각 손 제스처 궤적을 k 회 수행했고, 이것은 손 제스처 궤적당 j*k의 훈련 순서를 생성한다.

한 양태에서, 분리된 좌우 은닉 마르코프 모델이 사용되었다. 은닉 마르코프 모델 Λ은 확률 P(O│Λ)이 반복되는 Baum-Welch 방법을 사용하여 국소적으로 최대화되도록 선택되었다. 예를 들어, Lawrence R. Rabiner, "은닉 마르코프 모델에 대한 지도 및 속도 인식에서의 선택된 용도", Proceedings of the IEEE, Vol. 77, No. 2, pp. 257-286 (Feb. 1989)를 참조하며, 이것은 당업자에게 은닉 마르코프 모델에 대한 이해를 제시하기 위해서 본원에 참고자료로 포함된다. 한 양태에서, 3회의 연속 반복에서 모델이 0.1% 이내에 수렴했을 때 반복되는 방법이 중단되었다.

초기 상태 확률 π는 모델이 항상 상태 1에서 시작하도록 설정되었다. 전이 확률 행렬 A는 무작위 엔트리로 개시되었고, 이것은 일렬씩 내림차순으로 저장되었다. 좌우 구조를 강화하기 위해서, 전이 확률 행렬 A의 아래쪽 대각선의 모든 엔트리는 0으로 설정되었다. 또한, 엔트리를 0으로 설정함으로써 2를 넘는 전이 상태는 허용되지 않았으며, 이 경우 모든 열 i와 행 j에 대해 (i-j)>2이다. 전이 확률 행렬 A는 일렬씩 말단에서 정규화되었다.

관찰 확률 행렬 B에 대한 초기화는 원하는 수의 상태에 기초하여 균등하게 관찰 순서를 분배했다. 따라서, 각 상태는 처음에 국소 빈도 수에 기초한 확률로서 하나 이상의 기호를 관찰할 수 있다. 이 행렬은 또한 일렬씩 정규화되었다. 예를 들어, N. Liu, R.I.A. Davis, B.C. Lovell, P.J. Kootsookos, "제스처 인식을 위한 다중 순서 트레이닝에서 초기 HMM 선택의 효과", International Conference on Information Technology, 5-7, Las Vegas, pgs 608-613 (April 2004)를 참조하며, 이것은 당업자에게 알려진 은닉 마르코프 모델에 대한 초기화 과정을 제시하기 위해서 본원에 참고자료로 포함된다. 은닉 마르코프 모델이 각각의 손 제스처 궤적에 대해 개발되었다.

방법(1000)으로 돌아가서, 제스처 모드 가능 체크 과정(1001)은 의사가 시스템(100)의 제스처 인식 작동 모드를 가동했는지를 결정한다. 한 양태에서, 제스처 인식 모드를 가동하기 위해서, 의사는 의사 콘솔(185)(도 1a)의 풋 페달을 누른다. 제스처 인식 모드가 가동되면, 체크 과정(1001)은 손 로케이션 데이터 수신 과정(1010)으로 진행하고, 그렇지 않다면 되돌아감(1002)을 통해 되돌아간다.

손 로케이션 데이터 수신 과정(1010)은 의사에 의해 만들어진 제스처에 대해 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)을 수신한다. 상기 주지된 대로, 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)은 추적 시스템으로부터의 데이터에 기초한다. 과정(1010)은 특징 생성 과정(1011)으로 진행한다.

특징 생성 과정(1011)에서, 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)을 사용하여 관찰된 특징 벡터 fi_o에서 각 특징 f1_o 내지 fn_o를 생성한다. 특징 생성 과정(1011)은 특징을 기지의 포즈와 비교 과정(1012)으로 진행한다.

특징을 기지의 포즈와 비교 과정(1012)은 관찰된 특징 벡터 fi_o를 각 포즈에 대한 훈련된 특징 세트 {fi}와 비교한다. 이 과정은 관찰된 특징 벡터가 특정 손 제스처 포즈의 경우에 트레이닝 데이터 세트 특징 세트 {fi} 내에 포함될 가능성, 즉 트레이닝 데이터 세트에 상응할 가능성을 결정한다. 이것은 다음과 같이 표현될 수 있다:

여기서, 트레이닝 데이터 세트 특징 세트 {fi}는 오브젝트 클래스 Ω에 기초한다.

이 예에서, 확률

은 다음과 같다:

여기서, N은 특징 벡터의 차원수, 예를 들어 상기 예에서는 n이다.

이 확률을 특정하는데 사용된 통계는 마할라노비스 거리 d(fi_o)이며, 이것은 다음과 같이 정의된다:

여기서

이다. 마할라노비스 거리는 당업자에게 알려져 있다. 예를 들어, Moghadam, Baback and Pentland, Alex, "확률적 비주얼 러닝 또는 오브젝트 표상", IEEE Transactions On Pattern Analysis and Machine Intelligence, Vol. 19, No. 7, pp. 696 to 710 (July 1997)을 참조하며, 이것은 본원에 참고자료로 포함된다.

공분산

의 고유벡터 Φ와 고유값 Λ을 사용하면,

이 대각선화된 형태에 사용되고, 이때 마할라노비스 거리 d(fi_o)는 다음과 같다:

여기서

이다. 대각선화된 형태는 마할라노비스 거리 d(fi_o)가 합계의 항으로 표시될 수 있도록 한다:

이 예에서, 이것은 마할라노비스 거리 d(fi_o)를 결정하기 위해 평가되는 식이다. 따라서, 과정(1011)은 마할라노비스 거리 d(fi_o)를 생성한다. 완료시 과정(1012)은 포즈 선택 과정(1013)으로 진행한다.

포즈 선택 과정(1013)에서, 마할라노비스 거리 d(fi_o)가 해당 손 제스처 포즈에 대한 트레이닝 데이터베이스에서 최대 마할라노비스 거리 미만이면, 최소 마할라노비스 거리 d(fi_o)를 갖는 손 제스처 포즈가 선택된다. 마할라노비스 거리 d(fi_o)가 해당 손 제스처 포즈에 대한 트레이닝 데이터베이스에서 최대 마할라노비스 거리를 초과하면, 손 제스처 포즈는 선택되지 않는다. 포즈 선택 과정(1012)은 시간 필터 과정(1014)으로 진행한다.

시간 필터 과정(1014)은 과정(1013)의 결과가 정해진 회수 계속 동일한 결과를 제공했는지를 결정한다. 과정(1013)이 정해진 회수 동안 동일한 결과를 제공했다면, 시간 필터 과정(1014)은 제스처 포즈 체크 과정(1015)으로 진행하고, 그렇지 않다면 되돌아간다. 정해진 회수는 시간 필터 과정(1014)이 손 제스처 포즈를 전환할 때 진동이나 일시적 검출을 방지할 수 있도록 선택된다.

제스처 포즈 체크 과정(1015)은 선택된 손 제스처 포즈가 손 제스처 궤적에 사용된 손 제스처 포즈인지를 결정한다. 선택된 손 제스처 포즈가 손 제스처 궤적에 사용된 손 제스처 포즈라면, 제스처 포즈 체크 과정(1015)은 속도 순서 생성 과정(1020)으로 진행하고, 그렇지 않다면 과정은 포즈 변화 체크 과정(1016)으로 진행한다.

포즈 변화 체크 과정(1016)은 손 제스처 포즈가 방법(1000)을 마지막으로 통과하고서 변했는지를 결정한다. 선택된 손 제스처 포즈가 바로 이전의 시간 필터된 손 제스처 포즈 결과와 동일하면, 포즈 변화 체크 과정(1016)은 되돌아감(1003)을 통해 되돌아가고, 그렇지 않다면 시스템 사건에 따라 맵핑 과정(1030)으로 진행한다.

시스템 사건에 따라 맵핑 과정(1030)은 선택된 손 제스처 포즈를 시스템 사건에 따라 맵핑하는데, 예를 들어 손 제스처 포즈에 할당된 시스템 사건이 검색된다. 시스템 사건을 찾으면, 시스템 사건에 따라 맵핑 과정(1030)은 시스템 사건 제공 과정(1031)으로 진행한다.

한 양태에서, 시스템 사건 제공 과정(1031)은 시스템 사건을 시스템 컨트롤러(140)(도 1)의 사건 취급장치로 전송한다. 시스템 사건에 응하여, 시스템 컨트롤러(140)는 적절한 시스템 명령을 시스템(100)의 컨트롤러 및/또는 다른 장치로 전송한다. 예를 들어, 손 제스처 포즈가 사용자 인터페이스 켜기 사건에 할당되면, 시스템 컨트롤러(140)는 사용자 인터페이스를 켜라는 명령을 디스플레이 컨트롤러(150)에 전송한다. 디스플레이 컨트롤러(150)는 프로세서(151) 상에서 사용자 인터페이스를 켜는데 필요한 사용자 인터페이스 모듈(155)의 부분을 실행한다.

손 제스처 포즈가 궤적을 만드는데 사용된 손 제스처 포즈일 때, 방법(1000)에서 처리 과정은 제스처 포즈 체크 과정(1015)에서 속도 순서 생성 과정(1020)으로 진행한다. 한 양태에서, 손 제스처 궤적 인식을 위해 사용된 주요 특징은 단위 속도 벡터이다. 단위 속도 벡터는 제스처의 출발 위치에 따라 불변이다. 또한, 정규 속도 벡터가 제스처의 크기나 속도의 변동을 설명한다. 따라서, 과정(1020)에서, 제어 포인트 샘플이 정규 제어 포인트 속도 순서로, 즉 단위 속도 벡터의 순서로 전환된다:

속도 순서 생성 과정(1020)의 완료시, 과정(1020)은 속도 순서를 기호 순서로 전환 과정(1021)으로 진행한다. 상기 주지된 대로, 분리된 은닉 마르코프 모델 Λ은 입력으로서 분리된 기호의 순서를 요구한다. 과정(1021)에서, 분리된 기호들이 벡터 양자화를 통해 정규 제어 포인트 속도 순서로부터 생성된다.

한 양태에서, 벡터 양자화는 변형된 K-평균 클러스터링을 이용하여 수행되었으며, 이때 조건은 클러스터링이 중단 변화를 배정하면 과정을 멈추는 것이었다. K-평균 클러스터링이 사용되지만, 이 과정은 특징이 단위 벡터라는 사실이 중요하다. 이 경우, 방향이 유사한 벡터들이 모집된다. 이것은 유사성 계량으로서 각 단위 특징 벡터와 정규 클러스터 중심 벡터 사이의 내적을 사용하여 행해진다.

클러스터링은 32 클러스터까지 벡터의 무작위 배정으로 개시되며, 전체 과정은 여러 번 반복되고, 최대 전체 "내부" 클러스터 비용 계량에 기초하여 최상의 클러스터링 결과가 선택된다. 이 경우, "내부" 클러스터 비용은 유사성의 기준에 기초한다는 것을 주지한다. 결과의 클러스터에는 각각 특유의 지수가 할당되고, 이것이 은닉 마르코프 모델의 기호로서 사용된다. 다음에, 입력 벡터가 그것의 가장 가까운 클러스터 평균에 따라 맵핑되고, 해당 클러스터의 상응하는 지수가 기호로서 사용된다. 이 방식에서, 단위 속도 벡터의 순서가 지수 또는 기호의 순서로 번역될 수 있다.

한 양태에서, 클러스터된 벡터들에는 고정된 8-방향 2-차원 벡터 양자화 코드북에 기초하여 기호가 할당되었다. 따라서, 과정(1020)은 관찰된 기호 순서를 생성하고, 제스처 확률 생성 과정(1023)으로 진행한다.

한 양태에서, 제스처가 관찰된 기호 순서에 상응하는지 결정하기 위해, 제스처 확률 생성 과정(1023)은 은닉 마르코프 모델을 가진 전향 회귀 알고리즘을 이용해서 각 제스처가 관찰된 기호 순서와 일치할 확률을 찾는다. 전향 회귀 알고리즘은 Rainer, "은닉 마르코프 모델에 대한 지도 및 속도 인식에서의 선택된 용도"에 설명되며, 이것은 참고자료로 본원에 포함된다. 제스처 확률 생성 과정(1023)의 완료시, 처리 과정은 궤적 선택 과정(1024)으로 진행한다.

궤적 선택 과정(1024)에서, 허용가능한 은닉 마르코프 모델 궤적 제스처 모델들 중에서 최대 확률을 가진 손 제스처 궤적이 선택된다. 또한, 이 확률은 수용될 수 있는 주어진 역치보다 커야 한다. 최대 확률이 역치 이하라면, 손 제스처 궤적이 선택되지 않는다. 이 역치는 잘못된 인식을 피하면서 인식 정확성을 최대화할 수 있도록 조율되어야 한다.

완료시, 궤적 선택 과정(1024)은 궤적 발견 체크 과정(1025)으로 진행한다. 궤적 선택 과정(1024)이 손 제스처 궤적을 선택했다면, 궤적 발견 체크 과정(1025)은 시스템 사건에 따라 맵핑 과정(1030)으로 처리 과정이 진행하고, 그렇지 않다면 되돌아감(1004)을 통해 되돌아간다.

시스템 사건에 따라 맵핑 과정(1030)은 시스템 사건에 따라 선택된 손 제스처 궤적을 맵핑하는데, 예를 들어 손 제스처 궤적에 배정된 시스템 사건이 검색된다. 시스템 사건을 찾으면, 시스템 사건에 따라 맵핑 과정(1030)이 시스템 사건 제공 과정(1031)으로 진행한다.

한 양태에서, 시스템 사건 제공 과정(1031)은 시스템 컨트롤러(140)(도 1)의 사건 취급장치에 시스템 사건을 전송한다. 시스템 사건에 응해서, 시스템 컨트롤러(140)는 적절한 컨트롤러(들) 또는 장치들에 적절한 시스템 명령을 전송한다. 예를 들어, 시스템 사건이 사용자 인터페이스에서의 행동에 할당되면, 시스템 컨트롤러(140)는 사용자 인터페이스에서 그 행동을 취하라는 명령을 디스플레이 컨트롤러(150)로 전송하는데, 예를 들어 수술 부위의 화면 모드를 바꾼다.

존재 검출 과정

또 다른 양태에서, 상기 설명된 대로, 의사(180B)의 손의 적어도 일부의 추적된 위치를 사용하여 그 손이 주 조작기 도구 그립(621)(때로는 주 도구 그립(621)이라 불린다)에 존재하는지를 결정할 수 있다. 도 11은 한 양태에서 시스템(100)의 핸드 트래킹 컨트롤러(130)에 의해 수행되는 존재 검출의 과정(1100)의 한 양태에 대한 과정 순서도이다. 과정(1100)은 한 양태에서 의사의 손 각각에 대해 분리되어 수행된다.

조인트 각도 얻기 과정(1110)에서, 주 도구 조작기(620)(도 6b)의 조인트 각도가 측정된다. 조인트 각도 얻기 과정(1110)은 전향 운동학 생성 과정(1111)으로 진행한다.

주 도구 조작기(620)에 있는 여러 링크의 길이를 알고 있고, 주 도구 조작기(620)의 기부(629)의 위치를 알고 있으므로, 기하 관계를 이용해서 주 작업공간 좌표 시스템(680) 안에 주 도구 그립(621)의 로케이션을 생성할 수 있다. 따라서, 전향 운동학 생성 과정(1111)은 과정(1110)으로부터의 각도를 이용해서 주 작업공간 좌표 시스템(680) 안에 주 도구 그립(621)의 위치 Pmtm을 생성한다. 전향 운동학 생성 과정(1111)은 전역 좌표에 따라 맵핑 과정(1112)으로 진행한다.

전역 좌표에 따라 맵핑 과정(1112)은 전역 좌표 시스템(670)(도 6a)의 위치 Pmtm_wc에 따라 주 작업공간 좌표 시스템(680)의 위치 Pmtm을 맵핑한다. 구체적으로는 다음과 같다:

여기서,

는 4x4 균등 불변 변환이며, 이것은 전역 좌표 시스템(670)의 좌표에 따라 작업공간 좌표 시스템(680)의 좌표를 맵핑한다. 완료시, 전역 좌표에 따라 맵핑 과정(1112)은 주 도구 그립 분리에 따라 손 생성 과정(1130)으로 진행한다.

손 로케이션 데이터 수신 과정(1120)으로 다시 돌아가서, 손 로케이션 데이터 수신 과정(1120)은 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)을 수신한다(검색). 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)은 추적 시스템으로부터의 데이터에 기초한다. 손 로케이션 데이터 수신 과정(1120)은 손 위치 생성 과정(1121)으로 진행한다.

손 위치 생성 과정(1121)은 상기 설명된 대로 추적 좌표 시스템의 제어 포인트 위치 및 배향에 따라 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)을 맵핑하며, 이 설명은 본원에 참고로 포함된다. 위치 Phand는 추적 좌표에서 제어 포인트의 위치이다. 손 위치 생성 과정(1121)은 전역 좌표에 따라 맵핑 과정(1122)으로 진행한다.

존재 검출에서 제어 포인트 위치의 사용은 단지 예시일 뿐이며, 제한을 의도하지는 않는다. 본 내용에 비추어, 존재 검출은, 예를 들어 집게손가락 끝의 위치를 사용하고 엄지손가락 끝의 위치를 사용해서, 또는 이들 위치 중 단지 하나만 사용해서 행해질 수 있다. 하기 설명된 과정은 사람 손의 일부와 관련된 이러한 여러 위치들의 각각에 대해 동등하다.

전역 좌표에 따라 맵핑 과정(1122)은 전역 좌표 시스템(670)(도 6a)의 위치 Phand_wc에 따라 추적 좌표의 위치 Phand를 맵핑한다. 구체적으로는 다음과 같다:

여기서,

는 4x4 균등 불변 변환이며, 이것은 전역 좌표 시스템(670)의 좌표에 따라 추적 좌표 시스템(650)의 좌표를 맵핑한다. 완료시, 전역 좌표에 따라 맵핑 과정(1112)은 주 도구 그립 분리에 따라 손 생성 과정(1130)으로 진행한다.

주 도구 그립 분리에 따라 손 생성 과정(1130)은 전역 좌표 시스템(670)의 위치 Pmtm_wc와 전역 좌표 시스템(670)의 위치 Phand_wc 사이의 분리 거리 dsep를 생성한다. 한 양태에서, 분리 거리 dsep는 다음과 같다:

완료시, 주 도구 그립 분리에 따라 손 생성 과정(1130)은 거리 안전 체크 과정(1131)으로 진행한다.

거리 안전 체크 과정(1131)은 분리 거리 dsep를 안전 거리 역치와 비교한다. 이 역치는 의사가 파지를 바꾸거나 단부 작동기의 가장 원단부를 조작할 수 있도록 계속 허용하면서 보전적이기에 충분히 작아야 한다. 분리 거리 dsep가 안전 거리 역치 미만이면, 거리 안전 체크 과정(1131)은 손 존재 온 과정(1140)으로 진행한다. 반대로, 분리 거리 dsep가 안전 거리 역치를 초과하면, 거리 안전 체크 과정(1131)은 손 존재 오프 과정(1150)으로 진행한다.

손 존재 온 과정(1140)은 시스템(100)이 원격조종 중인지를 결정한다. 시스템(100)이 원격조종 중이면, 어떤 행동도 필요하지 않고, 원격조종이 계속 허용되며, 따라서 과정(1140)이 과정(1100)을 시작하는 것으로 건너뛴다. 시스템(100)이 원격조종 중이 아니면, 손 존재 온 과정(1140)은 손 존재 사건을 시스템 사건 제공 과정(1160)으로 전송하고, 이것은 차례로 손 존재 사건을 시스템 컨트롤러(140)로 전송한다.

손 존재 오프 과정(1150)은 시스템(100)이 원격조종 상태에 있는지를 결정한다. 시스템(100)이 원격조종 상태가 아니라면, 어떤 행동도 요구되지 않고, 따라서 과정(1150)이 시작 과정(1100)으로 건너뛰게 된다. 시스템(100)이 원격조종 상태에 있다면, 손 존재 오프 과정(1150)이 손 부재 사건을 시스템 사건 제공 과정(1160)으로 전송하고, 이것은 차례로 손 부재 사건을 시스템 컨트롤러(140)로 전송한다.

시스템 컨트롤러(140)는 손 존재 사건 또는 손 부재 사건이 시스템 작동 모드에 어떤 변화를 요구하는지를 결정해서 적절한 명령을 발행한다. 한 양태에서, 시스템 컨트롤러(140)는 손 존재 사건에 응하여 원격조종을 가능케 하는데, 예를 들어 원격조종을 허용하고, 원격조종 최소 침습 수술 기구가 주 도구 그립에 연결된 경우에는 손 부재 사건에 응해서 원격조종을 할 수 없게 한다. 당업자에게 알려진 대로, 원격조종 최소 침습 수술 기구는 주 도구 그립에 탈착 가능하게 연결될 수 있다.

다른 양태에서, 손 존재 사건 및 손 부재 사건이 다른 사건과 조합해서 시스템 컨트롤러(140)에 의해 사용되어 원격조종을 허용할지의 여부가 결정된다. 예를 들어, 원격조종을 허용할지의 여부를 결정하는데 있어서 의사의 머리의 존재 검출이 의사의 손 또는 손들의 존재 검출과 조합될 수 있다.

유사하게, 상기 설명된 대로, 손 존재 사건 및 손 부재 사건이 시스템 컨트롤러(140)에 의해 사용되어 최소 침습 수술 시스템의 디스플레이 상에서 사용자 인터페이스의 표시를 제어할 수 있다. 시스템 컨트롤러(140)가 손 부재 사건을 수신했을 때, 사용자 인터페이스가 켜져 있지 않다면, 시스템 컨트롤러(140)는 사용자 인터페이스를 켜라는 명령을 디스플레이 컨트롤러(150)에 전송한다. 디스플레이 컨트롤러(150)는 프로세서(151) 상에서 사용자 인터페이스를 켜는데 필요한 사용자 인터페이스 모듈(155)의 부분을 실행한다. 시스템 컨트롤러(140)가 손 존재 사건을 수신했을 때, 사용자 인터페이스가 켜져 있다면, 시스템 컨트롤러(140)는 사용자 인터페이스를 끄라는 명령을 디스플레이 컨트롤러(150)에 전송한다. 디스플레이 컨트롤러(150)는 프로세서(151) 상에서 사용자 인터페이스를 끄는데 필요한 사용자 인터페이스 모듈(155)의 부분을 실행한다.

손 존재 사건 및 손 부재 사건은 사용자 인터페이스를 표시할지의 여부를 결정하기 위해서 다른 사건과 조합하여 시스템 컨트롤러(140)에 의해 사용될 수 있다. 따라서, 사용자 인터페이스 디스플레이 제어 및 원격조종 제어는 존재 검출을 이용한 시스템 모드 제어의 예들이며, 시스템 제어를 이들 두 특정 모드에 제한하려는 의도는 아니다.

예를 들어, 존재 검출은 아래 더 완전히 설명된 것들과 같은 프록시 비주얼의 제어에도 사용될 수 있다. 또한, 여러 모드들, 예를 들어 원격조종과 프록시 비주얼 디스플레이의 조합이 손 존재 사건 및 손 부재 사건에 기초하여 시스템 컨트롤러(140)에 의해 제어될 수 있다.

또한, 손 존재 검출은 주 도구 그립(621L, 621R)의 이중 용도를 제거하는데, 예를 들어 풋 페달을 민 다음, 주 도구 그립(621L, 621R)을 사용해서 의사 콘솔(185B)에 표시되는 사용자 인터페이스를 제어하는 것을 피하는데 유용하다. 주 도구 그립이 이중 용도를 가질 때, 예를 들어 수술 기구와 사용자 인터페이스의 제어에 모두 사용될 때, 의사는 전형적으로 사용자 인터페이스 작동 모드를 전환하기 위해 풋 페달을 눌러야 한다. 몇몇 이유에서 의사가 풋 페달을 누르지 못했지만, 시스템이 사용자 인터페이스 작동 모드로 전환되었다고 여겨지면, 주 도구 그립의 움직임이 수술 기구의 원치않는 동작을 가져올 수 있다. 존재 검출 과정(1100)을 사용하여 이 문제를 방지하고, 주 도구 그립의 이중 용도를 제거할 수 있다.

존재 검출 과정(1100)을 사용해서, 한 예에서, 손 존재 오프 사건이 시스템 컨트롤러(140)에 의해서 수신되었을 때, 시스템 컨트롤러(140)는 제자리에 주 도구 조작기(620L,620R)(도 6a)를 고정하라는 시스템 명령을 전송하고, 디스플레이 컨트롤러(150)에 의사 콘솔(185B)의 디스플레이에 사용자 인터페이스를 표시하라는 명령을 전송한다. 의사의 손 동작이 추적되고, 이것을 사용하여 사용자 인터페이스의 요소들을 제어할 수 있는데, 예를 들어 슬라이더 스위치를 움직이거나, 디스플레이를 바꾸거나 할 수 있다. 상기 주지된 대로, 눈 좌표 프레임 안에서 제어 포인트가 맵핑되고, 따라서 사용자 인터페이스 내의 한 요소의 로케이션과 연계될 수 있다. 제어 포인트의 동작을 사용하여 해당 요소를 조작할 수 있다. 이것은 의사가 풋 페달을 활성화할 필요없이 달성되며, 의사가 수술 기구를 부주의하게 움직일 수 없도록 행해진다. 따라서, 이것은 수술 기구와 사용자 인터페이스를 모두 제어하는데 주 도구 그립을 사용하는 것과 관련된 문제를 제거한다.

상기 예에서, 전역 좌표 프레임은 공통 좌표 프레임의 예이다. 공통 좌표 프레임으로서 전역 좌표 프레임의 사용은 단지 예시일 뿐이며, 제한을 의도하지 않는다.

주 손가락 추적 그립

도 12는 주 손가락 추적 그립(1270)의 일례를 예시한다. 주 손가락 추적 그립(1270)은 주 손가락 추적 그립(170,270)의 예이다.

주 손가락 추적 그립(1270)은 압축체(1210)와 2개의 손가락 고리(1220,1230)를 포함한다. 압축체(1210)는 제 1 단부(1213)와 제 2 단부(1214)를 가진다. 바디 구획(1215)이 제 1 단부(1213)와 제 2 단부(1214) 사이에서 연장된다.

압축체(1210)는 바깥쪽 외부 표면을 가진다. 바깥쪽 외부 표면은 제 1 부분(1216)과 제 2 부분(1217)을 포함한다. 제 1 부분(1216), 예를 들어 상부 부분은 제 1 단부(1213)와 제 2 단부(1214) 사이에서 연장된다. 제 2 부분(1217), 예를 들어 하부 부분은 제 1 단부(1213)와 제 2 단부(1214) 사이에서 연장된다. 제 2 부분(1217)은 제 1 부분(1216)으로부터 반대로 제거된다.

한 양태에서, 바깥쪽 외부 표면은 직물 케이스의 표면이다. 직물은 수술실에서 사용하기 적합하다. 직물 케이스는 압축가능한 폼을 둘러싼다. 폼은 압축에 대한 내성과 압축이 해제됨에 따른 팽창을 제공하도록 선택된다. 한 양태에서, 몇 개의 폼 스트립이 직물 케이스에 포함된다. 폼은 또한 휘어질 수 있어야 하며, 이로써 첫째 손가락의 끝이 둘째 손가락의 끝을 향해 움직임에 따라 사람 손의 첫째 손가락과 둘째 손가락 사이에 제 1 부분(1216)이 위치될 수 있다.

바디 구획(1215)은 손가락 고리(1220)와 손가락 고리(1230) 사이에 길이 L를 가진다. 상기 설명된 대로, 길이 L는 고리(1220) 안의 첫째 손가락과 고리(1230) 안의 둘째 손가락 사이의 분리를 제한하도록 선택된다(도 2a 참조).

한 양태에서, 바디 구획(1215)은 두께 T를 가진다. 도 2c에 예시된 대로, 두께 T는 주 손가락 추적 그립(1270)이 단부(1214)에 인접한 바깥쪽 외부 표면의 제 2 부분(1217) 상의 영역(1236)과 단부(1213)에 인접한 제 2 부분(1217) 상의 영역(1226)이 가볍게 닿도록 구성될 때, 제 2 부분(1217)이 길이 L을 따라 자체적으로는 완전히 접촉되지 않도록 선택된다.

제 1 손가락 고리(1220)는 제 1 단부(1213)에 인접하여 압축체(1210)에 고정된다. 고리(1220)는 압축체(1210)의 바깥쪽 외부 표면의 제 1 부분(1216)의 영역(1225) 주변으로 연장된다. 사람 손의 첫째 손가락에 제 1 손가락 고리(1220)가 배치되면, 영역(1225)이 첫째 손가락과 접촉되는데, 예를 들어 바깥쪽 외부 표면의 제 1 부분(1216)의 제 1의 부분이 엄지손가락과 접촉된다.

이 예에서, 손가락 고리(1220)는 2개 단부, 즉 제 1 직물 단부(1221A)와 제 2 직물 단부(1221B)를 가진다. 단부(1221A)와 단부(1221B)는 압축체(1210)에 고정된 직물 스트립의 단부이다. 고리 직물(1222B)의 부분이 단부(1221B)의 내면에 부착되고, 후크 직물(1222A)의 부분이 단부(1221A)의 외부 표면에 부착된다. 후크 직물과 고리 직물의 예는 나일론 직물의 2개 스트립으로 구성된 나일론 고정 테이프로서, 하나는 아주 작은 후크형 실들을 갖고, 나머지 하나는 거친 표면을 가진다. 2개의 스트립은 함께 눌려졌을 때 강한 접착을 형성한다. 상업적으로 이용가능한 고정 테이프의 예는 VELCRO® 고정 테이프이다(VELCRO®는 Velcro Industries B.V.의 등록 상표이다).

제 2 손가락 고리(1230)가 제 2 단부(1214)에 인접하여 압축체(1210)에 고정된다. 루프(1230)는 압축체(1210)의 바깥쪽 외부 표면의 제 1 부분(1216)의 영역(1235) 주변으로 연장된다. 사람 손의 둘째 손가락에 제 2 손가락 고리(1230)가 배치되면, 영역(1235)이 둘째 손가락과 접촉되는데, 예를 들어 바깥쪽 외부 표면의 제 1 부분(1216)의 제 2의 일부가 집게손가락과 접촉된다. 제 1 부분의 제 2의 일부(1235)는 제 1 부분의 제 1의 일부(1225)로부터는 반대로 제거된다.

이 예에서, 손가락 고리(1230)도 또한 2개 단부, 즉 제 1 직물 단부(1231A)와 제 2 직물 단부(1231B)를 가진다. 단부(1231A)와 단부(1231B)는 압축체(1210)에 고정된 직물 스트립의 단부이다. 고리 직물(1232B)의 부분이 단부(1231B)의 내면에 부착되고, 후크 직물(1232A)의 부분이 단부(1231A)의 외부 표면에 부착된다.

제 1 로케이션 추적 센서(1211)는 제 1 손가락 고리(1220)에 고정된다. 제 2 로케이션 추적 센서(1212)는 제 2 손가락 고리(1230)에 고정된다. 로케이션 추적 센서는 상기 설명된 센서 요소들 중 어느 것일 수 있다. 한 예에서, 로케이션 추적 센서(1211, 1212)는 피동적 전자기 센서이다.

프록시 비주얼 시스템

한 양태에서, 핸드 트래킹 제어 시스템을 사용하여 다른 의사에를 감독할 수 있는 의사에 의해서 사용될 수 있는 복수의 프록시 비주얼 중 어느 하나를 제어할 수 있다. 예를 들어, 의사(180)(도 1a)가 주 손가락 추적 그립(170)을 사용하여 의사(181)에게 감독받고 있을 때, 의사(181)는 주 손가락 추적 그립(170)을 사용해서 수술 기구의 프록시 비주얼을 제어할 수 있고, 의사(180)는 주 도구 그립을 사용해서 원격조종 종속 수술 기구를 제어할 수 있다.

또는 달리, 의사(181)는 디스플레이에서 가상의 손을 텔레스트레이트하거나, 또는 제어할 수 있다. 또한, 의사(181)는 디스플레이에 제시된 주 도구 그립(621)의 가상 영상을 조작함으로써 의사 콘솔에서 주 도구 그립을 조작하는 방식을 보여줄 수 있다. 프록시 비주얼의 이러한 예들은 단지 예시일 뿐이며, 제한을 의도하지 않는다.

또한, 의사 콘솔에 있지 않은 주 손가락 추적 그립(170)의 사용도 예시이며, 제한을 의도하지 않는다. 예를 들어, 상기 설명된 존재 검출 시스템에서, 의사 콘솔의 의사는 주 도구 그립으로부터 손을 움직일 수 있고, 다음에 그 손을 이용해서 손이 핸드 트래킹 시스템에 의해 추적됨에 따라 또 다른 의사를 감독할 수 있다.

감독을 용이하게 하기 위해, 프록시 비주얼 모듈(미도시)이 한 양태에서 비전 프로세싱 서브시스템의 일부로서 처리된다. 이 양태에서, 실행중인 모듈이 감독자의 손의 제어 포인트의 위치 및 배향을 수신하여 입체 영상을 만들며, 이것은 실시간으로 내시경 카메라 영상과 복합되어 의사 콘솔(185), 어시스턴트 디스플레이, 및 환자측 의사 인터페이스 디스플레이(187)의 어떤 조합에 표시된다.

의사(181)가 정해진 행동을 취함으로써, 예를 들어 손 제스처 포즈를 취함으로써 감독을 개시할 때, 프록시 비주얼 시스템 루프가 활성화되는데, 예를 들어 프록시 비주얼 모듈이 프로세서 모듈에서 실행된다. 정해진 행동으로서 사용되는 특정 행동, 예를 들어 손 제스처 포즈는 시스템 컨트롤러(140)(도 1)가 그 행동을 인식하도록 구성되는 한 반드시 필요한 것은 아니다.

한 양태에서, 프록시 비주얼은 주 손가락 추적 그립(170)에 의해서 제어되는 가상 고스트 기구(1311)(도 13)이고, 의사 콘솔(185)의 주 도구 조작기들 중 하나에 의해 원격조종 종속 수술 기구(1310)가 제어된다. 의사(181)는 표시 장치(187)에서 기구(1310 및 1311)를 둘 다 보고, 의사(180)는 의사 콘솔(185)의 입체 디스플레이에서 기구(1310 및 1311)를 둘 다 본다. 프록시 비주얼로서 가상 고스트 기구(1311)의 사용은 예시일 뿐이며, 이 특정 영상에 제한되는 것은 아니다. 본 내용에 비추어, 프록시 비주얼을 표시하는 영상과 원격조종 종속 수술 기구의 실제 단부 작동기의 영상의 구별을 용이하게 하는 다른 영상들도 프록시 비주얼로 사용될 수 있다.

가상 고스트 기구(1311)는 가상 고스트 기구(1311)가 실제 기구(1310)와 가상 고스트 기구(1311)를 명확히 구별하는 방식으로 표시된다는 것을 제외하면 실제 기구(1310)와 유사한 것처럼 보인다(예를 들어, 투명 또는 반투명 고스트 형태 영상, 뚜렷한 색을 가진 영상 등). 가상 고스트 기구(1311)의 제어 및 작동은 실제 원격조종 수술 기구에 대해 상기 설명된 것과 동일하다. 따라서, 의사(181)는 주 손가락 추적 그립(170)을 사용하여 가상 고스트 기구(1311)를 조작하여 원격조종 종속 수술 기구(1310)의 적절한 사용을 보여줄 수 있다. 의사(180)는 기구(1310)를 사용해서 가상 고스트 기구(1311)의 동작을 모방할 수 있다.

가상 고스트 기구는 공동 양도된 미국 특허출원 공개 No. US 2009/0192523 A1(2009년 3월 31일 제출, "수술 기구의 복합적 표시"를 개시)에 더 설명되며, 이것은 그 전체가 참고자료로 본원에 포함된다. 또한, 미국 특허출원 제12/485,503호(2009년 6월 16일 제출, "최소 침습 수술을 위한 가상 측정 도구"를 개시); 미국 특허출원 제12/485,545호(2009년 6월 16일 제출, "최소 침습 수술을 위한 가상 측정 도구를 개시"); 미국 특허출원 공개 No. US 2009/0036902 A1(2008년 8월 11일 제출, "로봇 최소 침습 수술 시스템을 위한 상호작용 사용자 인터페이스"를 개시); 미국 특허출원 공개 No. US 2007/0167702 A1(2005년 12월 30일 제출, "3-차원 텔레스트레이션을 제공하는 의료 로봇 시스템"을 개시); 미국 특허출원 공개 No. US 2007/0156017 A1(2005년 12월 30일 제출, "로봇 수술을 위한 입체 텔레스트레이션"을 개시) 및 미국 특허출원 공개 No. US 2010/0164950 A1(2009년 5월 13일 제출, "국소 로봇 감독을 위한 효과적인 3-D 텔레스트레이션"을 개시)를 참조하며, 이들은 모두 그 전체가 본원에 참고자료로 포함된다.

다른 양태에서, 프록시 비주얼은 주 손가락 추적 그립(170)과 도 1에서는 보이지 않는 제 2 주 손가락 추적 그립에 의해서 제어되는 한 쌍의 가상 손(1410, 1411)(도 14)이다. 원격조종 종속 수술 기구(1420, 1421)가 의사 콘솔(185)의 주 도구 조작기에 의해 제어된다. 의사(181)는 표시 장치(187)에서 비디오 영상(1400)을 보고, 의사(180)는 의사 콘솔(185)의 입체 디스플레이에서 비디오 영상(1400)을 본다. 가상 손(1410, 1411)은 비디오 영상(1400)에서 다른 물체로부터 이들이 명확히 구별되는 방식으로 표시된다.

가상 손의 엄지손가락과 집게손가락의 열림 및 닫힘이 상기 설명된 그립 닫힘 변수 ggrip을 사용해서 제어된다. 가상 손의 위치 및 배향은 상기 설명된 대로 제어 포인트 위치 및 배향에 의해 제어되며, 이들은 역시 상기 설명된 대로 눈 좌표 공간 안에서 맵핑된다.

따라서, 의사(181)가 오른손을 3-차원으로 움직임에 따라, 가상 손(1411)이 비디오 영상(1400)에서의 움직임을 추종하게 된다. 의사(181)는 가상 손(1411)을 말아서 의사(180)가 원격조종 종속 수술 기구(1421)를 말고 있다는 것을 표시할 수 있다. 의사(181)는 가상 손(1410)을 특정 로케이션으로 움직인 다음, 엄지손가락과 집게손가락의 움직임을 이용해서 의사(180)에게 원격조종 종속 수술 기구(1420)를 그 로케이션으로 움직여서 조직을 붙잡으라고 지시할 수 있다. 의사(180)가 기구(1420)로 조직을 붙잡으면, 의사(181)는 가상 손(1410)을 사용해서 의사(180)에게 조직을 어떻게 움직이라고 지시할 수 있다. 이들 모두 실시간으로 일어나며, 가상 손(1410, 1411)은 입체 내시경 영상 위에 중첩된다. 그러나, 프록시 비주얼은 또한 단안입체 시스템에서도 사용될 수 있다.

다른 양태에서, 의사(181)는 손 제스처 포즈를 사용해서 프록시 비주얼이 비디오 영상(1500)(도 15)에 제시되는 가상 고스트 기구(1510) 및 가상 텔레스트레이션 장치(1511)가 되도록 표시 모드를 바꾼다. 텔레스트레이션 장치(1511)는 주 손가락 추적 그립(170)에 의해 제어되고, 도 1에서는 보이지 않는 제 2 주 손가락 추적 그립은 가상 고스트 기구(1511)를 제어한다.

원격조종 종속 수술 기구(1520, 1521)는 의사 콘솔(185)의 주 도구 조작기에 의해서 제어된다. 의사(181)는 표시 장치(187)에서 비디오 영상(1500)을 보고, 의사(180)는 의사 콘솔(185)의 입체 디스플레이에서 비디오 영상(1500)을 본다. 가상 텔레스트레이션 장치(1511)와 가상 고스트 기구(1411)는 비디오 영상(1500) 안의 다른 물체와 이들이 명확히 구별되는 방식으로 표시된다.

가상 텔레스트레이션 장치(1511)와의 텔레스트레이션을 위해, 의사(181)는 마치 가상의 펜이나 연필을 쥐고 있는 것처럼 엄지손가락과 집게손가락을 위치시킨 다음, 이 위치에 엄지손가락과 집게손가락을 둔 채로 오른손을 움직여서 표시된 비디오 영상에서 텔레스트레이션을 수행한다. 비디오 영상(1500)에서, 의사(181)는 엄지손가락과 집게손가락을 이렇게 위치시켜서 마크(1512)를 만들어 어디에서 수술 기구(1521)가 조직을 절단해야 하는지 예시한다. 마크(1512)를 만든 후, 의사(1810)는 엄지손가락과 집게손가락을 분리하고, 가상 텔레스트레이션 장치(1511)를 비디오 영상(1500)에 나타난 위치까지 이동시킨다.

가상 텔레스트레이션 장치(1511)의 표시 능력은 상기 설명된 그립 닫힘 변수 ggrip를 사용하여 제어된다. 상기 주지된 대로, 엄지손가락과 집게손가락이 가볍게 닿았을 때, 그립 닫힘 변수 ggrip는 제 2 범위의 초기 값에 따라 맵핑되고, 이로써 그립 닫힘 변수 ggrip가 제 2 범위에 있을 때, 텔레스트레이션 장치(1511)에 대해 텔레스트레이션이 가능해진다. 눈 좌표 시스템에 따라 맵핑된 후 제어 포인트 위치 및 배향을 사용해서 가상 텔레스트레이션 장치(1511)의 동작을 제어할 수 있다.

본 발명의 양태들 및 구체예들을 예시하는 상기 설명 및 첨부한 도면은 제한으로서 해석되어서는 안 되며, 청구항이 보호된 발명을 한정한다. 다양한 기계적, 조성적, 구조적, 전기적 및 작동적 변화가 본 설명 및 청구항의 사상 및 범위로부터 벗어나지 않고 이루어질 수 있다. 일부 예에서, 잘 알려진 회로, 구조 및 기술은 본 발명을 복잡하게 하는 것을 피하기 위해서 상세히 나타내거나 설명되지 않았다.

또한, 본 명세서의 용어는 본 발명을 제한하는 의도가 아니다. 예를 들어, "밑", "아래", "하부", "위", "상부", "부근", "원위" 등과 같은 공간적인 상대적 용어들은 도면에 예시된 한 요소 또는 특징부의 다른 요소 또는 특징부와의 관계를 설명하기 위해서 사용될 수 있다. 이러한 공간적인 상대적 용어들은 도면에 도시된 위치 및 배향에 더하여 사용중인 또는 작동중인 장치의 상이한 위치(즉, 로케이션) 및 배향(즉, 회전가능한 배치)을 포괄하도록 의도된다. 예를 들어, 도면의 장치가 반전된다면, 다른 요소 또는 특징부의 "아래" 또는 "밑"이라고 설명된 요소가 다른 요소 또는 특징부의 "위" 또는 "바로 위"가 된다. 따라서, 예시적인 용어 "아래"는 위와 아래의 위치와 배향을 둘 다 포괄할 수 있다. 장치는 다른 식으로 배향될 수 있고(90도 회전되거나, 또는 다른 배향으로), 본원에서 사용된 공간적으로 상대적 설명은 그에 따라서 해석된다. 마찬가지로, 다양한 축을 따른 이동 및 축 주위에서의 움직임에 대한 설명도 역시 다양한 특별한 장치 위치 및 배향을 포함한다.

또한, 단수형 "한" 및 "그"는 문맥상 다른 의미가 아니라면 복수 형태도 포함하도록 의도된다. 그리고, 용어 "포함한다", "포함하는", "포함한다" 등은 언급된 특징부, 단계, 작업, 요소 및/또는 구성요소의 존재를 명시하지만, 하나 이상의 다른 특징부, 단계, 작업, 요소, 구성요소 및/또는 군의 존재 또는 부가를 배제하지 않는다. 짝을 이루어 설명된 구성요소들은 전기적으로 또는 기계적으로 직접 연결될 수 있거나, 또는 이들은 하나 이상의 중간 구성요소를 통해 간접적으로 연결될 수 있다.

메모리는 휘발성 메모리, 비휘발성 메모리, 또는 이 둘의 어떤 조합을 말한다. 프로세서는 프로세서에 의해서 실행되는 명령을 담은 메모리에 연결된다. 이것은 컴퓨터 시스템 내에서 달성되거나, 또는 모뎀과 아날로그 라인, 또는 디지털 인터페이스와 디지털 전송선을 통한 다른 컴퓨터와의 접속을 통해서 달성될 수 있다.

여기서, 컴퓨터 프로그램 제품은 핸드 트래킹과 관련해서 설명된 과정들 중 어느 하나 또는 어떤 조합에 필요한 컴퓨터 판독가능한 코드를 저장하도록 구성된 매체, 또는 핸드 트래킹과 관련해서 설명된 과정들 중 어느 하나 또는 어떤 조합을 위한 컴퓨터 판독가능한 코드가 저장된 매체를 포함한다. 컴퓨터 프로그램 제품의 일부 예들은 CD-ROM 디스크, DVD 디스크, 플래시 메모리, ROM 카드, 플로피 디스크, 자기 테이프, 컴퓨터 하드 드라이브, 네트워크상의 서버 및 컴퓨터 판독가능한 프로그램 코드를 표시하는 네트워크를 통해 송신되는 신호들이다. 비-일시적 유형 컴퓨터 프로그램 제품은 다양한 컨트롤러와 관련해서 설명된 과정들 중 어느 하나 또는 어떤 조합을 위한 컴퓨터 판독가능한 명령을 저장하도록 구성된, 또는 다양한 컨트롤러와 관련해서 설명된 과정들 중 어느 하나 또는 어떤 조합을 위한 컴퓨터 판독가능한 명령이 저장된 비-일시적 유형 매체를 포함한다. 비-일시적 유형 컴퓨터 프로그램 제품은 CD-ROM 디스크, DVD 디스크, 플래시 메모리, ROM 카드, 플로피 디스크, 자기 테이프, 컴퓨터 하드 드라이브 및 다른 비-일시적 물리적 저장 매체이다.

본 내용에 비추어, 핸드 트래킹과 관련해서 설명된 과정들 중 어느 하나, 또는 어떤 조합에서 사용된 명령은 사용자가 관심 있는 작동 시스템과 컴퓨터 프로그래밍 언어를 사용해서 광범위한 컴퓨터 시스템 구성형태에서 실시될 수 있다.

도 1에서 상이한 메모리 및 프로세서의 사용은 단지 예시일 뿐이며, 제한을 의도하지는 않는다. 일부 양태에서, 단일 하드웨어 프로세서가 사용될 수 있으며, 다른 양태에서는 다수의 프로세서가 사용될 수 있다.

또한, 각 예시에 있어서, 여러 과정들이 핸드 트래킹 컨트롤러와 시스템 컨트롤러 사이에 분산되었다. 이것 또한 예시이며, 제한하는 것을 의도하지 않는다. 여러 과정들은 컨트롤러들 사이에 분산될 수 있거나, 또는 핸드 트래킹 과정의 작동 원리의 변화 없이 컨트롤러에 통합될 수 있다.

모든 예들 및 예시적인 언급들은 비제한적이며, 청구항을 본원에 설명된 특정 실시형태 및 구체예와 이들의 등가물에 제한하려 사용되어서는 안 된다. 표제는 단지 형식적인 것일 뿐이며, 어떤 식으로도 주제를 제한하는데 사용되어서는 안 되고, 한 표제 아래의 내용이 하나 이상의 표제 아래의 내용을 상호언급하거나, 또는 그것에 적용될 수도 있다. 마지막으로, 본 내용에 비추어, 한 양태 또는 구체예와 관련하여 설명된 특정 특징들은 도면에 구체적으로 도시되거나 내용에 설명되지 않았더라도 본 발명의 다른 개시된 양태 또는 구체예에 적용될 수 있다.

Claims (15)

1. 복수의 손 제스처 포즈들 및 복수의 손 제스처 궤적들이 정의되는 원격조종 시스템으로서, 상기 복수의 손 제스처 포즈들의 제 1 손 제스처 포즈는 상기 복수의 손 제스처 궤적들에 사용되고, 상기 복수의 손 제스처 포즈들의 다른 손 제스처 포즈들의 각각은 상기 원격조종 시스템의 제 1 복수의 작동 모드들의 다른 작동 모드에 상응하고, 상기 복수의 손 제스처 궤적들의 각각은 상기 원격조종 시스템의 제 2 복수의 작동 모드들의 다른 작동 모드에 상응하는 원격조종 시스템에 있어서,
   상기 원격조종 시스템은 컨트롤러를 포함하고,
   컨트롤러는
   감지된 손 제스처 포즈가 다른 손 제스처 포즈들 중의 하나인 조건에서, 상기 원격조종 시스템의 작동 모드를 다른 손 제스처 포즈들 중의 하나에 상응하는 상기 제 1 복수의 작동 모드들의 작동 모드로 변경하고;
   감지된 손 제스처 포즈가 상기 복수의 손 제스처 포즈들의 제 1 손 제스처 포즈인 조건에서, 그리고 또한 감지된 손 제스처 궤적이 상기 복수의 손 제스처 궤적들의 제 1 손 제스처 궤적인 조건에서, 상기 원격조종 시스템의 작동 모드를 상기 제 1 손 제스처 궤적에 상응하는 상기 제 2 복수의 작동 모드들의 작동 모드로 변경하고;
   핸드 트래킹 유닛으로부터 손 위치 데이터를 수신하고, 상기 감지된 손 제스처 포즈 및 상기 감지된 손 제스처 궤적은 상기 손 위치 데이터에 기초하여 감지되도록; 구성되는 것을 특징으로 하는 원격조종 시스템.
2. 제 1 항에 있어서, 상기 컨트롤러는
   상기 손 위치 데이터를 사용하여 손 위치를 생성하고, 상기 손 위치는 주 도구 그립을 사용하여 사람의 손의 적어도 일부의 위치를 나타내고;
   상기 주 도구 그립의 위치와 상기 손 위치 사이의 거리를 결정함으로써 상기 주 도구 그립의 위치가 상기 손 위치로부터 역치 거리 이내에 있는지 결정하고;
   상기 원격조종 시스템 내에 시스템 사건을 송신하고, 상기 시스템 사건은 상기 주 도구 그립의 위치가 상기 손 위치로부터 역치 거리 이내에 있는지에 기초하도록; 더 구성되는 것을 특징으로 하는 원격조종 시스템.
3. 제 2 항에 있어서, 상기 시스템 사건은 상기 주 도구 그립이 사람의 손으로부터 역치 거리 이내에 있지 않으면 손 부재 사건인 것을 특징으로 하는 원격조종 시스템.
4. 제 2 항에 있어서, 상기 시스템 사건은 상기 주 도구 그립이 사람의 손으로부터 역치 거리 이내에 있으면 손 존재 사건인 것을 특징으로 하는 원격조종 시스템.
5. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 손 위치는 사람의 손의 집게손가락의 위치를 포함하는 것을 특징으로 하는 원격조종 시스템.
6. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
   프로세싱 유닛;
   상기 시스템 사건을 수신하도록 구성되는 다른 하나의 컨트롤러;
   상기 프로세싱 유닛 상에서 실행되는 모듈에 의해 생성되는 사용자 인터페이스; 및
   사용자 인터페이스의 표시를 출력하도록 구성되는 표시 장치로서, 상기 사용자 인터페이스의 표시는 수술 부위의 이미지의 표시와 다른 상기 표시 장치;를 더 포함하고,
   상기 시스템 사건이 손 부재 사건이면, 상기 다른 하나의 컨트롤러는 상기 사용자 인터페이스의 표시를 켜도록 구성되고;
   상기 시스템 사건이 손 존재 사건이면, 상기 다른 하나의 컨트롤러는 상기 사용자 인터페이스의 표시를 끄도록 구성되는; 것을 특징으로 하는 원격조종 시스템.
7. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
   상기 시스템 사건을 수신하도록 구성되는 다른 하나의 컨트롤러;를 더 포함하고,
   상기 시스템 사건이 손 존재 사건이면, 상기 다른 하나의 컨트롤러는 상기 주 도구 그립에 연결된 원격조종 기구의 원격조종을 허용하도록 구성되고;
   상기 시스템 사건이 손 부재 사건이면, 상기 다른 하나의 컨트롤러는 상기 원격조종 기구의 원격조종을 허용하지 않도록 구성되는; 것을 특징으로 하는 원격조종 시스템.
8. 원격조종 시스템을 작동하는 방법으로서, 상기 원격조종 시스템을 위해 복수의 손 제스처 포즈들 및 복수의 손 제스처 궤적들이 정의되고, 상기 복수의 손 제스처 포즈들의 제 1 손 제스처 포즈는 상기 복수의 손 제스처 궤적들에 사용되고, 상기 복수의 손 제스처 포즈들의 다른 손 제스처 포즈들의 각각은 상기 원격조종 시스템의 제 1 복수의 작동 모드들에서의 다른 작동 모드에 상응하고, 상기 복수의 손 제스처 궤적들의 각각은 상기 원격조종 시스템의 제 2 복수의 작동 모드들에서의 다른 작동 모드에 상응하는 방법에 있어서,
   상기 방법은
   감지된 손 제스처 포즈가 다른 손 제스처 포즈들 중의 하나인 조건에서, 상기 원격조종 시스템의 작동 모드를 다른 손 제스처 포즈들 중의 하나에 상응하는 상기 제 1 복수의 작동 모드들의 작동 모드로 변경하는 단계;
   감지된 손 제스처 포즈가 상기 제 1 손 제스처 포즈인 조건에서, 그리고 또한 감지된 손 제스처 궤적이 상기 복수의 손 제스처 궤적들의 제 1 손 제스처 궤적인 조건에서, 상기 원격조종 시스템의 작동 모드를 상기 제 1 손 제스처 궤적에 상응하는 상기 제 2 복수의 작동 모드들의 작동 모드로 변경하는 단계; 및
   손의 손가락들의 로케이션들을 수신하는 단계로서, 상기 감지된 손 제스처 포즈 및 상기 감지된 손 제스처 궤적은 상기 손가락들의 상기 로케이션들에 기초하여 감지되는 단계;를 포함하는 것을 특징으로 하는 방법.
9. 제 8 항에 있어서,
   상기 손가락들의 상기 로케이션들 중 적어도 하나를 사용하여 손 위치를 생성하는 단계로서, 상기 손 위치는 주 도구 그립을 사용하여 사람의 손의 적어도 일부의 위치를 나타내는 단계;
   상기 주 도구 그립의 위치가 상기 손 위치로부터 역치 거리 이내에 있는지 결정하는 단계; 및
   상기 원격조종 시스템 내에 시스템 사건을 송신하는 단계;를 더 포함하고,
   상기 시스템 사건은 상기 주 도구 그립이 사람의 손으로부터 역치 거리 이내에 있지 않으면 손 부재 사건이고, 상기 시스템 사건은 상기 주 도구 그립이 사람의 손으로부터 역치 거리 이내에 있으면 손 존재 사건인 것을 특징으로 하는 방법.
10. 컨트롤러를 포함하는 원격조종 시스템에 있어서,
    컨트롤러는
    핸드 트래킹 유닛으로부터 사람의 손의 손 위치 데이터를 수신하고;
    상기 손 위치 데이터를 손 제스처 포즈로 변환하고;
    상기 손 제스처 포즈가 복수의 기지의 손 제스처 궤적들에 사용되는 손 제스처 포즈인지 결정하고;
    상기 손 제스처 포즈가 복수의 기지의 손 제스처 궤적들에 사용되는 손 제스처 포즈가 아니면, 상기 원격조종 시스템을 복수의 시스템 작동 모드들 중의 제 1 시스템 모드로부터 복수의 시스템 작동 모드들 중의 제 2 시스템 모드로 변경하기 위해 제 1 시스템 사건을 송신하고, 상기 제 2 시스템 모드는 상기 손 제스처 포즈에 기초하여 선택되고;
    상기 손 제스처 포즈가 복수의 기지의 손 제스처 궤적들에 사용되는 손 제스처 포즈이면, 상기 손 위치 데이터를 손 제스처 궤적으로 변환하고, 상기 원격조종 시스템을 상기 제 1 시스템 모드로부터 복수의 시스템 작동 모드들 중의 제 3 시스템 모드로 변경하기 위해 제 2 시스템 사건을 송신하고, 상기 제 3 시스템 모드는 상기 손 제스처 궤적에 기초하여 선택되도록; 구성되는 것을 특징으로 하는 원격조종 시스템.
11. 제 10 항에 있어서, 상기 제 2 시스템 모드는 상기 원격조종 시스템의 사용자 인터페이스의 제어의 개시를 포함하는 것을 특징으로 하는 원격조종 시스템.
12. 제 10 항에 있어서, 상기 제 2 시스템 모드는 프록시 비주얼 시스템 루프의 활성화를 포함하는 것을 특징으로 하는 원격조종 시스템.
13. 제 10 항 내지 제 12 항 중 어느 한 항에 있어서, 상기 컨트롤러가 상기 손 위치 데이터를 손 제스처 포즈로 변환하도록 구성되는 것은
    상기 컨트롤러가
    상기 손 위치 데이터로부터 관찰된 특징 세트를 생성하고;
    상기 관찰된 특징 세트를 복수의 기지의 손 제스처 포즈들의 특징 세트들과 비교하고;
    상기 관찰된 특징 세트의 상기 복수의 기지의 손 제스처 포즈들의 특징 세트들과의 비교에 기초하여 상기 복수의 기지의 손 제스처 포즈들로부터 상기 손 제스처 포즈를 선택하도록; 구성되는 것을 포함하는 것을 특징으로 하는 원격조종 시스템.
14. 제 10 항 내지 제 12 항 중 어느 한 항에 있어서, 상기 컨트롤러가 상기 손 위치 데이터를 손 제스처 궤적으로 변환하도록 구성되는 것은
    상기 컨트롤러가
    상기 손 위치 데이터의 궤적으로부터 속도 순서를 생성하고, 상기 속도 순서는 속도 벡터들의 순서를 포함하고;
    상기 속도 순서를 기호 순서로 전환하고, 상기 기호 순서는 분리된 기호들의 순서를 포함하고;
    상기 기호 순서를 복수의 은닉 마르코프 모델들을 사용하여 분석하고, 상기 복수의 기지의 손 제스처 궤적들의 각각은 상기 복수의 은닉 마르코프 모델들에서의 은닉 마르코프 모델을 가지고;
    복수의 은닉 마르코프 모델들을 사용한 상기 기호 순서의 분석에 기초하여 손 제스처 궤적를 선택하도록; 구성되는 것을 포함하는 것을 특징으로 하는 원격조종 시스템.
15. 제 10 항 내지 제 12 항 중 어느 한 항에 있어서, 상기 컨트롤러는 상기 손 제스처 포즈를 상기 제 1 시스템 사건으로 맵핑하고, 상기 손 제스처 궤적을 상기 제 2 시스템 사건으로 맵핑하도록 더 구성되는 것을 특징으로 하는 원격조종 시스템.

Images