KR20170077272A - Method and system for hand presence detection in a minimally invasive surgical system - Google Patents
Method and system for hand presence detection in a minimally invasive surgical system Download PDFInfo
- Publication number
- KR20170077272A KR20170077272A KR1020177017309A KR20177017309A KR20170077272A KR 20170077272 A KR20170077272 A KR 20170077272A KR 1020177017309 A KR1020177017309 A KR 1020177017309A KR 20177017309 A KR20177017309 A KR 20177017309A KR 20170077272 A KR20170077272 A KR 20170077272A
- Authority
- KR
- South Korea
- Prior art keywords
- hand
- controller
- main tool
- remote control
- tool grip
- Prior art date
Links
- 0 C(C1C2(CC2)C1)C1*CCC1 Chemical compound C(C1C2(CC2)C1)C1*CCC1 0.000 description 5
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
- A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00221—Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
- A61B2034/741—Glove like input devices, e.g. "data gloves"
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Electromagnetism (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Manipulator (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
최소 침습 수술 시스템에서, 핸드 트래킹 시스템이 사람 손의 일부에 장착된 센서 요소의 위치를 추적한다. 사람 손의 일부의 위치에 기초하여 시스템 제어 변수가 생성된다. 최소 침습 수술 시스템의 작동이 시스템 제어 변수를 사용하여 제어된다. 따라서, 최소 침습 수술 시스템은 핸드 트래킹 시스템을 포함한다. 핸드 트래킹 시스템은 사람 손의 일부의 위치를 추적한다. 핸드 트래킹 시스템에 연결된 컨트롤러가 이 위치를 시스템 제어 변수로 전환하고, 시스템 제어 변수에 기초한 명령을 최소 침습 수술 시스템에 제공한다.In a minimally invasive surgical system, a hand tracking system tracks the position of a sensor element mounted on a portion of a human hand. A system control variable is generated based on the position of a portion of the human hand. The operation of the minimally invasive surgical system is controlled using system control parameters. Thus, the minimally invasive surgical system includes a hand tracking system. The hand tracking system tracks the position of a portion of a human hand. The controller connected to the hand tracking system switches this position to a system control variable and provides an instruction based on system control variables to the minimally invasive surgical system.
Description
본 발명의 양태는 최소 침습 수술 시스템의 제어와 관련되고, 더 구체적으로는 최소 침습 수술 시스템을 제어하는데 있어서 의사의 손 움직임을 사용하는 것에 관한 것이다.Aspects of the present invention relate to the control of a minimally invasive surgical system, and more particularly to the use of a physician's hand movement in controlling a minimally invasive surgical system.
손 위치 및 제스처를 추적하기 위한 방법 및 기술이 알려져 있다. 예를 들어, 일부 비디오 게임 컨트롤러는 핸드 트래킹 인풋을 이용한다. 예를 들어, 닌텐도 Wii® 게임 플랫폼은 무선 위치 및 배향 감지 리모트 컨트롤을 지원한다(Wii는 미국 워싱턴 레드몬드의 Nintendo of America Inc.의 등록 상표명이다). 배트를 휘두르거나 마술봉을 흔드는 것과 같은 제스처 및 다른 신체 동작의 사용이 이 플랫폼에 기본적인 게임 요소를 제공한다. Sony Playstation Move도 닌텐도 Wii® 게임 플랫폼과 유사한 특징을 가진다. Methods and techniques for tracking hand positions and gestures are known. For example, some video game controllers use hand tracking inputs. For example, the Nintendo Wii® game platform supports wireless location and orientation detection remote control (Wii is a registered trademark of Nintendo of America Inc. of Redmond, Washington). The use of gestures and other body movements, such as swinging bats or waving magic rods, provide a basic game element for this platform. Sony Playstation Move also has features similar to the Nintendo Wii® gaming platform.
CyberGlove Systems의 무선 CyberGlove® 모션 캡처 데이터 글러브는 18개의 데이터 센서를 포함하며, 각 손가락에 2개의 벤드 센서가 있고, 4개의 외전 센서와 엄지손가락 교차, 팔꿈치 아치, 손목 굴절 및 손목 외전을 측정하는 센서들이 있다(CyberGlove®는 캘리포니아 세너제이에 위치한 CyberGlove Systems LLC의 등록상표이다). CyberGlove® 모션 캡처 데이터 글러브에 3-차원 추적 시스템이 사용된 경우에는 x, y, z, 요우, 피치, 롤 위치 및 손의 배향 정보가 이용될 수 있다. CyberGlove® 모션 캡처 데이터 글러브의 동작 캡처 시스템은 디지털 원형 평가, 가상현실 바이오메카닉스, 및 애니메이션에서 사용되고 있다.CyberGlove Systems' wireless CyberGlove® motion capture data glove includes 18 data sensors, two bend sensors on each finger, four abduction sensors, a sensor that measures the intersection of the thumb, elbow arch, wrist bend and wrist abduction (CyberGlove® is a registered trademark of CyberGlove Systems LLC, located in Senegal, California). CyberGlove® motion capture data If the three-dimensional tracking system is used on the glove, x, y, z, yaw, pitch, roll position and hand orientation information can be used. The CyberGlove® motion capture data glove's motion capture system is used in digital prototype evaluation, virtual reality biomechanics, and animation.
40개의 센서를 가진 다른 데이터 글러브로서 Measurand Inc.의 ShapeHand 데이터 글러브가 있다. Measurand Inc.의 ShapeClaw 휴대용 경량 핸드 모션 캡처 시스템은 공간 내에서 손과 팔뚝의 위치 및 배향과 함께 집게손가락과 엄지손가락 모션을 캡처하는 플렉시블 리본 시스템을 포함한다.Another data glove with 40 sensors is Measurand Inc.'s ShapeHand data glove. Measurand Inc.'s ShapeClaw portable lightweight hand motion capture system includes a flexible ribbon system that captures forefinger and thumb motions along with the position and orientation of the hands and forearms in space.
김인철 및 전성일, "스트로크-기반 복합 은닉 마르코프 모델을 이용한 3D 손 궤적 제스처의 분석"(Applied Intelligence, Vol.15 No.2, p.131-143, September-October 2001)에서 김과 전은 Polhemus 센서에 의한 3-차원 궤적 입력을 이용하여 제스처를 인식하는 것을 조사한다. 김과 전은 3-차원 궤적이 비디오-기반 접근법에서 주로 사용되는 2-차원 제스처보다 더 높은 식별력을 제공하기 때문에 이 형태의 입력을 제안한다. 김과 전은 그들의 실험에서 Fakespace PinchGlove의 뒤에 부착된 Polhemus 자성 위치 추적 센서를 사용했다. PinchGlove는 Polhemus 센서가 사용자의 손의 3-차원 궤적을 캡처하는 동안 제스처의 시작 및 종료를 사용자에게 신호하기 위한 수단을 제공한다.Kim et al., "Analysis of 3D Hand Trajectory Gesture Using Stroke-Based Complex Hidden Markov Model" (Applied Intelligence, Vol.15 No.2, p.131-143, September-October 2001) We use the three-dimensional trajectory input by the user to recognize the recognition of the gesture. Kim and I propose this type of input because the three-dimensional trajectory provides a higher discrimination than the two-dimensional gesture commonly used in video-based approaches. Kim and I used a Polhemus magnetic location sensor attached to the back of the Fakespace PinchGlove in their experiments. PinchGlove provides a means for the user to signal the start and end of the gesture while the Polhemus sensor captures the three-dimensional trajectory of the user's hand.
Elena Sanchez-Nielsen 등, "사람과 기계의 상호작용을 위한 손 제스처의 인식"(Journal of WSCG, Vol.12, No.1-3, ISSN 1213-6972, WSCG'2004, February 2-6 20003, Plzen Czech Republic)에서는 개인용 컴퓨터 및 웹캠과 같은 다목적 하드웨어와 저렴한 센서를 사용한 손 제스처 인식을 통한 시각적 상호작용 환경 안에서의 용도를 위한 실시간 화면 시스템이 제안된다. Pragati Garg 등, "화면-기반 손 제스처 인식"(49 World Academy of Science, Engineering and Technology, 972-977 (2009))에서는 화면-기반 손 제스처 인식이 재검토되었다. 제시된 한 가지 결론은 대부분의 접근법이 제어된 실험실 환경에서는 적합할 수 있지만 임의의 환경에 대해서는 일반화할 수 없는 몇 가지 근본적 가정에 의존한다는 것이었다. 이 저자들은 "손 제스처 인터페이스를 위한 컴퓨터 화면법은 쌍방향 참가 및 유용성을 달성하기 위해서 강인성 및 속도와 관련하여 현재 성능을 능가해야만 한다"고 말했다. 의료 분야에서 제스처 인식은 방사선학 영상의 무균성 브라우징을 위해서 고려되었다. Juan P. Wachs 등, "방사선학 영상의 무균성 브라우징을 위한 제스처-기반 도구"(Journal of the American Medical Informatics Association(2008; 15:321-323, DOI 10.1197/jamia.M24)을 참조한다.Elena Sanchez-Nielsen et al., &Quot; Recognition of hand gestures for human-machine interaction "(Journal of WSCG, Vol. 12, No.1-3, ISSN 1213-6972, WSCG'2004, February 2-6 20003, Plzen Czech Republic) proposed a real-time screen system for use in a visual interaction environment with hand gesture recognition using multi-purpose hardware such as personal computers and webcams and inexpensive sensors. Pragati Garg et al., "Screen-Based Hand Gesture Recognition" (49 World Academy of Science, Engineering and Technology, 972-977 (2009)) reviewed screen-based hand gesture recognition. One conclusion presented was that most approaches rely on some fundamental assumptions that may be appropriate in a controlled laboratory environment, but not for any environment. The authors said, "The computer screen method for hand gesture interfaces must outperform current capabilities in terms of robustness and speed to achieve interactive participation and usability." In the medical field, gesture recognition was considered for asymmetric browsing of radiological images. See Juan P. Wachs et al., "Gesture-Based Tool for Asynchronous Browsing of Radiographic Images" (Journal of the American Medical Informatics Association (2008; 15: 321-323, DOI 10.1197 / jamia.M24).
한 양태에서, 최소 침습 수술 시스템의 핸드 트래킹 시스템은 사람 손의 일부의 위치를 추적한다. 사람 손의 일부의 위치에 기초하여 최소 침습 수술 시스템의 시스템 제어 변수가 생성된다. 이 시스템 제어 변수를 이용하여 최소 침습 수술 시스템의 작동이 제어된다.In one aspect, a hand tracking system of a minimally invasive surgical system tracks the position of a portion of a human hand. A system control variable of the minimally invasive surgical system is created based on the position of a portion of the human hand. The operation of the minimally invasive surgical system is controlled using these system control variables.
한 양태에서, 사람 손의 일부에 장착된 센서 요소가 추적되어 사람 손의 일부의 위치들이 얻어진다. 이 위치에 기초하여 제어 포인트의 위치 및 배향이 생성된다. 제어 포인트의 위치 및 배향에 기초하여 최소 침습 수술 시스템에서 장치의 원격조종이 제어된다. 한 양태에서, 장치는 원격조종 종속 수술 기구이다. 다른 양태에서, 장치는 수술 부위의 비디오 영상에 제시되는 가상 프록시이다. 가상 프록시의 예들은 가상 종속 수술 기구, 가상 핸드 및 가상 텔레스트레이션 장치를 포함한다.In one aspect, sensor elements mounted on a portion of a human hand are tracked to obtain positions of a portion of a human hand. Based on this position, the position and orientation of the control point are generated. The remote control of the device in a minimally invasive surgical system is controlled based on the position and orientation of the control points. In one embodiment, the device is a remote control dependent surgical instrument. In another aspect, the device is a virtual proxy presented to a video image of a surgical site. Examples of virtual proxies include virtual dependent surgical instruments, virtual hands, and virtual telestration devices.
다른 양태에서, 제어 포인트의 위치 및 배향에 더해서 그립 닫힘 변수가 생성된다. 이 그립 닫힘 변수에 기초하여 원격조종 종속 수술 기구의 단부 작동기의 그립이 제어된다.In another aspect, in addition to the position and orientation of the control point, a grip closure variable is created. The grip of the end actuator of the remote control dependent surgical instrument is controlled based on the grip closing parameter.
다른 양태에서, 시스템 제어 변수는 종속 수술 기구의 원격조종에 사용되는 제어 포인트의 위치 및 배향이다. 다른 양태에서, 시스템 제어 변수는 두 손으로부터 결정된다. 시스템 제어 변수는 두 손 중 하나에 대한 제어 포인트의 위치 및 배향과 두 손 중 나머지 하나에 대한 제어 포인트의 위치 및 배향이다. 제어 포인트는 최소 침습 수술 시스템에서 내시경 카메라 조작기의 원격조종에 사용된다.In another aspect, the system control variable is the location and orientation of the control point used for remote control of the dependent surgical instrument. In another aspect, the system control variable is determined from both hands. The system control variable is the position and orientation of the control point for one of the hands and the position and orientation of the control point for the other hand. The control point is used for remote manipulation of endoscopic camera manipulators in a minimally invasive surgical system.
또 다른 양태에서, 사람 손의 일부 상의 센서 요소에 더해서 제 2의 사람 손의 일부에 장착된 센서 요소가 추적된다. 제 2의 사람 손의 일부의 위치에 기초하여 제 2의 제어 포인트의 위치 및 배향이 생성된다. 이 양태에서, 제어 포인트와 제 2의 제어 포인트가 모두 원격조종 제어에 사용된다.In yet another aspect, a sensor element mounted on a portion of a second human hand is tracked in addition to the sensor element on a portion of the human hand. The position and orientation of the second control point is generated based on the position of the part of the second human hand. In this aspect, both the control point and the second control point are used for remote control.
또 다른 양태에서, 사람 손의 손가락들에 장착된 센서 요소들이 추적된다. 손가락들간의 동작이 결정되고, 이 동작에 기초하여 최소 침습 수술 시스템에서 원격조종 종속 수술 기구의 배향이 제어된다.In another aspect, sensor elements mounted on fingers of a human hand are tracked. The operation between the fingers is determined, and based on this operation, the orientation of the remote control dependent surgical instrument in the minimally invasive surgical system is controlled.
이 동작이 제 1의 동작일 때, 제어는 포인팅 방향을 중심으로 종속 수술 기구 손목의 말단을 마는 것을 포함한다. 동작이 제 1의 동작과 상이한 제 2의 동작일 때, 제어는 종속 수술 기구 손목의 요우 동작을 포함한다.When this operation is the first operation, the control includes swinging the distal end of the dependent surgical wrist about the pointing direction. When the operation is a second operation different from the first operation, the control includes the yaw operation of the dependent surgical instrument wrist.
최소 침습 수술 시스템은 핸드 트래킹 시스템 및 핸드 트래킹 시스템에 연결된 컨트롤러를 포함한다. 핸드 트래킹 시스템은 사람 손의 일부에 장착된 복수의 센서 요소의 위치를 추적한다. 컨트롤러는 이 위치를 제어 포인트의 위치 및 배향으로 변형한다. 컨트롤러는 제어 포인트에 기초하여 최소 침습 수술 시스템의 장치를 움직이라는 명령을 전송한다. 다시, 한 양태에서, 장치는 원격조종 종속 수술 기구이지만, 다른 양태에서 장치는 수술 부위의 비디오 영상에 제시되는 가상 프록시이다.The minimally invasive surgical system includes a hand tracking system and a controller coupled to the hand tracking system. The hand tracking system tracks the position of a plurality of sensor elements mounted on a portion of a human hand. The controller transforms this position into the position and orientation of the control point. The controller sends an instruction to move the device of the minimally invasive surgical system based on the control point. Again, in one aspect, the device is a remote manipulation dependent surgical device, but in other aspects the device is a virtual proxy presented to the video image of the surgical site.
한 양태에서, 시스템은 또한 복수의 추적 센서를 포함하는 주 손가락 추적 장치를 포함한다. 주 손가락 추적 장치는 또한 압축체, 압축체에 고정된 제 1 손가락 고리, 및 압축체에 고정된 제 2 손가락 고리를 포함한다. 복수의 추적 센서의 제 1 추적 센서는 제 1 손가락 고리에 부착된다. 복수의 추적 센서의 제 2 추적 센서는 제 1 손가락 고리에 부착된다.In one aspect, the system also includes a primary finger tracking device that includes a plurality of tracking sensors. The main finger tracker also includes a compression element, a first finger loop fixed to the compression body, and a second finger loop fixed to the compression body. A first tracking sensor of the plurality of tracking sensors is attached to the first finger loop. A second tracking sensor of the plurality of tracking sensors is attached to the first finger loop.
따라서, 한 양태에서, 최소 침습 수술 시스템은 주 손가락 추적 장치를 포함한다. 주 손가락 추적 장치는 압축체, 압축체에 고정된 제 1 손가락 고리, 및 압축체에 고정된 제 2 손가락 고리를 포함한다. 제 1 추적 센서가 제 1 손가락 고리에 부착된다. 제 2 추적 센서가 제 2 손가락 고리에 부착된다.Thus, in one aspect, the minimally invasive surgical system includes a primary finger tracker. The main finger track device includes a compression body, a first finger ring fixed to the compression body, and a second finger ring fixed to the compression body. A first tracking sensor is attached to the first finger loop. A second tracking sensor is attached to the second finger loop.
압축체는 제 1 단부, 제 2 단부, 및 바깥쪽 외부 표면을 포함한다. 바깥쪽 외부 표면은 제 1 단부와 제 2 단부 사이에 연장된 제 1 부분, 및 제 1 단부와 제 2 단부 사이에 연장된 제 2 부분과 반대쪽이며 그로부터 제거되는 제 2 부분을 포함한다.The compression body includes a first end, a second end, and an outer outer surface. The outer outer surface includes a first portion extending between the first end and the second end and a second portion opposite and opposite to the second portion extending between the first end and the second end.
압축체는 또한 길이를 가진다. 이 길이는 사람 손의 첫째 손가락과 둘째 손가락 사이의 분리를 제한할 수 있도록 선택된다.The compression body also has a length. This length is chosen to limit the separation between the first finger and the second finger of a human hand.
제 1 손가락 고리가 제 1 단부에 인접한 압축체에 고정되고, 바깥쪽 외부 표면의 제 1 부분 주변으로 연장된다. 사람 손의 첫째 손가락에 제 1 손가락 고리가 배치된 경우, 바깥쪽 외부 표면의 제 1 부분의 제 1의 일부가 첫째 손가락과 접하게 된다. The first finger ring is secured to the compression body adjacent the first end and extends around a first portion of the outer outer surface. When the first finger ring is disposed on the first finger of the human hand, a first portion of the first portion of the outer outer surface is brought into contact with the first finger.
제 2 손가락 고리가 제 2 단부에 인접한 압축체에 고정되고, 바깥쪽 외부 표면의 제 1 부분 주변으로 연장된다. 사람 손의 둘째 손가락에 제 2 손가락 고리가 배치된 경우, 바깥쪽 외부 표면의 제 1 부분의 제 2의 일부가 둘째 손가락에 접하게 된다. 첫째 손가락과 둘째 손가락이 서로를 향해 움직일 때, 압축체가 두 손가락 사이에 위치되어 이 압축체가 움직임에 대한 저항을 제공하게 된다.The second finger ring is secured to the compression body adjacent the second end and extends around a first portion of the outer outer surface. When the second finger ring is disposed on the second finger of the human hand, a second portion of the first portion of the outer outer surface is brought into contact with the second finger. When the first finger and the second finger move towards each other, the compression body is positioned between the two fingers to provide resistance to movement.
압축체의 두께는 첫째 손가락의 끝이 둘째 손가락의 끝에 가볍게 닿을 때 압축체가 완전히 압축되지 않는 정도로 선택된다. 압축체는 원격조종 종속 수술 기구의 단부 작동기의 파지력에 상응하는 촉각적 피드백을 제공하도록 구성된다.The thickness of the compression body is selected such that the compression body is not fully compressed when the tip of the first finger touches the end of the second finger lightly. The compression body is configured to provide tactile feedback corresponding to the gripping force of the end effector of the remote control dependent surgical instrument.
한 양태에서, 제 1 및 제 2 추적 센서는 피동적 전자기 센서이다. 다른 양태에서, 각 피동적 전자기 추적 센서는 6의 자유도를 가진다.In one aspect, the first and second tracking sensors are passive electromagnetic sensors. In another aspect, each passive electromagnetic tracking sensor has a degree of freedom of six.
주 손가락 추적 장치를 사용하는 방법은 사람 손의 첫째 손가락에 장착된 센서의 제 1 위치 및 둘째 손가락에 장착된 또 다른 센서의 제 2 위치를 추적하는 것을 포함한다. 각 위치는 N의 자유도를 가지며, N은 0보다 큰 정수이다. 제 1 위치 및 제 2 위치는 제어 포인트 위치에 따라 맵핑된다. 제어 포인트 위치는 6의 자유도를 가진다. 6의 자유도는 2*N의 자유도 이하이다. 제 1 위치 및 제 2 위치는 또한 단일 자유도를 갖는 변수에 따라 맵핑된다. 최소 침습 수술 시스템에서 종속 수술 기구의 원격조종이 제어 포인트 위치와 변수에 기초하여 제어된다.The method of using the primary finger tracker includes tracking a first position of a sensor mounted on a first finger of a human hand and a second position of another sensor mounted on a second finger. Each position has a degree of freedom of N and N is an integer greater than zero. The first position and the second position are mapped according to the control point position. The control point position has 6 degrees of freedom. The degree of freedom of 6 is less than 2 * N degrees of freedom. The first position and the second position are also mapped according to a variable having a single degree of freedom. In a minimally invasive surgical system, remote manipulation of the dependent surgical instrument is controlled based on the control point position and parameters.
제 1 양태에서, 변수는 그립 닫힘 거리이다. 제 2 양태에서, 변수는 배향을 포함한다. 다른 양태에서, N은 6이지만, 다른 양태에서는 N이 5이다.In the first aspect, the variable is the grip closure distance. In a second aspect, the variable comprises orientation. In another embodiment, N is 6, but in another embodiment, N is 5.
또 다른 양태에서, 사람 손의 일부의 복수의 위치를 얻기 위해 사람 손의 일부에 장착된 센서 요소가 추적된다. 이 복수의 위치에 기초하여 복수의 기지의 손 제스처로부터의 손 제스처가 선택된다. 손 제스처에 기초하여 최소 침습 수술 시스템의 작동이 제어된다.In another aspect, a sensor element mounted on a portion of a human hand is traced to obtain a plurality of positions of a portion of a human hand. A hand gesture from a plurality of known hand gestures is selected based on the plurality of positions. The operation of the minimally invasive surgical system is controlled based on the hand gesture.
손 제스처는 손 제스처 포즈, 손 제스처 궤적, 또는 손 제스처 포즈와 손 제스처 궤적의 조합 중 어느 하나 일수 있다. 손 제스처가 손 제스처 포즈이고, 복수의 기지의 손 제스처가 복수의 기지의 손 제스처 포즈를 포함할 때, 이 손 제스처 포즈에 기초하여 최소 침습 수술 시스템의 사용자 인터페이스가 제어된다.A hand gesture can be either a hand gesture pose, a hand gesture trajectory, or a combination of a hand gesture pose and a hand gesture trajectory. The user interface of the minimally invasive surgical system is controlled based on the hand gesture pose when the hand gesture is a hand gesture pose and the plural base hand gestures include multiple base hand gesture pauses.
더 나아가, 한 양태에서, 손 제스처가 손 제스처 포즈일 때, 손 제스처 선택은 추적된 복수의 위치로부터 관찰된 특징 세트를 생성하는 것을 포함한다. 관찰된 특징 세트는 복수의 기지의 손 제스처 포즈의 특징 세트들과 비교된다. 기지의 손 제스처 중 하나가 손 제스처 포즈로서 선택된다. 선택된 기지의 손 제스처 포즈가 시스템 명령에 따라 맵핑되며, 시스템 명령은 최소 침습 수술 시스템에서 촉발된다.Further, in one aspect, when the hand gesture is a hand gesture pose, the hand gesture selection includes generating the observed feature set from the plurality of tracked positions. The observed feature set is compared to feature sets of a plurality of known hand gesture pauses. One of the base hand gestures is selected as a hand gesture pose. The selected base hand gesture pose is mapped according to a system command, and the system command is triggered in a minimally invasive surgical system.
또 다른 양태에서, 손 제스처가 손 제스처 궤적을 포함할 때, 이 손 제스처 궤적에 기초하여 최소 침습 수술 시스템의 사용자 인터페이스가 제어된다.In another aspect, when the hand gesture includes a hand gesture trajectory, the user interface of the minimally invasive surgical system is controlled based on the hand gesture trajectory.
핸드 트래킹 시스템과 컨트롤러를 구비한 최소 침습 수술 시스템에서, 컨트롤러는 이 위치를 손 제스처로 변형한다. 컨트롤러는 손 제스처에 기초하여 최소 침습 수술 시스템의 작동 모드를 수정하라는 명령을 전송한다.In a minimally invasive surgical system with a hand tracking system and a controller, the controller transforms this position into a hand gesture. The controller sends an instruction to modify the operating mode of the minimally invasive surgical system based on the hand gesture.
또 다른 양태에서, 사람 손의 일부의 위치를 얻기 위해 손의 일부에 장착된 센서 요소가 추적된다. 이 위치에 기초하여, 방법은 사람 손의 일부의 위치가 최소 침습 수술 시스템의 주 도구 그립의 위치로부터 역치 거리 내에 있는지의 여부를 결정한다. 결정된 결과에 기초하여 최소 침습 수술 시스템의 작동이 제어된다. 한 양태에서, 결정 결과에 기초하여 주 도구 그립에 연결된 원격조종 종속 수술 기구의 원격조종이 제어된다. 다른 양태에서, 결정 결과에 기초하여 사용자 인터페이스의 표시, 또는 프록시 비주얼의 표시가 제어된다.In another aspect, a sensor element mounted on a portion of a hand is traced to obtain the position of a portion of a human hand. Based on this position, the method determines whether the position of a portion of the human hand is within a threshold distance from the position of the main tool grip of the minimally invasive surgical system. Based on the determined result, the operation of the minimally invasive surgical system is controlled. In one aspect, remote control of the remote control dependent surgical instrument connected to the main tool grip is controlled based on the determination result. In another aspect, an indication of the user interface or an indication of the proxy visual is controlled based on the determination result.
한 양태에서, 사람 손의 일부의 위치가 제어 포인트 위치에 의해 특정된다. 다른 양태에서, 사람 손의 일부의 위치는 집게손가락 위치이다.In one aspect, the position of a portion of the human hand is specified by the control point position. In another aspect, the position of a portion of the human hand is a forefinger position.
최소 침습 수술 시스템은 핸드 트래킹 시스템을 포함한다. 핸드 트래킹 시스템은 사람 손의 일부의 위치를 추적한다. 컨트롤러가 이 위치를 이용해서 의사의 손이 최소 침습 수술 시스템의 특정 작동을 허용할 만큼 주 도구 그립에 충분히 근접해 있는지의 여부를 결정한다.The minimally invasive surgical system includes a hand tracking system. The hand tracking system tracks the position of a portion of a human hand. The controller uses this position to determine whether the physician's hand is close enough to the main tool grip to allow certain operations of the minimally invasive surgical system.
또한, 최소 침습 수술 시스템은 핸드 트래킹 시스템에 연결된 컨트롤러를 포함한다. 컨트롤러는 위치를 시스템 제어 변수로 전환하고, 시스템 제어 변수에 기초한 명령을 최소 침습 수술 시스템에 제공한다.The minimally invasive surgical system also includes a controller coupled to the hand tracking system. The controller converts the position to a system control variable and provides a command based on system control variables to the minimally invasive surgical system.
도 1은 핸드 트래킹 시스템을 포함하는 최소 침습 원격조종 수술 시스템의 고 차원 도식도이다.
도 2a-2g는 도 1의 최소 침습 원격조종 수술 시스템의 원격조종 종속 수술 기구를 제어하는데 사용되는 손-추적형 주 도구 그립의 다양한 구성형태의 예들이다.
도 3a-3d는 도 1의 최소 침습 원격조종 수술 시스템의 시스템 모드를 제어하는데 사용되는 손 제스처 포즈의 예들이다.
도 4a-4c는 도 1의 최소 침습 원격조종 수술 시스템의 시스템 모드를 제어하는데 또한 사용되는 손 제스처 궤적의 예들이다.
도 5는 카메라-기반 추적 시스템에서 손 추적을 위한 기점 마커들의 배치를 예시한다.
도 6a 및 6b는 도 1의 의사 콘솔의 더 상세한 도면이며, 이것은 도 1의 최소 침습 원격조종 수술 시스템에 의한 손 추적에서 이용되는 좌표 시스템의 예들을 포함한다.
도 7은 손-착용형 주 도구 그립 및 도 1의 최소 침습 원격조종 수술 시스템에 의한 손 추적에서 사용되는 위치 및 좌표 시스템을 더 상세히 예시한다.
도 8은 손의 손가락들을 추적할 수 있는 추적 시스템에서 사용되며, 도 1의 최소 침습 원격조종 수술 시스템의 종속 수술 기구의 원격조종을 위한 데이터를 생성하는데 사용되는 과정의 과정 순서도이다.
도 9는 도 8의 제어 위치 및 그립 변수에 따른 맵 위치 데이터의 더 상세한 과정 순서도이다.
도 10은 손 제스처 포즈 및 손 제스처 궤적을 인식할 수 있는 추적 시스템에서 사용되는 과정의 과정 순서도이다.
도 11은 손 존재 검출을 위해 추적 시스템에서 사용되는 과정의 과정 순서도이다.
도 12는 주 손가락 추적 장치의 일례를 예시한다.
도 13은 프록시 비주얼을 포함하는 표시 장치에 제시되는 비디오 영상을 예시하며, 이것은 이 예에서는 가상 고스트 기구, 및 원격조종 종속 수술 기구를 포함한다.
도 14는 프록시 비주얼을 포함하는 표시 장치에 제시되는 비디오 영상을 예시하며, 이것은 이 예에서는 가상 핸드와 원격조종 종속 수술 기구의 쌍을 포함한다.
도 15는 프록시 비주얼을 포함하는 표시 장치에 제시되는 비디오 영상을 예시하며, 이것은 이 예에서는 가상 텔레스트레이션 장치와 가상 고스트 기구, 및 원격조종 종속 수술 기구를 포함한다.
도면에서, 3자리 숫자의 참조번호 중 첫 번째 숫자는 그 참조번호를 가진 요소가 처음 나타난 도면의 도면 번호를 표시하고, 4자리 숫자의 기준번호 중 처음 2자리는 그 참조번호를 가진 요소가 처음 나타난 도면의 도면 번호를 표시한다.1 is a high-dimensional schematic diagram of a minimally invasive remote controlled surgical system including a hand tracking system.
FIGS. 2A-2G are examples of various configurations of a hand-tracking main tool grip used to control a remote manipulation dependent surgical instrument of the minimally invasive remote manipulation surgical system of FIG.
Figures 3a-3d are examples of hand gesture pauses used to control the system mode of the minimally invasive teleoperation system of Figure 1;
Figs. 4A-4C are examples of hand gesture trajectories also used to control the system mode of the minimally invasive telescoping surgical system of Fig.
Figure 5 illustrates the placement of origin markers for hand tracking in a camera-based tracking system.
6A and 6B are more detailed views of the pseudo console of FIG. 1, including examples of coordinate systems used in hand tracking by the minimally invasive remote control surgery system of FIG.
7 illustrates the position and coordinate system used in the hand tracking by the hand-wearable main tool grip and the minimally invasive remote manipulation surgical system of FIG. 1 in more detail.
Figure 8 is a process flow diagram of the procedure used in the tracking system to track the fingers of the hand and used to generate data for remote manipulation of the dependent surgical instrument of the minimally invasive remote manipulation surgical system of Figure 1;
9 is a more detailed flowchart of the map position data according to the control position and grip parameters of FIG.
FIG. 10 is a flowchart of a process used in a tracking system capable of recognizing hand gesture pose and hand gesture locus.
11 is a process flow diagram of a process used in a tracking system for hand presence detection.
12 illustrates an example of a main finger tracking device.
Figure 13 illustrates a video image presented on a display device containing a proxy visual, which in this example includes a virtual ghost mechanism and a remote control dependent surgical instrument.
Figure 14 illustrates a video image presented on a display device including a proxy visual, which in this example includes a pair of virtual hands and a remote control dependent surgical instrument.
Figure 15 illustrates a video image presented on a display device containing a proxy visual, which in this example includes a virtual telestration device, a virtual ghost mechanism, and a remote control dependent surgical instrument.
In the drawing, the first of the three-digit reference numbers represents the drawing number of the drawing in which the element with the reference number first appears, and the first two digits of the four- The drawing number of the indicated drawing is displayed.
본원에서 사용된 위치는 위치 및 배향을 포함한다.The positions used herein include position and orientation.
본원에서 사용된, 때로 제스처라고도 하는 손 제스처는 손 제스처 포즈, 손 제스처 궤적, 및 손 제스처 포즈와 손 제스처 궤적의 조합을 포함한다.As used herein, a hand gesture, sometimes referred to as a gesture, includes a hand gesture pose, a hand gesture trajectory, and a combination of a hand gesture pose and a hand gesture trajectory.
본 발명의 양태들은 최소 침습 수술 시스템을 제어하는데 손 위치 정보를 이용함으로써 최소 침습 수술 시스템, 예를 들어 캘리포니아 서니베일의 Intuitive Surgical, Inc.에 의해 시판되는 da Vinci® 최소 침습 원격조종 수술 시스템의 제어 역량을 강화한다. 손의 하나 이상의 손가락들의 측정된 위치를 사용하여 시스템 제어 변수를 결정하고, 차례로 이것을 사용하여 수술 시스템에서 시스템 명령을 촉발한다. 시스템 명령은 손 위치가 추적되는 사람의 위치, 즉 사람이 의사 콘솔에 있는지의 여부에 따른다.Embodiments of the present invention provide a minimally invasive surgical system, such as the control of the da Vinci® minimally invasive remote manipulation system available from Intuitive Surgical, Inc. of Sunnyvale, California, using hand positional information to control the minimally invasive surgical system. Strengthen capacity. The measured position of one or more fingers of the hand is used to determine system control variables, which in turn are used to trigger system commands in the surgical system. The system command depends on the position of the person to which the hand position is to be tracked, i.e. whether or not the person is in the physician's console.
측정된 위치가 의사 콘솔에 있지 않은 사람의 손의 손가락들에 대한 것인 경우, 시스템 명령은 손 배향과 손의 두 손가락의 상대적 동작의 조합에 기초하여 원격조종 종속 수술 기구의 일부의 배향을 변화시키라는 명령, 및 말단의 동작이 손의 일부의 동작을 추종하도록 원격조종 종속 수술 기구의 말단을 움직이라는 명령을 포함한다. 측정된 위치가 의사 콘솔에 있는 사람의 손의 손가락들에 대한 것인 경우, 시스템 명령은 종속 수술 기구의 동작을 허용하거나 금지하여 주 도구 그립의 동작을 계속 추종하도록 하는 명령을 포함한다. 측정된 위치가 의사 콘솔에 있지 않은 사람의 손의 손가락들에 대한 것이거나, 또는 의사 콘솔에 있는 사람의 손의 손가락들에 대한 것인 경우, 시스템 명령은 손 제스처 포즈에 기초하여 행동을 취하도록 시스템 또는 시스템의 일부에 명령하는 것, 및 손 제스처 궤적에 기초하여 행동을 취하도록 시스템 또는 시스템의 일부에 명령하는 것을 포함한다.If the measured position is for fingers of a person's hand not in the pseudo-console, the system command changes the orientation of a portion of the remote control dependent surgical instrument based on the combination of hand orientation and relative motion of the two fingers of the hand And an instruction to move the distal end of the remote control dependent surgical instrument to follow the motion of a portion of the hand. If the measured position is for the fingers of a person's hand in the physician's console, then the system command includes an instruction to allow or inhibit the operation of the dependent surgical instrument to continue to follow the operation of the main tool grip. If the measured position is for the fingers of a person's hand not at the physician's console, or for the fingers of a person's hand at the physician's console, the system command will take action based on the hand gesture pose Commanding a portion of the system or system, and commanding a portion of the system or system to take action based on the hand gesture trajectory.
이제, 도 1은 핸드 트래킹 시스템을 포함하는 최소 침습 원격조종 수술 시스템(100), 예를 들어 da Vinci® 수술 시스템의 고차원 도식도이다. da Vinci® 수술 시스템에 연계된 다른 부품들, 케이블 등도 있지만, 내용이 복잡해지는 것을 피하기 위해서 이들은 도 1에 예시되지 않는다. 최소 침습 수술 시스템에 관한 추가의 정보는, 예를 들어 미국 특허출원 제11/762,165호(2007년 6월 13일 제출, "최소 침습 수술 시스템"을 개시), 및 미국특허 제6,331,181호(2001년 12월 18일 발행, "수술 로봇 도구, 데이터 구조, 및 사용"을 개시)에서 찾을 수 있으며, 이들은 모두 본원에 참고자료로 포함된다. 또한, 미국특허 제7,155,315호(2005년 12월 12일, "최소 침습 수술 장치에서 카메라 기준 제어"를 개시) 및 제7,574,250호(2003년 2월 4일 제출, "원격로봇 시스템을 위한 영상 이동 장치 및 방법"을 개시)를 참조하며, 이들은 모두 본원에 참고자료로 포함된다.1 is a high-level schematic diagram of a minimally invasive remote controlled
이 예에서, 시스템(100)은 복수의 조작기를 구비한 카트(110)를 포함한다. 각 조작기 및 해당 조작기에 의해서 제어되는 원격조종 종속 수술 기구는 의사 콘솔(185)의 주 도구 조작기에 탈착 가능하게 연결될 수 있고, 이에 더해서 이들은 때로 주 손가락 추적 그립(170)이라고도 하는 기계적으로 접지되지 않은 비동력식 주 손가락 추적 그립(170)에도 탈착 가능하게 연결될 수 있다.In this example, the
조작기(113)에 장착된 입체 내시경(112)이 환자(111) 안의 수술 부위(103)의 영상을 제공하고, 이것은 디스플레이(187) 및 의사 콘솔(185)의 디스플레이에 표시된다. 영상은 입체 내시경(112)의 시야 안에 있는 종속 수술 장치들의 영상을 포함한다. 의사 콘솔(185)의 주 도구 조작기와 종속 수술 장치와 입체 내시경(112) 사이의 상호작용은 기지의 시스템에서와 동일하므로 본 분야의 당업자들을 알고 있는 바이다.A
한 양태에서, 의사(181)가 의사의 손의 적어도 1개 손가락을 움직이면, 그에 따라서 주 손가락 추적 그립(170)에 있는 센서가 위치 변화를 일으킨다. 핸드 트래킹 송신기(175)가 그 손가락의 새로운 위치 및 배향이 주 손가락 추적 그립(170)에 의해서 감지될 수 있는 장을 제공한다. 새로 감지된 위치 및 배향이 핸드 트래킹 컨트롤러(130)에 제공된다.In one aspect, if the
한 양태에서, 아래 더 완전히 설명된 대로, 핸드 트래킹 컨트롤러(130)는 의사(181)의 눈 좌표 시스템에 제어 포인트 위치 및 제어 포인트 배향에 따라 감지된 위치 및 배향을 맵핑한다. 핸드 트래킹 컨트롤러(130)는 이 위치 정보를 시스템 컨트롤러(140)로 전송하고, 이어서 주 손가락 추적 그립(170)에 연결된 원격조종 종속 수술 기구에 시스템 명령을 전송한다. 아래 더 완전히 설명된 대로, 주 손가락 추적 그립(170)을 사용해서 의사(181)는, 예를 들어 원격조종 종속 수술 기구의 단부 작동기의 그립을 제어할 수 있을 뿐만 아니라, 단부 작동기에 연결된 손목의 롤 및 요우를 제어할 수 있다.In one aspect, as described more fully below, the
다른 양태에서, 핸드 트래킹 컨트롤러(130)에 의해 의사(181)의 손 또는 의사(180)의 손의 적어도 일부의 손 추적이 사용되어 의사에 의해서 손 제스처 포즈가 만들어지는지, 또는 의사에 의해서 손 제스처 포즈와 손 제스처 궤적의 조합이 만들어지는지의 여부를 결정할 수 있다. 각 손 제스처 포즈 및 손 제스처 포즈와 조합된 각 궤적이 상이한 시스템 명령에 따라 맵핑된다. 시스템 명령은, 예를 들어 시스템 모드 변화를 제어하고, 최소 침습 수술 시스템(100)의 다른 양태들을 제어한다.In another aspect, a hand tracking of at least a portion of the hand of the
예를 들어, 공지된 최소 침습 수술 시스템에서처럼 풋 페달과 스위치를 사용하는 대신에, 손 제스처 포즈나 손 제스처 궤적인 손 제스처를 사용해서 (i) 주 도구 그립과 관련된 원격조종 종속 수술 기구의 동작들 간 추종을 개시하고, (ii) 주 클러치를 활성화시키고(이것은 종속 기구의 주 제어를 해제한다), (iii) 내시경 카메라를 제어하고(이것은 주 도구 그립으로 하여금 포커스 또는 전자 줌과 같은 내시경 움직임이나 특징부를 제어하게 한다), (iv) 로봇 암을 스와핑하고(이것은 2개의 종속 기구들 사이에 특정 주 제어를 전환한다), 그리고 (v) TM TILEPRO 스와핑을 수행할 수 있다(이것은 의사 디스플레이 상에서 보조 비디오 창의 표시를 토글한다)(TILEPRO는 미국 캘리포니아 서니베일의 Intuitive Surgical, Inc.의 상표명이다).For example, instead of using a foot pedal and a switch as in a known minimally invasive surgical system, a hand gesture pose or a hand gesture that is a hand gesture trajectory can be used to (i) operate the remote control dependent surgical instrument associated with the main tool grip (Iii) control the endoscopic camera (which allows the main tool grip to perform endoscopic movement such as focus or electronic zoom, or (Iv) swapping the robot arm (which switches specific primary control between the two dependent mechanisms), and (v) performing TM TILEPRO swapping (TILEPRO is a trademark of Intuitive Surgical, Inc. of Sunnyvale, CA).
시스템(100)에 단지 2개의 주 도구 그립만 있고, 의사(180)가 2개의 주 도구 그립에 연결된 2개의 원격조종 종속 수술 기구 이외의 다른 종속 수술 기구의 움직임을 제어하고자 할 때, 의사는 제 1 손 제스처를 사용해서 제자리에 2개의 원격조종 종속 수술 기구 중 하나 또는 둘 다를 고정할 수 있다. 다음에, 의사는 상이한 손 제스처를 사용해서 주 도구 그립 중 하나 또는 둘 다를 다른 조작기 암들에 의해 고정된 다른 종속 수술 기구와 연계시키며, 이것은 이 실시형태에서 주 도구 그립과 또 다른 원격조종 종속 수술 기구의 스왑 관계를 제공한다. 의사(181)는 시스템(100)에 단지 2개의 주 손가락 추적 그립만이 있을 때도 동일한 과정을 수행한다.When the
또 다른 양태에서, 의사의 콘솔(185)에 장착된 핸드 트래킹 유닛(186)은 의사(180)의 손의 적어도 일부를 추적해서, 감지된 위치 정보를 핸드 트래킹 컨트롤러(130)에 전송한다. 핸드 트래킹 컨트롤러(130)는 의사의 손이 시스템 추종, 예를 들어 종속 수술 기구의 동작이 주 도구 그립의 동작을 추종하는 것을 허락할 만큼 주 도구 그립에 충분히 가까워진 때를 결정한다. 아래 더 완전히 설명된 대로, 한 양태에서, 핸드 트래킹 컨트롤러(130)는 의사의 손의 위치 및 상응하는 주 도구 그립의 위치를 결정한다. 두 위치의 차이가 정해진 거리에 있다면, 예를 들어 역치 분리 미만이라면, 추종이 허락되고, 다른 경우라면 추종이 금지된다. 따라서, 거리는 의사 콘솔(185) 상의 주 도구 그립과 관련해서 의사의 손이 존재하는 기준으로서 사용된다. 다른 양태에서, 주 도구 그립의 위치에 대해 의사의 손의 위치가 역치 분리 미만일 경우, 디스플레이 상의 사용자 인터페이스의 표시가 금지되는데, 예를 들어 표시 장치가 꺼진다. 반대로, 주 도구 그립의 위치에 대해 의사의 손의 위치가 역치 분리를 넘을 경우, 사용자 인터페이스가 표시 장치상에 표시되는데, 예를 들어 표시 장치가 켜진다.The
의사의 손의 존재 검출은 오래된 문제였다. 존재 검출은 커패시터 스위치, 압력 센서 및 기계적 스위치와 같은 상이한 접촉 감지 기술을 사용하여 여러 번 시도되었다. 그러나, 이들 접근법은 의사가 어떻게 어디에서 각자의 주 도구 그립을 보유하는지에 대한 선호도가 다르기 때문에 원래 문제가 있었다. 존재의 기준으로서 거리를 사용하는 것은 이런 종류의 존재 검출이 의사가 주 도구 그립을 가볍게 터치한 후에 순간적으로 물리적 접촉을 깨트림으로써 주 도구 그립을 조정할 수 있도록 하지만, 의사가 어떻게 주 도구 그립을 자신의 손가락0에 보유하는지에 대해서는 구속하지 않는다는 점에서 유익하다. Detecting the presence of a doctor 's hand was an old problem. Presence detection has been attempted several times using different contact sensing techniques such as capacitor switches, pressure sensors and mechanical switches. However, these approaches were originally problematic because physicians had different preferences for where they held their main tool grips. Using distance as a criterion of existence allows this kind of presence detection to adjust the main tool grip by breaking the physical contact momentarily after the physician touches the main tool grip lightly, It is advantageous in that it does not constrain to the finger 0 of the finger.
핸드 트래킹을 통한 수술 기구 제어Surgical instrument control through hand tracking
때로 주 손가락 추적 그립(270)이라고도 하는 기계적으로 접지되지 않은 비동력식 주 손가락 추적 그립(270)이 상이한 구성형태들로 도 2a-2d에 예시되며, 이들은 아래 더 완전히 설명된다. 주 손가락 추적 그립(270)은 때로 손가락 및 엄지손가락 장착형 센서(211, 212)라고도 하는 손가락 장착형 센서(211, 212)를 포함하며, 이들은 독립적으로 집게손가락(292B)의 끝과 엄지손가락(292A)의 끝의 각각의 위치(일례에서 위치 및 배향)를 추적하며, 즉 의사의 손의 2개 손가락의 위치를 추적한다. 따라서, 공지된 최소 침습 수술 시스템에서 주 도구 그립의 위치를 추적하는 것과 달리 손 자체의 위치가 추적된다.Non mechanically grounded non-powered primary finger track grips 270, sometimes referred to as primary finger tracking grips 270, are illustrated in Figures 2a-2d in different configurations and are described more fully below. The main
한 양태에서, 센서는 센서가 장착된 손의 각 손가락에 대해 6의 자유도(3의 병진, 3의 회전)의 추적을 제공한다. 다른 양태에서, 센서는 센서가 장착된 손의 각 손가락에 대해 5의 자유도(3의 병진, 2의 회전)의 추적을 제공한다.In one embodiment, the sensor provides tracking of six degrees of freedom (three translations, three turns) for each finger of the hand equipped with the sensor. In another aspect, the sensor provides tracking of 5 degrees of freedom (3 translations, 2 rotations) for each finger of the hand equipped with the sensor.
또 다른 양태에서, 센서는 센서가 장착된 손의 각 손가락에 대해 3의 자유도의 추적을 제공한다(3의 병진). 2개의 손가락이 각각 3의 자유도로 추적될 때, 총 6의 병진 자유도면 손목 메커니즘을 포함하지 않는 종속 수술 기구를 제어하는데 충분하다.In another embodiment, the sensor provides tracking of three degrees of freedom for each finger of the hand equipped with the sensor (translation of 3). When two fingers are tracked at three degrees of freedom each, it is sufficient to control a slave surgical instrument that does not include a total of six translational freehand wrist mechanisms.
패드 형태의 폼 커넥터(210)가 손가락 및 엄지손가락 장착형 센서(211, 212)들 사이에 연결된다. 커넥터(210)는 엄지손가락(292A)과 집게손가락(292B)을 구속하는데, 즉 손(291R)의 손가락들이 고정된 거리 안에 있도록 하며, 주 손가락 추적 그립(270)이 장착된 손(291R)의 손가락들 사이에 최대 분리 거리가 있게 된다. 엄지손가락(292A)과 집게손가락(292B)이 최대 분리(도 2a)로부터 완전히 닫힌 구성형태(도 2d)로 움직임에 따라, 패드가 명확한 피드백을 제공함으로써 의사가(181)가 주 손가락 추적 그립(170)에 연결된 원격조종 종속 수술 기구의 단부 작동기의 파지력을 제어하는 것을 돕는다.A pad-shaped
엄지손가락(292A)과 집게손가락(292B)이 주 손가락 추적 그립(270)에 의해서 허용되는 최대 거리만큼 분리되어 있는 도 2a에 예시된 위치에서는 파지력이 최소이다. 반대로, 엄지손가락(292A)과 집게손가락(292B)이 커넥터(210)에 의해서 허용될 수 있는 만큼 가까이 있는, 즉 주 손가락 추적 그립(270)에 의해서 허용되는 최소 거리만큼 분리되어 있는 도 2d에 예시된 위치에서는 파지력이 최대이다. 도 2b 및 2c는 중간 파지력에 따라 맵핑된 위치들을 표시한다.The gripping force is minimal at the position illustrated in Figure 2A where the
아래 더 완전히 설명된 대로, 도 2a-2d에서 엄지손가락(292A)과 집게손가락(292B)의 위치(위치 및 배향)는 그립 닫힘 변수, 예를 들어 주 손가락 추적 그립(270)에 연결된 원격조종 종속 수술 기구의 그립을 제어하는데 사용되는 정규 그립 닫힘 값에 따라 맵핑된다. 구체적으로, 엄지손가락(292A)과 집게손가락(292B)의 감지된 위치가 핸드 트래킹 컨트롤러(130)에 의해 그립 닫힘 변수에 따라 맵핑된다.As described more fully below, the position (orientation and orientation) of the
따라서, 의사(181)의 손의 일부의 위치가 추적된다. 추적된 위치에 기초하여, 최소 침습 수술 시스템(100)의 시스템 제어 변수, 즉 그립 닫힘 변수가 핸드 트래킹 컨트롤러(130)에 의해 생성되고, 시스템 컨트롤러(140)에 보내진다. 시스템 컨트롤러(140)는 그립 닫힘 변수를 사용해서 시스템 명령을 생성하고, 이것은 원격조종 종속 수술 기구로 전송된다. 시스템 명령은 단부 작동기를 그립 닫힘 변수에 상응하는 그립 닫힘으로 구성하도록 원격조종 수술 기구에 지시한다. 이로써, 최소 침습 수술 시스템(100)은 그립 닫힘 변수를 사용해서 최소 침습 수술 시스템(100)의 원격조종 종속 수술 기구의 작동을 제어할 수 있다.Thus, the position of a portion of the hand of the
또한, 도 2a-2d에서 엄지손가락(292A)과 집게손가락(292B)의 위치(위치 및 배향)가 핸드 트래킹 컨트롤러(130)에 의해 제어 포인트 위치 및 제어 포인트 배향에 따라 맵핑된다. 제어 포인트 위치 및 제어 포인트 배향은 의사(181)의 눈 좌표 시스템 안에서 맵핑되고, 다음에 명령 신호를 통해서 시스템 컨트롤러(140)에 제공된다. 눈 좌표 시스템 내의 제어 포인트 위치와 제어 포인트 배향은 주 손가락 추적 그립(170)에 연결된 종속 수술 기구의 원격조종을 위해서 시스템 컨트롤러(140)에 의해 사용된다.2a-2d, the position (orientation and orientation) of the
다시, 의사(181)의 손의 일부의 위치가 추적된다. 추적된 위치에 기초하여, 최소 침습 수술 시스템(100)의 또 다른 시스템 제어 변수, 즉 제어 포인트 위치 및 배향이 핸드 트래킹 컨트롤러(130)에 의해 생성된다. 핸드 트래킹 컨트롤러(130)는 제어 포인트 위치 및 배향과 함께 명령 신호를 시스템 컨트롤러(140)에 송신한다. 시스템 컨트롤러(140)는 제어 포인트 위치 및 배향을 사용해서 시스템 명령을 생성하고, 이것은 원격조종 종속 수술 기구로 전송된다. 시스템 명령은 제어 포인트 위치 및 배향에 기초하여 원격조종 수술 기구를 배치하도록 원격조종 수술 기구에 지시한다. 이로써, 최소 침습 수술 시스템(100)은 제어 포인트 위치 및 배향을 사용해서 최소 침습 수술 시스템(100)의 원격조종 종속 수술 기구의 작동을 제어할 수 있다.Again, the position of a portion of the hand of the
센서(211, 212)의 위치에 기초하여 그립 닫힘을 결정하는 것에 더하여, 집게손가락(292B)과 엄지손가락(292A) 간의 다른 상대적 동작을 사용해서 종속 수술 기구의 요우 동작 및 롤 동작을 제어할 수 있다. 가상의 스핀들(293) 주변에서 (도 2e)에서 화살표로 표시된 대로, 스핀들을 회전시키는 것처럼 집게손가락(292B)과 염지손가락(292A)을 함께 교차시켜 문지르는 것은 종속 수술 기구 말단의 롤 동작을 생기게 하고, 화살표(295)에 의해 표시된 포인팅 방향에서 축을 따라 (도 2f)에서 화살표로 표시된 대로, 집게손가락과 엄지손가락을 서로를 따라 길이 방향으로 앞뒤로 미끄러져 움직이는 것은 종속 수술 기구의 x-축을 따른 요우 동작을 생기게 한다. 이것은 집게손가락 끝의 위치와 엄지손가락 끝의 위치 사이의 벡터를 맵핑하여 제어 포인트 배향의 x-축을 한정함으로써 달성된다. 제어 포인트의 위치는 손가락과 엄지손가락이 각각 축(295)을 따라 대칭 방식으로 미끄러져 움직이기 때문에 비교적 고정된 채로 유지된다. 손가락과 엄지손가락의 동작이 완전히 대칭되는 동작이 아닌 경우에도, 위치는 여전히 충분히 고정되어 유지되고, 사용자는 발생할 수 있는 어떤 작은 변동을 쉽게 교정할 수 있다.In addition to determining the grip closure based on the position of the
다시, 의사(181)의 손의 일부의 위치가 추적된다. 추적된 위치에 기초하여, 또 다른 시스템 제어 변수, 즉 의사의 손(291R)의 2개 손가락 간의 상대적 동작이 핸드 트래킹 컨트롤러(130)에 의해 생성된다.Again, the position of a portion of the hand of the
핸드 트래킹 컨트롤러(130)는 상대적 동작을 주 손가락 추적 그립(170)에 연결된 원격조종 종속 수술 기구의 배향으로 전환한다. 핸드 트래킹 컨트롤러(130)는 이 배향과 함께 명령 신호를 시스템 컨트롤러(140)에 전송한다. 이 배향이 절대적 배향 맵핑인 경우, 한 양태에서 시스템 컨트롤러(140)는 어떤 다른 피동적 짐볼 주 도구 그립으로부터의 배향 입력과 동일한 방식으로 원격조종 동안 래칫 방식과 함께 이 입력을 사용한다. 래칫 방식의 일례가 공동 양도된 미국 특허출원 제12/495,213호(2009년 6월 30일 제출, "원격조종 수술 기구의 주 정렬을 위한 래칫 방식"을 개시)에 설명되며, 이것은 그 전체가 참고자료로 본원에 포함된다.The
시스템 컨트롤러(140)는 이 배향을 사용하여 시스템 명령을 생성하고, 이것은 원격조종 종속 수술 기구로 전송된다. 시스템 명령은 배향에 기초하여 원격조종 수술 기구를 회전시키도록 원격조종 수술 기구에 지시한다. 이로써, 최소 침습 수술 시스템(100)은 두 손가락 간의 동작을 사용하여 최소 침습 수술 시스템(100)의 원격조종 종속 수술 기구의 작동을 제어할 수 있다.The
동작이 제 1 동작일 때, 예를 들어 스핀들을 회전시키는 것과 같이 엄지손가락(292A)과 손가락(292B)을 교차해서 문지르는 것일 때, 배향은 롤 방향이고, 시스템 명령은 그것의 포인팅 방향을 따라 종속 수술 기구 손목의 말단 말림을 가져온다. 동작이 제 1 동작과 상이한 제 2 동작일 때, 예를 들어 집게손가락과 엄지손가락이 서로를 따라 길이 방향으로 앞뒤로 미끄러져 움직일 때(도 2f), 배향은 요우 방향이며, 시스템 명령은 종속 수술 기구 손목의 요우 동작을 가져온다. When the operation is the first operation, for example when rubbing across the
또 다른 양태에서, 의사가 시스템 작동 모드를 제스처 인식 모드로 바꾼 경우, 두 손이 모두 추적되고, 두 손에 대한 제어 포인트 및 배향은 한 양태에서 두 손에 장착된 센서들의 감지된 위치 및 배향에 기초하여 생성된다. 예를 들어, 도 2g에 예시된 대로, 각 손의 엄지손가락과 집게손가락의 끝이 함께 맞닿아서 원형의 모양이 형성된다. 각 손의 감지된 위치가 한 상의 제어 포인트 위치에 따라 핸드 트래킹 컨트롤러(130)에 의해 맵핑된다. 한 쌍의 제어 포인트는 카메라 제어 시스템 사건과 함께 시스템 컨트롤러(140)로 전송된다.In another aspect, when the physician switches the system operating mode to the gesture recognition mode, both hands are tracked, and the control points and orientations for both hands, in one embodiment, are located at the sensed positions and orientations of sensors mounted on both hands . For example, as illustrated in Figure 2G, the thumb of each hand and the tip of the forefinger abut against each other to form a circular shape. The sensed position of each hand is mapped by the
따라서, 이 양태에서, 의사(181)의 각 손의 일부의 위치가 추적된다. 추적된 위치에 기초한 최소 침습 수술 시스템(100)의 또 다른 시스템 제어 변수, 즉 한 상의 제어 포인트 위치가 핸드 트래킹 컨트롤러(130)에 의해 생성된다. 핸드 트래킹 컨트롤러(130)는 한 쌍의 제어 포인트 위치를 카메라 제어 시스템 사건과 함께 시스템 컨트롤러(140)에 전송한다.Thus, in this embodiment, the position of a portion of each hand of the
카메라 제어 시스템 사건에 응하여, 시스템 컨트롤러(140)는 한 쌍의 제어 포인트 위치에 기초하여 카메라 제어 시스템 명령을 생성한다. 카메라 제어 시스템 명령은 최소 침습 수술 시스템(100)의 원격조종 내시경 카메라 조작기에 전송된다. 이로써, 최소 침습 수술 시스템(100)은 한 쌍의 제어 포인트 위치를 사용해서 최소 침습 수술 시스템(100)의 원격조종 내시경 카메라 조작기의 동작을 제어할 수 있다.In response to the camera control system event, the
손 제스처 포즈 및 손 제스처 궤적을 통한 시스템 제어System control through hand gesture pose and hand gesture trajectory
이 양태에서, 제스처 검출 작동 모드에 위치 후, 핸드 트래킹 컨트롤러(130)는 손 제스처 포즈, 또는 손 제스처 포즈와 손 제스처 궤적을 검출한다. 컨트롤러(130)는 어떤 시스템 모드 제어 명령에 따라 손 제스처 모즈를 맵핑하고, 유사하게 컨트롤러(130)는 다른 시스템 모드 제어 명령에 따라 손 제스처 궤적을 맵핑한다. 포즈 및 궤적의 맵핑이 독립적이며, 따라서 이것은 예를 들어 수동 신호 언어 추적과는 상이하다는 것을 주지한다. 공지된 최소 침습 수술 시스템에서처럼 스위치, 다수의 풋 페달 등을 조작하는 대신에 손 제스처 포즈 및 손 제스처 궤적을 사용하여 시스템 명령을 생성하고 시스템(100)을 제어하는 능력은 시스템(100)의 더욱 용이한 사용을 의사에게 제공한다.In this aspect, after being placed in the gesture detection mode of operation, the
의사가 서있을 때, 제어 시스템(100)에 손 제스처 포즈 및 손 제스처 궤적의 사용은 의사가 시스템 모드를 바꾸려고 할 때 의사가 자신의 눈을 환자 및/또는 주시 화면으로부터 떼어서 풋 페달이나 스위치를 찾을 필요가 없게 한다. 마지막으로, 다양한 스위치 및 풋 페달의 제거는 최소 침습 원격조종 수술 시스템에 필요한 바닥 공간을 감소시킨다.When the doctor is standing, the use of the hand gesture pose and hand gesture trajectory in the control system (100) requires the physician to detach his / her eye from the patient and / or watch screen to find the foot pedal or switch . Finally, the elimination of the various switches and foot pedals reduces the floor space required for a minimally invasive telescoping surgical system.
최소 침습 수술 시스템(100)을 제어하는데 사용되는 손 제스처 포즈와 손 제스처 궤적의 특정 세트는 각 손 제스처 포즈와 각 손 제스처 궤적이 분명하기만 하면 중요하지 않다. 구체적으로, 한 손 제스처 포즈는 핸드 트래킹 컨트롤러(130)에 의해서 일단의 포즈들에서 하나 이상의 다른 손 제스처 포즈들로서 해석되어서는 안 되고, 한 손 제스처 궤적은 일단의 궤적들에서 하나 이상의 손 제스처 궤적으로서 해석되어서는 안 된다. 따라서, 하기 논의된 손 제스처 포즈 및 손 제스처 궤적은 단지 예시일 뿐이며, 제한을 의도하지 않는다.The hand gesture pose and the specific set of hand gesture trajectories used to control the minimally invasive
도 3a-3d는 각각 손 제스처 포즈(300A-300D)의 예들이다. 도 4a-4c는 손 제스처 궤적의 예들이다. 예를 들어, 도 2a의 구성형태는 도 3a와 유사한 듯 보이지만, 두 구성형태가 사용될 때 최소 침습 수술 시스템(100)의 작동 방식이 상이하다는 점을 주지한다.Figures 3a-3d are examples of hand gesture pose 300A-300D, respectively. Figures 4A-4C are examples of hand gesture trajectories. For example, although the configuration of FIG. 2A seems similar to FIG. 3A, it is noted that the operation of the minimally invasive
도 2a에서, 원격조종 최소 침습 종속 수술 기구는 주 손가락 추적 그립(170)에 연결되고, 시스템(100)은 추종 모드에 있으며, 이로써 원격조종 최소 침습 종속 수술 기구의 움직임이 의사의 손의 추적된 움직임을 추종한다. 도 3a-3d 및 4a-4c에서, 의사가 시스템(100)을 제스처 인식 모드에 위치시키고, 예시된 손 제스처 포즈 또는 손 제스처 궤적 중 하나를 만든다. 손 제스처 포즈 및 손 제스처 궤적은 시스템 모드의 제어에 사용되고, 추종 작동 모드에는 사용되지 않는다. 예를 들어, 손 제스처 포즈에 의해서 제어되는 시스템 모드는 비주얼 표시를 가능하게 하고, 금지하고, 비주얼 표시들 사이를 순환하며, 비주얼 표시를 클러치하고, 텔레스트레이션을 그리고/지우는 것이다.In Figure 2a, the remote manipulation minimally invasive suture instrument is connected to the main
손 제스처 포즈(300A)(도 3a)에서, 엄지손가락(292A)과 집게손가락(292)은 주 클러치 역치를 지나서 분리되는데, 예를 들어 손(291R)의 두 손가락 사이의 간격이 115mm 이상이다. 집게손가락(292B)이 펴지고 엄지손가락(292A)이 구부러진 손 제스처 포즈(300B)(도 3b)를 사용해서 핸드 트래킹 컨트롤러(130)에 신호를 보내서 의사가 손 제스처 궤적을 추적하도록 할 수 있다(도 4a 및 4b 참조). 엄지손가락(292A)이 위를 향하고 집게손가락(292B)이 구부러진 손 제스처 포즈(300C)(도 3c)를 사용해서 사용자 인터페이스를 켜고, 사용자 인터페이스에서 모드들 사이를 순환할 수 있다. 엄지손가락(292A)이 아래를 향하고 집게손가락(292B)이 구부러진 손 제스처 포즈(300D)(도 3d)를 사용해서 사용자 인터페이스를 끌 수 있다. 다른 손 제스처 포즈는 "A-오케이" 손 제스처 포즈, L-모양 손 제스처 포즈 등을 포함할 수 있다.In the hand gesture pose 300A (Fig. 3A), the
한 양태에서, 핸드 트래킹 컨트롤러(130)는 다-방향성 특징 벡터를 사용하여 손 제스처 포즈를 인식하고 식별한다. 처음에는 복수의 손 제스처 포즈가 특정된다. 다음에, 복수의 특징을 포함하는 특징 세트가 특정된다. 특징 세트는 복수의 포즈들에서 각각의 손 제스처 포즈를 특유하게 식별할 수 있도록 설계된다.In one aspect, the
손 제스처 포즈 인식 과정은 트레이닝 데이터베이스를 이용하여 훈련된다. 트레이닝 데이터베이스는 손 제스처 포즈의 각각에 대한 복수의 예들을 포함한다. 복수의 예들은 여러 명의 다른 사람들에 의해 만들어진 포즈들에 대한 특징 벡터를 포함한다. 트레이닝 데이터베이스에서 각 예들에 대한 특징 세트가 생성된다. 이들 특징 세트는 아래 더 완전히 설명되는 다-방향성 베이지안 분류기를 훈련하는데 이용된다.The hand gesture pose recognition process is trained using the training database. The training database includes a plurality of examples for each of the hand gesture poses. Multiple examples include feature vectors for poses made by several different people. A feature set is generated for each instance in the training database. These feature sets are used to train the multi-directional Bayesian classifier described more fully below.
의사(180)가 손 제스처 작동 모드에 들어가려고 할 때, 의사는 스위치를 활성화시키는데, 예를 들어 풋 페달을 누른 다음, 적어도 한 손으로 손 제스처 포즈를 만든다. 이 예에서는 하나의 풋 페달이 필요하며, 이것은 공지된 최소 침습 수술 시스템의 풋 트레이에서 나머지 풋 페달의 제거를 허용하며, 따라서 상기 설명된 이점을 가진다는 것을 주지한다. 핸드 트래킹 유닛(186)은 의사의 손 또는 손들의 엄지손가락과 집게손가락의 감지된 위치 및 배향을 표시하는 신호를 핸드 트래킹 컨트롤러(130)에 전송한다.When the
의사의 손의 손가락들에 대한 추적 데이터를 사용해서 핸드 트래킹 컨트롤러(130)가 관찰된 특징 세트를 생성한다. 다음에, 핸드 트래킹 컨트롤러(130)는 훈련된 다-방향성 베이지안 분류기와 마할라노비스 거리를 사용해서 관찰된 특징 세트가 복수의 포즈들에서 손 제스처 포즈의 특징 세트일 가능성, 즉 확률을 결정한다. 이것은 복수의 포즈들에서 각각의 손 제스처 포즈에 대해 행해진다.The
관찰된 손 제스처 포즈로서 핸드 트래킹 컨트롤러(130)에 의해서 선택된 복수의 포즈들 중의 손 제스처 포즈는 마할라노비스 거리가 해당 손 제스처 포즈에 대한 트레이닝 데이터베이스의 최대 마할라노비스 거리 미만인 경우에는 최소 마할라노비스 거리를 갖는 것이다. 선택된 손 제스처 포즈는 시스템 사건에 따라 맵핑된다. 핸드 트래킹 컨트롤러(130)는 시스템 사건을 시스템 컨트롤러(140)에 제공한다.The hand gesture pose among the plurality of poses selected by the
시스템 컨트롤러(140)는 시스템 사건을 처리하고, 시스템 명령을 발행한다. 예를 들어, 손 제스처 포즈(300C)(도 3c)가 검출된다면, 시스템 컨트롤러(140)는 사용자 인터페이스를 켜라는 시스템 명령을 디스플레이 컨트롤러(150)에 전송한다. 응답하여 디스플레이 컨트롤러(150)는 프로세서(151) 상에서 사용자 인터페이스 모듈(155)의 적어도 일부를 실행하여 의사 콘솔(185)의 디스플레이 상에 사용자 인터페이스를 생성한다.The
따라서, 이 양태에서, 최소 침습 수술 시스템(100)은 사람 손의 일부의 위치를 추적한다. 추적된 위치에 기초하여, 시스템 제어 변수가 생성되는데, 예를 들어 손 제스처 포즈가 선택된다. 손 제스처 포즈를 사용하여 최소 침습 수술 시스템(100)의 사용자 인터페이스를 제어할 수 있는데, 예를 들어 의사 콘솔(185)의 디스플레이 상에 사용자 인터페이스를 표시할 수 있다.Thus, in this embodiment, the minimally invasive
사용자 인터페이스 제어는 단지 예시일 뿐이면 제한을 의도하지 않는다. 손 제스처를 사용하여 기지의 최소 침습 수술 시스템의 모드 변화, 예를 들어 주 클러치, 카메라 제어, 카메라 포커스, 조작기 암 스와핑 등의 변화를 수행할 수 있다.The user interface control is not intended to be limiting, merely by way of example. Using a hand gesture, changes in the mode of the known minimally invasive surgical system, such as main clutch, camera control, camera focus, manipulator arm swapping, etc., can be performed.
손 제스처 포즈 인식 과정이 관찰된 손 제스처 포즈가 손 제스처 궤적에 대한 손 제스처 포즈인지 결정한다면, 그 포즈 인식에 기초하여 핸드 트래킹 컨트롤러(130)에 의해서 어떤 시스템 사건도 제공되지 않는다. 대신에, 손 제스처 궤적 인식 과정이 개시된다.If the hand gesture pose recognition process determines that the observed hand gesture pose is a hand gesture pose to the hand gesture trajectory, no system event is provided by the
이 예에서, 손 제스처 포즈(300B)(도 3b)는 손 제스처 궤적을 생성하는데 사용된 포즈이다. 도 4a 및 4b는 손 제스처 포즈(300B)를 사용해서 만들어진 손 제스처 궤적(400a 및 400b)의 2-차원 예들이다. 도 4c는 사용될 수 있는 손 제스처 궤적의 다른 2-차원 예들을 제시한다. In this example, the hand gesture pose 300B (Fig. 3B) is the pose used to create the hand gesture trajectory. Figures 4A and 4B are two-dimensional examples of hand gesture traces 400a and 400b made using the hand gesture pose 300B. Figure 4c presents other two-dimensional examples of hand gesture trajectories that may be used.
한 양태에서, 손 제스처 궤적 인식 과정은 은닉 마르코프 모델 Λ을 이용한다. 은닉 마르코프 모델 Λ의 확률 분포를 생성하기 위해서는 트레이닝 데이터베이스가 필요하다. 트레이닝 데이터베이스를 얻기 전에 한 세트의 손 제스처 궤적이 특정된다. 한 양태에서, 도 4c의 16개의 손 제스처 궤적이 선택된다.In one embodiment, the hand gesture trajectory recognition process uses a hidden Markov model Λ. A training database is needed to generate the probability distribution of Hidden Markov Model Λ. A set of hand gesture trajectories is specified prior to obtaining the training database. In one aspect, the sixteen hand gesture traces of Figure 4c are selected.
한 양태에서, 각각의 손 제스처 궤적을 만들기 위해 다수의 시험 대상이 선택된다. 한 예에서, 각 시험 대상은 각 궤적을 정해진 회수 수행했다. 수행된 각 궤적에 대해 각 대상에 대한 위치 및 배향 데이터가 트레이닝 데이터베이스에 저장되었다. 한 양태에서, 아래 더 완전히 설명된 대로, 반복적 Baum-Welch 방법을 이용하여 분리된 좌우 은닉 마르코프 모델을 훈련하는데 트레이닝 데이터베이스가 사용되었다. In one embodiment, multiple test objects are selected to create each hand gesture trajectory. In one example, each test subject performed each trajectory a predetermined number of times. For each trajectory performed, the position and orientation data for each subject was stored in the training database. In one aspect, a training database was used to train separate left and right hiccup Markov models using the iterative Baum-Welch method, as described more fully below.
의사가 궤적을 만들 때, 데이터는 핸드 트래킹 컨트롤러(130)에 의해서 관찰 순서 O로 전환된다. 관찰 순서 O 및 은닉 마르코프 모델 Λ을 사용해서 핸드 트래킹 컨트롤러(130)는 손 제스처 궤적이 관찰된 기호 순서에 상응하는지 결정한다. 한 양태에서, 핸드 트래킹 컨트롤러(130)는 은닉 마르코프 모델 Λ과 함께 전향 재귀 알고리즘을 사용하여 관찰된 기호 순서의 전체 확률을 생성한다. 해당 확률이 역치 확률을 넘는다면 최고 확률을 가진 손 제스처 궤적이 선택된다. 최고 확률이 역치 확률 미만인 경우, 손 제스처 궤적이 선택되지 않고, 프로세싱이 종료된다.When the physician makes a trajectory, the data is switched to the observation sequence O by the
선택된 손 제스처 궤적은 시스템 사건에 따라 맵핑된다. 핸드 트래킹 컨트롤러(130)가 시스템 사건을 시스템 컨트롤러(140)에 제공한다.Selected hand gesture trajectories are mapped according to system events. The
시스템 컨트롤러(140)는 시스템 사건을 처리해서 시스템 명령을 발행한다. 예를 들어, 선택된 손 제스처 궤적이 수술 부위에 대한 조명 수준을 변화시키기 위한 사건에 따라 맵핑된다면, 시스템 컨트롤러(140)는 시스템 사건을 조명장치의 컨트롤러로 전송해서 조명 수준을 변화시킨다.The
핸드 트래킹을 통한 존재 검출Presence detection through hand tracking
한 양태에서, 상기 나타낸 대로, 의사의 손(291R, 291L)의 위치(도 6a)가 추적되어 최소 침습 수술 시스템(100)의 원격조종이 허용되는지의 여부, 및 어떤 양태에서는 의사에게 사용자 인터페이스를 표시할 수 있는지의 여부가 결정될 수 있다. 다시, 핸드 트래킹 컨트롤러(130)은 의사(180B)의 손의 적어도 일부를 추적한다(도 6a), 핸드 트래킹 컨트롤러(130)는 주 도구 그립, 예를 들어 주 도구 그립(621L, 621R)(도 6a)을 표시하는 주 도구 그립(621)(도 6b)의 위치, 및 손의 일부의 위치를 생성한다. 핸드 트래킹 컨트롤러(130)는 이 두 위치를 공통 좌표 프레임 안에 맵핑하고, 이후 공통 좌표 프레임 안에서 두 위치 사이의 거리를 결정한다. 이 거리는 의사의 손의 일부의 추적된 위치에 기초하는 최소 침습 수술 시스템의 시스템 제어 변수이다.In one aspect, as indicated above, the position of the physician's
이 거리가 안전 역치 미만일 경우, 즉 손의 일부와 주 도구 그립 사이의 최대 허용 분리 미만이면, 최소 침습 수술 시스템(100)의 원격조종이 허용되고, 그렇지 않다면 원격조종이 금지된다. 유사하게, 존재 검출을 사용해서 사용자 인터페이스의 표시를 제어하는 양태에서, 이 거리가 안전 역치 미만일 경우, 즉 손의 일부와 주 도구 그립 사이의 최대 허용 분리 미만이면, 최소 침습 수술 시스템(100)의 디스플레이 상에 사용자 인터페이스의 표시가 금지되고, 그렇지 않다면 사용자 인터페이스의 표시가 허용된다.If this distance is less than the safety threshold, that is, less than the maximum allowable separation between a portion of the hand and the main tool grip, remote manipulation of the minimally invasive
따라서, 이 거리는 최소 침습 수술 시스템(100)의 원격조종을 제어하는데 사용된다. 구체적으로, 핸드 트래킹 컨트롤러(130)는 시스템 사건을 원격조종이 허용되는지의 여부를 나타내는 시스템 컨트롤러(140)로 전송한다. 시스템 사건에 응하여, 시스템 컨트롤러(140)는 시스템(100)을 원격조정을 허용하거나 금지하도록 구성한다.Thus, this distance is used to control the remote manipulation of the minimally invasive
손 위치 추적 기술Hand Positioning Technology
상기 더 상세히 설명된 핸드 트래킹의 다양한 양태들을 고려하기 전에, 추적 기술의 일례가 설명된다. 이 예는 단지 예시일 뿐이며, 이후의 설명에 비추어 필요한 손 또는 손가락 위치 정보를 제공하는 어떤 추적 기술도 이용될 수 있다.Before considering the various aspects of the hand tracking described in more detail above, an example of tracking technology is described. This example is merely an example, and any tracking technique that provides the necessary hand or finger location information in light of the following description may be used.
한 양태에서, 도 2a-2d 및 도 7에 예시된 대로, 펄스식 DC 전자기 추적이 손의 두 손가락, 예를 들어 엄지손가락과 집게손가락에 장착된 센서와 함께 사용된다. 각 센서는 6의 자유도를 측정하며, 한 양태에서 8mm x 2mm x 1.5mm의 크기를 가진다. 추적 시스템은 0.8m의 반구형 손작업 작업공간, 및 0.5mm 및 0.1도의 위치 감지 해상도를 가진다. 업데이트 속도는 160Hertz이고, 4ms의 감지 지연을 가진다. 시스템에 통합된 경우, 통신 및 추가의 필터링으로 인해 추가의 지연이 발생될 수 있다. 30ms 이하의 유효 명령 지연이 허용되는 것으로 판명되었다.In one aspect, pulsed DC electromagnetic tracking is used with two fingers of the hand, such as the thumb and forefinger, mounted on a forefinger, as illustrated in Figures 2a-2d and 7. Each sensor measures 6 degrees of freedom and, in one embodiment, has a size of 8 mm x 2 mm x 1.5 mm. The tracking system has a 0.8m hemispherical manual workspace and 0.5mm and 0.1 degree position sensing resolution. The update rate is 160 Hertz and has a 4 ms detection delay. When integrated into the system, additional delays can occur due to communication and additional filtering. A valid command delay of less than 30 ms has been found to be acceptable.
이 양태에서, 추적 시스템은 전자기 핸드 트래킹 컨트롤러, 주 손가락 추적 그립에 사용되는 센서, 및 핸트 트래킹 송신기를 포함한다. 본 발명의 한 구체예에서 사용하기 적합한 추적 시스템은 미드-레인지 송신기를 구비한 3D 가이던스 trakSTAR™ 시스템으로서 미국 버몬트 버링턴의 Ascension Technology Corporation로부터 입수할 수 있다(trakSTAR™은 Ascension Technology Corporation의 상표명이다). 이 송신기는 중간 범위에 걸쳐 높은 정확도의 추적을 위한 펄스식 DC 자기장을 생성하며, 이것은 78cm로 특정된다(31인치). 이 시스템은 각 센서에 240 내지 420 업데이트/초의 동적 추적을 제공한다. 소형화된 피동적 센서의 출력은 전력선 노이즈 공급원에 영향을 받지 않는다. 송신기와 센서 간의 분명히 연결된 송수신선은 필요하지 않다. 모든 자세가 추적되며, 관성에 따른 이동이나 광학적 간섭은 없다. 금속 면역성이 높고, 비자기 금속으로 인한 왜곡도 없다.In this aspect, the tracking system includes an electromagnetic hand tracking controller, a sensor used in the main finger track grip, and a hand tracking transmitter. A tracking system suitable for use in one embodiment of the present invention is a 3D guidance trakSTAR system with a mid-range transmitter available from Ascension Technology Corporation of Burlington, Va. (TrakSTAR (TM) is a trade name of Ascension Technology Corporation) . This transmitter produces a pulsed DC magnetic field for high accuracy tracking over medium ranges, which is specified at 78 cm (31 inches). The system provides a dynamic tracking of 240 to 420 updates per second to each sensor. The output of the miniaturized passive sensor is not affected by the power line noise source. Clearly connected transmit and receive lines between transmitter and sensor are not required. All postures are tracked and there is no movement or optical interference due to inertia. It has high metal immunity and no distortion due to non-magnetic metal.
손가락 커버를 가진 전자기 추적 시스템이 본원에서 사용되지만, 이것은 예시일 뿐이며, 제한을 의도하지 않는다. 예를 들어, 펜 모양 장치가 의사에 의해서 보유될 수 있다. 펜 모양 장치는 장치의 외부 표면에 3개 이상의 비-동일 선상에 있는 기점 마커를 갖는 손가락 조각이다. 전형적으로, 어떤 시점에서든 적어도 3개의 기점 마커가 보이게 만들기 위해서는 자체 차단으로 인해서 더 많은 기점 마커가 사용된다. 기점 마커는 손가락 조각의 6의 자유도(3의 병진 및 3의 회전) 동작을 결정하는데 충분하며, 따라서 펜 모양 장치를 보유한 손의 동작에도 충분하다. 또한, 펜 모양 장치는 한 양태에서 파지를 감지한다.An electromagnetic tracking system with a finger cover is used herein, but this is merely an example, and is not intended to be limiting. For example, a pen-shaped device may be retained by a physician. A pen-shaped device is a piece of fingers having three or more non-collinear fiducial markers on the outer surface of the device. Typically, more starting point markers are used due to self-blocking to make at least three starting point markers visible at any point in time. A fiducial marker is sufficient to determine the degree of freedom of 6 degrees of freedom (3 translation and 3 rotation) of the finger piece, and is therefore sufficient for the action of a hand with a pen-shaped device. In addition, the pen-shaped device senses the grip in one embodiment.
펜 모양 장치는 기지의 변수의 2 이상의 카메라에 의해 주시되고, 이로써 기점 마커가 3-차원으로 국소화해서 손가락 조각의 3-차원 포즈를 추론할 수 있다. 기점 마커는, 예를 들어 1) 카메라 가까이서 조명을 받는 역반사 구체; 2) 카메라 가까이서 조명을 받는 오목 또는 볼록 반구체; 또는 3) (블링킹) LED와 같은 능동형 마커로서 실시될 수 있다. 한 양태에서, 손가락 조각의 근적외선 조명 사용되며, 필터를 사용해서 카메라에 가시 스펙트럼을 차단하여 바탕 클러터로부터의 산란을 최소화할 수 있다.The pen-shaped device is viewed by two or more cameras of the known parameters, whereby the origin markers can be localized in three dimensions to infer the three-dimensional pose of the finger piece. The origin markers may include, for example: 1) a retro-reflective sphere that is illuminated close to the camera; 2) a concave or convex hemisphere that is illuminated close to the camera; Or 3) an active marker such as a (blinking) LED. In one aspect, near infrared illumination of a finger piece is used, and the filter can be used to block visible spectrum to the camera to minimize scattering from the background clutter.
다른 양태에서, 데이터 글러브(501)(도 5) 또는 베어 핸드(502)가 사용되며, 기점 마커(511)는 의사가 착용중인 글러브(501)의 엄지손가락과 집게손가락에(및/또는 글러브의 다른 손가락들에) 부착되고, 및/또는 손(502)의 피부에 직접 부착된다. 다시, 다수의 마커를 사용하여 자체 차단을 수용할 수 있다. 또한, 기점 마커들은 다른 손가락들에도 위치될 수 있으며, 이로써 구체적으로 한정된 손 제스처를 통해 더 많은 사용자 인터페이스 특징을 가능하게 할 수 있다.5) or a
기점 마커의 3-차원 위치가 공통 시야를 갖는 다수의 카메라의 삼각형 공간에 의해서 산정된다. 기점 마커의 3-차원 위치를 사용하여 손의 3-차원 포즈(변위 및 배향)와 그립 크기를 추론할 수 있다.The three-dimensional position of the origin marker is estimated by the triangular space of a plurality of cameras having a common view. The three-dimensional pose (displacement and orientation) and grip size of the hand can be inferred using the three-dimensional position of the origin marker.
마커 위치는 사용 전에 검정되어야 한다. 예를 들어, 의사는 상이한 포즈의 마커를 부착한 손을 카메라에 보여줄 수 있다. 다음에, 상이한 포즈가 검정에 사용된다.Marker position should be checked before use. For example, a doctor can show a camera a hand with a marker of a different pose. Next, different poses are used for the test.
또 다른 양태에서, 마커가 적은 핸드 트래킹이 사용된다. 관절식 손 동작이 하나 이상의 카메라로부터 보여지는 영상을 사용하여 추적될 수 있고, 컴퓨터 소프트웨어를 실행시켜 이들 영상을 처리할 수 있다. 실행중인 컴퓨터 소프트웨어는 유용한 손의 모든 자유도를 추적할 필요는 없다. 실행중인 소프트웨어는 본원에서 증명된 대로 수술 도구를 제어하는데 유용한 손의 두 손가락과 관련된 부분만 추적하면 된다.In another embodiment, hand tracking with fewer markers is used. Articulated hand movements can be tracked using images viewed from one or more cameras, and computerized software can be executed to process these images. Running computer software does not have to track all degrees of freedom of a useful hand. The running software only needs to track the parts associated with the two fingers of the hand, which are useful for controlling the surgical tool as evidenced herein.
카메라 기반 추적에서, 측정의 정확성은 영상에서 마커의 국소 정확성; 카메라 기하구조에 따른 3-차원 재구성 정확성; 및 기점 마커의 최소 개수, 예를 들어 3개 이상, 카메라의 최소 개수(1 또는 2) 이상, 및 시간 평균 및 필터링과 같은 풍부한 데이터에 의존한다.In camera-based tracking, the accuracy of the measurements depends on the local accuracy of the marker in the image; 3 - Dimensional Reconstruction Accuracy Based on Camera Geometry; And the minimum number of origin markers, e.g., three or more, the minimum number of cameras (1 or 2) or more, and time averaging and filtering.
3-차원 재구성 정확성은 카메라 검정의 정확성에 크게 의존한다. 의사 콘솔 상의 기지의 위치에 부착된 일부 기점 마커를 사용하여 의사 콘솔과 관련해서 다수의 카메라의 외적 변수(회전 및 변위)를 결정할 수 있다. 이 과정은 자동으로 행해질 수 있다. 능동형 기점 마커는 검정 과정 동안과 시술 전에만 켜지기 때문에 검정 기점 마커로 사용될 수 있다. 시술 동안, 검정 기점 마커는 의사의 손의 국소화에 사용되는 기점 마커와의 혼동을 피하기 위해서 꺼진다. 상대적 외적 변수들도 카메라의 공통 시야 안에서 마커를 이동시켜 관찰함으로써 산정될 수 있다.Three-dimensional reconstruction accuracy is highly dependent on the accuracy of the camera test. Some of the origin markers attached to the known location on the pseudo console can be used to determine the external parameters (rotation and displacement) of multiple cameras in relation to the pseudo console. This process can be done automatically. An active origin marker can be used as a black origin marker since it is only illuminated during and during the assay procedure. During the procedure, the black origin markers are turned off to avoid confusion with the origin markers used to localize the physician's hand. Relative external variables can also be estimated by moving the marker within the camera's common field of view.
사용하기 적합한 다른 추적 기술은, 제한은 아니지만 관성 추적, 심층 카메라 추적, 및 섬유 휨 감지를 포함한다.Other tracking techniques suitable for use include, but are not limited to, inertial tracking, in-depth camera tracking, and fiber warping detection.
본원에 사용된, 때로 추적 센서라고도 하는 센서 요소는 상기 설명된 손 추적 기술 중 어느 것을 위한 센서일 수 있으며, 예를 들어 피동적 전자기 센서, 기점 마커, 또는 다른 기술을 위한 센서일 수 있다.As used herein, a sensor element, sometimes referred to as a tracking sensor, may be a sensor for any of the hand tracking techniques described above and may be, for example, a passive electromagnetic sensor, a origin marker, or a sensor for other technologies.
좌표 시스템Coordinate system
상기 더 상세히 설명된 여러 과정을 고려하기 전에, 의사 콘솔(185B)(도 6a)의 일례가 고려되며, 이후의 예들에서 사용하기 위한 다양한 좌표 시스템이 한정된다. 의사 콘솔(185B)은 의사 콘솔(185)의 예이다. 의사 콘솔(185B)은 때로는 뷰어(610)라고도 하는 3-차원 뷰어(610), 주 도구 그립(621L, 621R)을 가진 주 도구 조작기(620L, 620R), 및 기부(630)를 포함한다. 주 도구 그립(621)(도 6b)은 주 도구 그립(621L, 621R)의 더 상세한 도해이다.Before considering the various processes described in more detail above, an example of the
주 도구 조작기(620L, 620R)의 주 도구 그립(621L, 621R)은 집게손가락과 엄지손가락을 사용해서 의사(180B)에 의해 보유되며, 이로써 표적화 및 파지가 직관적인 포인팅 및 핀칭 동작을 포함하게 된다. 주 도구 그립(621L, 621R)과 조합된 주 도구 조작기(620L, 620R)를 사용하여 공지된 최소 침습 원격조종 수술 시스템의 공지된 주 도구 조작기와 동일한 방식으로 원격조종 종속 수술 기구, 원격조종 내시경 등을 제어할 수 있다. 주 도구 조작기(620L, 620R) 및 주 도구 그립(621L, 621R)의 위치 좌표도 또한 종속 수술 기구를 제어하는데 사용된 운동역학으로부터 알 수 있다.The main tool grips 621L and 621R of the
정상 화면 작동 모드에서는 뷰어(610)가 입체 내시경(112)으로부터 수술 부위(103)의 3-차원 영상을 표시한다. 뷰어(610)는 콘솔(185B)(도 6b) 상에서 의사의 손 근처에 위치되며, 이로써 뷰어(610)에 보이는 수술 부위의 영상은 자신이 실제로 아래를 향해 수술 부위(103) 위를 직접 보고 있는 것처럼 의사(180B)가 느끼도록 배향된다. 영상에서 수술 기구는 실질적으로 의사의 손이 위치된 곳에 위치된 것처럼 보이고, 실질적으로 자신의 손의 위치에 기초하여 의사(180B)가 예상했던 바대로 배향된다. 그러나, 뷰어(610)에서 수술 부위의 표시된 영상을 보는 동안 의사(180B)는 자신의 손이나 주 도구 그립(621L, 621R)의 위치 또는 배향은 볼 수 없다.In the normal screen operation mode, the
한 양태에서, 주 도구 조작기(620L, 620R)는 의사(180B)의 정면과 뷰어(610)의 밑에서 직접 이동되어 기부(630) 위에 위치되게 되고, 더 이상 뷰어(610) 아래에는 위치되지 않으며, 즉 주 도구 조작기가 손 제스처의 길에서 벗어나 대기된다. 이것은 뷰어(610) 아래에 의사(180B)가 손 제스처 포즈나 손 제스처 궤적 중 하나 또는 둘 다인 손 제스처를 만들 수 있는 방해 없는 공간을 제공한다.The
도 6a의 양태에서, 의사 콘솔(185B)과 관련해서 3개의 좌표 시스템, 즉 화면 좌표 시스템(660), 전역 좌표 시스템(670), 및 추적자 좌표 시스템(650)이 한정된다. 동등한 좌표 시스템이 의사(181)(도 1)에도 한정되며, 이로써 아래 더 완전히 설명된 맵핑은 주 손가락 추적 그립(170) 또는 주 도구 그립(621L, 621R)으로부터의 추적 데이터에 대해서도 행해질 수 있다는 것을 주지한다. 예를 들어, 미국 특허출원 제12/617,937호(2009년 11월 13일 제출, "최소 침습 원격조종 수술 기구를 위한 환자측 수술 인터페이스"를 개시)를 참조하며, 이것은 참고자료로 본원에 포함된다.6A, three coordinate systems, i.e., screen coordinate
화면 좌표 시스템(660)에서 의사(180B)는 Z-축 Zview을 내려다본다. Y-축 Yview는 디스플레이에서 위를 향한다. X-축 Xview는 디스플레이에서 좌측을 향한다. 전역 좌표 시스템(670)에서, Z-축 Zworld는 수직축이다. 전역 X-축 Xworld와 전역 Y-축 Yworld는 Z-축 Zworld에 수직인 평면에 있다.In the screen coordinate
도 6b는 주 도구 그립(621) 및 주 도구 조작기(620)를 더 상세히 예시한다. 좌표 시스템(680, 690)은 도 11의 방법(1100)과 관련해서 아래 더 완전히 논의된다.6B illustrates the
핸드 트래킹을 통한 수술 기구 제어의 과정The process of controlling the surgical instrument through hand tracking
도 7은 추적 좌표 시스템(750)에서 위치(713)에 있는 집게손가락(292B)에 장착된 센서(212) 및 추적 좌표 시스템(750)에서 위치(711)에 있는 엄지손가락(292A)에 장착된 센서(211)를 예시한다. 센서(211 및 212)는 상기 설명된 전자기 추적 시스템의 일부이다. 엄지손가락(292A)과 집게손가락(292B)은 오른손(291R)의 손가락들의 예이다. 앞서 주지된 대로, 사람 손의 일부는 그 손의 적어도 하나의 손가락을 포함한다. 당업자에게 알려진 대로, 때로 지골이라고도 하는 손의 손가락들은 엄지손가락(첫째 손가락), 집게손가락(둘째 손가락), 중지(셋째 손가락), 무명지(넷째 손가락), 및 새끼손가락(다섯째 손가락)이다.Figure 7 shows the
여기서는 엄지손가락과 집게손가락이 사람 손의 2개 손가락의 예로서 사용된다. 이것은 단지 예시일 뿐이며, 제한을 의도하지 않는다. 예를 들어, 엄지손가락과 중지가 엄지손가락과 집게손가락 대신 사용될 수도 있다. 본원의 설명은 중지의 사용에도 직접 적용될 수 있다. 또한, 오른손의 사용도 예시일 뿐이다. 유사한 센서가 왼손에 착용된 경우, 본원의 설명은 왼손에도 직접 적용될 수 있다.Here, the thumb and forefinger are used as examples of two fingers of a human hand. This is for illustrative purposes only and is not intended to be limiting. For example, the thumb and the stop may be used instead of the thumb and forefinger. The description herein can also be applied directly to the use of pauses. The use of the right hand is also only an example. If a similar sensor is worn on the left hand, the description herein can also be applied directly on the left hand.
케이블(741, 742)이 주 손가락 추적 그립(270)의 센서(211, 212)와 핸드 트래킹 컨트롤러(130)를 연결한다. 한 양태에서, 케이블(741,742)은 센서(211, 212)로부터의 위치 및 배향 정보를 핸드 트래킹 컨트롤러(130)로 보낸다.The
핸드 트래킹 컨트롤러(130)에 감지된 위치 및 배향 데이터를 송신하기 위해 케이블을 사용하는 것은 단지 예시일 뿐이며, 이 특정 양태에 제한되는 것은 아니다. 본 명세서의 내용에 비추어, 당업자는 주 손가락 추적 그립 또는 주 손가락 추적 그립들로부터의 감지된 위치 및 배향 데이터를 핸드 트래킹 컨트롤러(130)에 송신하기 위한 메커니즘을 선택할 수 있다(예를 들어, 무선 접속의 사용에 의해).The use of a cable to transmit sensed position and orientation data to the
케이블(741, 742)은 주 손가락 추적 그립(270)의 동작을 제한하지 않는다. 주 손가락 추적 그립(270)이 기계적으로 접지되어 있지 않으므로, 각 주 손가락 추적 그립은 의사가 도달할 수 있는 작업공간과 핸드 트래킹 송신기의 작업공간 안에서 위치와 배향 동작을 모두 유효하게 구속하지 않는다(예를 들어, 데카르트 좌표 시스템에서 좌우, 위아래, 안팎, 롤, 피치, 및 요우).The
한 양태에서, 상기 설명된 대로, 주 손가락 추적 그립(270)의 각 센서(211, 212)는 3의 병진도 및 3의 회전도, 즉 6의 자유도를 감지한다. 따라서, 2개의 센서로부터 감지된 데이터는 12의 자유도를 표시한다. 다른 양태에서, 주 손가락 추적 그립(270)의 각 센서(211, 212)는 3의 병진도 및 2의 회전도(요우 및 피치), 즉 5의 자유도를 감지한다. 따라서, 2개의 센서로부터 감지된 데이터는 10의 자유도를 표시한다.In one aspect, as described above, each
추적된 위치에 기초한 제어 포인트 위치 및 제어 포인트 배향을 사용하여 원격조종 종속 수술 기구를 제어하는 데는 6의 자유도가 필요하며(3의 변위 및 3의 배향), 이것은 아래 더 완전히 설명된다. 따라서, 각 센서가 5 또는 6의 자유도를 갖는 양태에서, 센서(211, 212)는 여분의 자유도를 제공한다. 상기 설명되고 아래 더 완전히 설명된 대로, 여분의 자유도는 위치 및 배향 이외의 다른 원격조종 종속 수술 기구 양태를 제어하는데 사용되는 변수에 따라 맵핑된다.Control of the remote control dependent surgical instrument using control point position and control point orientation based on the tracked position requires 6 degrees of freedom (displacement of 3 and orientation of 3), which is described more fully below. Thus, in embodiments in which each sensor has a degree of freedom of 5 or 6, the
또 다른 추가 양태에서, 각 센서(211, 212)는 단지 3의 병진 자유도만을 감지하며, 따라서 합해서 6의 자유도를 표시하게 된다. 이것은 손목 메커니즘을 포함하지 않는 종속 수술 기구의 병진, 롤 및 그립 닫힘의 3의 자유도를 제어하는데 충분하다. 이후의 설명을 이용하여 6의 자유도를 사용해서 제어 포인트 위치를 생성할 수 있다. 제어 포인트 배향은 종속 수술 기구의 배향으로서 취해진다. 그립 닫힘 변수는 제어 포인트 위치 및 제어 포인트 배향을 사용해서 하기 설명된 대로 결정된다. 롤은 엄지손가락과 집게손가락의 상대적 동작을 사용해서 상기 설명된 대로 결정된다.In yet another additional aspect, each
센서가 6의 자유도를 감지하거나, 또는 센서가 5의 자유도를 감지하는 양태에서, 집게손가락 센서(212)는 추적 좌표 프레임(750)에 집게손가락 위치 Pindex와 집게손가락 배향 Rindex을 표시하는 신호를 생성한다. 엄지손가락 센서(211)는 추적 좌표 프레임(750)에 엄지손가락 위치 Pthumb와 엄지손가락 배향 Rthumb을 표시하는 신호를 생성한다. 한 양태에서, 위치 Pindex 및 Pthumb는 집게손가락(292B)의 사용자 손톱의 중심 및 엄지손가락(292A)의 사용자 손톱의 중심과 각각 정렬된 채로 취해진다. In an aspect in which the sensor senses a degree of freedom of 6 or the sensor senses a degree of freedom of 5, the
이 예에서 위치 Pindex 및 Pthumb는 각각 추적 좌표 프레임(750)에서 3x1 벡터로서 표시된다. 위치 Pindex 및 Pthumb는 추적자 좌표 내에 있다.In this example, the positions Pindex and Pthumb are represented as 3x1 vectors in the tracking coordinate
배향 Rindex 및 Rthumb는 각각 추적 좌표 프레임(750)에서 3x3 행렬로서 표시되며, 즉 다음과 같다:The orientations Rindex and Rthumb are displayed as a 3x3 matrix in the tracking coordinate
제어 포인트 위치 Pcp는 집게손가락(292B)과 엄지손가락(292A) 사이에 중심이 있다. 제어 포인트 위치 Pcp는 제어 포인트 프레임(790) 내에 있지만, 추적자 좌표 내에 특정된다. 제어 포인트 프레임(790)의 Z-축인 포인팅 방향으로 제어 포인트 위치 Pcp를 통해 연장되며, 이것은 아래 더 완전히 설명된다.The control point position Pcp is centered between the
또한, 아래 설명된 대로, 집게손가락(292B)과 엄지손가락(292A)은 종속 수술 기구의 집게부에 따라 맵핑되지만, 두 손가락은 기구의 집게부보다 더욱 섬세하다. 제어 포인트 프레임(790)의 Y-축은 기구 집게부 닫힘에 사용된 핀에 상응한다. 따라서, 아래 설명된 대로, 제어 포인트 프레임(790)의 Y-축은 집게손가락(292B)과 엄지손가락(292A) 사이의 벡터에 수직이다.Also, as described below, the
제어 포인트 위치 Pcp는 추적 좌표 프레임(750)의 추적자 좌표 내에 3x1 벡터로 표시된다. 제어 포인트 배향 Rcp는 추적자 좌표 내에 3x3 행렬로 표시되며, 즉 다음과 같다:The control point position Pcp is represented by a 3x1 vector within the tracer coordinates of the tracking coordinate
도 8은 종속 수술 기구, 예를 들어 도 1의 원격조종 종속 수술 기구들 중 하나의 그립을 제어하는데 사용된 그립 닫힘 변수에 따라 손의 일부의 위치를 맵핑하기 위한 과정 순서도이다. 이 맵핑 과정은 또한 새로운 그립 닫힘 변수 및 종속 기구 말단의 상응하는 위치 및 그 위치에 따라 움직이는 속도에 따라 시간적 위치 변화를 맵핑한다.8 is a process flow chart for mapping the position of a portion of a hand according to the grip closing parameters used to control the grip of one of the dependent surgical instruments, e.g., one of the remote control dependent surgical instruments of FIG. This mapping process also maps the temporal position changes according to the new grip closure variable and the corresponding position of the slave tip end and the speed at which it moves according to its position.
처음에, 과정(800)에 들어가게 되면, 손 위치 데이터 수신 과정(810)이 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)을 수신하고, 이것은 이 예에서는 데이터(811)에 저장된다. 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)은 추적 시스템으로부터의 데이터에 기초한다. 과정(810)은 제어 포인트 및 그립 변수에 따라 위치 데이터 맵핑 과정(820)으로 진행한다.Initially, when the
제어 포인트 및 그립 변수에 따라 위치 데이터 맵핑 과정(820)은 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)을 사용해서 제어 포인트 위치 Pcp, 제어 포인트 배향 Rcp, 및 그립 닫힘 변수 ggrip를 생성한다. 제어 포인트 위치 Pcp, 제어 포인트 배향 Rcp, 및 그립 닫힘 변수 ggrip은 데이터(821)에 저장된다. The position
한 양태에서, 과정(820)에서 수행된 제어 포인트 맵핑은 기지의 주 도구 조작기 제어 포인트 배치의 중요한 특성들을 에뮬레이트하기 위해서 한정된다. 따라서, 엄지손가락과 집게손가락 동작에 대한 반응은 의사 콘솔(180B)(도 6a)과 유사한 의사 콘솔을 구비한 공지된 원격조종 최소 침습 수술 시스템의 사용자에게 익숙하며 직관적일 것이다.In one aspect, the control point mapping performed in
도 9는 제어 포인트 및 그립 변수에 따라 위치 데이터 맵핑 과정(820)의 한 양태에 대한 더 상세한 과정 순서도이다. 먼저, 과정(820)에서, 제어 포인트에 따라 손 위치 데이터 맵핑 과정(910)이 집게손가락 위치 Pindex 및 엄지손가락 위치 Pthumb로부터 제어 포인트 위치 Pcp의 위치를 생성하며, 즉 다음과 같다:9 is a more detailed process flow diagram for one aspect of the position
제어 포인트 위치 Pcp는 손가락 위치 Pindex 및 엄지손가락 위치 Pthumb의 평균이며, 제어 포인트에 따라 손 위치 데이터 맵핑 과정(910)은 제어 포인트 배향 생성 과정(920)으로 진행한다.The control point position Pcp is an average of the finger position Pindex and the thumb position Pthumb, and the hand position data mapping process 910 according to the control point proceeds to the control point
상기 나타낸 대로, 제어 포인트 배향의 Z-축은 포인팅 방향에서 정렬된다. 이 양태의 제어 포인트 배향 생성 과정(920)에서, 로드리게즈 축/각도 식을 사용하여 집게손가락 포인팅 방향 벡터 와 엄지손가락 포인팅 방향 벡터 사이의 반 회전으로서 제어 포인트 배향에 대한 Z-축 포인팅 방향 벡터 를 정의할 수 있다. 엄지손가락 배향 Rthumb로부터 엄지손가락 포인팅 방향 벡터 는 다음과 같다:As indicated above, the Z-axis of the control point orientation is aligned in the pointing direction. In the control point orientation generation process (920) of this embodiment, a Rodriguez axis / And thumb pointing direction vector Axis as a half rotation between the Z-axis pointing direction vector Can be defined. Thumb orientation Rthumb to thumb pointing direction vector Is as follows:
유사하게, 집게손가락 배향 Rindex부터 집게손가락 포인팅 방향 벡터 는 다음과 같다:Similarly, from the forefinger orientation Rindex to the forefinger pointing direction vector Is as follows:
벡터 ω는 집게손가락 포인팅 방향 벡터 와 엄지손가락 포인팅 방향 벡터 에 수직인 벡터이다. 벡터 ω는 집게손가락 포인팅 방향 벡터 와 엄지손가락 포인팅 방향 벡터 의 곱셈 값으로서, 다음과 같다:Vector ω is the forefinger pointing direction vector And thumb pointing direction vector . ≪ / RTI > Vector ω is the forefinger pointing direction vector And thumb pointing direction vector As follows: < RTI ID = 0.0 >
각도 θ는 집게손가락 포인팅 방향 벡터 와 엄지손가락 포인팅 방향 벡터 사이의 각도 크기이다. 각도 θ는 다음과 같이 정의된다:The angle < RTI ID = 0.0 >#< And thumb pointing direction vector Lt; / RTI > The angle θ is defined as:
축 ω와 각도 θ를 사용하면 Z-축 포인팅 방향 벡터 는 다음과 같다:With axis ω and angle θ, the Z-axis pointing direction vector Is as follows:
따라서, 과정(910)은 제어 포인트 위치 Pcp를 생성했고, 과정(920)의 첫 부분은 제어 포인트 프레임(790) 안에서 Z-축의 대략적인 포인팅 방향을 생성했다. 집게손가락과 엄지손가락 배향 벡터를 보간하도록 진행하여 유사한 방식으로 제어 포인트 단위벡터 축 및 를 생성한 다음, 이들을 다시 직교시켜서 제어 포인트 배향 행렬을 생성할 수 있다.Thus, process 910 has generated control point position Pcp, and the first part of
그러나, 추종 맵핑을 사용함으로써 손가락들의 추적된 위치로부터 더 큰 원격조종 조종능이 달성될 수 있다. 이 맵핑은 집게손가락과 엄지손가락의 상대적인 위치를 사용하여 이 손가락들 사이에서 작은 짐볼을 조작하는 것처럼 제어 포인트의 유효 롤 및 요우 동작을 달성할 수 있다. 과정(920)의 나머지 부분은 다음과 같이 수행되며, 완전한 세트의 직교정규 제어 포인트 단위벡터 축 이 생성된다:However, by using the tracking mapping, greater remote control steering capability can be achieved from the tracked position of the fingers. This mapping can achieve the effective roll and yaw action of the control point, such as by manipulating the small ball piece between the fingers using the relative position of the forefinger and the thumb. The remainder of the
이들 벡터를 사용하면 제어 포인트 배향 Rcp는 다음과 같다:Using these vectors, the control point orientation Rcp is:
이제, 과정(910 및 920)에 의해, 과정(820)이 집게손가락 및 엄지손가락 위치 및 배향(Pindex,Rindex),(Pthumb,Rthumb)을 제어 포인트 위치 및 배향(Pcp,Rcp)에 따라 맵핑했다. 과정(820)은 여전히 그립 닫힘 변수 ggrip를 생성해야 한다. 따라서, 제어 포인트 배향 생성 과정(920)이 그립 닫힘 변수 생성 과정(930)으로 진행한다.Now, by
과정(930)에서, 제어 포인트 위치 Pcp 및 Z-축 방향 에 의해 한정된 중심선 축으로부터 집게손가락 위치 Pindex와 엄지손가락 위치 Pthumb의 거리에 따라 그립 닫힘이 결정된다. 이것은 엄지손가락과 집게손가락이 맞닿았을 때 미끄러져 움직이는 것에 대해서 그립 닫힘이 불변인 채로 있을 수 있도록 한다.In
따라서, 집게손가락 위치 Pindex 및 엄지손가락 위치 Pthumb가 프레임(790) 안에서 Z-축 위에 맵핑된다. 위치 Pindex_proj는 프레임(790)의 Z-축 위에 집게손가락 위치 Pindex의 투사이고, 위치 Pthumb_proj는 프레임(790)의 Z-축 위에 엄지손가락 위치 Pthumb의 투사이다:Thus, the index finger position Pindex and the thumb position Pthumb are mapped on the Z-axis in
위치 Pindex_proj와 위치 Pthumb_proj를 사용해서 평가 그립 닫힘 거리 dval을 평가할 수 있으며, 즉 다음과 같다:The position Pindex_proj and the position Pthumb_proj can be used to evaluate the evaluation grip closing distance dval, i.e.:
여기서, 이중 평행선은 2-정규 유클리드 거리의 알려진 표현이다. 평가 그립 닫힘 거리 dval는 최대 거리 역치 dmax 및 최소 거리 역치 dmin에 의해 결합된다. 도 7에 예시된 대로, 센서(211,212) 사이의 패드 형태 폼 커넥터(210)가 손가락들이 고정된 분리 내에 안에 있도록, 즉 최대 거리 역치 dmax와 최소 거리 역치 dmin 사이에 있도록 구속한다. 추가로, 두 손가락이 가볍게 맞닿았을 때의 분리 거리는 중립적 거리에 상응한다.Here, the double parallel line is a known expression of the 2-normal Euclidean distance. The evaluation grip closure distance dval is combined by the maximum distance threshold dmax and the minimum distance threshold dmin. As illustrated in Figure 7, the pad shaped
특정 세트의 센서와 커넥터에 있어서, 최대 거리 역치 dmax, 최소 거리 역치 dmin, 및 중립 거리는 경험적으로 결정된다. 한 양태에서, 센서와 커넥터의 세 가지 상이한 조합이 작은 손, 평균 손 및 큰 손을 위해 제공된다. 각 조합은 그 자신의 최대 거리 역치 dmax, 최소 거리 역치 dmin, 및 중립 거리를 지니며, 각 조합에서 커넥터(210)의 길이는 상이하다.For a particular set of sensors and connectors, the maximum distance threshold dmax, the minimum distance threshold dmin, and the neutral distance are determined empirically. In one aspect, three different combinations of sensor and connector are provided for the small hand, the average hand, and the large hand. Each combination has its own maximum distance threshold dmax, minimum distance threshold dmin, and neutral distance, and the length of
과정(930)은 거리 dval를 최소 거리 역치 dmin와 비교한다. 이 비교에서 거리 dval가 최소 거리 역치 dmin 미만이라고 밝혀진다면, 그립 닫힘 거리 d는 최소 역치 거리 dmin로 설정된다. 다른 경우, 과정(930)은 거리 dval를 최대 거리 역치 dmax와 비교한다. 이 비교에서 거리 dval가 최대 거리 역치 dmax를 초과한다고 밝혀진다면, 그립 닫힘 거리 d는 최대 역치 거리 dmax로 설정된다. 다른 경우, 그립 닫힘 거리 d는 거리 dval로 설정된다.The
그립 닫힘 거리 d를 결정하기 위해서 거리 dval에 대해 수행된 시험은 다음과 같이 요약된다:The test performed on the distance dval to determine the grip closure distance d is summarized as follows:
다음에, 과정(930)에서, 그립 닫힘 변수 ggrip가 생성된다:Next, in
따라서, 최대 거리 역치 dmax와 거리 d0 사이의 그립 닫힘 거리 d는 0과 1 사이의 값에 따라 맵핑된다. 최소 거리 역치 dmin와 거리 d0 사이의 그립 닫힘 거리 d는 -1과 0 사이의 값에 따라 맵핑된다.Therefore, the grip closing distance d between the maximum distance threshold value dmax and the distance d0 is mapped according to a value between 0 and 1. The grip closure distance d between the minimum distance threshold value dmin and the distance d0 is mapped according to a value between -1 and 0.
집게손가락(292B)과 엄지손가락(292A)가 커넥터(210)(도 2a)에 의해서 허용되는 최대 범위로 분리되었을 때 그립 닫힘 변수 ggrip에 대해 1의 값이 얻어진다. 집게손가락(292B)의 끝과 엄지손가락(292A)의 끝이 가볍게 닿았을 때(도 2c) 그립 닫힘 변수 ggrip에 대해 0의 값이 얻어진다. 0에서 1 사이의 범위의 값은 종속 수술 기구의 단부 작동기의 집게부의 열림/닫힘을 제어한다. 집게손가락(292B)과 엄지손가락(292A)이 맞닿고, 커넥터(210)가 집게손가락(292B)과 집게손가락(292A) 사이에서 충분히 압축되었을 때 그립 닫힘 변수 ggrip에 대해 -1의 값이 얻어진다(도 2d). 0에서 -1 사이의 범위의 값은 단부 작동기의 닫힌 집게부의 집게 힘을 제어한다. 커넥터(210)는 집게부 닫힘에 대한 피동적 촉각적 단서를 제공한다.A value of 1 is obtained for the grip closing parameter ggrip when the
두 범위 중 하나에 있는 값에 따라 그립 닫힘 거리 d를 맵핑하는 이 예는 단지 예시일 뿐이며, 제한을 의도하지 않는다. 이 예는 그립 닫힘 변수 ggrip의 제 1 범위에 있는 값에 따라 그립 닫힘 거리 d를 맵핑하여 그립 닫힘 거리 d가 중립 거리 d0보다 클 경우 종속 수술 기구의 단부 작동기의 집게부의 열림/닫힘을 제어하는 것을 예시한다. 여기서, "열림/닫힘"은 집게부의 열림과 닫힘을 의미한다. 그립 닫힘 거리 d가 그립 닫힘 변수 ggrip의 제 2 범위에 있는 값에 따라 맵핑되고, 그립 닫힘 거리 d가 중립 거리 d0 미만일 때는 단부 작동기의 닫힌 집게부의 집게 힘을 제어할 수 있다.This example of mapping the grip closure distance d according to a value in one of the two ranges is only an example, and is not intended to be limiting. This example maps the grip closure distance d according to the value in the first range of the grip closure parameter ggrip to control the opening / closing of the gripper portion of the end effector's distal actuator when the grip closure distance d is greater than the neutral distance d0 For example. Here, "open / closed" means opening and closing of the gripper. The grip closure distance d is mapped according to a value in the second range of the grip closure parameter ggrip and the grip force of the closed gripper portion of the end actuator can be controlled when the grip closure distance d is less than the neutral distance d0.
따라서, 과정(820)은 데이터(821)에 저장된 제어 포인트 위치 및 배향(Pcp, Rcp) 및 그립 닫힘 변수 ggrip에 따라 집게손가락 위치 및 배향(Pindex,Rindex)와 엄지손가락 위치 및 배향(Pthumb,Rthumb)을 맵핑했다. 과정(820)은 전역 좌표에 따른 맵핑 과정(830)(도 8)으로 진행한다.Thus, the
전역 좌표에 따른 맵핑 과정(830)은 데이터(821)를 수신하고, 전역 좌표 시스템에 따라 데이터(821)를 맵핑한다(전역 좌표 시스템(670)(도 6a) 참조). 구체적으로, 제어 포인트 위치 및 배향(Pcp, Rcp) 및 그립 닫힘 변수 ggrip가 4x4 균등 변환 을 이용하여 전역 좌표 제어 포인트 위치 및 배향(Pcp_wc, Rcp_wc)에 따라 맵핑되며, 이것은 전역 좌표 시스템(670)의 좌표에 따라 추적자 좌표 시스템 (700)(도 7b)의 좌표를 맵핑하는데, 예를 들어 다음과 같다: The
여기서,here,
는 전역 좌표 wc에서의 배향에 따라 추적자 좌표 tc에서 배향을 맵핑하고, Maps the orientation at the tracer coordinate tc according to the orientation at the global coordinate wc,
는 전역 좌표 wc에서의 위치에 따라 추적자 좌표 tc에서 위치를 옮긴다. 그립 닫힘 변수 ggrip는 이 맵핑에 의해 변화되지 않는다. 전역 좌표 wc의 데이터는 데이터(831)로서 저장된다. 과정(830)은 눈 좌표에 따른 맵핑 과정(840)으로 진행한다. Moves the position from the tracer coordinate tc according to the position in the global coordinate wc. The grip closure variable ggrip is not changed by this mapping. The data of the global coordinate wc is stored as the
눈 좌표에 따른 맵핑 과정(840)은 전역 좌표 wc의 데이터(831)를 수신하고, 눈 좌표 시스템에 따라 데이터(831)를 맵핑한다(눈 좌표 시스템(660)(도 6a) 참조). 구체적으로, 전역 좌표 제어 포인트 위치 및 배향(Pcp_wc, Rcp_wc) 및 그립 닫힘 변수 ggrip가 4x4 균등 변환 을 이용하여 눈 좌표 제어 포인트 위치 및 배향(Pcp_ec, Rcp_ec)에 따라 맵핑되며, 이것은 눈 좌표 시스템(660)의 좌표에 따라 전역 좌표 시스템(670)(도 6a)의 좌표를 맵핑하는데, 예를 들어 다음과 같다: The
여기서,here,
는 눈 좌표 ec에서의 배향에 따라 전역 좌표 wc에서 배향을 맵핑하고, Maps the orientation in the global coordinate wc according to the orientation at the eye coordinate ec,
는 눈 좌표 ec에서의 위치에 따라 전역 좌표 wc에서 위치를 옮긴다. Moves the position in the global coordinate wc according to the position at the eye coordinate ec.
다시, 그립 닫힘 변수 ggrip는 이 맵핑에 의해 변화되지 않는다. 눈 좌표의 데이터는 데이터(841)로서 저장된다. 과정(840)은 속도 생성 과정(850)으로 진행한다.Again, the grip closure variable ggrip is not changed by this mapping. The data of the eye coordinates is stored as the
과정(800)에서, 맵핑 과정(830 및 840)은 다만 예시를 쉽게 하기 위해서 두 상이한 과정으로서 설명된다. 한 양태에서는, 맵핑 과정(830 및 840)이 조합되며, 이로써 추적자 좌표 tc의 제어 포인트 데이터가 4x4 균등 변환 을 이용하여 눈 좌표 ec의 데이터에 따라 직접 맵핑되고, 이것은 눈 좌표 시스템(660)의 좌표에 따라 추적자 좌표 시스템(650)(도 6a)의 좌표를 맵핑하는데, 예를 들어 다음과 같다:In
이 양태에서, 눈 좌표에서 제어 포인트의 위치 Pcp_ec는 In this aspect, the position Pcp_ec of the control point in eye coordinates is
이고, 눈 좌표에서 제어 포인트의 배향 Rcp-ec는 , And the orientation Rcp-ec of the control point in the eye coordinates is
이다.to be.
일부 양태에서, 전역 좌표 맵핑이 제거될 수 있다. 이 경우, 제어 포인트 데이터는 전역 좌표 시스템을 이용하지 않고 추적 좌표 시스템으로부터 눈 좌표 시스템에 바로 맵핑된다.In some aspects, the global coordinate mapping can be eliminated. In this case, the control point data is directly mapped from the tracking coordinate system to the eye coordinate system without using the global coordinate system.
원격조종을 위해서는 위치, 배향 및 속도가 필요하다. 따라서, 속도 생성 과정(850)이 필요한 속도를 생성한다. 속도는 여러 방식으로 생성될 수 있다. 관성 및 자이로스코프 센서와 같은 일부 실시형태는 차등적 신호를 직접 측정해서 제어 포인트의 선속도 및 각속도를 생성할 수 있다. 속도가 직접 측정될 수 없다면, 한 양태에서는 과정(850)이 눈 좌표 시스템의 위치 측정값들로부터 속도를 추산한다.Position, orientation and speed are required for remote control. Thus, the
속도는 샘플링 간격에 걸쳐서 눈 좌표 시스템의 유한한 상위점들을 이용해서 추산될 수 있다. 예를 들어, 선속도 Vcp_ec는 다음과 같이 추산되고,The velocity can be estimated using the finite higher points of the eye coordinate system over the sampling interval. For example, the linear velocity Vcp_ec is estimated as follows,
각속도 ωcp_ec는 다음과 같이 추산된다:The angular velocity ωcp_ec is estimated as follows:
속도 생성 과정(850)의 다른 양태에서, 제어 포인트 선속도 Vcp_tc 및 제어 포인트 각속도 ωcp_tc가 추적자 좌표 시스템(750)(도 7)의 추적자 좌표에서 감지된다. 이 양태에서, 직접 감지된 제어 포인트 선속도 Vcp_tc 및 직접 감지된 제어 포인트 각속도 ωcp_tc는 회전 을 사용해서 추적자 좌표 시스템(750)으로부터 눈 좌표 시스템(660)으로 회전된다. 구체적으로, 상기 정의된 회전 맵핑을 사용하면 다음과 같이 된다: In another aspect of the
속도 생성 과정(850)은 제어 명령 전송 과정(860)으로 진행한다. 과정(860)은 위치, 배향, 속도, 및 데이터(851)로서 저장된 그립 닫힘 변수에 기초하여 종속 수술 기구에 적절한 시스템 제어 명령을 전송한다. The
한 양태에서, 과정 810에서 850은 핸드 트래킹 컨트롤러(130)(도 1)에 의해서 수행된다. 컨트롤러(130)는 프로세서(131) 상에서 손가락 추적 모듈(135)을 실행시켜 과정 810에서 850을 수행한다. 이 양태에서, 손가락 추적 모듈(135)은 메모리(132)에 저장된다. 과정(850)은 시스템 사건을 시스템 컨트롤러(140)로 전송하고, 이것은 이어서 과정(860)을 수행한다.In one aspect, steps 810 through 850 are performed by the hand tracking controller 130 (FIG. 1). The
핸드 트래킹 컨트롤러(130) 및 시스템 컨트롤러(140)가 하드웨어, 프로세서 상에서 실행될 수 있는 소프트웨어, 및 펌웨어의 어떤 조합에 의해서 실제로 실시될 수 있다는 것이 인정되어야 한다. 또한, 이들 컨트롤러의 기능은, 본원에 설명된 대로, 단일 유닛에 의해 수행될 수 있거나, 상이한 구성요소들에 분할될 수 있으며, 각 구성요소는 하드웨어, 프로세서 상에서 실행될 수 있는 소프트웨어, 및 펌웨어의 어떤 조합에 의해서 실시될 수 있다. 상이한 구성요소들에 분할되었을 때, 구성요소들은 한 장소에 집중될 수 있거나, 또는 분산 처리 목적을 위해서 시스템(100) 전체에 분산될 수 있다.It should be appreciated that the
제스처 손 포즈 및 제스처 궤적 제어의 과정The process of gesture hand pose and gesture trajectory control
도 10은 시스템(100)의 손 제스처 포즈와 손 제스처 궤적 제어의 과정(1000)의 한 양태에 대한 과정 순서도이다. 상기 설명된 한 양태에서, 손 제스처 포즈 인식 과정(1050)은 다-방향성 베이지안 분류기를 이용하고, 손 제스처 궤적 인식 과정(1060)은 분리된 은닉 마르코프 모델 Λ을 이용한다. 10 is a process flow diagram for one embodiment of a hand gesture pose of
상기 설명된 대로, 도 3a-3d는 손 제스처 포즈의 예이다. 손 제스처 포즈 인식 과정(1050)을 훈련하기 위해, 여러 개의 손 제스처 포즈가 특정된다. 이용되는 손 제스처 포즈의 수는 인식 과정(1050)에 의해 분명하게 확인될 수 있는 특유의 포즈를 한정할 수 있는 능력, 및 상이한 손 제스처 포즈 각각을 의사가 기억하고 믿을만하게 재현할 수 있는 능력에 의해서 제한된다.As described above, Figures 3a-3d are examples of hand gesture pose. In order to train the hand gesture pose recognition process (1050), several hand gesture pauses are specified. The number of hand gesture pauses used is dependent on the ability to define a unique pose that can be clearly identified by the
손 제스처 포즈를 한정하는 것에 더해서, 복수의 특징 fi를 포함하는 특징 세트가 한정되며, 여기서 i는 1에서 n까지의 범위이다. 수 n은 사용된 특징의 수이다. 특징의 수와 종류는 허용가능한 포즈 세트 안의 손 제스처 포즈 각각이 정확하게 확인될 수 있도록 선택된다. 한 양태에서, 수 n은 6이다.In addition to defining a hand gesture pose, a feature set comprising a plurality of features fi is defined, where i ranges from 1 to n. The number n is the number of features used. The number and types of features are selected so that each of the hand gesture pose in the allowable pose set can be accurately identified. In one embodiment, the number n is six.
다음은 n의 특징을 가진 한 특징 세트의 예이다.The following is an example of a feature set with n features.
특징 f1은 집게손가락(292B)의 포인팅 방향 과 엄지손가락(292A)의 포인팅 방향 의 내적이다. 특징 f2는 집게손가락(292B)과 엄지손가락(292A) 사이의 거리이다. 특징 f3은 집게손가락(292B)의 포인팅 방향 상에 돌출된 엄지손가락(292A)의 거리이다. 특징 f4는 집게손가락(292B)의 포인팅 방향 을 따른 축으로부터 엄지손가락(292A)의 거리이다. 특징 f5는 엄지손가락(292A)의 포인팅 방향 의 Z-성분이다. 특징 fn은 엄지손가락(292A)의 엄지손가락 정규 벡터 와 집게손가락(292B)의 포인팅 방향 의 내적이다.The feature f1 is the pointing direction of the
방법(1000)을 사용하기 전에, 손 제스처 포즈의 트레이닝 데이터베이스를 개발할 필요가 있다. 여러 명의 상이한 사용자가 적어도 한 번 각 손 제스처 포즈를 생성하고, 각 사용자의 각 손 제스처 포즈에 대한 위치 및 배향 데이터가 추적 시스템을 사용하여 측정된다. 예를 들어, 그룹 내의 각 사람이 허용가능한 손 제스처 포즈를 각각 만든다. 집게손가락과 엄지손가락 위치 및 배향(Pindex,Rindex), (Pthumb,Rthumb)이 그룹 내 각 사람의 손 제스처 포즈에 대해 트레이닝 데이터베이스에 저장된다.Before using
트레이닝 데이터베이스를 사용하여, 특징 세트 {fi}가 각 사용자별로 각 손 제스처 포즈에 대해 생성된다. 다음에, 각 손 제스처 포즈에 대한 훈련 특징 벡터의 세트를 사용하여 평균 및 공분산 을 계산할 수 있다.Using the training database, a feature set {fi} is generated for each hand gesture pose for each user. Next, using a set of training feature vectors for each hand gesture pose, And covariance Can be calculated.
따라서, 트레이닝 데이터베이스를 사용하여 각 훈련된 제스처에 대한 특징 벡터 평균 및 공분산을 얻을 수 있다. 또한, 각 손 제스처 포즈에 대해, 마할라노비스 거리 d(fi)(하기 논의 참조)가 각 훈련자에 대해 생성되고, 각 손 제스처 포즈에 대해 최대 마할라노비스 거리 d(fi)가 해당 손 제스처 포즈에 대한 역치로서 저장된다.Thus, the training database can be used to obtain feature vector averages and covariances for each trained gesture. In addition, for each hand gesture pose, a Mahalanobis distance d (fi) (see discussion below) is generated for each trainer and a maximum Mahalanobis distance d (fi) for each hand gesture pose is generated for each hand gesture pose Lt; / RTI >
또한, 마할라노비스 거리 측정을 이용해서 모든 훈련된 제스처가 사용된 주어진 특징 세트에 대해 충분히 상이하고 명확한지를 검증할 수 있다. 이것은 주어진 제스처의 특징 벡터 평균 및 모든 다른 허용가능한 제스처 포즈의 특징 벡터 평균의 마할라노비스 거리를 시험함으로써 달성될 수 있다. 이 시험 거리는 해당 주어진 제스처에 사용된 최대 훈련 거리 역치보다 훨씬 더 커야 한다.In addition, Mahalanobis distance measurements can be used to verify that all trained gestures are sufficiently different and distinct for a given set of features used. This means that the feature vector averages of a given gesture And by testing the Mahalanobis distance of the feature vector mean of all other acceptable gesture poses. This test distance should be much larger than the maximum training distance threshold used for the given gesture.
당업자에게 알려진 대로, 은닉 마르코프 모델의 내용은 2개 모델 변수 N, M 및 3개 확률 측정값 A, B, π를 필요로 한다. 은닉 마르코프 모델 Λ은 다음과 같다:As is known to those skilled in the art, the content of the hidden Markov model requires two model variables N, M and three probability measures A, B, [pi]. The hidden Markov model Λ is as follows:
Λ = (A, B, π)Λ = (A, B, π)
모델 변수 N은 모델 내의 상태의 수이고, 모델 변수 M은 상태당 관찰 기호의 수이다. 3개의 확률 측정값은 상태 전이 확률 분포 A, 관찰 제스처 확률 분포 B, 및 초기 상태 분포 π이다.The model variable N is the number of states in the model, and the model variable M is the number of observation symbols per state. The three probability measures are the state transition probability distribution A, the observation gesture probability distribution B, and the initial state distribution pi.
분리된 은닉 마르코프 모델의 한 양태에서, 전이 확률 분포 A는 N X N 행렬이다. 관찰 제스처 확률 분포 B는 N X M 행렬이고, 초기 상태 분포 π는 N X 1 행렬이다.In one aspect of the separate hidden Markov model, the transition probability distribution A is an N X N matrix. The observation gesture probability distribution B is an N X M matrix, and the initial state distribution π is an
관찰 순서 O와 은닉 마르코프 모델 Λ이 주어지면, 주어진 은닉 마르코프 모델 Λ에서 관찰 순서 O의 확률, 즉 P(O│Λ)가 과정(1000)에서 평가되며, 이것은 아래 더 완전히 설명된다.Given the observation order O and the Hidden Markov Model Λ, the probability of the observation order O in a given Hidden Markov Model Λ, P (O ||), is evaluated in
은닉 마르코프 모델 Λ에 대한 확률 분포를 생성하기 위해서는 트레이닝 데이터베이스가 필요하다. 트레이닝 데이터베이스를 얻기 전에 한 세트의 손 제스처 궤적이 특정된다.A training database is required to generate the probability distribution for the hidden Markov model Λ. A set of hand gesture trajectories is specified prior to obtaining the training database.
각각의 손 제스처 궤적을 만들기 위해 여러 명의 시험 대상 j가 선택된다. 도 4c에서는 16개의 손 제스처 궤적이 2-차원 투사된 형태로 제시되지만, 다양한 손 제스처 궤적을 수행할 때 시험 대상들은 구속되지 않으며, 이로써 일부 3-차원적 변화가 발생할 수 있다. 한 양태에서, 각 대상은 각 손 제스처 궤적을 k 회 수행했고, 이것은 손 제스처 궤적당 j*k의 훈련 순서를 생성한다.Several test objects j are selected to make each hand gesture trajectory. In FIG. 4c, 16 hand gesture trajectories are presented in a two-dimensional projected form, but when performing various hand gesture trajectories, the test subjects are not constrained, which may result in some three-dimensional changes. In one embodiment, each target has performed each hand gesture trajectory k times, which generates a training sequence of j * k per hand gesture trajectory.
한 양태에서, 분리된 좌우 은닉 마르코프 모델이 사용되었다. 은닉 마르코프 모델 Λ은 확률 P(O│Λ)이 반복되는 Baum-Welch 방법을 사용하여 국소적으로 최대화되도록 선택되었다. 예를 들어, Lawrence R. Rabiner, "은닉 마르코프 모델에 대한 지도 및 속도 인식에서의 선택된 용도", Proceedings of the IEEE, Vol. 77, No. 2, pp. 257-286 (Feb. 1989)를 참조하며, 이것은 당업자에게 은닉 마르코프 모델에 대한 이해를 제시하기 위해서 본원에 참고자료로 포함된다. 한 양태에서, 3회의 연속 반복에서 모델이 0.1% 이내에 수렴했을 때 반복되는 방법이 중단되었다.In one embodiment, separate left and right hysteresis Markov models were used. The hidden Markov model Λ was chosen to maximize locally using the Baum-Welch method, in which probability P (O | Λ) is repeated. For example, Lawrence R. Rabiner, "Selected Applications in Mapping and Velocity Recognition for Hidden Markov Models ", Proceedings of the IEEE, Vol. 77, No. 2, pp. 257-286 (Feb. 1989), which is incorporated herein by reference in its entirety for the purpose of presenting an understanding of the hidden Markov model to those skilled in the art. In one embodiment, the iterative method ceased when the model converged within 0.1% in three consecutive iterations.
초기 상태 확률 π는 모델이 항상 상태 1에서 시작하도록 설정되었다. 전이 확률 행렬 A는 무작위 엔트리로 개시되었고, 이것은 일렬씩 내림차순으로 저장되었다. 좌우 구조를 강화하기 위해서, 전이 확률 행렬 A의 아래쪽 대각선의 모든 엔트리는 0으로 설정되었다. 또한, 엔트리를 0으로 설정함으로써 2를 넘는 전이 상태는 허용되지 않았으며, 이 경우 모든 열 i와 행 j에 대해 (i-j)>2이다. 전이 확률 행렬 A는 일렬씩 말단에서 정규화되었다.The initial state probability π is set so that the model always starts in
관찰 확률 행렬 B에 대한 초기화는 원하는 수의 상태에 기초하여 균등하게 관찰 순서를 분배했다. 따라서, 각 상태는 처음에 국소 빈도 수에 기초한 확률로서 하나 이상의 기호를 관찰할 수 있다. 이 행렬은 또한 일렬씩 정규화되었다. 예를 들어, N. Liu, R.I.A. Davis, B.C. Lovell, P.J. Kootsookos, "제스처 인식을 위한 다중 순서 트레이닝에서 초기 HMM 선택의 효과", International Conference on Information Technology, 5-7, Las Vegas, pgs 608-613 (April 2004)를 참조하며, 이것은 당업자에게 알려진 은닉 마르코프 모델에 대한 초기화 과정을 제시하기 위해서 본원에 참고자료로 포함된다. 은닉 마르코프 모델이 각각의 손 제스처 궤적에 대해 개발되었다.The initialization of the observation probability matrix B distributed the observation orders evenly based on the desired number of states. Thus, each state can initially observe one or more symbols as a probability based on the number of local frequencies. This matrix was also normalized in series. For example, N. Liu, R.I.A. Davis, B.C. Lovell, P.J. See Kootsookos, " The Effect of Initial HMM Selection in Multi-Order Training for Gesture Recognition ", International Conference on Information Technology, 5-7, Las Vegas, pgs 608-613 (April 2004), which teaches a hidden Markov model As a reference for the present invention. Hidden Markov models were developed for each hand gesture trajectory.
방법(1000)으로 돌아가서, 제스처 모드 가능 체크 과정(1001)은 의사가 시스템(100)의 제스처 인식 작동 모드를 가동했는지를 결정한다. 한 양태에서, 제스처 인식 모드를 가동하기 위해서, 의사는 의사 콘솔(185)(도 1a)의 풋 페달을 누른다. 제스처 인식 모드가 가동되면, 체크 과정(1001)은 손 위치 데이터 수신 과정(1010)으로 진행하고, 그렇지 않다면 되돌아감(1002)을 통해 되돌아간다.Returning to
손 위치 데이터 수신 과정(1010)은 의사에 의해 만들어진 제스처에 대해 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)을 수신한다. 상기 주지된 대로, 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)은 추적 시스템으로부터의 데이터에 기초한다. 과정(1010)은 특징 생성 과정(1011)으로 진행한다. The hand position
특징 생성 과정(1011)에서, 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)을 사용하여 관찰된 특징 벡터 fi_o에서 각 특징 f1_o 내지 fn_o를 생성한다. 특징 생성 과정(1011)은 특징을 기지의 포즈와 비교 과정(1012)으로 진행한다. In the
특징을 기지의 포즈와 비교 과정(1012)은 관찰된 특징 벡터 fi_o를 각 포즈에 대한 훈련된 특징 세트 {fi}와 비교한다. 이 과정은 관찰된 특징 벡터가 특정 손 제스처 포즈의 경우에 트레이닝 데이터 세트 특징 세트 {fi} 내에 포함될 가능성, 즉 트레이닝 데이터 세트에 상응할 가능성을 결정한다. 이것은 다음과 같이 표현될 수 있다: A
여기서, 트레이닝 데이터 세트 특징 세트 {fi}는 오브젝트 클래스 Ω에 기초한다.Here, the training data set feature set {fi} is based on the object class?.
이 예에서, 확률 은 다음과 같다:In this example, Is as follows:
여기서, N은 특징 벡터의 차원수, 예를 들어 상기 예에서는 n이다.Here, N is the number of dimensions of the feature vector, for example n in the above example.
이 확률을 특정하는데 사용된 통계는 마할라노비스 거리 d(fi_o)이며, 이것은 다음과 같이 정의된다:The statistic used to specify this probability is the Mahalanobis distance d (fi_o), which is defined as:
여기서 이다. 마할라노비스 거리는 당업자에게 알려져 있다. 예를 들어, Moghadam, Baback and Pentland, Alex, "확률적 비주얼 러닝 또는 오브젝트 표상", IEEE Transactions On Pattern Analysis and Machine Intelligence, Vol. 19, No. 7, pp. 696 to 710 (July 1997)을 참조하며, 이것은 본원에 참고자료로 포함된다.here to be. Mahalanovis Street is known to those skilled in the art. For example, Moghadam, Baback and Pentland, Alex, "Stochastic Visual Running or Object Representation ", IEEE Transactions On Pattern Analysis and Machine Intelligence, Vol. 19, No. 7, pp. 696 to 710 (July 1997), which is incorporated herein by reference.
공분산 의 고유벡터 Φ와 고유값 Λ을 사용하면, 이 대각선화된 형태에 사용되고, 이때 마할라노비스 거리 d(fi_o)는 다음과 같다:Covariance ≪ / RTI > and the eigenvalue < RTI ID = 0.0 & Is used for this diagonalized form, where Mahalanobis distance d (fi_o) is:
여기서 이다. 대각선화된 형태는 마할라노비스 거리 d(fi_o)가 합계의 항으로 표시될 수 있도록 한다:here to be. The diagonalized form allows the Mahalanobis distance d (fi_o) to be expressed in terms of the sum:
이 예에서, 이것은 마할라노비스 거리 d(fi_o)를 결정하기 위해 평가되는 식이다. 따라서, 과정(1011)은 마할라노비스 거리 d(fi_o)를 생성한다. 완료시 과정(1012)은 포즈 선택 과정(1013)으로 진행한다.In this example, this is an expression that is evaluated to determine Mahalanobis distance d (fi_o). Thus, the
포즈 선택 과정(1013)에서, 마할라노비스 거리 d(fi_o)가 해당 손 제스처 포즈에 대한 트레이닝 데이터베이스에서 최대 마할라노비스 거리 미만이면, 최소 마할라노비스 거리 d(fi_o)를 갖는 손 제스처 포즈가 선택된다. 마할라노비스 거리 d(fi_o)가 해당 손 제스처 포즈에 대한 트레이닝 데이터베이스에서 최대 마할라노비스 거리를 초과하면, 손 제스처 포즈는 선택되지 않는다. 포즈 선택 과정(1012)은 시간 필터 과정(1014)으로 진행한다. In the
시간 필터 과정(1014)은 과정(1013)의 결과가 정해진 회수 계속 동일한 결과를 제공했는지를 결정한다. 과정(1013)이 정해진 회수 동안 동일한 결과를 제공했다면, 시간 필터 과정(1014)은 제스처 포즈 체크 과정(1015)으로 진행하고, 그렇지 않다면 되돌아간다. 정해진 회수는 시간 필터 과정(1014)이 손 제스처 포즈를 전환할 때 진동이나 일시적 검출을 방지할 수 있도록 선택된다. The
제스처 포즈 체크 과정(1015)은 선택된 손 제스처 포즈가 손 제스처 궤적에 사용된 손 제스처 포즈인지를 결정한다. 선택된 손 제스처 포즈가 손 제스처 궤적에 사용된 손 제스처 포즈라면, 제스처 포즈 체크 과정(1015)은 속도 순서 생성 과정(1020)으로 진행하고, 그렇지 않다면 과정은 포즈 변화 체크 과정(1016)으로 진행한다. The gesture pose
포즈 변화 체크 과정(1016)은 손 제스처 포즈가 방법(1000)을 마지막으로 통과하고서 변했는지를 결정한다. 선택된 손 제스처 포즈가 바로 이전의 시간 필터된 손 제스처 포즈 결과와 동일하면, 포즈 변화 체크 과정(1016)은 되돌아감(1003)을 통해 되돌아가고, 그렇지 않다면 시스템 사건에 따라 맵핑 과정(1030)으로 진행한다. The pose
시스템 사건에 따라 맵핑 과정(1030)은 선택된 손 제스처 포즈를 시스템 사건에 따라 맵핑하는데, 예를 들어 손 제스처 포즈에 할당된 시스템 사건이 검색된다. 시스템 사건을 찾으면, 시스템 사건에 따라 맵핑 과정(1030)은 시스템 사건 제공 과정(1031)으로 진행한다. Depending on the system event, the
한 양태에서, 시스템 사건 제공 과정(1031)은 시스템 사건을 시스템 컨트롤러(140)(도 1)의 사건 취급장치로 전송한다. 시스템 사건에 응하여, 시스템 컨트롤러(140)는 적절한 시스템 명령을 시스템(100)의 컨트롤러 및/또는 다른 장치로 전송한다. 예를 들어, 손 제스처 포즈가 사용자 인터페이스 켜기 사건에 할당되면, 시스템 컨트롤러(140)는 사용자 인터페이스를 켜라는 명령을 디스플레이 컨트롤러(150)에 전송한다. 디스플레이 컨트롤러(150)는 프로세서(151) 상에서 사용자 인터페이스를 켜는데 필요한 사용자 인터페이스 모듈(155)의 부분을 실행한다.In one aspect, the system
손 제스처 포즈가 궤적을 만드는데 사용된 손 제스처 포즈일 때, 방법(1000)에서 처리 과정은 제스처 포즈 체크 과정(1015)에서 속도 순서 생성 과정(1020)으로 진행한다. 한 양태에서, 손 제스처 궤적 인식을 위해 사용된 주요 특징은 단위 속도 벡터이다. 단위 속도 벡터는 제스처의 출발 위치에 따라 불변이다. 또한, 정규 속도 벡터가 제스처의 크기나 속도의 변동을 설명한다. 따라서, 과정(1020)에서, 제어 포인트 샘플이 정규 제어 포인트 속도 순서로, 즉 단위 속도 벡터의 순서로 전환된다:When the hand gesture pose is a hand gesture pose used to create the trajectory, the
속도 순서 생성 과정(1020)의 완료시, 과정(1020)은 속도 순서를 기호 순서로 전환 과정(1021)으로 진행한다. 상기 주지된 대로, 분리된 은닉 마르코프 모델 Λ은 입력으로서 분리된 기호의 순서를 요구한다. 과정(1021)에서, 분리된 기호들이 벡터 양자화를 통해 정규 제어 포인트 속도 순서로부터 생성된다.Upon completion of the speed
한 양태에서, 벡터 양자화는 변형된 K-평균 클러스터링을 이용하여 수행되었으며, 이때 조건은 클러스터링이 중단 변화를 배정하면 과정을 멈추는 것이었다. K-평균 클러스터링이 사용되지만, 이 과정은 특징이 단위 벡터라는 사실이 중요하다. 이 경우, 방향이 유사한 벡터들이 모집된다. 이것은 유사성 계량으로서 각 단위 특징 벡터와 정규 클러스터 중심 벡터 사이의 내적을 사용하여 행해진다.In one aspect, vector quantization was performed using modified K-means clustering, where the condition was to stop the process when the clustering assigned a pause change. Although K-means clustering is used, it is important that this process is a unit vector. In this case, vectors with similar directions are recruited. This is done using an inner product between each unit feature vector and a regular cluster center vector as a similarity metric.
클러스터링은 32 클러스터까지 벡터의 무작위 배정으로 개시되며, 전체 과정은 여러 번 반복되고, 최대 전체 "내부" 클러스터 비용 계량에 기초하여 최상의 클러스터링 결과가 선택된다. 이 경우, "내부" 클러스터 비용은 유사성의 기준에 기초한다는 것을 주지한다. 결과의 클러스터에는 각각 특유의 지수가 할당되고, 이것이 은닉 마르코프 모델의 기호로서 사용된다. 다음에, 입력 벡터가 그것의 가장 가까운 클러스터 평균에 따라 맵핑되고, 해당 클러스터의 상응하는 지수가 기호로서 사용된다. 이 방식에서, 단위 속도 벡터의 순서가 지수 또는 기호의 순서로 번역될 수 있다.Clustering is initiated with random assignment of the vector up to 32 clusters, the entire process is repeated several times, and the best clustering results are selected based on the maximum overall "internal" cluster cost metric. It is noted that in this case, the "internal" cluster cost is based on the criteria of similarity. Each cluster of results is assigned a unique index, which is used as a symbol of the hidden Markov model. Next, the input vector is mapped according to its closest cluster mean, and the corresponding exponent of the cluster is used as a symbol. In this way, the order of the unit velocity vectors can be translated in the order of exponentiation or sign.
한 양태에서, 클러스터된 벡터들에는 고정된 8-방향 2-차원 벡터 양자화 코드북에 기초하여 기호가 할당되었다. 따라서, 과정(1020)은 관찰된 기호 순서를 생성하고, 제스처 확률 생성 과정(1023)으로 진행한다.In one version, the clustered vectors were assigned symbols based on a fixed 8-way two-dimensional vector quantization codebook. Thus, the
한 양태에서, 제스처가 관찰된 기호 순서에 상응하는지 결정하기 위해, 제스처 확률 생성 과정(1023)은 은닉 마르코프 모델을 가진 전향 회귀 알고리즘을 이용해서 각 제스처가 관찰된 기호 순서와 일치할 확률을 찾는다. 전향 회귀 알고리즘은 Rainer, "은닉 마르코프 모델에 대한 지도 및 속도 인식에서의 선택된 용도"에 설명되며, 이것은 참고자료로 본원에 포함된다. 제스처 확률 생성 과정(1023)의 완료시, 처리 과정은 궤적 선택 과정(1024)으로 진행한다.In one aspect, to determine if a gesture corresponds to an observed symbol order, the gesture
궤적 선택 과정(1024)에서, 허용가능한 은닉 마르코프 모델 궤적 제스처 모델들 중에서 최대 확률을 가진 손 제스처 궤적이 선택된다. 또한, 이 확률은 수용될 수 있는 주어진 역치보다 커야 한다. 최대 확률이 역치 이하라면, 손 제스처 궤적이 선택되지 않는다. 이 역치는 잘못된 인식을 피하면서 인식 정확성을 최대화할 수 있도록 조율되어야 한다. In the
완료시, 궤적 선택 과정(1024)은 궤적 발견 체크 과정(1025)으로 진행한다. 궤적 선택 과정(1024)이 손 제스처 궤적을 선택했다면, 궤적 발견 체크 과정(1025)은 시스템 사건에 따라 맵핑 과정(1030)으로 처리 과정이 진행하고, 그렇지 않다면 되돌아감(1004)을 통해 되돌아간다.Upon completion, the
시스템 사건에 따라 맵핑 과정(1030)은 시스템 사건에 따라 선택된 손 제스처 궤적을 맵핑하는데, 예를 들어 손 제스처 궤적에 배정된 시스템 사건이 검색된다. 시스템 사건을 찾으면, 시스템 사건에 따라 맵핑 과정(1030)이 시스템 사건 제공 과정(1031)으로 진행한다. Depending on the system event, the
한 양태에서, 시스템 사건 제공 과정(1031)은 시스템 컨트롤러(140)(도 1)의 사건 취급장치에 시스템 사건을 전송한다. 시스템 사건에 응해서, 시스템 컨트롤러(140)는 적절한 컨트롤러(들) 또는 장치들에 적절한 시스템 명령을 전송한다. 예를 들어, 시스템 사건이 사용자 인터페이스에서의 행동에 할당되면, 시스템 컨트롤러(140)는 사용자 인터페이스에서 그 행동을 취하라는 명령을 디스플레이 컨트롤러(150)로 전송하는데, 예를 들어 수술 부위의 화면 모드를 바꾼다.In one aspect, the system
존재 검출 과정Presence detection process
또 다른 양태에서, 상기 설명된 대로, 의사(180B)의 손의 적어도 일부의 추적된 위치를 사용하여 그 손이 주 조작기 도구 그립(621)(때로는 주 도구 그립(621)이라 불린다)에 존재하는지를 결정할 수 있다. 도 11은 한 양태에서 시스템(100)의 핸드 트래킹 컨트롤러(130)에 의해 수행되는 존재 검출의 과정(1100)의 한 양태에 대한 과정 순서도이다. 과정(1100)은 한 양태에서 의사의 손 각각에 대해 분리되어 수행된다.In another aspect, as described above, at least part of the traced position of the hand of the
조인트 각도 얻기 과정(1110)에서, 주 도구 조작기(620)(도 6b)의 조인트 각도가 측정된다. 조인트 각도 얻기 과정(1110)은 전향 운동학 생성 과정(1111)으로 진행한다. In the joint
주 도구 조작기(620)에 있는 여러 링크의 길이를 알고 있고, 주 도구 조작기(620)의 기부(629)의 위치를 알고 있으므로, 기하 관계를 이용해서 주 작업공간 좌표 시스템(680) 안에 주 도구 그립(621)의 위치를 생성할 수 있다. 따라서, 전향 운동학 생성 과정(1111)은 과정(1110)으로부터의 각도를 이용해서 주 작업공간 좌표 시스템(680) 안에 주 도구 그립(621)의 위치 Pmtm을 생성한다. 전향 운동학 생성 과정(1111)은 전역 좌표에 따라 맵핑 과정(1112)으로 진행한다.Knowing the lengths of the various links in the
전역 좌표에 따라 맵핑 과정(1112)은 전역 좌표 시스템(670)(도 6a)의 위치 Pmtm_wc에 따라 주 작업공간 좌표 시스템(680)의 위치 Pmtm을 맵핑한다. 구체적으로는 다음과 같다:According to the global coordinates, the
여기서,here,
는 4x4 균등 불변 변환이며, 이것은 전역 좌표 시스템(670)의 좌표에 따라 작업공간 좌표 시스템(680)의 좌표를 맵핑한다. 완료시, 전역 좌표에 따라 맵핑 과정(1112)은 주 도구 그립 분리에 따라 손 생성 과정(1130)으로 진행한다. Is a 4x4 uniform invariant transformation which maps the coordinates of the workspace coordinate
손 위치 데이터 수신 과정(1120)으로 다시 돌아가서, 손 위치 데이터 수신 과정(1120)은 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)을 수신한다(검색). 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)은 추적 시스템으로부터의 데이터에 기초한다. 손 위치 데이터 수신 과정(1120)은 손 위치 생성 과정(1121)으로 진행한다.Referring back to hand position
손 위치 생성 과정(1121)은 상기 설명된 대로 추적 좌표 시스템의 제어 포인트 위치 및 배향에 따라 집게손가락 위치 및 배향(Pindex,Rindex)과 엄지손가락 위치 및 배향(Pthumb,Rthumb)을 맵핑하며, 이 설명은 본원에 참고로 포함된다. 위치 Phand는 추적 좌표에서 제어 포인트의 위치이다. 손 위치 생성 과정(1121)은 전역 좌표에 따라 맵핑 과정(1122)으로 진행한다. The hand
존재 검출에서 제어 포인트 위치의 사용은 단지 예시일 뿐이며, 제한을 의도하지는 않는다. 본 내용에 비추어, 존재 검출은, 예를 들어 집게손가락 끝의 위치를 사용하고 엄지손가락 끝의 위치를 사용해서, 또는 이들 위치 중 단지 하나만 사용해서 행해질 수 있다. 하기 설명된 과정은 사람 손의 일부와 관련된 이러한 여러 위치들의 각각에 대해 동등하다.The use of control point positions in presence detection is merely exemplary and is not intended to be limiting. In view of the present disclosure, presence detection can be done, for example, using the position of the forefinger and using the position of the thumb tip, or using only one of these positions. The process described below is equivalent for each of these various positions associated with a part of a human hand.
전역 좌표에 따라 맵핑 과정(1122)은 전역 좌표 시스템(670)(도 6a)의 위치 Phand_wc에 따라 추적 좌표의 위치 Phand를 맵핑한다. 구체적으로는 다음과 같다: According to the global coordinates, the
여기서, here,
는 4x4 균등 불변 변환이며, 이것은 전역 좌표 시스템(670)의 좌표에 따라 추적 좌표 시스템(650)의 좌표를 맵핑한다. 완료시, 전역 좌표에 따라 맵핑 과정(1112)은 주 도구 그립 분리에 따라 손 생성 과정(1130)으로 진행한다. Is a 4x4 uniform invariant transformation that maps the coordinates of the tracking coordinate
주 도구 그립 분리에 따라 손 생성 과정(1130)은 전역 좌표 시스템(670)의 위치 Pmtm_wc와 전역 좌표 시스템(670)의 위치 Phand_wc 사이의 분리 거리 dsep를 생성한다. 한 양태에서, 분리 거리 dsep는 다음과 같다: According to the main tool grip separation, the
완료시, 주 도구 그립 분리에 따라 손 생성 과정(1130)은 거리 안전 체크 과정(1131)으로 진행한다.Upon completion , the
거리 안전 체크 과정(1131)은 분리 거리 dsep를 안전 거리 역치와 비교한다. 이 역치는 의사가 파지를 바꾸거나 단부 작동기의 가장 원단부를 조작할 수 있도록 계속 허용하면서 보전적이기에 충분히 작아야 한다. 분리 거리 dsep가 안전 거리 역치 미만이면, 거리 안전 체크 과정(1131)은 손 존재 온 과정(1140)으로 진행한다. 반대로, 분리 거리 dsep가 안전 거리 역치를 초과하면, 거리 안전 체크 과정(1131)은 손 존재 오프 과정(1150)으로 진행한다. The distance
손 존재 온 과정(1140)은 시스템(100)이 원격조종 중인지를 결정한다. 시스템(100)이 원격조종 중이면, 어떤 행동도 필요하지 않고, 원격조종이 계속 허용되며, 따라서 과정(1140)이 과정(1100)을 시작하는 것으로 건너뛴다. 시스템(100)이 원격조종 중이 아니면, 손 존재 온 과정(1140)은 손 존재 사건을 시스템 사건 제공 과정(1160)으로 전송하고, 이것은 차례로 손 존재 사건을 시스템 컨트롤러(140)로 전송한다. The
손 존재 오프 과정(1150)은 시스템(100)이 원격조종 상태에 있는지를 결정한다. 시스템(100)이 원격조종 상태가 아니라면, 어떤 행동도 요구되지 않고, 따라서 과정(1150)이 시작 과정(1100)으로 건너뛰게 된다. 시스템(100)이 원격조종 상태에 있다면, 손 존재 오프 과정(1150)이 손 부재 사건을 시스템 사건 제공 과정(1160)으로 전송하고, 이것은 차례로 손 부재 사건을 시스템 컨트롤러(140)로 전송한다. The hand presence off
시스템 컨트롤러(140)는 손 존재 사건 또는 손 부재 사건이 시스템 작동 모드에 어떤 변화를 요구하는지를 결정해서 적절한 명령을 발행한다. 한 양태에서, 시스템 컨트롤러(140)는 손 존재 사건에 응하여 원격조종을 가능케 하는데, 예를 들어 원격조종을 허용하고, 원격조종 최소 침습 수술 기구가 주 도구 그립에 연결된 경우에는 손 부재 사건에 응해서 원격조종을 할 수 없게 한다. 당업자에게 알려진 대로, 원격조종 최소 침습 수술 기구는 주 도구 그립에 탈착 가능하게 연결될 수 있다.The
다른 양태에서, 손 존재 사건 및 손 부재 사건이 다른 사건과 조합해서 시스템 컨트롤러(140)에 의해 사용되어 원격조종을 허용할지의 여부가 결정된다. 예를 들어, 원격조종을 허용할지의 여부를 결정하는데 있어서 의사의 머리의 존재 검출이 의사의 손 또는 손들의 존재 검출과 조합될 수 있다. In another aspect, it is determined whether the hand presence event and handoff event are used by the
유사하게, 상기 설명된 대로, 손 존재 사건 및 손 부재 사건이 시스템 컨트롤러(140)에 의해 사용되어 최소 침습 수술 시스템의 디스플레이 상에서 사용자 인터페이스의 표시를 제어할 수 있다. 시스템 컨트롤러(140)가 손 부재 사건을 수신했을 때, 사용자 인터페이스가 켜져 있지 않다면, 시스템 컨트롤러(140)는 사용자 인터페이스를 켜라는 명령을 디스플레이 컨트롤러(150)에 전송한다. 디스플레이 컨트롤러(150)는 프로세서(151) 상에서 사용자 인터페이스를 켜는데 필요한 사용자 인터페이스 모듈(155)의 부분을 실행한다. 시스템 컨트롤러(140)가 손 존재 사건을 수신했을 때, 사용자 인터페이스가 켜져 있다면, 시스템 컨트롤러(140)는 사용자 인터페이스를 끄라는 명령을 디스플레이 컨트롤러(150)에 전송한다. 디스플레이 컨트롤러(150)는 프로세서(151) 상에서 사용자 인터페이스를 끄는데 필요한 사용자 인터페이스 모듈(155)의 부분을 실행한다.Similarly, as described above, the hand presence event and handoff event can be used by the
손 존재 사건 및 손 부재 사건은 사용자 인터페이스를 표시할지의 여부를 결정하기 위해서 다른 사건과 조합하여 시스템 컨트롤러(140)에 의해 사용될 수 있다. 따라서, 사용자 인터페이스 디스플레이 제어 및 원격조종 제어는 존재 검출을 이용한 시스템 모드 제어의 예들이며, 시스템 제어를 이들 두 특정 모드에 제한하려는 의도는 아니다.The hand presence event and the handoff event may be used by the
예를 들어, 존재 검출은 아래 더 완전히 설명된 것들과 같은 프록시 비주얼의 제어에도 사용될 수 있다. 또한, 여러 모드들, 예를 들어 원격조종과 프록시 비주얼 디스플레이의 조합이 손 존재 사건 및 손 부재 사건에 기초하여 시스템 컨트롤러(140)에 의해 제어될 수 있다.For example, presence detection can also be used to control proxy visuals such as those described more fully below. In addition, various modes, e.g., a combination of remote control and proxy visual display, can be controlled by the
또한, 손 존재 검출은 주 도구 그립(621L, 621R)의 이중 용도를 제거하는데, 예를 들어 풋 페달을 민 다음, 주 도구 그립(621L, 621R)을 사용해서 의사 콘솔(185B)에 표시되는 사용자 인터페이스를 제어하는 것을 피하는데 유용하다. 주 도구 그립이 이중 용도를 가질 때, 예를 들어 수술 기구와 사용자 인터페이스의 제어에 모두 사용될 때, 의사는 전형적으로 사용자 인터페이스 작동 모드를 전환하기 위해 풋 페달을 눌러야 한다. 몇몇 이유에서 의사가 풋 페달을 누르지 못했지만, 시스템이 사용자 인터페이스 작동 모드로 전환되었다고 여겨지면, 주 도구 그립의 움직임이 수술 기구의 원치않는 동작을 가져올 수 있다. 존재 검출 과정(1100)을 사용하여 이 문제를 방지하고, 주 도구 그립의 이중 용도를 제거할 수 있다.The hand presence detection also removes the dual use of the main tool grips 621L and 621R, for example by engaging the foot pedal and then using the main tool grips 621L and 621R to position the user It is useful to avoid controlling the interface. When the main tool grip is dual-use, for example, when used both to control the surgical instrument and the user interface, the physician typically has to press the foot pedal to switch the user interface operating mode. If, for some reason, the physician did not press the foot pedal, but the system is considered switched to the user interface operating mode, movement of the main tool grip may result in undesirable operation of the surgical instrument. The
존재 검출 과정(1100)을 사용해서, 한 예에서, 손 존재 오프 사건이 시스템 컨트롤러(140)에 의해서 수신되었을 때, 시스템 컨트롤러(140)는 제자리에 주 도구 조작기(620L,620R)(도 6a)를 고정하라는 시스템 명령을 전송하고, 디스플레이 컨트롤러(150)에 의사 콘솔(185B)의 디스플레이에 사용자 인터페이스를 표시하라는 명령을 전송한다. 의사의 손 동작이 추적되고, 이것을 사용하여 사용자 인터페이스의 요소들을 제어할 수 있는데, 예를 들어 슬라이더 스위치를 움직이거나, 디스플레이를 바꾸거나 할 수 있다. 상기 주지된 대로, 눈 좌표 프레임 안에서 제어 포인트가 맵핑되고, 따라서 사용자 인터페이스 내의 한 요소의 위치와 연계될 수 있다. 제어 포인트의 동작을 사용하여 해당 요소를 조작할 수 있다. 이것은 의사가 풋 페달을 활성화할 필요없이 달성되며, 의사가 수술 기구를 부주의하게 움직일 수 없도록 행해진다. 따라서, 이것은 수술 기구와 사용자 인터페이스를 모두 제어하는데 주 도구 그립을 사용하는 것과 관련된 문제를 제거한다.Using the
상기 예에서, 전역 좌표 프레임은 공통 좌표 프레임의 예이다. 공통 좌표 프레임으로서 전역 좌표 프레임의 사용은 단지 예시일 뿐이며, 제한을 의도하지 않는다.In this example, the global coordinate frame is an example of a common coordinate frame. The use of a global coordinate frame as a common coordinate frame is only an example, and is not intended to be limiting.
주 손가락 추적 그립Main finger track grip
도 12는 주 손가락 추적 그립(1270)의 일례를 예시한다. 주 손가락 추적 그립(1270)은 주 손가락 추적 그립(170,270)의 예이다.12 illustrates an example of a main
주 손가락 추적 그립(1270)은 압축체(1210)와 2개의 손가락 고리(1220,1230)를 포함한다. 압축체(1210)는 제 1 단부(1213)와 제 2 단부(1214)를 가진다. 바디 구획(1215)이 제 1 단부(1213)와 제 2 단부(1214) 사이에서 연장된다.The main
압축체(1210)는 바깥쪽 외부 표면을 가진다. 바깥쪽 외부 표면은 제 1 부분(1216)과 제 2 부분(1217)을 포함한다. 제 1 부분(1216), 예를 들어 상부 부분은 제 1 단부(1213)와 제 2 단부(1214) 사이에서 연장된다. 제 2 부분(1217), 예를 들어 하부 부분은 제 1 단부(1213)와 제 2 단부(1214) 사이에서 연장된다. 제 2 부분(1217)은 제 1 부분(1216)으로부터 반대로 제거된다.The
한 양태에서, 바깥쪽 외부 표면은 직물 케이스의 표면이다. 직물은 수술실에서 사용하기 적합하다. 직물 케이스는 압축가능한 폼을 둘러싼다. 폼은 압축에 대한 내성과 압축이 해제됨에 따른 팽창을 제공하도록 선택된다. 한 양태에서, 몇 개의 폼 스트립이 직물 케이스에 포함된다. 폼은 또한 휘어질 수 있어야 하며, 이로써 첫째 손가락의 끝이 둘째 손가락의 끝을 향해 움직임에 따라 사람 손의 첫째 손가락과 둘째 손가락 사이에 제 1 부분(1216)이 위치될 수 있다.In one embodiment, the outer outer surface is the surface of the fabric case. The fabric is suitable for use in the operating room. The fabric case surrounds the compressible foam. The foam is selected to provide resistance to compression and expansion as the compression is released. In one embodiment, several foam strips are included in the fabric case. The foam should also be able to flex so that the
바디 구획(1215)은 손가락 고리(1220)와 손가락 고리(1230) 사이에 길이 L를 가진다. 상기 설명된 대로, 길이 L는 고리(1220) 안의 첫째 손가락과 고리(1230) 안의 둘째 손가락 사이의 분리를 제한하도록 선택된다(도 2a 참조).The
한 양태에서, 바디 구획(1215)은 두께 T를 가진다. 도 2c에 예시된 대로, 두께 T는 주 손가락 추적 그립(1270)이 단부(1214)에 인접한 바깥쪽 외부 표면의 제 2 부분(1217) 상의 영역(1236)과 단부(1213)에 인접한 제 2 부분(1217) 상의 영역(1226)이 가볍게 닿도록 구성될 때, 제 2 부분(1217)이 길이 L을 따라 자체적으로는 완전히 접촉되지 않도록 선택된다.In one embodiment, the
제 1 손가락 고리(1220)는 제 1 단부(1213)에 인접하여 압축체(1210)에 고정된다. 고리(1220)는 압축체(1210)의 바깥쪽 외부 표면의 제 1 부분(1216)의 영역(1225) 주변으로 연장된다. 사람 손의 첫째 손가락에 제 1 손가락 고리(1220)가 배치되면, 영역(1225)이 첫째 손가락과 접촉되는데, 예를 들어 바깥쪽 외부 표면의 제 1 부분(1216)의 제 1의 부분이 엄지손가락과 접촉된다.The
이 예에서, 손가락 고리(1220)는 2개 단부, 즉 제 1 직물 단부(1221A)와 제 2 직물 단부(1221B)를 가진다. 단부(1221A)와 단부(1221B)는 압축체(1210)에 고정된 직물 스트립의 단부이다. 고리 직물(1222B)의 부분이 단부(1221B)의 내면에 부착되고, 후크 직물(1222A)의 부분이 단부(1221A)의 외부 표면에 부착된다. 후크 직물과 고리 직물의 예는 나일론 직물의 2개 스트립으로 구성된 나일론 고정 테이프로서, 하나는 아주 작은 후크형 실들을 갖고, 나머지 하나는 거친 표면을 가진다. 2개의 스트립은 함께 눌려졌을 때 강한 접착을 형성한다. 상업적으로 이용가능한 고정 테이프의 예는 VELCRO® 고정 테이프이다(VELCRO®는 Velcro Industries B.V.의 등록 상표이다). In this example, the
제 2 손가락 고리(1230)가 제 2 단부(1214)에 인접하여 압축체(1210)에 고정된다. 루프(1230)는 압축체(1210)의 바깥쪽 외부 표면의 제 1 부분(1216)의 영역(1235) 주변으로 연장된다. 사람 손의 둘째 손가락에 제 2 손가락 고리(1230)가 배치되면, 영역(1235)이 둘째 손가락과 접촉되는데, 예를 들어 바깥쪽 외부 표면의 제 1 부분(1216)의 제 2의 일부가 집게손가락과 접촉된다. 제 1 부분의 제 2의 일부(1235)는 제 1 부분의 제 1의 일부(1225)로부터는 반대로 제거된다.The
이 예에서, 손가락 고리(1230)도 또한 2개 단부, 즉 제 1 직물 단부(1231A)와 제 2 직물 단부(1231B)를 가진다. 단부(1231A)와 단부(1231B)는 압축체(1210)에 고정된 직물 스트립의 단부이다. 고리 직물(1232B)의 부분이 단부(1231B)의 내면에 부착되고, 후크 직물(1232A)의 부분이 단부(1231A)의 외부 표면에 부착된다.In this example, the
제 1 위치 추적 센서(1211)는 제 1 손가락 고리(1220)에 고정된다. 제 2 위치 추적 센서(1212)는 제 2 손가락 고리(1230)에 고정된다. 위치 추적 센서는 상기 설명된 센서 요소들 중 어느 것일 수 있다. 한 예에서, 위치 추적 센서(1211, 1212)는 피동적 전자기 센서이다.The first
프록시 비주얼 시스템Proxy Visual System
한 양태에서, 핸드 트래킹 제어 시스템을 사용하여 다른 의사에를 감독할 수 있는 의사에 의해서 사용될 수 있는 복수의 프록시 비주얼 중 어느 하나를 제어할 수 있다. 예를 들어, 의사(180)(도 1a)가 주 손가락 추적 그립(170)을 사용하여 의사(181)에게 감독받고 있을 때, 의사(181)는 주 손가락 추적 그립(170)을 사용해서 수술 기구의 프록시 비주얼을 제어할 수 있고, 의사(180)는 주 도구 그립을 사용해서 원격조종 종속 수술 기구를 제어할 수 있다.In one aspect, a hand tracking control system may be used to control any of a plurality of proxy visuals that may be used by a physician to supervise another physician. For example, when the doctor 180 (FIG. 1A) is being supervised by the
또는 달리, 의사(181)는 디스플레이에서 가상의 손을 텔레스트레이트하거나, 또는 제어할 수 있다. 또한, 의사(181)는 디스플레이에 제시된 주 도구 그립(621)의 가상 영상을 조작함으로써 의사 콘솔에서 주 도구 그립을 조작하는 방식을 보여줄 수 있다. 프록시 비주얼의 이러한 예들은 단지 예시일 뿐이며, 제한을 의도하지 않는다. Or, the
또한, 의사 콘솔에 있지 않은 주 손가락 추적 그립(170)의 사용도 예시이며, 제한을 의도하지 않는다. 예를 들어, 상기 설명된 존재 검출 시스템에서, 의사 콘솔의 의사는 주 도구 그립으로부터 손을 움직일 수 있고, 다음에 그 손을 이용해서 손이 핸드 트래킹 시스템에 의해 추적됨에 따라 또 다른 의사를 감독할 수 있다.Also, the use of a primary
감독을 용이하게 하기 위해, 프록시 비주얼 모듈(미도시)이 한 양태에서 비전 프로세싱 서브시스템의 일부로서 처리된다. 이 양태에서, 실행중인 모듈이 감독자의 손의 제어 포인트의 위치 및 배향을 수신하여 입체 영상을 만들며, 이것은 실시간으로 내시경 카메라 영상과 복합되어 의사 콘솔(185), 어시스턴트 디스플레이, 및 환자측 의사 인터페이스 디스플레이(187)의 어떤 조합에 표시된다.To facilitate supervision, a proxy visual module (not shown) is processed as part of the vision processing subsystem in one aspect. In this aspect, a running module receives the position and orientation of the control point of the supervisor's hand to create a stereoscopic image, which is combined with the endoscopic camera image in real time to create a pseudo-console 185, an assistant display, 187).
의사(181)가 정해진 행동을 취함으로써, 예를 들어 손 제스처 포즈를 취함으로써 감독을 개시할 때, 프록시 비주얼 시스템 루프가 활성화되는데, 예를 들어 프록시 비주얼 모듈이 프로세서 모듈에서 실행된다. 정해진 행동으로서 사용되는 특정 행동, 예를 들어 손 제스처 포즈는 시스템 컨트롤러(140)(도 1)가 그 행동을 인식하도록 구성되는 한 반드시 필요한 것은 아니다.When the
한 양태에서, 프록시 비주얼은 주 손가락 추적 그립(170)에 의해서 제어되는 가상 고스트 기구(1311)(도 13)이고, 의사 콘솔(185)의 주 도구 조작기들 중 하나에 의해 원격조종 종속 수술 기구(1310)가 제어된다. 의사(181)는 표시 장치(187)에서 기구(1310 및 1311)를 둘 다 보고, 의사(180)는 의사 콘솔(185)의 입체 디스플레이에서 기구(1310 및 1311)를 둘 다 본다. 프록시 비주얼로서 가상 고스트 기구(1311)의 사용은 예시일 뿐이며, 이 특정 영상에 제한되는 것은 아니다. 본 내용에 비추어, 프록시 비주얼을 표시하는 영상과 원격조종 종속 수술 기구의 실제 단부 작동기의 영상의 구별을 용이하게 하는 다른 영상들도 프록시 비주얼로 사용될 수 있다.In one aspect, the proxy visual is a virtual ghosting mechanism 1311 (FIG. 13) controlled by the main
가상 고스트 기구(1311)는 가상 고스트 기구(1311)가 실제 기구(1310)와 가상 고스트 기구(1311)를 명확히 구별하는 방식으로 표시된다는 것을 제외하면 실제 기구(1310)와 유사한 것처럼 보인다(예를 들어, 투명 또는 반투명 고스트 형태 영상, 뚜렷한 색을 가진 영상 등). 가상 고스트 기구(1311)의 제어 및 작동은 실제 원격조종 수술 기구에 대해 상기 설명된 것과 동일하다. 따라서, 의사(181)는 주 손가락 추적 그립(170)을 사용하여 가상 고스트 기구(1311)를 조작하여 원격조종 종속 수술 기구(1310)의 적절한 사용을 보여줄 수 있다. 의사(180)는 기구(1310)를 사용해서 가상 고스트 기구(1311)의 동작을 모방할 수 있다.The
가상 고스트 기구는 공동 양도된 미국 특허출원 공개 No. US 2009/0192523 A1(2009년 3월 31일 제출, "수술 기구의 복합적 표시"를 개시)에 더 설명되며, 이것은 그 전체가 참고자료로 본원에 포함된다. 또한, 미국 특허출원 제12/485,503호(2009년 6월 16일 제출, "최소 침습 수술을 위한 가상 측정 도구"를 개시); 미국 특허출원 제12/485,545호(2009년 6월 16일 제출, "최소 침습 수술을 위한 가상 측정 도구를 개시"); 미국 특허출원 공개 No. US 2009/0036902 A1(2008년 8월 11일 제출, "로봇 최소 침습 수술 시스템을 위한 상호작용 사용자 인터페이스"를 개시); 미국 특허출원 공개 No. US 2007/0167702 A1(2005년 12월 30일 제출, "3-차원 텔레스트레이션을 제공하는 의료 로봇 시스템"을 개시); 미국 특허출원 공개 No. US 2007/0156017 A1(2005년 12월 30일 제출, "로봇 수술을 위한 입체 텔레스트레이션"을 개시) 및 미국 특허출원 공개 No. US 2010/0164950 A1(2009년 5월 13일 제출, "국소 로봇 감독을 위한 효과적인 3-D 텔레스트레이션"을 개시)를 참조하며, 이들은 모두 그 전체가 본원에 참고자료로 포함된다.The virtual ghost mechanism is disclosed in commonly assigned U. S. Patent Application Publication No. < RTI ID = 0.0 > This is further described in US 2009/0192523 A1 (filed March 31, 2009, entitled "Combinations of Surgical Instruments"), which is incorporated herein by reference in its entirety. Also, U. S. Patent Application No. 12 / 485,503 (filed June 16, 2009, entitled "Virtual Measurement Tool for Minimally Invasive Surgery"); U.S. Patent Application No. 12 / 485,545, filed June 16, 2009, entitled "Starting a Virtual Measurement Tool for Minimally Invasive Surgery"); U.S. Patent Application Publication No. US 2009/0036902 A1 (Launched on August 11, 2008, "Interactive User Interface for Robotic Minimally Invasive Surgical System"); U.S. Patent Application Publication No. US 2007/0167702 A1 (filed December 30, 2005, entitled "Medical Robotic System Providing Three-dimensional Telestations"); U.S. Patent Application Publication No. US 2007/0156017 A1 (filed Dec. 30, 2005, entitled "Stereoscopic Telestations for Robotic Surgery") and U.S. Patent Application Publication Nos. US 2010/0164950 A1 (filed May 13, 2009, entitled "Effective 3-D Telesation for Local Robotics Supervision"), all of which are incorporated herein by reference.
다른 양태에서, 프록시 비주얼은 주 손가락 추적 그립(170)과 도 1에서는 보이지 않는 제 2 주 손가락 추적 그립에 의해서 제어되는 한 쌍의 가상 손(1410, 1411)(도 14)이다. 원격조종 종속 수술 기구(1420, 1421)가 의사 콘솔(185)의 주 도구 조작기에 의해 제어된다. 의사(181)는 표시 장치(187)에서 비디오 영상(1400)을 보고, 의사(180)는 의사 콘솔(185)의 입체 디스플레이에서 비디오 영상(1400)을 본다. 가상 손(1410, 1411)은 비디오 영상(1400)에서 다른 물체로부터 이들이 명확히 구별되는 방식으로 표시된다.In another aspect, the proxy visual is a pair of
가상 손의 엄지손가락과 집게손가락의 열림 및 닫힘이 상기 설명된 그립 닫힘 변수 ggrip을 사용해서 제어된다. 가상 손의 위치 및 배향은 상기 설명된 대로 제어 포인트 위치 및 배향에 의해 제어되며, 이들은 역시 상기 설명된 대로 눈 좌표 공간 안에서 맵핑된다.The opening and closing of the thumb and forefinger of the virtual hand is controlled using the grip closure variable ggrip described above. The position and orientation of the virtual hand is controlled by the control point position and orientation as described above, and they are also mapped within the eye coordinate space as described above.
따라서, 의사(181)가 오른손을 3-차원으로 움직임에 따라, 가상 손(1411)이 비디오 영상(1400)에서의 움직임을 추종하게 된다. 의사(181)는 가상 손(1411)을 말아서 의사(180)가 원격조종 종속 수술 기구(1421)를 말고 있다는 것을 표시할 수 있다. 의사(181)는 가상 손(1410)을 특정 위치로 움직인 다음, 엄지손가락과 집게손가락의 움직임을 이용해서 의사(180)에게 원격조종 종속 수술 기구(1420)를 그 위치로 움직여서 조직을 붙잡으라고 지시할 수 있다. 의사(180)가 기구(1420)로 조직을 붙잡으면, 의사(181)는 가상 손(1410)을 사용해서 의사(180)에게 조직을 어떻게 움직이라고 지시할 수 있다. 이들 모두 실시간으로 일어나며, 가상 손(1410, 1411)은 입체 내시경 영상 위에 중첩된다. 그러나, 프록시 비주얼은 또한 단안입체 시스템에서도 사용될 수 있다.Thus, as the
다른 양태에서, 의사(181)는 손 제스처 포즈를 사용해서 프록시 비주얼이 비디오 영상(1500)(도 15)에 제시되는 가상 고스트 기구(1510) 및 가상 텔레스트레이션 장치(1511)가 되도록 표시 모드를 바꾼다. 텔레스트레이션 장치(1511)는 주 손가락 추적 그립(170)에 의해 제어되고, 도 1에서는 보이지 않는 제 2 주 손가락 추적 그립은 가상 고스트 기구(1511)를 제어한다.In another aspect,
원격조종 종속 수술 기구(1520, 1521)는 의사 콘솔(185)의 주 도구 조작기에 의해서 제어된다. 의사(181)는 표시 장치(187)에서 비디오 영상(1500)을 보고, 의사(180)는 의사 콘솔(185)의 입체 디스플레이에서 비디오 영상(1500)을 본다. 가상 텔레스트레이션 장치(1511)와 가상 고스트 기구(1411)는 비디오 영상(1500) 안의 다른 물체와 이들이 명확히 구별되는 방식으로 표시된다.The remote control dependent
가상 텔레스트레이션 장치(1511)와의 텔레스트레이션을 위해, 의사(181)는 마치 가상의 펜이나 연필을 쥐고 있는 것처럼 엄지손가락과 집게손가락을 위치시킨 다음, 이 위치에 엄지손가락과 집게손가락을 둔 채로 오른손을 움직여서 표시된 비디오 영상에서 텔레스트레이션을 수행한다. 비디오 영상(1500)에서, 의사(181)는 엄지손가락과 집게손가락을 이렇게 위치시켜서 마크(1512)를 만들어 어디에서 수술 기구(1521)가 조직을 절단해야 하는지 예시한다. 마크(1512)를 만든 후, 의사(1810)는 엄지손가락과 집게손가락을 분리하고, 가상 텔레스트레이션 장치(1511)를 비디오 영상(1500)에 나타난 위치까지 이동시킨다.For telstraing with the
가상 텔레스트레이션 장치(1511)의 표시 능력은 상기 설명된 그립 닫힘 변수 ggrip를 사용하여 제어된다. 상기 주지된 대로, 엄지손가락과 집게손가락이 가볍게 닿았을 때, 그립 닫힘 변수 ggrip는 제 2 범위의 초기 값에 따라 맵핑되고, 이로써 그립 닫힘 변수 ggrip가 제 2 범위에 있을 때, 텔레스트레이션 장치(1511)에 대해 텔레스트레이션이 가능해진다. 눈 좌표 시스템에 따라 맵핑된 후 제어 포인트 위치 및 배향을 사용해서 가상 텔레스트레이션 장치(1511)의 동작을 제어할 수 있다.The display capability of the
본 발명의 양태들 및 구체예들을 예시하는 상기 설명 및 첨부한 도면은 제한으로서 해석되어서는 안 되며, 청구항이 보호된 발명을 한정한다. 다양한 기계적, 조성적, 구조적, 전기적 및 작동적 변화가 본 설명 및 청구항의 사상 및 범위로부터 벗어나지 않고 이루어질 수 있다. 일부 예에서, 잘 알려진 회로, 구조 및 기술은 본 발명을 복잡하게 하는 것을 피하기 위해서 상세히 나타내거나 설명되지 않았다. The above description and the accompanying drawings illustrating aspects and embodiments of the present invention should not be construed as limitations, but rather define the invention in which the claims are protected. Various mechanical, structural, structural, electrical, and operational changes may be made without departing from the spirit and scope of the present disclosure and claims. In some instances, well-known circuits, structures and techniques have not been shown or described in detail in order to avoid complicating the present invention.
또한, 본 명세서의 용어는 본 발명을 제한하는 의도가 아니다. 예를 들어, "밑", "아래", "하부", "위", "상부", "부근", "원위" 등과 같은 공간적인 상대적 용어들은 도면에 예시된 한 요소 또는 특징부의 다른 요소 또는 특징부와의 관계를 설명하기 위해서 사용될 수 있다. 이러한 공간적인 상대적 용어들은 도면에 도시된 위치 및 배향에 더하여 사용중인 또는 작동중인 장치의 상이한 위치(즉, 장소) 및 배향(즉, 회전가능한 배치)을 포괄하도록 의도된다. 예를 들어, 도면의 장치가 반전된다면, 다른 요소 또는 특징부의 "아래" 또는 "밑"이라고 설명된 요소가 다른 요소 또는 특징부의 "위" 또는 "바로 위"가 된다. 따라서, 예시적인 용어 "아래"는 위와 아래의 위치와 배향을 둘 다 포괄할 수 있다. 장치는 다른 식으로 배향될 수 있고(90도 회전되거나, 또는 다른 배향으로), 본원에서 사용된 공간적으로 상대적 설명은 그에 따라서 해석된다. 마찬가지로, 다양한 축을 따른 이동 및 축 주위에서의 움직임에 대한 설명도 역시 다양한 특별한 장치 위치 및 배향을 포함한다. Furthermore, the terminology of the present specification is not intended to limit the present invention. For example, spatial relative terms such as "under", "under", "under", "up", "top", "near", "distal", etc. may refer to one element or feature Can be used to describe the relationship with the feature. These spatial relative terms are intended to encompass different locations (i.e., locations) and orientations (i.e., rotatable arrangements) of the device in use or in operation, in addition to the locations and orientations shown in the figures. For example, if a device in the drawing is reversed, the elements described as "under" or "under" another element or feature will be "above" or "directly above" another element or feature. Thus, the exemplary term "below" can encompass both upper and lower positions and orientations. The device can be oriented differently (rotated 90 degrees, or in other orientations) and the spatially relative description used herein is interpreted accordingly. Likewise, the description of the movement along the various axes and about the movement around the axis also encompasses various special device positions and orientations.
또한, 단수형 "한" 및 "그"는 문맥상 다른 의미가 아니라면 복수 형태도 포함하도록 의도된다. 그리고, 용어 "포함한다", "포함하는", "포함한다" 등은 언급된 특징부, 단계, 작업, 요소 및/또는 구성요소의 존재를 명시하지만, 하나 이상의 다른 특징부, 단계, 작업, 요소, 구성요소 및/또는 군의 존재 또는 부가를 배제하지 않는다. 짝을 이루어 설명된 구성요소들은 전기적으로 또는 기계적으로 직접 연결될 수 있거나, 또는 이들은 하나 이상의 중간 구성요소를 통해 간접적으로 연결될 수 있다.Also, the singular forms "a" and "it" are intended to include plural forms unless the context clearly dictates otherwise. It should be understood that the terms " comprises, "" including," " comprising, "or the like specify the presence of stated features, steps, operations, elements and / Elements, elements, and / or groups. The components described in pairs may be electrically or mechanically connected directly, or they may be indirectly connected through one or more intermediate components.
메모리는 휘발성 메모리, 비휘발성 메모리, 또는 이 둘의 어떤 조합을 말한다. 프로세서는 프로세서에 의해서 실행되는 명령을 담은 메모리에 연결된다. 이것은 컴퓨터 시스템 내에서 달성되거나, 또는 모뎀과 아날로그 라인, 또는 디지털 인터페이스와 디지털 전송선을 통한 다른 컴퓨터와의 접속을 통해서 달성될 수 있다.Memory refers to volatile memory, non-volatile memory, or some combination of the two. The processor is coupled to a memory containing instructions executed by the processor. This may be accomplished within a computer system, or through a connection with a modem and an analog line, or with another computer via a digital interface and a digital transmission line.
여기서, 컴퓨터 프로그램 제품은 핸드 트래킹과 관련해서 설명된 과정들 중 어느 하나 또는 어떤 조합에 필요한 컴퓨터 판독가능한 코드를 저장하도록 구성된 매체, 또는 핸드 트래킹과 관련해서 설명된 과정들 중 어느 하나 또는 어떤 조합을 위한 컴퓨터 판독가능한 코드가 저장된 매체를 포함한다. 컴퓨터 프로그램 제품의 일부 예들은 CD-ROM 디스크, DVD 디스크, 플래시 메모리, ROM 카드, 플로피 디스크, 자기 테이프, 컴퓨터 하드 드라이브, 네트워크상의 서버 및 컴퓨터 판독가능한 프로그램 코드를 표시하는 네트워크를 통해 송신되는 신호들이다. 비-일시적 유형 컴퓨터 프로그램 제품은 다양한 컨트롤러와 관련해서 설명된 과정들 중 어느 하나 또는 어떤 조합을 위한 컴퓨터 판독가능한 명령을 저장하도록 구성된, 또는 다양한 컨트롤러와 관련해서 설명된 과정들 중 어느 하나 또는 어떤 조합을 위한 컴퓨터 판독가능한 명령이 저장된 비-일시적 유형 매체를 포함한다. 비-일시적 유형 컴퓨터 프로그램 제품은 CD-ROM 디스크, DVD 디스크, 플래시 메모리, ROM 카드, 플로피 디스크, 자기 테이프, 컴퓨터 하드 드라이브 및 다른 비-일시적 물리적 저장 매체이다.Herein, the computer program product may be embodied as a medium configured to store computer readable code necessary for any one or in some combination of the processes described with respect to hand tracking, or any one or any combination of the processes described in connection with hand tracking Readable < / RTI > code. Some examples of computer program products are signals transmitted over a network representing a CD-ROM disk, a DVD disk, a flash memory, a ROM card, a floppy disk, a magnetic tape, a computer hard drive, . The non-transitory type computer program product may be configured to store computer-readable instructions for any or any combination of the processes described in connection with the various controllers, or any one or any combination of the processes described in connection with the various controllers Non-transitory type medium in which computer-readable instructions are stored. Non-transitory type computer program products are CD-ROM disks, DVD disks, flash memory, ROM cards, floppy disks, magnetic tape, computer hard drives, and other non-transitory physical storage media.
본 내용에 비추어, 핸드 트래킹과 관련해서 설명된 과정들 중 어느 하나, 또는 어떤 조합에서 사용된 명령은 사용자가 관심 있는 작동 시스템과 컴퓨터 프로그래밍 언어를 사용해서 광범위한 컴퓨터 시스템 구성형태에서 실시될 수 있다.In view of the present disclosure, the instructions used in any or all of the processes described in connection with the hand tracking can be implemented in a wide variety of computer system configurations using the operating system of interest and the computer programming language of interest to the user.
도 1에서 상이한 메모리 및 프로세서의 사용은 단지 예시일 뿐이며, 제한을 의도하지는 않는다. 일부 양태에서, 단일 하드웨어 프로세서가 사용될 수 있으며, 다른 양태에서는 다수의 프로세서가 사용될 수 있다.The use of different memories and processors in Fig. 1 is merely exemplary, and is not intended to be limiting. In some aspects, a single hardware processor may be used, and in other aspects, multiple processors may be used.
또한, 각 예시에 있어서, 여러 과정들이 핸드 트래킹 컨트롤러와 시스템 컨트롤러 사이에 분산되었다. 이것 또한 예시이며, 제한하는 것을 의도하지 않는다. 여러 과정들은 컨트롤러들 사이에 분산될 수 있거나, 또는 핸드 트래킹 과정의 작동 원리의 변화 없이 컨트롤러에 통합될 수 있다.Also, in each example, several processes were distributed between the hand tracking controller and the system controller. This is also an example, and is not intended to be limiting. The various processes can be distributed among the controllers or integrated into the controller without changing the operating principle of the hand tracking process.
모든 예들 및 예시적인 언급들은 비제한적이며, 청구항을 본원에 설명된 특정 실시형태 및 구체예와 이들의 등가물에 제한하려 사용되어서는 안 된다. 표제는 단지 형식적인 것일 뿐이며, 어떤 식으로도 주제를 제한하는데 사용되어서는 안 되고, 한 표제 아래의 내용이 하나 이상의 표제 아래의 내용을 상호언급하거나, 또는 그것에 적용될 수도 있다. 마지막으로, 본 내용에 비추어, 한 양태 또는 구체예와 관련하여 설명된 특정 특징들은 도면에 구체적으로 도시되거나 내용에 설명되지 않았더라도 본 발명의 다른 개시된 양태 또는 구체예에 적용될 수 있다.All examples and illustrative references are non-limiting and should not be used to limit the claims to the specific embodiments and embodiments described herein and their equivalents. A title is merely a formality, and should not be used to limit the subject in any way, and the content under one title may refer to or apply to the content under one or more titles. Finally, in light of the present disclosure, certain features described in connection with one aspect or embodiment may be applied to other disclosed aspects or embodiments of the present invention even if not specifically shown in the drawings or described in the context.
Claims (15)
상기 원격조종 시스템의 콘솔에 움직일 수 있게 연결된 주 도구 그립으로, 원격조종 시스템은 상기 주 도구 그립의 움직임에 응하여 종속 기구를 움직이도록 구성된 주 도구 그립;
사람 손의 적어도 일부의 위치를 추적하도록 구성된 핸드 트래킹 유닛; 및
상기 주 도구 그립의 위치를 수신하기 위해 그리고 상기 핸드 트래킹 유닛으로부터 손 위치 데이터를 수신하기 위해 연결된 컨트롤러;를 포함하고,
상기 컨트롤러는
상기 손 위치 데이터를 사용하여 상기 사람 손의 위치를 생성하고;
상기 사람 손의 위치가 상기 주 도구 그립의 위치로부터 역치 거리 이내에 있는지 결정하고;
상기 사람 손의 위치가 상기 주 도구 그립의 위치로부터 역치 거리 이내에 있는지의 결정의 결과에 기초하여 상기 원격조종 시스템의 시스템 작동 모드를 제어하기 위해 시스템 사건을 발행하도록 구성되는 것을 특징으로 하는 원격조종 시스템.In a remote control system,
A main tool grip movably connected to a console of the remote control system, the remote control system comprising: a main tool grip configured to move a dependent mechanism in response to movement of the main tool grip;
A hand tracking unit configured to track a position of at least a portion of a human hand; And
A controller coupled to receive the position of the main tool grip and to receive hand position data from the hand tracking unit,
The controller
Generate a position of the human hand using the hand position data;
Determine whether the position of the human hand is within a threshold distance from the position of the main tool grip;
And to issue a system event to control a system operating mode of the remote control system based on a result of the determination that the position of the human hand is within a threshold distance from the position of the main tool grip. .
상기 컨트롤러는 상기 원격조종 시스템의 시스템 작동 모드를 제어하기 위해 시스템 사건을 발행하도록 구성되는 것은
상기 컨트롤러는 상기 사람 손의 위치가 상기 주 도구 그립의 위치로부터 역치 거리 이내에 있으면 상기 종속 기구의 원격조종을 허용하기 위해 시스템 사건을 발행하도록 구성되는 것; 및
상기 컨트롤러는 상기 사람 손의 위치가 상기 주 도구 그립의 위치로부터 역치 거리 이내에 있지 않으면 상기 종속 기구의 원격조종을 금지하기 위해 다른 시스템 사건을 발행하도록 구성되는 것을 더 포함하는 것을 특징으로 하는 원격조종 시스템.The system of claim 1, wherein the system operating mode comprises a remote control of the dependent mechanism,
Wherein the controller is configured to issue a system event to control a system operation mode of the remote control system
The controller being configured to issue a system event to allow remote manipulation of the dependent device if the position of the human hand is within a threshold distance from the position of the main tool grip; And
Wherein the controller is further configured to issue another system event to prohibit remote manipulation of the dependent mechanism if the position of the human hand is not within a threshold distance from the position of the primary tool grip. .
상기 컨트롤러는 상기 원격조종 시스템의 시스템 작동 모드를 제어하기 위해 시스템 사건을 발행하도록 구성되는 것은
상기 컨트롤러는 상기 사람 손의 위치가 상기 주 도구 그립의 위치로부터 역치 거리 이내에 있으면 상기 원격조종 시스템의 디스플레이 상의 사용자 인터페이스를 끄기 위해 시스템 사건을 발행하도록 구성되는 것; 및
상기 컨트롤러는 상기 사람 손의 위치가 상기 주 도구 그립의 위치로부터 역치 거리 이내에 있지 않으면 상기 원격조종 시스템의 디스플레이 상의 사용자 인터페이스를 켜기 위해 다른 시스템 사건을 발행하도록 구성되는 것을 더 포함하는 것을 특징으로 하는 원격조종 시스템.The method of claim 1, wherein the system operating mode comprises displaying a user interface,
Wherein the controller is configured to issue a system event to control a system operation mode of the remote control system
The controller being configured to issue a system event to turn off the user interface on the display of the remote control system if the position of the human hand is within a threshold distance from the position of the main tool grip; And
Wherein the controller is further configured to issue another system event to turn on the user interface on the display of the remote control system if the position of the human hand is not within a threshold distance from the position of the main tool grip. Steering system.
상기 컨트롤러는 상기 사람 손의 위치를 공통 좌표 프레임의 제 1 위치로 맵핑하도록 구성되는 것; 및
상기 컨트롤러는 상기 주 도구 그립의 위치를 공통 좌표 프레임의 제 2 위치로 맵핑하도록 구성되는 것을 포함하는 것을 특징으로 하는 원격조종 시스템.The system of claim 1, wherein the controller is configured to determine whether the position of the human hand is within a threshold distance from a position of the main tool grip
The controller being configured to map the position of the human hand to a first position of a common coordinate frame; And
Wherein the controller is configured to map a position of the main tool grip to a second position of a common coordinate frame.
상기 컨트롤러는 상기 제 1 위치와 상기 제 2 위치 사이의 거리를 공통 좌표 프레임에 생성하도록 구성되고, 공통 좌표 프레임에서의 거리는 상기 사람 손의 위치와 상기 주 도구 그립의 위치 사이의 거리를 나타내는 것; 및
상기 컨트롤러는 공통 좌표 프레임에서의 거리를 역치 거리와 비교하도록 구성되는 것을 더 포함하는 것을 특징으로 하는 원격조종 시스템.7. The apparatus of claim 6, wherein the controller is configured to determine whether the position of the human hand is within a threshold distance from a position of the main tool grip
Wherein the controller is configured to generate a distance in the common coordinate frame between the first position and the second position and wherein the distance in the common coordinate frame indicates the distance between the position of the human hand and the position of the main tool grip; And
Wherein the controller is further configured to compare the distance in the common coordinate frame with a threshold distance.
주 도구 그립으로, 원격조종 시스템은 상기 주 도구 그립의 움직임에 응하여 종속 기구를 움직이도록 구성된 주 도구 그립;
사람 손의 적어도 일부의 위치를 추적하는 핸드 트래킹 유닛; 및
상기 주 도구 그립의 위치를 수신하기 위해 그리고 상기 핸드 트래킹 유닛으로부터 손 위치 데이터를 수신하기 위해 연결된 컨트롤러;를 포함하고,
상기 컨트롤러는
상기 손 위치 데이터를 사용하여 손 위치를 생성하고;
상기 손 위치가 상기 주 도구 그립의 위치로부터 역치 거리 이내에 있으면 상기 종속 기구의 원격조종을 허용하고;
상기 손 위치가 상기 주 도구 그립의 위치로부터 역치 거리 이내에 있지 않으면 상기 종속 기구의 원격조종을 금지하도록 구성되는 것을 특징으로 하는 원격조종 시스템.In a remote control system,
With a main tool grip, the remote control system comprising: a main tool grip configured to move a dependent mechanism in response to movement of the main tool grip;
A hand tracking unit for tracking a position of at least a part of a human hand; And
A controller coupled to receive the position of the main tool grip and to receive hand position data from the hand tracking unit,
The controller
Generate a hand position using the hand position data;
Allowing remote control of the dependent mechanism when the hand position is within a threshold distance from the position of the main tool grip;
And to inhibit remote control of the dependent mechanism if the hand position is not within a threshold distance from the position of the main tool grip.
상기 제 1 컨트롤러는 상기 주 도구 그립의 위치와 상기 손 위치 사이의 거리를 결정함으로써 상기 손 위치가 상기 주 도구 그립의 위치로부터 역치 거리 이내에 있는지 결정하도록 구성되고,
상기 제 1 컨트롤러는 상기 원격조종 시스템에 시스템 사건을 제공하도록 구성되고, 상기 시스템 사건은 상기 손 위치가 상기 주 도구 그립의 위치로부터 역치 거리 이내에 있는지에 기초하는 것을 특징으로 하는 원격조종 시스템.11. The apparatus of claim 10, wherein the controller further comprises a first controller coupled to receive the position of the main tool grip and the hand position data,
Wherein the first controller is configured to determine whether the hand position is within a threshold distance from the position of the main tool grip by determining a distance between the position of the main tool grip and the hand position,
Wherein the first controller is configured to provide a system event to the remote control system, wherein the system event is based on whether the hand position is within a threshold distance from the position of the main tool grip.
상기 제 2 컨트롤러는 상기 시스템 사건이 손 존재 사건을 포함하면 상기 종속 기구의 원격조종을 허용하도록 구성되고,
상기 제 2 컨트롤러는 상기 시스템 사건이 손 부재 사건을 포함하면 상기 종속 기구의 원격조종을 금지하도록 구성되는 것을 특징으로 하는 원격조종 시스템.13. The system of claim 12, wherein the controller further comprises a second controller configured to receive the system event,
Wherein the second controller is configured to allow remote manipulation of the dependent device if the system event includes a hand presence event,
Wherein the second controller is configured to inhibit remote control of the dependent device if the system event includes a handshake event.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/617,937 | 2009-11-13 | ||
US12/617,937 US8521331B2 (en) | 2009-11-13 | 2009-11-13 | Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument |
US12/887,160 US8935003B2 (en) | 2010-09-21 | 2010-09-21 | Method and system for hand presence detection in a minimally invasive surgical system |
US12/887,160 | 2010-09-21 | ||
PCT/US2010/056405 WO2011060185A1 (en) | 2009-11-13 | 2010-11-11 | Method and system for hand presence detection in a minimally invasive surgical system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020127013202A Division KR101785360B1 (en) | 2009-11-13 | 2010-11-11 | Method and system for hand presence detection in a minimally invasive surgical system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170077272A true KR20170077272A (en) | 2017-07-05 |
KR101785364B1 KR101785364B1 (en) | 2017-10-16 |
Family
ID=59352395
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020177017309A KR101785364B1 (en) | 2009-11-13 | 2010-11-11 | Method and system for hand presence detection in a minimally invasive surgical system |
KR1020177027903A KR101824442B1 (en) | 2009-11-13 | 2010-11-11 | Method and system for hand presence detection in a minimally invasive surgical system |
KR1020187002521A KR101900922B1 (en) | 2009-11-13 | 2010-11-11 | Method and system for hand presence detection in a minimally invasive surgical system |
KR1020187026765A KR101956900B1 (en) | 2009-11-13 | 2010-11-11 | Method and system for hand presence detection in a minimally invasive surgical system |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020177027903A KR101824442B1 (en) | 2009-11-13 | 2010-11-11 | Method and system for hand presence detection in a minimally invasive surgical system |
KR1020187002521A KR101900922B1 (en) | 2009-11-13 | 2010-11-11 | Method and system for hand presence detection in a minimally invasive surgical system |
KR1020187026765A KR101956900B1 (en) | 2009-11-13 | 2010-11-11 | Method and system for hand presence detection in a minimally invasive surgical system |
Country Status (2)
Country | Link |
---|---|
KR (4) | KR101785364B1 (en) |
BR (1) | BR112012011323B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200007015A (en) * | 2017-05-11 | 2020-01-21 | 어플라이드 메디컬 리소시스 코포레이션 | Camera navigation training system |
CN113811259A (en) * | 2019-05-10 | 2021-12-17 | 威博外科公司 | Dematching/matching UIDs with robotic graspers to engage remote operations |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6963792B1 (en) * | 1992-01-21 | 2005-11-08 | Sri International | Surgical method |
US5791231A (en) * | 1993-05-17 | 1998-08-11 | Endorobotics Corporation | Surgical robotic system and hydraulic actuator therefor |
CA2418161C (en) * | 2000-10-06 | 2010-11-30 | Mark P. Ombrellaro | Device for the direct manual examination of a patient in a non-contiguous location |
WO2004001569A2 (en) | 2002-06-21 | 2003-12-31 | Cedara Software Corp. | Computer assisted system and method for minimal invasive hip, uni knee and total knee replacement |
US7834847B2 (en) * | 2005-12-01 | 2010-11-16 | Navisense | Method and system for activating a touchless control |
WO2008042219A2 (en) * | 2006-09-29 | 2008-04-10 | Nellcor Puritan Bennett Llc | User interface and identification in a medical device systems and methods |
WO2008133956A2 (en) | 2007-04-23 | 2008-11-06 | Hansen Medical, Inc. | Robotic instrument control system |
US20090138025A1 (en) | 2007-05-04 | 2009-05-28 | Hansen Medical, Inc. | Apparatus systems and methods for forming a working platform of a robotic instrument system by manipulation of components having controllably rigidity |
US9881520B2 (en) * | 2008-01-08 | 2018-01-30 | Immersion Medical, Inc. | Virtual tool manipulation system |
-
2010
- 2010-11-11 KR KR1020177017309A patent/KR101785364B1/en active IP Right Grant
- 2010-11-11 KR KR1020177027903A patent/KR101824442B1/en active IP Right Grant
- 2010-11-11 BR BR112012011323A patent/BR112012011323B1/en active IP Right Grant
- 2010-11-11 KR KR1020187002521A patent/KR101900922B1/en active IP Right Grant
- 2010-11-11 KR KR1020187026765A patent/KR101956900B1/en active IP Right Grant
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200007015A (en) * | 2017-05-11 | 2020-01-21 | 어플라이드 메디컬 리소시스 코포레이션 | Camera navigation training system |
CN113811259A (en) * | 2019-05-10 | 2021-12-17 | 威博外科公司 | Dematching/matching UIDs with robotic graspers to engage remote operations |
Also Published As
Publication number | Publication date |
---|---|
KR20180011891A (en) | 2018-02-02 |
KR101956900B1 (en) | 2019-03-12 |
KR101785364B1 (en) | 2017-10-16 |
KR101900922B1 (en) | 2018-09-21 |
KR101824442B1 (en) | 2018-02-01 |
KR20180105270A (en) | 2018-09-27 |
BR112012011323A2 (en) | 2017-10-10 |
KR20170117222A (en) | 2017-10-20 |
BR112012011323B1 (en) | 2020-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101785360B1 (en) | Method and system for hand presence detection in a minimally invasive surgical system | |
KR101762638B1 (en) | Method and apparatus for hand gesture control in a minimally invasive surgical system | |
KR101789064B1 (en) | Method and system for hand control of a teleoperated minimally invasive slave surgical instrument | |
KR101762631B1 (en) | A master finger tracking device and method of use in a minimally invasive surgical system | |
US9901402B2 (en) | Method and apparatus for hand gesture control in a minimally invasive surgical system | |
EP3092968B1 (en) | System for hand presence detection in a minimally invasive surgical system | |
KR101785364B1 (en) | Method and system for hand presence detection in a minimally invasive surgical system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right |