KR101797169B1 - 제스처 컨트롤을 이용한 로봇 시스템 제어를 위한 방법과 제어 장치 - Google Patents

제스처 컨트롤을 이용한 로봇 시스템 제어를 위한 방법과 제어 장치 Download PDF

Info

Publication number
KR101797169B1
KR101797169B1 KR1020167011607A KR20167011607A KR101797169B1 KR 101797169 B1 KR101797169 B1 KR 101797169B1 KR 1020167011607 A KR1020167011607 A KR 1020167011607A KR 20167011607 A KR20167011607 A KR 20167011607A KR 101797169 B1 KR101797169 B1 KR 101797169B1
Authority
KR
South Korea
Prior art keywords
hand
control
end effector
coordinate system
control unit
Prior art date
Application number
KR1020167011607A
Other languages
English (en)
Other versions
KR20160071407A (ko
Inventor
베른트 곰베르트
레오폴드 보크-크라우센
리차드 로버트
안드라스 아스카이
Original Assignee
에이비비 곰텍 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이비비 곰텍 게엠베하 filed Critical 에이비비 곰텍 게엠베하
Publication of KR20160071407A publication Critical patent/KR20160071407A/ko
Application granted granted Critical
Publication of KR101797169B1 publication Critical patent/KR101797169B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35444—Gesture interface, controlled machine observes operator, executes commands
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36184—Record actions of human expert, teach by showing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45123—Electrogoniometer, neuronavigator, medical robot used by surgeon to operate

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Manipulator (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 엔드 이펙터(17, 21)가 달린 수술 기구(15, 19)가 장착된 적어도 하나의 로봇암(14, 18)이 있는 로봇 시스템(11)의 제어를 위한 제어 장치(25, 28, 29)에 관한 것이다. 이때 제어 장치(25, 28, 29)는 적어도 한 손(30L, 30R)의 제어 변수를 기록하고 로봇 시스템(11)의 하나 또는 다수의 구성요소를 위해 해당 제어 명령으로 변환해주는 영상획득시스템(25, 28)을 포함한다. 로봇 시스템(11)의 제어를 단순화하고 특히 직관적으로 설계하기 위해 수술 기구(15, 19)의 엔드 이펙터(15, 19)의 방향, 위치 그리고/또는 개방도를 일차 값으로 구하고 손(30L, 30R)의 방향, 위치 그리고/또는 개방도를 이차 값으로 구하여 하나 또는 다수의 일차 값이 해당 이차 값과 차이가 있는 경우 엔드 이펙터(17, 21)의 수동 제어를 금지하고 하나 또는 다수의 일차 값이 해당 이차 값과 일치하는 경우에 제스처 컨트롤을 허용하여 수술 기구(15, 19)를 손으로 조작할 수 있게 하는 컨트롤 유닛(25)을 갖출 것이 제안된다.

Description

제스처 컨트롤을 이용한 로봇 시스템 제어를 위한 방법과 제어 장치{Control device and method for controlling a robot system by means of gesture control}
본 발명은 엔드 이펙터가 달린 수술 기구가 장착된 적어도 하나의 로봇 암이 있는 로봇 시스템의 제어를 위한 제어 장치 및 제스처 컨트롤을 이용하여 이러한 로봇 시스템을 제어하기 위한 방법에 관한 것이다
US 6 424 885 B1에서는 수술 기구를 제어하는 다수의 수동 입력 장치를 포함하는 최소 침습 수술용 로봇 시스템이 알려져 있다. 제어장치와 관련해서 입력 장치의 방향이 수술 기구 엔드 이펙터의 방향과 일치하도록 해야 하는 문제가 제기된다. 이와 관련해서 US 6 424 885 A에서는 “mapping”이라고 하는 방법이 적용된다. 도 1에서 제시되듯이 입력 장치 1은 기본 바디 2에서 관절식으로 고정되어 있으며 한 손의 손가락을 이용하여 오므리거나 펼 수 있는 두 개의 마디 4, 5을 포함한다. 마디 4, 5의 수동 조작 시 오른쪽 그림에 제시된 제어된 엔드 이펙터 6의 작동 요소 9, 10이 그에 맞게 움직인다. 입력 장치 1의 위치는 점 P1을 통해 결정된다. 입력 장치 1의 방향은 두 개의 마디 4와 5 사이에서 점 P1과 기본 바디 2를 지나는 세로축 3을 통해 결정된다. 이에 따라 엔드 이펙터 6의 방향은 작동 요소 9와 10 사이에서 지나는 축 8을 통해 결정된다. 앞서 언급된 “mapping” 방법을 통해 입력 장치 1의 방향과 엔드 이펙터의 방향이 일치하여 두 축 3과 8이 동일한 방향으로 진행될 수 있다.
그러나 US 6 424 885 B1에 명시된 “mapping” 방법은 입력 장치 1의 방향을 엔드 이펙터의 방향과 일치시키는 데에만 적합하다. 한 손의 방향, 위치 그리고/또는 개방도가 엔드 이펙터의 방향, 위치 및 개방도와 일치하도록 하는 데에는 적합하지 않다.
미국 특허공보 US 6 424 885 B1
따라서 본 발명의 과제는 사용자가 자신의 손의 상태를 제어된 대상의 상태에 맞게 쉽고 빠르게 조정할 수 있는 제스처 컨트롤 장치가 있는 로봇 시스템을 만들고자 하는 데 있다.
발명에 따른 이러한 과제는 독립 청구항에 명시된 특징을 통해 해결된다. 발명의 다른 형태는 하위 청구항에 나온다.
발명에 따르면 적어도 한 손의 제어 변수를 기록, 분석하고 로봇 시스템의 하나 또는 다수의 구성요소를 위한 제어 명령으로 변환하는 제스처 컨트롤용 영상획득시스템을 포함하는 로봇 시스템제어를 위한 제어 장치가 제안된다. 발명에 따른 제어 장치는 수술 기구의 엔드 이펙터의 방향, 위치 그리고/또는 개방도를 일차 값으로 산출하고 한 손의 방향, 위치 그리고/또는 개방도를 이차 값으로 산출하여 하나 또는 다수의 일차 값이 해당 이차 이차 값과 차이가 있는 경우 엔드 이펙터의 제스처 컨트롤을 금지하고 적어도 하나의 이차 값이 해당 일차 값 및 그에 따른 설정값과 일치할 때 엔드 이펙터의 제스처 컨트롤을 허용하는 컨트롤 유닛을 포함한다. 발명에 따르면 제어해야 하는 기구 및 그 엔드 이펙터의 방향, 위치 그리고/또는 개방도에 맞게 손의 방향, 위치 또는 개방도를 우선 조정해야 할 필요가 있다. 이러한 조정 이후 수술 기구 및 그 엔드 이펙터를 수동으로 제어할 수 있다.
제스처 컨트롤의 활성화는 자동으로 이루어질 수 있다. 하지만 사용자가 제스처 컨트롤을 다시 한 번 확인한다는 등 추가 조건이 충족되었을 때 활성화할 수도 있다. 이 경우 제스처 컨트롤은 손과 엔드 이펙터 간의 조정 및 사용자를 통한 추가 확인이 이루어졌을 때에야 비로소 가능할 것이다.
발명의 바람직한 실시예에 따르면 제스처 컨트롤을 위한 장치는 제어하는 손의 방향, 위치, 개방도와 엔드 이펙터의 해당 상태 중 적어도 두 개가 일치해야 제스처 컨트롤을 활성화할 수 있도록 설계되어 있다.
조정을 실행할 것을 사용자에게 요청하기 위해서, 발명에 따른 제어 장치는 바람직하게는 손 상태 중 적어도 하나가 엔드 이펙터의 해당 상태와 다를 경우 사용자에게 신호를 보내도록 설계되어 있다. 이러한 신호는 예컨대 광학, 음향, 촉각 신호일 수 있다. 이러한 신호로 사용자는 손의 방향, 위치 그리고/또는 개방도를 엔드 이펙터의 해당 상태에 맞게 조정하도록 요청을 받는다.
적어도 하나의 상태가 일치하는 경우 바람직하게는 사용자에게 성공적인 조정을 나타내는 신호를 보낸다. 예컨대 광학 신호를 이용하여 사용자에게 성공적인 조정을 알릴 수 있다.
손과 엔드 이펙터 간에 조정을 수월하게 하기 위해 예를 들어 화면에 그 방향, 위치 그리고/또는 개방도가 손의 그것과 일치하는 가상 요소를 표시할 수 있다. 가상 요소는 예컨대 제어된 엔드 이펙터의 모사일 수 있다. 가위의 경우 예컨대 수술 가위의 이미지를 나타낼 수 있고 외과용 메스의 경우 외과용 메스의 이미지를 나타낼 수 있다.
뿐만 아니라 제어된 엔드 이펙터의 방향, 위치 그리고/또는 개방도를 나타내고 사용자에게 손과 엔드 이펙터 간에 조정을 위한 설정 기준으로 쓰이는 다른 기준 요소를 나타낼 수 있다. 이렇게 해서 사용자는 쉽고 직관적으로 손의 방향, 위치 그리고/또는 개방도를 기준 요소의 설정 기준에 맞게 조정할 수 있다. 이때 화면에서 조정 과정을 추적할 수 있다.
손의 방향, 위치 또는 개방도를 결정하기 위해서는 기본적으로 여러 가지 방법이 있다. 발명의 실시예에 따르면 예컨대 손이나 해당 팔의 특징적인 지점을 영상획득시스템에서 인식하고 이 지점을 손 위치의 기준점으로 지정하면서 손 위치를 구할 수 있다. 영상획득시스템은 예를 들어 손목관절 점이나 손가락 끝 점 또는 손가락 마디에 있는 점을 기준점으로 구할 수 있다. 이 지점의 위치는 컨트롤 유닛에서, 바람직하게는 영상획득시스템의 좌표계에서 구한다.
손의 방향은 예컨대 영상획득시스템의 좌표계에서 그 방향을 구하는 벡터로 결정할 수 있다. 벡터는 예를 들어 손목과 검지 끝 사이 또는 손목과 엄지 끝 사이의 선에 놓일 수 있다. 하지만 벡터가 예컨대 손목 방향으로 엄지와 검지 사이를 지나는 선에 놓일 수도 있다. 기본적으로 손의 방향을 위한 기준으로 지정되는 임의의 벡터를 구할 수 있다. 방향 벡터 및 해당 선의 인식은 바람직하게는 영상획득시스템을 통해 자동으로 이루어진다. 손의 방향은 바람직하게는 영상획득시스템의 좌표계에서 결정된다.
손의 개방도는 예컨대 두 벡터를 구하고 영상획득시스템의 좌표계에 있는 두 벡터 사이의 각도를 결정하면서 구할 수 있다. 첫 번째 벡터는 예컨대 손목에 있는 점에서 엄지 방향으로 가리킬 수 있고 두 번째 벡터는 손목에 있는 점에서 검지 끝 방향으로 가리킬 수 있다. 벡터 및 해당 선은 영상획득시스템을 통해 자동으로 구할 수 있다.
나아가 로봇 시스템의 발명에 따른 제어 장치는 사용자의 손 동작을 조종하는 데 쓰이는 수동 조작 보조 장치를 포함할 수 있다. 발명의 바람직한 실시예에 따르면 보조 장치는 수술 기구의 제어된 엔드 이펙터와 동일한 움직임 자유도를 지닌다. 하나의 축을 중심으로 두 개의 마주한 그리퍼 조가 서로 모아지거나 서로 벌어지게 움직일 수 있는 그리퍼인 경우 보조 장치가 정확하게 하나의 자유도를 가지는 것이 바람직하다. 하지만 더 많거나 더 적은 자유도를 보일 수도 있다.
수동 조작 보조 장치의 형태는 바람직하게는 제어된 엔드 이펙터의 형태와 일치한다. 수술 가위나 그리퍼의 경우 보조 장치에 예컨대 하나의 관절을 통해 서로 연결되어 있으면서 개폐 동작을 할 수 있는 두 다리가 있을 수 있다.
발명의 실시예에 따르면 예컨대 보조 장치의 방향, 위치 그리고/또는 개방도가 영상획득시스템을 통해 기록될 수 있다. 이렇게 얻은 정보는 손의 방향, 위치 그리고/또는 개방도의 기준값으로 사용될 수 있다. 수동 조작 보조 장치는 명확하게 정의된 요소를 나타내기 때문에 보조 장치뿐 아니라 손의 방향, 위치 그리고/또는 개방도도 쉽고 정확하게 구할 수 있다. 이러한 방법은 손에 있는 점을 파악할 수 있다는 장점을 제공한다. 보조 장치에는 인식을 더 쉽게 하기 위해 경우에 따라 표시가 있을 수 있다.
발명에 따르면 제어장치를 통해 손의 방향, 위치 그리고 개방도를 구하기 위해 필요한 개수만큼 손이나 보조 장치에 점을 지정할 수 있다. 제스처 컨트롤을 위해 보조 장치를 사용할 경우 보조 장치에 점을 지정할 수도 있다. 예를 들어 보조 장치의 마디 끝이나 손가락 끝에 있는 다른 점을 지정할 수 있다.
이 점들은 벡터를 구하는 데 이용할 수도 있다. 예를 들어 두 점을 통과해야 하게끔 벡터를 정의할 수 있다. 또는 한 손 및 보조 장치에 세 점을 이용하여 벡터가 놓여야 하는 가상 면을 펼칠 수 있다.
나아가 보조 장치의 마디 끝 및 손가락 끝에 있는 점을 이용하여 손가락 끝 사이의 간격을 구하면서 손의 개방도를 구할 수 있다. 두 점 사이의 간격이 클수록 손가락의 개방도가 크다.
선택적으로 또는 추가로 수동 조작 장치는 공간에서 위치 및 3 공간축 안이나 3 공간축을 중심으로 하나의 동작을 측정할 수 있는 센서, 특히 관성 센서를 포함할 수 있다. 센서 데이터는 예컨대 컨트롤 유닛에 무접촉으로 전송될 수 있다. 센서에서 제공된 데이터는 다시 손의 방향, 위치 그리고/또는 개방도를 구하는 데 쓰일 수 있다.
발명의 바람직한 실시예에 따르면 손의 방향, 위치 그리고/또는 개방도는 상기 언급된 방법 중 적어도 두 방법을 통해 중복적으로 구해진다. 다시 말해 손의 광학적 인식, 보조 장치의 광학적 인식 그리고/또는 보조장치에 통합된 센서를 통해 구해진다. 이렇게 해서 제스처 컨트롤의 에러율이 확실히 감소할 수 있고 시스템의 신뢰도를 향상시킬 수 있다.
손의 제어 변수는 바람직하게는 지정된 환산 계수를 이용하여 엔드 이펙터의 해당 동작으로 변환된다. 환산 계수 1에서 엔드 이펙터는 손과 동일한 척도로 움직인다. 환산 계수를 더 크거나 더 작게 설정할 수도 있다. 예컨대 손 동작이 계수 2만큼 줄어든 엔드 이펙터의 동작을 실현시킬 수 있다. 다시 말해 손가락의 개방도를 20° 정도 줄이면 작동 마디의 개방각이 10° 정도 줄어들게 된다. 다양한 동작 종류나 자유도에 있어서 서로 다른 환산 계수를 정의할 수도 있다. 예를 들어 각 동작에 있어서 x, y, z 축을 따라 그리고/또는 x, y, z 축을 중심으로 손 동작에 있어서 그리고 개방각과 개방도 비율에 있어서 별도의 환산 계수를 선택할 수 있다. 거리, 속도, 가속도의 변환과 관련해서도 각각 서로 다른 환산 계수를 정의할 수 있다. 이 환산 계수는 발명에 따르면 임의로 설정할 수 있다. 따라서 이 환산 계수는 엔드 이펙터가 있는 위치에 따라서도 달라질 수 있다.
처음에 언급했듯이 제스처 컨트롤은 사용자에 의해 실행된 수동 제스처를 기록하고 분석하는 영상획득시스템을 포함한다. 수술 기구 및 엔드 이펙터의 제어는 바람직하게는 제어하는 손이 지정된 영상 획득 영역 내에 있는 한 활성화된다. 손이 영상 획득 영역을 떠나면 제어장치가 비활성화된다.
발명에 따른 제어 장치는 제어된 대상을 기록하는 카메라와 기록된 영상을 표시하는 디스플레이를 포함한다. 발명의 바람직한 실시예에 따르면 제어된 대상은 화면에 있는 대상의 동작이 손의 해당 동작과 일치하도록 화면에 표시된다. 화면에 보여지는 대상은 화면 표시의 좌표계를 기준으로 하여 손 동작과 동일한 방향에서 영상획득시스템의 좌표계를 기준으로 움직인다. 사용자가 자신의 손을 예컨대 위로 움직이면(영상획득시스템의 좌표계 z 방향으로) 화면에 표시된, 엔드 이펙터의 영상은 마찬가지로 위로 움직인다(화면 표시의 좌표계 z 방향으로). 그러나 일반적으로 엔드 이펙터의 실제 동작은 다른 방향으로 진행된다. 하지만 화면에는 엔드 이펙터의 동작이 손 동작과 동일한 방향으로 표시된다. 이러한 표시는 예를 들어 외과의사와 같은 사용자가 로봇 시스템을 매우 쉽고 직관적으로 제어할 수 있도록 해주는 중요한 장점이 된다. 따라서 익숙해질 시간이나 생각을 전환할 필요가 없다.
표시의 이러한 방식을 구현하기 위해 엔드 이펙터를 기록하는 카메라에는 카메라에서 기록된 영상의 영상 축에 맞춰진 좌표계가 할당되어 있다. 카메라 좌표계는 일반적으로 영상획득시스템의 좌표계와 다른 방향이다. 카메라와 관련하여 바람직하게는 영상 획득 영역과 관련하여 영상획득시스템의 좌표계와 같은 방향이나 화면과 관련하여 화면 표시의 좌표계와 같은 방향이다.
영상 획득 영역 내의 손 동작에서 엔드 이펙터는 바람직하게는 카메라의 좌표계에서 영상획득시스템의 좌표계에서와 동일한 방향으로 움직이도록 제어된다. 사용자가 예컨대 영상획득시스템의 좌표계에서 z 방향으로 움직이면 엔드 이펙터는 카메라의 좌표계에서 마찬가지로 z 방향으로 움직인다. 카메라의 z 좌표는 다시, 화면의 좌표계에서 z 좌표로 표시된다. 다른 좌표도 이와 마찬가지로 적용된다. 발명에 따른 컨트롤 유닛은 영상획득시스템의 좌표계에서 한 손의 제어 변수가 카메라 좌표계에서 엔드 이펙터의 해당 동작으로 변환되도록 설계되어 있다.
엔드 이펙터의 방향, 위치 그리고/또는 개방도는 로봇 시스템이 통상적으로 언급된 값을 측정할 수 있는 다수의 센서를 갖고 있기 때문에 알려져 있는 값이다. 이에 엔드 이펙터의 방향, 위치 그리고/또는 개방도를 인식하기 위해서 시스템에 있는 정보를 이용할 수 있다. 컨트롤 유닛이 엔드 이펙터의 제어 명령을 생성하기 때문에 컨트롤 유닛도 언급된 값을 알고 있다.
게다가 컨트롤 유닛은 모든 좌표계를 알고 있어서 좌표계 변환을 이용하여 한 좌표계의 값을 다른 좌표계의 해당 값으로 변환할 수 있다. 이에 카메라 좌표계가 다른 좌표계에 어떻게 정렬되었는지와 상관 없이 엔드 이펙터를 카메라 좌표계에서 항상 조작할 수 있다.
또는 엔드 이펙터의 방향, 위치 그리고/또는 개방도는 손이나 보조 장치의 영상 획득과 유사하게 카메라에서 기록한 영상 데이터에서 얻을 수 있다.
본 발명은 체스처 컨트롤을 이용한 로봇 시스템의 제어를 위한 방법에 관한 것이기도 하다. 발명에 따르면 수술 기구의 엔드 이펙터의 방향, 위치 그리고/또는 개방도는 일차 값으로 구해지고 적어도 한 손의 방향, 위치 그리고/또는 개방도는 이차 값으로 구해진다. 하나 또는 다수의 일차 값이 각 해당 이차 값과 차이가 있는 경우 엔드 이펙터의 수동 제어는 자동으로 금지된다. 상응하는 값 중 하나 또는 다수의 값이 일치하면 바람직하게는 제스처 컨트롤이 자동으로 허가된다. 후자의 경우 손과 제어된 엔드 이펙터 사이에 조정이 이루어졌다. 다시 말해 손과 엔드 이펙터의 방향, 위치 그리고/또는 개방각이 일치한다. 조정 이후 엔드 이펙터는 제스처 컨트롤을 통해 제어될 수 있다. 완전히 활성화하기 위해 사용자가 제스처 컨트롤을 다시 한 번 확인해야 한다고 규정할 수 있다.
도 1은 선행기술에서 알려져 있는 입력장치와 그것으로 제어된 엔드 이펙터 그림.
도 2는 두 개의 로봇 팔과 제스처 컨트롤용 제어 장치가 있는 최소 침습 수술용 로봇 시스템의 투시도.
도 3은 환자의 몸에 삽입된 다수의 수술 기구 측면도.
도 4는 양손의 방향, 위치, 개방각을 구하기 위한 여러 기준점과 기준선 및 양손 그림.
도 5는 도 4와 유사한 양손 그림, 이때 각 손에 손 동작을 조종하기 위한 보조 장치를 쥐고 있음.
도 6은 제스처 컨트롤을 이용하여 제어된 엔드 이펙터 및 두 개의 가상 엔드 이펙터가 표시된 화면.
도 7은 제스처 컨트롤을 이용한 로봇 시스템의 제어를 위한 방법의 여러 단계의 도식.
첨부된 도면을 근거로 다음에서 예시를 들어 본 발명을 자세히 설명한다.
도 1의 설명과 관련하여 명세서 앞부분을 참조한다.
도 2에서는 제스처 컨트롤을 이용하여 로봇 시스템 11의 여러 구성요소를 제어하기 위한 제어 장치 25, 28, 29와 두 로봇암 14, 18을 갖추고 있는 최소 침습 수술용 로봇 시스템 11의 그림을 나타내고 있다. 로봇암 14, 18은 여기에서 레일 24를 통해 수술대 12에 고정되어 있다. 로봇암 14, 18은 이때 동일하거나 서로 다른 구조일 수 있다. 수술대 12에는 수술을 받아야 할 환자 13이 누워 있다.
로봇암 14와 18은 각각 수술 기구 15 및 19를 장착하고 있다. 수술 기구는 기본적으로 외과용 메스, 그리퍼, 가위, 전기 수술 기구, 내시경, 카메라, 스테이플러 등 수술에 적합한 모든 수술 기구일 수 있다. 기구 15는 예컨대 가위일 수 있고 기구 19는 그리퍼일 수 있다. 기구 15, 19에는 기구의 기능에 맞는 엔드 이펙터 17, 21을 원위 끝에 장착한 샤프트 16, 20가 있다(도 3 참조).
기구 15, 19는 로봇암 14와 18을 통해 움직이고 작은 인공 개구부를 통해 환자 13의 몸에 삽입된다. 엔드 이펙터 17 및 21을 조작해서 본래의 수술을 실행할 수 있다.
엔드 이펙터 17, 21의 제어를 위해 - 이와 관련하여 다음에서는 공간에서 위치 결정과 방향 결정을 원래 작동 요소의 조작으로도 이해함 - 영상 처리 시스템 25, 28이 있는 제어 장치가 있다. 영상획득시스템은 입방체의 영상 획득 영역 36을 모니터링하는 카메라 28을 포함한다. 영상획득시스템은 이때 수동으로 실행된 제스처를 인식하고 해석할 수 있다. 카메라에서 기록한 영상 데이터는 컨트롤 유닛 25에 전달되고 거기에 들어 있는 분석 장치(소프트웨어)에서 분석된다. 그러면 컨트롤 유닛 25는 인식된 제스처에 따라 제어된 구성요소 14, 15, 17, 18, 19, 21의 액추에이터가 제어되는 제어 명령을 생성한다. 이때 로봇암 14, 18, 기구 15, 19 그리고/또는 엔드 이펙터 17, 21이 각각 개별적으로 또는 모두 동시에 조작될 수 있다.
실시예에 따라 예를 들어 사용자의 왼손 30L로 왼쪽 엔드 이펙터 21을 조작할 수 있고 오른손 30R로 오른쪽 엔드 이펙터 17을 조작할 수 있다. 엔드 이펙터의 “조작”이란 개념은 엔드 이펙터 17, 21이 삼차원 공간에서 위치가 결정되거나 방향이 정해지고 절단, 그립, 응고 등과 같은 특정 기능을 수행할 수 있는 것을 의미한다. 엔드 이펙터 17, 21은 선택적으로 위치 제어 그리고/또는 속도 제어 및 조절될 수 있다.
로봇암 14와 18은 여기에서 케이블 26 및 27을 통해 컨트롤 유닛 25와 연결된다. 또는 무선 제어장치가 있을 수 있다.
앞에서 언급했듯이 사용자는 로봇 시스템 11을 제어하기 위해 수동 제스처를 실행할 수 있는 지정된 촬영 영역 36을 사용할 수 있다. 제어 장치 25, 28, 29는 바람직하게는 이 영역 36 내에서 실행한 제스처만 컨트롤 유닛 25에서 해당 제어 명령으로 변환되도록 설계되어 있다. 영역 36을 벗어난 곳에서 실행된 제스처는 해당 제어 명령으로 변환되지 않는다.
촬영 영역 36에는 삼차원 공간에서 손 30L, 30R의 위치 및 그 방향 결정을 명확하게 정할 수 있는 첫 번째 좌표계 KG가 있다. 예컨대 손 30L, 30R 또는 그 손가락이 가리키는 방향 및 손 30L, 30R 또는 손가락의 상호 거리를 정할 수 있다. 뿐만 아니라 남은 거리, 동작 속도 그리고/또는 동작 방향 등 손 30L, 30R 및 그 손가락의 동작도 정할 수 있다.
손 30L, 30R의 위치를 정하기 위해서는 영상획득시스템 25, 28을 이용하여 손 30L, 30R 그리고/또는 해당 팔에서 하나 또는 다수의 점을 인식하고 해당 손 30L, 30R의 위치를 위한 기준점으로 사용할 수 있다. 도 4에서 나타냈듯이 예컨대 각각 손 30L, 30R의 손목에 있는 왼손 30L의 점 P1L과 오른손 30R의 P1R을 지정할 수 있다. 양손 30L, 30R의 위치는 좌표계 KG에서 명확하게 그릴 수 있다.
뿐만 아니라 왼손과 오른손 30L, 30R의 엄지와 검지의 손가락 끝에 있는 점 P2L, P2R, P3L, P3R과 같이 손에 있는 다른 점도 기준점으로 정의할 수 있다. 손 30L, 30R의 방향을 정하기 위해서는 손 30L 및 30R의 각 두 점 사이에서 선 31, 32, 33 또는 34를 둘 수 있다. 손 30L, 30R의 방향은 예를 들어 언급된 선 31부터 34까지 중 하나에 있는 벡터로 정의될 수 있다. 또는 언급된 선 31과 32 및 33과 34 사이에 있는 벡터 V1L, V1R도 정의할 수 있다. 이러한 벡터는 왼손 30L의 점 P1L, P2L, P3L 및 오른손 30R의 세 점 P1R, P2R, P3R을 통해 확장되는 한 면에 놓일 수 있다. 그러면 이 벡터 V1L, V1R은 손 30L 및 30R의 방향을 위한 기준으로 인용된다.
또는 벡터 V1L, V1R은 각각 임의의 다른 각도를 취할 수 있고 예를 들어 검지의 손가락 끝(P3L 및 P3R)을 직접 가리킬 수 있다.
엄지와 검지 사이 한 손 30L, 30R의 개방도는 예컨대 선 31과 32 및 33과 34 사이 각도 αL 및 αR로 정의될 수 있다. 이 각도 αL, αR은 엄지와 검지 간의 간격에 따라 달라진다. 한 손 30L, 30R의 개방도는 손 30L, 30R에서 두 점 P2L, P2R, P3L, P3R의 거리를 통해 정할 수 있다. 예를 들어 검지의 끝 P3L과 엄지의 끝 P2L의 간격으로 정할 수 있다.
한 손 30L, 30R의 위치, 방향, 개방도는 이에 좌표계 KG에서 명확하게 지정할 수 있다. 뿐만 아니라 위치, 방향, 개방도의 모든 변경에 있어 해당 속도나 가속도를 구할 수 있다.
도 4에서 나타나듯이 벡터 V1L 및 V1R는 항상 선 31과 32 및 33 사이의 반 개방각 αL 및 αR을 취하는 것이 바람직하다.
앞에서 명시한 손과 팔 점의 인식 외에 손의 위치, 방향, 개방도를 구할 수 있는 여러 가지 다른 방법이 있다. 도 5에서 나타내듯이 로봇 시스템 11의 제어 장치 25, 28, 29는 엄지와 검지 사이에서 손의 개폐 동작을 조종하기 위한 수동 조작 보조 장치 35L, 35R을 포함한다. 그림의 실시예에서는 각 손 30L, 30R에 있어 자체 조종 장치 35L, 35R이 있다.
각 보조 장치 35L, 35R은 형태와 배치가 그리퍼나 수술 가위와 일치하는, 관절식으로 서로 연결된 두 개의 마디를 포함한다. 보조 장치 35L, 35R은 각각 정확하게 하나의 자유도를 가진다. 다시 말해 정의된 축 37을 중심으로 검지와 엄지 끝의 개폐 동작만 가능하다. 손가락 끝이 고정 정의된 궤도를 따라서만 움직일 수 있기 때문에 엄지와 검지의 이러한 동작 자유 제한으로 인해 제스처 인식 시 오해석이 배제될 수 있다. 보조 장치 35L, 35R의 가동 마디에는 예컨대 사용자가 엄지 및 검지를 꽂을 수 있는 고리 36L, 36R가 있을 수 있다.
손 30L, 30R에 명확한 점을 결정한 것과 마찬가지로 보조 장치 35L, 35R에서 점을 구하고 거기에서 해당 손 30L 및 30R의 위치, 방향 그리고/또는 개방도를 정할 수 있다. 손목 점 P1L 및 P1R 대신 도 5에서 제시된 예컨대 보조 장치의 관절 점 37L 및 37R을 사용할 수 있다. 벡터 V1L 및 V1R 대신 예를 들어 점 37L 및 37R을 지나는 관절 축을 사용할 수 있다. 손 개방도의 기준으로 예를 들어 35L 및 35R 보조 장치의 관절식으로 서로 연결된 마디 사이의 각도나 두 관절 끝 사이의 간격(손가락 끝과 유사)을 인용할 수 있다.
대안적으로 또는 추가로 보조 장치 35L과 35R은 센서 38L과 38R을 각각 구비할 수 있다. 이러한 센서는 마찬가지로 손의 위치, 방향 그리고/또는 개방도를 결정하기 위해 사용될 수 있다. 예컨대 관절식으로 서로 연결된 두 마디의 각도를 측정하는 각도 센서가 있다면 엄지와 검지 사이에서 손 30L 및 30R의 개방도를 구할 수 있다. 뿐만 아니라 손 30L 및 30R의 위치, 방향, 동작 속도 또는 가속도를 감지할 수 있는 자기 센서나 가속 센서 또는 관성 센서를 통합할 수 있다. 센서 데이터는 예를 들어 컨트롤 유닛 25에 무접촉으로 전송될 수 있다. 가능한 오류를 검출하거나 제거하기 위해 중복 정보를 서로 비교할 수 있다. 오류가 있거나 정보가 누락된 경우 예를 들어 중복 정보로 대체할 수도 있다.
최소 침습 수술에서 수술이 이루어지는 위치는 하나 또는 다수의 카메라 22, 23을 통해 모니터링된다. 이를 위해 하나 또는 다수의 복강경 기구가 도 3에도 제시된 것처럼 작은 인공 개구부를 통해 환자 13의 몸에 삽입된다. 카메라 23의 영상은 외과의사가 수술의 진행을 관찰하고 모니터링할 수 있는 화면 29에 표시된다. 뿐만 아니라 도 2의 로봇 시스템 11에는 환자 13의 몸 외부의 사건을 기록하는 추가 카메라 22가 있다. 이 카메라 22는 예컨대 로봇암 14, 18 및 기구 15와 19그리고 카메라 23의 위치와 방향을 파악하는 데 사용될 수 있다. 카메라 22와 카메라 28의 영상도 화면 29에서 표시될 수 있다. 엔드 이펙터가 환자 내부에 있느냐 외부에 있느냐에 따라 자동 또는 수동으로 카메라 22와 23 사이에서 전환할 수 있다. 옵션으로 화면 29에서 영상은 카메라 22에서 담은 엔드 이펙터와 카메라 23에서 담은 엔드 이펙터를 표시하기 위해 분할될 수 있다.
바람직하게는 모든 카메라 그리고/또는 모니터는 3D가 가능하다. 이를 위해 이중 녹화 기능이 있는 카메라나 입체 카메라 등 선행 기술에서 알려진 장치를 사용할 수 있다.
외과의사가 그 엔드 이펙터 17, 21을 포함하여 수술 기구 15, 19를 가능한 한 직관적으로 제어할 수 있도록 하기 위해서는 좌표계 KG를 기준으로 적어도 제어하는 손 30L 및 30R의 방향, 바람직하게는 위치와 개방각까지 해당 카메라 좌표계 KK1 및 KK2를 기준으로 제어된 엔드 이펙터의 17 및 21의 방향, 위치 및 개방각과 일치해야 한다. 여기에 제시된 로봇 시스템 11에서는 이러한 목적으로 사용자가 제어된 엔드 이펙터 17 및 21의 해당 상태에 맞게 손의 방향 그리고/또는 위치 그리고/또는 개방도를 조정할 수 있는 조정 과정이 실행된다.
언급된 상태값 중 적어도 하나, 바람직하게는 모든 상태값이 일치하게 되면 제어된 엔드 이펙터 17, 21이 허가 및 활성화되고 그 다음에는 손으로 제어할 수 있다. 활성화는 자동으로 이루어지거나 또는 다시 한 번 사용자의 추가적인 확인이 필요할 수 있다.
사용자가 손 30L 및 30R 사이와 제어된 엔드 이펙터 17, 21 사이의 조정을 쉽게 하기 위해 이 실시예에서는 화면 29에 그 방향, 위치, 개방도가 예컨대 제어하는 손 30R의 방향, 위치, 개방도와 일치하는 가상 엔드 이펙터 17'이 표시된다. 가상 이펙터 17'은 이에 제어하는 손 30R의 상태를 나타낸다. 뿐만 아니라 창 40에는 제어된 엔드 이펙터 17의 상태를 나타내는 다른 엔드 이펙터 17”이 표시된다. 이에 첫 번째 가상 엔드 이펙터 17'은 사용자의 손 30R의 실제 상태를 나타내고 다른 엔드 이펙터 17”은 손 30R의 설정 상태를 나타낸다.
도 6에서 나타냈듯이 손 30R의 방향과 엔드 이펙터 17의 방향은 각도 Δω 만큼 차이가 난다. 오른손 30R의 방향을 엔드 이펙터 17의 방향과 일치하도록 하기 위해서 사용자는 자신의 손의 방향만 바꿔야 한다. 로봇 시스템 11은 사용자가 자신의 손을 어떻게 움직여야 하는지 화살표 표시 등을 통해 추가로 보여줄 수 있다. 손 30R의 방향이 엔드 이펙터 17의 방향과 일치하면 마찬가지로 화면 29에 기호 표시로 또는 가상 이펙터 17'의 컬러 강조로 사용자에게 피드백이 이루어질 수 있다. 로봇 시스템 11의 구조에 따라 방향 일치에 있어 허용오차가 지정될 수 있다. 반드시 정확하게 일치할 필요가 있는 것은 아니다.
이와 같은 방식으로 왼손 30L의 방향도 왼쪽 엔드 이펙터 21과 일치시킬 수 있다. 방향을 조정한 다음에는 두 엔드 이펙터 17, 21의 제스처 컨트롤이 허용된다. 또한 창 40을 숨길 수 있다. 제스처 컨트롤의 활성화를 위한 전제조건으로 방향 외에 손 30R, 30L의 하나 또는 다수의 다른 상태가 엔드 이펙터 17, 21의 각각 제어된 엔드 이펙터와 일치되어야 한다고 지정할 수 있다. 예를 들어 양손 30L과 30R의 개방도 αL과 αR을 두 엔드 이펙터 17, 21의 개방각 φL과 φR과 일치시켜야 한다고 지정할 수 있다. 개방도의 조정은 앞서 명시한 방향의 조정과 유사하게 이루어질 수 있다. 이에 따라 한 손 30L, 30R의 개방도가 제어된 엔드 이펙터 17, 21의 개방도와 다른지 여부가 밝혀진다. 차이가 있는 경우 사용자에게 손 30L, 30R의 개방도를 변경하라는 신호가 표시될 수 있다. 성공적인 조정 후 제스처 컨트롤은 다시 자동으로 허가될 수 있다. 조정 시 양손 30L과 30R의 개방도 αL과 αR과 두 엔드 이펙터 17, 21의 개방각 φL과 φR 사이에 오프셋을 정의할 수 있다. 이 오프셋은 예컨대 엔드 이펙터를 닫기 위해 손가락을 완전히 닫을 필요가 없도록 할 수 있다. 이는 특히 손으로 보조 장치 35L과 35R을 조종할 때 그리고 그로 인해 손가락이 완전히 닫히지 않을 때 유용하다.
제스처 컨트롤의 활성화를 위한 전제조건이 제어하는 손 30L 및 30R의 위치 P1L 및 P1R을, 추가로 제어된 엔드 이펙터 17 및 21의 위치 Q1L 및 Q1R과 일치시켜야 한다는 것일 수도 있다. 위치 조정 방법은 방향 및 개방도의 조정과 유사하게 이루어질 수 있다. 도 6에서 나타나듯이 가상 엔드 이펙터 17'의 점 Q1R'은 엔드 이펙터 17의 점 Q1R에 비해 위치가 이동되었다. 이러한 오프셋은 예컨대 벡터 39로 표시할 수 있다. 사용자는 이제 가상 엔드 이펙터 17”의 위치와 일치할 때까지 자신의 손의 위치를 바꿀 수 있다. 조정 이후에는 손 30L과 30R의 상대적인 위치 및 엔드 이펙터 17, 21의 상대적인 위치를 서로 조정한다. 다시 말해 왼손 30L과 오른손 30R의 손가락 끝이 접촉하면 엔드 이펙터 17, 21의 끝도 접촉해야 한다.
로봇 시스템 11의 제어를 가능한 한 쉽게 구성하고 특히 직관적인 제어가 가능하도록 하기 위해 화면 29에 표시된 대상 17, 21, 17', 17”은 바람직하게는 손 동작의 방향에서 손 동작에 따르도록 표시된다. 한 손 30L, 30R이 예컨대 영상획득시스템의 좌표계 KG에서 x 방향으로 움직이면 엔드 이펙터 17이나 가상 엔드 이펙터 17' 등과 같이 영상에서 제어된 대상은 화면 29의 좌표계 KB에서 마찬가지로 x 방향으로 움직인다. y 방향이나 z 방향에서 한 구성요소와의 움직임에 있어서도 동일하게 적용된다. 화면 29의 좌표계 KB는 이때 영상획득시스템 25, 28(z축은 예를 들어 위를 가리키고 x축은 오른쪽을 가리킴)의 좌표계 KG와 동일한 방향이다. 오른쪽으로 손을 움직이면 제어된 대상 17, 17'은 화면에서 오른쪽으로 움직이고 위로 움직이면(z 방향) 제어된 대상 17, 17'가 그에 맞게 화면에서 위로 움직인다. 공간에서 대상 17, 21의 실제 움직임은 그러나 일반적으로 화면 29에 표시된 움직임과 다르다. 이러한 표시를 구현하기 위해 기본적으로 여러 가지 방법이 있다.
도 1부터 6에 제시된 로봇 시스템 11에서는 각 카메라 22, 23에 자체 좌표계 KK1, KK2가 할당되어 있다. 카메라 22나 23의 방향을 전환하면 해당 좌표계 KK1 및 KK2도 카메라와 함께 방향이 전환된다. 해당 카메라 22 및 23을 조절하면서 카메라 좌표계 KK1 및 KK2의 방향을 정할 수 있다. 예컨대 카메라 23은 축 42를 중심으로 회전할 수 있다. 또는 카메라 좌표계 KK1 및 KK2의 방향은 카메라를 강제적으로 조정할 필요 없이 사용자가 제어 장치 25를 이용하여 좌표계 변환을 통해 임의로 조정할 수 있다.
나아가 카메라 좌표계 KK1과 KK2의 방향도 해당 카메라 22, 23을 기준으로 각각 일치해야 한다. 카메라 22의 좌표계 KK1의 x축과 환자 13에 삽입된 카메라 23의 좌표계 KK2의 x축은 예를 들어 각각 해당 카메라 22, 23의 촬영 방향을 가리킬 수 있다. 화면 29의 좌표계 KB의 방향은 마찬가지로 좌표계 KK1, KK2의 방향과 일치한다. 이때 화면 29의 좌표계 KB는 고정 방향이다. 예컨대 KB의 z축은 항상 위로 수직으로 가리키고 x축은 화면 29로 화면 면에 법선으로 가리킨다. 카메라 23에서 촬영한 대상이 예컨대 좌표계 KK1에서 z 방향으로 움직이면 화면 29에서도 대상은 화면 좌표계 KB에서 z 방향으로 움직인다. 로봇 시스템 11은 엔드 이펙터 17, 21이 어디에 있는지 자동으로 인식하고 그에 맞게 엔드 이펙터를 제어한다. 해당 엔드 이펙터 17, 21과 관련된 좌표계는 바람직하게는 엔드 이펙터 17, 21이 환자 13에 삽입되거나 추출될 때 자동으로 변경된다.
촬영 영역 36에는 좌표계 KG가 할당된다. 이 좌표계는 화면 29의 좌표계 KB에 따라 방향을 정할 수 있지만 반드시 그럴 필요는 없다. 하지만 바람직하게는 좌표계 KG의 y축이 기본적으로 화면 29의 좌표계 KB의 y축에 평행하게 정렬된다. 좌표계 KG의 x축은 기본적으로 전면 사용자 기준으로 전방을 향한다.
하지만 공간에서 엔드 이펙터 17, 21의 실제 움직임은 일반적으로 화면 29에 표시된 움직임 방향과 일치하지 않고 공간에서 제어하는 손 30L, 30R의 움직임 방향과도 일치하지 않는다. 엔드 이펙터 17, 21은 카메라 좌표계 KK1 및 KK2에서 제어된다. 카메라 22 및 23의 방향에 따라 카메라 좌표계 KK1 및 KK2도 공간에서 다른 방향을 향한다. 다시 말해 좌표계 KG의 z 방향에서 손을 움직이면 해당 카메라 좌표계 KK1 및 KK2의 z 방향으로 엔드 이펙터가 움직인다. 공간에서 엔드 이펙터의 실제 움직임은 카메라 좌표계 KK1 및 KK2의 z축 방향에 따라 좌우된다.
좌표계 KK1 및 KK2의 위치와 방향(x, y, z축의 방향)은 로봇 시스템 11 및 컨트롤 유닛 25에 알려져 있고 좌표계 변환을 통해 글로벌 로봇 좌표계 KR로 환산할 수 있다. 결과적으로 좌표계 KK1, KK2, KB, KG의 각 좌표계에 있는 전체 물리적인 값은 좌표 변환을 이용해서 다른 좌표계의 해당 값으로 환산할 수 있다. 이에 예를 들어 점 Q1L과 Q1R의 위치는 글로벌 로봇 좌표계 KR에서 벡터를 통해 설명할 수 있을 것이다. 마찬가지로 로봇 좌표계 KR의 점 Q1L과 Q1R 위치는 해당 카메라 22, 23의 좌표계 KK1, KK2로 변환할 수 있다. 이에 제어 장치 25는 좌표계 KG에서 파악되는 손 30L, 30R의 움직임 값을 해당 카메라 좌표계 KK1 및 KK2에서 나타내는 엔드 이펙터 17, 21의 제어 변수로 환산할 수 있다.
엔드 이펙터 17, 21의 방향, 위치, 개방각은 손 30L, 30R과 같은 방식으로 영상획득시스템 22, 23, 25를 통해 구할 수 있다. 개방각은 예컨대 도3에서 제시되듯이 두 작동 요소 간의 각도를 통해 정해질 수 있다. 엔드 이펙터 17, 21의 방향은 벡터 V2L과 V2R을 통해 구할 수 있고 엔드 이펙터 17과 21의 위치는 관절 점 Q1L 및 Q1R의 위치를 통해 정의될 수 있다. 미리 정의된 것처럼 손 벡터 V1L과 V1R이 각각 엄지와 검지 사이의 반각 αL 및 αR으로 지날 경우 이와 유사하게 엔드 이펙터 벡터 V2L과 V2R가 각 보조 장치 25L 및 25R의 두 작동 요소 사이의 반 개방각 φL 및 φR에서 지나도록 정의하는 것이 바람직하다. 개별 값들은 임의의 좌표계 KK1, KK2, KR에서 명시할 수 있다. 이런 식으로 확인을 위해 서로 비교할 수 있는 서로 다른 중복 정보를 얻을 수 있다.
엔드 이펙터 17, 21의 위치, 방향, 개방각을 알기 위해 로봇 시스템 11에 있는 데이터를 이용할 수 있다. 예를 들어 컨트롤 유닛 25는 로봇암 14의 위치를 기준으로 엔드 이펙터 17의 위치를 결정할 수 있다. 컨트롤 유닛 25는 그 외에 엔드 이펙터 17, 21을 위한 제어 명령을 생성하기 때문에 각 엔드 이펙터 17, 21의 방향과 개방각도 알고 있다.
엔드 이펙터 17, 21의 제스처 컨트롤을 활성화하기 위해 해당 엔드 이펙터 17, 21을 수동으로 조작할 수 있다. 제어하는 손 30L, 30R이 촬영 영역 36 내에 있다면 사용자에 의해 실행된 제어 명령은 해당 제어 명령으로 변환된다. 하지만 제어하는 손 30L 및 30R이 촬영 영역 36에서 나오면 제스처 컨트롤은 금지된다. 다시 말해 엔드 이펙터 17, 21이 멈춘다. 이렇게 해서 엔드 이펙터 17, 21이 원치 않는 동작을 실행하지 않을 수 있다.
해당 엔드 이펙터 17, 21은 새 조정 과정이 실행된 다음에 다시 활성화될 수 있다.
도 7에서는 도 1부터 6의 로봇 시스템 11을 제어하기 위한 방식의 여러 절차를 나타낸다. 단계 S1에서 손 30L, 30R이 촬영 영역 36 안으로 움직이고 단계 S2에서는 카메라 28을 통해 촬영된다. 단계 S3에서 손의 방향이 결정된다. 이때 벡터 V1L, V1R이 구해진다. 단계 S4에서는 엔드 이펙터 17, 21의 방향이 구해지고 벡터 V2L, V2R이 구해진다. 단계 S5에서 방향의 설정값-실제값 비교가 이어진다.
단계 S6에서 손 30L, 30R의 위치가 결정되고 해당 점 P1L과 P1R이 정해진다. 그 이후 단계 S7에서 엔드 이펙터의 위치 결정이 이어진다. 이때 점 P2L과 P2R이 정해진다. 단계 S8에서 위치의 설정값-실제값 비교가 이어진다.
단계 S9는 손가락의 개방도 결정을 나타낸다. 이때 각도 αL과 αR이 구해진다. 이에 따라 단계 10에서는 엔드 이펙터 17, 21의 개방각이 구해진다. 단계 S11에서는 끝으로 개방도 및 개방각의 설정값-실제값 비교가 이어진다.
방향, 위치 그리고/또는 개방도가 차이가 있는 경우 S12 단계에서 사용자에게 조정을 실행하라는 신호가 표시된다. 적어도 하나의 실제값이 해당 설정값과 일치하면 제스처 컨트롤이 활성화된다. 그 이후 로봇 시스템 11은 사용자가 실행한 수동 제어 명령을 인식하고 기준에 따라 엔드 이펙터 17, 21을 제어한다.
손 30L 또는 30R의 매개변수가 더 이상 엔드 이펙터 17, 21의 해당 매개변수와 일치하지 않을 때 엔드 이펙터 17, 21의 제어장치는 바람직하게는 비활성화된다(단계 S15). 엔드 이펙터 17, 21의 비활성화는 바람직하게는 제어하는 손 30L, 30R이 촬영 영역 36에서 나올 때에도 이루어진다.
엔드 이펙터 17, 21은 해당 값을 일치시키는 과정을 다시 실행할 경우에만 다시 활성화되거나 조작될 수 있다. 한 손이 인식 영역 36에서 나왔다면 우선 인식 영역 36으로 손이 들어가야 한다(단계 S1 참조). 촬영 영역 36에 손이 있을 때 적어도 하나의 값이 일치하지 않아 제어가 금지되었다면 해당 값을 다시 결정하면서 계속할 수 있다(단계 S2, S3, S6, S9 참조).
도 7에 제시된 단계는 제어 장치 25가 언제든 실행할 수 있도록 제어 장치 25의 메모리에 저장할 수 있다.

Claims (21)

  1. 엔드 이펙터(17, 21)가 달린 수술 기구(15, 19)가 장착된 적어도 하나의 로봇암(14, 18)이 있는 로봇 시스템(11)의 제어를 위한 제어 장치(25, 28, 29)로서, 이때 제어 장치(25, 28, 29)는 적어도 한 손(30L, 30R)의 제어 변수를 기록하고 로봇 시스템(11)의 하나 또는 다수의 구성요소를 위해 해당 제어 명령으로 변환해주는 영상획득시스템(25, 28)을 포함하며 다음과 같은 컨트롤 유닛(25)이 구비되어 있는 제어 장치:
    - 수술 기구(15, 19)의 엔드 이펙터(17, 21)의 방향, 위치 그리고/또는 개방도를 일차 값으로 구하고 나아가
    - 적어도 한 손(30L, 30R)의 방향, 위치 그리고/또는 개방도를 이차 값으로 구하고, 하나 또는 다수의 일차 값이 해당 이차 값과 차이가 있는 경우 또는 제어하는 손이 감지 영역을 벗어나 움직이는 경우에, 엔드 이펙터(17, 21)의 제스처 컨트롤을 자동으로 비활성화하며, 하나 또는 다수의 일차 값이 해당 이차 값과 일치하는 경우 및 제어하는 손이 감지 영역에서 움직인 경우에, 제스처 컨트롤을 허용하여 엔드 이펙터(17, 21)가 제스처 컨트롤을 이용해서 조작될 수 있도록 하는 제어 장치.
  2. 제1항에 있어서, 제스처 컨트롤을 활성화하기 위해서는 이차 값 중 적어도 두 개의 값이 해당 일차 값과 일치해야 하는 제어 장치(25, 28, 29).
  3. 제1항에 있어서, 컨트롤 유닛(25)에서 일차 값 중 하나 또는 다수의 일차 값이 해당 이차 값과 차이가 날 경우 로봇 시스템(11)의 사용자에게 적어도 한 손(30L, 30R)의 방향, 위치 그리고/또는 개방도를 엔드 이펙터(17, 21)의 해당 상태에 맞게 조정하도록 요청하는 신호를 내보내는 제어 장치(25, 28, 29).
  4. 제1항에 있어서, 컨트롤 유닛(25)에서 하나 또는 다수의 이차 값이 해당 일차 값과 일치할 경우 제어된 엔드 이펙터(17, 21)와 한 손(30L, 30R)의 조정이 이루어졌음을 사용자에게 알리는 신호를 내보내는 제어 장치(25, 28, 29).
  5. 제1항에 있어서, 컨트롤 유닛(25)에서 그 방향 그리고/또는 위치 그리고/또는 개방도가 손(30L, 30R)의 그것과 일치하는 가상 요소(17')을 화면(29)에 표시하는 제어 장치(25, 28, 29).
  6. 제1항에 있어서, 컨트롤 유닛(25)에서 그 방향 그리고/또는 위치 그리고/또는 개방도가 제어된 엔드 이펙터(17)의 그것과 일치하는 다른 요소(17”)를 화면(29)에 표시하고 제어하는 손(30L, 30R)과 제어된 엔드 이펙터(19, 21) 간에 조정을 위한 기준값으로 사용되는 제어 장치(25, 28, 29).
  7. 제1항에 있어서, 수동 조작된 보조 장치(35L, 35R)가 구비되어 있는 제어 장치(25, 28, 29).
  8. 제1항에 있어서, 컨트롤 유닛(25)에서 손이나 해당 팔 또는 해당 보조 장치(35L, 35R)에 있는 점(P1L, P1R, 37L, 37R)을 지정하고 영상획득시스템(25, 28)의 좌표계(KG)에서 이 점(P1L, P1R, 37L, 37R)을 구하면서 손(30L, 30R)의 위치를 구하는 제어 장치(25, 28, 29).
  9. 제1항에 있어서, 컨트롤 유닛(25)에서 적어도 한 벡터(V1L, V1R)를 지정하고 이 벡터를 영상획득시스템(25, 28)의 좌표계(KG)에서 결정하면서 적어도 한 손(30L, 30R)의 방향을 구하는 제어 장치(25, 28, 29).
  10. 제9항에 있어서, 컨트롤 유닛(25)에서 벡터(V1L, V1R)를 지정하기 위해 한 손(30L, 30R) 그리고/또는 보조 장치(35L, 35R)에 있는 적어도 하나의 다른 점(P2L, P2R, P3L, P3R, 37L, 37R)을 지정하는 제어 장치(25, 28, 29).
  11. 제10항에 있어서, 벡터(V1L 및 V1R)가 지정된 점(P1L, P1R, P2L, P2R, P3L, P3R, 37L, 37R) 중 적어도 세 점을 통해 확장되는 면에 있는 제어 장치(25, 28, 29).
  12. 제1항에 있어서, 컨트롤 유닛(25)에서 손가락이나 보조 장치(35L, 35R)의 끝에 있는 점으로서, 한 손(30L, 30R) 그리고/또는 보조 장치(35L, 35R)의 적어도 한 점(P2L, P2R, P3L, P3R)을 지정하는 제어 장치(25, 28, 29).
  13. 제1항에 있어서, 컨트롤 유닛(25)에서 두 선(31, 32, 33, 34)을 정하고 영상획득시스템(25, 28)의 좌표계(KG)에서 선(31, 32, 33, 34) 사이의 각도(αL, αR)를 구해 적어도 한 손(30L, 30R)의 개방도를 구하는 제어 장치(25, 28, 29).
  14. 제11항에 있어서, 컨트롤 유닛(25)에서 손(30L, 30R)의 두 점(, P2L, P2R, P3L, P3R) 사이의 거리를 구해서 적어도 한 손(30L, 30R)의 개방도를 구하는 제어 장치(25, 28, 29).
  15. 제7항에 있어서, 공간에서 보조 장치의 위치 그리고/또는 3 공간축 안 및 3 공간축을 중심으로 보조 장치(36L, 36R)의 동작을 측정할 수 있는 관성 센서가 수동 조작된 보조 장치(36L, 36R)에 포함되어 있는 제어 장치(25, 28, 29).
  16. 제1항에 있어서, 한 손(30L, 30R)의 움직임이 지정된 환산 계수를 이용하여 엔드 이펙터(17, 21)의 해당 움직임으로 변환되도록 컨트롤 유닛(25)이 설계되어 있는 제어 장치(25, 28, 29).
  17. 제1항에 있어서, 제스처 컨트롤을 이용하여 제어된 대상(17, 21)이 표시되는 화면(29)을 포함하는 것을 특징으로 하는 제어 장치(25, 28, 29)로서, 이때 영상획득시스템(25, 28)의 좌표계(KG)의 최대 두 축의 방향이 화면 표시의 좌표계(KB)의 해당 축 방향과 일치하고 화면(29)에서 화면 표시의 좌표계(KB)를 기준으로 대상이 영상획득시스템(25, 28)의 좌표계(KG) 기준으로 손의 움직임과 동일한 방향으로 움직이도록 표시되는 제어 장치.
  18. 제1항에 있어서, 엔드 이펙터(17, 21)가 달린 카메라(22, 23)가 구비되어 있고 카메라(22, 23)의 좌표계(KK1, KK2)가 카메라(22, 23)에서 촬영한 영상의 영상 축(41, 42)을 향하고 있으며 이 때, 좌표계(KK1, KK2)의 축 중 하나가 카메라(22, 23) 방향을 향하고 있는 제어 장치(25, 28, 29).
  19. 제18항에 있어서, 영상획득시스템(25, 28)의 좌표계(KG)에서 한 손(30L, 30R)의 제어 명령이 카메라(22, 23)의 좌표계(KK1, KK2)에 있는 엔드 이펙터(17, 21)의 해당 움직임으로 변환되도록 컨트롤 유닛(25)이 설계되어 있는 제어 장치(25, 28, 29).
  20. 제19항에 있어서, 엔드 이펙터(17, 21)가 어떤 카메라(22, 23)에서 촬영되느냐에 따라 엔드 이펙터(17, 21)의 제어를 위한 활성 좌표계가 카메라(22, 23)의 좌표계(KK1, KK2) 사이에서 변환되는 제어 장치(25, 28, 29).
  21. 적어도 한 손(30L, 30R)을 이용하여 로봇 시스템(11)을 제어하기 위한 방법으로 다음 단계를 포함하는 방법:
    - 일차 값으로 수술 기구(14, 18)의 엔드 이펙터(17, 21)의 방향, 위치 그리고/또는 개방도 구하기
    - 이차 값으로 적어도 한 손(30L, 30R)의 방향, 위치 그리고/또는 개방도 구하기
    - 일차 값 중 적어도 하나와 해당 이차 값의 비교
    - 일차 값 중에서 하나 또는 다수의 값이 해당 이차 값과 차이가 나는 경우 또는 제어하는 손이 감지 영역을 벗어나 움직이는 경우에, 엔드 이펙터(17, 21)의 제스처 컨트롤을 자동으로 비활성화
    - 일차 값 중 하나 또는 다수의 값이 해당 이차 값과 일치할 경우 및 제어하는 손이 감지 영역에서 움직인 경우에, 엔드 이펙터(17, 21)를 손(30L, 30R)으로 제어할 수 있도록 제스처 컨트롤의 허가.
KR1020167011607A 2013-10-01 2014-09-10 제스처 컨트롤을 이용한 로봇 시스템 제어를 위한 방법과 제어 장치 KR101797169B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102013110847.4 2013-10-01
DE102013110847.4A DE102013110847B3 (de) 2013-10-01 2013-10-01 Steuervorrichtung und Verfahren zum Steuern eines Robotersystems mittels Gestensteuerung
PCT/EP2014/069284 WO2015049095A1 (de) 2013-10-01 2014-09-10 Steuervorrichtung und verfahren zum steuern eines robotersystems mittels gestensteuerung

Publications (2)

Publication Number Publication Date
KR20160071407A KR20160071407A (ko) 2016-06-21
KR101797169B1 true KR101797169B1 (ko) 2017-11-13

Family

ID=51542351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167011607A KR101797169B1 (ko) 2013-10-01 2014-09-10 제스처 컨트롤을 이용한 로봇 시스템 제어를 위한 방법과 제어 장치

Country Status (6)

Country Link
US (1) US9901411B2 (ko)
JP (1) JP6284284B2 (ko)
KR (1) KR101797169B1 (ko)
CN (1) CN105636542B (ko)
DE (1) DE102013110847B3 (ko)
WO (1) WO2015049095A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013832A1 (ko) * 2021-08-05 2023-02-09 서울대학교병원 헤드셋 기반의 비접촉 손동작 인식 기술을 활용한 수술 로봇 제어 시스템
KR20230106247A (ko) * 2022-01-06 2023-07-13 주식회사 삼육오엠씨(365mc) 지방흡입 수술용 하이브리드 로봇 장치

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8956280B2 (en) 2002-05-30 2015-02-17 Intuitive Surgical Operations, Inc. Apparatus and methods for placing leads using direct visualization
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
DE102014006264A1 (de) * 2014-04-30 2015-11-05 gomtec GmbH Verfahren und Vorrichtung zum Steuern der Bewegung eines Objekts
JP6787623B2 (ja) 2015-02-24 2020-11-18 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ 非常に器用なシステムのユーザインタフェース
US10524871B2 (en) 2015-06-10 2020-01-07 Intuitive Surgical Operations, Inc. Master-to-slave orientation mapping when misaligned
US11037423B2 (en) * 2015-09-23 2021-06-15 Ali Kord Posture monitor
JP6886976B2 (ja) * 2015-12-10 2021-06-16 コヴィディエン リミテッド パートナーシップ 独立ロール、ピッチ、及びヨースケーリングを備えたロボット外科用システム
CN105997247A (zh) * 2016-05-06 2016-10-12 京东方科技集团股份有限公司 一种应用于远程手术的控制端、手术设备端、方法及系统
EP3463160A4 (en) * 2016-06-03 2020-01-01 Covidien LP MULTI-INPUT ROBOTIC SURGICAL SYSTEM CONTROL DIAGRAM
US11612446B2 (en) * 2016-06-03 2023-03-28 Covidien Lp Systems, methods, and computer-readable program products for controlling a robotically delivered manipulator
US10099368B2 (en) 2016-10-25 2018-10-16 Brandon DelSpina System for controlling light and for tracking tools in a three-dimensional space
DE102016221193B3 (de) * 2016-10-27 2018-01-04 Kuka Roboter Gmbh Verfahren zum Steuern eines Manipulators basierend auf Handerkennung
DE102016221861B4 (de) 2016-11-08 2022-05-05 Volkswagen Aktiengesellschaft Einrichtung und Verfahren zur Einwirkung auf Gegenstände
GB2560384B (en) 2017-03-10 2022-07-20 Cmr Surgical Ltd Controlling a surgical instrument
CN106814738A (zh) * 2017-03-30 2017-06-09 南通大学 一种基于体感控制技术的轮式机器人及其操控方法
CN107049497B (zh) * 2017-05-02 2020-12-04 浙江伽奈维医疗科技有限公司 穿刺导航机器人系统
JP2020532385A (ja) * 2017-09-05 2020-11-12 コヴィディエン リミテッド パートナーシップ トリムアルゴリズムおよび反転アルゴリズムを含むアルゴリズムで、ロール、ピッチ、およびヨーの位置合わせをし直すロボット手術システム
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11759224B2 (en) 2017-10-30 2023-09-19 Cilag Gmbh International Surgical instrument systems comprising handle arrangements
US10863988B2 (en) 2017-11-29 2020-12-15 Intuitive Surgical Operations, Inc. Surgical instrument with lockout mechanism
US11304763B2 (en) * 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
EP3752074A4 (en) 2018-02-12 2022-03-23 Intuitive Surgical Operations, Inc. SURGICAL INSTRUMENT WITH LOCKING MECHANISM
US11534196B2 (en) 2018-03-08 2022-12-27 Cilag Gmbh International Using spectroscopy to determine device use state in combo instrument
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
JP6826069B2 (ja) 2018-04-18 2021-02-03 ファナック株式会社 ロボットの動作教示装置、ロボットシステムおよびロボット制御装置
US20190354200A1 (en) * 2018-05-16 2019-11-21 Alcon Inc. Virtual foot pedal
US10983604B2 (en) 2018-05-16 2021-04-20 Alcon Inc. Foot controlled cursor
US11094221B2 (en) 2018-06-21 2021-08-17 University Of Utah Research Foundation Visual guidance system and method for posing a physical object in three dimensional space
DE102018125956A1 (de) 2018-10-18 2020-04-23 Karl Storz Se & Co. Kg Verfahren und System zur Steuerung von Geräten in steriler Umgebung
US11944301B2 (en) 2018-12-21 2024-04-02 Intuitive Surgical Operations, Inc. Surgical instruments having a reinforced staple cartridge
CN113271870A (zh) 2018-12-21 2021-08-17 直观外科手术操作公司 具有用于识别和/或停用缝合器钉盒的机构的手术器械
WO2020131290A1 (en) 2018-12-21 2020-06-25 Intuitive Surgical Operations, Inc. Articulation assemblies for surgical instruments
US11192245B2 (en) * 2018-12-21 2021-12-07 The Boeing Company Independent end-effector control and operation
US11298129B2 (en) 2019-02-19 2022-04-12 Cilag Gmbh International Method for providing an authentication lockout in a surgical stapler with a replaceable cartridge
WO2020214258A1 (en) 2019-04-15 2020-10-22 Intuitive Surgical Operations, Inc. Staple cartridge for a surgical instrument
US11896224B2 (en) 2019-05-31 2024-02-13 Intuitive Surgical Operations, Inc. Staple cartridge for a surgical instrument
US11786325B2 (en) * 2019-07-02 2023-10-17 Intuitive Surgical Operations, Inc. Remotely controlling a system using video
DE102019118012B3 (de) * 2019-07-03 2020-09-17 Günther Battenberg Verfahren und Vorrichtung zum Steuern eines Robotersystems mittels menschlicher Bewegung
DE102019216229B4 (de) * 2019-10-07 2022-11-10 Robert Bosch Gmbh Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung
US11642129B2 (en) 2020-01-15 2023-05-09 Intuitive Surgical Operations, Inc. Staple cartridge and drive member for surgical instrument
CN111281649B (zh) * 2020-03-03 2021-08-13 西安交通大学 一种眼科手术机器人系统及其控制方法
CN113741550B (zh) * 2020-05-15 2024-02-02 北京机械设备研究所 移动机器人跟随方法和系统
WO2022030047A1 (ja) 2020-08-03 2022-02-10 三菱電機株式会社 遠隔操作装置
US11819302B2 (en) 2021-03-31 2023-11-21 Moon Surgical Sas Co-manipulation surgical system having user guided stage control
US11844583B2 (en) 2021-03-31 2023-12-19 Moon Surgical Sas Co-manipulation surgical system having an instrument centering mode for automatic scope movements
US11812938B2 (en) 2021-03-31 2023-11-14 Moon Surgical Sas Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments
US11832909B2 (en) 2021-03-31 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having actuatable setup joints
CA3212211A1 (en) 2021-03-31 2022-10-06 David Paul Noonan Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery
KR20230158329A (ko) 2022-05-11 2023-11-20 김원국 전력 공유형 전기 자동차 충전 시스템 및 전력 공유형 전기 자동차 충전 방법
WO2023233279A1 (en) * 2022-06-03 2023-12-07 Medical Microinstruments, Inc. A control method of a robotic system for medical or surgical teleoperation and related robotic system
WO2024013651A1 (en) * 2022-07-13 2024-01-18 Auris Health, Inc. Dynamic flexible scope drive and methods of using same
US11832910B1 (en) 2023-01-09 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having adaptive gravity compensation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011060185A1 (en) * 2009-11-13 2011-05-19 Intuitive Surgical Operations, Inc. Method and system for hand presence detection in a minimally invasive surgical system
WO2013005862A1 (en) * 2011-07-07 2013-01-10 Olympus Corporation Medical master slave manipulator

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6424885B1 (en) * 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US7386365B2 (en) * 2004-05-04 2008-06-10 Intuitive Surgical, Inc. Tool grip calibration for robotic surgery
KR101762638B1 (ko) 2009-11-13 2017-07-28 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 최소 침습 수술 시스템에서 손 제스처 제어를 위한 방법 및 장치
CN101785704B (zh) * 2010-01-15 2012-06-06 广东工业大学 一种主从式微创手术机器人系统的自适应滤波装置
US9931154B2 (en) * 2012-01-11 2018-04-03 Biosense Webster (Israel), Ltd. Touch free operation of ablator workstation by use of depth sensors
US10022041B2 (en) * 2012-06-27 2018-07-17 Camplex, Inc. Hydraulic system for surgical applications

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011060185A1 (en) * 2009-11-13 2011-05-19 Intuitive Surgical Operations, Inc. Method and system for hand presence detection in a minimally invasive surgical system
WO2013005862A1 (en) * 2011-07-07 2013-01-10 Olympus Corporation Medical master slave manipulator

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013832A1 (ko) * 2021-08-05 2023-02-09 서울대학교병원 헤드셋 기반의 비접촉 손동작 인식 기술을 활용한 수술 로봇 제어 시스템
KR20230021471A (ko) * 2021-08-05 2023-02-14 서울대학교병원 헤드셋 기반의 비접촉 손동작 인식 기술을 활용한 수술 로봇 제어 시스템
KR102532351B1 (ko) * 2021-08-05 2023-05-15 서울대학교병원 헤드셋 기반의 비접촉 손동작 인식 기술을 활용한 수술 로봇 제어 시스템
KR20230106247A (ko) * 2022-01-06 2023-07-13 주식회사 삼육오엠씨(365mc) 지방흡입 수술용 하이브리드 로봇 장치
KR102648619B1 (ko) * 2022-01-06 2024-03-19 주식회사 삼육오엠씨(365mc) 지방흡입 수술용 하이브리드 로봇 장치

Also Published As

Publication number Publication date
KR20160071407A (ko) 2016-06-21
JP6284284B2 (ja) 2018-02-28
JP2016538894A (ja) 2016-12-15
DE102013110847B3 (de) 2015-01-22
CN105636542B (zh) 2018-11-06
US9901411B2 (en) 2018-02-27
WO2015049095A1 (de) 2015-04-09
CN105636542A (zh) 2016-06-01
US20160235489A1 (en) 2016-08-18

Similar Documents

Publication Publication Date Title
KR101797169B1 (ko) 제스처 컨트롤을 이용한 로봇 시스템 제어를 위한 방법과 제어 장치
US11510745B2 (en) Surgical robot systems comprising robotic telemanipulators and integrated laparoscopy
US20210093402A1 (en) Systems and methods for onscreen menus in a teleoperational medical system
US9801690B2 (en) Synthetic representation of a surgical instrument
KR101635339B1 (ko) 입력장치로 다축 매니퓰레이터를 정렬시키기 위한 방법
EP3651677B1 (en) Systems and methods for switching control between multiple instrument arms
KR20200078422A (ko) 직관적인 움직임을 위한 마스터/도구 정합과 제어를 위한 시스템 및 방법
JP2012529971A (ja) 低侵襲手術のための仮想測定ツール
US11897127B2 (en) Systems and methods for master/tool registration and control for intuitive motion
KR101706994B1 (ko) 수술 로봇 시스템 및 그 복강경 조작 방법
US20200409477A1 (en) System and method for motion mode management
US20220175479A1 (en) Surgical operation system and method of controlling surgical operation system
CN116600732A (zh) 用于外科机器人的增强现实头戴式耳机
EP3829826B1 (en) Systems and methods for controlling a robotic manipulator or associated tool
US20240139936A1 (en) Systems and methods for master/tool registration and control for intuitive motion
KR101709911B1 (ko) 수술 로봇 시스템 및 그 복강경 조작 방법
KR101698961B1 (ko) 수술 로봇 시스템 및 그 복강경 조작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant