KR102171873B1 - 햅틱 글로브 및 수술로봇 시스템 - Google Patents

햅틱 글로브 및 수술로봇 시스템 Download PDF

Info

Publication number
KR102171873B1
KR102171873B1 KR1020130052173A KR20130052173A KR102171873B1 KR 102171873 B1 KR102171873 B1 KR 102171873B1 KR 1020130052173 A KR1020130052173 A KR 1020130052173A KR 20130052173 A KR20130052173 A KR 20130052173A KR 102171873 B1 KR102171873 B1 KR 102171873B1
Authority
KR
South Korea
Prior art keywords
surgical
force
haptic glove
vibration
unit
Prior art date
Application number
KR1020130052173A
Other languages
English (en)
Other versions
KR20140132649A (ko
Inventor
박기철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130052173A priority Critical patent/KR102171873B1/ko
Priority to US14/100,294 priority patent/US10292780B2/en
Publication of KR20140132649A publication Critical patent/KR20140132649A/ko
Application granted granted Critical
Publication of KR102171873B1 publication Critical patent/KR102171873B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A61B2017/00123—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation and automatic shutdown
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00199—Electrical control of surgical instruments with a console, e.g. a control panel with a display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973—Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/741—Glove like input devices, e.g. "data gloves"
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Abstract

수술로봇의 제어가 보다 직관적으로 이루어지도록 햅틱 피드백을 제공하는 햅틱 글로브 및 이를 포함하는 수술로봇 시스템을 제공한다. 햅틱 글로브는 수술로봇 시스템의 조작자에게 햅틱 피드백(haptic feedback)을 전달하는 햅틱 글로브(haptic glove)로서, 상기 햅틱 글로브의 일면에 설치되어 진동을 인가하는 복수의 진동자, 상기 복수의 진동자가 설치된 면의 반대면 중 손가락부에 설치되어 손가락부 사이의 그립포스(grip force)를 감지하는 적어도 하나의 압력센서, 상기 압력센서가 설치된 면에 설치되어 손가락부로 진동 또는 힘을 포함하는 감각을 인가하는 적어도 하나의 감각인가부 및 상기 압력센서에서 감지한 그립포스를 외부로 출력하고, 상기 복수의 진동자에서 인가되는 진동 및 상기 감각인가부에서 인가되는 감각을 제어하는 제어부를 포함한다.

Description

햅틱 글로브 및 수술로봇 시스템{Haptic glove and Surgical robot system}
조작자의 손의 움직임을 감지하여 수술로봇을 제어하는 수술로봇 시스템에 관한 것이다.
최소 침습 수술(Minimal Invasive Surgery)이란 환부의 크기를 최소화하는 수술을 통칭한다. 최소 침습 수술은 인체의 일부(예: 복부)에 큰 절개창을 열고 시행하는 개복 수술과는 달리, 인체에 0.5㎝~1.5㎝ 크기의 적어도 하나의 절개공(또는 침습구)을 형성하고, 이 절개공을 통해 내시경과 각종 수술도구들을 넣은 후 영상을 보면서 시행하는 수술 방법이다.
이러한 최소 침습 수술은 개복 수술과는 달리 수술 후 통증이 적고, 장운동의 조기 회복 및 음식물의 조기 섭취가 가능하며 입원 기간이 짧고 정상 상태로의 복귀가 빠르며 절개 범위가 좁아 미용 효과가 우수하다는 장점을 갖는다. 이와 같은 장점으로 인하여 최소 침습 수술은 담낭 절제술, 전립선암 수술, 탈장 교정술 등에 사용되고 있고 그 분야를 점점 더 넓혀가고 있는 추세이다.
일반적으로 최소 침습 수술에 이용되는 수술로봇은 마스터 장치와 슬레이브 장치를 포함한다. 마스터 장치는 의사의 조작에 따른 제어신호를 생성하여 슬레이브 장치로 전송하고, 슬레이브 장치는 마스터 장치로부터 제어신호를 수신하여 수술에 필요한 조작을 환자에게 가하게 되며, 마스터 장치와 슬레이브 장치를 통합하여 구성하거나, 각각 별도의 장치로 구성하여 수술실에 배치한 상태에서 수술을 진행하고 있다.
슬레이브 장치는 적어도 하나 이상의 로봇 암을 구비하며, 각 로봇 암의 단부에는 수술 기구(surgical instruments)가 장착되는데, 이때, 수술 기구 말단부에는 수술도구(surgical tool)가 장착되어 있다.
이와 같은 수술로봇을 이용한 최소 침습 수술은 슬레이브 장치의 수술도구(surgical tool) 및 수술도구가 장착된 수술 기구(surgical instruments)가 환자의 인체 내부로 진입하여 필요한 시술이 행해지게 되는데 이때, 수술도구 및 수술 기구가 인체 내부로 진입한 이후에는 수술도구 중 하나인 내시경을 통하여 수집된 이미지로부터 내부 상황을 확인하고, 환자의 수술 전 의료 영상(예, CT, MRI 등)은 참고적인 보조 영상으로 이용하고 있다.
수술로봇의 제어가 보다 직관적으로 이루어지도록 햅틱 피드백을 제공하는 햅틱 글로브 및 이를 포함하는 수술로봇 시스템을 제공한다.
햅틱 글로브는 수술로봇 시스템의 조작자에게 햅틱 피드백(haptic feedback)을 전달하는 햅틱 글로브(haptic glove)로서, 상기 햅틱 글로브의 일면에 설치되어 진동을 인가하는 복수의 진동자; 상기 복수의 진동자가 설치된 면의 반대면 중 손가락부에 설치되어 손가락부 사이의 그립포스(grip force)를 감지하는 적어도 하나의 압력센서; 상기 압력센서가 설치된 면에 설치되어 손가락부로 진동 또는 힘을 포함하는 감각을 인가하는 적어도 하나의 감각인가부; 및 상기 압력센서에서 감지한 그립포스를 외부로 출력하고, 상기 복수의 진동자에서 인가되는 진동 및 상기 감각인가부에서 인가되는 감각을 제어하는 제어부를 포함한다.
수술로봇 시스템은 환자에게 수술동작을 수행하는 슬레이브; 및 상기 슬레이브의 수술동작을 제어하기 위해 조작자가 착용할 수 있는 햅틱 글로브를 포함하는 마스터;를 포함하고, 상기 햅틱 글로브는 수술 중에 상기 슬레이브에서 감지하는 정보를 조작자에게 햅틱 피드백하기 위해, 진동을 인가하는 복수의 진동자, 상기 복수의 진동자가 설치된 면의 반대면 중 손가락부에 설치되어 손가락부 사이의 그립포스(grip force)를 감지하는 적어도 하나의 압력센서, 상기 압력센서가 설치된 면에 설치되어 손가락부로 진동 또는 힘을 포함하는 감각을 인가하는 적어도 하나의 감각인가부 및 상기 압력센서에서 감지한 그립포스를 상기 마스터로 출력하고, 상기 마스터의 제어신호에 따라 상기 복수의 진동자에서 인가되는 진동 및 상기 감각인가부에서 인가되는 감각을 제어하는 제어부를 포함한다.
햅틱 글로브를 이용하여 수술로봇의 제어가 직관적으로 이루어질 수 있다.
햅틱 피드백을 통해 수술로봇의 제어가 보다 섬세하게 이루어질 수 있다.
도 1은 수술로봇 시스템의 구조를 개략적으로 도시한 도면이다.
도 2는 수술로봇 시스템의 구성을 도시한 블럭도이다.
도 3은 내시경을 통해 획득한 수술 부위 영상 및 실제 수술도구와 가상 수술도구가 생성된 가상영상을 도시한 도면이다.
도 4는 햅틱 글로브의 구성을 도시한 블럭도이다.
도 5a 내지 도 5c는 압력센서 및 감각인가부가 설치된 햅틱 글로브를 개념적으로 도시한 도면이다.
도 6은 수술도구에서 감지된 힘이 햅틱 글로브로 전달되는 과정을 나타낸 도면이다.
도 7은 햅틱 글로브에서 감지한 힘이 수술도구로 전달되는 과정을 나타낸 도면이다.
이하, 도면을 참조하여 본 실시 예를 상세히 설명하기로 한다.
도 1은 수술로봇 시스템의 구조를 개략적으로 도시한 도면이고, 도 2는 수술로봇 시스템의 구성을 도시한 블럭도이다.
수술로봇 시스템은 크게 수술대에 누워있는 환자(P)에게 수술을 행하는 슬레이브 시스템(200)과 조작자(예로써, 의사)(S)의 조작을 통해 슬레이브 시스템(200)을 원격 제어하는 마스터 시스템(100)을 포함할 수 있다. 이때, 조작자(S)를 보조할 보조자(A)가 환자(P) 측에 한 명 이상 위치할 수 있다.
여기에서, 조작자(S)를 보조한다는 것은 수술이 진행되는 동안 수술 작업을 보조하는 것으로, 예를 들어, 사용되는 수술도구(230)의 교체 등을 포함할 수 있으나, 특별히 이에 한정되는 것은 아니다.
예를 들어, 수술 작업 종류에 따라 다양한 수술도구(230)가 사용될 수 있는데, 슬레이브 시스템(200)의 로봇 암(210)의 갯 수는 제한적이므로, 한 번에 장착될 수 있는 수술도구(230)의 갯 수 역시 제한적이다. 이에 따라, 수술 도중 수술도구(230)를 교체할 필요가 있는 경우, 조작자(S)는 환자(P) 측에 위치한 보조자(A)에게 수술도구(230)를 교체하도록 지시하고, 보조자(A)는 지시에 따라 슬레이브 시스템(200)의 로봇 암(210)으로부터 사용하지 않는 수술도구(230)를 제거하고, 트레이(T)에 놓인 다른 수술도구(230')를 해당 로봇 암(210)에 장착할 수 있다.
마스터 시스템(100)과 슬레이브 시스템(200)은 물리적으로 독립된 별도의 장치로 분리 구성될 수 있으나, 특별히 이에 한정되는 것은 아니며, 예로써 하나로 통합된 일체형 장치로 구성되는 것 역시 가능할 것이다.
도 1 및 도 2에 도시한 바와 같이, 마스터 시스템(100)은 입력부(110) 및 디스플레이부(120)를 포함할 수 있다.
입력부(110)는 수술로봇 시스템의 동작 모드를 선택하는 명령, 슬레이브 시스템(200)의 동작을 원격으로 제어하기 위한 명령 등을 조작자(S)로부터 입력받을 수 있는 구성을 의미한다.
본 실시 예에서 입력부(110)는 마스터 시스템(100)을 통한 슬레이브 시스템(200) 제어를 온 또는 오프시키거나 일시정지시킬 수 있는 조작이 입력되는 클러치 페달과, 슬레이브 시스템(200)의 제어를 위한 조작명령이 입력되는 햅틱 디바이스를 포함한다. 입력부는 특별히 이에 한정되는 것은 아니며, 예로써 음성 인식 디바이스 등과 같은 구성도 사용될 수 있다. 또한 본 실시예에서는 전술한 입력부와 별도로 햅틱 글로브(400)를 통해 조작자가 슬레이브 시스템(200)을 제어하게 되는데, 이에 대한 구체적인 내용은 후술하고, 이하에는 클러치 페달을 통한 제어모드 변경과 햅틱 디바이스를 통한 슬레이브 시스템(200)의 제어에 대해 설명한다.
조작자는 마스터 시스템(100)의 조작 중에 클러치 페달을 미리 정해진 세기 또는 횟수만큼 밟음으로써, 마스터 시스템(100)을 통한 슬레이브 시스템(200)의 제어를 오프시키거나 일시정지시킬 수 있다. 그리고 제어가 종료된 상태 또는 일시정지된 상태에서 미리 정해진 세기 또는 횟수만큼 클러치 페달을 밟음으로써 다시 마스터 시스템(100)을 통한 슬레이브 시스템(200) 제어를 온시킬 수 있다.
조작자는 주로 손을 사용하여 마스터 시스템(100)을 조작하기 때문에, 손보다 비교적 자유로운 발을 통해 클러치 페달을 조작함으로써 제어모드를 변경한다.
도 1에서는 햅틱 디바이스가 두 개의 핸들(111, 113)을 포함하는 것으로 도시하고 있으나, 이는 하나의 실시 예에 불과할 뿐, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 하나의 핸들을 포함할 수도 있고 또는 세 개 이상의 핸들을 포함하는 것 역시 가능할 것이다.
조작자(S)는 도 1과 같이, 양손으로 두 개의 핸들(111, 113)을 각각 조작하여 슬레이브 시스템(200)의 로봇 암(210)의 동작을 제어할 수 있다. 이때, 도 12에 자세하게 도시되지는 않았으나, 각각의 핸들(111, 113)은 엔드 이펙터, 복수의 링크 및 복수의 관절을 포함할 수 있다.
여기에서, 엔드 이펙터는 조작자(S)의 손이 직접적으로 접촉되는 부분으로, 펜슬 또는 스틱 형상을 가질 수 있으나, 그 형상이 특별히 이에 한정되는 것은 아니다.
관절은 링크와 링크의 연결 부위를 말하며, 1 자유도 이상을 가질 수 있다. 여기에서, "자유도(Degree Of Freedom:DOF)"란 기구학(Kinematics) 또는 역기구학(Inverse Kinematics)에서의 자유도를 말한다. 기구의 자유도란 기구의 독립적인 운동의 수, 또는 각 링크 간의 상대 위치의 독립된 운동을 결정하는 변수의 수를 말한다. 예를 들어, x축, y축, z축으로 이루어진 3차원 공간상의 물체는, 물체의 공간적인 위치를 결정하기 위한 3 자유도(각 축에서의 위치)와, 물체의 공간적인 자세를 결정하기 위한 3 자유도(각 축에서의 위치)와, 물체의 공간적인 자세를 결정하기 위한 3 자유도(각 축에 대한 회전 각도) 중에서 하나 이상의 자유도를 갖는다. 구체적으로, 물체가 각각의 축을 따라 이동 가능하고, 각각의 축을 기준으로 회전 가능하다고 한다면, 이 물체는 6 자유도를 갖는 것으로 이해될 수 있다.
또한, 관절에는 관절의 상태를 나타내는 상태 정보 예로써, 관절에 가해진 힘/토크 정보, 관절의 위치 정보 및 이동 속도 정보 등을 검출할 수 있는 검출부(미도시)가 마련될 수 있다. 이에 따라, 조작자(S)가 햅틱 디바이스를 조작하면, 검출부(미도시)는 조작된 입력부(110)의 상태 정보를 검출할 수 있고, 제어부(130)는 제어 신호 생성부(131)를 이용하여 검출부(미도시)에 의해 검출된 입력부(110)의 상태 정보에 대응되는 제어 신호를 생성하고, 통신부(140)를 통해 슬레이브 시스템(200)으로 생성된 제어 신호를 전송할 수 있다. 즉, 마스터 시스템(100)의 제어부(130)는 제어 신호 생성부(131)를 이용하여 조작자(S)의 입력부(110) 조작에 따른 제어 신호를 생성하고, 생성된 제어 신호를 통신부(140)를 통하여 슬레이브 시스템(200)으로 전송할 수 있다.
햅틱 글로브(400)는 조작자가 손에 착용할 수 있는 장갑이다. 조작자가 햅틱 글로브(400)를 착용하고 손을 움직이면, 깊이센서(150)(depth sensor)는 햅틱 글로브(400)의 형상, 위치, 자세, 제스쳐, 모션 등을 인식하여, 디스플레이부(120)에 표시되는 영상에 오버레이 방식으로 햅틱 글로브(400)가 합성되어 표시될 수 있도록 한다.
조작자는 디스플레이부(120)에 표시되는 영상에 오버레이되어 표시되는 햅틱 글로브(400)의 영상을 보면서 손을 움직임으로써 슬레이브 시스템(200)의 수술도구(230)의 동작을 제어할 수 있다. 이에 대해 구체적으로 설명하기 위해 우선 디스플레이부(120)에 표시되는 영상에 대해 설명한다.
마스터 시스템(100)의 디스플레이부(120)에는 내시경(220)을 통해 수집된 환자(P) 신체 내부에 대한 실제 영상 및 환자의 수술 전 의료 영상에 대한 3차원 영상 등이 화상 이미지로 표시될 수 있다. 이를 위해, 마스터 시스템(100)은 슬레이브 시스템(200) 으로부터 전송되는 영상 데이터를 입력받아 디스플레이부(120)로 출력하기 위한 영상 처리부를 포함할 수 있다. 여기에서, "영상 데이터"는 전술한 바와 같이, 내시경(220)을 통해 수집된 실제 영상, 환자의 수술 전 의료 영상을 이용하여 생성한 3차원 영상 등을 포함할 수 있으나, 특별히 이에 한정되는 것은 아니다.
영상 처리부는 환자의 수술 전 의료 영상을 3차원 영상으로 변환하고 슬레이브 시스템(200)으로부터 전송받은 내시경(220)을 통해 수집된 실제 영상에 3차원 영상을 투영시켜 가상 영상을 생성한다. 그리고 영상 처리부는 환자의 수술 전 의료 영상에 대한 3차원 영상 및 3차원 영상을 내시경(220)을 통해 수집된 영상에 투영시킨 가상 영상 등을 저장할 수 있다. 여기에서, "수술 전 의료 영상"이란 CT(Computed Tomography, 컴퓨터단층촬영검사) 영상, MRI(Magnetic Resonance Imaging, 자기공명) 영상, PET(Positron Emission Tomography, 양전자방출단층촬영술) 영상, SPECT(Single Photon Emission Computed Tomography, 단광자방출단층검사) 영상, US(Ultrasonography, 초음파촬영술) 영상 등을 포함할 수 있으나, 특별히 이에 한정되는 것은 아니다.
구체적으로, 영상 처리부는 환자별로 CT 또는 MRI 등의 수술 전 의료 영상이 구축된 의료 영상 DB로부터 의료 영상을 수신하고, 수신된 의료 영상을 3차원 영상으로 변환하고, 변환된 3차원 영상을 저장할 수 있다. 또한, 영상처리부(160)는 슬레이브 시스템(200)으로부터 내시경(220)을 통해 수집된 환자 신체 내부의 수술 부위에 대한 실제 영상을 수신하고, 3차원 영상을 수신된 실제 영상에 투영시킨 가상 영상을 생성하고, 생성된 가상 영상을 저장할 수 있다.
또한, 영상처리부(160)는 슬레이브 시스템(200)로부터 수술도구(230)의 현재 위치 정보를 수신하여 가상영상의 매칭되는 영역에 가상 수술도구(230)를 생성할 수 있다. 여기에서, "위치 정보"는 좌표값일 수 있으며, 영상처리부(160)는 가상영상에서 수신된 수술도구(230)의 좌표값과 매칭되는 좌표에 가상 수술도구(230)를 생성할 수 있다. 이때, 도 4에 도시한 바와 같이, 내시경(220)을 통해 실제 수술도구(230)가 촬영되었다면, 가상 수술도구(230)에서 실제 수술도구(230)와 겹치는 부분은 실제 수술도구(230)가 표시될 수 있다.
도 3은 내시경을 통해 획득한 수술 부위 영상 및 실제 수술도구(230)와 가상 수술도구(230)가 생성된 가상영상을 도시한 도면이다.
즉, 본 실시 예에서 가상영상은 도 3과 같이, 환자(P)의 수술 전 의료 영상에 대한 3차원 영상과 내시경(220)을 통해 획득한 내시경 영상 및 슬레이브 시스템(200)으로부터 수신된 수술도구(230)의 위치 정보를 이용하여 생성한 가상 수술도구(230)가 합성된 영상일 수 있다. 이때, 내시경(220)을 통해 획득한 영상에 실제 수술도구(230)가 포함되지 않는 경우, 증강현실 영상에는 가상 수술도구(230)만이 합성될 수 있고, 내시경(220)을 통해 획득한 영상에 실제 수술도구(230)가 포함된 경우, 도 3과 같이 가상 수술도구(230)와 실제 수술도구(230)가 연결되도록 합성될 수 있다.
이와 같이, 영상처리부(160)에서 생성하여 저장된 3차원 영상 및 가상 영상은 디스플레이부(120)에 표시되고, 통신부(140)를 통해 슬레이브 시스템(200) 및 기타 디스플레이 기기로 전송될 수 있다.
마스터 시스템(100)의 디스플레이부(120)는 전술한 영상처리부(160)에서 생성된 가상영상을 표시한다.
디스플레이부(120)는 하나 이상의 모니터로 구성될 수 있으며, 각 모니터에 수술 시 필요한 정보들이 개별적으로 표시되도록 구현될 수 있다.
예를 들어, 디스플레이부(120)가 세 개의 모니터로 구성된 경우, 이중 하나의 모니터에는 내시경(220)을 통해 수집된 실제 영상, 환자의 수술 전 의료 영상을 이용하여 생성한 3차원 영상 등이 표시되고, 다른 두 개의 모니터에는 각각 슬레이브 시스템(200)의 동작 상태에 관한 정보 및 환자 정보 등이 표시되도록 구현할 수 있다. 이때, 모니터의 수량은 표시를 요하는 정보의 유형이나 종류 등에 따라 다양하게 결정될 수 있다.
여기에서, "환자 정보"는 환자의 상태를 나타내는 정보일 수 있으며, 예를 들어, 체온, 맥박, 호흡 및 혈압 등과 같은 생체 정보일 수 있다. 이러한 생체 정보를 마스터 시스템(100)으로 제공하기 위해 후술할 슬레이브 시스템(200)은 체온 측정 모듈, 맥박 측정 모듈, 호흡 측정 모듈, 혈압 측정 모듈 등을 포함하는 생체 정보 측정 유닛을 더 포함할 수 있다. 이를 위해, 마스터 시스템(100)은 슬레이브 시스템(200)으로부터 전송되는 생체 정보를 입력받아 처리하여 디스플레이부(120)로 출력하기 위한 신호 처리부(미도시)를 더 포함할 수 있다.
조작자가 햅틱 글로브(400)를 착용하고 슬레이브 시스템(200)의 제어를 시작하면, 디스플레이부(120)에는 영상처리부(160)에서 생성된 가상영상에 햅틱 글로브(400)의 영상이 오버레이 방식으로 합성된 영상이 실시간으로 표시된다. 깊이센서(150)는 조작자가 햅틱 글로브(400)를 착용하고 손을 움직이면, 햅틱 글로브(400)의 형상, 위치, 자세, 제스쳐, 모션 등을 인식하여, 데이터를 산출하고, 산출된 데이터를 영상처리부(160)로 출력한다. 영상처리부(160)는 깊이센서(150)로부터 출력된 데이터에 기초하여, 디스플레이부(120)에 표시되는 가상영상에 햅틱 글로브(400)의 영상을 오버레이 방식으로 합성하여 표시한다.
조작자가 햅틱 글로브(400)를 착용하고 디스플레이부(120)를 보면서, 디스플레이부(120)에 표시되는 가상영상의 수술도구(230)의 위치에 햅틱 글로브(400)의 영상이 위치하도록 손을 움직이고, 수술도구(230)의 형상에 대응하는 형상으로 손의 모양을 일치시키는 등의 동기화를 위한 모션을 취하면, 마스터 시스템(100)은 햅틱 글로브(400)의 움직임과 수술도구(230)의 움직임이 동기화되었음을 알릴 수 있다. 이렇게 햅틱 글로브(400)와 수술도구(230)의 동작이 동기화되면 조작자는 디스플레이부(120)를 보면서 손을 움직임으로써 수술도구(230)의 움직임을 제어할 수 있다.
단순히 깊이센서(150)를 이용하여 햅틱 글로브(400)의 움직임과 수술도구(230)의 움직임을 동기화시키는 것을 넘어서, 조작자가 실제 수술도구(230)를 갖고 수술하는 것과 같은 느낌을 받을 수 있도록, 햅틱 글로브(400)의 진동자(420)와 감각인가부(430)는 수술 중 수술도구(230)에 가해지는 힘 또는 토크와 같은 감각을 조작자에게 피드백한다. 이에 대한 구체적인 내용은 슬레이브 시스템(200)을 설명하고 다루도록 한다.
슬레이브 시스템(200)은 복수의 로봇 암(210), 로봇 암(210) 단부에 장착된 각종 수술도구들(230)을 포함할 수 있다. 복수의 로봇 암(210)은 도 1에 도시한 바와 같이, 몸체(201)에 결합되어 고정 및 지지될 수 있다. 이때, 한 번에 사용되는 수술도구(230)의 갯 수와 로봇 암(210)의 갯 수는 여러 가지 요인 중 진단법, 수술법 및 수술실 내의 공간적인 제약에 따라 좌우될 수 있다.
또한, 복수의 로봇 암(210)은 각각 복수의 링크(211) 및 복수의 관절(213)을 포함할 수 있으며, 각 관절(213)은 링크(211)와 링크(211)를 연결하고, 1 자유도(Degree Of Freedom:DOF) 이상을 가질 수 있다.
또한, 로봇 암(210)의 각 관절에는 마스터 시스템(100)으로부터 전송되는 제어 신호에 따라 로봇 암(210)의 움직임을 제어하기 위한 제1 구동부(215)가 마련될 수 있다. 예를 들어, 조작자(S)가 마스터 시스템(100)의 입력부(110)를 조작하면, 마스터 시스템(100)은 조작되는 입력부(110)의 상태 정보에 대응되는 제어 신호를 생성하여 슬레이브 시스템(200)으로 전송하고, 슬레이브 제어부(240)는 마스터 시스템(100)으로부터 전송된 제어 신호에 따라 제1 구동부(215)를 구동시킴으로써, 로봇 암(210)의 각 관절 움직임을 제어할 수 있다. 한편, 슬레이브 시스템(200)의 로봇 암(210)의 각 관절은 상술한 바와 같이, 마스터 시스템(100)으로부터 전송되는 제어 신호에 의해 움직이도록 구현할 수 있으나, 외력에 의해 움직이도록 구현하는 것도 가능하다. 즉, 수술대 근처에 위치한 보조자(A)가 수동으로 로봇 암(210)의 각 관절을 움직여 로봇 암(210)의 위치 등을 제어하도록 구현할 수 있다.
수술도구들(230)은 도 1에 도시하지는 않았으나, 일 예로 로봇 암(210)의 단부에 장착되는 하우징 및 하우징으로부터 일정 길이로 연장되는 샤프트를 포함할 수 있다.
하우징에는 구동휠이 결합될 수 있고, 구동휠은 와이어 등을 통해 수술도구들(230)과 연결되어 구동휠의 회전에 따라, 수술도구들(230)이 원하는 대로 작동할 수 있다. 이를 위해 로봇 암(210)의 단부에는 구동휠을 회전시키기 위한 제3 구동부(235)가 마련될 수 있다. 예를 들어, 조작자(S)가 마스터 시스템(100)의 입력부(110)를 조작하면, 마스터 시스템(100)은 조작되는 입력부(110)의 상태 정보에 대응되는 제어 신호를 생성하여 슬레이브 시스템(200)으로 전송하고, 슬레이브 제어부(240)는 마스터 시스템(100)으로부터 전송된 제어 신호에 따라 제3 구동부(235)를 구동시킴으로써, 수술도구들(230)을 원하는 대로 동작시킬 수 있다. 다만, 수술도구들(230)을 동작시키는 메커니즘이 반드시 전술한 것처럼 구성되어야 하는 것은 아니며, 로봇 수술을 위해 수술도구들(230)에 필요한 동작을 구현할 수 있는 다양한 전기적/기계적 메커니즘이 적용될 수 있음은 물론이다.
각종 수술도구들(230)은 스킨 홀더, 석션(suction) 라인, 메스, 가위, 그래스퍼, 수술용 바늘, 바늘 홀더, 스테이플 어플라이어(staple applier), 절단 블레이드 등을 포함할 수 있으나, 특별히 이에 한정되는 것은 아니며, 수술에 필요한 공지된 도구라면 어떤 것이든 사용 가능할 것이다.
일반적으로 수술도구(230)는 크게 주 수술도구 및 보조 수술도구로 분류할 수 있다. 여기에서, "주 수술도구"란 수술 부위에 대해 절개, 봉합, 응고, 세척 등과 같은 직접적인 수술 동작을 수행하는 도구(예: 메스, 수술용 바늘 등)를 의미할 수 있고, "보조 수술도구"란 수술 부위에 대해 직접적인 수술 동작을 수행하는 것이 아닌 주 수술도구의 동작을 보조하기 위한 수술도구(예: 스킨 홀더 등)를 의미할 수 있다.
내시경(220) 역시 수술 부위에 직접적인 수술 동작을 행하는 것이 아닌 주 수술도구의 동작을 보조하기 위해 사용되는 도구이므로 넓은 의미에서 내시경(220)도 보조 수술도구에 해당하는 것으로 볼 수 있을 것이다. 내시경(220)으로는 로봇 수술에서 주로 사용되는 복강경뿐 아니라 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 심장경 등 다양한 수술용 내시경이 사용될 수 있다.
또한, 내시경(220)으로 CMOS(Complementary Metal-Oxide Semiconductor) 카메라 및 CCD(Charge Coupled Device) 카메라가 사용될 수 있으나, 특별히 이에 한정되는 것은 아니다. 또한, 내시경(220)은 수술 부위에 빛을 조사하기 위한 조명수단을 포함할 수 있다. 또한, 내시경(220)은 도 12에 도시한 바와 같이, 로봇 암(210)의 단부에 장착될 수 있으며, 슬레이브 시스템(200)은 내시경(220)을 동작시키기 위한 제2 구동부(225)를 더 포함할 수 있다. 또한, 슬레이브 제어부(240)는 내시경(220)을 이용하여 수집한 영상을 통신부(250)를 통해 마스터 시스템(100)으로 전송할 수 있다.
또한, 본 실시 예에 따른 슬레이브 시스템(200)은 도 2에 도시한 바와 같이, 수술도구들(230)의 현재 위치를 검출하기 위한 위치 센서(217)를 포함할 수 있다. 이때, 위치 센서(217)로는 포텐쇼미터(Potentiometer), 엔코더(Encoder) 등이 사용될 수 있으나, 특별히 이에 한정되는 것은 아니다.
위치 센서(217)는 수술도구들(230)이 장착된 로봇 암(210)의 각 관절에 마련될 수 있으며, 위치 센서(217)는 로봇 암(210) 각 관절의 움직임 상태에 대한 정보를 검출하고, 제어부(240)는 위치 센서(217)로부터 검출된 정보를 전달받아 수술도구들(230)의 현재 위치를 연산할 수 있다. 이때, 제어부(240)는 입력된 정보를 로봇 암의 기구학(Kinematics)에 적용함으로써, 수술도구들(230)의 현재 위치를 산출할 수 있고, 여기에서, 산출된 현재 위치는 좌표값일 수 있다. 또한, 제어부(240)는 산출된 수술도구(230)의 위치 좌표값을 전술한 마스터 시스템(100)의 영상처리부(160)로 전송할 수 있다.
이와 같이, 수술도구들(230)이 장착된 로봇 암(210)의 각 관절 상태를 검출하여 수술도구들(230)의 현재 위치를 추정함으로써, 수술도구들(230)이 내시경(220)의 시야 바깥쪽에 있거나, 내부 장기 등에 의해 내시경(220)의 시야 내에서 차단되는 경우에도 수술도구들(230)의 위치를 추정하는 것이 용이하다.
또한, 수술도구(230)의 단부에는 수술도구(230)에 가해지는 힘 또는 토크를 포함하는 외력을 감지할 수 있는 센서(230)가 설치된다. 센서(230)는 포스/토크센서(Force Torque sensor)를 사용할 수 있다.
센서(230)는 스트레인 게이지(strain gauge)를 사용할 수 있으나, 사용될 수 있는 센서(230)가 특별히 이에 한정되는 것은 아니며, 당 업계에 공지된 힘 또는 토크를 포함하는 외력을 측정할 수 있는 센서라면 모두 적용 가능할 것이다.
스트레인 게이지(strain gauge)는 물체가 외력으로 인하여 변형이 발생하는 경우, 변형을 측정하기 위한 센서(230)로서, 측정 대상 물체에 부착함으로써 변형 여부 및 변형 정도를 측정할 수 있다. 예로써, 스트레인 게이지(strain gauge)는 얇은 전기절연재인 베이스 상에 격자모양의 저항선 또는 포토 에칭 공정을 통해 저항박을 가공한 후, 상기 저항선 또는 저항박에 인출선을 붙인 것으로, 금속의 길이가 변화함에 따라 저항이 변하는 특징을 이용한 것이다.
구체적으로, 스트레인 게이지(strain gauge)에 장력이 가해지면 스트레인 게이지의 베이스 상에 형성된 저항선의 길이가 길어지게 되고, 이때 저항은 비례하여 증가하게 된다. 반대로 스트레인 게이지에 응력이 가해지면 스트레인 게이지의 베이스 상에 형성된 저항선의 길이가 짧아지게 되고, 이때의 저항은 이와 비례하여 감소하게 되므로, 발생하는 저항을 측정하여 연산하면 대상 물체의 변형 여부 및 가해진 외력의 크기 등을 산출할 수 있는 것이다.
센서(230)는 수술도구(230)에 가해지는 외력을 감지하면, 이를 슬레이브 제어부(240)로 출력하고, 슬레이브 제어부(240)는 마스터 제어부(130)로 전송한다. 마스터 제어부(130)는 슬레이브 시스템(200)으로부터 전송된 수술도구(230)에 가해지는 외력을 분석하여 상기 외력에 대응되는 힘 또는 토크를 햅틱 글로브(400)를 착용하고 있는 조작자가 느낄 수 있도록 햅틱 글로브(400)의 진동자(420)와 감각인가부(430)를 동작시킬 수 있는 제어신호를 생성하여 햅틱 글로브(400)의 제어부(440)로 출력한다.
도 4는 햅틱 글로브(400)의 구성을 도시한 블록도이고, 도 5a 내지 도 5c는 압력센서(410) 및 감각인가부(430)가 설치된 햅틱 글로브(400)를 개념적으로 도시한 도면이다.
도 4를 참조하면, 햅틱 글로브(400)는, 몸체를 구성하는 글로브, 글로브에 설치된 진동자(420), 압력센서(410), 감각인가부(430) 및 햅틱 글로브(400) 제어부(440)를 포함한다.
진동자(420)는 도 5a에 도시된 것처럼, 햅틱 글로브(400)의 일면에 다수 부착될 수 있다. 다수의 진동자(420)는 손가락부의 길이방향을 따라 미리 정해진 간격을 두고 손가락부의 말단부터 손등부까지 줄지어 부착될 수 있다. 도시된 진동자(420)의 부착위치는 일 예일 뿐 다른 위치에 다른 규칙으로 부착될 수 있음은 물론이다. 진동자(420)로는 택터(tactor)가 사용될 수 있다.
손등부에는 진동자(420)와 감각인가부(430)를 동작시키기 위한 제어신호를 마스터 제어부(130)로부터 수신하여 진동자(420)와 감각인가부(430)를 동작시키는 햅틱 글로브(400) 제어부(440)가 마련된다. 햅틱 글로브(400)의 제어부(440)와 마스터 제어부(130)는 공지된 유무선 통신방식을 통해 데이터를 송수신할 수 있다. 도 5에는 유선으로 연결되어 있는 것이 도시되어 있으나, 무선통신방식으로 데이터를 송수신할 수도 있다.
또한, 제어부(440)가 마련된 것으로 도시된 영역에는 충전 가능한 배터리가 함께 설치될 수도 있다. 따라서 배터리가 충전된 상태에서는 유선연결 없이 데이터를 송수신할 수 있다.
도 5b에 도시된 것처럼, 슬레이브 시스템(200)의 수술도구(230)에 설치된 센서(230)에서 수술도구(230)에 가해지는 외력을 감지하면, 마스터 제어부(130)는 이를 수신하여 상기 외력에 대응하는 감각을 조작자가 느낄 수 있도록, 진동자(420)와 감각인가부(430)를 동작시키기 위한 제어신호를 생성한다.
예를 들면, 마스터 제어부(130)는 햅틱 글로브(400)에 설치된 진동자(420) 중에서 수술도구(230)가 받는 외력의 방향에 대응하는 방향을 따라 마련된 진동자(420)를 결정하고, 결정된 진동자(420)에서 발생하는 진동이 외력의 크기에 대응하도록 결정된 진동자(420)의 진동세기를 결정한다. 외력의 방향성을 조작자가 느낄 수 있도록, 외력의 방향에 대응하는 방향을 따라 마련된 진동자(420)들을 손가락의 말단에 마련된 것부터 손등에 마련된 것까지 순차적으로 동작시키기 위해 진동자(420)들의 진동주기 또한 결정할 수 있다.
도 5b에는 진동자(420) 중에서 수술도구(230)가 받는 외력의 방향에 대응하는 방향이 도시되어 있고, 그 방향을 따라 설치된 것으로 결정된 진동자(420)가 동작하는 것이 도시되어 있다. 동작하는 진동자(420)는 어두운 색으로 표시하였다.
외력의 방향성을 조작자가 느낄 수 있도록, 외력의 방향에 대응하는 방향을 따라 마련된 진동자(420)들을 손가락의 말단에 마련된 것(1)부터 손등에 마련된 것(4)까지 순차적으로 동작시킬 수 있다.
도 5c에는 진동자(420)가 설치된 면의 반대면의 손가락부에 압력센서(410)와 감각인가부(430)가 설치된 것이 도시되어 있다.
압력센서(410)는 조작자가 손가락으로 가상의 물건을 집는 것과 같은 동작을 취할 때 손가락 사이에 작용하는 그립포스(GF)를 감지하기 위해 마련되기 때문에, 도 5c에 도시된 것처럼 진동자(420)가 설치된 면의 반대면에 설치된다.
압력센서(410)에서 감지한 그립포스(GF)는 슬레이브 시스템(200)의 수술도구(230)를 동작시키는 제3구동부(235)로 전달되고, 제3구동부(235)는 수술도구(230)가 상기 그립포스(GF)에 대응하는 힘으로 인체 내부 조직을 잡는 등의 동작을 취할 수 있도록 수술도구(230)를 동작시킨다.
수술도구(230)가 조작자의 그립포스(GF)를 반영하여 인체 내부 조직을 잡는 등의 동작을 취할 때, 수술도구(230)에 가해지는 반력을 그립포스(GF)를 발생시킨 손가락부로 전달하기 위해 힘 또는 진동을 포함하는 감각을 인가할 수 있는 감각인가부(430)가 압력센서(410)가 설치된 영역에 함께 설치된다. 즉, 수술도구(230)에 설치된 센서(230)에서 수술도구(230)의 그립동작에 대한 반력을 감지하여 마스터 제어부(130)로 전달하면 마스터 제어부(130)는 상기 반력에 대응하는 힘 또는 진동을 포함하는 감각을 감각인가부(430)에서 인가할 수 있도록 제어신호를 출력한다.
감각인가부(430)는 진동자(420)처럼 단순히 진동을 인가하는 것이 아니라, 예를 들면 진동 이외에 누르는 힘을 함께 인가하여 조작자가 수술도구(230)를 직접 사용할 때 느낄 수 있는 감각을 느낄 수 있도록 한다. 누르는 힘은 일 예이고, 온도나 통증 등과 같은 감각을 인가할 수도 있다. 감각인가부(430)는 택틀 디스플레이(tactile display)로 구현되어 조작자의 손가락으로 감각을 전달할 수 있다.
압력센서(410)와 감각인가부(430)는 도 5c에 도시된 것처럼 손가락부 중 말단 마디에 해당하는 부분에 집중적으로 설치될 수 있고, 손가락부 중 특히 엄지와 검지 부분에 설치될 수 있다. 물론 다른 손가락부와 손가락부의 다른 마디에도 설치될 수 있음은 물론이다. 또한 도 5c에는 압력센서(410)와 감각인가부(430)가 분리된 구성으로 설치되어 있으나, 압력센서(410)와 감각인가부(430)가 일체형으로 마련되어 설치될 수도 있다.
전술한 것처럼, 햅틱 글로브(400)의 진동자(420)와 감각인가부(430)를 동작시키기 위한 제어신호를 마스터 제어부(130)에서 생성할 수 있으나 이에 한정되지 않고, 햅틱 글로브(400)의 제어부(440)에서 생성할 수도 있다.
도 6은 수술도구(230)에서 감지된 힘이 햅틱 글로브(400)로 전달되는 과정을 나타낸 도면이고, 도 7은 햅틱 글로브(400)에서 감지한 힘이 수술도구(230)로 전달되는 과정을 나타낸 도면이다.
도 6을 참조하면, 슬레이브 시스템(200)의 수술도구(230)에 설치된 센서(230)에서 수술도구(230)에 가해지는 외력을 감지한다. 센서(230)는 외력의 크기와 방향을 감지하고, 이를 데이터로 변환하여 슬레이브 제어부(240)로 출력한다.
슬레이브 제어부(240)는 센서(230)로부터 출력된 데이터를 통신부를 통해 마스터 시스템(100)의 통신부(140)로 전송한다. 마스터 시스템(100)의 통신부(140)에서 상기 데이터를 수신하면, 마스터 제어부(130)는 상기 외력에 대응하는 감각을 조작자가 느낄 수 있도록, 진동자(420)를 동작시키기 위한 제어신호를 생성하고 이를 햅틱 글로브(400)의 제어부(440)로 출력한다. 햅틱 글로브(400)의 제어부(440)는 마스터 제어부(130)에서 출력된 제어신호에 따라 진동자(420)를 동작시킨다.
예를 들면, 마스터 제어부(130)는 햅틱 글로브(400)에 설치된 진동자(420) 중에서 수술도구(230)가 받는 외력의 방향에 대응하는 방향을 따라 마련된 진동자(420)를 결정하고, 결정된 진동자(420)에서 발생하는 진동이 외력의 크기에 대응하도록 결정된 진동자(420)의 진동세기를 결정한다. 외력의 방향성을 조작자가 느낄 수 있도록, 외력의 방향에 대응하는 방향을 따라 마련된 진동자(420)들을 손가락의 말단에 마련된 것부터 손등에 마련된 것까지 순차적으로 동작시키기 위해 진동자(420)들의 진동주기 또한 결정할 수 있다.
또한, 슬레이브 시스템(200)의 수술도구(230)에 설치된 센서(230)에서 수술도구(230)의 그립동작에 대한 반력을 감지하면 센서(230)는 이를 데이터로 변환하여 슬레이브 제어부(240)로 출력한다.
슬레이브 제어부(240)는 센서(230)로부터 출력된 데이터를 통신부를 통해 마스터 시스템(100)의 통신부(140)로 전송한다. 마스터 시스템(100)의 통신부(140)에서 상기 데이터를 수신하면, 마스터 제어부(130)는 상기 반력에 대응하는 힘 또는 진동을 포함하는 감각을 조작자가 느낄 수 있도록, 감각인가부(430)를 동작시키기 위한 제어신호를 생성하고 이를 햅틱 글로브(400) 제어부(440)로 출력한다. 감각인가부(430)는 햅틱 글로브(400)의 제어부(440)로부터 출력되는 제어신호에 따라 감각을 발생시킨다.
감각인가부(430)는 진동자(420)처럼 단순히 진동을 인가하는 것이 아니라, 예를 들면 진동 이외에 누르는 힘을 함께 인가하여 조작자가 수술도구(230)를 직접 사용할 때 느낄 수 있는 감각을 느낄 수 있도록 한다. 누르는 힘은 일 예이고, 온도나 통증 등과 같은 감각을 인가할 수도 있다. 감각인가부(430)는 택틀 디스플레이(tactile display)로 구현되어 조작자의 손가락으로 감각을 전달할 수 있다.
도 7을 참조하면, 햅틱 글로브(400)의 압력센서(410)에서 손가락 사이의 그립포스(GF)를 감지하면, 압력센서(410)는 감지한 그립포스(GF)를 데이터로 변환하여 햅틱 글로브(400)의 제어부(440)로 출력하고, 햅틱 글로브(400)의 제어부(440)는 이를 마스터 제어부(130)로 출력한다.
마스터 제어부(130)는 통신부를 통해 슬레이브 시스템(200)으로 상기 그립포스(GF)와 관련된 데이터를 전송한다. 슬레이브 시스템(200)의 통신부(250)에서 그립포스(GF)와 관련된 데이터를 수신하면, 슬레이브 제어부(240)는 상기 그립포스(GF)에 대응하는 힘으로 상기 수술도구(230)가 인체 내부의 조직을 잡는 등의 동작을 취할 수 있도록 제3구동부(235)를 구동시키기 위한 제어신호를 출력한다.
제3구동부(235)는 상기 구동신호에 따라 수술도구(230)가 조작자의 그립포스(GF)에 대응하는 힘으로 조직 등을 잡을 수 있도록 수술도구(230)를 동작시킨다.
수술도구(230)의 동작으로 발생하는 반력은 전술한 도 6의 과정을 통해 다시 햅틱 글로브(400)로 전달된다.
100: 마스터 시스템
200: 슬레이브 시스템
400: 햅틱 글로브

Claims (15)

  1. 수술로봇 시스템의 조작자에게 햅틱 피드백(haptic feedback)을 전달하는 햅틱 글로브(haptic glove)에 있어서,
    상기 햅틱 글로브의 일면에 설치되어 진동을 인가하는 복수의 진동자;
    상기 복수의 진동자가 설치된 면의 반대면 중 손가락부에 설치되어 손가락부 사이의 그립포스(grip force)를 감지하는 적어도 하나의 압력센서;
    상기 압력센서가 설치된 면에 설치되어 손가락부로 진동 또는 힘을 포함하는 감각을 인가하는 적어도 하나의 감각인가부; 및
    상기 압력센서에서 감지한 그립포스를 외부로 출력하고, 상기 복수의 진동자에서 인가되는 진동 및 상기 감각인가부에서 인가되는 감각을 제어하는 제어부를 포함하되,
    상기 제어부는 수술로봇 시스템의 수술로봇이 수술 중에 받는 힘의 방향에 대응하는 방향에 마련된 진동자를 결정하고, 상기 결정된 진동자에서 발생하는 진동이 상기 힘의 크기에 대응하도록 상기 결정된 진동자의 동작 주기와 진동의 세기를 제어하는 햅틱 글로브.
  2. 제1항에 있어서,
    상기 복수의 진동자는 손가락부의 길이방향을 따라 미리 정해진 간격을 두고 상기 손가락부부터 손등부까지 줄지어 설치되는 햅틱 글로브.
  3. 삭제
  4. 제1항에 있어서,
    상기 적어도 하나의 압력센서는 상기 손가락부의 말단에 설치되는 햅틱 글로브.
  5. 제1항에 있어서,
    상기 제어부는 상기 수술로봇이 상기 그립포스에 대응하는 힘으로 수술도구를 파지할 수 있도록 상기 압력센서에서 감지한 그립포스를 상기 수술로봇 시스템의 수술로봇으로 실시간으로 출력하는 햅틱 글로브.
  6. 제1항에 있어서,
    상기 적어도 하나의 감각인가부는 상기 손가락부의 말단에 설치되는 햅틱 글로브.
  7. 제4항 또는 제6항에 있어서,
    상기 압력센서와 감각인가부는 상기 손가락부 중 엄지 및 검지에 해당하는 손가락부의 말단에 설치되는 햅틱 글로브.
  8. 제1항에 있어서,
    상기 제어부는 상기 수술로봇 시스템의 수술도구에서 감지되는 그립포스에 대응하는 힘 또는 진동을 포함하는 감각을 생성할 수 있도록 상기 감각인가부의 동작을 제어하는 햅틱 글로브.
  9. 제1항에 있어서,
    상기 햅틱 글로브의 동작을 위한 전원을 공급하는 충전 가능한 배터리를 포함하는 햅틱 글로브.
  10. 환자에게 수술동작을 수행하는 슬레이브 시스템; 및
    상기 슬레이브 시스템의 수술동작을 제어하기 위해 조작자가 착용할 수 있는 햅틱 글로브를 포함하는 마스터 시스템을 포함하고,
    상기 햅틱 글로브는 수술 중에 상기 슬레이브 시스템에서 감지하는 정보를 조작자에게 햅틱 피드백하기 위해, 진동을 인가하는 복수의 진동자, 상기 복수의 진동자가 설치된 면의 반대면 중 손가락부에 설치되어 손가락부 사이의 그립포스(grip force)를 감지하는 적어도 하나의 압력센서, 상기 압력센서가 설치된 면에 설치되어 손가락부로 진동 또는 힘을 포함하는 감각을 인가하는 적어도 하나의 감각인가부 및 상기 압력센서에서 감지한 그립포스를 상기 마스터 시스템으로 출력하고, 상기 마스터 시스템의 제어신호에 따라 상기 복수의 진동자에서 인가되는 진동 및 상기 감각인가부에서 인가되는 감각을 제어하는 제어부를 포함하되,
    상기 마스터 시스템은 상기 슬레이브 시스템의 센서에서 감지한 신호를 수신하여, 수술도구가 받는 힘의 방향에 대응하는 방향에 마련된 진동자를 결정하고 상기 결정된 진동자에서 발생하는 진동이 상기 힘의 크기에 대응하도록 상기 결정된 진동자의 동작 주기와 진동의 세기에 대한 제어신호를 상기 제어부로 출력하는 수술로봇 시스템.
  11. 제10항에 있어서,
    상기 슬레이브 시스템은,
    환자에게 수술동작을 가하는 수술도구;
    상기 수술도구에 장착되어 상기 수술도구에 가해지는 힘 또는 토크를 측정하는 센서;
    환자 신체 내부의 수술부위를 촬영하는 내시경; 및
    상기 센서에서 감지한 힘 또는 토크와 관련된 신호를 상기 마스터 시스템으로 출력하고, 상기 마스터 시스템으로부터 출력되는 햅틱 글로브의 압력센서에서 감지한 그립포스와 관련된 신호를 수신하여 상기 수술도구의 동작을 제어하는 슬레이브 제어부를 포함하는 수술로봇 시스템.
  12. 제10항에 있어서,
    상기 마스터 시스템은,
    상기 햅틱 글로브의 위치, 형상, 자세, 제스쳐 또는 모션을 감지하는 깊이센서;
    상기 슬레이브 시스템의 내시경에서 촬영한 영상 또는 상기 영상에 깊이 센서에서 감지한 햅틱 글로브의 영상을 오버레이한 영상을 표시하는 디스플레이부; 및
    상기 슬레이브 시스템의 센서에서 감지한 신호를 수신하여 상기 햅틱 글로브의 제어부로 상기 햅틱 글로브의 진동자 및 감각인가부의 동작을 제어하는 제어신호를 출력하는 마스터 제어부를 포함하는 수술로봇 시스템.
  13. 제10항에 있어서,
    상기 마스터 시스템은 상기 수술도구에서 감지되는 그립포스에 대응하는 힘 또는 진동을 포함하는 감각을 생성할 수 있도록 상기 감각인가부의 동작을 제어하는 제어신호를 상기 제어부로 출력하는 수술로봇 시스템.
  14. 제12항에 있어서,
    상기 마스터 시스템은 상기 마스터 시스템의 슬레이브 시스템 제어를 온오프 또는 일시정지시킬 수 있는 입력부를 더 포함하는 수술로봇 시스템.
  15. 제14항에 있어서,
    상기 입력부는 발로 조작할 수 있는 페달타입으로 구현되는 수술로봇 시스템.
KR1020130052173A 2013-05-08 2013-05-08 햅틱 글로브 및 수술로봇 시스템 KR102171873B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130052173A KR102171873B1 (ko) 2013-05-08 2013-05-08 햅틱 글로브 및 수술로봇 시스템
US14/100,294 US10292780B2 (en) 2013-05-08 2013-12-09 Haptic gloves and surgical robot systems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130052173A KR102171873B1 (ko) 2013-05-08 2013-05-08 햅틱 글로브 및 수술로봇 시스템

Publications (2)

Publication Number Publication Date
KR20140132649A KR20140132649A (ko) 2014-11-18
KR102171873B1 true KR102171873B1 (ko) 2020-10-29

Family

ID=51865333

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130052173A KR102171873B1 (ko) 2013-05-08 2013-05-08 햅틱 글로브 및 수술로봇 시스템

Country Status (2)

Country Link
US (1) US10292780B2 (ko)
KR (1) KR102171873B1 (ko)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10779957B2 (en) 2010-09-03 2020-09-22 Globus Medical, Inc. Expandable fusion device and method of installation thereof
CN107212922B (zh) * 2012-06-01 2020-06-02 直观外科手术操作公司 硬件受限的远程中心机器人操纵器的冗余轴线和自由度
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US11786324B2 (en) 2012-06-21 2023-10-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US10799298B2 (en) 2012-06-21 2020-10-13 Globus Medical Inc. Robotic fluoroscopic navigation
US11589771B2 (en) 2012-06-21 2023-02-28 Globus Medical Inc. Method for recording probe movement and determining an extent of matter removed
US11963755B2 (en) 2012-06-21 2024-04-23 Globus Medical Inc. Apparatus for recording probe movement
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US10646280B2 (en) 2012-06-21 2020-05-12 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US10842461B2 (en) 2012-06-21 2020-11-24 Globus Medical, Inc. Systems and methods of checking registrations for surgical systems
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US10874466B2 (en) 2012-06-21 2020-12-29 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US9671826B2 (en) 2013-11-27 2017-06-06 Immersion Corporation Method and apparatus of body-mediated digital content transfer and haptic feedback
US20150205352A1 (en) * 2013-12-29 2015-07-23 Immersion Corporation Distributed control architecture for haptic devices
US9468847B2 (en) * 2014-04-30 2016-10-18 Umm Al-Qura University Tactile feedback gloves
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
KR101697185B1 (ko) * 2015-07-29 2017-01-17 국립암센터 무구속 힘 반향 마스터 디바이스 및 이를 포함하는 수술 로봇 시스템
KR101709651B1 (ko) * 2015-09-25 2017-02-24 대한민국 파지 동작 지원 장치 및 그의 제어 방법
US9939908B2 (en) * 2015-09-28 2018-04-10 Paypal, Inc. Multi-device authentication
US10220515B2 (en) * 2015-11-30 2019-03-05 Seiko Epson Corporation Robot and control method for robot
DE102015223921A1 (de) * 2015-12-01 2017-06-01 Siemens Healthcare Gmbh Verfahren zum Betreiben eines medizinisch-robotischen Geräts sowie medizinisch-robotisches Gerät
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
AU2017214552B2 (en) 2016-02-05 2020-08-27 Board Of Regents Of The University Of Texas System Surgical apparatus
CA3004201C (en) 2016-02-05 2023-01-10 Board Of Regents Of The University Of Texas System Steerable intra-luminal medical device
JP6875010B2 (ja) 2016-04-07 2021-05-19 国立研究開発法人科学技術振興機構 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム
US10551923B2 (en) * 2016-05-04 2020-02-04 Worcester Polytechnic Institute Haptic glove as a wearable force feedback user interface
DE102016108966B4 (de) * 2016-05-13 2017-11-30 Technische Universität München Visuell-haptischer Sensor für 6D-Kraft/Drehmoment
US10372213B2 (en) * 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10987808B1 (en) 2016-12-14 2021-04-27 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for providing a control solution for an actuator
IT201700039905A1 (it) * 2017-04-11 2018-10-11 Marcello Marchesi Sistema per la navigazione chirurgica
EP3431025B1 (en) * 2017-07-18 2023-06-21 Globus Medical, Inc. System for surgical tool insertion using multiaxis force and moment feedback
KR20190011137A (ko) * 2017-07-24 2019-02-01 아주대학교산학협력단 움직임 감지를 이용한 수술 영상화 시스템 제어 장치 및 방법
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
WO2020040015A1 (ja) * 2018-08-24 2020-02-27 国立大学法人 東京大学 ロボット支援装置及びロボット支援システム。
JP2021192130A (ja) * 2018-08-29 2021-12-16 ソニーグループ株式会社 触覚提示装置及び触覚提示システム
US11364084B2 (en) * 2018-11-21 2022-06-21 Biosense Webster (Israel) Ltd. Contact force compensation in a robot manipulator
WO2020142049A2 (en) * 2018-12-31 2020-07-09 Havelsan Hava Elektronik Sanayi Ve Ticaret Anonim Sirketi Mixed-reality haptic simulation system with real device instrument interaction and serial or parallel manipulator
CN109620414B (zh) * 2019-01-31 2020-12-11 刘伟民 一种针对外科手术的机械抓手力反馈方法以及系统
US11093035B1 (en) * 2019-02-19 2021-08-17 Facebook Technologies, Llc Finger pinch detection
KR102225106B1 (ko) * 2019-04-25 2021-03-09 울산대학교 산학협력단 원격제어 마스터 장치
CN110780744A (zh) * 2019-11-11 2020-02-11 路邦科技授权有限公司 一种机器人触感反馈手套
WO2021230834A1 (en) * 2019-12-31 2021-11-18 Havelsan Hava Elektronik Sanayi Ve Ticaret Anonim Sirketi Tool-independent 3-dimensional surface haptic interface
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
CN111319026A (zh) * 2020-02-06 2020-06-23 北京凡川智能机器人科技有限公司 一种沉浸式双臂机器人仿人远程操控方法
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
USD1022197S1 (en) 2020-11-19 2024-04-09 Auris Health, Inc. Endoscope
EP4295220A1 (en) * 2021-02-18 2023-12-27 Technion Research & Development Foundation Limited Haptic feedback device and a method of controlling same
US20220378521A1 (en) * 2021-05-26 2022-12-01 Mazor Robotics Ltd. System and method of gesture detection and device positioning
WO2024012573A1 (en) * 2022-07-14 2024-01-18 The Hong Kong Polytechnic University Real-time adjustable kinesthetic and haptic glove apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275213B1 (en) 1995-11-30 2001-08-14 Virtual Technologies, Inc. Tactile feedback man-machine interface device
US20010043847A1 (en) * 1990-02-02 2001-11-22 James Kramer Force feedback and texture simulating interface device
US20090248037A1 (en) * 2008-03-31 2009-10-01 Intuitive Surgical, Inc. Medical robotic system adapted to inhibit motions resulting in excessive end effector forces

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1887961B1 (en) * 2005-06-06 2012-01-11 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system
US7498956B2 (en) * 2006-01-04 2009-03-03 Iron Will Creations, Inc. Apparatus and method for inputting information
KR101341481B1 (ko) 2008-12-05 2013-12-13 한국전자통신연구원 동작인식 기반의 로봇 제어 시스템 및 방법
KR101234094B1 (ko) 2009-05-22 2013-02-19 한국전자통신연구원 촉각 피드백을 제공하는 모션 기반 포인팅 장치 및 그 제어방법
KR101133437B1 (ko) 2010-03-02 2012-04-09 황정진 모션 게임 시스템 및 모션 게임 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010043847A1 (en) * 1990-02-02 2001-11-22 James Kramer Force feedback and texture simulating interface device
US6275213B1 (en) 1995-11-30 2001-08-14 Virtual Technologies, Inc. Tactile feedback man-machine interface device
US20090248037A1 (en) * 2008-03-31 2009-10-01 Intuitive Surgical, Inc. Medical robotic system adapted to inhibit motions resulting in excessive end effector forces

Also Published As

Publication number Publication date
US20140336669A1 (en) 2014-11-13
KR20140132649A (ko) 2014-11-18
US10292780B2 (en) 2019-05-21

Similar Documents

Publication Publication Date Title
KR102171873B1 (ko) 햅틱 글로브 및 수술로봇 시스템
JP6959264B2 (ja) ロボット手術システム用制御アームアセンブリ
US20230301738A1 (en) Master control device and methods therefor
US11351001B2 (en) Ungrounded master control devices and methods of use
US9767608B2 (en) Augmented reality image display system and surgical robot system comprising the same
US9439733B2 (en) Surgical robot system
KR102119534B1 (ko) 수술 로봇 및 그 제어방법
US8594841B2 (en) Visual force feedback in a minimally invasive surgical procedure
JP6255401B2 (ja) 機械本体の動きを操作するためのファントム自由度
JP5946784B2 (ja) 外科用視覚化方法、システムおよびデバイス、ならびにデバイス操作
US8374723B2 (en) Obtaining force information in a minimally invasive surgical procedure
US11766308B2 (en) Systems and methods for presenting augmented reality in a display of a teleoperational system
EP2612616A1 (en) Surgical robot and method for controlling the same
US20200275985A1 (en) Master control device with multi-finger grip and methods therefor
US20140354689A1 (en) Display apparatuses and control methods thereof
JP2012529970A (ja) 低侵襲手術のための仮想測定ツール
JP2012529971A (ja) 低侵襲手術のための仮想測定ツール
KR20140115575A (ko) 수술 로봇 시스템 및 그 제어 방법
JP2015533525A (ja) 関節推定及び制御におけるファントム自由度
JP2019527569A (ja) コンピュータ支援遠隔操作システムにおける補助器具制御
KR20120098342A (ko) 마스터 로봇, 이를 포함하는 수술 로봇 시스템 및 그 제어 방법과, 이를 기록한 기록매체
EP3592276A1 (en) Systems and methods for controlling tool with articulatable distal portion
KR101645969B1 (ko) 수술 로봇 시스템 및 그 제어방법
CN112107368A (zh) 用于微创手术的外科医生输入设备
KR101642883B1 (ko) 수술 로봇 시스템 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right