KR101642883B1 - 수술 로봇 시스템 및 그 제어방법 - Google Patents
수술 로봇 시스템 및 그 제어방법 Download PDFInfo
- Publication number
- KR101642883B1 KR101642883B1 KR1020150080167A KR20150080167A KR101642883B1 KR 101642883 B1 KR101642883 B1 KR 101642883B1 KR 1020150080167 A KR1020150080167 A KR 1020150080167A KR 20150080167 A KR20150080167 A KR 20150080167A KR 101642883 B1 KR101642883 B1 KR 101642883B1
- Authority
- KR
- South Korea
- Prior art keywords
- instrument
- mode
- master
- delete delete
- search mode
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/72—Micromanipulators
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Manipulator (AREA)
Abstract
수술 로봇 시스템 및 그 제어방법이 개시된다. 수술 부위에 삽입되어 수술에 필요한 동작을 수행하는 인스트루먼트(instrument)와, 인스트루먼트의 작동을 제어하는 제어부를 포함하는 수술 로봇 시스템으로서, 제어부는 탐색 모드(search mode) 또는 작용 모드(action mode)에서 작동되고, 탐색 모드일 때 제어부는, 인스트루먼트에 가해지는 외력을 센싱할 수 있도록 인스트루먼트의 작동을 제어하며, 작용 모드일 때 제어부는, 인스트루먼트가 수술에 필요한 동작을 수행하도록 인스트루먼트의 작동을 제어하는 것을 특징으로 하는 수술 로봇 시스템은, 최소침습 복강경 수술용 로봇에서 인스트루먼트를 제어하는 방식을 탐색 모드와 작용 모드로 구분하여, 탐색 모드시 수술 부위 및 체내 조직 부위와 인스트루먼트가 접촉하는 상호 작용 과정에서 인스트루먼트에 작용하는 반력을 측정하여, 그 정도를 스코프 화면 상에 표시하거나 마스터 콘솔에 측정된 반력을 피드백시켜 집도의가 이를 감지할 수 있도록 할 수 있다.
Description
본 발명은 수술 로봇 시스템 및 그 제어방법에 관한 것이다.
의학적으로 수술이란 피부나 점막, 기타 조직을 의료 기계를 사용하여 자르거나 째거나 조작을 가하여 병을 고치는 것을 말한다. 특히, 수술부위의 피부를 절개하여 열고 그 내부에 있는 기관 등을 치료, 성형하거나 제거하는 개복 수술 등은 출혈, 부작용, 환자의 고통, 흉터 등의 문제로 인하여 최근에는 로봇(robot)을 사용한 수술이 대안으로서 각광받고 있다.
이러한 수술용 로봇은 의사의 조작에 의해 필요한 신호를 생성하여 전송하는 마스터(master)부와, 조작부로부터 신호를 받아 직접 환자에 수술에 필요한 조작을 가하는 슬레이브(slave)부로 구분될 수 있는데, 마스터부와 슬레이브부는 하나의 수술용 로봇의 각 부분으로서 구분되거나, 각각 별도의 장치로, 즉 조작부는 마스터 로봇으로, 구동부는 슬레이브 로봇으로 구분되어 수술실에 각각 배치될 수도 있다.
수술용 로봇의 마스터부에는 의사의 조작을 위한 컨트롤 암(control arm)이 설치되는데, 로봇 수술의 경우 집도의는 수술에 필요한 인스트루먼트를 직접 조작하는 것이 아니라, 전술한 컨트롤 암을 움직여 로봇에 장착된 각종 인스트루먼트가 수술에 필요한 동작을 수행하도록 한다.
이와 같이 마스터-슬레이브 복강경 수술로봇 시스템을 이용한 최소침습 복강경 수술은, 수술을 집도하는 의사가 스코프(scope)의 화면을 통해 비주얼 정보를 인지하면서 환자 신체에 천공된 작은 홀(hole)을 통해 진입된 가늘고 긴 형태의 인스트루먼트(instrument)를 동작시키는 방식으로 이루어진다.
이 때, 환자의 체내에서 수술에 필요한 동작을 수행하는 인스트루먼트는 정교한 로봇 암(arm)의 동적 모션(motion)에 의해 작동되며, 이 과정에서 인스트루먼트의 말단부(예를 들면, 포셉(forceps) 부분)와 수술 부위(환자의 체내 조직)와의 힘 상호작용이 발생하게 된다.
이에 따라, 수술을 집도하는 의사의 입장에서는 복잡하고 고난도의 수술 작업을 진행하는 데 있어서, 스코프 시야각 한계 범위를 넘어 화면 상에서 보이지 않는 영역으로 인스트루먼트를 움직이거나 민감한 수술 부위나 그 주변 부위를 다루는 과정에서, 천공이나 파열 등 수술 부위에 치명적 상처를 야기할 가능성이 있다.
이를 방지하기 위해, 수술 부위의 딱딱하고 무른 정도와 거칠기, 탄력도 등 인스트루먼트에 가해지거나 느껴지는 힘(반력)을 피드백(feedback)하고 이를 반영하여 수술 로봇을 능동적으로 제어하는 기능이 요구되는 실정이다.
기존의 마스터-슬레이브 구조의 복강경 수술 로봇 시스템에 의해 작동되는 인스트루먼트의 그립퍼(gripper) 부위는 수술 부위와의 힘 상호 작용이 이루어지며, 그립퍼를 구성하는 각 죠(jaw)의 각도를 제어함으로써 신체 조직의 일부를 쥐거나 집는 등의 작용이 이루어진다.
죠의 각도 제어는 집도의가 마스터 콘솔 암에 장착된 핑거 그립을 조작하는 각도에 비례하여 제어되는데, 그립퍼 부분에는 촉각센서나 토크센서 등 별도의 센서가 부착되어 있지 않으므로, 죠에 걸리는 그립핑 포스(gripping force)를 직접적으로 측정할 수 없어 집도의가 이를 감지하면서 수술을 진행할 수는 없는 실정이다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
한편, 대한민국 등록특허 10-0944410호에는 전류 측정값을 이용하여 인스트루먼트의 작동력을 측정하는 기술이 개시되어 있고, 미국 공개특허 US2012/0310257호에는 센서로부터 데이터를 수신하여 포스 피드백으로서 핸들에 진동을 제공하는 로봇 수술 시스템이 개시되어 있으며, 대한민국 공개특허 10-2013-0122303호에는 로봇이 그립하는 물체의 종류를 종류에 따라 사용자에 의한 로봇의 동작에 사용되는 힘을 스케일링하는 기술이 개시되어 있다.
본 발명은, 인스트루먼트의 구동휠에 걸리는 전류 변화로부터 부하 토크 및 반력을 측정하고, 측정된 반력을 마스터 콘솔 암(master console arm)에 피드백 해줄 뿐만 아니라, 측정된 반력을 이용하여 죠(jaw)에 의해 쥐어지는 물체의 한계 강도를 조절하는 그립 포스(grip force)를 제어할 수 있는 수술 로봇 시스템을 제공하는 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 수술 부위에 삽입되어 수술에 필요한 동작을 수행하는 인스트루먼트(instrument)와, 인스트루먼트의 작동을 제어하는 제어부를 포함하는 수술 로봇 시스템으로서, 제어부는 탐색 모드(search mode) 또는 작용 모드(action mode)에서 작동되고, 탐색 모드일 때 제어부는, 인스트루먼트에 가해지는 외력을 센싱할 수 있도록 인스트루먼트의 작동을 제어하며, 작용 모드일 때 제어부는, 인스트루먼트가 수술에 필요한 동작을 수행하도록 인스트루먼트의 작동을 제어하는 것을 특징으로 하는 수술 로봇 시스템이 제공된다.
탐색 모드일 때 제어부는, 인스트루먼트가 그 위치를 유지한 상태에서 외력에 대한 반작용력이 낮아지도록, 인스트루먼트에 인가되는 전류값을 작용 모드일 때의 전류값보다 낮게 설정할 수 있다.
작용 모드일 때 제어부는, 인스트루먼트의 각 조인트(joint) 부분의 제어력이 높아져 인스트루먼트가 원하는 수술 작업을 수행할 수 있도록, 인스트루먼트에 인가되는 전류값을 탐색 모드일 때의 전류값보다 높게 설정할 수 있다.
사용자에 의해 조작되는 한 쌍의 마스터 핸들(master handle)을 더 포함하되, 마스터 핸들이 수술에 무관한 방식으로 조작될 때, 탐색 모드와 상기 작용 모드 간의 전환이 이루어질 수 있다.
제1 마스터 핸들이 일 방향으로 회전 한계점까지 회전하고 제2 마스터 핸들이 타 방향으로 회전 한계점까지 회전한 상태에서, 미리 설정된 시간 내에, 제1 마스터 핸들이 타 방향으로 회전 한계점까지 회전하고 제2 마스터 핸들이 일 방향으로 회전 한계점까지 회전하도록 조작되는 경우, 탐색 모드와 작용 모드 간의 전환이 이루어질 수 있다.
일 방향과 타 방향은 서로 반대 방향이고, 설정된 시간은 1초일 수 있다.
사용자에 의해 조작되는 마스터 입력부를 포함하고, 마스터 입력부는 사용자의 손가락을 끼워 조작하는 핑거 그립(finger grip)을 포함하며, 핑거 그립이 미리 설정된 각도보다 작은 각도를 이루도록 조작될 때, 탐색 모드와 작용 모드 간의 전환이 이루어질 수 있다.
수술 부위에 관한 영상을 사용자에게 표시하는 디스플레이를 더 포함하되, 디스플레이에는 탐색 모드 또는 작용 모드 중 제어부가 작동되고 있는 모드에 관한 정보가 표시될 수 있다.
인스트루먼트는 막대 형상의 샤프트(shaft)와, 샤프트의 말단에 결합되는 엔드 이펙터(end-effector)를 포함하고, 샤프트의 중간 부분은 선택적으로 구부러질 수 있는 구조로 이루어지며, 탐색 모드일 때, 샤프트의 중간 부분이 구부러지도록 제어될 수 있다.
샤프트의 중간 부분은 플렉서블(flexible)한 부재로 이루어지고, 샤프트의 내부에는 샤프트의 길이 방향을 따라 이동 가능한 슬리브(sleeve)가 배치되되, 슬리브가 중간 부분을 커버하는 위치에 있다가 중간 부분으로부터 이격된 위치로 이동함에 따라, 샤프트의 중간 부분이 구부러지게 될 수 있다.
인스트루먼트는 샤프트의 선단에 결합되는 구동부와, 샤프트 내부를 관통하여 구동부와 엔드 이펙터를 연결하는 복수의 와이어를 더 포함하고, 복수의 와이어의 말단은 엔드 이펙터의 각 부분에 연결되며, 복수의 와이어의 선단은 구동부에 구비되는 복수의 구동휠에 각각 풀리 결합되고, 구동휠은 구동 모터와 연결되며, 탐색 모드일 때, 샤프트의 중간 부분이 구부러짐에 따른 구동 모터에 소요되는 전류의 변화량으로부터, 인스트루먼트에 가해지는 외력에 관한 정보가 획득될 수 있다.
사용자에 의해 조작되는 마스터 핸들을 더 포함하되, 사용자가 외력을 느낄 수 있도록, 획득된 외력에 관한 정보에 상응하도록 산정된 반력을 마스터 핸들에 가함으로써, 포스 피드백(force feedback) 기능을 구현할 수 있다.
인스트루먼트의 말단에는 그립(grip) 동작을 수행하는 한 쌍의 죠(jaw)가 장착되고, 제어부는 한 쌍의 죠가 소정의 한계 그립력보다 작은 힘으로 대상물을 잡도록 제어하며, 한계 그립력은 탐색 모드 일 때 센싱된 외력에 관한 정보에 상응하여 산정될 수 있다.
한편, 본 발명의 다른 측면에 따르면, 수술 부위에 삽입되어 수술에 필요한 동작을 수행하는 인스트루먼트(instrument)를 포함하는 수술 로봇 시스템의 제어방법으로서, (a) 탐색 모드(search mode) 또는 작용 모드(action mode) 중 선정된 어느 하나의 모드에 관한 정보를 수신하는 단계, (b) 탐색 모드일 때에는, 인스트루먼트에 가해지는 외력을 센싱할 수 있도록 상기 인스트루먼트의 작동을 제어하는 단계, 및 (c) 작용 모드일 때에는, 인스트루먼트가 수술에 필요한 동작을 수행하도록 인스트루먼트의 작동을 제어하는 단계를 포함하는 수술 로봇 시스템 제어방법이 제공된다.
상기 단계 (b)는, 인스트루먼트가 그 위치를 유지한 상태에서 외력에 대한 반작용력이 낮아지도록, 인스트루먼트에 인가되는 전류값을 작용 모드일 때의 전류값보다 낮게 설정하는 단계를 포함할 수 있다.
단계 (c)는, 인스트루먼트의 각 조인트(joint) 부분의 제어력이 높아져 인스트루먼트가 원하는 수술 작업을 수행할 수 있도록, 인스트루먼트에 인가되는 전류값을 탐색 모드일 때의 전류값보다 높게 설정하는 단계를 포함할 수 있다.
수술 로봇 시스템은 사용자에 의해 조작되는 한 쌍의 마스터 핸들(master handle)을 더 포함하고, 단계 (a)는, (a1) 마스터 핸들이 수술에 무관한 방식으로 조작될 때, 탐색 모드와 작용 모드가 교호적으로 선정되도록 하는 단계를 포함할 수 있다.
수술에 무관한 방식은, 제1 마스터 핸들이 일 방향으로 회전 한계점까지 회전하고 제2 마스터 핸들이 타 방향으로 회전 한계점까지 회전한 상태에서, 미리 설정된 시간 내에, 제1 마스터 핸들이 타 방향으로 회전 한계점까지 회전하고 제2 마스터 핸들이 일 방향으로 회전 한계점까지 회전하는 것을 포함할 수 있다.
수술 로봇 시스템은 사용자에 의해 조작되는 마스터 입력부를 더 포함하고, 마스터 입력부는 사용자의 손가락을 끼워 조작하는 핑거 그립(finger grip)을 포함하며, 단계 (a)는, (a2) 핑거 그립이 미리 설정된 각도보다 작은 각도를 이루도록 조작될 때, 탐색 모드와 작용 모드가 교호적으로 선정되도록 하는 단계를 포함할 수 있다.
수술 로봇 시스템은 수술 부위에 관한 영상을 사용자에게 표시하는 디스플레이를 더 포함하고, 단계 (a) 이후에, (a3) 탐색 모드 또는 작용 모드 중 선정된 모드에 관한 정보를 디스플레이에 표시하는 단계를 더 포함할 수 있다.
인스트루먼트는 막대 형상의 샤프트(shaft)와, 샤프트의 말단에 결합되는 엔드 이펙터(end-effector)와, 샤프트의 선단에 결합되는 구동부와, 샤프트 내부를 관통하여 구동부와 엔드 이펙터를 연결하는 복수의 와이어를 포함하고, 복수의 와이어의 말단은 엔드 이펙터의 각 부분에 연결되고, 복수의 와이어의 선단은 구동부에 구비되는 복수의 구동휠에 각각 풀리 결합되며, 구동휠은 구동 모터와 연결되고, 샤프트의 중간 부분은 선택적으로 구부러질 수 있는 구조로 이루어지며, 단계 (b)는, (b1) 외력에 의해 샤프트의 중간 부분이 구부러질 경우 구동 모터에 소요되는 전류의 변화량을 측정하는 단계, 및 (b2) 전류의 변화량으로부터 인스트루먼트에 가해지는 외력을 산정하는 단계를 포함할 수 있다.
샤프트의 중간 부분은 플렉서블(flexible)한 부재로 이루어지고, 샤프트의 내부에는 샤프트의 길이 방향을 따라 이동 가능한 슬리브(sleeve)가 배치되되, 단계 (b)는, 슬리브를 중간 부분을 커버하는 위치로부터 중간 부분으로부터 이격된 위치로 이동시키는 단계를 포함할 수 있다.
수술 로봇 시스템은 사용자에 의해 조작되는 마스터 핸들을 더 포함하고, 단계 (b) 이후에, (b3) 사용자가 외력을 느낄 수 있도록, 단계 (b2)에서 산정된 외력에 상응하도록 산정된 반력을 마스터 핸들에 가하는 단계를 더 포함할 수 있다.
인스트루먼트의 말단에는 그립(grip) 동작을 수행하는 한 쌍의 죠(jaw)가 장착되고, 단계 (b) 이후에, (b4) 단계 (b2)에서 산정된 외력에 상응하여 한계 그립력을 산정하는 단계, 및 (b5) 한계 그립력보다 작은 힘으로 대상물을 잡도록 한 쌍의 죠를 제어하는 단계를 더 포함할 수 있다.
한편, 본 발명의 다른 측면에 따르면, 수술용 로봇에 장착되는 인스트루먼트로서, 수술용 로봇에 결합되며, 수술용 로봇으로부터 구동력을 전달받는 구동부와, 구동부에 결합되는 막대 형상의 샤프트와, 샤프트의 말단에 결합되며, 수술 부위에 삽입되어 수술에 필요한 동작을 수행하는 엔드 이펙터(end-effector)를 포함하되, 샤프트의 중간 부분은 선택적으로 구부러질 수 있는 구조로 구현되며, 수술용 로봇의 작동 모드에 상응하여 샤프트의 중간 부분이 구부러지도록 제어되는 것을 특징으로 하는 인스트루먼트가 제공된다.
샤프트의 중간 부분은 플렉서블(flexible)한 부재로 이루어지고, 샤프트의 내부에는 샤프트의 길이 방향을 따라 이동 가능한 슬리브(sleeve)가 배치되되, 슬리브가 중간 부분을 커버하는 위치에 있다가 중간 부분으로부터 이격된 위치로 이동함에 따라, 샤프트의 중간 부분이 구부러지게 될 수 있다.
수술용 로봇의 작동 모드는 탐색 모드 및 작용 모드를 포함하고, 수술용 로봇이 탐색 모드에서 작동될 때, 인스트루먼트에 가해지는 외력을 센싱할 수 있도록, 인스트루먼트는 샤프트의 중간 부분이 구부러지도록 제어될 수 있다.
샤프트의 내부를 관통하여 구동부와 엔드 이펙터를 연결하는 복수의 와이어와, 구동부 내에 구비되는 복수의 구동휠과, 구동휠에 상응하도록 수술용 로봇에 구비되는 복수의 구동 모터를 더 포함하되, 구동휠은 구동 모터에 연결되어 작동되고, 복수의 와이어의 말단은 엔드 이펙터의 각 부분에 연결되며, 복수의 와이어의 선단은 구동휠에 각각 풀리 결합되고, 샤프트의 중간 부분이 구부러짐에 따라 와이어를 통해 장력이 전달되어 구동 모터에 소요되는 전류값이 변하고, 전류값의 변화량으로부터 인스트루먼트에 가해지는 외력이 산정될 수 있다.
수술용 로봇은, 탐색 모드일 때 구동 모터에 소요되는 전류값이 작용 모드일 때의 전류값보다 낮도록 설정함으로써, 탐색 모드에서 샤프트의 중간 부분이 외력에 의해 구부러지도록 제어될 수 있다.
엔드 이펙터는 소정의 한계 그립력보다 작은 힘으로 대상물을 잡도록 제어되는 한 쌍의 죠(jaw)를 포함하고, 한계 그립력은 센싱된 외력에 관한 정보에 상응하여 산정될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 최소침습 복강경 수술용 로봇에서 인스트루먼트를 제어하는 방식을 탐색 모드와 작용 모드로 구분하여, 탐색 모드시 수술 부위 및 체내 조직 부위와 인스트루먼트가 접촉하는 상호 작용 과정에서 인스트루먼트에 작용하는 반력을 측정하여, 그 정도를 스코프 화면 상에 표시하거나 마스터 콘솔에 측정된 반력을 피드백시켜 집도의가 이를 감지할 수 있도록 할 수 있다.
뿐만 아니라, 민감하거나 연약한 조직을 인스트루먼트로 쥐는 동작을 수행함에 있어 측정된 반력값을 사용하여 그립 포스(grip force)를 제어함으로써, 수술 중 인스트루먼트에 의한 내부 조직 훼손의 부작용을 줄여 수술 안정성을 높이면서, 수술 부위에 대한 과도한 조작 및 손상을 방지하여 수술 성능 및 효과를 높일 수 있다.
또한, 필요한 수술 작업 이외의 인스트루먼트의 움직임 중 집도의의 시각정보 한계 범위를 벗어난 동작 실수나 과도한 크기의 힘 변위에 의해 수술 인접 부위에 대한 원치 않는 상해나 손상 등을 최소화할 수 있다.
또한, 인스트루먼트의 그립퍼(gripper) 부분에 작용하는 외력을 보다 효율적으로 측정함과 동시에, 샤프트의 중간 부분이 필요에 따라 선택적으로 구부러지도록 제어함으로써, 인스트루먼트 자체의 구조적인 강성을 낮춰 수술 과정에서 조직의 손상을 방지할 수 있다.
도 1은 본 발명의 일 실시예에 수술 로봇 시스템을 나타낸 개념도.
도 2는 본 발명의 일 실시예에 따른 인스트루먼트의 제어 메커니즘을 나타낸 블록도.
도 3은 본 발명의 일 실시예에 따른 마스터 핸들을 나타낸 사시도.
도 4는 본 발명의 일 실시예에 따른 핑거 그립을 나타낸 사시도.
도 5a는 본 발명의 일 실시예에 따른 인스트루먼트를 나타낸 사시도.
도 5b는 본 발명의 일 실시예에 따른 인스트루먼트의 선택적 꺾임 구조를 나타낸 사시도.
도 5c는 본 발명의 일 실시예에 따른 인스트루먼트를 나타낸 단면도.
도 6은 본 발명의 일 실시예에 따른 인스트루먼트의 구동부를 나타낸 사시도.
도 7은 본 발명의 일 실시예에 따른 인스트루먼트의 한 쌍의 죠를 나타낸 측면도.
도 8은 본 발명의 일 실시예에 따른 인스트루먼트의 엔드 이펙터에 가해지는 힘에 따른 전류 변화를 나타낸 그래프.
도 9는 본 발명의 일 실시예에 따른 수술 로봇 시스템의 포스 피드백(force feedback) 메커니즘을 나타낸 블록도.
도 10은 본 발명의 일 실시예에 따른 수술 로봇 시스템 제어방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 인스트루먼트의 제어 메커니즘을 나타낸 블록도.
도 3은 본 발명의 일 실시예에 따른 마스터 핸들을 나타낸 사시도.
도 4는 본 발명의 일 실시예에 따른 핑거 그립을 나타낸 사시도.
도 5a는 본 발명의 일 실시예에 따른 인스트루먼트를 나타낸 사시도.
도 5b는 본 발명의 일 실시예에 따른 인스트루먼트의 선택적 꺾임 구조를 나타낸 사시도.
도 5c는 본 발명의 일 실시예에 따른 인스트루먼트를 나타낸 단면도.
도 6은 본 발명의 일 실시예에 따른 인스트루먼트의 구동부를 나타낸 사시도.
도 7은 본 발명의 일 실시예에 따른 인스트루먼트의 한 쌍의 죠를 나타낸 측면도.
도 8은 본 발명의 일 실시예에 따른 인스트루먼트의 엔드 이펙터에 가해지는 힘에 따른 전류 변화를 나타낸 그래프.
도 9는 본 발명의 일 실시예에 따른 수술 로봇 시스템의 포스 피드백(force feedback) 메커니즘을 나타낸 블록도.
도 10은 본 발명의 일 실시예에 따른 수술 로봇 시스템 제어방법을 나타낸 순서도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 수술 로봇 시스템을 나타낸 개념도이고, 도 2는 본 발명의 일 실시예에 따른 인스트루먼트의 제어 메커니즘을 나타낸 블록도이다. 도 1 내지 도 2를 참조하면, 수술 로봇 시스템(1), 인스트루먼트(10), 제어부(20), 디스플레이(40)가 도시되어 있다.
본 실시예는 수술용 로봇을 사용하여 수술을 수행하는 과정에서 인스트루먼트에 작용하는 반력을 감지하고 이를 제어하기 위한 기술에 관한 것으로, 복강경 수술용 로봇 시스템에 의해 동작되는 인스트루먼트의 제어 시스템에 관한 것이다.
본 실시예에서는 수술 로봇 시스템의 작동 모드를 탐색 모드와 작용 모드로 구분하고, 탐색 모드에서 인스트루먼트에 힘이 작용함에 따라 구동휠에 걸리는 전류값이 변화하는 것으로부터 부하 토크 및 반력을 측정하며, 측정된 반력을 마스터 콘솔 암(master console arm)에 피드백하는 기술 및 측정된 반력을 이용하여 죠에 의해 쥐어지는 물체의 한계 강도를 조절함으로써 집도의가 쥐어진 조직의 강도를 예측할 수 있도록 하는 그립 포스 제어 기술을 특징으로 한다.
본 실시예에 따른 수술 로봇 시스템(1)은 인스트루먼트(instrument)(10)와, 인스트루먼트(10)의 작동을 제어하는 제어부(20)를 포함하여 구성되는데, 인스트루먼트(10)는 로봇 암의 말단에 장착되어 수술시 체내에 삽입되어 수술에 필요한 동작을 수행하는 역할을 한다.
본 실시예에 따른 수술 로봇 시스템(1)의 제어부(20)는 탐색 모드(search mode)와 작용 모드(action mode)를 갖는 것을 특징으로 한다. 탐색 모드는 직접적으로 수술 행위를 하는 것이 아니라 수술 부위에 관한 정보를 탐색하는 모드이며, 작용 모드는 인스트루먼트(10)를 작동시켜 수술 행위가 이루어지도록 하는 모드이다.
즉, 본 실시예에 따른 제어부(20)는 모드별로 인스트루먼트(10)를 다르게 제어하는 것을 특징으로 한다. 본 실시예에서는 탐색 모드와 작용 모드에 관하여 설명하지만, 수술 로봇 시스템(1)의 제어 모드가 반드시 이러한 2가지 모드에서만 작동되어야 하는 것은 아니며, 다양한 제어 방식별로 모드를 구분하여 작동될 수도 있음은 물론이다.
본 실시예에 따른 제어부(20)는 탐색 모드일 때, 인스트루먼트(10)에 가해지는 외력을 센싱할 수 있도록 인스트루먼트(10)의 작동을 제어하는 것을 특징으로 한다.
인스트루먼트(10)의 힘은, 도 2에 도시된 것처럼, 제어부(controller)로부터 신호를 받은 모터(Motor)의 작동에 의해 발휘되는데, 발휘되는 힘의 크기는 제어부가 모터에 인가하는 전류(i)의 크기에 비례하여 증감된다.
따라서, 탐색 모드일 때 본 실시예에 따른 제어부(20)는, 인스트루먼트(10)의 외력에 대한 반작용력이 낮아지도록, 즉 외력이 가해졌을 때 인스트루먼트(10)가 버티지 않고 변형되어 외력을 감지할 수 있도록, 인스트루먼트(10)에 인가되는 전류값을 낮게 설정할 수 있다.
탐색 모드일 때 설정되는 전류값은, 인스트루먼트(10)가 흐느적거리지 않고 그 위치를 유지할 수 있을 정도의 (최소한의) 전류값보다는 크게 설정할 수 있고, 후술하는 작용 모드일 때의 전류값보다는 작게 설정할 수 있다.
한편, 본 실시예에 따른 제어부(20)는 작용 모드일 때, 인스트루먼트(10)가 수술에 필요한 동작을 수행하도록 인스트루먼트(10)의 작동을 제어하는 것을 특징으로 한다.
작용 모드일 때 본 실시예에 따른 제어부(20)는, 각 조인트(joint) 부분의 제어력이 높아지도록, 즉 제어부(20)로부터 전류가 인가되었을 때 인스트루먼트(10)가 원하는 방향과 위치로 변형되어 원하는 동작(수술 작업)을 수행할 수 있도록, 인스트루먼트(10)에 인가되는 전류값을 높게 설정할 수 있다.
따라서, 작용 모드일 때 설정되는 전류값은 전술한 탐색 모드일 때의 전류값보다는 높게 설정할 수 있다.
이처럼, 본 실시예에 따른 수술 로봇 시스템(1)은, 로봇에 의한 수술 상태를 탐색 모드와 작용 모드로 구분하고, 탐색 모드시에는 현재 위치를 유지하면서 인스트루먼트(10)에 가해지는 외력을 측정할 수 있도록 전류를 다소 약하게 설정함으로써, 외력에 대한 반작용력을 최소화하면서 외력 측정 감도를 높이고, 작용 모드시에는 인스트루먼트(10)의 각 조인트에 대한 제어력을 높여 원하는 수술 작업을 수행할 수 있도록 한 것을 특징으로 한다.
이에 따라, 필요한 수술 작업 이외의 인스트루먼트(10) 움직임 중, 집도의의 시각정보 한계 범위를 벗어난 조작 실수나 과도한 크기의 힘 변위에 의해 수술 인접 부위에 대한 원치 않는 상해나 손상 등을 최소화할 수 있다.
도 3은 본 발명의 일 실시예에 따른 마스터 핸들을 나타낸 사시도이고, 도 4는 본 발명의 일 실시예에 따른 핑거 그립을 나타낸 사시도이다. 도 3 및 도 4를 참조하면, 마스터 입력부(30), 마스터 핸들(32), 핑거 그립(34)이 도시되어 있다.
전술한 수술 로봇 시스템(1)의 작동 모드, 즉 탐색 모드 및 작용 모드는 사용자의 선택에 따라 자유자재로 전환이 가능하다. 즉, 집도의가 탐색 모드에서 인스트루먼트(10)를 제어하고자 할 때에는 탐색 모드를 선택하고, 작용 모드에서 인스트루먼트(10)를 제어하고자 할 때에는 작용 모드를 선택할 수 있다.
이를 위해 본 실시예에 따른 수술 로봇 시스템(1)에는 토글(toggle) 방식으로 on/off 되는 모드 전환용 스위치나 클러치가 설치될 수 있다. 예를 들어, 사용자가 클러치를 밟아 탐색 모드로 제어를 하다가 다시 한번 클러치를 밟아 작용 모드로 제어할 수 있다.
나아가, 본 실시예에서는 별도의 스위치를 조작할 필요 없이 수술 과정에서 보다 직관적이고 간편하게 모드 전환이 이루어지도록 할 수 있다.
도 3에 도시된 것처럼, 본 실시예에 따른 수술 로봇 시스템(1)에는 집도의가 손으로 잡고 조작하는 한 쌍의 마스터 핸들(32)이 구비될 수 있다. 즉, 의사는 마스터 핸들(32)을 잡은 채로 수술 행위를 수행하므로, 스위치나 클러치를 별도로 조작할 필요 없이 마스터 핸들(32)을 조작하는 것만으로 모드 전환이 이루어지도록 함으로써 수술 행위의 안정성을 제고할 수 있다.
따라서, 본 실시예에서는 사용자가 마스터 핸들(32)을 잡고 조작하되 수술 행위와 상관없는 방식으로 조작할 때, 탐색 모드와 작용 모드 간의 전환이 이루어지도록 할 수 있다.
즉, 일반적으로 직접적 수술 동작과 관련이 없는 일련의 단계적 단위행위를 수술 로봇 시스템(1)이 모드 전환의 의도로 인식하여 모드 간의 전환이 이루어지도록 하는 이른바 '사용자 의도 기반의 인지적 인식(cognitive recognition)'에 의한 전환 기능을 구현할 수 있다.
예를 들면, 한 쌍의 마스터 핸들(32)이 서로 반대 방향으로 좌우 회전 조인트 방향의 끝점에 각각 도달했을 때(좌측 마스터 핸들을 좌측 방향으로 회전시켜 회전 한계에 걸린 상태에서 우측 마스터 핸들을 우측 방향으로 회전시켜 회전 한계에 걸린 상태) 모드 전환 준비 단계(1단계)가 되고, 여기서 일정 시간(예를 들면, 1초) 내에 각 마스터 핸들(32)을 다시 반대 방향으로 회전시켜 회전 한계점까지 도달했을 때 모드 전환 완료 단계(2단계)가 되도록 할 수 있다.
또는, 한 쌍의 마스터 핸들(32)이 서로 다른 방향으로 상하 회전 조인트 방향의 끝점에 각각 도달했을 때(좌측 마스터 핸들을 위 방향으로 회전시켜 회전 한계에 걸린 상태에서 우측 마스터 핸들을 아래 방향으로 회전시켜 회전 한계에 걸린 상태) 모드 전환 준비 단계(1단계)가 되고, 여기서 일정 시간(예를 들면, 1초) 내에 각 마스터 핸들(32)을 다시 반대 방향으로 회전시켜 회전 한계점까지 도달했을 때 모드 전환 완료 단계(2단계)가 되도록 할 수 있다.
한편, 도 4에 도시된 것처럼, 본 실시예에 따른 마스터 입력부(30)에는 사용자가 손가락을 끼워 조작하는 핑거 그립(34)이 구비될 수 있다.
이 경우, 사용자가 엄지와 검지를 끼워 핑거 그립(34)을 잡고 있는 각도(도 4의 'a' 참조)가 일정 수치(예를 들면, 3도 또는 4도)보다 작게 되도록 조작할 때, 탐색 모드와 작용 모드 간의 전환이 이루어지도록 할 수 있다.
예를 들면, 의사가 핑거 그립(34)에 손가락을 끼워 탐색 모드로 인스트루먼트(10)를 제어하다가, 필요한 경우 엄지와 검지를 붙이는 동작을 하여 작용 모드로 전환시킨 후 수술에 필요한 동작을 수행할 수 있는 것이다.
이러한 사례의 경우, 작용 모드에서 의사는 엄지와 검지를 접촉시켜 물체를 잡는 행동을 할 개연성이 높고, 이 때 작용 모드가 탐색 모드로 전환되면 안되므로, 핑거 그립(34)이 이루는 각도에 의해 모드를 전환시키는 제어는 일방적으로, 즉 탐색 모드에서 작용 모드로의 전환만 가능하도록 설정할 수 있다.
이상으로 설명한 바와 같이 사용자는 다양한 방법으로 탐색 모드/작용 모드 간 전환을 할 수 있다.
한편, 이와 같이 모드가 전환된 경우, 현재의 모드를 사용자 디스플레이(40)에 표시함으로써 사용자가 현재 작동 모드가 어떤 모드인지 확인하도록 할 수 있다.
즉, 본 실시예에 따른 수술 로봇 시스템(1)에는 수술 부위에 관한 영상(예를 들면, 복강경 촬영 영상)을 사용자에게 표시하는 디스플레이(40)(예를 들면, 스코프 뷰(scope view) 화면)가 구비되어 있는데, 이러한 디스플레이(40) 상에 오버레이(overlay) 방식으로 현재의 모드(탐색 모드 또는 작용 모드)에 관한 정보가 표시되도록 할 수 있다.
표시 방식으로는, 현재 모드에 따라 화면의 색상을 달리하는 방식(예를 들면, 탐색 모드일 때에는 화면 테두리를 녹색으로, 작용 모드일 때에는 화면 테두리를 주황색으로 표시하는 방식), 모드의 명칭을 직접 화면 일부에 문자로 표시하는 방식 등, 다양한 방식으로 표시되도록 할 수 있다.
도 5a는 본 발명의 일 실시예에 따른 인스트루먼트를 나타낸 사시도이고, 도 5b는 본 발명의 일 실시예에 따른 인스트루먼트의 선택적 꺾임 구조를 나타낸 사시도이고, 도 5c는 본 발명의 일 실시예에 따른 인스트루먼트를 나타낸 단면도이고, 도 6은 본 발명의 일 실시예에 따른 인스트루먼트의 구동부를 나타낸 사시도이고, 도 7은 본 발명의 일 실시예에 따른 인스트루먼트의 한 쌍의 죠를 나타낸 측면도이고, 도 8은 본 발명의 일 실시예에 따른 인스트루먼트의 엔드 이펙터에 가해지는 힘에 따른 전류 변화를 나타낸 그래프이고, 도 9는 본 발명의 일 실시예에 따른 수술 로봇 시스템의 포스 피드백(force feedback) 메커니즘을 나타낸 블록도이다. 도 5a 내지 도 9를 참조하면, 인스트루먼트(10), 샤프트(100), 플렉서블 부재(102), 슬리브(104), 엔드 이펙터(110), 죠(112), 구동부(120), 구동휠(122), 와이어(130)가 도시되어 있다.
본 실시예에 따른 수술 로봇 시스템(1)에 장착되는 인스트루먼트(10)는 기본적으로, 도 5a에 도시된 것처럼, 샤프트(100)와, 샤프트(100)의 말단(distal end)에 결합된 엔드 이펙터(110)와, 샤프트(100)의 선단(proximal end)에 결합된 구동부(120)로 이루어질 수 있다.
또한, 샤프트(100) 내부를 관통하여 복수의 와이어(130)가 배치되고 구동부(120)에는 복수의 구동휠(122)이 구비되는데, 도 6에 도시된 것처럼, 복수의 와이어(130)의 선단은 각 구동휠(122)에 풀리 결합되고, 복수의 와이어(130)의 말단은 엔드 이펙터(110)의 각 부분에 연결된다.
복수의 구동휠(122)은 로봇 암에 설치된 복수의 구동 모터(미도시)에 각각 연결되어, 구동 모터의 작동에 따라 회전하게 된다. 이에 따라, 인스트루먼트(10)는 수술용 로봇으로부터 구동력을 전달받아 작동되게 된다. 여기서, 구동휠이 구동 모터에 연결된다는 것은 반드시 물리적으로 접촉하는 경우만을 의미하는 것은 아니며, 구동휠이 구동 모터로부터 동력을 전달받아 작동되는 범위 내에서 기어나 매개휠 등 중간에 다른 매개체를 개재하여 연결되는 경우도 의미함은 물론이다.
구동 모터, 구동휠(122), 와이어(130)의 갯수는 엔드 이펙터(110)의 작동 자유도에 따라 결정될 수 있다. 예를 들어, 엔드 이펙터가 4 자유도로 작동되어야 하는 경우 4개의 구동 모터, 4개의 구동휠, 4개의 와이어가 설치될 수 있다.
구동 모터는 제어부(20)로부터 신호를 받아 작동되고, 구동 모터의 작동에 따라 구동휠(122)이 회전하며, 구동휠(122)의 회전에 따라 와이어(130)에 장력이 인가되어, 결과적으로 와이어(130)의 말단이 결합된 엔드 이펙터(110)의 각 부분이 원하는 방식으로 움직이게 된다.
본 실시예에 따른 인스트루먼트(10)는, 도 5b의 (a) 및 (b)에 도시된 것처럼, 샤프트(100)의 중간 부분이 선택적으로 구부러지는 구조로 이루어진 것을 특징으로 한다.
샤프트(100)가 선택적으로 구부러지는 구조는 다양한 방식으로 구현될 수 있는데, 예를 들면 도 5c에 도시된 것처럼, 샤프트(100)의 중간 부분을 플렉서블한 부재(102)로 만들고, 그 부분의 샤프트(100) 내에는 슬리브(104)를 배치할 수 있다.
슬리브(104)는 샤프트(100)의 다른 부분과 마찬가지로 구부러지지 않는 스티프(stiff)한 재료로 이루어진 부재로서, 샤프트(100) 내에서 샤프트(100)의 길이 방향을 따라 이동 가능하도록 배치된다. 이에 따라, 도 5c의 (a)와 같이 슬리브(104)가 중간 부분(플렉서블 부재(102) 부분)을 커버하는(담당하는) 위치에 있을 때에는 샤프트(100)가 구부러지지 않다가, 도 5c의 (b)와 같이 슬리브(104)가 중간 부분으로부터 떨어진 위치로 이동하게 되면 샤프트(100)의 중간 부분을 지지하는 부재가 없으므로 중간 부분이 구부러지게 된다.
이처럼, 샤프트(100)의 일부를 플렉서블 부재(102)로 구성하고 샤프트(100) 내에 슬리브(104)를 배치하여 이동시킴으로써, 필요에 따라 선택적으로 샤프트(100)가 구부러지도록 제어할 수 있다.
본 실시예에 따른 수술 로봇 시스템(1)은 탐색 모드일 때 샤프트(100)의 중간 부분이 구부러지도록 제어하는 것을 특징으로 한다. 전술한 도 5c에 도시된 사례의 경우, 탐색 모드일 때 슬리브(104)가 중간 부분(플렉서블 부재(102) 부분)으로부터 이격되어 이동하도록 함으로써, 중간 부분이 구부러지도록 제어할 수 있다.
이처럼, 탐색 모드일 때 샤프트(100)의 중간 부분이 구부러지도록 제어할 경우, 인스트루먼트(10)에 외력이 작용하여 샤프트(100)가 구부러지면, 구부러진 부분에서 와이어(130)에 장력이 인가되게 되고, 이러한 장력에 의해 구동휠(122)에 회전력이 발생하여 구동휠(122)에 결합된 구동 모터에 소요 토크(torque)값이 변하게 된다.
구동 모터의 소요 토크의 변화는 결과적으로 구동 모터에 인가되는 전류의 변화를 가져오고, 이러한 전류의 변화량을 측정함으로써 결과적으로 인스트루먼트(10)에 가해지는 외력을 측정할 수 있게 된다.
수술용 로봇 암은 여러 개의 링크와 조인트 구조로 구성되어 있고, 각 조인트는 모터에 의해 구동력이 부여되어 회전 동작이 이루어지며, 각 모터의 회전 정도(회전각)는 제어부(motor controller)에 의해 제어된다.
이러한 회전각 제어 알고리즘을 살펴보면, 도 2에 도시된 것처럼, 모터에 부착된 인코더(encoder)에 의해 실시간 회전 각도값이 획득(reading)되고 실제 회전각과 목표 회전각 간의 오차(e)를 계산하여, 제어부(controller)에서는 PID, LQR 등의 제어 기법에 의해 얻은 전압/전류(voltage/current)를 모터 시스템에 인가하게 된다.
이 때, 모터에 걸리는 전류(전압)값은 해당 조인트에 걸리는 토크에 비례하는데, 모터에 소요되는 필요 토크는 다음 식 (1)과 같이 계산될 수 있다.
여기서,
τe : 모터 소요 토크
Jm : 모터 관성 모멘트
Jl : 링크 관성 모멘트
dωm/dt : 모터 가속도
τL : 부하 토크
이 때, 부하 토크(τL)는 링크의 무게에 의한 부하 토크와 회전시의 마찰 토크로 구성되고 다음 식 (2)와 같이 표현될 수 있다.
여기서,
τf : 부하 토크
τf0 : 마찰 토크
sign(ωm) : 회전 방향
수술용 로봇 암의 기구학 정보와 링크 무게에 의한 부하 토크, 회전시 마찰 토크의 영향을 제외하고 순수한 구동 토크를 구하면, 모터의 회전 속도 변화(가/감속도)에 따른 전류 소모 증가량을 알 수 있고, 링크 회전시의 정상적인 소모 전류의 변화량과 차이가 발생할 때, 즉 구동 토크의 추가적인 증가/감소가 발생할 때에는 추가적인 토크가 작용되었음을 유추할 수 있다.
따라서, 이러한 추가적 토크 변화량을 소모 전류 변화로부터 유추하고, 로봇 암에 장착된 인스트루먼트(10)에 작용하는 반력을 감지 및 측정할 수 있게 된다.
한편, 전술한 바와 같이 센싱된 외력에 관한 정보는 수술 로봇 시스템(1)에 포스 피드백 기능을 구현하는 데에 사용될 수 있다. 즉, 도 9에 도시된 것처럼, 슬레이브 로봇(Slave robot) 측의 로봇 암(Robot arm) 및 인스트루먼트(instrument tool)에서의 소요 토크의 변화로 인한 모터의 소요 전류 변화량으로부터 센싱된 외력을 기초로, 반력을 산정하여 사용자가 조작하는 마스터 핸들(Master arm)(32)에 가함으로써, 사용자는 마치 실제로 외력이 작용하는 것처럼 느끼면서 수술을 수행할 수 있게 된다.
집도의가 마스터 콘솔의 3D 비전 장치를 통해, 환자의 신체 내부에 투입된 3D 복강경에 의해 전송된 영상을 비주얼 피드백 받으면서, 마스터 핸들(32)을 조작하고 이에 따라 인스트루먼트(10)를 조작함에 있어서, 수술 부위와 인스트루먼트(10) 간의 힘 상호 작용을 집도의에게 피드백 해주기 위해 전술한 모터 토크 제어 기술이 활용될 수 있다.
즉, 인스트루먼트(10)에 반작용 힘이 작용하면, 긴 샤프트(100) 구조를 통해 인스트루먼트(10) 베이스 부위의 구동휠(122)에 감겨 있는 와이어(130)의 텐션(tension)에 변화가 일어나게 되고, 텐션의 변화는 휠의 회전각 제어를 담당하는 모터에 소요되는 전류의 변화를 일으키게 된다.
이러한 전류 변화량을 감지함으로써, 인스트루먼트(10)에 작용한 힘의 방향과 크기를 추정할 수 있고, 만약 수술 부위에서 수술 동작이 이루어지고 있지 않은 상황에서 일정 이상의 반력이 감지되면, 이를 미리 설정된 임계치 조건과 대비하여 위험 상황으로 판단, 로봇 제어 시스템 또는 모터 제어 시스템에 긴급 정지 등의 조치를 취할 수 있다. 그 결과, 수술시의 원치 않는 상해나 천공 등의 부작용 위험을 줄일 수 있다.
또한, 전술한 바와 같이 센싱된 외력에 관한 정보는 인스트루먼트(10)의 그립 포스(grip force) 제어에 사용될 수 있다. 즉, 모터의 소요 전류 변화량으로부터 센싱된 외력을 기초로 한계 그립력을 산정하고, 인스트루먼트(10)의 말단에 장착된 한 쌍의 죠(jaw)(112)가 산정된 한계 그립력보다 작은 힘으로 대상물을 잡도록 제어할 수 있다.
이러한 방식으로 그립 포스의 피드백 제어가 이루어지는데, 도 7에 도시된 것과 같은 한 쌍의 죠(112)의 각도를 제어해 주는 두 개의 조인트에 한계 전류값을 설정하고, 가해지는 전류의 한계값에 따라 최대로 적용되는 물림력, 즉 그립 포스를 제어할 수 있다. 이와 관련하여 도 8에는 설정된 전류값(Current)에 따라 한 쌍의 죠(112)가 이루는 각(Joint angle)의 변화가 도시되어 있다.
한편, 그립 포스 제어 과정에서 비쥬얼 피드백, 즉 시각적 피드백 또한 이루어질 수 있는데, 집도의는 화면 상에서 인스트루먼트의 죠(112)의 물림 각도가 마스터 핸들(32)의 조작된 각도(핑거 그립(34)의 조작 각도)에 비해 적음을 시각적으로 피드백 받게 되어, 인스트루먼트 죠(112)에 물려있는 물체의 단단하거나 무른 정도를 시각적 정보로서 전달받아 판단할 수 있게 된다.
예를 들어, 한 쌍의 죠(112)에 걸리는 그립 포스를 보통의 수술시보다 작게 설정해 놓으면, 인스트루먼트의 죠(112)는 상대적으로 무른 조직이나 물체를 집을 때 조직에 상해를 주지 않는 범위 내에서 상대적으로 약하게 그립핑(gripping)하기 때문에, 집도의가 마스터 핸들(32)의 핑거 그립(34)이 다물어지도록(서로 닿도록) 조작했더라도 화면상의 인스트루먼트 죠(112)는 덜 다물어졌음을 보게 되고, 이는 결과적으로 집도의에게 시각적 피드백 효과를 부여하게 된다.
도 10은 본 발명의 일 실시예에 따른 수술 로봇 시스템 제어방법을 나타낸 순서도이다.
본 실시예는 수술 로봇의 제어 모드를 탐색 모드와 작용 모드로 구분하고, 탐색 모드시 인스트루먼트(10)의 직선부 샤프트(100)에 반자동 꺾임 구조를 적용함으로써, 인스트루먼트(10)의 엔드 이펙터(110)에 작용하는 외력을 보다 효율적으로 측정함과 동시에, 인스트루먼트(10) 자체의 구조적인 강성을 낮춰 조직의 작용 손상을 방지하고자 한 것이다.
탐색 모드시 인스트루먼트(10)에 작용하는 힘의 측정은, 인스트루먼트(10)의 베이스 구동부(120)와 로봇 암의 구동 모터 축과 연결되며, 와이어 메커니즘에 의해, 구동 모터 축의 각도 변화는 거의 없지만 소요 토크는 변화되며, 이 소요 토크는 소요 전류의 변화량의 형태로 감지될 수 있다.
먼저, 수술 로봇의 작동 모드를 탐색 모드 또는 작용 모드 중 하나의 모드로 선정한다(S100). 이를 위해, 스위치나 클러치를 토글 방식으로 작동시켜 원하는 모드로 전환시킬 수 있다.
또한, 전술한 것처럼, 마스터 핸들(32)이 수술에 무관한 방식으로 조작될 때 탐색 모드와 작용 모드 간의 전환이 이루어지도록 할 수 있고(S110), 핑거 그립(34)이 설정된 각도보다 작은 각도를 이루도록 조작될 때 탐색 모드와 작용 모드 간의 전환이 이루어지도록 할 수 있다(S120).
이처럼, 다양한 방식으로 작동 모드를 선정할 수 있으며, 선정된 모드는 사용자의 디스플레이(40)에 다양한 방식(색상, 문자 등)으로 표시되도록 할 수 있다(S150).
수술 로봇 시스템(1)이 탐색 모드로 선정되었을 때에는, 외력을 센싱할 수 있도록 인스트루먼트(10)의 작동을 제어한다(S200). 이를 위해 구동 모터에 인가되는 전류값을 (작용 모드일 때보다) 낮게 설정할 수 있음은 전술한 바와 같다.
외력을 센싱할 수 있도록 인스트루먼트(10)의 작동을 제어하는 방식을 구체적으로 살펴보면, 도 5c에 예시된 인스트루먼트 구조의 경우, 슬리브(104)를 중간 부분으로부터 이격된 위치로 이동시켜 중간 부분에는 플렉서블한 부재(102)만 남게 함으로써 샤프트(100)의 중간 부분이 외력에 의해 자유자재로 구부러지도록 할 수 있다.
샤프트(100)가 외력에 의해 구부러지게 되면, 전술한 것처럼 구동 모터에 소요되는 전류값이 변화하게 되는데, 이러한 전류 변화량을 측정함으로써(S210), 인스트루먼트(10)에 가해지는 외력을 센싱할 수 있다(S220).
한편, 센싱된 외력에 관한 정보를 사용하여 반력을 산정한 후, 이를 사용자가 조작하는 마스터 핸들(32)에 가함으로써, 사용자가 외력을 간접적으로 느끼면서 수술을 수행하는 포스 피드백 기능을 구현할 수 있다(S230).
즉, 환자 신체 부위의 작은 홀(트로카)을 통해 진입한 얇고 긴 샤프트(100) 구조의 인스트루먼트(10)와 엔드 이펙터(110)의 현재 키네메틱스(kinematics) 정보로부터 와이어(130)의 장력 변화에 의해 전달되는 구동휠(122)에 의한 구동 모터의 전류 변화량들을 취합, 유추하여 인스트루먼트(10)에 가해지는 카르테시안(Cartesian) 기준 외력 작용력을 계산하고, 자코비안(Jacobian) 방식의 컴퓨팅 연산을 통해, 집도의의 마스터 핸들(32)에 피드백 작용력을 가해줌으로써, 더 이상의 변위 입력을 제한하면서 동시에 집도의에게 반력을 느끼게 해주는 포스 피드백 기능을 구현할 수 있다.
또한, 센싱된 외력에 관한 정보를 사용하여 한계 그립력을 산정하고(S240), 산정된 한계 그립력보다 작은 힘으로 대상물을 잡도록 인스트루먼트의 죠(112)를 제어함으로써(S250), 대상물의 강도에 따라 그립력(grip force )를 적응적으로 제어할 수 있어 수술 과정에서 조직 등의 원치 않는 상해나 손상을 미연에 방지할 수 있다.
마스터 콘솔에의 입력이 집도의의 팔/손 동작에 의해 이루어지고 센서 피드백 정보는 3차원 비젼을 통해 제공되어 수술이 이루어지는 비쥬얼 피드백 구조의 로봇 수술 시스템에서, 사용자가 손가락을 끼워 조작하는 핑거 그립(34)의 조작 각도에 따라 인스트루먼트의 죠(112)의 각도가 비례적으로 변화하게 되는데, 전술한 그립 포스 제어 기능에 의해 죠(112)에 의해 쥐어지는 물체의 한계 강도(딱딱하고 무른 정도)가 조절될 수 있고, 스코프 화면을 통해 집도의가 시각적 피드백 정보(죠(112)가 다물어지는 각도)를 받아 현재 죠(112)에 의해 쥐어진 조직의 강도를 예측할 수 있으며, 본 실시예에 따른 제어부(20)에서는 필요에 따라 이러한 그립력을 증가시킬 수 있는 이른바 '그립 포스 제어 및 비쥬얼 힘 반향 피드백 기능'이 구현될 수 있다.
한편, 수술 로봇 시스템(1)이 작용 모드로 선정되었을 때에는, 수술에 필요한 동작을 수행하도록 인스트루먼트(10)의 작동을 제어한다(S300). 이를 위해 구동 모터에 인가되는 전류값을 (탐색 모드일 때보다) 높게 설정할 수 있음은 전술한 바와 같다.
이상으로 살펴본 바와 같이 본 실시예에 따른 수술 로봇 시스템 및 그 제어방법은, 탐색 모드시에는 인스트루먼트(10)의 조인트 강성도를 최소화하면서 외력 측정을 용이하게 함으로써 수술 인접 부위의 물리적 접촉에 의한 손상 가능성을 최소화하고, 작용 모드시에는 조인트의 제어력을 유지하면서 포스 피드백을 구현하고 인스트루먼트(10)의 그립 포스를 적응적으로 제어하는 것을 특징으로 한다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1 : 수술 로봇 시스템 10 : 인스트루먼트
20 : 제어부 30 : 마스터 입력부
32 : 마스터 핸들 34 : 핑거 그립
40 : 디스플레이 100 : 샤프트
102 : 플렉서블 부재 104 : 슬리브
110 : 엔드 이펙터 112 : 죠
120 : 구동부 122 : 구동휠
130 : 와이어
20 : 제어부 30 : 마스터 입력부
32 : 마스터 핸들 34 : 핑거 그립
40 : 디스플레이 100 : 샤프트
102 : 플렉서블 부재 104 : 슬리브
110 : 엔드 이펙터 112 : 죠
120 : 구동부 122 : 구동휠
130 : 와이어
Claims (30)
- 수술 부위에 삽입되어 수술에 필요한 동작을 수행하는 인스트루먼트(instrument)와, 상기 인스트루먼트의 작동을 제어하는 제어부를 포함하는 수술 로봇 시스템으로서,
상기 제어부는 탐색 모드(search mode) 또는 작용 모드(action mode)에서 작동되고,
상기 탐색 모드일 때 상기 제어부는, 상기 인스트루먼트에 가해지는 외력을 센싱할 수 있도록 상기 인스트루먼트의 작동을 제어하며,
상기 작용 모드일 때 상기 제어부는, 상기 인스트루먼트가 수술에 필요한 동작을 수행하도록 상기 인스트루먼트의 작동을 제어하고,
사용자에 의해 조작되는 한 쌍의 마스터 핸들(master handle)을 더 포함하되,
상기 마스터 핸들이 수술에 무관한 방식으로 조작될 때, 상기 탐색 모드와 상기 작용 모드 간의 전환이 이루어지며,
제1 마스터 핸들이 일 방향으로 회전 한계점까지 회전하고 제2 마스터 핸들이 타 방향으로 회전 한계점까지 회전한 상태에서, 미리 설정된 시간 내에, 상기 제1 마스터 핸들이 타 방향으로 회전 한계점까지 회전하고 상기 제2 마스터 핸들이 일 방향으로 회전 한계점까지 회전하도록 조작되는 경우, 상기 탐색 모드와 상기 작용 모드 간의 전환이 이루어지는 것을 특징으로 하는 수술 로봇 시스템.
- 제1항에 있어서,
상기 탐색 모드일 때 상기 제어부는, 상기 인스트루먼트가 그 위치를 유지한 상태에서 외력에 대한 반작용력이 낮아지도록, 상기 인스트루먼트에 인가되는 전류값을 상기 작용 모드일 때의 전류값보다 낮게 설정하는 것을 특징으로 하는 수술 로봇 시스템.
- 제1항에 있어서,
상기 작용 모드일 때 상기 제어부는, 상기 인스트루먼트의 각 조인트(joint) 부분의 제어력이 높아져 상기 인스트루먼트가 원하는 수술 작업을 수행할 수 있도록, 상기 인스트루먼트에 인가되는 전류값을 상기 탐색 모드일 때의 전류값보다 높게 설정하는 것을 특징으로 하는 수술 로봇 시스템.
- 삭제
- 삭제
- 제1항에 있어서,
상기 일 방향과 상기 타 방향은 서로 반대 방향이고, 상기 설정된 시간은 1초인 것을 특징으로 하는 수술 로봇 시스템.
- 제1항에 있어서,
사용자에 의해 조작되는 마스터 입력부를 포함하고,
상기 마스터 입력부는 사용자의 손가락을 끼워 조작하는 핑거 그립(finger grip)을 포함하며,
상기 핑거 그립이 미리 설정된 각도보다 작은 각도를 이루도록 조작될 때, 상기 탐색 모드와 상기 작용 모드 간의 전환이 이루어지는 것을 특징으로 하는 수술 로봇 시스템.
- 제1항 또는 제7항에 있어서,
수술 부위에 관한 영상을 사용자에게 표시하는 디스플레이를 더 포함하되,
상기 디스플레이에는 상기 탐색 모드 또는 상기 작용 모드 중 상기 제어부가 작동되고 있는 모드에 관한 정보가 표시되는 것을 특징으로 하는 수술 로봇 시스템.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 수술 부위에 삽입되어 수술에 필요한 동작을 수행하는 인스트루먼트(instrument)를 포함하는 수술 로봇 시스템의 제어방법으로서,
(a) 탐색 모드(search mode) 또는 작용 모드(action mode) 중 선정된 어느 하나의 모드에 관한 정보를 수신하는 단계;
(b) 탐색 모드일 때에는, 상기 인스트루먼트에 가해지는 외력을 센싱할 수 있도록 상기 인스트루먼트의 작동을 제어하는 단계; 및
(c) 작용 모드일 때에는, 상기 인스트루먼트가 수술에 필요한 동작을 수행하도록 상기 인스트루먼트의 작동을 제어하는 단계를 포함하되,
상기 수술 로봇 시스템은 사용자에 의해 조작되는 한 쌍의 마스터 핸들(master handle)을 더 포함하고,
상기 단계 (a)는,
(a1) 상기 마스터 핸들이 수술에 무관한 방식으로 조작될 때, 상기 탐색 모드와 상기 작용 모드가 교호적으로 선정되도록 하는 단계를 포함하며,
상기 수술에 무관한 방식은, 제1 마스터 핸들이 일 방향으로 회전 한계점까지 회전하고 제2 마스터 핸들이 타 방향으로 회전 한계점까지 회전한 상태에서, 미리 설정된 시간 내에, 상기 제1 마스터 핸들이 타 방향으로 회전 한계점까지 회전하고 상기 제2 마스터 핸들이 일 방향으로 회전 한계점까지 회전하는 것을 포함하는 것을 특징으로 하는 수술 로봇 시스템 제어방법.
- 제14항에 있어서,
상기 단계 (b)는, 상기 인스트루먼트가 그 위치를 유지한 상태에서 외력에 대한 반작용력이 낮아지도록, 상기 인스트루먼트에 인가되는 전류값을 상기 작용 모드일 때의 전류값보다 낮게 설정하는 단계를 포함하는 것을 특징으로 하는 수술 로봇 시스템 제어방법.
- 제14항에 있어서,
상기 단계 (c)는, 상기 인스트루먼트의 각 조인트(joint) 부분의 제어력이 높아져 상기 인스트루먼트가 원하는 수술 작업을 수행할 수 있도록, 상기 인스트루먼트에 인가되는 전류값을 상기 탐색 모드일 때의 전류값보다 높게 설정하는 단계를 포함하는 것을 특징으로 하는 수술 로봇 시스템 제어방법.
- 삭제
- 삭제
- 제14항에 있어서,
상기 수술 로봇 시스템은 사용자에 의해 조작되는 마스터 입력부를 더 포함하고,
상기 마스터 입력부는 사용자의 손가락을 끼워 조작하는 핑거 그립(finger grip)을 포함하며,
상기 단계 (a)는,
(a2) 상기 핑거 그립이 미리 설정된 각도보다 작은 각도를 이루도록 조작될 때, 상기 탐색 모드와 상기 작용 모드가 교호적으로 선정되도록 하는 단계를 포함하는 것을 특징으로 하는 수술 로봇 시스템 제어방법.
- 제14항 또는 제19항에 있어서,
상기 수술 로봇 시스템은 수술 부위에 관한 영상을 사용자에게 표시하는 디스플레이를 더 포함하고,
상기 단계 (a) 이후에,
(a3) 상기 탐색 모드 또는 상기 작용 모드 중 선정된 모드에 관한 정보를 상기 디스플레이에 표시하는 단계를 더 포함하는 수술 로봇 시스템 제어방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150080167A KR101642883B1 (ko) | 2015-06-05 | 2015-06-05 | 수술 로봇 시스템 및 그 제어방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150080167A KR101642883B1 (ko) | 2015-06-05 | 2015-06-05 | 수술 로봇 시스템 및 그 제어방법 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160089635A Division KR101645969B1 (ko) | 2016-07-15 | 2016-07-15 | 수술 로봇 시스템 및 그 제어방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101642883B1 true KR101642883B1 (ko) | 2016-07-27 |
Family
ID=56617210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150080167A KR101642883B1 (ko) | 2015-06-05 | 2015-06-05 | 수술 로봇 시스템 및 그 제어방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101642883B1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200075534A (ko) * | 2018-12-18 | 2020-06-26 | (주)미래컴퍼니 | 수술 로봇 장치와 수술 로봇 장치의 구동 방법 |
CN113194870A (zh) * | 2018-12-18 | 2021-07-30 | 韩商未来股份有限公司 | 使用者界面装置、手术机器人装置的主控制台及其操作方法 |
US12121313B2 (en) | 2018-12-18 | 2024-10-22 | Meere Company Inc. | Surgical robot apparatus, and method for driving surgical robot apparatus |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08224245A (ja) * | 1995-02-22 | 1996-09-03 | Olympus Optical Co Ltd | 医療用マニピュレータ |
KR20060092846A (ko) * | 2004-07-28 | 2006-08-23 | 에디컨 엔도-서저리 인코포레이티드 | 전기 작동되는 관절 기구를 포함하는 외과용 장치 |
KR100944410B1 (ko) | 2009-08-26 | 2010-02-25 | (주)미래컴퍼니 | 수술 로봇 시스템 및 그 작동력 측정 방법 |
US20120310257A1 (en) | 2010-02-09 | 2012-12-06 | The Trustees Of The University Of Pennsylvania | Systems and methods for providing vibration feedback in robotic systems |
KR20130080638A (ko) * | 2012-01-05 | 2013-07-15 | 삼성전자주식회사 | 서보 제어 장치 및 그 제어 방법 |
KR20130122303A (ko) | 2012-04-30 | 2013-11-07 | 삼성전자주식회사 | 수술 로봇의 힘 제어 장치 및 방법 |
JP2015016181A (ja) * | 2013-07-12 | 2015-01-29 | オリンパス株式会社 | 手術支援ロボット |
-
2015
- 2015-06-05 KR KR1020150080167A patent/KR101642883B1/ko active IP Right Grant
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08224245A (ja) * | 1995-02-22 | 1996-09-03 | Olympus Optical Co Ltd | 医療用マニピュレータ |
KR20060092846A (ko) * | 2004-07-28 | 2006-08-23 | 에디컨 엔도-서저리 인코포레이티드 | 전기 작동되는 관절 기구를 포함하는 외과용 장치 |
KR100944410B1 (ko) | 2009-08-26 | 2010-02-25 | (주)미래컴퍼니 | 수술 로봇 시스템 및 그 작동력 측정 방법 |
US20120310257A1 (en) | 2010-02-09 | 2012-12-06 | The Trustees Of The University Of Pennsylvania | Systems and methods for providing vibration feedback in robotic systems |
KR20130080638A (ko) * | 2012-01-05 | 2013-07-15 | 삼성전자주식회사 | 서보 제어 장치 및 그 제어 방법 |
KR20130122303A (ko) | 2012-04-30 | 2013-11-07 | 삼성전자주식회사 | 수술 로봇의 힘 제어 장치 및 방법 |
JP2015016181A (ja) * | 2013-07-12 | 2015-01-29 | オリンパス株式会社 | 手術支援ロボット |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200075534A (ko) * | 2018-12-18 | 2020-06-26 | (주)미래컴퍼니 | 수술 로봇 장치와 수술 로봇 장치의 구동 방법 |
WO2020130558A3 (ko) * | 2018-12-18 | 2020-08-06 | 주식회사 미래컴퍼니 | 수술 로봇 장치와 수술 로봇 장치의 구동 방법 |
KR102190298B1 (ko) * | 2018-12-18 | 2020-12-11 | (주)미래컴퍼니 | 수술 로봇 장치와 수술 로봇 장치의 구동 방법 |
CN113194870A (zh) * | 2018-12-18 | 2021-07-30 | 韩商未来股份有限公司 | 使用者界面装置、手术机器人装置的主控制台及其操作方法 |
CN113194870B (zh) * | 2018-12-18 | 2024-05-14 | 韩商未来股份有限公司 | 使用者界面装置、手术机器人装置的主控制台及其操作方法 |
US12121313B2 (en) | 2018-12-18 | 2024-10-22 | Meere Company Inc. | Surgical robot apparatus, and method for driving surgical robot apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102171873B1 (ko) | 햅틱 글로브 및 수술로봇 시스템 | |
KR102031232B1 (ko) | 로봇시스템 | |
CN108882968B (zh) | 计算机辅助远程操作手术系统和方法 | |
US11234781B2 (en) | Dynamic control of surgical instruments in a surgical robotic system | |
US9423869B2 (en) | Operation support device | |
US9713500B2 (en) | Surgical robot control apparatus | |
JP5841451B2 (ja) | 手術器具およびその制御方法 | |
KR101645969B1 (ko) | 수술 로봇 시스템 및 그 제어방법 | |
WO2016114090A1 (ja) | 操作入力装置および医療用マニピュレータシステム | |
EP3785660B1 (en) | Surgical robot system | |
US11504198B2 (en) | Surgical system and method for controlling the same | |
CN110191690A (zh) | 用于机器人外科手术系统的手柄组合件 | |
WO2015005072A1 (ja) | 手術支援ロボット | |
CN109843207B (zh) | 计算机辅助的远程操作外科手术系统和方法 | |
US20130103199A1 (en) | Surgical robot control apparatus | |
KR101830389B1 (ko) | 수술용 로봇의 마스터 그립퍼 구조 및 이를 구비한 수술용 로봇의 제어방법 | |
KR101642883B1 (ko) | 수술 로봇 시스템 및 그 제어방법 | |
Tavakoli et al. | Robotic suturing forces in the presence of haptic feedback and sensory substitution | |
US20230064250A1 (en) | Input handles for a surgeon console of a robotic surgical system | |
US20220378538A1 (en) | Surgical robot and controller of surgical robot | |
US20220378536A1 (en) | Surgical robot and controller of surgical robot | |
WO2018008106A1 (ja) | 医療器具保持装置、医療システム、医療器具保持装置の作動方法、および医療システムの作動方法 | |
US20230061446A1 (en) | Robotic surgical system, surgical robot, and robotic surgical method | |
Amato et al. | A versatile mechatronic tool for minimally invasive surgery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
A107 | Divisional application of patent | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190704 Year of fee payment: 4 |