KR100956762B1 - Surgical robot system using history information and control method thereof - Google Patents
Surgical robot system using history information and control method thereof Download PDFInfo
- Publication number
- KR100956762B1 KR100956762B1 KR1020090080202A KR20090080202A KR100956762B1 KR 100956762 B1 KR100956762 B1 KR 100956762B1 KR 1020090080202 A KR1020090080202 A KR 1020090080202A KR 20090080202 A KR20090080202 A KR 20090080202A KR 100956762 B1 KR100956762 B1 KR 100956762B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- robot
- surgical
- unit
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
- A61B2034/742—Joysticks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45171—Surgery drill
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Robotics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
Description
본 발명은 수술에 관한 것으로서, 더욱 상세하게는 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법에 관한 것이다.The present invention relates to surgery, and more particularly, to a surgical robot system using the history information and a control method thereof.
수술 로봇은 외과의사에 의해 시행되던 수술 행위를 대신할 수 있는 기능을 가지는 로봇을 말한다. 이러한 수술 로봇은 사람에 비하여 정확하고 정밀한 동작을 할 수 있으며 원격 수술이 가능하다는 장점을 가진다.Surgical robot refers to a robot having a function that can replace a surgical operation performed by a surgeon. Such a surgical robot has the advantage of being capable of accurate and precise operation and remote surgery compared to humans.
현재 전세계적으로 개발되고 있는 수술 로봇은 뼈 수술 로봇, 복강경(復腔鏡) 수술 로봇, 정위 수술 로봇 등이 있다. 여기서 복강경 수술 로봇은 복강경과 소형 수술도구를 이용하여 최소 침습적 수술을 시행하는 로봇이다.Surgical robots currently being developed worldwide include bone surgery robots, laparoscopic surgery robots, and stereotactic surgery robots. The laparoscopic surgical robot is a robot that performs minimally invasive surgery using a laparoscope and a small surgical tool.
복강경 수술은 배꼽 부위에 1cm 정도의 구멍을 뚫고 배 안을 들여다보기 위한 내시경인 복강경을 집어넣은 후 수술하는 첨단 수술기법으로서 향후 많은 발전이 기대되는 분야이다.Laparoscopic surgery is an advanced surgical technique that involves surgery after inserting a laparoscope, which is an endoscope for looking into the belly with a hole about 1 cm in the navel area, and is expected to be developed in the future.
최근의 복강경은 컴퓨터칩이 장착되어 육안으로 보는 것보다도 더 선명하면서도 확대된 영상을 얻을 수 있으며, 또 모니터를 통해 화면을 보면서 특별히 고안된 복강경용 수술 기구들을 사용하면 어떠한 수술도 가능할 정도로 발전되었다.Recent laparoscopic is equipped with a computer chip to obtain a clearer and enlarged image than the naked eye, and has been developed so that any operation can be performed using specially designed laparoscopic surgical instruments while viewing the screen through the monitor.
더욱이 복강경 수술은 그 수술 범위가 개복 수술과 거의 같으면서도, 개복수술에 비해 합병증이 적고, 시술 후 훨씬 빠른 시간 안에 치료를 시작할 수 있으며, 수술 환자의 체력이나 면역기능을 유지시키는 능력이 우수한 이점이 있다. 이로 인해 미국과 유럽 등지에서는 대장암 치료 등에 있어서는 복강경 수술이 점차 표준 수술로 인식되어 가는 추세이다.Moreover, laparoscopic surgery has the same range of surgery as laparotomy, but has fewer complications than laparotomy, and can start treatment much faster after the procedure, and it has the advantage of maintaining the stamina or immune function of the patient. have. As a result, laparoscopic surgery is increasingly recognized as a standard surgery for treating colorectal cancer in the US and Europe.
수술 로봇 시스템은 일반적으로 마스터 로봇과 슬레이브 로봇으로 구성된다. 수술자가 마스터 로봇에 구비된 조종기(예를 들어 핸들)를 조작하면, 슬레이브 로봇의 로봇 암에 결합되거나 로봇 암이 파지하고 있는 수술도구가 조작되어 수술이 수행된다.The surgical robot system generally consists of a master robot and a slave robot. When the operator manipulates a manipulator (for example, a handle) provided in the master robot, a surgical tool coupled to the robot arm of the slave robot or held by the robot arm is operated to perform surgery.
그러나 종래의 수술 로봇 시스템은 수술자가 수술 환자에 대한 수술 시간 내내 고도한 수준의 집중력을 유지한 상태로 마스터 로봇에 구비된 조종기를 조작하여야 하는 한계가 있었다. 이는, 수술자에게 심각한 피로감을 유발하게 되며, 집중력의 약화에 따른 불완전한 수술은 수술 환자에게 심각한 후유증을 야기할 수 있는 문제점도 있었다.However, the conventional surgical robot system has a limitation that the operator must operate the manipulator provided in the master robot while maintaining a high level of concentration throughout the operation time for the surgical patient. This causes severe fatigue to the operator, and incomplete surgery due to weakened concentration has also a problem that can cause serious sequelae to the surgical patient.
본 발명은 증강현실(augmented reality)을 이용하여 실제 수술도구와 가상 수술도구를 함께 표시함으로써 수술자의 원활한 수술을 가능하도록 하는 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법을 제공하기 위한 것이다.The present invention is to provide a surgical robot system using a history information to enable a smooth operation of the operator by displaying a real surgical tool and a virtual surgical tool using augmented reality (Augmented reality) and to provide a control method thereof.
또한, 본 발명은 3차원 모델링된 가상 장기 등을 활용하여 실제 수술 과정의 경과 및 결과를 미리 예측할 수 있도록 하는 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법을 제공하기 위한 것이다. In addition, the present invention is to provide a surgical robot system using a history information that can predict the progress and results of the actual surgical process in advance by using a three-dimensional modeled virtual organs and the like and a control method thereof.
또한, 본 발명은 가상 장기 등을 활용하여 수행된 가상 수술의 이력정보를 이용하여 전체적인 또는 부분적인 자동수술이 진행될 수 있어 수술자의 피로감을 감소시키고, 정상적인 수술 진행이 가능한 집중력을 수술 시간동안 유지할 수 있도록 하는 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법을 제공하기 위한 것이다. In addition, the present invention can be carried out by using the history information of the virtual surgery performed by using the virtual organs, the whole or partial automatic surgery can be carried out to reduce the fatigue of the operator, maintain the concentration that can proceed normal surgery during the operation time It is to provide a surgical robot system and a control method using the history information.
또한, 본 발명은 자동수술의 진행 과정 내에 가상 수술에서의 진행 경과와 상이하거나 응급 상황이 발생된 경우에는 수술자에 의한 수동 수술로서 신속한 대처가 가능하도록 하는 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법을 제공하기 위한 것이다. In addition, the present invention is a surgical robot system using the history information to enable rapid response as a manual operation by the operator when the progress or progress in the virtual surgery or an emergency occurs within the progress of automatic surgery and its control method It is to provide.
또한, 본 발명은 수술시 환자에 대한 다양한 정보를 출력할 수 있는 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법을 제공하기 위한 것이다.In addition, the present invention is to provide a surgical robot system using augmented reality that can output a variety of information on the patient during surgery and its control method.
또한, 본 발명은 마스터 로봇과 슬레이브 로봇간의 네트워크 통신 속도에 따라 수술자의 원활한 수술 진행이 가능하도록 수술 화면 표시 방법을 다양화할 수 있는 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법을 제공하기 위한 것이다.In addition, the present invention is to provide a surgical robot system using augmented reality and its control method that can be varied in the surgical screen display method to enable the operation of the operator smoothly according to the network communication speed between the master robot and the slave robot.
또한, 본 발명은 내시경 등을 통해 입력되는 화상을 자동화 처리하여 응급 상황을 즉시 수술자에게 통지할 수 있는 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법을 제공하기 위한 것이다. In addition, the present invention is to provide a surgical robot system using augmented reality and the control method that can be notified to the operator immediately by emergency processing the image input through the endoscope and the like.
또한, 본 발명은 수술 부위에 대한 환자의 관련 이미지 데이터(예를 들어, CT 이미지, MRI 이미지 등)가 실시간 제시될 수 있어 다양한 정보를 활용한 수술 진행이 가능하도록 하는 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법을 제공하기 위한 것이다. In addition, the present invention is a surgical robot system using augmented reality to enable the operation progress using a variety of information can be presented in real time the relevant image data (for example, CT image, MRI image, etc.) of the patient to the surgical site And a control method thereof.
본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.Technical problems other than the present invention will be easily understood through the following description.
본 발명의 일 측면에 따르면, 조작신호를 이용하여 로봇 암을 포함하는 슬레이브(slave) 로봇을 제어하는 마스터(master) 로봇으로서, 저장 수단과, 3차원 모델링 이미지를 이용한 가상 수술을 위한 순차적인 사용자 조작 이력을 저장 수단에 수술동작 이력정보로 저장하는 증강현실 구현부와, 적용 명령이 입력되면 수술동작 이력정보를 이용하여 생성한 조작신호를 슬레이브 로봇으로 전송하는 조작신호 생성부를 포함하는 마스터 로봇이 제공된다.According to an aspect of the present invention, a master robot for controlling a slave robot including a robot arm by using a manipulation signal, the sequential user for a virtual surgery using a storage means and a three-dimensional modeling image The augmented reality realization unit for storing the operation history as the operation operation history information in the storage means, and a master robot including an operation signal generation unit for transmitting the operation signal generated using the operation operation history information to the slave robot when the application command is input; Is provided.
저장 수단은 3차원 모델링 이미지에 상응하는 장기에 대한 특성 정보를 더 저장하되, 특성 정보는 장기에 대한 3차원 이미지, 내부 형상, 외부 형상, 크기, 질감, 절개시의 촉감 중 하나 이상을 포함할 수 있다.The storage means further stores the characteristic information about the organ corresponding to the three-dimensional modeling image, wherein the characteristic information may include one or more of the three-dimensional image, the internal shape, the external shape, the size, the texture, and the tactile feel of the organ. Can be.
참조 영상을 이용하여 인식된 특징 정보에 정합되도록 3차원 모델링 이미지를 보정하는 모델링 적용부가 더 포함될 수 있다.The apparatus may further include a modeling application unit configured to correct the 3D modeling image to match the recognized feature information using the reference image.
저장 수단은 엑스-레이(X-Ray) 영상, 컴퓨터단층촬영(CT) 영상 및 자기공명영상촬영(MRI) 영상 중 하나 이상인 참조 영상을 더 저장하되, 수술동작 이력정보는 모델링 적용부의 보정 결과를 이용하여 갱신될 수 있다.The storage means further stores a reference image which is one or more of an X-ray image, a computed tomography (CT) image, and a magnetic resonance imaging (MRI) image. Can be updated.
참조 영상은 MPR(Multi Planner Reformat)을 이용한 3차원 영상으로 처리될 수 있다.The reference image may be processed as a 3D image using MPR (Multi Planner Reformat).
증강현실 구현부는 사용자 조작 이력에서 미리 지정된 특이 사항이 존재하는지 여부를 판단하여, 존재하는 경우 미리 지정된 규칙에 따라 특이 사항을 처리되도록 수술동작 이력정보를 갱신할 수 있다.The augmented reality implementation unit may determine whether there is a predetermined specificity in the user manipulation history, and if so, update the surgical operation history information to process the specificity according to a predetermined rule.
수술동작 이력정보가 자동 수술의 진행 중 사용자 조작을 요구하도록 구성된 경우, 요구된 사용자 조작이 입력될 때까지 조작신호의 생성은 중지될 수 있다.When the surgical operation history information is configured to require a user operation during the progress of the automatic surgery, generation of the operation signal may be stopped until the required user operation is input.
수술동작 이력정보는 전체 수술 과정, 부분 수술 과정 및 단위 동작 중 하나 이상에 대한 사용자 조작 이력일 수 있다.The operation operation history information may be a user operation history for at least one of the entire operation process, the partial operation process, and the unit operation.
화면 표시부가 더 포함될 수 있으며, 슬레이브 로봇의 생체 정보 측정 유닛에 의해 측정되어 제공되는 생체 정보가 화면 표시부를 통해 디스플레이될 수 있다.The screen display may be further included, and the biometric information measured and provided by the biometric information measuring unit of the slave robot may be displayed through the screen display.
본 발명의 다른 측면에 따르면, 마스터 로봇과 슬레이브 로봇을 포함하는 수술 로봇 시스템에서, 슬레이브 로봇의 동작을 제어하고 모니터링하는 마스터 로봇으로서, 3차원 모델링 이미지를 이용한 가상 수술을 위한 순차적인 사용자 조작 이력을 저장 수단에 수술동작 이력정보로 저장하고, 저장 수단에 가상 수술의 경과 정보를 더 저장하는 증강현실 구현부와, 적용 명령이 입력되면, 수술동작 이력정보를 이용하여 생성한 조작신호를 슬레이브 로봇으로 전송하는 조작신호 생성부와, 슬레이브 로봇의 수술용 내시경으로부터 제공되는 영상 신호를 해석한 해석 정보와 경과 정보가 미리 지정된 오차 범위 내에서 일치하는지 여부를 판단하는 영상 해석 부를 포함하는 마스터 로봇이 제공된다.According to another aspect of the present invention, in the surgical robot system comprising a master robot and a slave robot, as a master robot for controlling and monitoring the operation of the slave robot, the sequential user operation history for the virtual surgery using the three-dimensional modeling image The augmented reality implementation unit for storing the surgical operation history information in the storage means, and further stores the progress information of the virtual surgery in the storage means, and when the application command is input, the operation signal generated using the operation operation history information to the slave robot There is provided a master robot including a transmitting operation signal generating unit and an image analyzing unit for determining whether the analysis information and the progress information of an image signal provided from a surgical endoscope of a slave robot match within a predetermined error range. .
경과 정보 및 해석 정보는 절개면의 길이, 면적, 형상, 출혈량 중 하나 이상일 수 있다.Progress information and analysis information may be one or more of the length, area, shape, amount of bleeding of the incision surface.
미리 지정된 오차 범위 내에서 일치하지 않는 경우 전송 신호의 전송은 중지될 수 있다.If there is a mismatch within a predetermined error range, transmission of the transmission signal may be stopped.
미리 지정된 오차 범위 내에서 일치하지 않는 경우 영상 해석부는 경고 요청을 출력하되, 경고 요청에 따라 화면 표시부를 통한 경고 메시지 디스플레이 및 스피커부를 통한 경고 음향 출력 중 하나 이상이 수행될 수 있다.If the difference does not match within a predetermined error range, the image analyzer outputs a warning request, and at least one of a warning message display through a screen display unit and a warning sound output through a speaker unit may be performed according to the warning request.
수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.The surgical endoscope may be one or more of laparoscopic, thoracoscopic, arthroscopic, parenteral, bladder, rectal, duodenum, mediastinal, cardiac.
화면 표시부가 더 포함될 수 있으며, 슬레이브 로봇의 생체 정보 측정 유닛에 의해 측정되어 제공되는 생체 정보는 화면 표시부를 통해 디스플레이될 수 있다.The screen display may be further included, and the biometric information measured and provided by the biometric information measuring unit of the slave robot may be displayed through the screen display.
저장 수단은 3차원 모델링 이미지에 상응하는 장기에 대한 특성 정보를 더 저장할 수 있다. 여기서, 특성 정보는 장기에 대한 3차원 이미지, 내부 형상, 외부 형상, 크기, 질감, 절개시의 촉감 중 하나 이상을 포함할 수 있다.The storage means may further store characteristic information about the organ corresponding to the 3D modeling image. Here, the characteristic information may include one or more of a three-dimensional image, an internal shape, an external shape, a size, a texture, and a touch at the time of cutting the organ.
참조 영상을 이용하여 인식된 특징 정보에 정합되도록 3차원 모델링 이미지를 보정하는 모델링 적용부가 더 포함될 수도 있다.The modeling application unit for correcting the 3D modeling image to match the recognized feature information using the reference image may be further included.
저장 수단은 엑스-레이(X-Ray) 영상, 컴퓨터단층촬영(CT) 영상 및 자기공명영상촬영(MRI) 영상 중 하나 이상인 참조 영상을 더 저장할 수 있고, 수술동작 이 력정보는 모델링 적용부의 보정 결과를 이용하여 갱신될 수 있다.The storage means may further store a reference image, which is one or more of an X-ray image, a computed tomography (CT) image, and a magnetic resonance imaging (MRI) image. It can be updated using the results.
참조 영상은 MPR(Multi Planner Reformat)을 이용한 3차원 영상으로 처리될 수 있다.The reference image may be processed as a 3D image using MPR (Multi Planner Reformat).
영상 해석부는 내시경 영상 내에 미리 설정된 색상값 범위에 포함되는 색상값을 가지는 픽셀의 면적 또는 수량이 임계값을 초과하는 경우 경고 요청을 출력할 수 있다. 경고 요청에 따라 화면 표시부를 통한 경고 메시지 디스플레이 및 스피커부를 통한 경고 음향 출력 중 하나 이상이 수행될 수 있다.The image analyzer may output a warning request when an area or a quantity of pixels having a color value included in a preset color value range in the endoscope image exceeds a threshold. According to the warning request, one or more of a warning message display through the screen display unit and a warning sound output through the speaker unit may be performed.
영상 해석부는 해석 정보의 생성을 위해 화면 표시부를 통해 디스플레이되는 내시경 영상에 대한 이미지 처리를 통해 수술부위 또는 내시경 영상을 통해 디스플레이되는 장기(臟器)의 영역 좌표정보를 추출할 수 있다.The image analyzer may extract region coordinate information of the organ displayed through the surgical site or the endoscope image through image processing of the endoscope image displayed through the screen display unit for generating analysis information.
본 발명의 또 다른 측면에 따르면, 마스터 로봇이 조작신호를 이용하여 로봇 암을 포함하는 슬레이브 로봇을 제어하는 방법으로서, 3차원 모델링 이미지를 이용한 가상 수술을 위한 순차적인 사용자 조작에 대한 수술동작 이력정보를 생성하는 단계와, 적용 명령이 입력되는지 여부를 판단하는 단계와, 입력된 경우, 수술동작 이력정보를 이용하여 조작신호를 생성하여 슬레이브 로봇으로 전송하는 단계를 포함하는 슬레이브 로봇 제어 방법이 제공된다.According to another aspect of the present invention, a method for controlling a slave robot including a robot arm by a master robot using a manipulation signal, the operation history history information for the sequential user operation for a virtual surgery using a three-dimensional modeling image A method of controlling a slave robot is provided, the method comprising: generating a control signal, determining whether an application command is input, and when inputted, generating an operation signal using the surgical operation history information and transmitting the operation signal to the slave robot. .
참조 영상을 이용하여 미리 저장된 3차원 모델링 이미지에 상응하는 장기에 대한 특성 정보가 정합되도록 갱신하는 단계와, 갱신 결과에 부합되도록 수술동작 이력정보를 보정하는 단계가 더 포함될 수 있다.The method may further include updating characteristic information of an organ corresponding to a three-dimensional modeled image stored in advance using a reference image, and correcting surgical operation history information to correspond to the update result.
특성 정보는 장기에 대한 3차원 이미지, 내부 형상, 외부 형상, 크기, 질감, 절개시의 촉감 중 하나 이상이 포함될 수 있다.The characteristic information may include one or more of a three-dimensional image, an internal shape, an external shape, a size, a texture, and a touch at the time of cutting.
참조 영상은 엑스-레이(X-Ray) 영상, 컴퓨터단층촬영(CT) 영상 및 자기공명영상촬영(MRI) 영상 중 하나 이상이 포함될 수 있다.The reference image may include at least one of an X-ray image, a computed tomography (CT) image, and a magnetic resonance imaging (MRI) image.
참조 영상은 MPR(Multi Planner Reformat)을 이용한 3차원 영상으로 처리될 수 있다.The reference image may be processed as a 3D image using MPR (Multi Planner Reformat).
순차적인 사용자 조작에서 미리 지정된 특이 사항이 존재하는지 여부를 판단하는 단계와, 존재하는 경우 미리 지정된 규칙에 따라 특이 사항을 처리되도록 수술동작 이력정보를 갱신하는 단계가 더 포함될 수도 있다.The method may further include determining whether there is a predetermined special feature in the sequential user operation, and updating the surgical operation history information so that the unique feature is processed according to a predetermined rule, if present.
조작신호를 생성하여 슬레이브 로봇으로 전송하는 단계에서, 수술동작 이력정보가 자동 수술의 진행 중 사용자 조작을 요구하도록 구성된 경우, 요구된 사용자 조작이 입력될 때까지 조작신호의 생성은 중지될 수 있다.In the step of generating the operation signal and transmitting the operation signal to the slave robot, when the operation operation history information is configured to request the user operation during the progress of the automatic surgery, generation of the operation signal may be stopped until the required user operation is input.
수술동작 이력정보는 전체 수술 과정, 부분 수술 과정 및 단위 동작 중 하나 이상에 대한 사용자 조작 이력일 수 있다.The operation operation history information may be a user operation history for at least one of the entire operation process, the partial operation process, and the unit operation.
상술한 판단하는 단계 이전에, 가상 시뮬레이션 명령이 입력되면 생성된 수술동작 이력정보를 이용한 가상 시뮬레이션을 수행하는 단계와, 수술동작 이력정보에 대한 수정 정보가 입력되는지 여부를 판단하는 단계와, 수정 정보가 입력되면, 입력된 수정 정보를 이용하여 수술동작 이력 정보를 갱신하는 단계가 수행될 수 있다.Before the above-described determination step, if a virtual simulation command is input, performing a virtual simulation using the generated surgical operation history information, determining whether correction information for the surgical operation history information is input, and correcting information. If is inputted, updating the surgical operation history information by using the input correction information may be performed.
본 발명의 또 다른 측면에 따르면, 마스터 로봇과 슬레이브 로봇을 포함하는 수술 로봇 시스템에서, 마스터 로봇이 슬레이브 로봇의 동작을 모니터링하는 방법으로서, 3차원 모델링 이미지를 이용한 가상 수술을 위한 순차적인 사용자 조작에 대한 수술동작 이력정보를 생성하고, 가상 수술에서의 경과 정보를 생성하는 단계와, 적용 명령이 입력되면, 수술동작 이력정보를 이용하여 조작신호를 생성하여 슬레이브 로봇으로 전송하는 단계와, 슬레이브 로봇의 수술용 내시경으로부터 제공되는 영상 신호를 해석하여 해석 정보를 생성하는 단계와, 해석 정보와 경과 정보가 미리 지정된 오차 범위 내에서 일치하는지 여부를 판단하는 단계를 포함하는 슬레이브 로봇의 동작 모니터링 방법이 제공된다.According to another aspect of the present invention, in a surgical robot system including a master robot and a slave robot, a method for monitoring the operation of the slave robot by the master robot, a sequential user operation for a virtual surgery using a three-dimensional modeling image Generating surgical operation history information for the operation, generating progress information in the virtual surgery, and when an application command is input, generating an operation signal using the operation operation history information and transmitting the operation signal to the slave robot; A method for monitoring motion of a slave robot is provided, which includes analyzing an image signal provided from a surgical endoscope and generating analysis information, and determining whether the analysis information and the progress information coincide within a predetermined error range. .
경과 정보 및 해석 정보는 절개면의 길이, 면적, 형상, 출혈량 중 하나 이상일 수 있다.Progress information and analysis information may be one or more of the length, area, shape, amount of bleeding of the incision surface.
미리 지정된 오차 범위 내에서 일치하지 않는 경우 전송 신호의 전송은 중지될 수 있다.If there is a mismatch within a predetermined error range, transmission of the transmission signal may be stopped.
미리 지정된 오차 범위 내에서 일치하지 않는 경우 경고 요청이 출력되는 단계가 더 포함될 수도 있다. 여기서, 경고 요청에 따라 화면 표시부를 통한 경고 메시지 디스플레이 및 스피커부를 통한 경고 음향 출력 중 하나 이상이 수행될 수 있다.If it does not match within a predetermined error range may further include the step of outputting a warning request. Here, at least one of a warning message display through the screen display unit and a warning sound output through the speaker unit may be performed according to the warning request.
수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.The surgical endoscope may be one or more of laparoscopic, thoracoscopic, arthroscopic, parenteral, bladder, rectal, duodenum, mediastinal, cardiac.
3차원 모델링 이미지에 상응하는 장기에 대한 특성 정보는 미리 저장될 수 있고, 특성 정보는 장기에 대한 3차원 이미지, 내부 형상, 외부 형상, 크기, 질감, 절개시의 촉감 중 하나 이상을 포함할 수 있다.The characteristic information about the organ corresponding to the three-dimensional modeling image may be stored in advance, and the characteristic information may include one or more of the three-dimensional image, the internal shape, the external shape, the size, the texture, and the tactile feel of the organ. have.
참조 영상을 이용하여 인식된 특징 정보에 정합되도록 3차원 모델링 이미지가 보정될 수 있다.The 3D modeling image may be corrected to match the recognized feature information using the reference image.
참조 영상은 엑스-레이(X-Ray) 영상, 컴퓨터단층촬영(CT) 영상 및 자기공명영상촬영(MRI) 영상 중 하나 이상을 포함할 수 있고, 수술동작 이력정보는 3차원 모델링 이미지의 보정 결과를 이용하여 갱신될 수 있다.The reference image may include at least one of an X-ray image, a computed tomography (CT) image, and a magnetic resonance imaging (MRI) image, and the operation history information may be a correction result of the 3D modeling image. Can be updated using.
참조 영상은 MPR(Multi Planner Reformat)을 이용한 3차원 영상으로 처리될 수 있다.The reference image may be processed as a 3D image using MPR (Multi Planner Reformat).
내시경 영상 내에 미리 설정된 색상값 범위에 포함되는 색상값을 가지는 픽셀의 면적 또는 수량이 임계값을 초과하는지 여부를 판단하는 단계와, 초과하는 경우 경고 요청이 출력되는 단계가 더 포함될 수 있다. 여기서, 경고 요청에 따라 화면 표시부를 통한 경고 메시지 디스플레이 및 스피커부를 통한 경고 음향 출력 중 하나 이상이 수행될 수 있다.The method may further include determining whether an area or a quantity of pixels having a color value included in a preset color value range in the endoscope image exceeds a threshold value, and outputting a warning request if exceeded. Here, at least one of a warning message display through the screen display unit and a warning sound output through the speaker unit may be performed according to the warning request.
해석 정보의 생성을 위해 화면 표시부를 통해 디스플레이되는 내시경 영상에 대한 이미지 처리를 통해 수술부위 또는 내시경 영상을 통해 디스플레이되는 장기(臟器)의 영역 좌표정보가 추출될 수 있다.Area coordinate information of an organ displayed through a surgical site or an endoscope image may be extracted through image processing of an endoscope image displayed through a screen display unit for generating analysis information.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.
본 발명의 실시예에 따르면, 증강현실(augmented reality)을 이용하여 실제 수술도구와 가상 수술도구를 함께 표시함으로써 수술자의 원활한 수술이 가능한 효과가 있다.According to an embodiment of the present invention, by using the augmented reality (augmented reality) by displaying the actual surgical tool and the virtual surgical tool there is an effect capable of smooth operation of the operator.
또한, 3차원 모델링된 가상 장기 등을 활용하여 실제 수술 과정의 경과 및 결과를 미리 예측할 수 있도록 하는 효과도 있다.In addition, there is an effect that can be used to predict the progress and results of the actual surgical process in advance by using a three-dimensional modeled virtual organs.
또한, 가상 장기 등을 활용하여 수행된 가상 수술의 이력정보를 이용하여 전체적인 또는 부분적인 자동수술이 진행될 수 있어 수술자의 피로감을 감소시키고, 정상적인 수술 진행이 가능한 집중력을 수술 시간동안 유지할 수 있도록 하는 효과도 있다.In addition, the entire or partial automatic surgery can be performed using the history information of the virtual surgery performed using the virtual organs, which reduces the operator's fatigue and maintains the concentration that can be performed normally during the operation time. There is also.
또한, 자동수술의 진행 과정 내에 가상 수술에서의 진행 경과와 상이하거나 응급 상황이 발생된 경우에는 수술자에 의한 수동 수술로서 신속한 대처가 가능하도록 하는 효과도 있다.In addition, in the process of automatic surgery, if the progress or progress in the virtual surgery or an emergency situation occurs, there is an effect to enable rapid response as a manual surgery by the operator.
또한, 마스터 로봇과 슬레이브 로봇간의 네트워크 통신 속도에 따라 수술자의 원활한 수술 진행이 가능하도록 수술 화면 표시 방법을 다양화할 수 있는 효과도 있다.In addition, according to the network communication speed between the master robot and the slave robot there is an effect that can vary the display method of the surgery screen to enable the operator to proceed smoothly.
또한, 내시경 등을 통해 입력되는 화상을 자동화 처리하여 응급 상황을 즉시 수술자에게 통지할 수 있는 효과도 있다.In addition, there is an effect that the operator can be notified immediately of the emergency by automatically processing the image input through the endoscope.
또한, 수술 부위에 대한 환자의 관련 이미지 데이터(예를 들어, CT 이미지, MRI 이미지 등)가 실시간 제시될 수 있어 다양한 정보를 활용한 수술 진행이 가능하도록 하는 효과도 있다.In addition, the relevant image data (for example, CT image, MRI image, etc.) of the patient for the surgical site can be presented in real time has the effect of enabling the operation progress using a variety of information.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. In the following description of the present invention, if it is determined that the detailed description of the related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and in the following description with reference to the accompanying drawings, the same or corresponding components are given the same reference numerals and redundant description thereof will be omitted. Shall be.
또한, 본 발명의 다양한 실시예들을 설명함에 있어, 각 실시예가 독립적으로 해석되거나 실시되어야 하는 것은 아니며, 각 실시예에서 설명되는 특징 요소 및/또는 기술적 사상들이 개별적으로 설명되는 다른 실시예에 조합되어 해석되거나 실시될 수 있는 것으로 이해되어야 한다.In addition, in describing various embodiments of the present invention, each embodiment should not be interpreted or implemented independently, and the feature elements and / or technical ideas described in each embodiment may be combined with other embodiments separately described. It is to be understood that it may be interpreted or practiced.
또한, 본 발명은 수술용 내시경(예를 들어, 복강경, 흉강경, 관절경, 비경 등)이 이용되는 수술들에 범용적으로 사용될 수 있는 기술적 사상이지만, 본 발명의 실시예를 설명함에 있어 설명의 편의를 위해 복강경이 이용되는 경우를 예로 들어 설명하기로 한다.In addition, the present invention is a technical concept that can be used universally in the surgery that is used for surgical endoscopes (for example, laparoscopic, thoracoscopic, arthroscopy, parenteral, etc.), in the description of the embodiments of the present invention For convenience, a case where laparoscope is used will be described as an example.
도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도이고, 도 2는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도이다. 1 is a plan view showing the overall structure of a surgical robot according to an embodiment of the present invention, Figure 2 is a conceptual diagram showing a master interface of a surgical robot according to an embodiment of the present invention.
도 1 및 도 2를 참조하면, 복강경 수술용 로봇 시스템은 수술대에 누워있는 환자에게 수술을 행하는 슬레이브 로봇(2)과 슬레이브 로봇(2)을 수술자가 원격 조종하는 마스터 로봇(1)을 포함한다. 마스터 로봇(1)과 슬레이브 로봇(2)이 반드시 물리적으로 독립된 별도의 장치로 분리되어야 하는 것은 아니며, 하나로 통합되어 일체형으로 구성될 수 있으며, 이 경우 마스터 인터페이스(4)는 예를 들어 일체형 로봇의 인터페이스 부분에 상응할 수 있다.1 and 2, the laparoscopic surgical robot system includes a
마스터 로봇(1)의 마스터 인터페이스(4)는 모니터부(6) 및 마스터 조종기를 포함하고, 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함한다. 마스터 인터페이스(4)는 모드전환 제어버튼을 더 포함할 수 있다. 모드전환 제어버튼은 클러치 버튼(14) 또는 페달(도시되지 않음) 등의 형태로 구현될 수 있으며, 모드전환 제어버튼의 구현 형태는 이에 제한되지 않으며 예를 들어 모니터부(6)를 통해 표시되는 기능메뉴 또는 모드선택 메뉴 등으로 구현될 수도 있다. 또한, 페달 등의 용도는 예를 들어 수술 과정에서 필요한 임의의 동작을 수행하도록 설정될 수도 있다.The
마스터 인터페이스(4)는 수술자가 양손에 각각 파지되어 조작할 수 있도록 마스터 조종기를 구비한다. 마스터 조종기는 도 1 및 2에 예시된 바와 같이 두 개의 핸들(10) 또는 그 이상의 수량의 핸들(10)로 구현될 수 있으며, 수술자의 핸들(10) 조작에 따른 조작신호가 슬레이브 로봇(2)으로 전송되어 로봇 암(3)이 제어된다. 수술자의 핸들(10) 조작에 의해 로봇 암(3)의 위치 이동, 회전, 절단 작업 등의 수술 동작이 수행될 수 있다.The
예를 들어, 핸들(10)은 메인 핸들(main handle)과 서브 핸들(sub handle)을 포함하여 구성될 수 있다. 수술자는 메인 핸들만으로 슬레이브 로봇 암(3)이나 복강경(5) 등을 조작하거나, 서브 핸들을 조작하여 동시에 복수의 수술 장비가 실시간 조작되도록 할 수도 있다. 메인 핸들 및 서브 핸들은 그 조작방식에 따라 다양한 기구적 구성을 가질 수 있으며, 예를 들면, 조이스틱 형태, 키패드, 트랙볼, 터 치스크린 등 슬레이브 로봇(2)의 로봇 암(3) 및/또는 기타 수술 장비를 작동시키기 위한 다양한 입력수단이 사용될 수 있다.For example, the
마스터 조종기는 핸들(10)의 형상으로 제한되지 않으며, 네트워크를 통해 로봇 암(3)의 동작을 제어할 수 있는 형태이면 아무런 제한없이 적용될 수 있다.The master controller is not limited to the shape of the
마스터 인터페이스(4)의 모니터부(6)에는 복강경(5)에 의해 입력되는 영상이 화상 이미지로 표시된다. 또한, 모니터부(6)에는 수술자의 핸들(10) 조작에 의해 제어되는 가상 수술도구가 함께 표시되거나 독립된 화면에 표시될 수도 있을 것이다. 또한, 모니터부(6)에 표시되는 정보는 선택된 구동모드에 의해 다양할 수 있을 것이다. 가상 수술도구의 표시 여부, 제어 방법, 구동모드별 표시 정보 등에 관해서는 이후 관련 도면을 참조하여 상세히 설명한다.The
모니터부(6)는 하나 이상의 모니터들로 구성될 수 있으며, 각 모니터에 수술시 필요한 정보들이 개별적으로 표시되도록 할 수 있다. 도 1 및 2에는 모니터부(6)가 세 개의 모니터를 포함하는 경우가 예시되었으나, 모니터의 수량은 표시를 요하는 정보의 유형이나 종류 등에 따라 다양하게 결정될 수 있다.The
모니터부(6)는 환자에 대한 하나 이상의 생체 정보를 더 출력할 수도 있다. 이 경우, 모니터부(6)의 하나 이상의 모니터를 통해 환자의 상태를 나타내는 지표, 예를 들면, 체온, 맥박, 호흡 및 혈압 등과 같은 생체 정보가 하나 이상 출력될 수 있으며, 각 정보는 영역별로 나뉘어져 출력될 수도 있다. 이러한 생체 정보를 마스터 로봇(1)으로 제공하기 위해, 슬레이브 로봇(2)은 체온 측정 모듈, 맥박 측정 모듈, 호흡 측정 모듈, 혈압 측정 모듈, 심전도 측정 모듈 등 중 하나 이상을 포함하 는 생체 정보 측정 유닛을 포함할 수 있다. 각 모듈에 의해 측정된 생체 정보는 아날로그 신호 또는 디지털 신호의 형태로 슬레이브 로봇(2)에서 마스터 로봇(1)으로 전송될 수도 있으며, 마스터 로봇(1)은 수신된 생체 정보를 모니터부(6)를 통해 디스플레이할 수 있다.The
슬레이브 로봇(2)과 마스터 로봇(1)은 유선 통신망 또는 무선 통신망을 통해 상호 결합되어 조작신호, 복강경(5)을 통해 입력된 복강경 영상 등이 상대방으로 전송될 수 있다. 만일, 마스터 인터페이스(4)에 구비된 두 개의 핸들(10)에 의한 두 개의 조작신호 및/또는 복강경(5)의 위치 조정을 위한 조작신호가 동시에 및/또는 유사한 시점에서 전송될 필요가 있는 경우, 각 조작신호는 상호 독립적으로 슬레이브 로봇(2)으로 전송될 수 있다. 여기서 각 조작신호가 '독립적으로' 전송된다는 것은, 조작신호 간에 서로 간섭을 주지 않으며, 어느 하나의 조작신호가 다른 하나의 신호에 영향을 미치지 않음을 의미한다. 이처럼, 복수의 조작신호가 서로 독립적으로 전송되도록 하기 위해서는, 각 조작신호의 생성 단계에서 각 조작신호에 대한 헤더 정보를 부가하여 전송시키거나, 각 조작신호가 그 생성 순서에 따라 전송되도록 하거나, 또는 각 조작신호의 전송 순서에 관하여 미리 우선순위를 정해 놓고 그에 따라 전송되도록 하는 등 다양한 방식이 이용될 수 있다. 이 경우, 각 조작신호가 전송되는 전송 경로가 독립적으로 구비되도록 함으로써 각 조작신호간에 간섭이 근본적으로 방지되도록 할 수도 있을 것이다.The
슬레이브 로봇(2)의 로봇 암(3)은 다자유도를 가지며 구동되도록 구현될 수 있다. 로봇 암(3)은 예를 들어 환자의 수술 부위에 삽입되는 수술기구, 수술기구를 수술 위치에 따라 요(yaw)방향으로 회전시키는 요동 구동부, 요동 구동부의 회전 구동과 직교하는 피치(pitch) 방향으로 수술기구를 회전시키는 피치 구동부, 수술기구를 길이 방향으로 이동시키는 이송 구동부와, 수술기구를 회전시키는 회전 구동부, 수술기구의 끝단에 설치되어 수술 병변을 절개 또는 절단하는 수술기구 구동부를 포함하여 구성될 수 있다. 다만, 로봇 암(3)의 구성이 이에 제한되지 않으며, 이러한 예시가 본 발명의 권리범위를 제한하지 않는 것으로 이해되어야 한다. 또한, 수술자가 핸들(10)을 조작함에 의해 로봇 암(3)이 상응하는 방향으로 회전, 이동하는 등의 실제적인 제어 과정은 본 발명의 요지와 다소 거리감이 있으므로 이에 대한 구체적인 설명은 생략한다.The
슬레이브 로봇(2)은 환자를 수술하기 위하여 하나 이상으로 이용될 수 있으며, 수술 부위가 모니터부(6)를 통해 화상 이미지로 표시되도록 하기 위한 복강경(5)은 독립된 슬레이브 로봇(2)으로 구현될 수도 있다. 또한, 앞서 설명된 바와 같이, 본 발명의 실시예들은 복강경 이외의 다양한 수술용 내시경(예를 들어, 흉강경, 관절경, 비경 등)이 이용되는 수술들에 범용적으로 사용될 수 있다.One or
도 3은 본 발명의 일 실시예에 따른 마스터 로봇과 슬레이브 로봇의 구성을 개략적으로 나타낸 블록 구성도이고, 도 4a는 본 발명의 일 실시예에 따른 수술 로봇 시스템의 구동모드를 예시한 도면이며, 도 4b는 본 발명의 일 실시예에 따른 실행중인 구동모드를 나타내는 모드 표시자를 예시한 도면이다.3 is a block diagram schematically showing the configuration of a master robot and a slave robot according to an embodiment of the present invention, Figure 4a is a view illustrating a driving mode of a surgical robot system according to an embodiment of the present invention, 4B is a diagram illustrating a mode indicator indicating a running mode in accordance with one embodiment of the present invention.
마스터 로봇(1)과 슬레이브 로봇(2)의 구성이 개략적으로 표시된 도 3을 참 조하면, 마스터 로봇(1)은 영상 입력부(310), 화면 표시부(320), 암 조작부(330), 조작신호 생성부(340), 증강현실 구현부(350) 및 제어부(360)를 포함한다. 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함한다. 도 3에는 도시되지는 않았으나, 슬레이브 로봇(2)은 환자에 대한 생체 정보를 측정하여 제공하기 위한 생체 정보 측정 유닛 등을 더 포함할 수 있다. 또한, 마스터 로봇(1)은 응급 상황인 것으로 판단한 경우 경고 음향, 경고 음성 메시지 등의 경고 정보를 출력하기 위한 스피커부를 더 포함할 수도 있다.Referring to FIG. 3 in which the configurations of the
영상 입력부(310)는 슬레이브 로봇(2)의 복강경(5)에 구비된 카메라를 통해 입력된 영상을 유선 또는 무선 통신망을 통해 수신한다.The
화면 표시부(320)는 영상 입력부(310)를 통해 수신된 영상에 상응하는 화상 이미지를 시각(視覺)적 정보로 출력한다. 또한, 화면 표시부(320)는 암 조작부(330)의 조작에 따른 가상 수술도구가 시각적 정보로서 더 출력할 수 있으며, 슬레이브 로봇(2)으로부터 생체 정보가 입력되는 경우 이에 상응하는 정보를 더 출력할 수 있다. 화면 표시부(320)는 모니터부(6) 등의 형태로 구현될 수 있으며, 수신된 영상이 화면 표시부(320)를 통해 화상 이미지로 출력되도록 하기 위한 영상 처리 프로세스가 제어부(360), 증강현실 구현부(350) 또는 영상 처리부(도시되지 않음)에 의해 수행될 수 있다.The
암 조작부(330)는 슬레이브 로봇(2)의 로봇 암(3)의 위치 및 기능을 수술자가 조작할 수 있도록 하는 수단이다. 암 조작부(330)는 도 2에 예시된 바와 같이 핸들(10)의 형상으로 형성될 수 있으나, 그 형상이 이에 제한되지 않으며 동일한 목적 달성을 위한 다양한 형상으로 변형 구현될 수 있다. 또한, 예를 들어 일부는 핸들 형상으로, 다른 일부는 클러치 버튼 등의 상이한 형상으로 형성될 수도 있으며, 수술도구의 조작을 용이하도록 하기 위해 수술자의 손가락을 삽입 고정할 수 있도록 하는 손가락 삽입관 또는 삽입 고리가 더 형성될 수도 있다.The
상술한 바와 같이, 암 조작부(330)에는 클러치 버튼(14)이 구비될 수도 있으며, 클러치 버튼(14)은 모드전환 제어버튼으로 이용될 수도 있다. 이외에도 모드전환 제어버튼은 페달(도시되지 않음) 등의 기구적 형태로 구현되거나 모니터부(6)를 통해 표시되는 기능메뉴 또는 모드선택 메뉴 등으로도 구현될 수도 있다. 또한, 영상을 입력받기 위한 복강경(5)이 특정 위치에 고정되지 않고, 그 위치 및/또는 영상 입력 각도가 수술자의 조정에 의해 이동되거나 변경될 수 있다면 클러치 버튼(14) 등은 복강경(5)의 위치 및/또는 영상 입력 각도의 조정을 위해 기능하도록 설정될 수도 있다.As described above, the
조작신호 생성부(340)는 로봇 암(3) 및/또는 복강경(5)의 위치 이동 또는 수술 동작에 대한 조작을 위해 수술자가 암 조작부(330)를 조작하는 경우 이에 상응하는 조작신호를 생성하여 슬레이브 로봇(2)으로 전송한다. 조작신호는 유선 또는 무선 통신망을 통해 송수신될 수 있음은 앞서 설명한 바와 같다.The
증강현실 구현부(350)는 마스터 로봇(1)이 제2 모드인 비교 모드 등에서 구동되는 경우, 복강경(5)을 통해 입력되는 수술 부위의 화상뿐 아니라 암 조작부(330)의 조작에 실시간 연동하는 가상 수술도구가 화면 표시부(320)를 통해 함께 출력될 수 있도록 처리한다. 증강현실 구현부(350)의 구체적인 기능, 다양한 세부 구성 등은 이후 관련 도면을 참조하여 상세히 설명한다. When the
제어부(360)는 상술한 기능이 수행될 수 있도록 각 구성 요소들의 동작을 제어한다. 제어부(360)는 영상 입력부(310)를 통해 입력되는 영상이 화면 표시부(320)를 통해 표시될 화상 이미지로 변환하는 기능을 수행할 수도 있다. 또한, 제어부(360)는 암 조작부(330)의 조작에 따른 조작정보가 입력되면 이에 상응하도록 가상 수술도구가 화면 표시부(320)를 통해 출력되도록 증강현실 구현부(350)를 제어할 수도 있다. 또한, 제어부(360)는 교육모드인 제4 모드 수행시 학습자와 교육자간에 수술권한이 부여 또는 회수되도록 제어할 수도 있다.The
도 4a에 예시된 바와 같이, 마스터 로봇(1) 및/또는 슬레이브 로봇(2)은 다양한 구동모드 중 수술자 등에 의해 선택된 구동모드에서 동작할 수 있다.As illustrated in FIG. 4A, the
예를 들어, 구동모드는 실제 모드인 제1 모드, 비교 모드인 제2 모드, 가상 모드인 제3 모드, 교육 모드인 제4 모드, 시뮬레이션 모드인 제5 모드 등을 포함할 수 있다.For example, the driving mode may include a first mode that is an actual mode, a second mode that is a comparison mode, a third mode that is a virtual mode, a fourth mode that is an education mode, a fifth mode that is a simulation mode, and the like.
마스터 로봇(1) 및/또는 슬레이브 로봇(2)이 실제 모드인 제1 모드에서 동작하는 경우, 마스터 로봇(1)의 모니터부(6)를 통해 표시되는 영상은 예를 들어 도 4b에 예시된 바와 같이 수술 부위, 실제 수술 도구 등을 포함할 수 있을 것이다. 즉, 가상 수술도구는 표시되지 않으며, 이는 종래의 수술 로봇 시스템을 이용한 원격 수술시 표시 화면과 동일하거나 유사할 수 있다. 물론, 제1 모드에서 동작하는 경우에도, 슬레이브 로봇(2)에서 환자의 생체 정보가 측정되어 수신되는 경우 이에 상응하는 정보가 표시될 수 있으며, 그 표시 방법이 다양할 수 있음은 앞서 설명한 바와 같다.When the
마스터 로봇(1) 및/또는 슬레이브 로봇(2)이 비교 모드인 제2 모드에서 동작하는 경우, 마스터 로봇(1)의 모니터부(6)를 통해 표시되는 영상은 예를 들어 수술 부위, 실제 수술 도구, 가상 수술도구 등을 포함할 수 있을 것이다. When the
참고로, 실제 수술도구는 복강경(5)에 의해 입력되어 마스터 로봇(1)으로 전송된 영상에 포함된 수술도구로서 환자의 신체에 직접적인 수술 행위를 가하는 수술도구이다. 이에 비해, 가상 수술도구는 수술자가 암 조작부(330)를 조작함에 따라 마스터 로봇(1)이 인식하는 조작정보(즉, 수술도구의 이동, 회전 등에 관한 정보)에 의해 제어되는 것으로서 화면에만 표시되는 가상의 수술도구이다. 실제 수술도구 및 가상 수술도구는 그 위치 및 조작 형상이 조작정보에 의해 결정될 것이다.For reference, the actual surgical tool is a surgical tool that is applied by the laparoscopic (5) and included in the image transmitted to the master robot (1) is a surgical tool that applies a direct surgical action to the body of the patient. In contrast, the virtual surgical tool is displayed only on the screen as controlled by operation information (that is, information about movement and rotation of the surgical tool) recognized by the
조작신호 생성부(340)는 수술자의 암 조작부(340) 조작에 따른 조작정보를 이용하여 조작신호를 생성하고, 생성한 조작신호를 슬레이브 로봇(2)으로 전송하여 결과적으로 실제 수술도구가 조작정보에 상응하도록 조작되도록 한다. 아울러, 조작신호에 의해 조작된 실제 수술도구의 위치 및 조작 형상은 복강경(5)에 의해 입력된 영상에 의해 수술자의 확인이 가능하다. 즉, 마스터 로봇(1)과 슬레이브 로봇(2)간의 네트워크 통신 속도가 충분히 빠른 상황이라면 실제 수술도구와 가상 수술도구가 거의 비슷한 속도로 움직이게 될 것이다. 이에 비해, 네트워크 통신 속도가 다소 느린 상황이라면 가상 수술도구가 먼저 움직인 후 약간의 시간차를 두고 실제 수술도구가 가상 수술도구의 조작 형태와 동일하게 움직이게 될 것이다. 그러 나, 네트워크 통신 속도가 느린 상황(예를 들어, 지연 시간이 150ms 초과)이라면 가상 수술도구가 움직인 후 어느 정도의 시간차를 두고 실제 수술도구가 움직이게 될 것이다. The operation
마스터 로봇(1) 및/또는 슬레이브 로봇(2)이 가상 모드인 제3 모드에서 동작하는 경우로서, 암 조작부(330)에 대한 학습자(즉, 실습 학생) 또는 교육자(즉, 실습 교사)의 조작신호를 마스터 로봇(1)이 슬레이브 로봇(2)으로 전송하지 않도록 하여, 마스터 로봇(1)의 모니터부(6)를 통해 표시되는 영상이 수술 부위 및 가상 수술도구 등 중 하나 이상을 포함하도록 할 수 있다. 교육자 등은 제3 모드를 선택하여 실제 수술도구에 대한 사전 시험작동을 할 수도 있다. 제3 모드로의 진입은 예를 들어 클러치 버튼(14) 등의 선택에 의해 이루어지도록 할 수 있으며, 해당 버튼이 눌려진 상태(또는 제3 모드가 선택된 상태)에서 핸들(10)의 조작시 실제 수술도구는 움직이지 않고 가상 수술도구만이 움직이도록 할 수 있을 것이다. 또한, 제3 모드인 가상 모드로의 진입시 교육자 등에 의한 별도의 조작이 없는 경우에는 가상 수술도구만이 움직이도록 설정할 수도 있을 것이다. 이 상태에서 해당 버튼의 누름을 종료(또는 제1 모드 또는 제2 모드를 선택)하거나 가상 모드를 종료하면 가상 수술도구가 움직여진 조작정보에 부합하도록 실제 수술도구가 움직이도록 하거나 해당 버튼이 눌려진 시점으로 핸들(10)을 복귀(또는 가상 수술도구의 위치 및 조작 형태가 복귀)되도록 할 수도 있다.In the case where the
마스터 로봇(1) 및/또는 슬레이브 로봇(2)이 교육 모드인 제4 모드에서 동작하는 경우로서, 암 조작부(330)에 대한 학습자(즉, 실습 학생) 또는 교육자(즉, 실습 교사)의 조작신호가 교육자 또는 학습자에 의해 조작되는 마스터 로봇(1)으로 전달되도록 할 수 있다. 이를 위해, 1개의 슬레이브 로봇(2)에 2개 이상의 마스터 로봇(1)이 연결되도록 하거나, 마스터 로봇(1)에 별도의 마스터 로봇(1)이 연결되도록 할 수도 있다. 이 경우, 교육자용 마스터 로봇(1)의 암 조작부(330)가 조작되면 상응하는 조작신호가 슬레이브 로봇(2)으로 전달되도록 할 수 있으며, 교육자용 및 학습자용 마스터 로봇(1) 각각의 모니터부(6)에는 수술 경과의 확인을 위해 복강경(5)을 통해 입력된 영상이 표시되도록 할 수 있다. 이에 비해, 학습자용 마스터 로봇(1)의 암 조작부(330)가 조작되면 상응하는 조작신호가 교육자용 마스터 로봇(1)으로만 제공되고 슬레이브 로봇(2)으로는 전달되지 않도록 할 수 있다. 이와 같이, 교육자의 조작은 제1 모드에서 기능되도록 하되, 학습자의 조작은 제3 모드에서 기능되도록 할 수 있다. In the case where the
시뮬레이션 모드인 제5 모드에서 동작하는 경우, 마스터 로봇(1)은 3차원 모델링된 3차원 형상의 장기의 특성(예를 들어, 형상, 질감, 절제시의 촉감 등)을 이용하는 수술 시뮬레이터로 기능할 수 있다. 즉, 제5 모드는 제3 모드인 가상 모드와 유사하거나 한층 진화된 것으로 이해될 수 있으며, 입체 내시경 등을 이용하여 얻은 3차원 형상에 장기의 특성을 결합하여 수술 시뮬레이터로 동작할 수 있게 된다.When operating in the fifth mode, which is the simulation mode, the
만일, 화면 표시부(320)를 통해 간(肝)이 출력되었다면, 입체 내시경을 이용하여 간의 형상이 3차원적으로 파악될 수 있고, 수학적으로 모델링된 간의 특성 정보(이는 저장부(도시되지 않음)에 미리 저장될 수 있음)와 매칭시켜 수술 도중 가상모드에서 수술 시뮬레이션을 해볼 수 있다. 예를 들어, 실제로 간을 절제하기 전에 간의 형상에 간의 특성정보를 매칭시킨 상태에서 어떤 방향에서 어떻게 간을 절제하여야 적절한지 미리 수술 시뮬레이션을 해볼 수도 있다. 아울러 수학적 모델링 정보 및 특성 정보를 바탕으로 어느 부분이 단단한지 어느 부분이 연한지 수술시의 촉감을 미리 느껴볼 수도 있다. 이 경우, 3차원적으로 얻은 장기의 표면 형상정보를 CT(Computer Tomography) 또는/및 MRI(Magnetic Resonance Imaging) 영상 등을 참조하여 재구성한 장기 표면의 3차원 형상과 정합하고, CT, MRI 영상 등으로부터 재구성한 장기 내부의 3차원 형상과 수학적 모델링 정보를 정합하면 보다 사실적인 수술 시뮬레이션이 가능해질 수 있다.If the liver is output through the
또한, 상술한 제3 모드(가상 모드) 및/또는 제5 모드(시뮬레이션 모드)는 이후 관련도면을 참조하여 설명하게 될 이력정보를 이용한 수술 방법의 적용을 위해 이용될 수도 있다.In addition, the above-described third mode (virtual mode) and / or fifth mode (simulation mode) may be used for the application of a surgical method using history information which will be described later with reference to related drawings.
이제까지 제1 모드 내지 제5 모드의 구동모드들에 대해 설명하였으나, 이외에도 다양한 목적에 따른 구동모드의 추가가 가능할 수 있다.The driving modes of the first to fifth modes have been described so far, but it may be possible to add the driving mode according to various purposes.
또한, 각 모드에서 마스터 로봇(1)이 구동되도록 하는 경우, 수술자는 현재의 구동모드가 무엇인지 혼동될 수 있다. 보다 명확한 구동모드의 식별이 가능하도록 화면 표시부(320)를 통해 모드 표시자가 더 표시되도록 할 수 있다.In addition, when the
도 4b에 수술 부위와 실제 수술도구(460)가 표시되는 화면상에 모드 표시자가 더 표시되는 표시 형태가 예시되어 있다. 모드 표시자는 현재 어떤 구동모드에서 구동 중인지를 명확히 인식할 수 있도록 하기 위한 것으로, 예를 들어 메시 지(450), 테두리 색상(480) 등으로 다양할 수 있다. 이외에도, 모드 표시자는 아이콘, 배경 색상 등으로 구현될 수도 있으며, 하나의 모드 표시자만이 표시되거나 둘 이상의 모드 표시자가 함께 표시되도록 할 수도 있다.4B illustrates a display form in which a mode indicator is further displayed on a screen on which a surgical site and an actual
도 5는 본 발명의 일 실시예에 따른 제1 모드와 제2 모드의 구동모드 선택 과정을 나타낸 순서도이고, 도 6은 본 발명의 일 실시예에 따른 제2 모드에서 모니터부를 통해 출력되는 화면 표시의 예시도이다.5 is a flowchart illustrating a driving mode selection process of a first mode and a second mode according to an embodiment of the present invention, and FIG. 6 is a screen display output through a monitor unit in a second mode according to an embodiment of the present invention. An illustration of the.
도 5에는 제1 모드 또는 제2 모드 중 어느 하나가 선택되도록 하는 경우가 가정되었으나, 도 4a에 예시된 바와 같이 구동모드가 제1 모드 내지 제5 모드로 적용되는 경우라면 이후 설명되는 단계 520에서의 모드 선택 입력은 제1 모드 내지 제5 모드 중 어느 하나에 대한 것일 수 있으며, 단계 530 및 단계 540은 선택된 모드에 따른 화면 표시가 수행될 수 있다.In FIG. 5, it is assumed that either the first mode or the second mode is selected. However, if the driving mode is applied to the first mode to the fifth mode as illustrated in FIG. 4A, in
도 5를 참조하면, 단계 510에서 수술 로봇 시스템이 구동 개시된다. 수술 로봇 시스템의 구동 개시 후 복강경(5)을 통해 입력되는 영상이 마스터 로봇(1)의 모니터부(6)를 통해 출력될 것이다.Referring to FIG. 5, in
단계 520에서 마스터 로봇(1)은 수술자로부터 구동모드의 선택을 입력받는다. 구동모드의 선택은 예를 들어 기구적으로 구현된 클러치 버튼(14)이나 페달(도시되지 않음) 등의 누름이나 모니터부(6)를 통해 표시되는 기능메뉴 또는 모드선택 메뉴 등을 이용하여 이루어질 수 있을 것이다. In
단계 520에서 만일 제1 모드가 선택되었다면, 마스터 로봇(1)은 실제모드인 구동모드로 동작하며, 복강경(5)으로부터 입력되는 화상을 모니터부(6)에 디스플레이한다. If the first mode is selected in
그러나, 만일 단계 520에서 만일 제2 모드가 선택되었다면, 마스터 로봇(1)은 비교모드인 구동모드로 동작하며, 복강경(5)으로부터 입력되는 화상뿐 아니라 암 조작부(330) 조작에 따른 조작정보에 의해 제어되는 가상 수술도구가 함께 모니터부(6)에 디스플레이한다. However, if the second mode is selected in
도 6에는 제2 모드에서 모니터부(6)를 통해 출력되는 화면 표시 형태가 예시되어 있다.6 illustrates a screen display form output through the
도 6에 예시된 바와 같이, 비교 모드에서 화면상에는 복강경(5)에 의해 입력되어 제공되는 영상(즉, 수술 부위와 실제 수술도구(460)가 표시되는 영상)과 암 조작부(330)에 따른 조작 정보에 의해 제어되는 가상 수술도구(610)가 함께 표시된다. As illustrated in FIG. 6, in the comparison mode, an image inputted by the laparoscope 5 (ie, an image on which the surgical site and the actual
실제 수술도구(460)와 가상 수술도구(610)간의 표시 위치 등의 차이는 마스터 로봇(1)과 슬레이브 로봇(2)간의 네트워크 통신 속도에 의해 야기될 수 있으며, 소정의 시간이 경과된 후 실제 수술도구(460)는 가상 수술도구(610)의 현재 위치로 이동되어 표시될 것이다. The difference in the display position between the actual
도 6에는 실제 수술도구(460)와의 구분의 편의를 위해 가상 수술도구(610)가 화살표 모양으로 예시되었으나, 가상 수술도구(610)의 표시 형상은 실제 수술도구의 표시 형상과 동일하게 처리하거나 상호간의 식별 편의를 위해 반투명 형태, 외곽선만 존재하는 점선 도형 등과 같이 다양하게 표현할 수도 있다. In FIG. 6, the virtual
또한, 복강경(5)에 의해 입력되어 제공되는 영상과 가상 수술도구(610)가 함께 표시되도록 하는 방법은 예를 들어 복강경 영상 상부에 가상 수술도구(610)가 오버랩되어 표시되도록 하는 방법, 복강경 영상 및 가상 수술도구(610)가 하나의 영상으로 재구성되어 표시되도록 하는 방법 등 다양할 수 있을 것이다.In addition, a method for displaying the image and the input provided by the
도 7은 본 발명의 일 실시예에 따른 증강현실 구현부의 세부 구성을 나타낸 도면이다.7 is a view showing a detailed configuration of the augmented reality implementation unit according to an embodiment of the present invention.
도 7을 참조하면, 증강현실 구현부(350)는 특성값 연산부(710), 가상 수술도구 생성부(720), 테스트 신호 처리부(730), 지연시간 산출부(740)를 포함할 수 있다. 증강현실 구현부(350)의 구성 요소 중 일부 구성 요소(예를 들어, 테스트 신호 처리부(730), 지연시간 산출부(740) 등)는 생략될 수 있으며, 일부 구성 요소(예를 들어, 슬레이브 로봇(2)으로부터 수신된 생체 정보를 화면 표시부(320)를 통해 출력 가능하도록 처리하기 위한 구성 요소 등)가 더 추가될 수도 있다. 증강현실 구현부(350)에 포함된 하나 이상의 구성 요소들은 프로그램 코드들의 조합에 의한 소프트웨어 프로그램의 형태로 구현될 수도 있다.Referring to FIG. 7, the
특성값 연산부(710)는 슬레이브 로봇(2)의 복강경(5)에 의해 입력되어 제공되는 영상 및/또는 로봇 암(3)에 결합된 실제 수술도구의 위치에 대한 좌표정보 등을 이용하여 특성값을 연산한다. 실제 수술도구의 위치는 슬레이브 로봇(2)의 로봇 암(3)의 위치값을 참조하여 인식할 수 있으며, 해당 위치에 대한 정보는 슬레이브 로봇(2)으로부터 마스터 로봇(1)으로 제공될 수도 있다.The
특성값 연산부(710)는 예를 들어 복강경(5)에 의한 영상 등을 이용하여 복강경(5)의 화각(FOV, Field of View), 확대율, 관점(예를 들어, 보는 방향), 보는 깊이 등과, 실제 수술도구(460)의 종류, 방향, 깊이, 꺽인 정도 등의 특성값을 연산할 수 있다. 복강경(5)에 의한 영상을 이용하여 특성값을 연산하는 경우, 해당 영상에 포함된 피사체의 외곽선 추출, 형상 인식, 기울어진 각도 등을 인식하기 위한 영상 인식 기술이 이용될 수도 있다. 또한, 실제 수술도구(460)의 종류 등은 로봇 암(3)에 해당 수술도구를 결합하는 과정 등에서 미리 입력될 수도 있다.The
가상 수술도구 생성부(720)는 수술자의 로봇 암(3) 조작에 따른 조작정보를 참조하여 화면 표시부(320)를 통해 출력될 가상 수술도구(610)를 생성한다. 가상 수술도구(610)가 최초로 표시되는 위치는 예를 들어 화면 표시부(320)를 통해 실제 수술도구(460)가 표시된 표시 위치를 기준할 수 있으며, 암 조작부(330)의 조작에 따라 조작되는 가상 수술도구(610)의 이동 변위는 예를 들어 조작신호에 상응하여 실제 수술도구(460)가 이동되는 실측값을 참조하여 사전에 설정될 수 있을 것이다. The virtual surgical
가상 수술도구 생성부(720)는 가상 수술도구(610)가 화면 표시부(320)를 통해 출력되도록 하기 위한 가상 수술도구 정보(예를 들어, 가상 수술도구의 표출을 위한 특성값)만을 생성할 수도 있다. 가상 수술도구 생성부(720)는 조작정보에 따른 가상 수술도구(610)의 형상이나 위치를 결정함에 있어 특성값 연산부(710)에 의해 연산된 특성값이나 가상 수술도구(610) 표출을 위해 이용했던 직전의 특성값 등을 참조할 수도 있다. 이는 가상 수술도구(710) 또는 실제 수술도구(460)가 이전의 모양(예를 들어, 기울어진 각도 등)과 동일한 상태에서 평행이동 조작만이 이루어 진 경우 신속하게 해당 정보를 생성할 수 있도록 하기 위함이다.The virtual surgical
테스트 신호 처리부(730)는 마스터 로봇(1)과 슬레이브 로봇(2)간의 네트워크 통신 속도가 어느 정도인지를 판단할 수 있도록 테스트 신호를 슬레이브 로봇(2)으로 전송하고, 슬레이브 로봇(2)으로부터 응답 신호를 수신한다. 테스트 신호 처리부(730)에 의해 전송되는 테스트 신호는 예를 들어 마스터 로봇(1)과 슬레이브 로봇(2)간에 송수신되는 제어 신호에 타임스탬프(time stamp) 형태로 포함되어 사용되는 통상적인 신호이거나 네트워크 통신 속도를 측정하기 위해 추가적으로 이용되는 신호일 수 있다. 또한 테스트 신호가 송수신되는 매 시점들 중 일부의 시점에서만 네트워크 통신 속도의 측정이 이루어지도록 미리 지정될 수도 있다.The
지연시간 산출부(740)는 테스트 신호의 전송 시각과 응답 신호의 수신 시각을 이용하여 네트워크 통신상의 지연시간을 산출한다. 마스터 로봇(1)에서 슬레이브 로봇(2)으로 임의의 신호를 전송하는 구간과 마스터 로봇(1)이 슬레이브 로봇(2)으로부터 임의의 신호를 수신하는 구간의 네트워크 통신 속도가 동일하다면 지연시간은 예를 들어 테스트 신호의 전송 시각과 응답 신호의 수신 시각간의 차이값의 1/2일 수 있다. 이는, 슬레이브 로봇은 마스터 로봇(1)으로부터 조작신호가 수신되면 즉시 상응하는 처리를 수행할 것이기 때문이다. 물론, 지연시간에는 슬레이브 로봇(2)에서 조작신호에 따른 로봇 암(3) 제어 등의 처리를 수행하기 위한 처리 지연시간이 더 포함될 수도 있을 것이다. 다른 예로서, 네트워크 통신상의 지연시간은 수술자의 조작 시각과 관찰 시각간의 차이가 중시되는 경우라면, 지연시각은 전송 시각과 응답 신호의 수신 시각(예를 들어, 표시부를 통해 수술자의 조작 결과가 표시되는 시각)간의 차이값으로 산출될 수도 있을 것이다. 이외에도 지연시간을 산출하는 방식은 다양할 수 있다.The
만일 지연시간이 미리 지정된 임계값(예를 들어, 150ms) 이하라면 실제 수술도구(460)와 가상 수술도구(610)간의 표시 위치의 차이 등이 크지 않을 것이다. 이 경우, 가상 수술도구 생성부(720)는 가상 수술도구(610)가 화면 표시부(320)를 통해 표시되지 않도록 할 수 있다. 이는, 실제 수술도구(460)와 가상 수술도구(610)가 일치 또는 매우 근접한 위치에 이중으로 표시됨으로써 수술자의 혼동을 야기할 필요가 없기 때문이다.If the delay time is less than or equal to a predetermined threshold (eg, 150 ms), the difference in the display position between the actual
그러나 만일 지연시간이 미리 지정된 임계값(예를 들어, 150ms)을 초과하면 실제 수술도구(460)와 가상 수술도구(610)간의 표시 위치의 차이 등이 클 수 있다. 이 경우, 가상 수술도구 생성부(720)는 가상 수술도구(610)가 화면 표시부(320)를 통해 표시되도록 할 수 있다. 이는, 수술자의 암 조작부(330) 조작 상황과 실제 수술도구(460)의 조작 상황이 실시간적으로 일치하지 않아 야기되는 수술자의 혼동을 제거하기 위함이며, 수술자가 가상 수술도구(610)를 참조하여 수술하더라도 실제 수술도구(460)가 가상 수술도구(610)의 조작 형태대로 후속하여 조작될 것이기 때문이다.However, if the delay time exceeds a predetermined threshold (eg, 150 ms), the difference in the display position between the actual
도 8은 본 발명의 다른 실시예에 따른 증강현실 구현부(350)의 세부 구성을 나타낸 도면이다.8 is a view showing a detailed configuration of the augmented
도 8을 참조하면, 증강현실 구현부(350)는 특성값 연산부(710), 가상 수술 도구 생성부(720), 간격 연산부(810), 영상 해석부(820)를 포함한다. 증강현실 구현부(350)의 구성 요소 중 일부 구성 요소는 생략될 수 있으며, 일부 구성 요소(예를 들어, 슬레이브 로봇(2)으로부터 수신된 생체 정보를 화면 표시부(320)를 통해 출력 가능하도록 처리하기 위한 구성 요소 등)가 더 추가될 수도 있다. 증강현실 구현부(350)에 포함된 하나 이상의 구성 요소들은 프로그램 코드들의 조합에 의한 소프트웨어 프로그램의 형태로 구현될 수도 있다.Referring to FIG. 8, the augmented
특성값 연산부(710)는 슬레이브 로봇(2)의 복강경(5)에 의해 입력되어 제공되는 영상 및/또는 로봇 암(3)에 결합된 실제 수술도구의 위치에 대한 좌표정보 등을 이용하여 특성값을 연산한다. 특성값은 예를 들어 복강경(5)의 화각(FOV, Field of View), 확대율, 관점(예를 들어, 보는 방향), 보는 깊이 등과, 실제 수술도구(460)의 종류, 방향, 깊이, 꺽인 정도 등 중 하나 이상을 포함할 수 있다. The
가상 수술도구 생성부(720)는 수술자의 로봇 암(3) 조작에 따른 조작정보를 참조하여 화면 표시부(320)를 통해 출력될 가상 수술도구(610)를 생성한다. The virtual surgical
간격 연산부(810)는 특성값 연산부(710)를 통해 연산된 실제 수술도구(460)의 위치좌표와 암 조작부(330) 조작에 연동되는 가상 수술도구(610)의 위치좌표를 이용하여 각 수술도구간의 간격을 연산한다. 예를 들어, 가상 수술도구(610)와 실제 수술도구(460)의 위치 좌표가 각각 결정되면 두 점을 연결하는 선분의 길이로서 연산될 수 있다. 여기서, 위치 좌표는 예를 들어 x-y-z 축으로 규정되는 3차원 공간상의 한 점의 좌표값일 수 있으며, 해당 한 점은 가상 수술도구(610) 및 실제 수술도구(460)상의 특정 위치의 한 점으로 미리 지정될 수 있다. 이외에도, 각 수술 도구간의 간격은 조작 방법에 의해 생성되는 경로 또는 궤적의 길이 등이 더 이용될 수 있다. 예를 들어 원(circle)을 그리는 경우 시간차가 원을 그리는 시간만큼 존재할 때 각 수술도구간의 선분의 길이는 매우 작아지지만 경로 또는 궤적상 차이는 조작 방법에 의해 생성된 원의 원주만큼 발생될 수 있기 때문이다.The
간격 연산을 위해 이용되는 실제 수술도구(460)의 위치좌표는 절대 좌표값으로 이용되거나 특정 지점을 기준으로 연산된 상대 좌표값으로 이용되거나, 화면 표시부(320)를 통해 표시되는 실제 수술도구(460)의 위치를 좌표화하여 이용할 수도 있다. 마찬가지로, 가상 수술도구(610)의 위치좌표도 가상 수술도구(610)의 초기 위치를 기준으로 암 조작부(330) 조작에 의해 이동된 가상의 위치를 절대 좌표화하여 이용하거나 특정 지점을 기준으로 연산된 상대 좌표값으로 이용되거나, 화면 표시부(320)를 통해 표시되는 가상 수술도구(610)의 위치를 좌표화하여 이용할 수도 있다. 여기서, 화면 표시부(320)를 통해 표시되는 각 수술도구의 위치를 해석하기 위해 이하에서 설명될 영상 해석부(820)에 의해 해석된 특징 정보가 이용될 수도 있다. The position coordinates of the actual
가상 수술도구(610)와 실제 수술도구(460)간의 간격이 좁거나 0인 경우 네트워크 통신 속도가 양호한 것으로 이해될 수 있으나, 간격이 넓은 경우라면 네트워크 통신 속도가 불충분한 것으로 이해될 수 있을 것이다. If the distance between the virtual
가상 수술도구 생성부(720)는 간격 연산부(810)에 의해 연산된 간격 정보를 이용하여 가상 수술도구(610)의 표시 여부, 가상 수술도구(610) 표시 색상이나 표시 형태 등 중 하나 이상을 결정할 수 있다. 예를 들어, 가상 수술도구(610)와 실 제 수술도구(460)간의 간격이 미리 설정한 임계값(threshold) 이하인 경우라면 가상 수술도구(610)가 화면 표시부(320)를 통해 출력되지 않도록 할 수 있다. 또한 가상 수술도구(610)와 실제 수술도구(460)간의 간격이 미리 설정한 임계값(threshold)을 초과하는 경우 상호간의 간격에 비례하여 반투명도를 조절하거나 색상에 왜곡을 주거나 가상 수술도구(610)의 외곽선 두께를 변경하는 등의 처리를 통해 네트워크 통신 속도에 대한 수술자의 명확한 인식이 가능하도록 할 수도 있다. 여기서, 임계값은 예를 들어 5mm 등과 같은 거리값으로 지정될 수 있을 것이다.The virtual surgical
영상 해석부(820)는 복강경(5)에 의해 입력되어 제공되는 영상을 이용하여 미리 설정된 특징 정보(예를 들어, 픽셀별 색상값, 실제 수술도구(460)의 위치좌표, 조작 형상 등 중 하나 이상)를 추출한다. 예를 들어, 영상 해석부(820)는 수술 도중 발생될 수 있는 응급 상황(예를 들어, 과다한 출혈 등)에 대한 즉각적 대응이 가능할 수 있도록, 해당 영상의 각 픽셀별 색상값을 해석한 후 피를 나타내는 색상값을 가지는 픽셀이 기준값 이상 존재하는지 여부를 판단하거나, 피를 나타내는 색상값을 가지는 픽셀들에 의해 형성되는 영역 또는 면적이 일정 크기 이상인지 여부를 판단할 수 있다. 또한, 영상 해석부(820)는 복강경(5)에 의해 입력된 영상 및 가상 수술도구(610)가 표시되는 화면 표시부(320)의 표시 화면을 캡쳐하여 각 수술도구의 위치좌표를 생성할 수도 있다. The
이하, 관련도면을 참조하여 이력정보를 이용한 수술 로봇 시스템의 제어 방 법에 대해 설명한다.Hereinafter, a control method of a surgical robot system using history information will be described with reference to related drawings.
마스터 로봇(1)은 가상 모드 또는 시뮬레이션 모드에서 입체내시경을 이용하여 얻은 3차원 형상에 장기의 특성을 결합하여 수술 시뮬레이터로 기능할 수도 있다. 수술자는 수술 시뮬레이터로 기능하는 마스터 로봇(1)을 이용하여 임의의 장기 또는 수술 환자에 대한 수술을 가상으로 진행해볼 수 있으며, 가상으로 진행되는 수술 과정에서 수술자의 암 조작부(10) 조작 이력(예를 들어 간 절제를 위한 순차적 조작)은 수술동작 이력정보로서 저장부(910) 또는/및 조작정보 저장부(1020)에 저장된다. 이후, 수술자가 수술동작 이력정보를 이용한 자동수술 명령을 입력하면 수술동작 이력정보에 따른 조작신호가 순차적으로 슬레이브 로봇(2)으로 전송되어 로봇 암(3) 등이 제어된다.The
예를 들어, 화면 표시부(320)를 통해 출력되는 복강경 영상 또는 가상 화면상에 간이 포함된 경우, 마스터 로봇(1)은 저장부(310)에 저장된 3차원 모델링된 3차원 형상의 간의 특성 정보(예를 들어, 형상, 크기, 질감, 절제시의 촉감 등)를 독출하여 화면 표시부(320)에 출력된 간과 매칭시킴으로써 가상 모드 또는 시뮬레이션 모드에서 수술 시뮬레이션이 수행되도록 할 수도 있다. 복강경 영상 등에 어떤 장기가 포함되었는지 여부는 예를 들어 통상의 영상 처리 및 인식 기술을 이용하여 해당 장기의 색상, 형상 등을 인식하고, 인식된 정보를 미리 저장된 장기의 특성 정보들과 비교함으로써 해석될 수 있다. 물론, 어떤 장기가 포함되었는지 및/또는 어떤 장기에 대한 수술 시뮬레이션을 수행할 것인지는 수술자에 의해 선택될 수도 있을 것이다.For example, when liver is included in a laparoscopic image or a virtual screen output through the
이를 이용하여, 수술자는 실제로 간을 절제 또는 절단하기 전에 특성 정보와 매칭된 간의 형상을 이용하여 어떤 방향에서 어떻게 간을 절제하여야 하는지에 대한 사전수술 시뮬레이션을 진행할 수 있다. 수술 시뮬레이션 과정에서 마스터 로봇(1)은 특성 정보(예를 들어 수학적 모델링 정보 등)를 바탕으로 수술조작(예를 들어, 절제, 절단, 꿰맴, 당김, 누름 등 중 하나 이상)이 이루어지는 부분이 단단한지 또는 연한지 등에 대한 촉감이 수술자에게 전달되도록 할 수도 있다. Using this, the operator can perform a pre-surgical simulation of how and in what direction the liver should be excised using the shape of the liver matched with the characteristic information before actually cutting or cutting the liver. In the surgical simulation process, the
해당 촉감을 전달하는 방법으로는 예를 들어 포스 피드백 처리를 수행하거나 암 조작부(330)의 조작 민감도나 조작시 저항력(예를 들어 암 조작부(330)를 앞쪽으로 밀고자 할 때 이를 저지하는 저항력 등)을 조정하는 방법 등이 있다. As a method of transmitting the touch, for example, the force feedback processing or the sensitivity of the operation of the
또한, 수술자의 조작에 의해 가상으로 절제 또는 절단된 장기의 단면이 화면 표시부(320)를 통해 출력되도록 함으로써 수술자에게 실제적인 절제 또는 절단의 결과를 예측하도록 할 수도 있다.In addition, the section of the organ virtually cut or cut by the operator's operation may be output through the
또한, 마스터 로봇(1)은 수술 시뮬레이터로 기능함에 있어 화면 표시부(320)를 통해 입체 내시경을 이용하여 3차원적으로 얻은 장기의 표면 형상 정보와 CT, MRI 등의 참조 영상으로부터 재구성한 장기 표면의 3차원 형상과 정합하고, 참조 영상으로부터 재구성한 장기 내부의 3차원 형상과 특성 정보(예를 들어 수학적 모델링 정보)를 정합함으로써, 수술자에게 보다 사실적인 수술 시뮬레이션이 가능하도록 할 수도 있을 것이다. 상기 특성 정보는 해당 환자에 특화된 특성 정보일 수도 있으며, 범용으로 이용하기 위해 생성된 특성 정보일 수도 있다.In addition, the
도 9는 본 발명의 또 다른 실시예에 따른 마스터 로봇과 슬레이브 로봇의 구성을 개략적으로 나타낸 블록 구성도이고, 도 10은 본 발명의 또 다른 실시예에 따른 증강현실 구현부(350)의 세부 구성을 나타낸 도면이다.9 is a block diagram schematically showing the configuration of a master robot and a slave robot according to another embodiment of the present invention, Figure 10 is a detailed configuration of an augmented
마스터 로봇(1)과 슬레이브 로봇(2)의 구성이 개략적으로 표시된 도 9를 참조하면, 마스터 로봇(1)은 영상 입력부(310), 화면 표시부(320), 암 조작부(330), 조작신호 생성부(340), 증강현실 구현부(350), 제어부(360) 및 조작정보 저장부(910)를 포함한다. 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함한다. Referring to FIG. 9, in which the configuration of the
영상 입력부(310)는 슬레이브 로봇(2)의 복강경(5)에 구비된 카메라를 통해 입력된 영상을 유선 또는 무선 통신망을 통해 수신한다.The
화면 표시부(320)는 영상 입력부(310)를 통해 수신된 영상 및/또는 암 조작부(330) 조작에 따른 가상 수술도구(610)에 상응하는 화상 이미지를 시각(視覺)적 정보로 출력한다. The
암 조작부(330)는 슬레이브 로봇(2)의 로봇 암(3)의 위치 및 기능을 수술자가 조작할 수 있도록 하는 수단이다. The
조작신호 생성부(340)는 로봇 암(3) 및/또는 복강경(5)의 위치 이동 또는 수술을 위한 조작을 위해 수술자가 암 조작부(330)를 조작하는 경우 이에 상응하는 조작신호를 생성하여 슬레이브 로봇(2)으로 전송한다. The
또한, 이력정보를 이용한 수술 로봇 시스템의 제어가 제어부(360)로부터 지시되는 경우, 조작신호 생성부(910)는 저장부(910) 또는 조작정보 저장부(1020)에 저장된 수술동작 이력정보에 상응하는 조작신호들을 순차적으로 생성하여 슬레이브 로봇(2)으로 전송한다. 수술동작 이력정보에 상응하는 조작신호들을 순차적으로 생 성하고 전송하는 일련의 과정은 이후 설명되는 바와 같이 수술자의 중지명령 입력에 의해 중지될 수 있다. 또는, 조작신호 생성부(340)는 상기 조작신호를 순차적으로 생성하여 전송하지 않고 수술동작 이력정보에 포함된 복수의 수술동작에 대해 하나 이상의 조작정보로 구성하여 슬레이브 로봇(2)으로 전송할 수도 있을 것이다.In addition, when the control of the surgical robot system using the history information is instructed from the
증강현실 구현부(350)는 마스터 로봇(1)이 가상 모드 또는 시뮬레이션 모드 등에서 구동되는 경우, 복강경(5)을 통해 입력되는 수술 부위의 화상 및/또는 가상의 장기 모델링 이미지뿐 아니라 암 조작부(330)의 조작에 실시간 연동하는 가상 수술도구가 화면 표시부(320)를 통해 함께 출력될 수 있도록 처리한다. When the
증강현실 구현부(350)의 구현 예가 도시된 도 10을 참조하면, 증강현실 구현부(350)는 가상 수술도구 생성부(720), 모델링 적용부(1010), 조작정보 저장부(1020) 및 영상 해석부(1030)를 포함할 수 있다.10 illustrates an implementation example of the augmented
가상 수술도구 생성부(720)는 수술자의 로봇 암(3) 조작에 따른 조작정보를 참조하여 화면 표시부(320)를 통해 출력될 가상 수술도구(610)를 생성한다. 가상 수술도구(610)가 최초로 표시되는 위치는 예를 들어 화면 표시부(320)를 통해 실제 수술도구(460)가 표시된 표시 위치를 기준할 수 있으며, 암 조작부(330)의 조작에 따라 조작되는 가상 수술도구(610)의 이동 변위는 예를 들어 조작신호에 상응하여 실제 수술도구(460)가 이동되는 실측값을 참조하여 사전에 설정될 수 있을 것이다. The virtual surgical
가상 수술도구 생성부(720)는 가상 수술도구(610)가 화면 표시부(320)를 통해 출력되도록 하기 위한 가상 수술도구 정보(예를 들어, 가상 수술도구의 표출을 위한 특성값)만을 생성할 수도 있다. 가상 수술도구 생성부(720)는 조작정보에 따 른 가상 수술도구(610)의 형상이나 위치를 결정함에 있어 앞서 설명한 특성값 연산부(710)에 의해 연산된 특성값이나 가상 수술도구(610) 표출을 위해 이용했던 직전의 특성값 등을 참조할 수도 있다. The virtual surgical
모델링 적용부(1010)는 저장부(910)에 저장된 특성 정보(즉, 신체 내부의 장기 등의 3차원 모델링 이미지의 특성 정보로서, 예를 들어 내/외부 형상, 크기, 질감, 색상, 절제시의 부위별 촉감, 절제 방향에 따라 절제된 장기의 단면 및 내부 형상 등 중 하나 이상)가 수술 환자의 장기에 정합되도록 처리한다. 수술 환자의 장기에 대한 정보는 해당 환자가 수술 이전에 촬영한 X-ray, CT 또는/및 MRI 등의 다양한 참조 영상을 이용하여 인식될 수 있고, 참조 영상에 상응하여 임의의 의료장비에서 산출된 정보 등이 더 이용될 수도 있다. The
만약 저장부에 저장된 특성 정보가 평균적인 신장의 인체 및 장기를 기준으로 생성된 것이라면, 모델링 적용부(1010)는 해당 특성 정보는 참조 영상 및/또는 관련 정보에 의해 스케일링되거나 변형될 수 있다. 또한, 해당 수술 환자의 질환 진행도(예를 들어, 간경화 말기 등)에 따라 절제시의 촉감 등에 대한 설정값이 갱신되어 적용될 수도 있다.If the characteristic information stored in the storage unit is generated based on the average human body and organ, the
조작정보 저장부(1020)는 3차원 모델링 이미지를 이용한 가상 수술 과정 동안 암 조작부(10)의 조작 이력에 대한 정보를 저장한다. 조작 이력에 대한 정보는 제어부(360) 또는/및 가상 수술도구 생성부(720)의 동작에 의해 조작정보 저장부(1020)에 저장될 수 있다. 조작정보 저장부(1020)는 임시 저장공간으로 이용되어, 수술자가 3차원 모델링 이미지에 대한 일부 수술 과정의 수정이나 취소(예를 들어, 간 절제 방향의 수정 등)시 해당 정보도 함께 저장되도록 하거나 해당 정보는 저장된 수술동작 조작이력에서 삭제되도록 할 수도 있다. 만일 수술동작 조작이력과 수정/취소 정보가 함께 저장된 경우 저장부(910)로 이동 저장될 때 수정/취소 정보가 반영된 수술동작 조작이력이 저장될 수도 있다.The manipulation
영상 해석부(1030)는 복강경(5)에 의해 입력되어 제공되는 영상을 이용하여 미리 설정된 특징 정보(예를 들어, 픽셀별 색상값, 실제 수술도구(460)의 위치좌표, 조작 형상 등 중 하나 이상)를 추출한다. The
영상 해석부(1030)에 의해 추출한 특징 정보에 의해 예를 들어 현재 표시된 장기가 무엇인지 인식될 수 있고, 수술 도중 발생된 응급 상황(예를 들어, 과다한 출혈 등)에 대한 즉각적 대응이 가능하도록 조치할 수 있도록 한다. 이를 위해, 해당 영상의 각 픽셀별 색상값을 해석한 후 피를 나타내는 색상값을 가지는 픽셀이 기준값 이상 존재하는지 여부를 판단하거나, 피를 나타내는 색상값을 가지는 픽셀들에 의해 형성되는 영역 또는 면적이 일정 크기 이상인지 여부가 판단될 수 있다. 또한, 영상 해석부(820)는 복강경(5)에 의해 입력된 영상 및 가상 수술도구(610)가 표시되는 화면 표시부(320)의 표시 화면을 캡쳐하여 각 수술도구의 위치좌표를 생성할 수도 있다. The feature information extracted by the
다시 도 9를 참조하면, 저장부(910)는 신체 내부의 장기 등의 3차원 모델링된 3차원 형상의 특성 정보(예를 들어, 내/외부 형상, 크기, 질감, 색상, 절제시의 부위별 촉감 등)를 저장한다. 또한, 저장부(910)는 수술자가 가상 모드 또는 시뮬레이션 모드에서 가상의 장기를 이용한 가상 수술을 진행하는 동안의 수술동작 이 력정보를 저장한다. 수술동작 이력정보는 상술한 바와 같이 조작정보 저장부(1020)에 저장될 수도 있다. 또한, 제어부(360) 및/또는 가상 수술도구 생성부(720)는 실제 수술과정 중 처치 요구사항이 존재하거나 가상 수술과정의 경과 정보(예를 들어, 절개면의 길이, 면적, 출혈량 등)를 조작정보 저장부(1020) 또는 저장부(910)에 더 저장할 수도 있다.Referring back to FIG. 9, the
제어부(360)는 상술한 기능이 수행될 수 있도록 각 구성 요소들의 동작을 제어한다. 이외에도 다른 실시예들에서 예시적으로 설명한 바와 같이 제어부(360)는 추가적인 다양한 기능을 더 수행할 수도 있다.The
도 11은 본 발명의 일 실시예에 따른 이력정보를 이용한 자동 수술 방법을 나타낸 순서도이다.11 is a flowchart illustrating an automatic surgery method using history information according to an embodiment of the present invention.
도 11을 참조하면, 단계 1110에서 모델링 적용부(1010)는 참조 영상 및/또는 관련 정보를 이용하여 저장부(910)에 저장된 3차원 모델링 이미지의 특성 정보를 갱신한다. 여기서, 어떤 가상 장기가 화면 표시부(320)를 통해 디스플레이될 것인지는 예를 들어 수술자에 의해 선택될 수 있다. 또한, 저장부(910)에 저장된 특성 정보는 수술 환자의 참조 영상 등에 의해 인식된 수술 환자의 장기의 실제 크기 등에 부합하도록 갱신될 수 있다.Referring to FIG. 11, in
단계 1120 및 단계 1130에서 시뮬레이션 모드(또는 가상 모드이며 이하 동일함)에서 수술자에 의한 가상 수술이 시행되고, 시행되는 가상 수술의 각 과정은 수술동작 이력정보로서 조작정보 저장부(1020) 또는 저장부(910)에 저장된다. 이 때, 수술자는 암 조작부(10) 조작을 통해 가상 장기에 대한 가상을 수술(예를 들어, 절단, 꿰맴 등)을 수행할 것이다. 또한, 실제 수술과정 중 처치 요구사항이 존재하거나 가상 수술과정의 경과 정보(예를 들어, 절개면의 길이, 면적, 출혈량 등)가 조작정보 저장부(1020) 또는 저장부(910)에 더 저장될 수도 있다.In
단계 1140에서 가상수술이 종료되었는지 판단된다. 가상수술의 종료는 예를 들어 수술자의 수술종료 명령 입력에 의해 인식될 수도 있을 것이다.In
만일 가상수술이 종료되지 않았다면 단계 1120으로 다시 진행하고, 그렇지 않은 경우에는 단계 1150으로 진행한다. If the virtual surgery has not ended, go back to
단계 1150에서 수술동작 이력 정보를 이용한 수술 시스템 제어를 위한 적용 명령이 입력되는지 여부를 판단한다. 단계 1150에 의한 적용 명령의 입력에 의해 자동 수술이 진행되기 이전에, 저장된 수술동작 이력정보가 적합한지 수술자에 의한 확인 시뮬레이션 및 보완작업이 이루어질 수도 있다. 즉, 가상모드 또는 시뮬레이션 모드에서 수술동작 이력정보에 따른 자동 수술이 진행되도록 명령하여 수술자가 자동 수술 과정을 화면상으로 확인한 후, 부족하거나 개선 사항이 존재하면 이를 보완(즉, 수술동작 이력정보의 갱신)한 후 단계 1150의 적용 명령이 입력되도록 할 수도 있다. In
만일 적용 명령이 입력되지 않았다면 단계 1150에서 대기하고, 그렇지 않은 경우에는 단계 1160으로 진행한다.If no apply command is entered, the process waits at
단계 1160에서 조작신호 생성부(340)는 저장부(910) 또는 조작정보 저장부(1020)에 저장된 수술동작 이력정보에 상응하는 조작신호들을 순차적으로 생성하 여 슬레이브 로봇(2)으로 전송한다. 슬레이브 로봇(2)은 순차적으로 조작신호에 상응하여 수술 환자에 대한 수술을 진행할 것이다. In
상술한 도 11은 수술자가 가상 수술을 시행하여 수술동작 이력정보를 저장한 후 이를 슬레이브 로봇(2)의 제어를 위해 수행하는 경우에 대한 것이다. 11 described above is for a case in which the operator performs virtual surgery to store surgical operation history information and then performs the same for controlling the
단계 1110 내지 단계 1140의 과정은 수술 환자에 대한 수술이 개시되어 완전히 종료되는 전체 수술 과정에 대한 것일 수도 있으며, 또는 일부 수술 단계의 부분 과정에 대한 것일 수도 있다. The process of
부분 과정에 대한 경우로는 예를 들어, 봉합 모션에 관한 것으로 바늘을 잡고 봉합 부위 근처에서 미리 지정된 버튼을 누르면 바늘을 꿰고 관통하여 매듭을 자동으로 묶는 과정만에 관한 것일 수도 있다. 또는 선호도에 따라 바늘을 관통하고 매듭을 묶기 전까지만 부분 과정으로 수행되도록 하고, 그 이후의 매듭 과정은 수술자가 직접 처리하도록 할 수도 있다.As for the partial process, for example, it relates to a suture motion, and may only relate to the process of stitching and penetrating the knot automatically through the needle by pressing a predetermined button near the suture site. Or, according to preference, it may be performed as a partial process only until penetrating the needle and tying the knot, and the knot process thereafter may be directly handled by the operator.
또한, 해부(dissection) 모션에 관한 예로서 제1 로봇 암과 제2 로봇 암이 절개 부위를 잡도록 하고, 수술자가 페달을 발로 밟으면 그 사이를 가위로 자르거나 모노폴라(monopolar)로 자르거나 하는 등의 처리가 부분 과정으로 자동 처리되도록 할 수도 있을 것이다. In addition, as an example of dissection motion, the first robot arm and the second robot arm are held at the incision site, and when the operator presses the pedal with the foot, scissors or a monopolar cut between them. The processing of may be automatically processed as a partial process.
이러한 경우라면, 수술동작 이력정보에 의해 자동 수술이 진행되는 도중 수술자가 지정된 행위(예를 들어 페달을 발로 밟는 동작)를 할 때까지 자동 수술이 멈춤 상태(예를 들어 잡고 있는 상태)로 유지될 수 있으며, 지정된 행위가 완료되면 다음 단계의 자동 수술이 진행되도록 할 수도 있다.In such a case, the automatic surgery may be stopped (for example, held) until the operator performs a specified action (for example, pedaling) while the automatic surgery is performed according to the operation history information. In addition, when the designated action is completed, the next step may be automatic surgery.
이와 같이, 양 손으로 조직을 계속 바꿔 잡으면서 발에 의한 조작으로 피부 등을 절개할 수 있도록 하여 보다 안전한 수술 진행이 가능해질 수 있으며, 최소한의 수술 인원만으로도 동시간에 다양한 처리가 가능해질 수도 있다.In this way, the operation of the foot can be incision while continuing to change the tissue with both hands can be a safer operation can proceed, and a variety of treatments at the same time with a minimum number of surgery may be possible. .
각 수술 동작(예를 들어 봉합(suturing), 해부(dissecting) 등의 기본 동작)을 더욱 세분화 및 통계화 하여 단위 동작으로 구분하고 각 단위동작들의 연계 동작 맵을 작성하여 표시부의 유저 인터페이스(UI)상에 선택 가능한 단위동작들이 나열되도록 할수도 있다. 이 경우, 수술자는 알맞은 단위동작을 예를 들어 스크롤, 클릭 등의 용이한 방법으로 선택하여 자동수술이 시행되도록 할 수도 있다. 어느 하나의 단위 동작이 선택되면 표시부상에는 이후 선택 가능한 단위동작들이 표시되도록 함으로써 수술자의 다음 동작 선택이 용이하도록 할 수 있으며, 이와 같은 과정을 반복함으로써 원하는 수술동작에 대한 자동수술이 시행될 수 있다. 이 때 시술자는 해당 동작을 위해 적절한 인스트루먼트의 방향 및 위치를 선정하고 자동수술이 개시 및 수행되도록 할 수 있다. 상술한 부분 동작 및/또는 단위 동작에 관한 수술동작 이력 정보는 임의의 저장부에 미리 저장되도록 할 수도 있다.Each operation operation (for example, basic operations such as suturing and dissecting) is further subdivided and statistically divided into unit operations, and a unitary operation map of each unit operations is prepared to create a user interface (UI) of the display unit. You can also list selectable unit actions on the screen. In this case, the operator may select an appropriate unit operation by an easy method such as scrolling or clicking to allow automatic surgery to be performed. When any one unit operation is selected, the display unit may display the next selectable unit operations so that the operator can easily select the next operation, and by repeating the above process, an automatic operation for a desired operation can be performed. . At this time, the operator can select the direction and position of the appropriate instrument for the operation and allow the automatic surgery to be initiated and performed. The surgical operation history information regarding the above-described partial operation and / or unit operation may be previously stored in any storage unit.
또한, 단계 1110 내지 단계 1140의 과정은 수술 진행 과정 중에 이루어질 수도 있으나, 수술 진행 이전에 미리 완료되어 상응하는 수술동작 이력정보가 저장부(910)에 저장되어 있도록 하고, 수술자는 어떤 부분 동작 또는 전체 동작을 수행하도록 할 것인지에 대한 선택 및 적용 명령의 입력만으로 해당 동작이 수행되도록 할 수도 있을 것이다.In addition, the process of
상술한 바와 같이 본 실시예는 자동수술의 수행 단계를 세분화함으로써 원 하지 않는 결과를 미연에 예방할 수 있으며, 해당 시술 대상으로서의 인체 조직이 갖는 다양한 환경을 극복할 수 있는 장점이 있다. 또한, 간단한 수술동작 또는 전형적인 수술동작의 경우에는 시술자의 판단에 따라 몇 가지 동작을 묶어서 선택 수행되도록 함으로써 선택 단계가 감소되도록 할 수도 있다. 이를 위해, 예를 들어 수술자의 콘솔 그립부위에 스크롤 또는 버튼 등 선택을 위한 인터페이스가 구성되도록 하고, 또한 보다 용이한 선택이 가능한 디스플레이 사용자 인터페이스를 구성할 수도 있을 것이다.As described above, the present embodiment can prevent unwanted results by subdividing the performing steps of automatic surgery, and has an advantage of overcoming various environments of human tissue as a target of the procedure. In addition, in the case of a simple operation or a typical operation operation, the selection step may be reduced by binding several operations according to the judgment of the operator. To this end, for example, an interface for selecting scrolls or buttons may be configured on the operator's console grip, and a display user interface may be configured for easier selection.
이와 같이, 본 실시예에 따른 수술동작 이력정보를 이용한 수술 기능은 증강현실을 이용한 자동 수술법의 일부 기능으로 사용될 수 있을 뿐아니라, 필요한 경우에는 증강현실을 이용하지 않고 자동수술을 수행할 수 있는 방법으로 사용될 수도 있을 것이다.As such, the surgical function using the surgical operation history information according to the present embodiment may not only be used as a part of the automatic surgery method using augmented reality, but also a method of performing automatic surgery without using augmented reality if necessary. It may also be used.
도 12는 본 발명의 다른 실시예에 따른 수술동작 이력정보의 갱신 과정을 나타낸 순서도이다.12 is a flowchart illustrating a process of updating surgical operation history information according to another embodiment of the present invention.
도 12를 참조하면, 단계 1210 및 단계 1220에서 시뮬레이션 모드(또는 가상 모드이며 이하 동일함)에서 수술자에 의한 가상 수술이 시행되고, 시행되는 가상 수술의 각 과정은 수술동작 이력정보로서 조작정보 저장부(1020) 또는 저장부(910)에 저장된다. 또한, 실제 수술과정 중 처치 요구사항(예를 들어, 이 존재하거나 가상 수술과정의 경과 정보(예를 들어, 절개면의 길이, 면적, 출혈량 등)가 조작정보 저장부(1020) 또는 저장부(910)에 더 저장될 수도 있다.Referring to FIG. 12, in
단계 1230에서 제어부(360)는 수술동작 이력정보에서 특이 사항이 존재하는지 여부를 판단한다. 예를 들어, 3차원 모델링 이미지를 이용한 수술자의 수술 과정에서 일부 과정의 취소나 수정이 있을 수 있으며, 수술자의 손떨림 현상에 따른 가상 수술도구의 흔들림 현상, 로봇 암(3)의 위치 이동에서 불필요한 경로 이동이 있을 수 있다.In
만약 특이 사항이 존재하는 경우에는 단계 1240에서 해당 특이 사항에 대한 처리를 수행한 후, 단계 1250으로 진행하여 수술동작 이력정보를 갱신한다. 예를 들어, 수술 과정에서 일부 과정의 취소나 수정이 있었다면 해당 과정이 실제로 슬레이브 로봇(2)에 의해 수행되지 않도록 수술동작 이력정보에서 제거되도록 처리할 수 있다. 또한, 수술자의 손떨림 현상에 따른 가상 수술도구의 흔들림 현상이 있었다면 가상 수술도구가 흔들림 없이 이동 및 조작되도록 보정함으로써 로봇 암(3)의 제어가 보다 정교해질 수 있을 것이다. 또한, 로봇 암(3)의 위치 이동에서 불필요한 경로 이동, 즉 A 위치에서 수술 조작 후 B, C 위치를 의미없이 이동한 후 D 위치에서 다른 수술 조작이 있었다면 A 위치에서 D 위치로 직접 이동한 것으로 수술동작 이력정보를 갱신하거나, A 내지 D 위치로의 이동이 곡선 근사화되도록 수술동작 이력정보를 갱신할 수도 있을 것이다.If there is an unusual feature, the process is performed in
상술한 단계 1220 및 단계 1250의 수술동작 이력정보는 동일한 저장 공간에 저장될 수도 있다. 그러나, 단계 1220의 수술동작 이력정보는 조작정보 저장부(1020)에 저장되고, 단계 1250의 수술동작 이력정보는 저장부(910)에 저장될 수 도 있다.The surgical operation history information of
또한, 상술한 단계 1230 내지 단계 1250의 특이 사항 처리 과정은 조작정보 저장부(1020) 또는 저장부(910)에 수술동작 이력정보가 저장되는 시점에서 처리되도록 하거나, 조작신호 생성부(340)에 의한 조작신호 생성 및 전송 이전에 처리되도록 할 수도 있을 것이다.In addition, the above-described uniqueness processing of
도 13은 본 발명의 또 다른 실시예에 따른 이력정보를 이용한 자동 수술 방법을 나타낸 순서도이다.13 is a flowchart illustrating an automatic surgery method using history information according to another embodiment of the present invention.
도 13을 참조하면, 단계 1310에서 조작신호 생성부(340)는 저장부(910) 또는 조작정보 저장부(1020)에 저장된 수술동작 이력정보에 상응하는 조작신호들을 순차적으로 생성하여 슬레이브 로봇(2)으로 전송한다. 슬레이브 로봇(2)은 순차적으로 조작신호에 상응하여 수술 환자에 대한 수술을 진행할 것이다.Referring to FIG. 13, in
단계 1310에서 제어부(360)는 조작신호 생성부(340)에 의한 조작신호의 생성 및 전송이 완료되었는지 또는 수술자에 의한 중지명령이 입력되었는지 여부를 판단한다. 예를 들어 수술자는 가상 수술에서의 상황과 슬레이브 로봇(2)에 의해 실제로 이루어지는 수술 상황이 상이한 경우, 응급 상황이 발생한 경우 등에서 중지 명령을 입력할 수 있을 것이다.In
만일 전송완료 또는 중지명령이 입력되지 않았다면 단계 1310으로 다시 진행하고, 그렇지 않은 경우에는 단계 1330으로 진행한다.If no transfer completion or stop command is input, the process proceeds to step 1310 again. Otherwise, the process proceeds to step 1330.
단계 1330에서 마스터 로봇(1)은 암 조작부(330) 등 중 하나 이상을 이용한 사용자 조작이 입력되는지 여부를 판단한다. In
사용자 조작이 입력된 경우에는 단계 1340으로 진행하고, 그렇지 않은 경우에는 단계 1330에서 대기한다.If a user operation is input, the process proceeds to step 1340, otherwise, the operation waits in
단계 1340에서 마스터 로봇(1)은 사용자 조작에 따른 조작신호를 생성하여 슬레이브 로봇(2)으로 전송한다.In
상술한 도 13은 이력정보를 이용하여 수술의 전체 과정 또는 부분 과정이 자동 진행되는 도중에 수술자가 중지명령을 입력하여 수동 조작을 수행한 후 다시 자동 수술이 진행되도록 할 수도 있다. 이 경우, 수술자는 저장부(910) 또는 조작정보 저장부(1020)에 저장된 수술동작 이력정보를 화면 표시부(320)에 출력한 후 수동 조작을 수행한 부분 또는/및 삭제가 필요한 부분을 삭제한 후 이후의 과정에 대해 단계 1310부터 다시 진행되도록 할 수도 있을 것이다.13 described above may also allow the operator to perform an automatic operation again after performing a manual operation by inputting a stop command while the entire process or the partial process of the operation is automatically performed using the history information. In this case, the operator outputs surgical operation history information stored in the
도 14는 본 발명의 또 다른 실시예에 따른 수술 경과 모니터링 방법을 나타낸 순서도이다.14 is a flow chart showing a surgical progress monitoring method according to another embodiment of the present invention.
도 14를 참조하면, 단계 1410에서 조작신호 생성부(340)는 수술동작 이력정보에 따른 조작신호를 순차적으로 생성하여 슬레이브 로봇(2)으로 전송한다.Referring to FIG. 14, in
단계 1420에서 마스터 로봇(1)은 슬레이브 로봇(2)으로부터 복강경 영상을 수신한다. 수신된 복강경 영상은 화면 표시부(320)를 통해 출력될 것이며, 복강경 영상 내에는 수술 부위와 순차적으로 전송되는 조작신호에 따라 실제 수술도구(460)가 제어되는 모습이 포함될 것이다.In
단계 1430에서 마스터 로봇(1)의 영상 해석부(1030)는 수신된 복강경 영상을 해석한 해석정보를 생성한다. 해석정보에는 예를 들어, 장기가 절개된 경우 절개면의 길이, 면적이나 출혈량 등에 대한 정보가 포함될 수 있을 것이다. 절개면의 길이나 면적은 예를 들어 복강경 영상 내부의 피사체에 대한 외곽선 추출 등의 영상 인식 기술을 통해 해석될 수 있고, 출혈량 등은 해당 영상의 픽셀별 색상값을 연산하고 분석 대상이 되는 픽셀값들의 영역이나 면적 등을 분석함으로써 해석될 수 있다. 영상 인식 기술에 의한 영상 해석은 예를 들어 특성값 연산부(710)에 의해 수행될 수도 있을 것이다. In
단계 1440에서 제어부(360) 또는 영상 해석부(1030)는 가상 수술과정에서 생성되어 저장부(910)에 저장된 경과 정보(예를 들어, 절개면의 길이, 면적, 형상, 출혈량 등)와 단계 1430을 통해 생성된 해석 정보를 비교한다.In
단계 1450에서 경과 정보와 해석 정보가 오차값 범위 내에서 일치하는지 여부를 판단한다. 오차값은 예를 들어 각 비교 항목별로 일정 비율이나 차이값으로 미리 지정될 수 있다.In
만일 오차값 범위 내에서 일치한다면 단계 1410으로 진행하여 상술한 과정을 반복하여 수행한다. 물론, 앞서 설명한 바와 같이 수술자의 중지 명령 등에 의해 자동 수술 과정이 중지될 수도 있음은 당연하다.If the error value is within the range, the process proceeds to step 1410 to repeat the above process. Of course, the automatic surgical process may be stopped by the operator's stop command as described above.
그러나 만일 오차값 범위 내에서 일치하지 않는 경우라면, 단계 1460으로 진행하여 제어부(360)는 수술동작 이력정보에 따른 조작신호가 생성 및 전송이 중지되도록 제어하고, 또한 화면 표시부(320) 및/또는 스피커부를 통해 알람 정보를 출력한다. 수술자는 출력되는 알람 정보에 의해 응급 상황 또는 가상 수술과 상이한 상황의 발생을 인식한 후 즉시적 조치가 가능할 수 있다.However, if it does not match within the error value range, the flow proceeds to step 1460 and the
상술한 이력정보를 이용한 수술 로봇 시스템의 제어 방법은 소프트웨어 프로그램 등으로 구현될 수도 있다. 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.The control method of the surgical robot system using the above-described history information may be implemented as a software program. Codes and code segments constituting a program can be easily inferred by a computer programmer in the art. The program is also stored in a computer readable media, and read and executed by a computer to implement the method. The information storage medium includes a magnetic recording medium, an optical recording medium and a carrier wave medium.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the appended claims. It will be understood that the invention may be varied and varied without departing from the scope of the invention.
도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도.1 is a plan view showing the overall structure of a surgical robot according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도. 2 is a conceptual diagram showing a master interface of a surgical robot according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 마스터 로봇과 슬레이브 로봇의 구성을 개략적으로 나타낸 블록 구성도.Figure 3 is a block diagram schematically showing the configuration of a master robot and a slave robot according to an embodiment of the present invention.
도 4a는 본 발명의 일 실시예에 따른 수술 로봇 시스템의 구동모드를 예시한 도면.Figure 4a is a diagram illustrating a driving mode of the surgical robot system according to an embodiment of the present invention.
도 4b는 본 발명의 일 실시예에 따른 실행중인 구동모드를 나타내는 모드 표시자를 예시한 도면.4B illustrates a mode indicator indicative of a running drive mode in accordance with one embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 제1 모드와 제2 모드의 구동모드 선택 과정을 나타낸 순서도.5 is a flowchart illustrating a driving mode selection process of a first mode and a second mode according to an embodiment of the present invention.
도 6은 본 발명의 일 실시예에 따른 제2 모드에서 모니터부를 통해 출력되는 화면 표시의 예시도.6 is an exemplary view of a screen display output through the monitor unit in the second mode according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 따른 증강현실 구현부의 세부 구성을 나타낸 도면.7 is a view showing a detailed configuration of the augmented reality implementation unit according to an embodiment of the present invention.
도 8은 본 발명의 다른 실시예에 따른 증강현실 구현부의 세부 구성을 나타낸 도면.8 is a view showing a detailed configuration of the augmented reality implementation unit according to another embodiment of the present invention.
도 9는 본 발명의 또 다른 실시예에 따른 마스터 로봇과 슬레이브 로봇의 구성을 개략적으로 나타낸 블록 구성도.Figure 9 is a block diagram schematically showing the configuration of a master robot and a slave robot according to another embodiment of the present invention.
도 10은 본 발명의 또 다른 실시예에 따른 증강현실 구현부(350)의 세부 구성을 나타낸 도면.10 is a view showing a detailed configuration of the augmented
도 11은 본 발명의 일 실시예에 따른 이력정보를 이용한 자동 수술 방법을 나타낸 순서도.11 is a flowchart illustrating an automatic surgery method using history information according to an embodiment of the present invention.
도 12는 본 발명의 다른 실시예에 따른 수술동작 이력정보의 갱신 과정을 나타낸 순서도.12 is a flowchart illustrating a process of updating surgical operation history information according to another embodiment of the present invention.
도 13은 본 발명의 또 다른 실시예에 따른 이력정보를 이용한 자동 수술 방법을 나타낸 순서도.Figure 13 is a flow chart showing an automatic surgery method using history information according to another embodiment of the present invention.
도 14는 본 발명의 또 다른 실시예에 따른 수술 경과 모니터링 방법을 나타낸 순서도.14 is a flow chart showing a surgical progress monitoring method according to another embodiment of the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
1, 1a, 1b: 마스터 로봇 2: 슬레이브 로봇1, 1a, 1b: master robot 2: slave robot
3: 로봇 암 4: 마스터 인터페이스3: robot arm 4: master interface
5: 복강경 6: 모니터부5: Laparoscope 6: Monitor
10: 핸들 14: 클러치 버튼10: handle 14: clutch button
310: 영상 입력부 320: 화면 표시부310: image input unit 320: screen display unit
330: 암 조작부 340: 조작신호 생성부330: arm operation unit 340: operation signal generation unit
350: 증강현실 구현부 360: 제어부350: augmented reality implementation unit 360: control unit
710: 특성값 연산부 720: 가상 수술도구 생성부710: characteristic value calculator 720: virtual surgical tool generation unit
730: 테스트 신호 처리부 740: 지연시간 산출부730: test signal processing unit 740: delay time calculation unit
810: 간격 연산부 820: 영상 해석부810: interval computing unit 820: image analysis unit
1010: 모델링 적용부 1020: 조작정보 저장부1010: modeling application unit 1020: operation information storage unit
1030: 영상 해석부1030: image analysis unit
Claims (21)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090080202A KR100956762B1 (en) | 2009-08-28 | 2009-08-28 | Surgical robot system using history information and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090080202A KR100956762B1 (en) | 2009-08-28 | 2009-08-28 | Surgical robot system using history information and control method thereof |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090043756A Division KR101114226B1 (en) | 2009-03-24 | 2009-05-19 | Surgical robot system using history information and control method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100956762B1 true KR100956762B1 (en) | 2010-05-12 |
Family
ID=42281529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090080202A KR100956762B1 (en) | 2009-08-28 | 2009-08-28 | Surgical robot system using history information and control method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100956762B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102614019A (en) * | 2010-12-17 | 2012-08-01 | 伊顿株式会社 | Surgical robot system and adaptive control method thereof |
WO2014139019A1 (en) * | 2013-03-15 | 2014-09-18 | Synaptive Medical (Barbados) Inc. | System and method for dynamic validation, correction of registration for surgical navigation |
US9687301B2 (en) | 2012-08-07 | 2017-06-27 | Samsung Elecronics Co., Ltd. | Surgical robot system and control method thereof |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030179308A1 (en) * | 2002-03-19 | 2003-09-25 | Lucia Zamorano | Augmented tracking using video, computed data and/or sensing technologies |
US20070021738A1 (en) * | 2005-06-06 | 2007-01-25 | Intuitive Surgical Inc. | Laparoscopic ultrasound robotic surgical system |
US20090088773A1 (en) * | 2007-09-30 | 2009-04-02 | Intuitive Surgical, Inc. | Methods of locating and tracking robotic instruments in robotic surgical systems |
US20090088634A1 (en) * | 2007-09-30 | 2009-04-02 | Intuitive Surgical, Inc. | Tool tracking systems and methods for image guided surgery |
-
2009
- 2009-08-28 KR KR1020090080202A patent/KR100956762B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030179308A1 (en) * | 2002-03-19 | 2003-09-25 | Lucia Zamorano | Augmented tracking using video, computed data and/or sensing technologies |
US20070021738A1 (en) * | 2005-06-06 | 2007-01-25 | Intuitive Surgical Inc. | Laparoscopic ultrasound robotic surgical system |
US20090088773A1 (en) * | 2007-09-30 | 2009-04-02 | Intuitive Surgical, Inc. | Methods of locating and tracking robotic instruments in robotic surgical systems |
US20090088634A1 (en) * | 2007-09-30 | 2009-04-02 | Intuitive Surgical, Inc. | Tool tracking systems and methods for image guided surgery |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102614019A (en) * | 2010-12-17 | 2012-08-01 | 伊顿株式会社 | Surgical robot system and adaptive control method thereof |
CN106214262A (en) * | 2010-12-17 | 2016-12-14 | 伊顿株式会社 | Surgical robot system and self-adaptation control method thereof |
CN106214262B (en) * | 2010-12-17 | 2019-02-01 | 伊顿株式会社 | Surgical robot system and its self-adaptation control method |
US9687301B2 (en) | 2012-08-07 | 2017-06-27 | Samsung Elecronics Co., Ltd. | Surgical robot system and control method thereof |
WO2014139019A1 (en) * | 2013-03-15 | 2014-09-18 | Synaptive Medical (Barbados) Inc. | System and method for dynamic validation, correction of registration for surgical navigation |
US10799316B2 (en) | 2013-03-15 | 2020-10-13 | Synaptive Medical (Barbados) Inc. | System and method for dynamic validation, correction of registration for surgical navigation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2019352792B2 (en) | Indicator system | |
JP7195385B2 (en) | Simulator system for medical procedure training | |
US20110306986A1 (en) | Surgical robot system using augmented reality, and method for controlling same | |
KR101108927B1 (en) | Surgical robot system using augmented reality and control method thereof | |
Freschi et al. | Technical review of the da Vinci surgical telemanipulator | |
KR101720047B1 (en) | Virtual measurement tool for minimally invasive surgery | |
US20100167249A1 (en) | Surgical training simulator having augmented reality | |
KR20120087806A (en) | Virtual measurement tool for minimally invasive surgery | |
KR101447931B1 (en) | Surgical robot system using augmented reality and control method thereof | |
US20210369354A1 (en) | Navigational aid | |
KR20120098342A (en) | Master robot, surgical robot system using thereof, control method thereof, and recording medium thereof | |
US20240046589A1 (en) | Remote surgical mentoring | |
KR101114226B1 (en) | Surgical robot system using history information and control method thereof | |
KR100957470B1 (en) | Surgical robot system using augmented reality and control method thereof | |
KR101114232B1 (en) | Surgical robot system and motion restriction control method thereof | |
KR100956762B1 (en) | Surgical robot system using history information and control method thereof | |
US20220273368A1 (en) | Auto-configurable simulation system and method | |
KR20110047929A (en) | Surgical robot system and motion restriction control method thereof | |
EP4255335A1 (en) | Interaction between user-interface and master controller |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130430 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20140430 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20160405 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20170328 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20180403 Year of fee payment: 9 |