WO2010093152A2 - 수술 로봇 시스템 및 그 제어 방법 - Google Patents

수술 로봇 시스템 및 그 제어 방법 Download PDF

Info

Publication number
WO2010093152A2
WO2010093152A2 PCT/KR2010/000761 KR2010000761W WO2010093152A2 WO 2010093152 A2 WO2010093152 A2 WO 2010093152A2 KR 2010000761 W KR2010000761 W KR 2010000761W WO 2010093152 A2 WO2010093152 A2 WO 2010093152A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
robot
surgical
rotated
control
Prior art date
Application number
PCT/KR2010/000761
Other languages
English (en)
French (fr)
Other versions
WO2010093152A3 (ko
Inventor
최승욱
원종석
이민규
장배상
이우정
Original Assignee
주식회사 래보
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 래보 filed Critical 주식회사 래보
Priority to CN201080007445.2A priority Critical patent/CN102438795B/zh
Priority to US13/144,427 priority patent/US20110276058A1/en
Publication of WO2010093152A2 publication Critical patent/WO2010093152A2/ko
Publication of WO2010093152A3 publication Critical patent/WO2010093152A3/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39389—Laparoscopic surgery, camera on center of operated part, view around, scale
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40168—Simulated display of remote site, driven by operator interaction
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40195—Tele-operation, computer assisted manual operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45123—Electrogoniometer, neuronavigator, medical robot used by surgeon to operate

Definitions

  • the present invention relates to surgery, and more particularly, to a surgical robot and a control method thereof.
  • Surgical robot refers to a robot having a function that can replace a surgical operation performed by a surgeon. Such a surgical robot has the advantage of being capable of accurate and precise operation and remote surgery compared to humans.
  • Surgical robots currently being developed worldwide include bone surgery robots, laparoscope surgery robots, and stereotactic surgery robots.
  • the laparoscopic surgical robot is a robot that performs minimally invasive surgery using a laparoscope and a small surgical tool.
  • Laparoscopic surgery is an advanced surgical technique that involves surgery after inserting a laparoscope, an endoscope that looks into the belly and drills a hole about 1 cm in the navel area.
  • Recent laparoscopic is equipped with a computer chip to obtain a clearer and enlarged image than the naked eye, and has been developed so that any operation can be performed using specially designed laparoscopic surgical instruments while viewing the screen through the monitor.
  • laparoscopic surgery has the same range of surgery as laparotomy, but has fewer complications than laparotomy, and can start treatment much faster after the procedure, and it has the advantage of maintaining the stamina or immune function of the patient. have.
  • laparoscopic resection surgery is increasingly recognized as a standard surgery in the US and Europe.
  • Laparoscopic surgery however, has a difficult problem such that the procedure itself cannot be operated by touching the hand with laparoscopic surgical instruments, two-dimensional images and mirror images, which are not familiar to the conventional laparotomy.
  • the present invention is to provide a surgical robot system and a method of controlling the display screen through the surgical monitor during surgery, such as laparoscope can be suitably controlled to the operator's intention to eliminate the intuition of the surgical process.
  • the present invention is to provide a surgical robot system and a method of controlling the robot arm to control the display screen through the surgical monitor to enable the intuitive and smooth operation of the operator.
  • an interface mounted on a master robot for controlling a slave robot including two or more robot arms, each of which is equipped with a surgical tool, an image input from a surgical endoscope
  • a screen display unit for displaying an image image corresponding to a signal, two or more arm operating units provided for controlling two or more robot arms respectively, and controlling the image image to be rotated or inverted in a predetermined direction according to a user's operation and displayed.
  • a master interface of a surgical robot is provided that includes a control unit for controlling a control condition of the robot arm to be updated to conform to the rotated or inverted image image.
  • the surgical endoscope may be one or more of laparoscopy, thoracoscopic, arthroscopy, and parenteral.
  • the master interface generates an operation signal according to a user's operation on the arm operation unit and transmits it to the slave robot, and adjusts the position of one or more of the robot arm and the surgical tool and changes the arm operation unit corresponding to each robot arm to update the control condition. It may further include an operation signal generation unit for generating an operation signal for one or more of the transmission to the slave robot.
  • the manipulation signal generator may change the arm manipulation unit according to display-based instrument control.
  • the display-based surgical tool control is updated so that the surgical tool located on the right side of the rotated image is operated by the arm operating unit located on the right side of the operator, and the surgical tool located on the left side is operated by the arm operating unit located on the left side of the operator.
  • the operation signal can be generated.
  • the manipulation signal generator may generate a manipulation signal for positioning one or more of the robot arm and the surgical tool in a predetermined direction regardless of whether the image image is rotated with respect to the user manipulation for position adjustment.
  • the manipulation signal generator may generate a manipulation signal for positioning the surgical tool in the image image in accordance with the rotation angle of the image image.
  • the user operation may be an operation by a user voice
  • the controller may control the image image to be rotated in a predetermined direction after receiving and recognizing and interpreting the user voice.
  • the controller may calculate a rotation angle by an instrument-based display control and control the image image to be rotated and displayed to correspond to the calculated rotation angle.
  • Surgical tool-based display control is for calculating the angle of rotation such that the two surgical instruments form a hypothetical trapezoid or rectangle with hypotenuses and then the upper or lower side of the trapezoid or rectangle is parallel to the horizontal plane of the display screen within the margin of error. Can be.
  • the master interface may further include a screen rotation manipulation unit to receive a user manipulation for rotating the image image in a predetermined direction.
  • the image image may be displayed by rotating by a predetermined rotation angle in proportion to the number of operations of the screen rotation manipulation unit.
  • the image image may be rotated and displayed in a predetermined rotational direction at a constant rotational speed for a continuous operation holding time of the screen rotation manipulation unit.
  • the screen rotation manipulation unit may be any one of a pedal, a clutch button, and a voice recognition device.
  • the controller may calculate the rotation angle of the image image by recognizing the extension direction of the robot arm using the sensing value by each position detection sensor. In this case, the controller can calculate the rotation angle so that the front side of the robot arm in the extending direction is positioned in a predetermined direction (for example, upward) on the display screen.
  • the controller may analyze the image photographed by the camera provided in the ceiling and calculate a rotation angle of the image image by using the recognized extension direction of the robot arm.
  • one or more paints of a predetermined color and a predetermined material may be applied to any one of the entire region, the upper region and the plurality of places of the robot arm.
  • the surgical endoscope may be controlled to rotate about its extended direction so that the rotated image image is displayed in accordance with the rotation angle.
  • the controller may control to further display a direction indicator indicating information according to the rotation of the image image through the screen display unit.
  • the direction indicator may be composed of one or more characters indicating a direction, a three-dimensional figure rotated in accordance with the rotation of the image image, an expanded view of a three-dimensional figure including one or more blocks, a compass, and the like.
  • the controller may control to display one or more of a direction indicator, a warning message, and cautionary information through the screen display unit.
  • the inversion of the image image may be any of left and right inversion or up and down inversion, and the attentional information may be a border image of a predetermined color for the image image.
  • the slave robot and the master robot may be integrally integrated.
  • a control method of a surgical robot system performed in a master robot for controlling a slave robot including two or more robot arms, each of which is equipped with a surgical tool, corresponding to an image signal input from the surgical endoscope Displaying an image image, receiving an operation command for instructing rotation or inversion of the image image, and controlling the image image to be displayed by being rotated or inverted in a predetermined direction according to the operation command,
  • a control method of a surgical robotic system includes controlling a control condition of a robotic arm to be updated to conform to an image image.
  • the controlling of the control condition of the robot arm to be updated may include generating an operation signal for at least one of adjusting the position of at least one of the robot arm and a surgical tool and changing an arm operation unit corresponding to each of the robot arms; It may include the step of transmitting to the slave robot.
  • Changing the arm control unit may be performed according to display-based instrument control.
  • the display-based surgical tool control updates the surgical tool located on the right side in the rotated image to be manipulated by the arm operator located on the right side of the operator and the surgical tool located on the left side operated by the arm operator located on the left side of the operator. It may be.
  • An operation signal may be generated to allow one or more of the robot arm and the surgical tool to be adjusted in a predetermined direction with respect to the user's operation for adjusting the position regardless of whether the image image is rotated.
  • the position adjustment may be such that the surgical tool is rotated and positioned within the image image in accordance with the rotation angle of the image image.
  • the rotation angle of the image image may be determined in proportion to the number of inputs of the operation command. Alternatively, the rotation angle of the image image may be determined in proportion to the continuous input holding time of the operation command.
  • the step of receiving an operation command may include receiving a user voice and generating an operation command by recognizing and interpreting the input user voice.
  • the operation command may be input through any one of a pedal, a clutch button, and a voice recognition device.
  • the surgical endoscope may be one or more of laparoscopy, thoracoscopic, arthroscopy, and parenteral.
  • the rotation angle may be calculated as a value such that the front of the extension direction of the one or more robot arms is positioned in a predetermined direction (eg, upward) on the display screen.
  • the step of receiving an operation command includes receiving an image photographed by a camera provided in the ceiling, and rotating the image image or rotating the endoscope using the extension direction of the recognized robot arms by interpreting the input image. Comprising the step of calculating the rotation angle for receiving, and receiving the calculated rotation angle as an operation command.
  • one or more paints of a predetermined color and a predetermined material may be applied to any one of the entire region, the upper region and the plurality of places of the robot arm.
  • the surgical endoscope can be rotated about its extended direction so that the rotated image image is displayed in accordance with the rotation angle.
  • the direction indicator indicating the information according to the rotation of the image image may be controlled to be displayed.
  • the direction indicator may be composed of one or more characters indicating a direction, a three-dimensional figure rotated in accordance with the rotation of the image image, an expanded view of a three-dimensional figure including one or more blocks, and a compass.
  • one or more of a direction indicator, a warning message, and caution information may be further displayed.
  • the inversion of the image image may be any of left and right inversion or up and down inversion, and the attentional information may be a border image of a predetermined color for the image image.
  • a control method of a surgical robot system performed in a master robot for controlling a slave robot including two or more robot arms, each of which is equipped with a surgical tool, corresponding to the image signal input from the surgical endoscope Displaying an image image, calculating a rotation angle by an instrument-based display control, and controlling the image image to be rotated and displayed according to the calculated rotation angle.
  • a control method of a surgical robot system is provided.
  • Surgical tool-based display control is for calculating the angle of rotation such that the two surgical instruments form a hypothetical trapezoid or rectangle with hypotenuses and then the upper or lower side of the trapezoid or rectangle is parallel to the horizontal plane of the display screen within the margin of error. Can be.
  • the surgical endoscope may be one or more of laparoscopy, thoracoscopic, arthroscopy, and parenteral.
  • the surgical endoscope may be controlled to rotate about its extended direction so that the rotated image image is displayed in accordance with the rotation angle.
  • the display screen through the surgical monitor during surgery can be controlled to suit the intention of the operator to remove the intuition of the surgical process.
  • FIG. 1 is a plan view showing the overall structure of a surgical robot according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram showing a master interface of a surgical robot according to an embodiment of the present invention.
  • Figure 3 is a block diagram schematically showing the configuration of a master robot and a slave robot according to an embodiment of the present invention.
  • FIG. 4 is an exemplary view of a screen display showing a display mode adjustment process of an image image according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a method of operating an arm operating unit performed with reference to an unrotated original image image according to an embodiment of the present invention.
  • 6 and 7 are diagrams each illustrating a method of operating the arm operation unit performed with reference to the image image rotated 180 degrees according to the prior art.
  • FIG. 8 is a diagram illustrating a method of operating an arm manipulation unit performed with reference to an image image rotated 180 degrees according to an embodiment of the present invention.
  • 9 to 12 illustrate a method of displaying a direction indicator according to rotation of an image image according to each embodiment of the present invention.
  • 13 to 14 illustrate a method of displaying attention information according to inversion of an image image according to each embodiment of the present invention.
  • 15 is a flowchart illustrating a display screen control method according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the present invention is a technical idea that can be used universally in surgery that is used for surgical endoscopes (eg, laparoscopic, thoracoscopic, arthroscopy, parenteral, etc.)
  • surgical endoscopes eg, laparoscopic, thoracoscopic, arthroscopy, parenteral, etc.
  • laparoscope e.g., laparoscopic, thoracoscopic, arthroscopy, parenteral, etc.
  • FIG. 1 is a plan view showing the overall structure of a surgical robot according to an embodiment of the present invention
  • Figure 2 is a conceptual diagram showing a master interface of a surgical robot according to an embodiment of the present invention.
  • the laparoscopic surgical robot system includes a slave robot 2 performing surgery on a patient lying on an operating table and a master robot 1 remotely controlling the slave robot 2. do.
  • the master robot 1 and the slave robot 2 do not necessarily have to be separated into separate devices that are physically independent, but can be integrated into one unit and constituted in one piece.
  • the master interface 4 is connected to the interface part of the integrated robot. Can correspond.
  • the master interface 4 of the master robot 1 includes a monitor 6, a handle 10 and a display screen control button.
  • the display screen control button may be implemented in the form of a clutch button 14 or a pedal 30, and the clutch button 14 and the pedal when the same function is performed by the clutch button 14 and the pedal 30. Only one of the 30 may be included in the master interface 4.
  • the slave robot 2 comprises a robot arm 3 and a laparoscope 5.
  • the master interface 4 is provided with two handles 10 so that the operator can be gripped and manipulated by both hands, and the operation signal according to the operation of the operator's handle 10 is transmitted to the slave robot 2 so that the robot arm ( 3) is controlled.
  • the monitor 6 of the master interface 4 displays an image input by the laparoscope 5 as an image image.
  • the monitor 6 may additionally display a patient's ECG graph or the like as illustrated.
  • the image image displayed on the monitor 6 can be controlled to be rotated and displayed by a predetermined rotational angle in a clockwise or counterclockwise direction by a display screen control button operation by an operator.
  • the laparoscopic 5 receives an image at a fixed position and transmits the image to the master interface 4, the operator's surgical direction and the image image for the surgical site do not point in the same direction, so the operator does not have an intuitive image image. It is intended to eliminate the inconvenience of proceeding with the reference.
  • the display direction may be controlled to rotate in a clockwise or counterclockwise direction by the operation of the pedal 30.
  • the position or function of the robot arm 3 is adjusted to correspond to the operator's intuitive operation. You can make it possible.
  • the operator manipulates the display screen control button so that the image image is deformed (for example, rotated by a certain angle) into a desired display form and displayed. It has features to make it possible.
  • the position and function of the robot arm 3 of the slave robot 2 also has a feature that can be adjusted so that the operator can intuitively recognize.
  • the slave robot 2 and the master robot 1 may be coupled to each other through a wired communication network or a wireless communication network so that an operation signal or the like may be transmitted to the counterpart. If two operation signals by the two handles 10 provided in the master interface 4 and / or operation signals for adjusting the position of the laparoscope 5 need to be transmitted at the same time and / or at a similar point in time.
  • Each operation signal may be independently transmitted to the slave robot 2.
  • each operation signal is 'independently' transmitted, it means that the operation signals do not interfere with each other and one operation signal does not affect the other signal.
  • each operation signal in order to transmit the plurality of operation signals independently of each other, in the generation step of each operation signal, header information for each operation signal is added and transmitted, or each operation signal is transmitted in the generation order thereof, or Various methods may be used such as prioritizing each operation signal in advance and transmitting the operation signal accordingly.
  • the transmission path through which each operation signal is transmitted may be provided independently so that interference between each operation signal may be fundamentally prevented.
  • the robot arm 3 of the slave robot 2 can be implemented to be driven with multiple degrees of freedom.
  • the robot arm 3 includes, for example, a surgical instrument inserted into a surgical site of a patient, a rocking drive unit for rotating the surgical instrument in the yaw direction according to the surgical position, and a pitch direction perpendicular to the rotational drive of the rocking drive unit. It comprises a pitch drive unit for rotating the surgical instruments, a transfer drive for moving the surgical instruments in the longitudinal direction, a rotation drive for rotating the surgical instruments, a surgical instrument drive unit installed on the end of the surgical instruments to cut or cut the surgical lesion Can be.
  • the configuration of the robot arm 3 is not limited thereto, and it should be understood that this example does not limit the scope of the present invention.
  • the actual control process such as the operator rotates the robot arm 3 in the corresponding direction by operating the handle 10 is somewhat distanced from the subject matter of the present invention, so a detailed description thereof will be omitted.
  • One or more slave robots 2 may be used to operate the patient, and the laparoscope 5 for allowing the surgical site to be displayed as an image image through the monitor 6 may be implemented as an independent slave robot 2. have.
  • FIG. 3 is a block diagram schematically showing the configuration of a master robot and a slave robot according to an embodiment of the present invention
  • Figure 4 is a screen display showing a display mode adjustment process of the image image according to an embodiment of the present invention
  • FIG 5 is a view illustrating a method of operating an arm control unit performed by referring to an unrotated original image image according to an embodiment of the present invention
  • FIGS. 6 and 7 are rotated 180 degrees according to the prior art
  • FIG. 8 is a view illustrating an operation method of the arm operation unit performed with reference to an image image
  • FIG. 8 is a view illustrating an operation method of the arm operation unit performed with reference to an image image rotated 180 degrees according to an embodiment of the present invention. to be.
  • the master robot 1 controls the image input unit 310, the screen display unit 320, the arm operation unit 330, the operation signal generation unit 340, the screen rotation operation unit 350, and the control unit 360.
  • the slave robot 2 comprises a robot arm 3 and a laparoscope 5.
  • the image input unit 310 receives an image input through a camera provided in the laparoscope 5 of the slave robot 2 through a wired or wireless communication network.
  • the screen display unit 320 outputs an image image corresponding to the image received through the image input unit 310 as visual information.
  • the screen display unit 320 may be implemented in the form of a monitor 6 or the like, and an image processing process for outputting a received image as an image image through the screen display unit 320 may include a controller 360 or an image processor (not shown). May not be used).
  • the arm manipulation unit 330 is a means for allowing the operator to manipulate the position and function of the robot arm 3 of the slave robot 2.
  • the arm manipulation unit 330 may be formed in the shape of a handle as illustrated in FIG. 2, but the shape is not limited thereto and may be modified in various shapes for achieving the same purpose. Further, for example, some may be formed in the shape of a handle and others may be formed in another shape such as a clutch button.
  • the arm operation unit 330 may be provided with a clutch button 14, and the clutch button 14 may be set to function as a display screen control button.
  • the clutch button 14 may be a laparoscopic 5 ) And / or function to adjust the image input angle.
  • the operation signal generation unit 340 generates a corresponding operation signal when the operating unit manipulates the arm operation unit 330 to move the robot arm 3 and / or the laparoscope 5 or perform the operation for the operation. Transfer to the robot (2).
  • the manipulation signal may be transmitted and received through a wired or wireless communication network.
  • the screen rotation manipulation unit 350 is a means for the operator to receive a command from the operator to rotate the image image clockwise or counterclockwise when the image image output through the screen display unit 320 is displayed non-intuitively.
  • an image image rotated by a predetermined rotation angle for example, 15 degrees, 90 degrees, 180 degrees, etc.
  • a predetermined rotation angle for example, 15 degrees, 90 degrees, 180 degrees, etc.
  • the operator will typically control the image image to be rotated in units of 180 degrees (ie, rotation between (a) and (c) shown in FIG. 4), but the rotation angle for rotating the image image is limited thereto. Not be readily understood when referring to FIG. 4.
  • control conditions of the robot arm may be automatically updated so that each of the robot arms 3 is controlled by the appropriate arm operating unit 330 at each time the image image is rotated, but the robot arm 3 according to the rotation of the image image Since the matching relationship between the arm operating unit 330 may not be intuitively clear to the operator, the control condition may be updated at the operator's designation (for example, click of a switch button).
  • the image image is continuously rotated and displayed in a predetermined rotational direction during the time for maintaining the operation on the screen rotation operation unit 350 (for example, during the time when the pedal 30 is pressed), and the operation ends. If so, the image image of the rotation angle rotated up to that point may be displayed on the screen display unit 320.
  • the position or function of the robot arm 3 may be adjusted to correspond to the operator's intuitive operation.
  • the surgical site and the surgical tool would be rotated and displayed by a certain rotational angle (eg, 180 degrees), as illustrated in FIG. 4.
  • the surgical tool 410 is always in a constant position (for example, FIG. 4A) so that the operator can intuitively recognize what the arm manipulation unit 330 for controlling each surgical tool 410 is.
  • the position of the surgical instrument shown This allows the position of the robot arm or / and the surgical tool 410 to be controlled to correspond to the angle at which the image image displayed on the screen display 320 is rotated so that the surgical tool 410 located on the right side of the display screen is always operated by the operator. Can be operated with the right hand.
  • the surgical tool operated by the operator's right hand as the surgical tool 410 located on the right side in the previous image image display state is present.
  • the non-intuitive operation may be performed at the left side.
  • the control authority of the surgical instruments located on the right and left sides of the image may be adjusted based on the displayed image, so that the surgical instruments located on the right side of the image may be adjusted by the operator's right hand at all times.
  • the same effect can be predicted by only changing the control authority for each robot arm 3 without the need for controlling the position of the robot arm 3 as compared with the method of previously moving the surgical tool to match the rotation angle of the image image. It becomes possible.
  • the screen rotation manipulation unit 350 may be implemented, for example, in the form of a clutch button 14, a pedal 30, and the like, but is not limited thereto.
  • the screen rotation manipulation unit 350 may receive the operator's voice and interpret the input voice to rotate and display the image image in a clockwise or counterclockwise direction.
  • a voice recognition technology may be used to interpret the operator's voice.
  • the controller 360 controls the operation of each component so that the above-described function can be performed.
  • the controller 360 may perform a function of converting an image input through the image input unit 310 into an image image to be displayed through the screen display unit 320.
  • the controller 360 controls the image image input through the screen display unit 320 to be rotated and displayed in a clockwise or counterclockwise direction.
  • the control unit 360 may control the position of the robot arm (3) to maintain the intuitive operation of the operator or to control the control authority of each robot arm (3) to be interchanged, the corresponding operation signal is generated And the manipulation signal generator 340 to be transmitted.
  • the arm operation unit 330 is configured to include two handles for individually controlling the operation of each surgical tool (410a, 410b), each handle is handle L (Left) and handle R (Right) according to the position The case where it is distinguished is assumed by way of example.
  • the handle L controls the operation of the surgical tool 410a located on the left side of the image image
  • the handle R controls the operation of the surgical tool 410b located on the right side of the image image. Accordingly, when the handle L or the handle R is pushed forward as shown in 420a and 420b, respectively, the corresponding surgical tool is controlled to move upward in the image image.
  • the conventional surgical robot system has a swap (swap) function as a way to provide the operator with the convenience of the operation progress.
  • a swap swipe
  • the surgical tool 410a disposed on the right side of the display screen is controlled by the handle R
  • the surgical tool 410b disposed on the left side of the display screen is controlled by the handle L.
  • the movement or the control direction is not changed intuitively. That is, as illustrated in FIG.
  • the surgical tool 410a disposed on the right side of the display screen is controlled by the handle R, but when the surgical tool 410a is moved upward in the upward direction on the display screen, the handle R is There is still a problem that the operator must proceed with non-intuitive operation because it must be pulled toward the operator.
  • 9 to 12 are diagrams illustrating a method of displaying a direction indicator according to rotation of an image image according to each embodiment of the present invention.
  • the direction indicator may be displayed at any one of the positions of the top, bottom, left, right, top, left, bottom, top, bottom, and the like of the image image displayed on the screen display unit 320. Can be.
  • the direction indicator indicates a direction such as, for example, H (Head), F (Foot), L (Left), R (Right), A (Anterior), P (Posterior), and the like. It can consist of one or more characters.
  • the direction indicator composed of letters may be displayed on four positions (eg, up, down, left, right) or two positions (eg, right, bottom) of the display screen (or image image).
  • the direction indicators 450a are displayed at each position, in the state where the original image is displayed, the direction indicators are H (Head) on the upper side, F (Foot) on the lower side, and L (on the right side). R (Right) may be displayed on the left side and the left side.
  • the direction indicator 450a is F (Foot) on the upper side, H (Head) on the lower side, L (Left) on the left side, and R (Right) on the right side. Can be displayed.
  • the hexahedral form 450b with a direction indicator on each face rotates, or the developed image form 450c of a three-dimensional figure with a direction indicator on each block is displayed. It may also indicate the direction of rotation.
  • the direction indicator may be configured in the form of a compass 450d or the like to indicate how much the current rotation direction and / or rotation angle is relative to the basic position.
  • the display method of the direction indicator may be variously not limited thereto, and it is sufficient that the operator can recognize which direction the image image displayed on the screen display unit 320 rotates by which rotation angle.
  • FIG. 13 to 14 are diagrams illustrating a method of displaying attention information according to inversion of an image image according to each embodiment of the present invention.
  • the image image may be rotated in a predetermined direction and displayed on the screen display unit 320, but as illustrated in FIGS. 13 and 14 by the operator's manipulation or the automatic recognition method described herein, Inverted left and right may be displayed on the screen display 320.
  • the surgical tool located on the left side on the displayed image image is controlled by the operator's left hand (eg, a cancer control unit located on the operator's left side), and the surgical tool located on the right side on the image image is the operator's right hand (eg
  • the robot arm 3 is controlled so as to be controlled by an arm manipulation unit located on the right side of the operator.
  • a border 480 of a specific color is displayed around the image.
  • the attentional information may be applied as sound information.
  • direction indicator 450a may be displayed together for the operator's clear recognition and attention to the inversion of the image image.
  • the translucent treatment of the warning message 470 and / or the edge 480 may be performed. The method can be used further.
  • the warning message 470 may not be displayed by being superimposed on the upper portion of the surgical region, and may be displayed in a region other than the region where the image photographed by the surgical endoscope is displayed among the display regions of the screen display unit 320.
  • the warning message 470 may be displayed in the form of blinking at regular intervals so as to recognize a clear image reversal of the operator.
  • a control method for allowing an operator to intuitively control a surgical tool according to a screen display state may be referred to herein as a display-based instrument control for convenience.
  • the movement of the surgical tool is inconsistent with its placement on the display screen, regardless of the state of the display image on the display screen (eg, rotated or inverted). maintain. That is, regardless of the rotation or inversion of the image image, the operator can consistently control the surgical tool visible on the right side of the screen with the right hand and the surgical tool visible on the left side of the screen with the left hand.
  • 15 is a flowchart illustrating a display screen control method according to an exemplary embodiment of the present invention.
  • each step may be separately performed by each component described with reference to FIG. 3, but is performed by the master robot 1 for convenience of explanation and understanding. It will collectively explain.
  • the master robot 1 receives an image from the laparoscope 5 through a wired or wireless communication network in step 510, and displays an image image corresponding to the image received in step 520 through the screen display unit 320.
  • the master robot 1 determines whether a rotation manipulation command using the screen rotation manipulation unit 350 is input from the operator.
  • step 520 the process proceeds to step 520 again, and the operator may perform surgery on the surgical site with reference to the image image displayed through the screen display unit 320.
  • step 540 to control the image image to be rotated so that the image image displayed through the screen display unit 320 is rotated and displayed by an arbitrary rotation angle.
  • the master robot 1 may generate an operation signal for controlling the robot arm 3 to be controlled by the operator in accordance with the rotation of the image image, and transmit the generated operation signal to the slave robot 2.
  • the image image displayed through the screen display unit 320 may be controlled to be rotated by a predetermined rotation angle in proportion to the number of operations of the screen rotation operation unit 350 to be displayed on the screen display unit 320.
  • the surgical tool may be controlled to be rotated and positioned by a corresponding rotation angle, and the manipulation signal for controlling in this way may be generated by the manipulation signal generator 340 and transmitted to the slave robot 2.
  • the control authority of each surgical tool is transferred to the arm operation unit that the operator can intuitively recognize, and the robot arm or / and The movement and manipulation direction of the surgical tool may be controlled by the operator's intuitive manipulation direction with respect to the arm manipulation portion. Through this, the operator may proceed with the surgery on the patient by using the rotated image image and the surgical tool operated by the intuitive method so that it can be intuitively recognized.
  • the control unit 360 or the operation signal generating unit 340 is a surgical tool (that is, a surgical tool that was previously operated by the left hand of the operator) located on the right side of the image image, each surgical tool ( That is, an operation signal (e.g., the operator's right hand operation is located on the right side of the image image but is actually operated so that the control authority of the robot arm 3 is mutually exchanged or the same effect is generated without substantially exchanging control authority.
  • the image image displayed through the screen display unit 320 may be displayed by rotating the image image at a constant rotational speed in proportion to the operation holding time of the screen rotation operation unit 350, the rotation at the point of stopping the operation
  • the image image rotated by each angle may be controlled to be displayed through the screen display unit 320.
  • the image image is not controlled to be software-controlled by the operation of the screen rotation manipulation unit 350, and the same end effect is obtained by allowing the surgical endoscope extended in one direction to be mechanically rotated around the extended direction. May be
  • the surgical tool may be rotated by a corresponding rotation angle, or the surgical tools positioned on the left and right sides with respect to the center line of the image image may be intuitively controlled by the operator's left and right hands, respectively. There will be.
  • the operator who remotely controls the slave robot 2 for the operation of the patient may proceed smoothly with reference to the image image intuitively recognized by the present embodiment.
  • the present invention may be further embodied in embodiments in which the application of the display conditions of the image image and the control of the robot arm 3 are automatically processed.
  • the rotation angle of the image image may be automatically calculated and applied by recognizing how the surgical tool is arranged in the image image displayed through the screen display unit 320.
  • an image analysis technology for analyzing an image image input and processed through the image input unit 310 may be applied.
  • This image image rotation technique will be referred to as an instrument-based display control for convenience.
  • the position of the surgical tool is identified to change (eg, rotate) the display form of the image image so that an optimal screen is displayed. That is, no matter how the operator operates the surgical tool, the image image displayed on the display screen is changed and displayed to be optimized thereto.
  • two surgical instruments form a hypothetical hypothetical trapezoid or rectangle, and then the image is placed so that the upper or lower side of the trapezoid or rectangle is parallel to the horizontal plane of the display screen within an error range.
  • the image can be rotated.
  • a position sensor is mounted on a plurality of points of the robot arm 3 (for example, any of the bent joint portions of the robot arm 3), and the robot is measured using the measured values of the position sensor. Recognizing the extension direction of the arm 3 so that the control condition of the robot arm 3 is automatically determined (e.g., the arm located to the right in the recognized extension direction is controlled by the operator's right hand) and interlocked therewith. Therefore, the image display condition may be specified so that the image image in which the front of the extension direction is located above the screen display unit 320 is displayed.
  • the robot arm may be photographed at the ceiling of the operating room, and the direction of extension of the arm may be recognized by analyzing the photographed image.
  • a paint of a predetermined color or / and material may be applied to the robot arm or a plurality of places of the robot arm.
  • the control method of the above-described laparoscopic robotic robot system may be implemented by a software program. Codes and code segments constituting a program can be easily inferred by a computer programmer in the art.
  • the program is also stored in a computer readable media, and read and executed by a computer to implement the method.
  • the information storage medium includes a magnetic recording medium, an optical recording medium and a carrier wave medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Mechanical Engineering (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Manipulator (AREA)
  • Endoscopes (AREA)

Abstract

수술 로봇 시스템 및 그 제어 방법이 개시된다. 수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브 로봇을 제어하는 마스터 로봇에 장착되는 인터페이스로서, 수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 화면 표시부와, 둘 이상의 로봇 암을 각각 제어하기 위해 구비되는 둘 이상의 암 조작부와, 사용자 조작에 따라 화상 이미지가 미리 지정된 방향으로 회전되어 디스플레이되도록 제어하고, 회전된 화상 이미지에 부합하도록 로봇 암의 제어 조건이 갱신되도록 제어하는 제어부를 포함하는 수술용 로봇의 마스터 인터페이스는 복강경 수술시 복강경용 모니터를 통한 표시 화면이 수술자의 의도에 적합하게 제어되어 수술 과정의 비직관성을 제거할 수 있다.

Description

[규칙 제26조에 의한 보정 19.04.2010]　수술 로봇 시스템 및 그 제어 방법
본 발명은 수술에 관한 것으로서, 더욱 상세하게는 수술 로봇 및 그 제어 방법에 관한 것이다.
수술 로봇은 외과의사에 의해 시행되던 수술 행위를 대신할 수 있는 기능을 가지는 로봇을 말한다. 이러한 수술 로봇은 사람에 비하여 정확하고 정밀한 동작을 할 수 있으며 원격 수술이 가능하다는 장점을 가진다.
현재 전세계적으로 개발되고 있는 수술 로봇은 뼈 수술 로봇, 복강경(laparoscope) 수술 로봇, 정위 수술 로봇 등이 있다. 여기서 복강경 수술 로봇은 복강경과 소형 수술도구를 이용하여 최소 침습적 수술을 시행하는 로봇이다.
복강경 수술은 배꼽 부위에 1cm 정도의 구멍을 뚫고 배 안을 들여다보는 내시경인 복강경을 집어넣은 후 수술하는 첨단 수술기법으로서 향후 많은 발전이 기대되는 분야이다.
최근의 복강경은 컴퓨터칩이 장착되어 육안으로 보는 것보다도 더 선명하면서도 확대된 영상을 얻을 수 있으며, 또 모니터를 통해 화면을 보면서 특별히 고안된 복강경용 수술 기구들을 사용하면 어떠한 수술도 가능할 정도로 발전되었다.
더욱이 복강경 수술은 그 수술 범위가 개복 수술과 거의 같으면서도, 개복수술에 비해 합병증이 적고, 시술 후 훨씬 빠른 시간 안에 치료를 시작할 수 있으며, 수술 환자의 체력이나 면역기능을 유지시키는 능력이 우수한 이점이 있다. 이로 인해 미국과 유럽 등지에서는 대장암 치료 등에 있어서는 복강경 절제 수술이 점차 표준 수술로 인식되어 가는 추세이다.
그러나 복강경 수술은 시술 자체가 기존 개복수술법에 비해서 친숙하지 못한 복강경용 수술기구, 2차원적인 영상 및 미러 이미지(mirror image)와 더불어 직접 손으로 만져보며 수술할 수 없다는 점 등의 어려운 문제점이 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명은, 복강경 등의 수술시 수술용 모니터를 통한 표시 화면이 수술자의 의도에 적합하게 제어되어 수술 과정의 비직관성을 제거할 수 있는 수술 로봇 시스템 및 그 제어 방법을 제공하는 것이다.
또한, 본 발명은 수술용 모니터를 통한 표시 화면의 제어에 부합하도록 로봇 암이 함께 제어되도록 함으로써 수술자의 직관성 있고 원활한 수술 진행이 가능하도록 하는 수술 로봇 시스템 및 그 제어 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브(slave) 로봇을 제어하는 마스터(master) 로봇에 장착되는 인터페이스(interface)로서, 수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 화면 표시부와, 둘 이상의 로봇 암을 각각 제어하기 위해 구비되는 둘 이상의 암 조작부와, 사용자 조작에 따라 화상 이미지가 미리 지정된 방향으로 회전 또는 반전되어 디스플레이되도록 제어하고, 회전 또는 반전된 화상 이미지에 부합하도록 로봇 암의 제어 조건이 갱신되도록 제어하는 제어부를 포함하는 수술용 로봇의 마스터 인터페이스가 제공된다.
수술용 내시경은 복강경, 흉강경, 관절경, 비경 중 하나 이상일 수 있다.
마스터 인터페이스는 암 조작부에 대한 사용자 조작에 따른 조작신호를 생성하여 슬레이브 로봇으로 전송하고, 제어 조건의 갱신을 위해 로봇 암 및 수술도구 중 하나 이상에 대한 위치 조정과 로봇 암 각각에 대응되는 암 조작부 변경 중 하나 이상에 대한 조작신호를 생성하여 슬레이브 로봇으로 전송하는 조작신호 생성부를 더 포함할 수 있다.
조작신호 생성부는 디스플레이 기반 수술도구 제어(Display-based Instrument control)에 따른 암 조작부 변경을 수행할 수 있다. 여기서, 디스플레이 기반 수술도구 제어는 회전된 화상 이미지 내에서 우측에 위치한 수술도구가 수술자의 우측에 위치한 암 조작부에 의해 조작되고, 좌측에 위치한 수술도구가 수술자의 좌측에 위치한 암 조작부에 의해 조작되도록 갱신하는 조작신호를 생성할 수 있다.
조작신호 생성부는 위치 조정을 위한 사용자 조작에 대해 화상 이미지의 회전 여부에 관계없이 일정한 방향으로 로봇 암 및 수술도구 중 하나 이상이 위치 조정되도록 하는 조작 신호를 생성할 수 있다.
조작신호 생성부는 화상 이미지의 회전각에 부합하여 수술도구가 화상 이미지 내에서 회전 이동하여 위치하도록 하는 조작신호를 생성할 수 있다.
사용자 조작은 사용자 음성에 의한 조작일 수 있고, 제어부는 사용자 음성을 입력받아 인식 및 해석한 후 미리 지정된 방향으로 화상 이미지가 회전되도록 제어할 수 있다.
제어부는 수술 도구 기반 디스플레이 제어(Instrument-based display control)에 의한 회전각을 연산하고, 연산된 회전각에 부합하도록 화상 이미지가 회전되어 디스플레이되도록 제어할 수 있다. 수술 도구 기반 디스플레이 제어는 두 개의 수술 도구가 빗변이 되는 가상의 사다리꼴 또는 사각형을 형성한 후 사다리꼴 또는 사각형의 윗변 또는 아랫변이 표시 화면의 수평면과 오차 범위 이내에서 평행하도록 하는 회전각을 연산하기 위한 것일 수 있다.
마스터 인터페이스는 화상 이미지가 미리 지정된 방향으로 회전하도록 하는 사용자 조작을 입력받기 위한 화면회전 조작부를 더 포함할 수 있다.
화상 이미지는 화면회전 조작부의 조작 횟수에 비례하여 미리 지정된 회전각만큼 회전하여 디스플레이될 수 있다. 화상 이미지는 화면회전 조작부의 지속적인 조작 유지 시간 동안 일정한 회전 속도로 미리 지정된 회전 방향으로 회전되어 디스플레이될 수 있다. 화면회전 조작부는 페달, 클러치 버튼, 음성 인식 장치 중 어느 하나일 수 있다.
로봇 암의 복수 개소에 위치 감지 센서가 구비된 경우, 제어부는 각 위치 감지 센서에 의한 센싱값을 이용하여 로봇 암의 연장 방향을 인식하여 화상 이미지의 회전각을 연산할 수도 있다. 이 경우, 제어부는 로봇 암의 연장 방향의 앞쪽이 표시 화면상 소정의 방향(예를 들어 위쪽)을 향하여 위치되도록 하는 회전각을 연산할 수 있다.
제어부는 천정에 구비된 카메라에 의해 촬영된 이미지를 해석하여 인식된 로봇 암의 연장 방향을 이용하여 화상 이미지의 회전각을 연산할 수도 있다. 이 경우, 로봇 암의 전체 영역, 상부 영역 및 복수 개소 중 어느 하나에 미리 지정된 색상, 미리 지정된 재질 중 하나 이상의 도료가 도포되는 것을 특징으로 할 수 있다.
회전각에 부합하여 회전된 화상 이미지가 디스플레이되도록 하기 위하여 수술용 내시경이 그 연장된 방향을 축으로 하여 회전하도록 제어될 수 있다.
제어부는 화면 표시부를 통해 화상 이미지의 회전에 따른 정보를 나타내는 방향 지시자가 더 표시되도록 제어할 수 있다. 방향 지시자는 방향을 지시하는 하나 이상의 문자, 화상 이미지의 회전에 부합하여 회전되는 입체 도형, 하나 이상의 블록을 포함하는 입체도형의 전개도, 나침반 등 중 하나 이상으로 구성될 수 있다.
제어부는 화상 이미지가 반전되어 디스플레이되도록 제어하는 경우, 화면 표시부를 통해 방향 지시자, 경고 메시지, 주의적 정보 중 하나 이상이 더 표시되도록 제어할 수 있다. 화상 이미지의 반전은 좌우 반전 또는 상하 반전 중 어느 하나일 수 있고, 주의적 정보는 화상 이미지에 대한 미리 지정된 색상의 테두리 이미지일 수 있다. 슬레이브 로봇과 마스터 로봇은 일체형으로 통합되어 구성될 수 있다.
본 발명의 다른 측면에 따르면, 수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브 로봇을 제어하는 마스터 로봇에서 수행되는 수술 로봇 시스템의 제어 방법으로서, 수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 단계와, 화상 이미지의 회전 또는 반전을 지시하기 위한 조작명령을 입력받는 단계와, 조작명령에 따라 화상 이미지가 미리 지정된 방향으로 회전 또는 반전되어 디스플레이되도록 제어하고, 회전 또는 반전된 화상 이미지에 부합하도록 로봇 암의 제어 조건이 갱신되도록 제어하는 단계를 포함하는 수술 로봇 시스템의 제어 방법이 제공된다.
로봇 암의 제어 조건이 갱신되도록 제어하는 단계는, 로봇 암 및 수술도구 중 하나 이상에 대한 위치 조정과 로봇 암 각각에 대응되는 암 조작부 변경 중 하나 이상에 대한 조작신호를 생성하는 단계와, 조작신호를 슬레이브 로봇으로 전송하는 단계를 포함할 수 있다.
암 조작부 변경은 디스플레이 기반 수술도구 제어(Display-based Instrument control)에 따라 수행할 수 있다.
디스플레이 기반 수술도구 제어는, 회전된 화상 이미지 내에서 우측에 위치한 수술도구가 수술자의 우측에 위치한 암 조작부에 의해 조작되고, 좌측에 위치한 수술도구가 수술자의 좌측에 위치한 암 조작부에 의해 조작되도록 갱신하는 것일 수 있다.
위치 조정을 위한 사용자 조작에 대해 화상 이미지의 회전 여부에 관계없이 일정한 방향으로 로봇 암 및 수술도구 중 하나 이상이 위치 조정되도록 하는 조작 신호를 생성할 수 있다.
위치 조정은, 화상 이미지의 회전각에 부합하여 수술도구가 화상 이미지 내에서 회전 이동하여 위치하도록 하는 것일 수 있다.
조작명령의 입력 횟수에 비례하여 화상 이미지의 회전각이 결정될 수 있다. 또는 조작명령의 지속적인 입력 유지 시간에 비례하여 화상 이미지의 회전각이 결정될 수 있다.
조작명령을 입력받는 단계는, 사용자 음성을 입력받는 단계와, 입력된 사용자 음성을 인식 및 해석하여 조작명령을 생성하는 단계를 포함할 수 있다. 조작명령은 페달, 클러치 버튼, 음성 인식 장치 중 어느 하나를 통해 입력될 수 있다. 수술용 내시경은 복강경, 흉강경, 관절경, 비경 중 하나 이상일 수 있다.
조작명령을 입력받는 단계는, 둘 이상의 로봇 암의 복수 개소에 구비된 위치 감지 센서로부터 센싱값을 각각 입력받는 단계와, 입력된 센싱값들을 이용하여 로봇 암들의 연장 방향을 인식하여 화상 이미지를 회전하거나 수술용 내시경을 회전하기 위한 회전각을 연산하는 단계와, 연산된 회전각을 상기 조작명령으로서 입력받는 단계를 포함할 수 있다. 여기서, 회전각은 하나 이상의 로봇 암의 연장 방향의 앞쪽이 표시 화면상 소정의 방향(예를 들어, 위쪽)을 향하여 위치되도록 하는 값으로 연산될 수 있다.
조작명령을 입력받는 단계는, 천정에 구비된 카메라에 의해 촬영된 이미지를 입력받는 단계와, 입력된 이미지를 해석하여 인식된 로봇 암들의 연장 방향을 이용하여 화상 이미지를 회전하거나 수술용 내시경을 회전하기 위한 회전각을 연산하는 단계와, 연산된 회전각을 조작명령으로서 입력받는 단계를 포함할 수 있다. 여기서, 로봇 암의 전체 영역, 상부 영역 및 복수 개소 중 어느 하나에 미리 지정된 색상, 미리 지정된 재질 중 하나 이상의 도료가 도포될 수 있다.
회전각에 부합하여 회전된 화상 이미지가 디스플레이되도록 하기 위하여 수술용 내시경이 그 연장된 방향을 축으로 하여 회전될 수 있다.
제어하는 단계에서, 화상 이미지의 회전에 따른 정보를 나타내는 방향 지시자가 디스플레이되도록 제어될 수 있다.
방향 지시자는 방향을 지시하는 하나 이상의 문자, 화상 이미지의 회전에 부합하여 회전되는 입체 도형, 하나 이상의 블록을 포함하는 입체도형의 전개도, 나침반 중 하나 이상으로 구성될 수 있다.
화상 이미지가 미리 지정된 방향으로 반전되어 디스플레이되도록 제어하는 단계에서, 방향 지시자, 경고 메시지, 주의적 정보 중 하나 이상이 더 표시되도록 제어될 수 있다.
화상 이미지의 반전은 좌우 반전 또는 상하 반전 중 어느 하나일 수 있고, 주의적 정보는 화상 이미지에 대한 미리 지정된 색상의 테두리 이미지일 수 있다.
본 발명의 또 다른 측면에 따르면, 수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브 로봇을 제어하는 마스터 로봇에서 수행되는 수술 로봇 시스템의 제어 방법으로서, 수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 단계와, 수술 도구 기반 디스플레이 제어(Instrument-based display control)에 의한 회전각을 연산하는 단계와, 연산된 회전각에 따라 화상 이미지가 회전하여 디스플레이되도록 제어하는 단계를 포함하는 수술 로봇 시스템의 제어 방법이 제공된다.
수술 도구 기반 디스플레이 제어는 두 개의 수술 도구가 빗변이 되는 가상의 사다리꼴 또는 사각형을 형성한 후 사다리꼴 또는 사각형의 윗변 또는 아랫변이 표시 화면의 수평면과 오차 범위 이내에서 평행하도록 하는 회전각을 연산하기 위한 것일 수 있다.
수술용 내시경은 복강경, 흉강경, 관절경, 비경 중 하나 이상일 수 있다. 회전각에 부합하여 회전된 화상 이미지가 디스플레이되도록 하기 위하여 수술용 내시경이 그 연장된 방향을 축으로 하여 회전하도록 제어될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 수술시 수술용 모니터를 통한 표시 화면이 수술자의 의도에 적합하게 제어되어 수술 과정의 비직관성을 제거할 수 있다.
또한, 본 발명의 실시예에 따르면, 수술용 모니터를 통한 표시 화면의 제어에 부합하도록 로봇 암이 함께 제어되도록 함으로써 수술자의 직관성 있고 원활한 수술 진행이 가능하다.
도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도.
도 2는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도.
도 3은 본 발명의 일 실시예에 따른 마스터 로봇과 슬레이브 로봇의 구성을 개략적으로 나타낸 블록 구성도.
도 4는 본 발명의 일 실시예에 따른 화상 이미지의 표시 형태 조정 과정을 나타낸 화면 표시의 예시도.
도 5는 본 발명의 일 실시예에 따른 회전되지 않은 원(original) 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 예시한 도면.
도 6 및 도 7은 종래 기술에 따른 180도 회전된 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 각각 예시한 도면.
도 8은 본 발명의 일 실시예에 따른 180도 회전된 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 예시한 도면.
도 9 내지 도 12는 본 발명의 각 실시예에 따른 화상 이미지의 회전에 따른 방향 지시자 표시 방법을 예시한 도면.
도 13 내지 도 14는 본 발명의 각 실시예에 따른 화상 이미지의 반전에 따른 주의 정보 표시 방법을 예시한 도면.
도 15는 본 발명의 일 실시예에 따른 표시화면 제어 방법을 나타낸 순서도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명의 실시예를 설명함에 있어 본 발명은 수술용 내시경(예를 들어, 복강경, 흉강경, 관절경, 비경 등)이 이용되는 수술들에 범용적으로 사용될 수 있는 기술적 사상이지만, 설명의 편의를 위해 복강경이 이용되는 경우를 예로 들어 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도이고, 도 2는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도이다.
도 1 및 도 2를 참조하면, 복강경 수술용 로봇 시스템은 수술대에 누워있는 환자에게 수술을 행하는 슬레이브 로봇(2)과 슬레이브 로봇(2)을 수술자가 원격 조종하는 마스터 로봇(1)을 포함하여 구성된다. 마스터 로봇(1)과 슬레이브 로봇(2)이 반드시 물리적으로 독립된 별도의 장치로 분리되어야 하는 것은 아니며, 하나로 통합되어 일체형으로 구성될 수 있으며, 이 경우 마스터 인터페이스(4)는 일체형 로봇의 인터페이스 부분에 상응될 수 있다.
마스터 로봇(1)의 마스터 인터페이스(4)는 모니터(6), 핸들(10) 및 표시 화면 제어 버튼을 포함한다. 표시 화면 제어 버튼은 클러치 버튼(14) 또는 페달(30)의 형태로 구현될 수 있으며, 클러치 버튼(14)과 페달(30)에 의해 동일한 기능이 수행되도록 구현된 경우 클러치 버튼(14) 및 페달(30) 중 어느 하나만이 마스터 인터페이스(4)에 포함될 수도 있다. 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함한다.
마스터 인터페이스(4)는 수술자가 양손에 각각 파지되어 조작할 수 있도록 두 개의 핸들(10)의 구비하며, 수술자의 핸들(10) 조작에 따른 조작 신호가 슬레이브 로봇(2)으로 전송되어 로봇 암(3)이 제어된다.
마스터 인터페이스(4)의 모니터(6)에는 복강경(5)에 의해 입력되는 영상이 화상 이미지로 표시된다. 또한, 모니터(6)에는 예시된 바와 같이 환자의 심전도 그래프 등이 부가적으로 더 표시될 수도 있다.
모니터(6)에 표시되는 화상 이미지는 수술자에 의한 표시 화면 제어 버튼 조작에 의해 시계방향 또는 반시계 방향으로 지정된 회전 각도만큼 회전되어 표시되도록 제어될 수 있다. 이는 복강경(5)이 고정된 위치에서 영상을 입력받아 마스터 인터페이스(4)로 전송하는 경우, 수술 부위에 대한 수술자의 수술 방향과 화상 이미지가 동일한 방향을 지향하지 않아 수술자가 직관적이지 않는 화상 이미지를 참조하여 수술을 진행하는 불편함을 제거하기 위한 것이다. 물론, 복강경(5)이 핸들(10)에 구비되는 클러치 버튼(14) 등의 조작에 의해 그 위치가 조정 제어될 수 있는 경우에도, 모니터(6)에 표시되는 화상 이미지의 표시 형태가 일정하다면 페달(30)의 조작에 의해 그 표시 방향이 시계 방향 또는 반시계 방향으로 회전 제어되도록 할 수도 있을 것이다.
또한, 수술자의 표시 화면 제어 버튼 조작에 의해 모니터(6)에 표시되는 화상 이미지의 표시 형태가 변경된 경우, 이에 상응하도록 로봇 암(3)의 위치 또는 기능이 조정되도록 하여 수술자의 직관적인 수술 진행이 가능하도록 할 수 있다.
상술한 바와 같이, 본 실시예는 슬레이브 로봇(2)의 위치에 관계없이 수술자가 표시 화면 제어 버튼을 조작함으로써 화상 이미지가 원하는 표시 형태로 변형(예를 들어, 일정 각도만큼의 회전 등)되어 표시되도록 하는 특징을 가지고 있다. 아울러, 슬레이브 로봇(2)의 로봇 암(3)의 위치나 기능도 수술자가 직관적으로 인식할 수 있도록 조정되는 특징도 가지고 있다.
슬레이브 로봇(2)과 마스터 로봇(1)은 유선 통신망 또는 무선 통신망을 통해 상호 결합되어 조작 신호 등이 상대방으로 전송될 수 있다. 만일, 마스터 인터페이스(4)에 구비된 두 개의 핸들(10)에 의한 두 개의 조작신호 및/또는 복강경(5)의 위치 조정을 위한 조작신호가 동시에 및/또는 유사한 시점에서 전송될 필요가 있는 경우, 각 조작신호는 상호 독립적으로 슬레이브 로봇(2)으로 전송될 수 있다. 여기서 각 조작신호가 '독립적으로' 전송된다는 것은, 조작신호 간에 서로 간섭을 주지 않으며, 어느 하나의 조작신호가 다른 하나의 신호에 영향을 미치지 않음을 의미한다. 이처럼, 복수의 조작신호가 서로 독립적으로 전송되도록 하기 위해서는, 각 조작신호의 생성 단계에서 각 조작신호에 대한 헤더 정보를 부가하여 전송시키거나, 각 조작신호가 그 생성 순서에 따라 전송되도록 하거나, 또는 각 조작신호의 전송 순서에 관하여 미리 우선순위를 정해 놓고 그에 따라 전송되도록 하는 등 다양한 방식이 이용될 수 있다. 이 경우, 각 조작신호가 전송되는 전송 경로가 독립적으로 구비되도록 함으로써 각 조작신호간에 간섭이 근본적으로 방지되도록 할 수도 있을 것이다.
슬레이브 로봇(2)의 로봇 암(3)은 다자유도를 가지며 구동되도록 구현될 수 있다. 로봇 암(3)은 예를 들어 환자의 수술 부위에 삽입되는 수술기구, 수술기구를 수술 위치에 따라 요(yaw)방향으로 회전시키는 요동 구동부, 요동 구동부의 회전 구동과 직교하는 피치(pitch) 방향으로 수술기구를 회전시키는 피치 구동부, 수술기구를 길이 방향으로 이동시키는 이송 구동부와, 수술기구를 회전시키는 회전 구동부, 수술기구의 끝단에 설치되어 수술 병변을 절개 또는 절단하는 수술기구 구동부를 포함하여 구성될 수 있다. 다만, 로봇 암(3)의 구성이 이에 제한되지 않으며, 이러한 예시가 본 발명의 권리범위를 제한하지 않는 것으로 이해되어야 한다. 또한, 수술자가 핸들(10)을 조작함에 의해 로봇 암(3)이 상응하는 방향으로 회전, 이동하는 등의 실제적인 제어 과정은 본 발명의 요지와 다소 거리감이 있으므로 이에 대한 구체적인 설명은 생략한다.
슬레이브 로봇(2)은 환자를 수술하기 위하여 하나 이상으로 이용될 수 있으며, 수술 부위가 모니터(6)를 통해 화상 이미지로 표시되도록 하기 위한 복강경(5)은 독립된 슬레이브 로봇(2)으로 구현될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 마스터 로봇과 슬레이브 로봇의 구성을 개략적으로 나타낸 블록 구성도이고, 도 4는 본 발명의 일 실시예에 따른 화상 이미지의 표시 형태 조정 과정을 나타낸 화면 표시의 예시도이다. 도 5는 본 발명의 일 실시예에 따른 회전되지 않은 원(original) 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 예시한 도면이고, 도 6 및 도 7은 종래 기술에 따른 180도 회전된 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 각각 예시한 도면이며, 도 8은 본 발명의 일 실시예에 따른 180도 회전된 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 예시한 도면이다.
도 3을 참조하면, 마스터 로봇(1)은 영상 입력부(310), 화면 표시부(320), 암 조작부(330), 조작신호 생성부(340), 화면회전 조작부(350) 및 제어부(360)를 포함한다. 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함한다.
영상 입력부(310)는 슬레이브 로봇(2)의 복강경(5)에 구비된 카메라를 통해 입력된 영상을 유선 또는 무선 통신망을 통해 수신한다.
화면 표시부(320)는 영상 입력부(310)를 통해 수신된 영상에 상응하는 화상 이미지를 시각(視覺)적 정보로 출력한다. 화면 표시부(320)는 모니터(6) 등의 형태로 구현될 수 있으며, 수신된 영상이 화면 표시부(320)를 통해 화상 이미지로 출력되도록 하기 위한 영상 처리 프로세스가 제어부(360) 또는 영상 처리부(도시되지 않음)에 의해 수행될 수 있다.
암 조작부(330)는 슬레이브 로봇(2)의 로봇 암(3)의 위치 및 기능을 수술자가 조작할 수 있도록 하는 수단이다. 암 조작부(330)는 도 2에 예시된 바와 같이 핸들의 형상으로 형성될 수 있으나, 그 형상이 이에 제한되지 않으며 동일한 목적 달성을 위한 다양한 형상으로 변형 구현될 수 있다. 또한, 예를 들어 일부는 핸들 형상으로, 다른 일부는 클러치 버튼 등의 다른 형상으로 형성될 수도 있다.
상술한 바와 같이, 암 조작부(330)에는 클러치 버튼(14)이 구비될 수 있으며, 클러치 버튼(14)은 표시 화면 제어 버튼으로 기능하도록 설정될 수 있다. 또는, 복강경(5)이 영상을 입력받기 위해 특정 위치에 고정적으로 존재하지 않고, 그 위치 및/또는 영상 입력 각도가 수술자의 조정에 의해 이동되거나 변경될 수 있다면 클러치 버튼(14)은 복강경(5)의 위치 및/또는 영상 입력 각도의 조정을 위해 기능하도록 설정될 수도 있다.
조작신호 생성부(340)는 로봇 암(3) 및/또는 복강경(5)의 위치 이동 또는 수술을 위한 조작을 위해 수술부가 암 조작부(330)를 조작하는 경우 이에 상응하는 조작신호를 생성하여 슬레이브 로봇(2)으로 전송한다. 조작신호는 유선 또는 무선 통신망을 통해 송수신될 수 있음은 앞서 설명한 바와 같다.
화면회전 조작부(350)는 수술자가 화면 표시부(320)를 통해 출력되는 화상 이미지가 비직관적으로 표시되는 경우, 화상 이미지를 시계 방향 또는 반시계 방향으로 회전시키기 위한 명령을 수술자로부터 입력받는 수단이다.
도 4에 예시된 바와 같이, 화면회전 조작부(350)의 조작 횟수에 따라 미리 지정된 회전각도(예를 들어, 15도, 90도, 180도 등) 만큼 회전된 화상 이미지가 화면 표시부(320)에 표시되도록 할 수 있다. 일반적으로, 수술자는 화상 이미지가 180도 단위로 회전(즉, 도 4에 도시된 (a)와 (c)간의 회전)되도록 제어함이 일반적일 것이나, 화상 이미지를 회전하기 위한 회전각이 이에 제한되지 않음이 도 4를 참조할 때 쉽게 이해될 수 있을 것이다.
이 경우, 화상 이미지가 회전되는 시점마다 로봇 암(3) 각각이 적절한 암 조작부(330)에 의해 제어되도록 로봇 암의 제어 조건이 자동 갱신될 수 있으나, 화상 이미지의 회전에 따른 로봇 암(3)과 암 조작부(330)간의 매칭 관계가 수술자에게 직관적으로 명확하지 않을 수 있으므로 수술자의 지정(예를 들어, 전환버튼의 클릭 등)에 제어 조건이 갱신되도록 할 수도 있다.
이외에도, 화면회전 조작부(350)에 대한 조작을 유지하는 시간동안(예를 들어, 페달(30)을 밟고 있는 시간동안) 미리 지정된 회전방향으로 화상 이미지가 지속적으로 회전하여 표시되도록 하고, 조작이 종료되면 그 시점까지 회전된 회전 각도의 화상 이미지가 화면 표시부(320)에 표시되도록 할 수도 있다.
화면회전 조작부(350)를 이용하여 수술자가 원하는 방향으로 화상 이미지의 표시 형태를 변경한 경우, 수술자의 직관적인 수술 진행이 가능하도록 로봇 암(3)의 위치나 기능은 상응하도록 조정될 수 있다.
예를 들어, 수술자가 화상 이미지의 표시 형태를 변경하도록 조작한 경우, 도 4에 예시된 바와 같이 수술 부위 및 수술 도구가 함께 일정 회전각(예를 들어, 180도)만큼 회전되어 표시될 것이다. 이때, 수술 도구(410)는 수술자가 각 수술 도구(410)를 제어하기 위한 암 조작부(330)가 어떤 것인지를 직관적으로 인식할 수 있도록 항상 일정한 위치(예를 들어, 도 4의 (a)에 도시된 수술 도구의 위치)로 위치 조정될 수도 있을 것이다. 이는, 화면 표시부(320)에 표시되는 화상 이미지가 회전되는 각도에 부합하도록 로봇 암 또는/및 수술 도구(410)의 위치가 제어되도록 함으로써 표시 화면상의 오른쪽에 위치한 수술 도구(410)는 항상 수술자의 오른손으로 조작 가능하도록 할 수 있다.
만일, 화면회전 조작부(350)의 조작에 의해 화상 이미지가 180도씩 회전되도록 지정된 경우라면, 이전의 화상 이미지 표시 상태에서는 오른쪽에 위치한 수술 도구(410)로서 수술자의 오른손으로 조작한 수술도구가 현재의 화상 이미지 표시 상태에서는 왼쪽에 위치하여 비직관적인 수술이 이루어질 수도 있다. 이 경우, 표시된 화상 이미지를 기준하여 오른쪽과 왼쪽에 각각 위치한 수술 도구의 제어 권한이 변동되도록 함으로써 화상 이미지의 오른쪽에 위치한 수술도구는 항상 수술자의 오른손에 의해 조정될 수 있도록 설정할 수도 있다. 이 경우, 앞서 수술 도구가 화상 이미지의 회전각에 부합되도록 이동하도록 하는 방법과 비교할 때, 로봇 암(3)의 위치 제어의 필요 없이 각 로봇 암(3)에 대한 제어 권한 변동만으로 동일한 효과를 예측할 수 있게 된다.
화면회전 조작부(350)는 예를 들어, 클러치 버튼(14), 페달(30) 등의 형태로 구현될 수 있으나, 그 형태는 이에 제한되지 않는다. 예를 들어, 화면회전 조작부(350)는 수술자의 음성을 입력받아 입력된 음성을 해석하여 화상 이미지를 시계 방향 또는 반시계 방향으로 회전되어 표시되도록 할 수도 있다. 여기서, 수술자의 음성을 해석하기 위해 음성 인식 기술 등이 이용될 수 있을 것이다.
제어부(360)는 상술한 기능이 수행될 수 있도록 각 구성 요소들의 동작을 제어한다. 제어부(360)는 영상 입력부(310)를 통해 입력되는 영상이 화면 표시부(320)를 통해 표시될 화상 이미지로 변환하는 기능을 수행할 수도 있다. 또한, 제어부(360)는 화면회전 조작부(350)를 이용한 수술자의 조작이 입력되는 경우 화면 표시부(320)를 통해 입력되는 화상 이미지가 시계 방향 또는 반시계 방향으로 회전하여 표시되도록 제어한다. 이때, 제어부(360)는 수술자의 직관적 수술 진행이 유지되도록 로봇 암(3)의 위치를 제어하거나 각 로봇 암(3)의 제어 권한이 상호 교환되도록 제어할 수 있으며, 이에 부합되는 조작신호가 생성 및 전송되도록 조작신호 생성부(340)를 제어할 수 있다.
이하, 도 5 내지 도 8를 참조하여 화상 이미지의 회전 조작에 따른 암 조작부(330)의 조작 방법을 간단히 설명한다.
도 5에는 회전되지 않은 원(original) 화상 이미지의 일 예와 암 조작부(330)의 조작에 따른 각 수술 도구(410a, 410b)의 동작 방향이 도시되어 있다. 또한 암 조작부(330)가 각 수술 도구(410a, 410b)의 동작을 개별적으로 제어하기 위한 두 개의 핸들을 포함하여 구성되고 각 핸들은 그 위치에 따라 핸들 L(Left)과 핸들 R(Right)로 구분되는 경우가 예시적으로 가정되었다.
핸들 L은 화상 이미지의 좌측에 위치한 수술 도구(410a)의 동작을 제어하고, 핸들 R은 화상 이미지의 우측에 위치한 수술 도구(410b)의 동작을 제어한다. 따라서, 420a 및 420b에 각각 도시된 바와 같이 핸들 L 또는 핸들 R을 앞쪽으로 밀었을 때 상응하는 수술 도구는 화상 이미지의 상방향으로 이동하도록 제어된다.
그러나, 도 6 내지 도 8에 예시된 바와 같이 원 화상 이미지가 180도 회전되도록 제어된 경우, 각 수술 도구(410a 및 410b)의 배치 형태까지도 이전의 배치 형태와 180도 회전되어 디스플레이된다.
이러한 상태에서, 기존의 제어 조건과 동일하게 핸들 L 또는 핸들 R의 조작에 의해 각 수술 도구의 동작이 제어된다면, 수술자는 직관적인 수술 진행이 불가능해진다. 이는, 원 영상에서 우측에 위치하였던 수술 도구(410b)는 180도 회전된 화상 이미지에서는 좌측에 위치하게 되어, 수술자는 사용자 조작에 대해 반대의 결과를 미리 예상하여야 하기 때문이다. 따라서, 도 6와 같이, 단지 화상 이미지만 180도 회전되어 표시된다면, 수술자는 현재 화상 이미지에서 우측에 위치한 수술도구(410a)를 표시 화면상 위쪽으로 이동시키고자 할 때 좌측에 위치한 핸들 L을 수술자의 몸 쪽으로 당기게 되어 직관적인 수술 진행이 불가능해진다.
또한 수술자에게 수술 진행상의 편의를 제공하기 위한 방안으로 종래의 수술 로봇 시스템은 스왑(swap) 기능을 보유하고 있다. 그러나, 스왑 기능을 이용하더라도 단지 표시 화면 상 우측에 배치된 수술 도구(410a)가 핸들 R에 의해 제어되고, 표시 화면상 좌측에 배치된 수술 도구(410b)가 핸들 L에 의해 제어되는 것에 불과하며, 그 이동이나 제어 방향까지 직관적으로 변경되지는 않는 한계가 있다. 즉, 도 7에 예시된 바와 같이, 표시 화면상 우측에 배치된 수술 도구(410a)가 핸들 R에 의해 제어되지만, 해당 수술 도구(410a)를 표시 화면상 위쪽 방향으로 움직이고자 할 때 핸들 R은 수술자 쪽으로 당겨져야 하기 때문에 여전히 수술자는 비직관적인 수술을 진행하여야 하는 문제점이 있다.
이에 비해, 본 발명의 실시예에 따른 수술 로봇 시스템은 도 8에 예시된 바와 같이, 표시 화면상의 수술 도구 배치 방향에 부합하도록 제어 권한이 핸들 L 및 핸들 R에 각각 부여될 뿐 아니라, 수술 도구의 이동이나 조작 방향까지 수술자의 관점에서 직관적인 제어가 가능하도록 하는 장점이 있다.
도 9 내지 도 12는 본 발명의 각 실시예에 따른 화상 이미지의 회전에 따른 방향 지시자 표시 방법을 예시한 도면이다.
각 도면에 예시된 바와 같이, 화면 표시부(320)에 표시되는 화상 이미지의 상, 하, 좌, 우, 좌상, 좌하, 우상, 우하 등의 위치들 중 임의의 위치들에 방향 지시자가 표시되도록 할 수 있다.
도 9에 예시된 바와 같이, 방향 지시자는 예를 들어, H(Head), F(Foot), L(Left), R(Right), A(Anterior), P(Posterior) 등과 같이 방향을 표시하는 하나 이상의 문자로 구성될 수 있다.
문자로 구성된 방향 지시자는 표시 화면(또는 화상 이미지)의 4개의 위치(예를 들어, 상, 하, 좌, 우) 또는 2개의 위치(예를 들어, 우, 하) 등에 표시되도록 할 수 있다.
도 9에 예시된 바와 같이 4개의 방향 지시자(450a)가 각 위치에 표시되는 경우, 원 화상 이미지가 표시된 상태에서 방향 지시자는 상측에 H(Head), 하측에 F(Foot), 우측에 L(Left) 및 좌측에 R(Right)이 표시될 수 있다.
그러나 원 화상 이미지가 180도 회전하여 표시되는 180도 회전 화상 이미지에서 방향 지시자(450a)는 상측에 F(Foot), 하측에 H(Head), 좌측에 L(Left) 및 우측에 R(Right)이 표시될 수 있다.
또한, 도 10 또는/및 도 11에 예시된 바와 같이, 각 면에 방향 지시자가 기재된 육면체 형태(450b)가 회전하거나 또는 각 블록에 방향 지시자가 기재된 입체 도형의 전개도 형태(450c)로 화상 이미지의 회전 방향을 나타낼 수도 있다.
또한, 도 12에 예시된 바와 같이, 방향 지시자는 기본 위치 대비 현재의 회전 방향 및/또는 회전각이 얼마나 되는지 표시하도록 나침반(450d) 등의 형태로 구성될 수도 있다.
물론, 방향 지시자의 표시 방법은 이에 제한되지 않도록 다양할 수 있으며, 수술자가 화면 표시부(320)에 표시되는 화상 이미지가 어느 방향으로 어느 회전각만큼 회전하였는지를 인식할 수 있는 형태이면 충분하다.
도 13 내지 도 14는 본 발명의 각 실시예에 따른 화상 이미지의 반전에 따른 주의 정보 표시 방법을 예시한 도면이다.
앞서 설명한 바와 같이, 화상 이미지는 일정 방향으로 회전되어 화면 표시부(320)에 표시될 수도 있으나, 수술자의 조작 또는 본 명세서에서 설명되는 자동 인식 방법에 의해 도 13 및 도 14에 예시된 바와 같이 상하 또는 좌우 반전되어 화면 표시부(320)에 표시될 수도 있다.
이 경우에도 표시된 화상 이미지 상에서 왼쪽에 위치된 수술 도구는 수술자의 왼손(예를 들어, 수술자의 왼쪽에 위치한 암 조작부)에 의해 제어되고, 화상 이미지 상에서 오른쪽에 위치된 수술 도구는 수술자의 오른손(예를 들어, 수술자의 오른쪽에 위치한 암 조작부)에 의해 제어되도록 로봇 암(3) 제어가 이루어진다.
그러나, 영상 이미지의 회전과는 달리, 상하 또는 좌우 반전의 경우에는 실제 인체의 기하학적 배열(geometry)과 달라지므로 수술자가 혼동할 우려가 있다. 이를 방지하기 위해, 표시 화면상에 경고 메시지(470) 또는 주의적 정보가 표시되도록 함으로써 수술자에게 반전된 영상 이미지임을 통지할 필요가 있다.
도 10 및 도 11에는 주의적 정보의 일 예로서 특정한 색상의 테두리(480)가 영상의 주변에 표시되어 있다. 주의적 정보는 음향 정보 등으로 적용될 수도 있다.
이외에도, 화상 이미지의 반전에 대한 수술자의 명확한 인식 및 주의를 위해 방향 지시자(450a)가 함께 표시되도록 할 수도 있다.
상술한 경고 메시지(470) 및/또는 테두리(480)에 의해 수술 부위가 가려짐이 수술 진행에 나쁜 영향을 미칠 수도 있으므로, 경고 메시지(470) 및/또는 테두리(480)를 반투명 처리하는 등이 방법이 더 이용될 수 있다.
아울러, 경고 메시지(470)가 수술 부위의 상부에 중첩되어 표시되지 않고, 화면 표시부(320)의 표시 영역 중 수술용 내시경에 의해 촬영된 영상이 표시되는 영역 이외의 영역에 표시되도록 할 수 있다. 또한, 경고 메시지(470)는 수술자의 명확한 이미지 반전을 인식할 수 있도록 일정 주기로 점멸하는 형태로 표시될 수도 있다.
이상에서 구체적으로 설명한 바와 같이, 화면 표시 상태에 따라 수술자가 직관적인 수술 도구의 제어가 가능하도록 하는 제어 방식을 본 명세서에서 편의상 디스플레이 기반 수술 도구 제어(Display-based instrument control)라 칭할 수 있다.
디스플레이 기반 수술 도구 제어를 간략히 설명하면, 표시 화면상 화상 이미지의 표시 형태가 어떤 상태이든지(예를 들어, 회전된 상태이든지 반전된 상태이든지 등) 수술도구의 움직임은 표시 화면상에서의 배치와 일관성이 유지된다. 즉, 화상 이미지의 회전 또는 반전과 관계없이 수술자는 일관성있게 화면의 오른쪽에 보이는 수술 도구는 오른손으로 제어하고 화면의 왼쪽에 보이는 수술 도구는 왼손으로 제어할 수 있다.
도 15는 본 발명의 일 실시예에 따른 표시화면 제어 방법을 나타낸 순서도이다.
이하, 본 실시예에 따른 표시화면 제어 방법을 설명함에 있어 각 단계가 도 3을 참조하여 설명한 각 구성 요소에 의해 개별적으로 수행될 수도 있으나, 설명 및 이해의 편의를 위해 마스터 로봇(1)에서 수행되는 것으로 통칭하여 설명한다.
도 15를 참조하면, 마스터 로봇(1)은 단계 510에서 유선 또는 무선 통신망을 통해 복강경(5)으로부터 영상을 수신하고, 단계 520에서 수신한 영상에 상응하는 화상 이미지를 화면 표시부(320)를 통해 출력한다.
단계 530에서, 마스터 로봇(1)은 수술자로부터 화면회전 조작부(350)를 이용한 회전 조작명령이 입력되는지 여부를 판단한다.
회전 조작명령이 입력되지 않으면, 단계 520으로 다시 진행하며, 수술자는 화면 표시부(320)를 통해 표시되는 화상 이미지를 참조하여 수술 부위에 대한 수술을 진행할 것이다.
그러나, 회전 조작명령이 입력되면, 단계 540으로 진행하여 화면 표시부(320)를 통해 표시되는 화상 이미지가 임의의 회전각만큼 회전하여 표시되도록 화상 이미지가 회전되도록 제어한다. 이때, 마스터 로봇(1)은 화상 이미지의 회전에 부합되어 로봇 암(3)이 수술자에 의해 제어될 수 있도록 하기 위한 조작신호를 생성하여 슬레이브 로봇(2)으로 전송할 수 있다.
이하, 마스터 로봇(1)이 수술자의 화면회전 조작부(350)의 조작에 의해 화상 이미지의 회전 및 로봇 암(3)을 제어하는 과정을 간략히 설명한다.
먼저, 화면 표시부(320)를 통해 표시된 화상 이미지는 화면회전 조작부(350)의 조작 횟수에 비례하여 미리 지정된 회전각만큼 회전되어 화면 표시부(320)를 통해 표시되도록 제어될 수 있다.
이때, 상응하는 회전각만큼 수술 도구가 회전되어 위치되도록 제어될 수 있으며, 이와 같이 제어하기 위한 조작신호는 조작신호 생성부(340)에 의해 생성되어 슬레이브 로봇(2)으로 전송될 수 있다. 물론, 앞서 도 4 등을 참조하여 설명한 바와 같이 수술 도구는 현재의 위치로 유지될지라도 각 수술 도구의 제어 권한이 수술자가 직관적으로 인식할 수 있는 암 조작부로 상응하도록 이전되고, 로봇 암 또는/및 수술 도구의 이동 및 조작 방향이 암 조작부에 대한 수술자의 직관적인 조작 방향에 의해 제어될 수 있다. 이를 통해, 수술자는 직관적으로 인식될 수 있도록 회전된 화상 이미지 및 직관적인 방법에 의해 조작 제어되는 수술 도구를 이용하여 환자에 대한 수술을 진행할 수 있다.
이때 만일, 화면회전 조작부(350)의 조작 횟수에 비례하여 화상 이미지가 180도씩 회전하도록 설정되어 있다면, 화상 이미지가 180도 회전되어 표시된 경우 수술자의 오른손과 왼손에 의해 각각 조작되는 수술 도구가 좌우가 뒤바뀌어 표시될 수 있다. 이때, 제어부(360) 또는 조작신호 생성부(340)는 화상 이미지의 오른쪽에 위치한 수술도구(즉, 기존에 수술자의 왼손에 의해 조작되던 수술도구)가 수술자의 오른손에 의해 조작되도록 각 수술도구(즉, 로봇 암(3))의 제어 권한이 상호간에 교환되도록 하거나 제어 권한의 실질적 교환 없이 동일한 효과가 발생되도록 하는 조작신호(예를 들어, 수술자의 오른손 조작이 화상 이미지 상으로는 오른쪽에 위치하지만 실제적으로는 환자의 왼쪽에 위치한 암을 제어하도록 하는 조작 신호)를 생성하여 슬레이브 로봇(2)으로 전송할 수 있다. 이는, 회전 각도에 관계없이 회전되어 표시된 화상 이미지의 중심 세로선을 기준하여 좌측과 우측에 각각 수술도구가 위치하는 경우 동일하게 적용될 수 있을 것이다. 이를 통해, 실제적으로는 환자의 오른쪽 및 왼쪽에 수술 도구(즉, 로봇 암(3))가 각각 위치할지라도 현재 표시되는 화상 이미지를 기준하여 오른쪽에 위치한 수술도구는 항상 수술자의 오른손에 의해 조작되도록 할 수 있어 수술자의 직관적 인식에 따른 용이한 수술이 가능해진다.
다음으로, 화면 표시부(320)를 통해 표시된 화상 이미지는 화면회전 조작부(350)의 조작 유지 시간에 비례하여 일정한 회전속도로 화상 이미지가 회전되어 표시되도록 할 수 있으며, 조작을 중지하는 시점에서의 회전각만큼 회전된 화상 이미지가 화면 표시부(320)를 통해 표시되도록 제어될 수 있다. 이때, 화면회전 조작부(350)의 조작에 의해 화상 이미지가 소프트웨어적으로 회전 제어되지 않고, 일방향으로 연장된 수술용 내시경이 그 연장된 방향을 축으로 하여 기구적으로 회전되도록 함으로써 동일한 작용 효과가 획득될 수도 있다.
이 경우에도 앞서 설명한 바와 같이, 수술도구가 상응하는 회전각만큼 회전하도록 하거나, 화상 이미지의 중심선을 기준으로 좌측 및 우측에 각각 위치한 수술도구가 직관적으로 수술자의 왼손 및 오른손에 의해 각각 제어되도록 할 수도 있을 것이다.
상술한 바와 같이, 환자의 수술을 위해 슬레이브 로봇(2)을 원격 제어하는 수술자는 본 실시예에 의하여 직관적으로 인식되는 화상 이미지를 참조하여 원활한 수술을 진행할 수 있다.
이제까지 수술자가 화면회전 조작부(350)를 수동 조작하거나 음성 조작하여 화상 이미지가 회전하여 표시되도록 하고 이에 상응하도록 로봇 암(3)이 제어되도록 하는 방법을 중심으로 설명하였다.
그러나, 본 발명은 화상 이미지의 표시 조건 적용 및 로봇 암(3)의 제어가 자동으로 처리되도록 하는 실시예들로 더 구체화될 수도 있다.
즉, 화면 표시부(320)를 통해 표시되는 화상 이미지에서 수술 도구가 어떻게 배치되었는지를 인식하여 화상 이미지의 회전 각도가 자동 연산되어 적용되도록 할 수도 있다. 이때, 영상 입력부(310)를 통해 입력되어 처리된 화상 이미지를 해석하기 위한 영상 해석 기술이 적용될 수 있다. 이러한 화상 이미지 회전 기법을 편의상 수술 도구 기반 디스플레이 제어(Instrument-based display control)라 칭하기로 한다.
수술도구 기반 디스플레이 제어를 간단히 설명하면, 수술 도구의 위치를 파악하여 최적의 화면이 표시될 수 있도록 화상 이미지의 표시 형태를 변경(예를 들어, 회전)한다. 즉, 수술자가 수술 도구를 어떻게 조작하든지 표시 화면에 표시되는 화상 이미지가 이에 최적화되도록 변경되어 표시된다.
수술 도구 기반 디스플레이 제어에 의한 일 예를 설명하면, 두 개의 수술 도구가 빗변이 되는 가상의 사다리꼴 또는 사각형을 형성한 후 사다리꼴 또는 사각형의 윗변 또는 아랫변이 표시 화면의 수평면과 오차 범위 이내에서 평행하도록 화상 이미지가 회전되도록 할 수 있다.
또한, 로봇 암(3)의 복수의 개소(예를 들어, 로봇 암(3)의 구부러지는 관절부들 중 임의의 개소)에 위치 감지 센서를 각각 장착하고, 위치 감지 센서의 측정값들을 이용하여 로봇 암(3)의 연장방향을 인식하여 로봇 암(3)의 제어 조건이 자동으로 결정되도록(예를 들어, 인식된 연장 방향에서 오른쪽에 위치한 암이 수술자의 오른손에 의해 제어되도록)하고, 그에 연동하여 연장 방향의 앞쪽이 화면 표시부(320)의 상측에 위치하는 화상 이미지가 표시되도록 화상 표시 조건이 지정될 수도 있을 것이다.
이외에도, 수술실 천정에서 로봇 암을 촬영하고, 그 촬영된 이미지를 해석하여 암의 연장 방향을 인식할 수도 있을 것이다. 이 경우, 촬영된 이미지의 해석을 용이하게 하기 위해 로봇 암 또는 로봇 암의 복수 개소에 일정 색상 또는/및 재질의 도료가 도포될 수도 있을 것이다.
이제까지, 본 명세서에서 본 발명의 실시예들을 참조하여 로봇 암, 수술 도구, 내시경 카메라 등이 그 위치를 유지하는 상태에서 수술자의 직관적 수술이 가능하도록 화상 이미지가 소프트웨어적으로 회전되어 표시되도록 하는 방법을 중심으로 설명하였다. 나아가, 로봇 암이 내시경 카메라를 그 연장된 방향을 축으로 하여 회전시키더라도 동등한 작용 효과를 획득할 수 있다. 이러한 경우에도 본 발명의 기술적 사상이 동일하게 적용될 수 있으므로, 이에 대한 구체적인 설명은 생략한다.
상술한 복강경 수술 로봇 시스템의 제어 방법은 소프트웨어 프로그램 등으로 구현될 수도 있다. 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (51)

  1. 수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브(slave) 로봇을 제어하는 마스터(master) 로봇에 장착되는 인터페이스(interface)로서,
    수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 화면 표시부;
    상기 둘 이상의 로봇 암을 각각 제어하기 위해 구비되는 둘 이상의 암 조작부; 및
    사용자 조작에 따라 상기 화상 이미지가 미리 지정된 방향으로 회전 또는 반전되어 디스플레이되도록 제어하고, 회전 또는 반전된 화상 이미지에 부합하도록 상기 로봇 암의 제어 조건이 갱신되도록 제어하는 제어부를 포함하는 수술용 로봇의 마스터 인터페이스.
  2. 제1항에 있어서,
    상기 암 조작부에 대한 사용자 조작에 따른 조작신호를 생성하여 상기 슬레이브 로봇으로 전송하고, 상기 제어 조건의 갱신을 위해 로봇 암 및 수술도구 중 하나 이상에 대한 위치 조정과 로봇 암 각각에 대응되는 암 조작부 변경 중 하나 이상에 대한 조작신호를 생성하여 상기 슬레이브 로봇으로 전송하는 조작신호 생성부를 더 포함하는 수술용 로봇의 마스터 인터페이스.
  3. 제2항에 있어서,
    상기 조작신호 생성부는 디스플레이 기반 수술도구 제어(Display-based Instrument control)에 따른 암 조작부 변경을 수행하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  4. 제3항에 있어서,
    상기 디스플레이 기반 수술도구 제어는 상기 회전된 화상 이미지 내에서 우측에 위치한 수술도구가 수술자의 우측에 위치한 암 조작부에 의해 조작되고, 좌측에 위치한 수술도구가 수술자의 좌측에 위치한 암 조작부에 의해 조작되도록 갱신하는 조작신호를 생성하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  5. 제4항에 있어서,
    상기 조작신호 생성부는 상기 위치 조정을 위한 사용자 조작에 대해 상기 화상 이미지의 회전 여부에 관계없이 일정한 방향으로 로봇 암 및 수술도구 중 하나 이상이 위치 조정되도록 하는 조작 신호를 생성하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  6. 제2항에 있어서,
    상기 조작신호 생성부는 상기 화상 이미지의 회전각에 부합하여 상기 수술도구가 상기 화상 이미지 내에서 회전 이동하여 위치하도록 하는 조작신호를 생성하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  7. 제1항에 있어서,
    상기 사용자 조작은 사용자 음성에 의한 조작이며,
    상기 제어부는 상기 사용자 음성을 입력받아 인식 및 해석한 후 미리 지정된 방향으로 상기 화상 이미지가 회전되도록 제어하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  8. 제1항에 있어서,
    상기 제어부는 수술 도구 기반 디스플레이 제어(Instrument-based display control)에 의한 회전각을 연산하고, 상기 연산된 회전각에 부합하도록 상기 화상 이미지가 회전되어 디스플레이되도록 제어하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  9. 제8항에 있어서,
    상기 수술 도구 기반 디스플레이 제어는 두 개의 수술 도구가 빗변이 되는 가상의 사다리꼴 또는 사각형을 형성한 후 사다리꼴 또는 사각형의 윗변 또는 아랫변이 표시 화면의 수평면과 오차 범위 이내에서 평행하도록 하는 상기 회전각을 연산하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  10. 제1항에 있어서,
    상기 화상 이미지가 미리 지정된 방향으로 회전하도록 하는 상기 사용자 조작을 입력받기 위한 화면회전 조작부를 더 포함하는 수술용 로봇의 마스터 인터페이스.
  11. 제10항에 있어서,
    상기 화상 이미지는 상기 화면회전 조작부의 조작 횟수에 비례하여 미리 지정된 회전각만큼 회전하여 디스플레이되는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  12. 제10항에 있어서,
    상기 화상 이미지는 상기 화면회전 조작부의 지속적인 조작 유지 시간 동안 일정한 회전 속도로 미리 지정된 회전 방향으로 회전되어 디스플레이되는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  13. 제10항에 있어서,
    상기 화면회전 조작부는 페달, 클러치 버튼, 음성 인식 장치 중 어느 하나인 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  14. 제1항에 있어서,
    상기 수술용 내시경은 복강경, 흉강경, 관절경, 비경 중 하나 이상인 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  15. 제1항에 있어서,
    상기 로봇 암의 복수 개소에 위치 감지 센서가 구비되고, 상기 제어부는 각 위치 감지 센서에 의한 센싱값을 이용하여 상기 로봇 암의 연장 방향을 인식하여 상기 화상 이미지의 회전각을 연산하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  16. 제15항에 있어서,
    상기 제어부는 상기 로봇 암의 연장 방향의 앞쪽이 표시 화면상 소정의 방향을 향하여 위치되도록 상기 회전각을 연산하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  17. 제1항에 있어서,
    상기 제어부는 천정에 구비된 카메라에 의해 촬영된 이미지를 해석하여 인식된 상기 로봇 암의 연장 방향을 이용하여 상기 화상 이미지의 회전각을 연산하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  18. 제17항에 있어서,
    상기 로봇 암의 전체 영역, 상부 영역 및 복수 개소 중 어느 하나에 미리 지정된 색상, 미리 지정된 재질 중 하나 이상의 도료가 도포되는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  19. 제8항, 제9항, 제11항, 제15항 및 제17항 중 어느 한 항에 있어서,
    상기 회전각에 부합하여 회전된 상기 화상 이미지가 디스플레이되도록 하기 위하여 상기 제어부는 상기 수술용 내시경을 그 연장된 방향을 축으로 하여 회전시키는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  20. 제1항에 있어서,
    상기 제어부는 상기 화면 표시부를 통해 상기 화상 이미지의 회전에 따른 정보를 나타내는 방향 지시자가 더 표시되도록 제어하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  21. 제20항에 있어서,
    상기 방향 지시자는 방향을 지시하는 하나 이상의 문자, 상기 화상 이미지의 회전에 부합하여 회전되는 입체 도형, 하나 이상의 블록을 포함하는 입체도형의 전개도, 나침반 중 하나 이상으로 구성되는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  22. 제1항에 있어서,
    상기 제어부는 상기 화상 이미지가 반전되어 디스플레이되도록 제어하는 경우, 상기 화면 표시부를 통해 방향 지시자, 경고 메시지, 주의적 정보 중 하나 이상이 더 표시되도록 제어하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  23. 제22항에 있어서,
    상기 화상 이미지의 반전은 좌우 반전 또는 상하 반전 중 어느 하나인 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  24. 제22항에 있어서,
    상기 주의적 정보는 상기 화상 이미지에 대한 미리 지정된 색상의 테두리 이미지인 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  25. 제1항에 있어서,
    상기 슬레이브 로봇과 상기 마스터 로봇은 일체형으로 통합되어 구성되는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
  26. 수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브 로봇을 제어하는 마스터 로봇에서 수행되는 수술 로봇 시스템의 제어 방법으로서,
    수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 단계;
    상기 화상 이미지의 회전 또는 반전을 지시하기 위한 조작명령을 입력받는 단계; 및
    상기 조작명령에 따라 상기 화상 이미지가 미리 지정된 방향으로 회전 또는 반전되어 디스플레이되도록 제어하고, 회전 또는 반전된 화상 이미지에 부합하도록 상기 로봇 암의 제어 조건이 갱신되도록 제어하는 단계를 포함하는 수술 로봇 시스템의 제어 방법.
  27. 제26항에 있어서,
    상기 로봇 암의 제어 조건이 갱신되도록 제어하는 단계는,
    로봇 암 및 수술도구 중 하나 이상에 대한 위치 조정과 로봇 암 각각에 대응되는 암 조작부 변경 중 하나 이상에 대한 조작신호를 생성하는 단계; 및
    상기 조작신호를 상기 슬레이브 로봇으로 전송하는 단계를 포함하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  28. 제27항에 있어서,
    상기 암 조작부 변경은 디스플레이 기반 수술도구 제어(Display-based Instrument control)에 따라 수행하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  29. 제28항에 있어서,
    상기 디스플레이 기반 수술도구 제어는,
    상기 회전된 화상 이미지 내에서 우측에 위치한 수술도구가 수술자의 우측에 위치한 암 조작부에 의해 조작되고, 좌측에 위치한 수술도구가 수술자의 좌측에 위치한 암 조작부에 의해 조작되도록 갱신하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  30. 제29항에 있어서,
    상기 위치 조정을 위한 사용자 조작에 대해 상기 화상 이미지의 회전 여부에 관계없이 일정한 방향으로 로봇 암 및 수술도구 중 하나 이상이 위치 조정되도록 하는 조작 신호를 생성하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  31. 제27항에 있어서,
    상기 위치 조정은,
    상기 화상 이미지의 회전각에 부합하여 상기 수술도구가 상기 화상 이미지 내에서 회전 이동하여 위치하도록 하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  32. 제26항에 있어서,
    상기 조작명령의 입력 횟수에 비례하여 상기 화상 이미지의 회전각이 결정되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  33. 제26항에 있어서,
    상기 조작명령의 지속적인 입력 유지 시간에 비례하여 상기 화상 이미지의 회전각이 결정되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  34. 제26항에 있어서,
    상기 조작명령을 입력받는 단계는,
    사용자 음성을 입력받는 단계; 및
    상기 입력된 사용자 음성을 인식 및 해석하여 상기 조작명령을 생성하는 단계를 포함하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  35. 제26항에 있어서,
    상기 조작명령은 페달, 클러치 버튼, 음성 인식 장치 중 어느 하나를 통해 입력되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  36. 제26항에 있어서,
    상기 수술용 내시경은 복강경, 흉강경, 관절경, 비경 중 하나 이상인 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  37. 제26항에 있어서,
    상기 조작명령을 입력받는 단계는,
    상기 둘 이상의 로봇 암의 복수 개소에 구비된 위치 감지 센서로부터 센싱값을 각각 입력받는 단계;
    상기 입력된 센싱값들을 이용하여 로봇 암들의 연장 방향을 인식하여 상기 화상 이미지를 회전하기 위한 회전각을 연산하는 단계; 및
    상기 연산된 회전각을 상기 조작명령으로서 입력받는 단계를 포함하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  38. 제36항에 있어서,
    상기 회전각은 하나 이상의 로봇 암의 연장 방향의 앞쪽이 표시 화면상 소정의 방향을 향하여 위치되도록 하는 값으로 연산되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  39. 제26항에 있어서,
    상기 조작명령을 입력받는 단계는,
    천정에 구비된 카메라에 의해 촬영된 이미지를 입력받는 단계;
    상기 입력된 이미지를 해석하여 인식된 로봇 암들의 연장 방향을 이용하여 상기 화상 이미지를 회전하기 위한 회전각을 연산하는 단계; 및
    상기 연산된 회전각을 상기 조작명령으로서 입력받는 단계를 포함하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  40. 제39항에 있어서,
    상기 로봇 암의 전체 영역, 상부 영역 및 복수 개소 중 어느 하나에 미리 지정된 색상, 미리 지정된 재질 중 하나 이상의 도료가 도포되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  41. 제32항, 제33항, 제37항 및 제39항 중 어느 한 항에 있어서,
    상기 회전각에 부합하여 회전된 상기 화상 이미지가 디스플레이되도록 하기 위하여 상기 수술용 내시경이 그 연장된 방향을 축으로 하여 회전되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  42. 제26항에 있어서,
    상기 제어하는 단계에서,
    상기 화상 이미지의 회전에 따른 정보를 나타내는 방향 지시자가 디스플레이되도록 제어되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  43. 제42항에 있어서,
    상기 방향 지시자는 방향을 지시하는 하나 이상의 문자, 상기 화상 이미지의 회전에 부합하여 회전되는 입체 도형, 하나 이상의 블록을 포함하는 입체도형의 전개도, 나침반 중 하나 이상으로 구성되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  44. 제26항에 있어서,
    상기 화상 이미지가 미리 지정된 방향으로 반전되어 디스플레이되도록 제어하는 단계에서, 방향 지시자, 경고 메시지, 주의적 정보 중 하나 이상이 더 표시되도록 제어되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  45. 제44항에 있어서,
    상기 화상 이미지의 반전은 좌우 반전 또는 상하 반전 중 어느 하나인 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  46. 제44항에 있어서,
    상기 주의적 정보는 상기 화상 이미지에 대한 미리 지정된 색상의 테두리 이미지인 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  47. 수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브 로봇을 제어하는 마스터 로봇에서 수행되는 수술 로봇 시스템의 제어 방법으로서,
    수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 단계;
    수술 도구 기반 디스플레이 제어(Instrument-based display control)에 의해 상기 화상 이미지의 회전각을 연산하는 단계; 및
    상기 연산된 회전각에 따라 상기 화상 이미지가 회전하여 디스플레이되도록 제어하는 단계를 포함하는 수술 로봇 시스템의 제어 방법.
  48. 제47항에 있어서,
    상기 수술 도구 기반 디스플레이 제어는 두 개의 수술 도구가 빗변이 되는 가상의 사다리꼴 또는 사각형을 형성한 후 사다리꼴 또는 사각형의 윗변 또는 아랫변이 표시 화면의 수평면과 오차 범위 이내에서 평행하도록 하는 상기 회전각을 연산하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  49. 제47항에 있어서,
    상기 수술용 내시경은 복강경, 흉강경, 관절경, 비경 중 하나 이상인 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  50. 제47항에 있어서,
    상기 회전각에 부합하여 회전된 상기 화상 이미지가 디스플레이되도록 하기 위하여 상기 수술용 내시경이 그 연장된 방향을 축으로 하여 회전되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
  51. 제26항 내지 제50항 중 어느 하나에 기재된 수술 로봇 시스템의 제어 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체.
PCT/KR2010/000761 2009-02-11 2010-02-08 수술 로봇 시스템 및 그 제어 방법 WO2010093152A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201080007445.2A CN102438795B (zh) 2009-02-11 2010-02-08 手术机器人系统及其控制方法
US13/144,427 US20110276058A1 (en) 2009-02-11 2010-02-08 Surgical robot system, and method for controlling same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2009-0011140 2009-02-11
KR1020090011140A KR101038417B1 (ko) 2009-02-11 2009-02-11 수술 로봇 시스템 및 그 제어 방법

Publications (2)

Publication Number Publication Date
WO2010093152A2 true WO2010093152A2 (ko) 2010-08-19
WO2010093152A3 WO2010093152A3 (ko) 2010-11-25

Family

ID=42562168

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/000761 WO2010093152A2 (ko) 2009-02-11 2010-02-08 수술 로봇 시스템 및 그 제어 방법

Country Status (4)

Country Link
US (1) US20110276058A1 (ko)
KR (1) KR101038417B1 (ko)
CN (1) CN102438795B (ko)
WO (1) WO2010093152A2 (ko)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103496633A (zh) * 2012-03-21 2014-01-08 通用汽车环球科技运作有限责任公司 推断让机器人系统运动的操作者的意图的方法
WO2015142957A1 (en) 2014-03-17 2015-09-24 Intuitive Surgical Operations, Inc. Systems and methods for control of imaging instrument orientation
US9423869B2 (en) 2011-08-04 2016-08-23 Olympus Corporation Operation support device
US9477301B2 (en) 2011-08-04 2016-10-25 Olympus Corporation Operation support device and assembly method thereof
US9519341B2 (en) 2011-08-04 2016-12-13 Olympus Corporation Medical manipulator and surgical support apparatus
US9524022B2 (en) 2011-08-04 2016-12-20 Olympus Corporation Medical equipment
US9568992B2 (en) 2011-08-04 2017-02-14 Olympus Corporation Medical manipulator
US9632577B2 (en) 2011-08-04 2017-04-25 Olympus Corporation Operation support device and control method thereof
US9632573B2 (en) 2011-08-04 2017-04-25 Olympus Corporation Medical manipulator and method of controlling the same
US9671860B2 (en) 2011-08-04 2017-06-06 Olympus Corporation Manipulation input device and manipulator system having the same
US9687301B2 (en) 2012-08-07 2017-06-27 Samsung Elecronics Co., Ltd. Surgical robot system and control method thereof
US9851782B2 (en) 2011-08-04 2017-12-26 Olympus Corporation Operation support device and attachment and detachment method thereof
WO2018013979A1 (en) * 2016-07-14 2018-01-18 Intuitive Surgical Operations, Inc. Secondary instrument control in a computer-assisted teleoperated system
EP2739234B1 (en) * 2011-08-04 2018-11-07 Olympus Corporation Surgical assistant system
WO2018226756A1 (en) * 2017-06-06 2018-12-13 Intuitive Surgical Operations, Inc. Systems and methods for state-based speech recognition in a teleoperational system
CN112451103A (zh) * 2020-12-04 2021-03-09 哈尔滨思哲睿智能医疗设备有限公司 一种机械臂控制方法及腹腔镜手术机器人系统

Families Citing this family (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8219178B2 (en) 2007-02-16 2012-07-10 Catholic Healthcare West Method and system for performing invasive medical procedures using a surgical robot
US10357184B2 (en) 2012-06-21 2019-07-23 Globus Medical, Inc. Surgical tool systems and method
US10653497B2 (en) 2006-02-16 2020-05-19 Globus Medical, Inc. Surgical tool systems and methods
US10893912B2 (en) 2006-02-16 2021-01-19 Globus Medical Inc. Surgical tool systems and methods
IT1391274B1 (it) * 2008-08-08 2011-12-01 Medica S R L Ab Sistema di irrigazione ed aspirazione, in particolare per chirurgia laparoscopica
US8423182B2 (en) 2009-03-09 2013-04-16 Intuitive Surgical Operations, Inc. Adaptable integrated energy control system for electrosurgical tools in robotic surgical systems
CN103188987B (zh) * 2010-11-02 2015-08-05 伊顿株式会社 手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法
WO2012131660A1 (en) 2011-04-01 2012-10-04 Ecole Polytechnique Federale De Lausanne (Epfl) Robotic system for spinal and other surgeries
JP5800616B2 (ja) * 2011-07-15 2015-10-28 オリンパス株式会社 マニピュレータシステム
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11116576B2 (en) 2012-06-21 2021-09-14 Globus Medical Inc. Dynamic reference arrays and methods of use
US10136954B2 (en) 2012-06-21 2018-11-27 Globus Medical, Inc. Surgical tool systems and method
JP2015528713A (ja) 2012-06-21 2015-10-01 グローバス メディカル インコーポレイティッド 手術ロボットプラットフォーム
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US10231791B2 (en) 2012-06-21 2019-03-19 Globus Medical, Inc. Infrared signal based position recognition system for use with a robot-assisted surgery
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US11395706B2 (en) 2012-06-21 2022-07-26 Globus Medical Inc. Surgical robot platform
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US10350013B2 (en) 2012-06-21 2019-07-16 Globus Medical, Inc. Surgical tool systems and methods
US11607149B2 (en) 2012-06-21 2023-03-21 Globus Medical Inc. Surgical tool systems and method
US12004905B2 (en) 2012-06-21 2024-06-11 Globus Medical, Inc. Medical imaging systems using robotic actuators and related methods
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
WO2014010941A1 (ko) * 2012-07-10 2014-01-16 현대중공업 주식회사 수술로봇 시스템 및 수술로봇 제어방법
KR101806195B1 (ko) 2012-07-10 2018-01-11 큐렉소 주식회사 수술로봇 시스템 및 수술로봇 제어방법
KR102188033B1 (ko) 2012-09-17 2020-12-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격조작 수술 기구 기능들에 입력 장치들을 할당하는 방법 및 시스템
US10631939B2 (en) 2012-11-02 2020-04-28 Intuitive Surgical Operations, Inc. Systems and methods for mapping flux supply paths
US10864048B2 (en) 2012-11-02 2020-12-15 Intuitive Surgical Operations, Inc. Flux disambiguation for teleoperated surgical systems
US20150302555A1 (en) * 2012-12-12 2015-10-22 Koninklijke Philips N.V. Automated cardiopulmonary resuscitation device with a display
US9566414B2 (en) 2013-03-13 2017-02-14 Hansen Medical, Inc. Integrated catheter and guide wire controller
EP2969409B1 (en) * 2013-03-15 2024-05-01 Intuitive Surgical Operations, Inc. Inter-operative switching of tools in a robotic surgical system
US9283046B2 (en) 2013-03-15 2016-03-15 Hansen Medical, Inc. User interface for active drive apparatus with finite range of motion
US10849702B2 (en) 2013-03-15 2020-12-01 Auris Health, Inc. User input devices for controlling manipulation of guidewires and catheters
WO2014156217A1 (ja) * 2013-03-29 2014-10-02 オリンパス株式会社 マスタスレーブシステムとその駆動方法
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
CN103345352B (zh) * 2013-06-05 2016-08-10 上海斐讯数据通信技术有限公司 移动终端图像旋转系统及移动终端图像旋转方法
JP6164964B2 (ja) * 2013-07-26 2017-07-19 オリンパス株式会社 医療用システムおよびその制御方法
US9283048B2 (en) 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
KR101527176B1 (ko) * 2013-12-09 2015-06-09 (주)미래컴퍼니 수술 로봇 장치 및 수술 로봇 장치의 제어 방법
EP3066973B8 (en) * 2013-12-26 2019-09-11 Olympus Corporation Pneumoperitoneum apparatus
EP3094272B1 (en) 2014-01-15 2021-04-21 KB Medical SA Notched apparatus for guidance of an insertable instrument along an axis during spinal surgery
EP3104803B1 (en) 2014-02-11 2021-09-15 KB Medical SA Sterile handle for controlling a robotic surgical system from a sterile field
JP6264087B2 (ja) * 2014-02-21 2018-01-24 ソニー株式会社 表示制御装置、表示装置および表示制御システム
DE102014204251A1 (de) * 2014-03-07 2015-09-10 Siemens Aktiengesellschaft Verfahren zu einer Interaktion zwischen einer Assistenzvorrichtung und einem medizinischen Gerät und/oder einem Bedienpersonal und/oder einem Patienten, Assistenzvorrichtung, Assistenzsystem, Einheit und System
US10166061B2 (en) 2014-03-17 2019-01-01 Intuitive Surgical Operations, Inc. Teleoperated surgical system equipment with user interface
EP2923669B1 (en) 2014-03-24 2017-06-28 Hansen Medical, Inc. Systems and devices for catheter driving instinctiveness
EP3134022B1 (en) 2014-04-24 2018-01-10 KB Medical SA Surgical instrument holder for use with a robotic surgical system
US10279470B2 (en) * 2014-06-12 2019-05-07 Play-i, Inc. System and method for facilitating program sharing
US9498882B2 (en) 2014-06-12 2016-11-22 Play-i, Inc. System and method for reinforcing programming education through robotic feedback
US9672756B2 (en) 2014-06-12 2017-06-06 Play-i, Inc. System and method for toy visual programming
CN107072673A (zh) 2014-07-14 2017-08-18 Kb医疗公司 用于在骨组织中制备孔的防滑手术器械
US10987050B2 (en) 2014-07-21 2021-04-27 ProPep Surgical, LLC System and method for laparoscopic nerve identification, nerve location marking, and nerve location recognition
EP3235417A4 (en) * 2014-12-19 2018-09-12 Olympus Corporation Endoscope system
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10555782B2 (en) 2015-02-18 2020-02-11 Globus Medical, Inc. Systems and methods for performing minimally invasive spinal surgery with a robotic surgical system using a percutaneous technique
USD777846S1 (en) 2015-05-19 2017-01-31 Play-i, Inc. Connector accessory for toy robot
US10646298B2 (en) 2015-07-31 2020-05-12 Globus Medical, Inc. Robot arm and methods of use
US10058394B2 (en) 2015-07-31 2018-08-28 Globus Medical, Inc. Robot arm and methods of use
US10080615B2 (en) 2015-08-12 2018-09-25 Globus Medical, Inc. Devices and methods for temporary mounting of parts to bone
JP6894431B2 (ja) 2015-08-31 2021-06-30 ケービー メディカル エスアー ロボット外科用システム及び方法
US10034716B2 (en) 2015-09-14 2018-07-31 Globus Medical, Inc. Surgical robotic systems and methods thereof
US9771092B2 (en) 2015-10-13 2017-09-26 Globus Medical, Inc. Stabilizer wheel assembly and methods of use
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US10117632B2 (en) 2016-02-03 2018-11-06 Globus Medical, Inc. Portable medical imaging system with beam scanning collimator
US11058378B2 (en) 2016-02-03 2021-07-13 Globus Medical, Inc. Portable medical imaging system
US10448910B2 (en) 2016-02-03 2019-10-22 Globus Medical, Inc. Portable medical imaging system
US10842453B2 (en) 2016-02-03 2020-11-24 Globus Medical, Inc. Portable medical imaging system
US10866119B2 (en) 2016-03-14 2020-12-15 Globus Medical, Inc. Metal detector for detecting insertion of a surgical device into a hollow tube
EP3241518A3 (en) 2016-04-11 2018-01-24 Globus Medical, Inc Surgical tool systems and methods
US11037464B2 (en) 2016-07-21 2021-06-15 Auris Health, Inc. System with emulator movement tracking for controlling medical devices
US10028794B2 (en) * 2016-12-19 2018-07-24 Ethicon Llc Surgical system with voice control
EP3360502A3 (en) 2017-01-18 2018-10-31 KB Medical SA Robotic navigation of robotic surgical systems
US11071594B2 (en) 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems
US10675094B2 (en) 2017-07-21 2020-06-09 Globus Medical Inc. Robot surgical platform
WO2019023014A1 (en) 2017-07-27 2019-01-31 Intuitive Surgical Operations, Inc. ASSOCIATION METHODS AND ASSOCIATED SYSTEMS FOR MANIPULATORS
EP3658057B1 (en) * 2017-07-27 2023-08-30 Intuitive Surgical Operations, Inc. Association systems for manipulators
EP3678580A4 (en) * 2017-09-05 2021-05-26 Covidien LP SURGICAL ROBOTIC SYSTEMS WITH ROLLER, TANGAGE, AND LACE REALIGNMENT INCLUDING TRIMMING AND TURNING ALGORITHMS
JP6778242B2 (ja) 2017-11-09 2020-10-28 グローバス メディカル インコーポレイティッド 手術用ロッドを曲げるための手術用ロボットシステム、および関連する方法および装置
US11794338B2 (en) 2017-11-09 2023-10-24 Globus Medical Inc. Robotic rod benders and related mechanical and motor housings
US11357548B2 (en) 2017-11-09 2022-06-14 Globus Medical, Inc. Robotic rod benders and related mechanical and motor housings
US11134862B2 (en) 2017-11-10 2021-10-05 Globus Medical, Inc. Methods of selecting surgical implants and related devices
KR102645922B1 (ko) 2017-12-06 2024-03-13 아우리스 헬스, 인코포레이티드 지시되지 않은 기구 롤을 수정하기 위한 시스템 및 방법
CN110831534B (zh) 2017-12-08 2023-04-28 奥瑞斯健康公司 用于医疗仪器导航和瞄准的系统和方法
US11234781B2 (en) * 2017-12-31 2022-02-01 Asensus Surgical Us, Inc. Dynamic control of surgical instruments in a surgical robotic system
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
GB2571319B (en) * 2018-02-23 2022-11-23 Cmr Surgical Ltd Concurrent control of an end effector in a master-slave robotic system using multiple input devices
US10573023B2 (en) 2018-04-09 2020-02-25 Globus Medical, Inc. Predictive visualization of medical imaging scanner component movement
KR20210010871A (ko) 2018-05-18 2021-01-28 아우리스 헬스, 인코포레이티드 로봇식 원격작동 시스템을 위한 제어기
CN108836406A (zh) * 2018-06-01 2018-11-20 南方医科大学 一种基于语音识别的单人腹腔镜手术系统和方法
MX2021003099A (es) 2018-09-17 2021-05-13 Auris Health Inc Sistemas y metodos para procedimientos medicos concomitantes.
KR102116119B1 (ko) * 2018-10-22 2020-05-27 (주)미래컴퍼니 마스터 로봇 및 그 제어 방법
US11337742B2 (en) 2018-11-05 2022-05-24 Globus Medical Inc Compliant orthopedic driver
US11278360B2 (en) 2018-11-16 2022-03-22 Globus Medical, Inc. End-effectors for surgical robotic systems having sealed optical components
US11744655B2 (en) 2018-12-04 2023-09-05 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11602402B2 (en) 2018-12-04 2023-03-14 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11918313B2 (en) 2019-03-15 2024-03-05 Globus Medical Inc. Active end effectors for surgical robots
US11419616B2 (en) 2019-03-22 2022-08-23 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11806084B2 (en) 2019-03-22 2023-11-07 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11317978B2 (en) 2019-03-22 2022-05-03 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11382549B2 (en) 2019-03-22 2022-07-12 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11571265B2 (en) 2019-03-22 2023-02-07 Globus Medical Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US20200297357A1 (en) 2019-03-22 2020-09-24 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11045179B2 (en) 2019-05-20 2021-06-29 Global Medical Inc Robot-mounted retractor system
DE102019114817B4 (de) 2019-06-03 2021-12-02 Karl Storz Se & Co. Kg Bildgebungssystem und Verfahren zur Beobachtung
US11872007B2 (en) 2019-06-28 2024-01-16 Auris Health, Inc. Console overlay and methods of using same
US11628023B2 (en) 2019-07-10 2023-04-18 Globus Medical, Inc. Robotic navigational system for interbody implants
US11571171B2 (en) 2019-09-24 2023-02-07 Globus Medical, Inc. Compound curve cable chain
US11864857B2 (en) 2019-09-27 2024-01-09 Globus Medical, Inc. Surgical robot with passive end effector
US11890066B2 (en) 2019-09-30 2024-02-06 Globus Medical, Inc Surgical robot with passive end effector
US11426178B2 (en) 2019-09-27 2022-08-30 Globus Medical Inc. Systems and methods for navigating a pin guide driver
US11510684B2 (en) 2019-10-14 2022-11-29 Globus Medical, Inc. Rotary motion passive end effector for surgical robots in orthopedic surgeries
EP4021686A1 (en) * 2019-11-19 2022-07-06 Google LLC Methods and systems for graphical user interfaces to control remotely located robots
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11253216B2 (en) 2020-04-28 2022-02-22 Globus Medical Inc. Fixtures for fluoroscopic imaging systems and related navigation systems and methods
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11317973B2 (en) 2020-06-09 2022-05-03 Globus Medical, Inc. Camera tracking bar for computer assisted navigation during surgery
US11382713B2 (en) 2020-06-16 2022-07-12 Globus Medical, Inc. Navigated surgical system with eye to XR headset display calibration
US11877807B2 (en) 2020-07-10 2024-01-23 Globus Medical, Inc Instruments for navigated orthopedic surgeries
US11793588B2 (en) 2020-07-23 2023-10-24 Globus Medical, Inc. Sterile draping of robotic arms
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11523785B2 (en) 2020-09-24 2022-12-13 Globus Medical, Inc. Increased cone beam computed tomography volume length without requiring stitching or longitudinal C-arm movement
US11911112B2 (en) 2020-10-27 2024-02-27 Globus Medical, Inc. Robotic navigational system
KR102433708B1 (ko) * 2020-11-03 2022-08-19 윤삼열 수술보조용 로봇설비
US11941814B2 (en) 2020-11-04 2024-03-26 Globus Medical Inc. Auto segmentation using 2-D images taken during 3-D imaging spin
US11717350B2 (en) 2020-11-24 2023-08-08 Globus Medical Inc. Methods for robotic assistance and navigation in spinal surgery and related systems
US11857273B2 (en) 2021-07-06 2024-01-02 Globus Medical, Inc. Ultrasonic robotic surgical navigation
US11439444B1 (en) 2021-07-22 2022-09-13 Globus Medical, Inc. Screw tower and rod reduction tool
US11911115B2 (en) 2021-12-20 2024-02-27 Globus Medical Inc. Flat panel registration fixture and method of using same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990087101A (ko) * 1996-02-20 1999-12-15 듀간 로버트 더블유. 최소손상식 심장수술을 수행하는 방법 및 장치
US6871117B2 (en) * 2001-09-07 2005-03-22 Intuitive Surgical, Inc. Modularity system for computer assisted surgery
KR100585458B1 (ko) * 2004-04-13 2006-06-07 국립암센터 복강경 수술 로봇 시스템
KR20070045023A (ko) * 2005-10-26 2007-05-02 한양대학교 산학협력단 복수의 2차원 영상을 이용한 3차원 수술공간 계측 시스템및 그 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
US6951535B2 (en) * 2002-01-16 2005-10-04 Intuitive Surgical, Inc. Tele-medicine system that transmits an entire state of a subsystem
US7607440B2 (en) * 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
KR100681233B1 (ko) * 2004-10-28 2007-02-09 김재황 복강경수술 모니터장치 및 디스플레이 방법
US7763015B2 (en) * 2005-01-24 2010-07-27 Intuitive Surgical Operations, Inc. Modular manipulator support for robotic surgery
US9266239B2 (en) * 2005-12-27 2016-02-23 Intuitive Surgical Operations, Inc. Constraint based control in a minimally invasive surgical apparatus
KR100731052B1 (ko) * 2006-01-23 2007-06-22 한양대학교 산학협력단 미세침습 수술을 위한 컴퓨터통합 수술 보조시스템
EP1815950A1 (en) * 2006-02-03 2007-08-08 The European Atomic Energy Community (EURATOM), represented by the European Commission Robotic surgical system for performing minimally invasive medical procedures
EP1815949A1 (en) * 2006-02-03 2007-08-08 The European Atomic Energy Community (EURATOM), represented by the European Commission Medical robotic system with manipulator arm of the cylindrical coordinate type
JP4916011B2 (ja) * 2007-03-20 2012-04-11 株式会社日立製作所 マスタ・スレーブ式マニピュレータシステム
KR100961428B1 (ko) * 2008-02-20 2010-06-09 (주)미래컴퍼니 침대 일체형 수술용 로봇
KR100936928B1 (ko) * 2008-07-25 2010-01-20 (주)미래컴퍼니 수술용 로봇

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990087101A (ko) * 1996-02-20 1999-12-15 듀간 로버트 더블유. 최소손상식 심장수술을 수행하는 방법 및 장치
US6871117B2 (en) * 2001-09-07 2005-03-22 Intuitive Surgical, Inc. Modularity system for computer assisted surgery
KR100585458B1 (ko) * 2004-04-13 2006-06-07 국립암센터 복강경 수술 로봇 시스템
KR20070045023A (ko) * 2005-10-26 2007-05-02 한양대학교 산학협력단 복수의 2차원 영상을 이용한 3차원 수술공간 계측 시스템및 그 방법

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9851782B2 (en) 2011-08-04 2017-12-26 Olympus Corporation Operation support device and attachment and detachment method thereof
EP2739234B1 (en) * 2011-08-04 2018-11-07 Olympus Corporation Surgical assistant system
US9423869B2 (en) 2011-08-04 2016-08-23 Olympus Corporation Operation support device
US9477301B2 (en) 2011-08-04 2016-10-25 Olympus Corporation Operation support device and assembly method thereof
US9519341B2 (en) 2011-08-04 2016-12-13 Olympus Corporation Medical manipulator and surgical support apparatus
US9524022B2 (en) 2011-08-04 2016-12-20 Olympus Corporation Medical equipment
US9568992B2 (en) 2011-08-04 2017-02-14 Olympus Corporation Medical manipulator
US9632577B2 (en) 2011-08-04 2017-04-25 Olympus Corporation Operation support device and control method thereof
US9632573B2 (en) 2011-08-04 2017-04-25 Olympus Corporation Medical manipulator and method of controlling the same
US9671860B2 (en) 2011-08-04 2017-06-06 Olympus Corporation Manipulation input device and manipulator system having the same
CN103496633A (zh) * 2012-03-21 2014-01-08 通用汽车环球科技运作有限责任公司 推断让机器人系统运动的操作者的意图的方法
US9687301B2 (en) 2012-08-07 2017-06-27 Samsung Elecronics Co., Ltd. Surgical robot system and control method thereof
EP3119325A4 (en) * 2014-03-17 2017-11-22 Intuitive Surgical Operations, Inc. Systems and methods for control of imaging instrument orientation
WO2015142957A1 (en) 2014-03-17 2015-09-24 Intuitive Surgical Operations, Inc. Systems and methods for control of imaging instrument orientation
US10548459B2 (en) 2014-03-17 2020-02-04 Intuitive Surgical Operations, Inc. Systems and methods for control of imaging instrument orientation
WO2018013979A1 (en) * 2016-07-14 2018-01-18 Intuitive Surgical Operations, Inc. Secondary instrument control in a computer-assisted teleoperated system
KR20190018726A (ko) 2016-07-14 2019-02-25 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 컴퓨터 보조 원격조작 시스템에서의 2차 기구 제어
KR20220136456A (ko) 2016-07-14 2022-10-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 컴퓨터 보조 원격조작 시스템에서의 2차 기구 제어
US11672616B2 (en) 2016-07-14 2023-06-13 Intuitive Surgical Operations, Inc. Secondary instrument control in a computer-assisted teleoperated system
KR20230167129A (ko) 2016-07-14 2023-12-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 컴퓨터 보조 원격조작 시스템에서의 2차 기구 제어
WO2018226756A1 (en) * 2017-06-06 2018-12-13 Intuitive Surgical Operations, Inc. Systems and methods for state-based speech recognition in a teleoperational system
CN112451103A (zh) * 2020-12-04 2021-03-09 哈尔滨思哲睿智能医疗设备有限公司 一种机械臂控制方法及腹腔镜手术机器人系统
CN112451103B (zh) * 2020-12-04 2023-05-26 哈尔滨思哲睿智能医疗设备股份有限公司 一种机械臂控制方法及腹腔镜手术机器人系统

Also Published As

Publication number Publication date
WO2010093152A3 (ko) 2010-11-25
KR101038417B1 (ko) 2011-06-01
CN102438795A (zh) 2012-05-02
CN102438795B (zh) 2015-01-28
KR20100091784A (ko) 2010-08-19
US20110276058A1 (en) 2011-11-10

Similar Documents

Publication Publication Date Title
WO2010093152A2 (ko) 수술 로봇 시스템 및 그 제어 방법
US20210256749A1 (en) Rendering Tool Information As Graphic Overlays On Displayed Images Of Tools
US20210228295A1 (en) System and apparatus for positioning an instrument in a body cavity for performing a surgical procedure
JP4156606B2 (ja) 臨場感を伴った遠隔操作の方法及びシステム等
US20180325604A1 (en) Improved interface for laparoscopic surgeries - movement gestures
JP5084139B2 (ja) 内視鏡装置
US10881268B2 (en) Device to set and retrieve a reference point during a surgical procedure
WO2010021447A1 (ko) 수술용 로봇의 3차원 디스플레이 시스템 및 그 제어방법
WO2013005862A1 (en) Medical master slave manipulator
JPH08224248A (ja) 医療用マニピュレータ
KR100962472B1 (ko) 수술 로봇 시스템 및 그 제어 방법
JP6856594B2 (ja) 手術システムおよび表示方法
JPWO2017187795A1 (ja) 制御装置、制御方法及び手術システム
US20230329818A1 (en) Virtual console for controlling a surgical robot
WO2017043924A1 (ko) 의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템
US20230221808A1 (en) System and method for motion mode management
JPH08336497A (ja) 体腔内観察装置
WO2021153973A1 (ko) 관절치환 로봇수술 정보 제공 장치 및 제공 방법
WO2020116792A1 (ko) 수술용 슬레이브 암을 원격으로 제어하는 방법 및 시스템
JP6902639B2 (ja) 手術システム
JP4382894B2 (ja) 視野移動内視鏡システム
WO2019132166A1 (ko) 수술보조 영상 표시방법 및 프로그램
WO2019022464A1 (ko) 움직임 감지를 이용한 수술 영상화 시스템 제어 장치 및 방법
JP7016400B2 (ja) 手術システムおよび表示方法
WO2020085748A1 (ko) 마스터 로봇 및 그 제어 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080007445.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10741370

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10741370

Country of ref document: EP

Kind code of ref document: A2