KR101795720B1 - Control method of surgical robot system, recording medium thereof, and surgical robot system - Google Patents

Control method of surgical robot system, recording medium thereof, and surgical robot system Download PDF

Info

Publication number
KR101795720B1
KR101795720B1 KR1020110044676A KR20110044676A KR101795720B1 KR 101795720 B1 KR101795720 B1 KR 101795720B1 KR 1020110044676 A KR1020110044676 A KR 1020110044676A KR 20110044676 A KR20110044676 A KR 20110044676A KR 101795720 B1 KR101795720 B1 KR 101795720B1
Authority
KR
South Korea
Prior art keywords
surgical
region
image
laparoscopic
image information
Prior art date
Application number
KR1020110044676A
Other languages
Korean (ko)
Other versions
KR20120126679A (en
Inventor
최재순
최승욱
김희찬
박준우
이민규
류지원
Original Assignee
주식회사 미래컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 미래컴퍼니 filed Critical 주식회사 미래컴퍼니
Priority to KR1020110044676A priority Critical patent/KR101795720B1/en
Publication of KR20120126679A publication Critical patent/KR20120126679A/en
Application granted granted Critical
Publication of KR101795720B1 publication Critical patent/KR101795720B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions

Abstract

복강경 영상으로부터 현재의 수술 상황을 판단하고 이 상황에 대응하기 위한 소정의 동작이 수행됨으로써, 수술 로봇을 이용한 수술 중의 안전성을 향상시키는 수술 로봇 시스템의 제어 방법과 이를 기록한 기록매체 및 수술 로봇 시스템를 제공하기 위하여, 본 발명은 복강경 영상으로부터, 상기 복강경 영상의 픽셀 정보를 표현하는 RGB 값 또는 HSV 값 중 적어도 하나를 포함하는 이미지 정보가 생성되는 단계; 상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계; 상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계; 및 상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계;를 포함하는 수술 로봇 시스템의 제어 방법을 제공한다. A control method of a surgical robot system for improving safety during surgery using a surgical robot by judging a current surgical situation from laparoscopic images and performing a predetermined operation to cope with the situation, and a recording medium and a surgical robot system recording the same The method comprising: generating image information including at least one of an RGB value or an HSV value representing pixel information of the laparoscopic image from a laparoscopic image; Extracting a region of interest in the laparoscopic image from the generated image information; Determining a current surgical situation from a change in the extracted region of interest over time; And a step of performing a predetermined operation corresponding to the determined surgical condition.

Description

수술 상황 판단 및 대응을 위한 수술 로봇 시스템의 제어 방법과 이를 기록한 기록매체 및 수술 로봇 시스템{Control method of surgical robot system, recording medium thereof, and surgical robot system}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a control method of a surgical robot system for judging and responding to a surgical situation, a recording medium on which the surgical robot system is controlled,

본 발명은 수술 로봇 시스템의 제어 방법과 이를 기록한 기록매체 및 수술 로봇 시스템에 관한 것으로, 상세하게는 복강경 영상으로부터 현재의 수술 상황을 판단하고 이 상황에 대응하기 위한 소정의 동작이 수행됨으로써, 수술 로봇을 이용한 수술 중의 안전성을 향상시키는 수술 로봇 시스템의 제어 방법과 이를 기록한 기록매체 및 수술 로봇 시스템에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a control method for a surgical robot system, a recording medium on which the surgical robot system is controlled, and a surgical robot system. More particularly, And more particularly, to a control method of a surgical robot system for improving safety during surgery using a surgical instrument, a recording medium on which the surgical robot system is recorded, and a surgical robot system.

수술 로봇은 외과의사에 의해 시행되던 수술 행위를 대신할 수 있는 기능을 가지는 로봇을 말한다. 이러한 수술 로봇은 사람에 비하여 정확하고 정밀한 동작을 할 수 있으며 원격 수술이 가능하다는 장점을 가진다.The surgical robot refers to a robot having a function of substituting surgical operation performed by a surgeon. Such a surgical robot has an advantage that it can perform accurate and precise operation compared to a human and can perform a remote operation.

현재 전 세계적으로 개발되고 있는 수술 로봇은 뼈 수술 로봇, 복강경(復腔鏡) 수술 로봇, 정위 수술 로봇 등이 있다. 여기서 복강경 수술 로봇은 복강경과 소형 수술 도구를 이용하여 최소 침습적 수술을 시행하는 로봇이다.Surgical robots currently being developed around the world include bone surgery robots, laparoscopic surgery robots, and stereotactic robots. Here, a laparoscopic surgical robot is a robot that performs minimally invasive surgery using laparoscopic and small surgical instruments.

복강경 수술은 배꼽 부위에 1cm 정도의 구멍을 뚫고 배 안을 들여다보기 위한 내시경인 복강경을 집어넣은 후 수술하는 첨단 수술기법으로서 향후 많은 발전이 기대되는 분야이다. 최근의 복강경은 컴퓨터칩이 장착되어 육안으로 보는 것보다도 더 선명하면서도 확대된 영상을 얻을 수 있으며, 또 모니터를 통해 화면을 보면서 특별히 고안된 복강경용 수술 기구들을 사용하면 어떠한 수술도 가능할 정도로 발전하고 있다. 더욱이 복강경 수술은 그 수술 범위가 개복 수술과 거의 같으면서도, 개복수술에 비해 합병증이 적고, 시술 후 훨씬 이른 시간 안에 치료를 시작할 수 있으며, 수술 환자의 체력이나 면역기능을 유지시키는 능력이 우수한 이점이 있다. Laparoscopic surgery is an advanced surgical technique that inserts a laparoscope, which is an endoscope for inserting a 1 cm hole in the umbilicus and looks into the abdomen. A recent laparoscope is equipped with a computer chip to provide a sharper, more magnified image than is seen with the naked eye, and the laparoscopic surgical instruments specially designed by looking at the screen through the monitor have developed enough to perform any operation. In addition, laparoscopic surgery has the advantage of being less complicated than open surgery, initiating treatment within a very short time after surgery, and maintaining the physical strength and immune function of the surgical patients, have.

한편, 수술 로봇 시스템은 일반적으로 마스터 로봇과 슬레이브 로봇으로 구성된다. 수술자가 마스터 로봇에 구비된 조종 레버(예를 들어 핸들)를 조작하면, 슬레이브 로봇의 로봇 암에 결합되거나 로봇 암이 파지하고 있는 수술 도구가 조작되어 수술이 수행된다. On the other hand, the surgical robot system generally comprises a master robot and a slave robot. When the operator manipulates a steering lever (for example, a steering wheel) provided on the master robot, the surgical tool held by the robot arm is coupled to the robot arm of the slave robot.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.The above-described background technology is technical information that the inventor holds for the derivation of the present invention or acquired in the process of deriving the present invention, and can not necessarily be a known technology disclosed to the general public prior to the filing of the present invention.

본 발명은 복강경 영상으로부터 현재의 수술 상황을 판단하고 이 상황에 대응하기 위한 소정의 동작이 수행됨으로써, 수술 로봇을 이용한 수술 중의 안전성을 향상시키는 수술 로봇 시스템의 제어 방법과 이를 기록한 기록매체 및 수술 로봇 시스템를 제공하는 것을 목적으로 한다. The present invention relates to a control method of a surgical robot system for judging a current surgical situation from laparoscopic images and performing a predetermined operation to cope with the situation, thereby improving safety during surgery using a surgical robot, System.

본 발명은 복강경 영상으로부터, 상기 복강경 영상의 픽셀 정보를 표현하는 RGB 값 또는 HSV 값 중 적어도 하나를 포함하는 이미지 정보가 생성되는 단계; 상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계; 상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계; 및 상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계;를 포함하는 수술 로봇 시스템의 제어 방법을 제공한다. The method includes generating image information including at least one of an RGB value or an HSV value representing pixel information of the laparoscopic image from a laparoscopic image; Extracting a region of interest in the laparoscopic image from the generated image information; Determining a current surgical situation from a change in the extracted region of interest over time; And a step of performing a predetermined operation corresponding to the determined surgical condition.

본 발명에 있어서, 상기 관심 영역은 상기 복강경 영상 내에서 수술 도구가 위치하는 수술 도구 영역일 수 있다. In the present invention, the region of interest may be a surgical tool region in which the surgical tool is located within the laparoscopic image.

본 발명에 있어서, 상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계는, 상기 생성된 이미지 정보에 K-평균 군집화 방법(K-means clustering method)을 적용하여, 상기 이미지 정보를 유사한 명도를 갖는 복수 개의 영역으로 그루핑을 수행하는 단계; 및 상기 K-평균 군집화 방법(K-means clustering method)을 통해 구해진 그룹 중 수술 도구 그룹만을 남겨둔 후 이를 이진화(Binarization)하는 단계;를 포함할 수 있다. In the present invention, the step of extracting the region of interest in the laparoscopic image from the generated image information may include applying a K-means clustering method to the generated image information, Performing grouping into a plurality of regions having similar brightness; And binarizing the group after leaving only the group of surgical tools among the groups obtained through the K-means clustering method.

여기서, 상기 이진화 단계 이후, 상기 이진화를 수행한 이미지 정보에 칼만 필터(Kalman filter)를 적용하여, 상기 이진화를 수행한 이미지 정보에 대한 일시적 오류를 제거하는 단계를 더 포함할 수 있다. Here, after the binarization step, a Kalman filter may be applied to the binarized image information to remove temporal errors of the binarized image information.

본 발명에 있어서, 상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계는, 상기 추출된 수술 도구 영역이 기 설정된 소정의 제한 영역을 침범하는지 여부가 판단되는 단계일 수 있다. In the present invention, the step of determining the current operation status from the change of the extracted ROI according to the passage of time may include the step of determining whether or not the extracted surgical tool area invades a preset predetermined restriction area .

여기서, 상기 기 설정된 소정의 제한 영역은 피시술자의 혈관, 조직, 장기 중 하나 이상을 포함할 수 있다. Here, the predetermined predetermined restriction region may include at least one of blood vessel, tissue, and organ of the subject.

여기서, 상기 수술 도구 영역이 상기 기 설정된 소정의 제한 영역과 소정의 거리 이내로 근접하는지 여부 또는, 상기 수술 도구 영역이 상기 기 설정된 소정의 제한 영역과 접촉하는지 여부 또는, 상기 수술 도구 영역이 상기 기 설정된 소정의 제한 영역 내부로 인입되는지 여부가 판단될 수 있다. Here, it is determined whether the surgical tool region is within a predetermined distance from the preset predetermined restriction region, whether the surgical tool region is in contact with the preset predetermined restriction region, It can be determined whether or not it is drawn into a predetermined restriction area.

본 발명에 있어서, 상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계는, 시각 또는 청각 정보 등을 통한 알람(alarm) 메시지가 발산될 수 있다. In the present invention, in the step of performing a predetermined operation corresponding to the determined surgical condition, an alarm message through time or auditory information may be diverted.

본 발명에 있어서, 상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계는, 사용자 조작부의 조작에 대해, 상기 수술 도구에서 감지된 반력을 일정 정도 변형 또는 증강시킨 소정의 반력을 가하는 포스 피드백(force feedback) 기능이 수행될 수 있다. In the present invention, the step of performing a predetermined operation corresponding to the determined surgical condition may include a step of performing a force feedback operation for applying a predetermined reaction force to deform or increase the reaction force detected by the surgical tool to a certain degree, (force feedback) function can be performed.

본 발명에 있어서, 상기 관심 영역은 상기 복강경 영상 내에서 출혈이 발생한 출혈 영역일 수 있다. In the present invention, the region of interest may be a bleeding region in which bleeding occurs in the laparoscopic image.

여기서, 상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계는, 상기 이미지 정보에 대해 히스토그램 평탄화가 수행되는 단계; 및 상기 히스토그램 평탄화가 수행된 이미지 정보에 Mutually inclusive RGB thresholding이 수행되는 단계;를 포함할 수 있다. Here, extracting the region of interest in the laparoscopic image from the generated image information may include: performing histogram flattening on the image information; And performing mutually inclusive RGB thresholding on the image information on which the histogram smoothing is performed.

여기서, 상기 Mutually inclusive RGB thresholding은, R,G,B의 각각의 공간(space) 상에서 소정의 임계값(threshold)을 부여하여 이진화를 수행한 후, 상기 이진화가 수행된 R,G,B 공간들의 교집합을 계산하여, 같은 값을 갖는 영역만을 출력할 수 있다. The mutually inclusive RGB thresholding performs binarization by assigning a predetermined threshold value to each space of R, G, and B, and then performs binarization on the binarized R, G, and B spaces It is possible to calculate an intersection and output only an area having the same value.

여기서, 상기 Mutually inclusive RGB thresholding이 수행되는 단계 이후, 상기 Mutually inclusive RGB thresholding이 수행된 이미지 정보에 캐니 에지 필터(Canny edge filter)가 적용되어 출혈 영역의 테두리가 검출되는 단계; 및 상기 캐니 에지 필터가 적용된 이미지 정보에 엔트로피 필터(Entropy filter)가 적용되어 상기 이미지 정보를 부드럽게(smoothing) 처리하는 단계(S220f 단계)를 더 포함할 수 있다. Herein, after the mutually inclusive RGB thresholding is performed, a border of the bleeding region is detected by applying a Canny edge filter to the image information subjected to the mutually inclusive RGB thresholding. And an entropy filter is applied to image information to which the canyon edge filter is applied to smoothen the image information in operation S220f.

여기서, 상기 엔트로피 필터(Entropy filter)가 적용는 단계 이후, 상기 엔트로피 필터가 적용된 이미지 정보에서 상기 테두리가 검출된 부분을 기반으로 상기 이미지 정보에 소정의 임계값(threshold)을 적용하여 잡음을 제거하는 이진 에지 검출(Binary edge detection) 단계를 더 포함할 수 있다. Here, after the step of applying the entropy filter, a threshold value is applied to the image information based on the edge detected part of the image information to which the entropy filter is applied, And a Binary edge detection step.

본 발명에 있어서, 상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계는, 상기 출혈 영역이 새롭게 추출되었는지 여부, 또는 상기 추출된 출혈 영역의 면적이 증가 또는 감소하는지 여부, 또는 상기 출혈 영역이 소멸되었는지 여부가 판단될 수 있다. In the present invention, the step of determining the current operation state from the change of the extracted interest area with the passage of time may include determining whether the bleeding area is newly extracted or the area of the extracted bleeding area is increased or decreased Or whether the bleeding area has disappeared can be determined.

본 발명에 있어서, 상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계는, 어느 한 시점의 제1 영상에서 추출한 제1 영역을 다른 시점의 제2 영상의 다수 개의 영역과 차례로 비교하여, 두 대상 간의 픽셀 값의 차이가 제일 작은 위치를 찾는 템플릿 매칭(template matching)에 의해 수행될 수 있다. In the present invention, it is preferable that the current operation state is determined from the change of the extracted region of interest over time, the first region extracted from the first image at a certain point of time is divided into a plurality of Region, and can be performed by template matching that finds the smallest difference in pixel values between two objects.

본 발명에 있어서, 상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계는, 서브(Sub) 칼만 필터에서 사용되는 센서 자체의 값들의 노이즈를 제거하고, 출력된 여러 센서의 위치에 또다시 메인(Main) 칼만 필터를 적용한 연합형 칼만 필터(Federated Kalman filter)를 적용하여 수행될 수 있다. In the present invention, the step of determining the current operation state from the change of the extracted ROI with the passage of time may include the steps of removing the noise of the values of the sensor itself used in the sub Kalman filter, And a Federated Kalman filter applying a main Kalman filter to the position of the sensor.

본 발명에 있어서, 상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계는, 시각 또는 청각 정보 등을 통한 알람(alarm) 메시지가 발산될 수 있다. In the present invention, in the step of performing a predetermined operation corresponding to the determined surgical condition, an alarm message through time or auditory information may be diverted.

본 발명에 있어서, 상기 관심 영역은 상기 복강경 영상 내에서 연기(smoke)가 발생한 연기 발생 영역일 수 있다. In the present invention, the region of interest may be a smoke generation region where smoke occurs in the laparoscopic image.

본 발명에 있어서, 상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계는, RGB 이미지 정보를 HSV 이미지 정보로 변환하는 단계; 상기 HSV 이미지 정보의 H 히스토그램 분석을 통해 연기 발생 상황 여부가 판단되는 단계; 상기 HSV 이미지 정보의 S 히스토그램 분석을 통해 연기 발생 상황 여부가 판단되는 단계; 및 상기 H 히스토그램 분석과 상기 S 히스토그램 분석 결과를 조합하여 연기 발생 상황 여부가 최종적으로 판단되는 단계;를 포함할 수 있다. In the present invention, extracting the region of interest in the laparoscopic image from the generated image information may include converting RGB image information into HSV image information; Determining whether or not a smoke is generated through H histogram analysis of the HSV image information; Determining whether or not the smoke is generated through S histogram analysis of the HSV image information; And a step of finally determining whether or not a smoke occurrence situation exists by combining the H histogram analysis and the S histogram analysis result.

여기서, 상기 HSV 이미지 정보의 H 히스토그램 분석을 통해 연기 발생 상황 여부가 판단되는 단계는, H 히스토그램 분포에서 특정 구간의 H에 대한 도수가 소정의 임계값(threshold)보다 높으면 연기 발생 상황으로 판단할 수 있다. Here, the step of determining whether or not the smoke occurrence state is determined through the H histogram analysis of the HSV image information may be determined as a smoke occurrence state if the frequency for H of the specific section in the H histogram distribution is higher than a predetermined threshold value have.

여기서, 상기 HSV 이미지 정보의 S 히스토그램 분석을 통해 연기 발생 상황 여부가 판단되는 단계는, S 히스토그램 분포에서 특정 구간의 S에 대한 도수가 소정의 임계값(threshold)보다 낮으면 연기 발생 상황으로 판단할 수 있다. Here, the step of determining whether or not the smoke occurrence status is determined through the S histogram analysis of the HSV image information is determined as a smoke occurrence status when the frequency for S of the specific interval in the S histogram distribution is lower than a predetermined threshold value .

여기서, 상기 H 히스토그램 분석과 상기 S 히스토그램 분석 결과를 조합하여 연기 발생 상황 여부가 최종적으로 판단되는 단계는, 상기 HSV 이미지 정보의 H 히스토그램 분석을 통해 연기 발생 상황 여부가 판단되는 단계와 상기 HSV 이미지 정보의 S 히스토그램 분석을 통해 연기 발생 상황 여부가 판단되는 단계의 판단 결과가 모두 연기 발생 상황인 경우를 최종적인 연기 발생 상황으로 판단할 수 있다. The final step of determining whether or not the smoke is generated by combining the H histogram analysis and the S histogram analysis may include determining whether a smoke occurrence occurs through H histogram analysis of the HSV image information, It is possible to judge that the case where the judgment result of the stage in which the smoke occurrence status is judged through the S histogram analysis of the smoke occurrence status is the final smoke occurrence situation.

본 발명에 있어서, 상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계는, 상기 연기 발생이 시작되었는지 여부, 또는 연기 발생이 지속 되는지 여부, 또는 연기가 소멸되었는지 여부가 판단될 수 있다. In the present invention, the step of determining the current operation state from the change of the extracted region of interest over time may include determining whether or not the smoke generation is started, whether the smoke generation is continued, Can be determined.

본 발명에 있어서, 상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계는, 시각 또는 청각 정보 등을 통한 알람(alarm) 메시지가 발산될 수 있다. In the present invention, in the step of performing a predetermined operation corresponding to the determined surgical condition, an alarm message through time or auditory information may be diverted.

본 발명에 있어서, 상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계는, 가스 배출을 위한 제어 신호가 발생될 수 있다. In the present invention, a predetermined operation corresponding to the determined surgical condition is performed, and a control signal for gas discharge may be generated.

본 발명에 있어서, 상기 수술 도구는 수술용 바늘 또는 수술용 스테플러를 포함할 수 있다. In the present invention, the surgical tool may include a surgical needle or a surgical stapler.

여기서, 상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계는, 상기 수술용 바늘 또는 수술용 스테플러가 고정된 소정의 위치로부터 이동되었는지 여부가 판단될 수 있다. Here, in the step of determining the current operation state from the change of the extracted interest area with time, it may be determined whether the surgical needle or the surgical stapler has been moved from a predetermined fixed position.

여기서, 상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계는, 상기 수술용 바늘 또는 수술용 스테플러의 상기 이동 경로가 디스플레이될 수 있다.Here, in the step of performing a predetermined operation corresponding to the determined surgical condition, the movement path of the surgical needle or the surgical stapler may be displayed.

다른 측면에 관한 본 발명은 상기 어느 하나에 기재된 수술 로봇 시스템의 제어 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체를 제공한다. According to another aspect of the present invention, there is provided a method of controlling a surgical robot system, which comprises the steps of: (a) providing a program that is tangibly embodied in a program of instructions executable by a digital processing apparatus to perform a control method of the surgical robot system described in And provides a recorded medium.

다른 측면에 관한 본 발명은 수술 부위를 조영하는 수술용 내시경; 및 다자유도를 가지며 구동하는 로봇 암;을 포함하는 슬레이브 로봇과, 상기 수술용 내시경을 통해 촬영되는 영상을 디스플레이하는 디스플레이 부재; 및 상기 수술용 내시경을 통해 촬영되는 복강경 영상으로부터 상기 복강경 영상의 픽셀 정보를 표현하는 RGB 값 또는 HSV 값 중 적어도 하나를 포함하는 이미지 정보를 생성하고, 상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역을 추출하고, 상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황을 판단하고, 상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되도록 제어하는 수술상황 판단부;를 포함하는 마스터 로봇을 포함하는 수술 로봇 시스템을 제공한다. Another aspect of the present invention relates to a surgical endoscope for imaging a surgical site; And a robot arm for driving the robot arm with multiple degrees of freedom, a display member for displaying an image photographed through the surgical endoscope; And generating image information including at least one of an RGB value or an HSV value representing pixel information of the laparoscopic image from the laparoscopic image picked up through the surgical endoscope, and extracting, from the generated image information, And a surgical condition determiner for extracting a region of interest, determining a current surgical situation from a change with time of the extracted region of interest, and controlling a predetermined operation corresponding to the determined surgical situation to be performed And a master robot to which the robot is connected.

이와 같은 본 발명에 의해서, 수술 로봇을 이용한 수술 중, 복강경 영상으로부터 현재의 수술 상황을 실시간으로 판단하고 이 상황에 대응하기 위한 소정의 동작이 자동으로 수행됨으로써, 수술 로봇을 이용한 수술 중의 안전성을 향상시키는 효과를 얻을 수 있다. According to the present invention, during a surgical operation using a surgical robot, a current operation status is determined from a laparoscopic image in real time, and a predetermined operation is automatically performed to cope with the situation, thereby improving safety during surgery using a surgical robot .

도 1은 본 발명의 일 실시예에 따른 수술 로봇 시스템의 전체 구조를 나타낸 평면도이다.
도 2는 도 1의 수술 로봇 시스템의 마스터 로봇을 나타낸 사시도이다.
도 3은 본 발명의 일 실시예에 따른 마스터 로봇과 슬레이브 로봇의 구성을 개략적으로 나타낸 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 수술 로봇 시스템의 제어 방법을 나타내는 흐름도이다.
도 5는 도 4의 수술 로봇 시스템의 제어 방법의 제1 실시예를 나타내는 흐름도이다.
도 6a 내지 도 6d 및 도 7은 도 5의 수술 로봇 시스템의 제어 방법의 제1 실시예의 각 단계를 나타내는 도면이다.
도 8은 도 4의 수술 로봇 시스템의 제어 방법의 제2 실시예를 나타내는 흐름도이다.
도 9a 내지 도 9k 및 도 10a 내지 도 10d는 도 8의 수술 로봇 시스템의 제어 방법의 제2 실시예의 각 단계를 나타내는 도면이다.
도 11a 내지 도 11c는 본 발명의 일 비교예에 따른 수술 로봇 시스템의 제어 방법에 의해 추출된 출혈 영역을 나타내는 도면이다.
도 12a 내지 도 12d는 본 발명의 일 실시예에 따른 수술 로봇 시스템의 제어 방법에 의해 추출된 출혈 영역을 나타내는 도면이다.
도 13은 도 4의 수술 로봇 시스템의 제어 방법의 제3 실시예를 나타내는 흐름도이다.
도 14a 및 도 14b는 연기가 발생했을 때의 복강경 영상 및 이에 대한 H 히스토그램이다.
도 15a 및 도 15b는 연기가 발생하지 않았을 때의 복강경 영상 및 이에 대한 H 히스토그램이다.
도 16a 및 도 16b는 연기가 발생했을 때의 복강경 영상 및 이에 대한 S 히스토그램이다.
도 17a 및 도 17b는 연기가 발생하지 않았을 때의 복강경 영상 및 이에 대한 S 히스토그램이다.
도 18a, 도 18b 및 도 18c는 실제로 연기가 발생하지 않았을 때의 복강경 영상, 이에 대한 H 히스토그램 및 S 히스토그램이다.
도 19a, 도 19b 및 도 19c는 실제로 연기가 발생했을 때의 복강경 영상, 이에 대한 H 히스토그램 및 S 히스토그램이다.
도 20a, 도 20b 및 도 20c는 실제로 연기가 발생하지 않았을 때의 복강경 영상과, 이에 대한 H 히스토그램 및 S 히스토그램이다.
1 is a plan view showing the entire structure of a surgical robot system according to an embodiment of the present invention.
2 is a perspective view showing a master robot of the surgical robot system of FIG.
3 is a block diagram schematically showing the configuration of a master robot and a slave robot according to an embodiment of the present invention.
4 is a flowchart illustrating a method of controlling a surgical robot system according to an embodiment of the present invention.
5 is a flowchart showing a first embodiment of a control method of the surgical robot system of FIG.
Figs. 6A to 6D and 7 are diagrams showing respective steps of the first embodiment of the control method of the surgical robot system of Fig. 5; Fig.
Fig. 8 is a flowchart showing a second embodiment of the control method of the surgical robot system of Fig. 4;
Figs. 9A to 9K and Figs. 10A to 10D are views showing respective steps of the second embodiment of the control method of the surgical robot system of Fig.
11A to 11C are views showing a bleeding region extracted by a control method of a surgical robot system according to a comparative example of the present invention.
12A to 12D are views showing a bleeding region extracted by a control method of a surgical robot system according to an embodiment of the present invention.
13 is a flowchart showing a third embodiment of the control method of the surgical robot system of Fig.
14A and 14B are laparoscopic images when smoke occurs and H histograms therefor.
15A and 15B are laparoscopic images when smoke is not generated and H histograms therefor.
Figs. 16A and 16B are laparoscopic images and smoke histograms when smoke occurs.
17A and 17B are laparoscopic images when no smoke is generated and S histograms therefor.
18A, 18B and 18C are laparoscopic images when no smoke is actually generated, H histograms and S histograms therefor.
19A, 19B, and 19C are laparoscopic images when smoke actually occurs, H histograms and S histograms thereof.
20A, 20B and 20C are laparoscopic images when no smoke is actually generated, and H histograms and S histograms therefor.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.

여기서, 본 발명은 수술용 내시경(예를 들어, 복강경, 흉강경, 관절경, 비경 등)이 이용되는 수술들에 범용적으로 사용될 수 있는 기술적 사상이지만, 본 발명의 실시예를 설명함에 있어 설명의 편의를 위해 복강경이 이용되는 경우를 예로 들어 설명하기로 한다.Herein, the present invention is a technical idea that can be used universally for surgeries using surgical endoscopes (for example, laparoscopic, thoracoscopic, arthroscopic, non-rigid, etc.), but in describing the embodiments of the present invention, For convenience, a laparoscope is used as an example.

도 1은 본 발명의 일 실시예에 따른 수술 로봇 시스템의 전체 구조를 나타낸 평면도이고, 도 2는 도 1의 수술 로봇 시스템의 마스터 로봇을 나타낸 사시도이다. FIG. 1 is a plan view showing an overall structure of a surgical robot system according to an embodiment of the present invention, and FIG. 2 is a perspective view showing a master robot of the surgical robot system of FIG.

도 1 및 도 2를 참조하면, 수술 로봇 시스템(1)은 수술대에 누워있는 환자에게 수술을 행하는 슬레이브 로봇(200)과, 상기 슬레이브 로봇(200)을 수술자가 원격 조종하도록 하는 마스터 로봇(100)을 포함한다. 마스터 로봇(100)과 슬레이브 로봇(200)이 반드시 물리적으로 독립된 별도의 장치로 분리되어야 하는 것은 아니며, 하나로 통합되어 일체형으로 구성될 수 있다.1 and 2, the surgical robot system 1 includes a slave robot 200 for performing surgery on a patient lying on the operating table, a master robot 100 for allowing the operator to remotely operate the slave robot 200, . The master robot 100 and the slave robot 200 are not necessarily separated from each other by a separate device that is physically independent and may be integrated into one unit.

마스터 로봇(100)은 조작 레버(110) 및 디스플레이 부재(120)를 포함하고, 슬레이브 로봇(200)은 로봇 암(210) 및 복강경(220)을 포함한다. The master robot 100 includes an operation lever 110 and a display member 120 and the slave robot 200 includes a robot arm 210 and a laparoscope 220.

상세히, 마스터 로봇(100)은 수술자가 양손에 각각 파지하여 조작할 수 있도록 조작 레버(110)를 구비한다. 조작 레버(110)는 도 1 및 도 2에 예시된 바와 같이 두 개 또는 그 이상의 수량의 핸들로 구현될 수 있으며, 수술자의 핸들 조작에 따른 조작 신호가 슬레이브 로봇(200)으로 유선 또는 무선 통신망을 통해 전송되어 로봇 암(210)이 제어된다. 즉, 수술자의 핸들 조작에 의해 로봇 암(210)의 위치 이동, 회전, 절단 작업 등의 수술 동작이 수행될 수 있다.In detail, the master robot 100 is provided with an operation lever 110 so that the operator can grasp and operate the operator's hands, respectively. The operation lever 110 may be implemented by two or more handles as illustrated in FIGS. 1 and 2. An operation signal according to a manipulation of a handle of a surgical operator may be transmitted to a slave robot 200 via a wired or wireless communication network And the robot arm 210 is controlled. That is, the operation of the robot arm 210, such as the movement, rotation, cutting, etc., of the robot arm 210 can be performed by operating the handle of the operator.

예를 들어, 수술자는 핸들 형태의 조작 레버를 이용하여 슬레이브 로봇 암(210)이나 복강경(220) 등을 조작할 수 있다. 이와 같은 조작 레버는 그 조작방식에 따라 다양한 기구적 구성을 가질 수 있으며, 슬레이브 로봇 암(210)이나 복강경(220) 등의 동작을 조작하는 마스터 핸들과, 전체 시스템의 기능을 조작하기 위해 마스터 로봇(100)에 부가된 조이스틱, 키패드, 트랙볼, 터치스크린과 같은 각종 입력도구와 같이, 슬레이브 로봇(200)의 로봇 암(210) 및/또는 기타 수술 장비를 작동시키기 위한 다양한 형태로 구비될 수 있다. 여기서, 조작 레버(110)는 핸들의 형상으로 제한되지 않으며, 유선 또는 무선 통신망과 같은 네트워크를 통해 로봇 암(210)의 동작을 제어할 수 있는 형태이면 아무런 제한 없이 적용될 수 있다.For example, the operator can manipulate the slave robot arm 210, the laparoscope 220, and the like using a handle-shaped operation lever. Such an operation lever may have various mechanical configurations according to its operation mode, and may include a master handle for operating operations of the slave robot arm 210 and the laparoscope 220 and the like, and a master robot Such as various input devices such as a joystick, a keypad, a trackball, and a touch screen, which are added to the slave robot 100, for operating the robot arm 210 and / or other surgical equipment of the slave robot 200 . Here, the operation lever 110 is not limited to the shape of the handle, and can be applied without any limitation as long as it can control the operation of the robot arm 210 through a network such as a wired or wireless communication network.

마스터 로봇(100)의 디스플레이 부재(120)에는 복강경(220)을 통해 촬영되는 영상이 화상 이미지로 표시된다. 또한 디스플레이 부재(120)는 터치스크린 기능을 구비할 수도 있다. 나아가, 디스플레이 부재(120)는 입체 디스플레이 장치로 구비되어, 관찰자가 3차원의 생동감과 현실감을 느낄 수 있게 할 수도 있다. An image photographed through the laparoscope 220 is displayed as an image image on the display member 120 of the master robot 100. The display member 120 may also have a touch screen function. Further, the display member 120 may be provided as a stereoscopic display device so that an observer can feel a three-dimensional feeling of life and realism.

여기서, 디스플레이 부재(120)는 하나 이상의 모니터들로 구성될 수 있으며, 각 모니터에 수술시 필요한 정보들이 개별적으로 표시되도록 할 수 있다. 도 1 및 도 2에는 디스플레이 부재(120)가 세 개의 모니터를 포함하는 경우가 예시되었으나, 모니터의 수량은 표시를 요하는 정보의 유형이나 종류 등에 따라 다양하게 결정될 수 있다.Here, the display member 120 may be constituted by one or more monitors, and information necessary for operation may be displayed on each monitor individually. Although FIGS. 1 and 2 illustrate the case where the display member 120 includes three monitors, the number of monitors can be variously determined according to the type and kind of information required to be displayed.

한편, 슬레이브 로봇(200)은 하나 이상의 로봇 암(210)을 포함할 수 있다. 일반적으로 로봇 암은 인간의 팔 및/또는 손목과 유사한 기능을 가지고 있으며 손목 부위에 소정의 도구를 부착시킬 수 있는 장치를 의미한다. 본 명세서에서 로봇 암(210)이란 상박, 하박, 손목, 팔꿈치 등의 구성 요소 및 상기 손목 부위에 결합되는 수술용 인스트루먼트 등을 모두 포괄하는 개념으로 정의할 수 있다. 이와 같은 슬레이브 로봇(200)의 로봇 암(210)은 다자유도를 가지며 구동되도록 구현될 수 있다. 로봇 암(210)은 예를 들어 환자의 수술 부위에 삽입되는 수술기구, 수술기구를 수술 위치에 따라 요(yaw)방향으로 회전시키는 요동 구동부, 요동 구동부의 회전 구동과 직교하는 피치(pitch) 방향으로 수술기구를 회전시키는 피치 구동부, 수술기구를 길이 방향으로 이동시키는 이송 구동부와, 수술기구를 회전시키는 회전 구동부, 수술기구의 끝단에 설치되어 수술 병변을 절개 또는 절단하는 수술기구 구동부를 포함하여 구성될 수 있다. 다만, 로봇 암(210)의 구성이 이에 제한되지는 않으며, 이러한 예시가 본 발명의 권리범위를 제한하지 않는 것으로 이해되어야 한다. 여기서, 수술자가 조작 레버(110)를 조작함에 의해 로봇 암(210)이 상응하는 방향으로 회전, 이동하는 등의 실제 제어 과정에 대한 구체적인 설명은 생략한다.Meanwhile, the slave robot 200 may include one or more robot arms 210. Generally, a robot arm has a function similar to a human arm and / or wrist, and means a device capable of attaching a predetermined tool to a wrist part. In the present specification, the robot arm 210 may be defined as a concept including both upper and lower components such as upper arm, lower arm, wrist, and elbow, and a surgical instrument coupled to the wrist. The robot arm 210 of the slave robot 200 may be configured to be driven with multiple degrees of freedom. For example, the robot arm 210 may include a surgical instrument inserted into a surgical site of a patient, a swinging drive unit that rotates the surgical instrument in a yaw direction according to a surgical position, a pitch direction , A pitch driving part for rotating the surgical instrument, a feed driving part for moving the surgical instrument in the longitudinal direction, a rotation driving part for rotating the surgical instrument, and a surgical instrument driving part installed at the end of the surgical instrument for cutting or cutting the surgical lesion. . However, the configuration of the robot arm 210 is not limited thereto, and it should be understood that these examples do not limit the scope of the present invention. Here, a detailed description of the actual control process, such as rotation and movement of the robot arm 210 in the corresponding direction by operating the operation lever 110 by the operator, will be omitted.

슬레이브 로봇(200)은 환자를 수술하기 위하여 하나 이상으로 이용될 수 있으며, 수술 부위가 디스플레이 부재(120)를 통해 화상 이미지로 표시되도록 하기 위한 복강경(220)은 독립된 슬레이브 로봇(200)으로 구현될 수도 있다. 또한, 앞서 설명된 바와 같이, 본 발명의 실시예들은 복강경 이외의 다양한 수술용 내시경(예를 들어 흉강경, 관절경, 비경 등)이 이용되는 수술에 범용적으로 사용될 수 있다.The slave robot 200 may be used more than once to perform a surgery on a patient and the laparoscope 220 for displaying a surgical site through a display member 120 as an image image may be implemented as an independent slave robot 200 It is possible. Also, as described above, embodiments of the present invention can be used universally for surgery in which a variety of surgical endoscopes other than laparoscopes (e.g., thoracoscopic, arthroscopic, non-circumferential, etc.) are used.

도 3은 본 발명의 일 실시예에 따른 마스터 로봇과 슬레이브 로봇의 구성을 개략적으로 나타낸 블록 구성도이다.3 is a block diagram schematically showing the configuration of a master robot and a slave robot according to an embodiment of the present invention.

도 3을 참조하면, 마스터 로봇(100)은 영상 입력부(130), 화면 표시부(140), 사용자 조작부(150), 조작신호 생성부(160), 수술상황 판단부(170) 및 제어부(180)를 포함한다. 슬레이브 로봇(200)은 로봇 암(210) 및 복강경(220)을 포함한다. 3, the master robot 100 includes an image input unit 130, a screen display unit 140, a user operation unit 150, an operation signal generation unit 160, a surgical condition determination unit 170, and a control unit 180. [ . The slave robot 200 includes a robot arm 210 and a laparoscope 220.

영상 입력부(130)는 슬레이브 로봇(200)의 복강경(220)에 구비된 카메라를 통해 촬영된 영상을 유선 또는 무선 통신망을 통해 수신한다.The image input unit 130 receives an image photographed through a camera provided in the laparoscope 220 of the slave robot 200 through a wired or wireless communication network.

화면 표시부(140)는 영상 입력부(130)를 통해 수신된 영상에 상응하는 화상 이미지를 시각(視覺)적 정보로 출력한다. 또한, 화면 표시부(140)는 슬레이브 로봇(200)으로부터 피시술자의 생체 정보가 입력되는 경우, 이에 상응하는 정보를 더 출력할 수 있다. 또한, 화면 표시부(140)는 수술 부위에 대한 환자의 관련 이미지 데이터(예를 들어, 엑스-레이(X-Ray) 영상, 컴퓨터단층촬영(CT) 영상, 자기공명영상촬영(MRI) 영상 및 상기 컴퓨터단층촬영(CT) 영상 데이터에 기반하여 재구성된 3차원 영상 자료 또는 수치화된 모델 등)를 더 출력할 수도 있다. 여기서, 화면 표시부(140)는 디스플레이 부재(도 2의 120 참조) 등의 형태로 구현될 수 있으며, 수신된 영상이 화면 표시부(140)를 통해 화상 이미지로 출력되도록 하기 위한 영상 처리 프로세스가 제어부(180), 수술상황 판단부(170) 또는 영상 처리부(도시되지 않음)에 의해 수행될 수 있다.The screen display unit 140 outputs visual images corresponding to the images received through the image input unit 130 as visual information. In addition, when biometric information of the subject is input from the slave robot 200, the screen display unit 140 can output more information corresponding to the biometric information. The screen display unit 140 may display the patient's related image data (for example, an X-ray image, a computed tomography (CT) image, a magnetic resonance imaging (MRI) A reconstructed three-dimensional image data or a numerical model based on computed tomography (CT) image data). Here, the screen display unit 140 may be implemented in the form of a display member (see 120 in FIG. 2), and an image processing process for causing the received image to be output as an image image through the screen display unit 140 may be performed by a control unit 180, a surgical condition determination unit 170, or an image processing unit (not shown).

여기서, 화면 표시부(140)(즉, 도 2의 디스플레이 부재(120))는 입체 디스플레이 장치로 구비될 수도 있다. 상세히, 입체 디스플레이 장치는 스테레오스코픽(stereoscopic) 기술을 적용하여 2차원 영상에 깊이(depth) 정보를 부가하고, 이 깊이 정보를 이용하여 관찰자가 3차원의 생동감과 현실감을 느낄 수 있게 하는 화상표시장치를 지칭한다. 여기서, 본 발명의 일 실시예에 따른 수술 로봇 시스템(1)은 화면 표시부로 입체 디스플레이 장치를 구비하여 사용자에게 보다 실제적인 가상환경을 제공할 수 있다. Here, the screen display unit 140 (i.e., the display member 120 of FIG. 2) may be provided as a stereoscopic display device. In detail, the stereoscopic display device applies depth information to a two-dimensional image by applying a stereoscopic technique, and uses an image display device (not shown) to allow the observer to feel three- Quot; Herein, the surgical robot system 1 according to an embodiment of the present invention includes a stereoscopic display device as a screen display unit, thereby providing a more realistic virtual environment to a user.

사용자 조작부(150)는 슬레이브 로봇(200)의 로봇 암(210)의 위치 및 기능을 수술자가 조작할 수 있도록 하는 수단이다. 사용자 조작부(150)는 도 2에 예시된 바와 같이 핸들 형상의 조작 부재(도 2의 110 참조) 형태로 형성될 수 있으나, 그 형상이 이에 제한되지 않으며 동일한 목적 달성을 위한 다양한 형상으로 변형 구현될 수 있다. 또한, 예를 들어 일부는 핸들 형상으로, 다른 일부는 클러치 버튼 등의 상이한 형상으로 형성될 수도 있으며, 수술도구의 조작을 용이하도록 하기 위해 수술자의 손가락을 삽입 고정할 수 있도록 하는 손가락 삽입관 또는 삽입 고리가 더 형성될 수도 있다.The user manipulation unit 150 is a means for allowing an operator to manipulate the position and function of the robot arm 210 of the slave robot 200. 2, the user operation unit 150 may be formed in the form of a handle-like operating member (see 110 in FIG. 2), but the shape is not limited thereto and may be modified into various shapes for achieving the same purpose . Further, for example, a part of the finger may be formed in a handle shape and the other part may be formed in a different shape such as a clutch button, and a finger insertion tube or insertion More rings may be formed.

또한, 사용자 조작부(150)는 수술상황 판단부(170) 및 이와 연결된 제어부(180)의 제어 하에, 사용자로부터 입력되는 조작에 대해 소정의 반력을 제공할 수 있다. 예를 들어, 사용자가 사용자 조작부(150)를 파지한 상태에서 사용자 조작부(150)를 일정 방향으로 밀 경우, 사용자 조작부(150)는 상기 사용자가 미는 방향의 반대 방향으로 일정한 크기의 반력을 제공할 수 있다. 결과적으로 사용자는 사용자 조작부(150)를 조작하기 위하여 평소보다 더 큰 힘을 가하여야 하며, 이를 통해 사용자의 오작동 가능성에 대한 주의를 환기시킬 수 있는 것이다. The user operation unit 150 may provide a predetermined reaction force to an operation input by the user under the control of the operation situation determination unit 170 and the control unit 180 connected thereto. For example, when the user grasps the user manipulation part 150 and the user manipulation part 150 is pushed in a certain direction, the user manipulation part 150 provides a reaction force of a certain magnitude in a direction opposite to the direction in which the user pushes the manipulation part 150 . As a result, the user must exert a greater force than usual in order to operate the user's operating unit 150, and this can draw attention to the possibility of malfunction of the user.

또는 사용자 조작부(150)는 수술상황 판단부(170) 및 이와 연결된 제어부(180)의 제어 하에, 사용자로부터 입력되는 조작에 대한 소정의 알람(alarm) 메시지를 발산할 수도 있다. 예를 들어, 사용자가 사용자 조작부(150)를 파지한 상태에서 사용자 조작부(150)를 조작하여 로봇 암(210)이 소정의 침범 제한 영역 내로 침입하게 될 경우, 사용자 조작부(150)는 소정의 알람(alarm) 메시지를 발산할 수 있으며, 이를 통해 사용자의 오작동 가능성에 대한 주의를 환기시킬 수 있는 것이다. Or the user operation unit 150 may emit a predetermined alarm message for the operation input by the user under the control of the operation situation determination unit 170 and the control unit 180 connected thereto. For example, when the user manipulates the user's operation unit 150 while the user grasps the user's operation unit 150 and the robot arm 210 enters the predetermined restricted area, the user's operation unit 150 may generate a predetermined alarm the user can divert an alarm message to the user and thereby alert the user of the possibility of malfunction.

조작신호 생성부(160)는 로봇 암(210) 및/또는 복강경(220)의 위치 이동 또는 수술 동작에 대한 조작을 위해 수술자가 사용자 조작부(150)를 조작하는 경우, 이에 상응하는 조작신호를 생성하여 슬레이브 로봇(200)으로 전송한다. 조작신호는 유선 또는 무선 통신망을 통해 송수신될 수 있음은 앞서 설명한 바와 같다.The operation signal generating unit 160 generates an operation signal corresponding to the operation of the user operation unit 150 by the operator in order to move the robot arm 210 and / or the laparoscope 220, And transmits it to the slave robot 200. The operation signal can be transmitted and received through a wired or wireless communication network as described above.

수술상황 판단부(170)는 복강경 영상으로부터 복강경 영상의 픽셀 정보를 표현하는 RGB 값 또는 HSV 값 중 적어도 하나를 포함하는 이미지 정보를 생성하고, 생성된 이미지 정보로부터 복강경 영상 내에서의 관심 영역을 추출하고, 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황을 판단하고, 판단된 수술 상황에 대응하는 소정의 동작을 수행하도록 제어하는 기능을 수행한다. 수술상황 판단부(170)의 구체적인 기능과 같은 제어 방법은 이후 관련 도면을 참조하여 상세히 설명한다. The surgical condition determination unit 170 generates image information including at least one of an RGB value or an HSV value representing pixel information of the laparoscopic image from the laparoscopic image, extracts a region of interest in the laparoscopic image from the generated image information, Performs a function of judging a current operation state from a change with time of the extracted region of interest, and performing a predetermined operation corresponding to the determined operation state. The control method such as the specific function of the operation condition determination unit 170 will be described in detail with reference to the related drawings hereinafter.

제어부(180)는 상술한 기능이 수행될 수 있도록 각 구성 요소들의 동작을 제어한다. 제어부(180)는 영상 입력부(130)를 통해 입력되는 영상이 화면 표시부(140)를 통해 표시될 화상 이미지로 변환하는 기능을 수행할 수도 있다. 또한, 제어부(180)는 영상 입력부(130)에서 입력되는 영상을 수술상황 판단부(170)에 전달하고, 수술상황 판단부(170)에서 생성된 동작 구현 신호를 실행하는 역할을 수행할 수도 있다.
The control unit 180 controls the operation of each component so that the above-described functions can be performed. The control unit 180 may convert the image input through the image input unit 130 into an image to be displayed through the screen display unit 140. The control unit 180 may also transmit the image input from the image input unit 130 to the operation condition determination unit 170 and execute the operation implementation signal generated by the operation condition determination unit 170 .

이하에서는 본 발명의 일 실시예에 따른 수술 로봇 시스템의 제어 방법에 대해서 상세히 설명한다. 도 4는 본 발명의 일 실시예에 따른 수술 로봇 시스템의 제어 방법을 나타내는 흐름도이다. 도 4를 참조하면, 본 발명의 일 실시예에 따른 수술 로봇 시스템의 제어 방법은 복강경 영상으로부터, 상기 복강경 영상의 픽셀 정보를 표현하는 RGB 값 또는 HSV 값 중 적어도 하나를 포함하는 이미지 정보가 생성되는 단계(S10 단계), 상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계(S20 단계), 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계(S30 단계) 및 상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계(S40 단계)를 포함한다. Hereinafter, a method of controlling a surgical robot system according to an embodiment of the present invention will be described in detail. 4 is a flowchart illustrating a method of controlling a surgical robot system according to an embodiment of the present invention. Referring to FIG. 4, in a method of controlling a surgical robot system according to an exemplary embodiment of the present invention, image information including at least one of an RGB value or an HSV value representing pixel information of the laparoscopic image is generated from a laparoscopic image A step of extracting a region of interest in the laparoscopic image from the generated image information in operation S20, a step of determining a current operation state from a change in the extracted region of interest over time, Step S30) and a predetermined operation corresponding to the determined surgical condition is performed (operation S40).

여기서, 본 발명의 일 실시예에 따른 수술 로봇 시스템의 제어 방법은 관심 영역이 복강경 화면상의 수술 도구 영역일 경우와, 관심 영역이 복강경 화면상의 출혈 영역일 경우와, 관심 영역이 복강경 화면상의 연기(smoke) 발생 영역일 경우의 세 가지 경우에 대표적으로 적용되는바, 이하에서는 상기 각각의 경우로 나누어서 설명하도록 한다. Herein, the control method of the surgical robot system according to an embodiment of the present invention is a method of controlling a surgical robot system in which a region of interest is a surgical tool region on a laparoscopic screen, a region of interest is a bleeding region on a laparoscopic screen, smoke generation region. In the following, each case will be described separately.

먼저, 복강경 화면상의 수술 도구의 검출 및 제어와 관련된 본 발명의 제1 실시예에 대해서 설명한다. 도 5는 도 4의 수술 로봇 시스템의 제어 방법의 제1 실시예를 나타내는 흐름도이다. 그리고, 도 6a 내지 도 6d 및 도 7은 도 5의 수술 로봇 시스템의 제어 방법의 제1 실시예의 각 단계를 나타내는 도면이다. First, a first embodiment of the present invention relating to detection and control of surgical instruments on the laparoscopic screen will be described. 5 is a flowchart showing a first embodiment of a control method of the surgical robot system of FIG. 6A to 6D and 7 are diagrams showing respective steps of the first embodiment of the control method of the surgical robot system of FIG.

도 5, 도 6a 내지 도 6d 및 도 7을 참조하면, 본 발명의 수술 로봇 시스템의 제어 방법의 제1 실시예는, 복강경 영상으로부터 이미지 정보가 생성되는 단계(S110 단계), 상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계(S120 단계), 수술 도구 영역이 기 설정된 소정의 제한 영역을 침범하는지 여부가 판단되는 단계(S130 단계), 및 수술 도구 영역이 기 설정된 소정의 제한 영역을 침범하였을 경우 사용자 조작부의 조작에 대해 소정의 동작이 수행되는 단계(S140 단계)를 포함한다. 5, 6A to 6D and 7, a first embodiment of a control method of a surgical robot system according to the present invention is characterized in that image information is generated from a laparoscopic image (step S110) (Step S120) of extracting a region of interest in the laparoscopic image from the laparoscopic image, determining whether the surgical tool region invades a predetermined predetermined region (operation S130) And a predetermined operation is performed on the operation of the user operation unit when the restricted area is invaded (step S140).

그리고, 상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계(S120 단계)는, 이미지 정보에 K-평균 군집화 방법(K-means clustering method)을 적용하는 단계(S121 단계), K-평균 군집화 방법(K-means clustering method)을 통해 구해진 그룹 중 수술 도구 그룹만을 남겨둔 후 이를 이진화(Binarization)하는 단계(S122 단계), 및 추출된 수술 도구 영역의 중심점을 추출하는 단계(S123 단계)를 포함한다. The step of extracting the region of interest in the laparoscopic image from the generated image information in operation S 120 may include applying a K-means clustering method to the image information in operation S 121, A step S122 of leaving only the group of surgical tools among the groups obtained through the K-means clustering method, binarization thereof, and a step of extracting a center point of the extracted surgical tool region ).

이를 더욱 상세히 설명하면 다음과 같다. This will be described in more detail as follows.

먼저, 복강경 영상을 이용하여 복강경 영상의 픽셀 정보를 표현하는 RGB 값 및 HSV 값 중의 적어도 하나를 포함하는 이미지 정보를 생성(S110 단계)한다. 즉, 제공된 복강경 영상을 이용하여 RGB 값으로 표현되는 영상 정보를 포함하는 이미지 정보를 생성하거나, 제공된 복강경 영상을 이용하여 HSV 값으로 표현되는 영상 정보를 포함하는 이미지 정보를 생성하거나, 상기 RGB 값 및 HSV 값을 모두 포함하는 이미지 정보가 생성될 수 있다. First, image information including at least one of an RGB value and an HSV value representing pixel information of the laparoscopic image is generated using the laparoscopic image (step S110). That is, it is possible to generate image information including image information represented by RGB values using the provided laparoscopic image, generate image information including image information represented by HSV values using the provided laparoscopic image, Image information including both HSV values can be generated.

여기에서 R은 빨간색(Red), G는 초록색(Green) 및 B는 파란색(Blue)을 표현하는 것으로 각각의 성분을 수치화하여 나타낸 것으로 수치 범위는 자유롭게 정할 수 있으며, 일반적으로 정규화(normalization)하여 0 내지 1 사이의 값을 가지도록 수치 범위를 정하거나, 0 내지 255 사이의 값을 가지도록 정할 수 있다. Here, R represents red, G represents green, and B represents blue. The numerical range of each component is freely determined. In general, the normalized value is 0 And may be set to have a value between 0 and 255,

또한, H는 색상(Hue), S는 채도(Saturation), V는 명도(Value, Brightness)를 표현하는 것으로, HSV 값은 RGB 값이 0 내지 1 사이의 값을 가질 때, 상기 RGB 값으로부터 소정의 계산식에 의하여 연산될 수 있다. 이때, RGB 값과 마찬가지로 수치 범위는 자유롭게 정할 수 있으나, 일반적으로 H는 0° 내지 360°의 각도(degree) 값으로 표현될 수 있으며, S는 하얀색이 100%인 0에서 하얀색이 전혀 섞이지 않은 1 사이의 값으로 표현될 수 있으며, V는 검은색인 0 내지 하얀색인 1의 값을 가지는 것으로 표현될 수 있다. 즉, H(색상)는 관측자에 의하여 인지되는 지배적인 색이고, S(채도)는 색의 순수도 또는 순수한 색이 흰 빛에 의해 희석된 정도이고, V(명도)는 색의 밝기의 척도에 해당한다.The HSV value is a value obtained by subtracting a predetermined value from the RGB value when the RGB value has a value between 0 and 1, and H, H, S, Can be calculated by the following equation. In this case, as in the case of RGB values, the numerical range can be freely determined, but in general, H can be expressed by a degree value of 0 to 360 degrees, and S is a value in which 1 is white with 100% , And V can be expressed as having a value of 1, which is a black color, 0 to white. That is, H (color) is the dominant color recognized by the observer, S (saturation) is the degree of pureness or pure color of the color diluted by white light, and V (brightness) .

다음으로, 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출된다(S120 단계). 이를 더욱 상세히 설명하면 다음과 같다. Next, the region of interest in the laparoscopic image is extracted from the generated image information (step S120). This will be described in more detail as follows.

먼저, 이미지 정보에 K-평균 군집화 방법(K-means clustering method)을 적용한다(S121 단계). 여기서, K-평균 군집화 방법(K-means clustering method)이란, 복강경 영상으로부터 얻은 이미지 정보를 분석하여 수술 도구에 해당하는 영역을 구분하는 일 방법이다. First, a K-means clustering method is applied to the image information (step S121). Here, the K-means clustering method is a method of distinguishing regions corresponding to surgical tools by analyzing image information obtained from laparoscopic images.

상세히, 복강경 수술 영상에서 수술 도구를 인식하기 위해서는 화소의 밝기 정보가 가장 유의미하며, 따라서 이 밝기 정보를 여하한 방법으로 복수 개의 영역으로 구분처리하면 원하는 결과(즉, 수술 도구 영역 추출)를 용이하게 얻을 수 있다. 이를 위해 이미지 정보를 그레이스케일로 변환하여, 각 화소의 밝기 정보에 대해 K-평균 군집화 방법(k-means clustering)과 같은 자율 군집화(unsupervised clustering) 방법을 사용하여 자동으로 영역 구분을 수행하면, 수술 도구 부위는 정보의 유사성으로 인해 하나의 클러스터로 용이하게 자동 구분이 될 수 있다. 여기서, 자율 군집화(Unsupervised clustering)란, 관리자의 개입이 없이 연산 알고리즘이 자동으로 데이터의 군집을 분류해 내도록 설계된 연산 알고리즘의 총칭을 말한다. 그리고, K-평균 군집화 방법(K-means clustering method)은 영상 내에 명도(intensity)를 사용하여 서로의 거리에 기반을 두어 기준점에 가까운 곳의 데이터를 군집하여 그루핑(grouping) 하는 기법을 의미한다. In detail, in order to recognize a surgical tool in a laparoscopic surgical image, brightness information of a pixel is most significant. Therefore, if the brightness information is divided into a plurality of regions by any method, desired results (i.e., extraction of a surgical tool region) Can be obtained. To do this, image information is converted to gray scale, and the brightness information of each pixel is automatically segmented using an unsupervised clustering method such as a K-means clustering method, Because of the similarity of information, the tool part can easily be automatically classified into one cluster. Unsupervised clustering is a generic term for computation algorithms that are designed to automatically classify clusters of data without an administrator intervention. The K-means clustering method refers to a technique of grouping data near a reference point based on the distance between two images using intensity in an image.

즉, 도 6a에 도시된 바와 같은 복강경 영상을 그레이스케일로 변환하여, 각 화소의 밝기 정보에 대해 K-평균 군집화 방법(k-means clustering)을 수행하되, 예를 들어 전체를 세 개의 영역으로 클러스터링(군집화)하도록 인수를 설정하면, 도 6b, 도 6c 및 도 6d에 도시된 바와 같은 세 개의 군집으로 분류된다. 이 중 수술 도구가 속하는 영역은 도 6b에서 밝은 색 영역(검은색이 아닌 영역)(B)이 된다. 이와 같은 방법으로 복강경 영상을 각 화소의 밝기 정보에 대해 클러스터링(군집화) 함으로써, 수술 도구 영역이 하나의 영역으로 분류될 수 있다. That is, a laparoscopic image as shown in FIG. 6A is converted into gray scale, and a K-means clustering method is performed on the brightness information of each pixel. For example, (Clustering), it is classified into three clusters as shown in Figs. 6B, 6C and 6D. The area to which the surgical tool belongs is a bright color area (non-black area) B in FIG. 6B. By clustering (clustering) the laparoscopic image with the brightness information of each pixel in this way, the surgical tool area can be classified into one area.

다음으로, K-평균 군집화 방법(K-means clustering method)을 통해 구해진 그룹 중 수술 도구 그룹만을 남겨둔 후, 상기 수술 도구에 해당하는 영역의 경계선을 확정하기 위하여 영상을 이진화(Binarization)(S122 단계)한다. Next, after leaving only the group of surgical tools among the groups obtained through the K-means clustering method, binarization of the image is performed in order to determine the boundary of the region corresponding to the surgical tool (S122) do.

즉, 상술한 S121 단계를 통해 분류된 복수 개의 영역(예를 들어, 도 6b ~ 도 6d에 각각 도시된 세 개의 영역) 중에서, 수술 도구에 해당하는 영역(예를 들어, 도 6b에 도시된 영역)만을 남겨 둔다. 그리고, 상기 수술 도구에 해당하는 영역에 대해 이진화(binarization)를 수행한다. 여기서 이진화(binarization)란, 영상을 어떠한 임계값(threshold)에 의해 흑백화하는 것을 의미한다. That is, among the plurality of regions (for example, the three regions shown in Figs. 6B to 6D) classified through the above-described step S121, the region corresponding to the surgical tool (for example, ). Then, binarization is performed on an area corresponding to the surgical tool. Here, binarization means that the image is monochromatic by a certain threshold value.

다음으로, 추출된 수술 도구 영역의 기하학적 중심점을 추출(S123 단계) 하여, 추출된 수술 도구 영역의 대표 좌표로 상정한다. 이와 같이 추출된 수술 도구 영역의 기하학적 중심점이 도 7에 도시되어 있다.(도 7의 C 참조)Next, the geometric center point of the extracted surgical tool area is extracted (step S123), and assumed to be representative coordinates of the extracted surgical tool area. The geometric center point of the surgical tool area thus extracted is shown in Fig. 7 (see Fig. 7C).

한편, 도 5에는 도시되지 않았지만, 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는(S120 단계) 단계는, 수술 도구의 위치 검출 결과에 대한 일시적 오류를 제거하는 단계를 더 포함할 수 있다.Meanwhile, although not shown in FIG. 5, the step of extracting a region of interest in the laparoscopic image from the generated image information (step S120) may further include removing a temporary error with respect to the position detection result of the surgical tool .

상세히, 수술 도구가 존재하는 영역이 다른 부위에 의해 일시적으로 겹쳐서 영상 면적이 줄어들거나, 전기 소작기에서 발생하는 연기 등으로 인해 색상 정보의 분포가 일시적으로 변화하는 것과 같이, 복강경 영상 내에서 수술 도구 영역을 추출하는데 있어서 일시적 오류가 발생할 수 있다. 이와 같이 복강경 영상 내의 잡음 및 불규칙한 일과성 오류 요인에 의해 발생하는 논리적으로 무시 가능한 원인에 의한 일시적 오류를 제거하는 방법으로서, 칼만 필터(Kalman filter)와 같은 시스템의 이전 시간에서의 특성에 기반하여 출력 결과를 예측하고 비정상적인 출력을 임의로 제외하는 방법을 사용하여, 수술 도구의 위치의 동적 검출 결과의 안정성을 높일 수 있다. 여기서, 칼만 필터(Kalman filter)는 시스템의 과거 양태를 기록한 데이터를 기반으로 통계적으로 일반적인 특성을 공유할 것임을 전제로 현재의 출력을 예측하고 다시 측정된 현재 출력 값으로 시스템의 특성 모델을 보정하는 작업을 반복적으로 수행하면서 시스템의 출력을 예측하는 방법을 의미한다. 이와 같은 칼만 필터(Kalman filter)는 잡음이나 교란에 의한 일시적인 이상 신호를 걸러내는 필터로서도 견실한 역할을 하므로 여러 분야에서 응용되고 있다. In detail, as the area of the surgical tool is temporally overlapped by other parts and the area of the image is reduced, or the distribution of the color information is temporarily changed due to the smoke generated in the electric decanter, Temporary errors may occur in extracting regions. As a method for eliminating temporal errors due to a logically negligible cause caused by noise in the laparoscopic image and irregular transient errors, there is a method in which the output result of the system based on the characteristic at the previous time such as the Kalman filter , And the stability of the dynamic detection result of the position of the surgical tool can be enhanced by using a method of randomly excluding the abnormal output. Here, the Kalman filter predicts the present output on the assumption that statistical general characteristics will be shared based on the data of the past state of the system, and corrects the characteristic model of the system with the current output value measured again And the output of the system is estimated. Such a Kalman filter is applied to various fields because it plays a solid role as a filter for filtering a temporary abnormal signal due to noise or disturbance.

다음으로, 수술 도구 영역이 기 설정된 소정의 제한 영역을 침범하는지 여부가 판단(S130 단계)된다. 여기서, 기 설정된 소정의 제한 영역은 피시술자의 혈관, 조직, 장기와 같이 수술 중 수술 도구에 의해 손상될 수 있는 영역일 수 있다. 이 경우, 복강경 화면상에서 혈관/조직/장기 형상 등의 템플릿을 사용하여 이와 동일한 패턴의 영역을 찾아내고, 이를 소정의 제한 영역으로 설정할 수 있다. 또는 기 설정된 소정의 제한 영역은 디스플레이 부재 상에서 사용자가 터치 스크린을 터치하는 등의 방법으로 사용자에 의해 임의로 선택된 영역일 수도 있다. Next, it is determined whether or not the surgical tool area invades predetermined predetermined restriction areas (step S130). Here, the predetermined restriction region may be a region that can be damaged by surgical instruments during surgery, such as blood vessel, tissue, or organ of the subject. In this case, it is possible to use a template such as a blood vessel / tissue / organ shape on the laparoscopic screen to find an area having the same pattern, and to set it as a predetermined restriction area. Or a predetermined predetermined restriction area may be an area arbitrarily selected by the user in such a manner that the user touches the touch screen on the display member.

그리고, 수술 도구 영역이 기 설정된 소정의 제한 영역을 침범하는지 여부는, 시간의 흐름에 따른 수술 도구 영역의 위치를 파악하면서, 수술 도구 영역이 기 설정된 소정의 제한 영역과 소정의 거리 이내로 근접하는지, 수술 도구 영역이 기 설정된 소정의 제한 영역과 접촉하는지, 수술 도구 영역이 기 설정된 소정의 제한 영역 내부로 인입되는지 여부 등을 통해 판단할 수 있다. Whether or not the surgical instrument region invades predetermined predetermined restriction regions can be determined by determining the position of the surgical instrument region according to the passage of time and determining whether the surgical instrument region is within a predetermined distance from a predetermined predetermined restriction region, Whether the surgical tool area is in contact with a predetermined predetermined restriction area, whether or not the surgical tool area is drawn into a predetermined predetermined restriction area, and the like.

다음으로, 수술 도구 영역이 기 설정된 소정의 제한 영역을 침범할 경우, 사용자 조작부의 조작에 대해 소정의 동작이 수행(S140 단계)된다. Next, when the surgical tool area violates predetermined predetermined restriction areas, a predetermined operation is performed on the operation of the user's operation unit (step S140).

여기서, 소정의 동작은 사용자에게 소정의 알람(alarm) 메시지를 발산하는 동작일 수 있다. 즉, 수술 도구 영역이 소정의 제한 영역을 침범하였거나 제한 물체에 근접한 경우, 사용자에게 시각 또는 청각 정보 등을 통해 알람(alarm) 메시지를 전달할 수 있다. Here, the predetermined operation may be an operation of emitting a predetermined alarm message to the user. That is, when the surgical tool area has invaded a predetermined restricted area or is close to a restricted object, an alarm message can be transmitted to the user through visual or auditory information or the like.

또는, 수술 도구 영역이 기 설정된 소정의 제한 영역을 침범할 경우, 사용자 조작부의 조작에 대해, 상기 수술 도구에서 감지된 반력을 일정 정도 변형 또는 증강시킨 소정의 반력을 가하는 포스 피드백(force feedback) 기능이 수행될 수도 있다. Or a force feedback function for applying a predetermined reaction force to deform or increase the reaction force sensed by the surgical tool to the operation of the user's operation unit when the surgical tool area invades a predetermined predetermined restriction area May be performed.

상세히, 마스터-슬레이브 구조의 수술 로봇 시스템에서는, 작업 중인 슬레이브 로봇의 움직임 중 의도되지 아니한 움직임에 의해 조직 및 장기가 손상되는 위험이 발생할 수 있다. 이와 같이 시술자의 의도하지 않은 동작을 예방하기 위해, 가상 고정벽 (Virtual Fixture) 개념 및 원격 현시(telepresence)를 위한 포스 피드백(force feedback) 개념이 제안되었다. In detail, in a surgical-robot system of a master-slave structure, there is a risk that the unintentional movement of the slave robot in operation risks damaging tissues and organs. In order to prevent the unintentional movement of the operator, a virtual fixture concept and force feedback concept for telepresence have been proposed.

여기서, 포스 피드백 제어(force-feedback control)의 기본 개념은, 슬레이브 로봇의 로봇 암의 첨부 또는 그 인근에서 센서 등으로 감지된 반력 값과 로봇 암의 첨부의 현재 위치 값을 마스터 로봇 측에 피드백하고, 마스터 로봇 측에서는 그 자체의 기구학적 구조를 감안하여 사용자가 상호작용하는 가장 말단에서 느끼게 되는 반력감이 슬레이브 로봇으로부터 피드백된 값과 최대한 유사하도록 제어하는 것이다. 즉, 기구를 조작하는 측에 그 조작 결과를 힘의 정보로 되돌려 보내는 기능이나 그 기능을 이용한 시스템을 의미하며, 이와 같은 포스 피드백(force feedback) 기능을 이용하여 마치 의사가 직접 손으로 시술하는 것과 같은 느낌이 재현되도록 할 수 있다.Here, the basic concept of force-feedback control is to feedback the reaction force value detected by the sensor or the like attached to the robot arm of the slave robot or its vicinity and the current position value of the attached robot arm to the master robot side , And on the master robot side, taking into account the kinematic structure of the robot itself, the reaction force sensed at the most distal end of the user interaction is controlled to be as close as possible to the feedback value from the slave robot. In other words, this means a function of returning the result of the operation back to the information of the force to the side of operating the mechanism, or a system using the function. Such a force feedback function can be used to perform a manual operation The same feeling can be reproduced.

여기서, 본 발명의 일 실시예에 따른 수술 로봇 시스템은 수술 도구 영역이기 설정된 소정의 제한 영역을 침범할 경우, 사용자 조작부의 조작에 대해 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행할 수 있다. 여기서, 소정의 반력이란 로봇 암에서 감지된 실제의 반력이 아니라, 로봇 암에서 감지된 반력을 일정 정도 변형 또는 증강시킨 반력을 의미하며, 이와 같이 일정 정도 변형 또는 증강된 반력이 사용자에게 주어짐으로써, 사용자의 주의를 환기하여 수술 중 안전성을 향상시키는 것이다. Here, the surgical robot system according to an embodiment of the present invention may perform a force feedback function to apply a predetermined reaction force to the operation of the user's operation unit when invading a predetermined restriction area set as a surgical tool area have. Here, the predetermined reaction force refers not to the actual reaction force sensed by the robot arm, but to a reaction force that deforms or augments the reaction force sensed by the robot arm to a certain degree. The reaction force that is deformed or augmented to a certain degree is given to the user, And to improve the safety during surgery by drawing attention of the user.

한편, 도면에는 도시되지 않았지만, 본 발명의 수술 로봇 시스템의 제어 방법의 제1 실시예에서, 수술 도구는 도 6a 등에 도시된 수술용 인스트루먼트 뿐만이 아니라, 수술용 바늘 또는 수술용 스테플러 등을 더 포함할 수도 있다. 즉, 본 명세서에서의 수술 로봇 시스템을 이용하여 수술을 시행하는 도중 사용자의 체내에 삽입될 수 있는 각종 수술 기구들까지 포함할 수 있다. 이와 같은 수술용 바늘 또는 수술용 스테플러 등은 도 6a 등에 도시된 수술용 인스트루먼트와 같이 금속 재질로 형성되기 때문에, 상술한 수술용 인스트루먼트를 검출하는 방법과 유사한 방법으로 복강경 영상으로부터 검출될 수 있다. 그리고, 이와 같이 검출된 수술용 바늘 또는 수술용 스테플러가 의도하지 않게 수술 부위 이외의 다른 곳으로 사라질 경우, 수술용 바늘 또는 수술용 스테플러의 이동 궤적을 사용자에게 디스플레이해 줌으로써, 사용자가 당황하지 않고 분실된 수술용 바늘 또는 수술용 스테플러를 용이하게 찾을 수 있도록 할 수 있다.
Although not shown in the drawings, in the first embodiment of the control method of the surgical robot system of the present invention, the surgical tool further includes not only the surgical instrument shown in Fig. 6A or the like, but also a surgical needle or a surgical stapler It is possible. That is, the surgical robot system of the present invention may include various surgical instruments that can be inserted into a user's body during surgery. Since the surgical needle, the surgical stapler, or the like is formed of a metal material such as the surgical instrument shown in FIG. 6A or the like, it can be detected from the laparoscopic image by a method similar to the method of detecting the surgical instrument described above. When the surgical needle or the surgical stapler thus detected is inadvertently disappeared to a place other than the surgical site, the movement trajectory of the surgical needle or the surgical stapler is displayed to the user, It is possible to easily find a surgical needle or a surgical stapler.

다음으로, 복강경 화면상의 출혈 영역의 검출 및 제어와 관련된 본 발명의 제2 실시예에 대해서 설명한다. 도 8은 도 4의 수술 로봇 시스템의 제어 방법의 제2 실시예를 나타내는 흐름도이다. 그리고, 도 9a 내지 도 9k 및 도 10a 내지 도 10d는 도 8의 수술 로봇 시스템의 제어 방법의 제2 실시예의 각 단계를 나타내는 도면이다. Next, a second embodiment of the present invention relating to detection and control of a bleeding area on the laparoscopic screen will be described. Fig. 8 is a flowchart showing a second embodiment of the control method of the surgical robot system of Fig. 4; Figs. 9A to 9K and Figs. 10A to 10D are diagrams showing respective steps of the second embodiment of the control method of the surgical robot system of Fig. 8. Fig.

도 8, 도 9a 내지 도 9k 및 도 10a 내지 도 10d를 참조하면, 본 발명의 수술 로봇 시스템의 제어 방법의 제2 실시예는, 복강경 영상으로부터 이미지 정보가 생성되는 단계(S210 단계), 상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계(S220 단계), 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계(S230 단계) 및 상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계(S240 단계)를 포함한다. 8, 9A to 9K and 10A to 10D, the second embodiment of the control method of the surgical robot system of the present invention is characterized in that image information is generated from the laparoscopic image (step S210) A step S230 of extracting a region of interest in the laparoscopic image from the image information obtained in operation S230, a step S230 of determining a current operation state from a change in the extracted region of interest with time, And a predetermined operation corresponding to the situation is performed (step S240).

그리고, 상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계(S220 단계)는, 상기 생성된 이미지 정보가 리사이즈(resize) 되고 경계 영역이 절단되는 단계(S220b 단계), 상기 이미지 정보에 대해 히스토그램 평탄화가 수행되는 단계(S220c 단계), 상기 히스토그램 평탄화가 수행된 이미지 정보에 Mutually inclusive RGB thresholding이 수행되는 단계(S220d 단계), 상기 Mutually inclusive RGB thresholding이 수행된 이미지 정보에 캐니 에지 필터가 적용되는 단계(S220e 단계), 상기 캐니 에지 필터가 적용된 이미지 정보에 엔트로피 필터가 적용되는 단계(S220f 단계), 상기 엔트로피 필터가 적용된 이미지 정보에서 배경이 제거되는 단계(S220g 단계), 상기 배경이 제거된 이미지 정보에서 출혈 영역이 추출되는 단계(S220h 단계), 상기 이미지 정보에서 상기 추출된 출혈 영역의 내부를 채우는 단계(S220i 단계), 상기 출혈 영역의 내부가 채워진 상기 이미지 정보에서 상기 출혈 영역의 경계가 추출되는 단계(S220j 단계), 원본 이미지 정보에 상기 추출된 출혈 영역의 경계가 오버랩되어 디스플레이되는 단계(S220k 단계), 추출된 출혈 영역의 중심점이 추출되는 단계(S220l 단계)를 포함한다. 이를 더욱 상세히 설명하면 다음과 같다. The step of extracting the region of interest in the laparoscopic image from the generated image information in operation S220 may include resizing the generated image information and cutting the boundary region in operation S220b, (Step S220c), mutually inclusive RGB thresholding is performed on the image information on which the histogram has been smoothed (S220d), and the image information subjected to the mutually inclusive RGB thresholding is subjected to a canny edge filter The entropy filter is applied to the image information to which the canyon edge filter is applied in step S220f, the background is removed from the image information to which the entropy filter is applied in step S220g, In step S220h, a bleeding area is extracted from the removed image information, A step of filling the inside of the extracted bleeding area (step S220i), a boundary of the bleeding area is extracted from the image information filled in the bleeding area (step S220j), the boundary of the extracted bleeding area (Step S220k), and the center point of the extracted bleeding area is extracted (step S220l). This will be described in more detail as follows.

먼저, 도 9a에 도시된 바와 같은 원본 이미지 정보는, 도 9b에 도시된 바와 같이 크기가 재조정되며(resize), 경계 영역이 절단(S220b 단계)된다. First, the original image information as shown in FIG. 9A is resized as shown in FIG. 9B, and the boundary region is cut (step S220b).

다음으로, 상기 이미지 정보에 대해 히스토그램 평탄화가 수행(S220c 단계)된다. 상세히, 이미지 정보의 색상 정보를 분석하기 위한 전처리 단계로서 RGB 히스토그램의 평탄화(Histogram equalization)가 수행되며, 여기서, RGB 히스토그램 평탄화란, 영상의 명도 히스토그램(intensity histogram)을 R,G,B 공간(space) 각각에 대해 0~255로 넓게 펴주어 콘트라스트(contrast)가 심하게 나타나도록 하는 처리를 의미한다. 이와 같이, RGB 히스토그램의 평탄화가 수행된 이미지 정보가 도 9c에 도시되어 있다. Next, histogram flattening is performed on the image information (step S220c). In detail, Histogram equalization of the RGB histogram is performed as a preprocessing step for analyzing the color information of the image information. Here, the RGB histogram planarization is a process of converting the intensity histogram of the image into R, G, B space ) To a wide range from 0 to 255, respectively, so that the contrast is markedly increased. Thus, the image information on which the RGB histogram has been smoothed is shown in FIG. 9C.

다음으로, 상기 히스토그램 평탄화가 수행된 이미지 정보에 Mutually inclusive RGB thresholding이 수행(S220d 단계)된다. 상세히, Mutually inclusive RGB thresholding이란, R,G,B의 각각의 공간(space) 상에서 소정의 임계값(threshold)을 부여하여 이진화를 수행한 후, 이진화가 수행된 R,G,B 공간들의 교집합을 계산하여, 같은 값을 갖는 영역만을 출력하는 처리를 의미한다. 즉, 도 10a는 RGB 히스토그램의 평탄화가 수행된 도 9c의 영상을 R 공간상에서 소정의 임계값(threshold)을 부여하여 이진화를 수행한 화면을 나타내고, 도 10b는 RGB 히스토그램의 평탄화가 수행된 도 9c의 영상을 G 공간상에서 소정의 임계값(threshold)을 부여하여 이진화를 수행한 화면을 나타내고, 도 10c는 RGB 히스토그램의 평탄화가 수행된 도 9c의 영상을 G 공간상에서 소정의 임계값(threshold)을 부여하여 이진화를 수행한 화면을 나타낸다. 그리고, 도 10d(및 도 9d)는 도 10a와 도 10b와 도 10c의 교집합 영역을 추출한 화면을 나타낸다. Next, mutually inclusive RGB thresholding is performed on the image information on which the histogram smoothing is performed (step S220d). In detail, Mutually inclusive RGB thresholding is a method of performing binarization by assigning a predetermined threshold value to each space of R, G, and B, and then performing an intersection of R, G, and B spaces subjected to binarization And outputting only the region having the same value. FIG. 10A shows a screen in which the image of FIG. 9C in which the RGB histogram is flattened is binarized by giving a predetermined threshold value in the R space, FIG. 10B shows a screen in which the RGB histogram is flattened, FIG. 10C shows a screen in which the image of FIG. 9C in which the RGB histogram is flattened is subjected to a predetermined threshold on the G space And the binarization is performed. FIG. 10D (and FIG. 9D) shows a screen in which the intersection areas of FIGS. 10A, 10B, and 10C are extracted.

다음으로, 도 9e에 도시된 바와 같이, 상기 Mutually inclusive RGB thresholding이 수행된 이미지 정보에 캐니 에지 필터가 적용(S220e 단계)되어, 출혈 영역의 테두리를 개략적으로 검출한다. 여기서, 캐니 에지 필터(Canny edge filter)란, 최적의 에지 검출(edge detection) 기법의 일 예로써, 경사 강도가 큰 부분을 구하여 에지(edge)를 검출하는 필터를 말한다. Next, as shown in FIG. 9E, a Canny edge filter is applied to the image information subjected to the mutually inclusive RGB thresholding (step S220e), and the border of the bleeding area is roughly detected. Here, the Canny edge filter is an example of an optimal edge detection technique, and refers to a filter that detects an edge by finding a portion having a large gradient strength.

다음으로, 도 9f에 도시된 바와 같이, 상기 캐니 에지 필터가 적용된 이미지 정보에 엔트로피 필터가 적용(S220f 단계) 되어, 출혈 영역의 테두리를 부드럽게 연결한다. 여기서, 엔트로피 필터(Entropy filter)는 영상을 부드럽게(smoothing) 하는 기법의 일 예로써, 화소마다 그 화소의 값을 주변 일정 영역 (예를 들어 그 화소를 중심으로 이를 둘러싼 9화소 x 9화소 영역)의 엔트로피 값으로 대치함으로써, 일부러 초점을 흐리게 한 듯한 효과를 내는 필터를 의미한다. Next, as shown in FIG. 9F, an entropy filter is applied to the image information to which the CannyEdge filter is applied (step S220f), so that the border of the bleeding area is smoothly connected. Here, an entropy filter is an example of a technique of smoothing an image. In this case, the value of the pixel is divided into a certain peripheral region (for example, a 9 pixel x 9 pixel region surrounding the pixel) Quot; is replaced with an entropy value of " a "

다음으로, 도 9g에 도시된 바와 같이, 상기 엔트로피 필터가 적용된 이미지 정보에서 배경이 제거(S220g 단계)된다. 여기서, 배경이 제거되기 위해 이진 에지 검출(Binary edge detection) 방법이 적용될 수 있다. 이진 에지 검출이란, 흑백화 된 영상에서 에지(edge)가 검출된 부분을 기반으로 영상에 소정의 임계값(threshold)을 적용하여 small island(즉, 잡음)을 제거하는 방법을 의미한다. 즉, 캐니 에지 필터를 적용한 결과와 엔트로피 필터를 적용한 결과를 조합하여, 이진 에지 검출(Binary edge detection) 방법을 적용함으로써, 경계 부분이 단절되지 않고 정확하게 검출될 수 있는 것이다. Next, as shown in FIG. 9G, the background is removed from the image information to which the entropy filter is applied (step S220g). Here, a binary edge detection method may be applied to remove the background. Binary edge detection refers to a method of removing a small island (i.e., noise) by applying a predetermined threshold to an image based on a portion where an edge is detected in a monochrome image. That is, by applying the result of applying the canyon edge filter and the result of applying the entropy filter and applying the binary edge detection method, the boundary portion can be accurately detected without being disconnected.

이와 같이 캐니 에지 필터(Canny edge filter), 엔트로피 필터(Entropy filter)와 이진 에지 검출(Binary edge detection) 방법을 적용함으로써, 보다 안정적으로 출혈 영역의 경계를 검출하는 효과를 얻을 수 있다. By applying Canny edge filter, Entropy filter and Binary edge detection method, it is possible to obtain the effect of detecting the boundary of the bleeding area more stably by using Canny edge filter, Entropy filter and Binary edge detection.

다음으로, 도 9h에 도시된 바와 같이 상기 배경이 제거된 이미지 정보에서 출혈 영역이 추출(S220h 단계)된 후, 도 9i에 도시된 바와 같이 상기 이미지 정보에서 상기 추출된 출혈 영역의 내부가 채워진다(S220i 단계). 그리고나서 도 9j에 도시된 바와 같이, 상기 출혈 영역의 내부가 채워진 상기 이미지 정보에서 상기 출혈 영역의 경계가 추출(S220j 단계)되는 것이다. Next, as shown in FIG. 9H, a bleeding area is extracted from the image information from which the background is removed (step S220h), and then the extracted bleeding area is filled in the image information as shown in FIG. 9I ( S220i step). Then, as shown in FIG. 9J, the border of the bleeding area is extracted from the image information filled in the bleeding area (step S220j).

이와 같이 추출된 출혈 영역의 경계(B)는, 도 9k에 도시된 바와 같이 원본 이미지 정보에 오버랩되어 디스플레이(S220k 단계)될 수 있다. 그리고, 추출된 출혈 영역의 기하학적 중심점을 추출(S220l 단계) 하여, 추출된 출혈 영역의 대표 좌표로 상정한다. The boundary B of the extracted bleeding area may be overlapped with the original image information and displayed (step S220k), as shown in FIG. 9K. Then, a geometric center point of the extracted bleeding region is extracted (step S220l), and assumed to be representative coordinates of the extracted bleeding region.

도 11a 내지 도 11c는 본 발명의 일 비교예에 따른 수술 로봇 시스템의 제어 방법에 의해 추출된 출혈 영역을 나타내는 도면이다. 도 11a 내지 도 11c를 참조하면, 본 발명의 일 비교예에 따른 수술 로봇 시스템의 제어 방법에 의해 추출된 출혈 영역의 경우, 실제 출혈 영역보다 크거나(도 11a의 C1), 실제 출혈 영역보다 작거나(도 11b의 C2), 또는 실제 출혈 영역 외에 수술 도구와 장기까지 포함하는 것을 볼 수 있다(도 11c의 C3).11A to 11C are views showing a bleeding region extracted by a control method of a surgical robot system according to a comparative example of the present invention. 11A to 11C, in the case of the bleeding area extracted by the control method of the surgical robot system according to the comparative example of the present invention, it is larger than the actual bleeding area (C1 in FIG. 11A), smaller than the actual bleeding area (C2 in Fig. 11B), or it includes surgical tools and organs in addition to the actual bleeding area (C3 in Fig. 11C).

이에 비해, 도 12a 내지 도 12d는 본 발명의 일 실시예에 따른 수술 로봇 시스템의 제어 방법에 의해 추출된 출혈 영역을 나타내는 도면이다. 도 12a 내지 도 12d를 참조하면, 본 발명의 일 실시예에 따른 수술 로봇 시스템의 제어 방법에 의해 추출된 출혈 영역의 경우, 실제 출혈 영역과 완전히 동일함을 알 수 있으며(도 12a의 D1, 도 12b의 D2, 도 12c의 D3), 복강경 영상 내에 출혈 영역이 없을 경우, 출혈 영역을 추출하지 아니함을 볼 수 있다(도 12d). 12A to 12D are views showing a bleeding region extracted by a control method of a surgical robot system according to an embodiment of the present invention. 12A to 12D, it can be seen that the bleeding area extracted by the control method of the surgical robot system according to the embodiment of the present invention is completely the same as the actual bleeding area (D1, D2 in FIG. 12B, and D3 in FIG. 12C), the bleeding area is not extracted when there is no bleeding area in the laparoscopic image (FIG. 12D).

다음으로, 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단(S230 단계)된다. Next, the current operation state is determined from the change with time of the extracted interest region (step S230).

상세히, 수술 로봇 시스템을 이용하여 수술을 진행하는 도중 출혈이 발생할 경우, 이와 같은 출혈이 발생한 장소가 어디인지, 출혈이 일시적으로 발생하였는지 아니면 지속적으로 발생하는지, 출혈량이 증가하는지 또는 감소하는지 여부 등은 수술의 진행에 큰 영향을 줄 수 있다. 그러므로, 이와 같은 출혈의 양상을 파악하는 것이 매우 중요할 수 있다. 따라서, 본 발명에서는 시간의 흐름에 따른 상기 출혈 영역의 변화로부터 출혈의 양상을 파악하여, 이를 사용자에게 전달하는 것을 일 특징으로 한다. In detail, when a bleeding occurs during the operation using the surgical robot system, it is possible to determine the place where the bleeding occurs, whether the bleeding temporarily occurs or not, whether the bleeding amount increases or decreases, and the like It can have a great influence on the progress of surgery. Therefore, it can be very important to understand the pattern of bleeding. Therefore, in the present invention, the aspect of the bleeding from the change of the bleeding area according to the passage of time is grasped and transmitted to the user.

추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황을 판단하는 방법은 크게 두 가지로 구분할 수 있다. There are two main ways to determine the current surgical situation from the changes of the extracted region of interest over time.

이중 첫 번째 방법은 템플릿 매칭(template matching) 방법이다. The first method is template matching.

기본적인 템플릿 매칭(template matching)은, 형태 지각을 기본 개념으로 한 것으로, 어느 한 시점의 제1 영상에서 추출한 제1 영역을 다른 시점의 제2 영상의 다수 개의 영역과 차례로 비교하여, 두 대상 간의 픽셀 값의 차이가 제일 작은 위치를 찾는 방법을 의미한다. 즉, 제1 영역을 제2 영상 전체에 대해 이동시키면서 비교하는 방법을 의미한다. 다만, 이 방법은 제2 영상 전체에 제1 영역을 비교해야 하므로, 처리속도가 느리고, 계산량이 많다는 단점이 존재한다. The basic template matching is based on the shape perception. The first template extracted from the first image at a certain point of time is sequentially compared with the plurality of regions of the second image at another point of time, This means finding the smallest difference between the values. That is, the first area is compared with the entire second image. However, this method has a disadvantage in that the processing speed is slow and the amount of calculation is large because the first region must be compared over the entire second image.

이와 같은 단점을 해결하기 위해 개량된 템플릿 매칭(template matching)의 한 종류인 SSD(Sum of Squared Difference)는 일종의 블록 매칭 기법으로, 제1 영상의 제1 영역과 제2 영상의 차이에 대해 오차를 계산하고, 오차가 제일 작은 값을 가지는 영역을 찾는 방법이다. SSD는 고속 푸리에 변환(Fast Fourier Transform) 기반에서의 블록 매칭을 사용하며, 오차가 가장 작은 부분이 가장 유사한 영역이라 예상한다는 가정에서 출발한다. 기본적인 템플릿 매칭(template matching) 기법에 대비한 SSD의 장점은, 기본 화소(pixel)의 명도(intensity) 뿐만이 아닌 상 요소(phase component)로 계산을 하기 때문에, 명도(intensity) 및 외부 환경에 대해 덜 민감하다는 것이다. 다만, 이 방법은 조명(Illumination) 및 영상 빛에 대해 높은 변화율이 있다는 문제점이 존재한다. In order to solve such a disadvantage, a Sum of Squared Difference (SSD), which is one type of template matching, is a kind of block matching technique. It is an error of the difference between the first image and the second image of the first image And finds an area having the smallest error. SSD uses block matching based on Fast Fourier Transform and starts with the assumption that the area with the smallest error is the most similar area. The advantage of SSD over basic template matching is that it computes not only the intensity of the pixel but also the phase component so that the intensity and the external environment are less It is sensitive. However, this method has a problem that there is a high rate of change for illumination and image light.

이와 같은 단점을 해결하기 위해 제안된 방안이 NCC(Normalized Cross Correlation)이다. 이는 제1 영상의 제1 영역과 제2 영상의 밝기의 선형적인 차이와 독립적으로 제1 영상의 제1 영역과 제2 영상 간의 기하학적인 유사도를 측정하는 방법을 의미한다.(SSD를 전개하면 NCC의 Formula가 도출됨) NCC를 사용하여, 제1 영상의 제1 영역과 제2 영상을 비교하는 중에, NCC 값이 가장 큰 위치를 출력하면 제2 영상 내에서 제1 영상의 제1 영역의 이미지 위치를 찾을 수 있다. 고속 푸리에 변환(Fast Fourier Transform) 기반 NCC(Normalized Cross Correlation)의 장점은, 조명등과 같은 주위 환경에 의한 영향이 비교되기 전의 정규화 과정으로 주위환경에 영향을 덜 받으며, 계산량이 적고 빠르며, 이미지 크기가 클수록 빠르다는 것이다. To solve these drawbacks, the proposed method is NCC (Normalized Cross Correlation). This means that the geometric similarity between the first image and the second image of the first image is measured independently of the linear difference between the brightness of the first image and the brightness of the second image of the first image. When the first region of the first image and the second image are compared with each other using the NCC, the position of the largest NCC value is output, and the image of the first region of the first image in the second image You can find the location. The advantage of Fast Fourier Transform-based Normalized Cross Correlation (NCC) is that it is a normalization process before the effects of ambient environment such as illumination light are compared. It is less influenced by the surrounding environment, is less computationally fast, The bigger it is, the faster it is.

한편, 두 번째 방법은 연합형 칼만 필터(Federated Kalman filter)를 적용하는 방법이다. 상술한 바와 같이, 칼만 필터(Kalman Filter)란 저장된 위치를 사용하여 통계적으로 그 다음의 위치를 예측하는 방법이다. 여기서 발전하여, 연합형 칼만 필터(Federated Kalman Filter)란, 서브(Sub) 칼만 필터와 메인(Main) 칼만 필터가 존재함으로써, 서브(Sub) 칼만 필터에서 사용되는 센서 자체의 값들의 노이즈를 제거하고, 출력된 여러 센서의 위치에 또다시 메인(Main) 칼만 필터를 적용해 줌으로써 더욱 더 정확한 위치를 예측할 수 있는 방법을 의미한다. On the other hand, the second method is a method of applying a federated Kalman filter. As described above, the Kalman filter is a method of statistically predicting the next position using the stored position. Here, the federated Kalman filter means that the Sub Kalman filter and the Main Kalman filter exist to remove the noise of the values of the sensor itself used in the Sub Kalman filter, , And applying a main Kalman filter to the positions of various sensors output, it is possible to predict a more accurate position.

나아가, 상기 두 가지 방법을 병용하는 것도 가능하다 할 것이다. 즉, 템플릿 매칭(template matching) 방법을 통해 특정 영역의 중심값의 이동이 검출되었을 때, 연합형 칼만 필터(Federated Kalman filter)를 적용하여 검출된 중심값과 실제 중심값 사이에 발생하는 오차를 보정하는 것이다. Further, it is also possible to use the above two methods in combination. That is, when movement of a center value of a specific region is detected through a template matching method, an error occurring between a center value and an actual center value detected by applying a federated Kalman filter is corrected .

이와 같은 방법들을 사용하여, 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단된다. 즉, 출혈이 시작되는지, 계속 출혈량이 증가하는지, 출혈이 증가하다가 어느 정도로 유지되는지, 또는 출혈이 중단되었는지 등의 상황을, 영상으로부터 추출된 출혈 영역의 시간적/공간적 변화를 분석함으로써 파악할 수 있는 것이다. Using these methods, the current surgical situation is determined from the change over time of the extracted region of interest. That is, it can be grasped by analyzing the temporal / spatial change of the bleeding area extracted from the image, such as whether the bleeding starts, the amount of continuous bleeding increases, the amount of bleeding increases, and how much is maintained or the bleeding is stopped .

마지막으로, 상기 판단된 수술 상황에 대응하는 소정의 동작이 수행(S240 단계)된다. 상세히, 소정의 동작은 사용자에게 소정의 알람(alarm) 메시지를 발산하는 동작일 수 있다. 즉, 출혈이 시작되었거나, 출혈량이 증가하고 있는 등의 위험 상황이 발생하였다고 판단될 경우, 사용자에게 시각 또는 청각 정보 등을 통해 알람(alarm) 메시지를 전달할 수 있다. 더불어, 출혈의 근원을 확인하기 위해 출혈 (의심) 영역의 하부 또는 근위부의 의학 영상 정보를 복강경 영상에 더하여 제공할 수도 있다. Finally, a predetermined operation corresponding to the determined surgical condition is performed (step S240). In particular, the predetermined operation may be an operation of emitting a predetermined alarm message to the user. That is, when it is determined that a dangerous situation such as the start of bleeding or the amount of bleeding has occurred, an alarm message can be transmitted to the user through visual or auditory information or the like. In addition, medical imaging information of the lower or proximal portion of the bleeding (suspicion) region may be provided in addition to the laparoscopic image to identify the origin of the bleeding.

이와 같은 본 발명에 의해서, 출혈의 발생 여부 및 출혈의 발생 위치를 신속하게 파악할 수 있게 됨으로써, 수술시의 비상 상황 발생에 대한 신속한 대처가 가능하게 되어, 수술 중 안전성을 향상시킬 수 있다.
According to the present invention, it is possible to quickly identify the occurrence of bleeding and the position of occurrence of bleeding, so that it is possible to promptly cope with the occurrence of an emergency situation at the time of surgery, thereby improving the safety during surgery.

다음으로, 복강경 화면상의 연기 발생 영역의 검출 및 제어와 관련된 본 발명의 제3 실시예에 대해서 설명한다. 도 13은 도 4의 수술 로봇 시스템의 제어 방법의 제3 실시예를 나타내는 흐름도이다. 그리고, 도 14a 및 도 14b는 연기가 발생했을 때의 복강경 영상 및 이에 대한 H 히스토그램이고, 도 15a 및 도 15b는 연기가 발생하지 않았을 때의 복강경 영상 및 이에 대한 H 히스토그램이다. 한편, 도 16a 및 도 16b는 연기가 발생했을 때의 복강경 영상 및 이에 대한 S 히스토그램이고, 도 17a 및 도 17b는 연기가 발생하지 않았을 때의 복강경 영상 및 이에 대한 S 히스토그램이다. Next, a third embodiment of the present invention relating to detection and control of a smoke generation area on the laparoscopic screen will be described. 13 is a flowchart showing a third embodiment of the control method of the surgical robot system of Fig. FIGS. 14A and 14B are laparoscopic images and smoke histograms when smoke occurs, and FIGS. 15A and 15B are laparoscopic images and smoke histograms when no smoke is generated. 16A and 16B are laparoscopic images and smoke histograms when smoke occurs, and FIGS. 17A and 17B are laparoscopic images and smoke S histograms when no smoke is generated.

도 13등을 참조하면, 본 발명의 수술 로봇 시스템의 제어 방법의 제3 실시예는, 복강경 영상으로부터 이미지 정보가 생성되는 단계(S310 단계), 상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계(S320 단계), 연기의 발생, 유지, 증가, 감소 및 소멸 여부가 판단되는 단계(S330 단계) 및 상기 판단된 수술 상황에 대응하는 알람 및/또는 가스 배출을 위한 제어 신호가 발생하는 단계(S340 단계)를 포함한다. Referring to FIG. 13 and the like, a third embodiment of a control method of a surgical robot system of the present invention includes generating image information from a laparoscopic image (step S310), extracting, from the generated image information, A control signal for alarm and / or gas discharge corresponding to the determined surgical condition is determined (step S320), whether or not smoke is generated, maintained, increased, (Step S340).

그리고, 상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계(S320 단계)는, RGB 이미지 정보를 HSV 이미지 정보로 변환하는 단계(S321 단계), H 히스토그램 분석을 통한 연기 발생 상황 여부 판단 단계(S322 단계), S 히스토그램 분석을 통한 연기 발생 상황 여부 판단 단계(S323 단계) 및 H 히스토그램 분석과 S 히스토그램 분석 결과를 조합하여 연기 발생 상황 여부를 판단하는 단계(S324 단계)를 포함한다. 이를 더욱 상세히 설명하면 다음과 같다. The step of extracting the region of interest in the laparoscopic image from the generated image information in operation S320 may include converting the RGB image information into HSV image information in operation S321, (Step S322), determining whether or not a smoke is generated through S histogram analysis (S323), and analyzing H histogram analysis and S histogram analysis to determine whether or not a smoke is generated (S324) . This will be described in more detail as follows.

먼저, RGB 이미지 정보를 HSV 이미지 정보로 변환(S321 단계)한다. 상세히, 복강경 화면상에서 연기(smoke)의 검출을 위해서는 RGB 이미지 데이터를 HSV 이미지 데이터로 변환해야 한다. 상술한 바와 같이, R은 빨간색(Red), G는 초록색(Green) 및 B는 파란색(Blue)을 수치화하여 나타낸 것이다. 그리고, H는 색상(Hue), S는 채도(Saturation), V는 명도(Value, Brightness)를 표현하는 것으로, HSV 값은 RGB 값이 0 내지 1 사이의 값을 가질 때, 상기 RGB 값으로부터 다음의 수학식 1에 의하여 연산될 수 있다. First, the RGB image information is converted into HSV image information (step S321). In detail, in order to detect smoke on the laparoscopic screen, RGB image data must be converted into HSV image data. As described above, R represents red (red), G represents green (green), and B represents blue (blue). The HSV value is a value obtained by subtracting the next RGB value from the RGB value when the RGB value has a value between 0 and 1. The HV value is represented by Hue, S is saturation, and V is brightness and Brightness. Can be calculated by Equation (1).

Figure 112011035175366-pat00001
Figure 112011035175366-pat00001

Figure 112011035175366-pat00002
Figure 112011035175366-pat00002

Figure 112011035175366-pat00003
Figure 112011035175366-pat00003

다음으로, H 히스토그램 분석을 통해 연기 발생 상황 여부를 판단(S322 단계)한다. 다시 말하면, H 히스토그램 분포에서 특정 구간의 H에 대한 도수가 미리 정한 임계값(threshold)보다 높거나, 이미지 데이터의 전체 또는 일부 관심영역의 H값의 (가중)평균이 미리 정한 임계값(threshold)보다 높으면 연기 발생 상황으로, 그렇지 않으면 연기가 발생하지 않은 상황으로 판단하는 것이다. Next, it is determined whether or not the smoke is generated through the H histogram analysis (step S322). In other words, in the H histogram distribution, if the frequency for H of a specific section is higher than a predetermined threshold, or if the (weighted) average of the H values of all or a portion of the image data in the image data exceeds a predetermined threshold value It is judged that there is no smoke occurrence in the case of smoke occurrence.

상세히, 도 14a 및 도 14b는 연기가 발생했을 때의 복강경 영상 및 이에 대한 H 히스토그램이고, 도 15a 및 도 15b는 연기가 발생하지 않았을 때의 복강경 영상 및 이에 대한 H 히스토그램이다. 도 14a 및 도 14b를 참조하면, 연기가 발생했을 때의 H 히스토그램의 우측의 H1 영역에는 다수의 히스토그램 값들이 분포하고 있음을 알 수 있다. 반면, 도 15a 및 도 15b를 참조하면, 연기가 발생하지 않았을 때의 H 히스토그램의 우측의 H2 영역에는 히스토그램 값들이 거의 분포하고 있지 않음을 알 수 있다. 이로부터, 복강경 영상의 HSV 이미지 정보로부터 H 히스토그램을 추출하였을 때, H 히스토그램의 우측 영역에 다수의 히스토그램 값들이 분포하고 있으면 연기가 발생한 것으로 판단할 수 있고, H 히스토그램의 우측 영역에 히스토그램 값들이 거의 분포하고 있지 않으면 연기가 발생하지 않은 것으로 판단할 수 있다. 14A and 14B are laparoscopic images and smoke histograms when smoke occurs, and FIGS. 15A and 15B are laparoscopic images and smoke histograms when no smoke is generated. 14A and 14B, it can be seen that a large number of histogram values are distributed in the H1 region on the right side of the H histogram when smoke is generated. On the other hand, referring to FIGS. 15A and 15B, it can be seen that the histogram values are hardly distributed in the H2 area on the right side of the H histogram when no smoke is generated. From this, when H histogram is extracted from the HSV image information of the laparoscopic image, it can be judged that smoke is generated when a plurality of histogram values are distributed in the right region of the H histogram, and histogram values in the right region of the H histogram are almost If it is not distributed, it can be judged that no smoke has occurred.

다음으로, S 히스토그램 분석을 통해 연기 발생 상황 여부를 판단(S323 단계)한다. 다시 말하면, S 히스토그램 분포에서, 특정 구간의 S에 대한 도수가 미리 정한 임계값(threshold)보다 낮거나, 이미지 데이터의 전체 또는 일부 관심 영역의 S값의 (가중)평균이 미리 정한 임계값(threshold)보다 낮으면 연기 발생 상황으로, 그렇지 않으면 연기가 발생하지 않은 상황으로 판단하는 것이다. Next, it is determined whether or not the smoke is generated through the S histogram analysis (step S323). In other words, in the S histogram distribution, if the frequency for S of a specific section is lower than a predetermined threshold, or if the (weighted) average of the S values of all or some of the regions of interest of the image data exceeds a predetermined threshold ), It is judged that there is a smoke generation situation, otherwise, it is determined that there is no smoke generation.

상세히, 도 16a 및 도 16b는 연기가 발생했을 때의 복강경 영상 및 이에 대한 S 히스토그램이고, 도 17a 및 도 17b는 연기가 발생하지 않았을 때의 복강경 영상 및 이에 대한 S 히스토그램이다. 도 16a 및 도 16b를 참조하면, 연기가 발생했을 때의 S 히스토그램의 우측의 S1 영역에는 히스토그램 값들이 거의 분포하고 있지 않음을 알 수 있다. 반면, 도 17a 및 도 17b를 참조하면, 연기가 발생하지 않았을 때의 S 히스토그램의 우측의 S2 영역에는 다수의 히스토그램 값들이 분포하고 있음을 알 수 있다. 이로부터, 복강경 영상의 HSV 이미지 정보로부터 S 히스토그램을 추출하였을 때, S 히스토그램의 우측 영역에 다수의 히스토그램 값들이 분포하고 있으면 연기가 발생하지 않은 것으로 판단할 수 있고, S 히스토그램의 우측 영역에 히스토그램 값들이 거의 분포하고 있지 않으면 연기가 발생한 것으로 판단할 수 있다. 16A and 16B are laparoscopic images and smoke histograms when smoke is generated, and Figs. 17A and 17B are laparoscopic images when no smoke is generated and S histograms thereof. 16A and 16B, it can be seen that the histogram values are hardly distributed in the S1 area on the right side of the S histogram when smoke is generated. On the other hand, referring to FIGS. 17A and 17B, it can be seen that a large number of histogram values are distributed in the S2 area on the right side of the S histogram when no smoke is generated. From this, when the S histogram is extracted from the HSV image information of the laparoscopic image, it can be judged that no smoke occurs when a plurality of histogram values are distributed in the right region of the S histogram, and the histogram value It can be determined that smoke has occurred.

다음으로, H 히스토그램 분석과 S 히스토그램 분석 결과를 조합하여 최종적으로 연기 발생 상황 여부를 판단(S324 단계)한다. 즉, 안정적으로 연기 발생 상황 을 판단하기 위해, 위 두 항목이 모두 만족될 때를 연기 발생 상황으로 최종 판단하는 것이다.Next, the H histogram analysis and the S histogram analysis result are combined to determine whether or not the smoke occurrence state is finally determined (step S324). That is, in order to judge the smoke occurrence situation stably, it is the final judgment as the smoke occurrence situation when both of the above items are satisfied.

상세히, 도 18a, 도 18b 및 도 18c는 실제로 연기가 발생하지 않았을 때의 복강경 영상, 이에 대한 H 히스토그램 및 S 히스토그램이다. 도 19a, 도 19b 및 도 19c는 실제로 연기가 발생했을 때의 복강경 영상, 이에 대한 H 히스토그램 및 S 히스토그램이다. 도 20a, 도 20b 및 도 20c는 실제로 연기가 발생하지 않았을 때의 복강경 영상과, 이에 대한 H 히스토그램 및 S 히스토그램이다. Specifically, Figs. 18A, 18B and 18C are laparoscopic images when no smoke is actually generated, H histograms and S histograms therefor. 19A, 19B, and 19C are laparoscopic images when smoke actually occurs, H histograms and S histograms thereof. 20A, 20B and 20C are laparoscopic images when no smoke is actually generated, and H histograms and S histograms therefor.

도 18a, 도 18b 및 도 18c를 참조하면, 실제로 연기가 발생하지 않았을 때의 복강경 영상을 HSV 이미지 정보로 변환하여, H 히스토그램 및 S 히스토그램을 추출하였다. 먼저, 도 18b에 도시된 H 히스토그램을 보면, H 히스토그램의 우측의 H3 영역에는 히스토그램 값들이 거의 분포하고 있지 않고 있음을 알 수 있으며, 이로부터 현재 상황이 연기가 발생하지 않은 상황이라고 판단할 수 있다. 한편, 도 18c에 도시된 S 히스토그램을 보면, S 히스토그램의 우측의 S3 영역에는 다수의 히스토그램 값들이 분포하고 있음을 알 수 있으며, 이로부터 현재 상황이 연기가 발생하지 않은 상황이라고 판단할 수 있다. 그리고, 이와 같이 H 히스토그램의 분석 결과와 S 히스토그램의 분석 결과가 일치하므로, 현재 상황은 연기가 발생하지 않은 상황이라고 최종적으로 판단할 수 있는 것이다. 18A, 18B and 18C, laparoscopic images when no smoke is actually generated are converted into HSV image information, and H histograms and S histograms are extracted. First, in the H histogram shown in FIG. 18B, it can be seen that the histogram values are hardly distributed in the H3 region on the right side of the H histogram. From this, it can be judged that the current situation does not cause the postponement . On the other hand, in the S histogram shown in FIG. 18C, it can be seen that a large number of histogram values are distributed in the S3 region on the right side of the S histogram. From this, it can be judged that the current situation does not cause a delay. And, since the analysis result of the H histogram and the analysis result of the S histogram coincide with each other, it can be concluded that the present situation is the situation in which the smoke does not occur.

한편, 도 19a, 도 19b 및 도 19c를 참조하면, 실제로 연기가 발생했을 때의 복강경 영상을 HSV 이미지 정보로 변환하여, H 히스토그램 및 S 히스토그램을 추출하였다. 먼저, 도 19b에 도시된 H 히스토그램을 보면, H 히스토그램의 우측의 H4 영역에는 다수의 히스토그램 값들이 분포하고 있음을 알 수 있으며, 이로부터 현재 상황이 연기가 발생하고 있는 상황이라고 판단할 수 있다. 한편, 도 19c에 도시된 S 히스토그램을 보면, S 히스토그램의 우측의 S4 영역에는 히스토그램 값들이 분포하고 있지 않음을 알 수 있으며, 이로부터 현재 상황이 연기가 발생하고 있는 상황이라고 판단할 수 있다. 그리고, 이와 같이 H 히스토그램의 분석 결과와 S 히스토그램의 분석 결과가 일치하므로, 현재 상황은 연기가 발생하고 있는 상황이라고 최종적으로 판단할 수 있는 것이다. 19A, 19B and 19C, the laparoscopic image at the time of actual smoke generation is converted into HSV image information, and H histogram and S histogram are extracted. First, in the H histogram shown in FIG. 19B, it can be seen that a large number of histogram values are distributed in the H4 region on the right side of the H histogram, and it can be judged that the current situation is in a state of delay. On the other hand, in the S histogram shown in FIG. 19C, it can be seen that the histogram values are not distributed in the S4 region on the right side of the S histogram. From this, it can be judged that the current situation is a state where the smoke is occurring. In addition, since the analysis result of the H histogram and the analysis result of the S histogram coincide with each other, it can be concluded that the current situation is the situation where the smoke is occurring.

한편, 도 20a, 도 20b 및 도 20c를 참조하면, 실제로 연기가 발생하지 않았을 때의 복강경 영상을 HSV 이미지 정보로 변환하여, H 히스토그램 및 S 히스토그램을 추출하였다. 먼저, 도 20b에 도시된 H 히스토그램을 보면, H 히스토그램의 우측의 H5 영역에는 다수의 히스토그램 값들이 분포하고 있음을 알 수 있으며, 이로부터 현재 상황이 연기가 발생하고 있는 상황이라고 판단할 수 있다. 반면, 도 20c에 도시된 S 히스토그램을 보면, S 히스토그램의 우측의 S5 영역에는 다수의 히스토그램 값들이 분포하고 있음을 알 수 있으며, 이로부터 현재 상황이 연기가 발생하지 않고 있는 상황이라고 판단할 수 있다. 그리고, 이와 같이 H 히스토그램의 분석 결과와 S 히스토그램의 분석 결과가 일치하지 않을 경우, 현재 상황은 연기가 발생하고 있지 않은 상황이라고 최종적으로 판단할 수 있는 것이다. 즉, H 히스토그램의 분석 결과와 S 히스토그램의 분석 결과가 모두 연기 발생 상황인 것으로 나올 때에만, 최종적으로 연기가 발생하고 있는 상황이라고 판단할 수 있는 것이다. 20A, 20B and 20C, laparoscopic images when no smoke is actually generated are converted into HSV image information, and H histograms and S histograms are extracted. First, in the H histogram shown in FIG. 20B, it can be seen that a plurality of histogram values are distributed in the H5 area on the right side of the H histogram. From this, it can be judged that the current situation is in a state of delay. On the other hand, in the S histogram shown in FIG. 20C, it can be seen that a large number of histogram values are distributed in the S5 area on the right side of the S histogram, and it can be judged that the present situation is not causing the smoke . If the analysis result of the H histogram and the analysis result of the S histogram do not match in this way, it can be finally judged that the present situation is not a postponement. In other words, it can be judged that only when the analysis result of the H histogram and the analysis result of the S histogram are all in the state of the occurrence of the smoke, the smoke is finally generated.

이와 같은 본 발명에 의해서, 더욱 안정적으로 연기 발생 상황을 판단할 수 있게 되는 것이다. According to the present invention as described above, it is possible to more stably judge the smoke generation situation.

다음으로, 연기의 발생, 유지, 증가, 감소 및 소멸 여부가 판단(S330 단계)된다. 즉, 영상 정보의 히스토그램 분포로부터 얻어진 정보의 시간적/공간적 변화를 바탕으로 연기가 발생했는지, 연기가 지속되고 있는지, 또는 연기가 감소하고 있는지 등의 상황 정보를 파악할 수 있는 것이다.Next, it is determined whether or not smoke is generated, maintained, increased, decreased, and eliminated (step S330). That is, based on the temporal / spatial change of the information obtained from the histogram distribution of the image information, it is possible to grasp the situation information such as whether the smoke is generated, the smoke is continuing, or the smoke is decreasing.

마지막으로, 상기 판단된 수술 상황에 대응하는 알람 및/또는 가스 배출을 위한 제어 신호가 발생(S340 단계)한다. 즉, 연기 발생이 시작되었거나, 연기가 증가하고 있는 등의 위험 상황이 발생하였다고 판단될 경우, 사용자에게 시각 또는 청각 정보 등을 통해 알람(alarm) 메시지를 전달할 수 있다. 더불어, 가스 배출을 위한 제어 신호를 제어부에 전달하여, 가스 배출 기기가 작동되도록 할 수도 있다. Finally, a control signal for alarm and / or gas discharge corresponding to the determined surgical condition is generated (operation S340). That is, when it is determined that a dangerous situation such as the start of smoke generation or an increase in smoke has occurred, an alarm message can be transmitted to the user through visual or auditory information or the like. In addition, a control signal for gas discharge may be transmitted to the control unit so that the gas discharge apparatus is operated.

본 명세서에서는 본 발명을 한정된 실시예를 중심으로 설명하였으나, 본 발명의 범위 내에서 다양한 실시예가 가능하다. 또한 설명되지는 않았으나, 균등한 수단도 또한 본 발명에 그대로 결합되는 것이라 할 것이다. 따라서 본 발명의 진정한 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to the limited embodiments, various embodiments are possible within the scope of the present invention. It will also be understood that, although not described, equivalent means are also incorporated into the present invention. Therefore, the true scope of protection of the present invention should be defined by the following claims.

1: 수술 로봇 시스템 100: 마스터 로봇
110: 조작 레버 120: 디스플레이 부재
200: 슬레이브 로봇 210: 로봇 암
220: 복강경
1: Surgical robot system 100: Master robot
110: Operation lever 120: Display member
200: Slave robot 210: Robot arm
220: Laparoscopic

Claims (31)

삭제delete 복강경에 구비된 카메라를 통해 촬영된 복강경 영상으로부터, 상기 복강경 영상의 픽셀 정보를 표현하는 RGB 값 또는 HSV 값 중 적어도 하나를 포함하는 이미지 정보가 생성되는 단계;
상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계;
상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계; 및
상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계;를 포함하고,
상기 관심 영역은 상기 복강경 영상 내에서 수술 도구가 위치하는 수술 도구 영역인 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
Generating image information including at least one of an RGB value or an HSV value representing pixel information of the laparoscopic image from a laparoscopic image captured through a camera provided in the laparoscope;
Extracting a region of interest in the laparoscopic image from the generated image information;
Determining a current surgical situation from a change in the extracted region of interest over time; And
And performing a predetermined operation corresponding to the determined surgical condition,
Wherein the region of interest is a surgical tool region in which the surgical tool is located within the laparoscopic image.
제 2 항에 있어서,
상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계는,
상기 생성된 이미지 정보에 K-평균 군집화 방법(K-means clustering method)을 적용하여, 상기 이미지 정보를 유사한 명도를 갖는 복수 개의 영역으로 그루핑을 수행하는 단계; 및
상기 K-평균 군집화 방법(K-means clustering method)을 통해 구해진 그룹 중 수술 도구 그룹만을 남겨둔 후 이를 이진화(Binarization)하는 단계;를 포함하는 수술 로봇 시스템의 제어 방법.
3. The method of claim 2,
Extracting a region of interest in the laparoscopic image from the generated image information,
Applying a K-means clustering method to the generated image information, and grouping the image information into a plurality of regions having similar brightness; And
And a step of binarizing the group after leaving only the group of surgical tools among the groups obtained through the K-means clustering method.
제 3 항에 있어서,
상기 이진화 단계 이후,
상기 이진화를 수행한 이미지 정보에 칼만 필터(Kalman filter)를 적용하여, 상기 이진화를 수행한 이미지 정보에 대한 일시적 오류를 제거하는 단계를 더 포함하는 수술 로봇 시스템의 제어 방법.
The method of claim 3,
After the binarization step,
Further comprising the step of applying a Kalman filter to the binarized image information to remove temporal errors in the binarized image information.
제 2 항에 있어서,
상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계는,
상기 추출된 수술 도구 영역이 기 설정된 소정의 제한 영역을 침범하는지 여부가 판단되는 단계인 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
3. The method of claim 2,
Wherein the current operation state is determined from the change of the extracted ROI according to the flow of time,
Wherein the step of determining whether or not the extracted surgical tool region invades a predetermined predetermined restriction region is determined.
제 5 항에 있어서,
상기 기 설정된 소정의 제한 영역은 피시술자의 혈관, 조직, 장기 중 하나 이상을 포함하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
6. The method of claim 5,
Wherein the predetermined restriction region includes at least one of blood vessels, tissues, and organs of the subject's surgeon.
제 5 항에 있어서,
상기 수술 도구 영역이 상기 기 설정된 소정의 제한 영역과 소정의 거리 이내로 근접하는지 여부 또는, 상기 수술 도구 영역이 상기 기 설정된 소정의 제한 영역과 접촉하는지 여부 또는, 상기 수술 도구 영역이 상기 기 설정된 소정의 제한 영역 내부로 인입되는지 여부가 판단되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
6. The method of claim 5,
Whether the surgical tool region is within a predetermined distance from the preset predetermined restriction region or whether the surgical tool region is in contact with the preset predetermined restriction region or whether the surgical tool region is in contact with the predetermined predetermined region Wherein the control unit determines whether or not the robot enters the restricted area.
제 2 항에 있어서,
상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계는,
시각 또는 청각 정보 등을 통한 알람(alarm) 메시지가 발산되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
3. The method of claim 2,
Wherein the predetermined operation corresponding to the determined surgical condition is performed,
And an alarm message is emitted through the visual or auditory information.
제 2 항에 있어서,
상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계는,
사용자 조작부의 조작에 대해, 상기 수술 도구에서 감지된 반력을 일정 정도 변형 또는 증강시킨 소정의 반력을 가하는 포스 피드백(force feedback) 기능이 수행되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
3. The method of claim 2,
Wherein the predetermined operation corresponding to the determined surgical condition is performed,
Wherein a force feedback function for applying a predetermined reaction force to deform or increase the reaction force detected by the surgical tool to a certain degree is performed for the operation of the user's operation unit.
복강경에 구비된 카메라를 통해 촬영된 복강경 영상으로부터, 상기 복강경 영상의 픽셀 정보를 표현하는 RGB 값 또는 HSV 값 중 적어도 하나를 포함하는 이미지 정보가 생성되는 단계;
상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계;
상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계; 및
상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계;를 포함하고,
상기 관심 영역은 상기 복강경 영상 내에서 출혈이 발생한 출혈 영역인 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
Generating image information including at least one of an RGB value or an HSV value representing pixel information of the laparoscopic image from a laparoscopic image captured through a camera provided in the laparoscope;
Extracting a region of interest in the laparoscopic image from the generated image information;
Determining a current surgical situation from a change in the extracted region of interest over time; And
And performing a predetermined operation corresponding to the determined surgical condition,
Wherein the region of interest is a bleeding region in which bleeding occurs in the laparoscopic image.
제 10 항에 있어서,
상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계는,
상기 이미지 정보에 대해 히스토그램 평탄화가 수행되는 단계; 및
상기 히스토그램 평탄화가 수행된 이미지 정보에 Mutually inclusive RGB thresholding이 수행되는 단계;를 포함하는 수술 로봇 시스템의 제어 방법.
11. The method of claim 10,
Extracting a region of interest in the laparoscopic image from the generated image information,
Performing histogram smoothing on the image information; And
And performing mutually inclusive RGB thresholding on the image information on which the histogram smoothing is performed.
삭제delete 삭제delete 삭제delete 제 10 항에 있어서,
상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계는,
상기 출혈 영역이 새롭게 추출되었는지 여부, 또는 상기 추출된 출혈 영역의 면적이 증가 또는 감소하는지 여부, 또는 상기 출혈 영역이 소멸되었는지 여부가 판단되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
11. The method of claim 10,
Wherein the current operation state is determined from the change of the extracted ROI according to the flow of time,
Wherein it is determined whether or not the bleeding area is newly extracted, whether the area of the extracted bleeding area is increased or decreased, or whether the bleeding area is extinguished.
제 10 항에 있어서,
상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계는,
어느 한 시점의 제1 영상에서 추출한 제1 영역을 다른 시점의 제2 영상의 다수 개의 영역과 차례로 비교하여, 두 대상 간의 픽셀 값의 차이가 제일 작은 위치를 찾는 템플릿 매칭(template matching)에 의해 수행되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
11. The method of claim 10,
Wherein the current operation state is determined from the change of the extracted ROI according to the flow of time,
A first region extracted from a first image at a certain point of time is sequentially compared with a plurality of regions of a second image at another point of view to perform template matching to find a position having a smallest difference in pixel values between two objects Wherein the control unit controls the operation of the surgical robot.
제 10 항에 있어서,
상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계는,
서브(Sub) 칼만 필터에서 사용되는 센서 자체의 값들의 노이즈를 제거하고, 출력된 여러 센서의 위치에 또다시 메인(Main) 칼만 필터를 적용한 연합형 칼만 필터(Federated Kalman filter)를 적용하여 수행되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
11. The method of claim 10,
Wherein the current operation state is determined from the change of the extracted ROI according to the flow of time,
This is performed by applying a federated Kalman filter which removes the noise of the values of the sensor itself used in the sub Kalman filter and applies a main Kalman filter to the positions of the outputted sensors Wherein the control unit controls the operation of the surgical robot system.
제 10 항에 있어서,
상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계는,
시각 또는 청각 정보 등을 통한 알람(alarm) 메시지가 발산되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
11. The method of claim 10,
Wherein the predetermined operation corresponding to the determined surgical condition is performed,
And an alarm message is emitted through the visual or auditory information.
복강경에 구비된 카메라를 통해 촬영된 복강경 영상으로부터, 상기 복강경 영상의 픽셀 정보를 표현하는 RGB 값 또는 HSV 값 중 적어도 하나를 포함하는 이미지 정보가 생성되는 단계;
상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계;
상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계; 및
상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계;를 포함하고,
상기 관심 영역은 상기 복강경 영상 내에서 연기(smoke)가 발생한 연기 발생 영역인 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
Generating image information including at least one of an RGB value or an HSV value representing pixel information of the laparoscopic image from a laparoscopic image captured through a camera provided in the laparoscope;
Extracting a region of interest in the laparoscopic image from the generated image information;
Determining a current surgical situation from a change in the extracted region of interest over time; And
And performing a predetermined operation corresponding to the determined surgical condition,
Wherein the region of interest is a smoke generation region where smoke has occurred in the laparoscopic image.
제 19 항에 있어서,
상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역이 추출되는 단계는,
RGB 이미지 정보를 HSV 이미지 정보로 변환하는 단계;
상기 HSV 이미지 정보의 H 히스토그램 분석을 통해 연기 발생 상황 여부가 판단되는 단계;
상기 HSV 이미지 정보의 S 히스토그램 분석을 통해 연기 발생 상황 여부가 판단되는 단계; 및
상기 H 히스토그램 분석과 상기 S 히스토그램 분석 결과를 조합하여 연기 발생 상황 여부가 최종적으로 판단되는 단계;를 포함하는 수술 로봇 시스템의 제어 방법.
20. The method of claim 19,
Extracting a region of interest in the laparoscopic image from the generated image information,
Converting RGB image information into HSV image information;
Determining whether or not a smoke is generated through H histogram analysis of the HSV image information;
Determining whether or not the smoke is generated through S histogram analysis of the HSV image information; And
And finally determining whether or not the smoke occurrence state is obtained by combining the H histogram analysis and the S histogram analysis result.
삭제delete 삭제delete 삭제delete 제 19 항에 있어서,
상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황이 판단되는 단계는,
상기 연기 발생이 시작되었는지 여부, 또는 연기 발생이 지속 되는지 여부, 또는 연기가 소멸 되었는지 여부가 판단되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
20. The method of claim 19,
Wherein the current operation state is determined from the change of the extracted ROI according to the flow of time,
Wherein it is determined whether or not the generation of the smoke is started, whether or not the generation of the smoke is continued, or whether the smoke is extinguished.
제 19 항에 있어서,
상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계는,
시각 또는 청각 정보 등을 통한 알람(alarm) 메시지가 발산되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
20. The method of claim 19,
Wherein the predetermined operation corresponding to the determined surgical condition is performed,
And an alarm message is emitted through the visual or auditory information.
제 19 항에 있어서,
상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되는 단계는,
가스 배출을 위한 제어 신호가 발생되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
20. The method of claim 19,
Wherein the predetermined operation corresponding to the determined surgical condition is performed,
And a control signal for gas discharge is generated.
삭제delete 삭제delete 삭제delete 제 2 항 내지 제 11항, 제 15 항 내지 제 20 항, 제 24 항 내지 제 26 항 중 어느 하나에 기재된 수술 로봇 시스템의 제어 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체.A program of instructions executable by a digital processing apparatus to perform a method of controlling a surgical robotic system according to any one of claims 2 to 11, 15 to 20, 24 to 26, A recording medium on which a program that is tangibly embodied and which can be read by a digital processing apparatus is recorded. 수술 부위를 조영하는 수술용 내시경; 및
다자유도를 가지며 구동하는 로봇 암;을 포함하는 슬레이브 로봇과,
상기 수술용 내시경을 통해 촬영되는 영상을 디스플레이하는 디스플레이 부재; 및
상기 수술용 내시경을 통해 촬영되는 복강경 영상으로부터 상기 복강경 영상의 픽셀 정보를 표현하는 RGB 값 또는 HSV 값 중 적어도 하나를 포함하는 이미지 정보를 생성하고, 상기 생성된 이미지 정보로부터 상기 복강경 영상 내에서의 관심 영역을 추출하고, 상기 추출된 관심 영역의 시간의 흐름에 따른 변화로부터 현재의 수술 상황을 판단하고, 상기 판단된 수술 상황에 대응하는 소정의 동작이 수행되도록 제어하는 수술상황 판단부;를 포함하는 마스터 로봇을 포함하고,
상기 관심 영역은 상기 복강경 영상 내에서 수술 도구가 위치하는 수술 도구 영역, 상기 복강경 영상 내에서 출혈이 발생한 출혈 영역 및 상기 복강경 영상 내에서 연기(smoke)가 발생한 연기 발생 영역 중 적어도 하나인 것을 특징으로 하는 수술 로봇 시스템.
A surgical endoscope for imaging a surgical site; And
A slave robot including a robot arm driving with multiple degrees of freedom,
A display member for displaying an image taken through the surgical endoscope; And
Generating image information including at least one of an RGB value or an HSV value representing pixel information of the laparoscopic image from the laparoscopic image taken through the surgical endoscope, extracting, from the generated image information, interest in the laparoscopic image And a surgical condition determining unit for determining a current operation state from the change of the extracted interest area over time and controlling a predetermined operation corresponding to the determined operation state to be performed, Including a master robot,
Wherein the region of interest is at least one of a surgical tool region in which the surgical tool is located in the laparoscopic image, a bleeding region in which bleeding occurs in the laparoscopic image, and a smoke generation region in which smoke occurs in the laparoscopic image, A surgical robot system.
KR1020110044676A 2011-05-12 2011-05-12 Control method of surgical robot system, recording medium thereof, and surgical robot system KR101795720B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110044676A KR101795720B1 (en) 2011-05-12 2011-05-12 Control method of surgical robot system, recording medium thereof, and surgical robot system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110044676A KR101795720B1 (en) 2011-05-12 2011-05-12 Control method of surgical robot system, recording medium thereof, and surgical robot system

Publications (2)

Publication Number Publication Date
KR20120126679A KR20120126679A (en) 2012-11-21
KR101795720B1 true KR101795720B1 (en) 2017-11-09

Family

ID=47511957

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110044676A KR101795720B1 (en) 2011-05-12 2011-05-12 Control method of surgical robot system, recording medium thereof, and surgical robot system

Country Status (1)

Country Link
KR (1) KR101795720B1 (en)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102117270B1 (en) * 2013-03-06 2020-06-01 삼성전자주식회사 Surgical robot system and method for controlling the same
KR20220010765A (en) 2013-03-14 2022-01-26 씽크 써지컬, 인크. Systems and methods for monitoring a surgical procedure with critical regions
KR101385743B1 (en) * 2013-07-08 2014-04-18 주식회사 엠디텍 Surgical video real-time visual noise removal device, method and system
US9805472B2 (en) * 2015-02-18 2017-10-31 Sony Corporation System and method for smoke detection during anatomical surgery
KR20160118037A (en) * 2015-04-01 2016-10-11 고려대학교 산학협력단 Apparatus and method for detecting lesion from medical image automatically
KR101862360B1 (en) * 2017-12-28 2018-06-29 (주)휴톰 Program and method for providing feedback about result of surgery
KR102276862B1 (en) * 2018-03-06 2021-07-13 (주)휴톰 Method, apparatus and program for controlling surgical image play
KR101864411B1 (en) * 2017-12-28 2018-06-04 (주)휴톰 Program and method for displaying surgical assist image
KR101880246B1 (en) * 2017-12-28 2018-07-19 (주)휴톰 Method, apparatus and program for controlling surgical image play
WO2019164278A1 (en) * 2018-02-20 2019-08-29 (주)휴톰 Method and device for providing surgical information using surgical image
WO2019164276A1 (en) * 2018-02-20 2019-08-29 (주)휴톰 Method and device for recognizing surgical movement
WO2019164279A1 (en) * 2018-02-20 2019-08-29 (주)휴톰 Method and apparatus for evaluating recognition level of surgical image
KR102014385B1 (en) * 2018-02-20 2019-08-26 (주)휴톰 Method and apparatus for learning surgical image and recognizing surgical action based on learning
KR102146672B1 (en) * 2018-05-23 2020-08-21 (주)휴톰 Program and method for providing feedback about result of surgery
KR102008891B1 (en) * 2018-05-29 2019-10-23 (주)휴톰 Apparatus, program and method for displaying surgical assist image
KR102321157B1 (en) * 2020-04-10 2021-11-04 (주)휴톰 Method and system for analysing phases of surgical procedure after surgery

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2986403B2 (en) * 1996-03-18 1999-12-06 鐘紡株式会社 Patient monitoring device in hospital room
JP3145342B2 (en) 1997-10-09 2001-03-12 マルチメディアシステム事業協同組合 Processing device for medical image data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2986403B2 (en) * 1996-03-18 1999-12-06 鐘紡株式会社 Patient monitoring device in hospital room
JP3145342B2 (en) 1997-10-09 2001-03-12 マルチメディアシステム事業協同組合 Processing device for medical image data

Also Published As

Publication number Publication date
KR20120126679A (en) 2012-11-21

Similar Documents

Publication Publication Date Title
KR101795720B1 (en) Control method of surgical robot system, recording medium thereof, and surgical robot system
US8502861B2 (en) Image display apparatus
KR101598774B1 (en) Apparatus and Method for processing surgical image
EP3937823A1 (en) Robotic surgical systems with mechanisms for scaling surgical tool motion according to tissue proximity
JP2012024509A (en) Image processor, method, and program
US20210287395A1 (en) Information processing system, endoscope system, information storage medium, and information processing method
US20140316252A1 (en) Marker and method of estimating surgical instrument pose using the same
US20200177806A1 (en) Reducing smoke occlusion in images from surgical systems
KR101114232B1 (en) Surgical robot system and motion restriction control method thereof
Agustinos et al. 2D/3D real-time tracking of surgical instruments based on endoscopic image processing
WO2020012872A1 (en) Medical image processing device, medical image processing system, medical image processing method, and program
US9349048B2 (en) Method of tracking moving object, method of determining display state of moving object, and control apparatus for tracking moving object
US20220095903A1 (en) Augmented medical vision systems and methods
US20200113635A1 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
JP6840263B2 (en) Endoscope system and program
KR101683057B1 (en) Surgical robot system and motion restriction control method thereof
KR101715026B1 (en) Surgical robot system and motion restriction control method thereof
WO2010035517A1 (en) Medical image processing apparatus and program
WO2020183770A1 (en) Medical image processing device, processor device, endoscopic system, medical image processing method, and program
KR20110059828A (en) Apparatus and method for processing surgical image
US20210295980A1 (en) Medical image processing apparatus, trocar, medical observation system, image processing method, and computer readable recording medium
US20220117662A1 (en) Systems and methods for facilitating insertion of a surgical instrument into a surgical space
US20220148209A1 (en) Medical system, signal processing device, and signal processing method
JP5148096B2 (en) Medical image processing apparatus and method of operating medical image processing apparatus
Vasilkovski Real-time solution for long-term tracking of soft tissue deformations in surgical robots

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant