KR20150126579A - Surgical robot system and laparoscope handling method thereof - Google Patents
Surgical robot system and laparoscope handling method thereof Download PDFInfo
- Publication number
- KR20150126579A KR20150126579A KR1020150149046A KR20150149046A KR20150126579A KR 20150126579 A KR20150126579 A KR 20150126579A KR 1020150149046 A KR1020150149046 A KR 1020150149046A KR 20150149046 A KR20150149046 A KR 20150149046A KR 20150126579 A KR20150126579 A KR 20150126579A
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- image
- face
- vision
- laparoscope
- Prior art date
Links
Images
Classifications
-
- A61B19/2203—
-
- A61B19/5212—
-
- A61B19/5225—
-
- A61B2019/223—
-
- A61B2019/2249—
-
- A61B2019/2276—
-
- A61B2019/5244—
-
- A61B2019/5246—
-
- A61B2019/5255—
-
- A61B2019/5257—
-
- A61B2019/5274—
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Robotics (AREA)
- Endoscopes (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Gynecology & Obstetrics (AREA)
- Radiology & Medical Imaging (AREA)
Abstract
Description
본 발명은 수술에 관한 것으로서, 더욱 상세하게는 수술 로봇 시스템 및 그 복강경 조작 방법에 관한 것이다.The present invention relates to surgery, and more particularly, to a surgical robot system and a laparoscopic manipulation method thereof.
수술 로봇은 의사에 의해 시행되던 수술 행위를 대신할 수 있는 기능을 가지는 로봇을 말한다. 이러한 수술 로봇은 사람에 비하여 정확하고 정밀한 동작을 할 수 있으며 원격 수술이 가능하다는 장점을 가진다.A surgical robot is a robot having a function to substitute a surgical operation performed by a doctor. Such a surgical robot has an advantage that it can perform accurate and precise operation compared to a human and can perform a remote operation.
현재 전세계적으로 개발되고 있는 수술 로봇은 뼈 수술 로봇, 복강경(復腔鏡) 수술 로봇, 정위 수술 로봇 등이 있다. 여기서 복강경 수술 로봇은 복강경과 소형 수술도구를 이용하여 최소 침습적 수술을 시행하는 로봇이다.Surgical robots currently being developed around the world include bone surgery robots, laparoscopic surgery robots, and stereotactic robots. Here, a laparoscopic surgical robot is a robot that performs minimally invasive surgery using laparoscopic and small surgical instruments.
복강경 수술은 배꼽 부위에 1cm 정도의 구멍을 뚫고 배 안을 들여다보기 위한 내시경인 복강경을 집어넣은 후 수술하는 첨단 수술기법으로서 향후 많은 발전이 기대되는 분야이다.Laparoscopic surgery is an advanced surgical technique that inserts a laparoscope, which is an endoscope for inserting a 1 cm hole in the umbilicus and looks into the abdomen.
최근의 복강경은 컴퓨터칩이 장착되어 육안으로 보는 것보다도 더 선명하면서도 확대된 영상을 얻을 수 있으며, 또 모니터를 통해 화면을 보면서 특별히 고안된 복강경용 수술 기구들을 사용하면 어떠한 수술도 가능할 정도로 발전되었다.A recent laparoscope is equipped with a computer chip that provides a sharper, larger image than what the naked eye can see, and the laparoscopic surgical instruments specially designed for viewing through the monitor have been developed to allow any surgery.
더욱이 복강경 수술은 그 수술 범위가 개복 수술과 거의 같으면서도, 개복수술에 비해 합병증이 적고, 시술 후 훨씬 빠른 시간 안에 치료를 시작할 수 있으며, 수술 환자의 체력이나 면역기능을 유지시키는 능력이 우수한 이점이 있다. 이로 인해 미국과 유럽 등지에서는 대장암 치료 등에 있어서는 복강경 수술이 점차 표준 수술로 인식되어 가는 추세이다.In addition, laparoscopic surgery is similar to laparotomy, but it has fewer complications than laparotomy, can start treatment within a short time after surgery, and has the advantage of maintaining the patient's physical strength and immune function have. Therefore, in the United States and Europe, laparoscopic surgery is becoming increasingly recognized as a standard surgery for colorectal cancer treatment and the like.
수술 로봇 시스템은 일반적으로 마스터 로봇과 슬레이브 로봇으로 구성된다. 수술자가 마스터 로봇에 구비된 조종기(예를 들어 핸들)를 조작하면, 슬레이브 로봇의 로봇 암에 결합되거나 로봇 암이 파지하고 있는 수술도구가 조작되어 수술이 수행된다.Surgical robot systems generally consist of a master robot and a slave robot. When the operator manipulates a manipulator (e.g., a handle) provided in the master robot, the surgical tool held by the robot arm is operated by being coupled to the robot arm of the slave robot.
그러나 종래의 수술 로봇 시스템은 수술자가 수술 부위에 대한 영상을 얻기 위해서는 복강경을 원하는 위치로 이동하거나 영상 입력 각도를 조절하기 위한 별도의 사용자 조작을 요구한다. 즉, 수술자는 수술 과정 중에 손 또는 발을 이용하여 별도로 복강경의 제어를 위한 조작을 입력하여야 한다.However, in the conventional surgical robot system, in order to obtain the image of the surgical site, the operator needs to move the laparoscope to a desired position or manipulate the image input angle separately. That is, the operator must input manipulation for controlling the laparoscope separately using the hand or foot during the operation.
그러나 이는 고도한 수준의 집중력을 유지하여야 하는 수술 진행 과정에서 수술자의 집중력을 약화시키는 원인이 될 수 있으며, 집중력의 약화에 따른 불완전한 수술은 수술 환자에게 심각한 후유증을 야기할 수 있는 문제점도 있다.However, this may cause the concentration of the operator to be weakened in the course of the surgery, which requires maintenance of a high level of concentration, and incomplete surgery due to the weakening of the concentration may cause serious aftereffects in the operation patients.
본 발명은 수술자가 원하는 수술 부위를 보고자 하는 행위만으로 복강경의 위치 및 영상 입력 각도가 제어되도록 할 수 있는 수술 로봇 시스템 및 그 복강경 조작 방법을 제공하기 위한 것이다.The present invention provides a surgical robot system and a laparoscopic manipulation method that can control a position and an image input angle of a laparoscope only by an act of seeing a desired surgical site by an operator.
또한 본 발명은 복강경의 조작을 위한 수술자의 별도의 조작이 불필요하여 수술자는 수술 행위에만 집중할 수 있도록 하는 수술 로봇 시스템 및 그 복강경 조작 방법을 제공하기 위한 것이다.Further, the present invention provides a surgical robot system and a laparoscopic manipulation method thereof, in which a surgeon can concentrate only on a surgical operation, since no additional manipulation of a surgeon is required for operation of the laparoscope.
또한, 본 발명은 안면 인식을 이용한 기기 조작 방법에 관한 학습이 필요하지 않고 직관적으로 조작 방법이 이해될 수 있도록 하는 수술 로봇 시스템 및 그 복강경 조작 방법을 제공하기 위한 것이다.In addition, the present invention provides a surgical robot system and its laparoscopic manipulation method that enable an intuitive operation method to be understood without requiring learning about a device manipulation method using facial recognition.
또한, 본 발명은 팔을 사용하지 않고 3차원 공간상에서의 얼굴 움직임만으로 다양한 방식으로 내시경 장치의 제어가 가능한 수술 로봇 시스템 및 그 복강경 조작 방법을 제공하기 위한 것이다.The present invention also provides a surgical robot system and its laparoscopic manipulation method that can control an endoscope apparatus in various ways only by moving a face in a three-dimensional space without using an arm.
본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
The technical problems other than the present invention can be easily understood from the following description.
본 발명의 일 측면에 따르면, 조작신호를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하는 수술용 로봇으로서, 접촉된 수술자 얼굴의 움직임 방향 및 크기에 상응하는 방향 및 크기로 유동(遊動)되는 접면부와, 접면부가 유동되는 방향 및 크기에 상응하는 센싱 정보를 출력하는 움직임 감지부와, 센싱 정보를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상에 대한 조작명령을 생성하여 출력하는 조작 명령 생성부를 포함하는 수술용 로봇이 제공된다.According to an aspect of the present invention, there is provided a surgical robot for controlling at least one of a position of a vision unit and an image input angle using an operation signal, the robot including: And a control unit for generating and outputting an operation command for at least one of a position and an image input angle of the vision unit using the sensing information, There is provided a surgical robot including an operation command generating section.
조작명령이 비젼부의 직선 조작 및 회전 조작 중 하나 이상에 관한 것인 경우, 수술용 로봇의 조작 핸들 방향이 그에 상응하도록 변경 조작될 수 있다.When the manipulation command is related to at least one of the linear operation and the rotation manipulation of the vision, the manipulation handle direction of the surgical robot can be changed and manipulated correspondingly.
접면부는 수술용 로봇의 콘솔(console) 패널의 일부로서 형성될 수 있다.The contact portion may be formed as a part of a console panel of the surgical robot.
수술자 얼굴의 위치를 고정하기 위해 지지부가 접면부의 하나 이상의 개소에 돌출되어 형성될 수 있다.The support portion may be formed protruding from one or more portions of the contact portion to fix the position of the operator's face.
비젼부에 의해 획득된 영상이 시각(視覺) 정보로서 보여지도록 접안부가 접면부에 천공될 수 있다.The eyepiece portion may be perforated on the contact portion so that the image obtained by the vision portion is viewed as sight information.
비젼부에 의해 획득된 영상이 시각(視覺) 정보로서 보여지도록 접면부는 빛이 투과되는 재질의 재료로 형성될 수 있다.The contact portion may be formed of a material through which light is transmitted so that the image obtained by the vision portion is viewed as vision information.
수술용 로봇은, 접면부 또는 지지부에 수술자 얼굴이 접촉되었는지 여부를 감지하는 접촉 감지부와, 접촉 감지부의 감지에 의해 접촉 해제가 인식되면, 접면부가 디폴트(default)로 지정된 위치 및 상태인 기준 상태로 복귀되도록 처리하는 원상태 복원부를 더 포함할 수 있다.The surgical robot includes a contact sensing part for sensing whether the operator's face is in contact with the contact part or the support part; and a control part for sensing a contact state of the contact part, So as to return to the original state restoring unit.
원상태 복원부는 센싱 정보에 따른 접면부 유동 방향 및 크기의 역 조작으로서 접면부가 기준 상태로 복귀되도록 처리할 수 있다.The original state restoring unit can perform processing to return the contact portion to the reference state as a reverse operation of the flow direction and magnitude of the contact portion according to the sensing information.
수술용 로봇은, 순차적으로 생성된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 아이트래커부를 더 포함할 수 있다. 또한, 수술용 로봇의 내측에서 접면부를 향해 촬상하여 이미지 데이터를 생성하는 카메라부와, 생성된 이미지 데이터를 저장하는 저장부가 더 포함될 수도 있다.The surgical robot may further include an eye tracker unit for generating analysis information in which at least one of a position change of the pupil, a change of the eye shape, and a viewing direction is compared by sequentially comparing the generated image data in chronological order. In addition, the robot may further include a camera unit for imaging the inside of the surgical robot toward the contact surface to generate image data, and a storage unit for storing the generated image data.
조작 명령 생성부는 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하고, 만족하는 경우 상응하는 조작명령을 출력할 수 있다.The operation command generation unit may determine whether the analysis information satisfies a preset change as an arbitrary operation command, and output the corresponding operation command if satisfied.
비젼부는 현미경, 내시경 중 어느 하나일 수 있고, 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.The vision may be either a microscope or an endoscope, and the endoscope may be at least one of a laparoscope, a thoracoscopic, an arthroscope, a nystagmus, a bladder, a rectum, a duodenal, a mediastinum, or a heart.
접면부는 탄성체에 의해 지지되도록 콘솔 패널의 전면에 형성되고, 탄성체는 접면부의 움직임을 위한 외력이 제거되면 접면부가 원위치로 복귀되도록 복원력을 제공할 수 있다.
The contact portion is formed on the front surface of the console panel so as to be supported by the elastic body, and the elastic body can provide the restoring force such that the contact portion is returned to the original position when the external force for moving the contact portion is removed.
본 발명의 다른 측면에 따르면, 조작신호를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하는 수술용 로봇으로서, 비젼부에 의해 획득된 영상을 시각(視覺) 정보로 제공하기 위한 접안부와, 접안부를 통해 보여지는 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 아이트래커부와, 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하고, 만족하는 경우 비젼부를 조작하기 위한 조작명령을 출력하는 조작 명령 생성부를 포함하는 수술용 로봇이 제공된다.According to another aspect of the present invention, there is provided a surgical robot for controlling at least one of a position and an image input angle of a vision unit using an operation signal, the robot comprising: an eyepiece unit for providing an image acquired by a vision unit as vision information; Eye tracker unit for generating analysis information by analyzing at least one of a position change of a pupil viewed through an eyepiece, a change of an eye shape, and a viewing direction; and an eye tracking unit for determining whether the analysis information satisfies a preset change as an arbitrary manipulation command And outputting an operation command for operating the vision unit when the operation command is satisfied.
아이트래커부는, 수술용 로봇의 내측에서 접안부를 향해 촬상하여 이미지 데이터를 생성하는 카메라 유닛과, 생성된 이미지 데이터를 저장하는 저장 유닛과, 순차적으로 생성된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 아이트래커 유닛을 포함할 수 있다.The eye tracker unit includes a camera unit for imaging the inside of the surgical robot toward the eyepiece unit to generate image data, a storage unit for storing the generated image data, and a controller for comparing the image data sequentially generated in chronological order, An eye tracker unit that generates analysis information that interprets at least one of a change, an eye shape change, and a viewing direction.
접안부는 수술용 로봇의 콘솔(console) 패널의 일부로서 형성된 접면부에 천공될 수 있다.
The eyepiece can be drilled in a contact surface formed as part of the console panel of the surgical robot.
본 발명의 또 다른 측면에 다르면, 조작신호를 이용하여 비젼부를 제어하는 수술용 로봇으로서, 피사체를 촬상하여 이미지 데이터를 생성하는 촬상부와, 이미지 데이터에 포함된 얼굴에서 양안(兩眼)의 중심점을 연장한 직선과 화면 중심선이 이루는 내각의 크기 및 회전 방향을 해석하고, 이전에 촬영된 이미지 데이터에 대해 해석된 내각의 크기 및 회전 방향을 비교하여 얼굴의 회전 방향 및 회전 각도에 관한 변위량 정보를 생성하는 각도 및 거리 산출부와, 변위량 정보에 상응하여 비젼부가 조작되도록 하기 위한 조작 명령을 생성하여 출력하는 조작 명령 생성부를 포함하는 수술용 로봇이 제공된다.According to another aspect of the present invention, there is provided a surgical robot for controlling a vision unit using an operation signal, comprising: an imaging unit for imaging an object to generate image data; The size and rotation direction of the internal angle formed by the straight line extending from the center line and the center line of the screen are analyzed and the displacement amount information about the rotation direction and the rotation angle of the face is compared with the size and rotation direction of the analyzed internal angle with respect to the previously captured image data And an operation command generation unit for generating and outputting an operation command for causing the vision unit to operate in accordance with the displacement amount information.
각도 및 거리 산출부는 이전에 촬영된 이미지 데이터에서 해석된 상기 얼굴 내의 기준점과 이미지 데이터에서 해석된 얼굴 내의 기준점간의 거리 정보를 더 산출하되, 산출된 거리 정보는 비젼부의 평행 이동 조작을 위해 변위량 정보에 포함될 수 있다.The angle and distance calculating unit further calculates distance information between a reference point in the face and a reference point in the face analyzed in the image data, which is analyzed in the previously captured image data, and the calculated distance information is used as displacement amount information for the parallel movement operation of the vision unit .
각도 및 거리 산출부는 이전에 촬영된 이미지 데이터에서 해석된 얼굴 내 양안의 간격과 이미지 데이터에서 해석된 얼굴 내 양안의 간격 간의 변화량을 더 산출하되, 양안의 간격간의 변화량은 비젼부의 영상 배율 조절을 위해 변위량 정보에 포함될 수 있다.The angle and distance calculator further calculates the amount of change between the binocular interval in the face interpreted in the previously captured image data and the binocular interval in the face interpreted in the image data while the amount of change between binocular intervals is used to adjust the image magnification of the vision unit May be included in the displacement amount information.
비젼부는 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.Vision can be at least one of laparoscopic, thoracoscopic, arthroscopic, non-excisional, cystoscopic, rectal, duodenal, mediastinal, and cardiac.
비젼부는 3차원 영상 획득을 위한 장치일 수 있으며, 얼굴, 눈의 위치에 따라 3차원 영상 처리를 위한 좌/우 영상이 겹치는 정도가 조절될 수 있다.The vision unit may be a device for acquiring three-dimensional images, and the degree of overlapping of the left / right images for three-dimensional image processing may be adjusted according to the positions of the face and the eyes.
수술용 로봇은 인증된 사용자의 사진 이미지를 저장하는 저장부와, 이미지 데이터에 포함된 얼굴의 특징 요소와 사진 이미지에 포함된 얼굴의 특징 요소간의 유사도를 산출하고, 산출된 유사도가 미리 지정된 값 이상인 경우에만 조작 명령을 생성하여 출력하도록 조작 명령 생성부를 제어하는 판단부를 더 포함할 수 있다. 여기서, 얼굴의 특징 요소는 구성 부위의 위치 및 모양, 눈동자 색상, 얼굴의 모양, 피부 색상, 피부 주름의 형태, 홍채 중 하나 이상일 수 있고, 구성 부위는 눈, 눈썹, 코 및 입 중 하나 이상일 수 있다.The robot includes a storage unit for storing a photographic image of an authenticated user, a similarity calculation unit for calculating a similarity between the feature elements of the face included in the image data and the feature elements of the face included in the photographic image, And a control unit for controlling the operation command generating unit to generate and output an operation command only when the operation command is generated. Here, the feature element of the face may be at least one of the position and shape of the constituent part, the shape of the pupil, the shape of the face, the color of the skin, the shape of the wrinkles of the skin and the iris, and the constituent part may be at least one of eye, eyebrow, have.
수술용 로봇은, 얼굴 모습이 위치되어야 하는 영역 정보 및 이미지 데이터에 포함되는 얼굴 크기의 기준값 중 하나 이상인 유효 사용자 정보를 저장하는 저장부와, 이미지 데이터에 포함된 얼굴이 유효 사용자 정보를 만족하는지 여부를 판단하여 만족하는 경우에만 조작 명령을 생성하여 출력하도록 조작 명령 생성부를 제어하는 판단부를 더 포함할 수 있다.The surgical robot includes a storage unit for storing valid user information that is at least one of a region information of a face shape and a reference value of a face size included in the image data; and a determination unit determining whether or not the face included in the image data satisfies effective user information And controlling the operation command generation unit to generate and output an operation command only when the operation command is satisfied.
수술용 로봇은 이미지 데이터에 포함된 얼굴 움직임 상태가 일정 시간 이상 유지되는지 여부를 판단하여, 일정 시간 이상 얼굴 움직임 상태가 유지되는 경우에만 조작 명령을 생성하여 출력하도록 조작 명령 생성부를 제어하는 판단부를 더 포함할 수 있다.The surgical robot determines whether or not the face movement state included in the image data is maintained for a predetermined time or longer and controls the operation command generation unit to generate and output an operation command only when the face movement state is maintained for a predetermined time or longer .
수술용 로봇은 이미지 데이터에 포함된 얼굴 움직임 정도가 미리 설정된 범위를 초과하는지 여부를 판단하여, 미리 설정된 범위를 초과하는 경우에만 조작 명령을 생성하여 출력하도록 조작 명령 생성부를 제어하는 판단부를 더 포함할 수 있다.The surgical robot further includes a determination unit for determining whether or not the degree of facial motion included in the image data exceeds a predetermined range and controlling the operation command generation unit to generate and output an operation command only when the degree exceeds a preset range .
수술용 로봇은, 머리의 움직임 및 얼굴 표정 중 하나 이상의 변화에 대해 생성될 조작 명령 정보를 저장하는 저장부와, 복수의 이미지 데이터를 해석하여 얼굴 표정 및 머리 움직임 중 하나 이상의 변화 정보를 생성하고 상응하는 조작 명령 정보에 따른 조작 명령을 생성하여 출력하도록 조작 명령 생성부를 제어하는 판단부를 더 포함할 수 있다.
The surgical robot includes a storage unit for storing operation command information to be generated for at least one of a movement of a head and a facial expression, a generation unit for generating at least one of change information of a facial expression and a head movement by analyzing a plurality of image data, And a control unit for controlling the operation command generation unit to generate and output an operation command according to the operation command information.
본 발명의 다른 측면에 따르면, 수술용 로봇이 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하기 위한 조작 방법으로서, 접면부가 유동(遊動)되는 방향 및 크기에 상응하는 센싱 정보를 출력하는 단계와, 센싱 정보를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상에 대한 조작명령을 생성하여 출력하는 단계를 포함하되, 접면부는 수술용 로봇의 콘솔 패널의 일부로서 형성되고, 접촉된 수술자 얼굴의 움직임 방향 및 크기에 상응하는 방향 및 크기로 유동되도록 형성되는 것을 특징으로 하는 비젼부 조작 방법이 제공된다.According to another aspect of the present invention, there is provided a method of operating a surgical robot for controlling at least one of a position and an image input angle of a vision unit, comprising the steps of: outputting sensing information corresponding to a direction and a size at which a contact surface moves; And generating and outputting an operation command for at least one of a position of the vision unit and an image input angle using the sensing information, wherein the contact unit is formed as a part of a console panel of the surgical robot, And is formed to flow in a direction and a size corresponding to the movement direction and the magnitude of the movement.
비젼부 조작 방법은, 접면부에 수술자 얼굴이 접촉된 상태인지 여부를 판단하는 단계와, 접촉된 상태인 경우, 센싱 정보의 출력이 개시되도록 제어하는 단계를 더 포함할 수 있다.The vision unit manipulation method may further include a step of determining whether or not the face of the operator is in contact with the contact surface, and a step of controlling the output of the sensing information to be started when the contact surface is in the contacted state.
비젼부 조작 방법은, 접촉이 해제된 상태인 경우, 접면부가 디폴트(default)로 지정된 위치 및 상태인 기준 상태로 존재하는지 여부를 판단하는 단계와, 기준 상태로 존재하지 않는 경우, 기준 상태로 복귀되도록 처리하는 단계를 더 포함할 수 있다.The method according to
기준 상태로의 복귀는, 센싱 정보에 따른 접면부 유동 방향 및 크기의 역 조작에 의해 수행될 수 있다.The return to the reference state can be performed by inverse operation of the contact surface flow direction and size according to the sensing information.
비젼부 조작 방법은, 수술용 로봇의 내측에서 접면부를 향해 촬상한 이미지 데이터를 생성하여 저장하는 단계와, 저장된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 단계를 더 포함할 수 있다.The vision unit manipulation method comprises the steps of generating and storing image data photographed from the inside of the surgical robot toward the contact surface portion and comparing the stored image data with each other in chronological order to change the position of the pupil, And generating analysis information in which one or more interpretations are interpreted.
비젼부 조작 방법은, 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하는 단계와, 만족하는 경우 상응하도록 미리 설정된 조작명령을 출력하는 단계를 더 포함할 수 있다.The vision part manipulation method may further include a step of judging whether or not the analysis information satisfies a preset change as an arbitrary manipulation command, and outputting a manipulation command preset corresponding to the manipulation command.
접면부는 탄성체에 의해 지지되도록 콘솔 패널의 전면에 형성되고, 탄성체는 접면부의 움직임을 위한 외력이 제거되면 접면부가 원위치로 복귀되도록 복원력을 제공할 수 있다.
The contact portion is formed on the front surface of the console panel so as to be supported by the elastic body, and the elastic body can provide the restoring force such that the contact portion is returned to the original position when the external force for moving the contact portion is removed.
본 발명의 또 다른 측면에 따르면, 조작신호를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하는 수술용 로봇으로서, 비젼부에 의해 획득된 영상을 시각(視覺) 정보로 제공하기 위한 접면부와, 접면부를 통해 보여지는 얼굴의 움직임을 해석한 해석 정보를 생성하는 분석 처리부와, 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하고, 만족하는 경우 비젼부를 조작하기 위한 조작명령을 출력하는 조작 명령 생성부를 포함하는 수술용 로봇이 제공된다.According to still another aspect of the present invention, there is provided a surgical robot for controlling at least one of a position and an image input angle of a vision unit using an operation signal, the robot comprising: a robot for providing an image acquired by a vision unit as vision information; An analysis processing section for generating analysis information by analyzing the movement of the face viewed through the contact section and the face section; and a determination section for determining whether or not the analysis information satisfies a preset change as an arbitrary manipulation command, And a manipulation command generation unit for outputting an manipulation command for manipulation of the robot.
분석 처리부는, 수술용 로봇의 내측에서 상기 접면부를 향해 촬상하여 이미지 데이터를 생성하는 카메라 유닛과, 생성된 이미지 데이터를 저장하는 저장 유닛과, 순차적으로 생성된 이미지 데이터에서 소정의 특징점의 위치 변화를 시간순으로 비교 판단하여 얼굴의 움직임에 대한 해석 정보를 생성하는 분석 유닛을 포함할 수 있다.The analysis processing unit includes a camera unit for imaging the inside of the surgical robot toward the contact surface to generate image data, a storage unit for storing the generated image data, and a storage unit for storing the position change of the predetermined feature point in the sequentially generated image data And then analyzing the motion of the face to generate analysis information on the motion of the face.
접면부는 상기 수술용 로봇의 콘솔(console) 패널의 일부로서 형성될 수 있으며, 비젼부에 의해 획득된 영상이 시각(視覺) 정보로서 보여지도록 접면부는 빛이 투과되는 재질의 재료로 형성될 수 있다.
The contact portion may be formed as a part of a console panel of the surgical robot and the contact portion may be formed of a material through which light is transmitted so that the image obtained by the vision portion is viewed as vision information .
본 발명의 또 다른 측면에 따르면, 수술용 로봇이 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하기 위한 조작 방법으로서, 접안부를 통해 보여지는 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 단계와, 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하는 단계와, 만족하는 경우, 비젼부의 위치 및 영상 입력 각도 중 하나 이상에 대한 조작명령을 생성하여 출력하는 단계를 포함하는 비젼부 조작 방법이 제공된다.According to another aspect of the present invention, there is provided an operating method for controlling at least one of a position and an image input angle of a vision unit of a surgical robot, the method comprising the steps of changing a position of a pupil viewed through an eyepiece, Determining whether or not the analysis information satisfies a preset change as an arbitrary manipulation command; and, if satisfied, controlling the manipulation of at least one of the position and the image input angle of the vision unit Generating a command and outputting the command.
해석 정보를 생성하는 단계는, 수술용 로봇의 내측에서 접안부를 향해 촬상한 이미지 데이터를 생성하여 저장하는 단계와, 저장된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 단계를 포함할 수 있다.
The step of generating analysis information includes the steps of generating and storing image data picked up from the inside of the surgical robot toward the eyepiece section and comparing the stored image data with each other in chronological order to change the pupil position, And generating analysis information that interprets at least one of the analysis information.
본 발명의 또 다른 측면에 따르면, 수술용 로봇이 비젼부를 조작하기 위한 방법으로서, 피사체를 촬상하여 이미지 데이터를 생성하는 단계와, 이미지 데이터에 포함된 얼굴에서 양안(兩眼)의 중심점을 연장한 직선과 화면 중심선이 이루는 내각의 크기 및 회전 방향을 해석하고, 이전에 촬영된 이미지 데이터에 대해 해석된 내각의 크기 및 회전 방향을 비교하여 얼굴의 회전 방향 및 회전 각도에 관한 변위량 정보를 생성하는 단계와, 변위량 정보에 상응하여 비젼부가 조작되도록 하기 위한 조작 명령을 생성하여 출력하는 단계를 포함하는 비젼부 조작 방법이 제공된다.According to another aspect of the present invention, there is provided a method for operating a vision unit of a surgical robot, comprising the steps of: capturing an image of a subject to generate image data; extracting a center point of the two eyes from the face included in the image data; Analyzing the size and rotation direction of the internal angle formed by the straight line and the screen center line and comparing the size and rotation direction of the interpreted internal angle with respect to the previously captured image data to generate displacement amount information about the rotation direction and the rotation angle of the face And generating and outputting an operation command for causing the vision unit to operate in accordance with the displacement amount information.
변위량 정보를 생성하는 단계는, 이전에 촬영된 이미지 데이터에서 해석된 얼굴 내의 기준점과 이미지 데이터에서 해석된 얼굴 내의 기준점간의 거리 정보를 산출하는 단계와, 산출된 거리 정보를 비젼부의 평행 이동 조작을 위해 변위량 정보에 포함시키는 단계를 포함할 수 있다.The step of generating the displacement amount information may include the steps of calculating distance information between a reference point in the face interpreted in the previously photographed image data and a reference point in the face interpreted in the image data and correcting the calculated distance information for the translation operation of the vision part Into the displacement amount information.
변위량 정보를 생성하는 단계는, 이전에 촬영된 이미지 데이터에서 해석된 얼굴 내 양안의 간격과 이미지 데이터에서 해석된 얼굴 내 양안의 간격 간의 변화량을 산출하는 단계와, 양안의 간격간의 변화량을 비젼부의 영상 배율 조절을 위해 변위량 정보에 포함시키는 단계를 포함할 수 있다.The step of generating the displacement amount information may include the steps of calculating a variation amount between the interval between the two eyes in the face analyzed in the previously captured image data and the interval between the two eyes in the face analyzed in the image data, And then included in the displacement amount information for magnification adjustment.
비젼부는 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.Vision can be at least one of laparoscopic, thoracoscopic, arthroscopic, non-excisional, cystoscopic, rectal, duodenal, mediastinal, and cardiac.
비젼부는 3차원 영상 획득을 위한 장치일 수 있으며, 얼굴, 눈의 위치에 따라 3차원 영상 처리를 위한 좌/우 영상이 겹치는 정도가 조절될 수 있다.The vision unit may be a device for acquiring three-dimensional images, and the degree of overlapping of the left / right images for three-dimensional image processing may be adjusted according to the positions of the face and the eyes.
비젼부 조작 방법은, 이미지 데이터에 포함된 얼굴의 특징 요소와 저장부에 미리 저장된 인증된 사용자의 사진 이미지간의 유사도를 산출하는 단계와, 산출된 유사도가 미리 지정된 값 이상인 경우에만 조작 명령을 생성하여 출력하는 단계가 수행되도록 제어하는 단계를 더 포함할 수 있다. 여기서, 얼굴의 특징 요소는 구성 부위의 위치 및 모양, 눈동자 색상, 얼굴의 모양, 피부 색상, 피부 주름의 형태, 홍채 중 하나 이상일 수 있고, 구성 부위는 눈, 눈썹, 코 및 입 중 하나 이상일 수 있다.The vision part manipulation method includes the steps of calculating a degree of similarity between a feature element of a face included in image data and a photograph image of an authenticated user stored in advance in a storage unit and generating an operation command only when the calculated degree of similarity is equal to or greater than a predetermined value And controlling the outputting step to be performed. Here, the feature element of the face may be at least one of the position and shape of the constituent part, the shape of the pupil, the shape of the face, the color of the skin, the shape of the wrinkles of the skin and the iris, and the constituent part may be at least one of eye, eyebrow, have.
비젼부 조작 방법은, 이미지 데이터에 포함된 얼굴이 미리 저장된 유효 사용자 정보를 만족하는지 여부를 판단하는 단계와, 만족하는 경우에만 조작 명령을 생성하여 출력하는 단계가 수행되도록 제어하는 단계를 더 포함할 수 있다. 저장부에는 이미지 데이터 내에서 얼굴 모습이 위치되어야 하는 영역 정보 및 이미지 데이터에 포함되는 얼굴 크기의 기준값 중 하나 이상인 유효 사용자 정보가 미리 저장될 수 있다.The method further comprises the step of judging whether or not the face included in the image data satisfies the previously stored effective user information and the step of generating and outputting the operation command only when it is satisfied . The storage unit may previously store effective user information which is at least one of area information in which face features should be located in the image data and reference values of face sizes included in the image data.
비젼부 조작 방법은, 이미지 데이터에 포함된 얼굴 움직임 상태가 일정 시간 이상 유지되는지 여부를 판단하는 단계와, 일정 시간 이상 얼굴 움직임 상태가 유지되는 경우에만 조작 명령을 생성하여 출력하는 단계가 수행되도록 제어하는 단계를 더 포함할 수 있다.The method of controlling a vision unit includes the steps of: determining whether or not a face movement state included in image data is maintained for a predetermined time or longer; and generating and outputting an operation command only when a face movement state is maintained for a predetermined time or longer The method comprising the steps of:
비젼부 조작 방법은, 이미지 데이터에 포함된 얼굴 움직임 정도가 미리 설정된 범위를 초과하는지 여부를 판단하는 단계와, 미리 설정된 범위를 초과하는 경우에만 조작 명령을 생성하여 출력하는 단계가 수행되도록 제어하는 단계를 더 포함할 수 있다.The method of controlling a vision unit includes the steps of: determining whether or not a degree of facial motion included in image data exceeds a predetermined range; controlling to perform a step of generating and outputting an operation command only when a predetermined range is exceeded As shown in FIG.
비젼부 조작 방법은, 복수의 이미지 데이터를 해석하여 얼굴 표정 및 머리 움직임 중 하나 이상의 변화 정보를 생성하는 단계와, 얼굴 표정 및 머리 움직임 중 하나 이상의 변화 정보에 상응하는 조작 명령 정보에 따른 조작 명령을 생성하여 출력하는 단계를 더 포함할 수 있다. 저장부에는 머리의 움직임 및 얼굴 표정의 변화에 대해 생성될 조작 명령 정보가 미리 저장될 수 있다.
A method for operating a vision unit includes the steps of generating one or more pieces of change information of a facial expression and a head movement by analyzing a plurality of pieces of image data and generating an operation command according to the operation command information corresponding to one or more pieces of change information And outputting the generated data. In the storage unit, operation command information to be generated for the movement of the head and the change of the facial expression can be stored in advance.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
Other aspects, features, and advantages will become apparent from the following drawings, claims, and detailed description of the invention.
본 발명의 실시예에 따르면, 수술자가 원하는 수술 부위를 보고자 하는 행위만으로 복강경의 위치 및 영상 입력 각도가 제어되도록 할 수 있는 효과가 있다.According to the embodiment of the present invention, there is an effect that the position and the image input angle of the laparoscope can be controlled by only the operation of the operator to see the desired surgical site.
또한, 복강경의 조작을 위한 수술자의 별도의 조작이 불필요하여 수술자는 수술 행위에만 집중할 수 있도록 하는 효과도 있다.Further, since a separate operation of the operator is not required for operation of the laparoscope, the operator can concentrate only on the operation.
또한, 안면 인식을 이용한 기기 조작 방법에 관한 학습이 필요하지 않고 직관적으로 조작 방법이 이해될 수 있도록 하는 효과도 있다.In addition, there is also an effect that the operation method can be intuitively understood without learning about the device operation method using the face recognition.
또한, 팔을 사용하지 않고 3차원 공간상에서의 얼굴 움직임만으로 다양한 방식으로 내시경 장치의 제어가 가능한 효과도 있다.
There is also an effect that the endoscope apparatus can be controlled in various ways only by moving the face in the three-dimensional space without using the arm.
도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도.
도 2a는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도.
도 2b 내지 도 2e는 본 발명의 일 실시예에 따른 접면부의 움직임 형태를 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도.
도 4는 본 발명의 일 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도.
도 5는 본 발명의 다른 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도.
도 6은 본 발명의 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도.
도 7은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도.
도 8은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도.
도 9는 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도.
도 10은 본 발명의 실시예에 따른 텔레스코픽 표시부에 의한 영상 표시 형태를 예시한 도면.
도 11은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도.
도 12는 본 발명의 또 다른 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도.
도 13a는 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 구성을 개략적으로 나타낸 블록 구성도.
도 13b는 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 동작 개념을 나타낸 도면.
도 14 및 도 15는 각각 본 발명의 또 다른 실시예에 따른 복강경 조작을 위한 안면 움직임을 예시한 도면.
도 16은 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 동작 과정을 나타낸 순서도.
도 17은 본 발명의 또 다른 실시예에 따른 도 16의 단계 1610을 구체화하여 나타낸 순서도.1 is a plan view showing the entire structure of a surgical robot according to an embodiment of the present invention;
FIG. 2A is a conceptual diagram illustrating a master interface of a surgical robot according to an embodiment of the present invention; FIG.
FIGS. 2B through 2E illustrate movement patterns of a contact portion according to an embodiment of the present invention. FIG.
3 is a block diagram schematically illustrating a configuration of a telescopic display unit for generating a laparoscopic operation command according to an embodiment of the present invention;
4 is a flowchart illustrating a method of transmitting a laparoscopic manipulation command according to an embodiment of the present invention.
5 is a block diagram schematically illustrating the configuration of a telescopic display unit for generating a laparoscopic manipulation command according to another embodiment of the present invention.
6 is a flowchart illustrating a method of transmitting a laparoscopic operation command according to another embodiment of the present invention.
7 is a block diagram schematically showing a configuration of a telescopic display unit for generating a laparoscopic manipulation command according to another embodiment of the present invention.
8 is a flowchart illustrating a method of transmitting a laparoscopic manipulation command according to another embodiment of the present invention.
9 is a flowchart illustrating a method of transmitting a laparoscopic manipulation command according to another embodiment of the present invention.
10 is a diagram illustrating an image display mode by a telescopic display unit according to an embodiment of the present invention.
11 is a flowchart illustrating a method of transmitting a laparoscopic manipulation command according to another embodiment of the present invention.
12 is a conceptual diagram illustrating a master interface of a surgical robot according to another embodiment of the present invention.
13A is a block diagram schematically showing a configuration of a laparoscopic operation unit according to still another embodiment of the present invention.
13B is a view showing the operation concept of the laparoscopic operation unit according to still another embodiment of the present invention.
14 and 15 illustrate facial movements for laparoscopic operation in accordance with another embodiment of the present invention, respectively.
16 is a flowchart showing the operation of the laparoscopic operation unit according to another embodiment of the present invention.
Figure 17 is a flow chart illustrating the implementation of
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated and described in the drawings. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
또한, 명세서에 기재될 수 있는 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Also, the terms " part, "" module," and the like, which may be described in the specification, mean a unit for processing at least one function or operation, Software. ≪ / RTI >
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Referring to the accompanying drawings, the same or corresponding components are denoted by the same reference numerals, .
또한, 본 발명의 다양한 실시예들을 설명함에 있어, 각 실시예가 독립적으로 해석되거나 실시되어야 하는 것은 아니며, 각 실시예에서 설명되는 특징 요소 및/또는 기술적 사상들이 개별적으로 설명되는 다른 실시예에 조합되어 해석되거나 실시될 수 있는 것으로 이해되어야 한다.Furthermore, in describing various embodiments of the present invention, it is to be understood that each embodiment is not necessarily to be construed or enforced independently, but may be combined with other embodiments in which the feature elements and / or technical ideas described in each embodiment are individually described Or interpreted by a person skilled in the art.
또한, 이하의 설명을 통해 본 발명이 내시경, 현미경 등의 비젼부가 이용되는 수술이나 실험 등에 범용적으로 사용될 수 있는 기술적 사상임이 명확해질 것이다. 아울러, 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 등으로 다양화될 수도 있다. 다만, 이하에서는 설명 및 이해의 편의를 도모하기 위해 비젼부가 일종의 내시경, 즉 복강경인 경우를 예로 들어 설명하기로 한다.
In addition, it will be apparent from the following description that the present invention is a technical idea that can be widely used for surgery or experiment using a vision part such as an endoscope or a microscope. Endoscopy may also be diverse, including laparoscopic, thoracoscopic, arthroscopic, parenteral, cystoscopic, rectal, duodenal, mediastinal, and cardiac. Hereinafter, in order to facilitate explanation and understanding, the vision unit will be described as an endoscope, that is, a laparoscope as an example.
도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도이고, 도 2a는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도이며, 도 2b 내지 도 2e는 본 발명의 일 실시예에 따른 접면부의 움직임 형태를 예시한 도면이다.FIG. 1 is a plan view showing an entire structure of a surgical robot according to an embodiment of the present invention. FIG. 2 (a) is a conceptual view showing a master interface of a surgical robot according to an embodiment of the present invention, 1 is a diagram illustrating a movement pattern of a contact portion according to an embodiment of the present invention.
도 1 및 도 2a를 참조하면, 수술용 로봇 시스템은 수술대에 누워있는 환자에게 수술을 행하는 슬레이브 로봇(2)과 슬레이브 로봇(2)을 수술자가 원격 조종하는 마스터 로봇(1)을 포함한다. 마스터 로봇(1)과 슬레이브 로봇(2)이 반드시 물리적으로 독립된 별도의 장치로 분리되어야 하는 것은 아니며, 하나로 통합되어 일체형으로 구성될 수 있으며, 이 경우 마스터 인터페이스(4)는 예를 들어 일체형 로봇의 인터페이스 부분에 상응할 수 있다.Referring to FIGS. 1 and 2A, the surgical robot system includes a
마스터 로봇(1)의 마스터 인터페이스(4)는 모니터부(6), 텔레스코픽 표시부(20) 및 마스터 조종기를 포함하고, 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함한다. The
마스터 인터페이스(4)의 모니터부(6)는 하나 이상의 모니터들로 구성될 수 있으며, 각 모니터에 수술시 필요한 정보들이 개별적으로 표시되도록 할 수 있다. 도 1 및 2에는 모니터부(6)가 텔레스코픽 표시부(20)를 기준으로 양 측면에 하나씩 포함되는 경우가 예시되었으나, 모니터의 수량은 표시를 요하는 정보의 유형이나 종류 등에 따라 다양하게 결정될 수 있다.The
모니터부(6)는 예를 들어 환자에 대한 하나 이상의 생체 정보를 출력할 수 있다. 이 경우, 모니터부(6)의 하나 이상의 모니터를 통해 환자의 상태를 나타내는 지표, 예를 들면, 체온, 맥박, 호흡 및 혈압 등과 같은 생체 정보 중 하나 이상이 출력될 수 있으며, 복수의 정보가 출력되는 경우 각 정보는 영역별로 나뉘어져 출력될 수도 있다. 이러한 생체 정보를 마스터 로봇(1)으로 제공하기 위해, 슬레이브 로봇(2)은 체온 측정 모듈, 맥박 측정 모듈, 호흡 측정 모듈, 혈압 측정 모듈, 심전도 측정 모듈 등 중 하나 이상을 포함하는 생체 정보 측정 유닛을 포함할 수 있다. 각 모듈에 의해 측정된 생체 정보는 아날로그 신호 또는 디지털 신호의 형태로 슬레이브 로봇(2)에서 마스터 로봇(1)으로 전송될 수도 있으며, 마스터 로봇(1)은 수신된 생체 정보를 모니터부(6)를 통해 디스플레이할 수 있다.The
마스터 인터페이스(4)의 텔레스코픽 표시부(20)는 수술자에게 수술 부위로서 복강경(5)을 통해 입력되는 영상을 제공한다. 수술자는 텔레스코픽 표시부(20)의 접면부(210)에 형성된 접안부(220)를 통해 해당 영상을 보고, 마스터 조종기를 조종하여 로봇 암(3) 및 단부 이펙터(effector)를 조작함으로써 수술부위에 대한 수술을 진행한다. 도 2a에는 접면부(210)의 일예로서 패널(panel) 형태로 구현된 경우가 예시되었으나, 접면부(210)는 마스터 인터페이스(4)의 내측을 향하도록 함입되어 형성될 수도 있다. 또한, 도 2a에는 접면부(210)에 수술자가 복강경(5)에 의해 획득된 영상을 보기위한 접안부(220)가 형성된 경우가 예시되었으나, 접면부(210)가 그 뒷면의 영상이 투과되어 보여지는 재료로 형성되는 경우 접안부(220)의 형성은 생략될 수도 있다. 접면부(210) 뒷면의 영상이 투과되어 수술자에게 보여질 수 있도록 접면부(210)는 예를 들어 투명 재질의 재료로 형성되거나, 편광 필름으로 코팅되거나 3D IMAX 영화를 보기 위해 사용되는 색안경 등의 빛 투과성 재료에 의해 형성될 수도 있다.The
텔레스코픽 표시부(20)는 수술자가 접안부(220)를 통해 복강경(5)에 의한 영상을 확인하기 위한 표시 장치로서의 기능뿐 아니라, 복강경(5)의 위치 및 영상 입력 각도 제어를 위한 제어 명령 입력부로서의 기능을 함께 구비하도록 구성된다.The
텔레스코픽 표시부(20)의 접면부(210)에 수술자의 얼굴이 접촉 또는 근접되고, 수술자의 얼굴 움직임이 인식될 수 있도록 하기 위한 복수의 지지부(230, 240)가 돌출되어 형성된다. 예를 들어, 상부에 형성된 지지부(230)는 수술자의 이마에 접촉하여 이마 위치가 고정되도록 이용될 수 있고, 측부에 형성된 지지부(240)는 수술자의 눈 밑 부위(예를 들어, 광대뼈 부위)에 접촉되어 얼굴 위치가 고정되도록 이용될 수 있다. 도 2a에 예시된 지지부의 위치 및 수량은 예시적인 것으로서, 지지부의 위치나 형상은 예를 들어 턱 고정용 받침, 얼굴 좌우받침(290) 등으로 다양할 수 있으며, 지지부의 수량 역시 다양할 수 있다. 얼굴 좌우받침의 경우 얼굴 왼쪽이나 오른쪽을 움직일 때 접면부(210)가 상응하는 방향으로 움직이도록 지지하기 위해 예를 들어 막대나 벽 등의 형태로 형성될 수 있다.A plurality of
이와 같이 형성된 지지부(230, 240)에 의해 수술자의 얼굴 위치가 고정되어지며, 수술자가 접안부(220)를 통해 복강경(5)에 의한 영상을 보는 중에 임의의 방향으로 얼굴을 돌리면 이에 따른 얼굴 움직임이 감지되어 이를 복강경(5)의 위치 및/또는 영상 입력 각도의 조절을 위한 입력 정보로서 이용할 수 있다. 예를 들어, 수술자가 현재 영상으로 표시되는 수술부위보다 왼쪽의 부위(즉, 표시화면상 왼쪽에 위치된 부위)를 확인하고자 하는 경우, 얼굴이 상대적으로 왼쪽을 향하도록 고개를 돌리는 것만으로 이에 상응하도록 복강경(5)이 조작되어 해당 부위의 영상이 출력되도록 제어될 수 있다. The position of the operator's face is fixed by the
즉, 텔레스코픽 표시부(20)의 접면부(210)는 수술자의 얼굴 움직임에 따라 연동되어 그 위치 및/또는 각도가 변형되도록 마스터 인터페이스(4)에 결합되어 구성된다. 이를 위해, 마스터 인터페이스(4)와 텔레스코픽 표시부(20)의 접면부(210)는 유동부(240)에 의해 상호 결합될 수 있다. 유동부(250)는 텔레스코픽 표시부(20)의 위치 및/또는 각도 변형이 용이하고, 수술자의 얼굴 움직임에 의한 외력이 제거된 경우 원상태로 복원할 수 있도록 예를 들어 탄성체로 형성될 수 있다. 또한, 유동부(250)가 비탄성체로 형성되는 경우에도 텔레스코픽 표시부(20)가 원상태 복원부(도 5 참조)를 제어함으로써 텔레스코픽 표시부(20)가 원상태로 복원되도록 할 수도 있다. That is, the
유동부(250)에 의해 접면부(210)는 XYZ축으로 형성된 3차원 공간상에서 가상의 중심점 및 좌표를 기준으로 직선방향 이동 조작되거나, 임의의 방향(예를 들어, 시계방향, 반시계 방향 등 중 하나 이상)으로 회전 이동 조작될 수 있다. 여기서, 가상의 중심점은 접면부(210) 내의 임의의 한 점 또는 축일 수 있으며, 예를 들어 접면부(210)의 중심점일 수 있다.The sliding
도 2b 내지 도 2e에 접면부(210)의 움직임 형태가 예시되어 있다. Figs. 2B to 2E illustrate the movement of the
수술자의 얼굴 움직임 방향이 X, Y 또는 Z축에 평행한 경우, 접면부(210)는 도 2b에 예시된 바와 같이 얼굴 움직임에 의한 힘이 가해지는 방향으로 평행이동되어진다. When the face movement direction of the operator is parallel to the X, Y, or Z axis, the
수술자의 얼굴 움직임 방향이 X-Y 평면상에서 회전하는 경우, 접면부(210)는 도 2c에 예시된 바와 같이 얼굴 움직임에 의한 힘이 가해지는 방향으로 회전이동되어진다. 이때, 힘이 가해지는 방향에 따라 접면부(210)는 시계방향 또는 반시계방향으로 회전이동될 수 있다.When the face movement direction of the operator is rotated on the X-Y plane, the
수술자의 얼굴 움직임 방향이 X, Y 또는 Z축을 중심으로 회전하는 경우, 접면부(210)는 도 2d에 예시된 바와 같이 기준되는 축을 중심으로 얼굴 움직임에 의한 힘이 가해지는 방향으로 회전이동되어진다. 이때, 힘이 가해지는 방향에 따라 접면부(210)는 시계방향 또는 반시계방향으로 회전 이동될 수 있다.When the face movement direction of the operator is rotated about the X, Y or Z axis, the
수술자의 얼굴 움직임에 따른 힘이 X, Y 및 Z축 중 두 개의 축에 대해 가해지는 경우, 접면부(210)는 도 2e에 예시된 바와 같이 가상의 중심점 및 힘이 가해지는 두 개의 축을 기준으로 회전이동되어진다. When the force due to the movement of the operator's face is applied to two axes of the X, Y and Z axes, the
이와 같이 접면부(210)의 수직/수평 방향의 이동 및 회전 이동은 얼굴 움직임에 의해 가해지는 힘의 방향에 의해 결정되며, 앞서 설명한 하나 이상의 움직임 형태가 조합적으로 나타날 수도 있음은 당연하다.As such, the vertical and horizontal movement and rotational movement of the
텔레스코픽 표시부(20)가 수술자의 얼굴 움직임을 감지하여 이에 따른 조작 명령을 생성하는 방법 및 구성은 이후 관련 도면을 참조하여 상세히 설명하기로 한다.The method and configuration of the
도 1 및 도 2a에 예시된 바와 같이, 마스터 인터페이스(4)는 수술자가 양손에 각각 파지되어 조작할 수 있도록 마스터 조종기를 구비한다. 마스터 조종기는 두 개의 핸들(10) 또는 그 이상의 수량의 핸들(10)로 구현될 수 있으며, 수술자의 핸들(10) 조작에 따른 조작신호가 슬레이브 로봇(2)으로 전송되어 로봇 암(3)이 제어된다. 수술자의 핸들(10) 조작에 의해 로봇 암(3)의 위치 이동, 회전, 절단 작업 등의 수술 동작이 수행될 수 있다.As illustrated in Figs. 1 and 2A, the
예를 들어, 핸들(10)은 메인 핸들(main handle)과 서브 핸들(sub handle)을 포함하여 구성될 수 있다. 수술자는 메인 핸들만으로 슬레이브 로봇 암(3)이나 복강경(5) 등을 조작하거나, 서브 핸들을 조작하여 동시에 복수의 수술 장비가 실시간 조작되도록 할 수도 있다. 메인 핸들 및 서브 핸들은 그 조작방식에 따라 다양한 기구적 구성을 가질 수 있으며, 예를 들면, 조이스틱 형태, 키패드, 트랙볼, 터치스크린 등 슬레이브 로봇(2)의 로봇 암(3) 및/또는 기타 수술 장비를 작동시키기 위한 다양한 입력수단이 사용될 수 있다.For example, the
마스터 조종기는 핸들(10)의 형상으로 제한되지 않으며, 네트워크를 통해 로봇 암(3)의 동작을 제어할 수 있는 형태이면 아무런 제한 없이 적용될 수 있다.The master manipulator is not limited to the shape of the
마스터 로봇(1)과 슬레이브 로봇(2)은 유선 통신망 또는 무선 통신망을 통해 상호 결합되어 조작신호, 복강경(5)을 통해 입력된 복강경 영상 등이 상대방으로 전송될 수 있다. 만일, 마스터 인터페이스(4)에 구비된 복수의 핸들(10)에 의한 복수의 조작신호 및/또는 복강경(5) 조정을 위한 조작신호가 동시에 및/또는 유사한 시점에서 전송될 필요가 있는 경우, 각 조작신호는 상호 독립적으로 슬레이브 로봇(2)으로 전송될 수 있다. 여기서 각 조작신호가 '독립적으로' 전송된다는 것은, 조작신호 간에 서로 간섭을 주지 않으며, 어느 하나의 조작신호가 다른 하나의 신호에 영향을 미치지 않음을 의미한다. 이처럼, 복수의 조작신호가 서로 독립적으로 전송되도록 하기 위해서는, 각 조작신호의 생성 단계에서 각 조작신호에 대한 헤더 정보를 부가하여 전송시키거나, 각 조작신호가 그 생성 순서에 따라 전송되도록 하거나, 또는 각 조작신호의 전송 순서에 관하여 미리 우선순위를 정해 놓고 그에 따라 전송되도록 하는 등 다양한 방식이 이용될 수 있다. 이 경우, 각 조작신호가 전송되는 전송 경로가 독립적으로 구비되도록 함으로써 각 조작신호간에 간섭이 근본적으로 방지되도록 할 수도 있을 것이다.The
슬레이브 로봇(2)의 로봇 암(3)은 다자유도를 가지며 구동되도록 구현될 수 있다. 로봇 암(3)은 예를 들어 환자의 수술 부위에 삽입되는 수술기구, 수술기구를 수술 위치에 따라 요(yaw)방향으로 회전시키는 요동 구동부, 요동 구동부의 회전 구동과 직교하는 피치(pitch) 방향으로 수술기구를 회전시키는 피치 구동부, 수술기구를 길이 방향으로 이동시키는 이송 구동부와, 수술기구를 회전시키는 회전 구동부, 수술기구의 끝단에 설치되어 수술 병변을 절개 또는 절단하는 수술기구 구동부를 포함하여 구성될 수 있다. 다만, 로봇 암(3)의 구성이 이에 제한되지 않으며, 이러한 예시가 본 발명의 권리범위를 제한하지 않는 것으로 이해되어야 한다. 또한, 수술자가 핸들(10)을 조작함에 의해 로봇 암(3)이 상응하는 방향으로 회전, 이동하는 등의 실제적인 제어 과정은 본 발명의 요지와 다소 거리감이 있으므로 이에 대한 구체적인 설명은 생략한다.The
슬레이브 로봇(2)은 환자를 수술하기 위하여 하나 이상으로 이용될 수 있으며, 수술 부위가 접안부(220)를 통해 확인할 수 있는 영상(즉, 화상 이미지)로 표시되도록 하기 위한 복강경(5)은 독립된 슬레이브 로봇(2)으로 구현될 수도 있다. 또한, 앞서 설명된 바와 같이, 본 발명의 실시예들은 복강경 이외의 다양한 수술용 내시경(예를 들어, 흉강경, 관절경, 비경 등)이 이용되는 수술들에 범용적으로 사용될 수 있다.
The
도 3은 본 발명의 일 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도이고, 도 4는 본 발명의 일 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도이다.FIG. 3 is a block diagram schematically showing the configuration of a telescopic display unit for generating a laparoscopic operation command according to an embodiment of the present invention. FIG. 4 is a flowchart showing a method of transmitting a laparoscopic operation command according to an embodiment of the present invention. to be.
도 3을 참조하면, 텔레스코픽 표시부(20)는 움직임 감지부(310), 조작 명령 생성부(320) 및 전송부(330)를 포함한다. 이외에, 텔레스코픽 표시부(20)는 복강경(5)을 통해 입력되는 수술 부위의 영상을 수술자가 접안부(220)를 통해 시각적으로 인식할 수 있도록 하는 구성 요소를 더 포함할 수 있으나, 이는 본 발명의 요지와는 다소 거리감이 있으므로 이에 대한 설명은 생략한다.Referring to FIG. 3, the
움직임 감지부(310)는 접면부(210)의 지지부(230 및/또는 240)에 수술자가 얼굴을 접촉한 상태에서 어느 방향으로 얼굴을 움직였는지를 감지하여 센싱 정보를 출력한다. 움직임 감지부(310)는 얼굴이 움직인 방향 및 크기(예를 들어 거리)를 감지하기 위한 센싱 수단을 포함할 수 있다. 센싱 수단은 접면부(210)가 어느 방향으로 어느 정도 움직였는지를 감지할 수 있는 센싱 수단이면 충분하며, 예를 들어 접면부(210)를 지지하는 탄성력을 가지는 유동부(250)가 어느 방향으로 어느 크기만큼 인장(引張)되었는지를 감지하는 센서이거나, 마스터 로봇(1)의 내측에 구비되어 접면부(210)의 내측 표면에 형성된 특징점이 어느 정도 근접 또는/및 회전하였는지 감지하는 센서 등일 수 있다.The
조작 명령 생성부(320)는 움직임 감지부(310)로부터 수신되는 센싱 정보를 이용하여 수술자의 얼굴 움직임 방향 및 크기를 해석하고, 해석된 결과에 따라 복강경(5)의 위치 및 영상 입력 각도를 제어하기 위한 조작명령을 생성한다.The operation
전송부(330)는 조작 명령 생성부(320)에 의해 생성된 조작명령을 슬레이브 로봇(2)으로 전송하여, 복강경(5)의 위치 및 영상 입력 각도가 조작되도록 하고 이에 따른 영상이 제공되도록 한다. 전송부(330)는 로봇 암(3)의 조작을 위한 조작명령을 전송하기 위해 마스터 로봇(1)에 이미 구비된 전송부일 수도 있다.The transmitting
도 4에는 본 발명의 일 실시예에 따른 복강경 조작 명령 전송 방법이 도시되어 있다. FIG. 4 illustrates a method of transmitting a laparoscopic manipulation command according to an embodiment of the present invention.
도 4를 참조하면, 텔레스코픽 표시부(20)는 단계 410에서 수술자의 얼굴 움직임을 감지하고, 단계 420으로 진행하여 얼굴 움직임의 감지에 의해 생성된 센싱 정보를 이용하여 복강경(5)의 조작을 위한 조작명령을 생성한다.4, the
이어서, 단계 430에서 복강경(5)의 조작을 위해 단계 420에 의해 생성된 조작 명령이 슬레이브 로봇(2)으로 전송된다.Subsequently, in
여기서, 복강경(5)의 조작을 위해 생성된 조작 명령은 마스터 로봇(1)에 대해서도 특정의 동작이 수행되도록 기능될 수 있다. 예를 들어, 얼굴 회전을 감지하여 복강경(5)을 회전시키고자 하는 경우, 회전에 대한 조작 명령이 슬레이브 로봇(2)으로 전달됨과 동시에 마스터 로봇(1)의 조작핸들의 방향도 이에 상응하여 변경되도록 함으로써 수술자의 직관성 및 수술 편의성이 유지되도록 할 수 있다. 예를 들어, 접면부(210)에 의한 회전신호가 감지되면 생성된 조작신호에 의해 복강경(5)이 회전을 하게 되고, 이때 화면에 표시되는 영상 및 그 영상에 보이는 수술용도구의 위치가 현재 조작핸들의 손의 위치와 일치하지 않을 수 있으므로, 조작핸들의 위치를 움직여 화면상에 표시되는 수술용 도구의 위치와 일치시키는 동작이 수행될 수 있다. 이러한 조작핸들 방향의 제어는 접면부(210)의 회전운동의 경우뿐 아니라 직선운동의 경우에도 화면상에 표시되는 수술용 도구의 위치/방향과 실제적인 조작핸들의 위치/방향이 불일치하는 경우라면 동일하게 적용될 수 있다.
Here, the manipulation command generated for the manipulation of the
도 5는 본 발명의 다른 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도이고, 도 6은 본 발명의 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도이다.FIG. 5 is a block diagram schematically showing the configuration of a telescopic display unit for generating a laparoscopic manipulation command according to another embodiment of the present invention. FIG. 6 is a flowchart showing a method of transmitting a laparoscopic manipulation command according to another embodiment of the present invention. to be.
도 5를 참조하면, 텔레스코픽 표시부(20)는 움직임 감지부(310), 조작 명령 생성부(320), 전송부(330), 접촉 감지부(510), 원상태 복원부(520)를 포함할 수 있다.5, the
도시된 움직임 감지부(310), 조작 명령 생성부(320) 및 전송부(330)에 대해서는 앞서 도 3을 참조하여 설명하였으므로 이에 대한 설명은 생략한다. 다만, 움직임 감지부(310)는 접촉 감지부(510)에 의한 센싱 정보로서 수술자 얼굴이 지지부(230 또는/및 240)에 접촉되었음이 인식되는 동안 동작을 수행할 수 있을 것이다.The
접촉 감지부(510)는 수술자의 얼굴이 지지부(230 또는/및 240)에 접촉되었는지 여부를 감지하여 센싱 정보를 출력한다. 이를 위해, 예를 들어 지지부의 단부에 접촉 감지 센서가 구비될 수 있으며, 이외에도 얼굴의 접촉 여부를 감지할 수 있는 다양한 센싱 방식이 적용될 수도 있음은 당연하다.The
원상태 복원부(520)는 접촉 감지부(510)에 의한 센싱 정보로서 수술자의 얼굴이 지지부(230 또는/및 240)와의 접촉이 종료된 것으로 인식되면, 모터 구동부(530)를 제어하여 접면부(210)가 원상태로 복귀되도록 한다. 원상태 복원부(520)는 이하에서 설명될 모터 구동부(530)를 포함할 수 있다. The
도 5에는 접면부(210)가 원상태로 복귀되도록 하는 동작 수단으로 모터를 이용하는 모터 구동부(530)가 예시되었으나, 동일한 목적 달성을 위한 동작 수단이 이에 제한되지 않음은 당연하다. 예를 들어, 공압이나 유압 등과 같은 다양한 방법에 의해 접면부(210)가 원상태로 복귀되도록 처리될 수도 있을 것이다.5 illustrates a
원상태 복원부(520)는 예를 들어 접면부(210)의 기준 상태(즉, 위치 및/또는 각도)에 관한 정보를 이용하여 모터 구동부(530)를 제어하거나, 조작 명령 생성부(320)에 의해 해석된 얼굴 움직임 방향 및 크기를 이용하여 그 역의 방향 및 크기로 조작되도록 모터 구동부(530)를 제어하여 접면부(210)가 원위치로 복귀되도록 할 수 있다.The
예를 들어, 수술자가 현재 영상으로 표시되는 수술부위와는 다른 부위를 확인하거나 해당 부위에 조치를 하기 위해 해당 방향으로 얼굴을 돌려(이에 의해 접면부(210)도 이동 또는 회전됨) 복강경(5)이 이에 상응하도록 조작된 상태에서 접면부(210)에 대한 얼굴 접촉이 종료되었음을 감지하면, 원상태 복원부(520)는 접면부(210)가 디폴트(default)로 지정된 기준 상태로 복귀되도록 모터 구동부(530)를 제어할 수 있다.For example, when the operator confirms a site other than the current site to be displayed as a current image, or rotates the face in the corresponding direction (thereby moving or rotating the contact portion 210) The normal
모터 구동부(530)는 원상태 복원부(520)의 제어에 의해 회전하는 모터를 포함할 수 있고, 모터의 회전에 의해 접면부(210)의 상태(즉, 위치 및/또는 각도)가 조정되도록 모터 구동부(530)와 접면부(210)는 상호 결합된다. 모터 구동부(530)는 마스터 인터페이스(4)의 내측에 수납되도록 형성될 수 있다. 모터 구동부(530)에 포함되는 모터는 예를 들어 다 자유도(degree of freedom) 운동이 가능하도록 하기 위한 구형 모터일 수 있으며, 기울어지는 각도의 한계를 없애기 위해 구형 모터의지지 구조는 구형 베어링과 원형의 회전자로 구성되거나, 원형의 회전자를 지지하기 위한 3 자유도를 가지는 프레임 구조로 구성될 수도 있다.The
전술한 각 구성요소의 동작에 의해 접면부(210)가 원 상태로 복원될지라도 조작 명령 생성부(320)는 이에 대한 조작명령을 생성 및 전송하지 않으므로 복강경(5)에 의해 입력되어 출력되는 영상 이미지는 변경되지 않는다. 따라서 수술자가 이후 접안부(220)를 통해 복강경(5) 영상을 확인하며 수술을 진행함에 있어 일관성이 유지될 수 있다.Even if the
이제까지 도 5를 참조하여 텔레스코픽 표시부(20)의 접면부(210)의 원상태 복귀가 모터 구동부(350)의 조작에 의해 이루어지는 경우를 설명하였으나, 탄성력을 가지는 탄성체 재질의 유동부(250)에 의해 수술자의 얼굴 움직임에 의한 외력이 제거된 경우 원상태로 복귀되도록 할 수도 있음은 당연하다. 탄성력에 의해 접면부(210)가 원상태로 복귀되는 경우에도 복강경(5)의 조작을 위한 조작신호는 생성되지 않을 것이다.5, description has been made of the case where the
도 6에는 본 발명의 다른 실시예에 따른 복강경 조작 명령 전송 방법이 도시되어 있다. 6 illustrates a method of transmitting a laparoscopic operation command according to another embodiment of the present invention.
도 6을 참조하면, 텔레스코픽 표시부(20)는 단계 410에서 수술자의 얼굴 움직임을 감지하고, 단계 420으로 진행하여 얼굴 움직임의 감지에 의해 생성된 센싱 정보를 이용하여 복강경(5)의 조작을 위한 조작명령을 생성한다. 이후, 단계 430에서 복강경(5)의 조작을 위해 단계 420에 의해 생성된 조작 명령이 슬레이브 로봇(2)으로 전송된다.Referring to FIG. 6, the
이어서, 텔레스코픽 표시부(20)는 단계 610에서 수술자가 접면부(210)에 대한 접촉을 해제하였는지 여부를 판단한다. 만일 접촉이 유지되는 상태라면 단계 410으로 다시 진행하되, 접촉이 해제된 상태라면 단계 620으로 진행하여 접면부(210)가 원위치로 복귀되도록 제어한다.
Then, in
도 7은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도이다.7 is a block diagram schematically showing the configuration of a telescopic display unit for generating a laparoscopic operation command according to another embodiment of the present invention.
도 7을 참조하면, 텔레스코픽 표시부(20)는 접촉 감지부(510), 카메라부(710), 저장부(720), 아이트래커부(730), 조작 명령 생성부(320), 전송부(330) 및 제어부(740)를 포함할 수 있다.7, the
접촉 감지부(510)는 수술자의 얼굴이 접면부(210)에 돌출되도록 형성된 지지부(230 또는/및 240)에 접촉되었는지 여부를 감지하여 센싱 정보를 출력한다. The
카메라부(710)는 접촉 감지부(510)의 센싱 정보에 의해 수술자의 얼굴이 접면부(210)에 접촉되었음이 감지되면 수술자의 눈에 대한 영상을 실시간 촬영한다. 카메라부(710)는 마스터 인터페이스(4)의 내측에서 접안부(220)를 통해 보이는 수술자의 눈을 촬영하도록 배치된다. 카메라부(710)에 의해 촬영된 수술자의 눈에 대한 이미지는 아이트래커부(730)의 아이트래킹(eye tracking) 처리를 위해 저장부(720)에 저장된다. The
카메라부(710)에 의해 촬영되는 이미지는 아이트래커부(730)의 아이트래킹 처리가 가능한 형태이면 충분하며, 아이트래커부(730)의 처리를 위해 필요한 전처리가 수행된 후 저장부(720)에 저장될 수도 있다. 아이트래킹 처리를 위한 이미지 생성 방법 및 생성되는 이미지 유형은 당업자에게 자명하므로 이에 대한 설명은 생략한다.It is sufficient that the image captured by the
아이트래커부(730)는 실시간 또는 소정의 주기로 저장부(720)에 저장된 이미지를 시간 순서대로 비교 분석하여 수술자의 눈동자 위치 변화와 이에 의한 주시 방향을 해석하여 해석 정보를 출력한다. 또한, 아이트래커부(730)는 눈동자의 모양(예를 들어 눈 깜빡임 등)을 더 해석하여 이에 대한 해석 정보를 출력할 수도 있다. The
조작 명령 생성부(320)는 아이트래커부(730)에 의한 해석 정보를 참조하여 수술자의 주시 방향이 변화된 경우 이에 상응하여 복강경(5)의 위치 및/또는 영상 입력 각도가 제어되도록 하기 위한 조작 명령을 생성한다. 또한, 조작 명령 생성부(320)는 눈동자의 모양 변화가 미리 지정된 명령을 입력하기 위한 것이라면 이를 위한 조작 명령을 생성할 수도 있다. 예를 들어, 눈동자의 모양 변화에 따른 지정 명령은 예를 들어, 오른쪽 눈의 연속 2회 깜빡임의 경우 수술부위로의 복강경(5) 접근, 왼쪽 눈의 연속 2회 깜빡임의 경우 시계방향으로 회전 등과 같이 미리 지정될 수 있다.The operation
전송부(330)는 조작 명령 생성부(320)에 의해 생성된 조작명령을 슬레이브 로봇(2)으로 전송하여, 복강경(5)의 위치 및 영상 입력 각도가 조작되도록 하고 이에 따른 영상이 제공되도록 한다. 전송부(330)는 로봇 암(3)의 조작을 위한 조작명령을 전송하기 위해 마스터 로봇(1)에 이미 구비된 전송부일 수도 있다.The transmitting
제어부(740)는 상술한 각 구성요소가 지정된 동작을 수행하도록 제어한다.The
이제까지 도 7을 참조하여, 눈동자의 움직임을 아이트래킹 기술을 이용하여 인식 및 처리하는 텔레스코픽 표시부(20)를 설명하였다. 그러나, 이에 제한되지 않고, 텔레스코픽 표시부(20)는 수술자의 얼굴 자체의 움직임을 감지하여 인식 및 처리하는 방식으로 구현될 수도 있음은 당연하다. 일 예로, 카메라부(710)가 얼굴 이미지를 촬영하고, 아이트래커부(730)를 대체하는 분석 처리부가 촬영된 이미지 중 특징점(예를 들어, 두 눈의 위치, 코의 위치, 인중의 위치 등 중 하나 이상)의 위치 및 변화를 해석하면 조작 명령 생성부(320)가 이에 상응하는 조작명령을 생성할 수도 있다.
7, the
도 8은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도이다.8 is a flowchart illustrating a method of transmitting a laparoscopic manipulation command according to another embodiment of the present invention.
도 8을 참조하면, 단계 810에서 텔레스코픽 표시부(20)는 접촉 감지부(510)에 의해 수술자 얼굴의 접촉이 감지되면, 카메라부(710)를 활성화하여 접안부(220)를 통해 보이는 수술자의 눈에 대한 디지털 이미지 데이터를 생성하여 저장부(720)에 저장되도록 한다.Referring to FIG. 8, in
단계 820에서 텔레스코픽 표시부(20)는 실시간 또는 소정의 주기로 저장부(720)에 저장된 디지털 이미지 데이터를 비교 판단하여 수술자의 눈동자 위치 및 주시 방향의 변화에 대한 해석 정보를 생성한다. 비교 판단시 텔레스코픽 표시부(20)는 일정한 오차를 허용하여 일정한 범위의 위치 정보의 변화는 눈동자의 위치가 변동하지 않은 것으로 인식하도록 할 수도 있다.In
단계 830에서 텔레스코픽 표시부(20)는 미리 설정된 임계 시간 이상 변경된 수술자의 주시 방향이 유지되는지 여부를 판단한다.In
만일 임계 시간 이상 변경된 주시 방향이 유지되면, 단계 840에서 텔레스코픽 표시부(20)는 복강경(5)이 해당 위치의 영상을 입력받도록 조작(예를 들어, 이동 또는/및 영상 입력 각도의 변경)하기 위한 조작 명령을 생성하여 슬레이브 로봇(2)으로 전송한다. 여기서, 임계 시간은 수술자의 눈동자 흔들림이나 수술 부위의 전체적인 개괄적 확인 등을 위한 눈동자가 움직임에 의해 복강경(5)이 조작되지 않도록 하기 위한 시간으로 설정될 수 있으며, 그 시간값은 실험적, 통계적으로 설정되거나 수술자 등에 의해 설정될 수도 있다.If the changed viewing direction is maintained for a predetermined time or longer, the
그러나 만일 임계 시간 이상 변경된 주시 방향이 유지되지 않는다면 단계 810으로 다시 진행한다.
However, if the changed viewing direction is not maintained beyond the critical time, the process proceeds to step 810 again.
도 9는 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도이고, 도 10은 본 발명의 실시예에 따른 텔레스코픽 표시부에 의한 영상 표시 형태를 예시한 도면이다.FIG. 9 is a flowchart illustrating a method of transmitting a laparoscopic manipulation command according to another embodiment of the present invention. FIG. 10 is a view illustrating an image display mode by a telescopic display unit according to an embodiment of the present invention.
도 9를 참조하면, 단계 810에서 텔레스코픽 표시부(20)는 접촉 감지부(510)에 의해 수술자 얼굴의 접촉이 감지되면, 카메라부(710)를 활성화하여 접안부(220)를 통해 보이는 수술자의 눈에 대한 디지털 이미지 데이터를 생성하여 저장부(720)에 저장되도록 한다.Referring to FIG. 9, in
단계 820에서 텔레스코픽 표시부(20)는 실시간 또는 소정의 주기로 저장부(720)에 저장된 디지털 이미지 데이터를 비교 판단하여 수술자의 눈동자 위치 및 주시 방향의 변화에 대한 해석 정보를 생성한다. In
단계 910에서 텔레스코픽 표시부(20)는 수술자의 주시 위치가 미리 지정된 설정인지 여부를 판단한다.In
도 10에는 텔레스코픽 표시부(20)에 의한 영상 표시 형태가 예시되어 있다. 10 shows an image display mode by the
도 10에 예시된 바와 같이, 접안부(220)를 통해 수술자는 복강경(5)을 통해 제공되는 영상 이미지(1010)를 확인할 수 있으며, 해당 영상 이미지는 수술 부위와 인스트루먼트(1020)를 포함할 수 있다. 또한, 텔레스코픽 표시부(20)에 의한 영상은 수술자의 주시 위치(1030)가 오버랩되어 표시될 수 있으며, 설정 위치들도 함께 표시될 수 있다. 10, the operator may view the
설정 위치로는 외곽 테두리(1040), 제1 회전 지시 위치(1050) 및 제2 회전 지시 위치(1060) 등 중 하나 이상이 포함될 수 있다. 예를 들어, 수술자가 외곽 테두리(1040) 중 임의의 방향에 위치한 변을 임계 시간 이상 주시하고 있는 경우 복강경(5)이 해당 방향으로 이동되도록 제어될 수 있다. 즉, 외곽 테두리(1040) 중 왼쪽의 변을 임계 시간 이상 주시하면 복강경(5)은 현재 표시 위치보다 왼쪽의 부위를 촬영하기 위해 왼쪽으로 이동되도록 제어될 수 있다. 또한, 수술자가 제1 회전 지시 위치(1050)를 임계 시간 이상 주시하면 복강경이 반시계 방향으로 회전하도록 제어되고, 수술자가 제2 회전 지시 위치(1060)를 임계 시간 이상 주시하면 복강경이 시계 방향으로 회전하도록 제어될 수도 있다.The setting position may include at least one of an
다시 도 9를 참조하여, 수술자가 주시 위치가 전술한 설정 위치가 아닌 경우에는 단계 810으로 다시 진행한다.Referring again to FIG. 9, if the surgeon is not at the above-described set position, the process proceeds to step 810 again.
그러나 다시 도 9를 참조하여, 수술자가 주시 위치가 전술한 설정 위치인 경우에는 단계 920으로 진행하여 미리 설정된 임계 시간 이상 수술자의 주시가 유지되는지 여부를 판단한다.However, referring again to FIG. 9, if the surgeon's position is the above-described set position, the procedure proceeds to step 920 to determine whether the surgeon's attention is maintained for a predetermined threshold time or more.
만일 임계 시간 이상 설정 위치에 대한 수술자의 주시가 유지되면, 단계 930에서 텔레스코픽 표시부(20)는 해당 설정 위치에 대해 지정된 명령에 따라 복강경(5)이 조작되도록 조작 명령을 생성하여 슬레이브 로봇(2)으로 전송한다. The
그러나 만일 임계 시간 이상 해당 설정 위치에 대한 수술자의 주시가 유지되지 않으면 단계 810으로 다시 진행한다.
However, if the surgeon's attention to the setting position is not maintained beyond the critical time, the process proceeds to step 810 again.
도 11은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도이다.11 is a flowchart illustrating a method of transmitting a laparoscopic manipulation command according to another embodiment of the present invention.
도 11을 참조하면, 단계 810에서 텔레스코픽 표시부(20)는 접촉 감지부(510)에 의해 수술자 얼굴의 접촉이 감지되면, 카메라부(710)를 활성화하여 접안부(220)를 통해 보이는 수술자의 눈에 대한 디지털 이미지 데이터를 생성하여 저장부(720)에 저장되도록 한다.Referring to FIG. 11, in
단계 1110에서 텔레스코픽 표시부(20)는 실시간 또는 소정의 주기로 저장부(720)에 저장된 이미지 정보를 비교 판단하여 운전자의 눈 모양 변화에 대한 해석 정보를 생성한다. 예를 들어, 해석 정보는 일정한 시간 동안에 수술자의 눈이 몇 번 깜빡였는지, 깜빡였다면 어느 쪽 눈이 깜빡였는지 등에 대한 정보일 수 있다.In
단계 1120에서 텔레스코픽 표시부(20)는 눈 모양 변화에 대한 해석 정보가 미리 지정된 지정 조건을 만족하는지 여부를 판단한다. 예를 들어 눈 모양 변화에 따른 지정 조건은 예를 들어, 소정 시간 내에 오른쪽 눈의 연속 2회 깜빡임인지 여부, 소정 시간 내에 왼쪽 눈의 연속 2회 깜빡임인지 여부 등으로 미리 설정될 수 있다.In
만일 눈 모양 변화에 대한 해석 정보가 미리 지정된 조건을 만족하는 경우라면, 단계 1130으로 진행하여 해당 조건을 만족하는 경우의 지정 명령으로서 복강경(5) 조작을 위한 조작 명령을 생성하여 슬레이브 로봇(2)으로 전송한다. 예를 들어, 눈 모양 변화에 따른 지정 명령은 예를 들어, 오른쪽 눈의 연속 2회 깜빡임의 경우 수술부위로의 복강경(5) 접근, 왼쪽 눈의 연속 2회 깜빡임의 경우 시계방향으로 회전 등과 같이 미리 지정될 수 있다.If the analysis information on the eye shape change satisfies the predetermined condition, the process proceeds to step 1130 to generate an operation command for operation of the
그러나 만일 눈 모양 변화에 대한 해석 정보가 미리 지정된 조건을 만족하지 않는다면 단계 910으로 진행한다.
However, if the interpretation information for the eye shape change does not satisfy the predetermined condition, the flow advances to step 910.
도 12는 본 발명의 또 다른 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도이다.12 is a conceptual diagram illustrating a master interface of a surgical robot according to another embodiment of the present invention.
도 12를 참조하면, 마스터 로봇(1)의 마스터 인터페이스(4)는 모니터부(6), 마스터 조종기 및 촬상 수단(1210)을 포함한다. 도시되지는 않았으나, 앞서 설명한 바와 같이 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함할 수 있다.Referring to Fig. 12, the
마스터 인터페이스(4)의 모니터부(6)는 도시된 바와 같이 하나 이상의 모니터들로 구성될 수 있으며, 각 모니터에 수술시 필요한 정보(예를 들어, 복강경(5)에 의해 촬영된 영상, 환자의 생태 정보 등)들이 개별적으로 표시되도록 할 수 있다. 물론, 모니터의 수량은 표시를 요하는 정보의 유형이나 종류 등에 따라 다양하게 결정될 수 있다. The
모니터부(6)를 통해 표시되는 환자의 생태 정보(예를 들어, 맥박, 호흡, 혈압, 체온 등)는 영역별로 나뉘어져 출력될 수도 있으며, 이러한 생체 정보는 슬레이브 로봇(2)에 구비된 생체 정보 측정 유닛에 의해 측정되어 마스터 로봇(1)으로 제공될 수 있다.The biometric information of the patient displayed through the
촬상 수단(1210)은 비접촉식으로 수술자의 모습(예를 들어, 얼굴 영역)을 촬영하기 위한 수단이다. 촬상 수단(1210)은 예를 들어 이미지 센서를 포함하는 카메라 장치로 구현될 수 있다.The imaging means 1210 is means for photographing the appearance (for example, a face region) of the operator in a non-contact manner. The image pickup means 1210 may be embodied as a camera device including, for example, an image sensor.
촬상 수단(1210)에 의해 촬영된 영상은 복강경 조작 유닛(1200, 도 13a 참조)으로 제공되고, 복강경 조작 유닛(1200)은 해당 영상의 해석을 통해 피사체에 대한 변화량 정보를 이용하여 복강경(5)의 회전, 이동 조작이 수행되도록 하거나 영상의 확대/축소 조작이 수행되도록 제어한다.The
또한, 마스터 인터페이스(4)는 수술자가 양손에 각각 파지되어 조작할 수 있도록 마스터 조종기를 구비한다. 마스터 조종기는 두 개 이상의 핸들(10)로 구현될 수 있고, 수술자의 핸들(10) 조작에 따른 조작신호가 슬레이브 로봇(2)으로 전송되어 로봇 암(3)이 제어된다. 수술자의 핸들(10) 조작에 의해 로봇 암(3)의 위치 이동, 회전, 절단 작업 등의 수술 동작이 수행될 수 있다.In addition, the
예를 들어, 핸들(10)은 메인 핸들과 서브 핸들을 포함하여 구성될 수 있고, 수술자는 메인 핸들만으로 다자유도를 가지어 구동되도록 구현된 슬레이브 로봇(2)의 로봇 암(3)이나 복강경(5) 등을 조작하거나, 서브 핸들을 조작하여 동시에 복수의 수술 장비가 실시간 조작되도록 할 수도 있다. 물론, 마스터 조종기는 핸들 형상으로 제한되지 않으며, 네트워크를 통해 로봇 암(3)의 동작을 제어할 수 있는 형태이면 아무런 제한 없이 적용될 수 있다.For example, the
슬레이브 로봇(2)은 환자를 수술하기 위하여 하나 이상으로 이용될 수 있으며, 수술 부위가 표시부(6)를 통해 확인할 수 있는 영상(즉, 화상 이미지)로 표시되도록 하기 위한 복강경(5)은 독립된 슬레이브 로봇(2)으로 구현될 수도 있다. 또한, 앞서 설명된 바와 같이, 본 발명의 실시예들은 복강경 이외의 다양한 수술용 내시경(예를 들어, 흉강경, 관절경, 비경 등)이 이용되는 수술들에 범용적으로 사용될 수 있다.
The
도 13a는 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 구성을 개략적으로 나타낸 블록 구성도이고, 도 13b는 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 동작 개념을 나타낸 도면이며, 도 14 및 도 15는 각각 본 발명의 또 다른 실시예에 따른 복강경 조작을 위한 안면 움직임을 예시한 도면이다.FIG. 13A is a block diagram schematically showing the configuration of a laparoscopic operation unit according to another embodiment of the present invention, FIG. 13B is a view showing an operation concept of a laparoscopic operation unit according to still another embodiment of the present invention, 14 and 15 are diagrams illustrating facial movements for laparoscopic operation in accordance with another embodiment of the present invention, respectively.
도 13을 참조하면, 복강경 조작 유닛(1200)은 저장부(1220), 각도 및 거리 산출부(1230), 조작 명령 생성부(1240) 및 전송부(1250)를 포함한다. 도시된 구성 요소들 중 하나 이상은 소프트웨어 프로그램으로 구현되거나 하드웨어 및 소프트웨어 프로그램의 조합으로 구성될 수 있다. 또한, 도시된 하나 이상의 구성 요소는 생략될 수 있다.13, the
저장부(1220)에는 촬상 수단(1210)에 의해 촬영된 영상 이미지, 각도 및 거리 산출부(1230)에 의해 산출된 변위량 정보를 저장한다. The
변위량 정보는 예를 들어, 산출 주기에서 연속된 두 장의 영상 이미지를 이용하여 산출된 두 눈의 연장선과 화면 중심선(즉, 영상 이미지의 가로 및 세로 중심점을 지나는 가로선)간의 내각 및 회전 방향에 관한 정보, 얼굴 내의 기준점간의 이동 거리 정보, 두 눈의 중심점간의 간격 변화량 정보 등이 포함될 수 있다.The displacement amount information includes, for example, information about the internal angle between the extension line of two eyes calculated using two consecutive images in the calculation cycle and the screen center line (i.e., the horizontal line passing through the horizontal and vertical center points of the image) Movement distance information between the reference points in the face, information on the distance variation between the center points of the two eyes, and the like.
물론 변위량 정보 등을 산출하기 위해 연속된 두 장의 영상 이미지가 이용되도록 제한되지는 않으며, 현재의 영상 이미지와 그 이전에 임의의 시점에서 촬영된 영상 이미지가 이용될 수도 있음은 당연하다. 예를 들어, n-3번째 촬영된 영상 이미지, n-2번째 촬영된 영상 이미지, n-1번째 촬영된 영상 이미지, 현재 시점인 n번째 촬영된 영상 이미지가 존재하는 경우, 해석시 이용되는 영상 이미지의 촬영 주기가 3인 경우 n-3번째 촬영된 영상 이미지와 n번째 촬영된 영상 이미지를 이용하여 변위량 정보 등이 산출될 수 있을 것이다. 이러한 원칙은 별도의 설명을 생략할지라도 변위량 정보뿐 아니라 각도 및 거리 산출 등의 경우에도 동일하게 적용될 수 있음은 당연하다. 다만, 본 명세서에서는 설명 및 이해의 편의를 위해 특정 정보의 생성을 위한 영상 이미지 해석시 현재 촬영된 영상 이미지와 직전에 촬영된 영상 이미지가 이용되는 경우를 예로 들어 설명한다.Of course, in order to calculate displacement amount information and the like, it is needless to say that the two consecutive image images are not limited to be used, and that the current image image and the image image photographed at an arbitrary point in time before the current image image may be used. For example, when there is an n-3th captured image, an (n-2) th captured image, an (n-1) th captured image, and an nth photographed image at the current time, The displacement amount information and the like can be calculated using the (n-3) -th captured image and the (n-1) -th captured image when the imaging period of the image is three. It is natural that this principle can be applied equally to angle and distance calculation as well as displacement information, although a separate explanation is omitted. In this specification, for the sake of explanation and understanding, a description will be given of an example in which a currently captured image and a previously captured image are used in the analysis of a video image for generating specific information.
각도 및 거리 산출부(1230)는 촬상 수단(1210)에 의해 촬영되어 저장부(1220)에 저장된 영상 이미지들 중 산출 주기에서 연속된 두 장의 영상 이미지(즉, 현재 촬영된 영상 이미지와 직전에 촬영된 영상 이미지)를 이용하여 영상 이미지들간의 변위량 정보를 생성하여 저장부(1220)에 저장한다. The angle and
여기서, 각도 및 거리 산출부(1230)는 연속된 두 장의 영상 이미지를 이용하여 산출된 두 눈의 연장선과 화면 중심선간의 내각 및 회전 방향에 관한 정보, 얼굴 내의 기준점간의 이동 거리 정보, 두 눈의 중심점간의 간격 변화량 정보 등을 생성할 수 있다. Here, the angle and
이하, 각도 및 거리 산출부(1230)에서 변위량 정보를 생성하는 방법에 대해 설명한다. 다만, 영상 이미지를 해석하여 얼굴 영역, 눈의 위치 및 기준점(예를 들어, 코의 중심점)의 위치를 인식하는 영상 해석 기법은 당업자에게 자명한 사항이므로, 이에 대한 구체적인 설명은 생략하기로 한다. Hereinafter, a method of generating the displacement amount information in the angle and
먼저, 얼굴의 회전과 관련한 정보를 생성하기 위하여, 도 14에 도시된 바와 같이 각도 및 거리 산출부(1230)는 촬상 수단(1210)에 의해 촬영되어 저장부(1220)에 저장된 영상 이미지에서 양안(兩眼, 두 눈)의 연장선과 화면 중심선과의 내각의 크기를 산출하고, 이전의 영상 이미지에 대해 해석된 내각의 크기와 대비함으로써 회전 방향 및 회전 각도에 대한 정보를 생성한다.14, the angle and
즉, 각도 및 거리 산출부(1230)는 도 14의 (b) 및 (c)에 예시된 바와 같이, 촬상 수단(1210)에 의해 촬영되어 생성된 영상 이미지에서 양안의 위치 및 형상을 예를 들어 엣지 검출 기법 등의 영상 처리 기법에 의해 인식함으로써 각 눈의 중심점을 획득한 후, 각 눈의 중심점을 연결하는 가상의 직선과 화면 중심선이 이루는 내각의 크기 및 안면의 회전 방향을 산출한다. 예를 들어, 직전에 생성된 영상 이미지가 (a)의 원시 영상 이미지이고, 현재 생성된 영상 이미지가 (b)와 같은 영상 이미지라면 각 영상 이미지에 대해 화면 중심선과 두 눈의 중심점을 연결한 직선이 이루는 교점이 얼굴의 어느 위치에 형성되었는지 및 이에 따른 내각의 크기를 상호 비교함으로써 얼굴이 어느 방향으로 어느 각도만큼 회전하였는지 인식할 수 있게 된다. That is, the angle and
다음으로, 얼굴의 평행 이동에 관한 정보를 생성하기 위해, 각도 및 거리 산출부(1230)는 촬상 수단(1210)에 의해 촬영되어 저장부(1220)에 저장된 영상 이미지에서 얼굴 내의 미리 설정된 기준점(예를 들어, 코의 중심점)이 영상 이미지의 가로 및 세로 중심점으로부터 어느 정도 이동되었는지를 검출한다. Next, in order to generate information on the parallel movement of the face, the angle and
즉, 도 14의 (d)와 같은 경우, 점선으로 표시된 원시 영상 이미지에서는 기준점이 영상 이미지의 중심점과 일치한 상태이지만 현재의 영상 이미지에서는 기준점이 영상 이미지의 중심점에서 오른쪽으로 임의의 거리만큼 평행 이동한 것으로 인식할 수 있다. 물론, 평행 이동의 방향은 상하좌우 등으로 다양할 수 있음은 당연하다.14 (d), in the original image image indicated by the dotted line, the reference point coincides with the center point of the image image, but in the current image image, the reference point moves parallel to the right side from the center point of the image image to the right . Of course, it is natural that the direction of the parallel movement may be varied in up, down, left, and right directions.
다음으로, 화면 확대 및 축소에 관련한 정보를 생성하기 위하여, 각도 및 거리 산출부(1230)는 촬상 수단(1210)에 의해 촬영되어 저장부(1220)에 저장된 영상 이미지에서 양안의 거리(도 15의 d1, d2 또는 d3)를 산출하고, 산출된 거리가 직전에 촬영되어 저장된 영상 이미지에서의 양안의 거리보다 증가하였는지(즉, 촬상 수단(1210)에 근접하는 방향으로 수술자의 얼굴이 이동) 아니면 감소하였는지(즉, 촬상 수단(1210)에 멀어지는 방향으로 수술자의 얼굴이 이동)를 연산한다. 양안의 거리는 예를 들어 각 눈의 중심점간의 거리이거나, 각 눈의 외곽선간의 최단 거리 등으로 다양하게 지정 및 적용될 수 있다. Next, in order to generate information related to the enlargement and reduction of the screen, the angle and
조작 명령 생성부(1240)는 각도 및 거리 산출부(1230)에 의해 산출된 변위량 정보를 이용하여 복강경(5)의 위치(예를 들어, 이동, 회전 등) 및 영상 배율(예를 들어, 확대, 축소 등)을 제어하기 위한 조작명령을 생성한다. The manipulation
만일, 수술자의 얼굴이 임의의 방향으로 회전된 것으로 인식되면 조작 명령 생성부(1240)는 복강경(5)의 회전을 위한 조작 명령을 생성할 것이고, 수술자의 얼굴이 임의의 방향으로 평행 이동된 것으로 인식되면 조작 명령 생성부(1240)는 복강경(5)을 상응하는 방향 및 거리만큼 이동시키기 위한 조작 명령을 생성할 것이며, 수술자의 얼굴이 촬상 수단(1210) 방향으로 가까워지거나 멀어진 것으로 인식되면 조작 명령 생성부(1240)는 복강경(5)에 의해 촬영되어 생성되는 영상 이미지의 배율을 확대하거나 축소하도록 하는 조작 명령을 생성할 것이다. If the operator's face is recognized as being rotated in an arbitrary direction, the operation
물론, 조작 명령 생성부(1240)에 의해 생성되는 조작 명령은 복강경의 회전, 이동 및 배율 조정 등 중 둘 이상에 대한 제어가 가능하도록 생성될 수도 있음은 당연하다.Of course, it is needless to say that the operation command generated by the operation
전송부(1250)는 조작 명령 생성부(1240)에 의해 생성된 조작 명령을 슬레이브 로봇(2)으로 전송하여 복강경(5)의 위치 등에 대해 조작되도록 하고 이에 따른 영상이 제공되도록 한다. 전송부(1250)는 로봇 암(3)의 조작을 위한 조작명령을 전송하기 위해 마스터 로봇(1)에 이미 구비된 전송부일 수도 있다.The
또한, 도 13a에는 도시되지 않았으나 촬상 수단(1210)을 통해 현재 촬영되는 영상 이미지 내의 사용자가 인증된 사용자인지를 판단하기 위한 판단부를 더 포함할 수도 있다. 13A, it may further include a determination unit for determining whether the user in the image image currently photographed through the
즉, 판단부는 현재 촬영된 영상 이미지 내의 얼굴 모습과 인증된 사용자로서 저장부(1220)에 미리 저장된 영상 이미지 내의 얼굴 모습이 오차 범위 내에서 일치하는지 여부를 판단한 후, 일치하는 경우에만 전술한 방식에 따른 복강경 조작이 가능하도록 할 수 있다. 물론, 판단부가 인증된 사용자인지 여부를 판단함에 있어 얼굴의 모양이라는 특징 요소뿐 아니라 눈/눈썹/코/입의 위치 및 형상, 눈동자 색상, 피부 색상, 피부 주름, 홍채 등의 특징 요소 중 하나 이상을 이용할 수도 있음은 당연하다.That is, the determination unit determines whether or not the face appearance in the currently photographed image matches the face appearance in the video image stored in advance in the
이와 같이, 판단부를 추가적으로 구비함으로써, 촬상 수단(1210)을 통해 촬상된 영상 이미지 내에 복수의 사람이 촬영되더라도 수술자의 얼굴 모습 변화에만 연동하여 복강경 조작이 가능하도록 하는 효과가 있다.Thus, even if a plurality of people are photographed in the image captured through the imaging means 1210, the laparoscopic operation can be performed only by changing the shape of the face of the operator.
또한, 판단부는 영상 이미지 내의 얼굴 모습이 미리 지정된 영역에 위치하는지 또한 얼굴의 크기가 미리 지정된 크기 이상인지 여부를 판단하여 전술한 복강경 조작 유닛(1200)이 기능하도록 할 것인지 여부를 더 판단할 수 있다. 물론, 판단부는 얼굴의 크기가 미리 지정된 크기 이상인지를 판단하는 대신 얼굴의 크기가 미리 지정된 크기 조건에 해당되는지 여부를 판단할 수도 있다. 이는 수술자가 얼굴을 너무 가까이 들이대는 경우에도 오동작의 원인이 될 수 있기 때문이다.In addition, the determination unit may further determine whether the facial feature in the video image is located in a predetermined area and whether the size of the facial feature is greater than or equal to a predetermined size so that the above-described
예를 들어, 도 13b에 예시된 바와 같이, 판단부는 촬상 수단(1210)에 의해 촬영된 영상 이미지가 표시되는 표시 영역(1310) 내에서 미리 지정된 영역(1320) 내에 얼굴이 위치하는지 여부를 판단하여 복강경 조작 유닛(1200)이 기능하도록 할 것인지 여부를 결정할 수 있다. 물론, 얼굴이 미리 지정된 영역(1320) 전부를 포함하도록 위치되도록 제한되지는 않으며, 얼굴의 일부라도 미리 지정된 영역(1320)에 포함되기만 하면 충분한 것으로 미리 설정될 수도 있을 것이다.For example, as illustrated in FIG. 13B, the determination unit determines whether or not a face is located in a
만일, 얼굴이 미리 지정된 영역(1320) 내에 위치하는 경우라면 복강경 조작 유닛(1200)이 기능하도록 처리할 수 있고, 그렇지 않은 경우에는 복강경 조작 유닛(1200)이 기능하지 않도록 처리할 수 있을 것이다.If the face is located within the predetermined
또한, 도 13b에 예시된 바와 같이, 판단부는 영상 이미지 내에 포함된 얼굴의 크기가 미리 지정된 영역(1320)의 크기보다 큰지 여부를 판단하여 복강경 조작 유닛(1200)이 기능하도록 할 것인지 여부를 결정할 수 있다. 얼굴의 크기가 미리 지정된 영역(1320)의 크기보다 큰지 여부는 예를 들어 얼굴 외곽선 검출에 의해 계산된 면적이 미리 지정된 영역(1320)의 크기와 어떤 관계를 가지는지 여부로서 판단될 수 있다. 이 경우, 전술한 바와 같이 얼굴의 크기가 지정된 임계값보다는 작은지 여부가 더 판단될 수 있다.13B, the determination unit may determine whether or not the size of the face included in the image image is larger than the size of the
만일 (a)에 도시된 바와 같이 얼굴의 크기가 미리 지정된 영역의 크기보다 작은 경우라면 수술자가 아닌 마스터 인터페이스(4)에서 멀리 위치하는 제3의 인물이거나 수술자일지라도 마스터 인터페이스(4)에서 멀리 위치하여 수술 동작을 진행하지 않는 중이므로 복강경 조작 유닛(1200)이 기능하지 않도록 할 수 있을 것이다. If the size of the face is smaller than the size of the predefined area as shown in (a), the third person who is far away from the
이와 같이, 판단부는 정해진 크기 이상의 얼굴이 미리 지정된 영역(1320)에 부합하도록 표시되는 경우에만 복강경 조작 유닛(1200)이 기능하도록 함으로써, 수술자가 아닌 제3의 인물의 얼굴 움직임이나 수술동작과 무관한 움직임에 의해 복강경(5)이 오조작(誤操作)됨을 방지할 수 있다. Thus, by making the
또한, 판단부는 촬상 수단(1210)에 의해 촬영된 영상 이미지 내에서의 얼굴 움직임이 일정 시간 유지되는 경우에만 전술한 복강경 조작 유닛(1200)이 기능하도록 처리할 수도 있다. 예를 들어, 수술자가 전면을 주시하는 정상 상태에서 고개를 오른쪽으로 일정 각도 기울인 후 일정시간(예를 들어, 2초) 동안 유지함이 인식된 상태에서만 복강경 조작 유닛(1200)은 복강경이 오른쪽으로 해당 각도만큼 회전 또는/및 이동하도록 하는 조작명령을 생성하여 전송하도록 미리 설정될 수 있을 것이다. 물론, 판단부가 얼굴 움직임이 일정 시간 유지되는 경우뿐 아니라 얼굴 움직임이 미리 지정된 범위를 넘어설 때 전술한 복강경 조작 유닛(1200)이 기능하도록 처리할 수도 있음은 당연하다. In addition, the determination unit may process the above-described
이를 통해, 수술자가 의식적 또는 무의식적으로 옆을 돌아보거나 움직이거나 하는 등의 행동을 취한 경우, 환자의 복부에 삽입된 복강경(5)이 수술자의 움직임에 따라 급격히 조작되는 위험을 방지할 수 있다. 이는, 예를 들어 앞서 설명한 접촉식 구조에서 얼굴을 떼었을 때 수술자의 움직임이 슬레이브 로봇(2)의 전달됨을 차단하여 환자의 안전을 확보하는 방법과 유사하게 처리될 수 있을 것이다.Accordingly, when the operator consciously or unconsciously turns around or moves, it is possible to prevent the
또한, 판단부는 촬상 수단(1210)에 의해 촬영된 영상 이미지 내에서의 얼굴내의 특정 부위 변화(예를 들어, 눈 깜빡임)가 인식되는 경우, 조작 명령 생성부(1240)로 상응하는 조작 명령을 생성하여 슬레이브 로봇(2)으로 전송하도록 요청하는 기능을 더 수행할 수도 있다. 특정 부위 변화의 경우 어떤 조작 명령이 생성되어야 하는지에 대한 정보는 저장부(1220)에 미리 저장될 수 있다.In addition, the determination unit may generate a corresponding operation command to the operation
예를 들어, 수술 도중 촬상 수단(1210)에 의해 촬영된 영상 이미지가 연기로 흐려져 피사체가 정확히 보이지 않는 경우 등에서 수술자가 왼쪽 눈만을 깜빡이면 조작 명령 생성부(1240)는 복강 내의 이산화탄소 배출을 위해 밸브를 열도록 하는 조작 명령을 생성하여 슬레이브 로봇(2)으로 전송할 수 있을 것이다. 다른 예로서, 수술 도중 수술자가 오른쪽 눈만을 깜빡이면 마스터 인터페이스(4)의 모니터(6)에 현재 수술중인 부위에 대한 수술 이전 영상이 증강현실로 표시되도록 하거나, 사라지도록 하기 위한 조작 명령을 생성하여 출력할 수도 있을 것이다.For example, if the operator blinks only the left eye when the image captured by the imaging means 1210 is blurred by smoke and the subject is not seen correctly during operation, the operation
물론, 판단부는 영상 이미지 내에서의 얼굴내의 특정 부위 변화를 인식하여 조작 명령을 생성하도록 지시하는 방법 외에, 고개를 상하로 끄덕이거나 가로젓는 동작을 영상 해석 기법을 이용하여 인식하고 상응하는 조작 명령이 생성되도록 지시할 수도 있음은 당연하다. 예를 들어, 수술자가 머리 끄덕이는 동작을 취한 것으로 인식되면 긍정 반응으로 인식되도록 하고, 수술자가 머리를 가로젓는 동작을 취한 것으로 인식되면 부정 반응으로 인식되도록 할 수 있을 것이다. Of course, in addition to the method of instructing the generation of an operation command by recognizing a specific region change in a face in a video image, the determination unit recognizes the operation of nodding or transposing the head by using an image analysis technique, It is of course also possible to instruct to be generated. For example, if the operator is recognized as having a nodding action, he or she may be recognized as an affirmative reaction.
이를 이용하여, 특정 상황에서 수술용 로봇이 수술자에게 어떤 동작의 수행에 대한 예/아니오에 대한 선택을 요구하는 경우 수술자는 콘솔이나 조작 핸들에 구비된 버튼을 누를 필요없이 머리를 끄덕이거나 가로젓는 행위만으로도 수술용 로봇에게 응답을 제공할 수 있게 된다.Using this, if the surgical robot requires the operator to select yes / no to perform an operation in a specific situation, the operator may nod or steer his head without pressing a button provided on the console or the manipulation handle It is possible to provide a response to the surgical robot alone.
또한, 본 실시예에 따른 비접촉 방식의 복강경 제어 방법은 3차원 복강경이 적용되는 경우 얼굴, 눈의 위치에 따라 3차원 영상 처리를 위한 좌/우 영상이 겹치는 정도의 조절도 가능하다.
Further, in the non-contact laparoscopic control method according to the present embodiment, when the three-dimensional laparoscope is applied, the degree of overlapping of the left / right images for three-dimensional image processing can be adjusted according to the positions of the face and eyes.
도 16은 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 동작 과정을 나타낸 순서도이다.16 is a flowchart illustrating an operation of the laparoscopic operation unit according to another embodiment of the present invention.
도 16을 참조하면, 복강경 조작 유닛(1200)은 단계 1610에서 수술자의 얼굴이 촬영된 영상 이미지를 해석하여 얼굴 영역, 눈의 위치 및 기준점(예를 들어, 코의 중심점)의 위치를 검출한다.Referring to FIG. 16, the
이어서, 단계 1620에서 복강경 조작 유닛(1200)은 해당 영상 이미지에 대해 두 눈의 연장선과 화면 중심선간의 내각 및 회전 방향을 산출하고, 직전에 촬영된 영상 이미지에 대해 산출된 내각 및 회전 방향과의 차이를 이용하여 현재 수술자의 얼굴 회전 방향 및 회전 각도를 산출한다.Then, in
또한, 단계 1630에서 복강경 조작 유닛(1200)은 해당 영상 이미지에 대해 얼굴 내의 기준점이 직전에 촬영된 영상 이미지에서의 얼굴 기준점간의 거리 변화량을 산출한다.In addition, in
또한, 단계 1640에서 복강경 조작 유닛(1200)은 해당 영상 이미지에 대해 두 눈의 중심점간의 거리를 산출하고, 직전에 촬영된 영상 이미지에 대해 산출된 두 눈의 중심점간의 거리를 참조하여 두 눈간의 간격 변화량을 산출한다.In addition, in
전술한 단계 1620 내지 단계 1640은 순차적 또는 비순차적으로 수행되거나, 동시에 수행될 수도 있다.The above-described
단계 1650에서 복강경 조작 유닛(1200)은 단계 1620 내지 단계 1640에 의해 산출된 변위량 정보에 상응하는 조작 명령을 생성하고, 복강경(5) 조작을 위해 슬레이브 로봇(2)으로 제공한다.
In
도 17은 본 발명의 또 다른 실시예에 따른 도 16의 단계 1610을 구체화하여 나타낸 순서도이다.FIG. 17 is a flowchart illustrating a
앞서 도 16의 단계 1610은 복강경 조작 유닛(1200)이 수술자의 얼굴이 촬영된 영상 이미지를 해석하여 얼굴 영역, 눈의 위치 및 기준점(예를 들어, 코의 중심점)의 위치를 검출하는 단계에 관한 것이다.
단계 1610이 구체화되어 예시된 도 17을 참조하면, 복강경 조작 유닛(1200)은 단계 1710에서 수술자의 얼굴이 촬영된 영상 이미지를 제공받고, 단계 1720으로 진행하여 해당 영상 이미지를 해석하여 얼굴 영역, 눈의 위치 및 기준점(예를 들어, 코의 중심점)의 위치를 검출한다.17, the
이어서, 복강경 조작 유닛(1200)은 단계 1730에서 수술자의 해당 움직임 상태가 일정 시간 유지되는지 여부를 판단한다. Then, in step 1730, the
만일 해당 움직임이 일정 시간 유지된다면 복강경(5) 조작을 위한 것으로 인식하여 단계 1620 내지 단계 1640으로 진행한다. If the movement is maintained for a predetermined time, it is recognized that the operation is for
그러나 만일 해당 움직임이 일정 시간 유지되지 않는다면 복강경(5) 조작과 무관한 움직임인 것으로 인식하여 단계 1710으로 다시 진행한다.However, if the movement is not maintained for a predetermined time, it is recognized that the movement is irrelevant to the operation of the
이와 같이, 단계 1610은 복강경(5) 조작 여부의 정확성을 가지기 위해 복수의 단계의 구체화될 수 있다.As such,
이외에도, 단계 1610은 다양한 방식으로 구체화될 수 있다.In addition,
일 예로, 제공받은 영상 이미지 내의 얼굴 모습이 인증된 사용자로서 저장부(1220)에 미리 지정된 얼굴 모습과 오차범위 내에서 일치하는지 여부를 판단하여, 오차범위 내에서 일치하는 경우에만 단계 1620 내지 단계 1640으로 진행하도록 구체화될 수 있다.For example, it is determined whether or not the facial image in the provided image matches the facial image pre-designated in the
다른 예로, 제공받은 영상 이미지 내의 얼굴 모습이 미리 지정된 영역에 위치하는지 또한 얼굴의 크기가 미리 지정된 크기 이상이고 또한 미리 지정된 크기 이하인지 여부를 판단하여, 얼굴의 크기가 지정된 크기 이상이고 지정된 영역에 부합하도록 위치하는 경우에만 단계 1620 내지 단계 1640으로 진행하도록 구체화될 수 있다.As another example, it is determined whether the face image in the provided image is located in a predetermined area and whether the size of the face is larger than a predetermined size and smaller than a predetermined size, The process proceeds from
이외에도 다양한 방식으로 단계 1610은 구체화될 수 있으며, 하나 이상의 실시예들이 복합적으로 포함되어 구체화될 수도 있음은 당연하다.
It is to be understood that
상술한 복강경 조작 방법은 소프트웨어 프로그램 등으로 구현될 수도 있다. 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.The laparoscopic manipulation method described above may be implemented by a software program or the like. The code and code segments that make up the program can be easily deduced by a computer programmer in the field. In addition, the program is stored in a computer readable medium, readable and executed by a computer, and implements the method. The information storage medium includes a magnetic recording medium, an optical recording medium, and a carrier wave medium.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the appended claims. It will be understood that the invention may be varied and varied without departing from the scope of the invention.
1: 마스터 로봇
2: 슬레이브 로봇
3: 로봇 암
4: 마스터 인터페이스
5: 복강경
6: 모니터부
10: 핸들
20: 텔레스코픽 표시부
210: 접면부
220: 접안부
230, 240: 지지부
250: 유동부
310: 움직임 감지부
320, 1240 : 조작 명령 생성부
330, 1250 : 전송부
510: 접촉 감지부
520: 원상태 복원부
710: 카메라부
720, 1220: 저장부
730: 아이트래커부
740: 제어부
1200 : 복강경 조작 유닛
1230 : 각도 및 거리 산출부1: Master robot 2: Slave robot
3: Robot arm 4: Master interface
5: Laparoscope 6: Monitor section
10: Handle 20: Telescopic display
210: a contact portion 220: an eyepiece portion
230, 240: Support part 250:
310:
330, 1250: Transmission unit 510:
520: restoration unit 710: camera unit
720, 1220: storage unit 730: eye tracker unit
740: control unit 1200: laparoscopic operation unit
1230: Angle and distance calculating unit
Claims (13)
상기 비젼부에 의해 획득된 영상을 시각(視覺) 정보로 제공하기 위한 접안부;
상기 접안부를 통해 보여지는 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 아이트래커부; 및
상기 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하고, 만족하는 경우 상기 비젼부를 조작하기 위한 조작명령을 출력하는 조작 명령 생성부를 포함하는 수술용 로봇.
A surgical robot for controlling at least one of a position of a vision unit and an image input angle using an operation signal,
An eyepiece unit for providing an image obtained by the vision unit as vision information;
An eye tracker unit for generating analysis information by analyzing at least one of a position change of a pupil viewed through the eyepiece, a change of an eye shape, and a viewing direction; And
And an operation command generation unit that determines whether or not the analysis information satisfies a predetermined change as an arbitrary operation command, and outputs an operation command for operating the vision unit when satisfied.
상기 아이트래커부는,
상기 수술용 로봇의 내측에서 상기 접안부를 향해 촬상하여 이미지 데이터를 생성하는 카메라 유닛;
상기 생성된 이미지 데이터를 저장하는 저장 유닛; 및
순차적으로 생성된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 아이트래커 유닛을 포함하는 것을 특징으로 하는 수술용 로봇.
The method according to claim 1,
The eye-
A camera unit for imaging the inside of the surgical robot toward the eyepiece unit to generate image data;
A storage unit for storing the generated image data; And
And an eye tracker unit for generating analysis information by analyzing at least one of a position change of the pupil, a change of the eye shape, and a viewing direction by comparing and determining image data sequentially generated in chronological order.
상기 접안부는 상기 수술용 로봇의 콘솔(console) 패널의 일부로서 형성된 접면부에 천공된 것을 특징으로 하는 수술용 로봇.
The method according to claim 1,
Wherein the eyepiece is perforated in a contact portion formed as a part of a console panel of the surgical robot.
상기 조작명령이 상기 비젼부의 직선 조작 및 회전 조작 중 하나 이상에 관한 것인 경우, 상기 수술용 로봇의 조작 핸들 방향이 그에 상응하도록 변경 조작되는 것을 특징으로 하는 수술용 로봇.
The method according to claim 1,
Wherein the manipulation handle direction of the surgical robot is changed so as to correspond to at least one of a straight manipulation and a rotation manipulation of the vision unit.
상기 비젼부는 현미경, 내시경 중 어느 하나인 것을 특징으로 하는 수술용 로봇.
The method according to claim 1,
Wherein the vision unit is any one of a microscope and an endoscope.
상기 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상인 것을 특징으로 하는 수술용 로봇.
6. The method of claim 5,
Wherein the endoscope is at least one of a laparoscope, a thoracoscopic, an arthroscope, a non-diameter, a bladder, a rectum, a duodenal, a mediastinum, and a heart.
접안부를 통해 보여지는 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 단계;
상기 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하는 단계; 및
만족하는 경우, 상기 비젼부의 위치 및 영상 입력 각도 중 하나 이상에 대한 조작명령을 생성하여 출력하는 단계를 포함하는 비젼부 조작 방법.
An operating method for controlling at least one of a position and an image input angle of a vision unit of a surgical robot,
Generating analysis information by analyzing at least one of a position change of a pupil seen through an eyepiece, a change of an eye shape, and a viewing direction;
Determining whether the analysis information satisfies a predetermined change as an arbitrary operation command; And
And generating and outputting an operation command for at least one of a position of the vision unit and an image input angle when the image is satisfactory.
상기 해석 정보를 생성하는 단계는,
상기 수술용 로봇의 내측에서 상기 접안부를 향해 촬상한 이미지 데이터를 생성하여 저장하는 단계; 및
상기 저장된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 단계를 포함하는 비젼부 조작 방법.
8. The method of claim 7,
Wherein the step of generating the analysis information comprises:
Generating and storing image data imaged from the inside of the surgical robot toward the eyepiece; And
And comparing the stored image data with each other in chronological order to generate analysis information analyzing at least one of a position change of a pupil, a change of an eye shape, and a viewing direction.
상기 접안부는 상기 수술용 로봇의 콘솔(console) 패널의 일부로서 형성된 접면부에 천공된 것을 특징으로 하는 비젼부 조작 방법.
8. The method of claim 7,
Wherein the eyepiece is perforated in a contact portion formed as a part of a console panel of the surgical robot.
상기 접안부는 상기 비젼부에 의해 획득된 영상이 시각(視覺) 정보로서 보여지도록 빛 투과성 재질의 재료로 형성된 접면부인 것을 특징으로 하는 비젼부 조작 방법.
8. The method of claim 7,
Wherein the eyepiece portion is an eyepiece portion formed of a light-transmitting material so that an image obtained by the vision portion is viewed as vision information.
상기 조작명령이 상기 비젼부의 직선 조작 및 회전 조작 중 하나 이상에 관한 것인 경우, 상기 수술용 로봇의 조작 핸들 방향이 그에 상응하도록 변경 조작되는 것을 특징으로 하는 수술용 로봇.
8. The method of claim 7,
Wherein the manipulation handle direction of the surgical robot is changed so as to correspond to at least one of a straight manipulation and a rotation manipulation of the vision unit.
상기 비젼부는 현미경, 내시경 중 어느 하나인 것을 특징으로 비젼부 조작 방법.
8. The method of claim 7,
Wherein the vision unit is any one of a microscope and an endoscope.
상기 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상인 것을 특징으로 하는 비젼부 조작 방법.13. The method of claim 12,
Wherein the endoscope is at least one of a laparoscope, a thoracoscopic, an arthroscope, a nystagmus, a bladder, a rectum, a duodenal, a mediastinum, and a heart.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150149046A KR101698961B1 (en) | 2015-10-26 | 2015-10-26 | Surgical robot system and laparoscope handling method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150149046A KR101698961B1 (en) | 2015-10-26 | 2015-10-26 | Surgical robot system and laparoscope handling method thereof |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100108156A Division KR20110049703A (en) | 2009-11-04 | 2010-11-02 | Surgical robot system and laparoscope handling method thereof |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160134174A Division KR101709911B1 (en) | 2016-10-17 | 2016-10-17 | Surgical robot system and laparoscope handling method thereof |
KR1020160134183A Division KR101706994B1 (en) | 2016-10-17 | 2016-10-17 | Surgical robot system and laparoscope handling method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150126579A true KR20150126579A (en) | 2015-11-12 |
KR101698961B1 KR101698961B1 (en) | 2017-01-24 |
Family
ID=54609982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150149046A KR101698961B1 (en) | 2015-10-26 | 2015-10-26 | Surgical robot system and laparoscope handling method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101698961B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070027541A (en) * | 2004-04-01 | 2007-03-09 | 윌리엄 씨. 토치 | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
WO2007097738A2 (en) * | 2005-01-26 | 2007-08-30 | Wollf Robin Q | Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system |
KR20090080206A (en) * | 2008-01-21 | 2009-07-24 | 동우 화인켐 주식회사 | Photoresist stripper composition and exfoliation method of a photoresist using the same |
KR20100023086A (en) * | 2008-08-21 | 2010-03-04 | (주)미래컴퍼니 | 3d display system of surgical robot and control method thereof |
-
2015
- 2015-10-26 KR KR1020150149046A patent/KR101698961B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070027541A (en) * | 2004-04-01 | 2007-03-09 | 윌리엄 씨. 토치 | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
WO2007097738A2 (en) * | 2005-01-26 | 2007-08-30 | Wollf Robin Q | Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system |
KR20090080206A (en) * | 2008-01-21 | 2009-07-24 | 동우 화인켐 주식회사 | Photoresist stripper composition and exfoliation method of a photoresist using the same |
KR20100023086A (en) * | 2008-08-21 | 2010-03-04 | (주)미래컴퍼니 | 3d display system of surgical robot and control method thereof |
Also Published As
Publication number | Publication date |
---|---|
KR101698961B1 (en) | 2017-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210157403A1 (en) | Operating room and surgical site awareness | |
KR101797169B1 (en) | Control device and method for controlling a robot system by means of gesture control | |
US11534246B2 (en) | User input device for use in robotic surgery | |
KR102117273B1 (en) | Surgical robot system and method for controlling the same | |
JP2021126519A (en) | Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery | |
CN106456251B9 (en) | For the system and method to imaging device and input control device recentralizing | |
US20140194699A1 (en) | Single port surgical robot and control method thereof | |
RU2569699C2 (en) | Advanced controlled robotic surgical system | |
US20090192523A1 (en) | Synthetic representation of a surgical instrument | |
KR20230042149A (en) | Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer | |
EP2480157A1 (en) | Method and system for hand control of a teleoperated minimally invasive slave surgical instrument | |
EP2480156A1 (en) | A master finger tracking device and method of use in a minimally invasive surgical system | |
EP2480158A1 (en) | Method and system for hand presence detection in a minimally invasive surgical system | |
EP2498711A2 (en) | Method and apparatus for hand gesture control in a minimally invasive surgical system | |
KR101706994B1 (en) | Surgical robot system and laparoscope handling method thereof | |
US11703952B2 (en) | System and method for assisting operator engagement with input devices | |
JP2021171657A (en) | Registration of surgical tool with reference array tracked by cameras of extended reality headset for assisted navigation during surgery | |
Yip et al. | Development of an eye-gaze controlled interface for surgical manipulators using eye-tracking glasses | |
KR20110049703A (en) | Surgical robot system and laparoscope handling method thereof | |
KR101114232B1 (en) | Surgical robot system and motion restriction control method thereof | |
KR101114234B1 (en) | Surgical robot system and laparoscope handling method thereof | |
KR101709911B1 (en) | Surgical robot system and laparoscope handling method thereof | |
KR101698961B1 (en) | Surgical robot system and laparoscope handling method thereof | |
KR101683057B1 (en) | Surgical robot system and motion restriction control method thereof | |
KR20150105803A (en) | Three dimension endoscope system using giro sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
A107 | Divisional application of patent | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |