KR20190011137A - Apparatus and method and for controlling surgical visualization system using motion detecting - Google Patents

Apparatus and method and for controlling surgical visualization system using motion detecting Download PDF

Info

Publication number
KR20190011137A
KR20190011137A KR1020170093725A KR20170093725A KR20190011137A KR 20190011137 A KR20190011137 A KR 20190011137A KR 1020170093725 A KR1020170093725 A KR 1020170093725A KR 20170093725 A KR20170093725 A KR 20170093725A KR 20190011137 A KR20190011137 A KR 20190011137A
Authority
KR
South Korea
Prior art keywords
operator
movement
imaging system
surgical
unit
Prior art date
Application number
KR1020170093725A
Other languages
Korean (ko)
Inventor
노태훈
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020170093725A priority Critical patent/KR20190011137A/en
Priority to PCT/KR2018/008339 priority patent/WO2019022464A1/en
Publication of KR20190011137A publication Critical patent/KR20190011137A/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Endoscopes (AREA)

Abstract

A device for controlling a surgical visualizing system is disclosed. The device for controlling a surgical visualizing system using motion detection according to an embodiment of the present invention includes: a photographing unit for photographing a surgical site; a display unit for displaying the image photographed by the photographing unit; a trigger motion recognition unit for detecting a trigger motion of an operator; and a control operation interlocking unit for detecting the motion of the operator and interlocking the motion with the control of the photographing unit only when the trigger motion is a motion satisfying a predetermined condition.

Description

움직임 감지를 이용한 수술 영상화 시스템 제어 장치 및 방법 {Apparatus and method and for controlling surgical visualization system using motion detecting}[0001] The present invention relates to an apparatus and method for controlling a surgical imaging system using motion detection,

본 발명은 움직임 감지를 이용한 수술 영상화 시스템 제어 방법 및 그 장치에 관한 것이다. 보다 자세하게는 수술실에서 사용하는 수술 영상화 시스템을 움직임 감지를 이용하여 제어하는 방법 및 그 방법을 수행하는 장치에 관한 것이다.The present invention relates to a surgical imaging system control method and apparatus using motion detection. And more particularly, to a method for controlling a surgical imaging system used in an operating room by using motion detection and an apparatus for performing the method.

기존의 외과 수술은 피부를 크게 절개한 후 의사가 수술 부위를 직접 눈으로 보면서 수술을 하는 것이 대부분이었다. 그러나 점점 수술 기구와 수술 기술의 발달로 인해 종래의 절개법을 이용한 수술에서 내시경 수술로 대표되는 비디오 보조 수술로 패러다임이 바뀌고 있다.Most of the existing surgeries were performed by the physician who saw the surgical site directly after cutting the skin. However, due to the development of surgical instruments and surgical techniques, the paradigm shifts from surgery using conventional incisions to video - assisted surgery, which is represented by endoscopic surgery.

비디오 보조 수술이란 수술 부위를 촬영한 영상을 의사에게 제공하여 수술을 보조하는 수술 방법을 말한다. 최근에는 수술 부위를 크게 절개하지 않는 최소 침습 수술과 함께 비디오 보조 수술을 이용하여, 수술 부위의 흉터를 최소화하고 환자의 빠른 회복을 돕고 있다.Video assisted surgery is a surgical procedure that assists the surgeon by providing the surgeon with an image of the surgical site. Recently, minimally invasive surgery, which does not incise the surgical site, has been used with video assisted surgery, minimizing the scarring of the surgical site and helping the patient to recover quickly.

다만, 비디오 보조 수술의 가장 큰 단점 중의 하나는 수술을 진행하는 의사 외에 보조자가 옆에서 내시경으로 수술 부위를 비출 수 있도록 내시경을 조작해야 한다는 점이다. 또한 의사가 보고자 하는 부위를 의사를 방해하지 않고 비추도록 조작해야 하며 초점을 지속적으로 맞추어야 한다.However, one of the biggest disadvantages of video assisted surgery is that the assistant must manipulate the endoscope to allow the surgeon to illuminate the surgical site from the side to the endoscope in addition to the surgeon performing the operation. In addition, the area where the doctor wants to see should be manipulated so as not to interfere with the doctor, and the focus must be constantly adjusted.

종래의 절개 부위가 큰 외과 수술 방식이라면 이는 크게 문제가 안 되나 최근에는 최소 침습 수술로 수술을 진행하기 때문에 이와 같은 조작이 쉽지 않다. 즉 하나의 좁은 절개 부위에 여러 개의 수술 기구가 함께 들어가게 되면서 보조자가 수술을 진행하는 의사를 도와서 원하는 부위를 비추도록 내시경으로 조작하는 것이 점차 어려워지게 되었다.If the conventional incision site is a large surgical operation method, this is not a serious problem, but in recent years, such operation is difficult because the operation is performed by minimally invasive surgery. In other words, as several surgical instruments were inserted into one narrow incision site, it became increasingly difficult for the assistant to assist the surgeon to manipulate the endoscope to illuminate the desired site.

이에 수술 영상화 시스템(Surgical Visualization System)을 이용한 비디오 보조 수술이 등장하게 되었다. 내시경과 같은 단순 영상화 기구가 아니라 수술장에 대형 로보틱스(Robotics)를 이용한 수술 영상화 장치를 도입하여 수술을 보조하는 방식이다.Therefore, video assisted surgery using Surgical Visualization System appeared. It is not a simple imaging device such as an endoscope but a surgical imaging device using a large robotics in the operation field to assist the operation.

뿐만 아니라 일반 촬영 기능 외에도 적외선 촬영이나 열 감지 카메라를 이용한 촬영이나 수술용 현미경을 이용한 촬영, 3D 영상 등 다양한 방식(modality)의 영상을 제공하여 단순히 일반 영상을 제공하여 수술을 보조하는 것을 넘어서, 수술 영상화 시스템의 그 활용도를 점차 높여가고 있다.In addition to general imaging functions, it provides images of various modalities, such as infrared imaging, thermal imaging camera, surgical microscope, and 3D imaging, And the utilization of the imaging system is gradually increasing.

다만, 수술 영상화 시스템을 이용하더라도 수술을 진행하는 의사가 조이스틱 등으로 카메라를 제어해야 하기 때문에 중간 중간 수술을 멈추고 손으로 조작을 해야 하는 번거로움이 있다. 이에 수술 영상화 시스템에서 수술을 진행하는 의사가 자유롭게 카메라를 제어할 수 있는 방법이 필요하다.However, even if the surgical imaging system is used, the doctor who performs the surgery has to control the camera with a joystick or the like, so that it is troublesome to stop the intermediate operation and operate it by hand. Therefore, there is a need for a method that allows the surgeon to freely control the camera in the surgical imaging system.

본 발명이 해결하고자 하는 기술적 과제는 움직임 감지를 이용한 수술 영상화 시스템 제어 방법 및 그 장치를 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and apparatus for controlling a surgical imaging system using motion detection.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the above-mentioned technical problems, and other technical problems which are not mentioned can be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 움직임 감지를 이용한 수술 영상화 시스템 제어 장치는 수술 부위를 촬영하는 촬영부; 상기 촬영부가 촬영한 영상을 표시하는 표시부; 수술자의 트리거 움직임을 감지하는 트리거 동작 인식부; 및 상기 수술자의 움직임을 감지하고, 상기 트리거 움직임이 기 설정된 조건을 만족하는 움직임인 경우에 한하여, 상기 움직임을 상기 촬영부의 제어에 연동하는 제어 동작 연동부를 포함할 수 있다.According to an aspect of the present invention, there is provided an apparatus for controlling a surgical imaging system using motion detection, comprising: a photographing unit for photographing a surgical site; A display unit for displaying the image photographed by the photographing unit; A trigger action recognition unit for detecting a trigger movement of the operator; And a control operation interlocking unit that detects the movement of the operator and interlocks the motion with the control of the photographing unit only when the trigger movement is a movement satisfying a predetermined condition.

바람직하게는, 상기 제어 동작 연동부는, 상기 수술자를 촬영한 영상을 분석하여 상기 표시부를 기준으로 한 상기 수술자의 머리의 움직임을 감지하고, 상기 머리의 움직임의 이동 방향과 이동 거리를 상기 수술 부위를 기준으로 한 상기 촬영부의 움직임의 이동 방향과 이동 거리의 제어에 연동하는 것이다.Preferably, the control operation interlocking unit analyzes the image of the operator, detects the movement of the head of the operator based on the display unit, and determines a movement direction and a movement distance of the head movement, Is linked to the control of the movement direction and the movement distance of the movement of the photographing unit as a reference.

바람직하게는, 상기 제어 동작 연동부는, 상기 수술자의 머리가 상기 표시부를 기준으로 좌우로 이동함에 따라 상기 촬영부의 위치를 상기 수술 부위를 기준으로 좌우로 이동하는 것이다.Preferably, the control operation linking unit moves the position of the photographing unit from the left to the right with reference to the surgical site as the head of the operator moves left and right with reference to the display unit.

바람직하게는, 상기 제어 동작 연동부는, 상기 수술자의 머리가 상기 표시부를 기준으로 전후로 이동함에 따라 상기 촬영부의 위치를 상기 수술 부위를 기준으로 전후로 이동하는 것이다.Preferably, the control operation linking unit moves the position of the photographing unit back and forth with reference to the surgical site as the operator's head moves back and forth with reference to the display unit.

바람직하게는, 상기 제어 동작 연동부는, 상기 수술자의 머리가 상기 표시부를 기준으로 상하로 이동함에 따라 상기 촬영부의 위치를 상기 수술 부위를 기준으로 상하로 이동하는 것이다.Preferably, the control operation linking unit vertically moves the position of the photographing unit with respect to the surgical site as the operator's head moves up and down with reference to the display unit.

바람직하게는, 상기 제어 동작 연동부는, 상기 수술자의 머리가 상기 표시부를 기준으로 좌우로 회전함에 따라 상기 촬영부의 위치를 상기 수술 부위를 기준으로 좌우로 회전시키는 것이다.Preferably, the control operation interlocking unit rotates the position of the photographing unit from left to right with respect to the surgical site as the operator's head rotates left and right with reference to the display unit.

바람직하게는, 상기 제어 동작 연동부는, 상기 수술자의 머리가 상기 표시부를 기준으로 상하로 회전함에 따라 상기 촬영부의 위치를 상기 수술 부위를 기준으로 상하로 회전시키는 것이다.Preferably, the control operation linkage unit vertically rotates the position of the photographing unit with respect to the surgical site as the operator's head rotates up and down with reference to the display unit.

바람직하게는, 상기 제어 동작 연동부는, 상기 수술자의 머리가 움직인 이동 거리에 상기 촬영부와 상기 수술 부위 사이의 거리를 곱하고, 상기 수술자의 머리와 상기 표시부 사이의 거리를 나눈 거리만큼 상기 촬영부의 위치를 이동하는 것이다.Preferably, the control operation interlocking unit multiplies the distance of movement of the head of the operator by the distance between the photographing unit and the surgical site, and determines the distance by which the distance between the head of the operator and the display unit is divided, To move the position.

바람직하게는, 상기 제어 동작 연동부는, 상기 수술자가 착용한 웨어러블 기기에 내장된 가속 센서의 측정값을 수신하고, 상기 측정값을 이용하여 상기 수술자의 머리의 움직임의 인식의 정확도를 높이는 것이다.Preferably, the control operation interlocking unit receives a measurement value of an acceleration sensor built in a wearable device worn by the operator, and uses the measured value to improve the accuracy of recognition of the movement of the head of the operator.

바람직하게는, 상기 트리거 동작 인식부는, 상기 수술자를 촬영한 영상을 분석하여 상기 수술자의 눈동자의 움직임을 감지하고, 상기 수술자가 한쪽 눈은 감은 경우에 상기 기 설정된 조건을 만족하는 것으로 판단하는 것이다.Preferably, the trigger motion recognizing unit senses the motion of the eye of the operator by analyzing the image of the operator, and determines that the operator satisfies the predetermined condition when one eye is closed.

바람직하게는, 상기 수술자가 상기 표시부에서 응시하는 부분의 초점을 자동으로 조절하는 오토 포커싱부를 더 포함할 수 있다.Preferably, the autofocusing unit may further include an autofocusing unit that automatically adjusts the focus of the portion of the operator's gaze at the display unit.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 움직임 감지를 이용한 수술 영상화 시스템 제어 방법은, 수술 영상화 시스템이, 수술 부위를 촬영하고 촬영한 영상을 표시하는 단계; 및 상기 수술 영상화 시스템이, 수술자의 움직임 및 상기 수술자의 트리거 움직임을 감지하고, 상기 트리거 움직임이 기 설정된 조건을 만족하는 움직임인 경우에 한하여, 상기 움직임을 촬영부의 제어에 연동하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of controlling a surgical imaging system using motion detection, the method comprising: displaying a surgical region and a surgical region of a surgical imaging system; And the surgical imaging system may include detecting movement of the operator and trigger movement of the operator and interlocking the movement with control of the imaging unit only when the trigger movement is a movement satisfying a predetermined condition have.

본 발명에 따른 효과는 다음과 같다.The effects according to the present invention are as follows.

본 발명에 의한 수술 영상화 시스템의 제어 방법을 이용하면 수술을 진행하는 의사가 카메라를 조작하기 위해서 수술을 도중에 멈추지 않아도 된다. 즉 수술자의 손은 온전히 수술에만 집중하고 다른 방법으로 수술 영상화 시스템을 제어할 수 있다.If the control method of the surgical imaging system according to the present invention is used, the doctor who operates the surgery does not have to stop the surgery in order to operate the camera. That is, the operator's hand is able to focus entirely on the operation and control the surgical imaging system in other ways.

또한 수술 영상화 시스템을 제어하기 위해서 수술을 진행하는 의사 외에 별도의 보조자를 필요로 하지 않기 때문에, 의사의 의도에 맞게 즉각적인 수술 영상화 시스템의 제어가 가능하다. 이를 통해 보다 수술을 안전하게 진행할 수 있고 이는 환자의 생명과 수술 결과에도 긍정적인 영향을 미친다.In addition, since the surgeon does not need a separate assistant other than the surgeon to control the surgical imaging system, it is possible to control the surgical imaging system immediately according to the intention of the surgeon. This can lead to a safer operation, which has a positive effect on the patient's life and surgical outcome.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood to those of ordinary skill in the art from the following description.

도 1a는 종래의 수술 영상화 시스템을 설명하기 위한 도면이다.
도 1b는 종래의 수술 영상화 시스템의 네비게이션 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 수술 영상화 시스템의 제어 방법을 설명하기 위한 도면이다.
도 3a 내지 도 3e는 본 발명의 일 실시예에 따른 수술자의 머리 움직임을 카메라의 제어와 연동하는 과정을 설명하기 위한 도면이다.
도 4a 내지 도 4b는 본 발명의 일 실시예에서 사용될 수 있는 트리거 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 움직임 감지를 이용한 수술 영상화 시스템 제어 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 일 실시예에 따른 움직임 감지를 이용한 수술 영상화 시스템 제어 장치를 설명하기 위한 구성도이다.1A is a view for explaining a conventional surgical imaging system.
1B is a view for explaining a navigation apparatus of a conventional surgical imaging system.
2 is a view for explaining a control method of a surgical imaging system according to an embodiment of the present invention.
FIGS. 3A through 3E are views for explaining a procedure of interlocking a head movement of a surgical operator with control of a camera according to an embodiment of the present invention.
4A to 4B are diagrams illustrating a trigger operation that can be used in an embodiment of the present invention.
5 is a flowchart illustrating a method of controlling a surgical imaging system using motion detection according to an exemplary embodiment of the present invention.
FIG. 6 is a block diagram illustrating a surgical imaging system control apparatus using motion detection according to an exemplary embodiment of the present invention. Referring to FIG.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1a는 종래의 수술 영상화 시스템을 설명하기 위한 도면이다.1A is a view for explaining a conventional surgical imaging system.

도 1a는 종래의 수술 영상화 시스템(100)의 도면이다. 수술 영상화 시스템(100)은 부피가 매우 큰 장치이며 수술장에서 환자의 상부에 촬영부(130)를 위치하여 수술 부위를 촬영하고, 촬영한 영상을 복수 개의 모니터(120)에 표시하여 의사에게 수술 부위에 관한 정보를 제공한다.FIG. 1A is a diagram of a conventional surgical imaging system 100. FIG. The surgical imaging system 100 is a very large apparatus. The imaging unit 130 is positioned on the upper part of the patient in the surgical field and the surgical site is photographed. The photographed image is displayed on the plurality of monitors 120, Provide information about the site.

수술 영상화 시스템(100)은 몸체(110)의 끝에 수술용 내시경(Endoscope)이 촬영부(130)로 결합되어 있다. 또한 다양한 종류의 광학 장치가 추가로 더 결합되어 있을 수 있다. 몸체(110) 부분의 제어를 통해서 로보틱스 장치는 내시경 카메라의 줌인, 줌아웃, 포커싱, 전후좌우 및 회전, 기울임 등의 운동이 가능하다. 이러한 제어를 위해 수술 영상화 시스템(100)에는 조작부(140)가 있다.In the surgical imaging system 100, a surgical endoscope is coupled to a photographing unit 130 at the end of the body 110. Further, various types of optical devices may be further combined. Through the control of the body 110, the robotics device can perform zooming, zooming, focusing, forward / backward, left / right rotation, and tilting of an endoscope camera. For this control, the surgical imaging system 100 has a manipulation unit 140.

조작부(140)는 조이스틱의 모양이며, 조이스틱 부분을 수술을 진행하던 의사가 잡고서 수술 영상화 시스템(100)의 몸체(110)의 위치를 변경할 수 있다. 또한 조작부(140)의 버튼을 통해서 줌인, 줌아웃, 포커싱 등의 제어도 가능하다. 조이스틱 형태의 조작부(140)는 일 예이며, 그 외에도 종래의 수술 영상화 시스템(100)은 다양한 형태로 촬영부(130)의 위치를 제어한다.The manipulation part 140 is a shape of a joystick, and the joystick part can change the position of the body 110 of the surgical imaging system 100 by a surgeon holding the operation. Zooming in, zooming out, focusing, and the like can also be controlled through the buttons of the operation unit 140. The joystick type manipulation unit 140 is an example, and the conventional surgical imaging system 100 controls the position of the imaging unit 130 in various forms.

다만, 도 1a에서 볼 수 있듯이 종래의 수술 영상화 시스템(100)은 촬영부(130)의 제어를 위해서 수술을 진행하는 의사의 손에 의한 조작을 필요로 한다. 즉 수술을 진행하다가 수술 도구를 놓고 조이스틱 부를 조작하여 위치를 변경하고 다시 수술을 진행하는 방식으로 비디오 보조 수술이 진행된다.However, as shown in FIG. 1A, the conventional surgical imaging system 100 requires manipulation by a doctor's hand to perform surgery for controlling the photographing unit 130. In other words, during the operation, the operation tool is placed, the position is changed by manipulating the joystick part, and the operation is performed again.

또는 수술을 진행하는 의사 외에 보조자가 의사 옆에서 수술 영상화 시스템(100)이 조작부(140)를 조작하여 촬영부(130)의 위치를 변경하거나 줌인, 줌아웃, 포커싱 등을 수행해야 한다. 다만 이를 위해서 수술자의 지시가 계속해서 필요하며 이는 수술에 일부분 영향을 미치게 된다. 즉 수술자가 온전히 수술에만 집중하기 어렵게 만든다.Or an assistant other than the doctor who performs the surgery, the surgical imaging system 100 may operate the operation unit 140 to change the position of the photographing unit 130 or perform zooming, zooming, focusing or the like beside the doctor. However, for this purpose, the surgeon 's instructions continue to be required and this will have some effect on the operation. In other words, it makes it harder for the operator to concentrate solely on the operation.

도 1b는 종래의 수술 영상화 시스템의 네비게이션 장치를 설명하기 위한 도면이다.1B is a view for explaining a navigation apparatus of a conventional surgical imaging system.

도 1b를 참고하면 종래의 수술 영상화 시스템(100)의 네비게이션 장치(150)를 볼 수 있다. 도 1b를 참고하면, 종래의 수술 영상화 시스템(100)의 네비게이션 장치(150)는 손잡이 부분에 별도의 마커(151)를 포함하고 있다. 촬영부에서 마커(151)를 인식하여 수술 영상화 시스템(100)의 촬영부(130)의 위치를 제어하는 방식이다.Referring to FIG. 1B, the navigation apparatus 150 of the conventional surgical imaging system 100 can be seen. Referring to FIG. 1B, the navigation device 150 of the conventional surgical imaging system 100 includes a separate marker 151 on the handle. And the position of the photographing unit 130 of the surgical imaging system 100 is controlled by recognizing the marker 151 at the photographing unit.

즉 수술자가 한 손에는 네비게이션 장치(150)를 잡고 다른 한 손으로 수술 도구를 잡고 수술을 진행하면 수술 영상화 시스템(100)의 촬영부(130)의 위치가 네비게이션 장치(150)의 위치와 연동되어 자동으로 제어되는 방식의 수술 영상화 시스템(100)도 있다. 조이스틱 외에도 이와 같은 방식으로 촬영부(130)의 제어가 가능하다.That is, when the operator holds the navigation device 150 in one hand and holds the surgical tool with the other hand, the position of the photographing part 130 of the surgical imaging system 100 is interlocked with the position of the navigation device 150 There is also an automatically controlled surgical imaging system 100. In addition to the joystick, it is possible to control the photographing unit 130 in this manner.

이상으로 도 1a 내지 도 1b를 통해서 종래의 수술 영상화 시스템(100)의 촬영부(130) 제어 방법을 살펴보았다. 조이스틱이 내장된 제어부(140)를 이용하던, 별도의 네비게이션 장치(150)를 이용하던, 종래의 방법은 모두 수술자의 손에 의한 별도의 조작을 필요로 하는 단점이 있다.The control method of the photographing unit 130 of the conventional surgical imaging system 100 has been described above with reference to FIGS. 1A through 1B. The conventional method using the control unit 140 having the joystick or using the separate navigation device 150 requires a separate operation by the hands of the operator.

이에 본 발명에서는 이와 같은 단점을 해결하기 위한 촬영부 제어 방법을 제안하고자 한다. 특히 본 발명에서 제안하는 방법은 수술자의 손을 자유롭게 해주는 것을 특징으로 한다. 즉 수술자는 수술 도구를 놓지 않고서도 촬영부의 위치를 원하는 대로 조작할 수 있다는 점이 본 발명의 특징이다.Accordingly, the present invention proposes a photographing unit control method for solving such shortcomings. Particularly, the method proposed by the present invention is characterized in that the operator's hand is freed. That is, it is a feature of the present invention that the operator can manipulate the position of the photographing unit as desired without releasing the surgical tool.

이를 통해, 카메라 조작을 위해 수술을 도중에 중단할 필요가 없이 계속해서 수술을 진행할 수 있다. 이는 수술의 성공률을 높이는데 도움이 되고, 수술자가 수술에만 온전히 집중할 수 있도록 돕는다. 이는 환자의 생명에도 긍정적인 영향을 미친다.This allows the operation to continue without the need to interrupt surgery for camera manipulation. This helps to increase the success rate of the surgery and helps the operator to concentrate only on the operation. This has a positive effect on the patient's life.

이를 위해서 본 발명은 수술자의 머리 움직임과 눈동자 움직임을 카메라의 제어에 이용한다. 즉 수술장에서 수술자가 그나마 자유롭게 사용이 가능한 신체 부위인 머리와 눈을 카메라 제어에 활용하는 것이다. 이를 통해 손을 자유롭게 하는 것이다.To this end, the present invention utilizes the head movement and pupil movement of the operator for controlling the camera. In other words, in the operation field, the operator uses the head and eyes, which are body parts that can be freely used, for controlling the camera. It frees the hand through it.

도 2는 본 발명의 일 실시예에 따른 수술 영상화 시스템의 제어 방법을 설명하기 위한 도면이다.2 is a view for explaining a control method of a surgical imaging system according to an embodiment of the present invention.

도 2를 참고하면 본 발명에서 제안하는 수술 영상화 시스템 제어 방법은 수술자의 머리 움직임을 카메라의 제어와 연동하는 방법이다. 도 2에는 수술자의 머리(251)의 움직임을 수술자 촬영부(253)가 촬영하여 이를 감지부(255)로 전달한다.Referring to FIG. 2, the surgical imaging system control method proposed in the present invention is a method of linking the head movement of the operator with the control of the camera. 2, the operator's photographing unit 253 photographs the movement of the head 251 of the operator and transmits the photograph to the sensing unit 255. FIG.

감지부(255)는 머리(251)의 움직임에 따라 촬영부(230)의 위치를 제어한다. 이를 통해 수술자는 촬영부(230)를 제어하기 위해 수술 도구를 놓고 손으로 조작을 하지 않아도 된다. 즉 수술 도중에 수술 도구를 계속해서 손에 잡고 있으면서 수술자의 머리(251) 움직임으로 촬영부를 제어할 수 있다.The sensing unit 255 controls the position of the photographing unit 230 according to the movement of the head 251. Thus, the operator does not have to operate the hand tool with the surgical tool to control the photographing unit 230. That is, while the operator continues to hold the surgical tool during the operation, the operator can control the photographing part by moving the head 251.

본 발명에서 제안하는 방법은 도 1b의 네비게이션 장치(150) 대신에 수술자를 일종의 네비게이션 장치로 사용한다. 도 2에서 수술자의 머리(251)가 도 1b에서의 마커(151)에 해당한다. 이를 위해 수술자는 다른 의사나 간호사와는 구분이 되는 별도로 지정된 색상의 수술 모자를 착용할 수 있다.The method proposed by the present invention uses a surgical operator as a kind of navigation device instead of the navigation device 150 of FIG. 1B. In FIG. 2, the head 251 of the operator corresponds to the marker 151 in FIG. 1B. For this purpose, the operator may wear a separate colored surgical hat which is different from other doctors or nurses.

도 2의 수술자 촬영부(253)는 수술 영상화 시스템(200)의 몸체(210)에 별도로 위치해도 되고 경우에 따라서는 모니터(220)의 상단에 결합된 형태여도 무방하다. 수술자가 주로 모니터를 바라보면서 수술을 진행하므로 모니터의 상단에 수술자 촬영부(253)가 위치하여 수술자의 머리(251)의 움직임을 감지하는 것이 바람직하다.2 may be separately disposed on the body 210 of the surgical imaging system 200 or may be coupled to the upper end of the monitor 220 in some cases. It is preferable that the operator's photographing unit 253 is positioned at the top of the monitor to sense the movement of the head 251 of the operator since the operator mainly looks at the monitor and proceeds with the operation.

도 3a 내지 도 3e는 본 발명의 일 실시예에 따른 수술자의 머리 움직임을 카메라의 제어와 연동하는 과정을 설명하기 위한 도면이다.FIGS. 3A through 3E are views for explaining a procedure of interlocking a head movement of a surgical operator with control of a camera according to an embodiment of the present invention.

도 3a 내지 도 3e를 참고하면 수술자의 머리(251)의 움직임을 촬영부(230)의 제어에 연동하는 구체적인 예를 볼 수 있다. 도 3a 내지 도 3e에서 상단에는 수술 영상화 시스템(200)이 도시되어 있고, 하단에는 수술자의 머리(251)가 정면, 상단, 측면에 도시되어 있다. 화살표의 방향은 움직임을 나타낸다.3A to 3E, a specific example in which the movement of the head 251 of the operator is interlocked with the control of the photographing unit 230 can be seen. 3A to 3E, the surgical imaging system 200 is shown at the top, and the head 251 of the operator is shown at the front, top, and side surfaces at the bottom. The direction of the arrow indicates movement.

도 3a를 참고하면 수술자의 머리(251)가 정면을 기준으로 좌우로 움직이는 것을 볼 수 있다. 그에 따라 수술 영상화 시스템(200)의 촬영부(230)도 촬영부(230)를 기준으로 좌우로 위치를 변경한다. 즉 수술자의 머리(251)가 표시부(210)를 바라보는 상태에서 좌우로 움직이면, 수술 영상화 시스템(200)의 촬영부(230)도 환자를 바라보는 상태에서 좌우로 움직인다.Referring to FIG. 3A, it can be seen that the head 251 of the operator moves left and right with respect to the front face. Accordingly, the photographing unit 230 of the surgical imaging system 200 also changes its position to the left and right with respect to the photographing unit 230. That is, when the head 251 of the operator moves left and right while looking at the display unit 210, the photographing unit 230 of the surgical imaging system 200 also moves left and right while looking at the patient.

도 3b를 참고하면 수술자의 머리(251)가 상단을 기준으로 앞뒤로 움직이는 것을 볼 수 있다. 그에 따라 수술 영상화 시스템(200)의 촬영부(230)도 촬영부(230)를 기준으로 앞뒤로 위치를 변경한다. 즉 수술자의 머리(251)가 표시부(210)를 바라보는 상태에서 앞뒤로 움직이면, 수술 영상화 시스템(200)의 촬영부(230)도 환자를 바라보는 상태에서 앞뒤로 움직인다.Referring to FIG. 3B, it can be seen that the head 251 of the operator moves back and forth with respect to the upper end. Accordingly, the photographing unit 230 of the surgical imaging system 200 also changes its position back and forth with respect to the photographing unit 230. That is, when the head 251 of the operator moves back and forth while looking at the display unit 210, the photographing unit 230 of the surgical imaging system 200 also moves back and forth while looking at the patient.

마찬가지로 도 3c를 참고하면 수술자의 머리(251)가 정면을 기준으로 상하로 움직이는 것을 볼 수 있다. 그에 따라 수술 영상화 시스템(200)의 촬영부(230)도 촬영부(230)를 기준으로 상하로 위치를 변경한다. 즉 수술자의 머리(251)가 표시부(210)를 바라보는 상태에서 상하로 움직이면, 수술 영상화 시스템(200)의 촬영부(230)도 환자를 바라보는 상태에서 상하로 움직인다.Similarly, referring to FIG. 3C, it can be seen that the operator's head 251 moves up and down with respect to the front face. Accordingly, the photographing unit 230 of the surgical imaging system 200 also changes its position up and down with respect to the photographing unit 230. That is, when the operator's head 251 moves up and down while looking at the display unit 210, the photographing unit 230 of the surgical imaging system 200 also moves up and down while looking at the patient.

도 3a 내지 도 3c에서는 수술자의 머리(2510)의 전후/좌우/상하의 움직임을 촬영부(230)와 연동하는 것을 살펴보았다. 그 뿐만 아니라 수술자의 머리(2510)의 회전의 움직임도 촬영부(230)와 연동이 가능하다.3A to 3C, the movement of the head 2510 of the operator in the forward / backward / right / left / up and down directions is interlocked with the photographing unit 230. In addition, the rotation of the head 2510 of the operator can be interlocked with the imaging unit 230.

도 3d를 참고하면 수술자의 머리(251)가 정면을 기준으로 좌우로 회전하는 것을 볼 수 있다. 그에 따라 수술 영상화 시스템(200)의 촬영부(230)도 촬영부(230)를 기준으로 좌우로 회전할 수 있다. 즉 수술자의 머리(251)가 표시부(210)를 바라보는 상태에서 좌우로 회전하면, 수술 영상화 시스템(200)의 촬영부(230)도 환자를 바라보는 상태에서 좌우로 회전한다.Referring to FIG. 3D, it can be seen that the operator's head 251 rotates left and right with respect to the front face. Accordingly, the photographing unit 230 of the surgical imaging system 200 can also rotate left and right with respect to the photographing unit 230. That is, when the head 251 of the operator rotates left and right while looking at the display unit 210, the photographing unit 230 of the surgical imaging system 200 rotates left and right while looking at the patient.

도 3e를 참고하면 수술자의 머리(251)가 정면을 기준으로 상하로 회전하는 것을 볼 수 있다. 그에 따라 수술 영상화 시스템(200)의 촬영부(230)도 촬영부(230)를 기준으로 상하로 회전할 수 있다. 즉 수술자의 머리(251)가 표시부(210)를 바라보는 상태에서 상하로 회전하면, 수술 영상화 시스템(200)의 촬영부(230)도 환자를 바라보는 상태에서 상하로 회전한다.Referring to FIG. 3E, it can be seen that the operator's head 251 rotates up and down with respect to the front face. Accordingly, the photographing unit 230 of the surgical imaging system 200 can also rotate up and down with respect to the photographing unit 230. That is, when the operator's head 251 is rotated up and down while looking at the display unit 210, the photographing unit 230 of the surgical imaging system 200 also rotates up and down while looking at the patient.

수술자는 대부분 환자가 아닌 표시부(220)를 정면으로 바라보면서 수술을 진행하고, 촬영부(230)는 연직 아래 방향의 환자를 촬영하면서 수술이 진행되는 점을 고려하여 수술자의 머리(251)가 표시부(220)를 기준으로 움직이는 방향과 촬영부(230)가 수술 부위를 기준으로 움직이는 방향을 일치시킨다.Considering that the operation progresses while photographing the patient in the vertical downward direction, the head 251 of the operator is moved in the direction of the display unit 220, (220) and the direction in which the photographing unit (230) moves based on the surgical site.

이는 도 2에서 수술자를 기준으로 모니터와 가까워지는 방향 Xo가 촬영부(230)를 기준으로 환자와 가까워지는 방향 Xc에 대응된다. 그리고, 수술자를 기준으로 모니터의 좌우로 이동하는 방향 Yo가 촬영부(230)를 기준으로 환자의 좌우로 이동하는 방향 Yc에 대응된다. 마지막으로 수술자를 기준으로 모니터의 상하로 이동하는 방향 Zo가 촬영부(230)를 기준으로 환자의 상하로 이동하는 방향 Zc에 대응된다.This corresponds to the direction X in Figure 2 c a direction X o as those based on the close operation and the monitor being close to the patient relative to the imaging unit 230. FIG. A direction Y o moving left and right of the monitor relative to the operator corresponds to a direction Y c moving left and right of the patient with reference to the photographing unit 230. Lastly, the direction Z o of moving the monitor up and down with respect to the operator corresponds to the direction Z c of the patient moving up and down with respect to the photographing unit 230.

이렇게 수술자의 모니터를 기준으로 한 움직임을 촬영부(230)의 환자를 기준으로 한 움직임으로 대응시켜서 이동하면, 수술자가 표시부(220)를 바라보면서 수술을 진행해도 수술자의 머리(251)의 움직임이 그대로 촬영부(230)와 연동되어, 마치 수술자의 눈이 촬영부(230)의 렌즈가 되어 움직이는 것처럼 현실감을 부여할 수 있다.The movement of the head 251 of the operator in response to the movement of the operator based on the monitor of the operator 230 is performed while the operator looks at the display unit 220, It is possible to give a realistic feeling as if the eye of the operator is moved as a lens of the photographing part 230 by interlocking with the photographing part 230 as it is.

방향 뿐만 그 이동거리나 회전 각도도 비례해서 촬영부(230)를 제어할 수 있다. 도 2에서 수술자와 표시부(220) 사이의 거리를 Lo라고 하자. 그리고 촬영부(230)와 환자 사이의 거리를 Lc라고 하자. 그러면 수술자가 모니터를 바라보는 상태에서 m만큼 움직이면, 촬영부(230)는 m*Lc/Lo만큼 움직이도록 제어할 수 있다. 즉 수술자의 머리(251)가 움직인 거리를 비례 상수 Lc/Lo를 곱해서 촬영부(230)의 이동 거리를 제어하는 것이다.It is possible to control the photographing unit 230 in proportion to the movement distance and the rotation angle as well. Let L o be the distance between the operator and the display unit 220 in Fig. Let Lc be the distance between the photographing unit 230 and the patient. Then, if the operator moves by m in a state of looking at the monitor, the photographing unit 230 can be controlled to move by m * L c / L o . That is, the moving distance of the photographing unit 230 is controlled by multiplying the moving distance of the head 251 of the operator by the proportional constant L c / L o .

그러면 수술자는 환자의 수술 부위를 직접 쳐다보지 않더라도 표시부(220)를 쳐다보면서 머리를 움직이는 것만으로도, 수술자의 머리의 움직임의 거리와 방향에 연동되어 촬영부(230)가 제어되므로 환자의 수술 부위를 눈으로 직접 쳐다보면서 수술을 하는 것과 같은 현실감을 부여할 수 있다.Even if the operator does not look directly at the surgical site of the patient, the operator can control the photographing unit 230 by interlocking with the distance and direction of the movement of the head of the operator, by moving the head while looking at the display unit 220. Therefore, Such as the operation of looking at the eyes with eyes can be given the same reality.

이처럼 수술자의 머리(251)의 움직임을 외부에서 별도로 촬영하고 이를 촬영부(230)의 제어에 활용하면 수술자의 손은 자유롭게 사용이 가능하다. 즉 수술자가 손으로 조작하지 않아도 촬영부(230)의 조작이 가능하다. 다만, 본 발명에서 제안하는 제어 방법을 이용하면 수술자의 머리(251)의 움직임을 감지부(255)가 지속적으로 카메라에 연동하게 되므로 수술 중 화면이 계속해서 바뀌는 단점이 있다.When the movement of the head 251 of the operator is separately photographed from the outside and used for controlling the photographing unit 230, the operator's hands can be used freely. That is, the operation of the photographing unit 230 is possible even if the operator does not operate the camera by hand. However, when the control method proposed in the present invention is used, the motion of the head 251 of the operator is continuously interlocked with the camera, so that the screen during operation is continuously changed.

즉 종래에는 조이스틱이나 조작부(140)를 통해서 원하는 수술 부위를 비추면 고정해서 해당 부위를 비추나 본 발명은 수술자의 머리(251)의 움직임이 지속적으로 촬영부(230)의 제어에 반영이 되어 화면이 계속해서 변하는 문제가 있다. 실제로 수술장에서 카메라의 조작은 빈번하게 일어나지 않는 점을 고려하면 수술자의 머리(251)의 움직임에서 카메라의 제어를 위한 움직임과 일반적인 수술 과정에서 발생하는 움직임을 구별할 필요가 있다.That is, in the related art, when a desired operation site is illuminated through a joystick or an operation unit 140 to illuminate a corresponding site, the present invention is such that the movement of the head 251 of the operator is continuously reflected in the control of the photographing unit 230, There is a problem that continuously changes. In view of the fact that the operation of the camera is not frequently performed in the surgical field, it is necessary to distinguish the movement for controlling the camera from the movement of the head 251 of the operator and the motion occurring during the general operation.

도 4a 내지 도 4b는 본 발명의 일 실시예에서 사용될 수 있는 트리거 동작을 설명하기 위한 도면이다.4A to 4B are diagrams illustrating a trigger operation that can be used in an embodiment of the present invention.

수술 중에는 수술자의 머리(251)가 지속적으로 움직일 수 있는데 이를 계속해서 촬영부(230)의 위치를 제어하는 것에 연동하면 안 되므로 본 발명에서는 머리의 움직임을 제어를 위한 움직임과 아닌 움직임으로 구별하기 위한 방법을 추가로 더 제안한다. 이하 이를 트리거 동작(Trigger Motion)이라 한다. 즉 트리거 동작이 있을 때에만 수술자의 머리(251)의 움직임을 촬영부(230)와 연동하고 그 외의 경우에는 무시하는 방법이다.Since the head 251 of the operator can continuously move during the operation, it can not be linked to the control of the position of the photographing unit 230. Therefore, in the present invention, in order to distinguish the movement of the head from the movement for control We propose further methods. Hereinafter, this is referred to as a trigger motion. That is, only when the triggering operation is performed, the movement of the head 251 of the operator is interlocked with the photographing unit 230, and in other cases, the operation is ignored.

도 4a를 참고하면 페달(265)이 도시되어 있다. 본 발명은 수술자의 손을 최대한 자유롭게 해주는 것이 목표이므로 추가 입력 장치로 다리를 고려할 수 있다. 즉 수술 중인 환자의 침대 밑에 도 4a와 같이 페달(265)을 놓고 수술 중에 수술자가 페달(265)을 밟은 상태에서 머리(251)를 움직이면 촬영부(230)와 연동하고, 페달(265)에서 발을 뗀 상태에서 머리(251)를 움직이는 이를 무시한다.4A, a pedal 265 is shown. Since the aim of the present invention is to make the hands of the operator as free as possible, legs can be considered as an additional input device. That is, if the pedal 265 is placed under the bed of the patient under operation and the head 251 is moved while the operator is stepping on the pedal 265 during surgery, the pedal 265 is interlocked with the photographing unit 230, The head 251 is moved.

촬영부(230)가 정확하게 수술 부위를 비추도록 위치를 제어하기 위한 상황이 수술 중에 빈번하게 일어나지는 않으므로 수술자는 페달(265)를 이용하여 머리(251)의 움직임을 제어를 위한 움직임과 아닌 것으로 구별할 수 있다. 이를 통해 여전히 수술자는 손을 자유롭게 사용할 수 있다.Since the situation for controlling the position so that the photographing unit 230 accurately illuminates the surgical site is not frequently occurred during the operation, the operator uses the pedal 265 to distinguish the movement of the head 251 from the movement for control can do. This allows the operator to freely use his or her hands.

물론 페달(265) 외에도 음성을 고려할 수 있다. 다만 수술 중에는 위생을 위해서 마스크를 꼭 착용하는 점, 수술 중에는 촬영부(230) 제어를 위한 음성 명령를 소리내고 이를 인식하고 하는 과정이 쉽지 않은 점을 고려하면 음성을 이용한 제어는 적합치 않다.Of course, the voice may be considered in addition to the pedal 265. However, it is not appropriate to use the voice control in view of the fact that the mask is worn for the hygiene during surgery and the voice command for controlling the shooting unit 230 during surgery is not easy to recognize and recognize.

이에 본 발명에서는 페달(265) 외에도 눈동자 움직임을 추가로 더 인식하여 제어에 활용하는 방법을 제안한다. 수술자의 머리(251)를 촬영하기 위한 수술자 촬영부(253)가 수술자의 머리 부분을 촬영하고 있으므로, 감지부(255)에서는 머리(251)의 움직임뿐만 아니라 눈동자의 움직임도 추가로 더 감지한다.Accordingly, the present invention proposes a method of further recognizing the pupil movement in addition to the pedal 265 and utilizing it for the control. Since the operator's photographing part 253 for photographing the operator's head 251 photographs the head part of the operator, the sensing part 255 detects not only the movement of the head 251 but also the movement of the pupil.

도 4b를 참고하면 수술자가 한쪽 눈을 감았다가 다시 뜨는 과정을 볼 수 있다. 이렇게 한쪽 눈만 감은 경우에는 수술자의 머리(251)의 움직임을 촬영부(230)의 제어에 활용하고, 그렇지 않은 경우에는 수술자의 머리(251)의 움직임을 무시한다.Referring to FIG. 4B, the operator can see the process of closing one eye and then rising again. When only one eye is covered, movement of the head 251 of the operator is utilized for control of the photographing unit 230, and otherwise, movement of the head 251 of the operator is ignored.

즉 수술자는 수술을 진행하다가 촬영부(230)의 위치를 제어하고 싶을 때에는 한쪽 눈을 감은 상태로 머리(251)를 움직이면, 그 움직임에 따라 촬영부(230)의 위치가 자동으로 변경된다. 원하는 위치에 촬영부(230)가 오게 되면 감은 한쪽 눈을 뜨는 것만으로도 촬영부(230)의 위치를 고정시킬 수 있다. 이를 통해 여전히 손을 자유롭게 사용할 수 있다.That is, when the operator wishes to control the position of the photographing unit 230 while performing the operation, if the user moves the head 251 with one eye closed, the position of the photographing unit 230 is automatically changed in accordance with the movement of the head 251. When the photographing unit 230 comes to a desired position, the position of the photographing unit 230 can be fixed by simply opening one eye. This allows you to still use your hands freely.

도 5는 본 발명의 일 실시예에 따른 움직임 감지를 이용한 수술 영상화 시스템 제어 방법을 설명하기 위한 순서도이다.5 is a flowchart illustrating a method of controlling a surgical imaging system using motion detection according to an exemplary embodiment of the present invention.

도 5를 참고하면, 수술자의 머리의 움직임을 감지하고(S1100), 별도의 트리거 동작이 수반된 움직임인 경우에는(S1200), 수술자의 머리 움직임에 따라 수술용 내시경을 제어한다(S1300). 별도의 트리거 동작이 수반되지 않은 경우에는 수술자의 머리 움직임을 무시하고 고정된 위치에서 촬영된 화면을 계속해서 디스플레이 한다(S1400). 이와 같은 과정은 수술이 종료될 때까지 계속해서 반복된다(S1500).Referring to FIG. 5, the movement of the head of the operator is sensed (S1100). If the movement is accompanied by a separate trigger operation (S1200), the operation endoscope is controlled according to the head movement of the operator (S1300). If a separate triggering operation is not performed, the image captured at the fixed position is continuously displayed while ignoring the head movement of the operator (S1400). This process is repeated until the operation is terminated (S1500).

그 외에도 트리거 동작의 하나로 수술자의 눈의 움직임을 추가로 더 감지하므로 이를 촬영부(230)를 조작하는데 추가로 더 활용할 수 있다. 예를 들면 수술자가 모니터(220)의 특정 부위를 지정된 시간 동안 바라보면, 해당 부위에 자동으로 포커싱을 맞추는 방식으로 촬영부(230)를 제어할 수 있다.In addition, since the motion of the eye of the operator is further detected as one of the trigger operations, it can further be utilized for operating the photographing unit 230. For example, when the operator looks at a specific region of the monitor 220 for a predetermined time, the photographing unit 230 can be controlled in such a manner that focusing is automatically performed on the region.

본 발명에서 제안하는 제어 방법을 이용하면 수술자가 움직임에 따라 카메라도 같은 방향과 거리로 움직이게 되어, 마치 수술자가 내시경이 되어 환자의 몸 속에 들어가 있는 것과 같은 움직임을 구사할 수 있다. 또한 아이 트래킹을 이용하여 수술자의 눈이 화면의 어디를 보고 있는 지를 파악하여, 그 부분의 포커스가 맞도록 오토 포커싱을 수행함으로써, 연속적으로 깨끗한 영상을 보는 것이 가능해진다. 또한 수술자의 눈이 화면을 벗어나 있는 경우에는 이러한 조작이 이루어지지 않는다.According to the control method proposed in the present invention, the camera moves in the same direction and distance according to the movement of the operator, so that the operator can make the movement as if the operator is an endoscope and enters the patient's body. Further, by using eye tracking, it is possible to grasp where the operator's eyes are looking on the screen, and perform auto focusing so that the focus of the portion can be seen, thereby making it possible to continuously view a clean image. Also, this operation is not performed when the operator's eyes are out of the screen.

도 6은 본 발명의 일 실시예에 따른 움직임 감지를 이용한 수술 영상화 시스템 제어 장치를 설명하기 위한 구성도이다.FIG. 6 is a block diagram illustrating a surgical imaging system control apparatus using motion detection according to an exemplary embodiment of the present invention. Referring to FIG.

도 6을 참고하면 본 발명에서 제안하는 움직임 감지를 이용한 수술 영상화 시스템 제어 장치(200)는 촬영부(230)와 촬영부(230)에서 촬영한 수술 부위의 영상을 표시하는 표시부(220)를 포함할 수 있다. 이는 종래의 수술 영상화 시스템(100)과 동일하다.Referring to FIG. 6, an apparatus 200 for controlling a surgical imaging system using motion sensing includes a photographing unit 230 and a display unit 220 for displaying an image of a surgical site photographed by the photographing unit 230 can do. This is the same as the conventional surgical imaging system 100.

그러나 본 발명에서는 제어 동작 연동부(250)와 트리거 동작 인식부(260)를 더 포함할 수 있다. 제어 동작 연동부(250)는 수술자의 머리(251)의 움직임을 감지하여 이를 제어부(240)로 전송하고, 제어부(240)는 수술자의 머리(251)의 움직임을 촬영부(230)의 제어에 이용한다.However, the present invention may further include a control operation interlock part 250 and a trigger action recognition part 260. [ The control operation interlocking unit 250 senses the movement of the head 251 of the operator and transmits the motion to the control unit 240. The control unit 240 controls the operation of the head 251 of the operator, .

그 과정에서 트리거 동작 인식부(260)는 촬영부(230)의 제어를 위한 움직임과 일반적인 움직임을 구별할 트리거 동작을 인식하여 제어부(240)로 전송하고, 제어부(240)에서는 트리거 동작이 수반된 머리(251)의 움직임만 촬영부(230)의 제어에 활용한다.In this process, the trigger motion recognition unit 260 recognizes a trigger motion that distinguishes the motion for controlling the photographing unit 230 from the general motion, and transmits the trigger motion to the control unit 240. In the control unit 240, Only the motion of the head 251 is used for controlling the photographing unit 230. [

본 발명에서는 제어 동작이나 트리거 동작을 영상 분석을 기반으로 설명하였으나, 영상 분석 외에도 추가적인 방법들이 활용될 수 있다. 예를 들면, 수술자가 착용하는 수술 모자에 가속 센서를 내장하여 수술자의 머리(251)의 움직임을 측정하고 이를 제어부(240)로 전송하여 촬영부(230)의 제어에 활용할 수 있다. 또는 수술자가 수술 중에 착용하는 안경에 가속 센서를 내장하여 수술자의 머리(251)의 움직임을 측정하고 이를 제어부(240)로 전송하여 촬영부(230)의 제어에 활용할 수 있다.In the present invention, the control operation and the trigger operation are described based on the image analysis, but additional methods other than the image analysis can be utilized. For example, it is possible to measure the movement of the head 251 of the operator by inserting an acceleration sensor in the surgical cap worn by the operator, and transmit the measured movement to the control unit 240 so as to control the photographing unit 230. Alternatively, an accelerometer may be installed in the glasses worn by the operator during surgery to measure the movement of the head 251 of the operator and transmit the measured movement to the controller 240 to control the photographing unit 230.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

Claims (12)

수술 부위를 촬영하는 촬영부;
상기 촬영부가 촬영한 영상을 표시하는 표시부;
수술자의 트리거 움직임을 감지하는 트리거 동작 인식부; 및
상기 수술자의 움직임을 감지하고, 상기 트리거 움직임이 기 설정된 조건을 만족하는 움직임인 경우에 한하여, 상기 움직임을 상기 촬영부의 제어에 연동하는 제어 동작 연동부를 포함하는,
수술 영상화 시스템 제어 장치.A photographing unit for photographing a surgical site;
A display unit for displaying the image photographed by the photographing unit;
A trigger action recognition unit for detecting a trigger movement of the operator; And
And a control operation interlocking portion that interlocks the motion with the control of the photographing portion only when the trigger movement detects movement of the operator and the movement satisfies a predetermined condition.
Surgical imaging system control device. 제1항에 있어서,
상기 제어 동작 연동부는,
상기 수술자를 촬영한 영상을 분석하여 상기 표시부를 기준으로 한 상기 수술자의 머리의 움직임을 감지하고, 상기 머리의 움직임의 이동 방향과 이동 거리를 상기 수술 부위를 기준으로 한 상기 촬영부의 움직임의 이동 방향과 이동 거리의 제어에 연동하는 것인,
수술 영상화 시스템 제어 장치.The method according to claim 1,
Wherein the control operation interlocking unit comprises:
A movement direction and a movement distance of the movement of the head are determined based on a movement direction of movement of the photographing unit with reference to the operation site, And the control of the movement distance.
Surgical imaging system control device. 제2항에 있어서,
상기 제어 동작 연동부는,
상기 수술자의 머리가 상기 표시부를 기준으로 좌우로 이동함에 따라 상기 촬영부의 위치를 상기 수술 부위를 기준으로 좌우로 이동하는 것인,
수술 영상화 시스템 제어 장치.3. The method of claim 2,
Wherein the control operation interlocking unit comprises:
Wherein the position of the photographing unit moves left and right with respect to the surgical site as the head of the operator moves left and right with reference to the display unit.
Surgical imaging system control device. 제2항에 있어서,
상기 제어 동작 연동부는,
상기 수술자의 머리가 상기 표시부를 기준으로 전후로 이동함에 따라 상기 촬영부의 위치를 상기 수술 부위를 기준으로 전후로 이동하는 것인,
수술 영상화 시스템 제어 장치.3. The method of claim 2,
Wherein the control operation interlocking unit comprises:
Wherein the position of the photographing unit moves back and forth with respect to the surgical site as the head of the operator moves back and forth with reference to the display unit.
Surgical imaging system control device. 제2항에 있어서,
상기 제어 동작 연동부는,
상기 수술자의 머리가 상기 표시부를 기준으로 상하로 이동함에 따라 상기 촬영부의 위치를 상기 수술 부위를 기준으로 상하로 이동하는 것인,
수술 영상화 시스템 제어 장치.3. The method of claim 2,
Wherein the control operation interlocking unit comprises:
Wherein the position of the photographing unit is moved up and down with reference to the surgical site as the head of the operator moves up and down with reference to the display unit.
Surgical imaging system control device. 제2항에 있어서,
상기 제어 동작 연동부는,
상기 수술자의 머리가 상기 표시부를 기준으로 좌우로 회전함에 따라 상기 촬영부의 위치를 상기 수술 부위를 기준으로 좌우로 회전시키는 것인,
수술 영상화 시스템 제어 장치.3. The method of claim 2,
Wherein the control operation interlocking unit comprises:
Wherein the position of the photographing unit is rotated left and right with reference to the surgical site as the operator's head rotates left and right with reference to the display unit.
Surgical imaging system control device. 제2항에 있어서,
상기 제어 동작 연동부는,
상기 수술자의 머리가 상기 표시부를 기준으로 상하로 회전함에 따라 상기 촬영부의 위치를 상기 수술 부위를 기준으로 상하로 회전시키는 것인,
수술 영상화 시스템 제어 장치.3. The method of claim 2,
Wherein the control operation interlocking unit comprises:
Wherein the position of the photographing unit is rotated up and down with respect to the surgical site as the operator's head rotates up and down with reference to the display unit.
Surgical imaging system control device. 제2항에 있어서,
상기 제어 동작 연동부는,
상기 수술자의 머리가 움직인 이동 거리에 상기 촬영부와 상기 수술 부위 사이의 거리를 곱하고, 상기 수술자의 머리와 상기 표시부 사이의 거리를 나눈 거리만큼 상기 촬영부의 위치를 이동하는 것인,
수술 영상화 시스템 제어 장치.3. The method of claim 2,
Wherein the control operation interlocking unit comprises:
Wherein the position of the photographing unit is shifted by a distance obtained by dividing the distance between the head of the operator and the display unit by a distance between the photographing unit and the surgical site,
Surgical imaging system control device. 제2항에 있어서,
상기 제어 동작 연동부는,
상기 수술자가 착용한 웨어러블 기기에 내장된 가속 센서의 측정값을 수신하고, 상기 측정값을 이용하여 상기 수술자의 머리의 움직임의 인식의 정확도를 높이는 것인,
수술 영상화 시스템 제어 장치.3. The method of claim 2,
Wherein the control operation interlocking unit comprises:
Wherein the measurement value of the acceleration sensor built in the wearable device worn by the operator is received and the accuracy of recognition of the movement of the head of the operator is increased by using the measured value.
Surgical imaging system control device. 제1항에 있어서,
상기 트리거 동작 인식부는,
상기 수술자를 촬영한 영상을 분석하여 상기 수술자의 눈동자의 움직임을 감지하고, 상기 수술자가 한쪽 눈은 감은 경우에 상기 기 설정된 조건을 만족하는 것으로 판단하는 것인,
수술 영상화 시스템 제어 장치.The method according to claim 1,
Wherein the trigger action recognition unit comprises:
Wherein the operator senses the movement of the pupil of the operator by analyzing the image of the operator and determines that the operator satisfies the preset condition when one eye is wound,
Surgical imaging system control device. 제1항에 있어서,
상기 수술자가 상기 표시부에서 응시하는 부분의 초점을 자동으로 조절하는 오토 포커싱부를 더 포함하는,
수술 영상화 시스템 제어 장치.The method according to claim 1,
Further comprising an autofocusing unit that automatically adjusts the focus of a portion of the operator's gaze at the display unit,
Surgical imaging system control device. 수술 영상화 시스템이, 수술 부위를 촬영하고 촬영한 영상을 표시하는 단계; 및
상기 수술 영상화 시스템이, 수술자의 움직임 및 상기 수술자의 트리거 움직임을 감지하고, 상기 트리거 움직임이 기 설정된 조건을 만족하는 움직임인 경우에 한하여, 상기 움직임을 촬영부의 제어에 연동하는 단계를 포함하는,
수술 영상화 시스템 제어 방법.A surgical imaging system, comprising: displaying a surgical site and a photographed image; And
Wherein the surgical imaging system senses a movement of a surgical operator and a trigger movement of the operator and interlocks the movement with control of the photographing section only when the trigger movement is a movement satisfying a predetermined condition.
Surgical imaging system control method.
KR1020170093725A 2017-07-24 2017-07-24 Apparatus and method and for controlling surgical visualization system using motion detecting KR20190011137A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170093725A KR20190011137A (en) 2017-07-24 2017-07-24 Apparatus and method and for controlling surgical visualization system using motion detecting
PCT/KR2018/008339 WO2019022464A1 (en) 2017-07-24 2018-07-24 Apparatus and method for controlling surgical visualization system by using detection of movement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170093725A KR20190011137A (en) 2017-07-24 2017-07-24 Apparatus and method and for controlling surgical visualization system using motion detecting

Publications (1)

Publication Number Publication Date
KR20190011137A true KR20190011137A (en) 2019-02-01

Family

ID=65040206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170093725A KR20190011137A (en) 2017-07-24 2017-07-24 Apparatus and method and for controlling surgical visualization system using motion detecting

Country Status (2)

Country Link
KR (1) KR20190011137A (en)
WO (1) WO2019022464A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230021471A (en) * 2021-08-05 2023-02-14 서울대학교병원 Headset based surgical robot control system using contactless hand-tracking technology

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110559089A (en) * 2019-09-20 2019-12-13 中国人民解放军陆军军医大学第一附属医院 operation flow image acquisition control system and method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1862110A1 (en) * 2006-05-29 2007-12-05 Essilor International (Compagnie Generale D'optique) Method for optimizing eyeglass lenses
KR102171873B1 (en) * 2013-05-08 2020-10-29 삼성전자주식회사 Haptic glove and Surgical robot system
KR101601021B1 (en) * 2014-03-10 2016-03-08 (주)아솔 Three dimension endoscope system using giro sensor
KR20160048238A (en) * 2014-10-23 2016-05-04 현대중공업 주식회사 Operation Assistance System
KR101706994B1 (en) * 2016-10-17 2017-02-17 (주)미래컴퍼니 Surgical robot system and laparoscope handling method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230021471A (en) * 2021-08-05 2023-02-14 서울대학교병원 Headset based surgical robot control system using contactless hand-tracking technology

Also Published As

Publication number Publication date
WO2019022464A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
US11989930B2 (en) UI for head mounted display system
CN106456148B (en) Medical devices, systems, and methods using eye gaze tracking
KR102512876B1 (en) Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
ES2736966T3 (en) Handling - without touch contact - of devices using depth sensors
RU2569699C2 (en) Advanced controlled robotic surgical system
CN112099215B (en) Surgical microscope with gesture control and method for gesture control of a surgical microscope
EP3426128B1 (en) Image processing device, endoscopic surgery system, and image processing method
JP2016538089A (en) Support equipment for imaging support of surgeons during surgery
WO2018216501A1 (en) Control device, control method, and surgery system
US20240024064A1 (en) Method of graphically tagging and recalling identified structures under visualization for robotic surgery
CN116301480A (en) Touch screen user interface for interacting with virtual models
JP2004041778A (en) Observation system for intrabody cavity
KR20190011137A (en) Apparatus and method and for controlling surgical visualization system using motion detecting
KR101706994B1 (en) Surgical robot system and laparoscope handling method thereof
KR20110049703A (en) Surgical robot system and laparoscope handling method thereof
CA3117533A1 (en) Ui for head mounted display system
KR101114234B1 (en) Surgical robot system and laparoscope handling method thereof
Clancy et al. Gaze-contingent autofocus system for robotic-assisted minimally invasive surgery
JP7367041B2 (en) UI for head-mounted display systems
KR101698961B1 (en) Surgical robot system and laparoscope handling method thereof
KR20240033573A (en) headset-based vision system for providing multiple medical view and surgery assistance
KR20160124057A (en) Surgical robot system and laparoscope handling method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application