KR101707113B1 - Tool for selection of image of region of interest and its use of selection method - Google Patents
Tool for selection of image of region of interest and its use of selection method Download PDFInfo
- Publication number
- KR101707113B1 KR101707113B1 KR1020150181014A KR20150181014A KR101707113B1 KR 101707113 B1 KR101707113 B1 KR 101707113B1 KR 1020150181014 A KR1020150181014 A KR 1020150181014A KR 20150181014 A KR20150181014 A KR 20150181014A KR 101707113 B1 KR101707113 B1 KR 101707113B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- tool
- camera
- region
- roi
- Prior art date
Links
Images
Classifications
-
- H04N5/23238—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H04N5/23277—
-
- H04N5/2352—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
Abstract
Description
본 발명은 관심영역 영상의 선택을 위한 도구 및 이를 이용한 선택 방법에 관한 것으로서, 상세히는 촬영된 영상 내에서 도구의 움직임에 따른 이동거리를 상기 도구에 부착한 카메라에 의해 촬영된 이미지의 영상처리를 통해 결정하고, 이를 통해 도구의 위치변화를 알아내어 보고자 하는 관심영역의 영상을 확대하여 보여주도록 한 관심영역 영상의 선택을 위한 도구 및 이를 이용한 선택 방법에 관한 것이다.The present invention relates to a tool for selecting a region image of interest and a selection method using the tool. More particularly, the present invention relates to an image processing method, The present invention relates to a tool for selecting a region of interest image and a method of selecting the region of interest by enlarging an image of a region of interest to be determined.
근래 수술기술의 발달로 인해 내시경으로 수술부위를 직접 보면서 수술하는 경우가 많은데, 이러한 내시경 수술에서 수술부위를 직접 보면서 수술할 때, 집도의가 양손으로 수술도구를 조작하고 카메라 보조가 내시경을 조작하여 집도의에게 수술부위 정보를 제공해주고 있다. 이때 내시경의 좁은 시야로 인해서 내시경의 잦은 조작이 필요하게 되고, 이런 상황에서 카메라 보조와 집도의 간에 의사소통에 어려움을 겪는다.Because of the recent advances in surgical technique, endoscopic surgery is often performed by looking directly at the surgical site. In such endoscopic surgery, when looking directly at the surgical site, the surgeon manipulates the surgical tool with both hands and the camera assistant manipulates the endoscope To provide information about the surgical site. At this time, the narrow view of the endoscope necessitates the frequent manipulation of the endoscope, and in this situation, the communication between the camera assistant and the subject is difficult.
그리고 내시경 수술에서 보통은 상기한 바와 같이 수술부위 영상을 직접 보면서 수술을 할 때, 상기 수술부위 영상 중 수술에 필요한 특정부위의 영상, 즉 관심영역(ROI:region of interest)의 영상을 확대하여 보고자 하여도 현재는 이와 같은 관심영역(ROI)의 영상을 보면서 수술하지는 않고 있다. 물론 일반적으로 촬영된 영상 내에서 특정부위의 영상인 관심영역(ROI)의 영상을 확대하여 보는 것은 컴퓨터 프로그램에 의해 충분히 실행할 수 있어, 이를 내시경 수술에 적용하여 사용할 수도 있지만 다음과 같은 문제가 있다.In endoscopic surgery, as described above, when the surgeon views the surgeon's surgeon's image directly, it is necessary to enlarge the surgeon's surgeon's surgeon's surgeon's image, Currently, we are not doing surgery while watching the images of such ROIs. Of course, in general, it is possible to enlarge an ROI image of a specific region in a photographed image and enlarge the ROI image. However, the ROI can be applied to an endoscopic surgery by using a computer program.
즉 양손에 수술도구를 들고 수술을 하고 있는 집도의가 관심영역(ROI)의 선택 조작을 위해서는 컴퓨터 작업을 위한 마우스 조작, 태블릿 PC와 같은 터치 조작, 풋 페달이나 동작 인식 시스템의 사용 등과 같이 별도로 조작을 해야 하는 불편함이 있으며, 더욱이 이러한 경우 집도의는 수술도구를 손에 놓고 상기 조작이나 장치를 사용해야 하는 어려움이 있다. 또한 집도의가 직접 조작을 하지 않는 경우에는 카메라 보조와 같이 대신하여 조작하거나 장치를 사용하는 사람의 도움이 필요하다고 하는 어려움이 있다. In other words, in order to select the ROI, the operator who holds the surgical tool in both hands needs to operate the mouse separately, such as mouse operation for the computer operation, touch operation such as the tablet PC, use of the foot pedal or motion recognition system In addition, in such cases, it is difficult for the home doctor to use the above manipulation or device by holding the surgical tool in his / her hand. In addition, when the home doctor does not operate the apparatus directly, there is a problem that it is necessary to assist the person who uses the apparatus or uses the apparatus instead of the camera assistant.
본 발명은 상기한 바와 같은 제반 문제점을 개선하기 위해 안출된 것으로서, 그 목적은 도구에 카메라를 부착하고 관심영역(ROI) 선택 작동을 위한 온/오프 스위치를 설치하여, 상기 스위치의 온(ON) 선택 및 도구의 움직임에 따른 이동거리를 상기 카메라에 의해 촬영된 이미지들의 영상처리에 의해 촬영된 영상에서 확대된 관심영역의 영상을 선택하여 표시하도록 한 관심영역 영상의 선택을 위한 도구를 제공함에 있다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above-mentioned problems, and it is an object of the present invention to provide an on / off switch for a ROI selection operation by attaching a camera to a tool, There is provided a tool for selecting a region of interest image in which an image of a region of interest enlarged in an image photographed by image processing of images photographed by the camera is selected and displayed in accordance with a selection and movement of a tool .
다른 목적은 상기 카메라 및 온/오프 스위치에 의해 도구의 움직임을 추적하여 이동거리를 산출하고, 이를 통해 촬영된 영상 중 확대된 관심영역(ROI)의 영상의 위치를 표시함으로써, 카메라 보조의 도움 없이 도구를 들고 있는 사람이 직접 확대된 관심영역의 영상을 선택하여 표시할 수 있도록 한 상기 도구를 이용한 관심영역 영상의 선택 방법을 제공함에 있다.Another object is to track the movement of the tool by means of the camera and the on / off switch to calculate the travel distance, thereby displaying the position of the image of the enlarged region of interest (ROI) And a method of selecting a region of interest image using the tool so that a person holding a tool can directly select and display an image of an enlarged region of interest.
상기한 바와 같은 목적을 달성하기 위해 본 발명의 관심영역 영상의 선택을 위한 도구는, 적어도 하나 이상의 도구에 부착되는 카메라의 좌표계를 CCD 이미지센서에 수직한 방향은 Z축, 세로방향은 Y축, 가로방향은 X축으로 하되, 상기 도구의 앞뒤방향 움직임과 Z축은 직각으로, X축은 평행이 되도록 도구에 부착한 카메라와, 상기 도구에 관심영역 영상의 선택 작동을 위해 설치된 온/오프 스위치를 포함하여, 광각 촬영기에 의해 촬영된 영상 중 보고자 하는 특정부위의 확대된 영상인 최종적인 관심영역(ROI)을 상기 온/오프 스위치의 온(ON) 상태에서, 상기 카메라에 의해 촬영된 이미지들의 영상처리에 의해 선택하여 표시하도록 한 것을 특징으로 하고 있다.According to an aspect of the present invention, there is provided a tool for selecting a region of interest image, comprising: a coordinate system of a camera attached to at least one tool; a Z-axis perpendicular to the CCD image sensor; A camera attached to the tool such that the X-axis is parallel to the Z-axis and the Z-axis is parallel to the X-axis, and the on / off switch is provided for selecting the region image of interest on the tool (ROI), which is an enlarged image of a specific region to be viewed, of the image photographed by the wide-angle photographing apparatus, the image processing of the images photographed by the camera And displays the selected image.
또 상기 온/오프 스위치는 도구의 파지 부위에 설치하는 것이 바람직하다.It is preferable that the on / off switch is provided on the grip portion of the tool.
또 상기 카메라는 수직면 또는 수평면 상에서 회전이 가능하도록 하는 것이 바람직하다.It is also preferable that the camera is rotatable on a vertical plane or a horizontal plane.
또 상기 도구는 수술도구이며, 상기 광각 촬영기는 광각 내시경 또는 광각 관절경인 것이 바람직하다.Preferably, the tool is a surgical tool, and the wide angle photographing apparatus is a wide-angle endoscope or a wide-angle arthroscope.
또 관심영역 영상의 선택을 위한 도구를 이용한 관심영역 영상의 선택 방법은, 상기 도구에 의한 관심영역 영상의 선택 방법에 있어서, 광각 촬영기에 의해 촬영된 영상 중 도구의 움직임에 따른 이동거리를 상기 도구에 설치된 카메라에 의해 촬영된 이미지들의 영상처리를 통한 카메라의 3축 중 어느 한 축의 회전정보를 이용하여 결정하고, 이를 통해 상기 도구의 위치변화를 알아내어 최종적인 관심영역(ROI)의 영상을 표시하도록 한 것을 특징으로 하고 있다. In addition, a method of selecting a region of interest image using a tool for selecting a region of interest image may include a method of selecting a region of interest image by using the tool, Axis of the camera through the image processing of the images taken by the camera installed in the camera, thereby obtaining the change in the position of the tool and displaying the image of the final ROI And the like.
또 상기 카메라의 회전정보는 카메라의 회전각도인 것이 바람직하다.The rotation information of the camera is preferably a rotation angle of the camera.
또 상기 도구의 이동거리는 상기 카메라의 회전정보인 회전각도에 일정 상수를 곱하여 결정하도록 하는 것이 바람직하다.Further, it is preferable that the moving distance of the tool is determined by multiplying the rotation angle, which is rotation information of the camera, by a predetermined constant.
또 상기 이미지들의 영상처리는 카메라에 의해 촬영된 현재의 이미지(Or)와 이전의 이미지(Ol)의 공통된 특징점을 추출하고 매칭하여 계산한 필수 행렬(essential matrix)을 통해 이루어지는 것이 바람직하다.The image processing of the images is preferably performed through an essential matrix calculated by extracting and matching common feature points of the current image O r and the previous image O l taken by the camera.
또 상기 도구로는 수술도구를 사용하며, 상기 광각 촬영기를 통해 촬영된 영상은 광각 내시경 또는 광각 관절경에 의해 촬영된 수술부위 영상인 것이 바람직하다.It is preferable that the tool is a surgical tool, and the image taken through the wide angle photographing apparatus is a surgical site image photographed by a wide-angle endoscope or a wide-angle arthroscope.
본 발명의 관심영역 영상의 선택을 위한 도구 및 이를 이용한 선택 방법에 의하면, 도구를 사용하는 사람이 직접 관심영역(ROI)의 영상을 선택하여 표시할 수 있으므로 보고자 하는 관심영역(ROI)의 영상을 최소의 인원으로 신속하고 정확하게 볼 수 있는 효과가 있다.According to the tool for selecting a region of interest of the present invention and the selection method using the same, a user using the tool can directly select and display an image of a region of interest (ROI), so that an image of a region of interest (ROI) It has the effect of seeing quickly and accurately with minimum number of people.
또 관심영역(ROI)의 영상을 선택하기 위해 카메라를 사용하므로 외부 추적기와 센서 마커를 사용하는 경우보다 추적능력을 상실하는 line of sight의 문제가 없어, 어떠한 상황에서도 관심영역(ROI)의 영상을 볼 수 있는 효과가 있다.In addition, since the camera is used to select the image of ROI, there is no problem of line of sight loss of tracking ability than using external tracker and sensor marker. There is an effect that can be seen.
도 1은 본 발명에 따른 관심영역 영상의 선택 방법을 위한 광각 영상과 관심영역의 영상을 보여주는 도면
도 2는 본 발명에 따른 관심영역 영상의 선택을 위한 수술도구를 보여주는 도면
도 3은 본 발명에 따른 관심영역 영상의 선택 방법에 사용되는 수술도구의 움직임을 보여주는 도면
도 4는 본 발명에 따른 관심영역 영상의 선택 방법을 위해 사용되는 카메라의 좌표계를 나타내는 도면
도 5는 본 발명에 따른 관심영역 영상의 선택 방법을 위해 좌표계를 감안하여 카메라를 부착한 수술도구의 움직임을 보여주는 도면
도 6 및 도 7은 본 발명에 따른 관심영역 영상의 선택 방법을 위해 카메라의 회전정보를 획득하는 것을 보여주는 도면 1 is a view showing a wide-angle image and a region of interest image for a method of selecting a region of interest image according to the present invention;
2 is a view showing a surgical tool for selecting a region of interest image according to the present invention;
3 is a view showing a movement of a surgical tool used in a method of selecting a region of interest image according to the present invention;
4 is a view showing a coordinate system of a camera used for a method of selecting a region of interest image according to the present invention;
FIG. 5 is a view showing a movement of a surgical tool with a camera in consideration of a coordinate system for selecting a region of interest image according to the present invention
6 and 7 are diagrams showing acquisition of rotation information of a camera for a method of selecting a region of interest image according to the present invention
이하, 본 발명에 따른 관심영역 영상의 선택을 위한 도구 및 이를 이용한 선택 방법의 바람직한 실시예를 첨부한 도면을 참조로 하여 상세히 설명한다. 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위하여 제공되는 것이다.Hereinafter, preferred embodiments of a tool for selecting a region of interest image and a selection method thereof according to the present invention will be described in detail with reference to the accompanying drawings. It is to be understood that the present invention is not limited to the disclosed embodiments, but may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, It is provided to inform.
먼저 본 발명에서는 일반적인 영상에서 관심영역의 영상을 선택하여 표시하는 도구 및 카메라와 확대된 관심영역(ROI)의 영상을 선택하여 표시하는 방법에 있어서, 다음과 같이 수술도구 및 카메라에 의해 수술부위 영상을 보면서 확대된 관심영역(ROI)의 영상을 선택하여 표시하는 것으로 예를 들어 설명하도록 한다. In the present invention, a tool for selecting and displaying an image of a region of interest in a general image, and a method for selecting and displaying an image of a camera and an enlarged region of interest (ROI) And an image of an enlarged region of interest (ROI) is selected and displayed.
도 1은 본 발명에 따른 관심영역 영상의 선택 방법을 위한 광각 영상과 관심영역의 영상을 보여주는 도면이다.1 is a diagram illustrating a wide-angle image and an image of a region of interest for a method of selecting a region-of-interest image according to the present invention.
도 1에 도시한 바와 같이, 본 발명에서는 광각 촬영기의 일종인 광각 내시경 또는 광각 관절경으로 촬영한 광각의 영상과 특정부위를 확대한 관심영역(ROI: Region of Interest)의 영상의 2개의 영상을 사용하게 된다. 여기서 본 발명에 따라 관심영역(ROI) 영상의 위치를 선택하는 것을 수술도구의 움직임과 연동시켜 조절할 수 있는데, 이러한 관심영역(ROI) 영상의 위치를 조절하는 것은 수술도구에 카메라를 부착하여 상기 수술도구의 움직임을 추적함으로써 수행하지만, 이에 대해서는 상세히 후술하도록 한다.As shown in FIG. 1, in the present invention, a wide-angle endoscopic image or a wide-angle image photographed with a wide-angle arthroscope and two images of a region of interest (ROI) . According to the present invention, it is possible to adjust the position of the ROI image by interlocking with the movement of the surgical tool. In order to adjust the position of the ROI image, the camera is attached to the surgical tool, By tracking the movement of the tool, which will be described in detail later.
도 2는 본 발명에 따른 관심영역 영상의 선택을 위한 수술도구를 보여주는 도면이다.2 is a view illustrating a surgical tool for selecting a region of interest image according to the present invention.
도 2에 도시한 바와 같이, 본 발명에 따른 관심영역 영상의 선택을 위한 도구는 수술도구(1)에 부착한 카메라(2)와 관심영역 선택 작동을 위한 온/오프 스위치(3)를 포함하고 있다. 상기 카메라(2)는 수술도구(1)의 뒤쪽에 부착되고, 상기 온/오프 스위치(3)는 수술도구(1)를 잡고 있는 파지 부위에 설치하되, 대체로 중지로 스위치 동작을 할 수 있도록 수술도구(1)의 파지 부위 하단에 설치하게 된다. 이때 상기 카메라(2)는 수술도구(1) 상의 수평면 상에서 또는 수직면 상에서 자유롭게 회전한 후 특정 위치에서 고정되도록 하는 것이 바람직하다.2, a tool for selecting a region of interest image according to the present invention includes a
다음은 상기한 바와 같은 관심영역 영상의 선택을 위한 도구를 이용한 관심영역 영상의 선택 방법을 설명하도록 한다.Next, a method of selecting a region of interest image using a tool for selecting a region of interest image as described above will be described.
먼저 본 발명에 따른 관심영역 영상의 선택 방법에 사용되는 수술도구의 움직임과 상기 수술도구에 부착되는 카메라의 좌표계를 설명하도록 한다. First, the movement of the surgical tool used in the method of selecting the region of interest image according to the present invention and the coordinate system of the camera attached to the surgical tool will be described.
도 3은 본 발명에 따른 관심영역 영상의 선택 방법에 사용되는 수술도구의 움직임을 보여주는 도면이다.FIG. 3 is a diagram illustrating a motion of a surgical tool used in a method of selecting a region of interest image according to the present invention.
도 3에 도시한 바와 같이, 수술도구(1) 또는 내시경을 통과시키기 위해 신체에 낸 구멍인 포털(Potal)을 상기 수술도구(1) 또는 내시경이 통과하면, 상기 포털의 내외부에서 수술도구(1)는 총 4가지의 움직임 자유도를 갖는다. 즉 앞뒤 방향으로 움직이는 제1 자유도(1st DOF:1st Degree of Freedom), 축 방향 회전을 하는 제2 자유도(2nd DOF), 좌우 방향으로 움직이는 제3 자유도(3rd DOF), 위아래 방향으로 움직이는 제4 자유도(4rd DOF)를 갖는다.As shown in Fig. 3, when the
도 4는 본 발명에 따른 관심영역 영상의 선택 방법을 위해 사용되는 카메라의 좌표계를 나타내는 도면이다.4 is a view showing a coordinate system of a camera used for a method of selecting a region of interest image according to the present invention.
도 4에 도시한 바와 같이, 카메라의 좌표계는 CCD 이미지 센서에 수직한 방향은 Z축, 세로 방향은 Y축, 가로 방향은 X축으로 이루어지는 것으로 설정하여, 수술도구(1)에 상기 카메라(2)를 부착할 때 상기 3축을 고려하여 부착하도록 한다.4, the coordinate system of the camera is set so that the direction perpendicular to the CCD image sensor is a Z-axis, a Y-axis in the vertical direction, and an X-axis in the horizontal direction, ) Are to be attached considering the three axes.
도 5는 본 발명에 따른 관심영역 영상의 선택 방법을 위해 좌표계를 감안하여 카메라를 부착한 수술도구의 움직임을 보여주는 도면이다.FIG. 5 is a view showing movement of a surgical tool having a camera in consideration of a coordinate system for selecting a region of interest image according to the present invention.
도 5에 도시한 바와 같이, 수술도구(1)의 움직임과 카메라(2)의 좌표계 사이의 관계에서 상기 수술도구(1)의 제1 자유도(1st DOF)의 축과 좌표계의 Z축은 직각의 관계에 있고, 상기 제1 자유도(1st DOF)의 축과 좌표계의 X축은 평행의 관계가 되도록 상기 카메라(2)를 수술도구(1)에 부착하게 된다.5, the axis of the first degree of freedom (1st DOF) of the
이렇게 되면, 수술도구(1)가 제3 자유도(3rd DOF) 및 제4 자유도(4rd DOF)의 방향으로 움직일 때 카메라(3)는 회전을 하게 되고, 이는 수술도구(1)를 좌우로 움직일 때(3rd DOF) 카메라(3)는 Y축을 중심으로 회전하여 확대된 관심영역(ROI)이 좌우로 움직인다는 것이고, 수술도구(1)를 위아래로 움직일 때(4rd DOF)때 카메라(3)는 Z축을 중심으로 회전하여 관심영역(ROI)이 위아래로 움직인다는 것이 된다.This causes the
따라서 수술도구(1)의 움직임에 따른 이동거리를 산출하여 이동한 거리만큼의 관심영역(ROI)의 위치를 선택하여 표시하게 되는데, 이는 다음과 같이 수술도구(1)의 이동거리를 결정하여 상기 수술도구(1)의 위치변화를 알아내고 이러한 변화된 위치에서의 확대된 관심영역(ROI)을 선택하여 표시하게 된다.Accordingly, the movement distance according to the movement of the
즉 광각 내시경이나 광각 관절경에 의해 촬영된 영상에서 수술도구가 보고자 하는 확대된 관심영역(ROI)의 위치로 이동할 때, 상기 수술도구는 상기한 바와 같이 제3 자유도(3rd DOF) 또는 제4 자유도(4rd DOF)의 방향으로 움직이게 되고, 카메라는 회전하여 각각의 움직임에 따른 회전정보, 구체적으로는 회전각도를 갖게 되고, 이러한 회전각도는 카메라에 의해 촬영된 이미지들을 분석하고 처리하여 얻게 된다.(ROI) to be viewed by the surgical tool in an image taken by a wide-angle endoscopy or a wide-angle arthroscope, the surgical tool is moved in a third degree of freedom (3rd DOF) The camera moves in the direction of the degree of freedom (4rd DOF), and the camera rotates to have rotation information corresponding to each movement, specifically, a rotation angle, and this rotation angle is obtained by analyzing and processing images photographed by the camera .
이에 상기 회전각도를 통해 수술도구가 움직여 이동한 이동거리를 결정하여 상기 수술도구의 위치변화를 알아낸 후, 상기 수술도구가 이동한 위치의 최종적인 확대된 관심영역(ROI)으로의 움직임 거리는 상기 카메라에 의해 촬영된 이미지들을 분석하고 처리하여 얻은 카메라의 회전각도에 적당한 상수를 곱하여 결정한다.After determining the movement distance of the surgical tool through the rotation angle, the movement distance to the final enlarged ROI of the position where the surgical tool has moved is calculated as the movement distance The angle of rotation of the camera obtained by analyzing and processing images taken by the camera is determined by multiplying by a suitable constant.
일례로 수술도구를 제3 자유도(3rd DOF)인 좌우방향으로 움직였을 때, 카메라는 Y축의 회전이 발생하고, 상기 카메라에 의해 촬영된 이미지들의 영상처리를 통해서 Y축의 회전 결과 회전각도가 25도라면, 여기에 곱하기 상수(예를 들어 5)를 곱하여 125(15ㅧ 5) 픽셀만큼 관심영역(ROI)이 좌우방향으로 움직이게 된 것이고, 이 움직인 거리만큼의 위치에서의 관심영역(ROI)의 영상을 확대하여 표시하게 된다. 물론 상기 25도는 수술도구가 움직이는 한 지점에서의 카메라의 회전각도를 보여준 것이고, 실제로는 수술도구가 계속해서 움직임에 따라 변화하는 카메라의 회전각도에 대응하여 확대된 관심영역(ROI)의 영상이 계속해서 선택되고 표시될 것이다.For example, when the surgical tool is moved in the left or right direction of the third degree of freedom (3rd DOF), the camera rotates in the Y axis, and the Y axis rotates through the image processing of the images taken by the camera, (ROI) of the region of interest (ROI) at the position of this moving distance is obtained by multiplying the ROI by 125 (15.5) pixels by multiplying it by a multiplication constant (for example, 5) The image is enlarged and displayed. Of course, the angle of 25 degrees shows the angle of rotation of the camera at one point where the surgical tool moves, and in reality, the image of the enlarged ROI corresponds to the angle of rotation of the camera, Will be selected and displayed.
여기서 상기 카메라의 회전정보인 회전각도는 카메라에 의해 촬영된 이미지들의 영상처리를 통해서 얻을 수 있는데, 도 6에 도시한 바와 같이, AKAZE 알고리즘을 이용하여 카메라에 의해 촬영된 현재의 이미지(Or)와 이전의 이미지(Ol) 사이의 공통된 특징점을 추출하고 매칭하여 필수 행렬(essential matrix)과 회전 행렬(R)을 계산하며, 이를 통해 회전정보인 회전각도를 얻게 된다. 즉 특징점 추출과 특징점 매칭 및 매칭된 특징점으로 필수 행렬을 계산하고, 상기 필수 행렬을 특이값 분해(singular value decomposition)하여 계산한 회전 행렬(R)을 통해 카메라의 회전각도를 얻게 된다.Here, the rotation angle, which is rotation information of the camera, can be obtained through image processing of images photographed by the camera. As shown in FIG. 6, the current image (O r ) captured by the camera using the AKAZE algorithm, And the previous image (O 1 ) are extracted and matched to calculate an essential matrix and a rotation matrix (R), thereby obtaining a rotation angle which is rotation information. That is, the necessary angles are calculated by minutiae point extraction, minutiae matching and matched minutiae points, and singular value decomposition of the essential matrices to obtain the rotation angle of the camera through the rotation matrix R calculated by singular value decomposition.
상기한 이미지 처리를 통한 카메라 회전정보의 획득은 도 7을 참조하여 다음과 같은 에피폴라 기하학(Epipolar geometry)을 이용한 카메라 포즈 예측을 통해 수행된다.The acquisition of camera rotation information through the above-described image processing is performed through camera pose prediction using the following epipolar geometry with reference to FIG.
즉 다음의 수학식을 통해 필수 행렬(essential matrix)을 계산한다.That is, an essential matrix is calculated by the following equation.
이후 계산된 상기 필수 행렬(essential matrix)을 특이값 분해(singular value decomposition)하여 다음과 같은 수학식의 회전 행렬(R)을 구하게 된다.Then the singular value decomposition of the calculated essential matrix is performed to obtain a rotation matrix R of the following equation.
이와 같이 최종적으로 구한 회전 행렬(R)을 이용하여 카메라의 회전각도를 얻게 되고, 이를 통해 수술도구의 위치가 변화된 이동거리를 산출하여 상기 이동거리만큼 위치가 변화된 수술도구에서의 확대된 관심영역(ROI)의 영상을 표시하게 된다. The rotational angle of the camera is obtained by using the finally obtained rotation matrix R, and the movement distance of the position of the surgical tool is calculated, ROI ").
한편 카메라에 의해 촬영된 이미지들에서의 특징점을 잘 추출하기 위해서는 상기 카메라의 초기 세팅이 중요하다.On the other hand, the initial setting of the camera is important for extracting the feature points of the images taken by the camera.
이를 위해 특징점 추출이 잘 되지 않을 경우, 카메라는 수평면 또는 수직면 상에서 자유롭게 회전할 수 있으므로, 카메라의 CCD 센서, 즉 초점이 위나 아래 방향 또는 우측이나 좌측 방향으로 향하도록 상기 카메라의 위치를 특징점 추출이 잘 되는 방향으로 회전시켜 고정한다. 이와 같은 카메라의 회전에 의한 방향 설정은 보통 아래 방향(DOWN)으로 고정시킨 경우보다 좌측(LEFT) 방향으로 고정시킨 경우가 특징점 추출이 잘 되어, 좌측(LEFT) 방향으로 카메라가 향하도록 고정하는 것이 바람직하나, 반드시 좌측(LEFT) 방향으로 카메라를 고정하는 것은 아니다. 즉 위나 아래 또는 우측방향을 향하여 카메라를 고정할 때 특징점 추출이 잘 된다면 해당 방향으로 카메라를 고정시키는 것이 바람직하다.If the feature point extraction is not successful, the camera can freely rotate on a horizontal plane or a vertical plane. Therefore, the position of the camera can be accurately detected by the CCD sensor of the camera, that is, the focus is directed upward or downward or rightward or leftward. In the direction of rotation. When the camera is rotated in the left direction (LEFT direction) rather than when it is fixed in the down direction (DOWN), the direction of the camera is rotated so that the feature points are extracted and fixed so that the camera faces in the left direction Preferably, the camera is not necessarily fixed in the left (LEFT) direction. That is, when the camera is fixed toward the up, down, or right direction, it is preferable to fix the camera in the corresponding direction if the feature point extraction is successful.
보통 본 발명에서와 같이 확대된 관심영역(ROI)을 선택하여 표시하기 위해 수술도구의 위치를 추적하는 방법으로 광학식 또는 자기식의 외부 추적기와 센서 마커를 사용하여 추적하는 방법이 일반적이다. 하지만 이러한 외부 추적기와 센서 마커의 장치들은 고가일 뿐 아니라, 상기 외부 추적기와 수술도구에 부착된 센서 마커 사이에 다른 물체가 자리 잡게 될 경우 추적능력을 상실하게 된다(line of sight problem). 이는 좁은 수술 방에 있는 수술장비와 수술인원이 외부 추적기와 센서 마커 사이에 자리 잡는 다른 물체, 즉 방해 물체로 작용하기 때문에 흔히 발생하는 상황이다.Generally, as in the present invention, a method of tracking the position of the surgical tool in order to select and display an enlarged ROI is generally performed by using an optical or magnetic external tracker and a sensor marker. However, these external tracker and sensor marker devices are expensive and lose trackability when other objects are placed between the external tracker and the sensor markers attached to the surgical tool (line of sight problem). This is a common situation because the surgical equipment in the narrow operating room and the surgical personnel act as other objects, that is, obstructing objects, located between the external tracker and the sensor markers.
이러한 line of sight의 문제는 본 발명에서 수술도구에 부착한 카메라가 외부 추적기의 역할을 하고, 상기 카메라에 의해 촬영된 이미지들의 특징점이 외부 추적기의 센서 마커 역할을 하여 line of sight의 문제를 줄일 수 있고 가격의 부담도 줄일 수 있게 된다. 즉 카메라와 특징점이 추출되는 배경 사이에 방해 물체가 존재하더라도 상기 카메라에 의해 촬영된 이미지 전체가 가려지지 않는 한, 현재의 이미지와 바로 이전의 이미지 사이의 특징점 매칭이 가능하기에 line of sight의 문제를 줄일 수 있는 것이다.The problem of this line of sight is that the camera attached to the surgical tool plays the role of an external tracker in the present invention and the feature point of the images taken by the camera serves as a sensor marker of the external tracker, And the burden of the price can be reduced. That is, even if an obstacle exists between the camera and the background from which the feature point is extracted, the feature point matching between the current image and the immediately preceding image is possible as long as the entire image captured by the camera is not covered, Can be reduced.
결론적으로 본 발명은 광각 내시경이나 광각 관절경으로 수술부위 영상을 보면서 수술도구를 양손에 잡고 수술을 할 때, 수술부위 영상 중 특정부위 영상인 관심영역(ROI)의 영상을 확대하여 보고자 하는 경우 일단 온/오프 스위치를 손가락으로 눌러, 관심영역(ROI)의 영상을 확대하여 보는 컴퓨터 프로그램이 작동하는 온(ON) 상태로 한다.In conclusion, the present invention can be applied to a case where an image of a region of interest (ROI), which is a specific region image of an operation site image, is enlarged when an operation tool is held on both hands while viewing a surgical site image with a wide- Press the on / off switch with your fingers to turn on the computer program that enlarges the image of the ROI.
이 상태에서 수술도구를 상기 관심영역(ROI)의 위치로 이동하기만 하면 상기 수술도구에 부착된 카메라에 의해 촬영된 이미지들 상에서 특징점들을 추출하고 매칭하여 수술도구의 회전각도를 계산하며, 이를 통해 수술부위 영상에서 픽셀단위로 이동하는 수술도구의 이동거리를 계속해서 알아낸다. 이러한 회전각도를 계산하여 이동거리를 알아내는 과정도 컴퓨터 프로그램에 의해 자동으로 이루어진다.In this state, only by moving the surgical tool to the position of the ROI, the rotation angle of the surgical tool is calculated by extracting and matching the feature points on the images photographed by the camera attached to the surgical tool, Continue to find the distance of movement of the surgical tool moving in pixel units in the surgical site image. The process of calculating the rotation angle and determining the travel distance is also automatically performed by a computer program.
이렇게 수술도구의 이동거리를 알 수 있다는 것은 상기 수술도구의 변화된 위치를 알 수 있다는 것이고, 변화된 위치에서의 확대된 영상이 계속해서 표시되며, 보고자 하는 최종적인 관심영역(ROI)의 위치에서 수술도구의 이동을 멈추고 온/오프 스위치를 오프(OFF) 상태로 하면 최종적인 확대된 관심영역(ROI)의 영상이 표시된다.The fact that the moving distance of the surgical tool is known means that the changed position of the surgical tool can be known, the enlarged image at the changed position is continuously displayed, and the position of the final ROI, The image of the final enlarged ROI is displayed when the ON / OFF switch is turned off.
이상과 같이 본 발명에 따른 관심영역 영상의 선택을 위한 도구 및 이를 이용한 선택 방법에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.As described above, a tool for selecting a region of interest image and a method of selecting the region image according to the present invention have been described with reference to the drawings. However, the present invention is not limited to the embodiments and drawings described herein, It is needless to say that various modifications may be made by those skilled in the art within the scope of the technical idea of the present invention.
1 : 수술도구 2 : 카메라
3 : 온/오프 스위치1: Surgical tool 2: camera
3: On / off switch
Claims (11)
광각 촬영기에 의해 촬영된 영상 중 보고자 하는 특정부위의 확대된 영상인 최종적인 관심영역(ROI)을 상기 온/오프 스위치의 온(ON) 상태에서, 상기 카메라에 의해 촬영된 이미지들의 영상처리에 의해 선택하여 표시하도록 한 것을 특징으로 하는 관심영역 영상의 선택을 위한 도구. Wherein the Z-axis is a Z-axis, the Y-axis is a vertical direction, and the X-axis is a horizontal direction, wherein the Z-axis is perpendicular to the CCD image sensor, A camera attached to the tool so as to be parallel, and an on / off switch provided for selective operation of the region image of interest in the tool,
(ROI), which is an enlarged image of a specific region to be viewed, of the image photographed by the wide-angle photographing apparatus, by the image processing of the images photographed by the camera in the ON state of the on / And displaying the selected region of interest image.
상기 온/오프 스위치는 도구의 파지 부위에 설치한 것을 특징으로 하는 관심영역 영상의 선택을 위한 도구.The method according to claim 1,
Wherein the on / off switch is installed on a grip portion of the tool.
상기 카메라는 수직면 또는 수평면 상에서 회전이 가능하도록 한 것을 특징으로 하는 관심영역 영상의 선택을 위한 도구.The method according to claim 1,
Wherein the camera is rotatable in a vertical or horizontal plane.
상기 도구는 수술도구인 것을 특징으로 하는 관심영역 영상의 선택을 위한 도구.The method according to claim 1,
Wherein the tool is a surgical tool.
상기 광각 촬영기는 광각 내시경 또는 광각 관절경인 것을 특징으로 하는 관심영역 영상의 선택을 위한 도구.5. The method of claim 4,
Wherein the wide angle photographer is a wide-angle endoscope or a wide-angle arthroscope.
광각 촬영기에 의해 촬영된 영상 중 도구의 움직임에 따른 이동거리를 상기 도구에 설치된 카메라에 의해 촬영된 이미지들의 영상처리를 통한 카메라의 3축 중 어느 한 축의 회전정보를 이용하여 결정하고, 이를 통해 상기 도구의 위치변화를 알아내어 최종적인 관심영역(ROI)의 영상을 표시하도록 한 것을 특징으로 하는 관심영역 영상의 선택 방법.7. A method of selecting a region of interest image by the tool of any one of claims 1 to 5,
The moving distance of the image taken by the wide angle photographing machine is determined by using the rotation information of any one of the three axes of the camera through image processing of the images taken by the camera installed in the tool, Wherein the image of the region of interest (ROI) is displayed by detecting the positional change of the tool.
상기 카메라의 회전정보는 카메라의 회전각도인 것을 특징으로 하는 관심영역 영상의 선택 방법.The method according to claim 6,
Wherein the rotation information of the camera is a rotation angle of the camera.
상기 도구의 이동거리는 상기 카메라의 회전정보인 회전각도에 일정 상수를 곱하여 결정하도록 한 것을 특징으로 하는 관심영역 영상의 선택 방법.8. The method of claim 7,
Wherein the movement distance of the tool is determined by multiplying a rotation angle, which is rotation information of the camera, by a predetermined constant.
상기 이미지들의 영상처리는 카메라에 의해 촬영된 현재의 이미지(Or)와 이전의 이미지(Ol)의 공통된 특징점을 추출하고 매칭하여 계산한 필수 행렬(essential matrix)을 구하고, 상기 필수 행렬을 특이값 분해(singular value decomposition)하여 구한 회전 행렬(R)을 통해 이루어지는 것을 특징으로 하는 관심영역 영상의 선택 방법.The method according to claim 6,
Image processing of the images is performed by extracting common feature points of a current image (O r ) and a previous image (O l ) taken by a camera and obtaining an essential matrix calculated by matching, And a rotation matrix (R) obtained by singular value decomposition.
상기 도구로는 수술도구를 사용하는 것을 특징으로 하는 관심영역 영상의 선택 방법.The method according to claim 6,
Wherein the tool is a surgical tool.
상기 광각 촬영기를 통해 촬영된 영상은 광각 내시경 또는 광각 관절경에 의해 촬영된 수술부위 영상인 것을 특징으로 하는 관심영역 영상의 선택 방법.
11. The method of claim 10,
Wherein the image photographed through the wide angle photographing device is a surgical region image photographed by a wide-angle endoscope or a wide-angle arthroscope.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150181014A KR101707113B1 (en) | 2015-12-17 | 2015-12-17 | Tool for selection of image of region of interest and its use of selection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150181014A KR101707113B1 (en) | 2015-12-17 | 2015-12-17 | Tool for selection of image of region of interest and its use of selection method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101707113B1 true KR101707113B1 (en) | 2017-03-16 |
Family
ID=58497680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150181014A KR101707113B1 (en) | 2015-12-17 | 2015-12-17 | Tool for selection of image of region of interest and its use of selection method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101707113B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190026147A (en) | 2017-09-04 | 2019-03-13 | 유메디칼 주식회사 | Region of interest changeable and manifiable image processing system and method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0763443B2 (en) * | 1986-09-30 | 1995-07-12 | 株式会社東芝 | Electronic endoscope |
| JPH08261719A (en) * | 1995-03-17 | 1996-10-11 | Toshiba Corp | Device and method for calculating amount of relative movement |
| KR20090005625A (en) * | 2007-07-09 | 2009-01-14 | (주)케이티에프테크놀로지스 | Method and device of measuring position of terminal |
| KR20090123260A (en) * | 2008-05-27 | 2009-12-02 | (주)미래컴퍼니 | Laparoscope and image processing system using the same |
| KR20140130815A (en) | 2013-05-02 | 2014-11-12 | 삼성전자주식회사 | Trocar for surgery and method for obtaining image using the same |
| JP2015073663A (en) | 2013-10-08 | 2015-04-20 | アドバンストヘルスケア株式会社 | Trocar, surgery support system, image processing method, and port |
-
2015
- 2015-12-17 KR KR1020150181014A patent/KR101707113B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0763443B2 (en) * | 1986-09-30 | 1995-07-12 | 株式会社東芝 | Electronic endoscope |
| JPH08261719A (en) * | 1995-03-17 | 1996-10-11 | Toshiba Corp | Device and method for calculating amount of relative movement |
| KR20090005625A (en) * | 2007-07-09 | 2009-01-14 | (주)케이티에프테크놀로지스 | Method and device of measuring position of terminal |
| KR20090123260A (en) * | 2008-05-27 | 2009-12-02 | (주)미래컴퍼니 | Laparoscope and image processing system using the same |
| KR20140130815A (en) | 2013-05-02 | 2014-11-12 | 삼성전자주식회사 | Trocar for surgery and method for obtaining image using the same |
| JP2015073663A (en) | 2013-10-08 | 2015-04-20 | アドバンストヘルスケア株式会社 | Trocar, surgery support system, image processing method, and port |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190026147A (en) | 2017-09-04 | 2019-03-13 | 유메디칼 주식회사 | Region of interest changeable and manifiable image processing system and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11977678B2 (en) | Robotic system providing user selectable actions associated with gaze tracking | |
| US10835344B2 (en) | Display of preoperative and intraoperative images | |
| KR102471422B1 (en) | Method and system for non-contact control in surgical environment | |
| US10674900B2 (en) | Display monitor control of a telesurgical tool | |
| CN107016717B (en) | System and method for perspective view of a patient | |
| KR102163327B1 (en) | Efficient and interactive bleeding detection in a surgical system | |
| JP4152402B2 (en) | Surgery support device | |
| EP1292877B1 (en) | Apparatus and method for indicating a target by image processing without three-dimensional modeling | |
| EP3668439B1 (en) | Synthesizing spatially-aware transitions between multiple camera viewpoints during minimally invasive surgery | |
| JP7392654B2 (en) | Medical observation system, medical observation device, and medical observation method | |
| JP2021194539A (en) | Camera tracking bar for computer assisted navigation during surgery | |
| JP2022514635A (en) | Endoscope with dual image sensors | |
| WO2020054566A1 (en) | Medical observation system, medical observation device and medical observation method | |
| JP6112689B1 (en) | Superimposed image display system | |
| KR101707113B1 (en) | Tool for selection of image of region of interest and its use of selection method | |
| WO2009027088A9 (en) | Augmented visualization in two-dimensional images | |
| KR101627369B1 (en) | Method and device for controlling/compensating movement of surgical robot | |
| KR101611484B1 (en) | Method of providing medical image | |
| US20230363820A1 (en) | Interpolation of medical images | |
| CN107884930B (en) | Head-mounted device and control method | |
| US11992273B2 (en) | System and method of displaying images from imaging devices | |
| US20230165640A1 (en) | Extended reality systems with three-dimensional visualizations of medical image scan slices | |
| KR101602763B1 (en) | Method and device for controlling/compensating movement of surgical robot | |
| KR101662837B1 (en) | Method and device for controlling/compensating movement of surgical robot | |
| KR20140088849A (en) | Method and device for controlling/compensating movement of surgical robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20191203 Year of fee payment: 4 |