KR20210082588A - System, apparatus and method for surgery guide using image registration - Google Patents

System, apparatus and method for surgery guide using image registration Download PDF

Info

Publication number
KR20210082588A
KR20210082588A KR1020190174658A KR20190174658A KR20210082588A KR 20210082588 A KR20210082588 A KR 20210082588A KR 1020190174658 A KR1020190174658 A KR 1020190174658A KR 20190174658 A KR20190174658 A KR 20190174658A KR 20210082588 A KR20210082588 A KR 20210082588A
Authority
KR
South Korea
Prior art keywords
image
matched
location information
patient
endoscopic
Prior art date
Application number
KR1020190174658A
Other languages
Korean (ko)
Inventor
양정원
이경희
전성채
차보경
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Priority to KR1020190174658A priority Critical patent/KR20210082588A/en
Publication of KR20210082588A publication Critical patent/KR20210082588A/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Endoscopes (AREA)

Abstract

The present invention relates to a system for minimally invasive surgery guide, and more particularly, to a system for minimally invasive surgery guide that is equipped with a position sensor at the end of an endoscope and uses the position and direction information of the endoscope to register an endoscopic image and a pre-generated stereoscopic image to perform an operation while grasping the internal image of a patient and the location of the spine, blood vessels, nerves, organs, and the like. The present invention discloses a system for surgery guide that is inserted into a body through the skin incision hole for a patient or the digestive organ and the like. The system comprises: an image endoscope part; a position information acquisition part mounted on the end of an endoscope; a registered image generation part; and a registered image providing part. An operator can more easily identify the affected part of the body of the patient and perform the operation efficiently.

Description

영상 정합을 이용한 수술용 가이드 시스템, 장치 및 방법 {SYSTEM, APPARATUS AND METHOD FOR SURGERY GUIDE USING IMAGE REGISTRATION}Surgical guide system, apparatus and method using image registration {SYSTEM, APPARATUS AND METHOD FOR SURGERY GUIDE USING IMAGE REGISTRATION}

본 발명은 영상 정합을 이용한 수술용 가이드 시스템, 장치 및 방법에 관한 것으로, 보다 구체적으로는 환부에 대하여 기생성된 영상을 내시경에서 생성되는 영상과 정합시켜 제공함으로써 시술자가 보다 용이하게 시술할 수 있도록 가이드하는 수술용 가이드 시스템, 장치 및 방법에 관한 것이다.The present invention relates to a surgical guide system, apparatus, and method using image registration, and more particularly, to provide an image generated by an endoscope by matching a pre-generated image for an affected part with an image generated by an endoscope so that the operator can perform the operation more easily. It relates to a guiding surgical guide system, apparatus and method.

종래의 개복 수술에 수술로 인한 환자의 통증 및 회복 시간을 줄이고 후유증을 최소화하기 위하여 최근 복강경 수술 등과 같은 최소 침습 수술 또는 연성 내시경 수술을 시행하는 경우가 많아지고 있다.Recently, minimally invasive surgery such as laparoscopic surgery or flexible endoscopic surgery is increasingly performed in order to reduce the pain and recovery time of the patient and minimize the sequelae due to the conventional open surgery.

보다 구체적으로, 도 1에서 볼 수 있는 바와 같이, 척추 수술은 환자의 신체에 한 개의 작은 침습 구멍을 절개하여 그 속으로 가늘고 긴 수술 도구를 삽입하여, 척추의 절개 소작 충진 등의 작업을 하는 수술이다. 최소 침습 수술은 개복 수술과 달리 비교적 작은 부위를 절개하므로 수술 후 고통이 줄어들고, 회복이 빠르고 미용적으로 우수한 측면이 있어 다양한 종류의 수술에 폭넓게 적용되고 있다.More specifically, as can be seen in FIG. 1 , spinal surgery is a surgery that cuts one small invasive hole in the patient's body and inserts a long and slender surgical tool into it to perform operations such as incision and cauterization of the spine. to be. Unlike open surgery, minimally invasive surgery is widely applied to various types of surgery because it cuts a relatively small area, reduces post-operative pain, and has fast recovery and excellent aesthetics.

이와 같이, 종래의 최소 침습 수술의 경우 시술자가 수술 전 촬영된 방사선 기반 영상을 기반으로 해부학적 지식에 의존하여 제한된 시야에서 시술을 수행해야 하는 제약이 따르고, 특히 제한된 내시경 영상 만으로는 영상에 보여지는 부위를 명확히 판별하기 힘들다는 어려움도 따르게 된다.As such, in the case of the conventional minimally invasive surgery, there is a restriction that the operator has to perform the procedure in a limited field of view based on the radiation-based image taken before the operation, depending on the anatomical knowledge. It is also difficult to determine clearly.

또한, 방사선 기반 영상 장치(예를 들어, CT 등)을 이용하여 환자의 내부에 대한 영상을 확인하면서 수술을 진행하는 경우에는 환자 내부의 영상을 비교적 용이하게 획득할 수 있다는 장점이 있으나, 환자 및 시술자의 방사선 피폭이 증가할 수 있다는 점에서 여전히 문제가 남는다.In addition, when the operation is performed while checking the image of the patient's interior using a radiation-based imaging device (eg, CT, etc.), there is an advantage in that an image of the patient's interior can be acquired relatively easily, but the patient and A problem still remains in that the radiation exposure of the operator may increase.

이에 따라, 시술자가 보다 용이하게 환자의 신체 내부의 환부를 용이하게 판별하면서 시술을 효과적으로 수행할 수 있도록 하는 방안이 지속적으로 요구되고 있으나, 아직 이에 대한 적절한 해법이 제시되지 못하고 있다.Accordingly, there is a continuous demand for a method that allows the operator to perform the procedure effectively while more easily discriminating the affected part inside the patient's body, but an appropriate solution has not yet been proposed.

대한민국 특허공개공보 제10-2006-0037671호 (2006.05.03)Korean Patent Laid-Open Publication No. 10-2006-0037671 (2006.05.03)

본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로, 시술자가 환자의 신체 내부의 환부를 보다 용이하게 판별하면서 시술을 효율적으로 수행할 수 있도록 하는 수술용 가이드 시스템, 장치 및 방법을 개시하는 것을 목적으로 한다.The present invention has been devised to solve the above problems, and it is an object of the present invention to disclose a guide system, apparatus and method for surgery that allows the operator to more easily determine the affected part inside the patient's body and perform the operation efficiently do it with

그 외 본 발명의 세부적인 목적은 이하에 기재되는 구체적인 내용을 통하여 이 기술 분야의 전문가나 연구자에게 자명하게 파악되고 이해될 것이다.Other detailed objects of the present invention will be clearly grasped and understood by experts or researchers in the technical field through the specific contents described below.

상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 수술용 가이드 시스템은, 환자의 환부에 대한 가이드 영상을 제공하는 수술용 가이드 시스템에 있어서, 영상 촬영 장치를 구비하여 상기 환부에 대한 내시경 영상을 생성하는 내시경부; 상기 영상 촬영 장치의 위치 정보를 획득하는 위치 정보 획득부; 상기 환부에 대하여 기생성된 제1 영상을 상기 위치 정보를 이용하여 상기 내시경 영상에 정합한 정합 영상을 생성하는 정합 영상 생성부; 및 상기 정합 영상을 시술자에게 제공하는 정합 영상 제공부;를 포함하는 것을 특징으로 한다.Surgical guide system according to an embodiment of the present invention for solving the above problems, in the surgical guide system for providing a guide image for an affected part of a patient, includes an imaging device to provide an endoscopic image for the affected part an endoscope to create a; a location information obtaining unit obtaining location information of the image capturing apparatus; a registered image generator for generating a registered image in which the pre-generated first image for the affected part is matched to the endoscopic image by using the location information; and a matched image providing unit that provides the matched image to the operator.

이때, 상기 내시경부의 종단에는 제1 센서가 구비되며, 상기 위치 정보 획득부는 상기 제1 센서를 이용하여 상기 내시경 영상이 촬영되는 위치에 대한 상기 위치 정보를 획득할 수 있다.In this case, a first sensor may be provided at the end of the endoscope unit, and the location information obtaining unit may obtain the location information on the location at which the endoscope image is captured by using the first sensor.

또한, 상기 위치 정보는 상기 내시경 영상이 촬영되는 방향에 대한 정보도 포함하며, 상기 정합 영상 생성부는 상기 제1 영상을 상기 방향에 대한 정보도 고려하여 상기 내시경 영상에 정합하여 상기 정합 영상을 생성할 수 있다.In addition, the location information includes information on a direction in which the endoscopic image is taken, and the matched image generating unit generates the matched image by registering the first image with the endoscopic image in consideration of the information on the direction. can

또한, 상기 제1 영상은 상기 환자의 하나 이상의 조직에 대하여 각 조직 별로 생성된 하나 이상의 입체 영상을 포함하며, 상기 정합 영상 생성부는 상기 하나 이상의 입체 영상을 상기 내시경 영상에서 대응하는 각 조직의 위치로 정합하여 정합 영상을 생성할 수 있다.In addition, the first image includes one or more stereoscopic images generated for each tissue with respect to one or more tissues of the patient, and the matched image generator converts the one or more stereoscopic images to a location of each corresponding tissue in the endoscopic image. A registered image may be generated by registration.

또한, 상기 위치 정보 획득부(120)는 외부에서 상기 환자의 내부로 전자기파를 인가하는 전자기파 인가 장치(122)를 구비하며, 상기 제1 센서(121)는 상기 전자기파에 반응하여 상기 위치 정보를 생성할 수 있다.In addition, the location information acquisition unit 120 includes an electromagnetic wave application device 122 that applies electromagnetic waves from the outside to the inside of the patient, and the first sensor 121 generates the location information in response to the electromagnetic waves. can do.

또한, 상기 정합 영상 생성부는, 방사선 영상 장치를 이용하여 생성된 일군의 단층 영상에 대한 영상 처리를 통해 상기 제1 영상을 생성할 수 있다.Also, the matched image generator may generate the first image through image processing on a group of tomographic images generated using a radiographic imaging apparatus.

본 발명의 일 실시예에 따른 영상 정합을 이용한 수술용 가이드 시스템, 장치 및 방법에서는, 환부에 대하여 기생성된 영상을 내시경에서 생성되는 영상과 정합시켜 제공함으로써 시술자가 환자 신체 내부의 환부를 보다 용이하게 판별하면서 시술을 효율적으로 수행할 수 있도록 하게 된다.In the guide system, apparatus and method for surgery using image registration according to an embodiment of the present invention, by providing a pre-generated image of the affected part by matching it with the image generated by the endoscope, it is easier for the operator to find the affected part inside the patient's body This will allow you to perform the procedure efficiently while discriminating.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 통상의 복강경 수술에 대한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 수술용 가이드 시스템의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 수술용 가이드 시스템의 구성을 예시하는 도면이다.
도 4는 발명의 일 실시예에 따른 수술용 가이드 시스템의 위치, 방향 인식 및 영상 정합을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 수술용 가이드 시스템의 제1 영상을 예시하는 도면이다.
도 6은 발명의 일 실시예에 따른 수술 가이드 방법의 순서도이다.BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are included as a part of the detailed description to help the understanding of the present invention, provide embodiments of the present invention, and together with the detailed description, explain the technical spirit of the present invention.
1 is an exemplary view for a conventional laparoscopic surgery.
Figure 2 is a block diagram of a guide system for surgery according to an embodiment of the present invention.
3 is a diagram illustrating the configuration of a guide system for surgery according to an embodiment of the present invention.
4 is a view for explaining the position, direction recognition and image registration of the guide system for surgery according to an embodiment of the present invention.
5 is a view illustrating a first image of the guide system for surgery according to an embodiment of the present invention.
6 is a flowchart of a surgical guide method according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.The present invention can apply various transformations and can have various embodiments. Hereinafter, specific embodiments will be described in detail based on the accompanying drawings.

이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.The following examples are provided to provide a comprehensive understanding of the methods, apparatus and/or systems described herein. However, this is merely an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다. In describing the embodiments of the present invention, if it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification. The terminology used in the detailed description is for the purpose of describing embodiments of the present invention only, and should not be limiting in any way. Unless explicitly used otherwise, expressions in the singular include the meaning of the plural. In this description, expressions such as “comprising” or “comprising” are intended to indicate certain features, numbers, steps, acts, elements, some or a combination thereof, one or more other than those described. It should not be construed to exclude the presence or possibility of other features, numbers, steps, acts, elements, or any part or combination thereof.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.In addition, terms such as first and second may be used to describe various components, but the components are not limited by the terms, and the terms are for the purpose of distinguishing one component from other components. used only as

아래에서는, 본 발명에 따른 영상 정합을 이용한 수술용 가이드 시스템, 장치 및 방법의 예시적인 실시형태들을 첨부된 도면을 참조하여 상세히 설명한다.Hereinafter, exemplary embodiments of a surgical guide system, apparatus and method using image registration according to the present invention will be described in detail with reference to the accompanying drawings.

먼저, 도 2에서는 본 발명의 일 실시예에 따른 영상 정합을 이용한 수술용 가이드 시스템(100)의 블록도를 예시하고 있다. 도 2에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 영상 정합을 이용한 수술용 가이드 시스템(100)는, 환자의 환부에 대한 가이드 영상을 제공하는 수술용 가이드 시스템(100)에 있어서, 영상 촬영 장치(111)를 구비하여 상기 환부에 대한 내시경 영상을 생성하는 내시경부(110), 상기 영상 촬영 장치(111)의 위치 정보를 획득하는 위치 정보 획득부(120), 상기 환부에 대하여 기생성된 제1 영상을 상기 위치 정보를 이용하여 상기 내시경 영상에 정합한 정합 영상을 생성하는 정합 영상 생성부(130) 및 상기 정합 영상을 시술자에게 제공하는 정합 영상 제공부(140)를 포함하여 구성될 수 있다.First, FIG. 2 illustrates a block diagram of a guide system 100 for surgery using image registration according to an embodiment of the present invention. As can be seen in Figure 2, the surgical guide system 100 using image registration according to an embodiment of the present invention, in the surgical guide system 100 for providing a guide image for the affected part of the patient, The endoscope unit 110 having an image capturing device 111 to generate an endoscopic image for the affected area, a location information obtaining unit 120 obtaining location information of the image capturing device 111, and a description of the affected area A registered image generator 130 for generating a registered image matching the generated first image to the endoscopic image by using the location information, and a registered image providing unit 140 for providing the registered image to an operator. can be

이에 따라, 본 발명의 일 실시예에 따른 영상 정합을 이용한 수술용 가이드 시스템(100), 장치 및 방법에서는, 환부에 대하여 기생성된 제1 영상을 내시경에서 생성되는 내시경 영상과 정합시켜 제공함으로써 시술자가 환자 신체 내부의 환부를 보다 용이하게 판별하면서 시술을 효율적으로 수행할 수 있도록 하게 된다.Accordingly, in the guide system 100, apparatus and method for surgery using image registration according to an embodiment of the present invention, the first image generated in advance for the affected part is matched with the endoscopic image generated by the endoscope and provided by the operator. This allows the procedure to be performed efficiently while more easily discriminating the affected part inside the patient's body.

보다 구체적으로, 도 3에서는 본 발명의 일 실시예에 따른 영상 정합을 이용한 수술용 가이드 시스템(100)의 구성을 예시하는 도면을 나타내고 있다. More specifically, FIG. 3 shows a diagram illustrating the configuration of the surgical guide system 100 using image registration according to an embodiment of the present invention.

아래에서는 도 2 및 도 3을 참조하여 본 발명의 일 실시예에 따른 영상 정합을 이용한 수술용 가이드 시스템(100)을 각 구성요소별로 나누어 보다 자세하게 설명한다.Hereinafter, with reference to FIGS. 2 and 3 , the surgical guide system 100 using image registration according to an embodiment of the present invention will be described in more detail by dividing it for each component.

먼저, 상기 내시경부(110)에서는 영상 촬영 장치(111)를 구비하여 상기 환부에 대한 내시경 영상을 생성하게 된다.First, the endoscope unit 110 is provided with an image capturing device 111 to generate an endoscopic image for the affected part.

이때, 도 3에서는 설명의 편의상 특정 내시경 형태로 그려졌지만, 본 발명에서 상기 내시경부(110)는 연성 내시경 (flexible endoscopy) 및 경성 내시경 (rigid endoscopy) 뿐만 아니라 이외에도 복강경 내시경 등 다양한 종류의 내시경에 폭넓게 적용 가능하다.At this time, in FIG. 3 , it is drawn in the form of a specific endoscope for convenience of explanation, but in the present invention, the endoscope unit 110 is widely used in various types of endoscopes, such as flexible endoscopy and rigid endoscopy, as well as laparoscopic endoscopy. Applicable.

또한, 상기 내시경부(110)에서 상기 영상 촬영 장치(111)는 카메라 등 내시경에 구비되어 환자의 환부에 대한 영상을 촬영할 수 있는 다양한 장치가 사용될 수 있다. In addition, in the endoscope unit 110 , the image capturing device 111 is provided in the endoscope, such as a camera, and various devices capable of capturing an image of an affected part of a patient may be used.

또한, 상기 내시경부(110)에는 상기 영상 촬영 장치(111) 뿐만 아니라, 영상 촬영을 위한 광원(light source), 프로브(probe) 및 종단 팁(distal tip) 등 내시경의 용도에 따라 다양한 장치들이 구비될 수 있다.In addition, the endoscope unit 110 is provided with various devices according to the purpose of the endoscope, such as a light source for image capturing, a probe, and a distal tip, as well as the image capturing device 111 . can be

또한, 상기 위치 정보 획득부(120)는 상기 영상 촬영 장치(111)의 위치 정보를 획득하게 된다.Also, the location information obtaining unit 120 obtains location information of the image capturing apparatus 111 .

보다 구체적으로, 상기 내시경부(110)의 종단에는 제1 센서(121)가 구비될 수 있으며, 이때 상기 위치 정보 획득부(120)는 상기 제1 센서(121)를 이용하여 상기 영상 촬영 장치(111)에 의하여 상기 내시경 영상이 촬영되는 위치에 대한 위치 정보를 획득할 수 있다.More specifically, a first sensor 121 may be provided at the end of the endoscope unit 110 , and in this case, the location information obtaining unit 120 uses the first sensor 121 to obtain the image photographing device ( 111), it is possible to obtain location information on a location where the endoscopic image is captured.

나아가, 도 4에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 수술용 가이드 시스템(100)에서, 상기 위치 정보 획득부(120)는 외부에서 상기 환자의 내부로 전자기파를 인가하는 전자기파 인가 장치(122)를 구비할 수 있으며, 이에 따라 상기 제1 센서(121)는 외부에서 인가되는 전자기파에 반응하여 상기 내시경 영상이 촬영되는 위치 정보를 생성하게 된다.Furthermore, as can be seen in FIG. 4 , in the surgical guide system 100 according to an embodiment of the present invention, the location information acquisition unit 120 applies electromagnetic waves from the outside to the inside of the patient. The device 122 may be provided, and accordingly, the first sensor 121 generates location information at which the endoscopic image is captured in response to an electromagnetic wave applied from the outside.

이때, 전자기파를 이용하여 위치를 측정하는 기술은 펄스파를 이용하여 수신 시간차를 측정하거나 연속파의 위상을 비교하는 기술 등 기사용되고 있는 다양한 전자기파 이용 측위 기술들을 이용할 수 있는 바, 본 발명에서는 자세한 설명을 생략한다.At this time, the technology for measuring the position using electromagnetic waves can use various positioning techniques using electromagnetic waves that are used, such as measuring the reception time difference using pulse waves or comparing the phases of continuous waves, etc. In the present invention, detailed description is provided. omit

또한, 상기 정합 영상 생성부(130)에서는, 상기 환부에 대하여 기생성된 제1 영상을 상기 위치 정보 획득부(120)에서 획득한 위치 정보를 이용하여 상기 내시경 영상에 정합한 정합 영상을 생성하게 된다.In addition, in the matched image generating unit 130, the first image pre-generated for the affected part is generated using the position information obtained by the position information obtaining unit 120 to match the endoscopic image to the registered image. do.

보다 구체적으로, 상기 정합 영상 생성부(130)에서는 실시간으로 생성되고 있는 내시경 영상이 촬영된 위치 정보를 상기 위치 정보 획득부(120)로부터 전달받게 되는 바, 상기 위치 정보를 이용하여 상기 환부에 대하여 기생성된 영상에서 상기 내시경 영상에 정합될 수 있는 제1 영상을 산출하고, 상기 제1 영상을 상기 내시경 영상에 정합하여 정합 영상을 생성하게 되다.More specifically, the matched image generating unit 130 receives the location information at which the endoscopic image being generated in real time is captured from the location information obtaining unit 120, and the location information is used for the affected part. A first image that can be matched to the endoscopic image is calculated from a pre-generated image, and a registered image is generated by registering the first image with the endoscopic image.

특히, 종래의 내시경 영상 만으로는 영상에서 보여지는 환부를 판별하는 것이 쉽지 않으나, 본 발명의 일 실시예에 따른 수술용 가이드 시스템(100)에서는 미리 생성된 제1 영상을 상기 내시경 영상과 중첩하여 제공함으로써, 시술자가 보다 용이하게 영상에 보여지는 환부를 판별하여 시술을 진행하도록 가이드할 수 있게 된다.In particular, it is not easy to determine the affected part shown in the image with only the conventional endoscopic image, but in the surgical guide system 100 according to an embodiment of the present invention, the first image generated in advance is provided by overlapping the endoscopic image. , it is possible to guide the operator to more easily determine the affected area shown in the image to proceed with the procedure.

보다 구체적으로, 상기 정합 영상 생성부(130)는, CT 등의 방사선 영상 장치를 이용하여 생성된 일군의 단층 영상에 대한 영상 처리를 통해 입체 형상을 가지는 제1 영상을 생성할 수 있다.More specifically, the matched image generator 130 may generate a first image having a three-dimensional shape through image processing on a group of tomographic images generated using a radiographic imaging apparatus such as CT.

나아가, 본 발명의 일 실시예에 따른 수술용 가이드 시스템(100)에서, 상기 제1 영상은 상기 환자의 하나 이상의 조직에 대하여 각 조직 별로 생성된 하나 이상의 입체 영상을 포함할 수 있으며, 이에 따라 상기 정합 영상 생성부(130)에서는 상기 하나 이상의 입체 영상을 상기 내시경 영상에서 대응하는 각 조직의 위치로 정합하여 정합 영상을 생성할 수 있다.Furthermore, in the guide system 100 for surgery according to an embodiment of the present invention, the first image may include one or more stereoscopic images generated for each tissue with respect to one or more tissues of the patient. The matched image generating unit 130 may generate a matched image by matching the one or more three-dimensional images to positions of corresponding tissues in the endoscopic image.

예를 들어, 시술자가 환자의 척추에 대한 수술을 진행하는 경우, 근육 등의 조직들이 상기 척추를 감싸고 있기 때문에 내시경 영상 만으로는 영상에 비춰지는 부위가 어느 부위인지 명확히 판별하는 것이 쉽지 않아 시술자가 시술을 진행하는데 어려움을 겪을 수 있다.For example, when an operator performs surgery on a patient's spine, it is not easy to clearly determine which part is reflected in the image only with an endoscopic image because tissues such as muscles surround the spine. It can be difficult to proceed.

이에 대하여, 본 발명의 일 실시예에 따른 수술용 가이드 시스템(100)에서는, 뼈나 혈관, 신경 등 수술과 관련된 조직들에 대한 입체 영상을 CT 등의 방사선 영상 장치를 이용하여 생성된 단층 영상으로부터 미리 생성한 후, 상기 내시경 영상에 실시간으로 중첩하여 시술자에게 제공하게 된다.In contrast, in the guide system 100 for surgery according to an embodiment of the present invention, a stereoscopic image of tissues related to surgery, such as a bone, blood vessel, or nerve, is preliminarily obtained from a tomographic image generated using a radiographic imaging apparatus such as CT. After creation, it is superimposed on the endoscopic image in real time and provided to the operator.

보다 구체적인 예를 들어, 도 5에서는 미리 촬영된 환자의 CT 영상으로부터 생성된 환자의 척추뼈 입체 영상을 도시하고 있다.As a more specific example, FIG. 5 illustrates a stereoscopic image of a patient's vertebrae generated from a pre-imaged CT image of the patient.

이에 따라, 본 발명의 일 실시예에 따른 수술용 가이드 시스템(100)에서는, 도 5의 척추뼈 입체 영상을 상기 환자에 대한 척추 시술 중에 내시경 영상에 실시간으로 중첩하여 제공하여 줌으로써, 시술자가 환자의 척추를 보다 용이하게 판별하면서 시술을 효율적으로 수행할 수 있도록 하게 된다.Accordingly, in the guide system 100 for surgery according to an embodiment of the present invention, the 3D image of the vertebra of FIG. 5 is superimposed on the endoscopic image during spinal surgery for the patient in real time and provided, so that the operator can help the patient It makes it easier to discriminate the spine while allowing the operation to be performed efficiently.

나아가, 본 발명의 일 실시예에 따른 수술용 가이드 시스템(100)에서, 상기 위치 정보는 상기 내시경 영상이 촬영되는 방향에 대한 정보도 포함할 수 있으며, 이에 따라 상기 정합 영상 생성부(130)는 상기 제1 영상을 상기 방향에 대한 정보도 고려하여 상기 내시경 영상에 정합하여 상기 정합 영상을 생성할 수 있다.Furthermore, in the guide system 100 for surgery according to an embodiment of the present invention, the location information may also include information on a direction in which the endoscopic image is taken, and accordingly, the matched image generating unit 130 is The matched image may be generated by registering the first image with the endoscopic image in consideration of the direction information.

보다 구체적으로, 도 4에서 볼 수 있는 바와 같이, 상기 영상 촬영 장치(111)가 제1 방향(도 4의 (D1))으로 촬영을 하는 경우, 상기 제1 방향에 위치하는 제1 기관(도 4의 (O1))이 촬영되므로, 상기 정합 영상 생성부(130)는 상기 제1 방향에 위치하는 제1 기관에 대하여 미리 생성된 입체 영상을 상기 내시경 영상에 정합하여 정합 영상을 생성할 수 있다.More specifically, as can be seen in FIG. 4 , when the image capturing apparatus 111 takes a picture in a first direction ((D1 of FIG. 4 )), a first organ ( FIG. 4 ) positioned in the first direction. Since (O1) of 4 is photographed, the matched image generating unit 130 may generate a matched image by registering a pre-generated stereoscopic image of a first organ located in the first direction with the endoscopic image. .

또한, 시술자가 상기 내시경부(110)의 방향을 바꾸어 상기 영상 촬영 장치(111)가 제2 방향(도 4의 (D2))으로 촬영을 하는 경우, 상기 제2 방향에 위치하는 제2 기관(도 4의 (O2))이 촬영되므로, 상기 정합 영상 생성부(130)는 상기 제2 방향에 위치하는 제2 기관에 대하여 미리 생성된 입체 영상을 상기 내시경 영상에 정합하여 정합 영상을 생성할 수 있다.In addition, when the operator changes the direction of the endoscope unit 110 and the imaging apparatus 111 takes a picture in the second direction ((D2 of FIG. 4 )), a second organ located in the second direction ( Since (O2) of FIG. 4) is photographed, the matched image generating unit 130 may generate a registered image by registering a pre-generated stereoscopic image of a second organ located in the second direction with the endoscopic image. have.

또한, 도 6에서는 본 발명의 일 실시예에 따른 수술 가이드 방법의 순서도를 도시하고 있다.In addition, Figure 6 shows a flowchart of a surgical guide method according to an embodiment of the present invention.

도 6에서 볼 수 있는 바와 같이 본 발명의 일 실시예에 따른 수술 가이드 방법은, 환자의 환부에 대한 가이드 영상을 제공하는 수술 가이드 방법으로서, 영상 촬영 장치(111)를 이용하여 상기 환부에 대한 내시경 영상을 생성하는 내시경 영상 생성 단계(S110), 상기 영상 촬영 장치(111)의 위치 정보를 획득하는 위치 정보 획득 단계(S120), 상기 환부에 대하여 기생성된 제1 영상을 상기 위치 정보를 이용하여 상기 내시경 영상에 정합한 정합 영상을 생성하는 정합 영상 생성 단계(S130) 및 상기 정합 영상을 시술자에게 제공하는 정합 영상 제공 단계(S140)를 포함할 수 있다.As can be seen in FIG. 6 , the surgical guide method according to an embodiment of the present invention is a surgical guide method for providing a guide image for an affected part of a patient, and an endoscope for the affected part using an imaging device 111 . Endoscopy image generating step (S110) for generating an image, location information obtaining step (S120) for obtaining location information of the image capturing device 111, and using the location information for the first image pre-generated for the affected part It may include a registration image generating step (S130) of generating a registered image matched to the endoscopic image and a registered image providing step (S140) of providing the registered image to an operator.

본 발명의 일 실시예에 따른 수술 가이드 방법은 앞서 설명한 수술용 가이드 시스템(100)과 그 동작 원리 및 동작이 유사하여 통상의 기술자가 용이하게 구현하고 실시할 수 있으므로 보다 자세한 설명은 생략하며 앞서 설명한 수술용 가이드 시스템(100)에 대한 일련의 설명을 참조할 수 있다.The surgical guide method according to an embodiment of the present invention is similar to the operation principle and operation of the surgical guide system 100 described above, so a person skilled in the art can easily implement and implement it, so a more detailed description is omitted and described above. Reference may be made to a series of descriptions of the surgical guide system 100 .

이에 따라, 본 발명의 일 실시예에 따른 영상 정합을 이용한 수술용 가이드 시스템(100), 장치 및 방법에서는, 환부에 대하여 기생성된 제1 영상을 내시경에서 생성되는 내시경 영상과 정합시켜 제공함으로써 시술자가 환자 신체 내부의 환부를 보다 용이하게 판별하면서 시술을 효율적으로 수행할 수 있도록 하게 된다.Accordingly, in the guide system 100, apparatus and method for surgery using image registration according to an embodiment of the present invention, the first image generated in advance for the affected part is matched with the endoscopic image generated by the endoscope and provided by the operator. This allows the procedure to be performed efficiently while more easily discriminating the affected part inside the patient's body.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경, 및 치환이 가능할 것이다. 따라서 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면들에 의해서 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains may make various modifications, changes, and substitutions within the scope not departing from the essential characteristics of the present invention. It will be possible. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are for explanation rather than limiting the technical spirit of the present invention, and the scope of the technical spirit of the present invention is not limited by these embodiments and the accompanying drawings. . The protection scope of the present invention should be interpreted by the claims below, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100 : 수술용 가이드 시스템
110 : 내시경부
111 : 영상 촬영 장치
120 : 위치 정보 획득부
121 : 제1 센서
122 : 전자기파 인가 장치
130 : 정합 영상 생성부
140 : 정합 영상 제공부100: surgical guide system
110: endoscope unit
111: video recording device
120: location information acquisition unit
121: first sensor
122: electromagnetic wave applying device
130: registered image generating unit
140: matching image providing unit

Claims (7)

환자의 환부에 대한 가이드 영상을 제공하는 수술용 가이드 시스템에 있어서,
영상 촬영 장치를 구비하여 상기 환부에 대한 내시경 영상을 생성하는 내시경부;
상기 영상 촬영 장치의 위치 정보를 획득하는 위치 정보 획득부;
상기 환부에 대하여 기생성된 제1 영상을 상기 위치 정보를 이용하여 상기 내시경 영상에 정합한 정합 영상을 생성하는 정합 영상 생성부; 및
상기 정합 영상을 시술자에게 제공하는 정합 영상 제공부;
를 포함하는 것을 특징으로 하는 수술용 가이드 시스템.In the surgical guide system for providing a guide image for the affected part of the patient,
an endoscope unit having an image capturing device to generate an endoscopic image for the affected part;
a location information obtaining unit obtaining location information of the image capturing apparatus;
a registered image generator for generating a registered image in which the pre-generated first image for the affected part is matched to the endoscopic image by using the location information; and
a matched image providing unit for providing the matched image to the operator;
Surgical guide system comprising a. 제1항에 있어서,
상기 내시경부의 종단에는 제1 센서가 구비되며,
상기 위치 정보 획득부는 상기 제1 센서를 이용하여 상기 내시경 영상이 촬영되는 위치에 대한 상기 위치 정보를 획득하는 것을 특징으로 하는 수술용 가이드 시스템.According to claim 1,
A first sensor is provided at the end of the endoscope unit,
The position information acquisition unit for a surgical guide system, characterized in that by using the first sensor to acquire the position information on the position at which the endoscopic image is taken. 제2항에 있어서,
상기 위치 정보는 상기 내시경 영상이 촬영되는 방향에 대한 정보도 포함하며,
상기 정합 영상 생성부는 상기 제1 영상을 상기 방향에 대한 정보도 고려하여 상기 내시경 영상에 정합하여 상기 정합 영상을 생성하는 것을 특징으로 하는 수술용 가이드 시스템.3. The method of claim 2,
The location information also includes information about the direction in which the endoscopic image is taken,
The matched image generator is configured to generate the matched image by matching the first image with the endoscopic image in consideration of the direction information as well. 제1항에 있어서,
상기 제1 영상은 상기 환자의 하나 이상의 조직에 대하여 각 조직 별로 생성된 하나 이상의 입체 영상을 포함하며,
상기 정합 영상 생성부는 상기 하나 이상의 입체 영상을 상기 내시경 영상에서 대응하는 각 조직의 위치로 정합하여 정합 영상을 생성하는 것을 특징으로 하는 수술용 가이드 시스템.According to claim 1,
The first image includes one or more stereoscopic images generated for each tissue with respect to one or more tissues of the patient,
The matched image generating unit is a guide system for surgery, characterized in that the one or more three-dimensional images are matched to the positions of the corresponding tissues in the endoscopic image to generate a matched image. 제2항에 있어서,
상기 위치 정보 획득부(120)는 외부에서 상기 환자의 내부로 전자기파를 인가하는 전자기파 인가 장치(122)를 구비하며,
상기 제1 센서(121)는 상기 전자기파에 반응하여 상기 위치 정보를 생성하는 것을 특징으로 하는 수술용 가이드 시스템.3. The method of claim 2,
The location information obtaining unit 120 includes an electromagnetic wave applying device 122 that applies electromagnetic waves from the outside to the inside of the patient,
The first sensor 121 is a guide system for surgery, characterized in that for generating the position information in response to the electromagnetic wave. 제1항에 있어서,
상기 정합 영상 생성부는,
방사선 영상 장치를 이용하여 생성된 일군의 단층 영상에 대한 영상 처리를 통해 상기 제1 영상을 생성하는 것을 특징으로 하는 수술용 가이드 시스템.According to claim 1,
The matched image generating unit,
A guide system for surgery, characterized in that the first image is generated through image processing on a group of tomographic images generated using a radiographic imaging apparatus. 환자의 환부에 대한 가이드 영상을 제공하는 수술 가이드 방법에 있어서,
영상 촬영 장치를 이용하여 상기 환부에 대한 내시경 영상을 생성하는 내시경 영상 생성 단계;
상기 영상 촬영 장치의 위치 정보를 획득하는 위치 정보 획득 단계;
상기 환부에 대하여 기생성된 제1 영상을 상기 위치 정보를 이용하여 상기 내시경 영상에 정합한 정합 영상을 생성하는 정합 영상 생성 단계; 및
상기 정합 영상을 시술자에게 제공하는 정합 영상 제공 단계;
를 포함하는 것을 특징으로 하는 수술 가이드 방법.In the surgical guide method for providing a guide image for the affected part of the patient,
an endoscopic image generating step of generating an endoscopic image for the affected part using an image capturing device;
a location information obtaining step of obtaining location information of the image capturing apparatus;
a registration image generating step of generating a registered image in which the first image previously generated for the affected part is matched to the endoscopic image by using the location information; and
a matched image providing step of providing the matched image to an operator;
Surgical guide method comprising a.
KR1020190174658A 2019-12-26 2019-12-26 System, apparatus and method for surgery guide using image registration KR20210082588A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190174658A KR20210082588A (en) 2019-12-26 2019-12-26 System, apparatus and method for surgery guide using image registration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190174658A KR20210082588A (en) 2019-12-26 2019-12-26 System, apparatus and method for surgery guide using image registration

Publications (1)

Publication Number Publication Date
KR20210082588A true KR20210082588A (en) 2021-07-06

Family

ID=76861165

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190174658A KR20210082588A (en) 2019-12-26 2019-12-26 System, apparatus and method for surgery guide using image registration

Country Status (1)

Country Link
KR (1) KR20210082588A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060037671A (en) 2004-10-28 2006-05-03 김재황 Monitering apparatus for laparoscopice surgery and disply method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060037671A (en) 2004-10-28 2006-05-03 김재황 Monitering apparatus for laparoscopice surgery and disply method thereof

Similar Documents

Publication Publication Date Title
US9925017B2 (en) Medical navigation image output comprising virtual primary images and actual secondary images
US6923768B2 (en) Method and apparatus for acquiring and displaying a medical instrument introduced into a cavity organ of a patient to be examined or treated
US6768496B2 (en) System and method for generating an image from an image dataset and a video image
US20180153383A1 (en) Surgical tissue recognition and navigation aparatus and method
CN103997982B (en) By operating theater instruments with respect to the robot assisted device that patient body is positioned
KR101572487B1 (en) System and Method For Non-Invasive Patient-Image Registration
US9232982B2 (en) System for orientation assistance and display of an instrument in an object under examination particularly for use in human body
JP4606703B2 (en) Medical examination and / or treatment equipment
JP4854915B2 (en) Method for detecting and rendering a medical catheter introduced in an examination area of a patient
JP5067398B2 (en) Ultrasound image and CT image matching system
JP6049202B2 (en) Image processing apparatus, method, and program
KR102105974B1 (en) Medical imaging system
TW201124106A (en) Collision avoidance and detection using distance sensors
US20080212858A1 (en) Method for image registration processes and X-ray angiography system
CN109035414A (en) Generation method, device, equipment and the storage medium of augmented reality operative image
KR102437616B1 (en) 3D image registration providing apparatus, image coordinate matching method and surface data acquisition method using the same
WO2015091226A1 (en) Laparoscopic view extended with x-ray vision
KR20160057024A (en) Markerless 3D Object Tracking Apparatus and Method therefor
EP2954846B1 (en) Swipe to see through ultrasound imaging for intraoperative applications
KR20210082588A (en) System, apparatus and method for surgery guide using image registration
CN215994218U (en) Remote fracture reduction system
JP2023064078A (en) System and method for image registration
US11910995B2 (en) Instrument navigation in endoscopic surgery during obscured vision
WO2018002347A1 (en) Registering tomographic imaging and endoscopic imaging
RU2676435C2 (en) Cavity determination apparatus