KR102105974B1 - Medical imaging system - Google Patents
Medical imaging system Download PDFInfo
- Publication number
- KR102105974B1 KR102105974B1 KR1020180016183A KR20180016183A KR102105974B1 KR 102105974 B1 KR102105974 B1 KR 102105974B1 KR 1020180016183 A KR1020180016183 A KR 1020180016183A KR 20180016183 A KR20180016183 A KR 20180016183A KR 102105974 B1 KR102105974 B1 KR 102105974B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- human body
- unit
- body model
- medical
- Prior art date
Links
- 238000002059 diagnostic imaging Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 41
- 210000003484 anatomy Anatomy 0.000 claims description 26
- 239000000523 sample Substances 0.000 claims description 21
- 238000002604 ultrasonography Methods 0.000 claims description 16
- 230000003190 augmentative effect Effects 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000001356 surgical procedure Methods 0.000 claims description 8
- 239000003550 marker Substances 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- High Energy & Nuclear Physics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Pulmonology (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
일 실시예에 따른 의료 영상 시스템은, 적어도 하나의 의료 영상에 기초하여 3차원 인체 모델을 생성하는 인체 모델 구현부; 시술 중 의료 영상을 실시간으로 획득하는 영상 획득부; 및 상기 인체 모델 구현부에서 생성된 3차원 인체 모델 및 상기 영상 획득부에서 획득된 의료 영상을 정합시키는 영상 정합부;를 포함하고, 상기 영상 정합부는 적어도 하나의 단면 영상을 포함하고, 상기 단면 영상을 기준으로 상기 인체 모델 구현부에서 생성된 3차원 인체 모델 및 상기 영상 획득부에서 획득된 의료 영상을 정합시킬 수 있다.A medical imaging system according to an embodiment may include a human body model implementation unit that generates a 3D human body model based on at least one medical image; An image acquisition unit that acquires a medical image in real time during the procedure; And an image matching unit that matches the 3D human body model generated by the human body model implementation unit and the medical image acquired by the image acquisition unit, wherein the image matching unit includes at least one cross-sectional image, and the cross-sectional image. The 3D human body model generated by the human body model implementation unit and the medical image acquired by the image acquisition unit may be matched on the basis of.
Description
본 발명은 의료 영상 시스템에 관한 것으로서, 3차원 인체 모델 및 시술 중에 실시간으로 획득된 의료 영상을 정합한 후에 가상/증강현실 기반 3차원 공간에 시술도구를 정확히 위치시킬 수 있는 의료 영상 시스템에 관한 것이다.The present invention relates to a medical imaging system, and a medical imaging system capable of accurately positioning a surgical tool in a virtual / augmented reality based 3D space after matching a 3D human body model and a medical image acquired in real time during a procedure. .
현재 C-arm 기기는 환자의 척추 구조물을 2차원 X-ray 영상(평면)으로 구현하여 줌으로써 의사는 2차원 영상을 보면서 환자를 시술하게 되는데 환자의 척추 구조물은 3차원(입체)으로 되어 있어, 정확한 시술이 어려운 실정이다. 의사는 C-arm기기를 여러 방향으로 돌려 X-ray 촬영을 반복하면서 시술 위치를 찾게 되는데, 이 과정에서 환자와 의료진 모두 방사선에 노출되는 결과가 초래되며, 시술 시간이 길어지고 정확도가 떨어지고 C-arm 기기를 돌리는 과정에서 감염의 위험도 증가할 수 있다.Currently, the C-arm device embodies the patient's spine structure as a 2D X-ray image (plane), so the doctor operates the patient while viewing the 2D image.The patient's spine structure is 3D (stereoscopic). The exact procedure is difficult. The doctor rotates the C-arm device in various directions and repeats X-ray imaging to find the procedure. In this process, both the patient and the medical staff are exposed to radiation, and the procedure takes longer and the accuracy decreases. The risk of infection may increase during the process of turning the arm device.
이에 따라서 실시간으로 시술 중 시술도구의 위치를 파악하기 위한 기술이 다양하게 개발되고 있다.Accordingly, various techniques have been developed to identify the position of the surgical tool during the procedure in real time.
예를 들어, KR20150004208A에는 '영상유도 수술에서 수술 부위와 수술 도구 위치 정합 방법 및 장치'에 대하여 개시되어 있다.For example, KR20150004208A discloses a method and apparatus for aligning a surgical site and a surgical tool in an image-guided surgery.
일 실시예에 따른 목적은 실시간으로 시술 중 시술도구의 위치를 파악하고 이를 3차원 좌표에 표현하여 시술자가 보다 정확하고 안전하며 편리한 시술을 할 수 있도록 보조해줄 수 있는 의료 영상 시스템을 제공하는 것이다.An object according to an embodiment is to provide a medical imaging system capable of assisting a practitioner to perform a more accurate, safe, and convenient procedure by grasping the position of a treatment tool in real time and expressing it in 3D coordinates.
일 실시예에 따른 목적은 3차원 인체 모델 및 실시간으로 획득된 의료 영상을 임의의 단면 영상을 기준으로 구조물간 위치 관계를 분석하여 정합한 후에 가상/증강현실 기반 3차원 공간에 시술도구를 정확히 위치시킬 수 있는 의료 영상 시스템을 제공하는 것이다.The purpose according to an embodiment is to accurately position a surgical tool in a virtual / augmented reality based 3D space after analyzing and matching a 3D human body model and a medical image acquired in real time based on a random cross-sectional image. It is to provide a medical imaging system that can be ordered.
일 실시예에 따른 목적은 3차원 공간에서 환자의 해부학적 구조물, 시술도구, 및 초음파 프로브의 위치를 정확하게 정합할 수 있는 의료 영상 시스템을 제공하는 것이다.An object according to an embodiment is to provide a medical imaging system capable of accurately matching the location of a patient's anatomical structures, surgical instruments, and ultrasound probes in a three-dimensional space.
상기 목적을 달성하기 위한 일 실시예에 따른 의료 영상 시스템은, 적어도 하나의 의료 영상에 기초하여 제1 해부학적 구조를 포함하는 3차원 인체 모델을 생성하는 인체 모델 구현부; 제2 해부학적 구조를 포함하는 시술 중 의료 영상을 실시간으로 획득하는 영상 획득부; 및 상기 3차원 인체 모델 및 상기 시술 중 의료 영상을 정합시키는 영상 정합부;를 포함하고, 상기 영상 정합부는 상기 제1 해부학적 구조에 대한 상기 제2 해부학적 구조의 특징점의 상대적인 위치 관계를 이용하여 상기 제1 해부학적 구조 및 상기 제2 해부학적 구조를 매칭시킬 수 있다.A medical imaging system according to an embodiment for achieving the above object includes: a human body model implementation unit generating a 3D human body model including a first anatomical structure based on at least one medical image; An image acquiring unit for acquiring a medical image in real time during a procedure including a second anatomical structure; And an image matching unit matching the 3D human body model and a medical image during the procedure, wherein the image matching unit uses a relative positional relationship of feature points of the second anatomical structure with respect to the first anatomical structure. The first anatomical structure and the second anatomical structure may be matched.
일 측에 의하면, 상기 제1 해부학적 구조는 척추체이고, 상기 제2 해부학적 구조는 스코트 개 형상일 수 있다.According to one side, the first anatomical structure is a vertebral body, and the second anatomical structure may be a Scott dog shape.
일 측에 의하면, 상기 특징점은 상기 스코트 개의 턱 부위일 수 있다.According to one side, the feature point may be the chin portion of the Scott dog.
삭제delete
일 측에 의하면, 상기 영상 정합부는 머신 러닝에 의해서 상기 인체 모델 구현부에서 생성된 3차원 인체 모델 및 상기 영상 획득부에서 획득된 의료 영상을 정합시키고, 상기 적어도 하나의 단면 영상과 상기 3차원 인체 모델의 일부 간의 위치 관계가 학습 데이터가 될 수 있다.According to one side, the image matching unit matches the 3D human body model generated by the human body model implementation unit and the medical image acquired by the image acquisition unit by machine learning, and the at least one cross-sectional image and the 3D human body The positional relationship between parts of the model may be training data.
일 측에 의하면, 상기 영상 정합부에서 상기 적어도 하나의 단면 영상에 대한 학습을 통하여 상기 영상 획득부에서 획득된 의료 영상 내 인체의 위치 정보가 획득될 수 있다.According to one side, location information of a human body in a medical image acquired by the image acquisition unit may be obtained through learning of the at least one cross-sectional image from the image matching unit.
일 측에 의하면, 상기 적어도 하나의 의료 영상은 시술 전에 미리 해부학적 구조를 촬영하여 획득된 MRI 영상 또는 CT 영상을 포함하고, 상기 인체 모델 구현부는 상기 해부학적 구조를 3차원 모델로 생성할 수 있다.According to one side, the at least one medical image includes an MRI image or a CT image obtained by photographing an anatomical structure in advance before the procedure, and the human body model implementation unit may generate the anatomical structure as a 3D model. .
일 측에 의하면, 상기 영상 획득부에서 획득된 의료 영상에는 체내에 삽입되어 시술 또는 수술을 수행하는 시술도구의 위치가 표시될 수 있다.According to one side, the medical image acquired by the image acquisition unit may be inserted into the body to indicate the location of a surgical tool that performs a procedure or surgery.
일 측에 의하면, 체내에 삽입되어 시술 또는 수술을 수행하는 시술도구 또는 인체에 대한 초음파 영상을 획득하기 위한 초음파 프로브의 위치를 추적하는 위치 추적부를 더 포함하고, 상기 위치 추적부는 상기 시술도구 또는 상기 초음파 프로브에 부착된 광학 마커 및 상기 광학 마커를 인식하는 광학 추적기를 포함하며, 상기 광학 추적기에 의해서 상기 시술도구 또는 상기 초음파 프로브의 위치에 대한 3차원 공간상 좌표가 실시간으로 획득될 수 있다.According to one side, further comprising a position tracking unit for tracking the position of an ultrasound probe for obtaining an ultrasound image of a human body or a surgical tool that is inserted into the body to perform a procedure or surgery, and the position tracking unit is the surgical tool or the It includes an optical marker attached to the ultrasonic probe and an optical tracker for recognizing the optical marker, and by the optical tracker, coordinates in three-dimensional space for the position of the surgical tool or the ultrasonic probe can be obtained in real time.
일 측에 의하면, 상기 영상 정합부에서 정합된 영상을 가상의 공간에 구현하는 증강현실 구현부를 더 포함하고, 상기 증강현실 구현부에 상기 시술도구 또는 상기 초음파 프로브의 위치에 대한 3차원 공간상 좌표가 전송되어, 상기 시술도구 또는 상기 초음파 프로브의 위치가 3차원 공간에 구현될 수 있다.According to one side, further comprising an augmented reality implementation to implement the image matched in the image matching section in a virtual space, the augmented reality implementation in the three-dimensional spatial coordinates of the position of the surgical tool or the ultrasonic probe Is transmitted, the position of the surgical tool or the ultrasonic probe may be implemented in a three-dimensional space.
일 실시예에 따른 의료 영상 시스템에 의하면, 실시간으로 시술 중 시술도구의 위치를 파악하고 이를 3차원 좌표에 표현하여 시술자가 보다 정확하고 안전하며 편리한 시술을 할 수 있도록 보조해줄 수 있다.According to the medical imaging system according to an embodiment, it is possible to assist a practitioner to perform a more accurate, safe, and convenient procedure by real-time determining the location of a surgical tool and expressing it in 3D coordinates.
일 실시예에 따른 의료 영상 시스템에 의하면, 3차원 인체 모델 및 실시간으로 획득된 의료 영상을 임의의 단면 영상을 기준으로 구조물간 위치 관계를 분석하여 정합한 후에 가상/증강현실 기반 3차원 공간에 시술도구를 정확히 위치시킬 수 있다.According to a medical imaging system according to an embodiment, a 3D human body model and a medical image acquired in real time are analyzed and matched based on a random cross-section image, and then matched to a virtual / augmented reality based 3D space The tool can be positioned accurately.
일 실시예에 따른 의료 영상 시스템에 의하면, 3차원 공간에서 환자의 해부학적 구조물, 시술도구, 및 초음파 프로브의 위치를 정확하게 정합할 수 있다.According to the medical imaging system according to an embodiment, it is possible to accurately match the positions of the patient's anatomical structures, surgical instruments, and ultrasound probes in a three-dimensional space.
도 1은 일 실시예에 따른 의료 영상 시스템을 도시한다.
도 2는 일 실시예에 따른 의료 영상 시스템을 이용하여 척추 시술을 수행하는 과정을 도시한다.
도 3은 영상 정합부에서 3D 척추 모델 및 C-arm 영상이 정합되는 모습을 도시한다.
도 4는 단면 영상 및 3D 척추 모델의 위치 관계를 분석하는 모습을 도시한다.1 shows a medical imaging system according to an embodiment.
2 illustrates a process of performing a spinal procedure using a medical imaging system according to an embodiment.
3 shows a state in which the 3D spine model and the C-arm image are matched in the image matching unit.
4 shows a state in which the positional relationship between the cross-sectional image and the 3D spine model is analyzed.
이하, 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, embodiments will be described in detail through exemplary drawings. It should be noted that in adding reference numerals to the components of each drawing, the same components have the same reference numerals as possible even though they are displayed on different drawings. In addition, in describing the embodiments, when it is determined that detailed descriptions of related well-known configurations or functions interfere with understanding of the embodiments, detailed descriptions thereof will be omitted.
또한, 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the components of the embodiment, terms such as first, second, A, B, (a), and (b) may be used. These terms are only for distinguishing the component from other components, and the nature, order, or order of the component is not limited by the term. When a component is described as being "connected", "coupled" or "connected" to another component, that component may be directly connected to or connected to the other component, but another component between each component It should be understood that may be "connected", "coupled" or "connected".
어느 하나의 실시예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시예에 기재한 설명은 다른 실시예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.Components included in any one embodiment and components including a common function will be described using the same name in other embodiments. Unless there is an objection to the contrary, the description in any one embodiment may be applied to other embodiments, and a detailed description will be omitted in the overlapping scope.
도 1은 일 실시예에 따른 의료 영상 시스템을 도시하고, 도 2는 일 실시예에 따른 의료 영상 시스템을 이용하여 척추 시술을 수행하는 과정을 도시하고, 도 3은 영상 정합부에서 3D 척추 모델 및 C-arm 영상이 정합되는 모습을 도시하고, 도 4는 단면 영상 및 3D 척추 모델의 위치 관계를 분석하는 모습을 도시한다.1 shows a medical imaging system according to an embodiment, FIG. 2 shows a process of performing a spinal procedure using the medical imaging system according to an embodiment, and FIG. 3 shows a 3D spine model and an image matching unit The C-arm image shows a matched state, and FIG. 4 shows a state of analyzing the cross-sectional image and the positional relationship of the 3D spine model.
도 1 및 2를 참조하여, 일 실시예에 따른 의료 영상 시스템(10)은 인체 모델 구현부(100), 영상 획득부(200), 위치 추적부(300), 영상 정합부(400) 및 증강현실 구현부(500)를 포함할 수 있다.1 and 2, the
이하에서는 일 실시예에 따른 의료 영상 시스템(10)이 척추 시술하는 데 이용되는 경우를 예를 들어 설명하기로 한다. 그러나 일 실시예에 따른 의료 영상 시스템(10)의 이용은 이에 국한되지 아니하며 다양한 시술 또는 수술에 적용될 수 있음은 당연하다.Hereinafter, a case where the
상기 인체 모델 구현부(100)는 적어도 하나의 의료 영상에 기초하여 3차원 인체 모델을 생성할 수 있다.The human body
예를 들어, 적어도 하나의 의료 영상은 시술 전에 미리 해부학적 구조를 촬영하여 획득된 MRI 영상 또는 CT 영상을 포함할 수 있다.For example, the at least one medical image may include an MRI image or a CT image obtained by photographing an anatomical structure before the procedure.
특히, 도 2에 도시된 바와 같이, 시술 전에 미리 획득된 MRI 영상에서 척추를 분할함으로써 3D 척추 모델을 생성할 수 있다. 이와 같이 인체 모델 구현부(100)에서는 해부학적 구조를 3차원 공간에 구현하는 3D 척추 모델에 대한 영상 또는 척추 구조물에 대한 영상(A)이 획득될 수 있다.In particular, as shown in FIG. 2, a 3D spine model may be generated by dividing the spine from an MRI image previously obtained before the procedure. In this way, the human body
상기 영상 획득부(200)에서는 시술 중 의료 영상을 실시간으로 획득할 수 있다.The
이때, 시술 중 의료 영상은 C-arm에서 방사선에 의해서 획득될 수 있는 엑스레이 영상 또는 초음파 프로브에 의해서 획득되는 초음파 영상 등을 포함할 수 있고, 의료 영상에는 환자의 해부학적 구조가 포함될 수 있다.At this time, the medical image during the procedure may include an X-ray image that can be obtained by radiation from the C-arm or an ultrasound image that is obtained by an ultrasound probe, and the medical image may include the anatomical structure of the patient.
특히, 도 2에 도시된 바와 같이, 영상 획득부(200)에서는 C-arm에서 시술 중 의료 영상, 예를 들어 C-arm 영상(B)이 획득될 수 있으며, C-arm 영상(B)에는 체내에 삽입되어 시술 또는 수술 등을 수행하는 시술도구(T)의 위치가 표시될 수 있다.In particular, as shown in FIG. 2, in the
다시 도 1을 참조하여, 상기 위치 추적부(300)는 체내에 삽입되어 시술 또는 수술을 수행하는 시술도구 또는 인체에 대한 초음파 영상을 획득하기 위한 초음파 프로브의 위치를 실시간으로 추적할 수 있다.Referring to FIG. 1 again, the
구체적으로, 위치 추적부(300)는 시술도구 또는 초음파 프로브에 부착된 광학 마커 및 광학 마커를 인식하는 광학 추적기를 포함할 수 있다.Specifically, the
그러나 위치 추적부(300)의 구성은 이에 국한되지 아니하며 시술도구 또는 초음파 프로브의 위치를 추적할 수 있다면 어느 것이든지 가능하다.However, the configuration of the
이때, 광학 추적기에 의해서 시술도구 또는 초음파 프로브의 위치에 대한 3차원 공간상 좌표가 실시간으로 획득될 수 있으며, 추후에 위치 추적부(300)에서 획득된 시술도구 또는 초음파 프로브의 위치에 대한 3차원 공간상 좌표가 증강현실 구현부(500)에 전송됨으로써, 시술도구 또는 초음파 프로브의 위치가 3차원 공간에 구현될 수 있다.At this time, the 3D spatial coordinates of the position of the surgical tool or the ultrasound probe can be obtained in real time by the optical tracker, and the 3D of the position of the surgical tool or the ultrasound probe acquired in the
한편, 전술된 인체 모델 구현부(100)에서 생성된 3차원 인체 모델 및 영상 획득부(200)에서 획득된 의료 영상은 영상 정합부(400)에 전달되고, 영상 정합부(400)는 인체 모델 구현부(100)에서 생성된 3차원 인체 모델 및 영상 획득부(200)에서 획득된 의료 영상을 정합할 수 있다.Meanwhile, the 3D human body model generated by the above-described human body
특히, 도 2에 도시된 바와 같이, 영상 정합부(400)에서 3D 척추 모델에 대한 영상(A) 및 C-arm 영상(B)이 정합되어 정합 영상(C)가 획득될 수 있다.In particular, as illustrated in FIG. 2, the image A and the C-arm image B for the 3D spine model may be matched in the
이때, C-arm 영상(B)에 시술도구(T)의 위치가 포함된 경우, 정합 영상(C) 내에 시술도구(T)의 위치 또한 포함될 수 있다.At this time, if the position of the treatment tool T is included in the C-arm image B, the location of the treatment tool T may also be included in the registration image C.
또한, 영상 정합부(400)에서는 3D 척추 모델에 대한 영상(A) 및 C-arm 영상(B) 간 서로 매칭되는 특징점을 기반으로 영상 정합을 수행할 수 있다.In addition, the
구체적으로, 도 3 및 4를 참조하여, 영상 정합부(400)에는 적어도 하나의 단면 영상(D')이 포함될 수 있고, 영상 정합부(400)에서 정합되는 과정의 영상(D)에 적어도 하나의 단면 영상(D')이 표시될 수 있다.Specifically, referring to FIGS. 3 and 4, the
상기 적어도 하나의 단면 영상(D')은 영상 획득부(200)에서 획득된 의료 영상 내에 포함된 해부학적 구조의 일부에 대응될 수 있으며, 예를 들어 "Scotty dog" 형상으로 마련될 수 있다.The at least one cross-sectional image D ′ may correspond to a part of the anatomical structure included in the medical image acquired by the
이때 적어도 하나의 단면 영상(D')의 형상은 이에 국한되지 아니하며, 인체 모델 구현부(100)에서 생성된 3차원 인체 모델과 영상 획득부(200)에서 획득된 의료 영상과 매칭되는 특징점을 포함하고 있다면 어느 것이든지 가능하다.At this time, the shape of the at least one cross-sectional image D 'is not limited to this, and includes a 3D human body model generated by the human body
구체적으로, 영상 정합부(400)에서는 적어도 하나의 단면 영상(D')을 기준으로 인체 모델 구현부(100)에서 생성된 3차원 인체 모델 및 영상 획득부(200)에서 획득된 의료 영상을 정합할 수 있다.Specifically, the
예를 들어, 영상 정합부(400)는 적어도 하나의 단면 영상(D') 및 인체 모델 구현부(100)에서 생성된 3차원 인체 모델의 일부(척추체; Vertebral body) 영상(D")의 위치 관계를 분석하여 영상 획득부(200)에서 획득된 의료 영상을 3차원 좌표계에 정합시킬 수 있다. 이때, 3차원 좌표계는 인체 모델 구현부(100)에서 3차원 인체 모델을 생성하면서 정립될 수 있다.For example, the
전술된 바와 같이, 적어도 하나의 단면 영상(D')이 "Scotty dog" 형상으로 마련되는 경우, "Scotty dog" 형상에서 턱 부위의 모양과 3차원 인체 모델의 일부(척추체; Vertebral body) 영상(D")에서 좌우 상하 방향 거리 정보를 통하여 적어도 하나의 단면 영상(D') 및 인체 모델 구현부(100)에서 생성된 3차원 인체 모델의 일부(척추체; Vertebral body) 영상(D")의 위치 관계를 분석할 수 있다.As described above, when at least one cross-sectional image (D ') is provided in a "Scotty dog" shape, the shape of the jaw region and a part of the three-dimensional human body model (vertebral body) image in the "Scotty dog" shape ( The position of at least one cross-sectional image (D ') and part of the 3D human body model (vertebral body) image (D ") generated by the human body
또는, "Scotty dog" 형상에서 적어도 하나의 특정점에 대한 위치 정보를 통하여 적어도 하나의 단면 영상(D') 및 인체 모델 구현부(100)에서 생성된 3차원 인체 모델의 일부(척추체; Vertebral body) 영상(D")의 위치 관계를 분석할 수 있음은 당연하다.Alternatively, at least one cross-sectional image (D ') and part of the 3D human body model generated by the human body model implementation unit (vertebral body) through the location information on at least one specific point in the "Scotty dog" shape (vertebral body) ) It is natural that the positional relationship of the image D "can be analyzed.
또한, 영상 정합부(400)에서는 머신 러닝 또는 딥 러닝에 의해서 인체 모델 구현부(100)에서 생성된 3차원 인체 모델 및 영상 획득부(200)에서 획득된 의료 영상을 정합시킬 수 있다. 이때, 적어도 하나의 단면 영상(D') 또는 적어도 하나의 단면 영상(D')과 3차원 인체 모델의 일부 영상(D") 간의 위치 관계가 학습 데이터가 될 수 있다.In addition, the
구체적으로, 영상 정합부(400)에서 다양한 척추 모형에 대해서 적용 가능하도록 다양한 단면 영상(D') 또는 다양한 적어도 하나의 단면 영상(D')과 3차원 인체 모델의 일부 영상(D") 간의 위치 관계를 학습하게 함으로써, 인체의 다양한 부위에 대한 인체 모델 구현부(100)에서 생성된 3차원 인체 모델 및 영상 획득부(200)에서 획득된 의료 영상을 정합하는 데 활용할 수 있다.Specifically, the position between the various cross-sectional images (D ') or various at least one cross-sectional image (D') and some images (D ") of the 3D human body model to be applicable to various spine models in the
더 나아가, 영상 정합부(400)에서 적어도 하나의 단면 영상(D')을 학습하게 함으로써, 영상 정합부(400)에서 영상 획득부(200)에서 획득된 의료 영상 내 포함된 인체의 위치 정보를 획득할 수 있다.Furthermore, by allowing the
또한, 영상 정합부(400)에 영상 획득부(200)에서 획득된 의료 영상이 시술 중에 실시간으로 전송되므로, 인체 모델 구현부(100)에서 생성된 3차원 인체 모델 및 영상 획득부(200)에서 획득된 의료 영상이 실시간으로 정합됨으로써, 정합 영상(C)가 실시간으로 획득될 수 있고, 정합 영상(C) 내 시술도구(T)의 위치 또한 실시간으로 획득될 수 있다.In addition, since the medical image acquired by the
다시 도 1 및 2를 참조하여, 영상 정합부(400)에서 정합이 완료된 정합 영상은 증강현실 구현부(500)에 전달될 수 있다.Referring back to FIGS. 1 and 2, the matching image in which the matching is completed in the
상기 증강현실 구현부(500)는 영상 정합부(400)에서 정합된 영상을 가상의 공간 상에 구현할 수 있다. 이때, 시술자는 증강현실 안경을 착용한 상태에서 시술 또는 수술을 시행할 수 있다.The augmented
구체적으로, 증강현실 구현부(500)에 의해서 인체 모델 구현부(100)에서 생성된 3차원 인체 모델이 3차원 공간 상에 디스플레이되고, 전술된 바와 같이 시술도구 또는 초음파 프로브의 3차원 공간 좌표가 증강현실 구현부(500)에 전송되어 시술도구 또는 초음파 프로브의 위치가 3차원 인체 모델이 디스플레이되고 있는 3차원 공간에 구현될 수 있다.Specifically, the 3D human body model generated by the human body
이와 같이 일 실시예에 따른 의료 영상 시스템은 실시간으로 시술 중 시술도구의 위치를 파악하고 이를 3차원 좌표에 표현하여 시술자가 보다 정확하고 안전하며 편리한 시술을 할 수 있도록 보조해줄 수 있으며, 3차원 인체 모델 및 실시간으로 획득된 의료 영상을 임의의 단면 영상을 기준으로 구조물간 위치 관계를 분석하여 정합한 후에 가상/증강현실 기반 3차원 공간에 시술도구를 정확히 위치시킬 수 있다.As described above, the medical imaging system according to an embodiment can assist a practitioner to perform a more accurate, safe, and convenient procedure by real-time determining the location of a surgical tool and expressing it in 3D coordinates. After analyzing and matching the model and the real-time medical image obtained by analyzing the positional relationship between structures based on an arbitrary cross-sectional image, it is possible to accurately place the treatment tool in a virtual / augmented reality based 3D space.
이상과 같이 본 발명의 실시예에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 청구범위뿐 아니라 이 청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다. As described above, in the embodiment of the present invention, specific matters such as specific components and the like have been described by the limited embodiment and the drawings, but this is provided only to help the overall understanding of the present invention, and the present invention is limited to the above embodiment It will not be, and those skilled in the art to which the present invention pertains can make various modifications and variations from these descriptions. Therefore, the spirit of the present invention should not be limited to the described embodiments, and should not be determined, and all claims that are equivalent to or equivalent to the claims, as well as the claims described below, will be included in the scope of the spirit of the present invention.
10: 의료 영상 시스템
100: 인체 모델 구현부
200: 영상 획득부
300: 위치 추적부
400: 영상 정합부
500: 증강현실 구현부10: Medical imaging system
100: human body model implementation
200: image acquisition unit
300: location tracking
400: image matching unit
500: augmented reality implementation
Claims (10)
제2 해부학적 구조를 포함하는 시술 중 의료 영상을 실시간으로 획득하는 영상 획득부; 및
상기 3차원 인체 모델 및 상기 시술 중 의료 영상을 정합시키는 영상 정합부;
를 포함하고,
상기 영상 정합부는 상기 제1 해부학적 구조에 대한 상기 제2 해부학적 구조의 특징점의 상대적인 위치 관계를 이용하여 상기 제1 해부학적 구조 및 상기 제2 해부학적 구조를 매칭시키고,
상기 제1 해부학적 구조는 척추체이고, 상기 제2 해부학적 구조는 스코트 개 형상이고,
상기 특징점은 상기 스코트 개의 턱 부위인 의료 영상 시스템.
A human body model implementation unit for generating a 3D human body model including a first anatomical structure based on at least one medical image;
An image acquiring unit for acquiring a medical image in real time during a procedure including a second anatomical structure; And
An image matching unit matching the 3D human body model and a medical image during the procedure;
Including,
The image matching unit matches the first anatomical structure and the second anatomical structure by using a relative positional relationship of feature points of the second anatomical structure to the first anatomical structure,
The first anatomical structure is a vertebral body, and the second anatomical structure is a Scott dog shape,
The feature point is the medical imaging system of the Scott's jaw area.
상기 영상 정합부는 머신 러닝에 의해서 상기 인체 모델 구현부에서 생성된 3차원 인체 모델 및 상기 영상 획득부에서 획득된 의료 영상을 정합시키고,
상기 적어도 하나의 단면 영상과 상기 3차원 인체 모델의 일부 간의 위치 관계가 학습 데이터가 되는 의료 영상 시스템.
According to claim 1,
The image matching unit matches the 3D human body model generated by the human body model implementation unit and the medical image acquired by the image acquisition unit by machine learning,
A medical imaging system in which a positional relationship between the at least one cross-sectional image and a part of the 3D human body model becomes learning data.
상기 영상 정합부에서 상기 적어도 하나의 단면 영상에 대한 학습을 통하여 상기 영상 획득부에서 획득된 의료 영상 내 인체의 위치 정보가 획득되는 의료 영상 시스템.
The method of claim 5,
A medical imaging system in which the position information of the human body in the medical image obtained by the image obtaining unit is acquired through learning of the at least one cross-sectional image in the image matching unit.
상기 적어도 하나의 의료 영상은 시술 전에 미리 해부학적 구조를 촬영하여 획득된 MRI 영상 또는 CT 영상을 포함하고, 상기 인체 모델 구현부는 상기 해부학적 구조를 3차원 모델로 구현하는 의료 영상 시스템.
According to claim 1,
The at least one medical image includes an MRI image or a CT image obtained by photographing an anatomical structure in advance before the procedure, and the human body model implementation unit implements the anatomical structure as a 3D model.
상기 영상 획득부에서 획득된 의료 영상에는 체내에 삽입되어 시술 또는 수술을 수행하는 시술도구의 위치가 표시되는 의료 영상 시스템.
According to claim 1,
A medical imaging system in which a medical image obtained by the image acquisition unit is inserted into the body to display the location of a surgical instrument performing a procedure or surgery.
체내에 삽입되어 시술 또는 수술을 수행하는 시술도구 또는 인체에 대한 초음파 영상을 획득하기 위한 초음파 프로브의 위치를 추적하는 위치 추적부를 더 포함하고,
상기 위치 추적부는 상기 시술도구 또는 상기 초음파 프로브에 부착된 광학 마커 및 상기 광학 마커를 인식하는 광학 추적기를 포함하며,
상기 광학 추적기에 의해서 상기 시술도구 또는 상기 초음파 프로브의 위치에 대한 3차원 공간상 좌표가 실시간으로 획득되는 의료 영상 시스템.
According to claim 1,
It is inserted into the body and further includes a surgical tool for performing a procedure or surgery, or a position tracking unit for tracking the position of the ultrasound probe for obtaining an ultrasound image of the human body,
The position tracking unit includes an optical marker attached to the surgical tool or the ultrasonic probe and an optical tracker that recognizes the optical marker,
A medical imaging system in which three-dimensional spatial coordinates of the position of the surgical tool or the ultrasound probe are acquired in real time by the optical tracker.
상기 영상 정합부에서 정합된 영상을 가상의 공간에 구현하는 증강현실 구현부를 더 포함하고,
상기 증강현실 구현부에 상기 시술도구 또는 상기 초음파 프로브의 위치에 대한 3차원 공간상 좌표가 전송되어, 상기 시술도구 또는 상기 초음파 프로브의 위치가 3차원 공간에 구현되는 의료 영상 시스템.The method of claim 9,
Further comprising an augmented reality implementation to implement the image matched in the image matching unit in a virtual space,
A medical imaging system in which a position in the 3D space of the surgical tool or the ultrasound probe is transmitted to the augmented reality implementation unit so that the position of the surgical tool or the ultrasound probe is implemented in a 3D space.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180016183A KR102105974B1 (en) | 2018-02-09 | 2018-02-09 | Medical imaging system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180016183A KR102105974B1 (en) | 2018-02-09 | 2018-02-09 | Medical imaging system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190096575A KR20190096575A (en) | 2019-08-20 |
| KR102105974B1 true KR102105974B1 (en) | 2020-04-29 |
Family
ID=67807549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180016183A KR102105974B1 (en) | 2018-02-09 | 2018-02-09 | Medical imaging system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102105974B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102553060B1 (en) | 2023-02-09 | 2023-07-07 | 프로메디우스 주식회사 | Method, apparatus and program for providing medical image using spine information based on ai |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102235681B1 (en) * | 2019-12-03 | 2021-04-05 | 주식회사 딥노이드 | Apparatus for navigating surgical location and method thereof |
| KR102394901B1 (en) | 2020-04-06 | 2022-05-09 | 큐렉소 주식회사 | Two dimensional medical image-based planning apparatus for spine surgery, and method thereof |
| KR102366326B1 (en) * | 2021-03-25 | 2022-02-23 | 박준 | Medical Treatment System Using AI Big Data Based on Mixed Reality and Lesion information providing Method Using the Same |
| WO2022225132A1 (en) * | 2021-04-22 | 2022-10-27 | 서울대학교병원 | Augmented-reality-based medical information visualization system and method using landmarks |
| KR20230013220A (en) * | 2021-07-16 | 2023-01-26 | 가톨릭대학교 산학협력단 | System and method for providing video for neurosurgery practice |
| KR102462099B1 (en) * | 2021-08-18 | 2022-11-04 | 경북대학교 산학협력단 | Apparatus and method of providing 3-dimensional medicl education model based on augmented reality |
| KR20230135256A (en) * | 2022-03-16 | 2023-09-25 | 고려대학교 산학협력단 | Thoracoscopic surgery simulation apparatus and method based on 3-dimensional collapsed lung model |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100908497B1 (en) * | 2007-06-13 | 2009-07-21 | 이연수 | Matching Method of 3D and 2D Models for Measuring Body Motion |
| KR101049507B1 (en) * | 2009-02-27 | 2011-07-15 | 한국과학기술원 | Image-guided Surgery System and Its Control Method |
| KR101206340B1 (en) * | 2011-04-29 | 2012-11-29 | 주식회사 코어메드 | Method and System for Providing Rehearsal of Image Guided Surgery and Computer-readable Recording Medium for the same |
| KR102294734B1 (en) * | 2014-09-30 | 2021-08-30 | 삼성전자주식회사 | Method and apparatus for image registration, and ultrasonic diagnosis apparatus |
-
2018
- 2018-02-09 KR KR1020180016183A patent/KR102105974B1/en active IP Right Grant
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102553060B1 (en) | 2023-02-09 | 2023-07-07 | 프로메디우스 주식회사 | Method, apparatus and program for providing medical image using spine information based on ai |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190096575A (en) | 2019-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102105974B1 (en) | Medical imaging system | |
| TWI615126B (en) | An image guided augmented reality method and a surgical navigation of wearable glasses using the same | |
| EP4159149A1 (en) | Surgical navigation system, computer for performing surgical navigation method, and storage medium | |
| KR101572487B1 (en) | System and Method For Non-Invasive Patient-Image Registration | |
| CN103997982B (en) | By operating theater instruments with respect to the robot assisted device that patient body is positioned | |
| EP2953569B1 (en) | Tracking apparatus for tracking an object with respect to a body | |
| JP2950340B2 (en) | Registration system and registration method for three-dimensional data set | |
| US20140031668A1 (en) | Surgical and Medical Instrument Tracking Using a Depth-Sensing Device | |
| US20180303550A1 (en) | Endoscopic View of Invasive Procedures in Narrow Passages | |
| JP6559532B2 (en) | Real-time simulation of fluoroscopic images | |
| JP2008126063A (en) | Medical navigation system with tool and/or implant integration into fluoroscopic image projection and method of use | |
| KR101491922B1 (en) | Hybrid navigation system and method to track position thereof | |
| EP3288470B1 (en) | Method and device for determining geometric parameters for total knee replacement surgery | |
| Wang et al. | Real-time marker-free patient registration and image-based navigation using stereovision for dental surgery | |
| KR101687934B1 (en) | Operating electronic medical navigation system and method using the splinter | |
| KR20160057024A (en) | Markerless 3D Object Tracking Apparatus and Method therefor | |
| JP2022517807A (en) | Systems and methods for medical navigation | |
| CN215994218U (en) | Remote fracture reduction system | |
| KR101592444B1 (en) | Medical image augmentation device using transparent display and method thereof | |
| Wu et al. | Process analysis and application summary of surgical navigation system | |
| JP6795744B2 (en) | Medical support method and medical support device | |
| KR20140124456A (en) | Operating medical navigation system and method for heart surgery with registration of oct image and 3-dimensional image | |
| US11806093B1 (en) | Apparatus and method for tracking hand-held surgical tools | |
| KR102362149B1 (en) | Augmented reality tool for performing implant operation and method for visualizing information thereof | |
| KR20090038717A (en) | Medical instrument used in medical navigation and medical navigation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |