KR102370490B1 - Method for modifying medical images according to modification of virtual object, recording medium and device for performing the method - Google Patents

Method for modifying medical images according to modification of virtual object, recording medium and device for performing the method Download PDF

Info

Publication number
KR102370490B1
KR102370490B1 KR1020200031272A KR20200031272A KR102370490B1 KR 102370490 B1 KR102370490 B1 KR 102370490B1 KR 1020200031272 A KR1020200031272 A KR 1020200031272A KR 20200031272 A KR20200031272 A KR 20200031272A KR 102370490 B1 KR102370490 B1 KR 102370490B1
Authority
KR
South Korea
Prior art keywords
virtual object
deformation
medical image
surgical
virtual
Prior art date
Application number
KR1020200031272A
Other languages
Korean (ko)
Other versions
KR20210115451A (en
Inventor
이정진
박태용
정희렬
강승우
구교영
구성민
김현준
Original Assignee
숭실대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교 산학협력단 filed Critical 숭실대학교 산학협력단
Priority to KR1020200031272A priority Critical patent/KR102370490B1/en
Priority to PCT/KR2020/010581 priority patent/WO2021182686A1/en
Publication of KR20210115451A publication Critical patent/KR20210115451A/en
Application granted granted Critical
Publication of KR102370490B1 publication Critical patent/KR102370490B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy

Abstract

가상 객체의 변형에 따른 의료 영상의 변형 방법은, XR(Extended Reality) 수술 항법 시스템에서 환자의 수술 부위와 가상 객체(Virtual Object) 및 수술 전 촬영된 의료 영상 사이의 공간 정합을 수행하는 단계; 정합된 상기 가상 객체 및 상기 의료 영상을 가상의 격자로 정의하여 변형 영역의 단위로 분할 및 제어점을 생성하는 단계; 수술 중 수술 도구로 인한 상기 가상 객체의 변형이 발생한 경우, PBD(Position Based Dynamics) 물리 변형 모델을 통하여 상기 가상 객체의 각 변형 영역의 움직임을 각 제어점을 기준으로 하는 움직임 벡터로 정의하는 단계; 및 상기 가상 객체의 각 변형 영역의 움직임 벡터를 기초로, 상기 의료 영상의 각 변형 영역의 각 제어점을 이동시켜 비강체 정합을 수행하는 단계;를 포함한다. 이에 따라, 실제 임상의가 사용하고 필요로 하는 영상 정보를 시술/수술에 맞추어 정확히 제공함으로써 시술/수술 시간의 단축과 정확도 향상이 가능하다.A method of transforming a medical image according to the transformation of a virtual object includes: performing spatial registration between a surgical site of a patient, a virtual object, and a medical image taken before surgery in an extended reality (XR) surgical navigation system; defining the matched virtual object and the medical image as a virtual grid, dividing and generating control points in units of deformation regions; when the virtual object is deformed due to a surgical tool during surgery, defining the movement of each deformation region of the virtual object as a motion vector based on each control point through a PBD (Position Based Dynamics) physical deformation model; and performing non-rigid registration by moving control points of each deformation region of the medical image based on a motion vector of each deformation region of the virtual object. Accordingly, it is possible to shorten the procedure/surgery time and improve the accuracy by accurately providing the image information used and needed by the actual clinician according to the procedure/surgery.

Description

가상 객체의 변형에 따른 의료 영상의 변형 방법, 이를 수행하기 위한 기록 매체 및 장치{METHOD FOR MODIFYING MEDICAL IMAGES ACCORDING TO MODIFICATION OF VIRTUAL OBJECT, RECORDING MEDIUM AND DEVICE FOR PERFORMING THE METHOD}Deformation method of medical image according to deformation of virtual object, recording medium and apparatus for performing the same

본 발명은 가상 객체의 변형에 따른 의료 영상의 변형 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 3차원 수술 네비게이션 시스템에서 시술 또는 수술 도구에 의한 가상 객체의 변형을 시술 전 촬영된 XR/MR 영상에 가시화함으로써 보다 편리하고 정확한 영상을 제공하기 위한 기술이다.The present invention relates to a method of deforming a medical image according to the deformation of a virtual object, a recording medium and an apparatus for performing the same, and more particularly, to a three-dimensional surgical navigation system in which deformation of a virtual object by a procedure or a surgical tool is performed before the operation. It is a technology to provide more convenient and accurate images by visualizing the captured XR/MR images.

최근 각광을 받고 있는 증강현실(Augmented Reality; 이하 AR) 및 가상현실(Virtual Reality; 이하 VR) 스마트기기를 앞세운 최근의 카메라, 디스플레이, CPU 및 소프트웨어 기술의 발전에 힘입어 그 성능과 유용성이 높아지고 있다. 특히, AR과 VR 기술은 의료 분야에 효과적으로 적용될 수 있다. Augmented reality (hereinafter referred to as AR) and virtual reality (hereinafter referred to as VR), which have been in the spotlight recently, their performance and usefulness are increasing thanks to the recent development of camera, display, CPU and software technology with smart devices. . In particular, AR and VR technologies can be effectively applied to the medical field.

과거 초음파, CT, MRI와 같은 의료영상들은 주로 진단을 위해 사용되었고, 수술 중 필요한 경우 다시 영상을 조회하는 정도로 활용되었다. 하지만 최근에는 영상유도수술 혹은 수술 네비게이션으로 일컫는 기술의 보급으로, 의료영상을 마치 여행 중에 지도를 보듯, 수술에 직접 활용하는 경우가 많아졌다. 이와 같이, 수술 중에 의료영상을 사용하기 위해서는 기본적으로 환자와 영상 정합과정이 필요하다. In the past, medical images such as ultrasound, CT, and MRI were mainly used for diagnosis, and were used to the extent of inquiring images again if necessary during surgery. However, in recent years, with the spread of technology called image-guided surgery or surgical navigation, medical images are more often used directly in surgery as if they were looking at a map while traveling. As described above, in order to use a medical image during surgery, an image registration process with the patient is basically required.

AR과 VR에 사용되는 객체(Object) 생성을 위해선 수술 전 촬영된 영상(CT/MR)으로부터 관심 영역의 분할(Segmentation)이 필요하며, Fully Automatic Segmentation의 한계로 인해 반자동/수동 분할이 이루어지고 있다. 이로 인해 AR과 VR에 사용되는 객체가 제한적으로 생성되며, 제한된 영상을 이용한 AR 네비게이션 수술이라는 한계가 있다.In order to create objects used in AR and VR, segmentation of the region of interest from preoperative images (CT/MR) is required. Due to the limitations of fully automatic segmentation, semi-automatic/manual segmentation is performed . Due to this, objects used for AR and VR are limitedly created, and there is a limit to AR navigation surgery using limited images.

또한, 임상의에게 익숙한 영상(CT/MR)이 보조 영상으로 활용되지만, AR 네비게이션 시스템과는 별개로 활용되어 영상 정보를 활용하기 불편하며, AR 네비게이션 시스템을 이용한 시술/수술 위치와 CT/MR 영상의 위치는 의사의 감으로 판단되는 한계가 있다.In addition, although the image (CT/MR) familiar to clinicians is used as an auxiliary image, it is used separately from the AR navigation system, so it is inconvenient to use image information. There is a limit to judge the position of the doctor by the sense of the doctor.

또한, 시술/수술 중 발생되는 변형 정보 반영이 부족하다. 시술/수술 중 발생되는 변형 정보 반영은 이루어지지 않거나 AR/VR 객체에 대해서만 고려가 되고 있으며, 일부 환경에서는 필요에 따라 시술/수술 중 추가 영상(CT/MR 등)을 추가로 촬영해야 하는 문제가 있다.In addition, it is insufficient to reflect the deformation information that occurs during the procedure/surgery. Deformation information generated during surgery/operation is not reflected or only AR/VR objects are considered, and in some environments, additional images (CT/MR, etc.) there is.

KR 10-2015-0007020 AKR 10-2015-0007020 A KR 10-1843992 B1KR 10-1843992 B1 US 10178955 B2US 10178955 B2

의료용 증강현실 및 가상현실, 홍재성, 대한영상의학회지, 2019;80(2):226-238 Augmented reality and virtual reality for medical use, Jaeseong Hong, Journal of the Korean Society of Radiology, 2019;80(2):226-238

이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 수술 항법 시스템에 적용하기 위한 가상 객체의 변형에 따른 의료 영상의 변형 방법을 제공하는 것이다.Accordingly, it is an object of the present invention to provide a method for deforming a medical image according to deformation of a virtual object for application to a surgical navigation system.

본 발명의 다른 목적은 상기 가상 객체의 변형에 따른 의료 영상의 변형 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.Another object of the present invention is to provide a recording medium in which a computer program for performing a method of transforming a medical image according to the transformation of the virtual object is recorded.

본 발명의 또 다른 목적은 상기 가상 객체의 변형에 따른 의료 영상의 변형 방법을 수행하기 위한 장치를 제공하는 것이다.Another object of the present invention is to provide an apparatus for performing a method of transforming a medical image according to a deformation of the virtual object.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 가상 객체의 변형에 따른 의료 영상의 변형 방법은, XR(Extended Reality) 수술 항법 시스템에서 환자의 수술 부위와 가상 객체(Virtual Object) 및 수술 전 촬영된 의료 영상 사이의 공간 정합을 수행하는 단계; 정합된 상기 가상 객체 및 상기 의료 영상을 가상의 격자로 정의하여 변형 영역의 단위로 분할 및 제어점을 생성하는 단계; 수술 중 수술 도구로 인한 상기 가상 객체의 변형이 발생한 경우, PBD(Position Based Dynamics) 물리 변형 모델을 통하여 상기 가상 객체의 각 변형 영역의 움직임을 각 제어점을 기준으로 하는 움직임 벡터로 정의하는 단계; 및 상기 가상 객체의 각 변형 영역의 움직임 벡터를 기초로, 상기 의료 영상의 각 변형 영역의 각 제어점을 이동시켜 비강체 정합을 수행하는 단계;를 포함한다.A method of transforming a medical image according to a transformation of a virtual object according to an embodiment of the present invention for realizing the object of the present invention, a surgical site of a patient, a virtual object, and surgery in an XR (Extended Reality) surgical navigation system performing spatial registration between pre-captured medical images; defining the matched virtual object and the medical image as a virtual grid, dividing and generating control points in units of deformation regions; when the virtual object is deformed due to a surgical tool during surgery, defining the movement of each deformation region of the virtual object as a motion vector based on each control point through a PBD (Position Based Dynamics) physical deformation model; and performing non-rigid registration by moving control points of each deformation region of the medical image based on a motion vector of each deformation region of the virtual object.

본 발명의 실시예에서, 상기 PBD 물리 변형 모델은, 수술 도구의 외력(External Forces)과 변형이 이루어지는 상기 가상 객체의 실제 내부 탄성력과 동일한 내력(Internal Forces)을 기초로 구축될 수 있다.In an embodiment of the present invention, the PBD physical deformation model may be built based on external forces of the surgical tool and internal forces equal to the actual internal elastic force of the virtual object to be deformed.

본 발명의 실시예에서, 상기 PBD 물리 변형 모델은, 정점의 현재 위치를 기준으로 단위 시간에 대한 속도와 외력을 기초로, 새로운 정점 위치를 추정하는 단계; 및 상기 가상 객체의 변형 특성을 나타내는 제한(Constraint)을 적용하여 상기 새로운 정점 위치를 수정하는 단계;를 포함할 수 있다.In an embodiment of the present invention, the PBD physical deformation model may include: estimating a new vertex position based on a velocity and an external force for a unit time based on the current position of the vertex; and modifying the new vertex position by applying a constraint indicating the deformation characteristic of the virtual object.

본 발명의 실시예에서, 상기 PBD 물리 변형 모델은, 환자의 수술 부위와 대응하는 가상 객체의 변형 정보를 입력 데이터로 미리 학습될 수 있다.In an embodiment of the present invention, the PBD physical deformation model may be pre-trained using deformation information of a virtual object corresponding to a surgical site of a patient as input data.

본 발명의 실시예에서, 상기 공간 정합을 수행하는 단계는, 수술 공간에 대하여 캘리브레이션(Calibration)을 통한 사전 공간의 정의를 수행하는 단계; 환자의 수술 부위와 가상 객체 사이의 정합(Registration)을 수행하는 단계; 및 상기 캘리브레이션 정보와 환자와 가상 객체 사이의 정합 정보를 기초로 수술 전 촬영된 의료 영상, AR 가시화 장비 및 수술도구를 포함하는 XR 수술 항법 시스템의 좌표계를 일치시키는 단계;를 포함할 수 있다.In an embodiment of the present invention, the performing of the spatial matching may include: performing a pre-space definition through calibration for an operating space; performing registration between the patient's surgical site and the virtual object; and matching the coordinate system of the XR surgical navigation system including the preoperative medical image, AR visualization equipment, and surgical tool based on the calibration information and the registration information between the patient and the virtual object.

본 발명의 실시예에서, 상기 의료 영상은 CT(전산화 단층 촬영 기술, Computed Tomography) 영상, MR(Magnetic Resonance) 영상, PET(양전자 단층촬영, Positron Emission Tomography) 영상 및 초음파 영상 중 적어도 하나를 포함할 수 있다.In an embodiment of the present invention, the medical image may include at least one of a computed tomography (CT) image, a magnetic resonance (MR) image, a positron emission tomography (PET) image, and an ultrasound image. can

상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 상기 가상 객체의 변형에 따른 의료 영상의 변형 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다. In a computer-readable storage medium according to an embodiment for realizing another object of the present invention, a computer program for performing a method of transforming a medical image according to the transformation of the virtual object is recorded.

상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 가상 객체의 변형에 따른 의료 영상의 변형 장치는, XR(Extended Reality) 수술 항법 시스템에서 환자의 수술 부위와 가상 객체(Virtual Object) 및 수술 전 촬영된 의료 영상 사이의 공간 정합을 수행하는 공간 정합부; 정합된 상기 가상 객체 및 상기 의료 영상을 가상의 격자로 정의하여 변형 영역의 단위로 분할 및 제어점을 생성하는 격자 형성부; 수술 중 수술 도구로 인한 상기 가상 객체의 변형이 발생한 경우, PBD(Position Based Dynamics) 물리 변형 모델을 통하여 상기 가상 객체의 각 변형 영역의 움직임을 각 제어점을 기준으로 하는 움직임 벡터로 정의하는 벡터 생성부; 및 상기 가상 객체의 각 변형 영역의 움직임 벡터를 기초로, 상기 의료 영상의 각 변형 영역의 각 제어점을 이동시켜 비강체 정합을 수행하는 비강체 정합부;를 포함한다.According to an embodiment of the present invention, an apparatus for deforming a medical image according to deformation of a virtual object for realizing another object of the present invention includes a patient's surgical site and a virtual object in an XR (Extended Reality) surgical navigation system. and a spatial matching unit configured to perform spatial matching between medical images taken before surgery. a grid forming unit defining the matched virtual object and the medical image as a virtual grid to divide and generate control points in units of deformation regions; When the virtual object is deformed due to a surgical tool during surgery, the vector generator defines the movement of each deformation region of the virtual object as a motion vector based on each control point through a PBD (Position Based Dynamics) physical deformation model. ; and a non-rigid body matching unit configured to perform non-rigid registration by moving control points of each deformable region of the medical image based on a motion vector of each deformable region of the virtual object.

본 발명의 실시예에서, 상기 PBD 물리 변형 모델은, 수술 도구의 외력(External Forces)과 변형이 이루어지는 상기 가상 객체의 실제 내부 탄성력과 동일한 내력(Internal Forces)을 기초로 미리 학습되어 구축될 수 있다.In an embodiment of the present invention, the PBD physical deformation model may be learned and constructed in advance based on external forces of the surgical tool and internal forces equal to the actual internal elastic force of the virtual object that is deformed. .

본 발명의 실시예에서, 상기 PBD 물리 변형 모델은, 정점의 현재 위치를 기준으로 단위 시간에 대한 속도와 외력을 기초로, 새로운 정점 위치를 추정하고, 상기 가상 객체의 변형 특성을 나타내는 제한(Constraint)을 적용하여 상기 새로운 정점 위치를 수정할 수 있다.In an embodiment of the present invention, the PBD physical deformation model estimates a new vertex position based on a velocity and an external force for unit time based on the current position of the vertex, and a constraint indicating the deformation characteristic of the virtual object. ) to modify the new vertex position.

이와 같은 가상 객체의 변형에 따른 의료 영상의 변형 방법에 따르면, 임상의에게 익숙한 영상 정보를 AR 네비게이션 시스템에 결합하여 가시화함으로써 보다 편리하고 정확한 XR/MR 네비게이션 시스템을 제공할 수 있다. 이에 따라, 실제 임상의가 사용하고 필요로 하는 영상 정보를 시술/수술에 맞추어 정확히 제공함으로써 시술/수술 시간의 단축과 정확도 향상이 가능하다.According to the method of transforming a medical image according to the transformation of the virtual object, it is possible to provide a more convenient and accurate XR/MR navigation system by visualizing image information familiar to clinicians by combining it with the AR navigation system. Accordingly, it is possible to shorten the procedure/surgery time and improve the accuracy by accurately providing the image information used and needed by the actual clinician according to the procedure/surgery.

도 1은 본 발명의 일 실시예에 따른 가상 객체의 변형에 따른 의료 영상의 변형 장치의 블록도이다.
도 2는 도 1에서 변형 전 CT/MR 영상의 예시 도면이다.
도 3은 도 1에서 CT/MR 영상의 제어점을 생성하고 가상 객체에 대응시키는 과정을 설명하기 위한 도면이다.
도 4는 도 3의 박스 부분에서 가상 객체의 변형을 보여주는 예시 도면이다.
도 5는 도 4의 CT/MR 영상의 변형을 보여주는 예시 도면이다.
도 6은 도 2의 CT/MR 영상의 변형 후를 보여주는 예시 도면이다.
도 7은 도 5에서 움직임 벡터를 정의하는 것을 설명하기 위한 개념도이다.
도 8은 본 발명의 일 실시예에 따른 가상 객체의 변형에 따른 의료 영상의 변형 방법의 흐름도이다.1 is a block diagram of an apparatus for deforming a medical image according to deformation of a virtual object according to an embodiment of the present invention.
FIG. 2 is an exemplary view of a CT/MR image before deformation in FIG. 1 .
FIG. 3 is a diagram for explaining a process of generating a control point of a CT/MR image in FIG. 1 and matching it to a virtual object.
FIG. 4 is an exemplary view showing deformation of a virtual object in the box portion of FIG. 3 .
FIG. 5 is an exemplary view showing a modification of the CT/MR image of FIG. 4 .
6 is an exemplary view showing the CT/MR image of FIG. 2 after deformation.
7 is a conceptual diagram for explaining defining a motion vector in FIG. 5 .
8 is a flowchart of a method of transforming a medical image according to a deformation of a virtual object according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0013] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein may be implemented in other embodiments with respect to one embodiment without departing from the spirit and scope of the invention. In addition, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the following detailed description is not intended to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all scope equivalents to those claimed. Like reference numerals in the drawings refer to the same or similar functions throughout the various aspects.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 가상 객체의 변형에 따른 의료 영상의 변형 장치의 블록도이다.1 is a block diagram of an apparatus for deforming a medical image according to deformation of a virtual object according to an embodiment of the present invention.

본 발명에 따른 가상 객체(Virtual Object)의 변형에 따른 의료 영상의 변형 장치(10, 이하 장치)는 임상의에게 익숙한 영상 정보를 XR(Extended Reality) 수술 항법 시스템에 결합하여 가시화함으로써 보다 편리하고 정확한 XR/MR 네비게이션 시스템(다른 표현으로는, 수술 항법 시스템)을 제공할 수 있다.The device 10 (hereinafter referred to as the device) for transforming a medical image according to the transformation of a virtual object according to the present invention combines image information familiar to a clinician with an XR (Extended Reality) surgical navigation system and visualizes it, making it more convenient and accurate. An XR/MR navigation system (in other words, a surgical navigation system) may be provided.

먼저, 본 발명에서 사용되는 용어를 정의한다. VR(Virtual Reality, 가상 현실)은 현실세계와는 분리되어 있는 가상의 세계지만, 마치 현실처럼 리얼하게 구성되는 디스플레이 기술이다. AR(Augmented Reality, 증강 현실)은 현실세계 위에 가상정보를 입혀주는 기술이다. MR(Mixed Reality, 혼합 현실)은 VR의 장점인 높은 몰입감과, AR의 장점인 보다 현실에 가까운 체험을 합친 것이다. 마지막으로, XR(eXtended Reality, 확장 현실)은 VR, AR, MR을 통칭해서 부르는 표현이다.First, the terms used in the present invention are defined. VR (Virtual Reality) is a virtual world separated from the real world, but it is a display technology that is configured to be real like reality. AR (Augmented Reality) is a technology that overlays virtual information on top of the real world. MR (Mixed Reality) combines the high level of immersion, which is the strength of VR, and the more realistic experience, which is the strength of AR. Finally, XR (eXtended Reality) is an expression collectively called VR, AR, and MR.

또한, 본 발명에서 의료 영상은 CT(전산화 단층 촬영 기술, Computed Tomography) 영상, MR(Magnetic Resonance) 영상, PET(양전자 단층촬영, Positron Emission Tomography) 영상 및 초음파 영상 등 모든 의료 영상을 모두 포함할 수 있다.In addition, in the present invention, the medical image may include all medical images such as computed tomography (CT) images, magnetic resonance (MR) images, positron emission tomography (PET) images, and ultrasound images. there is.

도 1을 참조하면, 본 발명에 따른 장치(10)는 공간 정합부(110), 격자 형성부(130), 벡터 생성부(150) 및 비강체 정합부(170)를 포함한다.Referring to FIG. 1 , an apparatus 10 according to the present invention includes a spatial matching unit 110 , a grid forming unit 130 , a vector generating unit 150 , and a non-rigid body matching unit 170 .

본 발명의 상기 장치(10)는 가상 객체의 변형에 따른 의료 영상의 변형을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 공간 정합부(110), 상기 격자 형성부(130), 상기 벡터 생성부(150) 및 상기 비강체 정합부(170)의 구성은 상기 장치(10)에서 실행되는 상기 가상 객체의 변형에 따른 의료 영상의 변형을 수행하기 위한 소프트웨어에 의해 제어될 수 있다. In the apparatus 10 of the present invention, software (application) for performing deformation of a medical image according to deformation of a virtual object may be installed and executed, and the spatial matching unit 110, the grid forming unit 130, The configuration of the vector generating unit 150 and the non-rigid body matching unit 170 may be controlled by software for deforming a medical image according to the deformation of the virtual object executed in the apparatus 10 .

상기 장치(10)는 별도의 단말이거나 또는 XR(Extended Reality) 수술 항법 시스템의 일부 모듈일 수 있다. 또한, 상기 공간 정합부(110), 상기 격자 형성부(130), 상기 벡터 생성부(150) 및 상기 비강체 정합부(170)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.The device 10 may be a separate terminal or some module of an XR (Extended Reality) surgical navigation system. In addition, the configuration of the spatial matching unit 110 , the grid forming unit 130 , the vector generating unit 150 and the non-rigid body matching unit 170 may be formed as an integrated module or may consist of one or more modules. there is. However, on the contrary, each configuration may be formed of a separate module.

상기 장치(10)는 이동성을 갖거나 고정될 수 있다. 상기 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다. The device 10 may be movable or stationary. The apparatus 10 may be in the form of a server or an engine, and may be a device, an application, a terminal, a user equipment (UE), a mobile station (MS), or a wireless device. (wireless device), may be called other terms such as a handheld device (handheld device).

상기 장치(10)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.The device 10 may execute or manufacture various software based on an operating system (OS), that is, the system. The operating system is a system program for software to use the hardware of the device, and is a mobile computer operating system such as Android OS, iOS, Windows Mobile OS, Bada OS, Symbian OS, Blackberry OS and Windows series, Linux series, Unix series, It can include all computer operating systems such as MAC, AIX, and HP-UX.

상기 공간 정합부(110)는 XR(Extended Reality) 수술 항법 시스템에서 환자의 수술 부위와 가상 객체(Virtual Object) 및 수술 전 촬영된 의료 영상 사이의 공간 정합을 수행한다.The spatial matching unit 110 performs spatial registration between a patient's surgical site, a virtual object, and a preoperative medical image in an XR (Extended Reality) surgical navigation system.

본 발명에서는 정확한 XR/MR 수술 항법 시스템의 정보제공을 위해서 시술/수술 공간에 대하여 캘리브레이션(Calibration) 등을 통한 사전 공간 정의를 수행하고, 환자와 대응하는 가상 객체 사이의 정합(Registration)을 수행한다. In the present invention, in order to provide accurate information of the XR/MR surgical navigation system, a pre-space definition through calibration, etc. of the procedure/surgical space is performed, and registration between the patient and the corresponding virtual object is performed. .

캘리브레이션(Calibration) 정보와 환자와 가상 객체 사이의 정합 정보는 환자와 AR 객체뿐 아니라 수술 전 촬영된 영상(CT, MR 등), AR 가시화 장비, 수술도구 등 XR/MR 네비게이션 시스템에 사용되는 모든 기기와 영상의 좌표계 일치에 활용된다. 이러한 정보의 통합은 시술/수술 도구의 움직임에 따른 가상 객체의 변형과 가상 객체의 변형에 따른 CT/MR 영상의 변형을 가능케 한다.Calibration information and registration information between the patient and the virtual object, as well as the patient and AR object, images taken before surgery (CT, MR, etc.), AR visualization equipment, surgical tools, etc. All devices used in the XR/MR navigation system and image coordinate system matching. The integration of this information enables the transformation of the virtual object according to the movement of the surgical/surgical tool and the transformation of the CT/MR image according to the transformation of the virtual object.

수술 중에는 시술/수술 도구의 움직임에 따른 가상 객체의 변형이 발생한다. 본 발명에서는 시술/수술 도구의 움직임에 따른 가상 객체의 변형을 위한 기본 물리 모델로 PBD(Position Based Dynamics)를 이용한다. During surgery, the virtual object is deformed according to the movement of the procedure/surgical tool. In the present invention, PBD (Position Based Dynamics) is used as a basic physical model for deformation of a virtual object according to movement of a surgical/surgical tool.

실제 시술/수술에서는 시술/수술 전 촬영된 CT/MR 등 영상이 필수로 활용된다. 하지만 네비게이션 시스템이나 AR/VR 네비게이션 시스템을 이용한 시술/수술에서는 시술/수술 도구에 따른 변형이 반영되지 않거나, 가상 객체에 대해서만 고려되고 있다. In the actual procedure/surgery, images such as CT/MR taken before the procedure/surgery are essential. However, in a procedure/surgery using a navigation system or an AR/VR navigation system, deformation according to the procedure/surgical tool is not reflected or only virtual objects are considered.

이는 실시간으로 이루어지는 시술/수술 정보 반영에 한계가 존재하며, 일부 환경에서는 필요에 따라 시술/수술 중 추가 영상(CT/MR 등)을 추가로 촬영해야 한다는 문제가 있다. There is a limit to the reflection of real-time procedure/surgery information, and in some environments, there is a problem that additional images (CT/MR, etc.) must be additionally taken during the procedure/surgery as needed.

본 발명에서는 이러한 단점을 개선하기 위하여, PBD 변형을 토대로 수술 전 촬영된 영상(CT/MR 등)을 변형하여 시술/수술자에게 실시간으로 정확한 정보 제공을 목적으로 한다. 이를 위하여 PBD 변형은 영역 구분을 통한 변형 정보 정의 및 정규화를 가능하게 하는 특성을 이용한다.The present invention aims to provide accurate information in real time to the surgeon/operator by modifying the pre-operative image (CT/MR, etc.) based on the PBD transformation in order to improve these disadvantages. To this end, PBD transformation uses a characteristic that enables transformation information definition and normalization through region division.

이를 위해, 먼저 상기 격자 형성부(130)는 정합된 상기 가상 객체 및 상기 의료 영상을 가상의 격자로 정의하여 변형 영역의 단위로 분할 및 제어점을 생성한다.To this end, first, the grid forming unit 130 defines the matched virtual object and the medical image as a virtual grid, and divides and generates control points in units of deformation regions.

도 2는 도 1에서 변형 전 CT/MR 영상의 예시 도면이다. 도 3은 도 1에서 CT/MR 영상의 제어점을 생성하고 가상 객체에 대응시키는 과정을 설명하기 위한 도면이다.FIG. 2 is an exemplary view of a CT/MR image before deformation in FIG. 1 . FIG. 3 is a diagram for explaining a process of generating a control point of a CT/MR image in FIG. 1 and matching it to a virtual object.

도 2 및 도 3을 참조하면, 수술 전 촬영된 영상(CT/MR 등)을 격자로 나누어 제어점을 생성한다. 이때, 격자의 제어점은 가상 객체와 대응되며, 가상 객체의 변형 영역과 단위를 단계별로 구분하고, 이에 대한 각 영역을 움직임 벡터로 정의한다.2 and 3 , a control point is generated by dividing an image (CT/MR, etc.) taken before surgery into a grid. In this case, the control points of the grid correspond to the virtual object, and the deformation region and unit of the virtual object are divided into stages, and each region is defined as a motion vector.

본 발명에서, 격자로 인해 생성되는 점들을 제어점이라 정의하고, 격자로 구별되는 각 영역을 변형 영역으로 정의한다. 일 실시예에서, 격자는 수술 부위에 따라 간격을 조절할 수 있으며, 이는 사용자의 선택에 의해 조절이 가능하다.In the present invention, points generated by the lattice are defined as control points, and each region distinguished by the lattice is defined as a deformation region. In one embodiment, the grid spacing can be adjusted according to the surgical site, which can be adjusted by the user's selection.

상기 벡터 생성부(150)는 수술 중 수술 도구로 인한 상기 가상 객체의 변형이 발생한 경우, PBD(Position Based Dynamics) 물리 변형 모델을 통하여 상기 가상 객체의 각 변형 영역의 움직임을 각 제어점을 기준으로 하는 움직임 벡터로 정의한다.When the virtual object is deformed due to a surgical tool during surgery, the vector generator 150 determines the movement of each deformation region of the virtual object based on each control point through a PBD (Position Based Dynamics) physical deformation model. It is defined as a motion vector.

도 4는 도 3의 박스 부분에서 가상 객체의 변형을 보여주는 예시 도면이다.FIG. 4 is an exemplary view showing deformation of a virtual object in the box portion of FIG. 3 .

PBD 물리 변형 모델은 시술/수술 도구의 외력(External Forces)과 변형이 이루어지는 가상 객체의 실제 내부 탄성력과 같은 내력(Internal Forces)를 고려하여 수행한다. The PBD physical deformation model is performed by considering the external forces of the surgical/surgical tool and the internal forces such as the actual internal elastic force of the virtual object being deformed.

먼저, 정점의 현재 위치를 기준으로 단위 시간에 대한 속도와 외력을 반영함으로써 새로운 정점 위치를 추정하며, 사실적인 3차원 모델의 변형을 위해 가상 객체의 실제 변형 특성을 나타내는 제한(Constraint)을 적용하여 최적의 위치로 수정한다. First, the new vertex position is estimated by reflecting the speed and external force per unit time based on the current position of the vertex. Correct it to the optimal position.

상기 비강체 정합부(170)는 상기 가상 객체의 각 변형 영역의 움직임 벡터를 기초로, 상기 의료 영상의 각 변형 영역의 각 제어점을 이동시켜 비강체 정합을 수행한다.The non-rigid body matching unit 170 performs non-rigid body registration by moving control points of each deformable region of the medical image based on a motion vector of each deformable region of the virtual object.

도 5는 도 4의 CT/MR 영상의 변형을 보여주는 예시 도면이다. 도 6은 도 2의 CT/MR 영상의 변형 후를 보여주는 예시 도면이다.FIG. 5 is an exemplary view showing a modification of the CT/MR image of FIG. 4 . 6 is an exemplary view showing the CT/MR image of FIG. 2 after deformation.

도 5 및 도 6을 참조하면, 상기 의료 영상의 각 변형 영역의 각 제어점을 상기 가상 객체의 각 변형 영역의 움직임 벡터만큼 이동시켜, 가상 객체의 변형 정보가 수술 전 촬영된 영상(CT/MR 등)에 반영된다.5 and 6 , each control point of each deformation region of the medical image is moved as much as a motion vector of each deformation region of the virtual object, so that deformation information of the virtual object is obtained before surgery (CT/MR, etc.) ) is reflected in

도 7은 도 5에서 움직임 벡터를 정의하는 것을 설명하기 위한 개념도이다.7 is a conceptual diagram for explaining defining a motion vector in FIG. 5 .

도 7을 참조하면, PBD 물리 변형 모델을 통한 상기 가상 객체의 각 변형 영역의 움직임을 각 제어점을 기준으로 하는 움직임 벡터는, 각 변형 영역 내의 캘리브레이션(Calibration)의 벡터들의 합성으로 계산될 수 있다.Referring to FIG. 7 , a motion vector based on each control point of the motion of each deformation region of the virtual object through the PBD physical deformation model may be calculated by combining vectors of calibration within each deformation region.

이에 따라, 본 발명은 임상의에게 익숙한 영상 정보를 AR 네비게이션 시스템에 결합하여 가시화함으로써 보다 편리하고 정확한 XR/MR 네비게이션 시스템을 제공할 수 있다. 이에 따라, 실제 임상의가 사용하고 필요로 하는 영상 정보를 시술/수술에 맞추어 정확히 제공함으로써 시술/수술 시간의 단축과 정확도 향상이 가능하다.Accordingly, the present invention can provide a more convenient and accurate XR/MR navigation system by visualizing image information familiar to clinicians by combining it with an AR navigation system. Accordingly, it is possible to shorten the procedure/surgery time and improve the accuracy by accurately providing the image information used and needed by the actual clinician according to the procedure/surgery.

도 8은 본 발명의 일 실시예에 따른 가상 객체의 변형에 따른 의료 영상의 변형 방법의 흐름도이다.8 is a flowchart of a method of transforming a medical image according to a deformation of a virtual object according to an embodiment of the present invention.

본 실시예에 따른 가상 객체의 변형에 따른 의료 영상의 변형 방법은, 도 1의 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. The method of deforming a medical image according to the deformation of the virtual object according to the present embodiment may be performed in substantially the same configuration as that of the apparatus 10 of FIG. 1 . Accordingly, the same components as those of the device 10 of FIG. 1 are given the same reference numerals, and repeated descriptions are omitted.

또한, 본 실시예에 따른 가상 객체의 변형에 따른 의료 영상의 변형 방법은 가상 객체의 변형에 따른 의료 영상의 변형을 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.Also, the method of transforming a medical image according to the transformation of the virtual object according to the present embodiment may be executed by software (application) for performing transformation of the medical image according to the transformation of the virtual object.

본 발명에 따른 가상 객체(Virtual Object)의 변형에 따른 의료 영상의 변형 방법은 XR(Extended Reality) 수술 항법 시스템에 임상의에게 익숙한 영상 정보를 결합하여 가시화함으로써 보다 편리하고 정확한 XR/MR 네비게이션 시스템(다른 표현으로는, 수술 항법 시스템)을 제공할 수 있다.The method of transforming a medical image according to the transformation of a virtual object according to the present invention is a more convenient and accurate XR/MR navigation system ( In other words, a surgical navigation system) may be provided.

여기서, XR(eXtended Reality, 확장 현실)은 VR, AR, MR을 통칭해서 부르는 표현이다. 또한, 본 발명에서 의료 영상은 CT(전산화 단층 촬영 기술, Computed Tomography) 영상, MR(Magnetic Resonance) 영상, PET(양전자 단층촬영, Positron Emission Tomography) 영상 및 초음파 영상 등 모든 의료 영상을 모두 포함할 수 있다.Here, XR (eXtended Reality) is an expression collectively called VR, AR, and MR. In addition, in the present invention, the medical image may include all medical images such as computed tomography (CT) images, magnetic resonance (MR) images, positron emission tomography (PET) images, and ultrasound images. there is.

도 8을 참조하면, 본 실시예에 따른 가상 객체의 변형에 따른 의료 영상의 변형 방법은, XR(Extended Reality) 수술 항법 시스템에서 환자의 수술 부위와 가상 객체(Virtual Object) 및 수술 전 촬영된 의료 영상 사이의 공간 정합을 수행한다(단계 S10). Referring to FIG. 8 , in the method of transforming a medical image according to the deformation of a virtual object according to the present embodiment, a patient's surgical site, a virtual object, and a medical photograph taken before surgery in an extended reality (XR) surgical navigation system. Spatial registration between images is performed (step S10).

상기 공간 정합을 수행하는 단계(단계 S10)는, 수술 공간에 대하여 캘리브레이션(Calibration)을 통한 사전 공간의 정의를 수행하는 단계, 환자의 수술 부위와 가상 객체 사이의 정합(Registration)을 수행하는 단계 및 상기 캘리브레이션 정보와 환자와 가상 객체 사이의 정합 정보를 기초로 수술 전 촬영된 의료 영상, AR 가시화 장비 및 수술도구를 포함하는 XR 수술 항법 시스템의 좌표계를 일치시키는 단계를 포함할 수 있다.The step of performing the spatial registration (step S10) includes defining the pre-space through calibration with respect to the operating space, performing registration between the patient's surgical site and the virtual object, and The method may include matching a coordinate system of an XR surgical navigation system including a preoperative medical image, AR visualization equipment, and surgical tool based on the calibration information and the registration information between the patient and the virtual object.

이러한 정보의 통합은 시술/수술 도구의 움직임에 따른 가상 객체의 변형과 가상 객체의 변형에 따른 CT/MR 영상의 변형을 가능케 한다.The integration of this information enables the transformation of the virtual object according to the movement of the surgical/surgical tool and the transformation of the CT/MR image according to the transformation of the virtual object.

수술 중에는 시술/수술 도구의 움직임에 따른 가상 객체의 변형이 발생한다. 본 발명에서는 시술/수술 도구의 움직임에 따른 가상 객체의 변형을 위한 기본 물리 모델로 PBD(Position Based Dynamics)를 이용한다. During surgery, the virtual object is deformed according to the movement of the procedure/surgical tool. In the present invention, PBD (Position Based Dynamics) is used as a basic physical model for deformation of a virtual object according to movement of a surgical/surgical tool.

실제 시술/수술에서는 시술/수술 전 촬영된 CT/MR 등 영상이 필수로 활용된다. 하지만 네비게이션 시스템이나 AR/VR 네비게이션 시스템을 이용한 시술/수술에서는 시술/수술 도구에 따른 변형이 반영되지 않거나, 가상 객체에 대해서만 고려되고 있다. In the actual procedure/surgery, images such as CT/MR taken before the procedure/surgery are essential. However, in a procedure/surgery using a navigation system or an AR/VR navigation system, deformation according to the procedure/surgical tool is not reflected or only virtual objects are considered.

이는 실시간으로 이루어지는 시술/수술 정보 반영에 한계가 존재하며, 일부 환경에서는 필요에 따라 시술/수술 중 추가 영상(CT/MR 등)을 추가로 촬영해야 한다. There is a limit to the reflection of real-time procedure/surgery information, and in some environments, additional images (CT/MR, etc.) must be additionally taken during the procedure/surgery as necessary.

본 발명에서는 이러한 단점을 개선하기 위하여, PBD 변형을 토대로 수술 전 촬영된 영상(CT/MR 등)을 변형하여 시술/수술자에게 실시간으로 정확한 정보 제공을 목적으로 한다. 이를 위하여 PBD 변형은 영역 구분을 통한 변형 정보 정의 및 정규화를 가능하게 하는 특성을 이용한다.The present invention aims to provide accurate information in real time to the surgeon/operator by modifying the pre-operative image (CT/MR, etc.) based on the PBD transformation in order to improve these disadvantages. To this end, PBD transformation uses a characteristic that enables transformation information definition and normalization through region division.

먼저, 정합된 상기 가상 객체 및 상기 의료 영상을 가상의 격자로 정의하여 변형 영역의 단위로 분할 및 제어점을 생성한다(단계 S20).First, by defining the matched virtual object and the medical image as a virtual grid, division and control points are generated in units of deformation regions (step S20).

즉, 수술 전 촬영된 영상(CT/MR 등)을 격자로 나누어 제어점을 생성한다. 이때, 격자의 제어점은 가상 객체와 대응되며, 가상 객체의 변형 영역과 단위를 단계별로 구분하고, 이에 대한 각 영역을 움직임 벡터로 정의한다.That is, a control point is generated by dividing the preoperative image (CT/MR, etc.) into a grid. In this case, the control points of the grid correspond to the virtual object, and the deformation region and unit of the virtual object are divided into stages, and each region is defined as a motion vector.

본 발명에서, 격자로 인해 생성되는 점들을 제어점이라 정의하고, 격자로 구별되는 각 영역을 변형 영역으로 정의한다. 일 실시예에서, 격자는 수술 부위에 따라 간격을 조절할 수 있으며, 이는 사용자의 선택에 의해 조절이 가능하다.In the present invention, points generated by the lattice are defined as control points, and each region distinguished by the lattice is defined as a deformation region. In one embodiment, the grid spacing can be adjusted according to the surgical site, which can be adjusted by the user's selection.

수술 중 수술 도구로 인한 상기 가상 객체의 변형이 발생한 경우, PBD(Position Based Dynamics) 물리 변형 모델을 통하여 상기 가상 객체의 각 변형 영역의 움직임을 각 제어점을 기준으로 하는 움직임 벡터로 정의한다(단계 S30).When the virtual object is deformed due to a surgical tool during surgery, the movement of each deformation region of the virtual object is defined as a motion vector based on each control point through a PBD (Position Based Dynamics) physical deformation model (step S30) ).

상기 PBD 물리 변형 모델은, 수술 도구의 외력(External Forces)과 변형이 이루어지는 상기 가상 객체의 실제 내부 탄성력과 동일한 내력(Internal Forces)을 기초로 구축될 수 있다. 상기 PBD 물리 변형 모델은, 환자의 수술 부위와 대응하는 가상 객체의 변형 정보를 입력 데이터로 미리 학습될 수 있다.The PBD physical deformation model may be built based on external forces of the surgical tool and internal forces equal to the actual internal elastic force of the virtual object being deformed. The PBD physical deformation model may be previously learned as input data on deformation information of a virtual object corresponding to a surgical site of a patient.

또한, 상기 PBD 물리 변형 모델은, 정점의 현재 위치를 기준으로 단위 시간에 대한 속도와 외력을 기초로, 새로운 정점 위치를 추정하는 단계 및 상기 가상 객체의 변형 특성을 나타내는 제한(Constraint)을 적용하여 상기 새로운 정점 위치를 수정하는 단계를 포함할 수 있다.In addition, the PBD physical deformation model is based on the speed and external force for unit time based on the current position of the vertex, estimating a new vertex position, and applying a constraint indicating the deformation characteristic of the virtual object. It may include modifying the new vertex position.

상기 가상 객체의 각 변형 영역의 움직임 벡터를 기초로, 상기 의료 영상의 각 변형 영역의 각 제어점을 이동시켜 비강체 정합을 수행한다(단계 S40).Based on the motion vector of each deformation region of the virtual object, each control point of each deformation region of the medical image is moved to perform non-rigid registration (step S40).

상기 비강체 정합은 상기 가상 객체의 각 변형 영역의 움직임 벡터를 기초로, 상기 의료 영상의 각 변형 영역의 각 제어점을 이동시켜 수행한다.The non-rigid body registration is performed by moving each control point of each deformation region of the medical image based on a motion vector of each deformation region of the virtual object.

이에 따라, 본 발명은 임상의에게 익숙한 영상 정보를 AR 네비게이션 시스템에 결합하여 가시화함으로써 보다 편리하고 정확한 XR/MR 네비게이션 시스템을 제공할 수 있다. 이에 따라, 실제 임상의가 사용하고 필요로 하는 영상 정보를 시술/수술에 맞추어 정확히 제공함으로써 시술/수술 시간의 단축과 정확도 향상이 가능하다.Accordingly, the present invention can provide a more convenient and accurate XR/MR navigation system by visualizing image information familiar to clinicians by combining it with an AR navigation system. Accordingly, it is possible to shorten the procedure/surgery time and improve the accuracy by accurately providing the image information used and needed by the actual clinician according to the procedure/surgery.

이와 같은, 가상 객체의 변형에 따른 의료 영상의 변형 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. Such a method of transforming a medical image according to the transformation of a virtual object may be implemented as an application or may be implemented in the form of program instructions that may be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. The program instructions recorded in the computer-readable recording medium are specially designed and configured for the present invention, and may be known and available to those skilled in the computer software field.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks. media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for carrying out the processing according to the present invention, and vice versa.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the embodiments, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention described in the claims below You will understand.

본 발명은 임상의에게 정확하고 편리한 네비게이션 정보를 제공하므로, 시술 및 수술 시간을 단축하여 의료 분야에 효율적으로 활용될 수 있다.Since the present invention provides accurate and convenient navigation information to a clinician, it can be efficiently utilized in the medical field by shortening the procedure and operation time.

10: 가상 객체의 변형에 따른 의료 영상의 변형 장치
110: 공간 정합부
130: 격자 형성부
150: 벡터 생성부
170: 비강체 정합부10: Device for deforming a medical image according to deformation of a virtual object
110: space matching unit
130: lattice forming unit
150: vector generator
170: non-rigid registration part

Claims (10)

XR(Extended Reality) 수술 항법 시스템에서 환자의 수술 부위와 가상 객체(Virtual Object) 및 수술 전 촬영된 의료 영상 사이의 공간 정합을 수행하는 단계;
정합된 상기 가상 객체 및 상기 의료 영상을 가상의 격자로 정의하여 변형 영역의 단위로 분할 및 제어점을 생성하는 단계;
수술 중 수술 도구로 인한 상기 가상 객체의 변형이 발생한 경우, PBD(Position Based Dynamics) 물리 변형 모델을 통하여 상기 가상 객체의 각 변형 영역의 움직임을 각 제어점을 기준으로 하는 움직임 벡터로 정의하는 단계; 및
상기 가상 객체의 각 변형 영역의 움직임 벡터를 기초로, 상기 의료 영상의 각 변형 영역의 각 제어점을 이동시켜 비강체 정합을 수행하는 단계;를 포함하고,
상기 공간 정합을 수행하는 단계는,
수술 공간에 대하여 캘리브레이션(Calibration)을 통한 사전 공간의 정의를 수행하는 단계;
환자의 수술 부위와 가상 객체 사이의 정합(Registration)을 수행하는 단계; 및
상기 캘리브레이션과 환자와 가상 객체 사이의 정합을 기초로 수술 전 촬영된 의료 영상, AR 가시화 장비 및 수술도구를 포함하는 XR 수술 항법 시스템의 좌표계를 일치시키는 단계;를 포함하고,
상기 공간 정합이 수행되고, 상기 수술도구의 움직임이 포착되면, 상기 수술도구의 움직임에 따라 상기 가상 객체가 변형되고, 상기 의료 영상은 상기 가상 객체 변형에 대응하여 변형이 발생하고,
상기 가상의 격자는,
상기 환자의 수술 부위 및 사용자의 선택에 따라 상기 사용자로부터 조절이 가능하고,
상기 제어점을 생성하는 것은,
상기 공간 정합이 수행된 상기 가상 객체 및 상기 의료 영상을 상기 가상의 격자로 나누어 상기 가상 객체와 대응되는 점에 상기 격자의 제어점으로 생성하고,
상기 움직임 벡터는,
상기 각 변형 영역 내의 캘리브레이션의 벡터들의 합성으로 계산되는, 가상 객체의 변형에 따른 의료 영상의 변형 방법.
performing spatial registration between a patient's surgical site, a virtual object, and a preoperative medical image in an XR (Extended Reality) surgical navigation system;
defining the matched virtual object and the medical image as a virtual grid, dividing and generating control points in units of deformation regions;
when the virtual object is deformed due to a surgical tool during surgery, defining the movement of each deformation region of the virtual object as a motion vector based on each control point through a PBD (Position Based Dynamics) physical deformation model; and
performing non-rigid registration by moving control points of each deformation region of the medical image based on the motion vector of each deformation region of the virtual object;
The step of performing the spatial matching is,
performing pre-space definition through calibration with respect to the operating space;
performing registration between the patient's surgical site and the virtual object; and
Based on the calibration and registration between the patient and the virtual object, matching the coordinate system of the XR surgical navigation system including the preoperative medical image, AR visualization equipment, and surgical tool;
When the spatial registration is performed and the movement of the surgical tool is captured, the virtual object is deformed according to the movement of the surgical tool, and the medical image is deformed in response to the virtual object deformation,
The virtual grid is
Control is possible from the user according to the user's selection and the surgical site of the patient,
Creating the control point is
dividing the virtual object and the medical image on which the spatial registration is performed into the virtual grid, and generating a point corresponding to the virtual object as a control point of the grid;
The motion vector is
A method of deforming a medical image according to deformation of a virtual object, which is calculated by combining vectors of calibration in each of the deformation regions.
 제1항에 있어서, 상기 PBD 물리 변형 모델은,
상기 수술 도구의 외력(External Forces)과 변형이 이루어지는 상기 가상 객체의 실제 내부 탄성력과 동일한 내력(Internal Forces)을 기초로 구축되는, 가상 객체의 변형에 따른 의료 영상의 변형 방법.
According to claim 1, wherein the PBD physical deformation model,
A method of deforming a medical image according to deformation of a virtual object, which is constructed based on external forces of the surgical tool and internal forces equal to the actual internal elastic force of the virtual object that is deformed.
 제2항에 있어서, 상기 PBD 물리 변형 모델은,
정점의 현재 위치를 기준으로 단위 시간에 대한 속도와 외력을 기초로, 새로운 정점 위치를 추정하는 단계; 및
상기 가상 객체의 변형 특성을 나타내는 제한(Constraint)을 적용하여 상기 새로운 정점 위치를 수정하는 단계;를 포함하는, 가상 객체의 변형에 따른 의료 영상의 변형 방법.
According to claim 2, wherein the PBD physical deformation model,
estimating a new vertex position based on a velocity and an external force per unit time based on the current position of the vertex; and
and modifying the new vertex position by applying a constraint indicating the deformation characteristic of the virtual object.
 제3항에 있어서, 상기 PBD 물리 변형 모델은,
환자의 수술 부위와 대응하는 가상 객체의 변형 정보를 입력 데이터로 미리 학습되는, 가상 객체의 변형에 따른 의료 영상의 변형 방법.
According to claim 3, wherein the PBD physical deformation model,
A method of transforming a medical image according to a deformation of a virtual object, in which deformation information of a virtual object corresponding to a patient's surgical site is learned in advance as input data.
 삭제delete 제1항에 있어서,
상기 의료 영상은 CT(전산화 단층 촬영 기술, Computed Tomography) 영상, MR(Magnetic Resonance) 영상, PET(양전자 단층촬영, Positron Emission Tomography) 영상 및 초음파 영상 중 적어도 하나를 포함하는, 가상 객체의 변형에 따른 의료 영상의 변형 방법.
According to claim 1,
The medical image includes at least one of a computed tomography (CT) image, a magnetic resonance (MR) image, a positron emission tomography (PET) image, and an ultrasound image. A method of transforming medical imaging.
 제1항에 있어서,
상기 가상 객체의 변형에 따른 의료 영상의 변형 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 저장 매체.
According to claim 1,
A computer-readable storage medium having recorded thereon a computer program for performing a method of transforming a medical image according to the transformation of the virtual object.
 XR(Extended Reality) 수술 항법 시스템에서 환자의 수술 부위와 가상 객체(Virtual Object) 및 수술 전 촬영된 의료 영상 사이의 공간 정합을 수행하는 공간 정합부;
정합된 상기 가상 객체 및 상기 의료 영상을 가상의 격자로 정의하여 변형 영역의 단위로 분할 및 제어점을 생성하는 격자 형성부;
수술 중 수술 도구로 인한 상기 가상 객체의 변형이 발생한 경우, PBD(Position Based Dynamics) 물리 변형 모델을 통하여 상기 가상 객체의 각 변형 영역의 움직임을 각 제어점을 기준으로 하는 움직임 벡터로 정의하는 벡터 생성부; 및
상기 가상 객체의 각 변형 영역의 움직임 벡터를 기초로, 상기 의료 영상의 각 변형 영역의 각 제어점을 이동시켜 비강체 정합을 수행하는 비강체 정합부;를 포함하고,
상기 공간 접합부는,
수술 공간에 대하여 캘리브레이션(Calibration)을 통한 사전 공간의 정의를 수행하고,
환자의 수술 부위와 가상 객체 사이의 정합(Registration)을 수행하고,
상기 캘리브레이션과 환자와 가상 객체 사이의 정합을 기초로 수술 전 촬영된 의료 영상, AR 가시화 장비 및 수술 도구를 포함하는 XR 수술 항법 시스템의 좌표계를 일치시키고,
상기 공간 정합이 수행되고, 상기 수술 도구의 움직임이 포착되면, 상기 수술도구의 움직임에 따라 상기 가상 객체가 변형되고, 상기 의료 영상은 상기 가상 객체 변형에 대응하여 변형이 발생하고,
상기 가상의 격자는,
상기 환자의 수술 부위 및 사용자의 선택에 따라 상기 사용자로부터 조절이 가능하고,
상기 제어점을 생성하는 것은,
상기 공간 정합이 수행된 상기 가상 객체 및 상기 의료 영상을 상기 가상의 격자로 나누어 상기 가상 객체와 대응되는 점에 상기 격자의 제어점으로 생성하고,
상기 움직임 벡터는,
상기 각 변형 영역 내의 캘리브레이션의 벡터들의 합성으로 계산되는, 가상 객체의 변형에 따른 의료 영상의 변형 장치.
a spatial matching unit configured to perform spatial registration between a patient's surgical site, a virtual object, and a preoperative medical image in an XR (Extended Reality) surgical navigation system;
a grid forming unit defining the matched virtual object and the medical image as a virtual grid to divide and generate control points in units of deformation regions;
When the virtual object is deformed due to a surgical tool during surgery, the vector generator defines the movement of each deformation region of the virtual object as a motion vector based on each control point through a PBD (Position Based Dynamics) physical deformation model. ; and
a non-rigid body matching unit configured to perform non-rigid registration by moving control points of each deformable region of the medical image based on a motion vector of each deformable region of the virtual object; and
The space junction is
Perform the definition of the pre-space through calibration for the operating space,
Perform registration between the patient's surgical site and the virtual object,
Based on the calibration and registration between the patient and the virtual object, the coordinate system of the XR surgical navigation system including the preoperative medical image, AR visualization equipment, and surgical tool is matched,
When the spatial registration is performed and the movement of the surgical tool is captured, the virtual object is deformed according to the movement of the surgical tool, and the medical image is deformed in response to the virtual object deformation,
The virtual grid is
Control is possible from the user according to the user's selection and the surgical site of the patient,
Creating the control point is
dividing the virtual object and the medical image on which the spatial registration is performed into the virtual grid, and generating a point corresponding to the virtual object as a control point of the grid;
The motion vector is
An apparatus for deforming a medical image according to deformation of a virtual object, which is calculated by combining vectors of calibration in each of the deformation regions.
 제8항에 있어서, 상기 PBD 물리 변형 모델은,
상기 수술 도구의 외력(External Forces)과 변형이 이루어지는 상기 가상 객체의 실제 내부 탄성력과 동일한 내력(Internal Forces)을 기초로 미리 학습되어 구축되는, 가상 객체의 변형에 따른 의료 영상의 변형 장치.
The method of claim 8, wherein the PBD physical deformation model,
An apparatus for deforming a medical image according to deformation of a virtual object, which is previously learned and built based on the same internal forces as the external forces of the surgical tool and the actual internal elastic forces of the virtual object that are deformed.
 제9항에 있어서, 상기 PBD 물리 변형 모델은,
정점의 현재 위치를 기준으로 단위 시간에 대한 속도와 외력을 기초로, 새로운 정점 위치를 추정하고, 상기 가상 객체의 변형 특성을 나타내는 제한(Constraint)을 적용하여 상기 새로운 정점 위치를 수정하는, 가상 객체의 변형에 따른 의료 영상의 변형 장치.
10. The method of claim 9, wherein the PBD physical deformation model,
A virtual object that estimates a new vertex position based on the velocity and an external force with respect to unit time based on the current position of the vertex, and modifies the new vertex position by applying a constraint indicating the deformation characteristics of the virtual object Deformation device of medical image according to the deformation of
KR1020200031272A 2020-03-13 2020-03-13 Method for modifying medical images according to modification of virtual object, recording medium and device for performing the method KR102370490B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200031272A KR102370490B1 (en) 2020-03-13 2020-03-13 Method for modifying medical images according to modification of virtual object, recording medium and device for performing the method
PCT/KR2020/010581 WO2021182686A1 (en) 2020-03-13 2020-08-11 Method for transforming medical image according to transformation of virtual object, and recording medium and apparatus for performing same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200031272A KR102370490B1 (en) 2020-03-13 2020-03-13 Method for modifying medical images according to modification of virtual object, recording medium and device for performing the method

Publications (2)

Publication Number Publication Date
KR20210115451A KR20210115451A (en) 2021-09-27
KR102370490B1 true KR102370490B1 (en) 2022-03-04

Family

ID=77672434

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200031272A KR102370490B1 (en) 2020-03-13 2020-03-13 Method for modifying medical images according to modification of virtual object, recording medium and device for performing the method

Country Status (2)

Country Link
KR (1) KR102370490B1 (en)
WO (1) WO2021182686A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230091645A (en) * 2021-12-16 2023-06-23 주식회사 온택트헬스 Method for providng information of organ function and device for providng information of organ function using the same
CN114404039B (en) * 2021-12-30 2023-05-05 华科精准（北京）医疗科技有限公司 Tissue drift correction method and device for three-dimensional model, electronic equipment and storage medium
KR20240048294A (en) 2022-10-06 2024-04-15 서울대학교산학협력단 Method, device and system for providing medical augmented reality images using artificial intelligence

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010279631A (en) 2009-06-08 2010-12-16 Mitsubishi Precision Co Ltd Method of generating model for operating simulation, operating simulation method and operating simulator
KR101948482B1 (en) * 2018-08-31 2019-02-14 숭실대학교산학협력단 Physics simulation method of soft-body, computer readable medium and device for performing the method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7657075B2 (en) * 2005-05-06 2010-02-02 Stereotaxis, Inc. Registration of three dimensional image data with X-ray imaging system
AU2011207294A1 (en) * 2010-01-22 2012-07-26 Vanderbilt University System and method for correcting data for deformations during image-guided procedures
CN104603836A (en) 2012-08-06 2015-05-06 范德比尔特大学 Enhanced method for correcting data for deformations during image guided procedures
KR102206198B1 (en) 2013-07-10 2021-01-22 삼성전자주식회사 Surgical robot system and method of controlling the same
KR20160086629A (en) * 2015-01-12 2016-07-20 한국전자통신연구원 Method and Apparatus for Coordinating Position of Surgery Region and Surgical Tool During Image Guided Surgery
KR101843992B1 (en) 2017-11-30 2018-05-14 재단법인 구미전자정보기술원 Augmented reality based cannula guide system for interventional cardiology procedures and method thereof
WO2019164271A1 (en) * 2018-02-20 2019-08-29 (주)휴톰 Virtual body model generation method and device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010279631A (en) 2009-06-08 2010-12-16 Mitsubishi Precision Co Ltd Method of generating model for operating simulation, operating simulation method and operating simulator
KR101948482B1 (en) * 2018-08-31 2019-02-14 숭실대학교산학협력단 Physics simulation method of soft-body, computer readable medium and device for performing the method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hessam Sokooti 외 5인, Nonrigid Image Registration Using Multi-scale 3D Convolutional Neural Networks(2017) 1부.*

Also Published As

Publication number Publication date
KR20210115451A (en) 2021-09-27
WO2021182686A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
KR102370490B1 (en) Method for modifying medical images according to modification of virtual object, recording medium and device for performing the method
US11730544B2 (en) Surgical systems and methods for facilitating ad-hoc intraoperative planning of surgical procedures
US9990744B2 (en) Image registration device, image registration method, and image registration program
JP6334052B2 (en) Intraoperative tracking method
KR101536115B1 (en) Method for operating surgical navigational system and surgical navigational system
JP2022527360A (en) Registration between spatial tracking system and augmented reality display
CN113950301A (en) System for computer guided surgery
KR101892631B1 (en) Appratus and method for tracking location of surgical tools in three dimension space based on two-dimensional image
EP3789965B1 (en) Method for controlling a display, computer program and mixed reality display device
JP2018522610A (en) System and method for guiding laparoscopic surgical procedures by augmenting anatomical models
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
JP2007098028A (en) Modeling apparatus, modeling method, region extraction apparatus, and program
WO2001059708A1 (en) Method of 3d/2d registration of object views to a surface model
KR100346363B1 (en) Method and apparatus for 3d image data reconstruction by automatic medical image segmentation and image guided surgery system using the same
JP4910478B2 (en) Modeling apparatus, modeling method and program
JP6566420B2 (en) Surgical navigation system, surgical navigation method and program
CN112515766A (en) Method and system for registering an X-ray image data set with a navigation system
KR102398171B1 (en) Method of breast deformation prediction for breast surgery based on augmented reality recording medium and device for performing the method
KR102583320B1 (en) Method of brain deformation prediction for external ventricular drain surgery based on augmented reality recording medium and device for performing the method
Baumhauer et al. Soft tissue navigation for laparoscopic prostatectomy: Evaluation of camera pose estimation for enhanced visualization
JP2019150358A (en) Image processing device, image processing program and image processing method
KR102078737B1 (en) Method for surface registration of surgical navigation and surgical navigation apparatus
Fischer et al. Model-based Hybrid Tracking for Medical Augmented Reality.
EP1124201A1 (en) Method for 3D/2D registration using multiple views and a surface model of an object
CN118021445A (en) Orthopedic endoscope navigation method and system

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant